Gray碼結(jié)合線移的結(jié)構(gòu)光三維測量

石愛軍，白瑞林，田青華

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫214122)

Gray碼結(jié)合線移的結(jié)構(gòu)光三維測量

石愛軍，白瑞林，田青華

(江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫214122)

針對二值條紋的邊緣擴(kuò)散問題，本文提出了一種改進(jìn)型線移的結(jié)構(gòu)光三維測量方法。該方法根據(jù)圖像像素的鄰域關(guān)系和邏輯關(guān)系，采用優(yōu)化預(yù)處理方法得到了條紋圖像的單像素邊緣；根據(jù)邊緣擴(kuò)散對邊緣定位的影響，采用一種二值圖案對稱線移的方法，線移條紋以Gray碼最后一幅圖案的條紋中心為基準(zhǔn)向兩側(cè)對稱線移，線移條紋寬度與Gray碼最小周期寬度相等、方向與Gray碼條紋方向平行；采用正交投射實(shí)現(xiàn)了對測量視野的唯一性編碼。實(shí)驗(yàn)結(jié)果表明，該方法對平面重構(gòu)的相對誤差為0.07%，耗時(shí)5.41 s，滿足精度和實(shí)時(shí)性的要求。將該方法應(yīng)用在混合物體的表面測量實(shí)驗(yàn)中，結(jié)果驗(yàn)證該方法對不同工件具有良好的適應(yīng)性。

三維測量；結(jié)構(gòu)光；Gray碼；線移

0 引言

隨著機(jī)器人產(chǎn)業(yè)不斷發(fā)展，機(jī)器人已經(jīng)能快速處理并記憶相關(guān)任務(wù)，但在自動(dòng)裝配過程中，仍需要人工引導(dǎo)機(jī)器人精確移動(dòng)并抓取目標(biāo)。從一個(gè)隨機(jī)堆放或未經(jīng)整理的箱體中以一個(gè)正確的姿態(tài)抓取目標(biāo)，這種能力被叫做“隨機(jī)箱體抓取”(Random Bin Picking，RBP)[1]。1986年，MIT教授Berthold K.P.Horn在《機(jī)器人視覺》一書中指出，推廣工業(yè)機(jī)器人應(yīng)用的障礙之一就是缺乏處理未精確定位工件的能力。

結(jié)構(gòu)光法具有成本低、分辨力高和速度快的優(yōu)勢，是實(shí)用性最強(qiáng)的光學(xué)非接觸三維測量技術(shù)。其中，Gray碼結(jié)合線移的方法可在不改變解碼準(zhǔn)確度的同時(shí)提高采樣點(diǎn)密度，被廣泛應(yīng)用于物體表面三維測量[2]。相對于相移法易受物體形狀變化的不連續(xù)、采集條紋圖像的非正弦性和圖像噪聲的影響[3]，線移法由于采用圖案條紋邊緣上的點(diǎn)作為采樣點(diǎn)，因而具備更好的抗干擾能力，但受被測物表面散射、光學(xué)系統(tǒng)點(diǎn)擴(kuò)散特性及投影儀和攝像機(jī)的離焦等因素的影響，二值條紋邊緣會(huì)發(fā)生擴(kuò)散[4]，線移條紋編碼和邊緣提取方法直接影響重構(gòu)精度和速度。Stan?i? I等[5]使線移條紋寬度為Gray碼最小周期的1/8，細(xì)條紋寬2 mm，將細(xì)條紋中心線上的點(diǎn)作為圖像采樣點(diǎn)。該方法提高了采樣點(diǎn)密度，但是對硬件要求較高，未考慮強(qiáng)反射對邊緣定位的影響；Song Z等[6]采用1/2 Gray碼最小周期寬度作為線移條紋寬度，每個(gè)線移周期由1個(gè)白條紋和1個(gè)黑條紋組成，若Gray碼最小條紋寬度為m個(gè)像素，則線移圖案平移m-1次，并利用Gray碼反碼和改進(jìn)的過零檢測器提取亞像素邊緣，該方法對平面重構(gòu)的平均誤差僅為1.4 μm，但測量視野小，適用于較小物體的致密三維重構(gòu)；其他抑制邊緣擴(kuò)散的方法有輔助編碼法[7]、亞像素定位法[8]等。因此，當(dāng)線移條紋寬度較寬時(shí)，對硬件要求較低，邊緣定位誤差小，但是采樣點(diǎn)密度低；反之，當(dāng)線移條紋寬度較窄時(shí)，對硬件要求高，需要采用亞像素技術(shù)或輔助編碼，定位精度高，但耗時(shí)長，不符合實(shí)時(shí)性要求。

本文針對結(jié)構(gòu)光測量中的邊緣擴(kuò)散問題，結(jié)合Gray碼邊緣解碼，提出了一種改進(jìn)型線移的組合編碼方法。首先，針對陰影、多像素邊緣和干擾邊緣，本文采用圖像像素的鄰域關(guān)系和邏輯關(guān)系對邊緣優(yōu)化處理，得到單像素邊緣；然后，在未精確定位Gray碼邊緣的情況下，線移圖案以Gray碼最后一幅圖案中心為基準(zhǔn)向兩側(cè)對稱線移，避開Gray碼邊緣引起的定位誤差，提高解碼的正確率。

1 Gray碼編解碼

1.1 Gray碼編碼

由于CCD像素點(diǎn)中心解碼存在固有的一位解碼誤差，本文采用Gray碼條紋邊緣進(jìn)行編解碼[9]。首先由投影儀向被測物投射六幅Gray碼黑白條紋圖案，然后利用左右攝像機(jī)采集經(jīng)被測物高度調(diào)制后的變形條紋圖案。圖1為待測量的混合物體圖像，圖2為6位Gray碼圖案及右攝像機(jī)采集圖像序列，圖3為5次線移圖案及右攝像機(jī)采集圖案序列。

圖1 混合物體初始圖像Fig.1Original image of mixed targets

圖2 Gray碼圖案與右攝像機(jī)采集圖像序列Fig.2Gray code patterns and images from right camera

圖3 線移圖案與右攝像機(jī)采集圖像序列Fig.3Line-shift patterns and images from right camera

1.2 圖像預(yù)處理

利用邊緣進(jìn)行解碼，在Gray碼解碼前需要對圖像進(jìn)行預(yù)處理，得到條紋圖案中有效測量區(qū)域的單像素邊緣。具體操作如下：

1)采用中值濾波對采集圖像進(jìn)行預(yù)處理，去除圖像傳感器及傳輸過程中產(chǎn)生的椒鹽噪聲；對濾波后圖像歸一化處理，消除左右攝像機(jī)光照不一致造成的影響。

2)利用Ostu法對圖像進(jìn)行閾值處理，得到二值圖像后，采用半徑為5的圓盤結(jié)構(gòu)元素對圖像進(jìn)行先閉后開的形態(tài)學(xué)處理，去除毛刺和內(nèi)部孔洞。

3)利用邊緣檢測器提取像素邊緣，提取結(jié)果如圖4(a)所示，圖4(b)、4(c)、4(d)分別為圖4(a)中三處標(biāo)記的放大圖。

圖4 邊緣提取結(jié)果與局部放大圖Fig.4Result of edge detection and enlarged views of marks

4)去除陰影邊緣。陰影為攝像機(jī)拍攝不到的區(qū)域，左右攝像機(jī)位姿不同，采集圖像中陰影區(qū)域也不同，由圖4(b)可以看出，陰影邊緣對條紋邊緣產(chǎn)生影響。由于混合物體高度不同，產(chǎn)生的陰影區(qū)域大小不一，采用一般的形態(tài)學(xué)方法難以去除。為了提高邊緣解碼的正確率，先對測量對象投射全亮圖案，然后利用上述步驟1和步驟2對采集到的圖像進(jìn)行處理，再采用半徑為6的圓盤結(jié)構(gòu)元素對圖像進(jìn)行腐蝕形態(tài)學(xué)操作，結(jié)果如圖5(a)所示，最后將該陰影圖像與圖4(a)的條紋圖像進(jìn)行“與”邏輯運(yùn)算，去除陰影邊緣。標(biāo)記“1”去除陰影邊緣后的圖像如圖5(b)所示。

圖5 優(yōu)化處理結(jié)果Fig.5Optimized results of marks

5)對邊緣優(yōu)化處理。由圖4(c)可以看出，在邊緣彎曲的部分存在多像素邊緣，圖4(d)顯示主方向條紋兩側(cè)存在干擾邊緣，為了防止匹配時(shí)存在一對多的情況，需要細(xì)化多像素邊緣并消除非主方向干擾邊緣。分析可知，這兩種干擾邊緣垂直于主方向的方向上存在不少于一個(gè)像素，可通過下面的方法進(jìn)行優(yōu)化。

若條紋邊緣非零像素的地址為(x,y)，有效邊緣像素地址為(x',y')，(x,y)處對應(yīng)的灰度值為f(x,y)，則橫向條紋的有效像素地址為

縱向條紋的有效像素地址為

利用上述預(yù)處理方法，既消除了不同物體造成的陰影邊緣，也細(xì)化了多像素邊緣并抑制了非主方向干擾邊緣，得到了單像素邊緣，有利于邊緣解碼和匹配。圖4(c)、4(d)優(yōu)化處理后的結(jié)果如圖5(c)、5(d)所示。

1.3 Gray碼解碼

解碼時(shí)，將邊緣上的點(diǎn)作為圖像采樣點(diǎn)，并根據(jù)采樣點(diǎn)的二進(jìn)制碼值求解Gray碼碼值。

若求第i(i￡n)幅二值圖像中某條邊緣的碼值，按其在前幾幅二值圖像中相應(yīng)位置處的二進(jìn)制碼值求取Gray碼，邊緣碼值k計(jì)算式：

2 線移條紋中心編解碼

2.1 邊緣擴(kuò)散影響

影響邊緣定位精度的因素有很多，包括表面散射、光學(xué)系統(tǒng)點(diǎn)擴(kuò)散和離焦。此外，曝光時(shí)間也會(huì)影響邊緣擴(kuò)散，實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)曝光時(shí)間在1/1 502 s～1/400 s之間時(shí)黑白條紋寬度趨于穩(wěn)定，且黑條紋寬度略大于白條紋寬度，本文重構(gòu)實(shí)驗(yàn)選取曝光時(shí)間為1/1 000 s。

2.2 計(jì)算線移區(qū)間

計(jì)算Gray碼最小周期條紋相鄰邊緣之間的距離Wk，對周期寬度進(jìn)行分類，并計(jì)算線移區(qū)間。

選取不含工件的L行像素(縱向條紋選取L列)，L行第k個(gè)最小周期條紋相鄰邊緣的平均距離為

設(shè)投射Gray碼圖案中最小條紋寬度為Wmin，設(shè)置閾值1s、2s，且，則存在三種周期寬度：

其中：Wh為寬度遠(yuǎn)小于Wmin的周期寬度，Wz為寬度接近Wmin的周期寬度，Wb為寬度遠(yuǎn)大于Wmin的周期寬度。

圖6 4位Gray碼最小周期寬度示意圖Fig.6Schematics of minimum stripes width of four Gray code patterns

為防止線移條紋在平移時(shí)發(fā)生周期錯(cuò)位，應(yīng)選取Gray碼周期中最小寬度作為線移圖案的平移區(qū)間Ws，但為了避免大誤差值對取值的影響，選擇Gray碼三種周期條紋寬度中較小值的均值作為Ws，單位平移距離d計(jì)算公式為

2.3 線移條紋編解碼

投射Gray碼圖案后，繼續(xù)投射寬度與Gray碼最小周期寬度相等、方向與Gray碼條紋方向平行的二值條紋圖案，將該圖案條紋向左、向右對稱平移s次，單次平移距離為d。線移圖案采集圖像經(jīng)預(yù)處理后得到線移條紋邊緣，取中值得到各條紋的中心，根據(jù)該條紋對應(yīng)的Gray碼條紋確定線移條紋所處的周期，對線移條紋進(jìn)行解碼。

設(shè)某線移條紋處于第k個(gè)Gray碼周期內(nèi)，即該Gray碼條紋的前一個(gè)邊緣碼值為k，后一個(gè)邊緣碼值為k+1，若該線移條紋為第i(i￡s)次向左平移的條紋，則該條紋的周期內(nèi)編碼為

結(jié)合Gray碼周期的碼值為

同理，若該線移條紋為第i次向右平移的條紋，則該條紋周期內(nèi)編碼結(jié)合Gray碼周期的碼值為

Gray碼結(jié)合線移的解碼示意圖如圖7所示，Gray碼邊緣圖中，虛線為理論定位線，實(shí)線為實(shí)際定位線。

利用條紋中心向兩側(cè)對稱位移的方法，避開了因邊緣擴(kuò)散造成的邊緣定位誤差，從而消除了線移條紋周期定位的解碼誤差，提高了全局解碼的正確率。

圖7 Gray碼結(jié)合線移解碼示意圖Fig.7Decoding of combining edges of Gray code and line-shift patterns

3 求解三維坐標(biāo)

利用正交投射的方法，左視圖正交方向上的碼值lh-code、lv-code和右視圖正交方向上的碼值rh-code、rv-code，獲得左、右視圖全局編碼值：

其中：Lcode為左視圖全局編碼值，Rcode為右視圖全局編碼值。利用式(10)可得整幅視圖的唯一性編碼。

在右視圖中搜索與左視圖中碼值相同的點(diǎn)，將左右視圖對應(yīng)點(diǎn)坐標(biāo)分別存儲在有效地址Lmask和Rmask中，并采用四階徑向畸變模型[10]對Lmask和Rmask中的地址進(jìn)行校正，利用三角測量法求解各點(diǎn)的三維信息。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證本文的三維測量方法，搭建了結(jié)構(gòu)光雙目視覺測量系統(tǒng)，如圖8所示。該系統(tǒng)由兩臺IMAGING 500W分辨率的COMS相機(jī)、兩個(gè)焦距為12 mm的鏡頭、分辨率為800×600的EPSON投影儀、網(wǎng)格標(biāo)定板、兩臺計(jì)算機(jī)等構(gòu)成，計(jì)算機(jī)B的配置為Intel(R)Core(TM)i7-4790 CPU，3.6 GHz，8.00 GB內(nèi)存，軟件平臺為Matlab R2014a。

圖8 結(jié)構(gòu)光測量系統(tǒng)Fig.8Structured light measuring system

圖9 平面重構(gòu)結(jié)果Fig.9Reconstructing results of planar

表15 種算法的性能對比Table 1Performance comparison of five algorithms

由表1數(shù)據(jù)可以看出，本文方法的重構(gòu)精度比文獻(xiàn)[7]方法精度更高，相對誤差為0.07%，而文獻(xiàn)[9]由于采用了亞像素定位方法，精度比本文方法高，但耗時(shí)長。本文方法的測量速度快于文獻(xiàn)[9]方法和文獻(xiàn)[7]中采用8位、9位Gray碼的方法，其中文獻(xiàn)[7]采用7位正反Gray碼的重構(gòu)時(shí)間少于本文方法，主要原因是處理的圖像少，且得到的點(diǎn)云數(shù)量少于本文方法。

采用本文方法和文獻(xiàn)[7]中的方法分別對圖1中混合物體表面進(jìn)行重構(gòu)，得到的點(diǎn)云結(jié)果如圖10所示，由圖10(a)可以看出，本文方法不僅對大塑料瓶、小塑料瓶和不同位姿的木塊有很好的重構(gòu)結(jié)果，對于高亮的螺栓，雖然實(shí)體部分重構(gòu)出的點(diǎn)云較少，但基本輪廓明顯，若采用3D邊緣進(jìn)行后期處理[11]，本文方法可以得到螺栓的位姿信息。而文獻(xiàn)[7]的方法只對大塑料瓶、小塑料瓶和不同位姿的木塊的重構(gòu)效果較好，對螺栓的重構(gòu)結(jié)果很差，看不出工件的形狀。因此本文采用的方法對不同的工件具有較好的適應(yīng)性。

圖10 混合物體表面重構(gòu)點(diǎn)云Fig.10Point clouds of mixed targets

5 結(jié)論

結(jié)構(gòu)光三維測量技術(shù)對機(jī)器人的推廣有著重要的意義，在自動(dòng)裝配過程中，三維視覺提供機(jī)械手待抓取工件的位姿信息，獲取混亂工件場景的三維點(diǎn)云是位姿定位的前提。本文針對結(jié)構(gòu)光測量中的邊緣擴(kuò)散問題，在Gray碼邊緣解碼基礎(chǔ)上，提出一種改進(jìn)型線移的組合編碼方法。利用條紋的像素鄰域關(guān)系以及邏輯運(yùn)算，得到了用于匹配的單像素條紋邊緣；利用二值條紋圖案由中心向兩側(cè)對稱線移的方式，消除了邊緣定位誤差對線移條紋周期定位的影響，提高了解碼的正確率；采用正交投射條紋的方法，實(shí)現(xiàn)了對測量視野的唯一性編碼；相對于傳統(tǒng)方法，采用二值條紋在Gray碼條紋內(nèi)部多次線移，提高了采樣點(diǎn)密度。實(shí)驗(yàn)表明，本文方法在保證精度的同時(shí)有效提高了系統(tǒng)的實(shí)時(shí)性，同時(shí)對不同的工件具有較好的適應(yīng)性。進(jìn)一步提高實(shí)時(shí)性和計(jì)算點(diǎn)云位姿是下一步研究工作的重點(diǎn)。

[1]Consultant R B.Random bin picking：has its time finally come?[J].Assembly Automation(S0144-5154)，2014，34(3)：217-221.

[2]Bruno F，Bianco G，Muzzupappa M，et al.Experimentation of structured light and stereo vision for underwater 3D reconstruction[J].ISPRS Journal of Photogrammetry and Remote Sensing(S0924-2716)，2011，66(4)：508-518.

[3]ZHANG Song，YAU Shing-Tung.Generic nonsinusoidal phase error correction for three-dimensional shape measurement using a digital video projector[J].Applied Optics(S1559-128X)，2007，46(1)：36-43.

[4]吳海濱，于曉洋，關(guān)叢榮.基于灰度曲線交點(diǎn)的結(jié)構(gòu)光編碼條紋邊緣檢測[J].光學(xué)學(xué)報(bào)，2008，28(6)：1085-1090. WU Haibin，YU Xiaoyang，GUAN Congrong.Structured Light Encoding Stripe Edge Detection Based on Grey Curve Intersecting Point[J].Acta Optica Sinica，2008，28(6)：1085-1090.

[5]Stan?i? I，Musi? J，Zanchi V.Improved structured light 3D scanner with application to anthropometric parameter estimation[J]. Measurement(S0263-2241)，2013，46(1)：716-726.

[6]ZHAN Song，CHUNG Ronald，ZHANG Xiaoting.An Accurate and Robust Strip-Edge-Based Structured Light Means for Shiny Surface Micromeasurement in 3-D[J].IEEE Transactions on Industrial Electronics(S0278-0046)，2013，60(3)：1023-1032.

[7]Scharstein D，Szeliski R.High-accuracy stereo depth maps using structured light[C]//IEEE Computer Society Conference on Computer Vision&Pattern Recognition，Madison，Wisconsin，USA，June 16-22，2003：195-202.

[8]Tsai Ming-June，Hung Chuan-Cheng.Development of a high-precision surface metrology system using structured light projection[J].Measurement(S0263-2241)，2005，38(3)：236-247.

[9]于曉洋，吳海濱.基于Gray碼和線移條紋的結(jié)構(gòu)光3D測量技術(shù)[J].儀器儀表學(xué)報(bào)，2008，29(4)：701-704. YU Xiaoyang，WU Haibin.Structured-light-based 3D measurement technique using Gray code and line-shift fringe[J]. Chinese Journal of Scientific Instrument，2008，29(4)：701-704.

[10]徐德，譚民，李原.機(jī)器人視覺測量與控制[M].北京：國防工業(yè)出版社，2011：89-95. XU De，TAN Min，LI Yuan.Visual Measurement and Control for Robots[M].Beijing：National Defend Industry Press，2011：89-95.

[11]JongKyu Oh，Baek Kyeong Keun，Kim Daesik，et al.Development of Structured Light Based Bin–Picking System Using Primitive Models[C]//IEEE International Symposium on Assembly and Manufacturing，Seoul，Korea(South)，Nov 17-20，2009：46-52.

3D Measurement Based on Structured Light Using a Combination of Gray Code and Line-shift Patterns

SHIAijun，BAI Ruilin，TIAN Qinghua
(Key Laboratory of Advanced Process Control for Light Industry(Ministry of Education),Jiangnan University,Wuxi214122,Jiangsu,China)

In order to solve the problem of edge diffusion existing in binary patterns,an improved 3D measurement method based on structured light was proposed.Edges with pixel accuracy were obtained by adopting an optimized preprocessing approach according to pixel neighborhood relation and logic relation of images.Considering the influence of edge diffusion for edge detection,a line-shift strategy was applied which translated line-shift patterns symmetrically based on the centerline of the last Gray code pattern’s stripes.At same time,the width of line-shift stripes was equal to the minimum of Gray code stripes width and its direction was same as Gray code patterns’.Finally,codes of the whole-field were calculated by projecting vertical and horizontal patterns respectively.Experiments show that the relative error of reconstructing a plane is 0.07%and the reconstruction time is 5.41 s,which meets the accuracy and real-time demands. Applying this method in measuring surface of mixed targets,results prove that the proposed strategy has good adaptability of different parts.

3D measurement;structured light;Gray code;line-shift

TP24

A

10.3969/j.issn.1003-501X.2016.11.005

1003-501X(2016)11-0026-07

2016-05-12；

2016-07-13

江蘇高校優(yōu)勢學(xué)科建設(shè)工程資助項(xiàng)目(PAPD)；江蘇省產(chǎn)學(xué)研前瞻性聯(lián)合研究項(xiàng)目(BY2015019-38)

石愛軍(1992-)，男(漢族)，江蘇如皋人。碩士研究生，研究方向?yàn)闄C(jī)器視覺理論與應(yīng)用。E-mail:sajwuxi@163.com。

白瑞林(1955-)，男(蒙古族)，黑龍江雙城人。教授，博士生導(dǎo)師，主要研究機(jī)器視覺與機(jī)器人技術(shù)。E-mail:bairuilin@hotmail.com。