基于三通道融合的結(jié)構(gòu)光中心條紋提取算法

周國平， 陳 聰， 肖可洋， 彭金華， 趙 艷， 祝振敏*

(1.江西省水利水電開發(fā)有限公司，江西 南昌 330029； 2.華東交通大學(xué) 電氣與自動化工程學(xué)院，江西 南昌 330013)

大壩形變測量是衡量大壩是否正常和運行安全的重要標(biāo)志,為大壩的安全維護和運行提供了可靠的依據(jù)[1]。結(jié)構(gòu)光測量能夠高效率、高精度采集大壩形變測量的數(shù)據(jù)，滿足形變監(jiān)測，達(dá)到各項指標(biāo)的要求[2]。其通過在目標(biāo)物體上自動投影光帶，有利于特征點的提取和匹配。但是光條有一定的寬度，特征點可以用中心線更精確地表示。因此，對結(jié)構(gòu)光中心條紋的提取是關(guān)鍵的一步。Perona等[3]提出了一種極值法，選擇條紋橫截面上灰度值最大的像素作為中心，這種方法雖然簡單高效，但只能提取像素級的條紋中心線，對噪聲敏感。文獻(xiàn)[4]提出的方向模板法和改進方向模板法可以有效地抑制噪聲，提取像素級的中心點，但由于互相關(guān)的存在，該方法的計算量較大。Sun等[5]提出了一種基于灰度矩陣和光滑樣條算法的魯棒中心提取算法，該算法基于條紋光強均勻分布的假設(shè)，但大多數(shù)激光器遵循高斯分布[6]。Goshtasby等[7]提出了一種基于高斯算子的拉普拉斯曲線擬合方法來檢測激光條紋中心，該方法假設(shè)條紋截面上的灰度值分布是對稱的，實際上，灰度分布通常是非對稱的。為了獲得更高的精度，亞像素中心提取方法受到越來越多的關(guān)注。最經(jīng)典的方法之一是Steger算法[8]，其最初是為醫(yī)學(xué)成像而設(shè)計的，但由于其具有高魯棒性和高精度的優(yōu)點，該方法逐漸成為激光條紋提取的常用方法之一[9]。在中心提取過程中，光條圖像中的所有像素都需要進行5次高斯卷積運算。為了在亞像素級提取中心點，需要求解Hessian矩陣的特征值和特征向量[10]。這個過程包含大量的計算，因此非常耗時。此外，很難確定條紋的第1點。Liu等[11]提出的圖像處理單元(Graphics Processing Unit,GPU)和江潔等[12]提出的可編程邏輯門序列(Field Programmable Gate Array,FPGA)方法也是以減少計算時間為目標(biāo)。然而，由于Steger算法高度依賴于這些算法中參數(shù)的設(shè)置，例如高斯核的標(biāo)準(zhǔn)差和特征值閾值[13]，因此，具有固定值參數(shù)的Steger算法不適用于不同寬度和噪聲幅度的光條。蔡懷宇等[14]提出了一種利用主成分分析估計條紋法線方向的方法，然后利用二階泰勒展開得到中心點的亞像素位置。這種方法也是基于高斯卷積運算，所以計算成本也比較高。Li等[15]提出了一種改進的灰度重心法，用于亞像素級提取激光條紋中心。針對上述問題，本文提出了一種三通道特征融合算法來提取條紋中心點。首先分別在Gabor、局部二值模式(Local Binary Patterns,LBP)以及方向梯度直方圖(Histogram of Oriented Gradient,HOG)這3種特征描述因子下得到光條紋的3種特征圖像，并融合這3種特征圖像以得到最終的光條紋特征圖像。最后對分割出的光條紋中存在的不連續(xù)區(qū)域進行灰度膨脹并通過骨架細(xì)化法得到光條紋的中心線，將其映射到原始的結(jié)構(gòu)光條紋圖像上。

1 三通道特征提取圖像融合

Gabor小波可以在不同方向和尺度上提取圖像的紋理信息。HOG特征中包含的邊緣梯度和方向密度可以表示淺色條紋的外觀和形狀。LBP用來描述物體局部紋理特征的算子形象，因具有旋轉(zhuǎn)不變性和灰度不變性，在描述圖像局部紋理特征方面具有一定的優(yōu)勢。

本文方法提出的三通道融合是指利用Gabor、LBP、HOG得到3幅光條特征圖像，并將這3種特征圖像定義為I_Gabor、I_HOG和I_LBP，融合這3種特征圖像可以得到最終的光條紋特征圖像I_final。最后對分割出的光條紋中存在的不連續(xù)區(qū)域進行灰度膨脹并通過骨架細(xì)化法得到光條紋的中心線，將其映射到原始的結(jié)構(gòu)光條紋圖像上。

1.1 Gabor光條特征提取

本文方法采用二維Gabor濾波器來完成第1通道特征提取。二維Gabor函數(shù)是由具有一定頻率和方向的正弦平面波組成的復(fù)正弦函數(shù)，然后被二維高斯函數(shù)調(diào)制。二維高斯函數(shù)為

(1)

式中:a、b、σx、σy和ρ均為常數(shù)，a、b分別為隨機變量x和y的均值，σx和σy為兩者的方差，ρ為兩者之間的相關(guān)系數(shù)，并設(shè)a、b和ρ等于零。所以，式(1)可轉(zhuǎn)化為式(2)。因此，二維Gabor函數(shù)的復(fù)數(shù)形式可以表示為式(3)。它的實部和虛部可以用式(4)表示。在式(4)中，λ為余弦因子的波長；θ為平行條紋的方向Gabor函數(shù)；ψ為相移；γ為空間長寬比，決定橢圓度對于Gabor函數(shù)的形狀；σ決定了高斯窗口寬度與高斯窗口寬度的比值波矢的長度。Gabor濾波器的半響應(yīng)空間帶寬濾波器與σ/λ之比有關(guān)，可用式(5)來表示。Gabor濾波器的實部是一個偶對稱濾波器，滿足由Rivera等[17]提出的要求，用其來獲取光條紋的特征。對于不同的帶寬和標(biāo)準(zhǔn)差得到的結(jié)構(gòu)光條紋特征圖像會有所不同，因此本文方法選取了幾組不同的σ取值和d取值，得到對應(yīng)的特征提取效果，如圖1所示。

(2)

(3)

(4)

(5)

圖1 基于σ和b的不同的特征提取

圖1(a)為采集到的原始結(jié)構(gòu)光條紋圖像，對應(yīng)于不同σ和d的組合，分別可得圖1(b)～圖1(f)這5種不同的條紋提取效果。由于d取值通常以1個倍頻為基礎(chǔ)，因此可簡化處理為1，同時與σ的比值為0.56。通過Gabor特征提取本文得到了光條紋的第1種特征圖像I_Gabor。

1.2 HOG光條特征提取

HOG特征中包含的邊緣梯度和方向密度可以表示淺色條紋的外觀和形狀。條紋中像素(x,y)的梯度可以用式(6)表示。

(6)

式中：Gx(x,y)和Gy(x,y)為像素在水平和垂直方上的梯度方向；I(x,y)為這些像素的灰度值，其梯度大小和方向如式(7)所示。

(7)

為了減弱光和噪聲的影響，需要對原始結(jié)構(gòu)光條紋圖像進行處理，首先通過式(8)所示的伽馬壓縮進行歸一化。在本文方法中，gamma=0.5。

Ig(x,y)=I(x,y)gamma

(8)

式中：Ig(x,y)為壓縮圖像。本文方法拍攝的結(jié)構(gòu)光條紋圖像尺寸為1200像素×1920像素。首先，8像素×8像素被定義為一個單元。然后將梯度方向劃分為9個單元。這個梯度方向只能確定像素所屬的倉，梯度大小可以確定此箱子中此像素的計數(shù)。通過加權(quán)每個像素可以得到方向梯度直方圖，如式(9)所示。

(9)

式中：Num為每個單元格中對應(yīng)于像素的梯度方向特征的計數(shù)。將2×2單元定義為塊，并使用8像素作為步驟的滑動窗口掃描光條紋圖像。在每個塊中，都可以得到它的HOG特性。將這些塊連接在一起，解決了整個圖像的特征?；贖OG的特征提取如圖2所示。

圖2 基于HOG的特征提取

此時，將結(jié)構(gòu)光的第2通道特征圖像定義為IHOG。

1.3 LBP光條特征提取

LBP用來描述物體局部紋理特征的算子形象，具有灰度不變性和旋轉(zhuǎn)特性。在一個3像素×3像素的正方形窗口中定義原始LBP算子，并將其灰度值相鄰像素與窗口的中心像素進行比較。這個固定的區(qū)域大小LBP無法適應(yīng)目標(biāo)圖像大小的變化。為此，筆者采用了一種非固定區(qū)域的圓形LBP算子。圖3為3種不同的LBP環(huán)。

圖3 3種不同的LBP環(huán)

圖3中，從左到右是采樣半徑和采樣次數(shù)不同的LBP算子樣品。變半徑LBP算子能較好地滿足紋理特征結(jié)構(gòu)光條紋圖像的不同大小和頻率。對于給定的中心點(xc，yc)，圓形區(qū)域中第p個像素的坐標(biāo)為

(10)

式中：R為采樣半徑;p為采樣點;P為采樣點總的個數(shù)。對于計算出的非整數(shù)像素值，采用插值的方法計算整數(shù)插值點來表示?？紤]到最初的LBP特征，利用圓形LBP算子提取結(jié)構(gòu)光條紋。提取效果如圖4所示。

圖4 基于LBP的特征提取

此時，將第3通道特征圖像定義為ILBP。

1.4 三通道特征融合圖像

三通道特征圖像用于獲得最終的光條紋特征。融合過程為

Ifinal=ω1·IHOG+ω2·IGabor+ω3·ILBP

(11)

式(11)表達(dá)了三通道圖像之間的關(guān)系，其中ω1=ω2=ω3=1，三通道特征融合過程如圖5所示。

圖5 三通道特征融合過程

為了從背景中分割出結(jié)構(gòu)光條紋，首先進行像素增強。其次，考慮圖像中的像素強度光條紋面積較大，通過多次實驗，80%的最大灰度值為從背景中分割光條紋的閾值。但是，不連續(xù)區(qū)域?qū)⒊霈F(xiàn)在分段條紋中。為此，應(yīng)用灰度展開算法來填充這些不連續(xù)的區(qū)域；然后采用骨架細(xì)化法，得到目標(biāo)的中心線條紋并將其映射到原始的結(jié)構(gòu)光圖像，如圖6所示。

圖6 光帶中心線提取過程

2 光條紋中心提取

結(jié)構(gòu)光條紋中心的提取技術(shù)分為兩類：基于幾何中心的方法和基于能量中心的方法。因為幾何中心法對噪聲敏感，所以該技術(shù)對光條紋的質(zhì)量要求高。由于沒有考慮光條的能量分布，因此應(yīng)用范圍有限。本文方法采用了基于Hessian矩陣的Steger算法來提取條紋中心，使得條紋邊緣檢測精度能夠達(dá)到亞像素級。Steger算法的實質(zhì)是求解光條紋區(qū)域中每個像素的Hessian矩陣。首先，在Hessian矩陣中求解條紋區(qū)域中每個像素的法線方向，然后在法線方向上的Taylor展開可以表示這些像素的子像素位置坐標(biāo)。任意像素(x,y)的Hessian矩陣可表示為

(12)

式中:H(I(x,y))為條紋區(qū)域中每個像素的Hessian矩陣；rxx，ryy，rxy分別為二階偏導(dǎo)數(shù)。在Hessian矩陣中，絕對值最大的特征值代表灰度圖像的二階導(dǎo)數(shù)。其特征向量決定了光條的法線方向(nx,ny)。通過求解Hessian矩陣，結(jié)合光條的基準(zhǔn)點，中心點計算公式為

(13)

當(dāng)(anx,any)∈[-0.5,0.5]×[-0.5,0.5]時，可以確定第1個等于零的導(dǎo)數(shù)處于正在操作的像素內(nèi)。同時，如果對應(yīng)于線方向(nx,ny)的二階方向?qū)?shù)大于給定的閾值，可由該閾值推導(dǎo)出中心點的亞像素坐標(biāo)(xc,yc)。

3 實驗設(shè)計與驗證

筆者采取3個實驗?zāi)K來驗證本文方法，分別是提取的光條平滑度分析、工件表面三維重建和工件尺寸測量。

3.1 實驗設(shè)計

首先采用雙目視覺系統(tǒng)驗證光條中心提取算法。由于左右圖像的特征匹配是完成三維立體重建的必要步驟，其精度直接影響重建和尺寸測量的結(jié)果，而傳統(tǒng)的特征點匹配技術(shù)應(yīng)用于傳統(tǒng)的立體測量技術(shù)中，與目標(biāo)物體的表面紋理關(guān)系密切，受環(huán)境光的影響較大。與傳統(tǒng)的立體測量技術(shù)不同，在結(jié)構(gòu)光視覺測量系統(tǒng)中，結(jié)構(gòu)光條紋上的中心點是特征點。因此，隨著特征點定位精度的提高，可以更好地完成工件的三維重建和尺寸測量。本實驗分析了基于SIFT特征匹配算法的三維重建效果和雙目視覺系統(tǒng)中的結(jié)構(gòu)光中心點匹配。利用匹配結(jié)果，可以得到兩幅視差圖，并結(jié)合雙目攝像機的內(nèi)外參數(shù)重建工件表面。雙目視覺測量系統(tǒng)如圖7所示。

圖7 雙目視覺測量系統(tǒng)

一個激光器和兩個攝像頭組成了一個基礎(chǔ)的雙目視覺系統(tǒng)。通過打開和關(guān)閉激光器，左右攝像頭可以捕捉帶有或不帶有結(jié)構(gòu)光條紋的工件圖像。在式(14)中表示了圖像像素坐標(biāo)(u,v)及其空間三維坐標(biāo)(XW,YW,ZW)的映射函數(shù)。

(14)

式中:R3×3為旋轉(zhuǎn)矩陣;T3×1為平移矩陣;bx和by分別為水平和垂直方向上的成像焦距;(u0,v0)為相機中心坐標(biāo)點。本文方法采用張氏標(biāo)定法計算攝像機參數(shù)。在沒有結(jié)構(gòu)光條紋的左右圖像中，使用SIFT算法進行立體匹配,得到匹配結(jié)果，如圖8所示。

圖8 基于SIFT的特征點匹配

由圖8可以看出，前景區(qū)域和背景區(qū)域之間出現(xiàn)了特征點不匹配，會影響三維重建和尺寸測量。結(jié)構(gòu)光技術(shù)的優(yōu)點是可以準(zhǔn)確定位特征點，從而減少特征點匹配的誤差。與SIFT算法相比，該方法的結(jié)構(gòu)光中心點匹配的準(zhǔn)確率更高，如圖9所示。

圖9 結(jié)構(gòu)光中心點匹配

對比圖8和圖9，結(jié)果表明結(jié)構(gòu)光中心點的匹配效果更好。根據(jù)匹配的結(jié)果能得到工件圖像的視差圖，可用于工件表面重建?；赟IFT的工件表面的三維重建效果如圖10所示。圖10中，O-xyz為世界坐標(biāo)系。

圖10 基于SIFT的工件表面三維重建效果圖

為了驗證結(jié)構(gòu)光技術(shù)的優(yōu)點，進行了基于SIFT的工件表面三維重構(gòu)和基于光技術(shù)的工件表面三維重構(gòu)兩個實驗。在圖10中，小區(qū)域中的3D點相對稀疏。這是SIFT算法的不匹配和工件表面紋理信息不足造成的。

結(jié)構(gòu)光技術(shù)通過在工件表面主動投射激光條紋可以獲得更多的特征點信息，其三維重建效果如圖11所示。與圖10相比，在傳統(tǒng)的雙目視覺系統(tǒng)中引入結(jié)構(gòu)光后，工件表面重建的三維點在同一區(qū)域明顯增加。

圖11 基于結(jié)構(gòu)光技術(shù)的工件表面三維重建效果圖

3.2 實驗分析

在該實驗中，中心線上相鄰像素的列坐標(biāo)之間的差異被用作評估提取的線結(jié)構(gòu)光的平滑度的基礎(chǔ)。圖12展示了本文算法和傳統(tǒng)Steger算法的結(jié)果及其局部放大圖像的對比。

圖12 基于兩種方法的光條中心線

由于工件表面光滑，線結(jié)構(gòu)光中心點之間的柱坐標(biāo)差可以作為評價提取結(jié)果的標(biāo)準(zhǔn)，如表1所示。

表1 線結(jié)構(gòu)光中心點之間的柱坐標(biāo)差

對表1的分析表明，相比于Steger算法，本文方法的最大列坐標(biāo)差為2像素，平均列坐標(biāo)差為0.069像素，相較于Steger算法的9像素和0.196像素，具有明顯的提升。為了進一步闡述本文方法的優(yōu)勢，采用以上兩種方法測量工件尺寸。

3.3 實驗驗證

為了比較Steger算法和本文方法提取光條中心的準(zhǔn)確性，將使用這兩種方法來完成工件的尺寸測量，標(biāo)準(zhǔn)尺寸為35 mm×100 mm。在本實驗中，為了全面評估測量精度，圖7中工件的長邊和短邊都將是測量的目標(biāo)。首先，通過三維重建的結(jié)果得到結(jié)構(gòu)光雙目視覺測量系統(tǒng)中每條邊上的點。表2和表3展示了工件長邊對應(yīng)的測量尺寸。分別計算左、右邊界上的點到左、右擬合邊的距離。

利用本文方法測量的長邊尺寸結(jié)果如表2所示。根據(jù)表2，左側(cè)點與擬合的右邊緣之間的平均距離為100.124 mm。類似地，右側(cè)點與擬合的左邊緣之間的平均距離為100.133 mm。根據(jù)兩次測量結(jié)果，長邊的尺寸為100.127 mm。同理，如表3所示，利用Steger算法測量的長邊尺寸為100.210 mm。與工件標(biāo)準(zhǔn)尺寸相比，本文方法的測量精度為0.127 mm，Steger為0.210 mm。

表4和表5展示了工件短邊對應(yīng)的測量距離。利用本文方法，上邊緣的點到下邊界的直線距離為34.898 mm，下邊緣的點到上邊界的直線距離為34.899 mm。因此使用本文方法測量短邊的精度為0.101 mm。同理，使用Steger算法得到短邊的測量精度為0.185 mm。

兩種方法的測量精度分析如表6所示。本文方法對工件尺寸的平均測量精度為0.114 mm，相較于Steger方法的0.197 mm，有著較為明顯的提升。綜上所述，本文方法不僅能夠更好地重構(gòu)工件表面，而且在尺寸測量方面也比Steger具有更高的精度。

表2 基于本文方法的長邊尺寸

表3 基于Steger的長邊尺寸

表4 基于本文方法的短邊尺寸

表5 基于Steger的短邊尺寸

表6 兩種方法的測量精度分析

4 結(jié)束語

壩體形貌測量常會遇到圖像噪聲等問題，在視覺測量過程中，這些問題會降低光條中心的提取精度。針對上述問題，首先，引入三通道特征融合方法以提取光條，然后，利用灰度擴展算法和細(xì)化骨架方法計算左右光條圖像的中心線。為了驗證該方法在表面三維重建和工件尺寸測量方面的優(yōu)勢，進行了提取光條平滑度的分析、工件表面三維重建和工件尺寸測量3個實驗。首先，在傳統(tǒng)的雙目視覺系統(tǒng)中，引入結(jié)構(gòu)光前后，工件表面重建的三維點明顯增加。然后，在工件表面三維重建和工件尺寸測量中，列坐標(biāo)首先比較線結(jié)構(gòu)之間的差異，以證明本文方法的優(yōu)點。該方法的最大和平均列坐標(biāo)差分別為2像素和0.069像素，Steger分別為9像素和0.196像素，為了進一步驗證該方法的優(yōu)勢，將工件的標(biāo)準(zhǔn)尺寸(35 mm×100 mm)與兩種方法測量的尺寸進行了比較。實驗結(jié)果表明，長邊和短邊的測量精度分別為0.127 mm和0.101 mm，Steger測量的長邊和短邊的精度分別為0.210 mm和0.185 mm，綜合考慮長邊和短邊的測量精度為0.114 mm,高于Steger的0.197 mm。經(jīng)過上述研究，運用本文方法進行壩體視覺測量的魯棒性和精度得到了顯著的提高。