結(jié)構(gòu)光條紋圖像分割方法

朱　真　杜軼誠　秦緒佳　陳勝男

(浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院　浙江 杭州 310023)

?

結(jié)構(gòu)光條紋圖像分割方法

朱真杜軼誠秦緒佳陳勝男

(浙江工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院浙江 杭州 310023)

結(jié)構(gòu)光視覺三維重建中，結(jié)構(gòu)光條紋分割與提取是關(guān)鍵。提出一種結(jié)構(gòu)光條紋分割方法，該方法首先采用多尺度Retinex算法對(duì)條紋圖像暗部細(xì)節(jié)進(jìn)行增強(qiáng)，然后使用K均值聚類算法對(duì)圖像的高光區(qū)域進(jìn)行檢測，并在圖像高光區(qū)域約束下提出基于最小偏態(tài)分布指標(biāo)的圖像分割技術(shù)，計(jì)算出高光區(qū)域和非高光區(qū)域兩個(gè)分割閾值；最后對(duì)處理后的圖像進(jìn)行雙閾值分割，獲得最終的條紋圖像分割結(jié)果。實(shí)驗(yàn)結(jié)果表明該方法能夠有效處理結(jié)構(gòu)光條紋圖像的分割。

條紋圖像多尺度RetinexK均值聚類條紋分割

0　引　言

基于結(jié)構(gòu)光投射的三維重建技術(shù)廣泛應(yīng)用于計(jì)算機(jī)視覺等領(lǐng)域，通過結(jié)構(gòu)光投射可以重構(gòu)出被測物體的三維幾何信息。結(jié)構(gòu)光根據(jù)投射的光束模式不同可分為點(diǎn)結(jié)構(gòu)光模式[1]、線結(jié)構(gòu)光模式[2]、多線結(jié)構(gòu)光模式[3]及網(wǎng)格結(jié)構(gòu)光模式等。由于該方法有著高精度、強(qiáng)實(shí)時(shí)性且易于提取光條圖像信息等特點(diǎn)，因此經(jīng)常被用于三維視覺檢測領(lǐng)域。結(jié)構(gòu)光視覺三維測量技術(shù)是基于光學(xué)三角原理是用與被測物體匹配的相應(yīng)模式的結(jié)構(gòu)光，在攝像機(jī)的拍攝下獲得變形光條圖像，這樣可以解決物體表面形貌測量、空問位置測量、三維運(yùn)動(dòng)信息獲取等許多在線測量的問題[4]。

在結(jié)構(gòu)光幾何重建及三維測量應(yīng)用中，結(jié)構(gòu)光條紋分割及中心的提取對(duì)重建或測量精度有著重要的影響。胡坤等利用高斯卷積遞歸確定光條紋各點(diǎn)的法線方向，再用泰勒級(jí)數(shù)獲得光條紋中心的亞像素位置[5]。熊會(huì)元等采用閾值分割確定條紋中心初始點(diǎn)和法線方向，計(jì)算條紋法向，最后在法線方向精確獲取光條紋中心[6]。近年來，對(duì)如何精確提取條紋中心線提出了一些新方法，如鄭鷺斌等提出一種基于輪廓關(guān)鍵點(diǎn)和能量中心優(yōu)化的條紋中心線精確提取方法[7]。賈衛(wèi)平等提出一種基于Hessian的多結(jié)構(gòu)光條紋亞像素中心提取方法[8]，提高了結(jié)構(gòu)光亞像素中心提取速度。

在基于多線結(jié)構(gòu)光模式下，由于拍攝條件的限制、被測物體表面顏色豐富以及光滑表面等情況下獲取的條紋圖像亮度往往不均勻，為后續(xù)的條紋提取帶來不便。通常的方法是對(duì)獲得的結(jié)構(gòu)光圖像進(jìn)行條紋增強(qiáng)處理，如秦緒佳等提出的HSV顏色空間下的結(jié)構(gòu)光條紋增強(qiáng)算法[9]，可實(shí)現(xiàn)結(jié)構(gòu)光圖像細(xì)節(jié)增強(qiáng)。還有采用方向場和頻率場約束進(jìn)行結(jié)構(gòu)光條紋進(jìn)行增強(qiáng)[10]。柴玉亭等采用頻域?yàn)V波法對(duì)圖像高光影響進(jìn)行了有效消除[11]，使條紋中心提取更精確。針對(duì)存在欠曝光、高光雙重影響的結(jié)構(gòu)光圖像，我們提出了一種先進(jìn)行MSRCR圖像增強(qiáng)，然后基于K-means的高光檢測方法和帶高光區(qū)域的結(jié)構(gòu)光條紋雙閾值分割方法。

1　多尺度Retinex暗部細(xì)節(jié)增強(qiáng)

1.1多尺度Retinex算法

Retinex[12]理論是Land在1963年提出的一種具有顏色恒常知覺的計(jì)算理論，它是基于人類視覺的亮度和對(duì)顏色的感知。Retinex理論指出物體的顏色是物體對(duì)長、中和短波的光線的反射能力決定，并不由反射光的強(qiáng)度值決定。因此Retinex算法將物體的顏色和亮度定義為由周圍環(huán)境顏色和亮度和物體的反射光兩部分構(gòu)成，從而通過對(duì)亮度間的比較獲得入射光分量且降低其質(zhì)量，最終分解出反射光分量，消除光照不均和其他影響，獲得良好的視覺效果，達(dá)到圖像增強(qiáng)的目的。

根據(jù)Retinex[12]理論，圖像I(x,y)可以表示成入射光分量和反射分量的乘積，公式如下：

R(x,y)=E(x,y)·I(x,y)

(1)

其中，E(x,y)表示像素點(diǎn)(x,y)處的入射光分量，由于其具有動(dòng)態(tài)壓縮性，所以E(x,y) 決定了動(dòng)態(tài)范圍的廣度。由于對(duì)數(shù)可以使乘除變?yōu)榧訙p，大大減少了計(jì)算復(fù)雜性且更直觀的可以表示，所以對(duì)式(1)兩求對(duì)數(shù)，得到式(2)如下：

log(I(x,y))=log(E(x,y))+log(R(x,y))

(2)

單尺度Retinex算法(SSR)是在Land提出的中心/環(huán)繞Retinex的基礎(chǔ)上發(fā)展起來的[13]。表示成如下公式：

log(Ri(x,y))=log(Ii(x,y))-log(Ii(x,y)*F(x,y))

(3)

(4)

F(x,y)為用高斯函數(shù)實(shí)現(xiàn)的中心/環(huán)繞函數(shù)，c為尺度常量,輸出圖像的色彩保真度隨c的增大而增大，動(dòng)態(tài)范圍壓縮結(jié)果則相反，通常尺度常量選擇30至80間。*表示卷積運(yùn)算符，而Ii(x,y)表示圖像I(x,y)處的第i個(gè)顏色通道上的值，Ri(x,y)表示反射光分量。

log(Fn(x,y)*Ii(x,y))}+b}

(5)

1.2暗部條紋增強(qiáng)實(shí)驗(yàn)結(jié)果

圖1　Retinex暗部細(xì)節(jié)增強(qiáng)

圖1(a)由于曝光不足，黑色條紋與被測物體顏色對(duì)比度不高，條紋難以分辨，增加了后續(xù)處理的難度。圖1(b)為使用MSRCR算法處理后的結(jié)果，處理之后的圖像亮度較(a)明顯提高，背景和目標(biāo)物清晰可辨，原來融入背景的光柵條紋信息也得到明顯增強(qiáng)，所以MSRCR算法能夠顯著提升結(jié)構(gòu)光圖像暗部區(qū)域細(xì)節(jié)。

2　結(jié)構(gòu)光條紋圖像分割算法

對(duì)于欠曝光、高光雙重影響的結(jié)構(gòu)光圖像條紋分割，本文算法處理流程如圖2所示。

圖2　結(jié)構(gòu)光條紋圖像分割算法流程圖

流程圖中三個(gè)關(guān)鍵步驟的具體處理過程如下：

(1) 采用第1節(jié)的MSRCR方法對(duì)結(jié)構(gòu)光條紋圖像進(jìn)行暗部細(xì)節(jié)增強(qiáng)；

(2) 采用K均值聚類算法對(duì)圖像的高光區(qū)域進(jìn)行檢測，獲得高光區(qū)域圖；

(3) 對(duì)暗部細(xì)節(jié)增強(qiáng)的圖像轉(zhuǎn)化成灰度圖像，在高光區(qū)域的約束下采用基于最小偏態(tài)指標(biāo)的圖像分割技對(duì)灰度圖像進(jìn)行閾值分割，得到最終的結(jié)構(gòu)光條紋圖像。

下面我們對(duì)圖像的高光區(qū)域檢測及基于最小偏態(tài)指標(biāo)的圖像分割方法進(jìn)行描述。

2.1K均值聚類的圖像高光區(qū)域檢測

大部分圖像總是存在高光部分，它是整個(gè)圖片中最亮的部分，不僅影響圖像細(xì)節(jié)處的觀察，更是對(duì)圖像處理的精度產(chǎn)生影響，如何去除高光已成為現(xiàn)實(shí)之需。

早期高光去除方式多以色度分析或光線極化分析方法為主，Wolff使用反射光的偏振性質(zhì)分離出反射光的高光部分和漫反射部分[15]；Nayar等人在Wolff的工作基礎(chǔ)上又考慮了圖像的顏色信息[16]；Sato引入時(shí)間-顏色空間，通過分析相同光源不同角度的圖像序列分離高光[17]。當(dāng)前的高光檢測方法主要以Shafer的雙色反射模型[18]為理論基礎(chǔ)。

以上這些方法都存在算法復(fù)雜、計(jì)算時(shí)間長等不足。本文提出一種較為簡單的高光去除方法，首先使用K均值聚類算法提取高光區(qū)域，然后采用最小偏態(tài)指標(biāo)的圖像分割技術(shù)來實(shí)現(xiàn)高光區(qū)域的分割。

K均值聚類算法是將給定的數(shù)據(jù)點(diǎn)通過某個(gè)距離函數(shù)將數(shù)據(jù)放入聚類數(shù)目K(由用戶定義)中，而在比較分析圖像信息的過程中，發(fā)現(xiàn)無論是漫反射分量的像素還是高光分量的像素都較為集中，而且前者的灰度值相之于后者較為小。因此，可以將漫反射分量和高光分量通過K均值聚類算法區(qū)分來或者歸到同一類來。K均值聚類算法進(jìn)行圖像高光區(qū)域檢測處理過程如下：

(1) 將顏色從RGB轉(zhuǎn)換為YUV格式，轉(zhuǎn)換公式為：

(6)

(2) 將Cdifu和Cspec分別設(shè)定為漫反射初始聚類中心和高光反射初始聚類中心。

(3) f(x,y)表示像素x,y對(duì)應(yīng)的亮度分量，分別計(jì)算到兩類聚類中心的值。DDiffuse表示各像素與漫反射聚類中心的距離，DSpecular表示各像素與高光聚類中心的距離。計(jì)算各像素灰度與聚類中心的距離。公式如下：

(7)

(4) 利用式(7)求出的到兩類的距離，將到漫反射聚類中心的距離大于高光反射聚類中心的像素對(duì)應(yīng)亮度分量求平均值，設(shè)定為下一次迭代的漫反射聚類中心；高光反射同理，得到式(8)。

(8)

(5) 如果當(dāng)前的迭代次數(shù)大于設(shè)定的最大迭代次數(shù)，或者聚類差值大于閾值，則分類結(jié)束。否則進(jìn)行下一次迭代，重復(fù)步驟(2)-(5)。

圖3給出了具有高光影響的圖像采用上述算法進(jìn)行高光區(qū)域檢測的結(jié)果。(b)、(d)分別是(a)、(c)使用K均值聚類算法提取高光區(qū)域的結(jié)果圖像，結(jié)果圖像中的黑色部分為漫反射區(qū)域，白色部分為高光反射區(qū)域。(a)是一個(gè)含有高光信息的球，其高光區(qū)域在(b)中已經(jīng)被識(shí)別出來，且(a)中高光區(qū)域中的原型突起物沒有產(chǎn)生高光反射，在(b)中也被很好的劃分在非高光區(qū)域。(c)是光柵條紋的花瓶瓶口部分存在高光反射的區(qū)域，其高光區(qū)域在(d)也被分割出來。因此，此算法可用于結(jié)構(gòu)光條紋圖像的高光檢測。

圖3　高光區(qū)域檢測結(jié)果

2.2高光區(qū)域約束的最小偏態(tài)指標(biāo)條紋分割

(9)

(10)

(11)

(12)

(13)

(14)

偏態(tài)指標(biāo)為：

K(t)=|k1(t)|+|k2(t)|

(15)

閾值計(jì)算公式為：

Tred=ArgMin[K(t)]t∈[0,G]

(16)

表面光滑物體的圖片通常存在高光區(qū)域，而高光區(qū)域會(huì)對(duì)目標(biāo)與背景的分離產(chǎn)生影響，直接采用并不能取得很好的效果。本文我們采用將高光部分和非高光部分分離且分別計(jì)算閾值的方法，來實(shí)現(xiàn)有效的目標(biāo)與背景分離。

首先采用2.2節(jié)的方法將圖像分離為高光Ωh與非高光區(qū)域Ωd；然后分別對(duì)高光區(qū)域和非高光區(qū)域利用最小偏態(tài)法計(jì)算閾值，得到高光區(qū)域的閾值TredΩh和非高光區(qū)域的閾值TredΩd。雙分割閾值計(jì)算公式如下：

(17)

獲得圖像高光區(qū)域和非高光區(qū)域的分割閾值后，分別對(duì)圖像高光區(qū)域和非高光區(qū)域采用不同的分割閾值進(jìn)行圖像二值化處理，得到最終的條紋分割結(jié)果。圖4(a)是花瓶瓶口部分存在高光反射的區(qū)域的光柵條紋圖像，圖4(b)為經(jīng)上述雙閾值處理后的條紋分割結(jié)果。從圖4可以看出，結(jié)構(gòu)光條紋得到有效的分割和提取。

圖4　高光區(qū)域約束的條紋圖像分割

3　實(shí)驗(yàn)結(jié)果與分析

本文算法在Visual Studio 2008集成開發(fā)環(huán)境上采用C++編程實(shí)現(xiàn)，實(shí)驗(yàn)運(yùn)行環(huán)境：CPU 2.4 GHz，內(nèi)存4 GB。

我們分別對(duì)金屬零件和陶瓷器件兩種不同材質(zhì)的物體的結(jié)構(gòu)光圖像進(jìn)行條紋分割，并與常用的分割方法進(jìn)行比較。由于金屬及陶瓷件表面光滑，會(huì)有高光區(qū)域，直接分割往往不能提取出高光區(qū)域的條紋結(jié)構(gòu)。本文方法不僅對(duì)圖像暗區(qū)域進(jìn)行了增強(qiáng)，而且對(duì)高光區(qū)域進(jìn)行了處理，從而獲得很好的分割結(jié)果。

圖5(a)和圖6(a)結(jié)構(gòu)光條紋圖像，原圖大小均為5412×7216，為便于中顯示清晰，本文中只截取了原圖的局部。圖5(b)和圖6(b)為本文經(jīng)MSRCR增強(qiáng)圖像。MSRCR增強(qiáng)圖像時(shí)，式(5)中參數(shù)G取1.0，b取0值, 為尺度個(gè)數(shù)N取3。G值取過大暗區(qū)域明顯增強(qiáng)但高光區(qū)域會(huì)增強(qiáng)過度，從而影響第2步高光區(qū)域檢測。圖5(c)和圖6(c)分別為圖5(a)和圖6(a)的局部放大圖，圖5(d)和圖6(d)分別為圖5(b)和圖6(b)的局部放大圖。圖5(e)和圖6(e)為本文方法分割結(jié)果。圖5(f)和圖6(f)為直接閾值分割結(jié)果，圖5(g)和圖6(g)圖采用自適應(yīng)閾值法(OTSU)的分割結(jié)果。

由實(shí)驗(yàn)結(jié)果可以看出，無論采用固定閾值還是采用自適應(yīng)閾值對(duì)原圖像進(jìn)行分割，均無法得到好的條紋分割結(jié)果。而本文方法由于分別考慮了圖像的暗區(qū)域和高光區(qū)域，并分別進(jìn)行了增強(qiáng)處理，可獲得較好的分割結(jié)果。

圖5　金屬零件結(jié)構(gòu)光條紋分割

圖6　陶瓷器結(jié)構(gòu)光條紋分割

圖7為我們采用結(jié)構(gòu)光進(jìn)行三維重建的金屬管接頭結(jié)構(gòu)光條紋分割實(shí)例。圖7(a)為結(jié)構(gòu)光原圖像，圖像大小為5412×7216，圖7(b)、(d)、(f)為圖7(a)中3個(gè)區(qū)域的局部放大圖。經(jīng)采用本文對(duì)圖像先進(jìn)行Retinex暗部增強(qiáng)，然后檢測高光區(qū)域并采用雙閾值分割，得到相應(yīng)的分割結(jié)果。MSRCR增強(qiáng)圖像時(shí)，式(5)中參數(shù)G取1.0，b取0值, 為尺度個(gè)數(shù)N取3。由于本文為增強(qiáng)結(jié)構(gòu)光圖像中的條紋，尺度常量取中間值50可得到好的效果。K均值聚類為區(qū)分前景與背景，K取2。為減少聚類迭代時(shí)間，最大迭代次數(shù)取20。

(a) 金屬管接頭結(jié)構(gòu)光圖像

圖7　結(jié)構(gòu)光條紋分割實(shí)例

4　結(jié)　語

針對(duì)基于結(jié)構(gòu)光三維重建中條紋圖像的條紋分割與提取問題,對(duì)條紋圖像存在欠曝光的暗區(qū)域和高光反射的過亮區(qū)域時(shí),傳統(tǒng)的分割方法難以獲得完整清晰的條紋,本文提出了一種新的結(jié)構(gòu)光條紋分割方法。該方法首先利用MSRCR算法使得暗部細(xì)節(jié)得到有效增強(qiáng),使條紋清晰可見，為圖像的欠曝部分的條紋提取提供了很好的解決方法。對(duì)因物體表面光滑存在高光反射時(shí),采用K均值聚類應(yīng)用于高光區(qū)域的檢測，且提出采用最小偏態(tài)法分別對(duì)高光區(qū)域和非高光區(qū)域計(jì)算閾值，高光與非高光區(qū)域分別用不同的閾值進(jìn)行分割,獲得較好的條紋分割結(jié)果。

[1] Riorx M. Laser range finder based upon synchronized scanners[J]. Applied Optics, 1984, 23(21):3837-3844.

[2] Will P M, Pennington K S. Grid coding: A novel technique for image processing[C]//Proceedings of the IEEE, 1972,60(6):669-680.

[3] Brown C M, Ambler A P, Crawford G F. Forming models of plane-and-cylinder faceted bodies from light stripes[C]//Proceedings of the 4th International Conference on Artificial Intelligence, 1975: 664-668.

[4] 周富強(qiáng)，陳強(qiáng)，張廣軍. 結(jié)構(gòu)光光條提取的混合圖像處理方法[J]. 光電子·激光，2008,19(11):1534-1537.

[5] 胡坤，周富強(qiáng)，張廣軍. 一種快速結(jié)構(gòu)光條紋中心亞像素精度提取方法[J]. 儀器儀表學(xué)報(bào)，2006,27(10):1326-1329.

[6] 熊會(huì)元，宗志堅(jiān)，陳承鶴．線結(jié)構(gòu)光條紋中心的全分辨率精確提取[J]光學(xué)精密工程，2009，17(5)：1057-1062.

[7] 鄭鷺斌, 王曉棟, 嚴(yán)菲．一種實(shí)時(shí)準(zhǔn)確的線結(jié)構(gòu)光條紋中心提取方法[J]. 廈門理工學(xué)院學(xué)報(bào), 2014,22(1):65-69.

[8] 賈衛(wèi)平, 王邦國. 基于Hessian矩陣的多結(jié)構(gòu)光條紋中心快速提取方法[J]. 大連大學(xué)學(xué)報(bào), 2014,35(6):34-37.

[9] 秦緒佳, 王慧玲, 杜軼誠,等. HSV色彩空間的Retinex結(jié)構(gòu)光圖像增強(qiáng)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2013,25(4):488-493.

[10] 秦緒佳, 徐玲玲, 杜軼誠,等. 方向場和頻率場約束的結(jié)構(gòu)光條紋圖像增強(qiáng)算法[J]. 計(jì)算機(jī)科學(xué), 2014,41(6):299-303.

[11] 柴玉亭, 王昭, 高建民,等.基于頻域?yàn)V波的高光去除方法[J]. 激光與光電子學(xué)進(jìn)展, 2013,50(5):131-139.

[12] Land E H．Recent advances in retinex theory and some implications for cortieal computations：color vision and the natural image[C]//Proceedings of the National Academy of Sciences of USA，1983，80(16)：5163-5169.

[13] Jobson D J，Rahman Z,Woodell G A．Properties and Performance of a Center/Surround Retinex[J]．IEEE Transactions on Image Processing，1997，6(3)：451-462.

[14] Jobson D J, Rahman Z, Woodell G A. A multiscale Retinex for bridging the gap between color images and the human observation of scences[J]. IEEE Transactions on Image Processing, 1997, 6(7):897-1056.

[15] Wolff L B.Using polarization to separate reflection components[C]//Proceedings of the IEEE Computer Vision and Pattern Recognition,1989:363-369.

[16] Nayar S K ,Fang X S, Boult T. Removal of specularities using color and polarization[C]//Proceedings of the IEEE Computer Vision and Pattern Recognition, New York，USA: IEEE Computer Society, 1993:583-590.

[17] Sato Y，IkeucIli K. Temporal color space analysis of reflection[J]．Journal of the optical Society of America A，1994，11(11)：2990-3002．

[18] Shafer S A．Using color to separate reflection components[J]．Color Research Application，1985,10(4)：210-218.

SEGMENTATION METHOD FOR STRUCTURED-LIGHT STRIPE IMAGE

Zhu ZhenDu YichengQin XujiaChen Shennan

(SchoolofComputerScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou310023,Zhejiang,China)

Segmenting and extracting structured light stripe is the key in 3D reconstruction of structured light vision. In this paper, we present a segmentation method for structured light stripe image. The method first uses multi-scale Retinex algorithm to enhance the details of darkness part of the stripe image, then uses k-means clustering algorithm for detecting the high-light areas of the image. We also proposed an image segmentation technique which is based on minimum bias-normal distribution index, at the constraints of image’s high-light area it calculates two segmentation thresholds for high-light areas and non-high-light areas. Finally, it makes dual thresholds segmentation on processed image and extracts the final segmentation result of stripe images. Experimental results show that this method can effectively deal with the segmentation of structured light stripe image.

Stripe imageMulti-scale RetinexK-means clusteringStriped segmentation

2015-03-31。國家自然科學(xué)基金項(xiàng)目(61303140)。朱真，本科生，主研領(lǐng)域：圖像處理。杜軼誠，碩士生。秦緒佳，教授。陳勝男，講師。

TP391

A

10.3969/j.issn.1000-386x.2016.08.046