圖像紋理高強(qiáng)度分布的約束隨機(jī)編碼方法

高慶吉，彭傳波，方 榕

（中國(guó)民航大學(xué)電子信息與自動(dòng)化學(xué)院，天津 300300）

在自助行李托運(yùn)和自動(dòng)行李分揀系統(tǒng)中，需要檢測(cè)行李的規(guī)格，包括外觀、尺寸、件數(shù)、形狀等，以便區(qū)分超規(guī)行李，拒絕托運(yùn)形狀不合規(guī)行李。

常用的航空行李三維檢測(cè)方法有單目圖像序列光流法、光電開(kāi)關(guān)和光幕探測(cè)法、立體視覺(jué)法、激光雷達(dá)三維成像法等，其中：?jiǎn)文繄D像序列光流法對(duì)于光照變化、大位移運(yùn)動(dòng)等的光流計(jì)算結(jié)果較差[1]；光電開(kāi)關(guān)和光幕探測(cè)法的精度不足，工業(yè)級(jí)的激光三維成像系統(tǒng)測(cè)量復(fù)雜大型物體時(shí)，測(cè)量機(jī)位點(diǎn)的布置設(shè)計(jì)是準(zhǔn)確詳實(shí)獲取數(shù)據(jù)的關(guān)鍵技術(shù)[2]，但是對(duì)于數(shù)據(jù)配準(zhǔn)仍無(wú)合適的解決方案；手持式三維掃描設(shè)備生成的模型紋理分辨率不夠且部分區(qū)域存在高光、陰影及明暗變化的問(wèn)題[3]。

立體視覺(jué)法具有大視場(chǎng)、非接觸、信息豐富及高精度等優(yōu)點(diǎn)[4]，但基于傳統(tǒng)的立體視覺(jué)法在自然光照條件下對(duì)于純色或紋理特征不明顯的航空行李很難進(jìn)行可靠的立體匹配和三維建模。為了增加被測(cè)物體表面的紋理特征，一般采用投影儀在目標(biāo)表面投影柵格圖案的方法來(lái)增加立體匹配的精度和可靠性，而投影模型的研究是近年來(lái)的一個(gè)熱點(diǎn)。

徐嬋嬋等[5]采用鄰域直方圖匹配的矢量進(jìn)行紋理合成，有較好的應(yīng)用意義；Xu 等[6]和Liu 等[7]采用投影激光點(diǎn)陣增強(qiáng)檢測(cè)目標(biāo)表面的紋理質(zhì)量，并得到目標(biāo)的稀疏點(diǎn)云模型；Yu 等[8]利用在被測(cè)物體上投影格雷碼的方法進(jìn)行物體表面的三維重建，其重建精度較高，適用于測(cè)量靜態(tài)物體[9]；劉巍等[10]采用基于彩色編碼的空間域編碼方法，把所有編碼信息集中在一幅圖像上，采用一個(gè)投影儀和一個(gè)攝像機(jī)進(jìn)行被測(cè)物體表面的三維重建，可以實(shí)時(shí)在線檢測(cè)，由于該編碼方法在盡可能少的編碼圖案中融入更豐富的編碼信息，對(duì)物體表面的連續(xù)性有很高的要求。

基于上述文獻(xiàn)的啟發(fā)，提出了一種隨機(jī)約束編碼的投影圖像生成算法。首先，根據(jù)立體匹配算法的搜索策略及代價(jià)聚合的計(jì)算方法，設(shè)計(jì)了投影圖像像素編碼規(guī)則，形成高強(qiáng)度的紋理分布圖像；然后，使用編碼后的圖像對(duì)弱紋理航空行李表面進(jìn)行主動(dòng)投影，采用半全局立體匹配算法完成行李表面的三維重建。實(shí)驗(yàn)證明，該約束隨機(jī)編碼圖像能夠顯著提高立體匹配的可靠性和三維重建的精度。

1 立體匹配算法

立體匹配通過(guò)尋找左右兩幅圖像中來(lái)自同一個(gè)空間點(diǎn)投影而成的特征點(diǎn)，構(gòu)建兩特征點(diǎn)的空間關(guān)系，從而對(duì)場(chǎng)景進(jìn)行三維重建。半全局立體匹配（SGM，semi-global matching）算法[11]是應(yīng)用于計(jì)算機(jī)雙目視覺(jué)的半全局匹配算法，通過(guò)代計(jì)算、代價(jià)聚合兩個(gè)關(guān)鍵步驟，在一維方向上搜索左右圖像中相同的特征點(diǎn)，并設(shè)置了一個(gè)全局能量函數(shù)，尋找使得能量函數(shù)最小化的視差d，以達(dá)到求解每個(gè)像素最優(yōu)視差的目的，視差圖的能量函數(shù)定義為

其中，E（D）由3 部分構(gòu)成：第1 部分C（p，Dp）指該像素的視差為Dp時(shí)的匹配代價(jià)；第2 部分P1是一個(gè)懲罰系數(shù)，T[ ]用于對(duì)p的鄰域與p 像素的視差值為1的像素進(jìn)行懲罰；第3 部分P2是另一個(gè)懲罰系數(shù)，T[ ]用于對(duì)p的領(lǐng)域與p 像素的視差值大于1的像素進(jìn)行懲罰。

這樣立體匹配問(wèn)題就可以轉(zhuǎn)換成尋找使得能量函數(shù)最小的視差問(wèn)題，能量函數(shù)在二維圖像中尋找最優(yōu)解是一個(gè)NP-complete 問(wèn)題[12]，因此可分解為8

個(gè)一維問(wèn)題，每個(gè)一維問(wèn)題都可以使用動(dòng)態(tài)規(guī)劃算法求解。

2 約束隨機(jī)編碼模型

2.1 約束條件

從SGM的能量函數(shù)計(jì)算方法可知，其立體匹配算法從8個(gè)一維方向搜索，找到使得能量函數(shù)最小的視差值。像素p的能量函數(shù)不僅與自身有關(guān)，還與其8個(gè)鄰域像素的能量值有關(guān)，因此，設(shè)計(jì)一種基于8 鄰域編碼投影模型，使得每個(gè)像素及其鄰域能量被唯一標(biāo)識(shí)。

在許多情況下，由于物體的遮擋及物體的不連續(xù)性使得該像素不可見(jiàn)時(shí)，可利用該像素周?chē)?個(gè)像素的能量值來(lái)唯一判斷出該像素[13]。由于每個(gè)像素及其8 鄰域內(nèi)的編碼是唯一確定的，所以減小了在立體匹配中找到左右圖像相同或相近的特征點(diǎn)的困難。SGM 算法基于移動(dòng)窗口來(lái)尋找左右圖像中相同的特征點(diǎn)，這樣會(huì)使得匹配效率增加。

令P = {p1，p2，…，pn}，p∈（0，255），pn表示每個(gè)像素的能量值。這些能量值構(gòu)成了一個(gè)m×n的矩陣M，這個(gè)矩陣M 就是約束隨機(jī)編碼模型矩陣。定義一維矩陣，矩陣的位置由下標(biāo)（i，j）唯一確定，即

wij由該像素及8個(gè)鄰域像素組成，8 鄰域共分成4個(gè)方向（左右、上下和兩對(duì)角線）如圖1所示。

圖1 wij 向量元素位置示意圖Fig.1 wij vector element position diagram

每個(gè)像素與其周?chē)?個(gè)像素的能量值都不相同，且根據(jù)能量絕對(duì)值之差，可設(shè)定閾值h，閾值h 越大，該像素與周?chē)袼氐哪芰坎钪翟酱螅傻眉s束隨機(jī)編碼矩陣M的構(gòu)造方式為

其中，M的約束條件為

上述約束條件保證了該像素及其8個(gè)鄰域像素能量值的唯一性，在8個(gè)方向上搜索左右兩幅圖像上同一個(gè)像素及其鄰域的能量差值最小。

2.2 約束隨機(jī)編碼的生成方法

首先，設(shè)置編碼模型的高度和寬度，這決定生成約束隨機(jī)編碼投影模型的大小。編碼矩陣按照行的順序依次產(chǎn)生，每次利用隨機(jī)算法產(chǎn)生一個(gè)像素的能量值，之后每個(gè)新的像素能量值都會(huì)與前面已經(jīng)存在像素能量值按照編碼規(guī)則進(jìn)行能量差值運(yùn)算，且差值≥h，如果不滿足閾值的要求，再次調(diào)用隨機(jī)算法產(chǎn)生新的能量值，重新進(jìn)行運(yùn)算，直到產(chǎn)生滿足閾值要求的能量值為止。

1）第1 行編碼序列

其中：xij表示每個(gè)像素能量值的大小，xij∈（0，255）；n表示第1 行像素的個(gè)數(shù)（與設(shè)定的寬度有關(guān)），1≤n≤width。第1 行的像素只需與前1個(gè)像素進(jìn)行運(yùn)算，如圖2所示（箭頭指向的兩個(gè)像素作差值運(yùn)算）。且滿足：

圖2 第1 行約束隨機(jī)編碼示意圖Fig.2 Constrained random coding in Line One

2）第2 行編碼序列

第2 行第1個(gè)編碼單位調(diào)用隨機(jī)算法的生成不需要與任何編碼單位進(jìn)行能量差值運(yùn)算，第2 行編碼序列的第2個(gè)單位編碼需要與4個(gè)編碼單位進(jìn)行差值運(yùn)算，第3個(gè)單位編碼需要與5個(gè)編碼單位進(jìn)行差值運(yùn)算，以此類(lèi)推，最后1個(gè)單位編碼需要與4個(gè)編碼單位進(jìn)行差值運(yùn)算，如圖3所示。

3）第3 行編碼序列

圖3 第2 行約束隨機(jī)編碼示意圖Fig.3 Constraint random coding in Line Two

第3 行的第1個(gè)單位編碼需要與2個(gè)編碼單位進(jìn)行差值運(yùn)算；第2個(gè)編碼單位需要與6個(gè)編碼單位進(jìn)行差值運(yùn)算，如圖4（a）所示；第3 行第3個(gè)單位編碼需要與周?chē)?個(gè)編碼單位進(jìn)行差值運(yùn)算；以此類(lèi)推第3 行最后1個(gè)單位編碼需要與6 編碼單位進(jìn)行差值運(yùn)算，如圖4（b）所示。

圖4 第3 行約束隨機(jī)編碼示意圖Fig.4 Constrained random coding in Line Three

第4 行到最后1 行的編碼類(lèi)似第3 行，當(dāng)所有行的編碼完成之后激光投影編碼模型就可以生成了，最終生成約束隨機(jī)編碼模型。

3 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)在PC 機(jī)上實(shí)現(xiàn)，主要配置是：Inter（R）Core（TM）i7-4790 K CPU，4.00 GHz 主頻，8.00 G 內(nèi)存，Window10 操作系統(tǒng)。立體視覺(jué)的硬件組成包括筆記本電腦及雙目立體視覺(jué)相機(jī)。雙目立體視覺(jué)相機(jī)由兩臺(tái)Basler dart（daA1280-54uc）工業(yè)相機(jī)組成，圖像分辨率為1 280×960。兩臺(tái)立體視覺(jué)相機(jī)平行放置，剛性固聯(lián)，設(shè)定基線（可調(diào)）為100 mm；相機(jī)鏡頭采用Basler 原裝C 口鏡頭，8 mm 固定焦距，分辨率為500萬(wàn)像素。自助行李托運(yùn)系統(tǒng)在室內(nèi)環(huán)境下運(yùn)行，光照比較穩(wěn)定，左右相機(jī)采集的圖像光照差異較小，但是相比室外的環(huán)境，弱紋理特征會(huì)更加突出。

立體視覺(jué)實(shí)驗(yàn)平臺(tái)如圖5所示，雙目相機(jī)與水平方向的夾角為30°，約束隨機(jī)編碼的投影裝置安裝在雙目相機(jī)的下方，與相機(jī)夾角相同，相機(jī)安裝高度距離自助行李托運(yùn)系統(tǒng)的傳送帶上表面1.2 m。

在實(shí)驗(yàn)中首先進(jìn)行了在自然光照條件下的立體匹配實(shí)驗(yàn)，如表1所示。由自然光照下生成的視差圖可知，對(duì)于純色或弱紋理的航空行李對(duì)象，SGM 算法存在極大的誤匹配和無(wú)法匹配的現(xiàn)象，因此若要得到完整的行李視差圖，必須對(duì)這種對(duì)象進(jìn)行紋理增強(qiáng)。在表1的對(duì)比實(shí)驗(yàn)中，采用了立體視覺(jué)中常用的紋理增強(qiáng)方法（激光點(diǎn)陣投影，隨機(jī)數(shù)字散斑投影，靜態(tài)光柵投影）得到行李對(duì)象的視差圖，并對(duì)不同紋理增強(qiáng)方法得到視差圖進(jìn)行分析。

圖5 雙目立體視覺(jué)實(shí)驗(yàn)平臺(tái)Fig.5 Binocular stereo vision experiment platform

表1 不同紋理增強(qiáng)方法對(duì)比實(shí)驗(yàn)Tab.1 Comparing experiment of different texture enhancement methods

為了驗(yàn)證約束編碼模型弱紋理對(duì)象立體匹配的魯棒性，在室內(nèi)采集了包括自然光照、激光點(diǎn)陣投影、隨機(jī)數(shù)字散斑投影及約束隨機(jī)編碼投影得到的視差圖進(jìn)行匹配的正確率進(jìn)行統(tǒng)計(jì)。圖6 是通過(guò)立體匹配得到稠密視差圖而統(tǒng)計(jì)出的無(wú)法匹配、正確匹配及誤匹配的像素個(gè)數(shù)分布直方圖（像素的灰度值在0～85認(rèn)為是無(wú)法匹配、86～170為正確匹配；171～255為誤匹配）。

圖6 視差圖灰度值分布Fig.6 Gray value distribution of disparity map

從圖6 中明顯可看出，基于約束隨機(jī)編碼模型正確匹配的概率最高、誤匹配率最低，隨機(jī)數(shù)字散斑次之，然后是激光點(diǎn)陣，在自然光照條件下正確匹配的概率最低。

紋理質(zhì)量是立體視覺(jué)狀態(tài)檢測(cè)研究的核心技術(shù)，在工業(yè)生產(chǎn)領(lǐng)域起著重要的作用[14]，較高的紋理質(zhì)量可以大幅提高立體匹配的質(zhì)量。

積分灰度方差是能夠反映圖像紋理質(zhì)量的評(píng)價(jià)依據(jù)[15]，一個(gè)窗口內(nèi)的灰度值方差可表示為

通過(guò)平面測(cè)量的方法對(duì)比實(shí)驗(yàn)分析約束隨機(jī)編碼模型下航空行李三維重建的精度。在實(shí)驗(yàn)中選擇不同顏色和不同形狀的航空行李進(jìn)行多次測(cè)量取平均值作為航空行李的真實(shí)測(cè)量值，以三維重建之后的點(diǎn)云到擬合平面距離最大值作為三維重建的精度值進(jìn)行誤差計(jì)算[16]，結(jié)果如表2所示。

圖7 積分灰度方差Fig.7 Integrated gray scale variance

表2 行李箱三維重建測(cè)量精度Tab.2 3D reconstruction measurement accuracy of baggage

從表2 中可知，約束隨機(jī)編碼投影誤差比為0.43%，遠(yuǎn)低于隨機(jī)數(shù)字散斑投影方式和激光點(diǎn)陣投影方式，可顯著提高弱紋理行李對(duì)象立體匹配的可靠性和三維重建精度。

4 結(jié)語(yǔ)

為了解決弱紋理行李對(duì)象的三維建模困難問(wèn)題，研究了一種隨機(jī)約束編碼的投影圖像生成算法。設(shè)計(jì)了投影圖像像素編碼規(guī)則，建立了投影與目標(biāo)混合圖像位置像素局部唯一性約束下的計(jì)算方法，形成高強(qiáng)度的紋理分布圖像；使用編碼后的圖像對(duì)弱紋理航空行李進(jìn)行了主動(dòng)投影，采用半全局立體匹配算法完成行李表面的三維重建。由實(shí)驗(yàn)結(jié)果可知，該約束隨機(jī)編碼模型可顯著增強(qiáng)雙目立體視覺(jué)系統(tǒng)中立體匹配可靠性和三維重建的精度，可用于行李適運(yùn)性檢測(cè)。