基于鄰域信息約束與自適應(yīng)窗口的立體匹配算法

賈克斌，杜奕伯

(1.北京工業(yè)大學(xué)信息學(xué)部，北京 100124； 2.先進(jìn)信息網(wǎng)絡(luò)北京實驗室，北京 100124；3.北京工業(yè)大學(xué)計算智能與智能系統(tǒng)北京市重點實驗室，北京 100124)

隨著機(jī)器人行業(yè)的迅猛發(fā)展, 計算機(jī)視覺技術(shù)作為一種交叉學(xué)科, 得到了廣泛的應(yīng)用. 從20世紀(jì)60年代起就涌現(xiàn)出大量成果并應(yīng)用于諸多領(lǐng)域中. 計算機(jī)視覺領(lǐng)域中的雙目立體匹配技術(shù)是當(dāng)下眾多學(xué)者研究的熱點之一. 其主要是模仿人眼視覺原理,通過使用搭建好的同一水平線上的雙目攝像機(jī)[1]對場景進(jìn)行拍攝,經(jīng)過立體校正后可以進(jìn)行場景三維信息的獲取. 近幾年, 有關(guān)雙目立體匹配的技術(shù)發(fā)展迅速, 隨著速度以及精度的不斷提高,應(yīng)用領(lǐng)域也在不斷的擴(kuò)大.

早在20世紀(jì)60年代, Marr等[2]首次將視覺計算理論與雙目立體匹配技術(shù)進(jìn)行結(jié)合, 開始了立體視覺的相關(guān)研究. 立體匹配的方法大致可以分為兩大類:局部匹配與全局匹配. Wang等[3]應(yīng)用的區(qū)域塊的匹配算法屬于局部區(qū)域匹配的方法, 主要采用合適的支持窗口計算左右視角圖像局部區(qū)域之間的匹配程度, 該算法實時性能較好, 但是獲取到的視差圖像誤匹配率較高. Roy等[4]應(yīng)用了一種基于圖優(yōu)化理論的全局匹配算法,將圖像進(jìn)行分割并應(yīng)用于立體匹配技術(shù)中. Yan等[5]針對圖像分割得到的信息, 建立了一個基于馬爾科夫隨機(jī)場的立體匹配模型, 通過該模型對代價的計算進(jìn)行約束. 尹傳歷等[6]對圖像通過顏色閾值進(jìn)行分割, 并對分割后的區(qū)域進(jìn)行擬合, 再通過最小化能量函數(shù)來優(yōu)化視差結(jié)果, 但用來分割顏色的閾值要求很嚴(yán)格, 容易造成過分割和欠分割的現(xiàn)象. Martull等[7]采用圖像分割的方法來達(dá)到圖像的全局匹配效果, 即首先對建立好的網(wǎng)絡(luò)圖構(gòu)建一個全局能量函數(shù),再用圖像分割的方法進(jìn)行能量函數(shù)最小化的求解, 從而生成較為稠密的視差圖像. 上述全局類的匹配方法能夠有效提高視差圖的精度, 但是會耗費大量時間, 不利于視差圖的實時獲取.

值得指出的是Zabih等[8]首次將一種非參數(shù)變換的方法——Rank與Census應(yīng)用到立體匹配當(dāng)中. 該方法可以保證其較高的匹配精度及算法的穩(wěn)定性, 但傳統(tǒng)的Census變換方法過度依賴中心像素值, 并且當(dāng)噪聲影響到中心像素本身時, 其匹配精度會大幅降低. 針對此類問題,眾多學(xué)者提出了相關(guān)的改進(jìn)算法. 范海瑞等[9]在初始代價計算階段加入了噪聲容限來獲取穩(wěn)定的代價, 降低了對噪聲的敏感性. Chang等[10]提出了一種mini-census立體匹配算法,在支持窗口中尋找6個像素點進(jìn)行Census變換. Humenberger等[11]在Census變換過程中, 舍棄了對區(qū)域內(nèi)所有點進(jìn)行判斷的操作, 只選取了分散的部分點進(jìn)行編碼, 從而節(jié)省了計算時間, 并通過多種優(yōu)化手段提高了圖像質(zhì)量. 當(dāng)下也有眾多學(xué)者在Census方法基礎(chǔ)上提出了不同的改進(jìn)算法. Beak等[12]將Census代價值與周圍像素梯度變化值相結(jié)合來計算初始代價. Guo等[13]在Census基礎(chǔ)上采用了半全局匹配算法, 降低了時間復(fù)雜度. Chai等[14]針對傳統(tǒng)絕對誤差和(sum of absolute differences,SAD)算法容易產(chǎn)生誤匹配的問題, 將Census算法與其相結(jié)合, 并在后處理階段采用二次線性插值與中值濾波的優(yōu)化方法提升了匹配精度. 但上述方法均未考慮噪聲對圖像的影響, 并且在匹配準(zhǔn)確率上的提升有限. 而針對代價聚合階段, 由于固定的支持窗口往往會影響匹配精度, 所以Zhang等[15]提出了基于十字交叉窗口的代價聚合方法, 通過像素之間的灰度與距離來限定窗口的大小. Mei等[16]分析了十字窗口代價聚合方法中顏色與空間閾值計算的不足,通過再次判斷確定十字窗口的臂長, 提高了在視差不連續(xù)區(qū)域的匹配精度, 但是此類方法并未將噪聲對算法的影響考慮進(jìn)去, 且固定閾值的設(shè)定仍會對匹配精確度產(chǎn)生影響. 在優(yōu)化階段, 劉鵬宇等[17]提出了一種改進(jìn)的自適應(yīng)中值濾波算法, 該方法可以對圖像中的噪聲或遮擋區(qū)域進(jìn)行很好的填充, 但是該方法在提高匹配準(zhǔn)確度方面貢獻(xiàn)不大.

因經(jīng)，本文采用一種基于鄰域信息約束的改進(jìn)Census立體匹配算法. 在代價計算階段, 采用窗口加權(quán)均值和的方式對中心像素進(jìn)行賦值, 根據(jù)窗口鄰域像素與中心像素的距離差值設(shè)定合適的閾值, 計算代價并與傳統(tǒng)Census代價進(jìn)行融合, 對結(jié)果進(jìn)行二次約束. 在代價聚合的過程中, 采用依循三約束條件的自適應(yīng)窗口構(gòu)建方法, 對初始代價值進(jìn)行聚合. 將固定顏色閾值改為根據(jù)距離而變化的可變閾值, 提升了代價聚合的準(zhǔn)確性, 并在構(gòu)建過程中引入了噪聲剔除策略. 該方法可以有效降低噪聲對結(jié)果的影響, 增強(qiáng)算法的魯棒性與準(zhǔn)確性. 最后，采用左右一致性檢測與區(qū)域投票相結(jié)合的方法對視差圖進(jìn)行優(yōu)化, 進(jìn)一步提高了匹配精度.

1 算法描述

1.1 傳統(tǒng)Census算法原理

傳統(tǒng)的Census立體匹配算法是一種基于局部的區(qū)域匹配算法,其主要原理是判斷支持窗口內(nèi)周圍像素與中心像素的大小,如果大于中心像素則標(biāo)記為1,反之則標(biāo)記為0. 具體公式如下:

(1)

式中：p為窗口的中心像素;p′為周圍像素；W(u,v)表示的是中心像素所在的支持窗口. 將鄰域像素逐一與中心像素比較后，得到一系列0、1的二進(jìn)制數(shù),并將其串聯(lián)為比特串,這些比特串從一定程度上代表了該局部區(qū)域的像素信息. 通過計算2個區(qū)域下生成的比特串的漢明距離,即可判斷這2個區(qū)域的相似性,并進(jìn)行匹配. 傳統(tǒng)Census變換算法的原理圖如圖1所示.

但是傳統(tǒng)的Census算法本身存在局限性,在非平滑區(qū)域, 周圍像素會產(chǎn)生較大變化, 僅將中心像素值與周圍灰度值進(jìn)行大小比較, 則會影響視差結(jié)果,容易產(chǎn)生誤匹配, 導(dǎo)致匹配精度下降. 如圖2所示, 雖然鄰域像素產(chǎn)生了較大變化, 但是比特串卻相同, 2個不同區(qū)域下的漢明距離相等, 這種情況往往存在于圖像的邊界處, 由像素的突變導(dǎo)致誤匹配的產(chǎn)生.

1.2 本文算法

通過分析傳統(tǒng)Census變換中存在的問題, 本文提出了一種基于鄰域信息約束與自適應(yīng)窗口的立體匹配算法, 其流程圖如圖3所示.

針對傳統(tǒng)Census算法對中心像素依賴性高的問題, 首先建立一個十字加權(quán)模板, 對窗口內(nèi)的中心像素進(jìn)行加權(quán)平均求和, 其主要遵循越靠近中心像素的點, 其像素值貢獻(xiàn)越大. 具體的十字加權(quán)模板如圖4所示, 通過加權(quán)的方式可以減少邊界突變對中心像素產(chǎn)生的影響, 將均值重新賦值給中心像素可以降低對中心像素的依賴性.

針對非平滑區(qū)域的誤匹配問題, 本文提出一種基于鄰域信息的二重約束算法. 在傳統(tǒng)的Census代價計算基礎(chǔ)上, 融合了新的代價，具體方法如下.

1) 計算支持窗口內(nèi)鄰域像素與中心像素的灰度差絕對值.

2) 將其與設(shè)定的合適閾值進(jìn)行比較，如果大于該閾值, 則標(biāo)記為0; 反之, 標(biāo)記為1.

3) 通過將所有鄰域像素進(jìn)行編碼, 可以得到代表該區(qū)域像素變化程度的二進(jìn)制比特串.

4) 對搜索的2個區(qū)域計算新的代價Cg, 即從區(qū)域變化相似度上來判斷是否匹配.

5) 將傳統(tǒng)的Census代價與新的代價進(jìn)行融合,具體公式如下:

(2)

式中:C(p,d)為融合后的計算代價；CCensus為傳統(tǒng)的Census代價；Cg為基于鄰域信息約束后計算的新代價值；fc(p,d)與fg(p,d)通過指數(shù)形式將計算的代價值映射到[0,1]區(qū)間內(nèi)；λ為控制異常值的經(jīng)驗參數(shù)；?是一個常量, 取值0～1, 其影響著2個代價的權(quán)重大小, 并根據(jù)圖像的灰度連續(xù)性來變化. 在非平滑區(qū)域,參數(shù)取較大值, 則Cg對區(qū)域的匹配性能產(chǎn)生更大的影響；反之,CCensus則分配更高的權(quán)重.?的大小與第2步中設(shè)定的閾值大小有關(guān), 本文閾值采用自適應(yīng)閾值的方法, 將支持窗口內(nèi)距離中心像素距離遠(yuǎn)的值設(shè)定一個較大的閾值, 距離近的區(qū)域則設(shè)定較小的閾值，再判斷整個窗口下大于閾值的像素個數(shù), 如果超過了總數(shù)的1/3, 認(rèn)定該區(qū)域為非平滑區(qū)域, 則設(shè)定較大的?值. 如圖5所示, 左圖為圖像局部區(qū)域內(nèi)的像素分布情況, 右圖為對應(yīng)的閾值分布情況. 將鄰域像素與中心像素進(jìn)行比較后, 再結(jié)合其當(dāng)下的閾值來進(jìn)行編碼. 圖中陰影區(qū)域表示大于閾值的像素分布, 并且其總數(shù)超過整個模板的1/3, 故認(rèn)為其為非平滑區(qū)域.

6) 通過傳統(tǒng)的Census代價與新計算的代價Cg,重新對局部區(qū)域進(jìn)行約束,并計算出初始視差值.

7) 代價聚合是立體匹配過程中關(guān)鍵的一步, 直接影響最終結(jié)果的精確度. 本文采用三約束自適應(yīng)窗口構(gòu)建法, 對窗口內(nèi)部所有的代價值進(jìn)行加和平均. 窗口構(gòu)建的約束條件如下:

(3)

式中:Dc、Ds分別表示像素p1與中心像素p的顏色差及距離差;τ1、τ2與L1、L2分別表示不同的顏色及距離閾值. 圖6為構(gòu)建的聚合窗口示例圖.

如圖6(a)所示，從p點開始分別向4個方向進(jìn)行延伸構(gòu)建.Dc(p1,p)<τ1和Dc(p1,p1+(1,0))<τ1表示如果p1與p點或p2與p1點的顏色差絕對值大于設(shè)定的閾值τ1, 則停止延伸.Ds(p1,p)

(4)

式中:τ3與τ4為新定義的閾值;l(p1,p)為像素p1與p點距離;β1與β2為經(jīng)驗參數(shù). 調(diào)節(jié)整體顏色閾值，則式(3)改為

(5)

8) 添加噪聲剔除策略, 根據(jù)步驟7), 每個像素點都對應(yīng)不同的交叉十字區(qū)域. 針對每個像素, 先構(gòu)建一個小型十字窗口, 如圖7灰色區(qū)域, 統(tǒng)計該灰色區(qū)域內(nèi)的像素最大值pmax、最小值pmin及中值pmid, 并判斷是否滿足pmin

pmin

若不滿足該條件, 則認(rèn)為該點為噪點, 有pxy=pmid. 由于前一階段已經(jīng)構(gòu)建好對應(yīng)的區(qū)域, 所以當(dāng)十字窗口的任一方向到達(dá)區(qū)域邊界時則停止延伸. 并且在每次延伸的過程中, 最多只會增添4個像素, 因此，只需單獨判斷這4個像素在整個序列中的位置, 如圖7中黑色區(qū)域. 針對每個像素與其對應(yīng)的十字區(qū)域都進(jìn)行上述操作, 能有效對噪聲進(jìn)行剔除.

9) 由于聚合后的視差圖中仍然存在著誤匹配現(xiàn)象, 所以需要對視差圖進(jìn)行精化操作. 本文在此階段采用左右一致性檢測與區(qū)域投票相結(jié)合的優(yōu)化操作. 首先采用左右一致性檢測來區(qū)分圖像中的遮擋點與誤匹配點. 針對遮擋點p, 分別向左右2個方向?qū)ふ业?個出現(xiàn)的非遮擋點, 記作pL、pR, 將兩者的最小值賦值給p點完成填充. 針對誤匹配點則采用區(qū)域投票的方式統(tǒng)計支持窗口區(qū)域內(nèi)所有像素點的灰度分布情況, 并選取出現(xiàn)次數(shù)最多的視差值來替代該點的視差值.

2 實驗結(jié)果與性能分析

為了驗證本文所提算法的有效性,選取了Middlebury網(wǎng)站平臺上的標(biāo)準(zhǔn)圖像進(jìn)行實驗. 實驗環(huán)境為:臺式PC機(jī), Intel(R) CoreTMi5-3470處理器, 操作系統(tǒng)為64位Win7系統(tǒng). 使用VisualStudio2012作為調(diào)試平臺, 并配置了Opencv2.4.9開源庫. 所用參數(shù)值如表1所示.

表1 各參數(shù)取值

為了驗證本文方法能夠降低圖像對高斯噪聲的敏感性，針對Middlebury平臺上的4幅標(biāo)準(zhǔn)圖像cones、teddy、tsukuba、venus分別加入標(biāo)準(zhǔn)差為0.5、2.0、5.0、8.0的高斯噪聲，并將本文方法與傳統(tǒng)算法進(jìn)行對比. 圖8為加入噪聲后的原始圖像, 從上到下圖像類型分別為cones、teddy、tsukuba、venus, 每一行從左到右加入的高斯噪聲標(biāo)準(zhǔn)差為0.5、2.0、5.0、8.0.

針對上述圖片, 分別采用傳統(tǒng)Census算法與本文所提方法進(jìn)行處理, 并將代價聚合后的圖片進(jìn)行峰值信噪比PSNR的計算, 根據(jù)PSNR的變化程度判斷算法對噪聲的敏感性. 如表2所示, 通過分析表中數(shù)據(jù)可知, 傳統(tǒng)Census算法在噪聲不斷加強(qiáng)的情況下, 其PSNR值下降速度明顯高于本文算法. 并在標(biāo)準(zhǔn)差為5.0、8.0時, 本文算法處理所得PSNR值基本不變, 客觀反映出本文算法能夠有效降低圖像對高斯噪聲的敏感性. 通過在上述4幅圖像中加入濃度為2%、5%、10%、15%的椒鹽噪聲, 分別判斷其在非遮擋區(qū)域的平均誤匹配率, 并與Mei等[16]所用自適應(yīng)窗口法進(jìn)行對比來驗證聚合算法的魯棒性, 對比結(jié)果如表3所示. 其中當(dāng)椒鹽噪聲濃度增大幅度較小時, 本文方法的平均誤匹配率變化不大, 隨著濃度的增大, 則會產(chǎn)生更多的誤匹配點, 但誤匹配率仍低于Mei等所提的自適應(yīng)窗口聚合算法. 由此證明了本文所提聚合算法對噪聲具有更好的魯棒性.

為了驗證本文算法的創(chuàng)新性, 先后對cones、tsukuba、teddy、venus四幅圖片進(jìn)行測試. 計算初始代價值, 并通過改進(jìn)的自適應(yīng)窗口進(jìn)行聚合, 將得到的結(jié)果圖與真實視差圖進(jìn)行比較, 獲取其在非遮擋區(qū)域的誤匹配圖并與傳統(tǒng)Census算法進(jìn)行對比, 對比結(jié)果如圖9所示. 第1列為標(biāo)準(zhǔn)左視角圖像, 從上到下分別為cones、tsukuba、teddy、venus；第2列為真實視差圖；第3列為Census算法經(jīng)過代價聚合后的視差圖像；第4列為在非遮擋區(qū)域與真實視差圖進(jìn)行比較后的誤匹配圖像, 其中紅色區(qū)域表示產(chǎn)生誤匹配的區(qū)域；第5列為本文算法經(jīng)過代價聚合后的圖像；最后1列表示本文算法的誤差圖. 由圖像可以直觀看出, 本文算法能夠有效降低傳統(tǒng)Census算法的誤匹配率, 并具有很好的結(jié)構(gòu)保持性能.

表2 不同高斯噪聲處理下的PSNR值(cones、teddy、tsukuba、venus)

表3 不同椒鹽噪聲濃度下非遮擋區(qū)域的平均誤匹配率

如圖10所示,第1排圖片是Census處理后的視差圖,第2排是用本文算法得到的視差圖. 由圖可直觀地觀察到, cones圖中的“峰尖”、 tsukuba圖中的“臺燈”以及teddy圖中的“桌角”相比于Census算法更好地保持了物體的結(jié)構(gòu)性. 為進(jìn)一步驗證本文算法的優(yōu)越性, 將本文算法與其他改進(jìn)算法在非遮擋區(qū)域誤匹配率進(jìn)行對比, 主要對比算法有

Census、mini-Census[10]、SG-CT[13]、mp-Census[18], 對比結(jié)果如表4所示. 其中本文算法的平均誤匹配率為4.72%, Census為25.13%, mini-Census、SG-CT與mp-Census的平均誤匹配率分別為7.18%、 6.92%、 6.53%. 通過對比表中數(shù)據(jù)可知, 本文算法能夠大幅提高傳統(tǒng)Census算法的匹配精準(zhǔn)度, 并相比于其他算法降低了誤匹配率.

本文繼續(xù)在聚合的基礎(chǔ)上增添了優(yōu)化方法, 圖11分別展示了針對4種類型圖片在優(yōu)化前后的對比效果. 第1列為原始左視角圖像; 第2列是真實視差圖像; 第3列為優(yōu)化前的視差圖; 第4列為優(yōu)化后的視差圖. 為驗證本文算法的可靠性, 將本文算法與其他經(jīng)典算法在非遮擋區(qū)域和全部區(qū)域分別進(jìn)行對比實驗,主要包括：文獻(xiàn)[9]算法、RTCensus[11]、 Seg-CT[12]、 SAD+CT[14]、 SAD-IGMCT[19]、 MI-nonpara[20]、 SGB[21]、AdaptAggrDP[22], 誤匹配率對比數(shù)據(jù)如表5所示. 表中信息從客觀上反映了優(yōu)化后的誤匹配率得到了進(jìn)一步降低. 本文算法的平均誤匹配率為4.06%,整體匹配性能優(yōu)于其他算法, 且比經(jīng)典算法SGB、AdaptAggrDP的匹配效果更好. 為了驗證本文算法的通用性, 選取Middlebury平臺上其他圖像中的4幅圖像進(jìn)行測試, 測試結(jié)果如圖12所示.

表4 不同算法在非遮擋區(qū)域的誤匹配率對比

第1列為左視角原圖；第2列為真實視差圖；第3列是本文算法所得視差圖. 從上到下圖像類別分別為: art(視差范圍0～80)、 baby1(視差范圍0～57)、 dolls(視差范圍0～80)、 books(視差范圍0～80).

3 結(jié)論

1) 本文針對傳統(tǒng)Census立體匹配算法存在著噪聲敏感性強(qiáng), 在圖像非平滑區(qū)域處更易出現(xiàn)誤匹配的問題, 提出了一種基于鄰域信息約束的立體匹配算法.

2) 對中心像素進(jìn)行鄰域加權(quán)平均賦值, 降低對中心像素的依賴性, 再將原始代價值與新計算的代價值進(jìn)行融合, 對視差值進(jìn)行二次約束. 通過構(gòu)建基于顏色變化的自適應(yīng)約束窗口對初始代價進(jìn)行聚合, 并在構(gòu)建過程引入了噪聲剔除策略, 提高了視差精度, 增強(qiáng)了算法的魯棒性.

3) 通過左右一致性檢測與區(qū)域投票相結(jié)合的視差精化方法對視差圖進(jìn)行后處理, 進(jìn)一步降低了圖像誤匹配率. 實驗結(jié)果表明: 本文方法能很好降低圖像對噪聲的敏感性，并大幅提高圖像的匹配精度.