基于改進(jìn)Census變換和網(wǎng)狀聚合的立體匹配方法

劉爽 陳德運(yùn)

摘要：為了獲得連續(xù)稠密的視差圖像，提出了一種基于改進(jìn)Census變換和網(wǎng)狀代價聚合的立體匹配方法。在初始匹配代價計算中，用灰度排序剔除極值的方法獲取參考像素，改善Census變換對于亮度差異的抑制效果。在代價聚合計算中，采用SLIC超像素分割方法對圖像進(jìn)行區(qū)域劃分，在區(qū)域內(nèi)按照網(wǎng)狀搜索去尋找鄰域像素，并根據(jù)鄰域像素距離待匹配像素的遠(yuǎn)近配置權(quán)重，完成待匹配像素的代價聚合。實(shí)驗(yàn)結(jié)果表明，提出算法計算出的視差圖像，壞像素比例低、視差連續(xù)而稠密，其性能與Middlebury平臺上排名第一的Locamxp算法接近。

關(guān)鍵詞：稠密視差圖像;立體匹配;Census變換;網(wǎng)狀聚合

DOI：10.15938/j.jhust.2020.02.004

中圖分類號：TP391文獻(xiàn)標(biāo)志碼：A 文章編號：1007-2683（2020）02-0025-06

0 引言

Daniel將稠密視差圖像的計算方法劃分成四個階段，初始匹配代價計算、代價聚合、視差計算、視差優(yōu)化。其中，初始匹配代價求取的準(zhǔn)確性、代價聚合的可靠性，對于整個立體匹配方法具有決定性影響。

起初，初始匹配代價計算廣泛采用了像素灰度相似性作為是否匹配的判斷依據(jù)。但是像素灰度對于光照因素過于敏感，導(dǎo)致光照不均勻時匹配代價計算不準(zhǔn)確。為此，Hirshmuller提出了運(yùn)用Cen。SUS變換算子計算初始匹配代價的思路。Census變換算子確實(shí)具有明顯的光照魯棒性，但過于依賴于變換區(qū)域中心像素的準(zhǔn)確性。因此，只有保障中心像素信息的準(zhǔn)確性，才能保證初始匹配代價計算的準(zhǔn)確性。

對于局部匹配算法而言，代價聚合是提升整個算法匹配精度的最重要手段。在代價聚合的研究工作中，最早出現(xiàn)的是矩形窗口。但矩形窗口的形狀是固定的，在圖像上的漫游過程中也容易將噪聲像素納入聚合體系，從而導(dǎo)致代價聚合結(jié)果的不準(zhǔn)確。為此，Zhang提出了一種十字形交叉聚合窗口，并根據(jù)其它像素和中心像素的顏色相關(guān)性、空間距離相關(guān)性，靈活地調(diào)整調(diào)整窗口的大小，以盡可能剔除聚合窗口中的噪聲干擾。Cheng根據(jù)各像素初始匹配代價的關(guān)聯(lián)性，構(gòu)建了一個交叉樹狀的聚合結(jié)構(gòu)，這個交叉樹由水平樹和垂直樹構(gòu)成，進(jìn)而結(jié)合區(qū)域邊緣約束實(shí)現(xiàn)了更加準(zhǔn)確的匹配。Li將最小生成樹方法和3D標(biāo)簽技術(shù)結(jié)合起來，設(shè)計了一種3D代價最小樹隨機(jī)搜索策略，實(shí)現(xiàn)了快速而有效的代價聚合。

本文在Middlebury框架的基礎(chǔ)上，在初始匹配代價計算和代價聚合階段提出新的方案，構(gòu)建出一種新的立體匹配方法以獲得更加理想的稠密視差圖像。

1 提出的立體匹配方法

1.1 改進(jìn)Census變換計算初始匹配代價

以像素灰度作為依據(jù)來計算匹配代價，對于光照條件非常敏感。如果立體視覺傳感器中兩個像機(jī)接收的光強(qiáng)不一致，就容易形成立體圖像對中左右兩個圖像的亮度差異較大，導(dǎo)致匹配代價計算出現(xiàn)較大誤差。因此，本文選擇了對光照條件更為魯棒的Census變換方法，來完成初始匹配代價的計算。但是Census變換對參考像素比較敏感，如果參考像素受到了噪聲污染，就容易導(dǎo)致匹配代價計算的不準(zhǔn)確。為此，本文建立一個新的流程來確定參考像素，以提升其對噪聲的敏感性。

以一個3*3的窗口為例，參考像素值確定的方法如圖1所示。

圖1中，P_{0]為要計算初始匹配代價的像素，Pi（i=1，2，…，8）為像素P0的鄰域像素。首先，按照像素位置將8個鄰域像素進(jìn)行排列。其次，根據(jù)像素灰度值的大小調(diào)整8個像素的位置關(guān)系。再次，去掉8個像素中的灰度值最小像素和灰度值最大像素。最后，以剩余6個像素的灰度平均值作為參考像素的灰度值。}

接下來，按照Census變換方法的流程，計算P_o的初始匹配代價。

計算變換窗口內(nèi)的比特串，處理如下：

式中：B（P₀）為以P₀為待處理像素計算出的Bit串，G_A對應(yīng)于圖2中的參考像素灰度;P_i代表像素P₀的鄰域像素;C（只）代表鄰域像素的灰度;×表示按位連接的操作。

按照式（1）的方法，分別計算立體圖像對中左右圖像對應(yīng)的Bit串，可得B_L（P₀）、B_R（P₀）。B_L（P₀）表示左圖像的Bit串，B_R（P₀）表示右圖像的Bit串。進(jìn)而在搜索視差范圍的約束下，可以計算出像素P₀的初始匹配代價，如下：

C（Po，d）=Hamming[B_L（Po），B_R（P₀+d）] （2）式中：d為搜索視差;Hamming[·]為漢明距離;C（P₀，d）為像素P₀的初始匹配代價。

1.2 基于網(wǎng)狀搜索的代價聚合

代價聚合，是將待匹配像素及其周圍鄰域像素的初始匹配代價進(jìn)行聚合，以增強(qiáng)待匹配像素匹配代價的可信度。在立體匹配算法發(fā)展的早期階段，固定大小的矩形窗口是普遍使用的聚合窗口。但是，矩形窗口內(nèi)的鄰域像素，有的可能和帶匹配像素缺乏局部灰度、局部紋理的相關(guān)性。這些像素的初始匹配代價，對于待匹配像素匹配代價可信度的提升具有嚴(yán)重的負(fù)面影響。因此，學(xué)者們提出了不同的聚合窗口以提升鄰域像素和待匹配像素之間的關(guān)聯(lián)程度。

本文中，采用超像素分割方法對圖像進(jìn)行區(qū)域劃分，進(jìn)而在區(qū)域內(nèi)按照網(wǎng)狀搜索去尋找鄰域像素，并根據(jù)鄰域像素距離待匹配像素的遠(yuǎn)近配置權(quán)重，進(jìn)而將這些像素的匹配代價按照對應(yīng)權(quán)重加權(quán)聚合起來，完成待匹配像素的代價聚合。

在超像素分割中，采用SLIC算方法。這種算法通過種子點(diǎn)初始化、種子鄰域更新、像素點(diǎn)配置標(biāo)簽、距離度量、迭代優(yōu)化、增強(qiáng)連通性，實(shí)現(xiàn)分割，其示意如圖2.

從圖2可以看出，經(jīng)過SLIC算法的超像素分割，整個圖像平面被劃分為多個大小接近的區(qū)域，這些區(qū)域也比較精確地利用了圖像中的灰度和紋理邊界，各區(qū)域紋理和灰度信息都比較接近，具有較高的關(guān)聯(lián)性。

接下來，在每個區(qū)域內(nèi)執(zhí)行網(wǎng)狀搜索，遍歷區(qū)域內(nèi)待匹配像素的關(guān)聯(lián)鄰域像素，其搜索過程如圖3所示。

在圖3中，斜線填充區(qū)域?yàn)槌袼胤指瞰@得的區(qū)域邊界，0號標(biāo)注的紅色像素為待匹配像素，各個黃色像素為最終搜索到的鄰域像素。搜索過程按照先橫向后縱向的原則進(jìn)行。以圖中的位置為例，從位置0開始，先執(zhí)行橫向搜索，逐次找到1號、2號、3號、4號、5號像素，0號像素的左側(cè)和5號像素的右側(cè)均為區(qū)域邊界，不與記錄。之后，分別從0號、1號、2號、3號、4號、5號像素向上方縱向搜索，只有4號像素上方找到6號像素。之后，從6號像素再分別執(zhí)行橫向搜索和縱向搜索，均為區(qū)域邊界。之后，分別從0號、1號、2號、3號、4號、5號像素向下方縱向搜索，分別找到7號、8號、9號、10號、11號像素。以此類推，一直找到區(qū)域內(nèi)全部像素。

搜索到區(qū)域內(nèi)的全部像素以后，按照距離待匹配像素的遠(yuǎn)近，為每一個像素配置權(quán)重，具體處理如下：

式中：i為像素標(biāo)號;ω_i為第i號像素的權(quán)重;x_i、y_i為第i號像素的橫縱座標(biāo);x₀，y₀表示第0號像素的橫縱座標(biāo)。

最后，將網(wǎng)狀聚合窗口內(nèi)各個像素的初始匹配代價進(jìn)行聚合，具體處理如下：

2 實(shí)驗(yàn)結(jié)果與分析

2.1實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文提出的基于改進(jìn)Census變換和網(wǎng)狀代價聚合的立體匹配方法對于獲得致密視差圖像的有效性，進(jìn)一步展開實(shí)驗(yàn)研究。實(shí)驗(yàn)中，選擇了Middlebury立體視覺評價平臺上的4類立體圖像，分別是Staircase，Newkuba，Livingroom，Hoops。這4類立體圖像由Daniel Scharstein及其合作者采用德國DLR立體視覺傳感器拍攝，配置了標(biāo)準(zhǔn)的視差圖像，是立體視覺領(lǐng)域通用的測試數(shù)據(jù)。

為了形成和本文方法的直觀對比，在Middle-bury立體視覺評價平臺選擇了2類方法，分別是Lo-calExp算法、FEN-D2DRR算法。目前，這2類方法的立體匹配性能在Middlebury平臺上分別排名第1、4位。

2.2 視差圖質(zhì)量比較

3種方法生成的視差圖像質(zhì)量的視覺效果比較。如圖4所示。

圖4中，第一列為Staircase圖像及其視差圖像，第二列為Newkuba圖像及其視差圖像，第三列為Livingroom圖像及其視差圖像，第四列為Hoops圖像及其視差圖像。第a行為四組圖像對的左圖原始圖像，第b行為四組圖像的真實(shí)視差圖，第c行為四組圖像采用LocalExp算法獲得的視差圖像，第d行為四組圖像采用FEN-D2DRR算法獲得的視差圖像，第e行為四組圖像采用本文算法獲得的視差圖像。

從圖4中的視差圖質(zhì)量可以看出，本文方法獲得了比較理想的稠密視差圖像，其效果與目前Mid-dlebury平臺上排名第一的LocalExp算法不相上下，都非常接近真實(shí)視差圖像。

2.3 壞像素占比比較

進(jìn)一步比較3種方法生成的視差圖像中的壞像素情況，如圖5所示。

圖5中，第一列為Staircase壞像素圖像，第二列維Newkuba壞像素圖像，第三列為Livingroom壞像素圖像，第四列為Hoops壞像素圖像。第a行為四組圖像對的真實(shí)視差圖像中的壞像素分布，第b行為四組圖像采用LocalExp算法獲得的視差圖像中的壞像素分布，第c行為四組圖像采用FEN-D2DRR算法獲得的視差圖像中的壞像素分布，第d行為四組圖像采用本文算法獲得的視差圖像中的壞像素分布。

為了進(jìn)一步直觀地比較本文方法和其它4種方法立體匹配過程中壞像素比例的高低，對圖8、圖9中的壞像素比例進(jìn)行統(tǒng)計，列在表1中。

3 結(jié)論

為了獲得連續(xù)稠密的視差圖像，本文在Daniel立體匹配算法框架的基礎(chǔ)上，構(gòu)建了一種新的立體匹配方法。在初始匹配代價計算步驟，對Census變換方法進(jìn)行改進(jìn)，通過剔除極值的方法對亮度差異進(jìn)行了有效抑制，提升初始匹配代價計算的準(zhǔn)確性。在代價聚合步驟，采用SLIC算法對立體像對執(zhí)行超像素分割，在每個分割區(qū)域內(nèi)采取網(wǎng)狀策略搜索聚合像素，提升聚合代價的可信度。選擇Middlebury平臺上的Staircase，Newkuba，Livingroom，Hoops等4類立體像對作為測試圖像，選擇LocalExp算法、FEN-D2DRR算法作為本文算法的比較算法，執(zhí)行立體匹配。實(shí)驗(yàn)結(jié)果表明，本文算法可以獲得連續(xù)稠密的視差圖像、壞像素比例低，其性能與Middle。bury平臺上排名第一的LocalExp算法接近。