基于改進(jìn)的Census變換的立體匹配算法

閆 佳，曹玉東，曲 直，蔡希彪

基于改進(jìn)的Census變換的立體匹配算法

閆 佳，曹玉東，曲 直，蔡希彪

（遼寧工業(yè)大學(xué) 電子與信息工程學(xué)院，遼寧 錦州 121001）

針對局部立體匹配算法誤匹配率較高的缺陷，提出了一種基于改進(jìn)型Census變換的立體匹配算法，通過采用不同尺度的Census變換窗口和改進(jìn)代價匹配函數(shù)，可以輸出具有更高匹配程度的視差圖。首先，采用各向同性Sobel算子提取圖像的邊緣信息，以作為選取Census變換窗口的依據(jù)；然后，利用選取的窗口對圖像進(jìn)行相似度代價和梯度信息的代價計算；最后，融合相似度代價和梯度信息代價得到最終的代價匹配函數(shù)，進(jìn)一步處理能夠求得視差圖。在Middlebury視覺網(wǎng)站上與其他局部立體匹配算法的匹配誤差相比，實驗結(jié)果表明，提出的算法優(yōu)于其他局部立體匹配算法。

雙目視覺；Census變換；立體匹配

近幾年，雙目視覺系統(tǒng)以立體匹配算法為基礎(chǔ)，在智能機器人導(dǎo)航、無人駕駛、定位與地圖構(gòu)建(SLAM)、工業(yè)自動化等領(lǐng)域[1-3]得到了非常廣泛的應(yīng)用。立體匹配算法作為雙目視覺系統(tǒng)中極為重要的部分，也是計算機視覺領(lǐng)域的許多科研學(xué)者樂以攻克的難題。其主要依靠雙目攝像頭來采集空間中的目標(biāo)圖像，以獲取左右兩幅相似但不相同的圖像，通常稱左圖為參考圖像，右圖為匹配圖像。依據(jù)兩幅圖像可以求得圖像視差，根據(jù)求得的視差圖能計算得到目標(biāo)在物理空間中的信息，視差圖的準(zhǔn)確度直接影響了立體重建[4]的結(jié)果。

2000年，美國明德學(xué)院的Scharstein教授[5]發(fā)表文章首次提出立體匹配框架，并建立了一個權(quán)威的Middlebury立體視覺測評網(wǎng)站。短短幾年的時間，立體匹配算法得到了飛速發(fā)展。在全局立體匹配算法中，經(jīng)典的立體匹配算法有基于動態(tài)規(guī)劃的立體匹配算法(DP)[6]，基于置信度傳播的立體匹配算法(BP)[7]，基于平面約束的立體匹配算法[8]。全局立體匹配算法在算法時間復(fù)雜度較高的前提下，可以獲得相對較低的匹配誤差。

與全局立體匹配算法相比，局部立體匹配算法在實時性要求較高和算力一般的場景中更加適用。局部立體匹配算法通過匹配窗口去計算參考圖像和匹配圖像中為相同目標(biāo)的可能性，經(jīng)典的局部立體匹配方法有相似性測度函數(shù)有絕對差值和SAD(sum of absolute differences)算法、差值平方和SSD(sum of squared differences)算法、歸一化互相關(guān)函數(shù)NCC(normalized cross correlation)、Census變換等。但經(jīng)典的局部立體匹配算法匹配準(zhǔn)確度較低而且對弱紋理以及深度不連續(xù)的圖片區(qū)域敏感性較差，為了減小誤匹配率，本文分析了常用的局部立體匹配算法。

1 立體匹配算法

立體匹配算法一般情況下被分為全局立體匹配算法以及局部立體匹配算法這2個大的類別。全局立體匹配算法通過構(gòu)造一個全局能量函數(shù)來獲得目標(biāo)圖像的全局最優(yōu)視差數(shù)值，全局能量函數(shù)的表達(dá)式如下：

局部立體匹配算法通過構(gòu)建一個局部的代價函數(shù)來對局部視差數(shù)值進(jìn)行計算，與全局立體匹配算法代價函數(shù)相比，局部立體匹配算法不用考慮全局鄰近像素點間的平滑程度，所以局部立體匹配算法的代價函數(shù)沒有平滑約束項，只存在數(shù)據(jù)約束項。

局部立體匹配算法常將待匹配的圖像分割成大小相等的窗口，通過窗口可以獲得圖像中的灰度值信息、物體邊緣信息，如圖1所示。

局部立體所以又叫作窗口匹配算法。通過比較左右2張待測圖像中相對應(yīng)點的領(lǐng)域窗口中的相關(guān)性程度，即可判斷左右2張圖像中的點為對應(yīng)點的可能性。常見的用來描述區(qū)域的相似性測量函數(shù)有絕對差值和(SAD)、平方差和(SSD)，歸一化互相關(guān)函數(shù)(NCC)，計算公式如下所示：

圖1 劃分窗口后的圖像

局部立體匹配算法中的另一種相似性測量函數(shù)是基于非參數(shù)變換的，主要包括Census變換和Rank變換[9-10]。Census變換因為能夠有效地檢測出圖像中的邊緣、角點特征等局部結(jié)構(gòu)特征而被廣泛應(yīng)用，變換后的圖像如圖2、圖3所示。

圖2 參考圖像及Census變換

圖3 匹配圖像及Census變換

該方法能夠充分地利用參考圖像與匹配圖像局部相關(guān)的特性，準(zhǔn)確地檢測出2張圖片中的局部結(jié)構(gòu)特征，其匹配代價函數(shù)表達(dá)式如下所示：

2 改進(jìn)的Census變換立體匹配算法

在不顯著增加算法復(fù)雜度的前提下，針對傳統(tǒng)Census變換立體匹配算法中對圖像中深度變化較大和紋理特征不明顯的區(qū)域匹配精度不高的問題做了以下改進(jìn)。通過采用改進(jìn)型的Sobel算子[11]計算圖像的邊緣信息去自適應(yīng)地調(diào)節(jié)窗口的尺寸來進(jìn)行Census變換，以適應(yīng)紋理及深度變化差別較大的圖像區(qū)域。對深度不連續(xù)和圖像邊緣區(qū)域采用小窗口，對非邊緣區(qū)域和深度變化不大的區(qū)域采用大窗口。

本文選用了改進(jìn)的Sobel算子來計算圖像的邊緣，相比于傳統(tǒng)Sobel算子，橫向和縱向梯度算子的權(quán)值更為優(yōu)秀，在對2個方向的邊緣檢測時的梯度幅度大小相同，因而能更加準(zhǔn)確地獲取圖像的邊緣信息。改進(jìn)型的Sobel算子垂直和水平算子如圖3所示。

圖3 Sobel算子模板

式中：為圖像矩陣；為每個卷積領(lǐng)域內(nèi)的邊緣像素的大小。

求出圖像的邊緣像素的大小后，依據(jù)求得的值在不同的區(qū)域采用不同大小的窗口尺寸進(jìn)行Census變換，經(jīng)過實驗當(dāng)閾值設(shè)定在80時，立體匹配的效果最好，窗口選擇的規(guī)則為：

式中：為窗口的取值大小，在圖像的窗口選擇上，當(dāng)圖像的邊緣較豐富時，即較大時，采用小的窗口以保護(hù)邊緣信息。相反，當(dāng)邊緣信息較少時，采用大窗口。

窗口選定后，對參考圖像和匹配圖像分別進(jìn)行Census變換，該變換過程類似局部二值模式，對窗口中心像素的數(shù)值與其領(lǐng)域的其他數(shù)值進(jìn)行比較，窗口中鄰域小于中心像素的點取1，大于中心像素值的點取0，關(guān)系式滿足：

其中()為中心區(qū)域的像素點灰度值，()為鄰域的像素值大小，通過關(guān)系式(7)拉伸可以得到對應(yīng)的比特流碼，表達(dá)式如下：

圖4 改進(jìn)型Census變換的過程

接下來通過計算Census變換的匹配代價碼，求其漢明距離來得到左右2張圖片的相似度，代價函數(shù)為：

為使Census變換在紋理較弱及深度不連續(xù)的區(qū)域匹配精度得以進(jìn)一步提升，通過加入梯度信息進(jìn)一步優(yōu)化匹配能力，融合了梯度信息[12-13]的代價函數(shù)可以用下式表示：

而后通過代價聚合，以及視差優(yōu)化[14]后可以獲得最終的視差圖，視差圖可用來對圖像進(jìn)行三維重建。

3 實驗結(jié)果與分析

3.1 實驗環(huán)境搭建

平臺采用了AMD_R5 3600x處理器，運行內(nèi)存16G，軟件使用Opencv以及Visual Studio 2015。數(shù)據(jù)集采用了明德學(xué)院的Middlebury立體視覺測評網(wǎng)站上的標(biāo)準(zhǔn)數(shù)據(jù)集，雙目攝像頭為Bumblebee2相機，該相機采用Sony CCD芯片，相機精度高且傳輸速度快。相機樣張如圖5所示。

圖5 雙目圖像

3.2 改進(jìn)的Census變換立體匹配實驗

實驗采用了Middlebury立體視覺測評網(wǎng)站上的(Cones，Tsukuba)圖像測試集，代價匹配函數(shù)的參數(shù)選取對實驗結(jié)果的影響至關(guān)重要，實驗中窗口數(shù)值的選取分別為5和9兩種類型的窗口，權(quán)重和截斷值選取10和30，相似性參數(shù)選取0.05，可以得到圖6~圖10實驗結(jié)果。

圖6 原圖

圖7 Ground Truth

圖8 SAD算法

圖9 傳統(tǒng)Census算法

圖10 本文算法

圖6~圖10分別為原圖、真實視差圖、SAD算法結(jié)果、傳統(tǒng)Census算法，以及本文算法結(jié)果，通過最終對比3種算法，可以初步發(fā)現(xiàn)改進(jìn)型的Census有著更優(yōu)秀的視差結(jié)果，對弱紋理以及深度不連續(xù)的區(qū)域響應(yīng)更加準(zhǔn)確。

3.3 實驗結(jié)果

借助Middlebury平臺，本文對SAD算法/傳統(tǒng)Census算法，以及本文立體匹配算法做了定量的分析，分別對其使用Nocc、All、Disc來比較各算法的性能。其中Nocc為圖片中完整、不受物體遮擋的區(qū)域的誤匹配率，All為整張圖片的誤匹配率，Disc為圖片中深度跳躍較大區(qū)域的誤匹配率，對比結(jié)果如表1。

表1 Tsukuba和Cones誤匹配率結(jié)果對比 %

表1為圖片Tsukuba和Cones的誤匹配率對比結(jié)果，可以看到本文在2張測試圖片中都有較好的匹配結(jié)果，本文的算法在Nocc(非遮擋區(qū)域誤匹配率)、All(所有區(qū)域誤匹配率)、Disc(深度不連續(xù)區(qū)域誤匹配率)各方面性能均領(lǐng)先于SAD算法和傳統(tǒng)的Census算法，而且所得視差圖深度清晰，邊緣連續(xù)，效果上優(yōu)于其他對比算法。

表2是各種誤匹配率的平均誤匹配百分比，對比其他2種算法，本文的算法具有明顯的優(yōu)勢，可以得到更優(yōu)的視差圖。

表2 平均誤匹配率結(jié)果對比 %

4 結(jié)論

改進(jìn)后的Census立體匹配算法相對于其他立體匹配算法，能夠?qū)D片中紋理不明顯及深度變化較大的區(qū)域有著更加優(yōu)秀的匹配結(jié)果，進(jìn)而可以獲得誤匹配率較低的視差圖，而良好的視差圖直接決定了之后三維重建的結(jié)果。在適當(dāng)增加算法復(fù)雜度的前提下，本文采用的不同大小窗口的變換方式對于有著不同內(nèi)容的圖片也有著良好的適應(yīng)性。

[1] 陶凱. 基于雙目視覺室內(nèi)環(huán)境的機器人導(dǎo)航和避障算法研究[D]. 南京: 南京郵電大學(xué), 2018.

[2] 張琦. 基于雙目視覺的無人駕駛汽車測距、追蹤與仿真研究[D]. 成都: 西南交通大學(xué), 2019.

[3] 喻楊. 基于結(jié)構(gòu)光和雙目視覺的工件3D重建與測量[D]. 長沙: 湖南大學(xué), 2018.

[4] Guan X, Chen J, Li X. 3D Reconstruction of Binocular Vision Using Distance Objective Generated from Two Pairs of Skew Projection Lines[J]. IEEE Access, 2017, 5: 27272-27280.

[5]Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1): 7-42.

[6] Veksler O. Stereo correspondence by dynamic programming on a tree[J]. Proc Cvpr IEEE, 2005, 2: 384-390..

[7] De H, Pf F. Efficient belief propagation for early vision[J]. International Journal of Computer Vision, 2006, 70(1): 41-54.

[8] 陳華, 王立軍, 劉剛. 立體匹配算法研究綜述[J]. 高技術(shù)通訊, 2020, 30(2): 157-165.

[9] Jun D, Lee J, Eem C, et al. Improved census transform for noise robust stereo matching[J]. Optical Engineering, 2016, 55(6): 63101-63107.

[10]龔文彪, 顧國華, 錢惟賢, 等. 基于顏色內(nèi)相關(guān)和自適應(yīng)支撐權(quán)重的立體匹配算法[J]. 中國激光, 2014, 41(8): 256-261.

[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014. https:// arxiv.org/pdf/1409.1556.

[11] 虎玲, 常霞, 紀(jì)峰. 圖像邊緣檢測方法研究新進(jìn)展[J]. 現(xiàn)代電子技術(shù), 2018, 41(23): 32-37.

[12] 周喆, 沈建新, 韓鵬. 基于Census變換和引導(dǎo)濾波的立體匹配算法[J]. 應(yīng)用光學(xué), 2020, 41(1): 79-85.

[13] 謝偉, 周玉欽, 游敏. 融合梯度信息的改進(jìn)引導(dǎo)濾波[J]. 中國圖象圖形學(xué)報, 2016, 21(9): 1119-1126.

[14] Zhan Y, Gu Y, Huang K, et al. Accurate Image-Guided Stereo Matching With Efficient Matching Cost and Disparity Refinement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(9): 1632-1645.

Stereo Matching Algorithm Based on Improved Census Transform

YANJia, CAO Yu-dong, QU Zhi, CAI Xu-biao

（School of Electronics & Information Engineering, Liaoning University of Technology, Jinzhou 121001, China）

Aiming at the defect of high mismatching rate of local stereo matching algorithm, a stereo matching algorithm based on improved Census transformation is proposed. Different scales of Census transformation window and improved cost matching function are adopted, and parallax map with higher matching degree can be output. Firstly, isotropic Sobel operator is used to extract the edge information of the image, which can be used as the basis to select Census transformation window. Then, the cost of similarity and gradient information is calculated by using the selected window. Finally, the similarity cost and gradient information cost are fused to obtain the final cost matching function, and after further processing the final parallax map can be obtained. The matching errors of other local stereo matching algorithms are compared with the errors of proposed algorithm on the Middlebury platform. The experimental results show that the proposed algorithm is superior to other local stereo matching algorithms.

binocular vision; Census transform; stereo matching

TP391

A

1674-3261(2021)01-0011-04

10.15916/j.issn1674-3261.2021.01.003

2020-06-15

國家自然科學(xué)基金項目（61772171）；遼寧省自然科學(xué)基金項目（2019ZD0702）

閆 佳(1994-)，男，河北張家口人，碩士生。

曹玉東(1971-)，男，遼寧鐵嶺人，副教授，博士。

責(zé)任編校：孫 林