視覺顯著性的自適應權重立體匹配算法

王 沖，潘 晨，高浩然

(中國計量大學 信息工程學院，浙江 杭州 310018)

視覺顯著性的自適應權重立體匹配算法

王 沖，潘 晨，高浩然

(中國計量大學 信息工程學院，浙江 杭州 310018)

針對傳統(tǒng)算法大多忽略人眼特性，獲得的視差圖與人眼真實感受之間存在一定差異的問題，提出了一種符合人眼視覺特性的自適應權重匹配算法.該算法首先引入視覺顯著性特征，然后對像素權值分配進行改進并提出新的匹配代價度量準則，最后采取左右視差圖融合的方法獲得最終視差圖.相關圖像實驗表明，改進算法很好地解決了遮擋問題，可精確描述邊緣和細節(jié)視差；相對于原算法有較大程度的性能提升.

立體匹配；自適應權重；顯著性檢測；相似性度量；視差圖融合

雙目立體視覺技術[1]突破了計算機“單眼看世界”的局限性，該技術主要利用雙目攝像頭觀測同一場景，獲得左右兩幅二維視圖，經(jīng)過處理得到反映三維世界信息的視差圖.該技術的關鍵是左右兩幅圖之間的匹配，匹配的準確性直接影響最終生成三維視圖的質(zhì)量.因此，獲取符合人眼特征的高精度視差圖具有重要意義.

匹配算法根據(jù)優(yōu)化方式不同可以分為全局匹配和局部匹配[2].全局匹配算法能獲得精度較高的視差圖，但計算效率低，不利于實際開發(fā)[3]；局部匹配算法主要利用對應像素點及其鄰域的約束信息進行匹配獲得視差圖，這種方法執(zhí)行效率高，且在一個合適的匹配代價下能得到較高的匹配率，在近年來廣泛受到研究者的關注.其中，De-Maeztu L[4]提出一種利用像素顏色信息計算自適應權值的匹配方法，提高了原算法的匹配精度.Jyoti Joglekar[5]提出一種基于神經(jīng)網(wǎng)絡的局部匹配算法，提高了原算法的收斂速度.但是，這些自適應權重匹配算法相比于人眼視覺仍然有許多欠缺.比如：它所采用的代價聚合方法只是純粹的數(shù)學計算，并沒有考慮到人眼對顏色和亮度的敏感度；在匹配時通常固定一幅圖像作為待匹配圖像，在另一幅圖像中依次尋找對應的匹配點[6].而人類雙眼信息傳遞到人腦外膝體時，會相互交叉后再傳遞.針對以上幾點，本文從三個方面改進自適應權重立體匹配算法.

1)為避免圖像中干擾導致的誤匹配及視差不連續(xù)現(xiàn)象，本文引入彩色圖像視覺顯著度特征來描述像素點的受關注程度，并抑制全局性噪聲.圖像顯著度特征結合像素顏色、亮度和位置信息，自適應地為窗口內(nèi)每一個像素分配一個合適的權值.

2)為獲得主觀感受最優(yōu)的視差圖，考慮人眼對低亮度變化敏感而對高亮度變化不敏感的特性，本文提出一種考慮相對關系的相似性度量方法.

3)考慮到實際拍攝中攝像機左右視角存在一定的偏移量和存在一定遮擋問題的現(xiàn)象.在一幅圖中的像素點在另外一幅圖中可能無法得到匹配.本文通過交叉左右視圖互為待匹配圖像，生成左右兩幅視差圖，通過圖像融合獲取最終視差圖.

1 經(jīng)典自適應權重立體匹配算法

自適應權重算法[7]的核心思想是以待匹配點為中心假設一個固定窗口[8]，計算窗口內(nèi)的點相對中心點的權值大小，窗口內(nèi)與中心點顏色信息越接近、空間幾何位置越接近的點，賦予的權值越大.具體描述如下：以p作為中心待匹配像素，像素q是像素p支持窗口內(nèi)的一個支持像素，根據(jù)格式塔準則，像素q對像素p的支持權值為w(p,q).

w(p,q)=f(Δcpq)·f(Δgpq).

(1)

(2)

(3)

根據(jù)WTA(winner take all)局部最優(yōu)化準則，計算每個像素的最終視差：

(4)

該方法具有較高的精度，但對于權重的定義只是從圖像本身固有的特征出發(fā)，忽略了人眼主動性的影響，沒有很好地表達支持像素對待匹配像素的支持程度.針對以上幾點，本文提出三個創(chuàng)新點改進傳統(tǒng)自適應權重算法.

2 改進的自適應權重立體匹配算法

2.1 改進的自適應權重策略

本文綜合考慮RGB顏色特征、灰度特征、空間位置特征和圖像顯著性特征，提出一種新的權重策略.首先直接利用RGB空間代替Lab空間，描述像素顏色特征.然后引入彩色圖像顯著性特征來描述像素點的受關注程度.再結合像素灰度L和空間位置信息，提出新的支持像素對未匹配像素的支持權重,具體方法如下：

Δcpq=|pR-qR|+|pG-qG|+|pB-qB|,

(5)

(6)

Δkpq=|pgray-qgray|,

(7)

Δsapq=|psa-qsa|,

(8)

(9)

(10)

(11)

(12)

wnew(p,q)=f(Δcpq)·f(Δgpq)·f(Δkpq)·f(Δsapq).

(13)

支持像素q(m,n)與中心像素點p(i,j)的顏色分量分別為qR.qG.qB和pR.pG.pB，灰度值為qgray、pgray，顯著度值為qsa、psa，γk、γp、γc、γsa分別表示不同特征差異性參數(shù)[10].新的自適應權值wnew(p,q)不僅考慮了圖像數(shù)據(jù)本身特征，還從人類視覺角度考慮了圖像顯著性對每個支持點的影響.

2.2 新的匹配代價度量

原算法的SAD聚合代價[11]如式(2)、(14)：

(14)

SAD算法直接對像素點求差值.利用閾值T找到顏色差別最小的像素對,然后計算該點像素的視差.

然而，人眼對1-5的低灰度級敏感度為100%，而對250-255的高灰度級的敏感度為2%，灰度值在低灰度范圍內(nèi)的像素點，雖然差值小，但由于此時人眼對這部分較敏感，匹配效果可能與主觀視覺效果有一定出入.為了解決這個問題，我們引入Ra，用來表示待配像素點的相關度，如下：

(15)

(16)

得出視差圖：

(17)

2.3 左右視差圖融合

原自適應權重算法匹配時，選擇左右視圖中的一幅作為標準參考圖，另一幅為匹配圖.由于左右兩圖視角有一定差值，匹配的視差圖會存在一定的遮擋問題，匹配結果可能會存在較多誤差.本文模仿人類視覺傳遞過程中的信息交叉原理，提出一種解決方案：

1)指定左視圖為參考圖，利用新的自適應權重匹配方法得到左視差圖，再指定右視圖為參考圖，得到右視差圖；

2)聚合代價越大，像素點越相近，選取左右視差圖中聚合代價較大值作為視差值；

3)遍歷像素點，計算最終視差圖.

左右視差圖融合準則如下：

(18)

其中，r_left和r_right表示對應點的相關系數(shù)矩陣，disp_left、disp_right表示左右視差圖，disp表示生成的最終視差圖.

融合后局部放大效果如圖1.

圖1 左右視差圖融合局部放大圖Figure 1 Disparity map fusion partial enlarged map

從場景的左、右視圖可以看出兩視圖視角存在一定的差距，按照一幅圖作為標準匹配的視差圖會存在一定的遮擋問題，邊緣部分會存在較多誤差.而融合后的視差圖在遮擋區(qū)域的細節(jié)處理在主觀上與人眼感受更一致.

2.4 算法框架

改進的自適應權重匹配算法流程圖如圖2.

圖2 自適應權重立體匹配算法框架Figure 2 Stereo matching framework based on adaptive weights

3 實驗結果與分析

本文算法在matlabR2010b軟件實現(xiàn)，利用卡內(nèi)基梅隆大學的Middlebury測試平臺提出的立體匹配定量評價標準，分別采用Tsukuba,Venus,Teddy,Cones，F(xiàn)ace標準圖作為實驗對象.統(tǒng)計立體匹配視差圖dc與真實視差圖[12]dt間的統(tǒng)計誤差，獲得錯誤匹配率指標.

(19)

算法獲取的視差圖與標準視差圖對應點的視差絕對值大于δd(通常為1)時，判定為誤配.

3.1 不同相似性度量函數(shù)結果對比

如圖3，不同立體匹配算法的視差圖表明，SAD和SSD算法只能反映出平坦區(qū)域的視差，對于物體邊界視差沒有明顯過渡，且存在較多噪點，在紋理不豐富的區(qū)域錯配率較高；NCC算法在紋理不豐富區(qū)域的視差圖與SAD和SSD相比有一定優(yōu)勢，但在微小視差區(qū)域和邊界處仍存在較多錯誤；原自適應權重算法選擇閾值SAD算法作為對應像素的相似性度量函數(shù)，獲得的視差圖效果比之前兩種算法好，但是對于邊界的處理，依然不夠清晰.相比之下，本文方法視差圖邊界過渡明顯，噪聲較小，主觀視覺效果最好.

圖3五種視差圖的錯誤匹配率(%)如表1，SAD和SSD算法的視差圖錯配率較高，表明了只考慮絕對差和歐氏距離來衡量待匹配點之間的相似性的不合理性.NCC算法的視差圖對比SAD和SSD算法錯配率有所降低，表明考慮對應點之間的相關性對視差圖精度提高有一定好處.原自適應權重法的錯配率比其他算法低一些，表明該方法是當前比較精確方法，但對于細節(jié)的處理稍顯粗糙.本文方法與其他方法相比，錯配率明顯降低，表明綜合考慮像素顏色、亮度、空間特征以及人眼關注程度等信息可以提高匹配精度.值得注意的是，表1中本文方法的誤配率在Cones、Face兩圖中沒有明顯的降低.這是由于標準視差圖中沒有體現(xiàn)出的面部五官細微視差，本文算法精確地描述出來了.因此，誤差計算時影響了誤配率指標.

圖4是圖3中Tsukuba、Face兩圖的視差圖局部放大，從Tsukuba模型的對比圖中可以看出，本文算法能精確描繪物體邊界視差，得到的邊緣信息相對完整.從Face模型的對比圖可以看出，本文算法能夠反映出標準視差圖無法反映的五官信息，對微小視差有一定適用性.

自上而下代表：原始圖像、標準視差圖、原自適應權重法視差圖、SAD法視差圖、SSD法視差圖、NCC法視差圖、本文方法視差圖 圖3 不同相似性度量函數(shù)得到的視差圖對比Figure 3 Disparity maps of different similarity measure function

自左向右代表：原圖、原自適應權重法視差圖、SAD視差圖、SSD視差圖、NCC視差圖、本文方法視差圖圖4 不同算法視差圖的局部放大效果Figure 4 Different algorithms partially enlarged disparity map

%

3.2 不同窗口大小結果對比

窗寬大小對視差圖有影響見圖5.通過對比可以看出，當窗寬處于某個合適值時(如15×15)，視差圖誤配點最少，效果最好.窗寬過大或者過小，誤配率都會增加，且窗寬越大匹配時間越長.

第1行:左右視圖與標準視差圖；第2行:從左至右窗寬依次為3×3,9×9,15×15,23×23 圖5 不同窗口大小得到的視差圖對比Figure 5 Different window size disparity map comparison

圖6為上述不同窗口大小的錯配率折線圖.

從中可以直觀看出，當窗口大小為15×15時，均方根誤差最小.本文輸入的圖像大小為384×288，即當窗口大小為圖像大小的0.2%時，錯誤匹配率最低.在本文其他部分實驗，也都采取該窗口大小.

圖6 窗口大小和錯誤匹配率的關系Figure 6 Relationships between window size and false match rate

4 結 語

立體匹配是利用二維場景獲取三維場景的重要方法，本文提出了一種利用視覺顯著性特征改進的自適應權重立體匹配算法.該算法首先根據(jù)人類視覺特性提出新的權重策略，利用新的匹配代價度量函數(shù)，以及視差圖融合等方法，最終得到符合人類主觀感受的視差圖.實驗結果表明，本文算法能夠精確描繪圖像的邊緣與細節(jié)特征，并且能夠解決左右視圖遮擋的問題，由于引入顯著性檢測作為匹配的主要方法，匹配點數(shù)量遠遠小于傳統(tǒng)算法，且相比傳統(tǒng)算法復雜度降低，有一定的優(yōu)越性和研究價值.

[1] 曹之樂,嚴中紅,王洪.雙目立體視覺匹配技術綜述[J].重慶理工大學學報(自然科學版),2015,29(2):70-75. CAO Zhile, YAN Zhonghong, WANG Hong. Summary of binocular stereo vision matching technology[J]. Chongqing University of Technology(Natural Science)，2015,29(2):70-75.

[2] MCCULLAGH B. Real-time disparity map computation using the cell broadband engine[J]. Journal of Real-Time Image Processing,2012,7(2):87-93.

[3] 曾紀國，余國和，謝旭升，等.快速魯棒的立體匹配方法[J]，計算機工程與應用，2013，49(14):196-198. ZENG Jiguo, YU Guohe, XIE Xusheng, et al. Fast and robust stereo matching method[J]. Computer Engineering and Applications,2013，49(14):196-198.

[4] DE-MAEZTU L, VILLANUEVA A, CABEZA R. Stereo matching using gradient similarity and locally adaptive support-weight[J]. Pattern Recognition Letters,2011,32(13):1643-1651.

[5] JOGLEKAR J, GEDAM S S, MOHAN B K. Image matching using SIFT features and relaxation labeling technique: a constraint initializing method for dense stereo matching[J]. IEEE Transactions on Geoscience and Remote Sensing,2014,52(9):5643-5652.

[6] YOON K J, KWEON I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[7] XU Y, ZHAO Y, WU F, et al. Error analysis of calibration parameters estimation for binocular stereo vision system[C]//2013 IEEE International Conference on Imaging Systems and Techniques. Beijing: IEEE,2013:317-320.

[8] GU Z, SU X, LIU Y, et al. Local stereo matching with adaptive support-weight, rank transform and disparity calibration[J]. Pattern Recognition Letters,2008,29(9):1230-1235.

[9] XUE T, QU L, WU B. Matching and 3-D reconstruction of multibubbles based on virtual stereo vision[J]. IEEE Transactions on Instrumentation and Measurement,2014,63(6):1639-1647.

[10] BORJI A, SIHITE D N, ITTI L. Quantitative analysis of human-model agreement in visual saliency modeling: a comparative study[J]. IEEE Transactions on Image Processing,2013,22(1):55-69.

[11] GU Z, SU X, LIU Y, et al. Local stereo matching with adaptive support-weight, rank transform and disparity calibration[J]. Pattern Recognition Letters,2008,29(9):1230-1235.

[12] AZIZ M Z, MERTSCHING B. Pre-attentive detection of depth saliency using stereo vision[C]//2010 IEEE 39th Applied Imagery Pattern Recognition Workshop (AIPR). Washington:IEEE,2010:1-7.

An adaptive weight stereo matching algorithm based on visual saliency

WANG Chong, PAN Chen, GAO Haoran

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

The traditional stereo matching algorithm rarely considers the characteristics of human eyes, so there is difference between the disparity map and the subjective human feelings. We presented a stereo matching algorithm based on adaptive weight. Firstly, the distinguishing visual images were introduced into the stereo matching algorithm to improve the original algorithm. Then, we proposed a new matching cost criteria. Finally, according to the left and right disparity map fusion, we obtained a disparity map in accordance with human perceptions. Related image experiments showed that the improved algorithm solved the problem of occlusion and accurately described the edges and details of the disparity map. It has better performance compared with the traditional methods.

stereo matching; adaptive weight; saliency detection; similarity measure; fusion disparity map

2096-2835(2016)04-0435-06

10.3969/j.issn.2096-2835.2016.04.014

2016-07-01 《中國計量大學學報》網(wǎng)址：zgjl.cbpt.cnki.net

浙江省自然科學基金資助項目(No.LY13F010004).

TP391

A