一種基于數(shù)字投影散斑的雙目視覺圖像匹配改良技術

黃秉堯

摘要：圖像匹配是三維重構(gòu)的重要組成部分，經(jīng)典局部匹配的實現(xiàn)方式是區(qū)域匹配。零均值歸一化互相關（ZNCC）匹配對環(huán)境光有較高魯棒性。本文結(jié)合降采樣自適應視差約束，在快速ZNCC基礎上進行優(yōu)化，結(jié)合重建標準物體三維輪廓的精度對比，證明算法有效性。

關鍵詞：圖像匹配;自適應視差約束;反向組合算法

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2020）02-0071-04

圖像匹配作為三維重構(gòu)的重要部分，廣泛應用于工業(yè)檢測，醫(yī)學診斷，機器人視覺，智能駕駛，視頻監(jiān)控，目標檢測等眾多領域。模板匹配是圖像匹配的經(jīng)典方法，ZNCC是其中效果較好的算法，對于環(huán)境噪聲有一定的魯棒性，但是由于其計算量大，限制了其在高清晰圖像匹配中的應用。近年來有學者提出采用FFT與積分圖結(jié)合的快速ZNCC方法[1]，王夢偉[2]等提出了一種漸進生長的區(qū)域搜索方法，提高了匹配速度;賈文洋[3]等通過設定閾值提前終止判斷，減少了冗余計算;韓磊[4]對ZNCC算法進行GPU加速，速度較CPU版本顯著提高。在不同場景中，目前的方法仍然存在誤匹配，噪聲干擾等問題。本文提出了結(jié)合降采樣視差插值的快速ZNCC改良方法，降低視差搜索的范圍同時提高匹配效果。本文根據(jù)遮擋約束和最大視差偏移確定無效視差區(qū)域，并基于梯度優(yōu)化了視差圖像。

1 數(shù)字投影散斑雙目視覺圖像匹配原理

1.1 投影散斑三維重構(gòu)系統(tǒng)

三維重構(gòu)的步驟一般包括系統(tǒng)標定，圖像校正，圖像匹配，視差細化，三維重建[5]。在三維重構(gòu)過程中，被動式算法往往受到物體表面紋理特征影響，對于低紋理，重復紋理區(qū)域無法達到良好的匹配精度。主動式三維重構(gòu)一般通過構(gòu)建特定模式圖形，投影到待測物表面，增強物體表面紋理特征，或者根據(jù)圖案投影至物體表面產(chǎn)生的變化恢復深度信息。本文采用投影散斑作為投影模式，投影散斑三維重構(gòu)的流程如圖1所示：

1.2 快速ZNCC原理

快速ZNCC方法基于零均值歸一化互相關基本方法[6]。公式如下：

CZNCC（p，d）=

其中T（q）為模板窗口Np內(nèi)q坐標位置的像素強度，為模板窗口內(nèi)像素灰度均值。I（q-d）表示當視差搜索范圍為d時，待匹配窗口內(nèi)像素灰度，表示待匹配窗口像素灰度均值。從模板圖像左上角開始遍歷，根據(jù)視差搜索范圍搜索，得到不同區(qū)域的相關系數(shù)。設模板匹配窗口大小為m*n，并且采用外極線約束，則模板圖像中每個點進行相關運算的復雜度為O（m*n*D），其中D為視差搜索長度。對于一個寬高為w*h的模板圖像，進行密集匹配的復雜度為O（m*n*D*w*h）。實際計算時，即使是450*375的圖像，也需要數(shù)十秒的時間。

經(jīng)典快速ZNCC引入積分圖，F(xiàn)FT變換和圖像金字塔。積分圖方法廣泛應用于基于灰度匹配的算法優(yōu)化，通過求解積分圖求解對應位置的值，減少重復加減運算，如圖2所示：

Intg（i-1，j-1）=（I（p））

Intg（i，j）=Intg（i，j-1）+Intg（i-1，j）-Intg（i，j）+I（i，j）

其中p（x，y）為像素坐標，x∈[0，i-1]，y∈[0，j-1]。I（i，j）和Intg（i，j）分別為在點（i，j）處的像素強度以及積分圖累加值，積分圖僅需預先計算一次圖像積分，若模板匹配窗口為m*n，則累加窗口需要m*n-1次加運算，采用積分圖可以縮減為4次。通過計算模板圖像與源圖像的灰度值，以及灰度值平方的積分圖，ZNCC公式部分內(nèi)容可預先計算。

傅里葉變換由法國數(shù)學家傅里葉提出。在二維圖像中，傅里葉變換F（u，v）可以描述為：

F（u，v）=1/MN

快速傅里葉運算通過蝶形運算單元，簡化傅里葉變換計算量。在計算相關運算時通過將模板窗口延拓到待匹配區(qū)域大小，延拓區(qū)域取0，將延拓后的模板圖像進行快速傅里葉變換，共軛轉(zhuǎn)置后與匹配圖像的傅里葉變換結(jié)果求解相關運算，并進行傅里葉逆變換，即：

f（x，y）=1/MN

隨后提取變換后的值，即得到相應位置的相關值?？焖俑道锶~變換的復雜度為O（m*n*log（m*n）），通過傅里葉變換大大降低了匹配計算量。

圖像金字塔是常用的框架約束方法，即通過降采樣獲得低質(zhì)量圖像，得到相應尺度下的視差圖像，用于下一層的匹配視差偏移。根據(jù)圖像金字塔模型，分層設置不同的視差搜索范圍和模板窗口大小，可以進一步增加算法速度。

2 改良算法

2.1 自適應視差約束快速ZNCC

快速ZNCC方法一定程度上加快了算法實現(xiàn)速度，但是對于模板匹配精度的提升有限。傳統(tǒng)圖像金字塔引導視差需要在不同環(huán)境下手動設置視差范圍。本文在此基礎上提出了自適應視差約束快速ZNCC方法。在原有視差圖降采樣的基礎上，根據(jù)視差約束和梯度圖像，建立自適應視差搜索范圍和窗口索引，并帶入下一層的搜索。本文采用Sobel算子作為梯度算子，改良算法的整體流程如如3所示：

本文采用投影散斑增強物體表面特征信息，在此基礎上使用雙目相機系統(tǒng)采集圖像。以下為20000點最大直徑3像素的數(shù)字散斑模擬如圖4所示。

基于塊匹配的相關性度量，在視差不連續(xù)區(qū)域較難達到良好的匹配效果。在深度變化區(qū)域，由于窗口包含前景和背景部分，且在雙目視角下圖像可能存在變形，得到的最大相關位置不一定是真實深度信息的映射。獲得整像素偏移后，可以根據(jù)反向組合算法得到圖像的一階形變參數(shù)，獲得亞像素位置。根據(jù)圖像金字塔原理，在視差圖像的梯度范圍設置金字塔，每一級設置引導濾波的搜索視差范圍TDs，搜索窗口表WDs。

TDs（i，j）=

WDs（i，j）=

將降采樣次數(shù)對應放大系數(shù)，T1與T2為視差變化懲罰系數(shù)，TS1與TS2為視差搜索范圍。圖像每次降采樣，對應懲罰系數(shù)T1，T2翻倍。在視差圖梯度GS（x，y）小于T1時，視差搜索范圍對應最小搜索范圍TS1，窗口大小為WS1。GS（x，y）在T1與T2之間時，視差搜索范圍對應TS2，窗口大小為WS2。當GS（x，y）大于T2時，則該點可能為誤匹配點，視差搜索范圍與對應窗口暫設為無效值NaN。在獲得TDs圖像后，對于不確定的視差區(qū)域進行合理性判斷。如果該點鄰域范圍內(nèi)的標準差大于3σ，則使用鄰域中值填充，并將對應的視差區(qū)域表TDs位置設為TS2，搜索窗口表WDs對應位置設置為WS2。

2.2 視差細化與后處理

通過逐級引導獲得視差圖像后，使用反向組合算法計算匹配亞像素位置。由于反向組合算法的使用會對效率產(chǎn)生影響，主要對于視差圖判定為不可靠視差區(qū)域的點集進行迭代反向組合運算，視差圖像其余點使用拋物線擬合方法得到亞像素位置。反向組合算法的原理如下：

在二維平面上的圖像變換包括圖像旋轉(zhuǎn)，平移，縮放可以由一個變換矩陣表示，即：

W=

設向量P=（wz，tx，ty，S），則圖像變換矩陣可以表示為W（P）。求出Jacobian矩陣后，在預運算中算出Hessian矩陣和其逆矩陣，不必在后續(xù)迭代過程中更新，減少迭代時間消耗。迭代過程依據(jù)最速下降策略，在迭代過程中獲得ΔP并更新圖像變換矩陣。迭代過程持續(xù)到迭代達到最大次數(shù)或者更新向量ΔP的模小于設定閾值。

采用拋物線擬合算法[7]，設最佳視差位置為d0=k，對應成本為C0，則鄰域視差d1=k-1、d2=k+1分別對應C1與C2。插值結(jié)果可以表示為：

di=d0+0.5-

得到亞像素視差值后，根據(jù)相機校正后的重投影矩陣，可以計算出空間坐標。重投影矩陣Q表示如下：

Q=

其中Tx是相機橫向位移，cx與cy是主點坐標。通常校正后cx'與cx值相同。

根據(jù)：

Q=

可以獲得匹配點在空間坐標系的位置。由于相機偏移Tx為負數(shù)，在基于左相機視差圖下取點云應增加負號，即空間坐標為：

=

在后處理部分，本文采用了基于遮擋區(qū)域判定的方法與左右視差連續(xù)性約束。無效孔洞區(qū)域通過鄰域中值濾波得到大致視差并使用上述反向組合算法計算精確位置。

3 實驗與分析

本文實驗平臺基于Core（TM） i5-4200H 2.8GHz 處理器，內(nèi)存8G。算法實現(xiàn)基于MicroSoft Visual Studio2017 VC++。實驗采用Middleburry數(shù)據(jù)集驗證算法精度與速度，并根據(jù)重建現(xiàn)實標準球面測試了算法三維重構(gòu)的精度。實驗分為準備與驗證過程。在準備過程中，首先生成模擬散斑圖像用于投影，預置于投影儀中。設置雙目采集系統(tǒng)位置并保證拍攝物體處于景深范圍內(nèi)。調(diào)用雙目相機采集標準棋盤格在不同姿態(tài)下的圖像對，并拍攝處于散斑投影狀態(tài)下的物體圖像。在進行實驗比較之前，需要標定得到雙目相機的內(nèi)外參數(shù)，相機系統(tǒng)位置模型，通過極線校正可以獲得校正圖像對。實驗比較的主要內(nèi)容如下：（1）自適應視差約束ZNCC優(yōu)化算法速度和誤差率分析;（2）重建標準目標的精度分析。本文的精度分析使用真實數(shù)據(jù)與擬合結(jié)果比較，得到均方差（RMS）和標準差如圖5所示。

采用Middleburry2003和2005標準數(shù)據(jù)集作為對比來源，圖3-1顯示了部分視差圖對比結(jié)果，本文算法相對原快速ZNCC在非遮擋區(qū)域（nocc）匹配效果更好如表1所示。

采用15*15窗口，對標準數(shù)據(jù)集450*375圖像進行匹配，在視差搜索范圍設定為[0，60]的情況下，總平均耗時如表2所示。在精度驗證方面，本文采用標準量塊和標準球作為精度分析對象。采集物體表面圖像和重建效果如下所示如圖6所示：

由表2可以看出，本文方法相對于快速ZNCC常規(guī)實現(xiàn)，在精度上有所提高。在窗口大小逐步增大的過程中，匹配效果逐漸提高。就綜合匹配效果來說，匹配窗口大小設置為41×41至61×61精度更高，但是設置更大的窗口基本無法進一步提高精度。采用自適應視差約束的方法結(jié)合圖像金字塔，能夠更好地獲得整像素視差值，同時采用反向組合算法與拋物線算法，能夠提升圖像在深度不連續(xù)區(qū)域的匹配效果，并獲得更好的精度和速度。

4 結(jié)語

本文提出一種結(jié)合視差變化，自適應搜索范圍和窗口，并通過梯度確定視差插值，使用反向組合算法與拋物線擬合算法得到亞像素精度的改良方法。對于傳統(tǒng)快速ZNCC方法，提高了匹配魯棒性，在深度不連續(xù)區(qū)域有更好的表現(xiàn)，并提升了采用ZNCC實現(xiàn)稠密匹配的速度。

參考文獻

[1] Tsai D M，Lin C T.Fast normalized cross correlation for defect detection[J].Pattern recognition letters，2003，24（15）：2625-2631.

[2] 王夢偉，黃向生，陳則西，等.基于投影散斑的實時場景深度恢復[J].計算機輔助設計與圖形學學報，2014，26（08）：96-105.

[3] 賈文洋，毛征，劉松松，等.一種采用提前終止判決法的圖像匹配跟蹤算法[J].兵工自動化，2016，35（12）：21-25.

[4] 韓磊，徐波，黃向生，等.基于GPU的散斑三維重建系統(tǒng)[J].計算機科學，2015，42（8）：294-299.

[5] 寧柯琳.基于雙目立體視覺的三維重建平臺研究與實現(xiàn)[D].北京：北京郵電大學，2014.

[6] LEWIS J P.Fast normalized cross correlation[C].Quebec：Proceeding of Vision Interface，1995.

[7] Scharstein D，Szeliski R.A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms[J].International Journal of Computer Vision，2002，47（1-3）：7-42.

Improved Binocular Vision Image Matching Technology Based on

Digital Projection Speckle

HUANG Bing-yao

（School of? Instrument Science and Optoelectronic Engineering， Hefei University of? Technology， Hefei? Anhui? 230009）

Abstract：Image matching is an important part of 3D reconstruction. The implementation of classical local matching is region matching. Zero mean normalized cross-correlation （ZNCC） matching is more robust to ambient light. This article combines down-sampling adaptive parallax constraints， optimizes on the basis of fast ZNCC， and compares the accuracy comparison of reconstructed three-dimensional contours of standard objects to prove the effectiveness of the algorithm.

Key words：image matching; adaptive parallax constraints; reverse combination algorithm