多信息代價計算融合顯著梯度的立體匹配

劉徐秀，閆傳為， 趙佰亭 ，賈曉芬

(安徽理工大學 電氣與信息工程學院，安徽 淮南 232001)

立體匹配在工業(yè)生產(chǎn)、制造測量、機器人導航、系統(tǒng)監(jiān)控、生物醫(yī)學、航空航天等有著廣泛的應用[1-3]，它是立體視覺的熱點研究內(nèi)容，也是立體視覺系統(tǒng)中最重要和最耗時的任務.立體視覺通過識別出同時拍攝的同一景物的兩幅圖像中相應的像素點，并由立體幾何原理計算出投影點的視差，得到最終的視差圖，可以為無人機的視覺導航和著陸、三維重建等應用場合提供重要信息，得到了國內(nèi)外學者的深入研究.

立體匹配算法可以分為局部立體匹配算法和全局立體匹配算法[4].局部立體匹配算法是使用窗口內(nèi)像素的鄰域信息來進行匹配，因為有著運行耗時短并且容易實現(xiàn)的優(yōu)點而被廣泛研究，但是選取多大的支持窗口和匹配代價的計算是個棘手的問題[5].全局立體匹配算法通過最小化能量函數(shù)來獲得最終的結(jié)果，可以很好的處理低紋理區(qū)域的誤匹配現(xiàn)象，其匹配精度雖然較高但復雜度也很高，耗時長[6].

傳統(tǒng)局部立體匹配算法在代價聚合時多采用固定窗口的方式，雖然比較簡單有效，但是在深度不連續(xù)區(qū)域匹配精度很低.Einecke等[7]提出了多窗口立體匹配方法，通過不同形狀、大小的多個窗口計算聚合代價，但該算法較復雜，耗時也較長.時華等[8]提出一種自適應匹配窗及多特征融合的立體匹配，采用自適應權(quán)值的線性加權(quán)多特征融合匹配方法得到視差圖，雖在弱紋理、遮擋和傾斜面等區(qū)域能獲得較好的結(jié)果，但在視差不連續(xù)區(qū)域效果較差.門宇博等[9]提出一種像素擴展自適應窗口立體匹配算法，通過像素擴展約束條件篩選出滿足匹配條件的窗口區(qū)域，使得遮擋及物體邊緣區(qū)域效果明顯改善，但在處理存在大面積平滑和傾斜區(qū)域圖像時效果不理想.Yoon等[10]提出一種自適應權(quán)值算法，根據(jù)指定窗口內(nèi)的像素點與待匹配點間的色彩和幾何關系自適應分割權(quán)值，但該算法需要計算窗口內(nèi)各像素點的權(quán)值，運行速度較慢.Hosni等[11]使用引導圖濾波進行代價聚合，該方法具有很好的邊緣保持性，且計算復雜度與窗口的尺寸無關，計算量也較小，但由于該引導圖濾波的懲罰參數(shù)是固定值，使得圖像邊緣附近會出現(xiàn)光暈現(xiàn)象，影響最終視差圖的的精確度.

為加強像素之間的聯(lián)系，降低光照失真對匹配代價計算的影響，文中融合顏色特征、梯度信息和梯度角度三種信息進行匹配代價計算；并在代價聚合階段利用顯著圖像邊緣突出的特點，使用顯著圖平均梯度進行引導濾波的正則化參數(shù)自適應化，提高視差圖精度；提出了一種多信息代價計算融合顯著梯度的立體匹配(Mi-SGR)算法.

1 引導濾波

引導濾波具有邊緣保留特性，認為圖像中的任意一個像素點都與其周圍鄰近的像素點存在線性關系，可以通過周圍像素點來線性表示，最后將所有線性函數(shù)在該點的值求平均作為濾波結(jié)果.引導圖像I和濾波輸出圖像q在以點i為中心的窗口wk下的線性變換為，

qi=akJi+bk,?i∈wk

(1)

其中：ak,bk為在窗口wk內(nèi)的線性系數(shù)，k為方形窗口半徑.

由式(1)可知，當I有梯度時，q也有梯度，引導濾波模型具有邊緣保持特性.為了保證濾波輸出圖像q和輸入圖像p之間的差值最小，利用最小二乘法可以得到：

(2)

其中：ε是為了防止αk過大而設置的正則化參數(shù).對式(2)線性回歸可以得到線性系數(shù)：

(3)

將該線性模型用于整個圖像的所有局部窗口，可得到引導濾波的輸出為：

(4)

在邊緣區(qū)域，ak的值接近于1，bk的值接近于0，濾波器輸出結(jié)果近似于原引導圖像.在平坦區(qū)域，ak的值接近于0，bk的值幾乎等于pk的均值，此時引導濾波相當于一個均值濾波器.

2 Mi-SGR算法

所提融合多信息代價計算和顯著梯度正則化的立體匹配(Mi-SGR)算法包括三個階段：1)匹配代價計算：融合顏色特征、梯度信息與梯度角度進行相似性測量；2)代價聚合：利用顯著圖的平均梯度表示圖像局部區(qū)域復雜度的強弱，對平均梯度高的區(qū)域，即邊緣部分得到較大的正則化參數(shù)；對平均梯度低的區(qū)域，即平滑部分得到較小的正則化參數(shù)，從而得到窗口的總代價；3)視差計算及優(yōu)化：取窗口總代價最小處的視差作為該點的初始視差，對初始視差進行左右一致性檢測，得到異常匹配點，對異常匹配點使用空洞填充和加權(quán)中值濾波的方法進行優(yōu)化，得到最終的視差.

2.1 匹配代價計算

匹配代價是為待匹配像素點可能的對應點分配不同的視差，在不同的視差情況下對圖像的相似性測度.基于顏色特征的匹配代價計算方法可以很好的保持原始圖像的顏色信息，在深度不連續(xù)區(qū)域效果較好，但容易受圖像中的噪聲和亮度的影響.基于梯度的匹配代價計算方法對光照失真不敏感且對圖像噪聲有很好的穩(wěn)健性，能很好地處理遮擋區(qū)域，但匹配精度較低且得到的視差圖較稀疏，后續(xù)處理較復雜.

本文結(jié)合顏色特征、梯度信息及梯度角度，提出了多信息融合的代價計算方法(MiCC)，它具有三方面的優(yōu)勢：1)保持原始圖像的顏色信息；2)利用梯度角度提供的相鄰像素的不同信息，保持對光照失真具有的不變性；3)利用圖像發(fā)生增益失真時梯度角度不會發(fā)生變化的特性.三種信息的融合可以有效保留圖像的色彩特征和結(jié)構(gòu)信息，增強代價計算的穩(wěn)健性，從而提高匹配精度.MiCC的實現(xiàn)過程如下：

在顏色特征中，先分別計算 R、G、B 三個通道像素的絕對差值(AD)，然后求三個通道的平均值，得到所需要的匹配代價，并添加截斷閾值T1,則有：

(5)

c為R、G、B三個通道，Icl(p)、Icr(q)分別為左、右圖像在通道中點p、q的像素值.

在梯度信息中，先將圖像灰度化，取灰度圖像水平方向的梯度，將該梯度與截斷閾值T2比較得到梯度匹配代價，即：

Cgrad(p,d)=min[Itl(p)-Irt(q),T2]

(6)

Itl(p)、Irt(q)分別為左、右圖像在點p、q的梯度值.

在梯度角度中，用二維高斯濾波平滑圖像，再利用微分算子，計算梯度的角度θ，則可得梯度方向的匹配代價為：

Cθ(p,d)=min[Iθl(p)-iθr(q),T3]

(7)

Iθl(p)、Iθr(q)分別為左、右圖像在點p、q的梯度角度值，T3為梯度角度的截斷閾值.

綜上，文中設計的匹配代價的數(shù)學模型為：

(8)

其中：t1為AD匹配代價所占權(quán)重，τ2為梯度匹配代價所占權(quán)重，τ3為梯度角度匹配代價所占權(quán)重，且τ1+τ2+τ3=1.

2.2 匹配代價計算

引導濾波的公式(1)中，ak越小，qi的梯度信息越少，圖像邊緣越模糊，平滑力度越大；反之，ak越大，qi的梯度信息越多，圖像邊緣越清晰，平滑力度越小.由式(3)可知，ak與正則化參數(shù)ε密切相關，呈現(xiàn)為反比關系.在圖像紋理變化大、邊緣信息豐富的區(qū)域，需要更多的梯度信息，故要較小的平滑力度，即較小的ε；而對于灰度值過渡平緩的區(qū)域，需采用較大的平滑倍數(shù)，即ε應較大.但傳統(tǒng)引導濾波沒有考慮到不同窗口內(nèi)像素之間紋理的差異，在不同的窗口中使用固定的正則化參數(shù)ε，會造成一些區(qū)域出現(xiàn)過度平滑，當過度平滑在圖像邊緣區(qū)域就會產(chǎn)生光暈.

顯著圖[12]是一種模擬生物視覺注意機制的選擇性模型，經(jīng)過顯著算法的處理，得到的圖像比經(jīng)過傳統(tǒng)顯著圖算法處理后的圖像保存了更多的高頻信息，尤其是邊緣部分，且對噪聲不敏感.

綜上，利用顯著圖的梯度信息調(diào)整正則化參數(shù)，可以更好的區(qū)分圖像的邊緣區(qū)域和平滑區(qū)域.為此，利用顯著圖的梯度信息，提出了一種加權(quán)引導濾波算法，實現(xiàn)代價聚合，具體步驟為：

第一步，計算顯著圖

先計算圖像的平均灰度向量，并與原圖像的高斯濾波結(jié)果作差得到每個像素的顯著向量，最后計算其歐式距離并進行灰度拉伸得到顯著圖.

第二步，計算局部窗口內(nèi)的線性系數(shù)

對顯著圖用Sobel算法得到圖像x、y方向的梯度，平方求和再開根號得到圖像的梯度信息，遍歷全圖在一定窗口內(nèi)求得平均梯度得到局部平均梯度mi，再將所有平均梯度求和取平均值得到全局局部平均梯度t0，將該值作為邊緣判斷條件.若mi>t0，則判定該窗口屬于邊緣部分；若mi≤t0，則判定該窗口屬于平滑部分.

改進公式(2)得到的能量函數(shù)為：

(9)

其中:參數(shù)f的數(shù)學模型為，

(10)

其中：α,β,γ為預先設定的常數(shù)，α是為了防止除數(shù)f為0.

線性回歸式(9)解得：

(11)

當窗口屬于邊緣時，f的取值較大，ε/f較小，表現(xiàn)出對邊緣信息敏感，放大邊緣信息；當窗口屬于非邊緣時，f的取值較小，ε/f較大，表現(xiàn)為對邊緣信息不敏感，抑制邊緣信息增長.通過對傳統(tǒng)引導濾波方法的正則化參數(shù)ε的改進，使得ε隨窗口所在區(qū)域自適應改變大小，從而克服圖像邊緣區(qū)域的過渡平滑，最終消除光暈.

在代價聚合時加權(quán)引導濾波器模型表示為：

(12)

(13)

第三步，計算總代價

在支持窗口內(nèi)進行代價聚合，得到總代價：

(14)

其中：Nk為支持窗口wp內(nèi)像素總個數(shù).

2.3 視差計算及優(yōu)化

在代價聚合后，篩選出使得窗口匹配代價最小的視差值作為該像素的初始視差值，也就是常說的勝者為王算法[13](Winner Take A11，WTA)：

(15)

其中：Sd={dmin,…,dmax}是所有的視差取值.

在得到初始視差圖后，由于左、右圖在遮擋區(qū)域和視差連續(xù)區(qū)域找不到對應匹配點而存在誤匹配，需要對其進行優(yōu)化.先對初始視差圖進行左右一致性檢測，通過比較左圖和右圖相匹配的視差點的視差值來判斷該視差是否為正確匹配點.對于錯誤匹配點，先使用空洞填充來去除初始視差圖中的空洞，再使用加權(quán)中值濾波的方法使得最終的視差圖更加準確.

3 實驗結(jié)果與分析

實驗利用Python語言，使用的計算機硬件配置為 Inter(R) Core (TM) i5-9300H CPU,8GB 內(nèi)存.使用圖1所示的Middlebury 數(shù)據(jù)庫集的4組標準圖像對算法性能進行仿真測試.

圖1 標準圖像Figure 1 Standard image

3.1 MiCC的測試

圖2是除匹配代價計算方法不同外，其他步驟及參數(shù)完全相同的 Teddy的視差對比圖.從圖2可以看出，所提MiCC生成視差圖的效果在深度不連續(xù)區(qū)域及低紋理區(qū)域要明顯好于采用結(jié)合顏色特征、梯度信息或結(jié)合梯度信息、梯度角度的視差圖，尤其是圈起來的區(qū)域.

圖2 不同匹配代價對比Figure 2 Comparison of different matching costs

3.2 Mi-SGR算法的測試

利用Mi-SGR對圖1的4幅圖像測試，并和CostFilter[11]、GF[13-16]、VariableCross[17]進行對比分析，結(jié)果如圖3所示.可見：Mi-SGR的第1、2張圖效果明顯優(yōu)于GF和VariableCross算法，尤其是第1張圖的燈罩邊緣輪廓及書架的弱紋理區(qū)域；Mi-SGR的第3、 4張圖效果明顯優(yōu)于GF、CostFilter和VariableCross算法，尤其是第3張圖的小熊的邊緣輪廓及傾斜面頂部紋理和第4張圖中的椎面體的邊緣及錐面體之間的視差不連續(xù)區(qū)域.總的來說，在立體匹配絕大多數(shù)難點區(qū)域，比如弱紋理區(qū)域、遮擋區(qū)域和視差不連續(xù)區(qū)域，所提算法都可以較好的保持視差邊界，得到較高精度的視差圖.

圖3 4種算法的匹配結(jié)果對比: (A)真實視差圖；(B)GF；(C)Costfilter；(D)VariableCross；(E)Mi-SGRFigure 3 Comparison of matching results of four algorithms: (A) real parallax diagram; (B) GF; (C) Costfilter; (D) VariableCross; (E) Mi-SGR

為了充分體現(xiàn)Mi-SGR算法的優(yōu)異效果，將其與GF、CostFilter及VariableCross所得視差圖局部放大后進行比較，Teddy(上)和Cones(下)的視差圖的局部放大結(jié)果如圖4所示，可以看出GF和CostFilter算法在邊緣區(qū)域及平滑區(qū)域效果很差，同時CostFilter的視差圖中還存在大量噪聲，VariableCross算法在視差不連續(xù)區(qū)域及平滑區(qū)域出現(xiàn)大面積錯誤匹配，而Mi-SGR得到的視差圖噪聲較少，同時在在邊緣區(qū)域、平滑區(qū)域及視差不連續(xù)區(qū)域的效果明顯相比于其他算法有明顯的改善.

圖4 局部對比細節(jié)圖Figure 4 Details of local comparison

通過以上視覺方法驗證了Mi-SGR的效果優(yōu)于其他方法，下面從誤匹配率直觀的比較各種立體匹配算法.表1為所提算法與其他局部立體匹配算法結(jié)果對比的百分比數(shù)據(jù)，誤差閾值為1 pixel，即匹配結(jié)果與真實視差圖的差值大于1個像素時就認為該點是誤匹配點.

從表1中的數(shù)據(jù)可以看出，雖然所提算法在Tsukuba和Venus上的誤匹配率比其他方法略高，但在Teddy和Cones上的誤匹配率比其他方法小很多，與Costfilter相比，本文所提算法在Teddy和Cones上的誤匹配率均下降了25%，且平均誤匹配率較低.所提算法在匹配精度上超過了許多當前的局部立體匹配算法.

表1 所提算法與其他局部立體匹配算法結(jié)果對比(錯誤匹配率%)

為了具體體現(xiàn)各算法的錯誤匹配像素點的分布情況，圖5給出了GF(A)、CostFilter(B)、VariableCross(C)及Mi-SGR(D)的誤匹配點圖，其中黑色區(qū)域即為誤匹配點，可以看出Mi-SGR算法能更好的保留圖像的邊緣信息，相較于其他方法誤匹配點更少，匹配精度更高.

圖5 誤匹配點圖Figure 5 Mismatched point graph

4 結(jié) 語

在現(xiàn)有的局部立體匹配算法的基礎上，提出一種融合多信息代價計算和顯著梯度的立體匹配算法.融合顏色特征、梯度信息和梯度角度的匹配代價計算方法，既能很好的保持原始圖像的顏色信息，又能對光照失真不敏感且對圖像噪聲有很好的穩(wěn)健性，是基于顏色特征和基于梯度特征方法的取長補短.加權(quán)引導濾波立體匹配算法，利用顯著圖像邊緣突出的特點來區(qū)分邊緣區(qū)域與平滑區(qū)域，自適應改變正則化參數(shù)的大小來處理不同的圖像紋理，可以避免邊緣區(qū)域的光暈現(xiàn)象.實驗結(jié)果表明，相較現(xiàn)有的局部立體匹配算法，本文所提算法有效改善了邊緣輪廓及平滑區(qū)域的視差，同時獲得了更低的誤匹配率和更高精度的視差圖.