基于區(qū)域灰度的雙目視覺映射適應(yīng)性匹配

黃政

（四川大學(xué)計算機學(xué)院，成都 610065）

0 引言

在當今很多應(yīng)用場景中，平面像素信息特征往往難以滿足系統(tǒng)功能實現(xiàn)的需要。更多的研究人員把信息描述記錄向三維拓寬，在三維重建中，有許多方法基于視覺理論，結(jié)合圖像處理技術(shù)，用各類數(shù)字傳感器獲取物體的三維信息[1]?，F(xiàn)如今有不少三維重建技術(shù)，結(jié)合各類理論方法，計算實現(xiàn)立體視覺模型的建立。

立體視覺作為空間物體三維重建的一種方法，三維重建包括主動視覺和被動視覺[1]。傳感器相關(guān)技術(shù)實現(xiàn)的主動視覺除外，被動視覺中從相機數(shù)目上分為，單目視覺、雙目視覺和多目視覺法；根據(jù)匹配方法原理上，又分為基于區(qū)域的匹配、基于特征描述的匹配和基于規(guī)則代價估計的匹配方法等。SLAM技術(shù)也是立體視覺在一定條件情形下的發(fā)展較廣闊的應(yīng)用場景。

單目視覺中，單視點的單幅圖像重建法，由于如今神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，通過二維特征信息（包括紋理、明暗度等信息）和周圍像素點信息之間的關(guān)聯(lián)性，也能在大部分的情境下能做出預(yù)測推斷[2]。單目視覺中的多幅圖可以通過對相機自標定，來滿足大規(guī)模的場景需求，但仍對源圖像信息的要求較大，同時匹配重建開銷較大[3]。

雙目視覺法則是通過對極幾何把問題轉(zhuǎn)化為三角測算問題上來，之后的三目視覺法，多目視覺法則是對于雙目視覺匹配中的差異性問題放大來看和極線矯正中邊緣畸變較大等問題做進一步改進修正。

在各類被動視覺體系中，基本包括基于特征點和特征區(qū)域的匹配，然后通過一定的規(guī)約完善策略來實現(xiàn)全局的最優(yōu)匹配結(jié)果。對于特征點匹配來說，匹配效率較高，同時對于部分沒有細致紋理特征分布的區(qū)域來說需要通過擬合來實現(xiàn)深度預(yù)測，而對于區(qū)域來匹配的方法來說，則計算量往往較為龐大，在視差范圍內(nèi)的區(qū)域均可作為候選區(qū)域。

對于各類匹配策略來看，如基于區(qū)域相似度匹配的方法，基于特征描述的匹配方法等，存在局部區(qū)域描述為非映射適應(yīng)性的差異。本文的重心在于雙目視覺法系統(tǒng)中的匹配方法，給出有效的方法算法，來逐步減小各對應(yīng)區(qū)域描述信息之間的差異，提高匹配率，同時，提升深度點云的細密度。

1 算法

1.1 相機的標定和校準

在雙目視覺體系中，較為重要的一個理論就是把對極幾何應(yīng)用到場景中去。因而，在雙目視覺場景中把極線約束規(guī)約到左右視圖中的過程也是十分必要的。首先需要對左右視點相機做標定和校準。

首先，呈像平面到相機坐標系的關(guān)聯(lián)，可從圖1中表述。

圖1 呈像平面到相機坐標系

而相機內(nèi)部的參數(shù)，往往由生產(chǎn)相機廠商在一定容差下產(chǎn)生的微小誤差，以及結(jié)合相機的焦距來實現(xiàn)計算估計的εx，εy。式（1）為呈像平面坐標到相機坐標的關(guān)系：

同時，單獨每個相機坐標系關(guān)聯(lián)世界坐標的關(guān)系又可以通過旋轉(zhuǎn)矩陣R和平移矩陣T來實現(xiàn)。R為3×3的旋轉(zhuǎn)矩陣，T為3維向量的平移矩陣。則相機坐標（xc,yc,zc）與世界坐標系（Xw,Yw,Zw）的關(guān)系即可由式（2）得出：

由于相機透鏡的結(jié)構(gòu)特征，或多或少的會在呈像過程中引入成像畸變，仍然需要對相機的畸變影響做一定的校正。又由于透鏡中心是中心對稱的，所以在這里考慮一級和二級的徑向畸變k1（x2+y2）+k2（x2+y2）2，結(jié)合（1）式，可得到式（3）。通過對多組棋盤圖源數(shù)據(jù)的角點提取迭代計算誤差后，最小二乘法計算徑向畸變系數(shù)，能對相機進行畸變的矯正，以減少實驗過程中的偏差[4]。最后將從成像像素坐標到世界坐標的映射關(guān)系參數(shù)進行優(yōu)化，最小化參數(shù)值[4]。通過該流程對雙目視覺系統(tǒng)中的兩個視點相機進行標定和校準，若兩相機相對位置有所固定，稍有不同的就是在標定過程中可以通過同一空間位置不同視點的角點提取來計算兩相機的相對Rltor,Tltor向量。這也是在極線矯正中可以用到的。

1.2 極線矯正

在經(jīng)過相機的初步標定和校準過后，需要把雙目視覺的左右源圖矯正成同一方向的視圖，從而使用對極幾何中的理論，提供更多的信息以便匹配過程的使用。如圖2，在極線約束條件下，Pl,Pr,Er,El共面，Pl與Pr分別為世界坐標下P點在左右相機的成像點。即只需在另一面視圖找到源點對應(yīng)的極線，在其上搜索匹配點。

圖2 雙目視覺系統(tǒng)

常見的雙目視覺中相機光軸往往存在一定角度，通常將相機視圖中的極線校正為平行以便處理，即對左右視圖均做一定的單應(yīng)變換。這里采用Bouguet算法[5]作為極線矯正算法。這是一種使得投影次數(shù)最少，重疊面積比最大（或信息可用率最大）的求解方式。過程1,1,1中的左右相機標定中，雙目相機的相對位置Rltor,Tltor參數(shù)即可在此處使用。校正后的圖像具備以下兩個特征：

（1）對應(yīng)的點的垂直坐標一致，這里即可保證在搜索區(qū)域或特征描述子的中心位置的點所在對應(yīng)極線上的中心位置一致；

（2）由于左右相機的焦距有所差異，所以左右校正后圖像存在一定尺度差異。

對于1特征中的信息，即校正后圖像保證的信息是縱坐標一致，而坐標的差異用以計算深度信息，這即是本文引言中提及的類如特征區(qū)域方法和特征描述子方法中存在的由于物體表面深度信息差異帶來的非映射適應(yīng)性解決方案，不少學(xué)者對其進行了一定程度的仿射變換修正，但和實物區(qū)域的曲面分布仍存在一定誤差[6-8]。對于2特征中的問題，不少論文結(jié)合尺度金字塔的建立對左右相機視圖做了一定尺度適應(yīng)性處理[9]或在匹配過程中使用ASIFT諸類方法來實現(xiàn)。

1.3 基于特征區(qū)域的匹配

基于特征區(qū)域的匹配也可以叫做基于灰度信息的匹配，是較為常用的匹配方法，原理基本是通過對圖像特征進行分析，計算獲取一定參數(shù)，然后對兩圖區(qū)域塊進行相似度的計算匹配，優(yōu)化以達到最優(yōu)。該方法由粗匹配到細匹配的過程到對區(qū)域進行塊分割，再到應(yīng)對旋轉(zhuǎn)不變性，仿射不變性的區(qū)域灰度信息匹配。如圖3所示，當把左圖作為初始圖時，左圖中一點P（xl,yl）在右圖作為待匹配圖中在視差d（一定視差范圍內(nèi)）找到對應(yīng)匹配點（xr,yr），在極線校正后的圖中，可以確定左圖中區(qū)域框上下邊對應(yīng)點仍然在右圖區(qū)域框上下邊對應(yīng)極線上（不考慮極線矯正誤差）。初步的匹配過程中可以假設(shè)區(qū)域里的像素信息映射到左右視圖是對應(yīng)的，利用m*n的區(qū)域和b的步長來計算。

圖3 基于區(qū)域灰度的左右極線矯正后圖的匹配

本文使用的是零均值歸一化互相關(guān)ZNCC算法，因為其對光照條件具有一定的魯棒性。式（4）位ZNCC算法相關(guān)度計算公式。當ZNCC取值范圍為[-1,1]，極值點表示匹配度越佳。通過改進的二次曲面擬合亞像素匹配[10]，可以計算左圖（xl,yl）中心位置映射相關(guān)的右圖區(qū)域中心位置（xr,yr）。

其中L，R分別為左右圖對應(yīng)位置上的像素信息。

亞像素的匹配擬合計算得到的結(jié)果，如圖4所示。

圖4 亞像素匹配的區(qū)域視差信息（每個區(qū)域內(nèi)對應(yīng)的位置d+△d）

在第一次匹配完成后，記錄每個左圖初始圖計算獲得的ZNCC相關(guān)度極值和浮點精度視差d（xl，yl），并以此建立初步的深度信息圖（三維深度點云圖），當匹配完成后，可以根據(jù)左右視圖橫坐標的差異利用三角幾何計算深度距離Zc，在點云圖的基礎(chǔ)上進行過濾，平滑曲面，得到局部連續(xù)的三維曲面，同時可以確定左視圖中連續(xù)的圖割區(qū)域。同時得到進一步視差映射關(guān)系[xr,yr]=[F（xl,yl）l,G（xl,yl）l]，其中關(guān)系F,G因深度圖像存在前后景差異使得映射不連續(xù)。因而考慮一定鄰域連續(xù)區(qū)域分段進行映射適應(yīng)性曲面擬合計算Jacobi函數(shù)（即以映射前左圖的區(qū)域矩形為標準，需要矩形內(nèi)的點映射到連續(xù)曲面上）。其中Jacobi函數(shù)為式（5）。

之后改進ZNCC相關(guān)度計算公式為式（6）重新計算相似度，重復(fù)上述過程，在亞像素的精度上繼續(xù)計算區(qū)域塊d視差精度上的細密視差差異，直到到達迭代次數(shù)。

2 對比與分析

在雙目視覺的極線矯正系統(tǒng)中，由于部分圖像的紋理信息較為疏散，導(dǎo)致物體表面對應(yīng)位置的匹配綜合各類誤差效果，不能得到很好的效果。對于基于區(qū)域灰度的匹配策略和特征的匹配策略，往往選定的區(qū)域框選和特征描述子，在左右視圖中的映射關(guān)系由物體曲面特征關(guān)系，并不呈現(xiàn)放射變換，或在基于特征的匹配過程中，連續(xù)曲面的分布表達沒有有效地運用起來。通過加入映射適應(yīng)性參數(shù)的調(diào)配，能夠有效地把每次的匹配結(jié)果表述給下一次迭代過程，讓物體紋理之間的深度預(yù)測分布更擬合物體曲面的紋理關(guān)系。

3 結(jié)語

本文給出了基于區(qū)域匹配策略的雙目視覺中應(yīng)對映射適應(yīng)性分布曲面擬合方法，該算法對于實際預(yù)測物體的分布更真實的調(diào)用了真實物體紋理區(qū)域的信息，具有一定的理論意義和實際意義。