雙目立體視覺三維重建技術(shù)

盧 毅， 李曉艷， 徐熙平

（長春理工大學 光電工程學院，吉林 長春 130022）

0 引 言

通過計算機或機器人實現(xiàn)像人類那樣靈活、高效的視覺，是科技工作者多年來為之努力的目標。計算機視覺是計算機把采集的圖像經(jīng)過圖像處理、人工智能等手段來模擬人類或生物視覺系統(tǒng)功能，其研究的目標是通過一幅或多幅二維圖像認知（識別、理解、描述和存儲）三維場景信息（如形狀、大小、位置、姿態(tài)等幾何信息）的能力，雙目立體視覺是其重要分支之一［1－2］。根據(jù)仿生物學視覺系統(tǒng)原理，利用兩個CCD相機從不同的角度獲取兩幅數(shù)字圖像，通過立體匹配計算出兩幅圖像像素的位置偏差（即視差）來獲取這一場景的立體幾何信息與深度信息，并建立三維坐標，重建該場景的三維形狀與位置關(guān)系［3－4］。

雙目立體視覺系統(tǒng)由圖像采集、攝像機標定、特征提出、立體匹配、三維信息恢復和三維信息重建等6部分組成［5－6］。Marr認為計算機視覺是一個信息處理的過程，并分為3個層次，即計算理論層次、表達與算法層次和硬件實現(xiàn)層次，Marr視覺系統(tǒng)處理過程如圖1所示［7－8］。

圖1 Marr視覺系統(tǒng)處理過程

1 攝像機標定

雙目立體視覺系統(tǒng)利用兩臺CCD相機獲取兩幅二維圖像，通過相關(guān)算法，計算機得到該場景的三維坐標及深度信息，進而提取深度信息及三維重建。該場景中某點的三維坐標與二維圖像中對應(yīng)點之間關(guān)系是由CCD相機的幾何模型決定的，幾何模型的參數(shù)就是攝像機的參數(shù)，它包括內(nèi)參數(shù)和外參數(shù)。攝像機的參數(shù)通過實驗獲得，實驗及計算的過程就叫做攝像機的標定［9－10］。

1.1 CCD相機的成像模型

在雙目立體視覺系統(tǒng)中，三維場景中的點與二維圖像中對應(yīng)點之間的聯(lián)系通過建立相機成像的幾何模型來確立。小孔透視成像幾何模型是一種最常用的幾何模型，它包括光心、光軸和成像平面三部分，其原理如圖2所示。

圖2 小孔透視成像幾何模型

1.2 CCD相機標定坐標系

從三維場景投影到相機二維像平面的過程中，主要涉及以下坐標系。

1.2.1 圖像像素坐標系

用來表示三維場景中的點在二維圖像上的投影，坐標用（u，v）表示像素在數(shù)組中的行數(shù)和列數(shù)，原點在平面圖像的左上角，u軸水平向右，v軸水平向下。

1.2.2 圖像物理坐標系

表征圖像像素的位置而像素沒有實際物理意義，用坐標（x，y）來表示，原點在平面圖像中心。圖像坐標系如圖3所示。

圖3 圖像坐標系

1.2.3 相機坐標系

相機光心為原點，X、Y軸與圖像坐標系X、Y光軸平行，光軸為Z軸與平面圖像的交點稱圖像主點，用（Xc，Yc，Zc）表示。

1.2.4 世界坐標系

表示三維場景點的絕對坐標，也叫絕對坐標系，用（Xw，Yw，Zw）表示。相機坐標系與世界坐標系如圖4所示。

圖4 相機坐標系與世界坐標系

1.3 CCD相機標定參數(shù)

圖3 描述了物理坐標系與像素坐標系之間的關(guān)系，設(shè)主點O1在u，v坐標系的坐標為（u0，v0），每一個像素在u和v軸上物理尺寸為dx和dy，在不考慮畸變的情況下，變換關(guān)系如下：

用矩陣形式表示如下：

圖4描述了相機坐標系和世界坐標系的關(guān)系，也就是外參數(shù)。外參數(shù)表示相機在世界坐標系中的位置和方向，用旋轉(zhuǎn)矩陣R和平移矢量T來表示。三維場景中某點P在世界坐標系和相機坐標系下的齊次坐標分別為（Xw，Yw，Zw，1）T和（Xc，Yc，Zc，1）T，它們之間的關(guān)系為：

由式（1）～式（3）得：

式中：K——相機內(nèi)參數(shù)；

s——扭轉(zhuǎn)因子；

P——3×4的投影矩陣。

2 雙目視覺立體匹配技術(shù)

立體匹配研究的主要內(nèi)容是三維場景中不同角度拍攝的二維圖像像素之間的對應(yīng)關(guān)系，目的在于獲取精確的視差圖，進而完成深度檢測。立體匹配過程大多采用灰度圖像進行匹配，但二維圖像受到鏡頭畸變、圖像噪聲、物體幾何特征和光照等原因的影響，得到的圖像會有所差異。多種匹配方法都包含3個基本問題，即匹配基元、匹配準則和匹配算法。

從采集到的二維圖像中提取對應(yīng)的圖像特征，是立體匹配的核心步驟。用來描述圖像特征的元素稱之為基元，它包含特征點、邊緣、區(qū)域、相位和灰度圖像等。匹配基元的選取結(jié)果直接影響到視差圖的效果，成功的基元匹配應(yīng)具有唯一性、穩(wěn)定性、不變性、可區(qū)分性和有效解決歧義匹配的能力。

源圖像中的一個特征點，在對應(yīng)的待匹配圖像中可能存在多個相似的候選匹配基元。因此必須引入一定的約束準則作為輔助判據(jù)，來得到唯一正確的對應(yīng)關(guān)系。匹配準則就是要去除不符合要求的干擾因素，提高抗誤匹配的能力，減少算法的計算量。采用廣為應(yīng)用的極限約束準則來作為匹配準則，如圖5所示。

圖5 極限約束準則原理示意圖

立體匹配的實質(zhì)就是研究如何在一定的約束準則下，實現(xiàn)最佳搜索?，F(xiàn)有的基于區(qū)域的匹配算法主要分為全局最優(yōu)搜索算法和局部最優(yōu)搜索算法。文獻［11］提出立體匹配算法的實現(xiàn)過程分為4步，即匹配代價計算、代價值聚合、視差計算和視差精度提升。

3 雙目視覺三維重建方法

雙目立體視覺的三維重建就是指從采集到的兩幅二維圖像中恢復目標物體的三維坐標及幾何形狀的過程。三維目標物體的深度信息隱含在兩幅二維圖像中，通過深度計算提取出這些隱含在二維圖像中的深度信息，再經(jīng)過空間點集的三維重建算法來進行三維重建。雙目成像系統(tǒng)中兩臺CCD相機的光學中心之間的距離為基線B，空間某點坐標投射到像平面坐標分別為（x1，y1）和（x2，y2），雙目成像系統(tǒng)如圖6所示。

兩臺CCD相機拍攝的同一目標體上P點的兩幅圖像坐標分別為（Xleft，Yleft）和（Xright，Yright），目標物體上P點的深度距離為：

式（5）中，視差為Disparity＝Xleft－Yleft，基線B和焦距f為已知量，可以計算出P點的三維坐標。這種通過左右投影點計算出空間點坐標的方法，稱為點對點運算。利用相關(guān)軟件對目標體的三維坐標進行計算，顯示出三維模型經(jīng)過紋理粘貼得到真實三維模型。

圖6 雙目成像系統(tǒng)示意圖

雙目立體成像視差圖如圖7所示。

應(yīng)用本系統(tǒng)對復雜目標進行三維重構(gòu)，實驗結(jié)果如圖8所示。

圖7 雙目立體成像視差圖

圖8 復雜目標的三維重建圖像

圖8 （a）為未經(jīng)過旋轉(zhuǎn)的立體圖，立體感不強，效果不明顯；（b）和（c）為三維空間內(nèi)經(jīng)過旋轉(zhuǎn)的圖像，圖中直線為物體旋轉(zhuǎn)的中心軸線，立體感較強；（d）為被測目標的三維點云圖像。

4 結(jié) 語

介紹了基于雙目立體視覺對目標體進行三維重建的方法，著重分析了相機的標定、立體匹配算法及深度信息的提取，實現(xiàn)了通過拍攝兩幅二維圖像重建三維場景的目標，并達到了良好的效果。

［1］ Minglun Gong，Yee－Hong Yang.Genetic－ased stereo algorithm and disparity map evaluation［J］.International Journal of Computer Vision，2002（1／3）：63－77.

［2］ Krystian Mikolajczyk，Cordelia Schmid.Scale ＆affine invariant interest point detectors［J］.International Journal of Computer Vision，2004（1）：63－86

［3］ 劉慶華，唐伯良，董戎萍.雙目立體匹配圖像對的預(yù)處理研究［J］.計算機工程與設(shè)計，2005，26（3）：793－795.

［4］ 邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述［J］.自動化學報，2000，26（1）：43－45.

［5］ 羅桂娥，劉小群.區(qū)域與特征相結(jié)合的立體匹配算法［J］.計算機安全，2011（5）：14－17.

［6］ 裴婭男.單幅圖像三維目標定位及重建［J］.長春工業(yè)大學學報：自然科學版，2014，35（6）：660－667.

［7］ 曹之樂，嚴中紅，王洪.雙目立體視覺匹配技術(shù)綜述［J］.重慶理工大學學報，2015，29（2）：14－17.

［8］ 張梁，徐錦法，夏青元.雙目立體視覺的無人機位姿估計算法及驗證［J］.哈爾濱工業(yè)大學學報，2014，46（5）：66－71.

［9］ 戴玉艷，朱燦焰，季愛明，等.一種基于圖像處理的雙目視覺校準方法［J］.電子設(shè)計工程，2015，23（16）：178－181.

［10］ 尚倩，阮秋琦，李小利.雙目立體視覺的目標識別與定位［J］.智能系統(tǒng)學報，2011，6（4）：303－311.

［11］ Richard Szeliski.Computer vision：algorithms and applications［M］.Germany：Springer－Verlag，2010：238－249.