雙目視覺(jué)立體標(biāo)定方法的改進(jìn)

劉 軍，李 娜，劉 鵬

(1.武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205;2.武漢工程大學(xué)智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430205)/

0 引 言

攝像機(jī)標(biāo)定是指建立攝像機(jī)幾何成像模型，描述空間坐標(biāo)系中的景物點(diǎn)同它在圖像平面上的像點(diǎn)之間的對(duì)應(yīng)關(guān)系，并求取該模型的各參數(shù)的過(guò)程[1].在雙目立體視覺(jué)系統(tǒng)中，要精確地從二維圖像中獲取三維信息，準(zhǔn)確地得到三維圖像點(diǎn)與相應(yīng)的圖像像素點(diǎn)之間的對(duì)應(yīng)關(guān)系，攝像機(jī)標(biāo)定是至關(guān)重要的，同時(shí)精確求取攝像機(jī)的內(nèi)外參數(shù)以及畸變系數(shù)不僅可以在三維恢復(fù)系統(tǒng)中提高精度，而且可以為后續(xù)的校正和特征匹配奠定良好的基礎(chǔ).

隨著計(jì)算機(jī)視覺(jué)的發(fā)展，國(guó)內(nèi)外學(xué)者進(jìn)行了大量的研究，也相應(yīng)的提出了不同的攝像機(jī)標(biāo)定方法，攝像機(jī)標(biāo)定方法大體可以分為傳統(tǒng)的攝像機(jī)標(biāo)定方法和攝像機(jī)自標(biāo)定方法.傳統(tǒng)的攝像機(jī)標(biāo)定方法需要精度很高的標(biāo)定參照物，即在確定的攝像機(jī)模型下，通過(guò)拍攝已知尺寸、形狀的標(biāo)定物來(lái)進(jìn)行標(biāo)定，再經(jīng)過(guò)一系列的數(shù)學(xué)變換和計(jì)算方法來(lái)計(jì)算其內(nèi)外參數(shù)，典型的張正友平面標(biāo)定法[2]；而自標(biāo)定方法是利用攝像機(jī)在拍攝過(guò)程中周圍環(huán)境約束與圖像位置約束之間的對(duì)應(yīng)關(guān)系來(lái)求取攝像機(jī)模型的內(nèi)參數(shù)，自1992年Hartley[3]和Faugeras[4]首次提出自標(biāo)定思想以來(lái)，其已經(jīng)成為了計(jì)算機(jī)視覺(jué)研究的熱點(diǎn)問(wèn)題.

以射影幾何為基礎(chǔ)，根據(jù)其消失點(diǎn)的重要性質(zhì)，大量學(xué)者提出了一系列的攝像機(jī)標(biāo)定方法，如Liu Ying 等人提出了基于共面消失點(diǎn)的攝像機(jī)標(biāo)定方法[5-6]，該方法要求制作精確定位的點(diǎn)陣模板；吳剛等人也根據(jù)射影幾何模型的相關(guān)性質(zhì)提出了不同的攝像機(jī)標(biāo)定方法，射影幾何中的調(diào)和共軛理論高精度的求出消失點(diǎn)，并結(jié)合消失點(diǎn)對(duì)攝像機(jī)內(nèi)參數(shù)的約束，給出了一種基于正方形模板的攝像機(jī)內(nèi)參數(shù)求取方法[7]，但該方法并未考慮鏡頭的畸變以及系數(shù)的全局優(yōu)化問(wèn)題，影響實(shí)際的實(shí)驗(yàn)精度.此外，以上方法大都進(jìn)行的單目標(biāo)定，而本文在研究了這一系列方法的基礎(chǔ)上，提出了一種改進(jìn)的雙目視覺(jué)攝像機(jī)立體標(biāo)定方法，根據(jù)射影幾何模型為基礎(chǔ)來(lái)建立攝像機(jī)的標(biāo)定模型，利用消失點(diǎn)的重要性質(zhì)，以正方形投影區(qū)域進(jìn)行角點(diǎn)提取，確定角點(diǎn)坐標(biāo)，結(jié)合張正友標(biāo)定方法，初步求解出攝像機(jī)內(nèi)參數(shù)，通過(guò)計(jì)算空間中的景物點(diǎn)在左右攝像機(jī)成像平面上的位置關(guān)系，計(jì)算出雙目視覺(jué)系統(tǒng)中兩個(gè)攝像機(jī)之間的旋轉(zhuǎn)矩陣R和平移向量T，從而實(shí)現(xiàn)了立體標(biāo)定，并利用非線性優(yōu)化方法對(duì)參數(shù)進(jìn)行全局優(yōu)化.

1 攝像機(jī)成像模型

在立體標(biāo)定時(shí)，多采用針孔攝像機(jī)模型，根據(jù)射影幾何中B雙空間幾何模型的相關(guān)性質(zhì)定義了相應(yīng)的攝像機(jī)標(biāo)定模型，假設(shè)在三維歐氏空間中定義坐標(biāo)系F(Oc，Xc，Yc，Zc)為攝像機(jī)參考坐標(biāo)系，其中點(diǎn)Oc為攝像機(jī)的光心，軸X與軸Y分別與圖像平面的橫縱軸平行.用F系下的一個(gè)齊次向量π(πx，πy，πz)表示一個(gè)平面，對(duì)平面有如下限定：如果平面沒(méi)有穿過(guò)攝像機(jī)光心Oc，那么可以用一個(gè)三維向量ω(ωx，ωy，ωz)來(lái)表示該平面，并且滿足關(guān)系〈ω，X〉=1，其中X=[X，Y，Z]，對(duì)平面滿足解析表達(dá)式：

πxX+πyY+πzZ+πt=0

(1)

(2)

由此可進(jìn)一步推導(dǎo)出ω與π的關(guān)系式：

(3)

(4)

圖1 標(biāo)定模型圖Fig.1 Calibration model diagram

根據(jù)射影幾何的性質(zhì)[7-8]：兩條平行直線在無(wú)窮遠(yuǎn)處有一個(gè)交點(diǎn)，且一條直線上只有一個(gè)無(wú)窮遠(yuǎn)點(diǎn)，所有的一組平行線共有一個(gè)無(wú)窮遠(yuǎn)點(diǎn)，在本文中稱該無(wú)窮點(diǎn)在圖像平面上的投影點(diǎn)為消失點(diǎn)，并且消失點(diǎn)與攝像機(jī)光心的連線與此消失點(diǎn)所在的空間平面平行.根據(jù)此性質(zhì)與射影幾何的交比性質(zhì)結(jié)合，提出一種計(jì)算攝像機(jī)內(nèi)參數(shù)矩陣的改進(jìn)方法.

2 改進(jìn)的攝像機(jī)內(nèi)參數(shù)求解算法

由于本文中提出的標(biāo)定方法是基于正方形區(qū)域的參數(shù)計(jì)算[7]，因此在利用該方法計(jì)算攝像機(jī)內(nèi)參數(shù)時(shí)，需要在圖像平面上找到一個(gè)正方形投影區(qū)域，投影后會(huì)相應(yīng)的更新攝像機(jī)圖像坐標(biāo)系和空間坐標(biāo)系下的角點(diǎn)坐標(biāo)值.如圖2所示，記一個(gè)平面上正方形區(qū)域的4個(gè)頂點(diǎn)分別為A、B、C、D，各自的投影點(diǎn)分別為：A1，B1，C1，D1，記A1B1所在的直線為α1，B1C1所在的直線為α2，A1D1所在的直線為α3，C1D1所在的直線為α4，對(duì)應(yīng)向量分別為φ1，φ2，φ3，φ4；v1，v2，v3，v4分別為直線α1，α2，α3，α4的消失點(diǎn).

圖2 正方形投影區(qū)域中點(diǎn)線的關(guān)系Fig.2 Square projection area between the midpoint of the line

由此假設(shè)空間中一對(duì)正交的平行線，P1，P2為各自的無(wú)窮點(diǎn)，p1，p2為相應(yīng)的消失點(diǎn)，則由正方形投影中點(diǎn)線的關(guān)系有：

(5)

(6)

(7)

令Q=N-TN-1，結(jié)合式(4)將其展開后有：

Q=N-TN-1=

(8)

由分析可知Q是一個(gè)包含未知變量的對(duì)稱矩陣，因此可以定義向量Q=[Q1Q2Q3Q4Q5Q6]T，同時(shí)設(shè)v1，v2，v3，v4的坐標(biāo)分別為(uv1，vv1)，(uv2，vv2)，(uv3，vv3)，(uv4，vv4)，則聯(lián)合式(7)、(8)有：

(9)

在實(shí)驗(yàn)中同時(shí)獲得了兩幅以上的圖像，假設(shè)從不同的位置拍攝了N幅圖像，則需要建立N組類似式(9)的方程：XQ=0，其中X是2N×6的矩陣，且由于每一個(gè)消失點(diǎn)的坐標(biāo)可以利用相應(yīng)的射影幾何關(guān)系進(jìn)行計(jì)算，則可以很容易計(jì)算出矩陣X；當(dāng)N≥3時(shí)，利用最小二乘法可求解向量Q，從而得到攝像機(jī)的內(nèi)參數(shù)如下：

3 算法的實(shí)現(xiàn)

先利用射影幾何消失點(diǎn)與交比的性質(zhì)求出攝像機(jī)的內(nèi)參數(shù)，然后結(jié)合張正友標(biāo)定法與Brown方法求解出其外參數(shù)，并利用非線性優(yōu)化方法對(duì)參數(shù)進(jìn)行全局優(yōu)化計(jì)算，從而得到最終精確的標(biāo)定參數(shù)，具體完整的標(biāo)定實(shí)現(xiàn)過(guò)程如下.

3.1 圖像采集及角點(diǎn)提取

采用黑白棋盤格圖像為9×7的方格圖作為標(biāo)定板，每個(gè)方格的大小為27 mm×27 mm，固定并在不同的角度拍攝一系列圖片，一般而言，拍攝的圖片數(shù)量越多，其精度就相對(duì)較高，但所需時(shí)間也較長(zhǎng)，就此本文中分別對(duì)左右攝像機(jī)采集了10幅圖像.在進(jìn)行角點(diǎn)提取時(shí)，由于使用傳統(tǒng)的角點(diǎn)檢測(cè)算法在全部圖像范圍內(nèi)進(jìn)行檢測(cè)，會(huì)存在較大的誤差，降低檢測(cè)精度；因此，本文為了避免這個(gè)問(wèn)題，選取圖像區(qū)域?yàn)?×5的方格作為角點(diǎn)的檢測(cè)區(qū)域，再在這個(gè)區(qū)域內(nèi)采用harris算法進(jìn)行角點(diǎn)檢測(cè).符合本文改進(jìn)的計(jì)算攝像機(jī)內(nèi)參數(shù)的求解方法中以正方形投影區(qū)域進(jìn)行計(jì)算，因此在實(shí)驗(yàn)中以選取的7×5方格區(qū)域左上角作為原點(diǎn)，對(duì)每一幅棋盤格圖建立角點(diǎn)的空間坐標(biāo)系，同時(shí)確定每一個(gè)提取出的角點(diǎn)圖像坐標(biāo)值.

3.2 計(jì)算攝像機(jī)內(nèi)參數(shù)及畸變系數(shù)

提取出角點(diǎn)后，利用前面所述的攝像機(jī)內(nèi)參數(shù)求解方法進(jìn)行相應(yīng)的求解.由于在標(biāo)定過(guò)程中，鏡頭存在畸變等因素會(huì)影響標(biāo)定的精度[9]，因此在本文中考慮了橫向畸變和徑向畸變，利用文獻(xiàn)[10]的畸變模型，將提取出的角點(diǎn)空間坐標(biāo)和相應(yīng)的圖像坐標(biāo)進(jìn)行運(yùn)算，利用最小二乘法優(yōu)化，從而得到畸變系數(shù).最后利用Levenberg-Marquardt算法對(duì)所求解的內(nèi)外參數(shù)進(jìn)行全局非線性優(yōu)化，得到最終的內(nèi)外參數(shù).

3.3 求解旋轉(zhuǎn)矩陣R和平移矩陣T

對(duì)雙目攝像頭標(biāo)定不僅要得出每個(gè)攝像機(jī)的內(nèi)部參數(shù)，還需要通過(guò)標(biāo)定來(lái)測(cè)量?jī)蓚€(gè)攝像機(jī)之間的相對(duì)位置(即右攝像頭相對(duì)于左攝像頭的三維平移向量T和旋轉(zhuǎn)矩陣R).在空間中給定任一點(diǎn)P，假設(shè)點(diǎn)P在世界坐標(biāo)系、左攝像機(jī)C1坐標(biāo)系和右攝像機(jī)C2坐標(biāo)系下的非齊次坐標(biāo)分別為Xw，Xc1，Xc2，則三者滿足以下關(guān)系式：

(10)

其中R1，R2分別為左右攝像機(jī)與世界坐標(biāo)系的旋轉(zhuǎn)矩陣，R，T2分別為左右攝像機(jī)與世界坐標(biāo)系的平移向量，這4個(gè)變量可以通過(guò)前述方法進(jìn)行計(jì)算出來(lái).又由于在左右攝像機(jī)坐標(biāo)系中Xc1，Xc2都表示點(diǎn)P的坐標(biāo)，因此由式(10)可得Xc1，Xc2滿足：

Xc1=R1R2-1Xc2+T1-R1R2-1T2

(11)

若令R=R1R2-1，T=T1-R1R2-1T2，則左右攝像機(jī)之間的旋轉(zhuǎn)矩陣R和平移向量T就可以通過(guò)這樣的方式計(jì)算出來(lái).

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性， 實(shí)驗(yàn)中將左右攝像機(jī)各采集的10幅圖像，分別采用上述標(biāo)定方法進(jìn)行立體標(biāo)定，標(biāo)定結(jié)果如式(11)及表1所示.

(12)

表1 本文實(shí)驗(yàn)標(biāo)定結(jié)果

結(jié)果分析：圖3是采用本文改進(jìn)的角點(diǎn)檢測(cè)方法進(jìn)行檢測(cè)的結(jié)果，圖4顯示了具體檢測(cè)到的每個(gè)角點(diǎn)，從圖3及圖4中可以看出檢測(cè)出的角點(diǎn)就是在實(shí)驗(yàn)所需要的全部角點(diǎn)信息，運(yùn)用本文提供的內(nèi)參數(shù)求解算法可以得到相關(guān)參數(shù).由實(shí)驗(yàn)結(jié)果可以看出，旋轉(zhuǎn)矩陣R基本接近單位矩陣，同時(shí)結(jié)合圖5顯示的左右攝像機(jī)與棋盤格標(biāo)定板的位置關(guān)系可以得出左右攝像機(jī)的位置基本是前向平行的，另實(shí)驗(yàn)中左右攝像機(jī)的實(shí)際距離是205 mm，而由實(shí)驗(yàn)所得的平移向量T中兩相機(jī)的距離為201.308 55 mm，兩者比較接近；實(shí)驗(yàn)結(jié)果總體符合實(shí)驗(yàn)要求，標(biāo)定結(jié)果達(dá)到了一定的精度，但在標(biāo)定的過(guò)程中畸變?nèi)匀粚?duì)結(jié)果有些影響，在后續(xù)的實(shí)驗(yàn)中還需進(jìn)一步優(yōu)化，提高實(shí)驗(yàn)的精確度.

圖3 角點(diǎn)檢測(cè)結(jié)果Fig.3 Corner detection results

圖4 具體的角點(diǎn)檢測(cè)細(xì)節(jié)Fig.4 Specific details of corner detection

圖5 雙攝像頭與標(biāo)定棋盤間的位置關(guān)系Fig.5 Dual cameras and calibration positional relationship between the board

5 結(jié) 語(yǔ)

以射影幾何模型為基礎(chǔ)，結(jié)合消失點(diǎn)的一些重要性質(zhì)，在進(jìn)行單目標(biāo)定的基礎(chǔ)上，提出了上述雙目攝像機(jī)內(nèi)參數(shù)求取新方法，同時(shí)在該方法中對(duì)角點(diǎn)的提取也做了相應(yīng)的改進(jìn)，充分利用了圖像的點(diǎn)、線、面固有的性質(zhì)，結(jié)合張正友標(biāo)定方法的靈活性，使該方法在實(shí)驗(yàn)中實(shí)現(xiàn)起來(lái)簡(jiǎn)單方便，并能取得較高的精度，為后續(xù)進(jìn)行立體校正與匹配奠定了基礎(chǔ).

致 謝

本研究工作得到了湖北省教育廳青年人才項(xiàng)目、武漢工程大學(xué)科學(xué)研究基金項(xiàng)目及武漢工程大學(xué)研究生教育創(chuàng)新基金項(xiàng)目的資助，在此表示衷心的感謝.

參考文獻(xiàn)：

[1] 劉俸材，謝明紅，王偉．雙目視覺(jué)的立體標(biāo)定方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32(4)：1508-1522．

LIU Feng-cai，XIE Ming-hong，WANG Wei．Stereo calibration method of binocular vision[J].Computer Engineering and Design，2011，32(4)：1508-1522. (in Chinese)

[2] ZHANG Zheng-you． Flexible camera calibration by viewing a plane from unknown orientations[J].IEEE International Conference on，Computer Vision，1999(1) : 666-673.

[3] Hartley R. Estimation of relative camera positions for uncalibrated cameras[C]//Proceedings of the ECCV. NLCS 588,Springer-Verlag, 1992：579-387.

[4] Maybank SJ, Faugeras OD. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision, 1992,8(2):123-151.

[5] 張維勇，王 征，翟鳴，等.基于射影不變量的攝像機(jī)自標(biāo)定方法[J].中國(guó)圖象圖形學(xué)報(bào),2005，10(11)：1432-1435．

ZHANG Wei-yong,WANG Zheng,ZHAI Ming. A Method of Camera Self-calibration Based on the Projective Invariant[J]. Journal of Image and Graphics, 2005，10(11)：1432-1435.(in Chinese)

[6] LIU Ying. Planar Vanishing Points Based Camera Calibration. Proceedings of the Third International Conference on Image and Graphics[C]//Los Alamitos.IEEE Computer Society,2004: 460-463.

[7] 吳剛，唐振民． B雙空間幾何中基于消隱點(diǎn)的攝像機(jī)標(biāo)定[J].計(jì)算機(jī)工程與應(yīng)用，2009，45(24):4-6．

WU Gang，TANG Zhen-min．Camera calibration based on vanishing points in B-dual-space geometry[J]．Computer Engineering and Applications,2009，45(24)：4-6．(in Chinese)

[8] 雷成,吳福朝,胡占義.Kruppa 方程與攝像機(jī)自標(biāo)定[J].自動(dòng)化學(xué)報(bào)，2001，27(5): 621-630．

LEI Cheng,WU Fu-chao,HU Zhan-yi.Krupp A Equations and Camera Self-calibration[J].Act a Automatica Sinica,2001，27(5): 621-630.(in Chinese)

[9] 楊明，王海暉，萬(wàn)妮，等.雙目標(biāo)定系統(tǒng)精度提高的方法[J].武漢工程大學(xué)學(xué)報(bào)，2012，29(1)：69-73．

YANG Ming,WANG Hai-hui,WAN Ni,et al. Methods of Accuracy inocular Calibration System[J]. Wuhan Institute of Technology,2012，29(1)：69-73. (in Chinese)

[10] 王建華，馮 帆．非線性模型下的攝像機(jī)標(biāo)定[J].光電子技術(shù)，2012,32(1)：33-38．

WANG Jin-hua,FENG Fan.Non-linear Model Based Camera Calibration[J].Optoelectronic Optoelectronic Technology,2012,32(1):33-38. (in Chinese)