公垂線法雙目立體視覺三維重建

張芝賢，程繼坤，武旭娟

(沈陽航空航天大學(xué) 電子與通信工程學(xué)院，遼寧 沈陽，110136)

公垂線法雙目立體視覺三維重建

張芝賢，程繼坤，武旭娟

(沈陽航空航天大學(xué) 電子與通信工程學(xué)院，遼寧 沈陽，110136)

雙目立體視覺測(cè)量系統(tǒng)是工業(yè)測(cè)量中的重要手段，三維重建是雙目立體視覺測(cè)量體統(tǒng)中非常重要的一環(huán)?；谝暡钤淼膫鹘y(tǒng)三維重建模型是對(duì)雙目立體視覺系統(tǒng)的一種理想化抽象。通過分析由平面到三維點(diǎn)的實(shí)際映射過程，提出了一種更加符合實(shí)際數(shù)據(jù)的三維重建模型，異面直線公垂線三維重建方法。該方法通過計(jì)算兩攝像機(jī)光心與其各自像點(diǎn)構(gòu)成的兩條空間直線的公垂線，即兩條異面直線的最小距離點(diǎn)來定位三維空間點(diǎn)，且其最小距離參數(shù)可有效判斷誤匹配點(diǎn)。通過實(shí)驗(yàn)對(duì)該方法進(jìn)行了驗(yàn)證。結(jié)果表明該方法可達(dá)到傳統(tǒng)視覺三維重建方法的測(cè)量精度，并可有效判斷匹配點(diǎn)是否為誤匹配點(diǎn)。

雙目立體視覺測(cè)量；異面直線公垂線；誤匹配點(diǎn)；三維立體重構(gòu)

0 引言

雙目立體視覺測(cè)量是一種基于視差原理的三維非接觸測(cè)量技術(shù)。由兩臺(tái)攝像機(jī)在不同的角度下同時(shí)獲取待測(cè)目標(biāo)的圖像，然后利用特征點(diǎn)的圖像坐標(biāo)根據(jù)測(cè)量模型重建其三維坐標(biāo)，最后通過擬合這些特征點(diǎn)獲取待測(cè)目標(biāo)的三維幾何信息。雙目立體視覺重建技術(shù)已經(jīng)深入到人們生活、生產(chǎn)和工作的方方面面，具有重要的理論意義和實(shí)用價(jià)值。它所涉及的知識(shí)面很廣，是一種綜合性的技術(shù)，有廣闊的發(fā)展前途和廣泛的應(yīng)用前景[1]。在三維立體重構(gòu)中,空間點(diǎn)作為三維結(jié)構(gòu)最為基本的組成單位，在理論方面能夠從點(diǎn)構(gòu)成線，從線構(gòu)成面，隨后通過各個(gè)面來形成三維空間結(jié)構(gòu)。所以，測(cè)量空間點(diǎn)的具體坐標(biāo)是最為基本的雙目立體視覺內(nèi)容。雙目立體三維重構(gòu)也是基于點(diǎn)的三維信息的獲取。

雙目立體視覺利用三角幾何相關(guān)原理來對(duì)視差進(jìn)行計(jì)算進(jìn)而獲得物象在三維空間上的信息[2]。為理解雙目立體的視覺原理，通常假設(shè)存在一個(gè)結(jié)構(gòu)非常簡(jiǎn)單的雙目視覺系統(tǒng)[3]，兩個(gè)攝像機(jī)光軸平行并且它們的內(nèi)參完全相同，如圖1所示。這個(gè)系統(tǒng)的基線(兩個(gè)攝像機(jī)光心之間的連線)與第一個(gè)攝像機(jī)的x軸一致。

圖1 理想測(cè)量模型

而對(duì)于構(gòu)建一般雙目視覺系統(tǒng)，無法嚴(yán)格保證兩相機(jī)坐標(biāo)系嚴(yán)格平行。一般測(cè)量模型[4]更便于理解雙目立體視覺結(jié)構(gòu)。如圖2所示，該模型不需要兩個(gè)相機(jī)坐標(biāo)系嚴(yán)格平行。

圖2 一般測(cè)量模型

對(duì)于以上兩種測(cè)量模型，都首先需要進(jìn)行標(biāo)定獲得相機(jī)的內(nèi)外參數(shù)，區(qū)別在于理想測(cè)量模型需要根據(jù)內(nèi)外參數(shù)將測(cè)量系統(tǒng)映射轉(zhuǎn)化為理想測(cè)量系統(tǒng)，而一般測(cè)量模型僅需要對(duì)圖像做畸變校正，而后直接利用兩相機(jī)的相對(duì)位姿關(guān)系求得三維點(diǎn)信息。

然而由于實(shí)際的鏡頭并不是理想的透視成像，而是帶有不同程度的畸變，圖像中存在噪聲的干擾影響特征點(diǎn)提取精度等原因，使得空間點(diǎn)所成的像并不是在線性模型所描述的位置，在實(shí)際數(shù)據(jù)中這兩條直線并非交于一點(diǎn)而是構(gòu)成空間異面直線。另一方面，對(duì)于匹配錯(cuò)誤的同名點(diǎn)，以上兩種算法的重構(gòu)過程無法判斷該組同名點(diǎn)是否匹配有誤。而誤匹配在所有的匹配算法中都是無法完全避免的[5]。由于誤匹配點(diǎn)的不確定性可能會(huì)導(dǎo)致重構(gòu)三維空間點(diǎn)嚴(yán)重偏離實(shí)際點(diǎn)，大大影響了系統(tǒng)測(cè)量精度。

根據(jù)雙目立體視覺的實(shí)際數(shù)據(jù)，在一般測(cè)量模型基礎(chǔ)上，可將兩條視線即兩相機(jī)光心與各自像點(diǎn)的連線視為兩條空間異面直線。通過求取這兩條異面直線以及異面直線公垂線[6]，可確定三維重構(gòu)點(diǎn)的最佳估計(jì)位置，同時(shí)可根據(jù)距離參數(shù)判斷該點(diǎn)是否為誤匹配點(diǎn)。

1 公垂線法三維立體重建

1.1 攝像機(jī)標(biāo)定與點(diǎn)的坐標(biāo)系轉(zhuǎn)換

圖像與三維信息之間的對(duì)應(yīng)關(guān)系是由攝像機(jī)成像的幾何模型決定的,這些幾何模型參數(shù)就是攝像機(jī)參數(shù),求解攝像機(jī)參數(shù)的過程即攝像機(jī)標(biāo)定的過程[7]。攝像機(jī)標(biāo)定是雙目立體視覺系統(tǒng)中的重要一環(huán)，是三維立體重構(gòu)的基礎(chǔ)環(huán)節(jié)。通過攝像機(jī)標(biāo)定一方面獲得成像幾何模型的結(jié)構(gòu)參數(shù)用于三維立體信息的重構(gòu)，另一方面是對(duì)攝像機(jī)存在的鏡頭畸變進(jìn)行校正確保測(cè)量精度。

研究中采用張正友提出的基2D平面標(biāo)定板的標(biāo)定算法[8]，并在其原有算法僅考慮鏡像畸變基礎(chǔ)上考慮了切向畸變帶來的影響，使得畸變校正結(jié)果更理想，精度更高。

(1)

其中，k1、k2為徑向畸變系數(shù)，p1、p2為切向畸變系數(shù)，pd(xd,yd)為實(shí)際的圖像坐標(biāo)，pu(xu,yu)為不考慮鏡頭畸變的線性模型下的圖像坐標(biāo)，即為畸變校正后的圖像坐標(biāo)。

標(biāo)定獲得相機(jī)的內(nèi)部參數(shù)以及兩相機(jī)坐標(biāo)系間的變換關(guān)系H。根據(jù)內(nèi)參可以確定相機(jī)光心與像點(diǎn)在各自坐標(biāo)下的坐標(biāo)，然后根據(jù)兩相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系H將所有點(diǎn)統(tǒng)一到同一坐標(biāo)系下[9]。這里根據(jù)方程(2)將所有三維點(diǎn)統(tǒng)一到左相機(jī)坐標(biāo)系下。

(2)

其中PR為空間點(diǎn)在右相機(jī)坐標(biāo)系下的空間坐標(biāo)，PL為空間點(diǎn)在左相機(jī)坐標(biāo)系下的坐標(biāo)R為旋轉(zhuǎn)矩陣，t為右相機(jī)坐標(biāo)系到左相機(jī)坐標(biāo)系的一個(gè)平移量。

由此可由一對(duì)同名點(diǎn)以及相機(jī)各自光心四個(gè)點(diǎn)構(gòu)成雙目立體視覺的兩條視線，并可將這兩條異面直線在同一坐標(biāo)系下表示。

1.2 公垂線法立體重構(gòu)

如圖3所示，兩條視線構(gòu)成一對(duì)異面直線?？臻g異面直線的最小距離點(diǎn)即為兩條異面直線的公垂線與兩條異面直線的交點(diǎn)。這里是以左相機(jī)坐標(biāo)系為作為系統(tǒng)坐標(biāo)系。因此選取左相機(jī)的視線與公垂線的交點(diǎn)為三維重構(gòu)的最佳估計(jì)點(diǎn)。

圖3 異面直線測(cè)量模型

根據(jù)P1、O1與P2、O2構(gòu)成的兩條視線的直線為：

(3)

則這兩條空間任意直線的公垂線為:

(4)

公垂線兩視線的交點(diǎn)分別為：

M(x1+m1t1,y1+n1t1,z1+p1t1)

N(x2+m2t2,y2+n2t2,z2+p2t2)

兩條異面直線的最小距離參數(shù)：

選取左相機(jī)視線與公垂線交點(diǎn)M為最佳三維重構(gòu)點(diǎn)。距離參數(shù)Dist為兩條視線的最小距離。

與傳統(tǒng)方法相比公垂線法立體重構(gòu)除獲得三維重構(gòu)點(diǎn)外，還可獲得一個(gè)異面直線距離參數(shù)。在理想情況下兩個(gè)特征點(diǎn)匹配正確時(shí)該距離參數(shù)為零。而實(shí)際中匹配正確的也會(huì)存在微小的位置偏差，但這種偏差基本是亞像素級(jí)的，雖然會(huì)使距離參數(shù)不為零，但其值在會(huì)在一個(gè)很小的范圍之內(nèi)。當(dāng)重構(gòu)點(diǎn)為誤匹配點(diǎn)時(shí)，匹配點(diǎn)對(duì)的誤差則是不可預(yù)知的，至少是像素級(jí)別的，其可能是幾個(gè)、幾十個(gè)甚至上百個(gè)像素點(diǎn)，因而距離參數(shù)數(shù)值也急劇增大。正是因?yàn)檎_匹配點(diǎn)與誤匹配點(diǎn)在距離參數(shù)數(shù)值上的差異，所以可將該值作為對(duì)誤匹配點(diǎn)進(jìn)行甄別的一個(gè)有效手段。

2 三維重構(gòu)實(shí)驗(yàn)及精度評(píng)價(jià)

本文標(biāo)定過程采用寬度為500 mm的 Halcon標(biāo)定板對(duì)雙目立體視覺系統(tǒng)進(jìn)行標(biāo)定。標(biāo)定獲得相機(jī)內(nèi)參如表1、表2所示，左右兩相機(jī)的相對(duì)位置關(guān)系如表3所示。

表1 相機(jī)內(nèi)部參數(shù)標(biāo)定結(jié)果

表1中f為相機(jī)的鏡頭焦距，sx、sy為相機(jī)感光芯片的像元尺寸，cx、cy為鏡頭光心在圖像平面上的垂直投影點(diǎn)的投影點(diǎn)[10]。

表2 鏡頭畸變系數(shù)標(biāo)定結(jié)果

表3 雙目系統(tǒng)兩相機(jī)位姿關(guān)系標(biāo)定結(jié)果

實(shí)驗(yàn)中標(biāo)定板精度在1 μm以內(nèi)，因此通過提取標(biāo)定板中的標(biāo)志點(diǎn)進(jìn)行匹配三維重構(gòu)來驗(yàn)證公垂線三維重構(gòu)點(diǎn)的距離精度。實(shí)驗(yàn)中拍攝了標(biāo)定板8種不同姿態(tài)，并對(duì)距離為375 mm的兩標(biāo)志點(diǎn)進(jìn)行三維重構(gòu)，如圖4所示。

圖4 不同姿態(tài)標(biāo)定板標(biāo)志點(diǎn)提取

利用不同三維重構(gòu)算法對(duì)該對(duì)同名點(diǎn)進(jìn)行三維重構(gòu)求取距離，并對(duì)三種方法進(jìn)行精度分析對(duì)比，如表4所示。利用公垂線法三維重構(gòu)同時(shí)可獲得16個(gè)點(diǎn)重構(gòu)的距離參數(shù)Dist。而后在在雙目系統(tǒng)下利用匹配算法進(jìn)行特征點(diǎn)的提取與匹配，通過人工識(shí)別找出自動(dòng)匹配點(diǎn)對(duì)中的誤匹配點(diǎn)。同樣對(duì)重構(gòu)獲得距離參數(shù)Dist，并將與正確匹配點(diǎn)對(duì)的距離參數(shù)作比較，如表5所示。

表4 三種模型三維重構(gòu)點(diǎn)的距離誤差

由表4可以看出，公垂線法雙目立體重構(gòu)的重構(gòu)精度與傳統(tǒng)重構(gòu)方法精度一致，在本次實(shí)驗(yàn)環(huán)境下精度可達(dá)10-5m。

表5 匹配成功點(diǎn)與誤匹配點(diǎn)距離參數(shù)

由表5可知，正確匹配點(diǎn)與誤匹配點(diǎn)對(duì)距距離參數(shù)Dist有明顯差異,且其值與系統(tǒng)精度重構(gòu)一致，在10-5m波動(dòng)。而誤匹配點(diǎn)由于誤匹配的隨機(jī)性則距離參數(shù)具有較大波動(dòng)性，并且其距離參數(shù)要遠(yuǎn)遠(yuǎn)大于求取正確匹配點(diǎn)的距離參數(shù)，所以根據(jù)該依據(jù)可有效區(qū)分匹配點(diǎn)中的誤匹配點(diǎn)。

3 結(jié)論

本文基于傳統(tǒng)雙目立體視覺重構(gòu)方法提出了一種新公垂線雙目立體視覺重構(gòu)方法。通過實(shí)驗(yàn)驗(yàn)證了該方法可達(dá)到傳統(tǒng)的三維立體重構(gòu)方法對(duì)空間點(diǎn)的重構(gòu)精度。同時(shí)利用該方法三維點(diǎn)重構(gòu)過程中獲得的異面直線的距離參數(shù)來對(duì)匹配點(diǎn)進(jìn)行判斷。通過設(shè)置合適閾值可自動(dòng)篩選出重構(gòu)點(diǎn)中的誤匹配點(diǎn)將其去除，不僅可提高測(cè)量效率，而且進(jìn)一步保證了測(cè)量精度。

[1] FUSIELLO A.Uncalibrated euclidean reconstruction:a review[J].Image and Vision Computing, 2000, 18(6-7): 555-563.

[2] 馬頌德,張正友. 計(jì)算機(jī)視覺-計(jì)算機(jī)理論與算法基礎(chǔ)[M].北京: 科學(xué)出版社,1998.

[3] 馬桂珍,諶海新,馬丙辰.基于雙目視覺的手術(shù)器械跟蹤定位技術(shù)[J].微計(jì)算機(jī)應(yīng)用,2005,26(2)：181-183.

[4] 邾繼貴,于之靖.視覺測(cè)量原理與方法[M].北京：機(jī)械工業(yè)出版社，2011.

[5] 劉晶晶.基于雙目立體視覺的三維定位技術(shù)研究[D].武漢:華中科技大學(xué),2007.

[6] 呂林根,許子道.解析幾何[M].北京:高等教育出版社,2007.

[7] 賈云得.機(jī)器視覺 [M].北京：科學(xué)出版社,2005.

[8] Zhang Zhengyou. A flexible new technique for camera calibration [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000，22(11)：1330 1334.

[9] STEGER C,ULRICH M,WIEDEMANN C.機(jī)器視覺算法與應(yīng)用[M].楊少榮，吳迪靖，段德山，譯.北京：清華大學(xué)出版社，2008．

[10] LENZ R K,TSAI R Y. Techniques for calibration of the scale factor and image center for high accuracy 3D machine vision metrology [C]. Proceedings of IEEE International Conference on Robotics and Automation, Washington DC：IEEE，1987：68-75.

Common perpendicular 3D reconstruction of binocular stereo vision

Zhang Zhixian, Cheng Jikun, Wu Xujuan

(College of Electronic an Information Engineering, Shenyang Aerospace University，Shenyang 110136，China)

The binocular stereo vision system is an important way of industrial measurement. 3D reconstruction is a very important part of binocular stereo vision measurement. The traditional reconstruction model based on the principle of parallax is an idealized abstraction of binocular stereo vision system. By analyzing the actual mapping process from the image plane to the 3D point, the paper proposes a model which accords with the 3D reconstruction of the actual data more precision . This reconstruction method uses the common perpendicular of space straight line to calculate 3D point. By calculating the camera’s optical center point and the respective image points in a world coordinate system, we can acquire two space straight line and then we can calculate the common perpendicular and the distance parameter. The distance parameter can be used as an index to judge the error matching point. Experiments results show that the method can achieve the precision the same as the traditional reconstruction method, and in this way we can judge error matching points effectively.

binocular stereo vision measurement; common perpendicular; error matching point,;3D reconstruction

TP391

A

10.19358/j.issn.1674- 7720.2017.04.024

張芝賢，程繼坤，武旭娟.公垂線法雙目立體視覺三維重建[J].微型機(jī)與應(yīng)用，2017,36(4)：80-83.

2016-09-17)

張芝賢(1959-)，男，教授,主要研究方向：航空電子信息系統(tǒng)。

程繼坤(1989-)，男，碩士研究生，主要研究方向：航空電子信息系統(tǒng)。

武旭娟(1989-)，女，碩士研究生,主要研究方向：航空電子信息系統(tǒng)。