基于標(biāo)準(zhǔn)桿的雙目視覺(jué)傳感器標(biāo)定技術(shù)研究

李麗娟，李寧，林雪竹，2

（1.長(zhǎng)春理工大學(xué)　光電工程學(xué)院，長(zhǎng)春　130022；2.長(zhǎng)春理工大學(xué)　機(jī)電工程學(xué)院，長(zhǎng)春　130022）

基于標(biāo)準(zhǔn)桿的雙目視覺(jué)傳感器標(biāo)定技術(shù)研究

李麗娟1，李寧1，林雪竹1，2

（1.長(zhǎng)春理工大學(xué)光電工程學(xué)院，長(zhǎng)春130022；2.長(zhǎng)春理工大學(xué)機(jī)電工程學(xué)院，長(zhǎng)春130022）

目前制造業(yè)對(duì)大范圍精密測(cè)量技術(shù)要求越來(lái)越高，為了克服傳統(tǒng)雙目立體視覺(jué)標(biāo)定過(guò)程中測(cè)量場(chǎng)難實(shí)現(xiàn)、標(biāo)定精度低等缺點(diǎn)，提出了一種較靈活的基于一維標(biāo)準(zhǔn)桿的雙目視覺(jué)傳感器的標(biāo)定方法。該方法首先利用正方形模板和帶有四個(gè)特征點(diǎn)的標(biāo)準(zhǔn)桿實(shí)現(xiàn)主點(diǎn)和畸變的標(biāo)定，然后在測(cè)量場(chǎng)多次擺放標(biāo)準(zhǔn)桿，由兩攝像機(jī)拍攝標(biāo)準(zhǔn)桿圖像，利用標(biāo)準(zhǔn)桿上對(duì)應(yīng)特征點(diǎn)之間的約束以及基本矩陣估計(jì)雙目視覺(jué)傳感器其余參數(shù)，最后光束法平差進(jìn)行整體優(yōu)化，消除累積誤差。仿真實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)結(jié)果均表明該方法適用于大視場(chǎng)雙目視覺(jué)傳感器的標(biāo)定，操作簡(jiǎn)單、標(biāo)定效率高。

雙目視覺(jué)傳感器；標(biāo)定；標(biāo)準(zhǔn)桿；光束法平差

視覺(jué)測(cè)量是一種非接觸式、高效的先進(jìn)測(cè)量技術(shù)，具有測(cè)量方式多變、測(cè)量速度快、便于攜帶等優(yōu)勢(shì)，已被廣泛應(yīng)用于制造業(yè)。視覺(jué)測(cè)量系統(tǒng)主要由兩個(gè)攝像機(jī)和系統(tǒng)計(jì)算軟件構(gòu)成，雙攝像機(jī)的標(biāo)定精度極大的影響著整個(gè)測(cè)量系統(tǒng)的精度［1］，研究精度高、運(yùn)算快、操作簡(jiǎn)單的標(biāo)定方法至關(guān)重要。

目前攝像機(jī)標(biāo)定方法主要有自標(biāo)定、一維直線標(biāo)定、二維平面標(biāo)定和三維立方體標(biāo)定［2，3］。三維靶標(biāo)要求制作精準(zhǔn)細(xì)密，不便于日常維護(hù)，在實(shí)際應(yīng)用中并不十分廣泛；二維標(biāo)定在計(jì)算中把平面模板作為理想平面來(lái)對(duì)待，后期優(yōu)化中忽略了實(shí)際平面模板的誤差；自標(biāo)定計(jì)算非常復(fù)雜，結(jié)果并不魯棒。一維標(biāo)定靶由幾個(gè)共線且彼此距離已知的特定標(biāo)定點(diǎn)組成，由于其不會(huì)被自身遮擋、制作簡(jiǎn)單、操作方便等優(yōu)勢(shì)，已經(jīng)逐漸被應(yīng)用于攝像機(jī)的標(biāo)定。最早提出一維標(biāo)定方法的是Zhang［4］，由彼此距離已知且共線的3個(gè)點(diǎn)組成一維標(biāo)定靶，一端固定，另一端旋轉(zhuǎn)，拍攝不同6幅圖像即可實(shí)現(xiàn)標(biāo)定；王年［5］也對(duì)該方法做出改進(jìn)，提出當(dāng)一維標(biāo)定物在空間中做一般剛體運(yùn)動(dòng)時(shí)，就能夠標(biāo)定出雙目攝像機(jī)的內(nèi)外部參數(shù)；王亮［6］提出了類似于分層重建的基于一維標(biāo)定物的線性標(biāo)定算法，表明一維標(biāo)定物運(yùn)用起來(lái)更加靈活方便。

本文提出了基于一維標(biāo)準(zhǔn)桿和對(duì)極幾何的攝像機(jī)標(biāo)定方法，首先利用消隱點(diǎn)的性質(zhì)完成主點(diǎn)的標(biāo)定，然后在攝像機(jī)前方任意揮舞一維標(biāo)準(zhǔn)桿，得到若干幅圖像，畸變校正后，由歸一化八點(diǎn)法估計(jì)基本矩陣，進(jìn)而估計(jì)攝像機(jī)外部參數(shù)初始值，最后利用光束法平差捆綁調(diào)整所有參數(shù)，得到最優(yōu)解。

1　雙目視覺(jué)系統(tǒng)建模

雙目視覺(jué)系統(tǒng)的測(cè)量模型如圖1所示，Ol和Or分別為左右攝像機(jī)光心，左攝像機(jī)坐標(biāo)系為Ol-XlYlZl，右攝像機(jī)坐標(biāo)系為Or-XrYrZr，令世界坐標(biāo)系與左攝像機(jī)坐標(biāo)系重合?？臻g一點(diǎn)M（X，Y，Z，1）在左右攝像機(jī)像面上的對(duì)應(yīng)點(diǎn)為ml（ul，vl，1）和mr（ur，vr，1）。

圖1　雙目視覺(jué)測(cè)量原理

由攝像機(jī)模型：

其中Pl、Pr為左右攝像機(jī)的投影矩陣，

其中I為3×3單位矩陣。

flx、fly、frx、fry分別為左右攝像機(jī)的有效焦距，（olx，oly）、（orx，ory）分別為左右攝像機(jī)主點(diǎn)坐標(biāo)，R、T為旋轉(zhuǎn)矩陣和平移向量。

由于實(shí)際鏡頭帶有不同程度的畸變，即空間點(diǎn)M（X，Y，Z）實(shí)際成像點(diǎn)不在 （x，y），而是在（xd，yd），一般情況下，畸變模型如下：

其中r2=x?2+y?2，k為一階徑向畸變系數(shù)。

在理想成像條件下，光線Olml和光線Ormr直接相交于M點(diǎn)，但實(shí)際情況中，如圖1，由于圖像噪聲誤差、制造工藝誤差等，它們不能直接相交而構(gòu)成異面曲線，由三角測(cè)量原理，它們公垂線的中點(diǎn)就是最接近空間點(diǎn)M的三維重構(gòu)點(diǎn)，將（1）式變形為：

根據(jù)三角測(cè)量原理，點(diǎn)對(duì)應(yīng)ml?mr的空間點(diǎn)M是上述方程的解，即只要知道攝像機(jī)的內(nèi)外部參數(shù)就可以得到被測(cè)物點(diǎn)的三維空間物點(diǎn)。

2　標(biāo)定原理

標(biāo)定流程如圖2所示。

圖2　標(biāo)定流程

2.1主點(diǎn)、畸變和有效焦距的標(biāo)定

主點(diǎn)標(biāo)定模板如圖4所示，標(biāo)定原理示意如圖3，由消隱點(diǎn)的屬性，一組平行線與光軸平行時(shí)，對(duì)應(yīng)的消隱點(diǎn)必是像面的主點(diǎn)，即主點(diǎn)。點(diǎn)a1a2a3，b1b2b3，c1c2c3，d1d2d3分別為A、B、C、D的三次對(duì)應(yīng)成像點(diǎn)，利用Harris角點(diǎn)檢測(cè)算子依次提取圖像中四個(gè)角點(diǎn)，擬合出四條直線li（i=1，2，3，4），并求解四條直線的交點(diǎn)，如果主點(diǎn)Oc在直線li上，必有，利用這一條件建立優(yōu)化目標(biāo)函數(shù)：

選定平均值為初值，利用最大似然估計(jì)求解主點(diǎn)的最優(yōu)解。

圖3　主點(diǎn)標(biāo)定原理圖

圖4　標(biāo)定模板

畸變標(biāo)定示意如圖5，由交比不變性質(zhì)，空間中標(biāo)準(zhǔn)桿上4點(diǎn)的交比如式（7）。

標(biāo)準(zhǔn)桿上C、D、E、H在像平面上的實(shí)際四個(gè)對(duì)應(yīng)成像點(diǎn)為cd、dd、ed、hd，由于畸變的原因，這四個(gè)點(diǎn)并不在一條直線上，根據(jù)公式（8），由最小二乘法線性擬合理想直線方程，并在交比不變的約束下確定畸變系數(shù)k。

圖5　畸變標(biāo)定原理圖

如圖1中，空間點(diǎn)在左右兩像面上的成像點(diǎn)滿足對(duì)極幾何約束，空間點(diǎn)M與左右像面的像點(diǎn)ml、mr組成極平面π，平面π與左右像面的交線分別為左極線ll和右極線lr，則像點(diǎn)ml必定位于ll上，mr必定位于lr上，這種極線約束關(guān)系在數(shù)學(xué)上可以由基本矩陣和本質(zhì)矩陣來(lái)表示：

其中，F(xiàn)為基本矩陣，E為本質(zhì)矩陣，［t］×是由T元素組成的反對(duì)稱矩陣。

由（9）式，根據(jù)加權(quán)歸一化八點(diǎn)算法求解出基本矩陣F，考慮到通常情況下像平面為正方形，高寬比為1，所以有 flx=fly=fl，frx=fry=fr，Kruppa方程是雙目攝像機(jī)的重要約束，將基本矩陣、極點(diǎn)和攝像機(jī)內(nèi)參數(shù)聯(lián)系在一起：

er為右圖像極點(diǎn)，由對(duì)基本矩陣F奇異值分解得到，［］er×為反對(duì)稱矩陣，s為一未知的正比例因子。將（12）式展開，求解有效焦距 fl和 fr。

2.2外參數(shù)和比例因子的標(biāo)定

當(dāng)內(nèi)參數(shù)矩陣KlKr已知時(shí)，利用公式（10）可求出本質(zhì)矩陣E，對(duì)E進(jìn)行奇異值分界，E=U∑VT，可以得到R和帶有比例因子的t：

R=UR90°VT或，其中

這樣R和T有四種組合結(jié)果，由于特征點(diǎn)位于攝像機(jī)前方，重建點(diǎn)Z坐標(biāo)值大于0，另外平移向量x分量小于0，根據(jù)這兩個(gè)條件篩選出最佳R和T的組合。

本質(zhì)矩陣E的求解在‖T‖=1的條件下求得，因此在此基礎(chǔ)上得到的三維重建點(diǎn)和真實(shí)點(diǎn)相差一個(gè)比例因子λ。假設(shè)標(biāo)準(zhǔn)桿上兩特征點(diǎn)距離為l，我們依據(jù)相差比例因子的投影矩陣計(jì)算出兩特征點(diǎn)的距離l?，則：

2.3攝像機(jī)標(biāo)定參數(shù)整體優(yōu)化---光束法平差

上述標(biāo)定參數(shù)的獲取是通過(guò)分步獲得，忽略系統(tǒng)的整體性，以共線條件方程為基礎(chǔ)，將攝像機(jī)內(nèi)參數(shù)、外參數(shù)和標(biāo)定點(diǎn)物方坐標(biāo)放在一起進(jìn)行平差調(diào)整，該方法亦稱光束法平差［7］。將方程線性化后，建立誤差方程，提供相應(yīng)的初始值和多個(gè)像點(diǎn)坐標(biāo)，逐點(diǎn)解算未知數(shù)的修正量，不斷更新初始值和誤差方程，迭代求解出最佳值。

由式（1）～（4），建立由空間點(diǎn)坐標(biāo)表示像點(diǎn)坐標(biāo)的共線條件方程：

由于（17）式方程是關(guān)于未知數(shù)的非線性函數(shù)，因此需線性化處理，即將函數(shù)按一階泰勒級(jí)數(shù)展開，從而建立誤差方程，并分別以內(nèi)部參數(shù)、外部參數(shù)和標(biāo)定點(diǎn)的三維坐標(biāo)的修正量這三種形式表達(dá)：

式中，P1、P2、P3分別為內(nèi)參數(shù)、外參數(shù)和物方點(diǎn)坐標(biāo)的修正量，A、B、C分別為它們對(duì)應(yīng)的偏導(dǎo)數(shù)矩陣，L為觀測(cè)值，分別表示為：

其中（x0，y0）為像點(diǎn)坐標(biāo)初始值，（x，y）是通過(guò)（16）式計(jì)算得到的像點(diǎn)坐標(biāo)。

攝像機(jī)標(biāo)定參數(shù)的獲取可通過(guò)下列非線性優(yōu)化問(wèn)題求得：

上述光束法平差將含有誤差的參數(shù)放在一起進(jìn)行平差調(diào)整優(yōu)化，既考慮了物方標(biāo)定點(diǎn)的坐標(biāo)誤差，又考慮了畸變、主點(diǎn)對(duì)圖像坐標(biāo)的誤差。

3　仿真及實(shí)驗(yàn)結(jié)果

3.1計(jì)算機(jī)仿真

利用Matlab7.10編寫算法程序，兩攝像機(jī)內(nèi)部參數(shù)完全一致，設(shè)定值表格1所示，將相機(jī)置于4000×4000mm2的視場(chǎng)中。

表1　仿真雙目傳感器參數(shù)

假設(shè)左相機(jī)坐標(biāo)系為世界坐標(biāo)系，標(biāo)準(zhǔn)桿長(zhǎng)度為970mm，隨機(jī)置于視場(chǎng)中的10個(gè)位置，分別獲取標(biāo)定桿圖像坐標(biāo)，在特征點(diǎn)的圖像坐標(biāo)上加上均值為0標(biāo)準(zhǔn)差為s的高斯白噪聲，取10個(gè)不同值，每個(gè)噪聲水平做100次，取平均值得到標(biāo)定結(jié)果：

為了驗(yàn)證實(shí)驗(yàn)結(jié)果，改變不同噪聲，反投空間點(diǎn)坐標(biāo)，并求出反投的標(biāo)準(zhǔn)桿的長(zhǎng)度與理論長(zhǎng)度的誤差。

表3　測(cè)量長(zhǎng)度誤差結(jié)果

圖6　標(biāo)準(zhǔn)桿反投長(zhǎng)度與理論長(zhǎng)度誤差

根據(jù)上圖表示的仿真結(jié)果，可以看出雙目視覺(jué)相機(jī)的空間點(diǎn)測(cè)量精度即標(biāo)準(zhǔn)桿理論長(zhǎng)度與反投長(zhǎng)度誤差基本符合噪聲增大而增大的趨勢(shì)。

3.2真實(shí)實(shí)驗(yàn)

采用兩個(gè)分辨率為1300×1024的OK-AC1300型號(hào)的1/2型號(hào)相機(jī)組成雙目視覺(jué)傳感器，鏡頭為50mm定焦鏡頭。標(biāo)準(zhǔn)桿圖7所示，帶有四個(gè)特征點(diǎn)，任意兩點(diǎn)間標(biāo)準(zhǔn)距離激光跟蹤儀獲得。

圖7　標(biāo)準(zhǔn)桿

在攝像機(jī)測(cè)量范圍內(nèi)揮舞標(biāo)準(zhǔn)桿20次，得到40組對(duì)應(yīng)圖像觀測(cè)點(diǎn)，利用上面的標(biāo)定方法在Matlab7.10平臺(tái)下測(cè)試，得到攝像機(jī)內(nèi)部參數(shù)如表格2所示。

表2　攝像機(jī)內(nèi)參數(shù)標(biāo)定結(jié)果

外部參數(shù)：

為了評(píng)定本算法的標(biāo)定精度，使用標(biāo)定后的結(jié)果進(jìn)行像點(diǎn)空間坐標(biāo)的反求，計(jì)算標(biāo)準(zhǔn)桿兩端標(biāo)記點(diǎn)的長(zhǎng)度，將測(cè)量值與實(shí)際值970.675mm進(jìn)行比較，表格3給出了部分測(cè)量結(jié)果，并計(jì)算了相應(yīng)的測(cè)量均值和標(biāo)準(zhǔn)差。

表3表明多次測(cè)量平均誤差為-0.234mm，標(biāo)準(zhǔn)差為0.3586，精度較高，本方法利用一維標(biāo)準(zhǔn)桿進(jìn)行標(biāo)定，且最后利用光束法平差統(tǒng)一優(yōu)化攝像機(jī)的內(nèi)外部參數(shù)，消除了累計(jì)誤差，使結(jié)果達(dá)到全局最優(yōu)。

4　結(jié)論

本文提出并實(shí)現(xiàn)了一種雙目視覺(jué)測(cè)量的一維標(biāo)定方法。該方法利用已知距離的特征點(diǎn)的標(biāo)準(zhǔn)桿在大視場(chǎng)測(cè)量空間移動(dòng)，通過(guò)兩個(gè)攝像機(jī)獲得的匹配點(diǎn)求得基本矩陣，并采用光束法平差優(yōu)化計(jì)算得到雙目攝像機(jī)的內(nèi)外部參數(shù)。測(cè)量過(guò)程中系統(tǒng)與被測(cè)物體的相對(duì)姿態(tài)是任意的，綜合分析了測(cè)量時(shí)工作姿態(tài)，拍攝了20種姿態(tài)下的標(biāo)準(zhǔn)桿，基本涵蓋了測(cè)量時(shí)的所有姿態(tài)，保證了測(cè)量系統(tǒng)的標(biāo)定精度，在攝像機(jī)前方7.8立方米空間測(cè)量精度達(dá)0.085mm。

［1］ 趙萍，李永奎，田素博，等.雙目視覺(jué)測(cè)量系統(tǒng)結(jié)構(gòu)參數(shù)理論與試驗(yàn)研究［J］.機(jī)械設(shè)計(jì)，2013，30（2）：64-68.

［2］ 張鋮偉，王彪，徐貴力.攝像機(jī)標(biāo)定方法研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（11）：174-179.

［3］ 雷成，吳福朝，胡占義.Kruppa方程與攝像機(jī)自標(biāo)定［J］.自動(dòng)化學(xué)報(bào)，2001，27（05）：621-630.

［4］Zhang Z Y.Camera calibration with one-dimensional objects［A］.Proceedings of the 7th European Conference on Computer Vision［C］.Berlin，Germany：Springer-Verlag，2002：161-174.

［5］ 王年，唐俊，韋穗，等.基于一維移動(dòng)物體的雙目裝置自標(biāo)定［J］.機(jī)器人，2006，28（2）：136-143.

［6］ 王亮，吳福朝.基于一維標(biāo)定物的多攝像機(jī)標(biāo)定［J］.自動(dòng)化學(xué)報(bào)，2007，33（3）：225-231.

［7］ 王昭，黃軍輝，高建民，等.基于光束法平差的結(jié)構(gòu)光測(cè)量系統(tǒng)標(biāo)定［J］.機(jī)械工程學(xué)報(bào)，2013，49（8）：32-40.

Research on Calibration of Stereo Vision Sensor Based on Standard Bar

LI Lijuan1，Li Ning1，LIN Xuezhu1，2
（1.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Mechatronical Engineering，Changchun University of Science and Technology，Changchun 130022）

The more accurate of large scope precise measurement is increasingly required in manufacturing industry，this paper presents a more flexible method based on one-dimensional standard bar for calibrating stereo vision sensor，which overcomes difficulty and low precision in factory in traditional binocular stereo vision sensor.Firstly，a square template and a standard bar with four points are used to calibrate principal point and aberration，then the standard bar is randomly placed in measurement space for several times and the images of the points on the standard bar are acquired by the cameras，the other parameters are estimated based on the foundational matrix and the constraint of the known distance between the points on the target，lastly，the bundle adjustment method is applied to optimize all the parameters of the cameras and calibration points to reduce the accumulated error.The results of simulation and physical experiment show that the proposed calibration method is efficient and easy to operate，and this method is suitable for the calibration of stereo vision sensor with large field of view.

stereo vision sensor；calibration；standard bar；bundle adjustment

TP391

A

1672-9870（2015）05-0034-05

2015-04-25

國(guó)家863重點(diǎn)項(xiàng)目（2013XX0406）

李麗娟（1972-），女，教授，博士生導(dǎo)師，E-mail：custjuan@126.com