雙目立體視覺中特征點三維坐標(biāo)重構(gòu)校準(zhǔn)研究

韋爭亮， 古耀達(dá)， 黃志斌， 吳 菁

（廣州計量檢測技術(shù)研究院，廣東廣州 510030）

雙目立體視覺中特征點三維坐標(biāo)重構(gòu)校準(zhǔn)研究

韋爭亮， 古耀達(dá)， 黃志斌， 吳 菁

（廣州計量檢測技術(shù)研究院，廣東廣州 510030）

雙目立體視覺是一種商業(yè)化較成熟的三維測量技術(shù)，左右攝像機(jī)內(nèi)外參數(shù)的精確標(biāo)定是實現(xiàn)三維重構(gòu)的基礎(chǔ)和關(guān)鍵。針對棋盤格和圓點兩種標(biāo)定板圖案研究了相應(yīng)的圖像處理技術(shù)，實現(xiàn)了標(biāo)定點的亞像素精度定位及其有效排序。采用基于單映性約束和非線性優(yōu)化的多視角平面標(biāo)定算法實現(xiàn)了攝像機(jī)光學(xué)及空間位置參數(shù)求解。用極線約束殘差法衡量標(biāo)定結(jié)果的準(zhǔn)確度?；跇蚴饺鴺?biāo)標(biāo)準(zhǔn)實現(xiàn)標(biāo)定點三維重構(gòu)平面度以及多平面空間夾角測量結(jié)果的校準(zhǔn)，基于光學(xué)三坐標(biāo)標(biāo)準(zhǔn)實現(xiàn)了標(biāo)定點三維重構(gòu)空間距離的校準(zhǔn)，并分析了校準(zhǔn)結(jié)果的不確定度。圓標(biāo)志點三維重構(gòu)空間距離示值誤差為0.029 mm，不確定度U＝24μm（k＝2）。

計量學(xué)；三維測量；雙目立體視覺；攝像機(jī)標(biāo)定點；三坐標(biāo)；校準(zhǔn)

1 前 言

雙目立體視覺采用雙攝像機(jī)模仿人眼功能，從不同視角獲取物體表面信息，利用視差實現(xiàn)物體表面三維重構(gòu)，是一種較成熟、商業(yè)市場較成功的三維測量技術(shù)。為了從不同視角二維圖像中恢復(fù)目標(biāo)三維信息，必須對左右攝像機(jī)的內(nèi)部光學(xué)及相對空間位置參數(shù)進(jìn)行精確的標(biāo)定，再依據(jù)攝像機(jī)成像投影數(shù)學(xué)模型反算出被測物體表面離散目標(biāo)點的三維坐標(biāo)。隨著雙目立體視覺技術(shù)在各個領(lǐng)域應(yīng)用的不斷擴(kuò)展，越來越需要對該種技術(shù)三維測量結(jié)果的準(zhǔn)確度進(jìn)行可靠的驗證與校準(zhǔn)。

本文基于圖像處理實現(xiàn)圓點或棋盤圖案的平面標(biāo)定塊特征點定位及排序，采用文獻(xiàn)［1］中基于不同視角平面成像單映射矩陣約束的攝像機(jī)內(nèi)參數(shù)求解法，并結(jié)合Levenberg-Marquardt非線性迭代從全局意義上優(yōu)化參數(shù)，實現(xiàn)自搭建的雙目立體視覺測量系統(tǒng)攝像機(jī)標(biāo)定。最終通過?？怂箍礕lobal Advantage橋式三坐標(biāo)測量機(jī)和德國WERTH的VideoCheck UA超高精度復(fù)合式光學(xué)三坐標(biāo)兩種溯源標(biāo)準(zhǔn)對標(biāo)定塊特征點三維測量結(jié)果進(jìn)行空間多布局的校準(zhǔn)。

2 雙目立體視覺測量原理

典型的雙目立體視覺測量系統(tǒng)［2］如圖1所示。對于目標(biāo)表面上的某個采樣點，根據(jù)其在兩幅圖像中的匹配像素點及攝像機(jī)標(biāo)定參數(shù)，可以構(gòu)建兩條空間視線求取其三角交會點獲得三維坐標(biāo)。但缺乏紋理的被測目標(biāo)表面難以實現(xiàn)左右圖像的匹配，通常增設(shè)一個投影設(shè)備將特定編碼的結(jié)構(gòu)光投射到物體表面形成匹配特征［3］，從而降低測量難度，提升測量分辨率和準(zhǔn)確度。

圖1 基于雙目立體視覺的三維測量系統(tǒng)

3 攝像機(jī)成像模型

攝像機(jī)光學(xué)成像如圖2所示，空間任意一點P與攝像機(jī)光心C的連線交成像平面于點p。依據(jù)世界坐標(biāo)系OXWYWZW到攝像機(jī)坐標(biāo)系CXCYCZC的旋轉(zhuǎn)矩陣R及平移向量T（攝像機(jī)外參數(shù)），按照公式（1）實現(xiàn)P點世界坐標(biāo)系OXWYWZW三維坐標(biāo)（XW，YW，ZW）到歸一化成像平面二維坐標(biāo)系oxy的坐標(biāo)（xu，yu）的轉(zhuǎn)換。其中ri及ti為矩陣R和向量T的元素。矩陣R的元素ri也可采用三個坐標(biāo)軸旋轉(zhuǎn)角θ，φ，φ來表示。

圖2 攝像機(jī)光學(xué)成像

由于制造存在的鏡頭畸變導(dǎo)致實際像點為p′（xd，yd）。依據(jù)公式（2）可實現(xiàn)畸變與非畸變圖像坐標(biāo)轉(zhuǎn)換，其中k1、k2、k3為徑向畸變參數(shù)，來自透鏡形狀誤差，p1、p2為切向畸變參數(shù)，來自透鏡組裝誤差。

最后依據(jù)攝像機(jī)主點o（光軸與成像平面交點）的對應(yīng)像素坐標(biāo)（u0，v0）以及攝像機(jī)成像水平和垂直方向以像素為單位的焦距fx、fy，由公式（3）計算出實際像點在計算機(jī)屏幕二維坐標(biāo)系o′uv的坐標(biāo)（u，v）。

4 標(biāo)定圖像處理及參數(shù)求解

首先需要標(biāo)定板提供一系列分布于測量空間的三維坐標(biāo)已知的標(biāo)定點，再通過圖像處理提取出標(biāo)定點在成像平面的二維像素坐標(biāo)，最后采用特定算法求解攝像機(jī)內(nèi)外參數(shù)。采用棋盤和圓點兩種圖案的平面標(biāo)定板提供標(biāo)定輸入數(shù)據(jù)。

圖3 棋盤標(biāo)定板及二值化圖像

棋盤標(biāo)定板的采集圖像如圖3（a）所示。尺寸為200 mm×200 mm×8 mm，方格數(shù)量為13×13個，線間距為12 mm，金屬材料。首先進(jìn)行閾值化分割，得到黑白二值化圖像，見圖3（b）。Harris定義的角點位于圖像二階導(dǎo)數(shù)的自相關(guān)矩陣：）

式中：x，y為像素點p的坐標(biāo)；I為像素灰度值。

有兩個最大特征值的地方，在本質(zhì)上表示以此點為中心周圍存在至少兩個不同方向的紋理，而棋盤格的角點為4條黑白跳躍清晰邊界的交會之處，基于該種角點定義可有效實現(xiàn)棋盤格角點定位［4］。根據(jù)邊界點與角點連線垂直于邊界梯度的約束迭代實現(xiàn)角點的亞像素精確定位，見圖4。最后依據(jù)棋盤角點上下左右連續(xù)位置關(guān)系實現(xiàn)所有角點的排序，見圖5（a）、（b）。

圖4 亞像素定位垂直約束

圓點標(biāo)定板的采集圖像如圖6（a）所示，尺寸為400 mm×300 mm×10 mm，圓點數(shù)量為11×9個，點間距為25 mm，大圓直徑為15 mm，小圓直徑為7.5 mm，金屬材料。同樣，首先將圖像二值化分割出目標(biāo)圓點，見圖6（b），提取跟蹤所有黑白跳躍的連續(xù)邊界。攝像機(jī)透視成像后標(biāo)準(zhǔn)圓點變成了橢圓形狀，用最小二乘法擬合封閉邊界橢圓系數(shù)，通過擬合誤差閾值（小于5個像素值）可有效排除各類非目標(biāo)橢圓點邊界，見圖6（c）、（d）。沿著有效的橢圓邊界點梯度方向最小二乘擬合拋物線峰值點定位亞像素邊界點，再次擬合橢圓系數(shù)實現(xiàn)亞像素級別的橢圓中心點定位。根據(jù)面積差別提取出4個大點，由距離最短的兩個連續(xù)大點確定X軸排列方向，依據(jù)其它大點與X軸大點的夾角確定Y軸及各軸正負(fù)方向，以4個大點為出發(fā)點，依據(jù)上下左右連續(xù)位置約束搜索定位出99個標(biāo)定點并排好次序，見圖6（e）、（f）。

圖5 棋盤角點定位實例

圖6 圓點標(biāo)定板圓心定位實例

攝像機(jī)標(biāo)定參數(shù)求解方法主要有線性模型方法、非線性法、基于徑向約束的Tsai兩步法［5］、畸變參數(shù)預(yù)矯正法、神經(jīng)網(wǎng)絡(luò)方法、局部逐點單像素方法［6］。文獻(xiàn)［1］對參數(shù)求解及優(yōu)化步驟進(jìn)行了詳細(xì)介紹，提出的多位置平面標(biāo)定方法只需單平面標(biāo)定塊，操作靈活方便，標(biāo)定成本低，隨意放置無需精密位移裝置，測量空間覆蓋充足，參數(shù)求解精度較高，應(yīng)用較為廣泛。

數(shù)學(xué)模型線性變換公式如下：

式（6）為矩陣代號縮寫式：

將世界坐標(biāo)系XY平面設(shè)置于標(biāo)定板平面上，則M＝[XWYW0 1]，標(biāo)定板平面二維坐標(biāo)點M與對應(yīng)圖像二維坐標(biāo)點m間存在一個單應(yīng)性矩陣變換H。

依據(jù)公式（7）建立的方程組可以解算出每一個標(biāo)定位置的H，基于式（8）和R的正交性（），可得到兩個關(guān)于攝像機(jī)內(nèi)參數(shù)的基本約束方程

理論上獲取3個以上視角，即3×2個內(nèi)參數(shù)約束即可通過奇異值分解和Cholesky矩陣分解算法實現(xiàn)內(nèi)參數(shù)矩陣的唯一確定。求解出內(nèi)參數(shù)矩陣A之后，每個標(biāo)定位置的外參數(shù)矩陣即可按下式求解

為了提高標(biāo)定精度，必須考慮客觀鏡頭畸變問題。以實際檢測圖像坐標(biāo)m與由參數(shù)初值算出的圖像坐標(biāo)的殘差平方和

為目標(biāo)函數(shù)，用Levenberg-Marquardt法進(jìn)行非線性迭代，全局優(yōu)化參數(shù)。

5 三維測量結(jié)果校準(zhǔn)

雙目立體視覺成像存在極線幾何約束。如圖7所示，左右圖像極線由雙攝像機(jī)的光心及空間點確定的光平面與成像平面的相交而形成。左圖像的某像素點在右圖像上的匹配點必定位于其對應(yīng)極線上，相反亦成立。由攝像機(jī)標(biāo)定內(nèi)外參數(shù)求解基本矩陣F，可建立極線約束方程：

式中：mTr表示右圖像像素坐標(biāo)；ml表示左圖像像素坐標(biāo)。

攝像機(jī)標(biāo)定準(zhǔn)確度最直接的一種衡量參數(shù)就是所有左右圖像標(biāo)定點去除鏡頭畸變后與其對應(yīng)極線的距離偏差均值。

圖7 外極線幾何

圖8 棋盤格標(biāo)定板圖像集

圖8給出了3個不同空間位置的棋盤格標(biāo)定板采集圖像。一共采集了10個不同視角的數(shù)據(jù)進(jìn)行攝像機(jī)標(biāo)定。標(biāo)定后極線距離偏差均值為0.099 pixel。圖9為非標(biāo)定位置的棋盤格144個標(biāo)定點的三維重構(gòu)結(jié)果。圖10為空間點最小二乘平面擬合距離偏差示意圖，平面擬合的偏差均值為0.05 mm，正負(fù)距離偏差的最大間隔即平面度為0.29 mm。棋盤格標(biāo)定板采用橋式三坐標(biāo)標(biāo)準(zhǔn)測量得到的平面度參考值為0.053 mm。采用光學(xué)三坐標(biāo)測量得到的棋盤格標(biāo)定板鄰接角點的距離均值為11.907 mm，實測連續(xù)角點距離均值為11.961 mm。表1為其中5個連續(xù)角點的空間坐標(biāo)及距離測量結(jié)果。

圖11為4個不同空間位置的圓點標(biāo)定板采集圖像。同樣共采集10個視角數(shù)據(jù)，極線距離偏差均值為0.096 pixel。99個圓心標(biāo)定點三維重構(gòu)結(jié)果如圖12，最小二乘平面擬合距離偏差示意如圖13所示。平面擬合誤差均值0.045 mm，平面度為0.328 mm，橋式三坐標(biāo)平面度標(biāo)準(zhǔn)值0.027 mm，光學(xué)三坐標(biāo)連續(xù)圓點距離標(biāo)準(zhǔn)均值為24.976 mm，連續(xù)圓點距離均值實測值為25.005 mm。

圖9 棋盤角點三維重構(gòu)結(jié)果

圖10 144點平面擬合誤差示意圖

表1 5個角點空間坐標(biāo)及距離實測結(jié)果mm

圖11 圓點標(biāo)定圖像集

將棋盤標(biāo)定板放置于3個不同空間位置測量，圖14為重構(gòu)結(jié)果三維顯示圖?；跇蚴饺鴺?biāo)得到任意兩個空間位置平面夾角，共3個角度標(biāo)準(zhǔn)值和三維重構(gòu)的3個角度實測量值，見表2，最大角度誤差為－0.061°。

圖12 99個圓心點三維重構(gòu)結(jié)果

圖13 圓心最小二乘平面擬合距離偏差示意圖

圖14 3個不同位置平面的三維重構(gòu)結(jié)果

表2 平面間夾角測量結(jié)果

6 校準(zhǔn)不確定度分析

對鄰接圓心距離均值三維測量示值誤差進(jìn)行不確定度分析。

空間距離示值誤差e為實測值lm與光學(xué)三坐標(biāo)標(biāo)準(zhǔn)值ls之差。

（1）標(biāo)準(zhǔn)不確定度分量u（lm）為圓心距離均值三維測量重復(fù)性，具體結(jié)果見表3。共測量10次，標(biāo)準(zhǔn)偏差為0.012 mm。

表3 距離均值重復(fù)性測量結(jié)果mm

（2）不確定度分量u（ls）由標(biāo)準(zhǔn)器光學(xué)三坐標(biāo)測量的最大允許誤差MPE引入。按均勻分布計算，則

合成標(biāo)準(zhǔn)不確定度［7］：

取包含因子k＝2，U＝24μm。

采用WERTH VideoCheck UA光學(xué)三坐標(biāo)溯源標(biāo)準(zhǔn)，與同類型設(shè)備相比具有較高精度，但考慮測量成本及可行性，可選用普通的視頻影像測量儀標(biāo)準(zhǔn)，若其最大允許誤差為±5μm，按照上述評定過程計算到的U為25μm，依據(jù)不確定度小于等于被評定測量儀器最大允差1／3的要求，可滿足允差大于0.075 mm的三維重構(gòu)校準(zhǔn)。

7 結(jié) 論

基于圖像二值化、梯度邊界提取跟蹤、形狀約束、最小二乘擬合等圖像處理技術(shù)實現(xiàn)棋盤或圓點平面標(biāo)定塊特征點識別及亞像素精度定位?；趩斡承约s束多視角平面標(biāo)定算法實現(xiàn)攝像機(jī)內(nèi)部光學(xué)及相對空間位置外參數(shù)求解，通過非線性迭代優(yōu)化解算鏡頭畸變參數(shù)，采用橋式三坐標(biāo)和光學(xué)三坐標(biāo)標(biāo)準(zhǔn)對非標(biāo)定位置的平面特征點三維測量結(jié)果進(jìn)行校準(zhǔn)。

棋盤格角點平面范圍為132 mm×132 mm，三維重構(gòu)的平面擬和誤差為0.051 mm，平面度測量示值誤差為（0.290－0.053）mm＝0.247 mm，誤差相對整個平面范圍為1.9×10－3，空間距離示值誤差為（11.961－11.907）mm＝0.054 mm，誤差相對整個平面范圍為0.4×10－3。

圓點平面范圍為250 mm×200 mm，三維重構(gòu)平面擬和誤差為0.045 mm，平面度測量誤差為（0.328－0.027）mm＝0.301 mm，誤差相對測量范圍為1.2×10－3，空間距離示值誤差為（25.005－24.976）mm＝0.029 mm，誤差相對測量范圍為0.1×10－3。

從實驗結(jié)果相對于整個測量范圍的誤差可以看出：圓點標(biāo)定的準(zhǔn)確度高于棋盤標(biāo)定，主要是因為圓心標(biāo)志點在數(shù)字圖像中的唯一確定性高于棋盤角點。由于制作因素，在光學(xué)三坐標(biāo)的放大鏡頭中可看到形成棋盤格角點的4條邊界交會并未對齊，實際交會角點是個空白區(qū)域，導(dǎo)致其定位精度低于可依據(jù)邊界精確定位的圓心特征。

空間距離的示值誤差較明顯地小于平面度的誤差，說明所采用的參數(shù)求解方法沒有較好符合標(biāo)志點來自于同一平面的約束，設(shè)定的標(biāo)定點距離約束則得到了較好符合。

三維重構(gòu)的測量誤差除了來自特征點的圖像定位算法、攝像機(jī)標(biāo)定算法、標(biāo)定板的制作精度以外，圖像采集硬件的性能也將會直接影響三維測量的精度。由于本文采用的三維測量校準(zhǔn)技術(shù)是在基礎(chǔ)的攝像機(jī)標(biāo)定層面上進(jìn)行，因此有助于更直接發(fā)現(xiàn)測量誤差的來源。

［1］ Zhang Z Y.A Flexible New Technique for Camera Calibration［J］.IEEEtransactionsonpatternanalysisand machineintelligence，2000，22（11）：1330－1334.

［2］ 張廣軍.機(jī)器視覺［M］.北京：科學(xué)出版社，2009，99－108.

［3］ 謝捷如，王震.運用LCD條紋投影進(jìn)行光學(xué)三維輪廓測量［J］.計量學(xué)報，2008，29（4）：301－304.

［4］ Bradski G，Kaebler A.學(xué)習(xí)OpenCV［M］.于仕琪，劉瑞禎，譯.北京：清華大學(xué)出版社，2009.

［5］ Tsai R Y.A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Offthe－shelf TV Cameras and Lenses［J］.IEEEjournalof roboticsandautomation，1987，RA－3（4）：323－344.

［6］ Liu H Y，Su W H，Richard K，etal.Calibration-based phase-shifting projected fringe profilometry for accurate absolute 3D surface profile measurement［J］.Optics Communications，2003，216，（1－3）：65－80.

［7］ 國家質(zhì)量監(jiān)督檢驗檢疫總局.JJF 1059.1—2012，測量不確定度評定與表示［S］.2012.

Research on Calibration of Three Dimensional Coordinate Reconstruction of Feature Points in Binocular Stereo Vision

WEIZheng-liang， GU Yao-da， HUANG Zhi-bin， WU Jing
（Guangzhou Institute of Measuring and Testing Technology，Guangzhou，Guangdong 510030，China）

Binocular stereo vision is one of the 3D measurement techniques which is more adult in commerce.The accurate calibration of inner and out parameters for left and right camera is basic and important in realizing 3D reconstruction.Corresponding image process techniques to two calibration block pattern with chess corners or circle points are researched，so the feature points are located in sub-pixel accuracy and effectly sequenced.The optical and space parameters are calculated by calibration algorithm of homography constraint and multe-view plane.Accuracy of calibration result is evaluated by epipolar constraint residualerror.The calibration ofmeasurement results of flatness and angle between planes of feature points 3D reconstruction is completed by standard of bridge CMM.The calibration of space distance of feature points is completed by standard of optical CMM，and the uncertainty is analyzed.The indication error of space distance of circle calibration points 3D reconstruction is 0.029 mm，uncertaintyUis 24μm（k＝2）.

Metrology；Three dimensional measurement；Binocular stereo vision；Camera calibration point；Coordinatemeasuringmachining；Calibration

TB921

A

1000-1158（2014）02-0102-06

10．3969／j．issn．1000-1158．2014．02．02

2013-05-27；

2013-07-04

國家質(zhì)檢總局科技計劃項目（2012QK063）

韋爭亮（1982－），男（壯族），廣西河池人，廣州計量檢測技術(shù)研究院工程師，博士，主要從事幾何量計量、非接觸光學(xué)三維測量技術(shù)研究。2609517012＠qq.com