基于雙目視覺(jué)的測(cè)距系統(tǒng)研究

王浩 張善房 朱建高 張鳳生

1. 海信家電集團(tuán)股份有限公司 山東青島 266000；

2. 青島大學(xué) 山東青島 266000

0 引言

目前非接觸式測(cè)距方法中，利用超聲波、紅外、激光等進(jìn)行測(cè)量的方式較為普遍，超聲波方式成本高、精度較低，紅外方式測(cè)量范圍小，激光方式測(cè)量精度高、成本高[1][2]。隨著圖像技術(shù)的發(fā)展，雙目視覺(jué)測(cè)距法展現(xiàn)出速度快、柔性好等優(yōu)點(diǎn)，具有較大潛力。同時(shí)，以雙目視覺(jué)測(cè)距為基礎(chǔ)，通過(guò)調(diào)整測(cè)量系統(tǒng)的參數(shù)，可以實(shí)現(xiàn)測(cè)量范圍的改變，通過(guò)改變不同的圖像處理算法實(shí)現(xiàn)不同的功能，同時(shí)搭載不同的語(yǔ)言控制系統(tǒng)，可將雙目視覺(jué)技術(shù)應(yīng)用到機(jī)械臂、智慧家居、智能制造等領(lǐng)域，前景廣闊[3]。

基于視差原理分析[4]、相機(jī)成像模型分析，設(shè)計(jì)雙目測(cè)距系統(tǒng)，并推導(dǎo)測(cè)距算法及計(jì)算公式。進(jìn)一步對(duì)相機(jī)畸變模型、相機(jī)標(biāo)定、圖像處理及圖像特征點(diǎn)匹配方法進(jìn)行研究，最終將理論應(yīng)用到實(shí)際，根據(jù)設(shè)計(jì)原理，基于兩個(gè)CCD相機(jī)搭建雙目視覺(jué)測(cè)距系統(tǒng)實(shí)體[5]，對(duì)測(cè)距系統(tǒng)實(shí)體采用張正友標(biāo)定法進(jìn)行相機(jī)標(biāo)定[6][7]，并進(jìn)一步對(duì)系統(tǒng)進(jìn)行標(biāo)定，得到系統(tǒng)的固有參數(shù)。基于系統(tǒng)固有參數(shù)，通過(guò)設(shè)計(jì)的系統(tǒng)采集被測(cè)對(duì)象的圖片，并對(duì)左右相機(jī)采集的對(duì)應(yīng)圖片進(jìn)行圖像處理及特征匹配，得到被測(cè)對(duì)象相對(duì)相機(jī)的位置，最終實(shí)現(xiàn)測(cè)距[8][9]目的。

1 雙目視覺(jué)測(cè)距原理

圖1所示為雙目視覺(jué)測(cè)距原理圖。C1、C2為兩個(gè)標(biāo)稱參數(shù)一致的CCD相機(jī)，f1、f2分別為左、右相機(jī)鏡頭焦距，α1、α2分別為左、右相機(jī)光軸傾角，理論上應(yīng)有f1=f2、α1=α2。2L為左右相機(jī)像平面中心之間的距離。為測(cè)量被測(cè)對(duì)象位置，需建立如下坐標(biāo)系：（1）測(cè)量系統(tǒng)坐標(biāo)系xoz：原點(diǎn)為兩相機(jī)像平面中心o1o2連線的中心，o1o2連線為x軸，方向o1指向o2為正；z軸垂直于o1o2連線，向上為正；（2）相機(jī)坐標(biāo)系：分別以兩個(gè)CCD相機(jī)像平面中心o1和o2為原點(diǎn)在兩個(gè)CCD上建立x1o1z1和x2o2z2坐標(biāo)系[10]。

圖1 雙目視覺(jué)測(cè)距系統(tǒng)示意圖

設(shè)點(diǎn)P為待測(cè)點(diǎn)位置，其在xoz坐標(biāo)系中的坐標(biāo)為(x,z)；在兩相機(jī)各自成像平面上的坐標(biāo)為P’(x1,0)和P’’(x2,0)。由幾何光學(xué)成像原理得出：

可見(jiàn)，P點(diǎn)坐標(biāo)(x,z)取決于x1、x2、f1、f2、α1、α2和L這7個(gè)參數(shù)，任一值的誤差均會(huì)影響測(cè)量結(jié)果。

x1、x2是通過(guò)實(shí)際測(cè)量得出，但相機(jī)采集的圖像會(huì)存在畸變，影響測(cè)量精度，需要通過(guò)相機(jī)標(biāo)定得到相機(jī)本身畸變系數(shù)后進(jìn)行圖像畸變矯正，提高測(cè)量精度；其余5個(gè)參數(shù)為系統(tǒng)本身固定參數(shù)，但由于固定參數(shù)的理論值與實(shí)際值難以完全一致，需要對(duì)系統(tǒng)進(jìn)行標(biāo)定，得到系統(tǒng)固定參數(shù)的實(shí)際值，減小測(cè)量誤差，提高測(cè)量精度。

2 圖像匹配

圖像匹配可以建立左右相機(jī)采集到的兩圖像之間位置對(duì)應(yīng)關(guān)系，進(jìn)一步便可得到視差。圖像匹配主要有三種方式：相位匹配、灰度匹配、特征匹配。

相位匹配是基于對(duì)應(yīng)點(diǎn)相位相等，利用空間域平移與頻率域相位平移的對(duì)應(yīng)關(guān)系進(jìn)行匹配，但會(huì)存在相位卷繞及相位奇點(diǎn)的問(wèn)題，此方法主要處理帶通濾波信號(hào)的相位信息；灰度匹配受圖像灰度信息影響較大，抗造性差、誤差大；特征匹配利用圖像上的點(diǎn)、線等特征信息，不直接依賴灰度信息，具有魯棒性好、速度快、精度高的優(yōu)點(diǎn)，因此本文采用特征匹配的方式進(jìn)行圖像匹配[10]。

常用的特征點(diǎn)有Harris角點(diǎn)、FAST特征點(diǎn)、SURF特征點(diǎn)。SURF特征點(diǎn)檢測(cè)精度和穩(wěn)定性高于Harris角點(diǎn)和FAST特征點(diǎn)，但速度慢于FAST特征點(diǎn)檢測(cè)，效率問(wèn)題通過(guò)計(jì)算機(jī)設(shè)備可以得到保障，故最終選擇SURF特征點(diǎn)檢測(cè)[10]。

基于SURF特征點(diǎn)的圖像匹配主要有兩種：BruteForceMatcher（暴力匹配法）、FlannBasedMatcher（快速最近鄰逼近搜索法）。BruteForceMatcher法精度高、效率低，通過(guò)目前計(jì)算機(jī)設(shè)備可以彌補(bǔ)效率低的缺點(diǎn)，因此選擇BruteForceMatcher法進(jìn)行SURF特征匹配。但是在匹配過(guò)程中，由于環(huán)境因素影響，往往會(huì)存在一些誤匹配現(xiàn)象，干擾因素越多，匹配情況越差，如圖2 a)所示。因此需要采取去除誤匹配措施。

目前主要有兩種去除SURF特征點(diǎn)誤匹配方法：基于RANSAC法特征匹配、基于極線約束法特征匹配?；赗ANSAC法特征匹配利用迭代比對(duì)方式求解最優(yōu)模型，該方式精度高，但匹配對(duì)數(shù)量少，如圖2 b)所示，并且一定情況下還會(huì)出現(xiàn)匹配不成功的情況?；跇O線約束法特征匹配，其原理為：右成像平面上一點(diǎn)在左成像平面的對(duì)應(yīng)匹配點(diǎn)必定位于左成像平面的極線上。此方法將求解范圍由二維降低至一維，提高了效率，匹配對(duì)數(shù)量多，但仍然有較少誤匹配點(diǎn)對(duì)，如圖2 c)所示。本文提出首先通過(guò)基于極線約束法進(jìn)行一次匹配，去除絕大部分雜點(diǎn)、誤匹配點(diǎn)，后在此基礎(chǔ)上進(jìn)行基于RANSAC法的特征匹配，由于首先進(jìn)行了一次基于極線約束法的特征匹配，為后續(xù)RANSAC法的特征匹配提供了一個(gè)干擾小、雜點(diǎn)少的環(huán)境，最終結(jié)果表現(xiàn)為匹配精度高、匹配點(diǎn)多的良好效果，如圖2 d)所示。

圖2 不同SURF特征匹配方法效果對(duì)比圖

3 雙目視覺(jué)測(cè)距系統(tǒng)搭建及標(biāo)定

根據(jù)雙目測(cè)距系統(tǒng)原理，搭建雙目測(cè)距平臺(tái)，如圖3所示。相機(jī)型號(hào)為FC-IU320C-6，像元大小3.2 μm×3.2 μm，分辨率為2048×1536，焦距f=25 mm，設(shè)置兩個(gè)相機(jī)各自的光軸傾角6.703°。底座為自制槽鋼，尺寸為100 mm×48 mm×5.3 mm，槽鋼兩端裝配有兩個(gè)可調(diào)節(jié)云臺(tái)，通過(guò)調(diào)節(jié)云臺(tái)，設(shè)定系統(tǒng)參數(shù)2L為1375 mm。自制8×6格數(shù)的棋盤格，每格大小為80 mm×80 mm。

圖3 雙目測(cè)距系統(tǒng)組成裝置圖

采集19對(duì)不同方位下棋盤格標(biāo)定板的圖像進(jìn)行雙目測(cè)距系統(tǒng)標(biāo)定，標(biāo)定程序?yàn)榛赩isual Studio 2015，利用C++語(yǔ)言自主設(shè)計(jì)開(kāi)發(fā)，標(biāo)定程序界面及標(biāo)定結(jié)果如圖4所示。

圖4 相機(jī)標(biāo)定程序界面

根據(jù)標(biāo)定結(jié)果計(jì)算得f1=7913.234×3.2×10-3≈25.3223 mm，f2=7921.116×3.2×10-3≈25.3476 mm，畸變系數(shù)不為零，說(shuō)明存在畸變，需要矯正畸變。一般平均重投影誤差小于0.2個(gè)像素即可認(rèn)為標(biāo)定結(jié)果良好，兩相機(jī)該值均小于0.2，說(shuō)明相機(jī)標(biāo)定結(jié)果良好[10]。

根據(jù)雙目標(biāo)定結(jié)果可求解左相機(jī)光軸傾角α1=6.8399°，兩相機(jī)主點(diǎn)距離為2L=1374.07 mm，右相機(jī)光軸傾角α2=6.8228°，此結(jié)果與實(shí)驗(yàn)前設(shè)定的兩個(gè)相機(jī)各自的光軸傾角6.703°和兩相機(jī)主點(diǎn)距離1375 mm非常接近，同時(shí)得到的重投影誤差小于0.2，說(shuō)明雙目標(biāo)定結(jié)果良好[10][11]。

4 雙目測(cè)距實(shí)驗(yàn)及結(jié)果評(píng)價(jià)

基于標(biāo)定結(jié)果進(jìn)行測(cè)距系統(tǒng)的測(cè)距實(shí)驗(yàn)，選取一段管路（沒(méi)有棱角、特較不明顯、對(duì)系統(tǒng)檢測(cè)能力要求更高）作為被測(cè)對(duì)象進(jìn)行測(cè)量實(shí)驗(yàn)，如圖5所示。管路固定于工作臺(tái)，可實(shí)現(xiàn)調(diào)整x（代表左右方向，下同）、z（代表前后方向，下同）方向的位移，調(diào)整精度為0.01 mm。

圖5 測(cè)量實(shí)驗(yàn)場(chǎng)景圖

在有效測(cè)量范圍內(nèi)選取了9個(gè)待測(cè)點(diǎn)，如圖6所示?；趚oz坐標(biāo)系，待測(cè)點(diǎn)1～9右側(cè)與下方數(shù)值為待測(cè)點(diǎn)位置設(shè)定值，通過(guò)德國(guó)BOSCH公司激光測(cè)距儀設(shè)定，測(cè)距儀型號(hào)為DLE40，精度1 mm（注：理論上設(shè)定值也會(huì)存在一定誤差，限于實(shí)驗(yàn)條件，未考慮該誤差）。待測(cè)點(diǎn)基本涵蓋有效測(cè)量范圍區(qū)域。在這9個(gè)待測(cè)點(diǎn)處均以如下方式進(jìn)行圖像采集：以待測(cè)點(diǎn)為中心，沿z軸方向前、后各移動(dòng)10次，每次移動(dòng)1 mm且采集一對(duì)圖像；同理以待測(cè)點(diǎn)為中心沿x軸向左、右方向各移動(dòng)6次進(jìn)行圖像采集。

按照上述移動(dòng)方式，下面以待測(cè)點(diǎn)5為例，對(duì)測(cè)量過(guò)程進(jìn)行說(shuō)明：

由圖6知，待測(cè)點(diǎn)5位置為（5693, -22），單位：mm，負(fù)號(hào)表示待測(cè)點(diǎn)5位于x軸負(fù)半軸。

圖6 待測(cè)點(diǎn)位置關(guān)系圖

（1）圖像預(yù)處理

首先對(duì)采集的圖像進(jìn)行降噪，后進(jìn)行圖像畸變矯正。

（2）圖像匹配

將兩幅對(duì)應(yīng)圖像通過(guò)RANSAC法與極線約束法結(jié)合的方式進(jìn)行SURF特征匹配：首先在左圖選取ROI，其左上邊角坐標(biāo)為（911, 308），此為起始坐標(biāo)。以一對(duì)匹配點(diǎn)為例：

首先求解匹配點(diǎn)對(duì)像素坐標(biāo)。左匹配點(diǎn)在ROI圖上坐標(biāo)為（87.274, 114.004），由上可知該點(diǎn)的起始坐標(biāo)為（911, 308），因此該點(diǎn)的實(shí)際坐標(biāo)為兩坐標(biāo)相加為（998.274, 422.004）；右匹配點(diǎn)可直接得出坐標(biāo)為（984.347, 424.048）。

已知像素坐標(biāo)，進(jìn)一步求解物理坐標(biāo)x1、x2。由于物理坐標(biāo)位于相機(jī)像平面的中點(diǎn)，故由相機(jī)標(biāo)定結(jié)果得知左相機(jī)物理坐標(biāo)原點(diǎn)為（1023.970, 767.932），右相機(jī)物理坐標(biāo)系原點(diǎn)為（1023.988, 768.124），因此，計(jì)算x1為：

同理，計(jì)算x2為：

將所有參數(shù)帶入公式（1）可得x為-22.86639 mm，z為5693.77632 mm，十分接近設(shè)定值（5693，-22）。以此方式按照在待測(cè)點(diǎn)5處前后、左右移動(dòng)的方案進(jìn)行測(cè)量，由實(shí)驗(yàn)結(jié)果得到，待測(cè)點(diǎn)5所處區(qū)域，z最大測(cè)量誤差為3.091 mm，x最大測(cè)量誤差為0.962 mm。同理，按照同樣方式在其余待測(cè)點(diǎn)位置區(qū)域進(jìn)行實(shí)驗(yàn)，得到所有待測(cè)點(diǎn)所處區(qū)域?qū)τ趜值和x值的最大測(cè)量誤差，如表1所示。進(jìn)一步，將前后方向和左右方向的最大測(cè)量誤差繪制成如圖7所示誤差圖，可直觀反映前后方向和左右方向的測(cè)量精度情況。

圖7 各個(gè)位置z、x最大測(cè)量誤差圖

表1 各待測(cè)點(diǎn)位置測(cè)量實(shí)驗(yàn)的最大測(cè)量誤差

根據(jù)實(shí)驗(yàn)結(jié)果，有如下結(jié)論：

（1）在有效測(cè)量區(qū)域內(nèi)，雙目測(cè)距系統(tǒng)對(duì)前后方向z的測(cè)量誤差為±6.103 mm，左右方向x的測(cè)量誤差為±1.983 mm。

（2）在有效測(cè)量區(qū)域內(nèi)，邊角處測(cè)量誤差最大（即待測(cè)點(diǎn)1、3、7、9所處區(qū)域），中心位置區(qū)域測(cè)量誤差最?。创郎y(cè)點(diǎn)5所處區(qū)域），中心位置區(qū)域z測(cè)量誤差為±3.091 mm，x測(cè)量誤差為±0.962 mm。

（3）在測(cè)量分辨力方面，系統(tǒng)對(duì)左右方向x的測(cè)量能力優(yōu)于對(duì)前后方向z的測(cè)量能力。

5 結(jié)論

通過(guò)研究雙目測(cè)距原理，設(shè)計(jì)了雙目測(cè)距系統(tǒng)，以Visual Studio 2015為開(kāi)發(fā)平臺(tái)，基于C++語(yǔ)言、OpenCV3.2.0函數(shù)庫(kù)編制測(cè)距系統(tǒng)程序，進(jìn)行圖像采集、相機(jī)標(biāo)定、圖像處理、圖像匹配，最后進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，雙目測(cè)距系統(tǒng)具有良好的精度和可行性，下一步將繼續(xù)深入研究、分析、完善此雙目測(cè)距系統(tǒng)的測(cè)量精度及可靠性，開(kāi)展雙目系統(tǒng)應(yīng)用到相關(guān)智能制造設(shè)備和智能化場(chǎng)景的研究。