平行雙目視覺測量原理及實驗研究

孫雷

（宿遷學院 江蘇省宿遷市 223800）

隨著機器覺技術(shù)的不斷發(fā)展和進步，其在社會生活的各個領(lǐng)域發(fā)揮越來越重要作用。通過視覺的檢測和識別功能，讓許多流水線上具有高度重復性的檢測工作都通過機器來完成，大大提高了生產(chǎn)效率、精度和自動化程度。常用機器視覺來代替人眼視覺，實現(xiàn)在一些危險工作環(huán)境下或者人眼視覺難以滿足要求的場合下工作。除了工業(yè)上的應(yīng)用，機器視覺技術(shù)在智能車方面也有廣泛的應(yīng)用。如美國密歇根大學的MOSFET系統(tǒng)智能車系統(tǒng)，意大利Parma大學ARGO智能系統(tǒng)；國防科技大學的CITAVT-IV等。智能車輛在行駛時需要實時地去感知自身和周圍環(huán)境變化，包括檢測車輛運行位置、姿態(tài)和車輛周圍環(huán)境等等。目前市面上的測量方法有超聲波測距、單目攝像頭測距、雙目攝像頭測距這三大類。雖然超聲波測距是最為簡單一種，但測量范圍非常有限，且所受環(huán)境影響程度較大，所以一般選擇單目或雙目測距法。單目測距雖然簡單卻誤差較大，雙目測距雖然復雜卻精度較高。本課題主要研究如何獲取場景中物體的深度信息，并且確保測量結(jié)果準確。因此本文主要研究雙目視覺的測量原理、相機的標定、空間點的獲取及空間距離的測量。

1 測量原理及模型

根據(jù)人眼仿生學原理可知，目標物體在人的左右眼所成呈現(xiàn)的結(jié)果是具有視差效果的，然后大腦經(jīng)過加權(quán)處理等轉(zhuǎn)化得到物體信息。雙目視差測距通過平行放置的兩臺攝像機代替人的眼睛，從左右兩個角度對被測物體采集圖片；利用計算機代替人腦對所拍攝的圖片進行處理。然后將獲取到圖片結(jié)合三角測量原理計算出物體距離，即可獲取空間物體三維坐標信息或者深度值。

圖1為雙目視差測距示意圖。P（Xw,Yw,Zw）為空間中的一個特征點，點P在雙目攝像機成像平面投影點分別為P和P。如何根據(jù)被測物體的特征點P的投影坐標來求解被測物體特征點P的Zw的坐標值是測量需要解決的問題。

圖1：雙目視覺測量示意圖

由于光是沿著直線傳播，空間特征點P可視為兩個相機的投影中心點與成像點連線的交點。該俯視圖（有效焦距f，基線間距為b）中平行的兩個面為成像平面，平面上y軸坐標必然相同，只是x軸的坐標值不同， P 在左相機的投影點坐標為 XL，右相機的投影點坐標為XR，如圖2所示。

圖2：雙目視差幾何模型

線段x和x分別是左相機投影點到左成像面的距離、右相機投影點到右成像面的距離，則點 P的攝像機視差值按定義如下：

即兩個成像點P和P之間的距離（視差）為：

再根據(jù)相似三角形理論可以得出：

則可以得到點P到投影中心平面的距離z：

式中：f為攝像機焦距

b為基線距

d為P的視差值

2 攝像機標定

攝像機標定過程就是確定攝像機的幾何和光學參數(shù)。經(jīng)典的小孔成像模型是一種理想條件下的線性成像模型。但實際由于鏡頭的畸變的存在，無法準確表述拍攝圖像中的幾何關(guān)系。攝像機非線性模型考慮了圖像畸變的影響，將圖像畸產(chǎn)生的像素誤差降到最小。

鏡頭畸變根據(jù)畸變方向主要分為徑向畸變和切向畸變。徑向畸變定義為沿著透鏡的半徑方向，產(chǎn)生圖像的畸變。其產(chǎn)生的原因是主要光線遠離透鏡中心的地方相比透鏡中心的地方更加彎曲。因此畸變的數(shù)學模型可以用圖像中心的泰勒級數(shù)展開式的前幾項進行描述，徑向畸變的計算公式為：

式中：k、k、k為徑向畸變系數(shù)，通常使用前兩項，即k1和k2即可。如果攝像機鏡頭為魚眼鏡頭需要考慮k3帶來的影響；（?，?）為坐標點在成像平面上的原始位置；（x，y）是坐標點受到畸變后新的位置。切向畸變是由于透鏡本身與攝像機傳感器平面或與圖像成像平面不平行而導致的。計算公式為：

式中：p1、p2為畸變模型參數(shù)

傳統(tǒng)標定法的標定板是三維立體。雖然精度非常高，實現(xiàn)起來卻比較困難。而張正友教授提出的方法介于傳統(tǒng)標定法和自標定法之間，克服了傳統(tǒng)標定法需要高精度標定物的缺點。張正友相機標定法是張正友教授1998年提出的單平面棋盤格的相機標定方法。標定過程僅需使用一個黑白棋盤格就可以。該方法與自標定相比，提高了精度且便于操作，被廣泛應(yīng)用于攝像機參數(shù)標定實驗。

3 角點檢測

克里斯?哈里斯和邁克?斯蒂芬斯在他們的論文《一種結(jié)合了角和邊緣的探測器》中試圖找到一些特殊的點，并把這個簡單的想法轉(zhuǎn)化為數(shù)學表達。其檢測算法數(shù)學思想為：使用一個固定窗口在圖像上進行任意方向上的滑動，比較滑動前與滑動后兩種情況下，窗口中的像素灰度變化程度。如果存在任意方向上的滑動，都有著較大灰度變化，那么我們可以認為該窗口中存在角點。

根據(jù)該算法思路去檢測圖像像素的灰度變化情況，即求解：

式中：I(x+u,y+v)表示像素（x，y）周圍像素的亮度值。I(x,y)表示像素（x，y）的亮度值。對于上式，我們希望找到使E的值盡量大的點，則將上式右邊I(x+u,y+v)泰勒展開并省略高次項可得：

最終將式子轉(zhuǎn)化為：

其中w是以（x,y）為中心點窗函數(shù)， M為得到海森矩陣：

雖然根據(jù)二次函數(shù)特征值的計算方法可以求得特征值。但Harris的角點計算方法并不需要計算具體的特征值，而是計算一個角點響應(yīng)值R來判斷角點。角點響應(yīng)函數(shù)R為：

其中，det(M)=λ×λ為矩陣的跡，trace(M)=λ+λ為矩陣的跡，k為經(jīng)驗常數(shù)，k的值越小，能檢測到的特征點越多。

4 雙目視覺系統(tǒng)測量平臺與實驗結(jié)果分析

4.1 測量系統(tǒng)介紹

攝像機部分包括雙目攝像頭和支承部分。三角架保證了相機的平穩(wěn)，利用自制的人工十字標定板實現(xiàn)角點提取效果，通過改變被測物平面與像機平面位置關(guān)系，驗證不同距離的測量結(jié)果。圖3為本實驗選用雙目像機，型號為HBV-1780-2 S2.0。技術(shù)參數(shù)為：基線距離60mm，100萬像素，像元尺寸3μm×3μm，鏡頭尺寸1/4英寸。該像機系統(tǒng)自帶驅(qū)動，通過usb數(shù)據(jù)線與window10電腦相連接，即可實現(xiàn)圖片采集。

圖3：雙目系統(tǒng)

4.2 測量實驗與分析

將雙目攝像頭連接到計算機上，利用雙目攝像頭對不同位姿與不同方向的棋盤格進行采集。利用MATLAB標定工具箱對攝像頭進行標定。本實驗總共采集40張照片，其中左相機為20張，右相機20張。表1為標定結(jié)果。

表1：雙目攝像機參標定結(jié)果參數(shù)表

RotationOfCamera2是相機2相對于相機1的旋轉(zhuǎn)矩陣，為相機像機外部參數(shù)旋轉(zhuǎn)矩陣R。TranslationOfCamera2是相機2相對于1的平移矩陣，像機外部參數(shù)平移矩陣T。k1、k2、k3為徑向畸變系數(shù)，P1、P2切向畸變系數(shù)。u0、v0 為圖像主點。焦距fx、fy分別為左右攝像機的焦距，并且可以通過像元大小計算出有效焦距f。

為了測出空間靶標的距離，按照順時針方向?qū)κ职兴膫€點標號。對原始圖片進行校正后，并運用harris角點方法提取得到十字中心的四個點坐標。下圖為校正后圖片角點的提取結(jié)果。對這四個角點做平均獲得最終的視差值。

深度信息z的計算需要基線距b、相機焦距f和視差值d三個參數(shù)。其中雙目攝像機基線b為60mm，視差值d可通過圖像特征點提取到的像素坐標獲取，像機焦距f可以由標定實驗獲取。為驗證測距效果，本研究對靶標在50mm-250mm不同距離進行測量實驗，測量結(jié)果如表2所示。圖4是深度為75mm時候角點提取的圖片及視差計算表格。表3為不同距離時誤差計算結(jié)果。

圖4：左右相機校正后角點特征

表2：深度距離為7.5cm

表3：距離測量結(jié)果

通過以上實驗結(jié)果可知，隨著測量距離的增大誤差增大。引起誤差的主要因素是攝像機的標定精度及未考慮雙目校正問題。在標定過程中，由于標定參數(shù)計算是通過標定圖的一些物理參數(shù)來獲取各項未知量的系數(shù)，進而通過牛頓-迭代法進行方程的求解，所以標定圖的精度會直接影響到圖像處理算法的效果。作為初步實驗,本文的標定圖為手工繪制打印，標定板存在一定的誤差。其次在對標定板進行雙目攝像機標定時，要將標定板放在攝像機的視場角范圍之內(nèi)，并調(diào)節(jié)好鏡頭的焦距和光圈，能夠獲得成像清晰的標定圖；拍攝時手持標定板應(yīng)處于靜止狀態(tài)或是小幅度的晃動，以減少由于相機的曝光時間引起的運動模糊。還有為了獲取不同迭代條件，應(yīng)該讓標定板盡可能在視場角內(nèi)不同位置進行拍攝，在深度方向上給予一定的位移或者將標定板旋轉(zhuǎn)一定角度。最后雙目相機光軸并非完全平行，導致在垂直方向上存在一定誤差，計算視差時會引入一定的誤差，下一步將進行雙目校正，使其光軸平行左右平面共面，消除垂直方向上的誤差值。

5 結(jié)論

本文通過仿生學原理的分析得到了雙目視差的幾何模型，推導了深度信息的計算公式。然后討論了圖像畸變的產(chǎn)生原因及校正方法。運用了角點檢測方法提取待測特征點。最后通過分組測距實驗驗證測量方案的正確性，并且給出了下一步降低誤差的方法。雙目視覺測距理論及方法可以運用到智能車上實現(xiàn)障礙物距離測量。