基于HALCON的雙目視覺物體位姿測量的研究

何斌成 張冠華 李福東

摘要：雙目視覺作為一種遠程傳感技術(shù)，在計算機被動測距方法中占有最重要的地位，在機器人導(dǎo)航、工業(yè)檢測、控制和檢測姿態(tài)、軍事等領(lǐng)域得到了廣泛的應(yīng)用和航空制圖，和醫(yī)療機器成像。本文對雙目視覺物體的姿態(tài)測量和雙目視覺物體的位置測量系統(tǒng)進行了初步研究，基于 HALCON 的圖像處理主要是圖像采集、攝像機標定、圖像預(yù)處理。特征提取、立體匹配和信息提取。

關(guān)鍵詞：雙目視覺；姿態(tài)測量

一、項目背景

雙目視覺技術(shù)廣泛應(yīng)用于大型機械姿態(tài)感知、小工件測量、無人機自動跟蹤、3D 打印、汽車自動駕駛等科技領(lǐng)域。機器視覺的主要目的是從圖像或圖像序列中獲得對世界的描述。自20世紀70年代馬爾首次提出機器視覺系統(tǒng)的完整理論框架以來，立體視覺信號一直吸引著人們的注意力。雙目視覺系統(tǒng)分為攝像機標定、特征提取、立體匹配和深度信息提取。

二、研究現(xiàn)狀

浙江大學(xué)機械系統(tǒng)充分利用透視成像原理，采用雙目體景法實現(xiàn)多自由度機械設(shè)備的動態(tài)、準確姿態(tài)檢測，只需提取三維坐標的必要特征點來自兩個相應(yīng)的圖像，信息少，處理速度快，特別適合動態(tài)情況。與手眼系統(tǒng)相比，被測物體的運動對相機沒有影響，在不知道被測物體運動先驗知識和限制條件的情況下，有助于提高檢測精度。利用雙目 CCD 攝像機，從工業(yè)相機內(nèi)部人參標定、鏡頭畸變標定、立體匹配、特征點分割處理等方面給出了詳細的數(shù)學(xué)模型和算法接口。上。雙目標軟件 Cca 采用張正宇平面。

雙目立體視覺技術(shù)在實際應(yīng)用中已有許多成功的報道。其中最流行的是雙目視覺技術(shù)在移動機器人障礙物檢測和避障中的應(yīng)用。激光、紅外線等傳感器測距比較方便，但設(shè)備價格昂貴，性價比不高，難以廣泛使用。然而，使用相機作為傳感器可以獲得更多的環(huán)境信息，并檢測到更寬距離的優(yōu)勢。雙目攝像機在實際應(yīng)用中的應(yīng)用，可以更好地獲得場景的三維信息。

三、發(fā)展方向

根據(jù)雙目視覺技術(shù)的發(fā)展現(xiàn)狀，構(gòu)建一個像人眼一樣靈活的雙目立體視覺系統(tǒng)仍然需要研究和開發(fā)。所以進一步的研究方向可以如下總結(jié)：

如何實現(xiàn)更為有效的雙目立體視覺模型的建立，使之能夠充分地反映出立體視覺不確定性的本質(zhì)屬性，使匹配條件加入約束信息，得以降低立體匹配的難度；

探索適合整體立體視覺的新計算理論、有效匹配準則和算法結(jié)構(gòu)，解決灰度失真、幾何失真、噪聲干擾、特殊結(jié)構(gòu)，以及隱行場景的匹配；

算法方面向并行化發(fā)展，提高計算速度，并減少計算量，增強系統(tǒng)的實用性；

在不同場景和不同的任務(wù)約束之下，針對不一樣的應(yīng)用目的，建立面向任務(wù)的有目的的雙目立體視覺系統(tǒng)。

四、雙目視覺原理

立體匹配作為雙目視覺系統(tǒng)的核心內(nèi)容，主要是尋找三維場景中不同位置和角度獲得的二維圖像特征信息與立體匹配之間的對應(yīng)關(guān)系。過程主要匹配窗口中的要素信息，如灰度和顏色，并通過計算兩個值邊緣漸變來減少匹配誤差。窗口中特征信息的加權(quán)功能可以提高匹配精度，窗口的大小直接影響這些功能的復(fù)雜性，一般來說，窗口越大，圖片信息就越全面集合，匹配的基礎(chǔ)也更充分，更多的要素信息提取，使窗口有更多的相似之處，陷入更多的特征點不匹配需要一個更復(fù)雜和復(fù)雜的數(shù)學(xué)模型來減少此類錯誤的產(chǎn)生。

雙目立體視覺 是基于視差原理，并利用成像設(shè)備從不同位置獲取被測物體的兩個圖像，方法是幾何計算對應(yīng)點之間的位置偏差。圖像，以獲取對象的三維幾何信息。雙目立體視覺的三維測量是根據(jù)視差原理進行的。下圖顯示了一個簡單的雙目立體成像原理圖，其中基線是與 B = 兩個攝像機的投影中心的距離；相機焦距為 f. 同時設(shè)置兩個攝像機以查看空間物體 Pxyz 的相同特征點，分別位于 "左眼" 和 "右眼" 中，以獲得 P 點圖像，其圖像坐標為 PL（uL，vL）和 PR（uR，vR）。當(dāng)兩個相機的圖像在同一平面上，則特征點P的圖像坐標Y是相同的。

視差：Disparity=UL-UR。所以，可以計算相機坐標系中特征點 P 的三維坐標：

因此，任何點在左相機上，只要可以在右相機表面找到相應(yīng)的匹配點，就可以完全由點的三維坐標來確定。此方法是點對點操作，就像平面上的一點就有相應(yīng)的匹配點，可以參與上述操作，從而獲得相應(yīng)的三維坐標。

五、算法實現(xiàn)

本實驗主要說明如何從一個圓周相應(yīng)的二維投射中確定它的三維模式。

首先，利用算子p_determine_ellipse_contours（ ）提取一定參數(shù)鉆孔的輪廓，然后用算子concat_obj（ ）把大橢圓輪廓和小橢圓輪廓連接成一個圖形元組，用再算子get_circle_pose（ ）由2D投影確定圓的的3D位置，并確定這些輪廓中心點的3D位置，最后使用算子p_cluster_normals（ ）輸出圓的兩個可能方向。

六、結(jié)語

本文綜述了近年來國內(nèi)外雙目視覺的研究現(xiàn)狀和發(fā)展趨勢，并對目標姿態(tài)測量的研究現(xiàn)狀進行了研究。通過對雙目立體視覺原理的分析，并通過實驗對圓周相應(yīng)的二維投射中確定它的三維模式的測量過程進行了研究和驗證。雙目視覺物體位姿測量還能有更廣的擴展和拓展，還能解決許多傳統(tǒng)方式所存在的問題，具有廣大的市場價值和應(yīng)用前景。

參考文獻

[1]張如如，葛廣英，申哲，秦騰飛，董騰.基于HALCON 的雙目立體視覺工件尺寸測量，計算機測量與控制[A].2018.26（1）：1671-4598.

[2]于春和，祁樂陽.基于HALCON的雙目攝像機標定，電子設(shè)計工程[A].2017.19（10）：1674-6236.

[3]邢作常，田素博，劉思瑤，林 靜，張祖立.基于Halcon的無序堆放狀態(tài)下農(nóng)機熱態(tài)鍛件的三維模板匹配研究，鍛壓技術(shù)[A].2016.41（4）：1000-3940.

（作者單位：江蘇揚州大學(xué)信息工程學(xué)院）