鋼拱架鉸接孔視覺定位方法研究

黃 海，朱國力，陳向陽，彭丹丹

（華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院，湖北 武漢 430074）

1 引言

巖石隧道掘進(jìn)機(jī)（Tunnel Boring Machine，簡稱TBM）是指在常壓情況下全斷面開挖巖石的刀盤式機(jī)頭掘進(jìn)機(jī)，是集掘進(jìn)、出渣、支護(hù)等功能為一體的隧道掘進(jìn)大型復(fù)雜成套設(shè)備［1］。TBM掘進(jìn)過程中，快速地將弧形鋼拱架拼接成環(huán)，對隧道圍巖進(jìn)行支護(hù)，防止坍塌事故的發(fā)生是至關(guān)重要的［2］。然而目前鋼拱架仍然由人工搬運(yùn)對準(zhǔn)拼接，存在拼接效率低、支護(hù)不及時等問題。隨著我國工業(yè)自動化的不斷發(fā)展，傳統(tǒng)人工拼接方法已無法滿足工業(yè)需求。機(jī)器視覺技術(shù)是一種利用相機(jī)代替人眼進(jìn)行檢測的技術(shù)，具有非接觸性、精度高、速度快等優(yōu)點(diǎn)，目前在工業(yè)方面已有廣泛應(yīng)用［3-4］。文獻(xiàn)［5］利用機(jī)器視覺技術(shù)建立了工件識別系統(tǒng)，對零件進(jìn)行圖像采集與處理，識別零件形狀特征以實現(xiàn)零件的分揀工作；文獻(xiàn)［6］通過圖像形態(tài)學(xué)處理和邊緣檢測，提取軸類零件的輪廓特征，搭建了軸類零件定位與測量系統(tǒng)；文獻(xiàn)［7］運(yùn)用改進(jìn)的形態(tài)學(xué)梯度濾波算子和灰度矩法對板料邊緣進(jìn)行定位，計算板料偏移量，提高了自動裁切機(jī)的精度；文獻(xiàn)［8］對鉚接薄板孔組視覺測量方法進(jìn)行了研究，通過閾值分割、感興趣區(qū)域提取等處理，實現(xiàn)了孔組幾何參數(shù)的計算。

在空間圓定位方面，文獻(xiàn)［9］證明了空間圓透視投影到圖像上會形成一個橢圓，但是橢圓中心并不是空間圓圓心的對應(yīng)投影點(diǎn)。針對此問題，文獻(xiàn)［10］利用極線約束和順序一致性原則進(jìn)行左右圖像橢圓邊緣點(diǎn)的匹配，利用雙目視覺重建空間圓上多個邊緣點(diǎn)，并通過Levenberg-Marquardt 非線性最優(yōu)化方法擬合得到空間圓表達(dá)式；文獻(xiàn)［11］利用同心圓模型對圓心坐標(biāo)進(jìn)行補(bǔ)償，在已知內(nèi)外圓環(huán)半徑情況下，根據(jù)交比不變性和直線不變性求得空間圓圓心實際投影點(diǎn)；文獻(xiàn)［12］在橢圓上找到兩條特殊弦，根據(jù)橢圓錐空間幾何性質(zhì)，推導(dǎo)出空間圓圓心和法向量的封閉解，但是該方法存在雙重解問題。

結(jié)合鋼拱架實際結(jié)構(gòu)，首先利用圖像處理提取鋼拱架鉸接孔輪廓特征，然后通過空間幾何關(guān)系得到鉸接孔圓心在圖像上的實際投影點(diǎn)，最后根據(jù)雙目視覺成像模型，計算鉸接孔圓心的空間坐標(biāo)，實現(xiàn)鋼拱架鉸接孔的精確定位，幫助機(jī)械手抓取鋼拱架進(jìn)行精準(zhǔn)拼接，實現(xiàn)鋼拱架自動化拼接成環(huán)。

2 鉸接孔特征提取

鋼拱架自動化拼接過程中，主要通過機(jī)械手抓取左右兩鋼拱架往中間平移靠近，直至左右兩鋼拱架上的鉸接孔對準(zhǔn)為止。因此以鋼拱架鉸接孔進(jìn)行定位，用左右兩相機(jī)拍攝鋼拱架拼接段圖像，通過模板匹配找到鉸接孔感興趣區(qū)域，接著對感興趣區(qū)域圖像進(jìn)行二值化、邊緣檢測、輪廓連接、擬合橢圓等處理，提取得到鉸接孔輪廓特征。

2.1 模板匹配

機(jī)械手抓取左右兩鋼拱架從兩端往中間靠近，為保證拼接過程中相機(jī)始終能夠拍攝到左右兩鉸接孔，需設(shè)置一個較大的視野范圍。因此，鉸接孔只占實際采集圖像的一部分，需對鉸接孔進(jìn)行初定位，找到感興趣區(qū)域，以便進(jìn)一步處理。模板匹配是一種在原圖中尋找與模板圖像類似區(qū)域的方法，這里采用基于灰度的歸一化相關(guān)系數(shù)匹配法：

式中：R（x，y）—匹配程度；

T（x，y）—模板圖像；

（Ix，y）—相機(jī)采集圖像；

（w，h）—模板圖像尺寸。

首先根據(jù)鉸接孔的形狀特征和灰度特征，制作出模板圖像，如圖1（a）所示。此處只需要對鉸接孔進(jìn)行初定位，為提高模板匹配速度，將原圖和模板圖像均縮小為原尺寸的1/4，計算原圖上每個像素位置的匹配程度R（x，y），找到匹配程度最高的兩個位置，即為左右兩鉸接孔所在位置。以這兩個位置為基準(zhǔn)，設(shè)定一定范圍自動框選得到感興趣區(qū)域圖像，實現(xiàn)兩鉸接孔的初定位效果，如圖1（b）所示。

圖1 模板匹配結(jié)果Fig.1 Result of Template Matching

2.2 圖像二值化

實際鉸接孔表面加工粗糙，凹凸不平，且孔內(nèi)背景復(fù)雜，為防止后續(xù)邊緣檢測生成過多干擾邊緣，需對感興趣區(qū)域進(jìn)行二值化處理。同時為了消除光照影響，設(shè)計了一種自適應(yīng)閾值計算方法。根據(jù)鉸接孔表面比孔內(nèi)灰度值更高，且鉸接孔表面面積與感興趣區(qū)域總面積之比大致為一定值k的實際情況，統(tǒng)計感興趣區(qū)域圖像的灰度直方圖，如圖2（a）所示。得到每個灰度值i對應(yīng)的像素數(shù)Ni，設(shè)感興趣區(qū)域圖像總像素數(shù)為S，通過計數(shù)排序算法計算自適應(yīng)閾值T如式（2）。利用該閾值，對感興趣區(qū)域圖像進(jìn)行二值化處理，效果，如圖2（b）所示。

2.3 輪廓特征提取

目前邊緣檢測算法的研究已較為成熟，常用算法有Roberts、Prewitt、Sobel、Canny 等，其中，Canny 算法檢測出的邊緣效果較好。利用Canny算法對二值圖像進(jìn)行邊緣檢測，將檢測出的相鄰邊緣點(diǎn)連接成輪廓，如圖3（a）所示。實際鉸接孔是圓孔形，但是由于相機(jī)成像平面與鉸接孔表面存在一定角度，鉸接孔投影到圖像上會呈橢圓形。所以根據(jù)輪廓長度篩選出鉸接孔輪廓后，用最小二乘法擬合成橢圓，得到橢圓方程表達(dá)式如式（3），橢圓擬合效果，如圖3（b）所示。

圖3 鉸接孔輪廓特征提取Fig.3 Contour Feature Detection

3 空間圓圓心精確定位

空間圓經(jīng)過透視投影后在圖像上形成一個橢圓，但是橢圓中心和空間圓圓心并非對應(yīng)關(guān)系。在參考文獻(xiàn)［12］的基礎(chǔ)上進(jìn)行改進(jìn)，通過雙目視覺解決了空間圓平面法向量計算結(jié)果存在雙重解的問題，并利用消影線和橢圓參數(shù)矩陣計算得到空間圓圓心的實際投影點(diǎn)。

3.1 空間圓平面法向量計算

為獲取空間圓圓心實際投影點(diǎn)，首先需要計算空間圓平面的法向量。通過圖像處理提取到左右圖像中鉸接孔橢圓輪廓特征，將橢圓輪廓進(jìn)行離散化處理，得到橢圓輪廓點(diǎn)的像素坐標(biāo)。設(shè)相機(jī)光心為點(diǎn)G，遍歷橢圓輪廓點(diǎn)，找到點(diǎn)p、q，使得∠pGq對應(yīng)最大頂點(diǎn)角。作一平面Gbc，該平面垂直于平面Gpq，且平分∠pGq，平面Gbc與橢圓輪廓的交點(diǎn)為點(diǎn)b和點(diǎn)c，如圖4所示。根據(jù)參考文獻(xiàn)［12］，空間圓平面的法向量計算公式，如式（4）所示。

圖4 空間圓透視投影示意圖Fig.4 Perspective Projection of Circle

式中：n1，n2—空間圓平面法向量的雙重解，設(shè)f為鏡頭焦距，則up’、ub’可由式（5）計算。

利用雙目視覺，左相機(jī)圖像可得到雙重解nl1、nl2，右相機(jī)圖像可得到雙重解nr1、nr2，其中，各有一個正確法向量，但由于存在誤差，兩個正確法向量不會完全相等。計算左右圖像法向量之間的夾角，如式（6）所示。

找出θ1、θ2、θ3、θ4之中的最小值θmin，θmin所對應(yīng)的法向量nl、nr即為左右圖像正確法向量，從而解決了空間圓平面法向量雙重解的問題。

3.2 空間圓圓心坐標(biāo)計算

空間中的平行平面于無窮遠(yuǎn)處相交，其交線在圖像上的投影即為該平面的消影線。通過相機(jī)標(biāo)定得到相機(jī)的內(nèi)參矩陣M，空間圓平面在相機(jī)坐標(biāo)系下的消影線L計算公式，如式（7）所示：

根據(jù)鉸接孔投影橢圓的方程表達(dá)式（3），定義該橢圓方程的參數(shù)矩陣w為：

則空間圓圓心在圖像上的實際投影點(diǎn)o坐標(biāo)為［13］：

分別計算出空間圓圓心在左右相機(jī)上的實際投影點(diǎn)ol和or，利用雙目視覺成像模型計算出空間圓圓心的世界坐標(biāo)，實現(xiàn)空間圓圓心的精確定位。

4 實驗驗證

為驗證本鉸接孔定位方法的精度和有效性，搭建了鉸接孔視覺測量系統(tǒng)，如圖5所示。視覺測量系統(tǒng)由相機(jī)、鏡頭、光源和計算機(jī)組成，其中工業(yè)相機(jī)型號為大恒水星系列MER-1220-9GM，分辨率為4024×3036 Pixels，幀率為9 Fps；鏡頭型號為Computar V1628-MPY，焦距為16mm；光源為白色漫反射條形光。鋼拱架放在移動平臺上，該移動平臺可精確測量出物體移動距離。實驗的計算機(jī)配置為：Inter core i7-9750H，Window 10 操作系統(tǒng)，64位，Microsoft Visual Studio 2017，OpenCV343。

圖5 視覺測量系統(tǒng)Fig.5 Visual Measurement System

將左右鋼拱架固定在移動平臺上，利用本鉸接孔定位方法計算得到左右鋼拱架鉸接孔圓心世界坐標(biāo)，平行移動該平臺4mm，再次計算左右鋼拱架鉸接孔圓心世界坐標(biāo)，從而得到鉸接孔圓心的移動距離，重復(fù)移動10次，與平臺移動距離進(jìn)行對比。然后分別移動8mm、12mm、16mm，重復(fù)以上實驗過程，鉸接孔圓心移動距離測量結(jié)果，如圖6所示。左鉸接孔測量誤差，如表1所示。右鉸接孔測量誤差，如表2所示。由實驗結(jié)果可知，左右鋼拱架上的鉸接孔均能夠穩(wěn)定的檢測得到，并且可計算出兩鉸接孔圓心的空間坐標(biāo)；鉸接孔移動距離測量結(jié)果均在實際移動距離附近上下波動，波動范圍為±0.2mm以內(nèi)；鉸接孔圓心移動距離測量結(jié)果的相對誤差在0.3%以內(nèi)，實現(xiàn)了鋼拱架鉸接孔的高精度定位。

表1 左鉸接孔圓心移動距離測量誤差Tab.1 Moving Distance Measurement Error of Left Hinged Hole Center

表2 右鉸接孔圓心移動距離測量誤差Tab.2 Moving Distance Measurement Error of Right Hinged Hole Center

圖6 實驗測量結(jié)果Fig.6 Results of Experimental Measurement

5 結(jié)論

針對鋼拱架自動化拼接需要對鉸接孔進(jìn)行定位的實際需求，提出了一種基于雙目視覺的鋼拱架鉸接孔定位方法。首先設(shè)計了鋼拱架鉸接孔特征提取的圖像處理方法，包括模板匹配、二值化、輪廓提取、橢圓擬合等步驟；然后根據(jù)空間圓的透視投影性質(zhì)，利用雙目視覺解決了空間圓平面法向量計算存在雙重解的問題；最后研究了空間圓圓心在圖像中的實際投影點(diǎn)計算方法，并基于雙目視覺成像模型計算鉸接孔圓心的空間坐標(biāo)。實驗結(jié)果表明，該鋼拱架鉸接孔定位方法穩(wěn)定性好，且定位精度可達(dá)±0.2mm，實現(xiàn)了鋼拱架鉸接孔的高精度定位，滿足實際作業(yè)需求，可為鋼拱架自動化拼接提供技術(shù)支撐。