基于雙目視覺的大型高反光構(gòu)件測量系統(tǒng)

馬大智，于斌超，張彥澤，劉 巍，樂 毅，楊繼之，陳欽韜

（1.大連理工大學(xué) 機械工程學(xué)院，遼寧 大連 116024；2.中國空間技術(shù)研究院 北京衛(wèi)星制造廠，北京 100094）

引言

隨著我國載人航天、探月等重大科技專項的深入，對大型航天器艙體的高精度制造提出了更高的要求。其中大型航天器艙體結(jié)構(gòu)均為焊接結(jié)構(gòu)，對此大型結(jié)構(gòu)的變形進行數(shù)值模擬，因計算規(guī)模和計算量大，以及收斂困難等原因難以實現(xiàn)[1]。為了消除焊接裝配過程中帶來的尺寸偏差，滿足產(chǎn)品的裝配精度要求，需要在整艙狀態(tài)下對艙體進行組合加工，原位高精度測量是保證艙體在整艙狀態(tài)下局部零件面型特征高精度加工的重要前提[2]。

雙目視覺作為原位高精度測量技術(shù)之一，因其效率高、精度高、魯棒性強等優(yōu)勢，在航空航天、精密制造、產(chǎn)品質(zhì)量檢測等領(lǐng)域得到了廣泛的應(yīng)用[3-5]。針對大型艙體殼體表面零件分布廣泛且數(shù)目眾多的特性，雙目視覺測量技術(shù)可以精確、穩(wěn)定、快速獲得局部特征的位置信息[6]。

大型艙體零件加工現(xiàn)場往往伴隨著復(fù)雜光源干擾，由于艙體殼體金屬表面的局部高反光特性，視覺測量系統(tǒng)容易誤提取艙體表面的視覺標志點，從而使視覺測量無法正常進行。上海交通大學(xué)的張麗芳，周軍[7]通過拍攝一組同一場景不同曝光度的圖像，選取不同曝光量圖像信息最豐富的圖塊進行拼接，再對圖像邊界融合得到抑制反光的增強圖像。但是圖像采集需要較長的曝光時間，加工現(xiàn)場的振動會影響圖像采集質(zhì)量，降低雙目視覺測量精度。華僑大學(xué)的謝超，謝明紅[8]提出了一種應(yīng)用局部自適應(yīng)閾值方法檢測圓形標志點，對受到光照干擾不同位置的灰度值不在同一等級的圖像，采用局部自適應(yīng)閾值檢測圓形標志點的位置。但該方法難以解決反光光斑帶來的誤提取問題。采用人工分割目標所在的感興趣區(qū)域，再在該區(qū)域內(nèi)提取視覺標志點的方法，可以有效解決誤提取問題，但又降低了視覺測量效率和自動化程度?；谝曈X標志點與艙體殼體表面易于區(qū)分，特征穩(wěn)定這一特性，本文使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法[9-10],通過識別整個視覺標志點的全部特征，自動分割標志點所在的感興趣區(qū)域，可有效減少誤提取，提高雙目視覺測量系統(tǒng)的測量效率。

同時為實現(xiàn)大型航天器艙體原位測量，將視覺測量系統(tǒng)固定在工業(yè)機器人末端，控制機器人運動完成多位姿下對零件面型的測量，再通過不同位姿之間測量的公共視覺標志點將測量數(shù)據(jù)拼接到同一坐標系下，最后生成點云圖輸出完成測量。

1 系統(tǒng)組成

高精度視覺測量系統(tǒng)主要由雙目工業(yè)相機、工業(yè)機器人、上位機組成，其中雙目工業(yè)相機安裝在工業(yè)機器人末端。系統(tǒng)功能主要包含圖像預(yù)處理、視覺標志點三維重建、機器人控制、圖像拼接和結(jié)果輸出顯示等，其工作流程如圖1所示。

圖1 高精視覺測量系統(tǒng)工作流程Fig.1 Process of high precision vision measurement system

雙目工業(yè)相機獲取高質(zhì)量艙體零件表面圖像并發(fā)送給上位機。上位機獲取圖像后，命令工業(yè)機器人移動到下一個位姿，同時對圖像進行預(yù)處理、標志點提取和三維重建。工業(yè)機器人移動到下一位姿后，命令工業(yè)相機采集圖像。艙體零件全部測量完成后，將不同位姿下獲取的標志點三維坐標轉(zhuǎn)換到同一坐標系下，并輸出顯示。

高精度視覺測量系統(tǒng)中的工業(yè)相機型號為Vieworks VC-12MC-M/C 65（分辨率6 004×7 904 像素，圖像傳感器CMOS，全畫幅，幀率20 f/s），鏡頭型號為EF16-35 mm f/2.8 LIIUSM（鏡頭焦距50 mm，光圈F2.8）。拍攝條件如下：圖片像素為6 004×7 904像素，物距為1 200 mm，保證測量精度的有效視場約為300 mm×300 mm。工業(yè)機器人型號為庫卡KR10-R1420，上位機軟件開發(fā)基于C++的MFC、OpenCV和基于Python 的Pytorch。工業(yè)機器人控制基于庫卡的RSIVisualShell，實驗驗證視覺測量精度的激光跟蹤儀型號為Leica-AT960，實驗系統(tǒng)如圖2所示。

圖2 高精度視覺測量實驗系統(tǒng)示意圖Fig.2 Schematic diagram of high precision vision measurement experimental system

2 系統(tǒng)功能實現(xiàn)

雙目視覺測量系統(tǒng)功能實現(xiàn)主要包含以下4 個部分：1）對圖像進行預(yù)處理，是指使用深度卷積神經(jīng)網(wǎng)絡(luò)提取視覺標志點所在的感興趣區(qū)域；2）提取圖像中視覺標志點中心并三維重建；3）基于UDP/IP 通信協(xié)議對工業(yè)機器人實時控制；4）利用視覺標志公共點拼接不同位姿下得到的測量數(shù)據(jù)，完成整個艙體零件表面測量后將結(jié)果以三維點云形式輸出。

2.1 圖像預(yù)處理

在機器視覺領(lǐng)域，一般通過提取圓形視覺標志點提取圖像信息，因此從圖像中準確且完整地檢測出標志點是一個關(guān)鍵問題。由于艙體殼體的高反光表面和現(xiàn)場復(fù)雜光源干擾，處理雙目相機獲取的高質(zhì)量圖像時，容易誤提取零件表面的視覺標志點以外的光斑，影響后續(xù)測量精度。傳統(tǒng)的圓提取算法在面對復(fù)雜現(xiàn)場環(huán)境下，為提高識別的準確率，需要設(shè)置嚴格的圖像二值化閾值和圓度、面積等約束條件，在提取的圓形輪廓中篩選出視覺標志點。但不同場景下參數(shù)變化較大，難以廣泛適用，通過劃出圖像中可能存在視覺標志點的感興趣區(qū)域，再在區(qū)域內(nèi)提取視覺標志點，可以有效減少由誤提取帶來的精度損失。如果通過人工分割標志點所在的感興趣區(qū)域則會降低視覺測量效率和自動化程度，而采用基于卷積神經(jīng)網(wǎng)絡(luò)方式預(yù)先分割視覺標志點所在的感興趣區(qū)域，再在區(qū)域內(nèi)提取視覺標志點，可以有效減少由誤提取帶來的精度損失，同時提高測量效率。

在圖像特征的提取與分類領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典而廣泛應(yīng)用的深度學(xué)習(xí)結(jié)構(gòu)[11-12]，卷積神經(jīng)網(wǎng)絡(luò)提供了一種端到端的學(xué)習(xí)模型，經(jīng)過梯度下降方法訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到圖像中的特征，實現(xiàn)對圖像特征的提取、分類等功能[13]。傳統(tǒng)的提取圓形視覺標志點方法需先將圖像進行二值化處理，再通過圓度、面積等約束條件搜尋標志點中心的圓形反光區(qū)域[14]，這一過程忽略了視覺標志點的其他圖形信息，因此容易與高反光表面上的圓形反光斑點混淆，從而造成誤提取。采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法直接處理原圖像可以充分利用視覺標志點的全部信息，準確定位視覺標志點所在的感興趣區(qū)域，極大程度上抑制了局部高反光對標志點產(chǎn)生的影響。在此基礎(chǔ)上對感興趣區(qū)域內(nèi)視覺標志點的圓形反光區(qū)域中心進行檢測，可以有效保證測量的準確性。

基于卷積神經(jīng)網(wǎng)絡(luò)分割視覺標志點所在感興趣區(qū)域的方法流程包括：將原圖像的分辨率由6 004×7 904 像素降采樣并調(diào)整到1 500×2 000 像素，以提高后續(xù)神經(jīng)網(wǎng)絡(luò)計算效率；將圖像以錯位形式分別切分為48 個和35 個分辨率為250×250像素的子圖像，圖像切分方式如圖3 和圖4所示。將切分后的圖像送入第1 層卷積神經(jīng)網(wǎng)絡(luò)進行二分類，確定圖像中是否有視覺標志點，如果包含標志點，再將圖像送入第2 層卷積神經(jīng)網(wǎng)絡(luò)分割出視覺標志點感興趣區(qū)域。其中切分后的圖像足夠小，從而保證每個圖像至多有一個視覺標志點，錯位切分則可保證圖像邊緣的點也能夠準確識別。

圖3 原圖切分為48 個250×250 像素子圖像Fig.3 Original image that divided into 48 sub-images with 250 × 250 pixels

圖4 原圖錯位切分為35 個250×250 像素子圖像Fig.4 Original image that divided into 35 sub-images with 250 × 250 pixels

第1 層卷積神經(jīng)網(wǎng)絡(luò)負責(zé)對輸入圖像進行二分類，總體結(jié)構(gòu)如圖5所示。輸入尺寸為250×250像素單通道圖像，經(jīng)過3 個卷積層、池化層和4 個全連接層，中間層激活函數(shù)為修正線性單元（rectified linear unit，ReLU）函數(shù)，輸出層激活函數(shù)為Sigmoid 函數(shù)，輸出值在0～1 之間，表示輸入圖像是否包含視覺標志點。輸出值大于0.75 表示包含標志點，再繼續(xù)將圖像送入第2 層卷積神經(jīng)網(wǎng)絡(luò)分割出感興趣區(qū)域。

第2 層卷積神經(jīng)網(wǎng)絡(luò)負責(zé)分割出輸入圖像中視覺標志點的感興趣區(qū)域位置，總體結(jié)構(gòu)如圖6所示。輸入尺寸為250×250 像素單通道圖像，經(jīng)過3 個卷積層、池化層和4 個全連接層，中間層激活函數(shù)為修正線性單元函數(shù)，輸出值為感興趣區(qū)域的左上角坐標和右下角坐標。

圖6 第2 層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Convolutional neural network structure of layer 2

使用7 500 張和12 000 張圖像分別對第1、2 層卷積網(wǎng)絡(luò)進行訓(xùn)練，數(shù)據(jù)集中部分訓(xùn)練圖像如圖7所示。使用200 張和350 張圖像分別對第1、2 層卷積網(wǎng)絡(luò)進行測試，準確率均達到了97%以上。

圖7 數(shù)據(jù)集中部分圖像Fig.7 Part of images in dataset

根據(jù)第2 層卷積神經(jīng)網(wǎng)絡(luò)輸出值在圖像中劃出所有視覺標志點的感興趣區(qū)域，由于圖以錯位形式切分了2 次，感興趣區(qū)域會出現(xiàn)重疊，但對后續(xù)提取視覺標志點不會造成影響，區(qū)域劃出后圖像如圖8所示。為方便后續(xù)圖像處理，將非感興趣區(qū)域內(nèi)像素的灰度值設(shè)置為0，處理后圖像如圖9所示。

圖8 劃出感興趣區(qū)域后圖像Fig.8 Image that marked regions of interest

圖9 將非感興趣區(qū)域像素灰度值設(shè)置為0 的圖像Fig.9 Image that set gray value of pixels out of regions of interest to zero

2.2 標志點三維重建

對雙目相機獲取的高質(zhì)量圖像進行預(yù)處理后，對圖像中的視覺標志點中心進行提取。首先設(shè)置適當?shù)亩祷撝祵D像進行二值化處理；然后提取二值圖像的所有獨立區(qū)域輪廓[15]，計算每個區(qū)域輪廓的圓度值C，面積S，通過設(shè)置適當?shù)膱A度閾值C′、面積閾值(Smin,Smax)，將滿足條件的區(qū)域輪廓篩選為視覺標志點區(qū)域輪廓，然后使用基于最小二乘的橢圓擬合法計算區(qū)域中心位置坐標[16]。一

般二次曲線方程可表示為

方程（1）中各個系數(shù)由下式表示：

將輪廓點(xi,yi)代入公式（1）后得到F(xi,yi)，可認為是誤差距離，運用最小二乘原理得到方程中各個系數(shù)的值a。二次曲線的最小二乘擬合可表示為

擬合后橢圓圓心為視覺標志點中心坐標，上述圖像處理過程如圖10所示。

圖10 圖像處理過程Fig.10 Process of image processing

分別獲取左右圖像的視覺標志點中心的位置坐標后，對其進行匹配和三維重建。由于大型艙體零件表面布置大量視覺標志點，同時左右相機公共視場小，因此左右相機圖像中可能出現(xiàn)非公共標志點，為提高左右圖像視覺標志點匹配的魯棒性，消除誤匹配，使用基于極線約束的標志點立體匹配方法[3]。極線約束是將對應(yīng)匹配點搜索范圍由全局圖像縮小到極線這條直線上，從而提高匹配的精度與魯棒性。圖11 為左右圖像視覺標志點中心匹配結(jié)果。

圖11 左右圖像視覺標志點中心匹配Fig.11 Match of center of left and right images visual mark points

左右圖像的視覺標志點匹配完成后，對左右相機圖像平面進行立體校正，然后根據(jù)小孔成像模型，跟據(jù)公式（4）對視覺標志點進行三維重建，得到左相機坐標系下視覺標志點中心三維坐標(X,Y,Z)：

式中：(ul,ur)和(vl,vr)是標志點中心分別在左右圖像中的坐標；s為像素的物理尺寸；d是2 個相機間的視差；Tx是左右相機光心距離；f是相機焦距。這些參數(shù)通過對雙目相機標定獲得[17]。

2.3 機器人控制

測量大型艙體零件表面時，需將雙目相機放在多個位姿狀態(tài)才能進行。為實現(xiàn)雙目視覺測量系統(tǒng)的高效與自動化，將雙目視覺放置在工業(yè)機器人末端，通過控制工業(yè)機器人運動完成測量，再通過多位姿間坐標轉(zhuǎn)換關(guān)系將不同位姿測量得到的數(shù)據(jù)統(tǒng)一在同一坐標系下。

機器人控制是通過上位機與庫卡機器人傳感器通訊軟件RSIVisual 間進行信息交互實現(xiàn)的，其中信息交互使用UDP 無連接協(xié)議，上位機將下一步機器人需要移動的具體位姿（機器人末端在基座坐標系下位置X，Y，Z和角度A，B，C）以XML 形式的數(shù)據(jù)流發(fā)送給機器人控制系統(tǒng)，機器人控制系統(tǒng)接收后開始運動并將機器人當前位姿信息（同上）以XML 形式的數(shù)據(jù)流實時發(fā)送給上位機。上位機在判斷機器人移動到指定位姿后發(fā)送視覺測量指令。

由于工業(yè)機器人絕對定位精度相對較低[18]，直接采用機器人控制系統(tǒng)發(fā)送運動信息難以實現(xiàn)高精度拼接不同位姿下的視覺測量數(shù)據(jù)。因此，利用位姿之間公共點計算位姿間坐標轉(zhuǎn)換關(guān)系，然后進行拼接。為保證不同位姿之間能夠測量到足夠的公共視覺標志點，同時使測量路徑易于規(guī)劃，采用一種滑動窗口的方法對艙體零件表面進行測量。即工業(yè)機器人末端沿艙體表面方向一次移動一段固定距離，保證鄰近測量位姿之間，雙目相機公共視場內(nèi)有足夠數(shù)量的視覺標志點，以提高后續(xù)拼接精度，如圖12所示。其中方形窗口表示雙目視覺公共視場，隨著位姿變化窗口以固定距離向右移動。

圖12 滑動窗口測量示意圖Fig.12 Diagram of sliding window measurement

2.4 標志點拼接

通過位姿之間測量的公共視覺標志點計算位姿間坐標轉(zhuǎn)換關(guān)系。給定2 個位姿下對應(yīng)的公共視覺標志點集合P={p1,p2,...pn}和Q={q1,q2,···qn}，它們之間位姿轉(zhuǎn)換關(guān)系R和t可由SVD方法計算獲得，首先計算標志點集合中心點，并將點集中心化，即：

式中：μP和 μQ代表標志點集合P={p1,p2,···pn}和Q={q1,q2,···qn}的中心點，將其中心化后可獲得標志點集合和。將中心化后獲得的標志點集合轉(zhuǎn)換成N×3矩陣，計算協(xié)方差矩陣H，并將SVD分解，即：

最后計算點集之間旋轉(zhuǎn)矩陣R和 平移向量t：

計算出轉(zhuǎn)換關(guān)系R和t后，將雙目相機在各個位姿下測量的視覺標志點三維坐標統(tǒng)一到同一坐標系下，完成三維重建。

3 實驗與結(jié)果分析

為了驗證雙目視覺測量系統(tǒng)可靠性，實驗使用了鋁膜包覆式碳纖維艙段模擬件模擬大型艙體零件，碳纖維模擬件減輕了環(huán)境溫濕度變化對實驗結(jié)果帶來的影響。同時在室內(nèi)光照條件穩(wěn)定的實驗條件下，使用高精度陶瓷標定板對雙目相機進行了標定。然后將標定過的雙目相機固定在工業(yè)機器人末端，對碳纖維艙段模擬件表面布置的視覺標志點進行測量。其中視覺標志點安放在可替換激光跟蹤儀靶球的標準靶座上，方便后續(xù)使用激光跟蹤儀對視覺測量精度進行驗證。圖13 為放置在工業(yè)機器人末端的雙目相機，圖14 為鋁膜包覆式碳纖維艙段模擬件。

圖13 放置在工業(yè)機器人末端的雙目相機Fig.13 Binocular cameras placed at end of industrial robots

圖14 鋁膜包覆式碳纖維艙段模擬件Fig.14 Aluminum film-coated carbon fiber simulated cabin component

整個艙段模擬件長度約1.2 m，半徑約899 mm。為完成整個艙段模擬件測量，工業(yè)機器人需攜帶雙目相機切換到多個位姿從艙段左側(cè)開始向右側(cè)逐步測量，每切換一次位姿，雙目相機有效測量視野向右移動約150 mm。直到工業(yè)機器人切換到下一個位姿后，雙目相機有效測量視野中不再出現(xiàn)新的視覺靶球，則說明視覺測量系統(tǒng)已達艙段最右側(cè)，測量結(jié)束。整個測量實驗工業(yè)機器人共計切換了9 個位姿，為驗證視覺測量精度，使用激光跟蹤儀測量各個視覺標志點三維位置，同時將全部位姿下視覺標志點測量的三維位置統(tǒng)一到同一坐標系下，完成整個艙體零件表面測量后，將激光跟蹤儀和視覺測量的標志點位置以三維點云的形式輸出，如圖15 和圖16所示。

圖15 激光跟蹤儀測量標志點三維點云Fig.15 Three-dimensional point clouds of mark points measured by laser tracker

圖16 視覺測量標志點三維點云Fig.16 Three-dimensional point clouds of mark points measured by vision

以激光跟蹤儀測量結(jié)果為真值，對比拼接后各個標志點到1 號標志點距離驗證視覺測量精度，結(jié)果如圖17所示。同時對比位姿1 到位姿9，各個位姿下拼接后的視覺測量精度RMS 如圖18所示。

圖17 拼接后視覺測量精度Fig.17 Accuracy of visual measurement after splicing

圖18 位姿1 到位姿9 視覺測量精度RMSFig.18 RMS of vision measurement accuracy from position 1 to 9

實驗結(jié)果表明：在1.2 m×1 m 范圍內(nèi)，共計切換9 個位姿情況下各個標志點到1 號標志點距離視覺測量精度RMS 可達0.049 mm，最大誤差控制在100 μm 以內(nèi)。同時在保證各個位姿視覺測量精度的前提下，采用滑動窗口的方法使用相鄰位姿間公共標志點拼接測量結(jié)果，并未出現(xiàn)明顯的精度下降。

4 結(jié)論

本文敘述的基于雙目立體視覺的大型艙體零件測量系統(tǒng)，通過基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標識別技術(shù)避免了視覺標記點的誤提取，保障了系統(tǒng)可靠運行。同時利用工業(yè)機器人技術(shù)實現(xiàn)了多位姿下對大型艙體零件的視覺測量，最后通過拼接多位姿下視覺標記點測量數(shù)據(jù)將其統(tǒng)一到同一坐標系下，完成對艙體零件表面特征的三維重建。整個測量系統(tǒng)具有效率高、穩(wěn)定性高等特點，通過與激光跟蹤儀作對照試驗，在1.2 m×1 m 范圍內(nèi)9 個位姿的拼接精度RMS 可達0.049 mm，表明該系統(tǒng)有較高的精度。