基于增強(qiáng)現(xiàn)實(shí)的線纜裝配引導(dǎo)系統(tǒng)研究

羅志勇 范志鵬 帥 昊

(重慶郵電大學(xué)自動化學(xué)院 重慶 400065)

0 引 言

近年來隨著主動測距傳感技術(shù)的發(fā)展，線纜作為能量傳遞和信號傳輸?shù)慕橘|(zhì)，應(yīng)用于航空航天、雷達(dá)、衛(wèi)星等各類復(fù)雜機(jī)電產(chǎn)品中，線纜裝配周期長和出錯(cuò)概率大等特點(diǎn)直接影響了產(chǎn)品總裝的裝配效率[1]。據(jù)國內(nèi)航天研究院對航空航天產(chǎn)品質(zhì)量問題的統(tǒng)計(jì)，在航空航天產(chǎn)品所有的故障中，線纜故障所占比例為20%[2]。近年來，隨著科學(xué)技術(shù)的高速發(fā)展，在航空航天線纜裝配過程中應(yīng)用增強(qiáng)現(xiàn)實(shí)裝配輔助系統(tǒng)[3-5]，很大程度上為解決固定式工藝看板系統(tǒng)帶來的缺陷，提供了一個(gè)新途徑。采用AR線纜裝配引導(dǎo)技術(shù)，主要通過將計(jì)算機(jī)生成的線纜裝配引導(dǎo)虛擬信息，如：采用文本注釋和三維模型等形式，幫助線纜裝配操作人員更直觀地理解，線纜裝配過程虛擬引導(dǎo)信息和真實(shí)場景中的各種裝配關(guān)系，從而可以根據(jù)可視化、簡便的方式，簡化操作人員對工藝規(guī)程的研讀，提高工藝操作精度，以及節(jié)省線纜裝配的時(shí)間與成本[6]。在國外，波音公司于20世紀(jì)90年代初提出“增強(qiáng)現(xiàn)實(shí)”技術(shù)的概念[7]，采用AR技術(shù)實(shí)現(xiàn)了AR布線輔助系統(tǒng)。該系統(tǒng)主要是運(yùn)用視頻透視式顯示器，實(shí)時(shí)提供虛擬裝配引導(dǎo)信息，如接線柱安裝位置和布線路徑引導(dǎo)信息，可以高效地完成布線作業(yè)。Pang和Nee等[8-9]采用基于立體視覺的AR技術(shù)，開發(fā)了應(yīng)用于裝配設(shè)計(jì)和評價(jià)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，該系統(tǒng)將CAD環(huán)境中的虛擬零件對象和相對應(yīng)的真實(shí)零件進(jìn)行融合和裝配引導(dǎo)。該系統(tǒng)主要是運(yùn)用碰撞檢測機(jī)制，對裝配過程進(jìn)行仿真，更好地完成對零件的精確定位。德國的Fraunhofer實(shí)驗(yàn)室對ARVIKA項(xiàng)目[10]和ARTESAS項(xiàng)目[11]進(jìn)行了研究，更好地輔助操作人員在對產(chǎn)品進(jìn)行裝配過程中，實(shí)時(shí)顯示輔助信息，從而使產(chǎn)品的裝配過程更加高效。在國內(nèi)，劉佳順等[12]針對目前復(fù)雜機(jī)電產(chǎn)品中存在的布線效率低、故障率高、線纜裝配返工率高等問題，將線纜的各類信息建立模型，該信息模型主要應(yīng)用于線纜自動布局設(shè)計(jì)與裝配規(guī)劃，但是在實(shí)際布線中未考慮對高溫、易燃和電磁等兼容性要求。王發(fā)麟等[13]針對傳統(tǒng)的線纜模擬裝配方法存在的裝配成本高和質(zhì)量低等問題，提出一種線纜虛實(shí)融合的裝配方法，為線纜裝配的研究提供一種新的思路，但未對該方案設(shè)計(jì)進(jìn)行實(shí)驗(yàn)驗(yàn)證。藍(lán)珊等[14]對人工裝配過程增強(qiáng)現(xiàn)實(shí)輔助技術(shù)進(jìn)行了研究，主要采用多媒體的方式，將裝配工藝引導(dǎo)信息疊加到裝配現(xiàn)場，以及采用了AR技術(shù)給用戶提供了可視化的虛實(shí)融合視頻，以提升裝配效率。但是該增強(qiáng)裝配系統(tǒng)的輸入方式是手動輸入，如鼠標(biāo)點(diǎn)擊，在實(shí)際的裝配過程中該輸入方式會降低裝配效率。

通過以上分析可以看出，國外較早開展了基于AR的產(chǎn)品布線技術(shù)的研究與應(yīng)用，并取得了一定的成果。國內(nèi)對增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于機(jī)械產(chǎn)品AR輔助裝配引導(dǎo)方面的研究仍處于起步階段，大部分主要對AR關(guān)鍵技術(shù)方面進(jìn)行了探索和研究，而對于AR的實(shí)際應(yīng)用的研究，還沒有成熟的商業(yè)化產(chǎn)品。因此，本文提出了基于增強(qiáng)現(xiàn)實(shí)的線纜裝配引導(dǎo)系統(tǒng)研究，根據(jù)可視化、簡便的方式，簡化操作人員對工藝規(guī)程的研讀，提高工藝操作精度的同時(shí)節(jié)省時(shí)間和成本。

1 系統(tǒng)總體框架

在基于AR的線纜裝配引導(dǎo)系統(tǒng)總體框架中主要包括線纜裝配工藝信息模型構(gòu)建、工藝信息結(jié)構(gòu)化表示、云服務(wù)、結(jié)構(gòu)化工藝信息解析、線纜裝配體識別與跟蹤注冊方法、虛實(shí)融合顯示、AR設(shè)備人工裝配過程輔助、輸入模塊等8個(gè)部分，其工作流程如圖1所示。

圖1 基于AR的線纜裝配引導(dǎo)系統(tǒng)總體

1.1 線纜裝配工藝信息模型構(gòu)建

線纜裝配引導(dǎo)工藝包含信息眾多，主要使用Dassault 3D Experience系統(tǒng)中的過程信息、產(chǎn)品信息和資源信息的信息組織形式，建立面向線纜裝配引導(dǎo)的工藝信息模型。根據(jù)不同信息源構(gòu)建完整的線纜裝配引導(dǎo)工藝信息模型，其構(gòu)建過程如圖2所示。從CAD系統(tǒng)中獲取線纜裝配體的幾何實(shí)體信息、位置姿態(tài)信息、層次結(jié)構(gòu)信息和約束信息等。從裝配規(guī)劃與仿真系統(tǒng)數(shù)據(jù)庫中獲取裝配路徑信息、裝配序列信息、資源信息和作業(yè)動作信息，然后將上述信息填充到線纜裝配引導(dǎo)工藝信息模型中。從該產(chǎn)品設(shè)計(jì)和仿真文檔中獲取產(chǎn)品的管理信息等，豐富線纜裝配引導(dǎo)工藝信息模型。

圖2 線纜裝配引導(dǎo)工藝信息模型構(gòu)建方法

1.2 工藝信息結(jié)構(gòu)化表示

線纜裝配引導(dǎo)工藝信息中各工序間的工藝信息并不是簡單的堆砌，而是相互耦合的。為了表達(dá)出線纜裝配引導(dǎo)工藝間抽象的語義關(guān)系，將基于本體理論，構(gòu)建線纜裝配引導(dǎo)工藝應(yīng)用本體，運(yùn)用XML對線纜裝配工藝本體進(jìn)行結(jié)構(gòu)化表示。

1.3 云服務(wù)與結(jié)構(gòu)化工藝信息解析

該系統(tǒng)采用基于云服務(wù)的信息傳遞方式，只需將結(jié)構(gòu)化的工藝信息和三維線纜裝配體的幾何模型上傳到云服務(wù)平臺，然后通過解析結(jié)構(gòu)化的工藝信息，針對當(dāng)前工序，動態(tài)加載幾何引導(dǎo)模型，從而實(shí)現(xiàn)線纜裝配體的人工裝配過程引導(dǎo)。根據(jù)線纜裝配規(guī)劃系統(tǒng)，將線纜裝配規(guī)劃的結(jié)果存入裝配XML文件中，以及將線纜裝配體的裝配引導(dǎo)信息進(jìn)行存儲。該模塊主要對存儲在XML文件中的信息進(jìn)行解析。

1.4 線纜裝配體識別與跟蹤注冊方法

通過相機(jī)對真實(shí)場景圖像進(jìn)行采集，并對獲取到的場景圖像進(jìn)行預(yù)處理以及提取圖像的特征。基于LINE-MOD模板匹配的方法，對處于復(fù)雜環(huán)境下的線纜裝配體進(jìn)行識別，并獲得相機(jī)的粗略位姿。將該粗略位姿作為基于邊緣模型的線纜裝配體跟蹤注冊的初始化位姿，根據(jù)基于邊緣模型的跟蹤注冊方法可確定虛擬模型與現(xiàn)實(shí)線纜裝配體的位姿關(guān)系，計(jì)算出虛擬模型在現(xiàn)實(shí)線纜裝配體的位姿后，可實(shí)現(xiàn)虛擬模型與現(xiàn)實(shí)線纜裝配體的融合。

1.5 輸入模塊

基于AR的線纜裝配引導(dǎo)系統(tǒng)的輸入模塊主要包括條碼識讀、語音輸入和手動輸入。條碼識讀的主要用途是在設(shè)計(jì)線纜裝配體模型時(shí)，每根線纜的接頭與線纜裝配體的每個(gè)線孔都是一一對應(yīng)的。通過解析可獲得線纜裝配的接線表。根據(jù)該接線表的信息，可制作條碼貼在相應(yīng)的實(shí)物線纜上。在實(shí)際線纜裝配時(shí)，可通過條碼識讀對每根線纜進(jìn)行掃碼，從而確定每根線纜接頭處于線纜裝配體哪個(gè)孔的位置。語音輸入旨在為了實(shí)現(xiàn)線纜裝配操作人員在裝配過程中方便地實(shí)現(xiàn)對裝配工藝信息瀏覽、查詢等交互操作，在用戶進(jìn)行線纜裝配過程中使用語音輸入，實(shí)現(xiàn)語音對文本文件的關(guān)聯(lián)與轉(zhuǎn)換，指導(dǎo)用戶方便快捷地完成相應(yīng)的裝配操作任務(wù)。手動輸入主要作用是當(dāng)線纜上的條碼發(fā)生破損或者模糊看不清，裝配環(huán)境噪聲較大造成語音識別不準(zhǔn)確等情況下即可使用手動輸入。

2 系統(tǒng)算法思想及工作流程

系統(tǒng)算法思想及工作流程示意圖如圖3所示。首先需要在離線階段時(shí)，將線纜裝配體模型處于CAD環(huán)境中進(jìn)行離線訓(xùn)練，并在多視角下獲取該模型的圖像以作為參考圖像，同時(shí)記錄相機(jī)的采集位置和姿態(tài)。然后將該參考圖像進(jìn)行特征提取，如梯度方向描述符特征，并將所提取到的特征存儲到XML文件中。在在線階段時(shí)，提取在實(shí)際場景中線纜裝配體實(shí)時(shí)的圖像，并對每一幀圖像進(jìn)行處理，如進(jìn)行圖像預(yù)處理以及圖像梯度方向描述符提取，通過LINE-MOD模板匹配方法將在線提取的圖像梯度方向描述符與離線階段提取的梯度方向描述符進(jìn)行匹配，旨在將處在雜亂背景圖像中的線纜裝配體識別出來，同時(shí)可獲取與當(dāng)前輸入圖像最相似的關(guān)鍵幀和關(guān)鍵幀對應(yīng)的相機(jī)位姿。

圖3 系統(tǒng)算法思想及工作流程示意圖

將關(guān)鍵幀對應(yīng)的相機(jī)位姿作為基于邊緣的線纜裝配體跟蹤注冊的初始化位姿，通過該初始化位姿可將線纜裝配體的3D模型進(jìn)行渲染，計(jì)算出該模型的模型投影圖像。獲取模型投影圖像之后，需要識別對象的可見邊緣并且沿著這些邊緣以規(guī)則間隔的方式來分配采樣點(diǎn)。對于模型上每一采樣點(diǎn)，需要沿著該采樣點(diǎn)搜索對應(yīng)的圖像邊緣點(diǎn)。建立模型邊緣點(diǎn)和圖像邊緣點(diǎn)之間的對應(yīng)關(guān)系后，可根據(jù)對應(yīng)關(guān)系迭代求解運(yùn)動位姿。根據(jù)計(jì)算出的運(yùn)動位姿可計(jì)算其投影矩陣，并進(jìn)行位姿優(yōu)化。如果滿足迭代終止條件，則輸出位姿參數(shù)；否則，繼續(xù)位姿更新對模型進(jìn)行投影。

2.1 基于LINE-MOD模板匹配的線纜裝配體識別方法

LINE-MOD模板匹配的方法主要以二進(jìn)制方式的圖像梯度方向作為模板匹配的特征。易滿足系統(tǒng)實(shí)時(shí)性的要求，同時(shí)對輸入圖像的旋轉(zhuǎn)偏差或者微小移動具有魯棒性。

為了將在線與離線階段所提取到的圖像梯度方向進(jìn)行匹配，采用式(1)完成對在線與離線階段所提取到的圖像梯度方向的相似性進(jìn)行度量：

(1)

式中：ε表示目標(biāo)物體與目標(biāo)物體離線訓(xùn)練模板之間的相似性；T=(O,p)表示目標(biāo)物體的模板；ori(O,r)表示在參考圖像O位置r點(diǎn)處的梯度方向的弧度；ori(I,t)表示輸入圖像I位置t點(diǎn)處的梯度方向的弧度；p表示位置r的列表。

采用LINE-MOD模板匹配的方法將目標(biāo)物體經(jīng)過離線訓(xùn)練，以獲取目標(biāo)物體的模板，并將該目標(biāo)物體模板的滑動窗口在輸入圖像上進(jìn)行滑動，并對目標(biāo)物體表面輪廓與離線階段訓(xùn)練的模板圖像所對應(yīng)的梯度方向進(jìn)行相似性統(tǒng)計(jì)。

2.2 跟蹤注冊初始化

線纜裝配體跟蹤注冊初始化流程圖如圖4所示。首先需要在離線階段時(shí)，將線纜裝配體模型處于CAD環(huán)境中進(jìn)行離線訓(xùn)練，并在多視角下獲取該模型的圖像以作為參考圖像，同時(shí)記錄相機(jī)的采集位置和姿態(tài)。然后將該參考圖像進(jìn)行特征提取，如梯度方向描述符特征，并將所提取到的特征存儲到XML文件中。在在線階段，提取在實(shí)際場景中線纜裝配體實(shí)時(shí)的圖像，并對每一幀圖像進(jìn)行處理，如進(jìn)行圖像預(yù)處理以及圖像梯度方向描述符提取，通過LINE-MOD模板匹配方法將在線與離線階段提取的梯度方向描述符進(jìn)行匹配，同時(shí)可獲取與當(dāng)前輸入圖像最相似的關(guān)鍵幀和關(guān)鍵幀對應(yīng)的相機(jī)位姿，如相機(jī)采集位姿i。將該關(guān)鍵幀對應(yīng)的相機(jī)位姿作為線纜裝配體跟蹤注冊初始化的位姿，旨在為基于邊緣模型的線纜裝配體跟蹤注冊方法的開展，提供了首幀圖像的線纜裝配體位姿初始化，避免了裝配坐標(biāo)系初始化需要人為干預(yù)。

圖4 線纜裝配體跟蹤注冊初始化流程

2.3 基于邊緣模型的線纜裝配體跟蹤注冊方法

基于邊緣模型的線纜裝配體跟蹤注冊方法，其基本思想是：根據(jù)首幀圖像的線纜裝配體初始化位姿對模型進(jìn)行投影，通過搜索圖像中的線纜裝配體邊緣建立線纜裝配體模型邊緣點(diǎn)和圖像的線纜裝配體邊緣點(diǎn)之間的對應(yīng)關(guān)系，可根據(jù)模型邊緣點(diǎn)和圖像邊緣點(diǎn)的對應(yīng)關(guān)系進(jìn)行迭代求解出運(yùn)動位姿，使得更新后的位姿所投影的線纜裝配體模型逐漸與圖像中的線纜裝配體的邊緣靠近，以達(dá)到最終重合。

采用法向距離迭代最小二乘(Normal Distance Iterative Least Squares，ND-ILS)位姿估計(jì)方法，當(dāng)獲取到較多的采樣點(diǎn)及其法向距離時(shí)，目標(biāo)物體的位姿改正量M′就可以通過最小二乘方法得到，式(2)為法向距離迭代最小二乘位姿估計(jì)方法的計(jì)算公式:

(2)

2.4 位姿優(yōu)化

基于邊緣模型的線纜裝配體跟蹤注冊方法易受復(fù)雜背景的干擾，從而導(dǎo)致模型邊緣點(diǎn)和圖像邊緣點(diǎn)相對應(yīng)的誤匹配。針對該問題，提出了一種位姿優(yōu)化的方法，主要將位姿優(yōu)化問題轉(zhuǎn)換成模型邊緣點(diǎn)和圖像邊緣點(diǎn)匹配的問題，以求解出最優(yōu)位姿參數(shù)。

已知目標(biāo)物體的3D模型和相機(jī)的初始位姿ζi，通過初始位姿將3D模型投影到圖像平面，并沿著投影邊緣進(jìn)行控制點(diǎn)采樣，以獲取采樣點(diǎn)的像素點(diǎn)集合。根據(jù)反投影圖像平面中采樣點(diǎn)的像素點(diǎn)到3D模型表面，可計(jì)算出采樣點(diǎn)集C中每個(gè)采樣點(diǎn)在物體坐標(biāo)系中的坐標(biāo)。將每個(gè)模型邊緣上的采樣點(diǎn)xi∈C，其與圖像邊緣點(diǎn)的匹配誤差可視為到最近圖像邊緣點(diǎn)的距離，如式(3)所示。

(3)

由式(3)可以得出，整個(gè)采樣點(diǎn)集C與圖像邊緣的匹配誤差可視為一個(gè)目標(biāo)能量函數(shù)：

(4)

假設(shè)給定相機(jī)的初始位姿ζi，可以通過L-M(Levenberg-Marquardt)優(yōu)化算法迭代最小化式(4)求解得到相機(jī)的最優(yōu)位姿ζ0：

(5)

3 原型系統(tǒng)開發(fā)與實(shí)現(xiàn)

3.1 原型系統(tǒng)軟硬件環(huán)境

原型系統(tǒng)的硬件配置為華為電腦，采用的處理器為Intel? CoreTMm5，主頻為3.1 GHz的CPU，8 GB的內(nèi)存， HD Graphics 515的顯卡等。實(shí)驗(yàn)配置為軟件系統(tǒng)采用Windows 10平臺，使用Visual Studio 2013進(jìn)行相應(yīng)的編程開發(fā)，采用“Unity3D”進(jìn)行動畫演示，進(jìn)行線纜裝配引導(dǎo)信息建模時(shí)，所采用的是3D Studio Max。

3.2 原型系統(tǒng)體系結(jié)構(gòu)

該系統(tǒng)體系結(jié)構(gòu)如圖5所示。應(yīng)用層主要是原型系統(tǒng)界面，在進(jìn)行實(shí)時(shí)線纜裝配操作時(shí)，可以直接根據(jù)原型系統(tǒng)界面的菜單進(jìn)行操作。核心算法層主要是封裝了系統(tǒng)中的各功能模塊，并為應(yīng)用層提供調(diào)用接口。其所封裝的算法主要包括：LINE-MOD模板匹配算法、跟蹤注冊初始化、ND-ILS位姿估計(jì)算法和位姿優(yōu)化算法等。數(shù)據(jù)層主要是為核心算法層提供數(shù)據(jù)支持。

圖5 系統(tǒng)體系結(jié)構(gòu)圖

3.3 算法執(zhí)行效果分析

線纜裝配體位姿估計(jì)實(shí)物仿真實(shí)驗(yàn)如圖6所示，該實(shí)物仿真實(shí)驗(yàn)是在含有噪聲和復(fù)雜背景的環(huán)境下進(jìn)行的，旨在驗(yàn)證所提出的算法具有良好的魯棒性。分別采用LINE-MOD模板匹配算法、跟蹤注冊初始化、ND-ILS位姿估計(jì)算法和位姿優(yōu)化算法進(jìn)行實(shí)驗(yàn)分析，將目標(biāo)對象模型按照該位姿估計(jì)值投影到圖像中，通過觀察投影與圖像中目標(biāo)對象的重合度，以考察算法的性能。初始化位姿效果圖如圖6(a)所示。在初始化位姿的基礎(chǔ)上，分別迭代50次，從圖6(b)中不難看出，在復(fù)雜背景下，采用ND-ILS算法時(shí)，由于干擾邊緣太多，投影模型與圖像中的目標(biāo)對象重合度較差。在ND-ILS算法的基礎(chǔ)上進(jìn)行位姿優(yōu)化，從圖6(c)中可以看出線纜裝配體3D模型與圖像中的線纜裝配體具有很好的重合度，從而可以表明在進(jìn)行位姿優(yōu)化后可獲得很好的位姿估計(jì)結(jié)果。

(a) 初始化位姿

(b) ND-ILS位姿估計(jì)結(jié)果

(c) 位姿優(yōu)化結(jié)果圖6 線纜裝配體位姿估計(jì)實(shí)物仿真實(shí)驗(yàn)

3.4 原型系統(tǒng)應(yīng)用實(shí)例

將本文提出的算法在該原型系統(tǒng)中進(jìn)行實(shí)例驗(yàn)證，并給出部分應(yīng)用實(shí)例圖。注冊界面見圖7(a)，該界面顯示的引導(dǎo)信息為請保證相機(jī)視野內(nèi)存在線纜裝配體，待虛擬模型穩(wěn)定時(shí)，點(diǎn)擊注冊按鈕。當(dāng)虛擬模型出現(xiàn)時(shí)，可通過右上角的提示箭頭調(diào)整虛擬模型與線纜裝配體融合的位置關(guān)系，旨在使得相機(jī)的位姿更精確。點(diǎn)擊注冊按鈕完成注冊后，會進(jìn)入線纜信息輸入界面，見圖7(b)，該界面主要顯示重新輸入、確定、重新注冊、返回等按鈕。其中該系統(tǒng)輸入的方式主要分為掃描輸入、語音識別輸入、手動輸入。本文應(yīng)用驗(yàn)證實(shí)例中使用語音識別輸入，例如語音輸A8X1_A8，會進(jìn)入線纜裝配引導(dǎo)信息顯示界面，見圖7(c)，操作人員可根據(jù)線纜裝配引導(dǎo)信息完成線纜裝配操作。圖7(d)所示為線纜裝配引導(dǎo)信息第一次顯示完成。繼續(xù)進(jìn)行語音輸入線纜信息，后續(xù)線纜裝配過程依次進(jìn)行完成。

(a) 注冊

(b) 線纜信息語音輸入

(c) 線纜裝配引導(dǎo)信息第一次顯示

(d) 線纜裝配第一次操作完成圖7 基于AR的線纜裝配引導(dǎo)原型系統(tǒng)應(yīng)用實(shí)例

4 結(jié) 語

本文研究了基于AR的線纜裝配引導(dǎo)原型系統(tǒng)，主要包括三個(gè)方面，分別為對基于AR的線纜裝配引導(dǎo)系統(tǒng)總體框架進(jìn)行詳細(xì)論述；對該系統(tǒng)算法思想與工作流程進(jìn)行研究；開發(fā)了基于AR的線纜裝配引導(dǎo)原型系統(tǒng)，并通過應(yīng)用實(shí)例驗(yàn)證了該原型系統(tǒng)對線纜裝配的支持。