自由擺放組合立板點(diǎn)云上激光焊接軌跡提取方法

李奕飛，潘通，周鑫，徐金亭

（1.大連理工大學(xué)汽車工程學(xué)院，遼寧 大連 116024；2.中國航發(fā)沈陽黎明航空發(fā)動(dòng)機(jī)有限責(zé)任公司，遼寧 沈陽 110043）

1 前言

隨著“中國制造2025”戰(zhàn)略的實(shí)施，以工業(yè)機(jī)器人代替人工操作已成為裝備制造業(yè)智能升級(jí)的核心。盡管目前工業(yè)機(jī)器人已廣泛應(yīng)用于自動(dòng)化焊接生產(chǎn)線，但焊接軌跡的規(guī)劃卻普遍采用人工示教機(jī)器人的方式完成。如果工件位姿、機(jī)器人的作業(yè)條件發(fā)生變化，機(jī)器人焊接軌跡就不得不重新手動(dòng)示教規(guī)劃，很難實(shí)現(xiàn)焊接軌跡的實(shí)時(shí)動(dòng)態(tài)調(diào)整。為此，給工業(yè)機(jī)器人裝備非接觸式激光測(cè)量裝置，快速測(cè)量工件表面數(shù)據(jù)信息、識(shí)別工件類型、位置及姿態(tài)、自動(dòng)提取焊接軌跡等，就成為滿足工業(yè)機(jī)器人焊接任務(wù)實(shí)時(shí)調(diào)整、實(shí)現(xiàn)各類構(gòu)件自動(dòng)化焊接的有效手段。

目前，基于三維激光掃描等的復(fù)雜物體識(shí)別技術(shù)已經(jīng)得到廣泛的研究，主要方法可分為兩類：即基于全局特征的方法和基于局部特征的方法。面向點(diǎn)云數(shù)據(jù)的全局特征識(shí)別法包括視點(diǎn)特征直方圖（VFH）[1]、全局快速點(diǎn)特征直方圖（GFPFH）[2]、形狀功能集合描述符（ESF）[3]等方法。基于全局特征識(shí)別法具有很高的識(shí)別效率，但魯棒性較差且對(duì)遮擋敏感。與基于全局特征方法不同，基于局部特征的識(shí)別方法則側(cè)重于識(shí)別場(chǎng)景內(nèi)的特征點(diǎn)或特征區(qū)域，主要包括點(diǎn)特征直方圖（PFH）、方向特征直方圖（SHOT）[4]、旋轉(zhuǎn)投影統(tǒng)計(jì)（RoPS）[5]等方法?；诰植刻卣髯R(shí)別法具有高特征識(shí)別準(zhǔn)確性，但算法普遍耗時(shí)較長、在很大程度上依賴于局部表面信息，且受測(cè)量數(shù)據(jù)的質(zhì)量影響較大，限制了這些方法在實(shí)際焊接工程中的應(yīng)用。針對(duì)機(jī)器人自動(dòng)化焊接，文獻(xiàn)[6]對(duì)視覺傳感器獲取的熔池信息進(jìn)行處理以識(shí)別熔池形狀和測(cè)量間隙的大小，追蹤焊縫和選取適當(dāng)?shù)暮附訔l件，用于鋼管的機(jī)器人焊接。文獻(xiàn)[7]設(shè)計(jì)雙目視覺系統(tǒng)，采用數(shù)學(xué)運(yùn)算及圖像算法計(jì)算出焊槍位置相較于長直焊縫中心線的偏移，然后通過模糊算法調(diào)節(jié)焊槍與焊縫的位置，并找出焊縫端點(diǎn)。文獻(xiàn)[8]建立離線焊件CAD設(shè)計(jì)模型庫，提取在線測(cè)量焊件點(diǎn)云的VFH特征，通過與設(shè)計(jì)模型庫中模型的VFH特征比對(duì)，對(duì)焊件進(jìn)行識(shí)別，從而利用模型庫的焊接信息并結(jié)合焊件的位姿，生成焊接軌跡。上述大都通過實(shí)際測(cè)量數(shù)據(jù)與設(shè)計(jì)模型間的比對(duì)，實(shí)現(xiàn)焊接信息提取。在未知模型信息的工況下，并不能用于自由擺放組合立板的實(shí)時(shí)識(shí)別與自動(dòng)焊接。為解決這一問題，提出一種直接面向組合立板構(gòu)件測(cè)量點(diǎn)云的激光焊接軌跡提取方法，無需借助組合立板構(gòu)件的CAD設(shè)計(jì)模型，就可從測(cè)量點(diǎn)云上準(zhǔn)確提取自由擺放組合立板的焊接軌跡，從保證自動(dòng)焊接過程的實(shí)現(xiàn)，并且在測(cè)量數(shù)據(jù)噪聲較多的情況下仍具有很好的魯棒性。

2 噪聲剔除與區(qū)域分割

2.1 點(diǎn)云背景噪聲的剔除

在工廠復(fù)雜環(huán)境下，在機(jī)三維激光掃描獲取的點(diǎn)云數(shù)據(jù)往往包含大量無用的地面、輔助設(shè)備甚至人員等背景噪聲，識(shí)別并剔除點(diǎn)云背景噪聲有助于更方便地獲取目組合立板構(gòu)件的有效數(shù)據(jù)信息，也是點(diǎn)云區(qū)域分割處理的前提。將基于隨機(jī)采樣一致方法[9]，估算并剔除點(diǎn)云背景噪聲，獲取組合立板構(gòu)件的有效數(shù)據(jù)信息，減少背景噪聲對(duì)后續(xù)點(diǎn)云分割算法的影響。點(diǎn)云背景噪聲剔除算法如下所述：

（1）隨機(jī)選取三個(gè)數(shù)據(jù)點(diǎn)，經(jīng)過三點(diǎn)作平面Mi。

（2）根據(jù)數(shù)據(jù)點(diǎn)與Mi的相對(duì)位置，將各數(shù)據(jù)點(diǎn)存儲(chǔ)到Mi兩側(cè)對(duì)應(yīng)的兩個(gè)點(diǎn)集S1，S2。若S1或S2中所有數(shù)據(jù)點(diǎn)到Mi的距離均小于閾值D，則將Mi標(biāo)記為備選背景面，否返回步驟（1）重新選取數(shù)據(jù)點(diǎn)。

（3）計(jì)算點(diǎn)云中所有數(shù)據(jù)點(diǎn)到Mi的距離并記錄到Mi距離不大于D的點(diǎn)集Si。

（4）多次重復(fù)（1）～（3），選取點(diǎn)數(shù)最大的點(diǎn)集Sn，在點(diǎn)云中剔除Sn包含的數(shù)據(jù)點(diǎn)。

2.2 點(diǎn)云的區(qū)域分割

在實(shí)際工況下，為追求更高的焊接效率，往往一次采集多個(gè)立板構(gòu)件的三維測(cè)量數(shù)據(jù)。在對(duì)構(gòu)件進(jìn)行識(shí)別與定位之前，必須將場(chǎng)景點(diǎn)云中同時(shí)存在的多個(gè)構(gòu)件分割為單體構(gòu)件。將基于區(qū)域生長法［10］，剔除點(diǎn)云的離群噪聲，提取單個(gè)組合立板構(gòu)件的數(shù)據(jù)信息，以便構(gòu)件的類型識(shí)別與分類處理。點(diǎn)云的區(qū)域分割算法如下所述：

（1）設(shè)置最小點(diǎn)簇?cái)?shù)目Pmin、法向夾角閾值θs。

（2）對(duì)測(cè)量數(shù)據(jù)進(jìn)行立方分割并存儲(chǔ)每一體素的數(shù)據(jù)。

（3）估算各點(diǎn)的局部法向量ni與曲率ki。

（4）選取曲率最小點(diǎn)pi作為種子點(diǎn)，所在體素cubei作為種子單元。

（5）計(jì)算cubei中種子點(diǎn)的平均法向量。

（6）搜索cubei臨近體素中的所有點(diǎn)，計(jì)算每個(gè)點(diǎn)的法向量與的夾角θk，如果θk<θs，則將該點(diǎn)加入種子點(diǎn)集S，所在體素加入種子單元集Scube。

（7）在Scube中刪除cubei，在S中刪除屬于cubei的點(diǎn)。若Scube不為空，從Scube中選取新種子單元并返回（5）；否則統(tǒng)計(jì)訪問的種子點(diǎn)數(shù)量Pp。若Pp≥Pmin，將（5）后訪問的點(diǎn)移除并將其中的種子點(diǎn)作為構(gòu)件點(diǎn)云存儲(chǔ)。

（8）從點(diǎn)云中移除并清空S與Scube。若剩余數(shù)據(jù)點(diǎn)數(shù)量Pl≥Pmin，返回（5）。

3 立板特征識(shí)別與焊接軌跡提取

3.1 立板特征識(shí)別

采用面結(jié)構(gòu)光三維測(cè)量相機(jī)在線掃描工作臺(tái)上的自由位姿組合立板構(gòu)件。為準(zhǔn)確估計(jì)構(gòu)件位姿，根據(jù)單個(gè)構(gòu)件立板間的正交性，將各獨(dú)立構(gòu)件劃分為如下四種類型：獨(dú)立立板、T字交錯(cuò)、十字交錯(cuò)與井字交錯(cuò)，如圖1所示。

圖1 構(gòu)件類型劃分Fig.1 Component Type Division

對(duì)通過預(yù)處理剔除背景噪聲與離群噪聲的單個(gè)構(gòu)件點(diǎn)云進(jìn)行旋轉(zhuǎn)變換，使構(gòu)件上表面（用主背景面作替代）與xOy平面平行，并按如下步驟篩分構(gòu)件類型：

（1）繞z軸旋轉(zhuǎn)點(diǎn)云，同時(shí)計(jì)算點(diǎn)云在x軸和y軸上的投影長度dx、dy，直到dx+dy取最小值。若dx或dy小于基于立板厚度的參數(shù)δ，則構(gòu)件類型為獨(dú)立立板并結(jié)束判別。

（2）繞z軸旋轉(zhuǎn)點(diǎn)云，使dx+dy不取極值。分別計(jì)算點(diǎn)云的坐標(biāo)最值點(diǎn)px，min、px，max、py，min、py，max。若任意兩點(diǎn)間距小于δ，則構(gòu)件類型為T字交錯(cuò)或構(gòu)型近似于T字交錯(cuò)的十字交錯(cuò)（歸于前類）并結(jié)束判別。

（3）計(jì)算點(diǎn)云坐標(biāo)最值點(diǎn)連線的中點(diǎn)px，mid、py，mid：

若px，mid、py，mid的鄰域內(nèi)無數(shù)據(jù)點(diǎn)，則構(gòu)件類型為井字交錯(cuò)并結(jié)束判別。

（4）繞z軸旋轉(zhuǎn)點(diǎn)云使dx取最小值。分別計(jì)算構(gòu)件三等分位置的投影。若δx，i<δ；δy，i<δ，i=1，2則構(gòu)件類型為十字交錯(cuò)，否則構(gòu)件類型為井字交錯(cuò)，如圖2所示。

圖2 十字與井字交錯(cuò)構(gòu)件投影示意圖Fig.2 Schematic Projection of Cross?Type and Pound Sign?Type Elements

采用非特征比對(duì)的方法提取組合立板構(gòu)件的焊接軌跡，確定構(gòu)件的位姿可大幅度降低定位難度。通過如下方法估計(jì)構(gòu)件的位姿，調(diào)整點(diǎn)云以使立板邊緣平行于坐標(biāo)軸：

（1）對(duì)于獨(dú)立立板與十字交錯(cuò)類型構(gòu)件，繞z軸旋轉(zhuǎn)點(diǎn)云，使點(diǎn)云的x軸投影dx取最大值，并校正板厚引起的偏轉(zhuǎn)。

（2）對(duì)于井字交錯(cuò)類型構(gòu)件，繞z軸旋轉(zhuǎn)點(diǎn)云，使點(diǎn)云的x軸、y軸投影之和取最大值。

（3）對(duì)于T字交錯(cuò)類型構(gòu)件，點(diǎn)云對(duì)x軸的慣性矩Ix為：

3.2 焊接軌跡提取

組合立板構(gòu)件的焊接軌跡可簡(jiǎn)化為構(gòu)件角點(diǎn)的連線。提出了一種基于邊界擬合的角點(diǎn)提取方法。首先將位姿變換后的點(diǎn)云劃分為若干個(gè)識(shí)別單元，遵循單元數(shù)最小原則并保證每個(gè)單元中至多包含一對(duì)交錯(cuò)立板。對(duì)每個(gè)單元，分別考察構(gòu)件的局部點(diǎn)云，如圖3所示。以左角點(diǎn)局部點(diǎn)云為例。

圖3 左角點(diǎn)局部點(diǎn)云Fig.3 Local Cloud of Point of Left Corner Point

在點(diǎn)云的x軸左側(cè)截取區(qū)間D，將該區(qū)間n等分為若干微區(qū)間，每一段長度為dx。從左到右依次搜索各微區(qū)間中的所有點(diǎn)，若微區(qū)間內(nèi)的點(diǎn)數(shù)大于最小可信值M，將微區(qū)間內(nèi)y坐標(biāo)最大的點(diǎn)作為采樣點(diǎn)，否則向右合并微區(qū)間并重復(fù)此步驟。在全部微區(qū)間完成搜索后，得到采樣點(diǎn)集的最小二乘擬合直線，直線與區(qū)間左邊界的交點(diǎn)即為待求角點(diǎn)。求得各外角點(diǎn)的二維坐標(biāo)后，由各外角點(diǎn)間連線的交點(diǎn)得到內(nèi)角點(diǎn)二維坐標(biāo)，如圖4所示。估算立板頂面與底板平面的法向量，進(jìn)而生成各自的擬合平面。計(jì)算各二維角點(diǎn)沿z軸在對(duì)應(yīng)擬合平面上的投影，得到構(gòu)件的三維角點(diǎn)。最后，按焊接加工需求連接相鄰角點(diǎn)，提取組合立板的焊接軌跡。

圖4 外角點(diǎn)與內(nèi)角點(diǎn)Fig.4 Outer Corner Points and Inner Corner Points

4 試驗(yàn)

使用Photoneo Phoxi 3D Scanner M面結(jié)構(gòu)光掃描相機(jī)于俯視位置拍攝實(shí)驗(yàn)臺(tái)上的構(gòu)件，采集4種類型構(gòu)件各10種不同位姿下的點(diǎn)云，由算法生成焊接軌跡，如圖5所示。試驗(yàn)結(jié)果表明，算法能夠從構(gòu)件部分空間結(jié)構(gòu)中有效提取完整焊縫。4種構(gòu)件識(shí)別速度與精度的分析結(jié)果，如表1 所示。算法平均運(yùn)行時(shí)間為2.838s，具有較高的識(shí)別效率，焊接軌跡端點(diǎn)的平均RMSE 為0.730 mm，識(shí)別精度能夠滿足焊接加工需要。算法平均識(shí)別準(zhǔn)確率為97.5%，在點(diǎn)云存在背景噪聲與離群點(diǎn)噪聲的情況下依然具有良好的魯棒性。

圖5 組合立板點(diǎn)云與焊接軌跡Fig.5 Cloud of Point of Vertical Plate and Welding Trajectory

表1 不同類型組合立板識(shí)別結(jié)果Tab.1 Identification Results of Different Types of Vertical Plate

為驗(yàn)證提出算法識(shí)別不同尺寸與特征構(gòu)件的能力，選取8種T字交錯(cuò)構(gòu)件點(diǎn)云進(jìn)行實(shí)驗(yàn)，如圖6所示。每個(gè)構(gòu)件的識(shí)別速度和精度分析，如表2所示。從中看出，算法對(duì)工件幾何尺寸變化不敏感，即使在構(gòu)件e與構(gòu)件f點(diǎn)云部分缺失或噪聲較多的情況下也能夠生成與理論軌跡相近似的焊接軌跡。

表2 不同尺寸與特征組合立板識(shí)別結(jié)果Tab.2 Recognition Results of Vertical Plate with Different Size and Feature

圖6 不同尺寸與特征的同種構(gòu)件Fig.6 Identical Components of Different Sizes and Features

5 結(jié)論

針對(duì)未知模型信息的變位姿組合立板構(gòu)件的焊接軌跡提取需求，提出了一種基于立板類型識(shí)別與特征提取的焊接軌跡規(guī)劃方法。該方法用旋轉(zhuǎn)投影匹配代替了傳統(tǒng)的特征匹配檢測(cè)手段，使視覺引導(dǎo)系統(tǒng)不再依賴構(gòu)件CAD模型，將識(shí)別目標(biāo)從單個(gè)構(gòu)件延伸成多個(gè)類型。經(jīng)試驗(yàn)驗(yàn)證，該方法能夠高效、準(zhǔn)確提取自由擺放立板組合構(gòu)件的焊接軌跡，并具有很好的魯棒性。運(yùn)用此方法能夠大幅度提高在線焊接加工系統(tǒng)的適用范圍和處理能力，實(shí)現(xiàn)自動(dòng)焊接過程。提出的方法可以推廣到復(fù)雜組合立板構(gòu)件的焊接軌跡提取中去，如何設(shè)定能準(zhǔn)確識(shí)別多類型與復(fù)合構(gòu)型的旋轉(zhuǎn)投影條件以及如何規(guī)劃曲線焊接軌跡將是下一步研究內(nèi)容。