基于面結(jié)構(gòu)光的焊縫坡口特征提取

余明嶺,龔燁飛,劉 霞,劉繼承,谷心浩,謝雨欣,3

(1.東北石油大學(xué)物理與電子工程學(xué)院,大慶 163318;2.常熟理工學(xué)院電氣與自動(dòng)化工程學(xué)院,常熟 215500;3.中國(guó)礦業(yè)大學(xué)信息與控制工程學(xué)院,徐州 221116)

0 引言

目前,大部分的焊接機(jī)器人仍然采用“示教再現(xiàn)”的工作模式,難以滿足復(fù)雜多變環(huán)境中的生產(chǎn)要求,機(jī)器人焊接技術(shù)向自動(dòng)化、智能化發(fā)展越發(fā)迫切[1]。視覺傳感器以非接觸性、信息豐富、精度高、檢測(cè)速度快及適應(yīng)性強(qiáng)等優(yōu)點(diǎn),被廣泛應(yīng)用于智能焊接視覺導(dǎo)引規(guī)劃領(lǐng)域。其中面結(jié)構(gòu)視覺傳感器光成像面積廣,一次拍攝可以得到工件表面的大范圍三維數(shù)據(jù),對(duì)于焊接過程的初始導(dǎo)引有著獨(dú)特的優(yōu)勢(shì)。隨著面結(jié)構(gòu)光視覺傳感器的發(fā)展,利用其獲取工件表面三維點(diǎn)云,提取焊縫坡口特征的研究越來越多。角接、搭接工況下,通過提取出工件點(diǎn)云中平面信息數(shù)據(jù)[2-3],計(jì)算相鄰平面的交線位置或求取兩平面中的距離最小部分能夠較好的提取焊縫特征部分。對(duì)于點(diǎn)云精度高、效果好、噪聲少的工件點(diǎn)云,可以采用計(jì)算局部特征的方式提取焊縫[4-5]。王凱[6]根據(jù)點(diǎn)云最小包圍盒插入線性平面,利用霍夫變換擬合切平面上的點(diǎn),完成對(duì)焊縫特征點(diǎn)的提取。WU等[7]提出了一種將二維深度圖像與三維點(diǎn)云融合的焊縫定位方法。王斐等[8]將焊件點(diǎn)云與離線CAD模型數(shù)據(jù)庫(kù)中焊接模型匹配起來,利用點(diǎn)云位姿信息與模型庫(kù)中定義好的焊接信息結(jié)合生成焊接軌跡,實(shí)現(xiàn)智能柔性的焊接操作。XU等[9]提出一種導(dǎo)彈氣舵三維點(diǎn)云卷積神經(jīng)網(wǎng)絡(luò)分割模型,用于精確分割焊接工件點(diǎn)云,準(zhǔn)確地獲得氣舵焊縫特征點(diǎn)。

基于點(diǎn)云處理的焊縫特征提取方法已取得了一定的研究成果,但也存在相應(yīng)的局限性。比如依賴于點(diǎn)云數(shù)據(jù)質(zhì)量精度高、噪聲小;依賴于焊縫坡口的參數(shù)在一定的范圍內(nèi)或者依賴于先驗(yàn)離線焊接模型數(shù)據(jù)庫(kù),適應(yīng)性不強(qiáng)。本文通過面結(jié)構(gòu)光視覺傳感器獲取焊接工件點(diǎn)云數(shù)據(jù),基于焊縫主方向等間距的點(diǎn)云切片投影,獲得一組焊縫截面輪廓圖像,最終完成焊縫坡口特征點(diǎn)的提取,并且以雙邊對(duì)接坡口和單邊對(duì)接坡口兩種工況中為實(shí)驗(yàn)對(duì)象,完成了多種情況下的特征提取實(shí)驗(yàn),驗(yàn)證了該方法的可行性,并且在成像環(huán)境惡劣的工況下測(cè)試了該方法的魯棒性。

1 實(shí)驗(yàn)硬件平臺(tái)組成

如圖1所示,實(shí)驗(yàn)系統(tǒng)硬件包括焊接工業(yè)機(jī)器人ABB-IRB1520id及其配套設(shè)施和面結(jié)構(gòu)光視覺傳感器WiSight 370P,相機(jī)與機(jī)器人采用眼在手上(eye-in-hand)的方式。視覺傳感器主要任務(wù)式獲取工件三維點(diǎn)云信息,工業(yè)機(jī)器人作為拍攝動(dòng)作和焊接動(dòng)作的執(zhí)行主體。

2 坡口特征提取

本文針對(duì)單邊對(duì)接和雙邊對(duì)接焊接兩種工況的焊縫坡口進(jìn)行特征提取,并根據(jù)坡口特點(diǎn)進(jìn)一步將其細(xì)分為5種類型。

這5種類型包括無間隙的雙邊V型坡口、有間隙的雙邊V型坡口、未被遮擋的單邊V型坡口以及因視野遮擋而無法獲取垂直邊點(diǎn)云數(shù)據(jù)的單邊V型坡口。其中,無間隙的雙邊V型坡口包括直線焊縫和曲線型焊縫兩種,兩者在截平面上具有相同的特征,因此特征點(diǎn)提取方式相同。

2.1 等間距點(diǎn)云切片

如圖2所示,為了提取焊縫特征信息,通過采用一組垂直于點(diǎn)云主方向的平面對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行截平面切片處理,以獲得焊縫坡口的截面輪廓組。

圖2 等間距切平面示意圖

首先計(jì)算出去除背景后的工件點(diǎn)云的最小有向包圍盒,得到其包圍盒長(zhǎng)方體的8個(gè)頂點(diǎn),利用這些頂點(diǎn)信息規(guī)劃等間距切片的方向和距離。假設(shè)X軸作為切割軸,通過頂點(diǎn)(Xmin,Ymin,Zmin),(Xmin,Ymin,Zmax),(Xmin,Ymax,Zmin),(Xmin,Ymax,Zmax)中取3個(gè)點(diǎn)確定初始切平面S1,間隔為δ,直到Xmax=Xmin+δ*n,可得到n+1組切平面序列。

數(shù)據(jù)點(diǎn)到切平面的距離小于閾值時(shí)將此點(diǎn)視為平面內(nèi)數(shù)據(jù),不同的距離閾值可以包含不同數(shù)量的點(diǎn)云數(shù)據(jù)。當(dāng)閾值越大時(shí),其包含的數(shù)據(jù)就越多,沿著焊接方向的跨度也越大,相應(yīng)的計(jì)算量會(huì)增加。如圖3所示,為平面間距為15 mm,切片厚度為0.4 mm的焊縫坡口點(diǎn)云切片序列。

圖3 點(diǎn)云切片示意圖

2.2 點(diǎn)云投影至二維圖像

圖4 點(diǎn)云投影至二維圖像示意圖

(1)

式中:opi為由原點(diǎn)o指向pi向量,npi為opi在投影平面法向量方向上的投影向量,n為投影平面法向量?？臻g點(diǎn)投影至切平面上的投影坐標(biāo)為:

(2)

(3)

(4)

2.3 最大距離法粗提取

點(diǎn)云數(shù)據(jù)具有稀疏性,比較容易形成孔洞、毛刺等噪聲,基于局部特征判斷特征點(diǎn)的方式往往需要繁瑣的預(yù)處理才能較好的運(yùn)行[12],最大距離法基于焊縫曲線全局?jǐn)?shù)據(jù),將焊縫坡口形式、像素點(diǎn)位置等問題綜合考慮,能夠很好規(guī)避點(diǎn)云數(shù)據(jù)帶來的處理困難。

通過背景濾除后,各類型的焊縫坡口切平面點(diǎn)云投影得到的圖像如圖5所示,4類焊縫都存在相同的基本特征點(diǎn),即為左端點(diǎn)s、右端點(diǎn)e、坡口頂部拐點(diǎn)a和b、坡口底部點(diǎn)c。

(a) 無間隙雙邊坡口粗提取特征點(diǎn)示意圖 (b) 有間隙雙邊坡口粗提取特征點(diǎn)示意圖

以背景去除后的有間隙雙邊V型坡口為例,利用最大距離法進(jìn)行特征點(diǎn)粗提取。首先通過列掃描得到左右端點(diǎn)s和e,再通過行掃描得到坡口最低點(diǎn)c。將c點(diǎn)與右端點(diǎn)e相連作為基準(zhǔn)直線,比較焊縫曲線右邊部分上各點(diǎn)到基準(zhǔn)直線的距離Di,距離最大值所在點(diǎn)即為點(diǎn)b,最大距離法計(jì)算距離隨焊縫坡口坐標(biāo)變化曲線如圖6所示。同理左邊部分通過相同方法即可求得點(diǎn)a。通過最大距離法初步特征點(diǎn)后,為后續(xù)精細(xì)提取打好基礎(chǔ)。

圖6 最大距離法點(diǎn)到基準(zhǔn)直線距離示意圖

2.4 擬合求交法精提取

由于坡口打磨或工件本身的金屬反光可能會(huì)強(qiáng)烈干擾面結(jié)構(gòu)光視覺傳感器的成像,工件點(diǎn)云數(shù)據(jù)可能受到影響,產(chǎn)生一定程度的噪聲和變形,從而導(dǎo)致提取到的焊縫特征點(diǎn)并不準(zhǔn)確。因此,如圖7所示,在通過最大距離法獲得特征點(diǎn)后,需要進(jìn)一步提取精確的坡口焊縫特征點(diǎn)坐標(biāo)。

(a) 無間隙雙邊坡口特征精提取 (b) 有間隙雙邊坡口特征精提取

(a) 金屬反光導(dǎo)致點(diǎn)云孔洞 (b) 點(diǎn)云平面呈波浪紋狀圖8 魯棒性測(cè)試數(shù)據(jù)示意圖

首先,計(jì)算特征點(diǎn)a與c的橫坐標(biāo)差值,以及特征點(diǎn)b與c的橫坐標(biāo)差值。當(dāng)這兩個(gè)差值相近時(shí),可以判斷坡口屬于雙邊坡口類型;而若兩者相差較大時(shí),則判斷為單邊坡口類型。

對(duì)于無間隙的雙邊對(duì)接坡口以及單邊對(duì)接坡口,特征提取方法具有相似性。依據(jù)粗檢測(cè)獲得的基本特征點(diǎn),將焊縫數(shù)據(jù)點(diǎn)粗略地劃分為4個(gè)部分,通過最小二乘直線擬合每個(gè)部分的數(shù)據(jù)。然后,求取擬合直線的交點(diǎn),即可得到焊縫坡口頂部?jī)蓚€(gè)精確特征點(diǎn)e、f及底部精確特征點(diǎn)g。

此外,針對(duì)存在間隙的雙邊坡口和缺少垂直邊的單邊坡口,需要進(jìn)行進(jìn)一步處理。雙邊有間隙V型坡口底部需要提取兩個(gè)精確特征點(diǎn)m、n。通過交點(diǎn)g將L2和L3精確劃分為L(zhǎng)′2、L′3,對(duì)精劃分后的兩條直線進(jìn)行列掃描,可以得到焊縫特征點(diǎn)m和n。

(5)

由于單邊坡口在進(jìn)行工件表面掃描時(shí)存在視野遮擋的情況,視覺傳感器在一定成像角度下可能會(huì)導(dǎo)致焊縫坡口的垂直邊缺少點(diǎn)云數(shù)據(jù)或數(shù)據(jù)較為稀疏,此時(shí)直接擬合的效果往往不理想。此時(shí),通過點(diǎn)b和線L4的垂直斜率計(jì)算得到替代L3。然后,求取擬合直線的交點(diǎn),從而提取出完整的坡口特征點(diǎn)坐標(biāo)信息。

在投影二維圖像上得到各類型焊縫坡口的特征點(diǎn)后,還需要通過重投影的方式轉(zhuǎn)換為三維點(diǎn)云數(shù)據(jù)pi(xi,yi,zi)。先將二值圖像中的坐標(biāo)轉(zhuǎn)化為投影平面中的位置為:

(6)

然后將投影平面上的坐標(biāo)值重新投影到三維空間中,即可以得到由投影圖像中提取的焊縫坡口特征點(diǎn)的空間中坐標(biāo):

(7)

式中:(xo,yo,zo)為投影平面原點(diǎn)的三維空間坐標(biāo),nx、ny是由平面投影坐標(biāo)系的x軸與y軸方向向量。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的算法識(shí)別準(zhǔn)確性,使用WiSight 370P相機(jī)進(jìn)行實(shí)際工件掃描,采集多種類型的焊縫點(diǎn)云數(shù)據(jù),包括單邊對(duì)接和雙邊對(duì)接焊接兩種工況,并根據(jù)坡口特點(diǎn)進(jìn)一步細(xì)分為5種類型,對(duì)各個(gè)類型的焊縫坡口進(jìn)行了焊縫坡口特征實(shí)驗(yàn)。

實(shí)驗(yàn)中設(shè)置切平面序列之間的間隔為2.0 mm,每個(gè)切片的厚度0.4 mm,成功提取了各類焊縫的特征點(diǎn)信息,包括坡口頂部左右拐點(diǎn)、底部拐點(diǎn)。本文利用Cloud Compare工具人工選取焊縫特征,將人工標(biāo)注數(shù)據(jù)視為標(biāo)準(zhǔn)結(jié)果,通過對(duì)比方法所得到的結(jié)果與標(biāo)注結(jié)果,以偏離的距離誤差作為衡量特征點(diǎn)提取的精度指標(biāo)。所得結(jié)果如表1所示,每組數(shù)據(jù)是多個(gè)同類型點(diǎn)云數(shù)據(jù)特征提取精度的均值。實(shí)驗(yàn)結(jié)果表明,本文方法在不同類型焊縫坡口特征點(diǎn)提取任務(wù)上,多組數(shù)據(jù)平均誤差與分布標(biāo)準(zhǔn)差均小于1.0 mm,證明本文方法具有較高的準(zhǔn)確性和穩(wěn)定性。

表1 不同坡口類型特征提取精度表 (mm)

由于實(shí)際中往往面對(duì)成像環(huán)境不理想、金屬工件反光等問題,需要檢測(cè)方法具有一定的魯棒性,才能保證特征點(diǎn)提取的性能。為了檢測(cè)所提出方法的魯棒性,采用兩種成像環(huán)境較為惡劣情況下所獲得的點(diǎn)云數(shù)據(jù)來進(jìn)行實(shí)驗(yàn),一是由于金屬焊件高反光,視覺傳感器受到影響,造成點(diǎn)云數(shù)據(jù)存在相當(dāng)多的噪聲和空洞;二是由于面陣結(jié)構(gòu)光成像問題,點(diǎn)云平面呈現(xiàn)波紋狀起伏的情況。

針對(duì)上述兩種情況,分別進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。盡管點(diǎn)云數(shù)據(jù)質(zhì)量的降低導(dǎo)致提取精度受到影響,但并未大幅度下降。這表明本文提出的方法具備較強(qiáng)的魯棒性,能夠在一定程度的惡劣成像環(huán)境中進(jìn)行有效的特征點(diǎn)提取。

表2 成像不佳工況下提取精度表 (mm)

4 結(jié)論

本文提出了基于面結(jié)構(gòu)光視覺傳感器的焊縫坡口特征提取方法,首先將等間距的點(diǎn)云切片分別投影到二維圖像中,基于最大距離法粗檢測(cè)與擬合求交法精檢測(cè)的方法,進(jìn)一步檢測(cè)出多種坡焊縫類型的特征點(diǎn),實(shí)現(xiàn)了焊縫坡口特征點(diǎn)的完整提取。實(shí)驗(yàn)證明,本文提出的方法能夠較好地提取多種類型的焊縫坡口特征點(diǎn),平均誤差小于1 mm,并且在金屬反光、平面呈現(xiàn)波浪紋等成像效果不佳情況下也能具有較好的性能。