基于關(guān)鍵點(diǎn)檢測(cè)方法的焊縫識(shí)別

郭忠峰，劉俊池，楊鈞麟

(沈陽(yáng)工業(yè)大學(xué),沈陽(yáng),110870)

0 序言

焊接生產(chǎn)智能化與自動(dòng)化是焊接制造領(lǐng)域的技術(shù)發(fā)展趨勢(shì)，實(shí)現(xiàn)自動(dòng)焊接的前提是焊縫的自動(dòng)識(shí)別.激光視覺(jué)傳感技術(shù)是將激光投射在焊縫表面形成包含焊縫輪廓信息的焊縫條紋圖像，然后進(jìn)行特征提取，因其具有非接觸、高精度等技術(shù)優(yōu)勢(shì)在焊縫識(shí)別領(lǐng)域得到了廣泛應(yīng)用[1].在自動(dòng)焊接過(guò)程中，對(duì)焊縫坡口關(guān)鍵位置信息進(jìn)行準(zhǔn)確提取，可明顯提升焊接質(zhì)量[2-3].余佳杰等人[4]利用質(zhì)心法提取焊縫中心線，通過(guò)最小二乘法和k均值聚類(lèi)提取焊縫特征點(diǎn)，提高了焊縫識(shí)別的準(zhǔn)確度；Li等人[5]構(gòu)造焊縫軌跡特征三角形來(lái)提取形狀特征，并基于歐幾里德距離判別焊縫軌跡，提高了焊接效率與穩(wěn)定性；Zhang等人[6]提出二階導(dǎo)數(shù)算法對(duì)特征點(diǎn)進(jìn)行初始定位，然后進(jìn)行線性擬合實(shí)現(xiàn)精確定位，實(shí)現(xiàn)焊縫實(shí)時(shí)跟蹤；Tian等人[7]通過(guò)使用自適應(yīng)生成動(dòng)態(tài)感興趣區(qū)域(region of interest,ROI)并進(jìn)行迭代操作，設(shè)置ROI內(nèi)的邊界條件后，有效提高該算法的焊縫識(shí)別精度.

焊接智能化要求焊縫識(shí)別算法具有較強(qiáng)的抗干擾能力和適應(yīng)能力，以適用于不同場(chǎng)景下的焊接要求.傳統(tǒng)的圖像識(shí)別方法需要各種特征提取算法進(jìn)行焊縫識(shí)別，其適應(yīng)性和抗干擾能力較差，近年來(lái)，深度學(xué)習(xí)方法已在焊接領(lǐng)域得到了廣泛應(yīng)用[8]，陳凱等人[9]基于深度學(xué)習(xí)的方法對(duì)焊縫識(shí)別定位，先對(duì)焊縫類(lèi)型進(jìn)行分類(lèi)，再對(duì)焊縫圖像進(jìn)行分割以得到焊縫位置信息，該算法輕量高效并具有較高定位精度；楊國(guó)威等人[10]引入先驗(yàn)框定位焊縫特征點(diǎn)區(qū)域，并將焊縫的位置與置信度相結(jié)合，提取焊縫特征點(diǎn)，抑制了噪聲干擾，保證了焊接精度，具有一定的適應(yīng)性；唐溪等人[11]基于改進(jìn)的CenterNet網(wǎng)絡(luò)對(duì)焊縫進(jìn)行定位，加入特征融合和注意力機(jī)制，提升了檢測(cè)精度.深度學(xué)習(xí)方法不同于傳統(tǒng)圖像識(shí)別，省去了繁瑣的特征提取，有效提高了焊縫識(shí)別的適應(yīng)性.

文中采用深度學(xué)習(xí)方法，對(duì)焊縫特征識(shí)別技術(shù)展開(kāi)分析，將焊縫特征點(diǎn)識(shí)別問(wèn)題變成關(guān)鍵點(diǎn)檢測(cè)問(wèn)題.通過(guò)采集不同角度的焊縫圖像，選取焊縫特征的關(guān)鍵點(diǎn)作為數(shù)據(jù)集，將標(biāo)注好的焊縫數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)模型中，經(jīng)過(guò)一系列卷積、池化操作提取焊縫特征，進(jìn)行上采樣與深淺層特征融合，輸出焊縫特征點(diǎn)熱力圖.熱力圖中響應(yīng)值最大的位置為關(guān)鍵點(diǎn)，獲取關(guān)鍵點(diǎn)坐標(biāo)，并返回其位置.由于是從熱力圖中提取目標(biāo)信息，不需要非極大值抑制(non-maximum suppression,NMS)進(jìn)行篩選，減小了網(wǎng)絡(luò)參數(shù)及計(jì)算量，提升了特征提取速度.通過(guò)對(duì)焊縫特征點(diǎn)的定位結(jié)果進(jìn)行分析，滿足自動(dòng)焊接的定位精度和實(shí)時(shí)性要求.

1 焊縫特征提取算法

傳統(tǒng)的圖像處理算法提取焊縫特征點(diǎn)時(shí)，面對(duì)不同類(lèi)型的焊縫坡口圖像，需要調(diào)整閾值，以便找到焊縫的特征點(diǎn)，因此該方法的泛化能力較差.深度學(xué)習(xí)[12]方法直接使用圖像作為網(wǎng)絡(luò)的輸入，將特征表達(dá)融于網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，避免了傳統(tǒng)識(shí)別算法中復(fù)雜繁瑣的特征提取和數(shù)據(jù)重建過(guò)程，所以使用適應(yīng)性強(qiáng)、抗干擾能力強(qiáng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行焊縫特征提取，在不同類(lèi)型的焊縫坡口圖像中提取焊縫特征點(diǎn)也有利于提高焊接效率.

CenterNet，HRNet等關(guān)鍵點(diǎn)檢測(cè)方法[13-15]廣泛應(yīng)用于2D和3D目標(biāo)檢測(cè)、人體姿態(tài)檢測(cè)等領(lǐng)域，具有較高的檢測(cè)速度與精度.受關(guān)鍵點(diǎn)檢測(cè)方法的啟發(fā)[16]，并基于在焊接場(chǎng)景下能夠準(zhǔn)確定位焊縫的坡口位置，獲取焊縫特征點(diǎn)位置信息，設(shè)計(jì)了簡(jiǎn)單高效的焊縫特征提取網(wǎng)絡(luò)，如圖1所示.

圖1 焊縫特征點(diǎn)提取網(wǎng)絡(luò)Fig.1 Network frame of weld feature point extraction

焊縫圖像輸入尺寸為W×H×D，式中：W為圖像寬度；H為圖像高度；D為圖像深度.

焊縫特征提取網(wǎng)絡(luò)生成含有焊縫特征點(diǎn)位置的熱力圖，將熱力圖進(jìn)行歸一化，其值在0～ 1且和為1，操作如下

式中：Zij表示(i,j)點(diǎn)的勢(shì)力值；i=1···n；j=1···h；exp(zi,j)為e(zi,j)

生成兩個(gè)與熱力圖尺寸一致的矩陣X和Y，具體計(jì)算為

從而得到熱力圖中焊縫特征點(diǎn)的位置坐標(biāo)

式中：〈Z,X〉F表示矩陣Z與矩陣X進(jìn)行F范數(shù)；〈Z,Y〉F表示矩陣Z與矩陣Y進(jìn)行F范數(shù)，關(guān)鍵點(diǎn)熱力圖的特征點(diǎn)坐標(biāo)轉(zhuǎn)換如圖2所示.

圖2 特征點(diǎn)坐標(biāo)轉(zhuǎn)換Fig.2 Coordinate transformation of feature points

1.1 焊縫特征提取網(wǎng)絡(luò)

焊縫特征提取網(wǎng)絡(luò)如圖3所示，下采樣網(wǎng)絡(luò)由4個(gè)卷積層和3個(gè)池化層組成.提取網(wǎng)絡(luò)將輸入焊縫圖像進(jìn)行下采樣，每個(gè)卷積層含有多個(gè)卷積核特征提取器，用于提取輸入圖像的特征，卷積層提取豐富的焊縫特征信息.池化層對(duì)圖像進(jìn)行降維，降低網(wǎng)絡(luò)模型的復(fù)雜度，防止過(guò)擬合，提高模型的泛化能力[17].焊縫特征提取網(wǎng)絡(luò)進(jìn)行下采樣時(shí)，通過(guò)卷積和池化操作對(duì)焊縫位置信息和邊緣特征進(jìn)行提取，產(chǎn)生了豐富的位置信息.圖像經(jīng)過(guò)多次卷積、池化操作，圖像的邊緣、位置信息會(huì)丟失很多，為了將輸出的特征映射維度還原為原始圖像維度，進(jìn)行上采樣操作.通過(guò)上采樣恢復(fù)圖像大小，提高輸出圖像的分辨率，恢復(fù)目標(biāo)細(xì)節(jié)并使定位更準(zhǔn)確.在網(wǎng)絡(luò)的上采樣過(guò)程中，采用的是最鄰近上采樣，這樣可以最大程度保留特征圖的語(yǔ)義信息，得到既有良好的空間信息又有較強(qiáng)烈的語(yǔ)義信息的特征圖，有利于熱力圖中心回歸預(yù)測(cè).

圖3 焊縫特征提取網(wǎng)絡(luò)Fig.3 Weld feature extraction network

1.2 特征融合

焊縫識(shí)別定位的檢測(cè)需要準(zhǔn)確的位置信息，進(jìn)行下采樣操作后會(huì)降低圖像維度，為減少位置信息的損失，因此加入特征融合機(jī)制以提高焊縫定位精度.通過(guò)上采樣與特征融合，提高輸出圖像的分辨率，恢復(fù)目標(biāo)細(xì)節(jié)并使定位更準(zhǔn)確.

通過(guò)特征融合減少卷積過(guò)程的信息損失，增強(qiáng)焊縫檢測(cè)的魯棒性，從而提高焊縫的定位精度.如圖4所示，深淺層網(wǎng)絡(luò)特征融合中，1 × 1卷積用于跨通道融合，上采樣操作后，利用3 × 3卷積對(duì)其進(jìn)一步融合，消除上采樣帶來(lái)的重疊效應(yīng)，將相同尺寸但不同語(yǔ)義的特征相融合，最終采用最高分辨率特征圖，采用低層與高層信息的特征融合，保留了焊縫像素之間的相對(duì)位置，有利于提高焊縫檢測(cè)的精度與抗干擾性.

圖4 特征融合Fig.4 Feature fusion

1.3 模型訓(xùn)練與數(shù)據(jù)集

文中采用京航科技公司的JHSM1400相機(jī)，采集坡口寬度10 mm，厚度5 mm的焊縫圖像，通過(guò)采集不同角度和高度的焊縫圖像，提高焊縫特征點(diǎn)的檢測(cè)精度和魯棒性，以滿足焊縫特征點(diǎn)識(shí)別的任務(wù)需求，將采集到的焊縫數(shù)據(jù)集分為訓(xùn)練集1 000張，測(cè)試集100張.原始圖像邊緣存在多余的激光條紋，為降低網(wǎng)絡(luò)模型訓(xùn)練所需的硬件資源與時(shí)間成本，將采集的圖像尺寸調(diào)整為360像素 ×480像素.

為保證焊縫特征點(diǎn)的識(shí)別精度，對(duì)原始圖像進(jìn)行圖像旋轉(zhuǎn)和鏡像操作，實(shí)現(xiàn)增大數(shù)據(jù)集的目的，防止因?yàn)闃颖緮?shù)據(jù)較少而出現(xiàn)的欠擬合問(wèn)題，并提高訓(xùn)練后的網(wǎng)絡(luò)模型的泛化性能.多種坡口類(lèi)型的焊縫圖像進(jìn)行處理后，得到3 000張訓(xùn)練集圖像，300張測(cè)試集圖像.

試驗(yàn)中所用的焊縫圖像采集好后，對(duì)焊縫數(shù)據(jù)集中的焊縫圖像進(jìn)行標(biāo)注，標(biāo)注示意圖如圖5所示.通過(guò)標(biāo)注在線結(jié)構(gòu)光上的焊縫特征點(diǎn)，將焊縫特征點(diǎn)的位置信息儲(chǔ)存在標(biāo)簽文件里，為減小人工標(biāo)注的誤差，多次標(biāo)注焊縫圖像，取多組焊縫數(shù)據(jù)的平均值作為特征點(diǎn)坐標(biāo).

圖5 V形焊縫圖像及標(biāo)注圖像Fig.5 V-weld image and Mark Image.(a) weld image;(b) mark image

試驗(yàn)使用的計(jì)算機(jī)配置為16G內(nèi)存，CPU i5-12500H，GPU GeForce RTX2060，Pytorch 1.6.0.

網(wǎng)絡(luò)的損失函數(shù)Lk選用SmoothL1損失函數(shù)

模型訓(xùn)練采用適應(yīng)性矩估計(jì)Adam優(yōu)化器，學(xué)習(xí)率設(shè)置為0.001，batch bize為4，迭代訓(xùn)練100輪.訓(xùn)練過(guò)程中，每30輪循環(huán)后更新學(xué)習(xí)率，學(xué)習(xí)率衰減為原來(lái)的0.1倍，在加載訓(xùn)練數(shù)據(jù)時(shí)，使用實(shí)時(shí)數(shù)據(jù)增強(qiáng)，以提高模型的泛化能力.

2 試驗(yàn)結(jié)果與分析

為驗(yàn)證文中算法在焊縫圖像特征點(diǎn)上的提取精度，將標(biāo)注好的焊縫數(shù)據(jù)輸入特征提取網(wǎng)絡(luò)模型中，輸出提取結(jié)果的關(guān)鍵點(diǎn)坐標(biāo)，采用均方根誤差(root mean square error,RMSE)來(lái)衡量焊縫圖像特征點(diǎn)提取精度的評(píng)價(jià)指標(biāo).圖6為不同坡口類(lèi)型焊縫圖像中特征點(diǎn)的提取結(jié)果，圖中圓圈中心點(diǎn)為SIFT算法提取的焊縫特征點(diǎn)，方框中心點(diǎn)為焊縫特征提取網(wǎng)絡(luò)預(yù)測(cè)的焊縫特征點(diǎn).焊接過(guò)程受到噪聲干擾時(shí)，SIFT算法對(duì)提取到的焊縫特征點(diǎn)存在特征點(diǎn)誤判情況，反應(yīng)出了算法具有一定的抗干擾性.對(duì)于不同坡口類(lèi)型的焊縫，所采用的方法均能較準(zhǔn)確地檢測(cè)到焊縫特征點(diǎn)，具有較強(qiáng)的普適性和泛化能力.

圖6 不同坡口類(lèi)型焊縫特征點(diǎn)識(shí)別結(jié)果Fig.6 Weld feature point recognition results of different groove types.(a) SIFT algorithm;(b) key point detection algorithm

為了準(zhǔn)確對(duì)比特征提取結(jié)果精度，將3種坡口類(lèi)型的焊縫圖像，分別做100組試驗(yàn).將識(shí)別的焊縫特征點(diǎn)與人工標(biāo)注的真實(shí)位置的誤差進(jìn)行計(jì)算，焊縫特征點(diǎn)的提取精度對(duì)比結(jié)果見(jiàn)表1.焊縫特征點(diǎn)定位誤差曲線圖如圖7～ 圖9所示，從試驗(yàn)結(jié)果可以看出，3種坡口類(lèi)型的焊縫圖像特征點(diǎn)的識(shí)別結(jié)果均方根誤差為0.187 mm.

表1 焊縫特征點(diǎn)提取精度對(duì)比Table 1 Comparison of weld feature points extraction accuracy

圖7 V形焊縫特征點(diǎn)定位誤差曲線Fig.7 V-weld feature point positioning error graph.(a)left feature point;(b) right feature point

圖8 搭接焊縫特征點(diǎn)定位誤差曲線Fig.8 Lap weld feature point positioning error graph.(a)left feature point;(b) right feature point

圖9 對(duì)接焊縫特征點(diǎn)定位誤差曲線Fig.9 Butt weld feature point positioning error graph.(a) left feature point;(b) right feature point

焊縫特征點(diǎn)位置信息的準(zhǔn)確提取決定了焊縫定位的精度,為保證定位精度，對(duì)焊縫特征點(diǎn)的平均定位誤差以及誤差分布情況進(jìn)行評(píng)估，如圖10所示，大部分焊縫特征點(diǎn)定位誤差小于0.2 mm，焊縫特征點(diǎn)檢測(cè)結(jié)果具有很高的精度，滿足焊接的要求.

圖10 誤差分析圖Fig.10 Error analysis diagram

為保證焊接過(guò)程中的實(shí)時(shí)性要求，將各算法在焊縫數(shù)據(jù)集上的用時(shí)進(jìn)行比較，算法用時(shí)見(jiàn)表2.從用時(shí)結(jié)果來(lái)看，文中算法用時(shí)32.145 6 ms，略少于SIFT算法用時(shí)，滿足焊接的實(shí)時(shí)性要求.綜上所述，本文算法用時(shí)少，同時(shí)提取的焊縫特征點(diǎn)的誤差小，可以準(zhǔn)確實(shí)現(xiàn)焊縫特征點(diǎn)的定位.

表2 算法用時(shí)比較Table 2 Algorithm time comparison

3 結(jié)論

(1)基于關(guān)鍵點(diǎn)檢測(cè)方法進(jìn)行焊縫識(shí)別，輸出焊縫特征點(diǎn)熱力圖，從熱力圖中獲得焊縫特征位置信息，可實(shí)現(xiàn)多坡口類(lèi)型的焊縫定位.

(2)所提方法具有很高的精度，大部分焊縫特征點(diǎn)定位誤差小于0.2mm，滿足焊接的要求.

(3)算法用時(shí)32.145 6 ms，略少于SIFT算法用時(shí)，滿足焊接的實(shí)時(shí)性要求.