基于改進(jìn)深度學(xué)習(xí)模型的焊縫缺陷檢測算法

谷 靜 謝澤群 張心雨

(西安郵電大學(xué) 電子工程學(xué)院，陜西西安 710121)

1 引 言

隨著工業(yè)水平的提高，焊接技術(shù)已被廣泛應(yīng)用于裝備制造、冶金工業(yè)、航空航天等重要領(lǐng)域。但在焊接時(shí)，受生產(chǎn)設(shè)備及工藝的影響，焊接件存在裂紋、氣孔、未熔合及未焊透等各種缺陷[1]，傳統(tǒng)無損檢測需要檢測人員在計(jì)算機(jī)輔助下，從大量焊縫缺陷圖像[5]中進(jìn)行識(shí)別，長時(shí)間、多批次的檢測工作造成人眼視覺疲勞，導(dǎo)致漏檢誤檢，因此，如何利用深度學(xué)習(xí)等新興技術(shù)實(shí)現(xiàn)焊縫缺陷圖像的自動(dòng)識(shí)別成為當(dāng)前研究的熱點(diǎn)[2]。

近幾年，深度學(xué)習(xí)領(lǐng)域隨著計(jì)算機(jī)性能的逐步提升得到了快速發(fā)展。2014年，Girshick等[3]提出區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regions with Convolutional Neural Network,RCNN)模型，其利用選擇性搜索方法和支持向量機(jī)進(jìn)行候選區(qū)域選擇和目標(biāo)檢測，并采用目標(biāo)區(qū)域池化共享計(jì)算提出快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast RCNN)模型，提高了模型的工作效率；Ren等[4]針對Fast RCNN模型提取候選特征區(qū)域時(shí)間較慢的問題，引入?yún)^(qū)域生成網(wǎng)絡(luò)(Region Proposal Network，RPN)，并將其與檢測網(wǎng)絡(luò)共享圖像的卷積特征，設(shè)計(jì)了Faster RCNN模型。侯春萍等[5]將深度學(xué)習(xí)中亞歷克斯網(wǎng)絡(luò)與Faster RCNN框架訓(xùn)練的檢測器組成級聯(lián)網(wǎng)絡(luò)進(jìn)行電網(wǎng)絕緣子缺陷的自動(dòng)檢測，為故障檢修提供基礎(chǔ)；王森等[6]針對全卷積網(wǎng)絡(luò)(Fully Convolutional Network，F(xiàn)CN)模型易丟失局部信息和精細(xì)化描述能力不足問題，通過深度增加和添加高尺度反卷積層等措施構(gòu)建改進(jìn)FCN模型，并提出基于改進(jìn)FCN模型裂紋缺陷識(shí)別方法，算法有效增大裂紋信息選擇和擴(kuò)充局部精細(xì)細(xì)節(jié)，取得較好的檢測精度；Cha等[7]將Faster RCNN模型應(yīng)用于高壓電線缺陷檢測，并通過圖像旋轉(zhuǎn)圖像和加入正態(tài)分布的高斯雪花進(jìn)一步提升檢測效果；張玉燕等[8]提出基于Faster RCNN模型的點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷檢測方法，結(jié)合工業(yè)CT圖像，通過設(shè)計(jì)特征提取網(wǎng)絡(luò)，實(shí)現(xiàn)對斷層缺陷的快速、智能檢測定位；Takeshi等[9]將Faster RCNN模型應(yīng)用于火花塞缺陷的精確檢測和提取，在利用圖論方法檢測并校正焊縫直線后，通過Faster RCNN模型構(gòu)建判別系統(tǒng)，算法提高了缺陷檢測的效率和準(zhǔn)確率；李宜汀等[10]提出基于Faster RCNN的表面缺陷識(shí)別與定位算法，算法在區(qū)域規(guī)劃和K折交叉驗(yàn)證基礎(chǔ)上，將稀疏濾波思想引入模型并提取雙重深度特征輸入，提升了模型的位置檢測和識(shí)別的精度。

與人工設(shè)計(jì)的特征比起來，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)提取的特征魯棒性更好，語義信息更豐富，已在人臉識(shí)別、語義識(shí)別、目標(biāo)檢測等領(lǐng)域取得了巨大成果[11]，為此，根據(jù)已有研究，針對傳統(tǒng)Faster RCNN模型在焊縫缺陷中對較小目標(biāo)檢測不理想問題對提出改進(jìn)Faster RCNN焊縫缺陷算法，改進(jìn)算法將淺層網(wǎng)絡(luò)與高層網(wǎng)絡(luò)提取的特征共同作為后續(xù)環(huán)節(jié)的輸入，以增強(qiáng)特征對缺陷細(xì)節(jié)的描述能力，并優(yōu)化錨點(diǎn)參數(shù)以提高目標(biāo)框定位的準(zhǔn)確性，改進(jìn)RPN結(jié)構(gòu)，增加滑動(dòng)窗口來提高模型的檢測能力。實(shí)驗(yàn)驗(yàn)證了算法的有效性。

2 改進(jìn)Faster RCNN模型缺陷檢測

卷積神經(jīng)網(wǎng)絡(luò)的淺層網(wǎng)絡(luò)能夠提供更多的細(xì)節(jié)信息，是屬于細(xì)節(jié)化特征，但其所提供的語義信息比較稀疏；相反，深層網(wǎng)絡(luò)提供的特征經(jīng)過多次下采樣，保留了整體信息而忽略細(xì)節(jié)信息，所以語義信息十分豐富，為整體化的特征。

小尺寸缺陷目標(biāo)是指由于待測目標(biāo)自身的實(shí)際物理尺寸過小或者與拍攝設(shè)備距離偏遠(yuǎn)導(dǎo)致其在圖片中占比較小[12]，如圖1所示為焊接過程中常見的小尺寸缺陷目標(biāo)。其中，圖1(a)描述了焊縫缺陷中的氣孔，其實(shí)際的物理尺寸相比較其他類別缺陷而言要小很多，圖1(b)描述了在焊接中常遇到的短裂紋缺陷，圖1(c)描述了焊接未熔合造成的缺陷，圖1(d)為焊接未焊透造成的小缺陷目標(biāo)。

圖1 各類焊縫缺陷X射線影像圖Fig.1 X-ray images of various weld defects

原始Faster RCNN模型通常選取VGG16網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，并其最后一層即CONV5層的輸出特征圖作為RPN的輸入，其較豐富的語義信息，對較大尺寸的缺陷目標(biāo)具有較為理想的檢測效果，但對小尺寸缺陷目標(biāo)的檢測效果不盡如意。為此，提出一種改進(jìn)的多特征Faster RCNN方法，將淺層網(wǎng)絡(luò)提取的特征圖與深層網(wǎng)絡(luò)提取的特征圖共同作為后續(xù)環(huán)節(jié)輸入，在保持原始模型豐富的語義信息的同時(shí)，增加模型的細(xì)節(jié)描述能力，改進(jìn)Faster RCNN模型的流程圖如圖2所示。

圖2 改進(jìn)Faster RCNN流程圖Fig.2 Flowchart of the proposed improve Faster RCNN

從圖2可以看出，改進(jìn)算法主要包含4個(gè)主要執(zhí)行步驟。

1)特征提?。和ㄟ^VGG16的CONV1層、CONV2層和CONV5層提取待檢測圖片多尺度特征，并將各層提取的特征圖輸送給各層對應(yīng)的RPN網(wǎng)絡(luò)；

2)區(qū)域候選網(wǎng)絡(luò)：RPN網(wǎng)絡(luò)先通過softmax函數(shù)判斷特征圖的錨點(diǎn)的前后景屬性，然后再利用邊界框回歸來修正錨點(diǎn)，以獲得精確候選框，根據(jù)精確候選框，分別在各層的特征圖(feature map)上求取特征映射，得到候選框特征；

3)目標(biāo)區(qū)池化(RoI Pooling)：該層收集CONV1層、CONV2層和CONV5層輸出的特征圖及RPN網(wǎng)絡(luò)輸出的候選目標(biāo)區(qū)域，并對每個(gè)區(qū)域進(jìn)行最大池化操作，將候選區(qū)域轉(zhuǎn)換成維度一致的特征向量，然后輸入全連接層判定目標(biāo)的類別；

4)目標(biāo)分類(Classification)：利用目標(biāo)區(qū)域特征圖計(jì)算目標(biāo)區(qū)域的類別，同時(shí)再利用邊界框回歸算法重定位檢測框的最終精確位置。

淺層網(wǎng)絡(luò)選用CONV1層和CONV2層的原因是其提取的特征更注重保留圖像的邊緣、紋理等細(xì)節(jié)，有利于小氣孔、短裂紋等微小缺陷目標(biāo)的檢測。

不同層提取的特征圖送往其對應(yīng)的RPN，由于各層神經(jīng)元的感受野不同，因而每個(gè)RPN的錨點(diǎn)盒大小參數(shù)需要分別設(shè)置，具體的參數(shù)見表1。

表1 不同RPN的錨點(diǎn)尺寸參數(shù)Tab.1 Anchorscales parameters for different RPNs提取層參 數(shù)CONV1(2 4)CONV2(4 8)CONV5(4 8 16 32)

由于CONV5層的輸出特征圖中含有小缺陷目標(biāo)，因而添加尺寸為4的錨點(diǎn)參數(shù)，以生成多個(gè)小面積的錨點(diǎn)盒來檢測小尺寸缺陷目標(biāo)。另一方面，裂紋缺陷通常表現(xiàn)為條形，長寬比變化較為強(qiáng)烈，未焊透和未熔合缺陷比較相似，通常為細(xì)直黑線，部分在焊縫邊緣的未熔合缺陷表現(xiàn)為如圖1(c)中所示的不規(guī)則的黑色區(qū)域。為了能夠更準(zhǔn)確的描述并檢測長條形缺陷目標(biāo)，將CONV5層對應(yīng)的RPN中錨點(diǎn)的長寬比設(shè)為(1∶3，1∶1，3∶1)，同時(shí)，在RPN網(wǎng)絡(luò)中原始3×3滑動(dòng)窗口基礎(chǔ)上，增加1×1和5×5的滑動(dòng)窗口，三種不同的滑動(dòng)窗口通過卷積之后再進(jìn)行特征融合，改進(jìn)的RPN結(jié)構(gòu)如圖3所示。

圖3 改進(jìn)模型中RPN結(jié)構(gòu)圖Fig.3 RPN structure diagram in improved model

由于改進(jìn)模型主要通過在模型后續(xù)環(huán)節(jié)引入較低層提取特征和增加滑動(dòng)窗口來保留圖像的邊緣、紋理等細(xì)節(jié)及優(yōu)化模型錨點(diǎn)的長寬比設(shè)置，來提高對小缺陷目標(biāo)和不同尺寸缺陷目標(biāo)的檢測準(zhǔn)確性，原模型的后續(xù)環(huán)節(jié)保持不變，因而改進(jìn)算法與原網(wǎng)絡(luò)模型相比，其計(jì)算復(fù)雜度和缺陷檢測時(shí)間基本保持不變，從而在保持原網(wǎng)絡(luò)模型運(yùn)行效率的同時(shí)，提高對微波焊接缺陷目標(biāo)的檢測能力。

3 改進(jìn)Faster RCNN模型的實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集及網(wǎng)絡(luò)訓(xùn)練

數(shù)據(jù)集的大小和質(zhì)量直接影響網(wǎng)絡(luò)學(xué)習(xí)的性能，文中實(shí)驗(yàn)采用智利天主教大學(xué)發(fā)布的無損檢測X射線圖像數(shù)據(jù)集GDXray[13,14]，其焊縫X射線圖片的像素尺寸為500×5000，以500×500對圖片進(jìn)行裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)，并與實(shí)驗(yàn)室收集圖片混合組成2340張圖片的實(shí)驗(yàn)數(shù)據(jù)集，按照8:2的比例分為訓(xùn)練集和測試集，訓(xùn)練圖片的批量大小設(shè)置為64。

模型的前向傳播的公式為

Y=sn(…(s2(s1(Xω1+b1)ω2+b2)…)ωn+bn)

(1)

式中：i=1,2,…,n，X、Y——網(wǎng)絡(luò)的輸入與輸出矩陣；ωi——權(quán)值矩陣；bi——偏置矩陣，si——各神經(jīng)元激活函數(shù)，其在最后一層選用Softmax函數(shù)進(jìn)行分類計(jì)算，其他層選用Relu函數(shù)，因?yàn)镽elu函數(shù)在激活狀態(tài)下的梯度值較大且保持一致，可以有效減少訓(xùn)練過程中的梯度消失或梯度爆炸等問題。

實(shí)驗(yàn)完成一次前向傳播后，計(jì)算損失函數(shù)值，并更新算法權(quán)值，然后重新進(jìn)行前向傳播，直至損失函數(shù)取最小值，損失函數(shù)交叉熵，其表達(dá)式為

(2)

式中：yij——期望輸出值；k——樣本的總類別數(shù)；N——訓(xùn)練樣本總數(shù)；pi(x)——softmax函數(shù)。

3.2 實(shí)驗(yàn)評估指標(biāo)

交并比(Intersection over Union，IoU)指標(biāo)可用于衡量同一圖像上不同區(qū)域的重合度，其表示為預(yù)測區(qū)域與真實(shí)標(biāo)記區(qū)域之間的交集與并集的比值，表達(dá)式為

(3)

式中：D——模型預(yù)測區(qū)域；G——真實(shí)標(biāo)記區(qū)域。

真正例、假正例和假反例是常用的基礎(chǔ)指標(biāo)，通常情況，如果fIoU>0.5則認(rèn)為該缺陷檢測結(jié)果為真正例，反之，如果fIoU≤0.5則認(rèn)為該缺陷檢測結(jié)果為假正例，假反例表示有真實(shí)框但無檢測結(jié)果。在此基礎(chǔ)上，檢測精準(zhǔn)率fpre和召回率frec的定義為

(4)

(5)

式中：fTP——檢測真正例指標(biāo)；fFP——檢測的假正例指標(biāo)；fFN——檢測的假反例指標(biāo)。

平均精度(Average Precision，AP)是將某類目標(biāo)的檢測結(jié)果按照置信度排序，然后按閾值得到精準(zhǔn)率fpre和召回率frec的積分并計(jì)算其平均值，可以得到平均精度，其計(jì)算表達(dá)式為

(6)

3.3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)在tensorflow框架下運(yùn)行，將最大迭代次數(shù)設(shè)為4000次。實(shí)驗(yàn)過程采用變量控制方法。RPN的錨點(diǎn)長寬比由(1∶2，1∶1，2∶1)優(yōu)化為(1∶3，1∶1，3∶1),并加入anchor scales為4的參數(shù)，參數(shù)優(yōu)化前后的實(shí)驗(yàn)結(jié)果對比見表2，表2中數(shù)據(jù)為多次實(shí)驗(yàn)結(jié)果的平均值。

表2 長寬比變化對算法識(shí)別率影響(單位:%)Tab.2 Effect of aspect ratio changes(Unit:%)識(shí)別率裂紋未焊透未熔合氣孔fAP原始參數(shù)57.157.559.164.359.5更改參數(shù)60.858.960.364.661.2提高比例3.71.41.20.31.7

從表2實(shí)驗(yàn)結(jié)果可以看出，錨點(diǎn)長寬比優(yōu)化后，裂紋缺陷的識(shí)別率提高了3.7%，對長條形未焊透和未熔合缺陷的定位及識(shí)別率分別提高了1.4%和1.2%，氣孔的識(shí)別率只提高了0.3%，主要因?yàn)闅饪椎拿娣e相對較小，且長寬比基本沒有變化。參數(shù)優(yōu)化后，模型的總體識(shí)別準(zhǔn)確率提高了1.7%。

文中改進(jìn)Faster RCNN模型，在傳統(tǒng)特征提取方法基礎(chǔ)上，將淺層網(wǎng)絡(luò)提取的特征與高層網(wǎng)絡(luò)提取的特征聯(lián)合作為后續(xù)環(huán)節(jié)的輸入，并根據(jù)各類缺陷的特點(diǎn)，設(shè)置相應(yīng)的錨點(diǎn)參數(shù)以提高目標(biāo)框定位準(zhǔn)確性，測試數(shù)據(jù)的實(shí)驗(yàn)檢測結(jié)果見表3，表3中數(shù)據(jù)為多次實(shí)驗(yàn)結(jié)果的平均值。

表3 模型改進(jìn)前后的識(shí)別率實(shí)驗(yàn)結(jié)果(單位:%)Tab.3 Results before and after model improvement(Unit:%)識(shí)別率裂紋未焊透未熔合氣孔fAP原始模型60.858.960.364.661.2改進(jìn)模型67.461.363.679.868.0提高比例6.62.43.315.26.8

從表3實(shí)驗(yàn)比較結(jié)果可以看出，傳統(tǒng)Faster RCNN模型中增加淺層網(wǎng)絡(luò)特征圖后，未焊透缺陷和熔合缺陷的識(shí)別率分別提高了2.4%和3.3%，而氣孔缺陷和裂紋缺陷的識(shí)別率分別提高了15.2%和6.6%，有了明顯的識(shí)別準(zhǔn)確率提高，主要因?yàn)楦倪M(jìn)模型增加了更多淺層特征圖的細(xì)節(jié)信息，有利于氣孔和短裂紋等微小缺陷的識(shí)別。改進(jìn)模型的平均準(zhǔn)確率提高了6.8%。

圖4 部分缺陷檢測實(shí)驗(yàn)結(jié)果圖Fig.4 Partial defect detection experiment results

部分檢測結(jié)果如圖4所示，其中圖4(a)為原始網(wǎng)絡(luò)模型缺陷檢測結(jié)果，圖4(b)為文中改進(jìn)Faster RCNN模型的缺陷檢測結(jié)果。從圖4實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)Faster RCNN模型成功識(shí)別出了原始模型未識(shí)別出的小氣孔缺陷和特征較弱的短裂紋缺陷，同時(shí)對于長寬變化劇烈的裂紋等缺陷目標(biāo)的檢測和定位更加準(zhǔn)確。

為進(jìn)一步驗(yàn)證文中改進(jìn)Faster RCNN模型的缺陷檢測性能，將其與已有文獻(xiàn)中的SPP-Net[13]和改進(jìn)SSD網(wǎng)絡(luò)模型[15]進(jìn)行檢測性能比較，多次實(shí)驗(yàn)結(jié)果平均值見表4。

表4 不同網(wǎng)絡(luò)模型缺陷檢測結(jié)果比較Tab.4 Comparison of defect detection for different models實(shí)驗(yàn)比較模型平均檢測精度(%)SPP-Net49.3SSD網(wǎng)絡(luò)模型55.7文中改進(jìn)模型68.0

從表4可以看出，改進(jìn)Faster RCNN模型對焊縫缺陷識(shí)別的準(zhǔn)確率明顯高于SPP-Net和SSD網(wǎng)絡(luò)，具有更好的實(shí)用性。

綜合分析實(shí)驗(yàn)仿真結(jié)果可知，文中改進(jìn)Faster RCNN模型取得最優(yōu)的缺陷檢測結(jié)果，對于微小缺陷目標(biāo)仍取得較好的檢測精度，主要因?yàn)楦倪M(jìn)模型能夠充分利用低層特征豐富的細(xì)節(jié)信息，同時(shí)，不同尺度的特征圖所提取的不同特征共用同樣的分類和邊框回歸網(wǎng)絡(luò)，相當(dāng)于廣義上的多任務(wù)聯(lián)合，可有效的避免數(shù)據(jù)量偏小造成的過擬合現(xiàn)象。

4 結(jié)束語

針對傳統(tǒng)Faster RCNN模型在進(jìn)行焊縫缺陷檢測時(shí)對微小缺陷檢測效果不理想問題，設(shè)計(jì)了改進(jìn)Faster RCNN模型，通過多層特征網(wǎng)絡(luò)提取不同尺度特征圖并共同作用于模型后續(xù)環(huán)節(jié)，從而增加模型輸入的細(xì)節(jié)信息，提高對較小缺陷的檢測效果；改進(jìn)RPN結(jié)構(gòu)，加入多種滑動(dòng)窗口，從而優(yōu)化了模型錨點(diǎn)的長寬比設(shè)置，提高檢測能力，實(shí)驗(yàn)驗(yàn)證了算法的有效性。