基于改進(jìn)YOLOv5的焊接件表面缺陷檢測

沈雯靜,張政超,許康偉

(上海理工大學(xué)機(jī)械工程學(xué)院,上海 200093)

0 引言

焊接是工業(yè)生產(chǎn)中一種常見的金屬加工工藝,廣泛應(yīng)用于電子器件生產(chǎn)、整車制造、航空航天及其他金屬件的生產(chǎn)中。加工后的焊接件往往需要對其表面存在的缺陷進(jìn)行檢測,避免影響外部美觀和使用性能,常見的焊接件表面缺陷包括焊縫、沖孔、月牙彎及絲斑等多種類型。傳統(tǒng)人工方式在對上述缺陷進(jìn)行檢測的過程中不僅需要消耗較多的人力物力等資源,并且檢測質(zhì)量也容易受到多方面因素影響。近年來,隨著深度學(xué)習(xí)相關(guān)理論和算法的快速更新,很多傳統(tǒng)制造環(huán)節(jié)正逐漸引入人工智能技術(shù),以智能化的方式顯著提升了生產(chǎn)效率與產(chǎn)品質(zhì)量,其中,目標(biāo)檢測算法對于缺陷的檢測被廣泛應(yīng)用于多類工業(yè)場景中。

目前主流的目標(biāo)檢測算法主要分為兩大類,一類是雙階段檢測網(wǎng)絡(luò),典型算法包括Faster-RCNN[1]、Mask RCNN[2]等,另一類則是以YOLO[3]為代表的單階段檢測網(wǎng)絡(luò)。相比于雙階段檢測網(wǎng)絡(luò),單階段檢測網(wǎng)絡(luò)由于簡化了候選框生成過程,模型復(fù)雜度更低,檢測速度更快,因此更適合部署至移動(dòng)端或嵌入式設(shè)備。劉浩等[4]將改進(jìn)后的YOLOv3算法應(yīng)用于刀具表面的缺陷檢測中,提升了檢測精度。李飛等[5]在YOLOv4的基礎(chǔ)上加入注意力機(jī)制用于輸送帶撕裂的檢測中,有效提升了網(wǎng)絡(luò)的綜合性能。李昂等[6]對原始YOLOv5模型結(jié)構(gòu)進(jìn)行改進(jìn)并加入剪枝操作,在軌道障礙物檢測的實(shí)際應(yīng)用中取得了良好的效果。

YOLO作為單階段檢測網(wǎng)絡(luò)的典型代表,對于檢測精度和速度取得了較好的平衡,因此被廣泛應(yīng)用。但不同于其它檢測目標(biāo),焊接件表面存在的缺陷類型較復(fù)雜,不僅種類較多,而且存在難以檢測的小目標(biāo)和形貌相似容易混淆的缺陷類型,原始的YOLOv5模型不能夠很好地達(dá)到檢測精度要求。此外,工業(yè)檢測設(shè)備對于算法的計(jì)算效率也有一定的要求,過大的內(nèi)存占用和過多的計(jì)算量都會(huì)影響算法的部署及檢測速度,因此還需要對原算法的計(jì)算效率加以改進(jìn)。

為更有利于部署至實(shí)際檢測場景中,本文提出了一種基于改進(jìn)YOLOv5的焊接件表面缺陷檢測模型,通過改進(jìn)C3結(jié)構(gòu),提高網(wǎng)絡(luò)對于缺陷特征的提取能力并減輕復(fù)雜度,其次改進(jìn)邊界框的回歸損失函數(shù)提高目標(biāo)檢測的位置精度,最后更換GSConv[7]卷積進(jìn)一步增強(qiáng)網(wǎng)絡(luò)檢測性能并降低參數(shù)量,改進(jìn)后模型的檢測效果和計(jì)算開銷都得到優(yōu)化,滿足工業(yè)場景中缺陷檢測要求。

1 改進(jìn)YOLOv5目標(biāo)檢測算法

1.1 C3_CMS模塊

YOLOv5在主干網(wǎng)絡(luò)中大量使用到了C3模塊,雖然相比于BottleneckCSP結(jié)構(gòu),C3的計(jì)算效率更高,但檢測能力并沒有得到提升,并且模型參數(shù)量依然較大。而在工業(yè)場景中,硬件設(shè)備資源的限制往往會(huì)對模型的性能提出更高的要求,為了滿足模型在工業(yè)設(shè)備中的應(yīng)用,減小計(jì)算時(shí)間和資源方面占用的空間,并提高檢測精度,本文設(shè)計(jì)出C3_CMS模塊,應(yīng)用于模型的特征提取與特征融合網(wǎng)絡(luò)中。

如圖1所示,C3_CMS模塊將原C3模塊中的Bottleneck結(jié)構(gòu)替換為ConvMixer[8]混合卷積結(jié)構(gòu),并使用Mish[9]激活函數(shù),該結(jié)構(gòu)能夠?qū)崿F(xiàn)在降低模型復(fù)雜度的同時(shí)提高精度。并且為了進(jìn)一步提升模型的檢測能力及泛化能力,在該模塊末端引入Shuffle Attention[10]注意力機(jī)制。

圖1 C3_CMS結(jié)構(gòu)

在C3_CMS模塊中所使用的ConvMixer混合卷積層結(jié)構(gòu)如圖2所示。

圖2 ConvMixer結(jié)構(gòu)

ConvMixer結(jié)構(gòu)主要由深度卷積(depthwise convolution)和逐點(diǎn)卷積(pointwise convolution)組成,卷積后再進(jìn)行激活及BatchNorm操作。為了使網(wǎng)絡(luò)在訓(xùn)練過程中更加快速、準(zhǔn)確、穩(wěn)定地收斂,選擇平滑性更好的Mish激活函數(shù)。在該結(jié)構(gòu)中,深度卷積將輸入的特征圖按其通道數(shù)進(jìn)行拆分,每個(gè)通道上分別使用單獨(dú)的卷積核進(jìn)行空間卷積運(yùn)算。逐點(diǎn)卷積是指利用1×1大小的卷積核遍歷特征圖上的每個(gè)像素點(diǎn),從而融合不同通道在相同空間位置處的特征信息。該結(jié)構(gòu)利用深度卷積和逐點(diǎn)卷積分別考慮空間維度和通道維度的特點(diǎn)與深度可分離卷積(depthwise separable convolution)結(jié)構(gòu)類似,并且兩者都能降低卷積過程中所需要的計(jì)算量,其主要區(qū)別在于ConvMixer結(jié)構(gòu)中加入了殘差連接,即在逐點(diǎn)卷積前將上層輸出結(jié)果與更淺層的信息融合,增強(qiáng)網(wǎng)絡(luò)對于特征的學(xué)習(xí)能力。

此外,為了進(jìn)一步優(yōu)化網(wǎng)絡(luò)性能,在C3_CMS模塊中加入注意力機(jī)制。神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制主要是為了解決由于受到硬件計(jì)算能力限制,而將算力分配給更加重要的任務(wù),同時(shí)解決信息超載問題的一種資源分配方案。這類似于人類的視覺注意機(jī)制,通過掃描全局圖片,識(shí)別重點(diǎn)關(guān)注區(qū)域,再對重點(diǎn)區(qū)域投入更多算力資源,以獲得更多細(xì)節(jié)信息。

目前主流的注意力機(jī)制主要有空間注意力機(jī)制(spatial attention)和通道注意力機(jī)制(channel attention),分別用于捕捉空間上的像素級(jí)關(guān)系和通道間的依賴關(guān)系。若直接將兩者結(jié)合使用將會(huì)得到更好的效果,但會(huì)增加模型計(jì)算量。為了不額外增加模型計(jì)算量并結(jié)合兩類注意力機(jī)制的優(yōu)點(diǎn),本文引入Shuffle Attention注意力機(jī)制,其原理如圖3所示。

圖3 Shuffle Attention概述

首先將神經(jīng)網(wǎng)絡(luò)輸入的特征圖沿通道方向上分組,生成多個(gè)Shuffle Attention單元;然后將每個(gè)單元拆分為兩條分支,分別使用通道注意力機(jī)制和空間注意力機(jī)制;接下來在單元內(nèi)部將兩部分以通道數(shù)疊加,實(shí)現(xiàn)信息的融合;接著對所有單元進(jìn)行通道混洗操作,實(shí)現(xiàn)不同組之間的信息交流,最終輸出結(jié)果特征圖。這一類似于分組卷積的結(jié)構(gòu)能夠在要求輸出特征圖通道數(shù)不變的情況下使用到更少的參數(shù)量和計(jì)算量,有利于模型的輕量化。

結(jié)合了ConvMixer結(jié)構(gòu)及SA注意力機(jī)制的C3_CMS模塊相比于原C3模塊具有更高的計(jì)算效率和檢測精度,更有利于模型的實(shí)際應(yīng)用。

1.2 改進(jìn)的NWD損失函數(shù)

為獲得更好的小目標(biāo)檢測效果,WANG等[11]提出一種基于Wasserstein Distance的normalized gaussian wasserstein distance(NWD)損失函數(shù)。具體來說,首先將目標(biāo)的真實(shí)框與預(yù)測框建模為二維高斯分布,通過式(1)計(jì)算出兩者的Wasserstein距離。

(1)

式中:μ1與μ2分別表示兩個(gè)二維高斯分布的均值向量,Σ1與Σ2為協(xié)方差矩陣。由于目標(biāo)邊界框均為矩形,式(1)可簡化為式(2):

(2)

式中:(x,y)與w、h分別表示邊界框的中心點(diǎn)坐標(biāo)、寬度和高度。

為了能夠應(yīng)用于目標(biāo)檢測損失函數(shù)的計(jì)算,對式(2)進(jìn)行歸一化,并得到NWD損失函數(shù)計(jì)算公式,如式(3)所示。

(3)

式中:C為常數(shù),本實(shí)驗(yàn)環(huán)境下取值2.5時(shí)效果較佳。

該計(jì)算方式通過將兩個(gè)包圍框二維高斯分布的相似性轉(zhuǎn)換為目標(biāo)檢測中的回歸損失,不僅可以避免IOU Loss在計(jì)算兩個(gè)無重疊邊界框損失值時(shí)無法收斂的問題,而且不會(huì)具有類似于DIOU[12]、CIOU[13]等損失函數(shù)在計(jì)算不同尺寸目標(biāo)時(shí)對于相同位置偏差敏感度不同的特點(diǎn),因此更適合檢測小目標(biāo)。

但由式(2)、式(3)可看出,NWD損失函數(shù)主要關(guān)注于預(yù)測框與真實(shí)框中心點(diǎn)的距離,以及兩者寬度和高度的比較,這就導(dǎo)致該方法在某些情況下計(jì)算時(shí)會(huì)遺漏交并比與寬高比等信息進(jìn)而影響模型精度。如圖4所示,可明顯觀察到圖4a中A框與真實(shí)框存在更高的交并比,圖4b中A框的形狀與真實(shí)框更相似,而使用NWD計(jì)算得到的A框和B框損失值完全相同。

(a) 不同交并比的邊框 (b) 不同寬高比的邊框

基于上述分析,本文在原NWD損失函數(shù)的基礎(chǔ)上加入懲罰項(xiàng),使其關(guān)注更多真實(shí)框與預(yù)測框的幾何信息,得到改進(jìn)后的NWD損失函數(shù)為:

(4)

式中:IOU表示真實(shí)框與預(yù)測框的交并比,wgt、hgt、w、h分別表示真實(shí)框與預(yù)測框的寬和高,C1、C2為兩部分損失項(xiàng)的權(quán)重系數(shù),本實(shí)驗(yàn)環(huán)境下分別取值0.8和0.2。對改進(jìn)前后的損失函數(shù)進(jìn)行對比實(shí)驗(yàn),得到結(jié)果如表1所示。

表1 不同損失函數(shù)對比實(shí)驗(yàn)結(jié)果 (%)

從表1可以看出,使用NWD損失函數(shù)的模型精度高于DIOU和CIOU,而改進(jìn)后的NWD效果更優(yōu),更適合用于檢測焊接件表面存在的各種復(fù)雜缺陷類型,因此將改進(jìn)后的NWD應(yīng)用于本文模型中,替換原始的CIOU損失函數(shù)。

1.3 GSConv卷積

為了進(jìn)一步減少計(jì)算量,減輕模型復(fù)雜度并保持模型準(zhǔn)確性,本文引入GSConv模塊至Neck特征融合層,替代原有的CBS模塊。GSConv卷積層結(jié)構(gòu)如圖5所示。

圖5 GSConv結(jié)構(gòu)

若輸入特征圖的通道數(shù)為c1,輸出特征圖的通道數(shù)為c2。首先對輸入圖像進(jìn)行標(biāo)準(zhǔn)卷積操作,操作后的特征圖通道數(shù)為c2/2;然后對特征圖進(jìn)行深度可分離卷積操作,同樣得到c2/2的特征圖;再將兩個(gè)特征圖進(jìn)行Concat操作,得到通道數(shù)為c2的特征圖;最后進(jìn)行Shuffle操作,得到通道數(shù)為c2的輸出結(jié)果。

相比于標(biāo)準(zhǔn)卷積,深度可分離卷積能夠降低參數(shù)量、減少計(jì)算開銷,但由于空間維度和通道維度相分離,因此深度可分離卷積不能有效融合空間信息與通道信息,進(jìn)而可能會(huì)導(dǎo)致檢測精度的損失。但GSConv結(jié)構(gòu)將只經(jīng)過標(biāo)準(zhǔn)卷積運(yùn)算后的特征圖與后續(xù)又經(jīng)過深度可分離卷積運(yùn)算后的特征圖進(jìn)行Concat拼接,并加入通道混洗操作,從而便于特征信息在空間維度和通道維度中的流通,避免信息的丟失,保證模型精度。并且得益于整個(gè)結(jié)構(gòu)對于通道數(shù)的控制以及深度可分離卷積的優(yōu)點(diǎn),模型的參數(shù)量和計(jì)算復(fù)雜度都能有所下降。

最終改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 改進(jìn)后的YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)及結(jié)果分析

2.1 數(shù)據(jù)集

本文使用來自AI Studio網(wǎng)絡(luò)平臺(tái)公開的焊接件表面缺陷數(shù)據(jù)集作為訓(xùn)練測試數(shù)據(jù)。其中包含了10種不同類型的表面缺陷:沖孔、焊縫、月牙彎、水斑、油斑、絲斑、異物、壓痕、折痕以及腰折。共有2292張灰度圖片,圖片大小為2048×1000。

為了防止訓(xùn)練產(chǎn)生過擬合,提高模型的魯棒性以及泛化能力,采用高斯模糊、翻轉(zhuǎn)、平移、裁剪、亮度變化和旋轉(zhuǎn)等方式對原始數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)。經(jīng)過數(shù)據(jù)增強(qiáng)后數(shù)據(jù)集被擴(kuò)充至6876張圖片。本文按照訓(xùn)練集、驗(yàn)證集和測試集8∶1∶1的比例抽取數(shù)據(jù),得到訓(xùn)練集5501張,驗(yàn)證集687張、測試集688張。各類缺陷如圖7所示。

圖7 各缺陷類型

2.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文訓(xùn)練使用的實(shí)驗(yàn)環(huán)境如表2所示。

表2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)過程中采用YOLOv5s作為網(wǎng)絡(luò)模型,訓(xùn)練時(shí)的epoch=200,batch_size=64,采用SGD函數(shù)優(yōu)化參數(shù),動(dòng)量為0.937。

2.3 評價(jià)指標(biāo)

目標(biāo)檢測領(lǐng)域?qū)δＰ托阅艿脑u價(jià)指標(biāo)主要有召回率(recall,R)、精確率(precision,P)、準(zhǔn)確率(accuracy,Acc)、平均精度(average precision,AP)和平均精度均值(mean average precision,mAP)。其中召回率是統(tǒng)計(jì)所有正確預(yù)測為正樣本占全部實(shí)際為正樣本的比例;精確率是統(tǒng)計(jì)正確預(yù)測為正樣本的占全部預(yù)測為正樣本的比例;準(zhǔn)確率是統(tǒng)計(jì)所有的預(yù)測正確樣本的占總樣本的比重。召回率、精確率和準(zhǔn)確率的計(jì)算公式為:

(5)

式中:TP(true positive)表示一個(gè)樣本是正樣本并且被認(rèn)定為正樣本,TN(true negative)表示一個(gè)樣本是假樣本并且認(rèn)定為假樣本,FP(false positive)表示一個(gè)樣本是假樣本但判定為正樣本,FN(false negative)表示一個(gè)樣本是正樣本但認(rèn)定為假樣本。以召回率作為橫坐標(biāo),精確率作為縱坐標(biāo)所繪出的曲線被稱為PR曲線。平均精度就是PR曲線與橫坐標(biāo)軸圍成的圖形面積,當(dāng)平均精度為1時(shí)模型性能最好。平均精度均值即為各缺陷類別平均精度的均值。

本文采用檢測速度、計(jì)算復(fù)雜度、檢測精度和模型體積等指標(biāo)評價(jià)檢測模型。其中檢測速度選擇每秒傳輸幀數(shù)(frames per second,FPS)評價(jià);計(jì)算復(fù)雜度選擇浮點(diǎn)運(yùn)算次數(shù)(floating points of operations,FLOPs)評價(jià);檢測精度選擇平均精度均值評價(jià);模型體積選擇模型參數(shù)量(params)評價(jià)。

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證不同改進(jìn)方式對焊接件表面缺陷檢測性能的影響,本文進(jìn)行消融實(shí)驗(yàn),得到5種不同模型的復(fù)雜度和性能對比如表3所示。其中用“√”表示使用此模塊,用“×”表示沒有使用此模塊。

表3 消融實(shí)驗(yàn)結(jié)果

分析實(shí)驗(yàn)結(jié)果,第一個(gè)模型是不使用任何改進(jìn)策略,使用原始YOLOv5s模型進(jìn)行訓(xùn)練,并以此模型為基線進(jìn)行對比。改進(jìn)一與原始模型相比,mAP提高2.2%,FPS提高8.2 f/s,計(jì)算復(fù)雜度降低0.9GFLOPs,參數(shù)量降低1.1×106。這是因?yàn)楦倪M(jìn)了C3模塊,以殘差連接的方式將深度卷積與逐點(diǎn)卷積結(jié)合替換原始卷積層,并加入注意力模塊,使得模型在檢測精度提升的同時(shí)具有輕量化的效果。改進(jìn)二與原始模型相比,由于更換了損失函數(shù),FPS有所降低,但mAP提高1.4%,說明改進(jìn)后的損失函數(shù)在邊界框的回歸損失計(jì)算中具有更好的效果。改進(jìn)三與原始模型相比,FPS降低3.8 f/s,但mAP提高1.7%,計(jì)算復(fù)雜度降低0.5GFLOPs,參數(shù)量降低0.4×106,有效證明了GSConv能夠減少參數(shù)量和計(jì)算量,并提高網(wǎng)絡(luò)的特征檢測能力。改進(jìn)四為最終改進(jìn)模型,與原始模型相比,mAP提高4.8%,檢測速度提高4 f/s,計(jì)算復(fù)雜度降低1.4GFLOPs,參數(shù)量降低1.5×106。

綜合上述分析,本文提出的改進(jìn)模型在檢測速度、計(jì)算復(fù)雜度、檢測精度和模型體積等方面均優(yōu)于原始模型。

2.5 訓(xùn)練過程

為了有效對比模型改進(jìn)前后的效果,訓(xùn)練完成后,對模型訓(xùn)練過程進(jìn)行可視化處理,將本文改進(jìn)后的模型與原始模型在同一坐標(biāo)系下進(jìn)行對比。mAP隨著訓(xùn)練輪數(shù)的變換曲線如圖8所示,訓(xùn)練迭代次數(shù)為200次。

圖8 mAP曲線

從圖8可以看出,在0～50次過程中,mAP波動(dòng)明顯,這是由于訓(xùn)練初期不穩(wěn)定導(dǎo)致的。隨著訓(xùn)練次數(shù)的增加,mAP增長趨于穩(wěn)定,并且本文模型明顯優(yōu)于原始YOLOv5s模型。

2.6 檢測效果對比

為了更好地對比檢測效果,圖9為原始YOLOv5s算法與本文算法在部分缺陷上的檢測情況對比。圖中的標(biāo)注框標(biāo)注了缺陷位置、缺陷類型及置信度。

圖9 檢測結(jié)果對比

對比兩個(gè)模型的檢測結(jié)果可以看出,針對不同缺陷,改進(jìn)后的模型在置信度上相比于原始模型均有不同程度的提高。

2.7 對比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法的有效性,將其與SSD[14]、Faster-RCNN、YOLOv3[15]、YOLOv4[16]、YOLOv6[17]、YOLOv7[18]、YOLOX[19]和YOLOv5在內(nèi)的主流目標(biāo)檢測算法在相同數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表4所示。

表4 對比實(shí)驗(yàn)結(jié)果

根據(jù)對比實(shí)驗(yàn)結(jié)果可知,本文提出的改進(jìn)算法相比于其它主流的目標(biāo)檢測算法,有效提升了檢測精度,mAP達(dá)到91.3%;參數(shù)量和計(jì)算復(fù)雜度顯著降低,更加便于工業(yè)場景下的應(yīng)用,參數(shù)量和計(jì)算復(fù)雜度分別為5.5×106和14.4GFLOPs;同時(shí)具有更高的實(shí)時(shí)檢測速度,FPS為142.9 f/s。因此,本文算法在檢測精度、參數(shù)量、計(jì)算復(fù)雜度和檢測速度等方面均優(yōu)于主流的目標(biāo)檢測算法,能夠更好地完成焊接件表面缺陷檢測任務(wù)。

3 結(jié)論

針對焊接件表面缺陷,本文提出了基于YOLOv5的改進(jìn)算法。首先改進(jìn)主干網(wǎng)絡(luò)中的C3模塊,包括引入ConvMixer混合卷積結(jié)構(gòu)及Shuffle Attention注意力機(jī)制,前者增強(qiáng)了模型感受野、提高了特征提取能力,后者將傳統(tǒng)注意力機(jī)制高效融合,提高了計(jì)算效率和模型的泛化能力。其次,改進(jìn)NWD損失函數(shù),考慮更多邊界框幾何信息,在本文焊接件表面缺陷數(shù)據(jù)集中取得了良好的效果。最后,引入GSConv層替代原始卷積層,在降低參數(shù)量的前提下提升檢測精度,進(jìn)一步優(yōu)化了網(wǎng)絡(luò)。改進(jìn)后的算法mAP提高4.8%,FPS提高4 f/s,計(jì)算復(fù)雜度降低1.4GFLOPs,參數(shù)量降低1.5×106,實(shí)驗(yàn)結(jié)果表明,改進(jìn)后的模型具有良好的檢測精度,并且提升了焊接件表面缺陷的檢測效率,能夠較好地應(yīng)用在工業(yè)場景中。