基于卷積神經(jīng)網(wǎng)絡(luò)的焊縫缺陷圖像分類研究

谷 靜，張可帥，朱漪曼

（西安郵電大學(xué) 電子工程學(xué)院，陜西 西安 710121）

引言

焊接技術(shù)不斷地發(fā)展和完善，并正在應(yīng)用于各行各業(yè)。在焊接過程中由于焊接設(shè)備的影響會(huì)造成各種缺陷，對(duì)缺陷進(jìn)行分類是焊縫質(zhì)量等級(jí)評(píng)定的重要基礎(chǔ)。目前對(duì)焊縫缺陷的檢測(cè)大都采用無損檢測(cè)技術(shù)（non-destructive testing，NDT），其中以X 射線技術(shù)為主[1]。對(duì)于X 射線所拍攝的圖片，需要專業(yè)人士評(píng)判和分類，這種方式耗費(fèi)時(shí)間且存在主觀因素的影響。隨后研究了基于計(jì)算機(jī)自動(dòng)識(shí)別系統(tǒng)，但是這一系統(tǒng)仍需人為地提取和選擇特征，因此目前大多數(shù)研究都集中在特征提取算法的手工設(shè)計(jì)上。李寧、盧子廣利用分段分行紋理分析算法提取焊縫缺陷的特征值，最后將其輸入到支持向量機(jī)分類器中，進(jìn)行缺陷的分類[2]。Jayendra Kumar 等人采用灰度共生矩陣的紋理特征將其輸入到神經(jīng)網(wǎng)絡(luò)中，取得86.1%的分類準(zhǔn)確率[3]。丁曉東、黎揚(yáng)進(jìn)等人利用斜率截距法和分段區(qū)間檢測(cè)法提取焊縫表面缺陷特征點(diǎn)，將其作為網(wǎng)絡(luò)的輸入，使得模型的整體識(shí)別率達(dá)到91.51%[4]。栗芝采用主成分分析（principal component analysis，PCA）和獨(dú)立成分分析（independent component correlation algorithm，ICA）進(jìn)行成分特征的提取，將7 類形狀特征參數(shù)作為分類識(shí)別的輸入，最后采用支持向量機(jī)對(duì)氣孔和裂紋兩類缺陷進(jìn)行分類識(shí)別[5]。胡宏偉、張婕等人研究了一種基于一維局部二元模式算法結(jié)合核主成分分析提取焊縫缺陷回波信號(hào)特征的方法對(duì)焊縫缺陷進(jìn)行分類[6]。

上述方法都是基于特征提取算法所進(jìn)行的研究。近年來深度學(xué)習(xí)技術(shù)可以自動(dòng)地提取圖像中的特征，不需要人工參與，進(jìn)而對(duì)圖像良好地分類，因而被廣泛地應(yīng)用。楊志超、周強(qiáng)等人提出了基于卷積神經(jīng)網(wǎng)絡(luò)的焊接缺陷特征自動(dòng)提取及分類算法，為焊接質(zhì)量的檢測(cè)研究提供了重要參考[7]。Domingo Mery 比較了包含卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)的各種計(jì)算機(jī)視覺方法，對(duì)有無缺陷的X 射線圖像進(jìn)行分類[8]。李真、馬麗等人針對(duì)工業(yè)中焊縫缺陷的分類難題提出了一種基于深度學(xué)習(xí)的分類方法，結(jié)果表明該方法對(duì)缺陷分類有良好的效果[9]。

此外，訓(xùn)練數(shù)據(jù)的不平衡會(huì)影響不同類型的分類準(zhǔn)確率[10]。本文采用深度卷積對(duì)抗生成網(wǎng)絡(luò)（deep convolutional generative adversarial networks，DCGAN）[11]在數(shù)據(jù)層面上進(jìn)行數(shù)據(jù)集的平衡處理，消除數(shù)據(jù)不平衡的影響，并在該數(shù)據(jù)集上驗(yàn)證模型的有效性，圖1 為算法的流程圖。

圖 1 算法流程圖Fig. 1 Flow chart of algorithm

1 焊縫缺陷數(shù)據(jù)集處理

1.1 原始數(shù)據(jù)集介紹

本文所用的數(shù)據(jù)集是由國(guó)內(nèi)某車間提供，共包含2 454 張圖片，有6 種缺陷類型，圖片大小為64×64像素，按照8:2 的比例劃分為訓(xùn)練集和測(cè)試集。各種缺陷類型及其在訓(xùn)練集和測(cè)試集上的缺陷數(shù)量如表1 所示。在該數(shù)據(jù)集上，未熔合缺陷和無缺陷圖像所占比例較大。條形缺陷所占比例最小，且各個(gè)類別之間的所占比例均有差別。

表 1 焊縫缺陷類別數(shù)量Table 1 Number of weld defect categories

1.2 數(shù)據(jù)集的平衡處理

在深度學(xué)習(xí)領(lǐng)域中，數(shù)據(jù)量的大小和平衡直接影響到分類的性能。當(dāng)數(shù)據(jù)量較少或不平衡的時(shí)候，網(wǎng)絡(luò)中容易出現(xiàn)過擬合問題。為有效解決這一問題，本文在數(shù)據(jù)集層面上采用DCGAN 對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)平衡處理，以用于學(xué)習(xí)不同特征的分類能力，在增加樣本數(shù)量的同時(shí)消除不平衡數(shù)據(jù)集對(duì)模型的影響。采用DCGAN 后的訓(xùn)練樣本數(shù)量如表1 所示，數(shù)量之間比較均衡。部分生成圖片如圖2 所示：其中（a）為裂紋，（b）為未焊透，（c）為條形缺陷，（d）為圓形缺陷。

DCGAN 是在對(duì)抗生成網(wǎng)絡(luò)（generative adversarial networks，GAN）的基礎(chǔ)上增加深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，以此用來生成數(shù)據(jù)樣本。GAN 算法流程如圖3 所示：其中G 表示生成網(wǎng)絡(luò)，D 為判別網(wǎng)絡(luò)，生成網(wǎng)絡(luò)模型中通過輸入噪聲Z 生成圖像，然后讓判別網(wǎng)絡(luò)判斷數(shù)據(jù)的真假，判別網(wǎng)絡(luò)的輸出是數(shù)據(jù)真實(shí)的概率。通過采用DCGAN 生成數(shù)據(jù)集，所生成的數(shù)據(jù)集相比于原始圖片內(nèi)容更加豐富，并且增加了圖片的數(shù)量。此外在DCGAN所生成數(shù)據(jù)集的基礎(chǔ)上，在網(wǎng)絡(luò)的訓(xùn)練過程中采用鏡像的在線增強(qiáng)方式，使得訓(xùn)練集數(shù)量進(jìn)一步擴(kuò)充。

圖 2 DCGAN 生成的圖片F(xiàn)ig. 2 Images generated by DCGAN

圖 3 GAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig. 3 GAN network structure

2 SINet 網(wǎng)絡(luò)模型原理

SINet 是在基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，利用2 個(gè) 3×3串聯(lián)卷積的優(yōu)勢(shì)，將4 組串聯(lián)卷積模塊與SI 模塊進(jìn)行結(jié)合。4 組串聯(lián)卷積模塊作為基礎(chǔ)學(xué)習(xí)網(wǎng)絡(luò)，用于從低到高的學(xué)習(xí)圖像的特征，每組卷積模塊后面使用最大池化層對(duì)前面卷積層進(jìn)行降維操作。將Inception 模塊與壓縮激勵(lì)模塊（SE block）相結(jié)合，形成SI 模塊。在SI 模塊中通過Inception 模塊執(zhí)行多尺度卷積操作，擴(kuò)大在特征圖上獲取特征的能力，之后重新校準(zhǔn)通道維度。最后使用全局平均池化層代替全連接層，減少模型的參數(shù)從而防止過擬合現(xiàn)象[12]。本文焊縫缺陷類型為6 類，因此在網(wǎng)絡(luò)最后輸出6 個(gè)特征圖，求取每個(gè)特征圖的平均值，所求取的值為每個(gè)類別的概率值，然后將其輸入到softmax 中進(jìn)行分類。改進(jìn)模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

2.1 3 ×3串聯(lián)卷積模塊的原理

兩兩串聯(lián)的 3×3卷積模塊，其感受野等同于一個(gè) 5×5的 卷積操作，但是所用的參數(shù)卻比 5×5卷積核要少。同種情況下假設(shè)卷積操作之后生成了10 張?zhí)卣鲌D，串聯(lián)卷積模塊所用的參數(shù)數(shù)量為2×(10×3×3)=180個(gè) ，而 5×5卷積核所用的參數(shù)為10×5×5=250個(gè)，由此可見在基于相同感受野情況下，選用兩兩串聯(lián)的 3×3卷積模塊有效減少了模型的參數(shù)。因此采用串聯(lián)卷積模塊作為基礎(chǔ)模塊對(duì)焊縫缺陷圖像進(jìn)行特征提取。

2.2 SI 模塊

圖 4 SINet 結(jié)構(gòu)Fig. 4 SINet structure

SI 模塊是將Inception 模塊與SE 模塊相結(jié)合，如圖5 所示為SI 模塊。SI 模塊從不同的接受域收集特征以提高模型的識(shí)別能力。利用多尺度卷積的思想，模塊中使用 1×1卷 積、 3×3卷 積、 5×5卷積，通過3 種不同卷積核提取了3 種不同的尺度特征來增加特征的多樣性[13]，從而提高焊縫圖像特征的提取能力。使用1 ×1卷積操作實(shí)現(xiàn)降維，減少模型的參數(shù)[14]，在增加網(wǎng)絡(luò)深度和寬度的同時(shí)防止過擬合現(xiàn)象。采用最大池化操作，操作中步長(zhǎng)設(shè)置為1，以此來保留原始輸入信息。

圖 5 SI 模塊示意圖Fig. 5 Schematic diagram of SI module

在SI 模塊中通過后半部分的壓縮激勵(lì)操作對(duì)一系列卷積操作后產(chǎn)生的特征圖進(jìn)行特征重標(biāo)定，提升有用特征，抑制無用特征。如圖6 所示為SI 模塊中壓縮激勵(lì)模塊[15]（SE block）的示意圖，其中輸入X 是經(jīng)過卷積操作后所輸出的一個(gè)三維矩陣，假定特征通道的數(shù)目為 C， W為寬度，H 為高度。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)不同，該過程需要進(jìn)行3 次操作。

1.沒有完善的管理體制。目前經(jīng)過相關(guān)的大量研究，企業(yè)財(cái)務(wù)管理發(fā)展所涉及的工作內(nèi)容有很多種，而且財(cái)政管理所包含的工作類型也涉及了很多種類，因此要想做好企業(yè)的財(cái)政工作，必須要從加強(qiáng)財(cái)政部門與其他部門的協(xié)調(diào)性。但是在我國(guó)目前企業(yè)發(fā)展過程中，財(cái)務(wù)管理工作與其他部門工作聯(lián)系不深，而且相關(guān)體系建設(shè)的也不夠完善，企業(yè)各個(gè)部門之間的協(xié)調(diào)性不夠，嚴(yán)重影響了企業(yè)的財(cái)務(wù)管理工作，不利于企業(yè)的進(jìn)一步發(fā)展。另外，內(nèi)控制度及業(yè)務(wù)流程管理也沒有得到完善，從而加大了財(cái)務(wù)風(fēng)險(xiǎn)。

圖 6 SE 模塊示意圖Fig. 6 Schematic diagram of SE module

第1 個(gè)過程稱為擠壓操作，對(duì)應(yīng)圖中的 Fsq，該操作是一個(gè)全局平均池化的操作，將特征映射通過全局平均池化層合并為1 ×1×C，如（1）式所示：

第2 個(gè)過程稱為激勵(lì)操作，即將集合向量編碼為 形 狀 1×1×(C/r)，用2 個(gè)FC 層 將 其 解 碼 回1×1×C ，得到 s， W1的 維度是 C/r×C， W2的維度是C×C/r，如（2）式所示：

最后，在特征選擇后，再進(jìn)行重標(biāo)定操作，將激勵(lì)輸出的權(quán)重作為每個(gè)特征通道的重要性，然后通過通道權(quán)重對(duì)先前的特征進(jìn)行加權(quán)，使之在通道維度上完全配對(duì)。對(duì)應(yīng)圖中的 Fscale操作，如（3）式所示：

通過SI 模塊中的多尺度特征融合以及壓縮激勵(lì)操作，對(duì)基礎(chǔ)卷積操作所提取的特征進(jìn)一步處理，利用多尺度特征，提高對(duì)焊縫缺陷特征的提取能力。后續(xù)通過壓縮激勵(lì)操作對(duì)所提取的特征圖進(jìn)行特征重標(biāo)定，使得有用的特征權(quán)值變大，從而提高焊縫缺陷分類的準(zhǔn)確率。

3 實(shí)驗(yàn)

本文采用的框架為Caffe 框架。在模型訓(xùn)練過程中，使用自適應(yīng)矩估計(jì)算法[16]（adaptive moment estimation，Adam）在數(shù)據(jù)集上訓(xùn)練模型。初始學(xué)習(xí)速率（base_lr）設(shè)為0.000 1。每次訓(xùn)練輸入模型的圖片數(shù)量（batch_size）設(shè)置為32。在實(shí)驗(yàn)中使用批量歸一化（batch normalization，BN）算法來加速模型的收斂和防止過擬合。

3.1 評(píng)價(jià)指標(biāo)

式中： nj表示j 類缺陷的焊縫圖片數(shù)量； mj表示正確分為j 類的圖片數(shù)量；K 為類別數(shù)目，本文中K 為6。

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中首先使用原始數(shù)據(jù)集對(duì)SINet 網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，將數(shù)據(jù)集按照4∶1 的比例劃分為訓(xùn)練集和測(cè)試集。將訓(xùn)練好的模型在測(cè)試集上進(jìn)行驗(yàn)證，該模型在測(cè)試集上的準(zhǔn)確率為93.86%。之后采用DCGAN 平衡后的數(shù)據(jù)集，將所改進(jìn)的網(wǎng)絡(luò)模型重新進(jìn)行訓(xùn)練。圖7（a）為SINet 網(wǎng)絡(luò)模型在訓(xùn)練和測(cè)試過程中的loss 曲線圖，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示loss 值；圖7（b）為測(cè)試過程中準(zhǔn)確率的曲線圖，橫坐標(biāo)為迭代次數(shù)，縱坐標(biāo)為準(zhǔn)確率值。

圖 7 SINet 曲線圖Fig. 7 SINet curve

從圖7（a）中可以看到，隨著迭代次數(shù)的增長(zhǎng)，其loss 值也在快速降低，在1 000 次以后開始收斂，且在該過程中訓(xùn)練集與測(cè)試集的loss 曲線大體上均趨于同步收斂。圖7（b）中，測(cè)試集的準(zhǔn)確率在1 000 次之后趨于穩(wěn)定，且測(cè)試集的準(zhǔn)確率為96.77%。

表2 為SINet 網(wǎng)絡(luò)模型下，通過以上評(píng)價(jià)指標(biāo)計(jì)算出的每類缺陷的分類結(jié)果及其準(zhǔn)確率。從表中可以看出無缺陷圖像的分類準(zhǔn)確率為100%，裂紋以及圓形缺陷的分類準(zhǔn)確率均在98%以上，識(shí)別效果也較好。而未熔合、未焊透與條形缺陷的分類準(zhǔn)確率較低。在未熔合缺陷中有8 張錯(cuò)分為未焊透，有2 張錯(cuò)分為裂紋，在未焊透中有4 張錯(cuò)分為未熔合，在條形中有4 張錯(cuò)分為未焊透，其原因可能是這3 類圖像比較相像。

表 2 焊縫缺陷的分類結(jié)果Table 2 Classification results of weld defects

圖8（a）為焊縫缺陷圖像正確分類的例子，圖8（b）為焊縫缺陷圖像錯(cuò)誤分類的例子。通過對(duì)比可以看出錯(cuò)誤分類的例子中未能識(shí)別出裂紋、未焊透且圓形缺陷的圖片較為模糊，圓形缺陷呈現(xiàn)出正常的視覺特征，未能識(shí)別未熔合缺陷的圖片與裂紋缺陷圖片較為相似，同樣，錯(cuò)分的條形缺陷與未焊透缺陷存在圖片相似問題。因此在識(shí)別過程中存在識(shí)別錯(cuò)誤的情況。

本文將所改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)SINet 與Alex-Net、VGG16、ResNet50 在數(shù)據(jù)集上進(jìn)行對(duì)比，分別比較了不同模型在同一測(cè)試集下的準(zhǔn)確率和訓(xùn)練所生成的模型大小。表3 為4 種網(wǎng)絡(luò)的對(duì)比情況。

圖 8 部分測(cè)試樣本分類結(jié)果Fig. 8 Classification results of some test samples

表 3 不同網(wǎng)絡(luò)準(zhǔn)確率和參數(shù)對(duì)比表Table 3 Comparison of accuracy and parameters in different networks

從表3 中看到SINet 測(cè)試準(zhǔn)確率均高于其他卷積神經(jīng)網(wǎng)絡(luò)，且模型規(guī)模也最小。表中AlexNet、VGG16 訓(xùn)練模型的大小分別為115.6 MB 和159.6 MB，訓(xùn)練模型較大，其原因是網(wǎng)絡(luò)結(jié)構(gòu)最后使用的都是全連接層，導(dǎo)致網(wǎng)絡(luò)模型的規(guī)模要大于其他卷積神經(jīng)網(wǎng)絡(luò)。ResNet50 模型的大小為94.5 MB，雖然該模型層數(shù)較深但是由于其最后采用全局平均池化層，因此網(wǎng)絡(luò)模型參數(shù)較少。而本文所提出的SINet，其模型大小僅為20.0 MB，其原因在于網(wǎng)絡(luò)中采用了串聯(lián)卷積操作、SI 模塊以及最后采用全局平均池化層，這種結(jié)構(gòu)可有效地減小網(wǎng)絡(luò)模型的大小。該模型對(duì)于焊縫缺陷圖像的分類效果也比較好，準(zhǔn)確率為96.77%，原因在于該模型中的SI 模塊對(duì)缺陷圖像進(jìn)行多尺度融合以及特征重用，使得網(wǎng)絡(luò)對(duì)圖像提取特征的能力增強(qiáng)，進(jìn)而進(jìn)行良好的分類。

4 結(jié)論

針對(duì)焊縫缺陷圖像的分類問題，本文提出了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型SINet，并且為消除數(shù)據(jù)不平衡對(duì)模型的影響，采用DCGAN 對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)平衡處理，在該數(shù)據(jù)集上驗(yàn)證模型的有效性。SINet 以4 組2 個(gè) 3×3卷積串聯(lián)為基礎(chǔ)學(xué)習(xí)網(wǎng)絡(luò)與SI 模塊相結(jié)合，利用SI 模塊中的多尺度卷積操作以及壓縮激勵(lì)操作，提高焊縫缺陷圖像的分類精度。同時(shí)采用全局平均池化層代替全連接層，減少參數(shù)，防止過擬合現(xiàn)象的發(fā)生。經(jīng)實(shí)驗(yàn)證明SINet 網(wǎng)絡(luò)模型在焊縫缺陷圖像測(cè)試集上的準(zhǔn)確率達(dá)到96.77%。