一種基于A 掃缺陷識(shí)別的多任務(wù)深度學(xué)習(xí)方法

鄒宸瑋，王狄飏

（上海工程技術(shù)大學(xué) 航空運(yùn)輸學(xué)院，上海 201620）

0 引言

在工業(yè)生產(chǎn)過(guò)程以及實(shí)驗(yàn)研究過(guò)程中，由于各種不可控的原因造成材料或零部件的損傷和腐蝕等情況，帶來(lái)的影響不言而喻，如：導(dǎo)致工業(yè)產(chǎn)品不合格，縮短材料或設(shè)備使用壽命，因材料或零部件的不合格有可能會(huì)產(chǎn)生一系列事故。

近年來(lái)，無(wú)損檢測(cè)技術(shù)迅速發(fā)展，國(guó)內(nèi)外針對(duì)缺陷圖像缺陷檢測(cè)的方法層出不窮。孫曉幫［1］等設(shè)計(jì)基于線掃視覺的自動(dòng)表面缺陷檢測(cè)系統(tǒng)，利用二值計(jì)算過(guò)濾較小瑕疵，對(duì)圖像進(jìn)行腐蝕，隨后進(jìn)行膨脹，去除毛刺、孤立點(diǎn)等，實(shí)驗(yàn)表明該方法適用于較為明顯的缺陷，對(duì)于內(nèi)部缺陷或表面不明顯的缺陷檢測(cè)效果不佳；韓君利［2］等提出一種基于機(jī)器視覺的檢測(cè)方法，利用線掃相機(jī)自動(dòng)完成對(duì)表面缺陷檢測(cè)任務(wù)，該方法在檢測(cè)的便捷性上有一定的優(yōu)勢(shì)，但重度依賴線性相機(jī)；蔡松錢［3］提出一種卷積神經(jīng)網(wǎng)絡(luò)的缺陷檢測(cè)方法，首先對(duì)網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)進(jìn)行微調(diào)，放入圖像，并提取特征部分進(jìn)行缺陷分類和定位，該方法網(wǎng)絡(luò)層數(shù)低，對(duì)圖像中較小特征的識(shí)別效果較差，訓(xùn)練時(shí)間長(zhǎng)，精度不高；姚宗偉［4］提出一種使用全卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷檢測(cè)，但該方法的理解能力不足，模型過(guò)于冗余，訓(xùn)練過(guò)程時(shí)間長(zhǎng)；陳宗仁［5］提出一種基于深度學(xué)習(xí)的缺陷檢測(cè)方法，經(jīng)過(guò)預(yù)處理后，利用FCN 網(wǎng)絡(luò)訓(xùn)練多個(gè)級(jí)聯(lián)分類器，結(jié)合決策權(quán)重，實(shí)現(xiàn)缺陷檢測(cè)。

利用深度學(xué)習(xí)進(jìn)行檢測(cè)的方法層出不窮，通過(guò)二維時(shí)頻圖像進(jìn)行缺陷檢測(cè)較少。本文利用深度學(xué)習(xí)Resnet 網(wǎng)絡(luò)相關(guān)方法，能夠準(zhǔn)確的對(duì)缺陷進(jìn)行識(shí)別與分類，具有訓(xùn)練時(shí)間短，準(zhǔn)確率高等特點(diǎn)。

1 Resnet 網(wǎng)絡(luò)結(jié)構(gòu)

Resnet 網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)而提出的［6］，其最大的特點(diǎn)在于從輸入到輸出只有一條主線，能夠直觀的保留部分容易被忽略的小感受野目標(biāo)特征，同時(shí)還能解決神經(jīng)網(wǎng)絡(luò)的退化問題，可以實(shí)現(xiàn)跨層式的信息傳遞，以這種方式保留更多的細(xì)節(jié)特征信息，有效的避免由非線性問題引起的衰減。Resnet 網(wǎng)絡(luò)加入了對(duì)網(wǎng)絡(luò)學(xué)習(xí)和測(cè)試起到重要作用的BN（Batch Normalization）層，能夠有效解決梯度爆炸和收斂速度緩慢的問題，在一定程度加快網(wǎng)絡(luò)的訓(xùn)練速度，減少網(wǎng)絡(luò)訓(xùn)練時(shí)間。另一方面，加入BN 層能夠起到正則化的作用，再考慮過(guò)擬合中Dropout、L2 正則化參數(shù)的問題。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程中，當(dāng)網(wǎng)絡(luò)加深到一定層次時(shí)，權(quán)值梯度彌散較慢，進(jìn)而造成訓(xùn)練效果很差。而Resnet 網(wǎng)絡(luò)中的殘差結(jié)構(gòu)就是基于這一理念而設(shè)計(jì)的，該網(wǎng)絡(luò)將輸入直接加到輸出中，有效的避免了網(wǎng)絡(luò)不斷加深時(shí)，非線性函數(shù)的衰減問題，殘差結(jié)構(gòu)如圖1 所示。

圖1 殘差結(jié)構(gòu)Fig.1 Residual structure

Resnet 網(wǎng)絡(luò)結(jié)構(gòu)靈活，只要適當(dāng)?shù)男薷木W(wǎng)絡(luò)內(nèi)的殘差結(jié)構(gòu)塊數(shù)量，就能夠起到調(diào)整網(wǎng)絡(luò)的作用。相較于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)，Resnet 網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)權(quán)重的波動(dòng)更為敏感，Resnet 網(wǎng)絡(luò)所需的計(jì)算量大幅下降，復(fù)雜度也進(jìn)一步降低［7］。具體Resnet 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 Resnet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Resnet network structure

本文對(duì)Letnet-5、Alexnet、Resnet18、Resnet34、Mobilenet-V2 等5 種網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)，網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率匯總見表1。Resnet18 與Resnet34 效果較好，網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確率較高，但綜合訓(xùn)練時(shí)間與精度兩個(gè)因素，最后選擇Resnet18 網(wǎng)絡(luò)與小波變換作為本文的主要網(wǎng)絡(luò)和方法。

表1 網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率Tab.1 Network training accuracy %

2 時(shí)頻圖像轉(zhuǎn)換

2.1 數(shù)據(jù)提取

將時(shí)頻圖像作為訓(xùn)練集進(jìn)行訓(xùn)練之前，需提取A 掃波形圖像的數(shù)據(jù)，隨后將提取出的一維時(shí)序數(shù)據(jù)轉(zhuǎn)換為二維時(shí)頻圖像。

首先進(jìn)行預(yù)處理，預(yù)處理包括對(duì)數(shù)據(jù)進(jìn)行歸一化處理和去噪，主要有極大值抑制、相關(guān)性去噪、閾值等去噪方式。閾值去噪的方法計(jì)算速度更快且噪聲抑制效果好［8］，本文選擇閾值去噪方式，隨后進(jìn)行波形數(shù)據(jù)的提取，在波形數(shù)據(jù)提取過(guò)程根據(jù)波形變化，若波形變化緩慢，則采用離散小波變換分解（DWT）；若波形變化較快，則采用非抽取性小波變換分解（UWT）。

2.2 時(shí)頻圖像轉(zhuǎn)換

目前，針對(duì)一維時(shí)序數(shù)據(jù)轉(zhuǎn)為二維時(shí)頻圖像的方法較多，如短時(shí)傅里葉變換（SIFT）、馬爾科夫變遷場(chǎng)（MTF）、格拉姆角場(chǎng)（GAF）、小波變換（WCT）、S 變換等方法［9］。本文采用小波變換將波形圖像中得到的時(shí)序數(shù)據(jù)轉(zhuǎn)換成二維時(shí)頻圖像，隨后放入深度學(xué)習(xí)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。

小波變換有較強(qiáng)的數(shù)據(jù)提取能力，其能量較為集中，能夠在信號(hào)中提取到有用的信息。在利用小波變換的過(guò)程中，小波基函數(shù)尤為重要，其會(huì)發(fā)生衰減且其長(zhǎng)度有限［10］。利用這個(gè)特點(diǎn)，使用小波基函數(shù)代替三角函數(shù)實(shí)現(xiàn)傅里葉變換，并按照需求調(diào)整小波變換的尺度，得到不同時(shí)度的小波，進(jìn)而實(shí)現(xiàn)多分辨率與局部的時(shí)頻分析［11］。小波變換的公式（1）［12］：

其中，φ（t）、a、τ分別代表小波母函數(shù)、尺度值與偏移量，可以控制小波函數(shù)的收縮和平移。

根據(jù)需求對(duì)小波變換的時(shí)頻窗進(jìn)行調(diào)整，對(duì)不同特點(diǎn)的信號(hào)進(jìn)行調(diào)節(jié)，對(duì)低頻信號(hào)加寬窗，對(duì)高頻信號(hào)降低窗值。

利用小波變換，將圖3 中的原圖數(shù)據(jù)轉(zhuǎn)為一維時(shí)序數(shù)據(jù)并分別轉(zhuǎn)換為二維時(shí)頻圖像，結(jié)果如圖4所示。

圖3 原圖數(shù)據(jù)Fig.3 Original drawing data

圖4 二維時(shí)頻圖像Fig.4 Two dimensional time-frequency image

3 實(shí)驗(yàn)與分析

本文將數(shù)據(jù)集5 個(gè)類型的圖像以8 ∶2 的比例分為訓(xùn)練集與驗(yàn)證集。用Resnet18 網(wǎng)絡(luò)，對(duì)優(yōu)化器的選取與學(xué)習(xí)率參數(shù)進(jìn)行選擇，以篩選出適合的最優(yōu)參數(shù)。

實(shí)驗(yàn)樣件的缺陷分為裂紋、腐蝕、劃痕、油漬、夾雜等5 種，分別用標(biāo)號(hào)1-5 對(duì)上述5 種缺陷進(jìn)行表示。對(duì)實(shí)驗(yàn)樣本中的各個(gè)缺陷類型進(jìn)行多次采樣，獲取對(duì)應(yīng)缺陷的A 掃描樣本數(shù)據(jù)集。隨即提取數(shù)據(jù)，并將其轉(zhuǎn)為二維時(shí)頻圖像，并對(duì)時(shí)頻圖像數(shù)據(jù)進(jìn)行擴(kuò)充，最后進(jìn)行訓(xùn)練。

3.1 實(shí)驗(yàn)步驟

（1）利用超聲相控陣探傷儀對(duì)缺陷檢測(cè)樣本進(jìn)行檢測(cè)，得到A 掃圖像數(shù)據(jù)；

（2）提取波形圖上數(shù)據(jù)；

（3）將提取到的一維時(shí)序數(shù)據(jù)進(jìn)行小波變換，轉(zhuǎn)為二維時(shí)頻圖像；

（4）將所采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充，利用本文的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練模型；

（5）對(duì)模型中參數(shù)進(jìn)行微調(diào)，避免過(guò)擬合、訓(xùn)練精度低等情況。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

選用Resnet18 網(wǎng)絡(luò)，將SGD 與Adam 兩種優(yōu)化器作為實(shí)驗(yàn)變量，選擇3 種學(xué)習(xí)率learning rate（lr）即0.000 1、0.001、0.01 分別進(jìn)行訓(xùn)練。設(shè)定每輪訓(xùn)練次數(shù)Epoch 為200，每批樣本大小Batch size 為16，利用小波變換得到二維時(shí)頻圖像，訓(xùn)練曲線圖如圖5～圖10 所示。

圖5 SGD+lr＝0.000 1 訓(xùn)練曲線圖Fig.5 SGD+lr＝0.0001 training curve

圖6 SGD+lr＝0.001 訓(xùn)練曲線圖Fig.6 SGD+lr＝0.001 Training Curve

圖7 SGD+lr＝0.01 訓(xùn)練曲線圖Fig.7 SGD+lr＝0.01 training curve

圖8 Adam+lr＝0.000 1 訓(xùn)練曲線圖Fig.8 Adam+lr＝0.0001 training curve

圖9 Adam+lr＝0.001 訓(xùn)練曲線圖Fig.9 Adam+lr＝0.001 training curve

圖10 Adam+lr＝0.01 訓(xùn)練曲線圖Fig.10 Adam+lr＝0.01 training curve

3.3 實(shí)驗(yàn)結(jié)果分析

由圖5～圖10 可知，使用不同的優(yōu)化器與學(xué)習(xí)率，訓(xùn)練準(zhǔn)確率有所差異，所有方式的訓(xùn)練準(zhǔn)確率均大于78.32%，效果較為良好，但有的訓(xùn)練曲線圖的振蕩較為明顯，擬合度較差，采用Adam 優(yōu)化器，學(xué)習(xí)率為0.01 的情況下尤為明顯；利用SGD 優(yōu)化器，學(xué)習(xí)率為0.0001 時(shí)，準(zhǔn)確率最高。不同優(yōu)化器與學(xué)習(xí)率對(duì)應(yīng)的最高準(zhǔn)確率見表2。

表2 兩種優(yōu)化器對(duì)應(yīng)不同學(xué)習(xí)率的最高準(zhǔn)確率Tab.2 Maximum accuracy of two optimizers corresponding to different learning rates

通過(guò)表2 與不同組合的訓(xùn)練曲線圖，可以得出結(jié)論：本文Resnet18 網(wǎng)絡(luò)采用SGD 優(yōu)化器，學(xué)習(xí)率參數(shù)設(shè)置為0.000 1 時(shí)，效果最好，最高準(zhǔn)確率能夠達(dá)到98.90%。

3.4 缺陷識(shí)別

將驗(yàn)證集中每種類型圖像各選取5 張，對(duì)其進(jìn)行識(shí)別與類型檢測(cè)，得到具體某張圖像的類別以及其對(duì)應(yīng)的概率見表3，可見各類型檢測(cè)效果較好，識(shí)別率較高，能夠較為準(zhǔn)確的識(shí)別出圖像所對(duì)應(yīng)的類型。

表3 識(shí)別概率Tab.3 Recognition probability

3.5 評(píng)價(jià)指標(biāo)

本文采用準(zhǔn)確率（Accuracy）、查準(zhǔn)率（Precision）、召回率（Recall）作為模型的評(píng)價(jià)指標(biāo)。Accuracy代表模型預(yù)測(cè)正確的樣本比例；Precision表示預(yù)測(cè)正確的正樣本準(zhǔn)確率；Recall也叫查全率，旨在找到實(shí)際為正的樣本中多少被預(yù)測(cè)正確。

計(jì)算公式（2）～式（4）：

其中，TP為正樣本中被正確識(shí)別的數(shù)量；FP為誤報(bào)的負(fù)樣本數(shù)量；TN為負(fù)樣本中被正確識(shí)別的數(shù)量；FN為漏報(bào)的正樣本數(shù)量。

經(jīng)計(jì)算求得整個(gè)模型的準(zhǔn)確率、查準(zhǔn)率和召回率，分別為98.90%、99.25%、98.60%。

4 結(jié)束語(yǔ)

本文提出一種基于A 掃缺陷識(shí)別的多任務(wù)深度學(xué)習(xí)方法，將超聲相控陣A 掃檢測(cè)的缺陷圖像，經(jīng)過(guò)小波變換轉(zhuǎn)換為二維時(shí)頻圖像，利用Resnet 網(wǎng)絡(luò)對(duì)5 種類型缺陷進(jìn)行準(zhǔn)確識(shí)別。