基于輕量神經(jīng)網(wǎng)絡(luò)的鋼材表面缺陷快速識(shí)別

袁洪強(qiáng),杜國(guó)鋒,余澤禹,衛(wèi)小龍

(1.長(zhǎng)江大學(xué)石油工程學(xué)院，武漢 430100；2.長(zhǎng)江大學(xué)城市建設(shè)學(xué)院，荊州 434023；3.長(zhǎng)江大學(xué)電子信息學(xué)院，荊州 434023)

鋼材在生產(chǎn)制造過(guò)程中不可避免地會(huì)產(chǎn)生一些表面缺陷，這些缺陷將會(huì)導(dǎo)致鋼材的耐蝕性、耐磨性、疲勞強(qiáng)度等顯著降低，并影響最終產(chǎn)品的質(zhì)量。傳統(tǒng)的鋼材表面質(zhì)量主要依靠人工檢測(cè)，主觀性強(qiáng)，勞動(dòng)量大，耗時(shí)較多，不利于實(shí)時(shí)高效檢查[1-2]。因此，開(kāi)發(fā)準(zhǔn)確高效的鋼材表面缺陷全自動(dòng)識(shí)別和檢測(cè)方案很有必要。目前，基于機(jī)器視覺(jué)的表面缺陷裝備已經(jīng)在各工業(yè)領(lǐng)域廣泛替代人工肉眼檢測(cè)[3]。隨著以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型在諸多計(jì)算機(jī)視覺(jué)領(lǐng)域成功應(yīng)用，不少基于深度學(xué)習(xí)的缺陷檢測(cè)方法也得到了中外學(xué)者的大量研究，并被廣泛應(yīng)用在鋼材表面檢測(cè)等各種工業(yè)場(chǎng)景中。Yi等[4]基于對(duì)稱環(huán)繞顯著圖和卷積神經(jīng)網(wǎng)絡(luò)提出一種端到端的鋼帶表面缺陷檢測(cè)方法并利用東北大學(xué)發(fā)布的鋼材表面缺陷數(shù)據(jù)集(NEU數(shù)據(jù)集)進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該方法具有較高的缺陷識(shí)別精度。Guan等[5]通過(guò)使用特征可視化和質(zhì)量評(píng)估的方法提出一種改進(jìn)的損傷識(shí)別模型，與ResNet模型和VGG19模型相比能顯著提高鋼材表面損傷識(shí)別分類的精度。針對(duì)訓(xùn)練樣本少和數(shù)據(jù)集不均衡的情況，Wan等[6]基于圖像快速處理和遷移學(xué)習(xí)構(gòu)建了一種改進(jìn)的VGG19神經(jīng)網(wǎng)絡(luò)模型，大幅度提高了鋼材表面缺陷檢測(cè)的速度和精度。陳建強(qiáng)等[7]采用特征交叉融合的方法對(duì)單桿多框檢測(cè)網(wǎng)絡(luò)SSD (single shot multibox detector)進(jìn)行改進(jìn)，通過(guò)增強(qiáng)低層特征圖的語(yǔ)義信息實(shí)現(xiàn)了熱軋鋼帶表面缺陷的高效識(shí)別。楊莉等[8]通過(guò)設(shè)計(jì)調(diào)節(jié)機(jī)制并提出一種多任務(wù)結(jié)構(gòu)對(duì)R-CNN模型進(jìn)行改進(jìn)，提高了網(wǎng)絡(luò)的召回率和準(zhǔn)確率，對(duì)鋼材表面缺陷尤其是小缺陷有較好的檢測(cè)性能。常江等[9]引入生成對(duì)抗網(wǎng)絡(luò)擴(kuò)充數(shù)據(jù)集并對(duì)輕量神經(jīng)網(wǎng)絡(luò)MobileNetV3進(jìn)行改進(jìn)，解決了訓(xùn)練樣本不足的問(wèn)題并在工業(yè)現(xiàn)場(chǎng)實(shí)現(xiàn)了帶鋼表面缺陷的實(shí)時(shí)分類。

隨著神經(jīng)網(wǎng)絡(luò)模型的不斷發(fā)展，為完成更復(fù)雜的任務(wù)，深度神經(jīng)網(wǎng)絡(luò)變得越來(lái)越深，計(jì)算量也越來(lái)越來(lái)越大，這些計(jì)算密集型和存儲(chǔ)密集型的深度神經(jīng)網(wǎng)絡(luò)遠(yuǎn)遠(yuǎn)超出了移動(dòng)端設(shè)備的承載能力[10]。在實(shí)際生產(chǎn)環(huán)境下，鋼材產(chǎn)量較大且需要盡快檢測(cè)，這對(duì)實(shí)時(shí)、高效及準(zhǔn)確檢測(cè)鋼材表面缺陷提出了較高的要求。如何將神經(jīng)網(wǎng)絡(luò)模型部署在有限資源的硬件平臺(tái)如手機(jī)等上面，通過(guò)降低內(nèi)存成本和加速計(jì)算來(lái)實(shí)現(xiàn)工業(yè)現(xiàn)場(chǎng)實(shí)時(shí)準(zhǔn)確檢測(cè)是一個(gè)需要解決的問(wèn)題?；诖耍F(xiàn)提出一種可部署于移動(dòng)端的輕量卷積神經(jīng)網(wǎng)絡(luò)模型MobileNetV3_small_tp，該模型是以MobileNetV3模型為基礎(chǔ)，結(jié)合ResNet50利用知識(shí)蒸餾的方法得到的改進(jìn)模型。經(jīng)在微調(diào)后的NEU帶鋼表面缺陷數(shù)據(jù)集中訓(xùn)練和測(cè)試后，加載在手機(jī)端進(jìn)行實(shí)際工況下鋼材表面缺陷識(shí)別。該模型表現(xiàn)出良好的移動(dòng)端適配性和流暢的運(yùn)行速度，同時(shí)能實(shí)現(xiàn)準(zhǔn)確高效的鋼材表面缺陷識(shí)別功能。

1 MobileNetV3模型改進(jìn)

MobileNet是目前最先進(jìn)的輕量型目標(biāo)檢測(cè)網(wǎng)絡(luò)之一，一經(jīng)發(fā)布便引起了國(guó)內(nèi)外研究人員的廣泛興趣。經(jīng)過(guò)兩個(gè)版本的迭代之后，2019年5月谷發(fā)布了MobileNet系列的最新版本MobileNetV3[11]。與之前版本相比，MobileNetV3既繼承了MobileNetV1的深度可分離卷積結(jié)構(gòu)(depthwise separable convolutions)和MobileNetV2的具有線性瓶頸的逆殘差結(jié)構(gòu)(the inverted residual with linear bottleneck)，又根據(jù)MnasNet[12]引入了基于壓縮獎(jiǎng)懲結(jié)構(gòu)(squeeze and excitation)的輕量級(jí)注意力模型，網(wǎng)絡(luò)結(jié)構(gòu)和運(yùn)行效率得到進(jìn)一步優(yōu)化。

對(duì)一般的神經(jīng)網(wǎng)絡(luò)而言，在訓(xùn)練時(shí)隨著網(wǎng)絡(luò)的加深會(huì)出現(xiàn)梯度爆炸和梯度消失等情況，導(dǎo)致測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的準(zhǔn)確率變低，優(yōu)化效果變差。為了解決這個(gè)問(wèn)題，He等[13]提出一種基于殘差塊構(gòu)建的ResNet模型，通過(guò)在網(wǎng)絡(luò)中增加直連通道，允許原始輸入信息直接傳到后面的層中，保護(hù)信息的完整性。ResNet參數(shù)量相對(duì)較少，錯(cuò)誤率低，訓(xùn)練效果突出。ResNet在PyTorch的官方代碼中共有5種不同深度的結(jié)構(gòu)，深度分別為 18、34、50、101、152。

為進(jìn)一步優(yōu)化鋼材表面缺陷檢測(cè)模型的結(jié)構(gòu)，提升運(yùn)行效率和實(shí)時(shí)檢測(cè)準(zhǔn)確率，現(xiàn)將收斂性更好的ResNet50作為teacher網(wǎng)絡(luò)，將small版本的MobileNetV3作為student網(wǎng)絡(luò)在數(shù)據(jù)集ImageNet[14]上進(jìn)行訓(xùn)練，通過(guò)知識(shí)蒸餾[15]的方法對(duì)MobileNetV3進(jìn)行模型改進(jìn)。通過(guò)提高ResNet50模型softmax層的temperature參數(shù)獲得一個(gè)合適的soft target集合，然后對(duì)要訓(xùn)練的MobileNetV3模型使用同樣的temperature參數(shù)值匹配ResNet50模型的soft target集合，作為MobileNetV3模型總目標(biāo)函數(shù)的一部分，以誘導(dǎo)其訓(xùn)練從而實(shí)現(xiàn)知識(shí)的遷移，其大致過(guò)程如圖1所示。

經(jīng)知識(shí)蒸餾過(guò)程后生成的模型MobileNetV3 _small_tp的部分網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

圖1 知識(shí)蒸餾過(guò)程圖Fig.1 Diagram of knowledge distillation process

表1 MobileNetV3_small_tp模型部分網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Part of the network structure of MobileNetV3_small_tp

2 鋼材表面缺陷數(shù)據(jù)集

采用He等[16]制作的帶鋼表面缺陷數(shù)據(jù)集NEU作為目標(biāo)數(shù)據(jù)集開(kāi)展實(shí)驗(yàn)研究。NEU數(shù)據(jù)集包含有6種不同類型的缺陷，即軋入氧化皮(Rs)、斑塊(Pa)、細(xì)紋(Cr)、點(diǎn)蝕(Ps)、夾雜(In)和劃痕(Sc)，每種缺陷包含300張分辨率為200×200的灰度圖片。圖2所示即為NEU數(shù)據(jù)集中所包含的6種典型帶鋼表面缺陷的部分示例圖，每一列表示一種類型的缺陷。

考慮到由于相機(jī)性能和現(xiàn)場(chǎng)環(huán)境的影響，可能導(dǎo)致獲取的鋼材表面圖片出現(xiàn)亮度變化、對(duì)比度變化和角度旋轉(zhuǎn)和翻轉(zhuǎn)，因而在模型訓(xùn)練過(guò)程中，采用表2中所示的概率參數(shù)隨機(jī)調(diào)整數(shù)據(jù)集中圖片的亮度、對(duì)比度、旋轉(zhuǎn)和翻轉(zhuǎn)情況，對(duì)NEU數(shù)據(jù)集進(jìn)行增強(qiáng)以更好地模擬實(shí)際工況下鋼材表面缺陷識(shí)別和檢測(cè)。隨機(jī)調(diào)整后的示例圖片如圖3所示。

圖2 NEU數(shù)據(jù)集中6種表面缺陷示例圖Fig.2 Sample images of six types of surface defect in the NEU dataset

表2 NEU數(shù)據(jù)集圖片隨機(jī)調(diào)整參數(shù)Table 2 Random adjustment parameters of images in NEU

圖3 隨機(jī)調(diào)整后的表面缺陷圖片F(xiàn)ig.3 Pictures of surface defects after random adjustment

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)過(guò)程中，將NEU數(shù)據(jù)集中各類型鋼材表面缺陷圖片劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集三部分，具體劃分情況如表3所示。

首先，利用NEU中各類型缺陷的訓(xùn)練集中的圖片對(duì)模型MobileNetV3_small_tp進(jìn)行訓(xùn)練。訓(xùn)練時(shí)將數(shù)據(jù)集中的圖片根據(jù)表2中的參數(shù)進(jìn)行隨機(jī)調(diào)整，訓(xùn)練的迭代論數(shù)為120輪，學(xué)習(xí)率為0.01，批大小為32。在每輪的訓(xùn)練過(guò)程中均保存模型一輪訓(xùn)練準(zhǔn)確率acc1變化情況，并考察模型訓(xùn)練過(guò)程中的整體準(zhǔn)確率和和損失情況。

表3 NEU數(shù)據(jù)集劃分Table 3 NEU dataset division

其次，利用驗(yàn)證集對(duì)MobileNetV3_small_tp模型進(jìn)行驗(yàn)證，通過(guò)驗(yàn)證結(jié)果檢驗(yàn)MobileNetV3_small_tp模型識(shí)別鋼材表面缺陷的有效性。

再次，利用測(cè)試數(shù)據(jù)集對(duì)MobileNetV3_small_tp模型的表面缺陷識(shí)別能力進(jìn)行測(cè)試。

最后，將MobileNetV3_small_tp模型部署到移動(dòng)端并對(duì)實(shí)際鋼材表面圖片進(jìn)行檢測(cè)，識(shí)別缺陷類型并檢驗(yàn)移動(dòng)端檢測(cè)的效率和精度。使用的移動(dòng)端設(shè)備為一臺(tái)搭載安卓系統(tǒng)的手機(jī)，其主要配置為：CPU 2.3 GHz(8核)，RAM 6 GB，GPU Adreno 512。

3.2 實(shí)驗(yàn)結(jié)果分析

在模型訓(xùn)練過(guò)程中，先對(duì)模型進(jìn)行測(cè)試性訓(xùn)練并記錄acc1變化曲線以考察的模型的識(shí)別精度變化情況，如圖4所示。從圖4中可知，在第10輪訓(xùn)練中acc1的值達(dá)到最高，并在之后的訓(xùn)練中保持穩(wěn)定。

圖4 測(cè)試性訓(xùn)練過(guò)程中acc1變化情況Fig.4 acc1 variation during testing model training

圖5所示分別為模型實(shí)際訓(xùn)練過(guò)程中一輪訓(xùn)練準(zhǔn)確率acc1、學(xué)習(xí)率lr及損失loss隨訓(xùn)練步長(zhǎng)的整體變化情況，從圖5中可知，在經(jīng)過(guò)多次迭代后，模型預(yù)測(cè)排名第一的類別與實(shí)際結(jié)果相符的準(zhǔn)確率acc1達(dá)到1且保持穩(wěn)定。

為系統(tǒng)地研究MobileNetV3_small_tp模型對(duì)NEU數(shù)據(jù)集中6種類型的鋼材表面缺陷識(shí)別情況，建立識(shí)別結(jié)果的混淆矩陣，如圖6所示。

在該混淆矩陣中，縱坐標(biāo)表示真實(shí)的缺陷類型，橫坐標(biāo)表示模型識(shí)別的缺陷類型，所有正確的識(shí)別結(jié)構(gòu)都記錄在矩陣的對(duì)角線單元中。根據(jù)表3可知本文提出的模型可行且具有較高的識(shí)別精度。

利用MobileNetV3_small_tp模型對(duì)測(cè)試數(shù)據(jù)集中的180張圖片進(jìn)行測(cè)試，總耗時(shí)45.82 s，平均每張圖片耗時(shí)5.5 ms。據(jù)表4、表5中所列模型測(cè)試各項(xiàng)整體指標(biāo)可知，MobileNetV3_small_tp模型在測(cè)試中表現(xiàn)良好，具有較高的識(shí)別精度和泛化能力。

圖5 模型訓(xùn)練過(guò)程中特征指數(shù)變化曲線Fig.5 Characteristic index variation curve during model training

圖6 模型測(cè)試結(jié)果混淆矩陣Fig.6 The confusion matrix of model testing results

表4 模型測(cè)試整體平均指標(biāo)Table 4 Overall average indicators of model testing

表5 模型測(cè)試評(píng)估結(jié)果Table 5 Evaluation results of model testing

將MobileNetV3_small_tp模型部署到移動(dòng)端并對(duì)實(shí)際鋼材表面進(jìn)行檢測(cè)，部分識(shí)別結(jié)果如圖7所示。

利用移動(dòng)端檢測(cè)實(shí)際鋼材的表面缺陷時(shí)每張圖片平均耗時(shí)24 ms，識(shí)別分類的準(zhǔn)確率達(dá)到100%，顯示了MobileNetV3_small_tp模型在移動(dòng)端良好的適配性和高效性，且能實(shí)現(xiàn)對(duì)鋼材表面缺陷的高精度分類識(shí)別。

圖7 鋼材表面缺陷移動(dòng)端實(shí)際檢測(cè)結(jié)果Fig.7 Actual detection results of steel surface defect via mobile device

4 結(jié)論

為實(shí)現(xiàn)基于移動(dòng)端的鋼材表面缺陷快速精準(zhǔn)識(shí)別，首先結(jié)合ResNet50和MobileNetV3的優(yōu)勢(shì)，利用知識(shí)蒸餾的方法生成了改進(jìn)的輕量卷積神經(jīng)網(wǎng)絡(luò)模型MobileNetV3_small_tp。同時(shí)將NEU數(shù)據(jù)集用作目標(biāo)數(shù)據(jù)集對(duì)MobileNetV3_small_tp模型進(jìn)行訓(xùn)練和驗(yàn)證，并在訓(xùn)練過(guò)程按照一定概率隨機(jī)調(diào)整NEU數(shù)據(jù)集中的圖片參數(shù)，以便更加準(zhǔn)確地模擬實(shí)際工況下獲取的圖片。然后將經(jīng)過(guò)訓(xùn)練和驗(yàn)證的模型部署在手機(jī)端并對(duì)實(shí)際鋼材表面進(jìn)行檢測(cè)。所提出的輕量卷積神經(jīng)網(wǎng)絡(luò)模型體積較小，能夠部署于移動(dòng)端流暢運(yùn)行，且能實(shí)現(xiàn)鋼材表面缺陷的高效率高精度實(shí)時(shí)檢測(cè)，具有廣闊的實(shí)際應(yīng)用前景。