基于改進(jìn)MobileNetV2網(wǎng)絡(luò)的涂層表面缺陷識(shí)別方法

陳宗陽(yáng)， 趙輝， 呂永勝， 沙建軍， 沙香港

(1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱 150001； 2.哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001)

涂層是用物理、化學(xué)或者其他方法，在金屬或非金屬基底表面形成的具有一定的強(qiáng)化、防護(hù)或特殊功能的覆蓋層。具有熱障、防腐、吸波及生化防護(hù)等特種功能的涂層在現(xiàn)代機(jī)械設(shè)備上得到了廣泛的使用[1]。然而在實(shí)際噴涂和使用過(guò)程中，涂層極易出現(xiàn)各類缺陷，如流掛、橘皮、露底、龜裂等，進(jìn)而降低涂層整體的防護(hù)性能、縮短使用壽命。因此，對(duì)涂層表面缺陷的快速精準(zhǔn)識(shí)別，對(duì)保證涂層質(zhì)量和生產(chǎn)速度具有重要意義。在實(shí)際的缺陷檢測(cè)識(shí)別過(guò)程中，依據(jù)人眼進(jìn)行識(shí)別的方式具有較高的準(zhǔn)確率，但存在著主觀性強(qiáng)、速度慢、勞動(dòng)強(qiáng)度大等問(wèn)題，難以保證生產(chǎn)效率。傳統(tǒng)的機(jī)器視覺技術(shù)多以手工提取特征的圖像處理方法為主，并結(jié)合機(jī)器學(xué)習(xí)方法進(jìn)行分類識(shí)別，其在缺陷檢測(cè)領(lǐng)域的應(yīng)用已十分廣泛。Samarawickrama等[2]設(shè)計(jì)了一種基于圖像處理的瓷磚自動(dòng)檢測(cè)系統(tǒng)，實(shí)現(xiàn)對(duì)瓷磚表面顏色變化和缺陷的檢測(cè)。Aghdam等[3]提出了一種基于局部二值算子提取特征的決策樹分類方法，用于鋼材表面缺陷檢測(cè)?；谑止ぬ崛√卣鞯膱D像處理方法有效避免了人工檢測(cè)中的各類缺點(diǎn)，提升了缺陷檢測(cè)的自動(dòng)化水平，但當(dāng)缺陷種類多樣復(fù)雜時(shí)，傳統(tǒng)方法難以對(duì)缺陷特征進(jìn)行完整的建模和遷移，復(fù)用性低，對(duì)工況要求較高。

作為機(jī)器學(xué)習(xí)領(lǐng)域中的研究熱點(diǎn)，深度學(xué)習(xí)在特征提取、目標(biāo)檢測(cè)與識(shí)別等方面取得了非常好的效果，在缺陷檢測(cè)領(lǐng)域也顯現(xiàn)出巨大的潛力。Lian等[4]設(shè)計(jì)了一種木制品表面微小缺陷檢測(cè)網(wǎng)絡(luò)，Tao等[5]提出了一種彈簧線插座缺陷識(shí)別網(wǎng)絡(luò)，Liu等[6]設(shè)計(jì)了一種焊接缺陷分類網(wǎng)絡(luò)，Liu等[7]提出了一種輸電線缺陷檢測(cè)網(wǎng)絡(luò)。因缺陷種類的多樣性和成因的復(fù)雜性，可直接使用的缺陷數(shù)據(jù)相對(duì)較少，且隨機(jī)初始化訓(xùn)練的網(wǎng)絡(luò)具有一定的不穩(wěn)定性，因此研究人員往往會(huì)使用遷移學(xué)習(xí)[8]來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以獲取更好的分類檢測(cè)效果。Ferguson等[9]利用遷移學(xué)習(xí)提出了一種基于掩模區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的鑄造缺陷識(shí)別系統(tǒng)。Gong等[10]提出了一種深度遷移學(xué)習(xí)模型，對(duì)X圖像特征較少的航空復(fù)合材料缺陷實(shí)現(xiàn)了準(zhǔn)確的檢測(cè)。Pan等[11]通過(guò)遷移學(xué)習(xí)訓(xùn)練有效地加快了網(wǎng)絡(luò)收斂速度，提高了分類網(wǎng)絡(luò)對(duì)焊接缺陷的泛化能力。

本文將深度學(xué)習(xí)技術(shù)應(yīng)用于涂層表面缺陷識(shí)別中。考慮到工業(yè)檢測(cè)過(guò)程對(duì)準(zhǔn)確率和速度的要求，選取識(shí)別速度較快并可在嵌入式設(shè)備上進(jìn)行部署的MobileNetV2網(wǎng)絡(luò)。在網(wǎng)絡(luò)的頂部重新設(shè)計(jì)了分類器以增強(qiáng)缺陷特征識(shí)別能力，在網(wǎng)絡(luò)的骨干中加入了跨局部結(jié)構(gòu)，用于增加網(wǎng)絡(luò)中的基礎(chǔ)特征并豐富特征的尺度信息。在網(wǎng)絡(luò)訓(xùn)練上，將交叉驗(yàn)證和遷移學(xué)習(xí)相結(jié)合，以提升網(wǎng)絡(luò)對(duì)缺陷識(shí)別任務(wù)的適應(yīng)能力并顯著加快訓(xùn)練速度。

1 MobileNetV2網(wǎng)絡(luò)改進(jìn)

1.1 MobileNetV2網(wǎng)絡(luò)介紹

MobileNetV2網(wǎng)絡(luò)[12]結(jié)構(gòu)如表1所示，其中Conv2d為2維卷積操作，Bottleneck為反向殘差塊組成的瓶頸塊，Avgpool為全局池化操作，t為通道擴(kuò)展因子、c為輸出通道數(shù)、n為塊重復(fù)次數(shù)、s為步長(zhǎng)。

表1 MobileNetV2網(wǎng)絡(luò)結(jié)構(gòu)

除去頂部和底部少量的卷積和全局池化操作，MobileNetV2網(wǎng)絡(luò)通過(guò)大量反向殘差塊結(jié)構(gòu)對(duì)輸入圖像進(jìn)行特征提取，其延續(xù)了MobileNetV1網(wǎng)絡(luò)[13]中利用深度可分離卷積加速網(wǎng)絡(luò)運(yùn)行速度的思想并做出2點(diǎn)改進(jìn)，即反向殘差塊和線性瓶頸。反向殘差塊由原始的先做深度卷積、后做點(diǎn)卷積轉(zhuǎn)變?yōu)橄茸鳇c(diǎn)卷積、后做深度卷積、最后再做一次點(diǎn)卷積的運(yùn)算方式。如此轉(zhuǎn)變使網(wǎng)絡(luò)能夠更好的提取有用信息且不會(huì)增加過(guò)多的運(yùn)算量。此外，在深度卷積步長(zhǎng)為1的反向殘差塊中輸入和輸出的維度相同，此時(shí)輸出為最后一次點(diǎn)卷積結(jié)果和輸入的求和。反向殘差塊的結(jié)構(gòu)如圖1所示。

圖1 反向殘差塊的結(jié)構(gòu)

線性瓶頸在反向殘差塊最后一次點(diǎn)卷積中，使用線性卷積替代原始卷積與ReLU函數(shù)的組合，該方式更有助于信息的保留，此外，先前的2次卷積操作(點(diǎn)卷積和深度卷積)也將激活函數(shù)調(diào)整為了ReLU6。

1.2 改進(jìn)網(wǎng)絡(luò)設(shè)計(jì)

為增強(qiáng)網(wǎng)絡(luò)對(duì)涂層缺陷識(shí)別任務(wù)的適應(yīng)性、充分提取缺陷特征，本文設(shè)計(jì)了遞進(jìn)式分類器和跨局部連接的網(wǎng)絡(luò)骨干以提升網(wǎng)絡(luò)對(duì)涂層缺陷的識(shí)別能力。

1)改進(jìn)網(wǎng)絡(luò)分類器。

MobileNetV2網(wǎng)絡(luò)利用網(wǎng)絡(luò)骨干快速提取目標(biāo)特征，并利用頂部分類器對(duì)最后一個(gè)瓶頸層(表1中Bottleneck*)的輸出進(jìn)行分類識(shí)別。在具體的使用中，對(duì)于不同的分類任務(wù)通過(guò)修改分類器最后一層神經(jīng)元的個(gè)數(shù)便可對(duì)特定數(shù)量的目標(biāo)進(jìn)行分類識(shí)別，這是較為簡(jiǎn)單直接的使用方法。但不同任務(wù)中目標(biāo)的數(shù)量勢(shì)必存在差異，僅調(diào)整最后一層神經(jīng)元數(shù)量使之與當(dāng)前任務(wù)匹配難以高效的發(fā)揮神經(jīng)網(wǎng)絡(luò)的特征識(shí)別能力，如原始的MobileNetV2網(wǎng)絡(luò)主要是為了應(yīng)對(duì)ImageNet數(shù)據(jù)集[14]上的1 000多類目標(biāo)而本文僅針對(duì)5類涂層目標(biāo)。因此，為更好的利用網(wǎng)絡(luò)骨干提取的涂層特征、提升網(wǎng)絡(luò)對(duì)涂層缺陷的識(shí)別能力，本文重新設(shè)計(jì)了網(wǎng)絡(luò)的分類器，共包含2個(gè)卷積層、1個(gè)全局池化層和1個(gè)輸出層(卷積層)，具體參數(shù)如表2所示。

表2 改進(jìn)后分類器的參數(shù)

分類器的主要任務(wù)是將骨干提取的缺陷特征高效的轉(zhuǎn)換為具體的分類結(jié)果，考慮到本文的分類目標(biāo)數(shù)量與骨干輸出的特征圖維度差距較大，因此選取了2種不同尺度的卷積核替代原始分類器中的單個(gè)卷積核來(lái)進(jìn)行特征圖的壓縮轉(zhuǎn)換操作。其中第1個(gè)卷積核的大小為1×1，主要負(fù)責(zé)特征圖的通道數(shù)壓縮，為避免較大壓縮率造成有用特征的大量丟失，保留了原有通道數(shù)的3/5，即192層。第2個(gè)卷積主要用于特征圖的尺寸壓縮，以避免后續(xù)的全局池化在較大特征圖上進(jìn)行時(shí)出現(xiàn)波動(dòng)，同時(shí)為使特征圖通道數(shù)進(jìn)一步向本文缺陷種類數(shù)量過(guò)渡，將通道數(shù)壓縮至上一層的1/3，即64層。最后2步得到最終分類結(jié)果，其中，全局池化操作提取每張?zhí)卣鲌D上最為明顯的特征點(diǎn)，最后一層輸出識(shí)別結(jié)果。

2)改進(jìn)網(wǎng)絡(luò)骨干。

在神經(jīng)網(wǎng)絡(luò)中，底層的網(wǎng)絡(luò)結(jié)構(gòu)中多提取的是較為通用的基礎(chǔ)特征，如亮度、邊緣、顏色等，Bottleneck中雖存在殘差結(jié)構(gòu)但整個(gè)網(wǎng)絡(luò)骨干全部使用Bottleneck依舊會(huì)使得其深度過(guò)深以至于網(wǎng)絡(luò)中保留的基礎(chǔ)特征較少，進(jìn)而對(duì)小目標(biāo)或特征較為單一的目標(biāo)的識(shí)別效果造成影響。因此，為更好的提取涂層的基礎(chǔ)特征，增強(qiáng)網(wǎng)絡(luò)對(duì)各類涂層缺陷的識(shí)別能力，本文設(shè)計(jì)了跨局部連接的網(wǎng)絡(luò)骨干。該網(wǎng)絡(luò)骨干對(duì)原始骨干中的第4和第6個(gè)Bottleneck進(jìn)行了修改，其中第4個(gè)Bottleneck被替換為了卷積和池化操作，第6個(gè)Bottleneck處額外添加了一個(gè)跨局部連接結(jié)構(gòu)，具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在圖2中第1個(gè)Bottleneck上×3表示共有3次Bottleneck操作，在每一個(gè)具體操作下面的數(shù)據(jù)是其輸出特征圖的尺寸，Conv2d框內(nèi)的a×a表示卷積核的大小。

在前3個(gè)Bottleneck之后，為擴(kuò)大網(wǎng)絡(luò)的感受野、豐富基礎(chǔ)特征的種類和數(shù)量，利用卷積和池化2條支路分別提取前層的基礎(chǔ)特征，并將2者所提特征進(jìn)行合并，然后傳遞給第4個(gè)Bottleneck。將第5個(gè)Bottleneck的輸出通道數(shù)由160降低至128，并將其輸入特征經(jīng)過(guò)單個(gè)卷積計(jì)算后與輸出進(jìn)行合并，形成局部連接結(jié)構(gòu)，使最后一個(gè)Bottleneck中輸入的特征具有不同的尺度信息，以進(jìn)一步增強(qiáng)網(wǎng)絡(luò)對(duì)不同尺寸的目標(biāo)的識(shí)別能力，具體如圖2所示。

圖2 改進(jìn)的MobileNetv2網(wǎng)絡(luò)結(jié)構(gòu)

1.3 交叉遷移訓(xùn)練

在復(fù)雜任務(wù)中深度神經(jīng)網(wǎng)絡(luò)的優(yōu)異表現(xiàn)需要大樣本數(shù)據(jù)和高算力作為支撐，但工業(yè)應(yīng)用中更多的是諸如本文涂層缺陷檢測(cè)一類的小眾檢測(cè)識(shí)別任務(wù)，樣本數(shù)據(jù)通常不夠豐富，且具體網(wǎng)絡(luò)模型訓(xùn)練過(guò)程中設(shè)備算力資源和訓(xùn)練耗時(shí)是實(shí)際應(yīng)用時(shí)需要考慮的問(wèn)題。因此，除了對(duì)網(wǎng)絡(luò)自身結(jié)構(gòu)的優(yōu)化調(diào)整，合理高效的訓(xùn)練方法對(duì)于實(shí)際應(yīng)用同樣顯得重要。

傳統(tǒng)的訓(xùn)練方法多從隨機(jī)分配的初始權(quán)重出發(fā)，這種訓(xùn)練方式不需要太多的先驗(yàn)知識(shí)，在數(shù)據(jù)量足夠的情況下便可取得良好的訓(xùn)練結(jié)果。當(dāng)數(shù)據(jù)量有限，同時(shí)想要進(jìn)一步提升網(wǎng)絡(luò)性能時(shí)，采用遷移學(xué)習(xí)訓(xùn)練是一種十分有效的方法[15]，可以使網(wǎng)絡(luò)繼承原有的先驗(yàn)知識(shí)從而達(dá)到加快網(wǎng)絡(luò)訓(xùn)練速度、提升網(wǎng)絡(luò)性能的效果。然而，遷移學(xué)習(xí)方法也存在一個(gè)較為嚴(yán)苛的限定條件，即用于遷移的先驗(yàn)知識(shí)需和當(dāng)前的學(xué)習(xí)任務(wù)具有一定的相似性，越相似則性能越好，反之則起不到提升效果甚至?xí)胸?fù)面效果。

另一種常用于應(yīng)對(duì)小樣本的網(wǎng)絡(luò)訓(xùn)練方法是交叉驗(yàn)證訓(xùn)練[16-17]，能夠使得網(wǎng)絡(luò)從數(shù)據(jù)中充分學(xué)習(xí)目標(biāo)特征，有效避免訓(xùn)練過(guò)程中發(fā)生過(guò)擬合、欠擬合等問(wèn)題，同時(shí)還有助于提升網(wǎng)絡(luò)泛化性能。但其缺點(diǎn)在于內(nèi)存消耗過(guò)大，且需要花費(fèi)大量時(shí)間，此外，由于每一次驗(yàn)證的測(cè)試集(或驗(yàn)證集)中數(shù)據(jù)太少，故很難得到準(zhǔn)確的識(shí)別效果。

由上述可知，遷移學(xué)習(xí)和交叉驗(yàn)證2種訓(xùn)練方式各有優(yōu)缺，為充分發(fā)揮二者自身的優(yōu)點(diǎn)以實(shí)現(xiàn)一種訓(xùn)練速度快、性能提升好、數(shù)據(jù)量要求低的網(wǎng)絡(luò)訓(xùn)練方法，本文將二者進(jìn)行結(jié)合組成交叉遷移訓(xùn)練，具體的訓(xùn)練過(guò)程和識(shí)別過(guò)程如圖3所示。

圖3 交叉遷移訓(xùn)練過(guò)程和缺陷識(shí)別過(guò)程

從圖3中可以看到，網(wǎng)絡(luò)的訓(xùn)練共分為2個(gè)階段，第1階段僅在部分缺陷訓(xùn)練樣本上進(jìn)行有限的交叉驗(yàn)證訓(xùn)練，一方面避免了交叉驗(yàn)證訓(xùn)練方法對(duì)內(nèi)存和時(shí)間的較大開銷，另一方面也充分挖掘有用特征使網(wǎng)絡(luò)損失快速下降，為遷移學(xué)習(xí)提供相對(duì)理想的初始狀態(tài)；第2階段利用全部樣本通過(guò)遷移學(xué)習(xí)訓(xùn)練，有助于網(wǎng)絡(luò)損失處于下降速率更快的損失曲面，更加接近全局極值點(diǎn)，使網(wǎng)絡(luò)可以更好的適應(yīng)當(dāng)前的缺陷識(shí)別任務(wù)。除此之外，由于第1階段僅在少量樣本上進(jìn)行訓(xùn)練，因此進(jìn)行同樣的訓(xùn)練步數(shù)，本文的訓(xùn)練方法將會(huì)有更短的耗時(shí)。

2 缺陷識(shí)別實(shí)驗(yàn)設(shè)計(jì)與分析

本文實(shí)驗(yàn)平臺(tái)主要配置為：Intel Core i7-10875H CPU，16GB RAM，Nvidia GeForce RTX 2060 6G GPU，Win10 專業(yè)版操作系統(tǒng)，Python 3.6.12語(yǔ)言，CUDA 10.1并行計(jì)算架構(gòu)，cuDNN 7.6.5深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)，Tensorflow2.0深度學(xué)習(xí)框架。

2.1 涂層表面缺陷數(shù)據(jù)集

由于基于計(jì)算機(jī)視覺的涂層表面缺陷檢測(cè)研究較少，可以直接使用的涂層表面缺陷數(shù)據(jù)有限，因此本文構(gòu)建了一個(gè)涂層表面缺陷數(shù)據(jù)集，所有圖像均來(lái)源于實(shí)際生產(chǎn)和使用過(guò)程中存在問(wèn)題的涂層缺陷板件。

圖像采集參照實(shí)際的檢測(cè)場(chǎng)景，將涂層缺陷板件水平或豎直放置，并在其垂直方向上架設(shè)電荷耦合器件工業(yè)相機(jī)(DALSA M2020，320萬(wàn)像素工業(yè)黑白相機(jī))和光源，通過(guò)調(diào)整成像環(huán)境(如光源的亮度、入射角度，成像距離等)采集得到不同成像條件下的涂層缺陷圖像。

本文共對(duì)105塊涂層缺陷板件進(jìn)行圖像采集，各涂層缺陷板上至少存在一處或多處缺陷，將采集圖像中的正常涂層區(qū)域和缺陷區(qū)域進(jìn)行裁剪，并標(biāo)記缺陷類型，構(gòu)建初步數(shù)據(jù)集。值得注意的是：在數(shù)據(jù)集中添加正常涂層樣本是為了將其用作“負(fù)”樣本，以此來(lái)提升模型對(duì)缺陷樣本的識(shí)別精度，并在一定程度上提升模型的魯棒性；利用信噪比高的工業(yè)黑白相機(jī)可以更好的獲取涂層表面缺陷特征，如視覺上呈現(xiàn)的點(diǎn)、線、紋理、形狀等形式，而顏色信息對(duì)于缺陷識(shí)別并未起到直接作用，因此直接采集灰度圖像，一方面降低了數(shù)據(jù)容量，另一方面也避免了顏色信息對(duì)缺陷識(shí)別的干擾。

在初步數(shù)據(jù)集制作完成后，將數(shù)據(jù)集中所有數(shù)據(jù)經(jīng)由專業(yè)的涂料施工人員進(jìn)行判定和篩選，剔除其中存在問(wèn)題和爭(zhēng)議的數(shù)據(jù)，利用剩余的完好數(shù)據(jù)構(gòu)建涂層表面缺陷數(shù)據(jù)集。整個(gè)數(shù)據(jù)集共包含4 000張圖像，涉及5類涂層目標(biāo)，1類正常涂層目標(biāo)和4類涂層缺陷目標(biāo)，其中4類涂層缺陷分別為橘皮、露底、龜裂、流掛，每類目標(biāo)800張，按照5∶2∶1的比例進(jìn)行訓(xùn)練集(2 500張)、測(cè)試集(1 000張)、驗(yàn)證集(500張)數(shù)據(jù)劃分，5類涂層目標(biāo)的部分圖像如圖4所示。

圖4 5類涂層目標(biāo)圖像

2.2 實(shí)驗(yàn)設(shè)置

本文采用準(zhǔn)確率和精確度作為網(wǎng)絡(luò)性能評(píng)判的依據(jù)，對(duì)比分析不同分類網(wǎng)絡(luò)在進(jìn)行涂層表面缺陷識(shí)別過(guò)程中的效果優(yōu)劣以此評(píng)判本文方法的有效性，準(zhǔn)確率和精確度分別為：

(1)

(2)

式中：TP(真陽(yáng)性)為正樣本被分類為正的樣本數(shù)；TN(真陰性)為負(fù)樣本被為分類為負(fù)的樣本數(shù)；FP(假陽(yáng)性)為負(fù)樣本被分類為正的樣本數(shù)；FN(假陰性)為正樣本被分類為負(fù)的樣本數(shù)。

實(shí)驗(yàn)所有分類網(wǎng)絡(luò)每次均在訓(xùn)練集上訓(xùn)練350個(gè)周期，且均為隨機(jī)初始權(quán)重。交叉遷移訓(xùn)練方式第1階段交叉驗(yàn)證訓(xùn)練時(shí)采用5折交叉驗(yàn)證訓(xùn)練方式[18]，每一折訓(xùn)練30個(gè)周期，共計(jì)150個(gè)周期，第2階段遷移學(xué)習(xí)訓(xùn)練200個(gè)周期。所有訓(xùn)練優(yōu)化器均為Adam[19]，交叉驗(yàn)證訓(xùn)練時(shí)學(xué)習(xí)率為0.001，其他情況下學(xué)習(xí)率均為0.000 1。交叉驗(yàn)證時(shí)使用750圖像進(jìn)行訓(xùn)練，均是從訓(xùn)練集樣本中隨機(jī)抽取得到，且每類樣本150張。在所有訓(xùn)練過(guò)程中batch_size均為32，網(wǎng)絡(luò)輸入圖像尺寸皆為224×224，實(shí)驗(yàn)結(jié)果均為5次獨(dú)立實(shí)驗(yàn)取平均。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 本文方法實(shí)驗(yàn)結(jié)果與分析

表3中給出了本文不同方法對(duì)涂層缺陷的識(shí)別效果以及訓(xùn)練時(shí)間，其中交叉遷移訓(xùn)練的時(shí)間同時(shí)包含了150個(gè)周期的交叉驗(yàn)證訓(xùn)練耗時(shí)(使用本文分類器時(shí)耗時(shí)9′29″，使用本文分類器和骨干時(shí)耗時(shí)8′48″)和200個(gè)周期的遷移學(xué)習(xí)訓(xùn)練耗時(shí)。具體方法為：

表3 不同方法的識(shí)別效果和訓(xùn)練時(shí)間

A：原始MobileNetV2網(wǎng)絡(luò)；

B：使用本文分類器的MobileNetV2網(wǎng)絡(luò)；

C：使用本文分類器并交叉遷移訓(xùn)練的MobileNetV2網(wǎng)絡(luò)；

D：使用本文分類器和骨干的MobileNetV2網(wǎng)絡(luò)；

E：使用本文分類器和骨干并交叉遷移訓(xùn)練的MobileNetV2網(wǎng)絡(luò)；

A→B：在使用本文的分類器后，MobileNetv2網(wǎng)絡(luò)對(duì)涂層缺陷的識(shí)別準(zhǔn)確率提升了1.23%、精確度提升了3.14%、訓(xùn)練時(shí)間有較小的縮減，由此說(shuō)明新的分類器能夠更好的利用網(wǎng)絡(luò)骨干提取的缺陷特征，可以更加高效的識(shí)別涂層表面缺陷。

B→C：使用本文分類器的MobileNetV2網(wǎng)絡(luò)進(jìn)行交叉遷移訓(xùn)練后，識(shí)別準(zhǔn)確率和精確度分別進(jìn)一步提升了1.54%、3.80%，同時(shí)網(wǎng)絡(luò)的訓(xùn)練時(shí)間縮短了35.32%。由此可知，本文的訓(xùn)練方法在大幅度減少網(wǎng)絡(luò)訓(xùn)練耗時(shí)的同時(shí)，較好的保留了交叉驗(yàn)證和遷移學(xué)習(xí)2種訓(xùn)練方法自身的優(yōu)點(diǎn)，使得網(wǎng)絡(luò)對(duì)涂層缺陷的識(shí)別精度得到進(jìn)一步的提升。

B→D：在同時(shí)使用本文提出的分類器和骨干后，改進(jìn)網(wǎng)絡(luò)較B相比準(zhǔn)確率和精確度分別進(jìn)一步提升了1.85%、4.56%。與原始網(wǎng)絡(luò)相比，準(zhǔn)確率提升了3.08%，精確度提升7.70%，同時(shí)訓(xùn)練時(shí)間也有小幅度的縮減。由此可知，新的網(wǎng)絡(luò)骨干可以增加網(wǎng)絡(luò)中的基礎(chǔ)特征，提升特征的尺度信息，促進(jìn)網(wǎng)絡(luò)對(duì)不同尺度下的涂層缺陷的識(shí)別效果。

D→E：在進(jìn)行交叉遷移訓(xùn)練后，改進(jìn)網(wǎng)絡(luò)達(dá)到了最佳識(shí)別效果，而且網(wǎng)絡(luò)的訓(xùn)練時(shí)間得到較大幅度縮減，最終使用本文方法的MobilenetV2網(wǎng)絡(luò)較原始網(wǎng)絡(luò)相比準(zhǔn)確率提升3.35%、精確度提升8.38%、訓(xùn)練時(shí)間減少36.77%。

表4給出了不同網(wǎng)絡(luò)的參數(shù)量、模型大小(網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù))以及識(shí)別耗時(shí)，其中識(shí)別耗時(shí)僅統(tǒng)計(jì)全部測(cè)試集數(shù)據(jù)(1 000張圖像)在網(wǎng)絡(luò)中的推理耗時(shí)不包括圖像的預(yù)處理等操作，所有分類網(wǎng)絡(luò)在進(jìn)行識(shí)別時(shí)batch_size均為1，由于交叉遷移訓(xùn)練并不會(huì)影響網(wǎng)絡(luò)的上述屬性，因此僅給出了A、B、D 3類網(wǎng)絡(luò)的結(jié)果，C、E的結(jié)果與B、D相同。

表4 不同網(wǎng)絡(luò)的參數(shù)量、模型大小以及識(shí)別耗時(shí)

從表4中可以看到，新的網(wǎng)絡(luò)分類器和骨干均能起到壓縮網(wǎng)絡(luò)大小、提升運(yùn)行速度的效果，在使用新的分類器后網(wǎng)絡(luò)的參數(shù)量降低10.93%、模型大小降低10.61%、識(shí)別速度提升6.11%；當(dāng)同時(shí)使用本文提出的分類器和骨干后網(wǎng)絡(luò)的參數(shù)量降低20.89%、模型大小降低20.45%、識(shí)別速度提升11.74%。

圖5是利用交叉遷移訓(xùn)練得到的改進(jìn)網(wǎng)絡(luò)E在部分測(cè)試集數(shù)據(jù)上的識(shí)別結(jié)果，可以看出改進(jìn)網(wǎng)絡(luò)對(duì)5類涂層目標(biāo)具有較高的識(shí)別精度。

綜上可知，改進(jìn)后的MobileNetV2網(wǎng)絡(luò)能夠提取不同尺度下的涂層缺陷特征，且對(duì)特征的利用率更高、識(shí)別效果更好；交叉遷移訓(xùn)練方法能夠在保證網(wǎng)絡(luò)精度提升的同時(shí)，大幅度減少算法訓(xùn)練耗時(shí)，在實(shí)際應(yīng)用過(guò)程中具有較大價(jià)值。

2.3.2 本文方法與其他方法對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文方法的有效性，分別選取了Xception[20]、Resnet-50[21]、DenseNet-121[22]3種典型的分類網(wǎng)絡(luò)與本文方法進(jìn)行對(duì)比，其中Xception網(wǎng)絡(luò)充分發(fā)揮了Inception模塊提取目標(biāo)多尺度特征的優(yōu)點(diǎn)，Resnet-50中的殘差單元可以有效解決深層網(wǎng)絡(luò)梯度消失或者爆炸的問(wèn)題，DenseNet-121提升了神經(jīng)網(wǎng)絡(luò)對(duì)特征的傳播效率和利用效率，以上3種網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域均具有出色的性能表現(xiàn)，且多數(shù)改進(jìn)算法也以此為基礎(chǔ)，因此與上述方法進(jìn)行對(duì)比可以較好地反應(yīng)本文方法的缺陷識(shí)別能力。本文方法與上述方法在進(jìn)行涂層表面缺陷識(shí)別時(shí)的性能表現(xiàn)如表5所示。

表5 不同方法的性能表現(xiàn)

從表5可以看到，本文方法在涂層表面缺陷識(shí)別的準(zhǔn)確率和精確度上明顯優(yōu)于DenseNet-121和Resnet-50，與Xception相比準(zhǔn)確率僅低了0.29%、精確度僅低0.72%。而在網(wǎng)絡(luò)的訓(xùn)練時(shí)間上，本文方法的訓(xùn)練耗時(shí)僅為Xception的28.90%，與DenseNet-121和Resnet-50相比也減少了一半以上。在網(wǎng)絡(luò)參數(shù)量和模型大小方面，本文方法也具有明顯優(yōu)勢(shì)，與Xception、DenseNet-121、Resnet-50 3種分類網(wǎng)絡(luò)相比本文方法的參數(shù)量分別為其各自的8.58%、25.44%、7.59%，在模型大小方面也得到了相應(yīng)的優(yōu)勢(shì)體現(xiàn)。在識(shí)別速度方面，本文方法比Xception、DenseNet-121以及Resnet-50均快3倍以上。

綜上可知，與所用3種典型網(wǎng)絡(luò)相比，本文方法僅在識(shí)別精度上略低于Xception，但在訓(xùn)練時(shí)間、參數(shù)量、模型大小以及識(shí)別速度上均具有較大的優(yōu)勢(shì)。其中，Xception的準(zhǔn)確率僅高出0.29%，但其速度不及本文方法的1/3，且參數(shù)量也是本文方法的十倍以上。由此可見，在綜合考慮識(shí)別速度和精度的情況下，本文方法具有最佳表現(xiàn)，同時(shí)較短的訓(xùn)練耗時(shí)也使得本文方法更加符合實(shí)際的工業(yè)應(yīng)用需求。

3 結(jié)論

1)本文提出的改進(jìn)MobileNetV2網(wǎng)絡(luò)，對(duì)其訓(xùn)練方法進(jìn)行優(yōu)化了調(diào)整，實(shí)現(xiàn)了對(duì)涂層表面缺陷的快速精準(zhǔn)識(shí)別。遞進(jìn)式分類器能夠充分學(xué)習(xí)缺陷特征并轉(zhuǎn)換為低維分類結(jié)果，在提升識(shí)別精度的同時(shí)加快了識(shí)別速度。

2)跨局部連接網(wǎng)絡(luò)骨干可以豐富網(wǎng)絡(luò)中基礎(chǔ)特征并增加特征的尺度信息，在提升特征提取速度的同時(shí)增強(qiáng)了網(wǎng)絡(luò)的特征學(xué)習(xí)能力。

3)交叉遷移訓(xùn)練能使網(wǎng)絡(luò)具有較好的初始性能和更快的性能提升速率，可有效解決小眾分類任務(wù)中理想預(yù)訓(xùn)練權(quán)重難以獲取的問(wèn)題，能夠在數(shù)據(jù)有限的情況下訓(xùn)練得到檢測(cè)識(shí)別效果更好的神經(jīng)網(wǎng)絡(luò)模型并且大幅度縮減訓(xùn)練時(shí)間。

4)本文提出的改進(jìn)網(wǎng)絡(luò)在參數(shù)量遠(yuǎn)小于Xception、Resnet-50和DenseNet-121的情況下具有更強(qiáng)的特征利用和識(shí)別能力，在缺陷識(shí)別準(zhǔn)確率和速度方面的良好表現(xiàn)，更加符合實(shí)際的工業(yè)應(yīng)用需求。

由于涂層表面缺陷種類并不止本文所討論的5種常見類型，實(shí)際檢測(cè)場(chǎng)景中可能會(huì)有其他因素影響缺陷特征。因此，后續(xù)可在實(shí)際應(yīng)用過(guò)程中搜集擴(kuò)充缺陷數(shù)據(jù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練優(yōu)化，以更好地滿足工業(yè)生產(chǎn)過(guò)程中的涂層缺陷檢測(cè)任務(wù)。