基于改進(jìn)分割決策網(wǎng)絡(luò)的鋁材表面凹坑缺陷檢測(cè)

曹 陽， 盧 軍

(陜西科技大學(xué) 機(jī)電工程學(xué)院, 陜西 西安 710021)

0 引言

在工業(yè)生產(chǎn)中，質(zhì)檢作為確保成品質(zhì)量的關(guān)鍵環(huán)節(jié)，在工業(yè)生產(chǎn)自動(dòng)化中具有重要的意義.在鋁材制造行業(yè)，鋁材的表面質(zhì)量是評(píng)價(jià)鋁材質(zhì)量的一個(gè)重要指標(biāo)[1]，傳統(tǒng)的缺陷檢測(cè)技術(shù)主要依靠機(jī)械式檢測(cè)方法，如電渦流檢測(cè)、漏磁檢測(cè)等，但其檢測(cè)原理具有局限性，無法廣泛應(yīng)用[2].近年來隨著機(jī)器視覺與深度學(xué)習(xí)技術(shù)的興起，利用圖像處理技術(shù)來進(jìn)行表面缺陷檢測(cè)成為主流.

機(jī)器視覺作為一種無接觸、無損傷的檢測(cè)手段，在工業(yè)生產(chǎn)自動(dòng)化、智能化過程中具有重要的作用，在工業(yè)缺陷檢測(cè)得到了廣泛的應(yīng)用.徐科等[3]利用Tetrolet變換從熱軋鋼板圖像中提取低維特征向量，再送入支持向量機(jī)進(jìn)行缺陷分類，分類識(shí)別準(zhǔn)確率達(dá)到了97.38%； Shafarenko等[4]通過提出一種新的顏色相似性度量方法，配合分水嶺分割算法，實(shí)現(xiàn)了對(duì)隨機(jī)紋理表面缺陷的檢測(cè)；李良福等[5]針對(duì)橋梁裂縫，利用伽馬變換等算法對(duì)圖像進(jìn)行重新生成，突出其缺陷特征，再進(jìn)行輪廓查找，完成了對(duì)橋梁裂縫的檢測(cè)；Hoang等[6]針對(duì)皮革表面缺陷，提出了一種閾值分割結(jié)合密度聚類的方法，完成了缺陷的分割及分類，實(shí)驗(yàn)結(jié)果表明了該方法的有效性.基于機(jī)器視覺的檢測(cè)方法，相較于傳統(tǒng)機(jī)械手段已有很大進(jìn)步，但在涉及特征提取部分，往往需要針對(duì)數(shù)據(jù)集，設(shè)計(jì)獨(dú)特的特征提取器，傳統(tǒng)機(jī)器視覺算法中關(guān)鍵參數(shù)的確定，如文獻(xiàn)[6]中的歐氏距離的確定，往往依賴人的經(jīng)驗(yàn)，缺少泛化性.

隨著深度學(xué)習(xí)在圖像分割，圖像分類等領(lǐng)域的廣泛應(yīng)用，將深度學(xué)習(xí)應(yīng)用于缺陷檢測(cè)得到了研究人員的廣泛關(guān)注.Chondronasios等[7]針對(duì)鋁材的水泡和劃痕缺陷，采用梯度共發(fā)生矩陣采集技術(shù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)缺陷的分類；翁飄等[8]設(shè)計(jì)了一種基于改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[9]的網(wǎng)絡(luò)模型，通過反卷積將FCN網(wǎng)絡(luò)淺層特征與深層特征相融合，實(shí)現(xiàn)了對(duì)路面裂縫的缺陷檢測(cè)；張廣世等[10]提出了一種利用改進(jìn)的YOLO3網(wǎng)絡(luò)，對(duì)齒輪缺陷進(jìn)行檢測(cè)的方法；張芳等[11]基于語義分割網(wǎng)絡(luò)(U-Net)[12]對(duì)納米顆粒進(jìn)行分割，實(shí)驗(yàn)證明該方法穩(wěn)定有效；Ma等[13]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的缺陷檢測(cè)方法，在真實(shí)數(shù)據(jù)集上對(duì)手機(jī)表面缺陷的檢出率達(dá)到了99.5%.以上的工作在缺陷分割以及目標(biāo)檢測(cè)方面都取得了優(yōu)異的效果，但在工業(yè)缺陷檢測(cè)中，不僅要關(guān)心檢測(cè)的精度，還希望能夠同時(shí)獲得分割、分類等信息[14]，以便于對(duì)缺陷進(jìn)行更進(jìn)一步分析.

在多任務(wù)目標(biāo)檢測(cè)領(lǐng)域，也有大量相關(guān)文獻(xiàn).Wang等[15]訓(xùn)練CNN卷積神經(jīng)網(wǎng)絡(luò)，在DAGM數(shù)據(jù)集上對(duì)六類缺陷樣本，六類無缺陷樣本進(jìn)行分類，采用分段式網(wǎng)絡(luò)，第一段對(duì)圖像種類進(jìn)新判別，第二段對(duì)缺陷的存在性進(jìn)新判別，在對(duì)缺陷存在性的判別上達(dá)到了99.8%的準(zhǔn)確率；Tao等[16]利用級(jí)聯(lián)自編碼器結(jié)合CNN對(duì)工業(yè)顯微鏡的扁平金屬組件的表面缺陷進(jìn)行檢測(cè)，實(shí)現(xiàn)了缺陷的分割及分類預(yù)測(cè)；Feng等[17]利用深度殘差網(wǎng)絡(luò)(Resnet)[18]，提出了一個(gè)主動(dòng)深度學(xué)習(xí)系統(tǒng)，實(shí)現(xiàn)了對(duì)路面缺陷的檢測(cè)和分類；蔡彪等[19]設(shè)計(jì)了一種基于Mask R-CNN的鑄件X射線DR圖像缺陷檢測(cè)算法，依據(jù)算法分割、分類結(jié)果，實(shí)現(xiàn)了對(duì)缺陷檢測(cè)的分級(jí)分類；沈曉海等[20]針對(duì)鋁材缺陷檢測(cè)任務(wù)，提出了一種基于多任務(wù)深度學(xué)習(xí)的鋁材表面缺陷檢測(cè)算法，解決了多任務(wù)訓(xùn)練不均衡的問題，實(shí)現(xiàn)了鋁材缺陷的分類以目標(biāo)檢測(cè)；以上算法通過不同的方式改進(jìn)了缺陷檢測(cè)的性能，但都依賴于大量的數(shù)據(jù)集，需要耗費(fèi)大量的精力去制作數(shù)據(jù)集，對(duì)訓(xùn)練網(wǎng)絡(luò)的設(shè)備也有很高的要求.

工業(yè)缺陷檢測(cè)數(shù)據(jù)集往往較少，且標(biāo)注成本高，在樣本數(shù)量較小時(shí)，網(wǎng)絡(luò)容易發(fā)生過擬合.Tabernik等[21]設(shè)計(jì)了一種基于分割的檢測(cè)網(wǎng)絡(luò)，分為分割網(wǎng)絡(luò)，決策網(wǎng)絡(luò)兩部分，在極少的樣本數(shù)量上達(dá)到了優(yōu)異的檢測(cè)精度.本文依據(jù)文獻(xiàn)[21]，提出一種改進(jìn)的分割決策網(wǎng)絡(luò)，在鋁材表面凹坑缺陷檢測(cè)上進(jìn)行改進(jìn)實(shí)驗(yàn)驗(yàn)證，并同F(xiàn)CN、U-Net、VGG[22]、Resnet50經(jīng)典網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn)，結(jié)果表明所提出的算法具有更高的檢測(cè)精度以及穩(wěn)定性.

1 研究的問題

鋁材在生產(chǎn)過程中會(huì)產(chǎn)生許多的缺陷，其中凹坑缺陷是比較常見的一種，凹坑缺陷一般由擠壓速度不均勻以及模子工作帶不光潔等原因造成,而凹坑缺陷由于工藝的不同，有缺陷大小不同以及凹坑個(gè)數(shù)的區(qū)分.在實(shí)際的工業(yè)鋁材缺陷檢測(cè)中，首要的問題是生產(chǎn)的產(chǎn)品是否存在缺陷，即缺陷分類任務(wù)，若產(chǎn)品存在缺陷，則需要對(duì)其進(jìn)一步分析以便改進(jìn)工藝，為此需獲得鋁材缺陷的像素級(jí)分類，輸出鋁材缺陷區(qū)域和正常區(qū)域的二值化圖像，即缺陷分割任務(wù).于是本文研究的問題是將正常鋁材樣本與缺陷鋁材樣分類，并獲得缺陷樣本的分割掩碼用于分析.正常樣本與缺陷樣本如圖1所示，無缺陷樣本的缺陷標(biāo)注為全黑，在算法里體現(xiàn)為像素值全為零.

(a)缺陷樣本 (b) 缺陷樣本鋁材區(qū)域分割

(c)缺陷分割 (d)無缺陷樣本

(e)無缺陷樣本鋁材區(qū)域分割圖1 數(shù)據(jù)集樣本

本文對(duì)分割決策模型進(jìn)行改進(jìn)，在網(wǎng)絡(luò)模型前半部分增加鋁材區(qū)域分割分支，提高網(wǎng)絡(luò)對(duì)鋁材缺陷區(qū)域的關(guān)注，以提取重要特征，并對(duì)其單獨(dú)訓(xùn)練，可以減輕網(wǎng)絡(luò)的過擬合；將鋁材缺陷區(qū)域分割輸出作為輸入添加至原網(wǎng)絡(luò)對(duì)應(yīng)特征圖，并在其后加入SE模塊，添加網(wǎng)絡(luò)特征圖注意力機(jī)制，提升網(wǎng)絡(luò)對(duì)重要特征的提取能力.

2 分割決策模型

分割檢測(cè)模型在文獻(xiàn)[21]中被提出，該網(wǎng)絡(luò)通過對(duì)原始圖像的多次卷積、下采樣，捕獲其不同維度的特征，依據(jù)捕獲的特征，網(wǎng)絡(luò)輸出對(duì)塑料表面缺陷的檢測(cè)結(jié)果.具體的模型為兩段式結(jié)構(gòu)，如圖2所示.第一部分為分割網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)表面缺陷的區(qū)域分割，分割網(wǎng)絡(luò)在低維特征圖部分采用較少的層數(shù)，在高維特征圖部分采用較多的層，并在末尾設(shè)置大尺寸卷積核，這樣可以在擴(kuò)大感受野的同時(shí)，保留較細(xì)小的特征，提升網(wǎng)絡(luò)精度.分割網(wǎng)絡(luò)的輸出為缺陷區(qū)域二值掩碼圖，輸出分辨率為原圖的1/8.決策網(wǎng)絡(luò)在分割網(wǎng)絡(luò)之后，引入分割網(wǎng)絡(luò)的輸出作為決策網(wǎng)絡(luò)的輸入，并在輸出端對(duì)分割網(wǎng)絡(luò)最后一層特征圖以及分割網(wǎng)絡(luò)輸出做最大、最小池化處理，將結(jié)果拼接起來，后連接全連接層，對(duì)缺陷的存在性做出概率預(yù)測(cè)，合理的利用了上一任務(wù)的輸出特征.

圖2 分割決策網(wǎng)絡(luò)

分割決策網(wǎng)絡(luò)所使用的數(shù)據(jù)集中，材料區(qū)域占據(jù)整張圖片，無背景環(huán)境的干擾，而本文的鋁材凹坑缺陷數(shù)據(jù)集中，背景環(huán)境復(fù)雜，且由于光照等原因使得照片質(zhì)量參差不齊，所以原分割決策網(wǎng)絡(luò)不適于本數(shù)據(jù)集使用，且原分割決策網(wǎng)絡(luò)在特征提取時(shí)，缺少注意力機(jī)制，特征冗余，提取效率不高.

3 改進(jìn)分割決策模型

為了使分割決策模型適應(yīng)于鋁材表面凹坑缺陷檢測(cè)，對(duì)原結(jié)構(gòu)做出如下改進(jìn).

3.1 添加鋁材區(qū)域分割網(wǎng)絡(luò)

來在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，由于工業(yè)缺陷檢測(cè)數(shù)據(jù)集相對(duì)較少，容易出現(xiàn)過擬合的風(fēng)險(xiǎn).本文添加鋁材區(qū)域分割網(wǎng)絡(luò)，對(duì)共享層添加限制，從而增強(qiáng)網(wǎng)絡(luò)模型對(duì)于過擬合的抵抗能力.添加鋁材區(qū)域分割網(wǎng)絡(luò)，可以使得網(wǎng)絡(luò)更關(guān)注于鋁材區(qū)域的特征，弱化由于光照不均，背景環(huán)境復(fù)雜等問題帶來的干擾.

圖3 改進(jìn)分割決策網(wǎng)絡(luò)

改進(jìn)后的分割決策網(wǎng)絡(luò)模型如圖3所示.為了獲得鋁材缺陷區(qū)域分割圖像，并方便將區(qū)域分割輸出融合于決策網(wǎng)絡(luò)，本文在原有網(wǎng)絡(luò)的第二個(gè)特征圖之后采用同決策網(wǎng)絡(luò)第一部分卷積同樣的策略，使用四個(gè)5×5大小卷積核的卷積層接一個(gè)最大池化層，提取鋁材表面的低維特征，獲得64通道的特征圖，輸出為上一特征圖一半的分辨率圖像，后接 1×1大小卷積核的卷積層，通過全卷積的方式預(yù)測(cè)鋁材區(qū)域分割二值化圖像.

3.2 引入SE模塊

SE(Squeeze-and-Excitation)模塊來自于文獻(xiàn)[22],其對(duì)應(yīng)的SENet被應(yīng)用于分類任務(wù)，并在2017年的ImageNet大賽的Image Classification任務(wù)上以極大的優(yōu)勢(shì)獲得了冠軍.包含如下三個(gè)步驟：

(1)擠壓(Squeeze)：針對(duì)待添加SE模塊的特征圖，順著特征圖的空間維度來進(jìn)行特征壓縮，本文采用平均池化操作，將每一通道的特征圖變成一個(gè)實(shí)數(shù)，保持輸出的維度和輸入的通道數(shù)相匹配；

(2)激活(Excitation)：首先通過一層全連接層將特征維度降低到輸入的1/16，然后經(jīng)過 ReLu激活后再升回到原來的維度，最后通過一個(gè)Sigmoid 門獲得0～1之間歸一化的權(quán)重；

(3)重構(gòu)(Reweight)：將 Excitation 的輸出的權(quán)重通過乘法逐通道加權(quán)到先前的特征上，完成在通道維度上的對(duì)原始特征的重標(biāo)定.

分割決策網(wǎng)絡(luò)本質(zhì)上是全卷積神經(jīng)網(wǎng)絡(luò)的變體，通過對(duì)多次的卷積、池化、下采樣，獲得一定通道數(shù)量的特征圖，最后依據(jù)特征圖，獲取需要的預(yù)測(cè)輸出，但是在獲取特征圖的過程中會(huì)提取一些不重要的特征，降低網(wǎng)絡(luò)提取特征的效率.引入SE模塊，可以對(duì)獲得的特征圖進(jìn)行重新標(biāo)定，在特征圖層面引入注意力機(jī)制，使得網(wǎng)絡(luò)更關(guān)注于重要特征而忽略次要特征，從而提升網(wǎng)絡(luò)的檢測(cè)精度.

如圖4所示，本文將SE模塊加入Segmentation Network輸入特征圖之后，為增強(qiáng)特征圖之間的相關(guān)性，在對(duì)特征圖擠壓時(shí)，先將其通道數(shù)降低至5，再通過卷積操作恢復(fù)至65，后接sigmoid激活函數(shù)，得到特征圖的分配權(quán)值，對(duì)其進(jìn)行特征圖的重新標(biāo)定.

圖4 SE模塊結(jié)構(gòu)示意圖

3.3 損失函數(shù)

本次提出的網(wǎng)絡(luò)在訓(xùn)練時(shí)，對(duì)分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)單獨(dú)訓(xùn)練，本次提出的分類網(wǎng)絡(luò)為二分類網(wǎng)絡(luò)，分割網(wǎng)絡(luò)也可看作是對(duì)像素的二分類，故在訓(xùn)練時(shí)沿用文獻(xiàn)[20]中分割網(wǎng)絡(luò)所使用損失函數(shù)，即統(tǒng)一使用二分類交叉熵?fù)p失函數(shù)，其定義式為：

(1)

式(1)中：N表示樣本數(shù)量；yi表示樣本i的標(biāo)定值，在鋁材區(qū)域分割任務(wù)中，鋁材區(qū)域像素的標(biāo)定值為1，背景區(qū)域像素的標(biāo)定值為0；在缺陷分割任務(wù)中，缺陷區(qū)域像素的標(biāo)定值為1，非缺陷區(qū)域像素的標(biāo)定值為0，在分類任務(wù)中，缺陷樣本的標(biāo)定值為1，正常樣本的標(biāo)定值為0；pi表示樣本i被預(yù)測(cè)為1的概率.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)來源

本文的數(shù)據(jù)集來自于阿里廣東工業(yè)智造大數(shù)據(jù)創(chuàng)新大賽—鋁型材表面瑕疵識(shí)別比賽的公開數(shù)據(jù)集.原數(shù)據(jù)集包含無缺陷樣本、有缺陷樣本兩大類，其中缺陷樣本又細(xì)分為臟點(diǎn)、不導(dǎo)電、桔皮、漆包、噴流、漏底、凹坑、雜色、擦花等9小類.本文針對(duì)凹坑缺陷，在原始數(shù)據(jù)集中依據(jù)檢測(cè)難易程度，選取缺陷樣本145張，其中易檢測(cè)、較易檢測(cè)、難檢測(cè)的比例為1∶3∶1，無缺陷樣本435張，共580張，將數(shù)據(jù)集分訓(xùn)練集、驗(yàn)證集、測(cè)試集分別為400張、60張、120張，其中缺陷樣本、無缺陷樣本、以及缺陷樣本檢測(cè)難易程度的樣本數(shù)比例保持不變.對(duì)缺陷樣本進(jìn)行鋁材區(qū)域分割標(biāo)注以及缺陷分割標(biāo)注，標(biāo)注軟件為L(zhǎng)abelme，對(duì)缺陷樣本和無缺陷樣本的分類標(biāo)注體現(xiàn)在命名規(guī)則里.數(shù)據(jù)集中原始圖像、鋁材區(qū)域分割圖像、缺陷分割圖像如圖1所示.

4.2 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)在windows10環(huán)境下完成，使用的語言為python3.6，在PyTorch1.0上搭建網(wǎng)絡(luò)并進(jìn)行訓(xùn)練.使用的核心顯卡為NVDIA GeForce GTX1080Ti，顯存為11G.實(shí)驗(yàn)采用單獨(dú)訓(xùn)練的方式，先單獨(dú)對(duì)鋁材區(qū)域分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，然后凍結(jié)區(qū)域分割網(wǎng)絡(luò)的權(quán)值，再對(duì)缺陷分割網(wǎng)絡(luò)進(jìn)行單獨(dú)訓(xùn)練，凍結(jié)區(qū)域分割網(wǎng)絡(luò)與缺陷分割網(wǎng)絡(luò)的權(quán)值，最后對(duì)決策網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

4.3 評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)提出的算法的性能，本文針對(duì)分割任務(wù)與分類任務(wù)采用了不用的評(píng)價(jià)指標(biāo).

對(duì)于鋁材區(qū)域分割和鋁材缺陷分割任務(wù)，采用文獻(xiàn)[8]中裂縫分割所使用的評(píng)價(jià)指標(biāo)：IOU(Intersection over Union),即交并比作為本文的分割性能評(píng)價(jià)指標(biāo).

(2)

IOU取值在0～1之間，表示的是算法分割的缺陷區(qū)域和手工標(biāo)注的缺陷區(qū)域的吻合程度，IOU取值越高，表示算法分割越精確.分割任務(wù)可以看作對(duì)像素的分類任務(wù)，在對(duì)分割任務(wù)評(píng)價(jià)時(shí)，將單張掩碼圖的缺陷區(qū)域像素稱為正樣本，非缺陷區(qū)域像素稱為負(fù)樣本，式中：TP為真正例，即實(shí)際為正樣本，預(yù)測(cè)為正樣本；FP為假正例，即實(shí)際為負(fù)樣本，預(yù)測(cè)為正樣本；FN為假反例，即實(shí)際為正樣本，預(yù)測(cè)為負(fù)樣本.為區(qū)分兩個(gè)分割任務(wù)的指標(biāo)，將鋁材區(qū)域分割指標(biāo)記作IOU1，鋁材缺陷分割指標(biāo)記作IOU2.

對(duì)于缺陷分類任務(wù)，選用文獻(xiàn)[7]中對(duì)鋁材氣泡及劃痕分類的評(píng)價(jià)指標(biāo)，即準(zhǔn)確度PAcc衡量分類任務(wù)的效果，該指標(biāo)衡量了網(wǎng)絡(luò)對(duì)于不同標(biāo)簽分類的準(zhǔn)確程度.公式為：

(3)

在本分類任務(wù)中，將缺陷樣本稱為正樣本，將無缺陷樣本稱為負(fù)樣本，式中：TP為真正例，即實(shí)際為正樣本，預(yù)測(cè)為正樣本；FP為假正例，即實(shí)際為負(fù)樣本，預(yù)測(cè)為正樣本；TN為真反例，即實(shí)際為負(fù)樣本，預(yù)測(cè)為負(fù)樣本；FN為假反例，即實(shí)際為正樣本，預(yù)測(cè)為負(fù)樣本.準(zhǔn)確度PAcc表示的是預(yù)測(cè)正確的樣本數(shù)占所有樣本總數(shù)的比例，值越大，表示分類效果越好.

4.4 結(jié)果分析

為了驗(yàn)證本文所提出的改進(jìn)策略相對(duì)于原網(wǎng)絡(luò)模型在檢測(cè)效果上是否有提升，以及改進(jìn)后的算法對(duì)鋁材表面凹坑缺陷數(shù)據(jù)集檢測(cè)性能表現(xiàn)是否良好，本文針對(duì)所提出的兩條改進(jìn)策略：添加鋁材區(qū)域分割網(wǎng)絡(luò)、引入SE模塊，設(shè)置了三種配置方式：?jiǎn)为?dú)加入?yún)^(qū)域分割網(wǎng)絡(luò)，單獨(dú)引入SE模塊，同時(shí)加入?yún)^(qū)域分割網(wǎng)絡(luò)和SE模塊，在現(xiàn)有數(shù)據(jù)集上進(jìn)行訓(xùn)練、測(cè)試、驗(yàn)證，與原網(wǎng)絡(luò)進(jìn)行對(duì)比，為方便描述，將原分割決策網(wǎng)絡(luò)稱作S-D，將三種配置方式依次稱為S-D1、S-D2、S-D3.實(shí)驗(yàn)結(jié)果如表1所示,F-count表示FP和FN的個(gè)數(shù)和.

表1 不同配置下方法的表現(xiàn)

由表1可以看到，在不同配置方式下，網(wǎng)絡(luò)模型的表現(xiàn)也有所差異.在單獨(dú)加入?yún)^(qū)域分割模塊和SE模塊的情況下，模型檢測(cè)準(zhǔn)確率都有所提升，在同時(shí)加入?yún)^(qū)域分割模塊和SE模塊的情況下，提升最大，分割精度提升了1.6%，分類準(zhǔn)確率提升了4.01%.而誤分類的個(gè)數(shù)也有顯著提升，相較于原網(wǎng)絡(luò)，減少了24個(gè).

單獨(dú)加入?yún)^(qū)域分割模塊，對(duì)分類精度的提升為0.42%，單獨(dú)加入SE模塊對(duì)精度的提升2.8%，而同時(shí)加入?yún)^(qū)域分割模塊與SE模塊提升則達(dá)到4.01%.對(duì)此，解釋為：區(qū)域分割模塊和SE模塊不僅僅各自提升精度，結(jié)合之后也對(duì)彼此有所增益，SE模塊不僅對(duì)原始產(chǎn)生的特征圖進(jìn)行權(quán)重分配，也對(duì)區(qū)域分割模塊產(chǎn)生的特征圖進(jìn)行權(quán)重分配，這樣就使得網(wǎng)絡(luò)在鋁材區(qū)域分割的基礎(chǔ)上，更加關(guān)注于只包含鋁材區(qū)域部分的特征，使得網(wǎng)絡(luò)能夠更有效地提取更重要的特征，忽略次要特征.而區(qū)域分割模塊作為一條分支，對(duì)其單獨(dú)訓(xùn)練，由于其占據(jù)了主路的一部分前端結(jié)構(gòu)，在訓(xùn)練時(shí)增加了對(duì)前幾層網(wǎng)絡(luò)結(jié)構(gòu)的約束，可以使得網(wǎng)絡(luò)學(xué)習(xí)更重要的特征，可以一定程度上抵抗由于SE模塊使得網(wǎng)絡(luò)精簡(jiǎn)帶來的訓(xùn)練過擬合的影響，提高網(wǎng)絡(luò)模型的泛化能力.

為驗(yàn)證本文所提出的方法在同樣條件下相較于其他方法，在鋁材表面凹坑缺陷數(shù)據(jù)集上是否有更優(yōu)異的性能，選取VGG網(wǎng)絡(luò)以及ResNet50網(wǎng)絡(luò)，作為所提方法分類檢測(cè)的對(duì)比方法.VGG第一次使用多層小卷積核代替大卷積核，簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu)的同時(shí)保持了更高的精度，并在工業(yè)上也有廣泛的應(yīng)用，如文獻(xiàn)[22]就將其用于布匹分類；而Resnet50則由于其獨(dú)特的短連接結(jié)構(gòu)解決了隨著網(wǎng)絡(luò)加深網(wǎng)絡(luò)性能下降的難題，影響了2016年深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的發(fā)展方向，在分類任務(wù)領(lǐng)域被廣泛應(yīng)用，如文獻(xiàn)[20]在鋁材缺陷分類時(shí)就使用了Resnt網(wǎng)絡(luò)結(jié)構(gòu),文獻(xiàn)[17]使用Resnet結(jié)構(gòu)對(duì)路面裂縫進(jìn)行檢測(cè)，故使用VGG和Resnet50作為對(duì)比試方法來驗(yàn)證本文所提方法的性能是可靠的.由于本文所提的網(wǎng)絡(luò)結(jié)構(gòu)為分段式結(jié)構(gòu)，訓(xùn)練時(shí)采取分段單獨(dú)訓(xùn)練的方式，在進(jìn)行分類任務(wù)時(shí)，分割網(wǎng)絡(luò)參數(shù)凍結(jié)，用VGG網(wǎng)絡(luò)以及Resnet50網(wǎng)絡(luò)結(jié)構(gòu)替換所提方法的前部分結(jié)構(gòu)，在輸出端采用同樣的全連接層，輸出對(duì)于缺陷檢測(cè)的分別類結(jié)果.選取FCN[8]、U-Net[12,13]網(wǎng)絡(luò)作為所提方法的分割對(duì)比方法.為保證同等條件，采用同樣的樣本集，在同樣的實(shí)驗(yàn)設(shè)置下，各個(gè)網(wǎng)絡(luò)選取訓(xùn)練結(jié)果最好的模型參數(shù)保存，進(jìn)行對(duì)比試驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5、圖6所示.

圖5 不同檢測(cè)方法的檢測(cè)結(jié)果對(duì)比圖

在缺陷樣本100張，無缺陷樣本300張的數(shù)據(jù)集上，VGG的缺陷分類準(zhǔn)確率達(dá)到了96.75%，Rsenet50的缺陷分類準(zhǔn)確率達(dá)到了98.10%.所提方法的分類準(zhǔn)確率達(dá)到了99.31%，誤檢率只有0.69%，基本滿足實(shí)際使用要求.在分割部分，所提方法的區(qū)域分割精度相較于FCN提升4.54%，較U-Net降低0.57%，缺陷分割精度達(dá)到了相較于對(duì)比算法最好的U-Net提升0.76%.這是因?yàn)閁-Net的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)際上是對(duì)每一個(gè)像素點(diǎn)的分類，而且他的結(jié)構(gòu)本身也有特征圖的融合，其對(duì)樣本數(shù)據(jù)量需求較少，故在缺陷樣本100張時(shí)，本文所提方法在區(qū)域分割時(shí)稍弱，可視化分割結(jié)果見圖6.

對(duì)鋁材區(qū)域的分割任務(wù)，從結(jié)果來看，本文提出的方法和FCN、U-Net均可以較好的將完整區(qū)域分割出來，但是FCN有時(shí)會(huì)存在誤檢的區(qū)域，在鋁材顏色分布不均勻時(shí)，易將鋁材一部分邊緣錯(cuò)誤看作背景.在缺陷分割任務(wù)中，由于缺陷分布無規(guī)律，有時(shí)單張會(huì)存在多個(gè)缺陷，F(xiàn)CN、U-Net有時(shí)會(huì)將靠近的兩個(gè)點(diǎn)當(dāng)作一個(gè)點(diǎn)，有時(shí)會(huì)漏檢細(xì)小的點(diǎn)，而本文提出的方法相較少出現(xiàn)上述情況.由此可見，本文提出的方法在分割精度上優(yōu)于FCN、U-Net.

(a) (b) (c) (d) (e) (f) (g) (h) (i) 缺陷樣本 區(qū)域分割 U-Net區(qū) FCN區(qū) S-D3區(qū) 缺陷分割 FCN缺 U-Net缺 S-D3缺 標(biāo)注 區(qū)域分割 域分割 域分割 域分割 標(biāo)注 陷分割 陷分割 陷分割圖6 不同方法的分割結(jié)果對(duì)比圖

為驗(yàn)證在缺陷樣本數(shù)量減少的條件下，本文所提出的方法是否具有穩(wěn)定性，針對(duì)本文的主要任務(wù)，缺陷分類任務(wù)，對(duì)比本文所提方法和VGG、Resnet50進(jìn)行對(duì)比試驗(yàn)，將缺陷樣本數(shù)隨機(jī)減少至70、45、30，無缺陷樣本保持不變，設(shè)置對(duì)比試驗(yàn)，除缺陷樣本數(shù)量不同外，保持訓(xùn)練環(huán)境等保持一致，并選取訓(xùn)練結(jié)果最好的模型參數(shù)保存，在測(cè)試集上進(jìn)行驗(yàn)證，并記錄實(shí)驗(yàn)結(jié)果如圖7所示.

圖7 不同缺陷樣本數(shù)量下算法 檢測(cè)結(jié)果對(duì)比圖

從圖7可以看出，隨著缺陷樣本數(shù)量的減少，分類準(zhǔn)確度都有所降低，本文所提方法相比于Resnet50、VGG，在缺陷樣本數(shù)量逐漸降低至30時(shí)，還保持在98%左右，而VGG已經(jīng)降低至76%左右，無法滿足使用要求.由圖8可知，誤分類個(gè)數(shù)也保持同樣的趨勢(shì)，在缺陷樣本數(shù)為100時(shí)，都僅有個(gè)位數(shù)的誤分類個(gè)數(shù)，隨著缺陷樣本數(shù)減少，對(duì)比方法的誤分類個(gè)數(shù)最多達(dá)157，而本文所提方法最多只有18.由此可見，本文所提的多任務(wù)特征融合檢測(cè)方法，在樣本數(shù)量減少時(shí)，仍能保持較高的穩(wěn)定性，本文所提的方法是有效、可靠、穩(wěn)定的.

圖8 不同缺陷樣本數(shù)量下算法 誤分類個(gè)數(shù)對(duì)比圖

5 結(jié)論

本文使用一種改進(jìn)的分割決策網(wǎng)絡(luò)模型對(duì)鋁材表面凹坑缺陷進(jìn)行檢測(cè)，構(gòu)建了凹坑缺陷檢測(cè)數(shù)據(jù)集，來訓(xùn)練、驗(yàn)證所提出的方法，通過添加鋁材區(qū)域分割網(wǎng)絡(luò)，用多任務(wù)訓(xùn)練的方式，提升了網(wǎng)絡(luò)的檢測(cè)精度，并通過引入SE模塊，添加注意力機(jī)制，使得網(wǎng)絡(luò)更好的利用多任務(wù)特征融合的優(yōu)勢(shì)，提升網(wǎng)絡(luò)對(duì)于重要特征的提取能力.

結(jié)果表明，本文所提方法小相較于原網(wǎng)絡(luò)模型，分割精度提升了1.6%，分類精度提升了4.01%，相較于FCN、U-net，網(wǎng)絡(luò)在缺陷分割部分檢測(cè)精度領(lǐng)先對(duì)比方法最優(yōu)算法0.76%，相較于VGG、Resnet50，網(wǎng)絡(luò)在圖像分類部分檢測(cè)精度領(lǐng)先對(duì)比方法最優(yōu)算法1.12%.并且在缺陷樣本數(shù)據(jù)量減少至30張的情況下，分類精度為98.32%，較Resnet50分類精度84.2%，VGG分類精度76.59%更精確且穩(wěn)定.

所提方法也可用于其他工業(yè)產(chǎn)品的缺陷檢測(cè)領(lǐng)域，并且對(duì)樣本需求較小.但是本文所提的方法僅對(duì)缺陷的存在性做出判別，下一步的工作是對(duì)網(wǎng)絡(luò)添加缺陷種類檢測(cè)模塊，使得網(wǎng)絡(luò)在小樣本的條件下仍能保持較好的準(zhǔn)確度、穩(wěn)定性，滿足工業(yè)缺陷檢測(cè)需求.