基于改進(jìn)RefineDet的織物疵點(diǎn)檢測

阮夢(mèng)玉，李 敏，何儒漢，姚 迅

(武漢紡織大學(xué)計(jì)算機(jī)與人工智能學(xué)院，武漢 430200)

在紡織產(chǎn)品的生產(chǎn)過程中，質(zhì)量控制貫穿著整個(gè)過程。有質(zhì)量問題的織物會(huì)在很大程度上影響其價(jià)格，因此對(duì)織物進(jìn)行疵點(diǎn)檢測，是成品布出廠的最后一道工序，也是控制成布質(zhì)量的關(guān)鍵環(huán)節(jié)[1-2]。傳統(tǒng)的織物疵點(diǎn)檢測方法，主要是以人工檢測的方式為主。人工檢測需要大量勞動(dòng)力，且容易受到檢測員主觀因素和外界環(huán)境等客觀因素的影響，出現(xiàn)誤檢和漏檢的問題，導(dǎo)致檢測效果差[3]。

為了提高織物疵點(diǎn)檢測的效率，從20世紀(jì)90年代開始，研究者們就提出了大量的基于圖像處理的織物疵點(diǎn)自動(dòng)檢測方法[4]。不僅如此，自2015年開始，深度學(xué)習(xí)的方法被引入到織物疵點(diǎn)檢測領(lǐng)域，這些方法突破了傳統(tǒng)織物疵點(diǎn)檢測的局限性，算法性能得到了大大提升。Jun等[5]提出了一種利用深度卷積神經(jīng)網(wǎng)絡(luò)，通過將局部缺陷預(yù)測和全局缺陷識(shí)別兩者結(jié)合起來進(jìn)行疵點(diǎn)識(shí)別，使得模型的檢測準(zhǔn)確率提高。周文明等[6]利用上下文視覺顯著性抑制織物紋理背景，突出疵點(diǎn)區(qū)域，該方法能夠?qū)ι椢镏械拇命c(diǎn)進(jìn)行準(zhǔn)確的定位，且適應(yīng)性較好。景軍鋒等[7]提出了一種將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于織物缺陷檢測和分類的算法，該算法在單色匹織物上檢測效果較好，縮短了檢測時(shí)間，能夠?qū)Υ命c(diǎn)區(qū)域進(jìn)行精準(zhǔn)的定位。劉紀(jì)等[8]提出一種利用生成對(duì)抗網(wǎng)絡(luò)(Generative adversarial networks，GAN)和霍夫變換(Hough transform，HT)結(jié)合的方法，檢測點(diǎn)狀缺陷織物，其檢測的準(zhǔn)確率達(dá)到了97.2%。李敏等[9]利用視覺顯著性模型對(duì)小提花織物圖像進(jìn)行疵點(diǎn)檢測，正確率達(dá)到了93.5%。

相比傳統(tǒng)方法而言，以上基于深度學(xué)習(xí)的方法對(duì)織物疵點(diǎn)進(jìn)行檢測，取得了良好的檢測結(jié)果，使檢測性能大幅提升，解決了傳統(tǒng)方法適應(yīng)性差、檢測精度低的問題。但是，上文所提的部分方法只能實(shí)現(xiàn)對(duì)織物疵點(diǎn)的分類，不能定位織物疵點(diǎn)；盡管其中的一些方法能夠定位織物疵點(diǎn)，但只是檢測單色或者單一類型的織物。

為實(shí)現(xiàn)對(duì)多種類型的織物疵點(diǎn)的分類和定位，本文將RefineDet模型用于織物疵點(diǎn)檢測中，并針對(duì)傳統(tǒng)RefineDet模型分類性能不佳和定位結(jié)果不精確等問題，對(duì)其進(jìn)行了改進(jìn)。研究結(jié)果將為實(shí)現(xiàn)織物圖像中疵點(diǎn)的分類和定位提供技術(shù)指導(dǎo)。

1 RefineDet模型的介紹

RefineDet模型是由Zhang等[10]在2018年提出的，該模型使用VGG16或ResNet101作為特征提取網(wǎng)絡(luò)，主要由Anchor細(xì)化模塊(Anchor refinement module，ARM)和目標(biāo)檢測模塊(Object detection module，ODM)組成，如圖1(a)所示。

圖1 RefineDet模型

在RefineDet中，ARM的目標(biāo)是消除負(fù)樣本Anchors，以便減少分類器的搜索空間，同時(shí)粗略調(diào)整Anchors的大小和位置，為隨后的回歸器提供更好的初始化結(jié)果[11]；ODM的目標(biāo)是根據(jù)細(xì)化后的Anchors，把檢測的結(jié)果回歸到準(zhǔn)確的目標(biāo)位置并預(yù)測多類別標(biāo)簽。

為了在ARM和ODM之間建立連接，Zhang等[10]引入了傳輸連接塊(Transfer connection block，TCB),如圖1(b)所示。TCB將ODM所需要的信息通過ARM來提供，從而達(dá)到ODM可以共享ARM的特征信息的目標(biāo)，所以O(shè)DM是由TCB的輸出組成。同時(shí)，TCB傳輸Anchor細(xì)化模塊中的特征，它不僅可以在ODM中預(yù)測目標(biāo)的位置、尺寸和類別標(biāo)簽，還可以通過將ARM的高級(jí)特征添加到傳輸?shù)奶卣鱽砝^承大規(guī)模的上下文，以提高檢測的準(zhǔn)確性[11]。不僅如此，為了讓它們之間的維度相匹配，TCB通過逆卷積來達(dá)到增強(qiáng)高級(jí)特征圖的目的，然后對(duì)高級(jí)特征圖進(jìn)行對(duì)應(yīng)元素求和操作，再通過對(duì)求和之后的結(jié)果添加卷積層來提高檢測結(jié)果的可辨性，最后由ODM對(duì)目標(biāo)區(qū)域進(jìn)行分類和定位。

本文使用RefineDet對(duì)不同類型的織物圖像進(jìn)行大量實(shí)驗(yàn)。圖2顯示的是用RefineDet對(duì)紗疵進(jìn)行檢測的結(jié)果。

圖2 RefineDet對(duì)疵點(diǎn)的檢測結(jié)果

圖2(a)是原始織物圖像，圖2(b)藍(lán)色框標(biāo)記了疵點(diǎn)的真實(shí)位置，圖2(c)顯示了用RefineDet進(jìn)行疵點(diǎn)檢測的結(jié)果。從圖2(c)可以看出，RefineDet可以檢測出織物圖像中的較大疵點(diǎn)，但是當(dāng)疵點(diǎn)較小或者與圖像背景色相近時(shí)，RefineDet無法檢測出這類疵點(diǎn)。造成這種現(xiàn)象的主要原因在于，RefineDet使用傳統(tǒng)的貪心算法，在很大概率上會(huì)出現(xiàn)漏檢的情況，導(dǎo)致RefineDet忽略疵點(diǎn)的細(xì)節(jié)信息，最后出現(xiàn)定位不精確的現(xiàn)象。

2 基于改進(jìn)RefineDet的疵點(diǎn)檢測

2.1 算法思想和流程

RefineDet模型具有較強(qiáng)的目標(biāo)定位能力和良好的泛化能力，為更好的適用于織物疵點(diǎn)檢測，本文針對(duì)RefineDet模型不能有效解決小疵點(diǎn)的檢測問題，對(duì)RefineDet模型中的ARM和TCB進(jìn)行了改進(jìn)，包括：在ARM中引入了注意力機(jī)制，可以使模型關(guān)注疵點(diǎn)重要的特征并抑制不必要的特征，用于增強(qiáng)對(duì)疵點(diǎn)檢測的能力；在TCB中引入了SE模塊結(jié)構(gòu)(Squeeze and excitation, SE)[12]，用于提高網(wǎng)絡(luò)的分類性能。具體流程如下：

a)首先，在ARM中加入注意力機(jī)制，通過同時(shí)使用平均池化和最大池化來處理ARM之前的層，抑制非疵點(diǎn)區(qū)域，關(guān)注疵點(diǎn)區(qū)域。

b)其次，在連接ARM的TCB模塊后面加入4個(gè)SE模塊。

c)將TCB的結(jié)果作為SE模塊的輸入，在SE模塊中進(jìn)行全局均值池化，將池化后的結(jié)果進(jìn)行拼接并輸入到Softmax層進(jìn)行全連接計(jì)算。記改進(jìn)后的模型為改進(jìn)的RefineDet。

d)使用改進(jìn)后的RefineDet模型對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練后，根據(jù)4個(gè)SE模塊處理后得到4種尺寸的特征圖，為了使其維度匹配，通過逆卷積增強(qiáng)高級(jí)特征圖，然后把高級(jí)特征圖的對(duì)應(yīng)元素求和。

e)最后，對(duì)求和之后的結(jié)果添加卷積層來提高檢測結(jié)果的可辨性，ODM將結(jié)果回歸到準(zhǔn)確的疵點(diǎn)位置并預(yù)測疵點(diǎn)的多類別標(biāo)簽。

算法的整體流程如圖3所示。

圖3 本文算法整體流程

2.2 改進(jìn)RefineDet模型結(jié)構(gòu)

2.2.1 特征提取網(wǎng)絡(luò)

為了得到織物疵點(diǎn)更多的特征信息，需要一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)簡單且網(wǎng)絡(luò)深度足夠的深度網(wǎng)絡(luò)，用來完成提取疵點(diǎn)多級(jí)特征的任務(wù)。本文在VGG16的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)進(jìn)行修改，將VGG16的最后兩個(gè)完全連接層和最后一個(gè)池化層去掉，將VGG16修改為完全卷積網(wǎng)絡(luò)，并對(duì)修改后的網(wǎng)絡(luò)重新進(jìn)行訓(xùn)練。這是因?yàn)槿B接層所占參數(shù)量較大，將全連接層去掉，可以減少參數(shù)數(shù)量，且對(duì)性能沒有明顯影響。

2.2.2 AM-ARM

在第一步分類和回歸的Anchor細(xì)化模塊中加入注意力機(jī)制(Attention mechanism, AM)，將改進(jìn)后的模塊記為AM-ARM。注意力機(jī)制的原理是通過快速掃描圖像的全局，從而獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，也就是一般所說的注意力焦點(diǎn)，而后對(duì)這一區(qū)域投入更多注意力資源，以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息，而抑制其他無用信息[13]。本文利用注意力機(jī)制這一優(yōu)點(diǎn)，將注意力機(jī)制引入到織物疵點(diǎn)檢測中，可以使模型關(guān)注織物圖像的重要特征并抑制不必要的特征，從而將疵點(diǎn)凸顯出來，增強(qiáng)對(duì)疵點(diǎn)檢測的能力。

如圖4所示，給定一個(gè)中間特征圖Input記為M,M∈RW*H*C作為輸入，AM-ARM的輸出Output記為P，計(jì)算見式(1)和式(2)：

圖4 全卷積通道注意力模塊

P=?1(FConv(AvgPool(M))+

FConv(MaxPool(M)))

(1)

FConv(*)=?2(Conv2(?2(Conv1(*))))

(2)

式中：AvgPool()代表全局平均池化；MaxPool()代表全局最大池化；FConv代表全卷積；Conv1代表卷積層1；Conv2代表卷積層2；?1是Sigmoid激活函數(shù)；?2是Relu激活函數(shù)；W、H、C分別代表卷積特征圖的寬、高和通道數(shù)；特征圖大小為W×H×C。

2.2.3 引入SE模塊

SE模塊思想簡單，易于實(shí)現(xiàn)，并且很容易可以加載到現(xiàn)有的網(wǎng)絡(luò)模型框架中，不僅如此，SE模塊能夠顯著改善網(wǎng)絡(luò)的分類能力，而且該模塊對(duì)網(wǎng)絡(luò)的負(fù)面影響也較小。SE模塊的結(jié)構(gòu)如圖5所示，圖5 中：ReLu代表ReLu激活函數(shù)；Sigmoid代表Sigmoid激活函數(shù)；Scale代表通道權(quán)重相乘；W、H、C分別代表卷積特征圖的寬、高和通道數(shù)；特征圖大小為W×H×C。

圖5 SE模塊結(jié)構(gòu)

本文將SE引入到織物疵點(diǎn)檢測分類中來，以提高疵點(diǎn)的分類性能。具體實(shí)現(xiàn)過程如下：

a)將AM-ARM輸出的特征圖作為TCB的輸入，此時(shí)得到了4種不同尺寸的特征。

b)將經(jīng)TCB處理后的結(jié)果作為SE模塊的輸入，即在TCB后加入了4個(gè)SE模塊。SE模塊是由全連接層和非線性約束層構(gòu)成的，它能夠很方便的加載到現(xiàn)有的網(wǎng)絡(luò)模型中。SE模塊通過對(duì)卷積特征的通道進(jìn)行加權(quán)操作，對(duì)分類有效的通道特征進(jìn)行增強(qiáng)操作，對(duì)分類無效的通道特征進(jìn)行抑制。

c)根據(jù)4個(gè)SE模塊處理后得到4種不同尺寸的特征圖，為了使其維度匹配，通過逆卷積增強(qiáng)高級(jí)特征圖，然后把高級(jí)特征圖的對(duì)應(yīng)元素求和，其中高級(jí)特征圖的大小分別為40×40×256,20×20×256,10×10×256,5×5×256，最后對(duì)求和之后的結(jié)果添加卷積層來提高檢測結(jié)果的可辨性。

d)ODM將結(jié)果回歸到準(zhǔn)確的疵點(diǎn)位置并預(yù)測疵點(diǎn)的多類別標(biāo)簽。

2.2.4 ODM

將從SE模塊輸出的特征圖作為ODM的輸入，ODM預(yù)測疵點(diǎn)的位置、尺寸和類別標(biāo)簽。

ODM與ARM相似，由4個(gè)卷積層組成，通道數(shù)為K×(C+4)，其中C代表疵點(diǎn)類別的數(shù)量，4代表預(yù)測框的4個(gè)坐標(biāo)值(xmin,ymin,xmax,ymax)，K為縱橫比，本文設(shè)置為3。在計(jì)算損失函數(shù)方面，主要包含AM-ARM和ODM兩方面，這兩部分的損失函數(shù)都是一起向前傳遞的。在網(wǎng)絡(luò)中選擇合適的激活函數(shù)可以降低損失，因此本文選擇Sigmoid、ReLu激活函數(shù)。另外在訓(xùn)練時(shí)，訓(xùn)練時(shí)間足夠，迭代105次以及合適的學(xué)習(xí)率0.0001。與原始RefineDet相同，在訓(xùn)練階段，總的兩步損失計(jì)算見式(3)：

L({pi},{xi},{ci},{ti})=

(3)

式中：i是訓(xùn)練批次中標(biāo)記框的索引；Narm和Nodm分別指的是ARM和ODM中正樣本Anchors的數(shù)目；pi指的是預(yù)測的anchori是一個(gè)目標(biāo)的置信度；xi指的是ARM細(xì)化后預(yù)測的Anchori的坐標(biāo)；ci是ODM中預(yù)測標(biāo)記框的物體類別；ti是ODM中預(yù)測標(biāo)記框的坐標(biāo)；Lb表示二元分類損失，即目標(biāo)與非目標(biāo)的交叉熵?fù)p失；Lr表示回歸損失；Lm表示多類別分類損失；指數(shù)函數(shù)[l*i≥1]表示當(dāng)框i屬于缺陷類時(shí)，輸出1，否則為0；l*i是anchori真實(shí)的類別標(biāo)簽；g*i是Anchori真實(shí)的位置和大小。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)準(zhǔn)備

a)數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)操作系統(tǒng)為Ubuntu16.04LTS，顯卡為NVIDIA GeForce RTX 2080Ti，CPU為Intel Core i9-9900X，內(nèi)存大小為125.6 GB，使用Python編程語言和Pytorch深度學(xué)習(xí)框架。網(wǎng)絡(luò)學(xué)習(xí)率為 0.0001，動(dòng)量和權(quán)重衰減分別設(shè)為0.9和0.0005。

數(shù)據(jù)集使用TILDA織物數(shù)據(jù)庫，它是一個(gè)公開的紡織品紋理數(shù)據(jù)庫，共有8類，其中有4類無圖案的織物圖像，兩類規(guī)則圖案的織物圖像和兩類復(fù)雜圖案的織物圖像。TILDA數(shù)據(jù)集包含1600張分辨率為768×512的圖像，從中選取1200張圖像，輸入圖像大小為320×320，并按照3∶1的比例隨機(jī)生成訓(xùn)練集和測試集，根據(jù)疵點(diǎn)類型，將數(shù)據(jù)集分為孔、污漬、紗疵、線狀4類比較常見的類別，如圖6所示，并對(duì)疵點(diǎn)類別進(jìn)行標(biāo)注。

圖6 TILDA數(shù)據(jù)集中4種常見類別的織物疵點(diǎn)

b)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)結(jié)果采用均值平均精度(mean Average precision，mAP)進(jìn)行評(píng)價(jià)，mAP的具體計(jì)算公式如式(7)所示。其中AP(Average precision)為平均精度，如式(6)所示；式(6)中的P(Precision)為測試精度，R(Recall)為召回率；式(4)、式(5)中的TP(True positives)為預(yù)測框與標(biāo)簽框正確的匹配；FP(False positives)為預(yù)測框?qū)⒈尘邦A(yù)測為目標(biāo)；FN(False negatives)指需要模型檢測出的物體，沒有檢測出[14]。

(4)

(5)

(6)

(7)

3.2 結(jié)果與分析

在TILDA數(shù)據(jù)集上，使用相同的訓(xùn)練集進(jìn)行訓(xùn)練，并對(duì)比傳統(tǒng)RefineDet模型與改進(jìn)后的模型二者之間的損失。圖7顯示的是模型訓(xùn)練階段的損失，其中圖7(a)顯示的是傳統(tǒng)RefineDet模型訓(xùn)練階段的損失，圖7(b)為改進(jìn)后模型的損失函數(shù)。從圖7(a)可以看出在訓(xùn)練階段損失不斷減小，直到收斂。經(jīng)過105次迭代，完成模型參數(shù)的訓(xùn)練。對(duì)比圖7和圖7(b)可以發(fā)現(xiàn)，相比傳統(tǒng)RefineDet的疵點(diǎn)檢測方法而言，本文提出的方法各項(xiàng)損失較低且擬合效果較好。

圖7 模型訓(xùn)練階段的損失

圖8顯示的是模型測試的P-R曲線。其中 圖8(a)和圖8(b)顯示的是使用兩種不同的方法對(duì)相同的織物圖像進(jìn)行測試后所得到的mAP值。圖8(a)表示通過傳統(tǒng)RefineDet方法對(duì)4種類型的疵點(diǎn)進(jìn)行檢測，其均值平均精度mAP達(dá)到了 74.7%，圖8(b)表示通過本文所提出的方法，其均值平均精度mAP達(dá)到了79.7%，相比于傳統(tǒng)RefineDet方法提高了5.0%。

圖8 P-R平均精確度曲線

表1是使用兩種不同的方法進(jìn)行測試后所得到的AP值。從表1改進(jìn)后的AP中可以看出，本文提出的方法對(duì)孔和污漬的分類效果較好，但對(duì)紗疵和線狀的分類情況稍差。造成紗疵平均精確度較低的主要原因是紗疵的特征比較復(fù)雜多樣，且有的紗疵缺口較大，與洞的特征類似，導(dǎo)致網(wǎng)絡(luò)對(duì)紗疵的識(shí)別精確度較低。造成線狀平均精確度較低的主要原因是線與織物圖像的背景比較相近時(shí)較難識(shí)別，模型無法區(qū)分是背景還是線，并且有的線顏色較淺，難以識(shí)別。

表1 測試方法改進(jìn)前后的平均精確度

對(duì)比改進(jìn)前后的平均精確度可以看出，孔和污漬的平均精確度分別提高了1.2%和1.3%，紗疵和線狀的平均精確度分別提高了11.6%和6.3%，出現(xiàn)這種結(jié)果的原因是，孔和污漬相較于背景而言，對(duì)比度較明顯，所以在改進(jìn)前后的平均精確度只提高了一至兩個(gè)點(diǎn)，并沒有較大提升；而對(duì)于紗疵和線狀來說，這兩類疵點(diǎn)相比織物背景而言對(duì)比度較差，且疵點(diǎn)特征沒有孔和污漬明顯，在利用注意力機(jī)制和SE模塊改進(jìn)后，這兩類疵點(diǎn)檢測的精確度得到顯著提升。

圖9顯示了疵點(diǎn)的定位效果。圖9中，第1列是織物疵點(diǎn)圖像；第2列是傳統(tǒng)RefineDet檢測結(jié)果；第3列是改進(jìn)RefineDet檢測結(jié)果；第1行是孔；第2行是紗疵；第3、4行是線狀；第5行是污漬。

圖9 改進(jìn)前后疵點(diǎn)定位效果對(duì)比

從圖9可以看出，4種類型的疵點(diǎn)分別在條紋、素色、格子、針織4種背景下，實(shí)現(xiàn)了良好的分類和定位效果。不僅如此，還可以發(fā)現(xiàn)，改進(jìn)之后的方法定位效果明顯優(yōu)于改進(jìn)之前的方法。這主要體現(xiàn)在改進(jìn)之后的方法可以定位較小疵點(diǎn)，例如條紋背景中的小孔和針織背景中的小污漬，以及改進(jìn)后的方法可以定位織物圖像中的多疵點(diǎn)和與背景顏色相近的疵點(diǎn)，例如素色背景中紗疵和格子背景中的線狀。從這兩方面可以發(fā)現(xiàn)，本文提出的方法在分類和定位方面明顯優(yōu)于傳統(tǒng)RefineDet方法。

4 結(jié) 論

針對(duì)織物疵點(diǎn)檢測和定位，本文提出了一種基于改進(jìn)RefineDet的疵點(diǎn)檢測方法。該方法在ARM模塊中加入了注意力機(jī)制，著重關(guān)注疵點(diǎn)重要的特征并抑制不必要的特征，降低了非疵點(diǎn)區(qū)域在檢測過程中的干擾；為了加強(qiáng)模型的分類性能，在TCB模塊中加入SE模塊，計(jì)算其生成的特征圖，為了使其維度匹配，通過逆卷積來達(dá)到增強(qiáng)高級(jí)特征圖的目的，然后對(duì)高級(jí)特征圖對(duì)應(yīng)元素求和，對(duì)求和之后的結(jié)果添加卷積層來提高檢測結(jié)果的可辨性。最后ODM將結(jié)果回歸到準(zhǔn)確的目標(biāo)位置并預(yù)測多類別標(biāo)簽，對(duì)疵點(diǎn)區(qū)域進(jìn)行定位。結(jié)果表明，本文算法不僅能夠?qū)崿F(xiàn)對(duì)織物圖像中不同類型疵點(diǎn)的定位，而且也可以定位一張圖像中的較小疵點(diǎn)和多個(gè)疵點(diǎn)，能夠有效檢測織物圖像中的單疵點(diǎn)和多疵點(diǎn)。

本文所提的算法也存在一定的不足，算法模型可以進(jìn)一步優(yōu)化，以提高模型的精度和定位效果。