結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)的提花織物疵點檢測技術(shù)

李敏 楊珊 何儒漢 姚迅 崔樹芹

摘 要：為了實現(xiàn)提花織物疵點自動檢測，提出了一種結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)的提花織物疵點檢測方法。針對提花織物背景干擾的問題，利用視覺顯著性模型（Context-aware，CA）抑制背景信息，突出疵點區(qū)域的顯著性來獲得圖像的顯著圖;為了區(qū)分織物圖像中是否存在疵點，使用在通用數(shù)據(jù)集上訓(xùn)練過的VGG16神經(jīng)網(wǎng)絡(luò)模型對提花織物圖像的顯著圖分類。結(jié)果表明：該方法在提花織物疵點檢測上平均準確率為97.07%，比直接利用VGG16模型對提花織物疵點檢測的準確率提高了19.44%，是一種適合提花織物疵點檢測的方法。

關(guān)鍵詞：提花織物;疵點檢測;視覺顯著性;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號： TS101.9

文獻標志碼：A

文章編號：1009-265X（2021）06-0062-05

Jacquard Fabric Defect Detection Technology CombiningContext-awareness and Convolutional Neural Network

LI Min， YANG Shan， He Ruhan， YAO Xun， CUI Shuqin

（School of Computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan 430200， China）

Abstract： In order to achieve the automatic detection of jacquard fabric defects， a method is proposed to detect jacquard fabric defects， which combines context-awareness and convolutional neural network. In order to solve the problem of background interference in the jacquard fabric， a context-aware （CA） model was used to suppress the background information and highlight the salience of the defect area to obtain a context-aware view of the image. To distinguish whether there are defects in the fabric image， the VGG16 neural network model trained on the general data set was used to classify the context-aware views of the image. The results show that this method has an average accuracy of 97.07% in the detection of jacquard fabric defects， which is 19.44% higher than that of the detection of jacquard fabric defects by the direct use of the VGG16 model. It is a suitable method for detecting jacquard fabric defects.

Key words： jacquard fabric; defect detection; context-awareness; convolutional neural network

收稿日期：2020-11-03? 網(wǎng)絡(luò)首發(fā)日期：2021-04-15

基金項目：湖北省教育廳科技項目（D20161605）

作者簡介：李敏（1978-），女，湖北武漢人，副教授，博士，主要從事圖像處理和模式識別方面的研究。

織物疵點檢測是提高紡織質(zhì)量的重要環(huán)節(jié)，其中提花織物的檢測是織物疵點檢測中的難點[1]。近年來，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)作為其主要的算法被廣泛運用到圖像的缺陷檢測中[2]，如羅俊麗等[3]提出基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的色織物疵點檢測，該方法是分別利用殘差網(wǎng)絡(luò)模型和在通用數(shù)據(jù)集上訓(xùn)練過的殘差網(wǎng)絡(luò)模型對預(yù)處理過的織物圖像進行分類訓(xùn)練，然后比較在大小不同的數(shù)據(jù)集上訓(xùn)練的效果;曹振軍等[4]提出了基于樹莓派的深度學(xué)習(xí)色織物疵點檢測方法，使用改進的Inception-v3模型和人工交互界面來實現(xiàn)的色織物疵點的實時檢測系統(tǒng);Liu等[5]提出基于更快的R-CNN的織物疵點檢測，通過RPN提取多個候選區(qū)域并利用Fast R-CNN對候選區(qū)進行疵點檢測，最后采用Soft-NMS來精確檢測結(jié)果;Jun等[6]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的兩階段策略的織物缺陷檢測，是利用Inception-v1模型對圖像進行局部缺陷預(yù)測再用LeNet-5模型對全局缺陷進行識別。

上述方法針對素織物圖像的疵點檢測效果明顯，但在提花織物圖像的疵點檢測上不能滿足紡織品質(zhì)量的要求，這是因為提花織物存在復(fù)雜的背景，在檢測過程中背景信息往往會被當(dāng)作疵點從而影響了檢測的準確率。

為了消除提花織物花紋對疵點檢測的干擾，李敏等[7]、周文明等[8]提出了使用視覺顯著性來對織物疵點進行檢測，先將織物圖像輸入視覺顯著模型中生成顯著圖，然后通過顯著圖來確定疵點的位置。雖然上述方法能夠較好地解決有疵點的織物圖像中背景花紋對疵點檢測的干擾，但容易導(dǎo)致在檢測過程中將無疵點的織物圖像誤判為有疵點的織物圖像，增大了誤檢率。

為了提高檢測的準確率，降低誤檢率，本文提出了結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)的提花織物疵點檢測方法。該方法先利用視覺顯著性模型抑制背景信息，突出疵點區(qū)域的顯著性;然后利用卷積神經(jīng)網(wǎng)絡(luò)對織物圖像進行有無疵點的判斷。經(jīng)實驗驗證，本文所提方法可以大大提高提花織物疵點檢測的準確率，同時降低誤檢率。

1 基于VGG16的織物疵點檢測法

近年來，VGG網(wǎng)絡(luò)被廣泛應(yīng)用到織物疵點檢測領(lǐng)域。Sun等[9]將基于VGG16的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)用于織物疵點檢測中;張馳[10]提出了一種基于VGGNet的織物缺陷識別方法，該方法用于解決復(fù)雜的織物疵點檢測和疵點分割的問題。

利用在通用數(shù)據(jù)集上訓(xùn)練過的VGG16網(wǎng)絡(luò)，本文對有疵點和無疵點的兩類織物圖像上進行了實驗。實驗過程中用到了852張?zhí)峄椢飯D像，圖像大小為250像素×250像素。經(jīng)過100輪訓(xùn)練后得到的準確率跟損失率結(jié)果如圖1所示。其中，方法1為在素織物數(shù)據(jù)集上的檢測結(jié)果，方法2為在提花數(shù)據(jù)集上的檢測結(jié)果。分析圖1可以發(fā)現(xiàn)，VGG16模型在素織物數(shù)據(jù)集上的檢測效果明顯好于提花數(shù)據(jù)集。因為在訓(xùn)練100輪后，方法2檢測的準確率只有88.06%，損失率為40.15%;而方法1檢測的準確率可達到94.55%，損失率為27.20%。造成這種現(xiàn)象的主要原因為，跟素織物相比較，提花織物圖像背景復(fù)雜，提花織物的花紋在檢測過程中往往會被誤判為疵點，從而影響了檢測的準確率。

2 結(jié)合視覺顯著性和神經(jīng)網(wǎng)絡(luò)的織物疵點檢測法

2.1 基本思想

視覺顯著性旨在突出顯示圖像中最顯著的對象或區(qū)域[11]。為了排除背景信息對檢測的干擾提升檢測的準確率，先將提花織物圖像輸入到CA模型[12]中生成顯著圖。然后將生成的顯著圖輸入到VGG16模型中對顯著圖進行分類，從而區(qū)分有疵點的顯著圖和無疵點的顯著圖，即為有疵點的織物圖像和無疵點的織物圖像。圖2為本文方法的流程圖。

2.2 方法實現(xiàn)

利用視覺顯著性做提花織物疵點檢測時，圖像中存在疵點的區(qū)域較圖像中其他部分有一定的差別，而這種差別會使得該區(qū)域顯著性更高?；诖?，從全局和局部考慮，通過抑制提花織物背景區(qū)域的顯著性，提高異常區(qū)域的顯著性來實現(xiàn)提花織物疵點檢測。根據(jù)如下原則對提花織物圖像進行處理。

a）從圖像局部考慮，提高圖像中存在顏色或紋理異常區(qū)域的顯著值，降低正常區(qū)域的顯著值。

b）從圖像的全局考慮，抑制經(jīng)常出現(xiàn)的區(qū)域的特征，增強異常區(qū)域的特征。

c）從圖像的空間位置考慮，顯著的像素是聚集的，非顯著區(qū)域的像素是分散的。

2.2.1 局部全局單尺度顯著性計算

首先將圖像切分成多個塊（文中將圖像分為7像素×7像素的圖像塊），將圖像所對應(yīng)的塊與所有的其他塊做對比，根據(jù)原則a）、b）可知，如果以像素為中心的塊是獨特的，則像素是顯著的。根據(jù)原則c），圖像塊之間的位置距離是一個重要因素，顯著區(qū)域的圖像塊是聚集的，而背景區(qū)域的圖像塊是分散的，因此圖像塊之間的差異性計算為式（1）。

式中：dposition（pi，pj）是塊pi和塊pj之間的位置距離，dcolor（pi，pj）是塊pi和塊pj在Lab空間上的顏色距離，然后將它們歸一化到[0，1]區(qū)間。根據(jù)實驗驗證c取值為3。

2.2.2 多尺度顯著性增強

考慮到背景圖像會在不同的尺度上出現(xiàn)相似的像素塊，但對于顯著圖而言，相似的像素塊只會出現(xiàn)在某些尺度上。因此選取4個尺度R=（r，0.8r，0.5r，0.3r），根據(jù)單尺度計算法則來計4個尺度上pi的顯著性，如式（2）所示，其中rk∈R。

然后，通過以pi為中心的一組多尺度圖像塊集合來表示每個像素。設(shè)R={r1，…，rM}表示pi需要考慮的塊大小的集合，M取值為4。r越大，分割像素的數(shù)量越少，塊越大。pi的顯著性取其在不同尺度下顯著性的平均值，如式（3）所示。

2.2.3 融合場景

根據(jù)視覺注意力理論，圖像中可能存在一個或多個注意焦點，而注意焦點區(qū)域是顯著區(qū)域。為了獲得注意焦點，分兩步進行。首先，從式（3）生成的顯著圖Sri中提取出顯著性較高的像素（通過閾值取像素，最佳閾值為0.8）;然后對顯著像素之外的區(qū)域進行加權(quán)，權(quán)值通過與其最近的顯著像素的歐式距離獲得。dfoci（i）是像素i與最近顯著像素之間的歐幾里德位置距離，歸一化為范圍[0，1]。計算為式（4）。

圖3是將提花織物圖像輸入CA模型中得到相應(yīng)的顯著圖。從圖3中可看出，視覺顯著性模型對存在疵點的提花織物圖像處理，生成的顯著圖能夠準確高亮的顯示出疵點的位置及形狀。而對于無疵點的提花織物圖像，生成的顯著圖將背景當(dāng)作疵點高亮顯示，并且顯示的部分雜亂無章。因此利用存在這種特征的顯著圖，既能夠降低背景區(qū)域的干擾也能很好的區(qū)分有疵點的提花織物和無疵點的提花織物。

3 結(jié)果及分析

實驗的硬件環(huán)境為CPU 2.81GHZ，內(nèi)存8G，操作系統(tǒng)為Windows 10，軟件及編譯環(huán)境為Matlab r2018a、Tensorflow-gpu 1.8.0、Python 3.5.2和Keras2.2.4。

實驗中共使用了852張?zhí)峄椢飯D片生成的顯著圖，其中有疵點織物圖像有357張，無疵點織物圖像有495張，顯著圖的大小為均為250像素×250像素。

實驗使用幾種不同的顯著性模型對提花織物計算生成的顯著圖做了比較，即SR（Spectral residual， SR）模型（方法1），GVBS（Graph-based visual saliency， GBVS）模型（方法2），COV（Covariances， COV）模型（方法3）和本文使用的CA模型（方法4）[12]結(jié)果如圖4所示。從圖4中可以看到，CA模型相較于其他模型生成的疵點的大小、形狀以及位置更準確，因此使用CA模型來生成顯著圖更有益于后面對圖像做分類測試。

分析圖5發(fā)現(xiàn)，利用CA模型對852張?zhí)峄椢飯D像進行顯著性計算生成顯著圖，再對顯著圖利用神經(jīng)網(wǎng)絡(luò)做分類（本文的方法），在同樣經(jīng)過100輪訓(xùn)練后，檢測的準確率可達到99.42%，損失率為5.16%。相較于其他兩種擬合效果更好。這說明結(jié)合顯著性模型和神經(jīng)網(wǎng)絡(luò)的方法對提花織物數(shù)據(jù)的檢測是可行的。

VGG16在3種數(shù)據(jù)集上的檢測結(jié)果如表1所示，從表1中可以看到，對顯著圖進行分類比直接對提花織物圖像分類效果更好。從訓(xùn)練分類階段看，在相同的學(xué)習(xí)步長下，VGG16對提花織物的顯著圖分類的速度是對提花織物數(shù)據(jù)分類速度的兩倍。

4 結(jié) 語

針對提花織物的疵點檢測，提出了一種結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)織物疵點檢測方法，主要是利用卷積神經(jīng)網(wǎng)絡(luò)對織物圖像的顯著圖進行分類，并在不同的模型上對多種提花織物圖像進行了實驗。結(jié)果表明，該方法在條紋、格子等規(guī)則的織物數(shù)據(jù)集上效果最佳，然而，對于微小型疵點在不規(guī)則的提花數(shù)據(jù)上檢測效果卻不盡人意。因此，提高不規(guī)則提花織物疵點檢測的準確率和多分類是下一步研究的重點。

參考文獻：

[1]NGAN H， PANG G， YUNG N. Automated fabric defect detection： A review[J].Image and Vision Computing， 2011，29（7）：442-458.

[2]趙艷，左保齊.機器視覺在織物疵點檢測上的應(yīng)用研究綜述[J].計算機工程與應(yīng)用，2020，56（2）：11-17.

[3]羅俊麗，路凱.基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的色織物疵點檢測[J].上海紡織科技，2019，47（6）：52-56.

[4]曹振軍，景軍鋒，蘇澤斌，等.基于樹莓派的深度學(xué)習(xí)色織物疵點檢測研究[J].棉紡織技術(shù)，2019，47（1）：11-15.

[5]LIU X， LIU Z， LI C， et al. Fabric defect detection based on faster R-CNN[C]// International Conference on Graphic and Image Processing， Proc SPIE： 2018，1061：55-63.

[6]JUN X， WANG J， ZHOU J， et al. Fabric defect detection based on a deep convolutional neural network using a two-stage strategy[J].Textile Research Journal， 2021，91（1/2）：130-142.

[7]李敏，崔樹芹，陳佳.應(yīng)用視覺顯著性的小提花織物疵點檢測[J].紡織學(xué)報，2016，37（12）：38-42，48.

[8]周文明，周建，潘如如.應(yīng)用上下文視覺顯著性的色織物疵點檢測[J].紡織學(xué)報，2020，41（8）：39-44.

[9]SUN H C， CASTOR N M. Fabrics defects detection system based on convolution neural network[J].International Journal of Science， 2020，7（5）：154-158.

[10]張馳.基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的織物缺陷識別算法研究[D].鄭州：中原工學(xué)院，2019.

[11]LI M， WAN S， DENG Z， et al.Fabric defect detection based on saliency histogram features[J]. Computational Intelligence， 2019，35（3）：517-534.

[12]GOFERMAN S， ZELNIK-MANOR L，TAL A.Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012，34（10）：1915-1926.