基于深度特征融合的無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)方法

魯永帥，唐英杰，馬鑫然

（北京印刷學(xué)院 信息工程學(xué)院，北京 102600）（?通信作者電子郵箱tangyj@bigc.edu.cn）

基于深度特征融合的無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)方法

魯永帥，唐英杰*，馬鑫然

（北京印刷學(xué)院 信息工程學(xué)院，北京 102600）（?通信作者電子郵箱tangyj@bigc.edu.cn）

針對(duì)無(wú)紡布生產(chǎn)過(guò)程中產(chǎn)生的漿絲缺陷對(duì)比度較低，以及傳統(tǒng)圖像處理方法對(duì)其檢測(cè)效果較差的問(wèn)題，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)方法。首先，對(duì)采集到的無(wú)紡布圖像進(jìn)行預(yù)處理以構(gòu)建漿絲缺陷數(shù)據(jù)集；然后，利用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)以及多尺度特征采樣融合模塊構(gòu)造編碼器以提取低對(duì)比度漿絲缺陷的語(yǔ)義信息，并在解碼器中采用跳躍連接進(jìn)行多尺度特征融合來(lái)優(yōu)化上采樣模塊；最后，通過(guò)所構(gòu)建的數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型，從而實(shí)現(xiàn)低對(duì)比度漿絲缺陷的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，所提方法可以有效定位并檢測(cè)出無(wú)紡布上的低對(duì)比度漿絲缺陷，其平均交并比（MIoU）、類(lèi)別平均像素準(zhǔn)確率（MPA）分別可以達(dá)到77.32%和86.17%，單張樣本平均檢測(cè)時(shí)間為50 ms，能夠滿足工業(yè)生產(chǎn)的要求。

無(wú)紡布；低對(duì)比度；漿絲缺陷；語(yǔ)義分割；深度學(xué)習(xí)

0 引言

無(wú)紡布行業(yè)發(fā)展迅速，逐漸成為新興產(chǎn)業(yè)。由于無(wú)紡布具備輕便、環(huán)保、耐用等特點(diǎn)，被廣泛應(yīng)用在各個(gè)行業(yè)［1］。無(wú)紡布生產(chǎn)中形成的缺陷會(huì)嚴(yán)重降低布匹質(zhì)量，其中漿絲缺陷由于對(duì)比度低，缺陷區(qū)域與背景區(qū)域的灰度十分接近，并且缺陷大小、形態(tài)各異，導(dǎo)致缺陷檢出難度大，目前還未發(fā)現(xiàn)較好的檢出方法。當(dāng)前工業(yè)生產(chǎn)中的無(wú)紡布漿絲缺陷檢測(cè)主要依靠人工完成，該方法效率低、成本高，容易產(chǎn)生誤判，因此企業(yè)亟需一種自動(dòng)高效的無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)方法。

目前缺乏針對(duì)無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)的研究，但已有不少學(xué)者利用機(jī)器視覺(jué)以及深度學(xué)習(xí)的方法來(lái)進(jìn)行無(wú)紡布的其他缺陷檢測(cè)。徐祖鑫［2］通過(guò)Gabor小波濾波方法并結(jié)合最大類(lèi)間方差法，實(shí)現(xiàn)無(wú)紡布疵點(diǎn)的檢測(cè)；張渤等［3］通過(guò)選取Gabor濾波器的最優(yōu)參數(shù)并結(jié)合大律法來(lái)進(jìn)行缺陷檢測(cè)；邵鑫玉等［4］根據(jù)灰度均值進(jìn)行動(dòng)態(tài)閾值分割，再利用Blob方法實(shí)現(xiàn)無(wú)監(jiān)督的無(wú)紡布污點(diǎn)和孔洞缺陷的檢測(cè)；撒雨昕等［5］通過(guò)選取Gabor濾波器的最優(yōu)濾波方向與尺度再結(jié)合閾值分割的方法來(lái)獲取缺陷；陳先等［6］通過(guò)選取最佳核函數(shù)進(jìn)行分類(lèi)器訓(xùn)練，實(shí)現(xiàn)無(wú)紡布中特征明顯的翻網(wǎng)缺陷檢測(cè)；王文遠(yuǎn)等［7］利用Canny邊緣檢測(cè)以及改進(jìn)的二叉樹(shù)支持向量機(jī)實(shí)現(xiàn)無(wú)紡布中油污、破洞、褶皺、邊緣破損四類(lèi)特征明顯缺陷的分類(lèi)檢測(cè)。以上傳統(tǒng)的無(wú)紡布缺陷檢測(cè)方法中，檢測(cè)的缺陷與背景對(duì)比度都比較明顯，且大多采用閾值分割以及邊緣檢測(cè)的算法，此類(lèi)算法適用于對(duì)比度較強(qiáng)且比較明顯的缺陷。因此，現(xiàn)有的傳統(tǒng)無(wú)紡布缺陷檢測(cè)方法直接用于無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)的效果不好。利用深度學(xué)習(xí)進(jìn)行無(wú)紡布缺陷檢測(cè)的方法較少，趙鵬等［8］通過(guò)構(gòu)造一個(gè)14層的卷積神經(jīng)網(wǎng)絡(luò)，完成無(wú)紡布4類(lèi)缺陷的自動(dòng)分類(lèi)，但該方法實(shí)現(xiàn)的是無(wú)紡布缺陷圖像分類(lèi)，無(wú)法用于本文的語(yǔ)義分割中；鄧澤林等［9］聯(lián)合最大穩(wěn)定極值區(qū)域方法和卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)無(wú)紡布點(diǎn)狀以及絲狀疵點(diǎn)檢測(cè)，所檢測(cè)的缺陷與背景間對(duì)比度較高，無(wú)法適用于低對(duì)比度的漿絲缺陷檢測(cè)；汪坤等［10］提出了一種基于改進(jìn)的Unet的織物印花語(yǔ)義分割算法，實(shí)現(xiàn)織物印花的準(zhǔn)確分割，該方法所研究的印花對(duì)比度也較強(qiáng)。

綜上所述，目前已有的無(wú)紡布缺陷檢測(cè)方法中，主要利用傳統(tǒng)的機(jī)器視覺(jué)方法，基于深度學(xué)習(xí)的研究較少，并且現(xiàn)有方法所針對(duì)的缺陷對(duì)比度都較高，無(wú)法直接應(yīng)用于低對(duì)比度的漿絲缺陷檢測(cè)。針對(duì)上述問(wèn)題，本文提出了一種基于深度學(xué)習(xí)的無(wú)紡布低對(duì)比度漿絲缺陷檢測(cè)方法，該方法可以有效定位并檢測(cè)出低對(duì)比度的漿絲缺陷，同時(shí)滿足工業(yè)檢測(cè)時(shí)間要求。首先，對(duì)樣本預(yù)處理，基于Segnet網(wǎng)絡(luò)結(jié)構(gòu)［11］，在編碼器階段采用卷積神經(jīng)網(wǎng)絡(luò)［12］以及多尺度特征采樣融合模塊提取低對(duì)比度缺陷特征；然后，在解碼器階段通過(guò)多尺度特征融合優(yōu)化上采樣模塊，融合更多低對(duì)比度缺陷語(yǔ)義信息。此外，在相同條件下，與現(xiàn)有的圖像處理與分割方法以及經(jīng)典語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了所提改進(jìn)網(wǎng)絡(luò)的有效性。

1 低對(duì)比度漿絲缺陷檢測(cè)

1.1 缺陷識(shí)別模型構(gòu)建

本文基于Segnet網(wǎng)絡(luò)構(gòu)建了一種多尺度特征融合的語(yǔ)義分割網(wǎng)絡(luò)。該網(wǎng)絡(luò)由編碼器和解碼器兩部分構(gòu)成。在編碼器階段，通過(guò)卷積、池化、多尺度采樣融合操作提取低對(duì)比度漿絲缺陷的高級(jí)語(yǔ)義信息。在解碼器階段，對(duì)提取的高層特征圖進(jìn)行上采樣后，與編碼器中底層特征進(jìn)行跳躍連接，最終實(shí)現(xiàn)對(duì)缺陷區(qū)域的定位識(shí)別。以下從整體語(yǔ)義分割網(wǎng)絡(luò)模型、多尺度特征采樣融合模塊、解碼器跳躍連接結(jié)構(gòu)三個(gè)方面進(jìn)行介紹。

1.1.1 整體網(wǎng)絡(luò)模型

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。漿絲缺陷數(shù)據(jù)圖像比較單一，僅有缺陷以及背景兩類(lèi)，如果網(wǎng)絡(luò)結(jié)構(gòu)過(guò)于復(fù)雜，會(huì)導(dǎo)致特征提取過(guò)度，造成網(wǎng)絡(luò)過(guò)擬合，同時(shí)增加了網(wǎng)絡(luò)訓(xùn)練以及預(yù)測(cè)時(shí)間，不利于工業(yè)生產(chǎn)中的實(shí)時(shí)檢測(cè)，因此需要合理安排下采樣模塊中的卷積層數(shù)，在保證模型精度的情況下，提高訓(xùn)練與預(yù)測(cè)效率。通過(guò)實(shí)驗(yàn)驗(yàn)證，最終構(gòu)建了一個(gè)15層的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，網(wǎng)絡(luò)參數(shù)如表1所示。

圖1 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)Fig. 1 Improved network structure

每?jī)纱尉矸e后選用最大值池化［13］進(jìn)行下采樣，最大值池化相較于平均值池化可以更好地提取圖像紋理信息，有利于缺陷識(shí)別。卷積層使用ReLU（Rectified Linear Unit）激活函數(shù)［14］來(lái)加快模型訓(xùn)練與收斂，函數(shù)表達(dá)式如下：

式中：x為激活函數(shù)輸入；O為激活函數(shù)輸出。針對(duì)漿絲缺陷對(duì)比度較低，傳統(tǒng)的卷積方法無(wú)法有效地提取低對(duì)比度漿絲缺陷區(qū)域特征的問(wèn)題，構(gòu)建了一個(gè)多尺度特征采樣融合模塊。該模塊可以對(duì)卷積神經(jīng)網(wǎng)絡(luò)提取的低對(duì)比度漿絲缺陷特征圖進(jìn)行多次不同尺度的特征提取，之后再進(jìn)行特征融合，獲取豐富的漿絲缺陷信息，提高網(wǎng)絡(luò)對(duì)低對(duì)比度漿絲缺陷的感知能力；接著，對(duì)融合的特征圖進(jìn)行多次上采樣，每次上采樣后與編碼器中對(duì)應(yīng)大小特征圖進(jìn)行融合，彌補(bǔ)網(wǎng)絡(luò)在進(jìn)行多層卷積時(shí)所丟失的重要細(xì)節(jié)信息，提高網(wǎng)絡(luò)對(duì)微小缺陷的鑒別能力。通過(guò)多次上采樣、特征融合操作，輸出一張?jiān)瓐D大小的低對(duì)比度漿絲缺陷分割圖。改進(jìn)后的網(wǎng)絡(luò)使用交叉熵?fù)p失函數(shù)［15］計(jì)算真實(shí)值與預(yù)測(cè)值之間誤差，計(jì)算式如下：

式中：L為n個(gè)樣本損失和；yi為樣本真實(shí)標(biāo)簽值；為樣本預(yù)測(cè)概率值。

表1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab. 1 Structural parameters of convolutional neural network

為了提高低對(duì)比度漿絲缺陷的分割精度，本文對(duì)傳統(tǒng)語(yǔ)義分割網(wǎng)絡(luò)做了以下三個(gè)方面的改進(jìn)：1）優(yōu)化編碼器中卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，保證特征提取充分的情況下，提高訓(xùn)練以及預(yù)測(cè)效率，防止過(guò)擬合；2）對(duì)編碼器中的高層特征利用空洞卷積［16］進(jìn)行多尺度特征采樣融合，提升網(wǎng)絡(luò)對(duì)低對(duì)比度缺陷的檢測(cè)能力；3）在解碼器中加入跳躍連接，將低層特征與高層特征進(jìn)行融合，獲取更多微小缺陷信息，提升模型分割精度?？斩淳矸e計(jì)算式如下：

式中：K為原卷積核尺寸；R為卷積核膨脹率；Kapos;為膨脹后卷積核尺寸；I為輸入特征圖大?。籓為輸出特征圖大??；P為填充像素?cái)?shù)；S為步長(zhǎng)。

1.1.2 多尺度特征采樣融合模塊

針對(duì)原網(wǎng)絡(luò)對(duì)低對(duì)比度漿絲缺陷檢測(cè)效果較差的問(wèn)題，構(gòu)建了一個(gè)多尺度特征采樣融合模塊，如圖2所示。該模塊能夠?qū)矸e神經(jīng)網(wǎng)絡(luò)提取的第4層特征圖C4進(jìn)行三次不同采樣率的空洞卷積，通過(guò)實(shí)驗(yàn)確定最佳采樣率為（1，3，5），首先，利用三次空洞卷積分別對(duì)同一特征圖進(jìn)行重采樣，可以從多個(gè)尺度獲取低對(duì)比度缺陷的語(yǔ)義信息；然后，進(jìn)行特征融合輸出一張具有充足低對(duì)比度漿絲缺陷語(yǔ)義信息的特征圖，增強(qiáng)網(wǎng)絡(luò)對(duì)低對(duì)比度缺陷的表達(dá)能力；特征融合后選取最大值池化進(jìn)行下采樣，再經(jīng)過(guò)卷積調(diào)整通道數(shù)，最終輸出具有充足低對(duì)比度缺陷信息的特征圖C5。C5計(jì)算式為：

式中：Conv1為卷積核大小為的卷積操作；Max為最大值池化操作；Concat為對(duì)特征圖通道數(shù)進(jìn)行連接；D1為采樣率為1的空洞卷積，D3為采樣率為3的空洞卷積，D5為采樣率為5的空洞卷積。

模塊中利用空洞卷積擴(kuò)大卷積核的感受野，捕獲低對(duì)比度漿絲缺陷的多尺度特征，相較于傳統(tǒng)的卷積，能夠有效減少網(wǎng)絡(luò)參數(shù)，提升網(wǎng)絡(luò)對(duì)低對(duì)比度缺陷的檢測(cè)能力。

圖2 多尺度特征采樣融合模塊Fig. 2 Multi-scale feature sampling fusion module

1.1.3 解碼器跳躍連接結(jié)構(gòu)

編碼器在不斷卷積進(jìn)行下采樣的過(guò)程中會(huì)丟失一些重要的微小漿絲缺陷信息，若直接對(duì)下采樣得到的特征圖進(jìn)行上采樣，則無(wú)法恢復(fù)這些細(xì)節(jié)信息，導(dǎo)致網(wǎng)絡(luò)對(duì)微小缺陷的檢測(cè)能力不足。為解決這一問(wèn)題，對(duì)解碼器進(jìn)行改進(jìn)，改進(jìn)后的解碼器輸入包括編碼階段每次下采樣輸出的底層特征圖以及多尺度采樣融合后的高層特征圖，解碼器詳細(xì)信息如表2所示，、分別表示特征圖的高、寬。底層特征圖具有豐富的位置、細(xì)節(jié)信息，有利于微小瑕疵檢測(cè)。利用跳躍連接結(jié)構(gòu)能使特征圖跨層融合的特性，通過(guò)實(shí)驗(yàn)選出最佳的跨層連接結(jié)構(gòu)，對(duì)高層特征圖每次上采樣后與編碼器中對(duì)應(yīng)特征圖進(jìn)行跳躍連接，融合高低層語(yǔ)義信息，融合后的特征圖具有豐富的微小缺陷語(yǔ)義信息，再使用卷積進(jìn)一步提取特征并調(diào)整通道數(shù)，具體結(jié)構(gòu)如圖3所示。

表2 解碼器詳細(xì)參數(shù)Tab. 2 Detail parameters of decoder

圖3 跳躍連接結(jié)構(gòu)Fig. 3 Skip connection structure

通過(guò)五次上采樣、四次跳躍連接，輸出一張?jiān)瓐D大小的分割圖，實(shí)現(xiàn)對(duì)微小缺陷的定位識(shí)別，計(jì)算式如下：

式中：C5為編碼器最后輸出的特征圖；U為上采樣操作；Oi為每次跳躍連接后輸出的特征圖；為卷積核大小為的卷積操作；Concat為對(duì)特征圖通道數(shù)進(jìn)行連接；Ci為編碼器中每次下采樣輸出的特征圖；Fi為解碼器中每次上采樣輸出的特征圖。

解碼器中利用Softmax函數(shù)實(shí)現(xiàn)逐像素分類(lèi)，其表達(dá)式如下：

式中：zi為第i個(gè)節(jié)點(diǎn)輸出；N為輸出節(jié)點(diǎn)個(gè)數(shù)；為預(yù)測(cè)結(jié)果概率值。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

本文實(shí)驗(yàn)用數(shù)據(jù)集由北京深點(diǎn)視覺(jué)科技有限公司提供，采集到的無(wú)紡布圖像包含布匹邊緣部分，為了消除邊緣部分的影響，對(duì)圖像進(jìn)行裁剪，裁剪后像素統(tǒng)一調(diào)整為。使用Labelme軟件對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注，原圖中缺陷區(qū)域?qū)Ρ榷群艿?，與背景灰度值十分接近，圖4為截取的缺陷比較明顯的區(qū)域以及局部放大圖。從圖4中能夠看出，缺陷邊緣十分模糊，并且缺陷紋理與背景紋理相同，缺陷通常為不規(guī)則的細(xì)條狀，放大的像素圖中顏色較白的像素塊為缺陷區(qū)域，顏色較灰像素塊為背景區(qū)域。經(jīng)過(guò)測(cè)量，缺陷中心較白區(qū)域灰度值大多在193～205，缺陷邊緣灰度值基本在187～198，背景灰度值集中在175～197，缺陷與背景之間過(guò)渡十分模糊，二者之間對(duì)比度很弱，同時(shí)背景中的一些較白紋理區(qū)域也與缺陷區(qū)域十分相近，導(dǎo)致缺陷區(qū)域檢出難度很大。通過(guò)數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，擴(kuò)充后數(shù)據(jù)集圖像為3 801張，訓(xùn)練集、驗(yàn)證集、測(cè)試集比例設(shè)置為8∶1∶1。數(shù)據(jù)集原圖以及標(biāo)注圖如圖5所示。

圖4 缺陷區(qū)域以及其放大圖Fig. 4 Defect area and its enlarged view

圖5 數(shù)據(jù)集原圖及其標(biāo)注圖Fig. 5 Original dataset image and its annotation image

在進(jìn)行訓(xùn)練前，需要對(duì)標(biāo)注的數(shù)據(jù)進(jìn)行處理，將標(biāo)注的缺陷灰度值置為1，背景灰度值置為0。

2.2 環(huán)境配置以及參數(shù)

本文所有程序均在同一環(huán)境下進(jìn)行，實(shí)驗(yàn)所用操作系統(tǒng)為Windows 10教育版，CPU為英特爾i7-7700，內(nèi)存大小為32 GB，GPU為NVIDIA GTX 1080 Ti，深度學(xué)習(xí)框架為Keras。

改進(jìn)后的模型使用自適應(yīng)矩估計(jì)（Adaptive moment estimation， Adam）優(yōu)化器［17］最小化損失函數(shù)。實(shí)驗(yàn)中進(jìn)行15輪訓(xùn)練，共迭代23 085次，批樣本數(shù)量設(shè)置為2，初始學(xué)習(xí)率設(shè)置為0.000 1，驗(yàn)證損失三次不下降后，將學(xué)習(xí)率縮減為原來(lái)的一半。

2.3 評(píng)價(jià)指標(biāo)

為了驗(yàn)證模型性能，使用測(cè)試集對(duì)訓(xùn)練得到的模型進(jìn)行評(píng)估。本文采用平均交并比（Mean Intersection over Union， MIoU）、類(lèi)別平均像素準(zhǔn)確率（Mean Pixel Accuracy， MPA）作為評(píng)價(jià)指標(biāo)，計(jì)算式如下：

式中：TP表示模型預(yù)測(cè)為漿絲缺陷，實(shí)際為漿絲缺陷；TN表示模型預(yù)測(cè)為背景，實(shí)際為背景；FP表示模型預(yù)測(cè)為漿絲缺陷，實(shí)際為背景；FN表示模型預(yù)測(cè)為背景，實(shí)際為漿絲缺陷。這兩個(gè)指標(biāo)能夠客觀地反映出模型性能，值越高表示模型性能越好。

2.4 結(jié)果分析

通過(guò)設(shè)置多組對(duì)比實(shí)驗(yàn)，驗(yàn)證改進(jìn)模型的優(yōu)越性。將改進(jìn)后的模型與Deeplabv3+、Xception、Pspnet、Segnet、Unet這五種傳統(tǒng)的語(yǔ)義分割網(wǎng)絡(luò)，以及文獻(xiàn)［10］所采用的針對(duì)織物分割效果較好的改進(jìn)網(wǎng)絡(luò)進(jìn)行對(duì)比，實(shí)驗(yàn)采用相同環(huán)境配置和參數(shù)設(shè)置，使用同樣的訓(xùn)練集、驗(yàn)證集與測(cè)試集，并采用本文評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行性能比較，結(jié)果如表3所示。

表3 不同網(wǎng)絡(luò)的性能對(duì)比Tab. 3 Performance comparison of different networks

從表3中可以看出，對(duì)于低對(duì)比度漿絲缺陷檢測(cè)，本文改進(jìn)網(wǎng)絡(luò)的MIoU、MPA可以達(dá)到77.32%、86.17%，相較效果較好的Unet網(wǎng)絡(luò)分別提高了2.68個(gè)百分點(diǎn)、7.57個(gè)百分點(diǎn)，相較原Segnet網(wǎng)絡(luò)分別提高了11.75個(gè)百分點(diǎn)、19.4個(gè)百分點(diǎn)，相較對(duì)織物分割效果較好的文獻(xiàn)［10］網(wǎng)絡(luò)分別提高了1.18個(gè)百分點(diǎn)與6.07個(gè)百分點(diǎn)，與其他網(wǎng)絡(luò)相比也均有不小提升。改進(jìn)后的網(wǎng)絡(luò)平均每輪訓(xùn)練時(shí)間為7 min，優(yōu)于其他網(wǎng)絡(luò)，可以大幅節(jié)省訓(xùn)練時(shí)間，提高模型效率。Pspnet、Unet網(wǎng)絡(luò)的檢測(cè)速度略快，但網(wǎng)絡(luò)性能遠(yuǎn)不如本文改進(jìn)網(wǎng)絡(luò)，文獻(xiàn)［10］網(wǎng)絡(luò)與Xception網(wǎng)絡(luò)的檢測(cè)時(shí)間最長(zhǎng)，不滿足實(shí)時(shí)檢測(cè)要求，本文改進(jìn)網(wǎng)絡(luò)的單張樣本檢測(cè)時(shí)間為50 ms，能夠滿足工業(yè)檢測(cè)的速度要求。本文改進(jìn)網(wǎng)絡(luò)相較Deeplabv3+、Xception、Pspnet、Segnet、Unet以及文獻(xiàn)［10］網(wǎng)絡(luò)性能有較大提升，主要原因在于特征提取階段調(diào)整了卷積結(jié)構(gòu)以及進(jìn)行了多尺度采樣融合，獲取了充足的低對(duì)比度缺陷語(yǔ)義信息，并在解碼器上采樣階段加入了跳躍連接，利用高低層特征融合，獲取了更多漿絲缺陷細(xì)節(jié)，提升了分割精度。

各網(wǎng)絡(luò)檢測(cè)效果如圖6所示，原Segnet檢測(cè)效果不佳未在圖中給出。從圖6可以看出，Pspnet與Deeplabv3+網(wǎng)絡(luò)對(duì)低對(duì)比度漿絲缺陷的識(shí)別結(jié)果較差，無(wú)法達(dá)到缺陷檢測(cè)的目的；Xception與Unet網(wǎng)絡(luò)能夠定位識(shí)別出部分缺陷，但無(wú)法識(shí)別對(duì)比度更低的缺陷區(qū)域，對(duì)微小瑕疵不敏感，并且識(shí)別的缺陷輪廓比較模糊，毛刺噪聲過(guò)多，不具有連貫性；文獻(xiàn)［10］網(wǎng)絡(luò)相較于傳統(tǒng)的語(yǔ)義分割網(wǎng)絡(luò)檢測(cè)效果較好，但仍存在微小漿絲缺陷未識(shí)別，以及對(duì)缺陷輪廓識(shí)別不夠精準(zhǔn)的問(wèn)題；本文改進(jìn)網(wǎng)絡(luò)通過(guò)多尺度特征采樣融合以及跳躍連接，能夠準(zhǔn)確定位并分割出低對(duì)比度漿絲缺陷，識(shí)別的缺陷輪廓清晰平滑。

圖6 不同網(wǎng)絡(luò)檢測(cè)結(jié)果對(duì)比Fig. 6 Comparison of detection results of different networks

本文改進(jìn)網(wǎng)絡(luò)對(duì)傳統(tǒng)Segnet網(wǎng)絡(luò)進(jìn)行了3個(gè)階段的改進(jìn)：改進(jìn)1通過(guò)減少卷積層優(yōu)化下采樣結(jié)構(gòu)，可有效防止梯度爆炸與消失，同時(shí)在保證精度的情況下提升了計(jì)算速率，調(diào)整后其MIoU、MPA相較于原網(wǎng)絡(luò)分別提高了10.27個(gè)百分點(diǎn)、15.24個(gè)百分點(diǎn)；改進(jìn)2在編碼器中采用多尺度特征融合模塊，通過(guò)獲取多尺度低對(duì)比度漿絲缺陷信息，提升了低對(duì)比度缺陷的分割精度，調(diào)整后其MIoU、MPA相較改進(jìn)1分別提高了1.21個(gè)百分點(diǎn)、1.75個(gè)百分點(diǎn)；改進(jìn)3在解碼器階段加入了跳躍連接，融合底層特征，提高了在細(xì)節(jié)方面的檢測(cè)能力，調(diào)整后其MIoU、MPA相較改進(jìn)2分別提高了0.27個(gè)百分點(diǎn)、2.41個(gè)百分點(diǎn)。各階段對(duì)比結(jié)果如表4所示。

表4 改進(jìn)網(wǎng)絡(luò)各個(gè)階段的性能結(jié)果對(duì)比Tab. 4 Comparison of performance results at various stages of improved networks

注：“√”表示網(wǎng)絡(luò)中包含該結(jié)構(gòu)，“×”表示網(wǎng)絡(luò)中不包含該結(jié)構(gòu)。

圖7為改進(jìn)網(wǎng)絡(luò)各個(gè)階段檢測(cè)結(jié)果對(duì)比，組一、二原圖中分別包含了低對(duì)比度漿絲缺陷；改進(jìn)1中無(wú)法識(shí)別出微小缺陷，并且識(shí)別的缺陷相互粘連；改進(jìn)2檢測(cè)效果得到改善，缺陷不再粘連，能夠檢出對(duì)比度較低的缺陷，但存在微小缺陷未檢出的情況；改進(jìn)3得到的最優(yōu)網(wǎng)絡(luò)，能夠解決以上問(wèn)題，準(zhǔn)確分割出缺陷與背景。

圖7 改進(jìn)網(wǎng)絡(luò)各個(gè)階段檢測(cè)結(jié)果對(duì)比Fig. 7 Comparison of detection results at various stages of improved networks

將本文方法與區(qū)域生長(zhǎng)法、最大類(lèi)間方差法［2］、Gabor濾波法［3］、動(dòng)態(tài)閾值分割法［4］、Canny邊緣檢測(cè)法［7］這幾種傳統(tǒng)圖像處理方法進(jìn)行對(duì)比，不同方法的檢測(cè)結(jié)果如圖8所示。

由圖8可以看出，傳統(tǒng)的圖像處理方法均無(wú)法有效識(shí)別出低對(duì)比度漿絲缺陷，缺陷區(qū)域邊界比較模糊，邊界處對(duì)比度低，因此通過(guò)邊緣檢測(cè)類(lèi)的方法無(wú)法檢出，同時(shí)圖像中存在大量噪點(diǎn)，缺陷與背景的灰度值十分接近，無(wú)法通過(guò)閾值分割以及Gabor濾波法來(lái)分離缺陷與背景。采用本文方法代替?zhèn)鹘y(tǒng)的圖像處理方法可以精準(zhǔn)分割出缺陷與背景。

圖8 不同方法檢測(cè)結(jié)果對(duì)比Fig. 8 Comparison of detection results of different methods

3 結(jié)語(yǔ)

本文針對(duì)無(wú)紡布低對(duì)比度漿絲缺陷構(gòu)建了一種具有跳躍連接結(jié)構(gòu)以及多尺度特征采樣融合模塊的語(yǔ)義分割網(wǎng)絡(luò)，實(shí)現(xiàn)了端到端的低對(duì)比度漿絲缺陷檢測(cè)。針對(duì)圖像是一個(gè)二分類(lèi)問(wèn)題，構(gòu)建了一個(gè)最優(yōu)結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，平衡精度與網(wǎng)絡(luò)運(yùn)行效率；針對(duì)漿絲缺陷對(duì)比度較低的問(wèn)題，利用構(gòu)建的多尺度特征采樣融合模塊加強(qiáng)網(wǎng)絡(luò)對(duì)低對(duì)比度區(qū)域的特征提??；針對(duì)網(wǎng)絡(luò)對(duì)微小漿絲缺陷檢出效果較差的問(wèn)題，在上采樣過(guò)程中引入跳躍連接融合底層豐富的細(xì)節(jié)缺陷信息，最終實(shí)現(xiàn)了對(duì)低對(duì)比度漿絲缺陷的準(zhǔn)確分割。此外，通過(guò)與現(xiàn)有的圖像處理方法、分割效果較好的網(wǎng)絡(luò)，以及經(jīng)典語(yǔ)義分割網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文方法的有效性。實(shí)驗(yàn)結(jié)果表明，本文方法的檢測(cè)結(jié)果可以達(dá)到77.32%的平均交并比（MIoU）和86.17%的類(lèi)別平均像素準(zhǔn)確率（MPA），單張圖像的檢測(cè)時(shí)間為50 ms，可以有效檢測(cè)出低對(duì)比度漿絲缺陷，滿足工業(yè)檢測(cè)的速度要求。接下來(lái)，我們的工作重點(diǎn)是進(jìn)一步提升缺陷分割精度以及實(shí)現(xiàn)模型的落地應(yīng)用。

[1] 張靜.淺談現(xiàn)階段我國(guó)無(wú)紡布生產(chǎn)的現(xiàn)狀與發(fā)展［J］.科技創(chuàng)新導(dǎo)報(bào)，2011（31）：72.（ZHANG J. On the present situation and development of nonwoven fabric production in China ［J］. Science and Technology Innovation Herald， 2011（31）： 72.）

[2] 許祖鑫.基于Gabor濾波器的無(wú)紡布疵點(diǎn)檢測(cè)系統(tǒng)研究［D］.武漢：華中科技大學(xué)，2013：16-26.（XU Z X. Research on nonwoven fabric defect detection system using Gabor filter ［D］. Wuhan： Huazhong University of Science and Technology， 2013： 16-26.）

[3] 張渤，張代林，陳幼平.用于無(wú)紡布缺陷檢測(cè)的Gabor濾波器參數(shù)研究［J］.武漢理工大學(xué)學(xué)報(bào)，2012，34（7）：129-133.（ZHANG B，ZHANG D L， CHEN Y P. Research on Gabor filter parameters used for non-woven fabric defects detection ［J］. Journal of Wuhan University of Technology， 2012， 34（7）： 129-133.）

[4] 邵鑫玉，華繼釗.基于機(jī)器視覺(jué)的無(wú)紡布缺陷自動(dòng)檢測(cè)系統(tǒng)［J］.計(jì)算機(jī)科學(xué)，2014，41（6A）：487-489.（SHAO X Y， HUA J Z. Automatic detection system of fabric defects based on machine vision ［J］. Computer Science， 2014， 41（6A）： 487-489.）

[5] 撒雨昕，蔡碩.基于最優(yōu)Gabor濾波器的無(wú)紡布缺陷檢測(cè)［J］.信息通信，2018（10）：18-20.（SA Y X， CAI S. Non-woven fabric defect detection based on optimized Gabor filter ［J］. Information and Communications， 2018（10）： 18-20.）

[6] 陳先，郭東妮，尹文芳.SVM在無(wú)紡布質(zhì)量檢測(cè)方面的應(yīng)用［J］.電子制作，2020（15）：90-93，67.（CHEN X， GUO D N， YI W F. Application of SVM in quality inspection of nonwoven fabrics ［J］. Practical Electronics， 2020（15）： 90-93， 67.）

[7] 王文遠(yuǎn)，金晅宏，韓悅.改進(jìn)二叉樹(shù)SVM模型在無(wú)紡布缺陷檢測(cè)中的應(yīng)用［J］.電子測(cè)量技術(shù)，2020，43（20）：98-103.（WANG W Y，JIN X H， HAN Y. Application of the improved binary tree SVM model in non-woven fabric defect detection ［J］. Electronic Measurement Technology， 2020， 43（20）： 98-103.）

[8] 趙鵬，唐英杰，楊牧，等.卷積神經(jīng)網(wǎng)絡(luò)在無(wú)紡布缺陷分類(lèi)檢測(cè)中的應(yīng)用［J］.包裝工程，2020，41（5）：192-196.（ZHAO P， TANG Y J，YANG M， et al. Application of convolutional neural network in classification and detection of non-woven fabric defects ［J］. Packaging Engineering， 2020， 41（5）： 192-196.）

[9] 鄧澤林，劉行，董云龍，等.無(wú)紡布疵點(diǎn)實(shí)時(shí)檢測(cè)技術(shù)與系統(tǒng)設(shè)計(jì)［J］.自動(dòng)化學(xué)報(bào)，2021，47（3）：583-593.（DENG Z L， LIU X，DONG Y L， et al. Non-woven fabric real-time defects detection method and framework design ［J］. Acta Automatica Sinica， 2021， 47（3）： 583-593.）

[10] 汪坤，史偉民，李建強(qiáng)，等.基于深度學(xué)習(xí)的織物印花分割算法研究［J］.現(xiàn)代紡織技術(shù)，2021，29（3）：45-50.（WANG K， SHI W M， LI J Q， et al. Research on fabric printing segmentation algorithm based on deep learning ［J］. Advanced Textile Technology， 2021， 29（3）： 45-50.）

[11] ALQAZZAZ S， SUN X F， YANG X， et al. Automated brain tumor segmentation on multi-modal MR image using SegNet ［J］. Computational Visual Media， 2019， 5（2）： 209-219.

[12] ZHAO B D， LU H Z， CHEN S F， et al. Convolutional neural networks for time series classification ［J］. Journal of Systems Engineering and Electronics， 2017， 28（1）： 162-169.

[13] 余珮嘉，張靖，謝曉堯.基于自適應(yīng)池化的行人檢測(cè)方法［J］.河北科技大學(xué)學(xué)報(bào)，2019，40（6）：533-539.（YU P J， ZHANG J， XIE X Y. Pedestrian detection based on adaptive pooling method ［J］. Journal of Hebei University of Science and Technology， 2019， 40（6）： 533-539.）

[14] LIU B. Understanding the loss landscape of one-hidden-layer ReLU networks ［J］. Knowledge-Based Systems， 2021，220： No.106923.

[15] SONG W D， JIA G H， ZHU H， et al. Automated pavement crack damage detection using deep multiscale convolutional features ［J］. Journal of Advanced Transportation， 2020， 2020： Article No.6412562.

[16] SUN X F， LI J M， MA J L， et al. Segmentation of overlapping chromosome images using U-Net with improved dilated convolutions ［J］. Journal of Intelligent and Fuzzy Systems， 2021， 40（3）： 5653-5668.

[17] 徐龍飛，郁進(jìn)明.不同優(yōu)化器在高斯噪聲下對(duì)LR性能影響的研究［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（3）：7-12.（XU L F， YU J M. Study on influence of different optimizers on performance of LR under Gaussian noise ［J］. Computer Technology and Development， 2020， 30（3）： 7-12.）

Low contrast filament sizing defect detection method of non-woven fabric based on deep feature fusion

LU Yongshuai， TANG Yingjie*， MA Xinran

（College of Information Engineering，Beijing Institute of Graphic Communication，Beijing102600，China）

In order to solve the problem of poor detection effect of traditional image processing methods for the low contrast filament sizing defects in non-woven fabric production process， a low contrast filament sizing defect detection method of non-woven fabric based on Convolutional Neural Network （CNN） was proposed. Firstly， the collected non-woven fabric images were preprocessed to construct a defect dataset of filament sizing. Then， an improved convolutional neural network and a multi-scale feature sampling fusion module were used to construct an encoder to extract the semantic information of low contrast filament sizing defects， and a skip connection was used in the decoder to achieve multi-scale feature fusion for optimizing the upsampling module. Finally， the low contrast defect detection of filament sizing was realized by training the network model on the constructed dataset. Experimental results show that， the proposed method can effectively locate and detect the low contrast filament sizing defects on non-woven fabric. The Mean Intersection over Union （MIoU） and category Mean Pixel Accuracy （MPA） of the proposed method can reach 77.32% and 86.17% respectively， and the average detection time of single sample of the proposed method is 50 ms， which can meet the requirements of industrial production.

non-woven fabric; low contrast; filament sizing defect; semantic segmentation; deep learning

TP391. 4

A

1001-9081（2022）05-1440-07

10.11772/j.issn.1001-9081.2021050834

2021?05?18；

2021?09?09；

2021?09?16。

北京市自然科學(xué)基金項(xiàng)目-北京市教委科技計(jì)劃重點(diǎn)項(xiàng)目（KZ202010015021）。

魯永帥（1996—），男，河南項(xiàng)城人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理； 唐英杰（1963—），男，安徽碭山人，副教授，碩士，主要研究方向：機(jī)器視覺(jué)、圖像處理； 馬鑫然（1996—），女，北京人，碩士研究生，主要研究方向：深度學(xué)習(xí)、圖像處理。

This work is partially supported by Beijing Natural Science Foundation Project-Beijing Municipal Education Commission Science and Technology Plan Key Project （KZ202010015021）.

LU Yongshuai， born in 1996， M. S. candidate. His research interests include deep learning， image processing.

TANG Yingjie， born in 1963， M. S.， associate professor. His research interests include machine vision， image processing.

MA Xinran， born in 1996， M. S. candidate. Her research interests include deep learning， image processing.