基于Cascade RCNN 和二步聚類的織物疵點(diǎn)檢測(cè)

葉舒婷 游思晴 郝 燦 程 智 王 穎

（1.北京物資學(xué)院，北京， 101149；2.中國(guó)科學(xué)院微電子研究所，北京， 100029；3.中國(guó)科學(xué)院大學(xué)，北京， 100049）

紡織行業(yè)作為基礎(chǔ)消費(fèi)產(chǎn)業(yè)，在國(guó)民經(jīng)濟(jì)中占據(jù)著重要的地位。在織物生產(chǎn)過(guò)程中，織物疵點(diǎn)控制與檢測(cè)是極為關(guān)鍵的環(huán)節(jié)，其質(zhì)量直接影響面料的市場(chǎng)售價(jià)［1］。

傳統(tǒng)的織物疵點(diǎn)檢測(cè)主要依靠人工目檢，主觀性強(qiáng)、檢測(cè)準(zhǔn)確率低且難以滿足實(shí)時(shí)檢測(cè)需求。隨著機(jī)器視覺(jué)檢測(cè)技術(shù)的發(fā)展，其已被應(yīng)用于織物疵點(diǎn)自動(dòng)檢測(cè)。傳統(tǒng)的織物疵點(diǎn)視覺(jué)檢測(cè)方法需要根據(jù)不同類型疵點(diǎn)的特征人工設(shè)計(jì)圖像特征提取器，當(dāng)織物紋理和疵點(diǎn)種類變化時(shí)，需重新設(shè)計(jì)特征提取器，適應(yīng)性差?；诰矸e神經(jīng)網(wǎng)絡(luò)織物疵點(diǎn)檢測(cè)算法可以通過(guò)自主學(xué)習(xí)圖像多層級(jí)特征信息，有效解決特征提取器設(shè)計(jì)問(wèn)題，越來(lái)越多地被用于多種類疵點(diǎn)的自動(dòng)檢測(cè)。已有文獻(xiàn)研究卷積神經(jīng)網(wǎng)絡(luò)用于織物疵點(diǎn)檢測(cè)的可行性。晏琳等人［2］采用Faster RCNN 融合ResNet101 對(duì)織物疵點(diǎn)進(jìn)行檢測(cè)，檢測(cè)準(zhǔn)確率達(dá)到99.6%，但對(duì)于細(xì)長(zhǎng)型的疵點(diǎn)檢測(cè)效果不理想。史甜甜［3］將深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合Fisher 準(zhǔn)則約束對(duì)彩色格子織物疵點(diǎn)識(shí)別準(zhǔn)確率達(dá)到98.55%。張麗瑤等人［4］在SSD 的基礎(chǔ)上，引入雙邊濾波方法減少織物圖像的背景干擾，對(duì)油污的識(shí)別率可達(dá)到92%，但對(duì)于織物紋理相近的疵點(diǎn)檢測(cè)效果不佳。

目前，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法主要分成：Two?stage 算法，如RCNN［5］、SPP?Net［6］、Fast RCNN［7］、 Faster RCNN［8］、 Cascade RCNN［9］；One?stage 算 法，如RetinaNet［10］、YO?LO［11］、SSD［12］。Two?stage 算法首先采用預(yù)定義框訓(xùn)練區(qū)域候選網(wǎng)絡(luò)（Region Proposal Network，RPN）生成感興趣區(qū)域（Region of Interest，ROI），然后再利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)ROI 進(jìn)行分類和定位，相較One?stage 算法直接提取特征檢測(cè)目標(biāo)，Two?stage 算法檢測(cè)準(zhǔn)確率更高。但Two?stage 算法默認(rèn)預(yù)定義框的尺寸適于常規(guī)形狀目標(biāo)，對(duì)小尺寸或長(zhǎng)寬比極端的目標(biāo)檢測(cè)效果不佳。

本研究針對(duì)疵點(diǎn)小且長(zhǎng)寬比懸殊的織物疵點(diǎn)采用傳統(tǒng)預(yù)定義框檢測(cè)效果不佳問(wèn)題，引入深度殘差網(wǎng)絡(luò)（ResNet101）［13］和金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）［14］進(jìn)行特征 融 合，充分保留疵點(diǎn)的特征信息；采用二步聚類算法確定織物疵點(diǎn)檢測(cè)的最佳預(yù)定義框尺寸，以提高疵點(diǎn)檢測(cè)準(zhǔn)確率和定位精度。

1 織物疵點(diǎn)分析

目前統(tǒng)計(jì)的織物疵點(diǎn)有水漬、油污、雙經(jīng)等幾十種［15］。圖1 為部分織物疵點(diǎn)，可知大部分織物疵點(diǎn)長(zhǎng)寬差距明顯。本研究對(duì)天池大賽提供的織物疵點(diǎn)數(shù)據(jù)集進(jìn)行分析。表1 列出了織物疵點(diǎn)數(shù)據(jù)集包含的疵點(diǎn)，共計(jì)34 類，疵點(diǎn)種類多。圖2（a）為不同種類疵點(diǎn)的數(shù)量分布，其中，結(jié)頭1 996 個(gè)，約占疵點(diǎn)樣本總數(shù)的21%，“三絲”約占疵點(diǎn)樣本總數(shù)的11%，而雙經(jīng)、云織疵點(diǎn)分別只占疵點(diǎn)樣本總數(shù)的0.1%，不同種類疵點(diǎn)數(shù)量分布極不均衡。 圖2（b）為不同種類疵點(diǎn)在圖像中所占面積及長(zhǎng)寬比分布?？梢钥闯?，超過(guò)70%的疵點(diǎn)面積在圖像中占比小于10%，小疵點(diǎn)較多。破洞等約41% 疵點(diǎn)的長(zhǎng)寬比值在0.04～0.50，而約30%疵點(diǎn)的長(zhǎng)寬比值在2～20，如雙緯的平均長(zhǎng)寬比值高達(dá)19。只有少量疵點(diǎn)的長(zhǎng)寬比值在0.5～2.0。而作為Cascade RCNN 結(jié)構(gòu)一部分的區(qū)域候選網(wǎng)絡(luò)RPN 的默認(rèn)預(yù)定義框的尺寸通常用于檢測(cè)汽車正面、行人等長(zhǎng)寬比值在0.5～2.0的常見(jiàn)目標(biāo)檢測(cè)。相較常見(jiàn)目標(biāo)，大部分織物疵點(diǎn)形狀狹長(zhǎng)，長(zhǎng)寬比范圍比較極端，因此RPN 默認(rèn)預(yù)定義框尺寸對(duì)于織物疵點(diǎn)檢測(cè)適用性不佳。

圖1 織物不同種類疵點(diǎn)圖

圖2 牛仔織物疵點(diǎn)數(shù)據(jù)集分析

表1 織物疵點(diǎn)種類列表

本研究針對(duì)疵點(diǎn)種類數(shù)量不均衡、疵點(diǎn)長(zhǎng)寬比極端、微小疵點(diǎn)數(shù)量多等問(wèn)題，對(duì)卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，以提高織物疵點(diǎn)檢測(cè)的準(zhǔn)確率。

2 織物疵點(diǎn)檢測(cè)卷積網(wǎng)絡(luò)模型

2.1 Cascade RCNN 織物疵點(diǎn)識(shí)別方法

本 研 究 采 用Two ? stage 算 法 中Cascade RCNN 網(wǎng)絡(luò)構(gòu)架進(jìn)行織物疵點(diǎn)檢測(cè)和定位。Cas?cade RCNN 算法網(wǎng)絡(luò)框架如圖3 所示?？椢锎命c(diǎn)圖像首先經(jīng)卷積層（CNN）獲取不同尺度的特征圖（Feature Maps），特征圖經(jīng)RPN 網(wǎng)絡(luò)中預(yù)定義框（Anchors）得到疵點(diǎn)的感興趣候選區(qū)域（ROIs），然后將候選區(qū)域和特征圖進(jìn)行級(jí)聯(lián)回歸，通過(guò)逐級(jí)提高候選框的IoU 值，使得前一級(jí)采樣過(guò)的候選框能夠適應(yīng)下一級(jí)更高IoU 值的階段，進(jìn)而實(shí)現(xiàn)高精度的目標(biāo)檢測(cè)。針對(duì)織物疵點(diǎn)種類間相似、微小疵點(diǎn)數(shù)量多的問(wèn)題，選取深度殘差網(wǎng)絡(luò)提取更多疵點(diǎn)細(xì)節(jié)特征，采用金字塔網(wǎng)絡(luò)（FPN）對(duì)不同卷積層的疵點(diǎn)特征進(jìn)行融合。針對(duì)大部分疵點(diǎn)長(zhǎng)寬比極端的情況，采用二步聚類算法確定適用于織物疵點(diǎn)檢測(cè)的預(yù)定義候選框尺寸。

圖3 Cascade RCNN 卷積網(wǎng)絡(luò)框架結(jié)構(gòu)圖

2.2 基于ResNet101 與FPN 特征融合網(wǎng)絡(luò)

由于織物疵點(diǎn)較小，且疵點(diǎn)特征在圖像中不顯著，同時(shí)為提高疵點(diǎn)特征提取的精度，選用ResNet101 作為基礎(chǔ)疵點(diǎn)特征提取網(wǎng)絡(luò)。ResNet101 對(duì)網(wǎng)絡(luò)權(quán)重及數(shù)據(jù)的波動(dòng)敏感，能夠捕捉到微小的特征信息，且可有效緩解反向傳播時(shí)深層卷積導(dǎo)致的退化問(wèn)題。特征金字塔網(wǎng)絡(luò)可以融合高低層特征信息，尤其適用于小尺寸目標(biāo)特征提取。ResNet101 特征提取和特征金字塔網(wǎng)絡(luò)融合的結(jié)構(gòu)如圖4 所示。ResNet101 網(wǎng)絡(luò)包含1 個(gè)低層卷積操作（C1）和4 個(gè)殘差塊（C2～C5），C1 只對(duì)輸入的織物疵點(diǎn)圖像降采樣，C2～C5 殘差塊的尾部采用1×1 的卷積層控制特征圖輸出深度，最終生成4 個(gè)不同層的織物疵點(diǎn)特征圖Mi(i=2，…，5)，自M5起每個(gè)卷積層進(jìn)行二倍上采樣計(jì)算（upsample），M5上采樣的結(jié)果和特征圖M4大小相同，M5上采樣結(jié)果和M4相加實(shí)現(xiàn)特征融合，對(duì)不同層特征圖依次重復(fù)上述步驟進(jìn)行特征融合。為消除上采樣的混疊效應(yīng)，采用3×3 的卷積核對(duì)每個(gè)融合特征圖進(jìn)行卷積，最終得到融合特征圖Pi(i=2，…，5)。

圖4 ResNet101+FPN 特征融合網(wǎng)絡(luò)結(jié)構(gòu)

2.3 基于二步聚類法確定預(yù)定義框

2.3.1預(yù)定義框確定候選區(qū)域原理

Cascade RCNN 網(wǎng)絡(luò)中的RPN 網(wǎng)絡(luò)根據(jù)預(yù)定義框生成感興趣候選區(qū)域，其默認(rèn)框?yàn)? 種長(zhǎng)寬比（1∶1，1∶2，2∶1）對(duì)應(yīng)3 種尺度（8，16，32）共9 個(gè)預(yù)定義框，如圖5 所示。RPN 對(duì)大小為M×M的特征圖采用3×3 滑動(dòng)窗口遍歷特征圖中每個(gè)像素，產(chǎn)生低維特征圖（256×M×M），同時(shí)滑動(dòng)窗口的中心位置生成9 個(gè)預(yù)定義框，低維特征圖進(jìn)行二次1×1 的卷積操作，分別得到18 個(gè)疵點(diǎn)判別的概率值和36 個(gè)候選框坐標(biāo)偏移值，對(duì)概率值進(jìn)行非極大值抑制得到ROIs［16］。

圖5 候選區(qū)域生成網(wǎng)絡(luò)（RPN）

Cascade RCNN 采用默認(rèn)預(yù)定義框的織物疵點(diǎn)檢測(cè)結(jié)果如圖6 所示。圖6（a）只檢測(cè)出疵點(diǎn)的一部分，對(duì)應(yīng)綠框中的疵點(diǎn)，紅框?yàn)槲礄z測(cè)到的部分疵點(diǎn)；圖6（b）紅框中疵點(diǎn)漏檢。由于織物中雙緯、雙經(jīng)等大部分疵點(diǎn)長(zhǎng)寬比都超出常規(guī)目標(biāo)的長(zhǎng)寬比，按照默認(rèn)預(yù)定義框?qū)π螤顦O端的織物疵點(diǎn)檢測(cè)部分存在錯(cuò)檢、漏檢的情況，且不能準(zhǔn)確定位疵點(diǎn)邊界。為此，利用二步聚類算法確定預(yù)定義框的大小，以提高對(duì)織物疵點(diǎn)的檢出率和定位準(zhǔn)確率。

圖6 默認(rèn)預(yù)定義框的疵點(diǎn)檢測(cè)結(jié)果

2.3.2二步聚類法織物疵點(diǎn)聚類原理

二步聚類算法［17］可同時(shí)處理數(shù)值型變量和分類型變量，自動(dòng)確定聚類數(shù)目和診斷樣本中離群點(diǎn)及噪聲數(shù)據(jù)，避免k?means 法需要預(yù)先指定聚類數(shù)目、主觀性強(qiáng)的問(wèn)題。本研究利用二步聚類算法對(duì)織物疵點(diǎn)的長(zhǎng)寬比進(jìn)行聚類，根據(jù)聚類結(jié)果確定預(yù)定義框的長(zhǎng)寬比；同時(shí)對(duì)織物疵點(diǎn)數(shù)據(jù)集的疵點(diǎn)種類重新聚類，避免樣本不均衡導(dǎo)致識(shí)別準(zhǔn)確率低的問(wèn)題。

二步聚類算法的實(shí)現(xiàn)過(guò)程如下：

第1 步，預(yù)聚類。樣本數(shù)據(jù)逐條讀入構(gòu)造聚類特征CF 樹(shù)（Clustering Feature Tree），計(jì)算每個(gè)樣本與子樹(shù)中所有葉節(jié)點(diǎn)的親疏程度，親疏程度小于設(shè)定閾值的合并為一類，反之增加新葉節(jié)點(diǎn)為新的子類，反復(fù)迭代該過(guò)程，直到所有樣本數(shù)據(jù)均分配到某個(gè)子類為止，最終形成J個(gè)子類。織物疵點(diǎn)數(shù)據(jù)庫(kù)聚類的輸入變量為原始各類疵點(diǎn)的數(shù)量、各類疵點(diǎn)的平均長(zhǎng)寬比和平均面積。由于數(shù)據(jù)集同時(shí)含有數(shù)值型變量和分類型變量，采用對(duì)數(shù)似然函數(shù)判斷親疏程度，判別式如式（1）所示。

式中：假設(shè)生成J個(gè)子類，p為似然函數(shù)，Ij為第j類樣本的集合，θj為第j類樣本的參數(shù)向量，Xi為第i個(gè)聚類變量。

第2 步，聚類。將第1 步預(yù)聚類生成的J個(gè)子類進(jìn)行層次聚類，J個(gè)子類需進(jìn)行J-1 次迭代聚類，每次聚類都需計(jì)算任意兩子類之間的對(duì)數(shù)似然距離，將距離最近的兩個(gè)子類合并。利用貝葉斯信息準(zhǔn)則最終得到粗略估計(jì)的L大類，利用式（2）對(duì)聚類數(shù)目L進(jìn)行修正。

式中：R2(L)為類間差異性最小值變化的相對(duì)指標(biāo)，dmin(CL)為聚類數(shù)目為L(zhǎng)類，兩兩類間對(duì)數(shù)似然距離的最小值。 依次計(jì)算R2(L-1)，R2(L-2)，…，R2(2)，直到所有類間差異性變化的最大值大于次大值的1.15 倍終止合并，最大值所對(duì)應(yīng)的類為最終聚類數(shù)。

2.3.3二步聚類法疵點(diǎn)確定預(yù)定義框

天池織物疵點(diǎn)數(shù)據(jù)集共有5 912 張圖像，由于每張圖像可能存在多個(gè)疵點(diǎn)，數(shù)據(jù)集共有34 類9 619 個(gè)疵點(diǎn)，圖像大小均為2 446 pixel×1 000 pixel。采用二步聚類算法將所有疵點(diǎn)種類重新聚類。34 類疵點(diǎn)重聚類成5 大類。A 類包含破洞、水漬、油漬、污漬、毛粒、粗經(jīng)、松經(jīng)、斷經(jīng)、吊經(jīng)、星跳、跳花、磨痕、軋痕、修痕、燒毛痕、死皺、雙經(jīng)、跳紗、筘路、緯紗不良，共3 064 個(gè)樣本；B 類包含花板跳、百腳、稀密檔、浪紋檔、雙緯，共630 個(gè)樣本；C 類包含“三絲”、粗緯、緯縮、整經(jīng)結(jié)、斷氨綸，共3 537 個(gè)樣本，D 類為結(jié)頭，共1 996 個(gè)樣本，E 類包含漿斑、色差檔、云織，共392 個(gè)樣本。重聚類各類別疵點(diǎn)數(shù)量較均衡，避免了個(gè)別類疵點(diǎn)數(shù)量較少導(dǎo)致的網(wǎng)絡(luò)模型訓(xùn)練不充分的問(wèn)題。

二步聚類法得到的5 類疵點(diǎn)中各類疵點(diǎn)的長(zhǎng)寬比聚類中心統(tǒng)計(jì)結(jié)果如下。A 類疵點(diǎn)長(zhǎng)寬比值0.34、1.26、1.50、2.18、11.46、17.32，B 類疵點(diǎn)長(zhǎng)寬 比 值0.10、0.11，C 類 疵 點(diǎn) 長(zhǎng) 寬 比 值0.15、1.21，D 類疵點(diǎn)長(zhǎng)寬比值1.79、2.37，E 類疵點(diǎn)長(zhǎng)寬比值0.21、0.37、1.17。為計(jì)算方便，本研究選取和長(zhǎng)寬比聚類中心近似的比例作為預(yù)定義框尺寸，A 類 疵 點(diǎn) 近 似 長(zhǎng) 寬 比 值0.20、1.00、2.00、10.00、20.00，B 類疵點(diǎn)近似長(zhǎng)寬比值0.10，C 類疵點(diǎn)近似長(zhǎng)寬比值0.10、1.00，D 類近似長(zhǎng)寬比值2.00，E 類近似長(zhǎng)寬比值0.20、0.50、1.00。同時(shí)為更好地涵蓋極端形狀疵點(diǎn)，增加了長(zhǎng)寬比值為0.05 和5.00 的預(yù)定義框，最終確定檢測(cè)織物疵點(diǎn)的預(yù)定義框的長(zhǎng)寬比值共9 種，分別為0.05、0.10、0.20、0.50、1.00、2.00、5.00、10.00、20.00。

4 試驗(yàn)結(jié)果與分析

4.1 試驗(yàn)環(huán)境

本試驗(yàn)采用筆記本電腦，配置為Intel（R）Core（TM）i5?9300H CPU、2.40 GHz 處 理 器，NVIDIA GeForce GTX1650 顯卡及windows10操作系統(tǒng)，基于Pytorch 的深度學(xué)習(xí)目標(biāo)檢測(cè)框架MMDetection 進(jìn)行模型搭建，采用Python 程序語(yǔ)言編程實(shí)現(xiàn)織物疵點(diǎn)檢測(cè)。

4.2 評(píng)價(jià)指標(biāo)

采用疵點(diǎn)識(shí)別準(zhǔn)確率（Accuracy，ACC）評(píng)價(jià)本研究改進(jìn)算法的織物疵點(diǎn)檢測(cè)結(jié)果。ACC計(jì)算如式（3）所示。其中TP為實(shí)際疵點(diǎn)檢測(cè)為疵點(diǎn)的樣本數(shù)，TN為無(wú)疵點(diǎn)檢測(cè)為無(wú)疵點(diǎn)的樣本數(shù)，F(xiàn)P為無(wú)疵點(diǎn)誤檢測(cè)為疵點(diǎn)的樣本數(shù)，F(xiàn)N為實(shí)際疵點(diǎn)誤檢測(cè)為無(wú)疵點(diǎn)的樣本數(shù)。

4.3 試驗(yàn)結(jié)果

按照二步聚類法得到的重聚類疵點(diǎn)種類將織物疵點(diǎn)數(shù)據(jù)庫(kù)按8∶2 的比例隨機(jī)劃分成訓(xùn)練集和測(cè)試集，利用本研究改進(jìn)［18］的特征提取和融合網(wǎng)絡(luò)以及設(shè)定的預(yù)定義框，對(duì)改進(jìn)前后模型檢測(cè)結(jié)果進(jìn)行比較。

改進(jìn)前后模型的疵點(diǎn)檢測(cè)結(jié)果如圖7 所示。相較于原始模型，改進(jìn)后模型對(duì)疵點(diǎn)的定位精度高，且沒(méi)有漏檢。

圖7 基于Cascade RCNN 織物疵點(diǎn)圖像識(shí)別結(jié)果

圖8為模型改進(jìn)前后Cascade RCNN 網(wǎng)絡(luò)對(duì)5 類疵點(diǎn)的識(shí)別準(zhǔn)確率。A 類、D 類疵點(diǎn)主要為微小疵點(diǎn)，改進(jìn)后Cascade RCNN 模型的ACC分別提高4.1 個(gè)百分點(diǎn)、3.1 個(gè)百分點(diǎn)；B 類、C 類、E 類疵點(diǎn)大部分是長(zhǎng)寬比極端疵點(diǎn)，相較于改進(jìn)前模型，改進(jìn)后Cascade RCNN 模型ACC分別提升9.7 個(gè)百分點(diǎn)、20.8 個(gè)百分點(diǎn)、14.9 個(gè)百分點(diǎn)。

圖8 Cascade RCNN 改進(jìn)前后各類別ACC 對(duì)比結(jié)果

5 結(jié)論

本研究圍繞織物疵點(diǎn)類間相似、類間數(shù)量不均衡、大部分疵點(diǎn)長(zhǎng)寬比極端、小尺寸疵點(diǎn)數(shù)量多等問(wèn)題，對(duì)Cascade RCNN 目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，使用二步聚類算法優(yōu)化預(yù)定義框，引入深度殘差網(wǎng)絡(luò)（ResNet101）優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取并采用特征金字塔網(wǎng)絡(luò)（FPN）進(jìn)行特征融合以提高織物疵點(diǎn)的識(shí)別準(zhǔn)確率。試驗(yàn)結(jié)果表明，采用二步聚類算法確定的預(yù)定義框，適用于極端形狀織物疵點(diǎn)檢測(cè)，同時(shí)引入深層網(wǎng)絡(luò)及多尺度融合特征提取網(wǎng)絡(luò)可進(jìn)一步提高模型的疵點(diǎn)識(shí)別準(zhǔn)確率。