基于深度學(xué)習(xí)在海纜表面缺陷檢測(cè)中的應(yīng)用

張浩 吳陳 徐影

摘要：傳統(tǒng)的海纜表面缺陷檢測(cè)是通過(guò)人工觀察的方式，易出現(xiàn)高錯(cuò)誤率、速度較慢等現(xiàn)象。為此，文章提出了一種基于深度學(xué)習(xí)在海纜表面缺陷檢測(cè)的系統(tǒng)。為了提高整體的檢測(cè)效率，該系統(tǒng)通過(guò)Faster - RCNN網(wǎng)絡(luò)對(duì)圖片缺陷進(jìn)行檢測(cè)。為了減小模型的復(fù)雜程度，采用了RPN Loss+ Fast RCNN Loss的聯(lián)合訓(xùn)練方法，通過(guò)一次的反向傳播更新模型參數(shù)。同時(shí)，為了增強(qiáng)模型對(duì)海纜表面缺陷的檢測(cè)能力，在主干特征提取網(wǎng)絡(luò)部分，利用Resnet50中四個(gè)不同階段的特征層構(gòu)建特征金字塔網(wǎng)絡(luò)，以適應(yīng)不同缺陷的檢測(cè)。實(shí)驗(yàn)結(jié)果表明，缺陷檢出率達(dá)到98%，分類準(zhǔn)確率達(dá)到97.9%。經(jīng)過(guò)驗(yàn)證，該系統(tǒng)檢測(cè)效果優(yōu)于傳統(tǒng)方式，可以滿足工業(yè)化生產(chǎn)要求。

關(guān)鍵詞：深度學(xué)習(xí);海纜;表面缺陷;檢測(cè)

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）15-0088-04

海纜是用絕緣體包裹的電纜或光纜，鋪設(shè)在海底的一種通信線路[1]。因?yàn)樾枰厥獾墓ぷ鳝h(huán)境，所以需要更加嚴(yán)格的標(biāo)準(zhǔn)。

對(duì)于傳統(tǒng)的人工檢測(cè)方法，受到有限的空間與時(shí)間限制，存在很多不足之處。通常人眼能較好地辨別缺陷尺寸需要大于0.5mm，且需要較大的光學(xué)形變（64灰度級(jí)），同時(shí)當(dāng)待測(cè)物體的運(yùn)動(dòng)速度到達(dá)3m/s的臨界點(diǎn)時(shí)，人眼將不能夠發(fā)現(xiàn)缺陷存在的具體形態(tài)[2];同時(shí)，必須在強(qiáng)光源下才能快速找到海纜表面的缺陷;加之長(zhǎng)時(shí)間工作，極易引起眼疾，而且會(huì)產(chǎn)生比較高的誤檢率及漏檢率。因此，在現(xiàn)實(shí)工業(yè)生產(chǎn)中急需一種改善傳統(tǒng)檢測(cè)的方案。

1? 相關(guān)工作

得益于現(xiàn)代圖像處理和模式識(shí)別等技術(shù)的發(fā)展，以機(jī)器視覺(jué)的表面缺陷檢測(cè)方法在工業(yè)產(chǎn)品品質(zhì)把控環(huán)節(jié)中得到了較為廣泛的應(yīng)用。文獻(xiàn)[3]中分析了機(jī)器視覺(jué)瑕疵檢測(cè)精度可達(dá)到微米級(jí)，機(jī)器快門(mén)采集時(shí)間可以達(dá)到微秒級(jí)，識(shí)別和判斷都能夠保持穩(wěn)定，使得檢測(cè)效率得到提升。但是表面缺陷檢測(cè)系統(tǒng)的核心在于缺陷檢測(cè)算法，主要涉及統(tǒng)計(jì)、光譜、模型、學(xué)習(xí)和結(jié)構(gòu)，其主要過(guò)程包含了圖像預(yù)處理、二值化[4]、特征提取[5]、特征處理[6]及模式分類[7]等，以上的每個(gè)檢測(cè)步驟都可能影響最終的檢測(cè)結(jié)果。此外，在平時(shí)的生產(chǎn)環(huán)境中，圖片數(shù)據(jù)包含的內(nèi)容是十分復(fù)雜的，這也增加了選擇特征的難度，大大降低了檢測(cè)的效率。

隨著近年來(lái)3C智能硬件的快速迭代，生產(chǎn)檢測(cè)技術(shù)也隨之不斷推陳出新，誕生了深度學(xué)習(xí)方法?！叭斯ど窠?jīng)網(wǎng)絡(luò)”的發(fā)展推進(jìn)了深度學(xué)習(xí)思想的產(chǎn)生。從人類大腦中汲取靈感，模擬人腦分析問(wèn)題的機(jī)制，建立計(jì)算機(jī)分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)[8]?；谏疃葘W(xué)習(xí)方法的視覺(jué)缺陷檢測(cè)系統(tǒng)，可以減少一般方法中手動(dòng)提取特征對(duì)識(shí)別精度的影響，能夠更精確地檢測(cè)并識(shí)別產(chǎn)品存在的各種表面缺陷。深度學(xué)習(xí)可以處理復(fù)雜的特征提取問(wèn)題。當(dāng)前國(guó)內(nèi)外基于深度學(xué)習(xí)在圖像檢測(cè)領(lǐng)域，主要的方法有兩種大類：YOLO（You Only Live Once）[9-11]和RCNN（Region Convolutional Neural Networks）[12-14]，一般YOLO系列的算法速度快于RCNN系列的算法，但是精度較之不如。在2014年，R-CNN被Girshick等人[9]提出。通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)圖像，明顯使檢測(cè)效率得到提升。之后在R-CNN的基礎(chǔ)上，Girshick等人[10]又提出了Fast RCNN，通過(guò)ROI（Regions of Interest） Pooling 進(jìn)行滑動(dòng)窗口[15-16]的方式和Selective Search的方法，達(dá)到比RCNN更好的檢測(cè)效果。在這之后，Ren等人[11]提出了Faster-RCNN，該算法通過(guò)區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）[17]代替R-CNN和Fast-RCNN中的Selective Search算法，基本實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)功能。

根據(jù)以上方法的總結(jié)，在模型較為復(fù)雜時(shí)，效率以及準(zhǔn)確度會(huì)有所降低。為了處理這種問(wèn)題，筆者利用Resnet50中四個(gè)不同階段的特征層構(gòu)建特征金字塔網(wǎng)絡(luò)，以適應(yīng)不同缺陷的檢測(cè)。同時(shí)，我們采用了RPN Loss+ Fast RCNN Loss的聯(lián)合訓(xùn)練方法，通過(guò)一次反向傳播更新模型參數(shù)來(lái)降低模型復(fù)雜度，從而快速有效地進(jìn)行表面缺陷檢測(cè)。

1 海纜表面瑕疵檢測(cè)系統(tǒng)結(jié)構(gòu)

該系統(tǒng)的基本思路是先對(duì)圖像進(jìn)行預(yù)處理，利用主干特征提取網(wǎng)絡(luò)進(jìn)行特征提取，然后使用RPN加強(qiáng)特征提取，最后進(jìn)行缺陷類型的分類和邊框回歸，大致處理流程圖如圖1所示。

2? 圖像預(yù)處理

在預(yù)處理圖像的過(guò)程中，筆者主要采用了HALCON軟件進(jìn)行處理。這款軟件是由德國(guó)的MVtec公司開(kāi)發(fā)的一款優(yōu)秀的機(jī)器視覺(jué)軟件。它擁有圖像濾波降噪、數(shù)學(xué)變換、形態(tài)學(xué)運(yùn)算等多種強(qiáng)大功能。

2.1 對(duì)比度增強(qiáng)

為了增強(qiáng)圖像的高頻區(qū)域，比如邊緣、拐角。筆者使用了HALCON軟件中的emphasize算子，這個(gè)功能可以更清晰地觀察圖片。

2.2 濾波除噪處理

通過(guò)對(duì)圖像進(jìn)行卷積重疊，然后再進(jìn)行濾波方法，對(duì)整個(gè)圖像進(jìn)行模糊化處理，然后可設(shè)定取固定數(shù)值的圖像波段，去除噪聲。為了進(jìn)一步降低噪音影響，采用了中值濾波的算法。

[g（x，y）=1Mf∈sf（x，y）]? ? ? ? ? ? ? ? ? ? ? ?（1）

在式（1）中，[x，y]代表圖片二維數(shù)組的兩個(gè)坐標(biāo)。這里采用的是取3×3的矩陣，然后經(jīng)過(guò)希爾排序獲取中值。

3 基于Faster-RCNN的缺陷目標(biāo)檢測(cè)

3.1 R-CNN

R-CNN是利用深度學(xué)習(xí)進(jìn)行目標(biāo)檢測(cè)的開(kāi)山之作。它的流程可分為4個(gè)步驟：

1）將圖片劃分成一千到兩千個(gè)候選區(qū)域;

2）對(duì)每個(gè)候選區(qū)域，使用深度網(wǎng)絡(luò)提取特征;

3）特征送入每一類的SVM分類器，判別是否屬于該類;

4）使用回歸器精細(xì)修正候選框位置。

Selective Search算法通過(guò)相似度不斷合并候選區(qū)域，然后構(gòu)成新的候選框，這些新生成的候選框中，可能包含了需要檢測(cè)的缺陷。

在RCNN的最后一階段，使用回歸器精細(xì)修正候選框位置，對(duì)NMS處理后剩余的建議框進(jìn)一步篩選?；谝陨希覀儗⑹Ｓ嗟慕ㄗh框放入回歸器中，進(jìn)行類別判斷，最后獲取得分最高的Bounding Box。

但是RCNN存在一些問(wèn)題：

1）測(cè)試速度慢：通過(guò)Selective Search算法構(gòu)成的候選框之間存在大量的重疊部分，使提取特征更加復(fù)雜;

2）訓(xùn)練速度慢：過(guò)程極其煩瑣;

3）訓(xùn)練所需空間大：當(dāng)使用如VGG16這種比較深的網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，需要提取的特征數(shù)量就會(huì)變得極其龐大，比如，從VOC2007訓(xùn)練集上的5K圖像上提取特征，甚至需要幾百GB存儲(chǔ)空間。

3.2? Fast R-CNN

Fast R-CNN在運(yùn)算速度上得到了優(yōu)化，它與R-CNN相比訓(xùn)練時(shí)間快9倍，測(cè)試推理時(shí)間快213倍，準(zhǔn)確率從62%提升至66%（在Pascal VOC數(shù)據(jù)集上）。

Fast R-CNN算法流程可分為3個(gè)步驟：

1）將圖片劃分成一千到兩千個(gè)候選區(qū)域;

2）將圖像輸入網(wǎng)絡(luò)得到相應(yīng)的特征圖，將SS算法生成的候選框投影到特征圖上，獲得相應(yīng)的特征矩陣;

3）將每個(gè)特征矩陣通過(guò)ROI Pooling層縮放到7×7大小的特征圖，接著將特征圖展平通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果。

Fast R-CNN不限制輸入圖像的尺寸，并且其一次性計(jì)算整張圖像特征，F(xiàn)ast R-CNN依次將候選框區(qū)域輸入卷積神經(jīng)網(wǎng)絡(luò)得到特征。這樣，就不需要重復(fù)計(jì)算這些候選區(qū)域特征了。

雖然相比RCNN，F(xiàn)ast-RCNN在運(yùn)算速度上有所提高，但其整體效率依然很低。

3.3? Faster R-CNN

繼Fast R-CNN之后，F(xiàn)aster R-CNN的運(yùn)算速度再一次得到巨大提升。在GPU上，該算法的推理速度達(dá)到5FPS（包括候選區(qū)域的生成），準(zhǔn)確率也有進(jìn)一步的提升。Faster R-CNN算法流程可分為3個(gè)步驟：

1）將圖像輸入網(wǎng)絡(luò)得到相應(yīng)的特征圖;

2）通過(guò)RPN構(gòu)成候選框，將候選框投影到特征圖，獲取對(duì)應(yīng)的特征矩陣;

3）將每個(gè)特征矩陣通過(guò)ROI Pooling層縮放到7×7大小的特征圖，接著將特征圖展平通過(guò)一系列全連接層得到預(yù)測(cè)結(jié)果。

Faster R-CNN的RPN網(wǎng)絡(luò)存在三種尺度的Anchor Box，分別是128×128，256×256，512×512，同時(shí)對(duì)于每一個(gè)尺度，也存在三種不同的比例{ 1：1， 1：2， 2：1 }，即每個(gè)位置在原圖上都對(duì)應(yīng)有3×3=9 anchor對(duì)于一張1000×600×3的圖像，大約有60×40×9（20k）個(gè)anchor，忽略跨越邊界的anchor以后，剩下約6k個(gè)anchor。對(duì)于RPN生成的候選框之間存在大量重疊，基于候選框的cls得分，采用非極大值抑制，IoU設(shè)為0.7，這樣每一張圖片變成兩千個(gè)候選區(qū)域。

對(duì)于Faster R-CNN網(wǎng)絡(luò)，其損失函數(shù)是一個(gè)多任務(wù)損失，整體的損失函數(shù)如下：

[L{{pi}，{ti}}=1NclsiLcls（pi，p*i）+1Nregip*iLreg（ti，t*i）]? （2）

其中，分類損失函數(shù)：

[iLcls（pi，p*i）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

邊界框回歸損失函數(shù)：

[ip*iLreg（ti，t*i）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （4）

第i個(gè)預(yù)測(cè)為真實(shí)標(biāo)簽的概率用pi表示; p當(dāng)為正樣本時(shí)用1表示，當(dāng)其為負(fù)樣本時(shí)用0表示;預(yù)測(cè)第i個(gè)anchor的邊界框回歸參數(shù)用ti表示;t表示第i個(gè)anchor對(duì)應(yīng)的GT Box的邊界框回歸參數(shù);Ncls，表示一個(gè)mini-batch中的所有樣本數(shù)量;anchor位置的個(gè)數(shù)用Nreg表示。

3.4 Faster R-CNN的改進(jìn)

1）為了增強(qiáng)模型對(duì)數(shù)據(jù)的擬合能力，在主干特征提取網(wǎng)絡(luò)部分，選用Resnet50進(jìn)行特征提取，并利用Resnet50中四個(gè)不同階段的特征層構(gòu)建特征金字塔網(wǎng)絡(luò)，以適應(yīng)不同目標(biāo)的檢測(cè)。

2）為了減小模型的復(fù)雜程度，直接采用RPN Loss+ Fast R-CNN Loss的聯(lián)合訓(xùn)練的方法，直接通過(guò)一次的反向傳播更新模型參數(shù)，方法步驟如下。第一，通過(guò)ImageNet預(yù)訓(xùn)練分類模型，對(duì)前置卷積網(wǎng)絡(luò)層的參數(shù)進(jìn)行初始化，同時(shí)對(duì)RPN網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練;第二，RPN網(wǎng)絡(luò)中卷積層和全連接層的參數(shù)保持不變。通過(guò)ImageNet進(jìn)行預(yù)訓(xùn)練分類模型，將前置卷積網(wǎng)絡(luò)參數(shù)初始化。RPN網(wǎng)絡(luò)生成的目標(biāo)建議區(qū)域用來(lái)訓(xùn)練Fast RCNN網(wǎng)絡(luò)參數(shù);第三，訓(xùn)練好的Fast RCNN網(wǎng)絡(luò)參數(shù)保持不變。RPN網(wǎng)絡(luò)的卷積層和全連接層參數(shù)再根據(jù)測(cè)試內(nèi)容進(jìn)行略微調(diào)整;第四，前置卷積網(wǎng)絡(luò)層參數(shù)保持不變，F(xiàn)ast RCNN網(wǎng)絡(luò)的全連接層參數(shù)再略微調(diào)整。然后將前置卷積網(wǎng)絡(luò)層參數(shù)共享給RPN網(wǎng)絡(luò)與Fast RCNN網(wǎng)絡(luò)。

4 實(shí)驗(yàn)結(jié)果

在Fast R-CNN的訓(xùn)練過(guò)程中，類別損失選用二值交叉熵?fù)p失，邊框回歸選用smooth L1損失，選用Adam優(yōu)化器，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率衰減為1e-6，Batch_size為12。

筆者從工廠中獲取了1352張海纜表面圖片，其中80%作為訓(xùn)練集，20%作為測(cè)試集。

在訓(xùn)練過(guò)程中，可視化了每一個(gè)Step的各個(gè)損失，結(jié)果如圖4所示：

可見(jiàn)模型在經(jīng)過(guò)迭代后，模型Loss值逐漸收斂，并趨近于0，模型的整體效果如圖5 所示：

根據(jù)檢測(cè)結(jié)果數(shù)量計(jì)算得知，缺陷檢出率達(dá)到98%，分類準(zhǔn)確率達(dá)到97.9%?？梢?jiàn)基于改進(jìn)的Faster RCNN基本能夠符合工廠檢測(cè)需要。

為了體現(xiàn)改進(jìn)模型的優(yōu)越性，筆者將改進(jìn)的Faster RCNN與原版Faster RCNN以及Yolov3、Yolov5、SSD、EfficientDet進(jìn)行量化指標(biāo)的對(duì)比，結(jié)果如表1所示：

具體分析可知，在海纜表面缺陷檢測(cè)的背景下，本文改進(jìn)的Faster RCNN具有非常好的量化指標(biāo)。

5 結(jié)語(yǔ)

本文以更好地實(shí)現(xiàn)海纜表面缺陷檢測(cè)為目的，設(shè)計(jì)了一種通過(guò)Resnet50進(jìn)行特征提取和RPN Loss+ Fast RCNN Loss聯(lián)合訓(xùn)練的方法，既減小了模型復(fù)雜度也提升了檢測(cè)的準(zhǔn)確率。經(jīng)過(guò)實(shí)驗(yàn)檢測(cè)以及同其他算法的量化指標(biāo)對(duì)比，該系統(tǒng)基本符合預(yù)期目標(biāo)。本文中對(duì)于相關(guān)缺陷檢測(cè)系統(tǒng)的研究也可以提供一定的參考價(jià)值。

參考文獻(xiàn)：

[1] 張效龍，徐家聲.海纜安全影響因素評(píng)述[J].海岸工程，2003，22（2）：1-7.

[2] 李婷婷.基于眼部圖像特征的人體疲勞檢測(cè)研究[D].西安：西安電子科技大學(xué)，2017.

[3] 湯勃，孔建益，伍世虔.機(jī)器視覺(jué)表面缺陷檢測(cè)綜述[J].中國(guó)圖像圖形學(xué)報(bào)，2017，22（12）：1640-1663.

[4] 江明，劉輝，黃歡.圖像二值化技術(shù)的研究[J].軟件導(dǎo)刊，2009，8（4）：175-177.

[5] Chen Y S，Dong R S.An algorithm for target detection based on aggregation multi-scale feature[J].Journal of Physics：Conference Series，2021，1757（1）：012102.

[6] Herrera-Semenets V，Bustio-Martínez L，Hernández-León R，et al.A multi-measure feature selection algorithm for efficacious intrusion detection[J].Knowledge-Based Systems，2021，227：107264.

[7] Furui A，Hayashi H，Tsuji T.An EMG pattern classification method based on a mixture of variance distribution models[J].Annual International Conference of the IEEE Engineering in Medicine and Biology Society IEEE Engineering in Medicine and Biology Society Annual International Conference，2018，2018：5216-5219.

[8] 盧宏濤，張秦川.深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J].數(shù)據(jù)采集與處理，2016，31（1）：1-17.

[9] Girshick R，Donahue J，Darrell T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2014，Columbus，OH，USA.IEEE，2014：580-587.

[10] Girshick R.Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision.December 7-13，2015，Santiago，Chile.IEEE，2015：1440-1448.

[11] Ren S Q，He K M，Girshick R，et al.Faster R-CNN：towards real-time object detection with region proposal networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[12] Redmon J，Divvala S，Girshick R，et al.You only look once：unified，real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：779-788.

[13] Redmon J，F(xiàn)arhadi A.YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：6517-6525.

[14] Redmon J， Farhadi A. Yolov3： An incremental improvement[J]. arXiv preprint arXiv： 1804.02767， 2018.

[15] Li H，Wang P，Shen C H，et al.Show，attend and read：a simple and strong baseline for irregular text recognition[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33：8610-8617.Conference on Artificial Intelligence. 2019， 33（01）： 8610-8617.

[16]Liao M H，Zhang J，Wan Z Y，et al.Scene text recognition from two-dimensional perspective[J].Proceedings of the AAAI Conference on Artificial Intelligence，2019，33：8714-8721.

[17] Wang D，Yang J，Deng J K，et al.FaceHunter：a multi-task convolutional neural network based face detector[J].Signal Processing：Image Communication，2016，47：476-481.

[18] 金貝.基于HALCON的機(jī)器視覺(jué)教學(xué)實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)[D].北京：北京交通大學(xué)，2012.

【通聯(lián)編輯：唐一東】