改進(jìn)注意力機(jī)制的型鋼表面微小缺陷檢測(cè)方法

于海濤，李福龍，劉亞姣，王 江，于利峰，張春暉，劉寶順，馬永福

1.天津大學(xué) 電氣自動(dòng)化與信息工程學(xué)院，天津 300072

2.河北津西鋼鐵集團(tuán)股份有限公司，河北 唐山 063000

在型鋼生產(chǎn)過程中，鑒于工藝和環(huán)境復(fù)雜性，型鋼表面不可避免地存在如凹坑、結(jié)疤、劃傷、擊傷等多種類型表面缺陷，嚴(yán)重影響了型鋼質(zhì)量，降低了鋼材的使用壽命。因此，表面缺陷檢測(cè)是鋼鐵生產(chǎn)的重要環(huán)節(jié)之一[1-2]。傳統(tǒng)人工檢測(cè)方法由于缺乏嚴(yán)格的定性定量標(biāo)準(zhǔn)，嚴(yán)重依賴檢測(cè)人員的主觀判斷，存在漏檢率高、效率低下等問題，難以滿足高效精準(zhǔn)的型鋼表面多類別缺陷檢測(cè)需求[3]。

隨著人工智能和深度學(xué)習(xí)的快速發(fā)展，利用機(jī)器視覺對(duì)表面缺陷進(jìn)行精準(zhǔn)定位與準(zhǔn)確識(shí)別在技術(shù)上逐漸成熟可行[4-5]。當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法主要包括以RCNN家族為代表的兩階段目標(biāo)檢測(cè)算法和以YOLO系列模型為代表的單階段目標(biāo)檢測(cè)算法[6-9]。前者使用區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN）提取目標(biāo)信息，通過分離特征提取與目標(biāo)回歸等兩個(gè)過程，具有檢測(cè)精度高的優(yōu)點(diǎn)，被廣泛應(yīng)用于鋼材表面缺陷檢測(cè)任務(wù)中：如王立中等改進(jìn)了Faster R-CNN中的Resnet101特征提取網(wǎng)絡(luò)，并應(yīng)用于帶鋼表面缺陷檢測(cè)，驗(yàn)證了Faster-RCNN模型在鋼材表面缺陷檢測(cè)問題上的有效性[10]；翁玉尚等人在此基礎(chǔ)上提出了一種檢測(cè)帶鋼表面缺陷的改進(jìn)Mask-RCNN模型，通過使用k-means II聚類算法改進(jìn)了區(qū)域建議網(wǎng)絡(luò)錨框生成精度，進(jìn)而提升了檢測(cè)準(zhǔn)確率[11]；韓強(qiáng)等人進(jìn)一步提出了一種特征融合和級(jí)聯(lián)檢測(cè)網(wǎng)絡(luò)的Faster R-CNN鋼材表面缺陷檢測(cè)算法，通過融合特征圖的方式達(dá)到減少特征提取過程中結(jié)構(gòu)信息丟失的目的，缺陷檢測(cè)精度達(dá)到98.29%[12]。然而，雖然兩階段算法具有較高的檢測(cè)精度，卻存在檢測(cè)效率低的問題，不適于型鋼表面微小缺陷的快速檢測(cè)[13]。

與兩階段算法相比，單階段目標(biāo)檢測(cè)算法利用回歸思想，將分類與定位任務(wù)相合并，直接計(jì)算出多個(gè)目標(biāo)的分類結(jié)果與位置坐標(biāo)，速度更快，被廣泛應(yīng)用于實(shí)時(shí)檢測(cè)系統(tǒng)中[14]。如程婧怡等人針對(duì)金屬表面缺陷檢測(cè)提出了改進(jìn)YOLOv3模型，通過加入DIoU邊框回歸損失為邊界框移動(dòng)方向提供了更準(zhǔn)確的位置信息，加快了模型的收斂，在NEW-DET數(shù)據(jù)集上取得了31.6 frame/s的檢測(cè)速度[15]；袁野等人提出一種檢測(cè)冰箱金屬表面缺陷的Metal-YOLOv3模型，通過優(yōu)化損失函數(shù)和選取合適的先驗(yàn)框等方法提升了檢測(cè)效率[16]。上述研究在表明YOLO模型在缺陷檢測(cè)領(lǐng)域的高效性，但采用YOLO模型存在檢測(cè)精度較低、難以檢測(cè)相對(duì)集中且較小的缺陷對(duì)象等問題。

近期研究表明利用注意力機(jī)制可有效提高小目標(biāo)檢測(cè)準(zhǔn)確率[17]。當(dāng)前注意力機(jī)制主要包括通道注意力（channel-attention）、空間注意力（spatial-attention）和自注意力（self-attention），其中自注意力模型在目標(biāo)檢測(cè)領(lǐng)域效果最好[18]，但同樣存在檢測(cè)效率低的問題。前兩種模型沒有充分利用圖像多尺度特征信息的優(yōu)勢(shì)，與自注意力模型相比檢測(cè)效果略差。

針對(duì)上述問題，考慮到型鋼表面缺陷具有形態(tài)多樣、微小尺度缺陷較多的特點(diǎn)，本文以YOLOv3模型作為基礎(chǔ)架構(gòu)，提出了一種基于空間注意力和通道注意力的雙重多尺度注意力模型DMSA（dual multi-scale attention，DMSA），并將其與改進(jìn)的YOLOv3模型相結(jié)合，顯著提升了型鋼表面微小尺度缺陷的檢測(cè)精度和多尺度缺陷的檢測(cè)效率。本文的主要貢獻(xiàn)如下：

（1）構(gòu)建了基于通道和空間注意力的雙重多尺度注意力模型DMSA，強(qiáng)化了多尺度融合特征圖中小尺度缺陷特征的分配權(quán)重，提高了小尺度缺陷目標(biāo)的檢測(cè)精度。

（2）改進(jìn)了YOLOv3模型，使用深度可分離卷積（depth separable convolution，DSC）替代特征提取主干網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，削減模型計(jì)算量，提高檢測(cè)速度，并構(gòu)建了多尺度長距離上下文特征提取層（multi-scale long-distance context，MLC）替代原模型上采樣操作之前的卷積過程，增強(qiáng)了模型對(duì)微小尺寸缺陷的特征提取能力。

（3）將DMSA模型和改進(jìn)的YOLOv3模型相融合，構(gòu)建了型鋼表面多尺度缺陷檢測(cè)模型DMSA-YOLOv3，與原YOLOv3模型相比顯著提高了多尺度缺陷檢測(cè)精度和檢測(cè)速度。

1 DMSA-YOLOv3檢測(cè)模型

1.1 DMSA-YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

綜合考慮型鋼表面缺陷檢測(cè)速度與精度要求，本文在原YOLOv3模型基礎(chǔ)上，構(gòu)建了如圖1所示的DMSAYOLOv3缺陷檢測(cè)模型，其新增模塊由紅色虛線方框標(biāo)出。DMSA-YOLOv3模型首先添加了第二個(gè)殘差模塊中的128×128尺度輸出特征圖，用于獲取型鋼表面小尺度缺陷特征信息，并與原YOLOv3模型三種小尺度輸出特征圖共同作為DMSA模型輸入。通過對(duì)四種特征圖進(jìn)行位置信息編碼和通道關(guān)聯(lián)性計(jì)算，DMSA模型分別獲取多尺度特征圖的空間與通道注意力權(quán)重。為解決融合注意力模型后造成的檢測(cè)速度下降問題，DMSAYOLOv3模型使用深度可分離卷積替代YOLOv3模型特征提干網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，實(shí)現(xiàn)特征提干網(wǎng)絡(luò)的輕量化處理；同時(shí)，將上采樣操作之前和通道堆疊之后的卷積過程替代為構(gòu)建的多尺度長距離上下文特征提取層，利用改進(jìn)金字塔模塊和長程連接模塊全面獲取型鋼表面不同尺寸缺陷信息。新增模塊強(qiáng)化了DMSA-YOLOv3模型對(duì)小尺度缺陷的特征提取能力，增加了特征圖中小尺度缺陷目標(biāo)特征信息，可以有效提高多類別缺陷檢測(cè)準(zhǔn)確率和檢測(cè)精度。

圖1 DMSA-YOLOv3模型架構(gòu)Fig.1 Architecture of DMSA-YOLOv3 model

1.2 雙重多尺度注意力模型

DMSA模型結(jié)構(gòu)如圖2所示，首先計(jì)算四種不同尺度特征圖的空間注意力權(quán)重，增加小尺度缺陷特征關(guān)注度并抑制復(fù)雜背景噪聲影響，提高小尺度缺陷目標(biāo)定位精度；再計(jì)算多尺度融合特征圖的通道注意力權(quán)重，通過密集連接方式將包含微小尺度缺陷輪廓信息的淺層特征圖和包含多種缺陷類型語義信息的深層特征圖相結(jié)合，強(qiáng)化淺層特征圖中對(duì)小尺度缺陷特征的表征能力與特征權(quán)重，提高小尺度缺陷目標(biāo)的檢測(cè)準(zhǔn)確率。

圖2 DMSA模型架構(gòu)Fig.2 Architecture of DMSA

與主流空間注意力模型CBAM（convolutional block attention module）使用大尺寸卷積來獲取位置信息不同，為避免卷積操作導(dǎo)致部分位置信息受損，從而嚴(yán)重影響小尺度目標(biāo)注意力權(quán)重計(jì)算精度的問題，DMSA模型通過將空間注意力分解為橫向和縱向兩個(gè)并行的一維特征編碼，完成空間坐標(biāo)信息的高效整合，建立了全局范圍內(nèi)各像素之間的長程依賴關(guān)系，進(jìn)而獲取特征圖中每個(gè)像素點(diǎn)的空間注意力權(quán)重。對(duì)于輸入特征圖x i∈RH×W中任一像素點(diǎn)(h,w)，DMSA模型分別沿水平和垂直兩個(gè)方向編碼其位置信息，其所分配得到的空間注意力權(quán)重為Attspatial=Attrow(h)·Attcol(w)，其中At trow(h)和Attcol(w)分別表示該像素點(diǎn)在第h行和第w列分配得到的空間注意力權(quán)重，具體計(jì)算公式為：

式中，x(i,j)表示特征圖中坐標(biāo)(i,j)處的像素值；s(x,y)為相似性評(píng)估函數(shù)，DMSA模型中使用交叉熵?fù)p失函數(shù)。

為有效結(jié)合淺層特征圖中小尺度缺陷輪廓特征和深層特征圖中多種缺陷類型的語義特征，DMSA借鑒了Dense Net設(shè)計(jì)思想，使用密集連接方式融合多尺度特征圖。如圖2所示，對(duì)于每種尺度的空間注意力特征圖，DMSA模型按照其通道數(shù)拆為四份，除一份自留，另外三份特征圖均通過上采樣操作或經(jīng)一個(gè)或多個(gè)卷積核大小為3×3、步長為2的卷積操作縮放為其他三種尺度的特征圖并進(jìn)行堆疊，之后，DMSA模型使用式（2）計(jì)算每張?zhí)卣鲌D的通道注意力權(quán)重：

通過全局位置信息編碼與多通道注意力整合，DMSA模型在強(qiáng)化YOLOv3模型所提取小尺度缺陷注意力權(quán)重的同時(shí)弱化了所提取復(fù)雜背景特征的干擾，從而有效提升模型對(duì)小尺度缺陷目標(biāo)的檢測(cè)精度。

1.3 輕量化處理

DMSA模型的引入改善了小尺度缺陷目標(biāo)的檢測(cè)效果，但也導(dǎo)致了檢測(cè)模型計(jì)算量增加，檢測(cè)速度下降。針對(duì)該問題，使用深度可分離卷積替代YOLOv3模型DarkNet53特征提干網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，實(shí)現(xiàn)網(wǎng)絡(luò)的輕量化處理。

標(biāo)準(zhǔn)卷積操作如圖3（a）所示。對(duì)于3個(gè)輸入特征通道，其對(duì)應(yīng)的卷積核通道個(gè)數(shù)也為3個(gè)，標(biāo)準(zhǔn)卷積分別將每個(gè)輸入通道與單個(gè)卷積核實(shí)行卷積操作，并將各通道卷積結(jié)果累加得到輸出結(jié)果。標(biāo)準(zhǔn)卷積輸出特征圖通道數(shù)與卷積核通道數(shù)相等。按照上述計(jì)算過程，對(duì)于Ci個(gè)單個(gè)尺寸為H×W的輸入通道，分別使用Co個(gè)大小為k×k的卷積核對(duì)相應(yīng)通道進(jìn)行步長為1的卷積運(yùn)算，最終得到Co×H×W的輸出，標(biāo)準(zhǔn)卷積參數(shù)量Ws為：

圖3 普通卷積與深度可分離卷積Fig.3 Normal convolution and depth separable convolution

與標(biāo)準(zhǔn)卷積相比，深度可分離卷積將其拆分為逐通道卷積和點(diǎn)向卷積兩個(gè)階段。如圖3（b）所示，在逐通道卷積階段，輸入特征圖中的每個(gè)通道不再與所有卷積核進(jìn)行卷積操作，而是僅和與之對(duì)應(yīng)的單通道卷積核進(jìn)行卷積操作，各輸入通道之間相互獨(dú)立，取消了通道之間特征融合，保持了卷積后輸出特征圖通道數(shù)量。逐通道卷積參數(shù)量Wd為：

之后，點(diǎn)向卷積使用標(biāo)準(zhǔn)卷積方式，采用1×1大小卷積核對(duì)所有通道的輸出特征圖進(jìn)行整合處理，進(jìn)而改變輸出特征圖的通道數(shù)。點(diǎn)向卷積參數(shù)量Wl為：

因此，采用深度可分離卷積可以顯著削減標(biāo)準(zhǔn)卷積操作的參數(shù)量與計(jì)算量，使網(wǎng)絡(luò)更加輕量化，提高模型檢測(cè)效率。

1.4 多尺度長距離上下文特征提取層

DMSA模型需要包含豐富小尺度缺陷形態(tài)信息的輸入特征圖用以特征強(qiáng)化與壓縮。由于YOLOv3模型使用全局池化方式對(duì)特征圖進(jìn)行降維處理以解決大分辨率圖像中多目標(biāo)檢測(cè)問題，每次全局池化都會(huì)犧牲空間分辨率，多次池化后會(huì)造成細(xì)節(jié)信息丟失，嚴(yán)重影響小尺度目標(biāo)檢測(cè)準(zhǔn)確率。為了對(duì)輸入圖像中微小尺度缺陷進(jìn)行全面精準(zhǔn)的特征提取，本文在YOLOv3模型的基礎(chǔ)上構(gòu)建了如圖4所示的多尺度長距離上下文特征提取層，替代上采樣操作之前的卷積過程。

圖4 多尺度長距離上下文特征提取層Fig.4 Multi-scale long-distance context feature extraction

以32×32輸入尺度特征圖為例，改進(jìn)金字塔模塊在特征提取前使用大小為1×1×256的卷積核實(shí)現(xiàn)通道降維，幫助網(wǎng)絡(luò)學(xué)習(xí)到一組不同特征，降低冗余特征數(shù)量。針對(duì)普通全局池化過程中因空間分辨率降低導(dǎo)致的小目標(biāo)不可見問題，改進(jìn)金字塔模塊摒棄了原始模塊中的標(biāo)準(zhǔn)卷積和全局池化操作，通過設(shè)置的擴(kuò)張率分別為1、3、5和7的四個(gè)并行空洞卷積進(jìn)行特征提取，在保持空間分辨率的前提下增大特征圖的感受野，提高模型對(duì)小尺度缺陷精準(zhǔn)定位能力。四個(gè)分支的輸出結(jié)果使用特征堆疊方式緊密連接，通過對(duì)多尺度局部特征重用以提升網(wǎng)絡(luò)性能。最后，改進(jìn)金字塔模塊再次使用大小為1×1×1 024的卷積核完成四個(gè)分支輸出特征圖的特征交互。

為了獲取原始輸入特征圖中的淺層信息，本文基于殘差網(wǎng)絡(luò)思想構(gòu)建了與改進(jìn)金字塔模塊并行的長距離上下文特征提取模塊。該模塊同樣使用1×1×1 024的卷積核提取輸入圖像特征，然后將長距離特征提取圖與改進(jìn)金字塔模塊獲取的局部多尺度特征圖逐元素融合，得到包含豐富的小尺度缺陷信息的多尺度長距離上下文特征提取圖作為DMSA模型輸入。

1.5 損失函數(shù)與評(píng)價(jià)指標(biāo)

為了優(yōu)化所提出的DMSA-YOLOv3模型的檢測(cè)精度，使用三種不同的計(jì)算誤差構(gòu)成本文的損失函數(shù)以調(diào)整網(wǎng)絡(luò)參數(shù)[16]：

實(shí)驗(yàn)選用多類別平均精度（mean average precision，mAP）、每秒幀數(shù)（frames per second，F(xiàn)PS）和最小可檢測(cè)缺陷（minimum detected defections，MDD）作為模型評(píng)價(jià)指標(biāo)。mAP為模型檢測(cè)精度評(píng)價(jià)指標(biāo)，其計(jì)算公式為：

式中，AP（average precision）表示各個(gè)類型缺陷的平均檢測(cè)精度；N表示缺陷種類數(shù)。計(jì)算AP需要引入召回率（Recall）和查準(zhǔn)率（Precision）：

式中，TP（true positive）表示預(yù)測(cè)為正樣本且確實(shí)為正樣本的數(shù)量；FP（false positive）表示預(yù)測(cè)為正樣本但實(shí)際為負(fù)樣本的數(shù)量；FN（false negative）表示預(yù)測(cè)為負(fù)樣本但實(shí)際為正樣本的數(shù)量；AP即為不同召回率下查準(zhǔn)率曲線與橫縱坐標(biāo)軸圍成的面積；mAP為所有種類缺陷的AP平均值；FPS表示每秒可以完成目標(biāo)檢測(cè)的圖像幀數(shù)，為模型檢測(cè)速度評(píng)價(jià)指標(biāo)；MDD表示模型可檢測(cè)出最小缺陷大小（像素×像素），并轉(zhuǎn)換為標(biāo)準(zhǔn)面積（mm2），其中每兩個(gè)像素代表1 mm距離。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

本文所用型鋼表面缺陷數(shù)據(jù)集包含結(jié)疤、凹坑、劃傷、掉肉和擊傷五種缺陷類型，每類缺陷400張，共計(jì)2 000張缺陷圖像，均為1 024×1 024像素的BMP格式單通道灰度圖。對(duì)五種缺陷尺寸分布的統(tǒng)計(jì)結(jié)果發(fā)現(xiàn)缺陷標(biāo)記框具有多尺度特性，不同缺陷之間尺寸差距明顯，檢測(cè)模型難以學(xué)習(xí)多尺度缺陷；同時(shí)，深度學(xué)習(xí)模型的訓(xùn)練需要大量數(shù)據(jù)支撐，少樣本訓(xùn)練易造成模型過擬合，影響缺陷檢測(cè)效果。為緩解正負(fù)樣本分布不均衡和多尺度缺陷特征問題，引入四種數(shù)據(jù)增廣方法和CutScale數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。通過修正缺陷圖像的灰度值、加入高斯白噪聲、進(jìn)行伽馬變換和水平或垂直翻轉(zhuǎn)的方法，對(duì)缺陷圖像的亮度、對(duì)比度與缺陷位置進(jìn)行調(diào)整。四種增廣方法將每種缺陷類型圖像擴(kuò)充為1 500張，共計(jì)7 500張。CutScale數(shù)據(jù)增強(qiáng)方法通過人工標(biāo)定手段，使四種缺陷在原圖中的面積占比均得到不同程度的提升，在保持原圖背景的基礎(chǔ)上擴(kuò)大了缺陷尺度，有利于檢測(cè)模型學(xué)習(xí)到不同尺度的H型鋼表面缺陷特征。

本文中所有實(shí)驗(yàn)均在Windows10系統(tǒng)上使用Python編程語言完成，硬件環(huán)境為Intel Xeon Silver 4110 CPU、NVIDIA 2080Ti GPU和64 GB SAMSUNG RAM，并使用FaceBook公司開發(fā)的pytorch1.6深度學(xué)習(xí)框架搭建實(shí)驗(yàn)所需的各個(gè)模型。實(shí)驗(yàn)數(shù)據(jù)集包括15 000張圖像，其中正樣本缺陷圖像7 500張，每類缺陷各1 500張；負(fù)樣本背景圖像7 500張。數(shù)據(jù)集按4∶1隨機(jī)分為訓(xùn)練集和測(cè)試集。實(shí)驗(yàn)采用批次迭代法訓(xùn)練網(wǎng)絡(luò)模型，批訓(xùn)練大小設(shè)置為32，迭代次數(shù)設(shè)置為50次。模型初始學(xué)習(xí)率設(shè)置為0.01，經(jīng)20次迭代后更新為0.001，權(quán)重衰減率為0.000 2。

2.2 注意力模型可視化分析

雙重多尺度注意力模型DMSA強(qiáng)化小尺度缺陷特征圖的可視化結(jié)果如圖5所示，紅色部分越深說明模型對(duì)該部分關(guān)注度越高。

圖5 注意力模型可視化Fig.5 Visualization of attention model

可視化結(jié)果表明，DMSA模塊可以有效改善模型對(duì)多類別缺陷的定位精度與識(shí)別準(zhǔn)確率。對(duì)于凹坑和掉肉兩種小尺度類型缺陷，DMSA模塊有效提高了模型對(duì)缺陷區(qū)域的定位精度：原YOLOv3模型未檢測(cè)到型鋼表面右上方凹坑缺陷，改進(jìn)后DMSA-YOLOv3模型實(shí)現(xiàn)了該缺陷的精準(zhǔn)識(shí)別；DMSA模塊同時(shí)壓縮了掉肉缺陷的檢測(cè)區(qū)域。擊傷缺陷對(duì)比圖表明，DMSA模塊有效弱化并抑制了特征圖上方復(fù)雜背景信息的干擾，從而加強(qiáng)了模型對(duì)于缺陷目標(biāo)的感知能力，增加特征圖中缺陷目標(biāo)的表征信息，提高模型檢測(cè)準(zhǔn)確率。

2.3 檢測(cè)準(zhǔn)確率與精度分析

為準(zhǔn)確衡量所提出DMSA-YOLOv3模型檢測(cè)性能，使用YOLOv3模型和YOLOv5L模型作為縱向?qū)Ρ饶Ｐ?，并使用另外兩種經(jīng)典目標(biāo)檢測(cè)模型SSD和Faster-RCNN作為橫向?qū)Ρ饶Ｐ蚚19]。所有實(shí)驗(yàn)均在相同參數(shù)設(shè)置下進(jìn)行。五種模型在部分缺陷圖像中的檢測(cè)效果如圖6所示。實(shí)驗(yàn)結(jié)果表明，所提出DMSA-YOLOv3模型取得了最佳檢測(cè)效果。針對(duì)凹坑和掉肉缺陷，DMSAYOLOv3模型準(zhǔn)確檢測(cè)出小尺度缺陷目標(biāo)，與其他模型相比精度更高；Faster-RCNN模型雖然可以檢出缺陷類型，但存在定位不精確的問題；另外三種模型均存在不同程度漏檢現(xiàn)象：YOLOv3模型可以檢測(cè)出大尺度凹坑和掉肉，卻忽略了小尺度凹坑缺陷；YOLOv5L模型和SSD模型漏檢更為嚴(yán)重，均無法檢測(cè)出掉肉和凹坑缺陷。針對(duì)劃傷、擊傷和結(jié)疤等三種其他類型缺陷，五種模型均能準(zhǔn)確檢測(cè)出目標(biāo)，由于SSD和YOLOv5L模型選取了小的卷積核導(dǎo)致感受野變窄，無法完全標(biāo)注缺陷位置信息，尤以擊傷和結(jié)疤兩種缺陷更為明顯；另外三種模型則實(shí)現(xiàn)了缺陷的無差別完全標(biāo)注。表1所示為五種模型對(duì)不同缺陷的檢測(cè)精度，表現(xiàn)為可檢出最小缺陷尺度。

圖6 本文算法檢測(cè)效果對(duì)比Fig.6 Comparison of detection effect of algorithm in this paper

表1 不同模型檢測(cè)精度對(duì)比Table 1 Comparison of detection precision of various models mm2

YOLO系列三種模型作縱向?qū)Ρ?，DMSA-YOLOv3模型mAP值達(dá)到97.6%，與YOLOv3模型92.9%和YOLOv5L模型84.2%的準(zhǔn)確率相比分別提升了4.7和13.4個(gè)百分點(diǎn)，主要是因?yàn)槎喑叨乳L距離上下文特征提取層和雙重多尺度注意力模型的引入使得YOLOv3模型對(duì)于小目標(biāo)檢測(cè)能力得到顯著提升，從而提高了其在整體數(shù)據(jù)集上的缺陷檢測(cè)準(zhǔn)確率。為評(píng)估各項(xiàng)改進(jìn)方法對(duì)DMSA-YOLOv3模型表面缺陷檢測(cè)結(jié)果的影響，設(shè)計(jì)了消融實(shí)驗(yàn)。實(shí)驗(yàn)內(nèi)容與檢測(cè)結(jié)果如表2所示，其中表2（a）表示不同消融模型對(duì)多種類型缺陷的檢測(cè)準(zhǔn)確率，表2（b）表示消融模型對(duì)不同類型缺陷的檢測(cè)精度?！啊獭北硎臼褂昧四撤N改進(jìn)方法。

表2 DMSA-YOLOv3消融實(shí)驗(yàn)Table 2 Ablation experiments of DMSA-YOLOv3

模型1（YOLOv3+DSC）僅使用深度可分離卷積對(duì)YOLOv3模型特征提取主干網(wǎng)絡(luò)進(jìn)行輕量化處理。由于深度可分離卷積弱化了主干網(wǎng)絡(luò)的特征提取能力，導(dǎo)致模型1對(duì)各類型缺陷的檢測(cè)精度均落后于YOLOv3模型。檢測(cè)結(jié)果表明，凹坑和掉肉兩種缺陷精度損失最為嚴(yán)重，與YOLOv3模型相比分別降低了8.4和6.6個(gè)百分點(diǎn)。模型1不適于微小尺度缺陷檢測(cè)。與模型1相比，模型2（YOLOv3+DSC+MLC）引入了空洞空間金字塔池化模塊，通過設(shè)置四種不同的空洞卷積核擴(kuò)張率增大特征圖的感受野，動(dòng)態(tài)捕捉多尺度上下文特征信息，增強(qiáng)了小目標(biāo)缺陷特征提取能力。檢測(cè)結(jié)果表明，模型2有效改善了凹坑和掉肉缺陷的檢出率，使得整體檢測(cè)準(zhǔn)確率提高了2.6個(gè)百分點(diǎn)。DMSA-YOLOv3模型使用所提出改進(jìn)方法組合對(duì)缺陷進(jìn)行檢測(cè)。與模型2相比，DMSA-YOLOv3模型利用雙重多尺度注意力模型對(duì)多尺度特征進(jìn)行篩選融合與無效特征剔除，進(jìn)一步提升了檢測(cè)效果，獲得了最高檢測(cè)準(zhǔn)確率。橫向?qū)Ρ冉Y(jié)果表明YOLO系列模型檢測(cè)準(zhǔn)確率顯著高于SSD模型，其中DMSA-YOLOv3模型比其高出19.5個(gè)百分點(diǎn)；Faster-RCNN模型作為當(dāng)前最先進(jìn)的兩階段模型之一，其檢測(cè)準(zhǔn)確率僅略低于DMSA-YOLOv3模型1.8個(gè)百分點(diǎn)，達(dá)到95.8%，高于另外兩種YOLO模型。

由于多種類型缺陷對(duì)模型檢測(cè)效果具有不同的作用，為驗(yàn)證各類缺陷檢測(cè)魯棒性，需分析不同模型針對(duì)單一類型缺陷的檢測(cè)性能。圖7所示為五種檢測(cè)模型在四種缺陷類型上的PR曲線?？梢园l(fā)現(xiàn)，模型對(duì)不同類型缺陷的檢測(cè)結(jié)果具有明顯差別，對(duì)于劃傷、擊傷和結(jié)疤三種缺陷整體檢測(cè)效果更好，準(zhǔn)確率更高，對(duì)于凹坑和掉肉缺陷檢測(cè)準(zhǔn)確率明顯下降。從圖7可知，對(duì)任一類型缺陷，不同模型之間檢測(cè)準(zhǔn)確率差異表現(xiàn)為SSD＜YOLOv5L＜YOLOv3＜Faster-RCNN＜DMSA-YOLOv3，DMSA-YOLOv3均取得了最高的檢測(cè)精度。

圖7 不同檢測(cè)模型對(duì)四種類型缺陷的檢測(cè)結(jié)果Fig.7 Detection results of four types of defects by different detection models

多種模型迭代損失曲線如圖8所示。在前十次訓(xùn)練過程中，五種模型多類別精度損失均呈現(xiàn)顯著下降趨勢(shì)，其中DMSA-YOLOv3模型收斂速度最快。在50次迭代訓(xùn)練完成后，各模型損失曲線已完全收斂。多種方法單次迭代時(shí)間對(duì)比如表3所示。由于兩階段Faster-RCNN模型通過使用大量參數(shù)提高定位精度，單次迭代需要更長時(shí)間完成錨框偏差計(jì)算與參數(shù)更新，其訓(xùn)練時(shí)間顯著高于另外三種單階段目標(biāo)檢測(cè)模型。同時(shí)，由表3可知，改進(jìn)后的DMSA-YOLOv3模型與原YOLOv3模型相比訓(xùn)練速度提高了兩倍以上，僅略低于YOLOv5L輕量化模型，可以實(shí)現(xiàn)缺陷檢測(cè)模型的快速訓(xùn)練與在線部署。

圖8 各模型損失曲線Fig.8 Loss curve of each model

表3 不同模型訓(xùn)練迭代時(shí)間對(duì)比Table 3 Comparation of consuming time of training iteration of various models

2.4 檢測(cè)速度分析

檢測(cè)速度直接決定模型的效率，是衡量本文所提出DMSA-YOLOv3模型檢測(cè)性能的又一重要指標(biāo)。檢測(cè)速度分析過程包括總檢測(cè)時(shí)間(T)、平均單張圖像檢測(cè)時(shí)間(t)和單位時(shí)間檢測(cè)圖像張數(shù)(FPS)三個(gè)參數(shù)，并定義FPS為唯一評(píng)價(jià)指標(biāo)。總檢測(cè)時(shí)間表示完全處理3 000張測(cè)試集數(shù)據(jù)所需時(shí)間，單位為秒；平均單張圖像檢測(cè)時(shí)間計(jì)算公式為t=T/3 000×1 000=T/3，單位為毫秒；FPS計(jì)算公式為FPS=3 000/T，表示檢測(cè)模型每秒可處理圖像幀數(shù)。五種檢測(cè)模型在測(cè)試集上的實(shí)驗(yàn)結(jié)果如表4所示。本文所提出DMSA-YOLOv3模型檢測(cè)速度達(dá)到了55.3 frame/s，與YOLOv3模型相比提高了79.55%。這是因?yàn)槭褂蒙疃瓤煞蛛x卷積對(duì)YOLOv3模型特征提取主干網(wǎng)絡(luò)進(jìn)行了輕量化處理。由于深度可分離卷積計(jì)算量僅為標(biāo)準(zhǔn)卷積計(jì)算量的1/9，DMSAYOLOv3模型的檢測(cè)速度得到了顯著提升。然而，其速度略低于輕量化檢測(cè)模型YOLOv5L的57.2 frame/s，這是因?yàn)橐氲目斩淳矸e在提升圖像分辨率的同時(shí)也增加了模型的計(jì)算量，導(dǎo)致單張圖像檢測(cè)時(shí)間增加。

表4 不同模型檢測(cè)速度對(duì)比Table 4 Comparison of detection speed of various models

3 總結(jié)

本文針對(duì)型鋼表面多尺度缺陷的快速精準(zhǔn)檢測(cè)問題，提出了DMSA-YOLOv3目標(biāo)檢測(cè)模型，實(shí)現(xiàn)了多種類型缺陷的精準(zhǔn)分類與定位。所提出目標(biāo)檢測(cè)模型以YOLOv3模型作為基礎(chǔ)架構(gòu)，首先，構(gòu)建了結(jié)合通道注意力機(jī)制和空間注意力機(jī)制的雙重多尺度注意力模型DMSA，通過對(duì)YOLOv3模型輸出進(jìn)行多尺度特征融合，強(qiáng)化小尺度缺陷特征的注意力權(quán)重，提高了模型對(duì)于小尺度缺陷目標(biāo)的檢測(cè)精度。其次，針對(duì)引入DMSA模型導(dǎo)致檢測(cè)效率下降的問題，使用深度可分離卷積對(duì)特征提取主干網(wǎng)絡(luò)進(jìn)行輕量化處理，提高目標(biāo)檢測(cè)速度；最后，利用構(gòu)建的多尺度長距離上下文特征提取層強(qiáng)化特征提干網(wǎng)絡(luò)對(duì)小尺度缺陷目標(biāo)的特征提取能力，增加了DMSA模型輸入特征圖中小尺度缺陷目標(biāo)的特征信息，進(jìn)一步提高了模型對(duì)小尺度缺陷的檢測(cè)準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，所提出DMSA-YOLOv3目標(biāo)檢測(cè)模型的多類別缺陷平均檢測(cè)精度為97.6%，檢測(cè)速度為55.3 frame/s，與YOLOv3模型相比分別提高4.7個(gè)百分點(diǎn)和24.5 frame/s，在不影響檢測(cè)準(zhǔn)確率的情況下大幅度提高了檢測(cè)效率，同時(shí)提高了微小尺度缺陷的檢出與定位能力。該模型完全滿足型鋼高速生產(chǎn)現(xiàn)場(chǎng)表面缺陷檢測(cè)的速度與精度要求，可廣泛地推廣應(yīng)用于型鋼、鋼軌等復(fù)雜鋼材的缺陷實(shí)時(shí)檢測(cè)中。