基于Cascade RCNN的熱軋帶鋼表面缺陷檢測

陸 堯,薛 林,王云森,王 豪

(大連理工大學(xué)機械工程學(xué)院,遼寧大連 116024)

0 引言

在制造業(yè)中,熱軋帶鋼是很多工業(yè)產(chǎn)品不可或缺的原材料,廣泛應(yīng)用于汽車、電機、造船等領(lǐng)域。熱軋是生產(chǎn)過程中重要一步,熱軋過程包括加熱、軋制、冷卻等環(huán)節(jié),得到的熱軋帶鋼工藝性能好、包容覆蓋能力強。在生產(chǎn)過程中,由于各種因素的影響,帶鋼表面會產(chǎn)生缺陷,影響質(zhì)量和使用性能,因此需要對表面缺陷進(jìn)行檢測,找出不合格品。人工檢測表面缺陷時,需要進(jìn)行標(biāo)記、記錄等操作,而帶鋼顏色單一,容易導(dǎo)致人眼疲勞,勞動強度大,檢測的效率和精度低[1],嚴(yán)重制約生產(chǎn)效率和品質(zhì),需要改進(jìn)檢測方法。

近年來,深度學(xué)習(xí)的研究不斷深入,在目標(biāo)檢測中被廣泛運用[2]。葉欣[3]對YOLOv4改進(jìn),借鑒CSPNet使用CSP結(jié)構(gòu)并組合殘差結(jié)構(gòu),使用 Mish 激活函數(shù)和自適應(yīng)空間特征融合,提高模型的特征融合能力和模型的檢測精度;高志寬[4]提出基于內(nèi)容與邊界融合的顯著目標(biāo)檢測方法,并且改進(jìn)了網(wǎng)絡(luò)訓(xùn)練損失函數(shù);吳德藍(lán)[5]用雙閾值分割算法以及Marr-Hildreth邊緣檢測算法提取的小輪廓對應(yīng)框的中心點作為anchor來改進(jìn)RPN,提高Faster RCNN檢測算法的檢測速率;王梓洋[6]提出了全卷積網(wǎng)絡(luò)的端到端交叉互補時空特征融合網(wǎng)絡(luò)(CCNet),提高模型檢測速度和精度;S.N.Shivappriya等[7]提出AAF-Fast RCNN方法,利用激勵函數(shù)的傅里葉級數(shù)和線性組合更新?lián)p失函數(shù),具有收斂性好、有界方差清晰等優(yōu)點。

以上檢測模型和改進(jìn)方法針對所檢測的對象都取得了良好的檢測結(jié)果,但是在還存在數(shù)據(jù)集包含的數(shù)據(jù)過少、極大尺寸和極小尺寸的缺陷和缺陷不明顯等問題,需要進(jìn)行改進(jìn)。針對上述問題,使用深度學(xué)習(xí)檢測模型Cascade RCNN并對其優(yōu)化,為了增大感受野,首先使用可切換空洞卷積替換標(biāo)準(zhǔn)卷積,同時提高定位精度;然后增加特征金字塔的連接路線,并且使用特征上采樣算子,根據(jù)輸入特征指導(dǎo)重組過程,同時整個算子計算量較小;最后,利用損失函數(shù)Focal Loss解決樣本分類不均衡問題。

1 基型選擇

在深度學(xué)習(xí)中,目標(biāo)檢測的代表算法可分為兩類,分別為RCNN系列和YOLO系列。為了找出合適的檢測模型,對目標(biāo)檢測模型進(jìn)行了選擇,首先使用YOLO V3[8]和Faster RCNN 2種目標(biāo)檢測算法訓(xùn)練[9],選擇合適的參數(shù),通過對比訓(xùn)練結(jié)果,發(fā)現(xiàn)YOLO V3只能學(xué)習(xí)到簡單缺陷,對較小缺陷和不明顯缺陷檢測效果差,甚至還會出現(xiàn)嚴(yán)重漏檢情況。Faster CNN法檢測速度略低于YOLO V3,但是對于帶鋼缺陷檢測效果更好,故選擇Faster RCNN系列算法作為帶鋼缺陷檢測的基礎(chǔ)網(wǎng)絡(luò)[10],其結(jié)構(gòu)如圖1所示。

圖1 Faster RCNN結(jié)構(gòu)圖

Faster RCNN組成為:

(1)特征提取網(wǎng)絡(luò),用于得到特征圖,然后生成region proposal network(RPN)層并取每個框的坐標(biāo)Proposal;

(2)RPN模塊,生成候選框,包含兩部分任務(wù),一部分是分類,判斷所有預(yù)設(shè)錨框?qū)儆谡龢颖具€是負(fù)樣本(即錨框內(nèi)是否有目標(biāo),二分類),另一部分是bounding box 回歸,用于修正錨框得到對應(yīng)的較準(zhǔn)確的Proposal;

(3)region of interest (RoI) Pooling,用于收集RPN生成的特征圖,并從特征圖中提取出來生成Proposals Feature Maps送入全連接層;

(4)最后進(jìn)行分類和回歸,得到檢測框最終的精確位置。

Faster RCNN網(wǎng)絡(luò)訓(xùn)練過程中,預(yù)測框與標(biāo)注框的交并比大于閾值被定義為正樣本(positive),小于閾值被定義為負(fù)樣本(negative)。在訓(xùn)練過程中,采取小閾值會產(chǎn)生背景噪聲框,導(dǎo)致較多誤檢,采用較大閾值時,正樣本數(shù)量呈指數(shù)下降,模型容易過擬合,故閾值選取成為目標(biāo)檢測的難點,選擇合適的閾值至關(guān)重要。

為解決上述問題,選用基于Faster RCNN(圖2(a))的多階段目標(biāo)檢測基礎(chǔ)架構(gòu)網(wǎng)絡(luò)(圖2(b))Cascade RCNN。

圖2 Faster RCNN與Cascade RCNN

I是輸入圖片,Conv是特征提取網(wǎng)絡(luò),Pool 是ROI Pooling層,C是分類層,B是邊框回歸層,H是ROI Head。與Faster RCNN相比,Cascade RCNN包含多級級聯(lián)器,然后通過級聯(lián)器,不斷提高候選框的交并比閾值,降低了錯誤的匹配出現(xiàn)的概率,并且提高了精度。在檢測過程中,有多個檢測頭,把它們串聯(lián)在一起,前一個的輸出也是后一個的輸入,存在依賴關(guān)系;同時,從前到后閾值得到不斷修正,并且閾值逐漸提高,最終樣本的質(zhì)量和模型訓(xùn)練效果得到提高[11]。

2 模型改進(jìn)

雖然相對于YOLO V3和Faster RCNN, Cascade RCNN的檢測精度明顯更好,但是檢測精度提高較低,因此需要針對數(shù)據(jù)集的特點和工業(yè)應(yīng)用進(jìn)行改進(jìn)。

2.1 主干網(wǎng)絡(luò)改進(jìn)

神經(jīng)網(wǎng)絡(luò)的組成為神經(jīng)元,輸入不同神經(jīng)元,賦予其權(quán)重,然后再經(jīng)過激活函數(shù),得到不同的輸出。ReLU激活函數(shù)[12]如式(1)所示。圖像卷積是指對圖像和濾波矩陣做內(nèi)積,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)[13]包含卷積運算,用于圖像分類和物體識別。

ReLU=max(0,x)

(1)

式中x為輸入。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力會隨著網(wǎng)絡(luò)層數(shù)增加而變強,但是層數(shù)過多時學(xué)習(xí)效率會變低,同時準(zhǔn)確率降低,殘差網(wǎng)絡(luò)能夠解決這些問題。殘差網(wǎng)絡(luò)(residual network,ResNet)[14]由兩部分組成,是對CNN的優(yōu)化,其結(jié)構(gòu)如圖3所示。其中殘差部分是將輸入x進(jìn)行卷積、池化和歸一化等操作得到輸出F(x),另一部分是跳躍連接,輸出F(x)與輸入相加得到輸出G(x),計算公式見式(2)。

圖3 ResNet結(jié)構(gòu)圖

G(x)=F(x)+x

(2)

基礎(chǔ)模型的骨干網(wǎng)絡(luò)是ResNet 50,由5個卷積組組成,每個卷積組有1個或多個基本的卷積運算過程,ResNet 50從輸入到輸出共50層。用ResNet 50得到特征圖。特征圖的質(zhì)量會直接影響后續(xù)缺陷的檢測結(jié)果,因此需要針對熱軋帶鋼缺陷的特征對其優(yōu)化。熱軋帶鋼缺陷的尺寸大小差別大, 存在極大和極小的缺陷,根據(jù)熱軋帶鋼缺陷特征,對卷積操作進(jìn)行改進(jìn),使用可切換空洞卷積(switchable atrous convoltion,SAC)[15],特征提取能力得到了強化,提高了檢測精度,如圖4所示。

SAC模塊包括2個全局上下文網(wǎng)絡(luò)和主要特征提取模塊。全局上下文模塊通過全局平均池化層獲取特征圖每一通道上特征的平均值,用其替代原值,而后與輸入特征圖疊加,將全局信息添加到特征圖中。該算法使用Switch路徑得到的池化結(jié)果S(x)和1-S(x)對不同空洞卷積得到特征圖分別加權(quán),最終相加得到輸出特征圖,計算過程如式(3)所示。

圖4 可切換空洞卷積結(jié)構(gòu)

Conv(x,w,1)=S(x)·Conv(x,w,1)+Conv(x,w+Δw,r)

(3)

式中:S(x)為切換操作;Conv(x,w,r)為卷積運算;x為輸入特征圖;w為權(quán)重;r為空洞率。

2.2 特征金字塔優(yōu)化

Cascade RCNN是原圖經(jīng)過特征提取網(wǎng)絡(luò)之后,在頂層特征圖進(jìn)行目標(biāo)識別,但是小目標(biāo)和不明顯缺陷信息容易被多重池化而被淹沒,在特征圖上得不到缺陷信息。FPN在上層特征圖上識別大尺寸缺陷,對于小尺度特征圖,雖然有一些定位信息,但是在檢測過程中不準(zhǔn)確,FPN結(jié)構(gòu)如圖5所示。使用PAFPN解決這一問題,它是基于FPN的改進(jìn),基本框架不變,但是在連接上進(jìn)行優(yōu)化提升,增加從上而下的連接方式,這個連接用于減短從底層與上面層的信息傳遞的路程,提升了FPN定位精度[16]。

在FPN中采用最近鄰上采樣方法,由圖像的像素點的空間位置得到其上采樣核,因此特征圖的語義信息并沒有被使用,而且感知域通常都很小。特征上采樣算子(content-aware reassembly of features,CARAFE)具有較大的感受野,能更好地利用周圍的語義信息,根據(jù)輸入進(jìn)行上采樣,沒有引入過多的參數(shù)和計算量。

CARAFE由2部分組成,分別是上采樣核預(yù)測模塊(kernel prediction module,KPM)和特征重組模塊(content-aware reassembly module,CRM)[17]。KPM過程為:特征圖通道壓縮、內(nèi)容編碼及上采樣核預(yù)測、上采樣核歸一化。CRM過程為:得到的特征圖中,對每個位置進(jìn)行映射,與輸入特征圖對應(yīng),選出相應(yīng)大小的區(qū)域,和預(yù)測出的上采樣核作點積,得到輸出值。

2.3 損失函數(shù)Focal Loss

交叉熵?fù)p失函數(shù)用來計算實際輸出與期望輸出的差值,其計算過程如式(4)所示:

[1-p(xi)]log[1-q(xi)]}

(4)

式中:H(p,q)為損失函數(shù);p、q分別為期望和實際輸出的概率分布;xi為隨機變量;n為隨機變量個數(shù)。

目標(biāo)檢測算法得到定位目標(biāo)時會生成大量的anchor box,而圖片中真實的目標(biāo)(正樣本)個數(shù)很少,大量的anchor box處于背景區(qū)域(負(fù)樣本),因此真實的目標(biāo)和背景區(qū)域數(shù)量極不平衡。損失函數(shù)Focal Loss可以解決這一問題[18],整體縮放Loss,在縮放程度上易分類樣本比難分類樣本更大,因而在損失函數(shù)中,難分類樣本權(quán)重發(fā)生了變化,難分類樣本更明顯,模型更專注于難分類的樣本,損失函數(shù)Focal Loss計算如式(5)所示。

(5)

式中:α平衡正負(fù)樣本;(1-p)γ為調(diào)節(jié)因子;γ為可調(diào)節(jié)的聚焦參數(shù),γ≥0;y為樣本標(biāo)簽值;p為判斷正樣本(y=1)的概率,p∈[0,1]。

在Focal Loss中,α對應(yīng)正樣本(占比少的類)的權(quán)重,且一般值較小;γ占主導(dǎo)地位,隨著γ的增大,α要相應(yīng)減小。

3 算法試驗與測試

3.1 數(shù)據(jù)圖像采集與預(yù)處理

數(shù)據(jù)集來自東北大學(xué),熱軋帶鋼存在6種缺陷,如圖6所示,缺陷數(shù)量統(tǒng)計如圖7所示。數(shù)據(jù)集存在數(shù)據(jù)分布不均勻、部分缺陷特征不明顯和數(shù)據(jù)量少等問題,通過圖像隨機裁剪拼接、圖像鏡像反轉(zhuǎn)、旋轉(zhuǎn)、濾波模糊等操作,提高了圖像的數(shù)據(jù)量和數(shù)據(jù)質(zhì)量。

圖6 缺陷圖

3.2 模型配置及訓(xùn)練

實驗環(huán)境為Windows 操作系統(tǒng),使用pytorch框架,GPU為NVIDIA GeForce RTX 3080Ti,其內(nèi)存為12 GB,加速庫為CUDA 11.1。

圖7 缺陷數(shù)量統(tǒng)計

3.3 評價指標(biāo)

評價指標(biāo)為mean average precision(mAP),先要得出true positives(TP)、true negatives(TN)、false positives(FP)、false negatives(FN),TP為被模型識別正確且被判斷為正樣本的樣本數(shù)量,TN為被模型識別正確且被判斷為負(fù)樣本的樣本數(shù)量,FP為模型識別錯誤,樣本是負(fù)樣本但是被識別為正樣本的樣本數(shù)量,FN為模型識別錯誤,樣本是正樣本但是被識別為負(fù)樣本的樣本數(shù)量。

Precision即精度,指的是分類器認(rèn)為是正類并且確實是正類的部分占分類器認(rèn)為是正類的比例,計算如式(6)所示。

(6)

Recall即召回率,指的是分類器認(rèn)為是正類并且確是正類的部分占所有確實是正類的比例,計算如式(7)所示。

(7)

每個分類都可以得到Precision-Recall曲線,它下面的陰影部分的面積就是該類平均精度(average precision,AP)的值,如圖8所示,計算公式如式(8)所示。

圖8 AP曲線

p(r)即Precision,r即Recall。

(8)

如果置信度設(shè)置的高,預(yù)測的結(jié)果和實際情況就很符合,如果置信度低,就會有很多誤檢測,需要將二者進(jìn)行結(jié)合計算。最終對所有的AP值進(jìn)行求平均,求得平均均值精度(mean average precision,mAP),計算如式(9)所示。

(9)

式中:m為缺陷的種類;APi為第i種缺陷的AP值。

4 實驗及結(jié)果分析

根據(jù)改進(jìn)方法,分別進(jìn)行實驗,同時調(diào)整參數(shù),用相同的訓(xùn)練集進(jìn)行訓(xùn)練,得到對應(yīng)的權(quán)重文件,最后用相同測試集,分別進(jìn)行檢測。訓(xùn)練集的檢測結(jié)果如圖9所示。

圖9 檢測結(jié)果

YOLO V3與Faster RCNN、Cascade RCNN檢測結(jié)果對比如表1所示。與YOLO V3相比,Faster RCNN的mAP值提升了11.54%,檢測結(jié)果顯著提升,而且檢測速度相差不大,能夠滿足工業(yè)需求。Cascade RCNN與Faster RCNN相比,mAP值提升了3.19%,檢測能力得到了提升,雖然檢測速度降低,不過仍能滿足生產(chǎn)時的需求。

表1 3種基礎(chǔ)網(wǎng)絡(luò)檢測結(jié)果對比

通過4組實驗,對改進(jìn)網(wǎng)絡(luò)進(jìn)行測試,得到的結(jié)果如表2所示。

表2 不同實驗及其結(jié)果

由表2中的檢測結(jié)果顯示,改進(jìn)后的模型的檢測能力不斷得到提升,經(jīng)過4次改進(jìn),mAP值提升了7.61%,與原始的Faster RCNN相比,提升了10.8%;與YOLO V3相比,mAP值提升了22.34%。采用的可切換空洞卷積,增大了感受野,使得mAP值提升了2.17%,效果明顯;PAFPN增加了新的連接方式,mAP值提升了1.78%;改變特征金字塔的上采樣算子,使用特征上采樣算子CARAFE,mAP值增加了2.19%;最后使用損失函數(shù)Focal Loss解決數(shù)據(jù)不平衡問題,mAP值達(dá)到77.82%。在這些改進(jìn)方法中,mAP值最少提升了1.47%,最多提升了2.19%,排除了實驗隨機性對結(jié)果的影響。

YOLO V3、原始Cascade RCNN以及改進(jìn)的 Cascade RCNN中,不同缺陷的AP值如表3所示。

表3 不同缺陷的AP值

表3中,對于改進(jìn)的Cascade RCNN,斑塊(pa)、劃痕(sc)、麻點(ps)和夾雜(in) 4種缺陷的AP值都超過了87%,最高的達(dá)到了92%,檢測結(jié)果較好,但是對于裂紋(cr)和氧化皮(ro),AP值分別為46%和64%,檢測結(jié)果較差,嚴(yán)重影響了模型的檢測精度。在圖像處理和網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)中,這2種缺陷的檢測能力得到了提升,AP值分別提升了4%和14%,但是還需要改進(jìn)網(wǎng)絡(luò),以此提升對這2種缺陷的檢測能力,進(jìn)而使整體檢測效果得到改善。與其他的檢測結(jié)果對比如表4所示[2,19],改進(jìn)的Cascade RCNN取得了較好的結(jié)果。

表4 與其他模型檢測結(jié)果對比

實驗證明,經(jīng)過上述方法對模型改進(jìn)優(yōu)化,模型檢測精度得到提高。

5 結(jié)束語

針對人工檢測效率低和精度差,以及數(shù)據(jù)集存在數(shù)據(jù)分布不均勻、部分缺陷特征不明顯和數(shù)據(jù)量少等問題,提出了改進(jìn)的Cascade RCNN模型,先對數(shù)據(jù)集進(jìn)行處理,再將可切換空洞卷積、PAFPN、特征上采樣算子和損失函數(shù)Focal Loss等加入模型。

為了驗證改進(jìn)后模型是否有效,用測試集檢測,對效果進(jìn)行評價。研究結(jié)果表明,檢測精度與原始的網(wǎng)絡(luò)相比,得到了很大的提升;與已有的檢測網(wǎng)絡(luò)相比,檢測精度也得到了一定程度的提高,顯示出本方法的優(yōu)越性,為工業(yè)現(xiàn)場的自動化檢測提供了可靠支撐。然而對于部分缺陷,檢測效果并不好,在接下來的工作中,從圖像處理和模型處理2個方面,繼續(xù)進(jìn)行改進(jìn)。