基于改進(jìn)的RetinaNet醫(yī)藥空瓶表面氣泡檢測(cè)

吳華運(yùn)， 任德均， 呂義釗， 胡 彬， 付 磊， 邱 呂

(四川大學(xué)機(jī)械工程學(xué)院， 成都 610065)

1 引 言

醫(yī)藥空瓶在生產(chǎn)制造過程中表面會(huì)出現(xiàn)氣泡類缺陷.氣泡的存在不僅會(huì)影響產(chǎn)品外形包裝的美觀，而且會(huì)影響產(chǎn)品的銷售和使用.因此，對(duì)表面存在氣泡的空瓶進(jìn)行檢測(cè)在工業(yè)生產(chǎn)過程中有著重要意義.傳統(tǒng)的檢測(cè)往往由人工來完成，不僅工作量大、勞動(dòng)強(qiáng)度高，而且容易受到檢測(cè)人員主觀因素的影響，導(dǎo)致檢測(cè)效率和檢測(cè)精度都不能夠保證.基于機(jī)器視覺的檢測(cè)系統(tǒng)由于檢測(cè)精度高等優(yōu)點(diǎn)已經(jīng)被廣泛的應(yīng)用在瓶體表面缺陷檢測(cè)領(lǐng)域，但在實(shí)際應(yīng)用中也遇到許多問題和挑戰(zhàn)[1].傳統(tǒng)特征提取算子提取的特征通常處于較低水平，在針對(duì)復(fù)雜的場(chǎng)景變化，如光照變換，透視失真，遮擋，物體變形等情況下，所提取的特征通常不足以應(yīng)對(duì)這種情況，因此許多算法在實(shí)際環(huán)境中并不適用.除此之外，醫(yī)藥空瓶在拍攝過程中，由于氣泡缺陷自身的透明特性和瓶身位置的不確定性，使其在圖片上成像并不明顯，給傳統(tǒng)的特征提取帶來很大的挑戰(zhàn).

深度學(xué)習(xí)，特別是卷積神經(jīng)網(wǎng)絡(luò)[2]，已經(jīng)被證明在提取圖像特征方面有著強(qiáng)大的能力，在各種監(jiān)督問題上都達(dá)到了最高的精度，如物體分類[3]，目標(biāo)檢測(cè)[4]，語義分割[5]等.相比傳統(tǒng)的空瓶表面缺陷檢測(cè)，深度學(xué)習(xí)提取的特征可以達(dá)到更好的效果，同時(shí)它不需要將特征提取和分類訓(xùn)練分開進(jìn)行，它可以在訓(xùn)練過程中實(shí)現(xiàn)自動(dòng)提取最優(yōu)特征.近年來，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用與工業(yè)檢測(cè)，文獻(xiàn)[6]提出一種基于正樣本訓(xùn)練的新型缺陷檢測(cè)框架，他們將GAN和自動(dòng)編碼器結(jié)合起來用于缺陷圖像重建，并使用LBP[7]進(jìn)行圖像局部對(duì)比以檢測(cè)缺陷.文獻(xiàn)[8]提出使用兩個(gè)FCN語義分割網(wǎng)絡(luò)來檢測(cè)物體表面缺陷，一個(gè)FCN用來粗略定位，另一個(gè)FCN用來精準(zhǔn)定位，實(shí)現(xiàn)了準(zhǔn)確地繪制缺陷輪廓，并達(dá)到實(shí)時(shí)檢測(cè)缺陷的效果.

本文針對(duì)傳統(tǒng)算法在醫(yī)用空瓶表面缺陷檢測(cè)中存在的局限性進(jìn)行了簡(jiǎn)單的分析，首先提出將深度學(xué)習(xí)目標(biāo)檢測(cè)算法RetinaNet[9]應(yīng)用于空瓶表面缺陷檢測(cè)，并對(duì)RetinaNet網(wǎng)絡(luò)進(jìn)行改進(jìn)，大大提高了檢測(cè)精度.本文主要工作如下.

(1) 對(duì)特征金字塔網(wǎng)絡(luò)進(jìn)行了改進(jìn).傳統(tǒng)的FPN僅將高層和底層輸出網(wǎng)絡(luò)簡(jiǎn)單的合并，并未考慮對(duì)融合后特征圖的進(jìn)行語義特征的提取.針對(duì)這種情況，本文在特征融合過程中增加了膨脹卷積操作，增強(qiáng)對(duì)語義特征的提取，提高特征的判別性和魯棒性；

(2) 本文以RetinaNet作為基礎(chǔ)檢測(cè)算法，在訓(xùn)練和測(cè)試過程中，本文僅利用FPN網(wǎng)絡(luò)中P3，P4，P5和P6等四個(gè)階段的特征圖來分類和定位缺陷，并去除了原網(wǎng)絡(luò)中用來檢測(cè)較大目標(biāo)的網(wǎng)絡(luò)結(jié)構(gòu)，降低網(wǎng)絡(luò)的計(jì)算量，加快模型的訓(xùn)練速度;

(3) 對(duì)ResNet50網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化.在ResNet50骨干網(wǎng)絡(luò)中增加了Layer5，并使用膨脹瓶頸模塊替換Layer4和Layer5中的普通瓶頸模塊.這樣可以保證特征圖尺寸不變的基礎(chǔ)上增大特征圖的感受野.

2 基于RetinaNet的空瓶表面缺陷檢測(cè)

本文采用RetinaNet算法實(shí)現(xiàn)對(duì)醫(yī)藥空瓶表面缺陷的檢測(cè)，具體結(jié)構(gòu)如圖1所示.由圖可知，RetinaNet算法由ResNet網(wǎng)絡(luò)[10]，F(xiàn)PN網(wǎng)絡(luò)[11]和分類定位子網(wǎng)絡(luò)構(gòu)成，ResNet網(wǎng)絡(luò)主要用來提取特征，F(xiàn)PN網(wǎng)絡(luò)將提取的特征圖進(jìn)行重新組合，實(shí)現(xiàn)特征的精細(xì)化提取，分類定位子網(wǎng)絡(luò)用于目標(biāo)的分類和定位.輸入圖片首先經(jīng)過ResNet網(wǎng)絡(luò)提取特征，然后通過FPN網(wǎng)絡(luò)實(shí)現(xiàn)高層特征和低層特征之間的融合.最后使用分類定位子網(wǎng)絡(luò)完成分類和定位.

圖1 RetinaNet 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The structure of RetinaNet

在分類子網(wǎng)絡(luò)中，常用的損失函數(shù)為交叉熵?fù)p失函數(shù).在RetinaNet網(wǎng)絡(luò)中，為了解決正負(fù)樣本不平衡現(xiàn)象，引入?yún)?shù)α，用來控制正負(fù)樣本對(duì)總分類損失的貢獻(xiàn)權(quán)重，新?lián)p失函數(shù)定義如下[13].

CE(Pt)=-αtlog (pt)

(1)

其中，定義Pt為

(2)

式中，y∈{±1}為真實(shí)標(biāo)簽類別；p∈[0,1]為類標(biāo)簽y=1的概率值.

針對(duì)難例問題，在新?lián)p失函數(shù)中加入調(diào)節(jié)因子(1-pt)γ，其中，γ為聚焦參數(shù)，因此，F(xiàn)ocal Loss損失函數(shù)定義為

FL(Pt)=-αt(1-pt)γlog (pt)

(3)

(4)

(5)

3 模型結(jié)構(gòu)

3.1 膨脹瓶頸模塊

隨著網(wǎng)絡(luò)層數(shù)的增加，使用標(biāo)準(zhǔn)卷積層將要訓(xùn)練大量的參數(shù)，模型參數(shù)越多，運(yùn)行所需要的消耗的資源越多.針對(duì)這種現(xiàn)象，常用的解決方法是將標(biāo)準(zhǔn)卷積層和1×1的卷積相結(jié)合，通過中間產(chǎn)生一個(gè)瓶頸層，達(dá)到減少參數(shù)和計(jì)算量，加快網(wǎng)絡(luò)模型的收斂，如圖2(a)所示[14].在本文中，為了擴(kuò)大特征圖的感受野，引進(jìn)了一種新的瓶頸模塊結(jié)構(gòu)，即替換標(biāo)準(zhǔn)瓶頸模塊中的3×3標(biāo)準(zhǔn)卷積層為卷積核為3，膨脹系數(shù)為2的膨脹卷積，形成了膨脹瓶頸模塊[15]，如圖2(b)所示.除此之外，在膨脹卷積模塊的shortcut的分支中加入1×1的卷積映射得到1×1卷積映射的膨脹瓶頸模塊，如圖2(c)所示.這種模塊結(jié)構(gòu)可以在不增加參數(shù)量的條件下，可以有效的擴(kuò)大特征圖的感受野.

圖2 網(wǎng)絡(luò)的基本結(jié)構(gòu)模塊

3.2 改進(jìn) FPN網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)(FPN)通過自上而下的路徑和橫向連接可以實(shí)現(xiàn)網(wǎng)絡(luò)特征提取更加精細(xì)化，網(wǎng)絡(luò)從單分辨率輸入圖像中可以有效地構(gòu)建一個(gè)豐富的多尺度的特征金字塔.FPN的設(shè)計(jì)思想就是同時(shí)利用低層特征和高層特征，在不同的層上同時(shí)進(jìn)行預(yù)測(cè).因此其檢測(cè)過程是通過在原始圖像上先進(jìn)行深度卷積，然后分別在不同的特征層上面進(jìn)行預(yù)測(cè).傳統(tǒng)FPN的低層特征和高層特征融合方式簡(jiǎn)單地將高層語義特征和低層細(xì)節(jié)特征相加，但這種方式獲得的特征魯棒性不強(qiáng)，都是一些弱特征.為了提取到尺度和形狀不變的強(qiáng)特征圖，本文在特征融合之后增加了特征增強(qiáng)模塊(Feature Enhance Module)，通過采用具有不同擴(kuò)張率(r=1,3,5,7)的膨脹卷積來捕獲不同感受野的語義信息.然后讓不同膨脹卷積得到的特征與1×1卷積后特征組合起來，得到最終用于檢測(cè)的特征圖，如圖3所示.

圖3 改進(jìn)的FPN特征融合方式Fig.3 Improved FPN feature fusion

定義改進(jìn)后的FPN計(jì)算方式為

Pj=fconcat(fdilation(fadd(Cj,fup(Ci))))

(6)

式中,Ci表示高層特征圖;Cj表示低層特征圖;fup(·)表示特征圖Ci上采樣函數(shù);fAdd(·,·)表示特征融合函數(shù);fdilation(·)表示膨脹卷積操作;Pj表示經(jīng)過上采樣，特征融合以及膨脹卷積后得到的特征圖.

3.3 ResNet網(wǎng)絡(luò)

深度學(xué)習(xí)目標(biāo)檢測(cè)對(duì)骨干網(wǎng)絡(luò)的設(shè)計(jì)通常存在兩大難題：(1) 保持深度神經(jīng)網(wǎng)絡(luò)的空間分辨率會(huì)極大地消耗時(shí)間和內(nèi)存;(2) 減小下采樣因子將會(huì)導(dǎo)致有效感受野的減少.為了解決這兩個(gè)難題，本文的網(wǎng)絡(luò)結(jié)構(gòu)單元采用了DetNet[15]中的膨脹瓶頸模塊結(jié)構(gòu).除此之外，在使用原始RetinaNet算法對(duì)空瓶氣泡缺陷進(jìn)行研究中發(fā)現(xiàn)，較小的氣泡缺陷在經(jīng)過多次降采樣后，特征逐漸消失.為了解決這種現(xiàn)象，本文對(duì)ResNet50進(jìn)行重新組合形成改進(jìn)后ResNet50網(wǎng)絡(luò)，如圖4所示.

對(duì)于ResNet詳細(xì)改進(jìn)細(xì)節(jié)說明如下.(1) 將原始ResNet50中Layer3中的6個(gè)瓶頸層減小為3個(gè)，并在Layer4后面增加一個(gè)layer5，Layer5設(shè)置為3個(gè)膨脹瓶頸模塊.因此，改進(jìn)后ResNet從Layer1到Layer5的瓶頸模塊數(shù)依次為3,4,3,3,3；(2) 保持前3個(gè)Layer的瓶頸模塊類型不變，對(duì)Layer4和Layer5中的瓶頸模塊使用膨脹瓶頸模塊進(jìn)行替換，這樣可以有效地?cái)U(kuò)大感受野.為了減小膨脹卷積帶來的時(shí)間損耗，本文設(shè)置Layer4和Layer5擁有和Layer3相同的輸入通道數(shù)(256個(gè)輸入通道)；(3) 修改了ResNet50網(wǎng)絡(luò)每一階段輸出特征圖的空間尺寸.相比較于原始的ResNet50的輸出步長(zhǎng)[2,4,8,16,32]，修改后的ResNet的輸出步長(zhǎng)為[2 ,4,8,16,16,32]，保持Layer3和Layer4有著相同的特征圖輸出尺寸，有效地防止因下采樣而造成感受野的減小.

圖4 優(yōu)化后ResNet50網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)設(shè)置

數(shù)據(jù)集：本文數(shù)據(jù)集為在線采集的瓶身氣泡缺陷圖片，對(duì)圖片缺陷使用LabelImg進(jìn)行標(biāo)注，對(duì)被標(biāo)注后的數(shù)據(jù)集進(jìn)行訓(xùn)練測(cè)試設(shè)置如表1所示，其中在訓(xùn)練設(shè)置中，訓(xùn)練集和驗(yàn)證集均為帶有氣泡缺陷的圖片，而測(cè)試數(shù)據(jù)集中含有500張正常圖片.

表1 訓(xùn)練測(cè)試數(shù)據(jù)詳細(xì)設(shè)置

性能評(píng)價(jià)指標(biāo)：為了評(píng)估檢測(cè)的效果，我們通過使用準(zhǔn)確率(Accuracy)，漏檢率，誤檢率和均值平均精度(mAP)等性能評(píng)價(jià)指標(biāo)對(duì)檢測(cè)效果進(jìn)行了評(píng)估.

(7)

(8)

(9)

其中，TP表示被正確預(yù)測(cè)為缺陷數(shù)目;FP表示為錯(cuò)誤預(yù)測(cè)為背景的數(shù)目;FN表示錯(cuò)誤預(yù)測(cè)為缺陷的數(shù)目;TN表示正確預(yù)測(cè)背景的數(shù)目;AP表示平均精度，precision表示精準(zhǔn)率;recall表示召回率.

訓(xùn)練：本文實(shí)驗(yàn)基于PyTorch實(shí)現(xiàn)，所有實(shí)驗(yàn)均使用Xavier初始化方法對(duì)網(wǎng)絡(luò)模型進(jìn)行初始化.輸入圖像大小為300×450×3，.訓(xùn)練過程中，采用多尺度訓(xùn)練方法，并對(duì)圖片進(jìn)行隨機(jī)旋轉(zhuǎn)、平移、剪切等數(shù)據(jù)增強(qiáng)操作.訓(xùn)練時(shí)使用隨機(jī)梯度下降優(yōu)化方法進(jìn)行迭代優(yōu)化，設(shè)置動(dòng)量為momentum=0.9，權(quán)重退化率為weight-decay=0.000 5，輸入批次batchsize=16，初始學(xué)習(xí)率為learning rate=0.000 01，其中每經(jīng)過60次迭代后學(xué)習(xí)率下降為原來的十分之一，總共迭代次數(shù)為200次.

4.2 模型改進(jìn)前后結(jié)果對(duì)比

為了驗(yàn)證改進(jìn)后的模型結(jié)構(gòu)對(duì)注塑空瓶表面氣泡檢測(cè)的有效性，本文分別對(duì)原始RetinaNet模型，RetinaNet加改進(jìn)后的FPN，RetinaNet加改進(jìn)后的ResNet網(wǎng)絡(luò)以及本文方法在測(cè)試集上的檢測(cè)效果進(jìn)行了對(duì)比，結(jié)果如表2所示.

表2 模型改進(jìn)前后檢測(cè)結(jié)果

由表2可知，在檢測(cè)精度方面，改進(jìn)后的模型相比改進(jìn)前的模型mAP提升接近2.4%，準(zhǔn)確度提高了1.6%，漏檢率和誤檢率分別降低到0.12%和0.16%；在檢測(cè)速度方面，改進(jìn)后的模型速度提升了14.18%.對(duì)比改進(jìn)前后的特征金字塔網(wǎng)絡(luò)的檢測(cè)結(jié)果，可以看出改進(jìn)后的特征金字塔網(wǎng)絡(luò)相較于原始特征金字塔網(wǎng)絡(luò)有更好特征提取能力.對(duì)比ResNet 50網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)也有較小幅度的提升.

本文算法在醫(yī)藥空瓶數(shù)據(jù)集上的部分檢測(cè)結(jié)果和原始RetinaNet檢測(cè)結(jié)果如圖5所示.

圖5 本文算法檢測(cè)結(jié)果和原始RetinaNet檢測(cè)結(jié)果對(duì)比第一行圖片為Ground Truth；第二行圖片為RetinaNet算法檢測(cè)結(jié)果；第三行圖片為本文算法檢測(cè)結(jié)果.Fig.5 Comparison of detection results between the algorithm in this paper and the original RetinaNetThe first row: Ground Truth; the second row: the detection results of RetinaNet; the third row: the detection results of ours.

由圖5可知，相較于原始RetinaNet網(wǎng)絡(luò)，本文算法有更好的定位能力，尤其對(duì)于粘連氣泡缺陷.

4.3 不同目標(biāo)檢測(cè)模型檢測(cè)效果對(duì)比

為了進(jìn)一步驗(yàn)證本文檢測(cè)算法對(duì)于醫(yī)藥空瓶表面氣泡缺陷檢測(cè)的有效性，本文通過將本文算法與當(dāng)前主流的目標(biāo)檢測(cè)算法Faster RCNN、SSD以及YOLOV3等算法進(jìn)行了對(duì)比，通過在醫(yī)藥空瓶氣泡數(shù)據(jù)集上對(duì)上述算法進(jìn)行訓(xùn)練和測(cè)試，結(jié)果如表3所示.由表3數(shù)據(jù)可知，相較于Faster RCNN、SSD和YOLOV3，本文提出的算法有更高的mAP和準(zhǔn)確率；在檢測(cè)速度上，本文算法優(yōu)于Faster RCNN和SSD算法，但略低于YOLOV3的檢測(cè)速度.

表3 不同模型檢測(cè)效果對(duì)比

5 結(jié) 論

本文使用深度學(xué)習(xí)中最先進(jìn)的目標(biāo)檢測(cè)算法RetinaNet對(duì)醫(yī)藥空瓶表面氣泡缺陷進(jìn)行了檢測(cè).為了滿足工業(yè)檢測(cè)所需要的準(zhǔn)確度，本文先對(duì)原始特征金字塔網(wǎng)絡(luò)的特征融合過程進(jìn)行優(yōu)化，增加了語義特征提取模塊，有效地增強(qiáng)了對(duì)特征圖語義信息的提取和擴(kuò)大特征圖的感受野.然后，去掉特征金字塔網(wǎng)絡(luò)用于檢測(cè)大目標(biāo)的網(wǎng)絡(luò)層，從而減小網(wǎng)絡(luò)的參數(shù)量和降低訓(xùn)練過程中的計(jì)算消耗.最后，在ResNet網(wǎng)絡(luò)中添加了膨脹卷積瓶頸模塊，有效地提高了特征圖的感受野和特征的魯棒性.通過上述改進(jìn)，在滿足檢測(cè)時(shí)間的條件下，檢測(cè)準(zhǔn)確率較未改進(jìn)網(wǎng)絡(luò)提升了1.60%，漏檢率降低到0.12%，誤檢率降低到0.16%.相較于傳統(tǒng)的檢測(cè)方法，本文提出的方法有較高的優(yōu)勢(shì).