基于PU-Faster R-CNN的手機(jī)屏幕缺陷檢測算法研究

李偉朝，陳志豪，張 勰，查云威

(1.廣東工業(yè)大學(xué) 自動(dòng)化學(xué)院廣東省物聯(lián)網(wǎng)信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣州 510006；2.華南理工大學(xué) 電力學(xué)院，廣州 510630)

0 引言

在手機(jī)屏幕的制作工藝過程中，由于環(huán)境和技術(shù)等因素影響，一些產(chǎn)品難免出現(xiàn)不可避免的缺陷。如果讓存在缺陷的手機(jī)屏幕流入市場，將會(huì)嚴(yán)重影響使用者的體驗(yàn)，甚至危害生命。因此手機(jī)屏幕的缺陷檢測是手機(jī)生產(chǎn)的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的人工檢測方法，存在著篩檢成本高、耗時(shí)長、準(zhǔn)確率低等一系列問題。

隨著機(jī)器學(xué)習(xí)的發(fā)展，其應(yīng)用場景涉及多個(gè)領(lǐng)域?；跈C(jī)器學(xué)習(xí)的缺陷檢測方法也不斷被提出。Huang等人[1]提出了一種檢測手機(jī)屏幕表面缺陷的框架。該框架包含連續(xù)圖像切割規(guī)范化、原始圖像規(guī)范化、圖像塊分割、特征提取和機(jī)器學(xué)習(xí)等方法。Jian等人[2]提出了一種改進(jìn)的手機(jī)屏幕玻璃缺陷識(shí)別和分割檢測算法。該算法基于輪廓對(duì)齊方法生成模板圖像。根據(jù)對(duì)準(zhǔn)結(jié)果，采用減法和投影相結(jié)合的方法識(shí)別圖像中的缺陷。針對(duì)具有模糊灰邊界的噪聲圖像中的缺陷，提出了一種改進(jìn)的模糊c-均值聚類算法。盡管基于機(jī)器學(xué)習(xí)的特征提取部分能通過專家設(shè)定有效的特征，但與深度學(xué)習(xí)相比，所提取的特征信息豐富度欠缺。此外，基于機(jī)器學(xué)習(xí)的缺陷檢測方法需要大量的先驗(yàn)知識(shí)，并且缺乏魯棒性。

為了解決基于機(jī)器學(xué)習(xí)的檢測方法的局限性，不少研究人員提出優(yōu)秀的基于深度學(xué)習(xí)的檢測框架。Guo等人[3]提出了一種高效的缺陷檢測網(wǎng)絡(luò)(EDD-Net)。該模型的骨干網(wǎng)絡(luò)是高效網(wǎng)絡(luò)。該模型提出了一種基于手機(jī)表面缺陷的特征金字塔模塊GCSA-BiFPN。此外，該模型利用一個(gè)盒/類預(yù)測網(wǎng)絡(luò)進(jìn)行有效的缺陷檢測。文獻(xiàn)[4]提出了一種基于Faster R-CNN小樣本學(xué)習(xí)的手機(jī)屏幕表面缺陷檢測模型框架。設(shè)計(jì)了一個(gè)深度卷積生成對(duì)抗網(wǎng)絡(luò)(DCGAN)，用于自動(dòng)提取和融合缺陷特征，以增強(qiáng)和生成缺陷樣本。Wang等人[5]提出了一種用于手機(jī)屏幕缺陷檢測的孿生網(wǎng)絡(luò)。該網(wǎng)絡(luò)結(jié)合對(duì)比度損失和交叉熵?fù)p失來提高模型的識(shí)別能力。Ren等人[6]提出了一種基于“分類網(wǎng)絡(luò)+帶注意力機(jī)制的U-Net”的小目標(biāo)分割和非明顯缺陷檢測方法。該方法提出了一種改進(jìn)的解決方案，在分類網(wǎng)絡(luò)中添加了一個(gè)分割網(wǎng)絡(luò)，并在經(jīng)典的U-Net中添加了注意力機(jī)制，提高了小目標(biāo)分割和無意義缺陷檢測的性能。Zhu等人[7]提出了分層多頻注意力網(wǎng)絡(luò)(HMFCA-Net)。值得注意的是，其提出了一種使用多頻率信息和局部跨通道交互的注意力機(jī)制來表示加權(quán)缺陷特征。另外介紹了一種基于變形卷積的ResNeSt網(wǎng)絡(luò)，旨在處理各種缺陷形狀。以上基于深度學(xué)習(xí)的缺陷檢測框架能達(dá)到令人滿意的效果，但是對(duì)于手機(jī)屏幕缺陷檢測識(shí)別準(zhǔn)確率與實(shí)際應(yīng)用的要求還存在一定的差距，仍然存在缺陷目標(biāo)檢測精度不高的問題，特別是對(duì)尺寸小的缺陷目標(biāo)檢測準(zhǔn)確率偏低。

1 手機(jī)屏幕特點(diǎn)分析及缺陷檢測問題難點(diǎn)

原始手機(jī)屏幕檢測樣品為透明玻璃面板，需放在指定工控機(jī)上，通過光源照射，在背景板用攝像頭收集對(duì)應(yīng)的手機(jī)屏幕原始圖像到指定服務(wù)器。手機(jī)屏幕圖像為灰度圖像，背景為黑色像素，白色像素根據(jù)不同特征為不同的缺陷。如圖1所示，分別是缺陷為氣泡、劃痕、錫灰和無缺陷的手機(jī)屏幕圖像。方框僅為缺陷所在位置方便讀者閱，其非預(yù)測結(jié)果。

圖1 手機(jī)屏幕圖像

手機(jī)屏幕缺陷檢測是一個(gè)自動(dòng)化的目標(biāo)檢測過程，是一個(gè)集手機(jī)屏幕缺陷特征提取、缺陷分類和缺陷定位的多任務(wù)過程。目的是準(zhǔn)確找到手機(jī)屏幕上的缺陷，確定其類別和位置。具體而言，檢測算法要實(shí)現(xiàn)3個(gè)方面的功能：1)判斷輸入的手機(jī)屏幕圖像有無缺陷；2)對(duì)有缺陷的手機(jī)屏幕圖像中的缺陷進(jìn)行定位；3)對(duì)定位的手機(jī)屏幕缺陷進(jìn)行分類。

通過對(duì)手機(jī)屏幕圖像檢查過程進(jìn)行技術(shù)分析，手機(jī)屏幕缺陷檢測主要存在以下難點(diǎn)：1)缺陷特征提取困難。如圖1(e)(f)所示手機(jī)屏幕圖像缺陷特征極其隱晦，缺陷大多數(shù)為幾十像素甚至十幾像素，且缺陷分布不規(guī)律。該特性造成缺陷信息復(fù)雜，提取特征極度困難。2)如圖1(a)(b)大塊錫灰和小塊錫灰圖像和(c)(d)短劃痕和長劃痕圖像所示缺陷尺寸差異大。同種缺陷形狀各不相同，尺寸跨度較大，影響了候選框的邊框回歸效果。3)缺陷特征相似。手機(jī)屏幕中一些缺陷特征極其相似，肉眼難以分辨，如劃痕紋理與錫灰相似度高。

針對(duì)手機(jī)屏幕缺陷數(shù)據(jù)集帶來的檢測難點(diǎn)，使得基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的檢測框架難以達(dá)到令人滿意的檢測效果。因此，本文在Faster R-CNN目標(biāo)檢測模型，提出PU-Faster R-CNN檢測框架，針對(duì)手機(jī)屏幕缺陷圖像的檢測難點(diǎn)，實(shí)現(xiàn)手機(jī)屏幕缺陷的高效檢測。

2 PU-Faster R-CNN算法模型

本文在Faster R-CNN目標(biāo)檢測的基礎(chǔ)上加以改進(jìn)，提出PU-Faster R-CNN。PU-Faster R-CNN框架結(jié)構(gòu)如圖2所示。該模型在原Faster R-CNN模型中提出多層特征增強(qiáng)模塊，特征提取網(wǎng)絡(luò)層采用多尺度特征提取網(wǎng)絡(luò)，提出了自適應(yīng)區(qū)域建議網(wǎng)絡(luò)作為區(qū)域建議網(wǎng)絡(luò)。

圖2 PU-Faster R-CNN框架圖

圖3 多層特征增強(qiáng)模塊

2.1 多層特征增強(qiáng)模塊

手機(jī)屏幕圖像為灰度圖像，其中的缺陷通常范圍為幾十像素甚至十幾像素。缺陷特征隱晦，缺乏豐富的特征信息，特征提取層提取到的特征信息缺少該缺陷應(yīng)具有的關(guān)鍵特征信息，嚴(yán)重影響后續(xù)網(wǎng)絡(luò)層回歸和分類，導(dǎo)致檢測效果很差。因此，改進(jìn)網(wǎng)絡(luò)讓特征提取層提取到豐富特征信息，是手機(jī)屏幕缺陷檢測的關(guān)鍵。

多層特征增強(qiáng)模塊主要采用多組圖像預(yù)處理和U-Net的串聯(lián)，將手機(jī)屏幕缺陷圖像中隱晦的缺陷特征信息進(jìn)行針對(duì)性像素加強(qiáng)，進(jìn)而達(dá)到增強(qiáng)圖像特征的效果。多層特征增強(qiáng)模塊結(jié)構(gòu)如圖3所示，該模塊分為3個(gè)階段。

第一個(gè)階段對(duì)輸入圖像分別進(jìn)行像素亮度變換、幾何變換、圖像銳化等圖像處理，得到多組不同圖像處理下的原始圖像。不同缺陷的特征會(huì)因?yàn)閷?duì)應(yīng)的預(yù)處理操作而有效提高了可視程度，各種缺陷特征更清晰，不同類型的缺陷的特征信息得到了不同程度的特征增強(qiáng)，有效為第二階段的U-Net語義分割提供特征明顯的原始圖像。

第二階段，各組圖像輸入已訓(xùn)練好的U-Net進(jìn)行語義分割操作，得到多組對(duì)應(yīng)的預(yù)測的掩模圖。記錄各組圖像的掩模所在位置信息和對(duì)應(yīng)原圖上的紋理特征。

第三階段，根據(jù)對(duì)應(yīng)的位置信息和紋理特征，在原始輸入圖像對(duì)應(yīng)的位置疊加對(duì)應(yīng)的紋理信息，對(duì)同一張?jiān)紙D像進(jìn)行相應(yīng)的特征增強(qiáng)，得到缺陷特征明顯增強(qiáng)的輸出圖像。

手機(jī)屏幕圖像經(jīng)過多層特征增強(qiáng)模塊處理的先后效果對(duì)比如圖4所示。容易看到，相比原手機(jī)屏幕圖(左)，手機(jī)屏幕缺陷特征變得更加明顯，更加突出。其原理如下：

1)圖像預(yù)處理的使用，擴(kuò)大圖像中不同目標(biāo)特征之間的差別，抑制不感興趣的特征，使之改善圖像質(zhì)量，豐富信息量，加強(qiáng)圖像判讀和識(shí)別效果。

2)U-Net串聯(lián)在圖像預(yù)處理之后，可以根據(jù)U-Net判斷每張圖像每個(gè)像素點(diǎn)的類別得到精確的分割圖。記錄下分割圖的掩膜位置信息以及位置信息對(duì)應(yīng)相應(yīng)原始圖像的位置紋理信息。最終，利用這些位置信息和對(duì)應(yīng)的紋理信息在原始圖像上進(jìn)行疊加，針對(duì)性的對(duì)原始圖像進(jìn)行特征增強(qiáng)。

圖4 效果對(duì)比

左列為未處理的手機(jī)屏幕缺陷圖，右列為經(jīng)過多層特征增強(qiáng)模塊后的手機(jī)屏幕缺陷圖。方框僅為缺陷所在位置方便讀者閱讀，非預(yù)測結(jié)果。

2.2 多尺度特征提取網(wǎng)絡(luò)

手機(jī)屏幕缺陷圖像的缺陷目標(biāo)尺寸很小，多為小目標(biāo)，一般只有幾十甚至幾個(gè)像素。對(duì)于小目標(biāo)，當(dāng)卷積池化到最后一層，對(duì)于一個(gè)RoI區(qū)域映射到特征圖的特征信息已經(jīng)很少了。另外，卷積網(wǎng)絡(luò)中，深層網(wǎng)絡(luò)能響應(yīng)高語義特征，但特征圖尺寸小，擁有太少定位信息；淺層網(wǎng)絡(luò)雖然包含定位信息多，但高語義特征比較少，不利于分類。這個(gè)問題在手機(jī)屏幕缺陷檢測中尤為突出，嚴(yán)重影響檢測效果。

改進(jìn)Faster R-CNN的特征提取層，加入特征金字塔網(wǎng)絡(luò)(FPN，feature pyramid network)，改進(jìn)為多尺度特征提取網(wǎng)絡(luò)。通過融合上采樣后的高語義特征和淺層的定位細(xì)節(jié)特征，使模型能夠融合多個(gè)卷積層的多尺度信息，增強(qiáng)特征的表達(dá)能力，從而獲得更多關(guān)于手機(jī)屏幕小目標(biāo)缺陷的有效特征信息，進(jìn)而提高網(wǎng)絡(luò)性能。

多尺度特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。語義信息增強(qiáng)部分，用ResNet50作為特征提取網(wǎng)絡(luò){C2、C3、C4、C5}，采用1×1卷積進(jìn)行橫向連接，自上而下地傳遞語義信息構(gòu)造{T2、T3、T4、T5}，Ti的計(jì)算過程為：

(1)

式中，F(xiàn)1×1(Ci)是對(duì)Ci進(jìn)行1×1卷積操作，Up(Ti+1，2)表示對(duì)Ti+1進(jìn)行2倍上采樣。表示merge操作。

圖5 多尺度特征提取網(wǎng)絡(luò)

Pi為融合特征部分，其計(jì)算過程為：

Pi=F3×3(Ti)；i=2，3，4，5

(2)

F3×3(Ti)是對(duì)Ti進(jìn)行3×3卷積操作。

2.3 自適應(yīng)區(qū)域建議網(wǎng)絡(luò)

手機(jī)屏幕圖像中，同種缺陷的形狀大小各不相同，尺寸跨度極大。因此以人工設(shè)置方式在區(qū)域建議網(wǎng)絡(luò)設(shè)置的Anchor box模板尺寸和數(shù)量與ground truth box存在一定偏差，會(huì)影響檢測效果。

為提升檢測效果，RPN(region proposal network)層引入了Isodata[14]自迭代聚類算法，改進(jìn)為自適應(yīng)區(qū)域建議網(wǎng)絡(luò)。通過對(duì)Anchor box數(shù)據(jù)進(jìn)行自迭代聚類，得到合適的Anchor box模板。靈活數(shù)量和大小的Anchor box模板可以有效提高手機(jī)屏幕缺陷檢測的精度。

Anchor box基本概念為以特征圖上可以映射回原圖像上的一個(gè)點(diǎn)為中心，預(yù)先人為設(shè)定x個(gè)Anchor box模板，稱為在這個(gè)點(diǎn)上生成的x個(gè)Anchor box。Anchor box的生成方式如圖6所示，在原始Faster R-CNN中，經(jīng)過特征提取網(wǎng)絡(luò)處理之后，得到一個(gè)尺寸為m×n的特征圖，對(duì)應(yīng)將原圖像劃分為m×n個(gè)區(qū)域，即原圖的每個(gè)區(qū)域的中心由特征圖上的一個(gè)像素點(diǎn)坐標(biāo)表示。通過上述Anchor機(jī)制，在每個(gè)區(qū)域生成x個(gè)Anchor box，x一般人為設(shè)置。本文改進(jìn)的自適應(yīng)區(qū)域建議網(wǎng)絡(luò)中，x為isodata自迭代聚類算法根據(jù)訓(xùn)練集標(biāo)注尺寸樣本聚類得到的聚類中心的數(shù)目，各個(gè)聚類中心的結(jié)果作為Anchor box的模板尺寸。

圖6 anchor box的生成方式

自適應(yīng)區(qū)域建議網(wǎng)絡(luò)算法流程如圖7所示。自適應(yīng)區(qū)域建議網(wǎng)絡(luò)基本步驟如下：

1)初始設(shè)定K0個(gè)Anchor box模板類，每個(gè)模板類中最少的樣本數(shù)為Nmin，輸入n個(gè)訓(xùn)練集標(biāo)注尺寸樣本，最大迭代次數(shù)I。

2)針對(duì)每個(gè)訓(xùn)練集標(biāo)注尺寸樣本，計(jì)算它與模板類中心的距離，將其分入距離最小的模板類中。此時(shí)模板類的數(shù)目為K1。

3)判斷每個(gè)模板類中樣本數(shù)目N是否低于最少樣本數(shù)Nmin，低于則取消該模板類，類中樣本按最小距離原則重新分配到剩余類，令K1減1。

4)根據(jù)各模板類中數(shù)據(jù)，重新計(jì)算模板類聚類中心。

5)若K12K0，說明類數(shù)量太多，執(zhí)行合并操作。

6)達(dá)到最大迭代次數(shù)時(shí)終止，輸出K=K1，否則返回步驟2繼續(xù)迭代。K1即為設(shè)置Anchor box的模板數(shù)量，各模板類聚類中心則為Anchor box模板。

算法根據(jù)計(jì)算樣本與類中心的歐式距離進(jìn)行分類。距離越小，相似度越大。計(jì)算公式為：

(3)

式中，Si是第i個(gè)樣本，uj為第j個(gè)聚類。

圖7 算法流程圖

在原RPN網(wǎng)絡(luò)引入isodata聚類算法，通過迭代聚類訓(xùn)練手機(jī)屏幕缺陷樣本數(shù)據(jù)，能夠獲得合適的Anchor box模板和數(shù)量，增強(qiáng)Anchor box的適應(yīng)性，解決屏幕缺陷尺寸跨度大的問題，提高檢測精度。

2.4 損失函數(shù)

PU-Faster R-CNN框架的損失函數(shù)由兩部分組成，RPN部分的損失和Fast R-CNN部分的損失。RPN網(wǎng)絡(luò)的損失函數(shù)是分類損失和回歸損失的總和。損失函數(shù)計(jì)算公式如下：

(4)

其中：Pi表示第i個(gè)Anchor box被預(yù)測為真實(shí)標(biāo)簽的概率。正樣本時(shí)Pi為1，負(fù)樣本時(shí)為0。ti表示預(yù)測第i個(gè)Anchor的邊界框回歸參數(shù)。ti表示第i個(gè)Anchor對(duì)應(yīng)的ground truth box。Ncls表示一個(gè)小批次256中所有樣本的數(shù)量。Nreg表示Anchor box位置的數(shù)量，約為2 400個(gè)。

(5)

其中：Lcls是分類損失。Pi表示第i個(gè)Anchor box被預(yù)測為真實(shí)標(biāo)簽的概率。正樣本時(shí)Pi為1，負(fù)樣本時(shí)為0。

(6)

(7)

ti=[tx，ty，tw，th]

(8)

tx=(x-xa)wa

(9)

ty=(y-ya)haty

(10)

(11)

(12)

(13)

(14)

(15)

(16)

其中：Pi為正樣本時(shí)為1，為負(fù)樣本時(shí)為0。ti表示預(yù)測第i個(gè)Anchor box的邊界框回歸參數(shù)。ti表示第i個(gè)Anchor box對(duì)應(yīng)的ground truth box。

Fast R-CNN的損失函數(shù)部分是PU-Faster R-CNN第二部分的損失函數(shù)。Fast R-CNN損失函數(shù)由分類損失和邊界盒回歸損失組成。

L(p，u，tu，v)=Lcls(p，u)+λ[u≥1]Lloc(tu，v)

(17)

其中：p是分類器預(yù)測的softmax概率分布。u對(duì)應(yīng)于目標(biāo)的實(shí)際類別標(biāo)簽。tu則對(duì)應(yīng)于由邊界框回歸器預(yù)測的相應(yīng)類別u的回歸參數(shù)。v對(duì)應(yīng)于實(shí)際目標(biāo)的邊界框回歸參數(shù)。

L(p，u，tu，v)=-logpu

(18)

(19)

(20)

其中：tu對(duì)應(yīng)于相應(yīng)類別u·v的邊界框回歸因子預(yù)測的回歸參數(shù)，而v對(duì)應(yīng)于實(shí)際目標(biāo)的邊界盒回歸參數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集構(gòu)建與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)的數(shù)據(jù)集來自廣東省某手機(jī)屏幕生成企業(yè)，原手機(jī)實(shí)體屏幕為透明玻璃面板，需要在指定工控機(jī)上通過光源照射，在背景板采集黑白的手機(jī)屏幕圖像。原始手機(jī)屏幕圖像如圖8所示。

圖8 原始手機(jī)屏幕圖像

原始手機(jī)屏幕圖像分辨率為6 400×6 400像素，圖像尺寸太大，而缺陷只有十幾像素甚至幾像素，導(dǎo)致目標(biāo)檢測效果不佳。為了獲得更加豐富多樣的數(shù)據(jù)，同時(shí)深度學(xué)習(xí)模型的訓(xùn)練要求大量的樣本，實(shí)驗(yàn)中對(duì)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)。實(shí)驗(yàn)種所采用的數(shù)據(jù)增強(qiáng)方法為：1)對(duì)原始圖片進(jìn)行10×10的切割，最終圖片分辨率為640×640像素；2)對(duì)于切割后的數(shù)據(jù)集進(jìn)行像素變換方法：調(diào)節(jié)亮度，飽和度，直方圖均衡化，高斯模糊；3)對(duì)于切割后的數(shù)據(jù)集進(jìn)行幾何變換方法：翻轉(zhuǎn)，旋轉(zhuǎn)，裁剪。

數(shù)據(jù)集的標(biāo)注采用labelImg目標(biāo)檢測數(shù)據(jù)集標(biāo)注工具，對(duì)每一張數(shù)據(jù)增強(qiáng)后的圖圖中的缺陷進(jìn)行標(biāo)注，每張圖像形成一個(gè)xml文件，每個(gè)xml文件記錄了對(duì)應(yīng)圖像所包含的缺陷的種類及缺陷位置信息。

數(shù)據(jù)集的生成按照PASCAL VOC 2012數(shù)據(jù)集的相關(guān)目錄結(jié)構(gòu)和格式生成，最終生成txt文件分別記錄每個(gè)jpg圖像名和xml文件名。

實(shí)驗(yàn)的的數(shù)據(jù)集包含3種類別的缺陷：劃痕(scratch)、氣泡(bubble)和錫灰(tin_ash)。經(jīng)過處理后的，數(shù)據(jù)集圖片數(shù)量共6 659張，大致按5：1的比例隨機(jī)選取5 407張圖片為訓(xùn)練集，1 252張圖片為測試集，如表1所示。在有缺陷的圖片中，具體缺陷的數(shù)量分布見表2。

表1 訓(xùn)練集、測試集數(shù)量分布

表2 訓(xùn)練集和測試集的缺陷的數(shù)量分布

實(shí)驗(yàn)采用的計(jì)算機(jī)硬件配置為Intel(R)Xeon(R)CPU E5-2 650 v4 @ 2.20 GHz，NVIDIA GeForce RTX 3 080 GPU。用Python編程實(shí)現(xiàn)改進(jìn)的PU-Faster R-CNN，用于訓(xùn)練和測試。整個(gè)實(shí)驗(yàn)是使用開源深度學(xué)習(xí)框架pytorch實(shí)現(xiàn)的。輸入圖像尺寸為640×640像素。Backbone選擇了ResNet50。選擇優(yōu)化算法為Adam算法。學(xué)習(xí)率為1e-3，使用到的學(xué)習(xí)率下降方式為cos。訓(xùn)練步數(shù)設(shè)置為3 000。在獲得足夠的數(shù)據(jù)后，使用自適應(yīng)矩估計(jì)(Adam)優(yōu)化算法進(jìn)行訓(xùn)練，動(dòng)量為0.9，權(quán)重衰減為0.000 1，beta1為0.9和beta2為0.999。訓(xùn)練批量大小設(shè)置為16，以避免局部極小。模型置信度為0.5，非極大值抑制nms-iou參數(shù)為0.3。實(shí)驗(yàn)分為兩部分，第一部分為PU-Faster R-CNN模型和主流的缺陷檢測算法的對(duì)比實(shí)驗(yàn)，參與比較的模型有Yolo系列模型，原始Faster R-CNN模型和SSD模型。第二部分是消融實(shí)驗(yàn)，用以驗(yàn)證分析PU-Faster R-CNN各模塊對(duì)提高手機(jī)屏幕缺陷檢測性能的有效性。

3.2 實(shí)驗(yàn)結(jié)果與討論

論文實(shí)驗(yàn)評(píng)價(jià)指標(biāo)為目標(biāo)檢測領(lǐng)域常用的評(píng)價(jià)指標(biāo)：準(zhǔn)確率Accuracy，精確率Precision，召回率Recall，準(zhǔn)確度Accuracy of Precision(AP)，漏檢率Miss rate，錯(cuò)誤率Error rate。

3.2.1 對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)中，為驗(yàn)證所提出的PU-Faster R-CNN對(duì)手機(jī)屏幕缺陷檢測的有效性，將結(jié)合不同的主流目標(biāo)檢測框架在手機(jī)屏幕數(shù)據(jù)集場景下進(jìn)行對(duì)比實(shí)驗(yàn)。其中參與實(shí)驗(yàn)的框架有Faster R-CNN、YoloV3、YoloV4和SSD算法。實(shí)驗(yàn)采用數(shù)據(jù)集見前文，PU-Faster R-CNN針對(duì)手機(jī)屏幕數(shù)據(jù)集下的每種缺陷檢測效果如圖9所示。PU-Faster R-CNN針對(duì)手機(jī)屏幕數(shù)據(jù)集下預(yù)測每種缺陷的AP和總mAP如圖10所示，可以看出，改進(jìn)后的PU-Faster R-CNN模型在各個(gè)類別的手機(jī)屏幕缺陷目標(biāo)檢測性能效果都很好。

圖9 手機(jī)屏幕缺陷檢測效果圖

圖10 總mAP和每類缺陷預(yù)測的AP值

表3分別顯示了PU-Faster R-CNN和手機(jī)表面數(shù)據(jù)集上的其他目標(biāo)檢測框架之間的性能比較。與Faster R-CNN相比，PU- Faster R-CNN在mAP指標(biāo)上提高36.7%、準(zhǔn)確率提高了55.5%、精確度提高了52.8%、召回率提高了60.4%、漏檢率降低了60.1%、錯(cuò)誤率降低了55.5%?？蚣軝z測性能提升的原因在于：

1)多層特征增強(qiáng)模塊可以顯著增強(qiáng)缺陷的語義信息，降低后續(xù)檢測的難度和提高了檢測精度；

2)引入多尺度特征提取網(wǎng)絡(luò)，提高了模型對(duì)多尺度目標(biāo)的特征提取能力；

3)自適應(yīng)區(qū)域建議網(wǎng)絡(luò)的提出，通過生成尺寸、數(shù)量更合適的Anchor模板，提高預(yù)測的精度和框回歸的效率。

與YoLo系列模型相比，以YoLoV4為例，PU-Faster R-CNN在mAP性能上提高12.0%、準(zhǔn)確率上提高了4.4%、精確度提高了21.4%、召回率提高了7.8%、漏檢率降低了7.5%、錯(cuò)誤率降低了7.5%。原因在于：YoLoV4骨干部分的BoF特征包括特征CutMix 和 Mosaic增強(qiáng)、DropBlock 正則化和類別標(biāo)簽平滑化，對(duì)于特征明顯的缺陷檢測圖像有優(yōu)秀的效果，而手機(jī)屏幕缺陷圖片中的缺陷特征隱晦，YoLoV4提取到的特征信息摻雜著一些非關(guān)鍵信息，嚴(yán)重影響回歸與分類，導(dǎo)致檢測效果略差。PU-Faster R-CNN提出多層特征特權(quán)模塊，通過語義分割，讓用于區(qū)分缺陷類別的輪廓特征和紋理特征變得明顯，提升了模塊對(duì)缺陷特征的表達(dá)能力，因而檢測性能比YoLo系列算法更勝一籌。

與SSD模型相比，PU Faster R-CNN在mAP性能指標(biāo)上提高24.2%、準(zhǔn)確率上提高50.9%、精確度提高了65.0%、召回率提高了0.9%、漏檢率降低了0.7%、錯(cuò)誤率降低了50.9%。原因在于：手機(jī)屏幕缺陷多為小目標(biāo)缺陷。在眾多目標(biāo)檢測算法中，SSD對(duì)于小目標(biāo)的檢測表現(xiàn)較差，因?yàn)榻?jīng)過多層卷積，SSD對(duì)小目標(biāo)提取的缺陷特征信息豐富度缺乏。PU-Faster R-CNN多尺度特征提取網(wǎng)絡(luò)融合上采樣后的高語義特征和淺層的定位細(xì)節(jié)特征，充分提取小目標(biāo)缺陷的特征信息，故能提高性能。

表3 PU-Faster R-CNN與主流技術(shù)各項(xiàng)指標(biāo)對(duì)

3.2.2 消融實(shí)驗(yàn)

本實(shí)驗(yàn)將驗(yàn)證分析PU-Faster R-CNN各模塊對(duì)提高手機(jī)屏幕缺陷檢測性能的有效性。如表4，實(shí)驗(yàn)中使用了4種不同的方案。方案一選擇原始Faster R-CNN作為整個(gè)框架；方案二選擇基于Faster R-CNN引入多尺度特征提取網(wǎng)絡(luò)；方案三選擇基于Faster R-CNN引入多尺度特征提取網(wǎng)絡(luò)和多層特征增強(qiáng)模塊；方案四是完整的PU Faster R-CNN。4個(gè)不同實(shí)驗(yàn)方案分別在手機(jī)屏幕數(shù)據(jù)集得到四組實(shí)驗(yàn)性能結(jié)果。

方案二中基于原始Faster R-CNN加入多尺度特征提取網(wǎng)絡(luò)，較方案一在mAP指標(biāo)上提高了5.8%，準(zhǔn)確率提高了15.9%，精確率提高了8.4%。原因在于多尺度特征提取網(wǎng)絡(luò)融合了淺層網(wǎng)絡(luò)的定位信息和深層網(wǎng)絡(luò)的高語義特征，實(shí)現(xiàn)了特征的跨層連接，進(jìn)而得到不同尺度的特征圖。相比原始Faster R-CNN使用一組基礎(chǔ)的卷積層+ReLu激勵(lì)層+池化層提取圖像特征的方法，能提取到更加豐富的特征信息，用于后續(xù)分類與回歸，故能提高性能。

方案三中基于原始Faster R-CNN加入多尺度特征提取網(wǎng)絡(luò)和多層特征增強(qiáng)模塊，較方案二在mAP性能指標(biāo)上提高了19.1%，準(zhǔn)確率提高了30.0%，精確率提高了13.2%。方案三相比于方案一，在mAP性能指標(biāo)上提高了24.7%，準(zhǔn)確率提高了45.9%，精確率提高了21.6%。數(shù)據(jù)集中手機(jī)屏幕圖片特征非常隱晦，缺陷分布不規(guī)律，紋理、背景復(fù)雜，提取特征極度困難，且缺陷形狀大小等屬性上的特征呈現(xiàn)多樣性，即使同一種缺陷，尺寸和形狀上也存在多種分布。多層特征增強(qiáng)模塊通過圖像預(yù)處理和U-Net網(wǎng)絡(luò)的結(jié)合，對(duì)不同類型的缺陷特征信息進(jìn)行特征增強(qiáng)，再經(jīng)過語義分割得到特征的位置信息以及紋理特征，疊加到原圖上，消除了圖像無關(guān)信息，增強(qiáng)了缺陷信息的輪廓特征和紋理特征，最終從隱晦的手機(jī)屏幕圖片中提取到豐富的特征信息。

方案四中為完整的PU-Faster R-CNN，基于原始Faster R-CNN加入了多尺度特征提取網(wǎng)絡(luò)、多層特征增強(qiáng)模塊和自適應(yīng)區(qū)域建議網(wǎng)絡(luò)，較方案三在mAP性能指標(biāo)上提高了12.0%、準(zhǔn)確率提高了9.6%、精確率提高了31.2%。方案四相比于方案二，在mAP性能指標(biāo)上提高了30.9%，準(zhǔn)確率提高了39.6%，精確率提高了44.4%。方案四相比于方案一，在mAP性能指標(biāo)上提高了36.7%，準(zhǔn)確率提高了55.5%，精確率提高了52.8%。原始Faster R-CNN中RPN網(wǎng)絡(luò)的Anchor box模板尺寸和數(shù)量要求人為設(shè)置，而在手機(jī)屏幕缺陷檢測場景下，缺陷形狀大小不一，跨度極大，人為設(shè)置的Anchor box模板與實(shí)際ground truth box存在較大差異。PU-Faster R-CNN的自適應(yīng)區(qū)域建議網(wǎng)絡(luò)對(duì)訓(xùn)練集樣本進(jìn)行自迭代聚類，將聚類得到的聚類中心和聚類中心的數(shù)量分別作為Anchor box的模板尺寸和模板數(shù)量，這樣得到的Anchor box模板與缺陷尺寸的擬合性更高，有效提高屏幕缺陷檢測的性能。

表4 PU-Faster R-CNN消融實(shí)驗(yàn)性能指標(biāo)

4 結(jié)束語

長期以來，缺陷檢測問題一直困擾著工業(yè)制造業(yè)。手機(jī)表面缺陷檢測作為工業(yè)生產(chǎn)的重要組成部分，越來越受到重視。然而，圖像特征隱晦、缺陷尺寸差異大等問題限制了基于深度學(xué)習(xí)的檢測框架。因此，基于PU-Faster R-CNN的手機(jī)屏幕缺陷檢測框架被提出解決上述問題。針對(duì)圖像特征不明顯，設(shè)計(jì)了多層特征增強(qiáng)模塊，采用一種新穎的方式增強(qiáng)缺陷的特征信息。構(gòu)建多尺度特征提取網(wǎng)絡(luò)，有效提取多尺度的缺陷語義信息。論文中設(shè)計(jì)了自適應(yīng)區(qū)域建議網(wǎng)絡(luò)，自適應(yīng)的Anchor box模板生成方式，通過聚類的方式生成擬合性更好的Anchor box模板。實(shí)驗(yàn)結(jié)果表明，該模型在手機(jī)屏幕檢測中優(yōu)于流行的目標(biāo)檢測模型。

最后，該框架適用于低復(fù)雜性數(shù)據(jù)集。然而，當(dāng)數(shù)據(jù)集的復(fù)雜性增加時(shí)，檢測結(jié)果可能不太令人滿意。復(fù)雜缺陷的檢測也是未來工作的一個(gè)新的研究方向。該框架有望成為一種新的目標(biāo)檢測解決方案。它可以應(yīng)用于手機(jī)表面生產(chǎn)，包括應(yīng)用場景。