具有復雜紋理的木板表面刮痕缺陷檢測模型

胡 勍,秦 威+,劉成良,石聞天

(1.上海交通大學 機械與動力工程學院,上海 200240;2.中移(上海)信息通信科技有限公司,上海 200331)

1 問題的提出

木板作為一種重要的材料,在制造業(yè)的各行各業(yè)均有著不可替代的作用。根據數(shù)據顯示,我國木板市場規(guī)模逐年遞增,由2017年的374億美元增長至2020年的450億美元,預計2021年我國木板市場規(guī)模將達到475億美元。市場上的木板主要以人造板為主,是以木板或其他非木質材料,經過機械加工形成基板,使用膠粘劑將打印好的木質紋理和基板粘連壓制形成的。由于制造過程復雜,在木板加工以及后續(xù)運輸過程中,可能會出現(xiàn)表面缺陷,例如常見刮痕缺陷,如圖1所示。由于木板的需求量主要來自于家具和建筑行業(yè),木板的表面存在刮痕將會直接降低產品的質量,影響用戶的體驗。因此,木板入庫之前需要進行木板表面缺陷檢測。

圖1 不同紋理的木板表面刮痕缺陷

目前,大多數(shù)木板生產廠家采用的木板表面缺陷檢測方式是人工識別,檢測效率低下,單塊木板通常需要2 s～3 s,個體檢測標準的差異導致質量一致性較差,無法達到生產質量高標準的要求。而且,隨著人工費的上漲,人工檢測必然是一筆巨大的開銷,成為企業(yè)的負擔。另外,長時間高強度的檢測作業(yè)對工人的眼睛可能會造成一定的損傷。木板表面具有復雜多變且不規(guī)則的紋理背景,導致刮痕缺陷難以識別,同時采集的木板圖像存在缺陷樣本數(shù)目少的問題?，F(xiàn)有的紋理缺陷檢測算法對單一規(guī)則紋理背景下的缺陷識別效果較好,難以應用到紋理背景復雜多變的木板表面進行刮痕缺陷識別,因此研究高魯棒、高精度的木板表面刮痕檢測方法是非常有必要的。

隨著計算機視覺的快速發(fā)展,缺陷檢測技術已經由基于傳統(tǒng)圖像處理向基于深度神經網絡轉變[1]。在圖像中找出缺陷的位置并對其進行分類在深度學習中被稱為目標檢測。2012年,KRIZHEVSKY等[2]構建AlexNet一舉拿下ImageNet圖像識別的冠軍,深度學習開始得到世界范圍內的廣泛關注,隨著計算機性能的提高,深度學習得到爆炸式的發(fā)展,目標檢測網絡如雨后春筍般涌現(xiàn)。目前主流的目標檢測網絡分為雙階段目標檢測網絡和單階段目標檢測網絡兩種,接下來介紹兩種網絡的優(yōu)缺點及其在缺陷檢測方面的應用。

雙階段目標檢測網絡發(fā)展主要歷經了RCNN(region convolutional neural network)[3],Fast RCNN[4],Faster RCNN[5]三個階段,3種目標檢測算法是逐步優(yōu)化的,但均包括候選框生成和候選框分類兩個階段,因此被稱為雙階段目標檢測網絡。RCNN基于選擇性搜索(Selective Search,SS)選出2 000個候選框;候選框歸一化之后輸入到卷積神經網絡(Convolutional Neural Network,CNN)提取特征,特征輸入到SVM分類,缺點是候選框區(qū)域互相重疊,計算量大,CNN只能接受固定大小輸入。Fast RCNN仍基于SS生成候選框,但是將原圖輸入到CNN中而不是候選框,候選框映射成固定尺寸的特征圖,候選區(qū)域不會失真,同時引入多任務損失函數(shù)用于分類和回歸,缺點是依舊采用SS提取候選區(qū)域,速度慢,無法滿足實時性要求;沒有實現(xiàn)端到端訓練測試。Faster RCNN引入RPN(region proposal network)網絡,采用滑動窗口方式產生9個錨框,錨框輸入到全連接層來判斷是否有目標存在,將RPN的輸出輸入到第二階段進行精細分類和包圍框位置修正,速度與單階段檢測算法相比仍然較慢,但基本能滿足實時性要求。

Faster RCNN兼顧精度和速度的要求,在目標檢測問題上有著優(yōu)異的表現(xiàn)。CHA等[6]將Faster RCNN骨干網絡替換為ZF-net,應用到橋梁表面缺陷識別并得到了mAP值為87.8%的結果。ZHONG等[7]基于Faster RCNN提出三階段的開口銷缺失檢測網絡。TAO等[8]將Faster RCNN網絡應用于絕緣子缺陷檢測并取得較好的結果。XUE等[9]將Inception網絡和位置敏感的ROI pooling引入到Faster RCNN,在隧道襯砌缺陷檢測中得到單張圖像檢測速度48 ms,精度95%的結果。DING等[10]將多尺度金字塔網絡引入到Faster RCNN,并采用k均值聚類選取合適的錨框高寬比加速網絡收斂,在PCB缺陷數(shù)據集取得mAP值為98.9%的結果。Faster RCNN還廣泛應用于帶鋼表面[11],鋁材表面[12],玻璃表面[13]以及輪胎輪轂[14]等領域,均取得了優(yōu)異的缺陷檢測檢測效果。

單階段目標檢測網絡去掉了雙階段目標檢測網絡的候選區(qū)域生成階段,直接回歸目標包圍框的位置及所示類別,檢測速度與雙階段相比有很大的提升。典型的單階段目標檢測網絡包括YOLO(you only look once)系列和SSD(single shot multibox detector)[15]。YOLO是繼RCNN,Fast-RCNN和Faster-RCNN之后,REDON等[16]針對DL(deep learning)目標檢測速度問題提出的另一種框架,其核心思想是生成RoI+目標檢測兩階段算法用一套網絡的一階段算法替代,直接在輸出層回歸bounding box的位置和所屬類別。YOLO以降低mAP為代價,大幅提升時間效率。后續(xù)出現(xiàn)的YOLOv2、YOLOv3、YOLOv4、YOLOF[17-20]在YOLO的基礎上引入很多提高精度和加快網絡收斂速度的方法,如多尺度預測、引入殘差網絡作為骨干網絡、細粒度特征提取、軟分類等,在保持目標檢測速度的同時,目標檢測精度穩(wěn)步提升,但是對小目標檢測精度較低。SSD從YOLO中引入將目標檢測轉化為回歸問題的思路,同時加入基于特征金字塔的檢測方式,運行速度可以和YOLO媲美,檢測精度可以和Faster RCNN媲美,但是網絡中prior box的基礎大小和形狀不能直接通過學習獲得,而是需要手工設置,調試過程過度依賴經驗,對小目標精測精度同樣較低。

單階段目標檢測網絡適用于對實時性要求高,對精度要求不是很嚴格的缺陷檢測場景。CHEN等[21]基于改進SSD網絡對緊固件缺陷位置進行定位,并取得不錯的效果。LI等[22]將MobileNet引入到SSD網絡中,提出了輕量級密封容器表面缺陷檢測方法。ZHANG等[23]應用YOLOv3并針對橋面缺陷提出了新的損失函數(shù),在橋面缺陷取得了mAP值為94.3%的結果。

總體而言,深度神經網絡已廣泛應用于缺陷檢測領域,并取得不錯的結果,但是,對于木板這類研究對象應用較少。木板具有不規(guī)則且多樣性的紋理背景,且木板表面的刮痕缺陷具有較大的長寬比(如圖1),此類目標在目標檢測領域相關研究內容較少,直接應用Faster RCNN進行刮痕缺陷檢測精度較低。因此,本文基于Faster RCNN提出了木板表面刮痕檢測模型,模型引入可形變卷積和旋轉包圍框,設計新的預測框回歸損失函數(shù)來提高刮痕缺陷檢測精度。本文將該模型應用于紹興市杰品木塑公司生產線上,實現(xiàn)木板表面刮痕精確定位,驗證了所提模型的可行性與有效性。

2 木板表面刮痕檢測模型

2.1 圖像預處理

圖像預處理包括紋理背景平滑和數(shù)據增強兩部分。紋理背景平滑是通過紋理平滑算法在保持結構邊緣細節(jié)的同時,對木板紋理背景進行一定程度的模糊化,以較少復雜多變的紋理背景對刮痕缺陷識別的影響;數(shù)據增強是針對刮痕缺陷樣本數(shù)目少的問題,提出一種灰度自適應刮痕生成方法,增加缺陷樣本數(shù)量,防止網絡訓練過擬合。

2.2.1 紋理背景平滑

木板表面具有復雜多變的紋理背景,刮痕缺陷在整張圖像中占的比重較小,檢測效果易被紋理背景影響,因此在圖像預處理時,需要采用適當?shù)募y理平滑算法,在保持結構邊緣細節(jié)的同時,對紋理背景進行一定程度的模糊化,提高模型對不同紋理背景下的刮痕檢測精度與魯棒性。

目前紋理平滑通常采用濾波方法,主要分為高斯濾波,雙邊濾波以及全局優(yōu)化濾波算法。高斯濾波是一種局部濾波方法,采用模板掃描圖像中的每一個像素,用模板確定的領域內像素的加權平均灰度值替代中心像素點的值,高斯濾波對紋理背景平滑較好,但卻導致結構邊緣細節(jié)模糊化,不利于缺陷特征保持。全局優(yōu)化濾波是在進行紋理平滑的過程中需要保證紋理平滑之后的圖像與原圖像之間的差異最小,全局優(yōu)化濾波能夠實現(xiàn)強梯度紋理平滑,缺點是無法平滑尺度變化的紋理。

雙邊濾波算法[24]在紋理平滑領域表現(xiàn)優(yōu)異,雙邊濾波是在高斯濾波的基礎上,同時考慮像素點周圍的灰度值以及像素點之間的位置關系,像素灰度值計算可表示為:

(1)

(2)

式中:i,j,k,l為像素點位置坐標;I(i,j)為(i,j)像素點的灰度值;σd表示與空間位置相關的平滑權重值;σr表示與像素相關的平滑權重值;ID(i,j)表示平滑之后的像素點灰度值。

通過測試發(fā)現(xiàn),木板圖像經過雙邊濾波算法之后,刮痕缺陷也變得模糊,原因在于刮痕特征過于細長,像素灰度值易受周圍像素灰度值影響而被模糊掉。因此,本文提出像素邊緣長度的概念并應用到雙邊濾波算法中,在權重計算時考慮像素點之間的邊緣細節(jié)長度關系,在紋理背景平滑的同時能夠很好地保持細長邊緣結構。像素邊緣長度計算如下:

(3)

式中L(m,n)為像素點(m,n)的邊緣長度,通過遞歸方式計算,若該像素的灰度值和相鄰像素的灰度值相同,則該像素的像素邊緣長度為相鄰像素最大的邊緣長度值加1。

將像素邊緣長度引入到權重計算公式中,權重計算之后通過式(2)計算待平滑像素點的灰度值,權重計算如下:

(4)

式中σl表示與像素邊緣長度相關的平滑權重值。

改進之后的雙邊濾波算法在紋理背景平滑的同時,較好地保持了木板表面的細長刮痕,如圖2所示。為了定量評價改進雙邊濾波算法紋理平滑效果的好壞,使用SSIM(structural similarity)指標來進行評價,SSIM是一種用來衡量圖片相似度的指標,數(shù)值越接近于1,代表兩種圖片相似度越高。從表1可以看出,改進的雙邊濾波算法在紋理背景平滑的同時能夠較好地保持刮痕缺陷特征。

表1 改進雙邊濾波算法的SSIM指標對比

圖2 改進雙邊濾波算法紋理平滑效果對比

2.1.2 數(shù)據增強

通過CCD相機采集的木板圖像,存在刮痕缺陷的樣本數(shù)目較少,為防止網絡訓練出現(xiàn)過擬合的現(xiàn)象,本文提出灰度自適應刮痕生成方法,在無缺陷木板圖像上生成刮痕作為合成圖像,將合成圖像與存在真實刮痕的木板圖像混合劃分成訓練集、驗證集和測試集,最后進行網絡訓練和測試驗證。

灰度自適應刮痕生成方法步驟如下:

步驟1將輸入的木板圖像轉化為灰度圖像,并求取圖像的平均灰度值。

步驟2根據圖像的平均灰度值選取合適的灰度值作為刮痕中心像素的灰度值。

步驟3在圖像上隨機生成兩個點,在兩點之間生成第3個點,并約束第3個點的y值與前兩個點的平均y值差值不超過圖像高度的10%。

步驟4使用3個點進行曲線擬合,對曲線坐標取整,并通過坐標轉換得到刮痕中心像素點的圖像坐標。

步驟5刮痕中心點上下兩個像素的灰度值逐級遞減,并采用隨機取點的方式將刮痕邊緣像素點的灰度值設置成紋理背景的平均灰度值,保證生成的刮痕與紋理背景之間過渡平滑。

使用上述方法合成的刮痕圖片如圖3所示。

圖3 生成刮痕與原始刮痕效果對比

圖3左圖是原始帶有刮痕的木板圖像,右圖虛線方框內是生成的刮痕,生成的刮痕與原始刮痕的寬度、灰度值等統(tǒng)計信息基本一致,可作為一種數(shù)據增強方法。

2.2 改進Faster RCNN的木板表面刮痕檢測模型

Faster RCNN網絡結構包括特征提取層、RPN層以及分類回歸層3個部分。特征提取層一般采用卷積神經網絡對輸入圖像進行特征圖提取;RPN層在特征圖上生成候選框,并通過候選框回歸篩選出包含目標物體的候選框;分類回歸層將RPN網絡生成的候選框映射到輸入圖像生成候選區(qū)域,并對候選區(qū)域進行缺陷分類與回歸,得到缺陷類別與準確位置。

本文基于Faster RCNN網絡結構,針對刮痕細長且形狀多變的特點引入可形變卷積以及旋轉包圍框,設計新的包圍框框回歸損失函數(shù),提出一種木板表面刮痕缺陷檢測模型,模型整體網絡結構如圖4所示。

圖4 本文提出的模型網絡結構圖

2.2.1 可形變卷積

Faster RCNN特征提取層一般采用多層卷積網絡對輸入的圖像進行特征圖提取,常用的網絡結構包括VGG-16,ResNet50,ResNet101等。ResNet[25]網絡引入短連接,在加深網絡的同時,解決梯度消失和梯度爆炸的難題,保證網絡整體性能的提升。因此,本文使用ResNet50作為特征提取層。

木板表面刮痕形狀具有多樣性,為了增加網絡對刮痕不同形狀的魯棒性,本文將可形變卷積網絡(Deformable Convolutional Networks,DCN)引入ResNet50中。DAI等[26]首先提出可形變卷積,可形變卷積是在傳統(tǒng)的卷積層上添加位移變量,位移變量可以通過反向傳播學習得到,特征圖與位移變量結合形成新的特征圖,將感受野從原始的矩形區(qū)域變成形狀可變的多邊形區(qū)域,從而提升網絡對不同形狀的目標特征提取能力,能夠有效應對幾何圖形的變化,提升了卷積神經網絡的形變建模能力,廣泛應用于目標檢測與語義分割等領域。BERTASIUS等[27]將可形變卷積應用于視頻目標檢測,提高了單幀中存在遮擋或運動模糊的目標檢測性能。WANG等[28]在晶圓缺陷模式識別中引入可形變卷積用于解決晶圓缺陷種類多,形狀多變的難題,實驗結果表明,可形變卷積能夠有效提取缺陷特征,提升晶圓缺陷識別精度。

原始的卷積層輸出:

(5)

式中:po為卷積核中心像素點的坐標,R為卷積核覆蓋的圖像區(qū)域,pi為卷積核內除po以外的其他像素點坐標,x(·)表示(·)的像素值。

引入偏移量后的卷積層輸出:

(6)

引入偏移量之后,原始的卷積核的網格點可以在x、y方向變化,如圖5a所示,因此可形變卷積層具有更豐富的特征表達能力。

圖5 可形變卷積隨刮痕特征變化

圖5b左側圖片表示刮痕的真值包圍框,中間圖片表示ResNet50第5個階段原始3×3卷積在原始圖片上所采樣的點,右側圖片表示ResNet第5階段改為3×3可形變卷積后在原始圖片上所采樣的點。由此可知,與原始卷積相比,可形變卷積在采樣點分布上能夠通過位置變換,貼近目標物體的真實形狀,因此,可形變卷積具有更強的特征提取能力。

ResNet50包含5個階段,每個階段由2個基本的殘差塊組成,殘差塊1的作用是改變網絡的維度,殘差塊2的作用是加深網絡深度。將可形變卷積引入ResNet50中,將殘差塊中的3×3卷積層替換為可形變卷積層,結果如圖6所示。

圖6 引入可形變卷積后的殘差塊

將Faster RCNN原有的卷積層替換成可形變卷積后,ResNet50能夠自動調整尺度或感受野,更好地提取刮痕缺陷的特征,提高了網絡檢測不同形狀刮痕的魯棒性。

2.2.2 旋轉包圍框

水平包圍框在許多場景中存在局限性,如場景文本檢測和遙感對象檢測,以上場景均存在待檢測目標具有較大的長寬比、分布密集和具有一定傾角3個難點。若使用水平包圍框,背景占比遠大于目標占比導致檢測精度降低,改為旋轉包圍框可減少背景占比從而提高識別精度。JIANG等[29]引入旋轉包圍框,提出旋轉區(qū)域卷積神經網絡用于檢測任意方向的文本,實驗結果表明,使用旋轉包圍框的檢測精度與采用水平包圍框相比提高4.12%。LIU等[30]驗證了在遙感對象檢測領域,使用旋轉包圍框進行旋轉物體檢測與水平包圍框相比具有更好的性能及魯棒性。

刮痕檢測與上述3個場景類似,具有較大的寬高比,而且傾角是任意的,若采用傳統(tǒng)的水平包圍框的標注方式,紋理背景占比遠大于刮痕,不利于刮痕缺陷的正確識別。如圖7所示,采用水平包圍框的標注方式,紅色框預測效果較差,但交并比的計算結果大于0.5,因此將被視為正樣本而干擾網絡的預測性能;若用旋轉包圍框的標注方式,紅色預測框的交并比小于0.5,將被作為負樣本舍棄掉,確保網絡參數(shù)朝正確的方向收斂。

圖7 旋轉包圍框與水平包圍框標注對比

圖8 像素分類計算方法示意圖

因此,本文將水平包圍框的標注方式改為旋轉包圍框標注。旋轉包圍框可分為五參數(shù)標注[31]和八參數(shù)標注[32]兩種標注方式。五參數(shù)標注(cx,cy,w,h,θ)在水平包圍框基礎上引入角度參數(shù),cx為包圍框中心x軸坐標,cy為包圍框中心y軸坐標,w為包圍框的寬度,h為包圍框的高度,θ為包圍框的寬度與圖像x軸正方向的夾角,取值范圍是[-90°,0°),其中包圍框的寬度定義為x軸繞y軸坐標最大的頂點逆時針旋轉碰到的包圍框第一條邊。損失函數(shù)常采用Smooth L1損失,由于角度存在周期性以及包圍框高寬交換導致五參數(shù)標注方式的損失函數(shù)存在邊界不連續(xù)以及參數(shù)單位不一致的問題。八參數(shù)標注(x1,y1,x2,y2,x3,y3,x4,y4)直接使用包圍框的4個頂點坐標(xi,yi)(i=1,2,3,4),通過L1損失函數(shù)計算包圍框回歸損失,解決參數(shù)單位不一致的問題,但仍存在邊界不連續(xù)的問題。

邊界不連續(xù)問題關鍵在于計算損失函數(shù)時考慮了角度因素,當包圍框從水平位置逆時針或順時針旋轉時,角度因周期性而產生突變造成損失函數(shù)發(fā)生突變,但是相交面積變化是連續(xù)的。因此,本文在五參數(shù)標注方式的基礎上提出一種基于像素分類的交并比(IoU)計算方法,并基于該方法設計新的包圍框回歸損失函數(shù)。

首先將最大包圍框內的像素點分為4種:包含于預測框、包含于真值框、包含于預測框和真值框、既不包含于真值框也不包含于預測框。像素(i,j)的屬于真值框概率的計算方式如下:

(7)

其中:gt表示真值;bboxgt表示真值包圍框;wgt和hgt表示真值框的寬度和高度,dw和dh可通過式(8)求得。

(8)

其中:(i,j)為待分類像素點坐標,(cxgt,cygt)為真值框中心點坐標,αgt可通過θgt求得。按式(7)和式(8)同樣可求得像素(i,j)∈bboxp的概率p((i,j)∈bboxp)。

當像素點在包圍框內部時,上述概率趨近于1;當像素點在包圍框外部時,概率趨近于0,因此包圍框內部像素點個數(shù)近似等于預測概率之和。新的IoU可通過式(9)計算求得:

(9)

因此,新的回歸損失函數(shù)可定義為:

nLoss=-∑lnnIoU。

(10)

新的回歸損失函數(shù)nLoss在計算過程中僅考慮相交面積的變化,不存在邊界不連續(xù)的問題,且計算nLoss的過程公式都是可導的,因此反向傳播過程也是可導的。nLoss能正確反映兩個包圍框的交并關系,隨著損失函數(shù)的不斷下降,確保預測框向真值框回歸,適用于旋轉包圍框的回歸訓練。

3 實驗結果與分析

3.1 數(shù)據集標注

數(shù)據集包括真實數(shù)據集和合成數(shù)據集。真實數(shù)據集圖像采集于紹興市杰品木塑有限公司木板生產線,包含705張2 400×1 700大小的不同紋理背景木板表面圖像。采用512×512的滑動窗口對木板圖像進行裁剪,裁剪后包含刮痕缺陷的1 323張圖像作為真實缺陷數(shù)據集,對不包含刮痕缺陷的3 428張圖像使用刮痕生成方法生成隨機數(shù)量刮痕作為合成缺陷數(shù)據集。

對于真實木板數(shù)據集,采用roLabelImg進行標注,roLabelImg在labeling的基礎上增加旋轉包圍框標注的功能,生成VOC格式的標注數(shù)據。對于合成木板數(shù)據集,在生成刮痕的同時,直接生成旋轉包圍框的標注文件,方法步驟如下:

步驟1根據生成的刮痕獲得刮痕曲線的多邊形凸包。

步驟2將凸包兩個相鄰的點連線作為旋轉包圍框的一條邊。

步驟3尋找凸包上距離已得的邊的最遠點,過該點做平行線獲得旋轉包圍框的第二條邊。

步驟4將凸包上的點向已求得的邊作投影,求得投影點相距最遠的兩個點,過兩點作直線作為包圍框的另外兩條邊。

步驟5遍歷凸包所有相鄰兩點,重復步驟2～步驟4,將面積最小的包圍框作為最終的標注框。

步驟6將得到的標注框4個頂點求均值得到包圍框的中心點坐標(cx,cy),計算5個頂點中y軸坐標最大的頂點所在的兩條邊與x軸正方向的夾角,取值范圍在[-90°,0°)作為旋轉角度θ,對應的邊為w,相鄰的邊為h,從而得到五參數(shù)標注(cx,cy,w,h,θ)的旋轉包圍框。

將真實木板圖像手動標注得到的旋轉包圍框以中心點對其長邊(w或h)和短邊進行同比例隨機縮放,縮放比例在90%～110%之間,用于解決可能存在的人工標注不準確的情況;對于合成木板圖像,自動生成的旋轉包圍框是以刮痕的邊界點通過相關運算得到的,包圍框的短邊會出較小的值從而具有很大的長寬比,特征提取效果變差。因此,對合成木板圖像的旋轉包圍框縮放時短邊使用120%～140%比例,長邊使用110%～120%的比例。為驗證包圍框隨機縮放的有效性,進行對比試驗,結果表明,包圍框經過縮放的訓練集訓練的模型與未經過縮放的訓練集訓練出的模型相比,準確率提升0.42%,召回率提升1.13%。

將標注后的80%真實木板圖像和全部的合成木板圖像混合,按照9∶1的比例隨機劃分為訓練集,驗證集,將真實圖像剩余的20%作為測試集用于模型測試。

3.2 模型參數(shù)選擇

經過調參選擇,最終采用的部分模型訓練參數(shù)如下:記憶因子(momentum)為0.9,小批量訓練尺寸(batch size)為16,最大迭代次數(shù)為1 000次,學習率(learning rate)為0.000 3,衰減迭代次數(shù)(decay step)為400和800,權重衰減因子(weight decay)為0.000 1,錨框高寬比為[1,1/2,2,1/3,3,1/4,4,1/5,5,1/6,6,1/7,7]。

模型訓練環(huán)境如下:Nvidia Geforce GTX 1080 Ti,i7-8700 CPU,模型框架基于tensorflow,訓練過程模型損失函數(shù)變化如圖9所示。

圖9 模型準確率及損失函數(shù)變化圖

如圖9a所示的菱形折線圖代表模型總損失隨訓練次數(shù)的變化,總損失包括定位損失和分類損失,定位損失即為2.2.2節(jié)提出的nLoss函數(shù),分類損失采用交叉熵損失函數(shù),兩個損失函數(shù)的變化情況如圖9b所示,從圖中可以看出,兩個損失函數(shù)均隨著訓練次數(shù)的增加迅速收斂,最終總損失函數(shù)值穩(wěn)定在0.01左右。圖9a中的三角形折線表示模型在驗證集上的識別準確率隨訓練次數(shù)的變化,隨著訓練次數(shù)的增加,準確率迅速提升并逐步穩(wěn)定在97%以上。

3.3 模型測試

為驗證訓練好的模型對真實木板表面刮痕的檢測性能與對不同紋理背景的刮痕檢測泛化能力,將訓練好的模型在測試集上進行測試。測試集只包括真實的木板圖像,采集于紹興市杰品木塑公司實際木板加工生產線,共包含14種紋理背景的木板圖像,其中有4種紋理背景未在訓練集出現(xiàn),每種紋理背景包含6張存在刮痕缺陷和4張無刮痕缺陷的圖像,共有140張圖像。使用本文提出的模型對測試集進行刮痕檢測,檢測結果如表2所示。

表2 測試集缺陷檢測結果

表2中的漏檢數(shù)指木板表面存在刮痕,但是模型未識別出來的圖片數(shù)量;錯檢數(shù)是指模型錯誤將紋理背景識別成刮痕的圖片數(shù)量;正檢率代表模型正確識別出木板表面刮痕的圖片占圖片總數(shù)的百分比。從表2可以看出,本文提出的模型在測試集上的正檢率為95.71%。其中,當待檢測圖像紋理背景與訓練集相同時,真實刮痕正檢率達到98%,充分驗證了本文提出的刮痕生成方法作為一種數(shù)據增強方法的有效性;當紋理背景與訓練集不同時,正檢率有所下降,表明模型檢測能力在紋理背景發(fā)生變化時,檢測能力有所下降,但正檢率仍在90%左右,表明本文提出的模型在檢測具有不同的紋理背景的木板表面刮痕時具有不錯的泛化能力。不同紋理背景的木板表面刮痕檢測效果如圖10所示。

圖10 不同紋理背景的木板表面刮痕缺陷檢測

3.4 消融實驗

為驗證本文將可形變卷積與旋轉包圍框標注方式引入Faster RCNN進行改進是否有效,以及改進的雙邊濾波算法是否能增強模型對不同紋理背景下的刮痕檢測能力,本文設計了消融實驗。為驗證可形變卷積的有效性,本文設計實驗1,在相同的參數(shù)下將模型殘差塊中的3×3可形變卷積層替換為原始的3×3卷積層,并在測試集上進行測試。為驗證旋轉包圍框的以及新提出的回歸損失函數(shù)是否能提升模型對刮痕的檢測能力,設計水平包圍框+原始IoU損失函數(shù)的實驗2。為驗證改進雙邊濾波算法是否能提升網絡對不同紋理背景下刮痕檢測的泛化能力,設計實驗3,將未經過紋理背景平滑的圖像輸入到模型進行訓練,使用不同紋理背景的圖像對模型進行測試。上述3組實驗結果如表3所示。

表3 本文提出的模型改進措施對比

從表3可以看出,將水平包圍框改為旋轉包圍框的標注方式對模型的平均正檢率提升最大,且單張圖像平均檢測時間僅增加了0.02 s,對模型性能提升效果最明顯;可形變卷積層將模型檢測精度提升了3%,單張平均檢測時間增加了0.13 s,對模型的泛化能力提升效果不明顯。當測試集圖像紋理背景與訓練集相同時,是否經過紋理背景平滑預處理對模型檢測精度影響很小,但是當測試集的木板圖像的紋理背景與訓練集不同時,經過紋理背景平滑后再進行刮痕檢測,檢測精度大幅度提升,因此,紋理背景平滑對提升模型的泛化能力具有非常重要的作用。

為驗證模型關鍵參數(shù)敏感性,對可形變卷積層數(shù)和預定義錨框數(shù)量進行消融實驗。實驗結果如表4所示。在不同的策略中,“3,4,5”表示將ResNet50的3～5階段的3×3卷積替換為可形變卷積,“√”表示本文采用的參數(shù)策略,錨框數(shù)量中括號內表示預設錨框的長寬比,“×3”代表每種長寬比的數(shù)量是3個。由實驗結果可知,在語義信息不明確的情況下增加可形變卷積層可能會導致假陽性樣本增多,從而導致準確率和召回率降低,而且增加可形變卷積層數(shù)量會導致計算量增大,訓練時間和單張圖像平均檢測時間增長。因此,本文僅將ResNet5第5階段的3×3卷積替換為可形變卷積,以保證可形變卷積核的位移量能夠從更好的特征進行學習并減少模型計算量。因為刮痕缺陷具有較大的長寬比,進行消融實驗時采取了較大的錨框比,結果表明增加隨著錨框數(shù)量的增加,模型準確率和召回率均有所提升,訓練時間和單張圖像檢測時間也相應增大,但是當錨框數(shù)量繼續(xù)增加時,準確率基本不變,召回率有所下降,訓練時間和單張圖像檢測時間繼續(xù)增大,所以本文使用錨框高寬比為[1,1/2,2,1/3,3,1/4,4,1/5,5,1/6,6,1/7,7],每種比例的錨框數(shù)量為3。

表4 可形變卷積層數(shù)和錨框數(shù)量對模型性能的影響

3.5 與其他模型比較

為進一步驗證本文提出的模型在刮痕檢測方面的優(yōu)越性,對于近幾年提出的刮痕檢測方法[33-34]以及性能優(yōu)越的單階段和雙階段目標檢測網絡[19,35-38]進行了對比實驗,對其算法進行復現(xiàn)并使用本文的訓練集進行重新訓練,評價指標采用目標檢測領域常用的準確率(Precision)、召回率(Recall)、模型訓練時間和單張圖片檢測時間,測試結果如表5所示。

表5 本文提出的模型與其他算法對比

從表5可以看出,本文提出的模型識別準確率和召回率均高于其他算法,與雙階段目標檢測網絡性能較優(yōu)的Cascade R-CNN、CBNet以及DetectoRS相比,本文提出的模型與性能最好的相比準確率提高3.15%,召回率提高2.02%,說明本文提出的改進措施對模型刮痕檢測能力有較大的提升。本文提出的模型與采用輕量級骨干網絡VGG-16的U-Net、EfficientDet以及YOLO v4相比,訓練時間和單張圖片平均檢測時間有所提升,但準確率和召回率遠高于單階段目標檢測網絡。另外,本文提出的模型單張圖片的平均檢測時間是0.41 s,能夠滿足木板加工生產線的實時性要求。

4 結束語

本文提出一種基于Faster RCNN的缺陷檢測模型,用于識別和定位具有復雜紋理的木板表面刮痕缺陷。為提升模型對不同紋理背景下的刮痕檢測能力,本文提出3種改進措施:

(1)提出改進雙邊濾波算法對圖像紋理背景進行平滑處理;為解決刮痕樣本數(shù)目少的問題,提出灰度自適應刮痕生成方法進行數(shù)據增強;

(2)引入可形變卷積提升模型對不同刮痕形狀的特征提取能力;

(3)針對水平包圍框下刮痕占比遠小于紋理背景占比的問題,引入旋轉包圍框并設計新的包圍框回歸損失函數(shù)。

將本文提出的模型在真實的木板表面刮痕數(shù)據集上進行測試,模型的平均正檢率達到95.71%,使用新的紋理背景木板圖像進行測試,正檢率為90%,表明模型具有不錯的泛化能力。對比實驗驗證了本文提出的改進措施對模型刮痕檢測能力有較大的提升,并將模型與其他性能優(yōu)越的算法進行對比,驗證了本文提出的模型在木板表面刮痕檢測方面的優(yōu)越性。除了以上結論,作者在實驗過程中還遇到了一些研究問題,計劃在后續(xù)工作中解決。首先是密集刮痕識別問題,如果兩個刮痕距離過近,會被識別成一個刮痕;其次是交叉刮痕識別問題,對于兩條交叉的刮痕,預測的包圍框并不能完整包圍兩條刮痕。后續(xù)會針對以上問題展開針對性研究。