基于深度學習的人造板表面缺陷檢測研究?

魏智鋒 肖書浩 蔣國璋 伍世虔 程國飛

（1.武漢科技大學機械自動化學院冶金裝備及其控制教育部重點實驗室，湖北 武漢 430081； 2.武昌首義學院機械與自動化學院，湖北 武漢 430068; 3.中山火炬職業(yè)技術學院，廣東 中山 528436）

人造板表面質量的好壞，直接影響后續(xù)產(chǎn)品的制造質量。但在生產(chǎn)過程中，不可避免地會產(chǎn)生一些缺陷。這些缺陷會嚴重影響產(chǎn)品質量，給企業(yè)造成經(jīng)濟損失。因此對人造板進行缺陷檢測極為重要。目前大多采用人工檢測方法，而人造板連續(xù)壓機生產(chǎn)線高速運行，板材流通量大，人工檢測工作強度大，易產(chǎn)生錯檢、漏檢，檢測率低。因此，亟需提供一套檢測方法，以滿足人造板表面缺陷檢測實時性、高精度要求[1-3]。

目前已有一些基于經(jīng)典視覺數(shù)據(jù)的檢測方法，如基于剪枝決策樹的人造板表面缺陷識別方法[4]、基于區(qū)域篩選分割和隨機森林的人造板缺陷識別方法[5]、人造板表面缺陷檢測圖像自適應快速閾值分割算法[6]、基于灰度共生矩陣和分層聚類的人造板表面圖像缺陷提取方法[7]和人造板在線同步圖像采集系統(tǒng)設計與實現(xiàn)[8]。這些方法均需手工選取人造板表面某些關鍵參數(shù)或制作特征，存在泛化能力不高、特征層次較淺的缺點。深度學習[9]特別是卷積神經(jīng)網(wǎng)絡具有特征層次深、檢測準確率高、魯棒性好等優(yōu)點，已被逐步應用到各領域的目標檢測中[10]?；谏疃葘W習的目標檢測模型主要分為兩類：一類是基于區(qū)域建議方法的R-CNN模型[11]、Fast R-CNN模型[12]和Faster R-CNN模型[13]等；另一類是基于回歸方法的SSD[14]以及YOLO模型等[15]。SSD模型是檢測精度相對較高的網(wǎng)絡結構，運行速度快，且能做到實時檢測。

本文提出一種基于改進的SSD深度學習模型的人造板表面缺陷分類檢測方法，利用該模型可達到同時進行多類多個缺陷檢測的目的，為人造板表面缺陷的實時檢測提供技術支持。

1 材料與方法

1.1 數(shù)據(jù)采集及分類

試驗所用的人造板樣本均來自韶關工廠，所用人造板表面缺陷圖像訓練數(shù)據(jù)均為試驗中采集的數(shù)據(jù)。缺陷圖像是在自然光照條件下，在改裝的人造板檢測帶上采取俯視視角拍攝而得，其圖像分辨率為300×300像素。缺陷圖像包含5 種，分別為粗刨花、膠斑、砂痕、水印和雜物缺陷。圖1 為在實驗室中搭建的人造板缺陷檢測系統(tǒng)。

圖1 人造板缺陷檢測系統(tǒng)Fig.1 Wood-based panels defect detection system

1.2 數(shù)據(jù)集生成及預處理

本文使用Labellmg對圖像樣本進行標定。為了提高訓練效果，使模型的泛化性能得到提升，對數(shù)據(jù)集使用數(shù)據(jù)增強方法。鑒于更換不同方向和角度都不會改變圖像樣本特征,本文使用水平翻轉與垂直翻轉2 種數(shù)據(jù)增強方法。在標注過程中總共對3 216 張圖片中的4 956 個目標對象進行標注，并將所有圖片按照VOC2007數(shù)據(jù)格式進行批量重命名，統(tǒng)一設置為jpg格式。在訓練和測試之前，首先將3 216 張包含各類缺陷的圖像歸一化處理為300×300×3（300×300 表示圖像分辨率，3 表示有RGB 3 個顏色通道）尺寸。部分圖像如圖2 所示，具體的數(shù)據(jù)集制作流程如圖3 所示。

圖2 部分采集圖像Fig.2 Partially acquired image

圖3 數(shù)據(jù)集制作流程Fig.3 Data set production process

為了生成測試數(shù)據(jù)集，從帶注釋的圖像數(shù)據(jù)集中選取20%的圖像作為測試集。測試集包含需檢測的所有5 種缺陷圖像，且每種缺陷類型的圖像數(shù)量大致相同。對標記完的圖片進行微調，將圖片信息和xml格式的文件分別保存并分成訓練集和測試集。人造板表面缺陷圖像測試集、訓練集的數(shù)量如表1 所示。

表1 訓練集和測試集的數(shù)量Tab.1 Number of training sets and test sets

1.3 試驗平臺

本試驗基于64 位windows10 操作系統(tǒng)： GPU型號為11GB GPU GeForce GTX 1080Ti，CPU型號為Core i7-7700k @ 4.2 GHz CPU，內存為32 GB DDR4。軟硬件平臺通過python語言搭建，采用基于PyTorch深度學習框架，并使用CUDA 8.0 版本的計算框架。

2 人造板表面缺陷分類檢測與模型評價指標

SSD方法的原理是基于一個前向卷積網(wǎng)絡，生成一組固定大小的包圍盒和盒子中的大量對象類實例，然后通過非最大抑制步驟生成最終檢測。使用VGG作為基礎網(wǎng)絡，整體架構如圖4 所示。

圖4 SSD框架Fig.4 Architecture of SSD

2.1 MobileNet-SSD人造板表面缺陷檢測

MobileNet網(wǎng)絡是為在有限硬件條件下提高深度學習的實時性能而開發(fā)[16]。該網(wǎng)絡可以在不犧牲精度的前提下減少參數(shù)個數(shù)。本文采用該輕量級網(wǎng)絡代替SSD中的VGGNet作為基礎卷積神經(jīng)網(wǎng)絡。

圖5 顯示了MobileNet的基本卷積結構。Conv_Dw_Pw是一個深度可分離的卷積結構。它由深層卷積層（Depthwise Layer,Dw）和點卷積層（Pointwise layer，Pw）組成。Dw使用3×3 卷積核的深層卷積層，而Pw使用1×1 卷積核的普通卷積層。每一個卷積結果都由批量歸一化(Batch Normalization, BN)算法[15]和激活函數(shù)校正線性單元（ReLU）處理。BN算法通過設置兩個學習參數(shù)來調整數(shù)據(jù)分布，避免了梯度消失和復雜參數(shù)（如學習率和Dropout比例等）的設定。

圖5 MobileNet的基本卷積結構Fig.5 MobileNet's basic convolution structure

MobileNet卷積的計算式為：

標準卷積的計算式為：

為滿足工業(yè)生產(chǎn)的速度要求，本文將二者結合起來，提高了SSD的計算速度。根據(jù)計算代價，MobileNet只需要視覺幾何組16（VGG-16）的1/33 的參數(shù)就可以達到相同的分類精度。在訓練過程中，每一層都存在一個批范數(shù)和ReLU非線性，提高了網(wǎng)絡的收斂速度和提取特征的穩(wěn)定性。另外，加入ReLU非線性，提高了特征映射在擬合結束后的表現(xiàn)能力。由于節(jié)省了卷積運算，SSD的速度提高了約1.3 倍，精度損失僅為0.1%，使得網(wǎng)絡對實時缺陷檢測的響應更加靈敏[19]。

2.2 Inception網(wǎng)絡

GoogLeNet中使用的一個特殊結構叫Inception，是一種在ImageNet 2014 年大型視覺識別挑戰(zhàn)(ILSVRC14)中設置分類和檢測的最新技術。該體系結構的主要特點是提高了網(wǎng)絡內部計算資源的利用率。它允許增加網(wǎng)絡的深度和寬度，同時保持計算預算不變。本文網(wǎng)絡的初始狀態(tài)如圖6 所示。輸入有4 個分支，分別與不同大小的濾波器進行卷積或合用，最后在特征維上縫合在一起。這樣在多個尺度上同時進行卷積，可以提取出不同尺度的特征。更多的特征豐富度意味著最終分類判斷更為準確。在3×3 和5×5 卷積之前，使用1×1 卷積計算縮減[20]。

圖6 網(wǎng)絡中的InceptionFig.6 Inception in the network

SSD網(wǎng)絡將來自多個分辨率不同的功能圖預測結合起來，處理不同大小的對象。每個添加的特征層（或者來自基礎網(wǎng)絡的現(xiàn)有特征層）可以使用一組卷積濾波器，產(chǎn)生一組固定的檢測預測。為提高網(wǎng)絡速度，本研究用一組可分離的深度層代替了基本網(wǎng)絡，但是這種結構為了節(jié)省計算量犧牲了特征提取能力。對于工廠實際生產(chǎn)來說，檢測速度和檢測精度同等重要，因此可以選擇利用Inception替換來自基礎網(wǎng)絡的現(xiàn)有特征層，以在精度和速度之間保持平衡。

早期網(wǎng)絡是基于MobileNet和Inception中用于高質量圖像分類的可分離深度卷積，稱為基礎網(wǎng)絡。本文將SSD中的基礎網(wǎng)絡構造為3×3 的可分離卷積和初始?；揪W(wǎng)絡由MobileNet的前13 層組成，并用Inception替換Conv_ds_。這些層的大小逐漸減小，可用于多尺度預測。每個添加的特征層（或者來自基礎網(wǎng)絡的現(xiàn)有特征層）可以使用一組3×3 卷積濾波器產(chǎn)生一組固定的檢測預測[21]。在基礎網(wǎng)絡的端部增加5 個卷積特征層。該網(wǎng)絡將來自多個分辨率不同的特征映射的預測結合起來，以自然地處理不同大小的對象。整體網(wǎng)絡模型如圖7 所示。

圖7 整體網(wǎng)絡模型Fig.7 Overall network model

2.3 評價指標

目前通常用平均精度均值（mAP）衡量檢測算法的精度，將平均精度（AP）作為每一類別的檢測精度的評價指標。mAP、AP與準確率（precision , P）、召回率(recall, R)有關[22]，計算公式如下：

式中，TP代表正類，即被模型預測為正的正樣本數(shù)量；FP代表被錯誤劃分到正樣本的數(shù)量，F(xiàn)N代表被錯誤劃分到負樣本的數(shù)量。

對于目標檢測每個類別都可以得到一條查準率-召回率（P-R）曲線，曲線下的面積就是平均精度AP值，其積分公式為：

將所有類別的AP值求平均，即為mAP值，其公式為：

式中，M代表類別總數(shù)，AP（k）代表第k類的AP值。

速度評估指標采用模型檢測一幅圖所耗費的平均時間，即平均檢測時間，單位為ms。

3 模型訓練過程

根據(jù)調參策略，對在ImageNet上預訓練的模型參數(shù)進行微調。在模型訓練過程中，優(yōu)化器使用SGD（stochastic gradient descent）算法，初始學習率（learning rate）設置為0.001,動量(momentum)設置為0.9,權重衰減(weight decay)為0.000 5,batch_size設置為32。新增的卷積網(wǎng)絡使用xavier方式初始化。設置迭代次數(shù)為80 000 次,正樣本閾值為0.4。

圖8 訓練損失函數(shù)曲線 Fig.8 Training loss function curve

模型訓練過程為：從VOC2007 數(shù)據(jù)集中選取訓練集和測試集。對本文SSD-MobileNet模型應用上面選取的5 類目標數(shù)據(jù)進行檢測，通過訓練調參，多輪迭代得到最優(yōu)結果。訓練過程損失函數(shù)變化如圖8 所示，隨著迭代次數(shù)epoch增加，損失函數(shù)值Loss逐漸下降。在迭代次數(shù)達到15 000 次時，Loss值基本趨于穩(wěn)定。

4 結果與分析

在相同的訓練集和測試集條件下，對本文模型和現(xiàn)有SSD以及其他再訓練模型的檢測結果進行比較。用圖片傳輸速率（FPS）衡量現(xiàn)有硬件條件下不同模型處理數(shù)據(jù)的速度。

圖9 模型的部分檢測結果Fig.9 Partial test results of the model

模型的部分檢測結果如圖9 所示，其中邊框區(qū)域表示檢測缺陷的位置，并標出了該缺陷的類型及其對應的概率值。

用訓練好的模型對新拍攝的197 張?zhí)幚砗蟪叽鐬?00×300 像素的照片進行測試，具體測試結果如表2所示。該模型比初始SSD網(wǎng)絡模型在單個分類檢測上的AP高出2.93%～7.14%，mAP高出4.32%，檢測速度高出約1.2 倍。

表2 改進網(wǎng)絡模型檢測結果對比Tab.2 Improved comparison of network model test results

如表3 所示，采用3 種不同的特征提取網(wǎng)絡ResNet18[23]、 VoVNet39[24]、ESPNetV2[25]與本文的網(wǎng)絡模型進行分類效果對比試驗。根據(jù)評價模型的準確性與魯棒性可知，本文網(wǎng)絡模型的mAP相較其他特征提取網(wǎng)絡要高出2.25%～3.52%,更為精準；且在檢測速度上明顯高于VoVNet39 和ESPNetV2,比ResNet18 高出2 幀/s。說明本文網(wǎng)絡模型在實時檢測的精度和速度上都有明顯的優(yōu)勢。

表3 4 種特征提取網(wǎng)絡檢測效果對比Tab. 3 Comparison of four kinds of feature extraction network detection effects

5 結論

本文提出一種基于Inception的MobileNet-SSD人造板表面缺陷檢測方法。使用附加到多個特征映射的Inception以提高網(wǎng)絡區(qū)分不同缺陷的能力。經(jīng)過對建立的表面缺陷數(shù)據(jù)集的訓練，可實現(xiàn)人造板表面粗刨花、水印、砂痕、雜物、膠斑缺陷的分類檢測。本文網(wǎng)絡模型的mAP達到93.76%，檢測速度為75幀/s。通過與其他3種特征提取網(wǎng)絡進行對比可知，檢測模型效果較為理想，可為人造板表面缺陷的實時檢測提供參考方案。