深度學(xué)習(xí)在表面質(zhì)量檢測方面的應(yīng)用

肖書浩 ，吳 蕾 ，何 為 ，彭 煜

（1.武昌首義學(xué)院，湖北 武漢 430064；2.武漢科技大學(xué)，湖北 武漢 430081）

1 引言

工業(yè)產(chǎn)品對(duì)表面質(zhì)量有著很高的要求，不僅因?yàn)槊烙^，也因?yàn)楸砻尜|(zhì)量還會(huì)影響產(chǎn)品功能。比如，熱軋鋼板的表面有缺陷，會(huì)使得鋼板的強(qiáng)度受到很大影響。當(dāng)機(jī)器視覺還沒有在工業(yè)領(lǐng)域普及的時(shí)候，工業(yè)產(chǎn)品的表面質(zhì)量主要靠人工檢測，這不僅增加了工人的勞動(dòng)強(qiáng)度，也使得表面質(zhì)量檢測變得不可靠（因?yàn)槿说淖⒁饬Σ豢赡荛L時(shí)間集中）。

基于機(jī)器視覺的工業(yè)產(chǎn)品表面質(zhì)量檢測有很多的算法，從時(shí)間上可以大致分為兩個(gè)大的階段：傳統(tǒng)機(jī)器學(xué)習(xí)方法和卷積神經(jīng)網(wǎng)絡(luò)方法。其區(qū)別為：前者需要進(jìn)行人工特征提取，而后者不需要。

1.1 傳統(tǒng)機(jī)器學(xué)習(xí)方法

傳統(tǒng)的機(jī)器學(xué)習(xí)方法分為兩個(gè)步驟：首先提取圖像的若干特征，這樣每個(gè)圖像就可以用一個(gè)特征向量來表示；然后利用分類算法將這些特征向量進(jìn)行分類。

1.1.1 特征提取

文獻(xiàn)[1-2]利用視覺顯著性來提取表面質(zhì)量圖片特征。視覺顯著性指通過算法模擬人的視覺特點(diǎn)，提取圖像中的顯著區(qū)域。表面缺陷相比其他部分有很大的不同，比較適合用視覺顯著性算法來提取特征。文獻(xiàn)[1]將圖像分成較小的圖塊，通過以下四方面分析視覺顯著性：（1）圖塊與所有圖像平均圖塊的顯著性；（2）圖塊在所屬圖像中的顯著性；（3）圖塊在顏色上的顯著性；（4）圖塊在圖像位置上的顯著性。文獻(xiàn)[2]通過稀疏建模提取圖像圖塊的特征模板，然后對(duì)輸入圖像進(jìn)行特征提取，得到特征矩陣，再將特征矩陣分解為低秩矩陣和稀疏矩陣。低秩矩陣代表圖像背景，稀疏矩陣代表圖像顯著部分，從而完成圖像顯著性特征提取。形態(tài)學(xué)分析在圖像處理與識(shí)別中得到廣泛的應(yīng)用，文獻(xiàn)[3]利用形態(tài)學(xué)對(duì)鋼坯表面高度圖像進(jìn)行分析，提取缺陷特征。二維傅里葉變換和小波變換能夠提取圖像的頻譜信息，文獻(xiàn)[4-7]使用二維傅里葉變換和小波變換提取產(chǎn)品表面圖片的特征，特別是小波分析可以表現(xiàn)紋理豐富的時(shí)頻信息，常被用來作為表面缺陷識(shí)別提取特征的工具。文獻(xiàn)[4]利用二維傅里葉變換來分離太陽能電池電致發(fā)光圖像中的正常部分和缺陷部分，從而達(dá)到提取缺陷特征的目的。文獻(xiàn)[7]構(gòu)造5個(gè)尺度8個(gè)方向Gabor濾波器組，原始磁瓦圖像經(jīng)過Gabor變換得到40副子圖，將它們的均值和方差作為磁瓦的特征。文獻(xiàn)[8]利用灰度特征、紋理特征和幾何形狀特征共20維特征值。文獻(xiàn)[9]利用分形維度理論提取圖像不同尺度下的維度作為特征用于熱軋帶鋼表面缺陷的自動(dòng)識(shí)別。也有使用組合方法提取特征的。文獻(xiàn)[6]先用Gabor小波提取小波分量子圖，然后再使用子圖的灰度共生矩陣提取特征。

1.1.2 分類算法

在傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法中，概率統(tǒng)計(jì)方法占據(jù)著重要位置。文獻(xiàn)[10]利用貝葉斯最小風(fēng)險(xiǎn)決策理論，通過提取焊接電極位移圖像特征，實(shí)現(xiàn)了自動(dòng)焊接質(zhì)量評(píng)估。文獻(xiàn)[11]研究了利用木材加工表面圖像的紋理特征直方圖，對(duì)木材加工質(zhì)量進(jìn)行評(píng)級(jí)。文獻(xiàn)[12]利用局部二進(jìn)制模式（localbinarypattern，LBP）直方圖，識(shí)別帶鋼表面缺陷。將帶鋼圖像分成若干圖塊，計(jì)算圖塊的LBP直方圖，若直方圖的最大值大于閾值，就認(rèn)為該圖塊有缺陷。

支持向量機(jī)分類方法因?yàn)槠溆?xùn)練需要樣本少、速度快且泛化性能好，在表面質(zhì)量檢測中被廣泛應(yīng)用[6-7，13-14]。文獻(xiàn)[13]通過提取圖像缺陷的形態(tài)（形狀、大小和位置）為特征，使用支持向量機(jī)方法識(shí)別熱軋鋼表面缺陷。文獻(xiàn)[14]使用改進(jìn)的LBP方法（AECLBP）提取局部特征并計(jì)算直方圖，然后用SVM方法進(jìn)行分類。

人工神經(jīng)網(wǎng)絡(luò)（Artificial neural networks，ANN）模擬人類大腦神經(jīng)元的工作方法，有著強(qiáng)大的分類能力，有研究工作把ANN應(yīng)用到表面質(zhì)量檢測方面[15，16]。訓(xùn)練ANN需要有大量的有標(biāo)簽的樣本。文獻(xiàn)[15]建造了一個(gè)有兩個(gè)隱含層（分別有50和3個(gè)神經(jīng)元）的人工神經(jīng)網(wǎng)絡(luò)，輸入12個(gè)特征，識(shí)別帶鋼的三類表面缺陷。

1.2 卷積神經(jīng)網(wǎng)絡(luò)方法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）與傳統(tǒng)機(jī)器學(xué)習(xí)方法最大的優(yōu)勢就是不需要人工設(shè)計(jì)特征，也不需要閾值，所有的模型參數(shù)都是通過樣本訓(xùn)練得到。卷積神經(jīng)網(wǎng)絡(luò)可以直接輸入圖片，然后得到識(shí)別結(jié)果。文獻(xiàn)[17]用卷積神經(jīng)網(wǎng)絡(luò)（3層神經(jīng)網(wǎng)絡(luò)）對(duì)鋼板進(jìn)行表面缺陷識(shí)別。文獻(xiàn)測試了不同樣本集圖片大小對(duì)訓(xùn)練精度的影響，發(fā)現(xiàn)較小的圖片尺寸訓(xùn)練精度更高。文獻(xiàn)[18]構(gòu)造了一個(gè)CNN（14層神經(jīng)網(wǎng)絡(luò)）用來識(shí)別鋼帶表面缺陷。為了增加數(shù)據(jù)集的數(shù)量，文獻(xiàn)使用了數(shù)據(jù)增強(qiáng)技術(shù)，實(shí)驗(yàn)結(jié)果表明這種數(shù)據(jù)增強(qiáng)技術(shù)有效提高了識(shí)別準(zhǔn)確率。

研究發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)越深，它的學(xué)習(xí)能力越強(qiáng)，這就是所謂的深度神經(jīng)網(wǎng)絡(luò)。所使用的就是深度神經(jīng)網(wǎng)絡(luò)。

2 深度神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）是指多層人工神經(jīng)網(wǎng)絡(luò)，它很好模擬了人類思維的層次性（從具體的底層概念到抽象的高層慨念）。依賴深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)（Deep Learning，DL）[19，20]在各個(gè)領(lǐng)域（圖像識(shí)別、語音識(shí)別、文本分析等）取得了空前的成功，全面超過了傳統(tǒng)的機(jī)器學(xué)習(xí)算法，推動(dòng)了AI技術(shù)的發(fā)展。但深度學(xué)習(xí)在工業(yè)領(lǐng)域的應(yīng)用卻遠(yuǎn)遠(yuǎn)落后于醫(yī)療、自動(dòng)駕駛和安防等領(lǐng)域。其原因有：第一，很難為每一個(gè)具體的應(yīng)用收集和標(biāo)注訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)所需要的十萬級(jí)甚至百萬級(jí)樣本數(shù)據(jù)；第二，深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練計(jì)算需要耗費(fèi)巨大的計(jì)算資源。為了解決深度學(xué)習(xí)在少樣本領(lǐng)域的應(yīng)用，遷移學(xué)習(xí)（Transfer Learning）[20]應(yīng)運(yùn)而生。遷移學(xué)習(xí)就是將任務(wù)相近的已經(jīng)訓(xùn)練好的模型應(yīng)用到新的任務(wù)中，這些模型都是基于超大數(shù)據(jù)集訓(xùn)練出來的，有很好的泛化能力。

2.1 GoogLeNet深度神經(jīng)網(wǎng)絡(luò)模型

GoogLeNet[21]是基于CNN的深度神經(jīng)網(wǎng)絡(luò)的一個(gè)里程碑模型。在GoogLeNet之前，模型把CNN層堆積得越來越多，期望獲得更好的效果，這樣使得模型的參數(shù)很多。GoogLeNet為了減少模型的規(guī)模，使用了一種特殊的局部拓?fù)浣Y(jié)構(gòu)，即并行使用多個(gè)較小的卷積或池化操作，然后將輸出結(jié)果進(jìn)行拼接，這不僅減少了參數(shù)數(shù)量，同時(shí)還獲得了較好的圖像表征。GoogLeNet從輸入到輸出的數(shù)據(jù)變化過程示意圖，如圖1所示。輸入為圖像矩陣，輸出為一個(gè)1000維的向量，對(duì)應(yīng)要識(shí)別的1000種物品。使用的是GoogLeNet Inceptionv3版本在ImageNet數(shù)據(jù)集上訓(xùn)練后得到的模型。

圖1 GoogLeNet神經(jīng)網(wǎng)絡(luò)示意圖Fig.1 Schematic Diagram of GoogLeNet Neural Network

2.2 遷移學(xué)習(xí)用于產(chǎn)品表面質(zhì)量模型

將遷移學(xué)習(xí)應(yīng)用到工業(yè)領(lǐng)域產(chǎn)品表面質(zhì)量的方案示意圖，如圖2所示。將已訓(xùn)練好的模型GoogLeNet（Inveption v3，去掉最后面的識(shí)別層）作為特征提取工具，再利用少量數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的特定層。

圖2 將遷移學(xué)習(xí)用于表面質(zhì)量檢測方案示意圖Fig.2 Transfer Learning for Surface Quality Inspection Plan

3 實(shí)驗(yàn)與分析

3.1 熱軋帶鋼表面質(zhì)量檢測

熱軋帶鋼是指通過熱軋方式生產(chǎn)的帶材和板材，在工業(yè)生產(chǎn)中得到了廣泛應(yīng)用。熱軋帶鋼在生產(chǎn)過程中，由于種種原因會(huì)產(chǎn)生一些表面缺陷。為了保證熱軋帶鋼的合格，必須在生產(chǎn)流水線上進(jìn)行在線檢測，早期這些檢測都是依靠人力來完成的。隨著人工智能技術(shù)在工業(yè)生產(chǎn)中的廣泛應(yīng)用，熱軋帶鋼表面質(zhì)量檢測正在被機(jī)器視覺代替。

3.2 遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)設(shè)計(jì)

用于熱軋帶鋼表面質(zhì)量檢測的遷移學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，如圖3所示。前面是已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)（GoogLeNet去掉全連接層），后面兩層是專為熱軋帶鋼表面質(zhì)量檢測設(shè)計(jì)的層，第一層為全連接層，計(jì)算公式為：

第二層為softmax層，計(jì)算公式為：

網(wǎng)絡(luò)訓(xùn)練的損失函數(shù)使用交叉熵?fù)p失函數(shù)，保證訓(xùn)練時(shí)梯度不下降。

式中：label—樣本標(biāo)簽（向量）；z—預(yù)測值（向量）。如果采取一次n個(gè)樣本訓(xùn)練，則損失函數(shù)為：

圖3 熱軋鋼板表面質(zhì)量檢測深度神經(jīng)網(wǎng)絡(luò)示意圖Fig.3 Schematic Diagram of DeepNeural Network for Surface Quality Inspection of Hot-rolled Steel Sheet

3.3 熱軋鋼板表面質(zhì)量數(shù)據(jù)集

本實(shí)驗(yàn)數(shù)據(jù)集來自NEU surface defect database[22]，數(shù)據(jù)集收集了熱軋帶鋼6種表面缺陷圖片，如圖4所示。

圖4 熱軋鋼板表面缺陷數(shù)據(jù)集Fig.4 Surface Defect Data Sets for Hot-Rolled Steel Sheets

（1）鱗片（rolled-inscale），（2）斑塊（patches），（3）龜裂（crazing），（4）點(diǎn)蝕（pittedsurface），（5）夾雜物（inclusion），（6）劃痕（scratches）。數(shù)據(jù)集共包含1800張像素為（200×200）的圖片（每個(gè)缺陷300張），這些圖片在實(shí)驗(yàn)過程中被分為訓(xùn)練、驗(yàn)證和測試三部分，其中訓(xùn)練部分用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，驗(yàn)證部分用于訓(xùn)練過程中檢驗(yàn)神經(jīng)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確度，測試部分用于訓(xùn)練結(jié)束后的識(shí)別準(zhǔn)確度測試。

3.4 深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)

首先將數(shù)據(jù)集按比例（60：20：20）分為訓(xùn)練子集（training data）、驗(yàn)證子集（validation data）和測試子集（testing data）。然后確定訓(xùn)練次數(shù)（echoes）和每次訓(xùn)練的樣本數(shù)（batch）。每個(gè)批次訓(xùn)練時(shí)，隨機(jī)在訓(xùn)練子集中選取樣本。每隔若干批次，用驗(yàn)證子集驗(yàn)證識(shí)別精度。各子集劃分情況，如表1所示。深度神經(jīng)網(wǎng)絡(luò)編程和訓(xùn)練使用了Google TensorFlow平臺(tái)。

表1 數(shù)據(jù)集分配情況Tab.1 Data Set Allocation

通過測試不同的echoes和batch對(duì)訓(xùn)練效果的影響，發(fā)現(xiàn)batch對(duì)訓(xùn)練結(jié)果的影響比較大。四種不同 batch（5，10，50，100）的損失函數(shù)變化曲線，如圖5所示。圖中對(duì)比發(fā)現(xiàn)：batch越小，損失函數(shù)變化越劇烈，系統(tǒng)訓(xùn)練的穩(wěn)定性越不好。echoes相同，batch不同對(duì)訓(xùn)練效果的影響，batch越大，最后在測試子集上的識(shí)別精度也越好，如表2所示。batch越大計(jì)算量也會(huì)也越大，訓(xùn)練的時(shí)間成本也越高，如表3所示。

圖5 訓(xùn)練損失函數(shù)曲線Fig.5 Training Loss Function Curves

表2 測試集上的精度Tab.2 Accuracy on Test Sets

表3 不同訓(xùn)練配置的訓(xùn)練時(shí)間Tab.3 Training Time for Different Training Configurations

訓(xùn)練前后樣本的聚集情況，如圖6所示（使用PCA和t-SNE降維工具將維度降為二維），訓(xùn)練后，數(shù)據(jù)集的樣本聚集得更緊密，不同類別之間距離變大，這使得模型的泛化效果更好。在數(shù)據(jù)集NEU上，與其他幾種廣泛使用的算法進(jìn)行了對(duì)比，如表4所示。這里的算法獲得了更好的識(shí)別率。說明了深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)方法很適合工業(yè)產(chǎn)品表面質(zhì)量檢測。

圖6 數(shù)據(jù)集樣本在訓(xùn)練前后的聚集程度變化Fig.6 Changes in Aggregation Degree of Dataset Samples Before and after Training

表4 與其他方法識(shí)別結(jié)果比較Tab.4 Comparison of Results with Other Methods

4 結(jié)論

通過深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)，構(gòu)造的深度學(xué)習(xí)網(wǎng)絡(luò)在熱軋鋼板表面缺陷數(shù)據(jù)集NEU上檢測準(zhǔn)確度達(dá)到了99.8%，其測試條件是：（1）數(shù)據(jù)集NEU的60%用于訓(xùn)練，20%用于驗(yàn)證，20%用于測試；（2）每次訓(xùn)練的樣本數(shù)為batch=50，訓(xùn)練次數(shù)為echoes=2000，樣本選取方式為隨機(jī)選取；（3）編程平臺(tái)為GoogleTensorFlow。該結(jié)果超過了傳統(tǒng)的機(jī)械學(xué)習(xí)算法和沒有遷移學(xué)習(xí)的CNN網(wǎng)絡(luò)。將實(shí)驗(yàn)結(jié)果用于熱軋鋼板的生產(chǎn)現(xiàn)場檢測，還有很多后續(xù)工作要做。首先要解決的是圖像采集問題，可選采集方案有線陣相機(jī)和普通面陣相機(jī)；其次是圖像識(shí)別的幅面大小問題，將熱軋鋼板圖像分割成大小合適的圖像，用這里的方法進(jìn)行識(shí)別。深度神經(jīng)網(wǎng)絡(luò)不需要人工構(gòu)造特征，實(shí)現(xiàn)了直接輸入圖片就能獲得檢測結(jié)果，識(shí)別準(zhǔn)確度高。展望未來，深度神經(jīng)網(wǎng)絡(luò)還可以推廣到其他工業(yè)品表面質(zhì)量檢測，獲得更廣泛的應(yīng)用。