基于遷移學(xué)習(xí)的車輪踏面損傷檢測*

陳波，于赫天，翟容清，王月明

(內(nèi)蒙古科技大學(xué) 信息工程學(xué)院，內(nèi)蒙古 包頭 014010)

工業(yè)生產(chǎn)中，鏈篦機(jī)臺車的工作溫度是不斷變化的，鏈篦機(jī)臺車車輪要經(jīng)受高溫、重載、沖擊振動、粉塵氣流沖刷和水沖淋等惡劣的工作環(huán)境，鏈篦機(jī)臺車車輪踏面易發(fā)生損傷問題.這些車輪損傷不能及時發(fā)現(xiàn)會造成整個傳動系統(tǒng)出現(xiàn)故障，引發(fā)生產(chǎn)事故和經(jīng)濟(jì)損失.

目前，對于缺陷檢測主要有渦流檢測法、紅外檢測法、漏磁檢測法和機(jī)器視覺檢測法.關(guān)于機(jī)器視覺檢測，何靜等人提出一種基于Canny-YOLOv3的踏面損傷檢測方法，將深度學(xué)習(xí)算法應(yīng)用到列車輪對踏面的損傷檢測中[1].陳超等人提出一種基于輔助數(shù)據(jù)的增強(qiáng)型最小二乘支持向量機(jī)(LssVM)遷移學(xué)習(xí)策略，用于數(shù)據(jù)量不足時的軸承故障診斷[2].雷亞國等人提出機(jī)械裝備故障的深度遷移診斷方法，將實驗室環(huán)境中積累的故障診斷知識遷移應(yīng)用于工程實際裝備[3].邵海東等人提出了一種基于提升深度遷移自動編碼器的新方法用于不同機(jī)械設(shè)備間的軸承故障智能診斷[4].馮毅雄等人針對軸件表面缺陷分析過程中存在小樣本和實時檢測效率低的問題，提出一種集成遷移學(xué)習(xí)的軸件表面缺陷實時檢測方法[5].

近年來，隨著圖像處理技術(shù)與深度神經(jīng)網(wǎng)絡(luò)的發(fā)展[6-8]，基于深度神經(jīng)網(wǎng)絡(luò)可以有效地檢測到車輪踏面的損傷問題，但是在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中需要大量車輪踏面損傷的實際圖像數(shù)據(jù).本文根據(jù)車輪踏面損傷情況構(gòu)建了相似車輪踏面損傷的數(shù)據(jù)集，運(yùn)用YOLOv3深度學(xué)習(xí)模型框架對踏面損傷特征進(jìn)行學(xué)習(xí)訓(xùn)練，獲取車輪踏面損傷的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練權(quán)重參數(shù)后，采用遷移學(xué)習(xí)的思想，檢測出車輪踏面損傷情況，避免因車輪踏面損傷引起的其它安全運(yùn)行事故或安全隱患問題，提高生產(chǎn)效益，提升企業(yè)管理水平.

1 臺車車輪踏面損傷數(shù)據(jù)集制作

數(shù)字圖像識別處理技術(shù)是以圖像為基礎(chǔ)，再利用卷積神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行處理、分析、識別和理解，所以想要檢測鏈篦機(jī)臺車車輪踏面損傷必須采集大量的臺車車輪踏面的損傷圖片，原始圖像數(shù)據(jù)的增加會提高特征學(xué)習(xí)的效率，可以更好地進(jìn)行踏面損傷檢測.

車輪常見的踏面損傷有踏面磨損(擦傷)與踏面剝離脫落.用深度神經(jīng)網(wǎng)絡(luò)方法對鏈篦機(jī)臺車踏面損傷進(jìn)行檢測識別，需要大量的高質(zhì)量標(biāo)注數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型.由于目前車輪踏面的損傷數(shù)據(jù)較少，需要根據(jù)鏈篦機(jī)臺車踏面的損傷圖像特征，構(gòu)建相似特征的車輪踏面損傷數(shù)據(jù)集，再運(yùn)用YOLO深度學(xué)習(xí)模型框架對踏面損傷特征進(jìn)行學(xué)習(xí)訓(xùn)練，獲取車輪踏面損傷的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練權(quán)重參數(shù)后，采用遷移學(xué)習(xí)的思想，檢測車輪踏面損傷情況.

考慮到車輪踏面損傷種類的不同，需要構(gòu)建不同的踏面損傷圖像數(shù)據(jù).本實驗通過人工制作構(gòu)建相似目標(biāo)領(lǐng)域(車輪踏面損傷)的源鄰域圖片565張，源鄰域圖片使用鐵制品作為原材料通過磨損獲得相似于車輪踏面損傷圖像，目標(biāo)領(lǐng)域是由35張真實車輪踏面損傷圖像組成的目標(biāo)數(shù)據(jù)集.如圖1所示，通過源鄰域圖片(a)與目標(biāo)領(lǐng)域圖片(b)，構(gòu)建與車輪踏面相似特征的圖像數(shù)據(jù)集(使用相似的斑塊作為圖像特征).使用labelimg標(biāo)注工具對數(shù)據(jù)集進(jìn)行標(biāo)注，整理并生成與圖片對應(yīng)的xml文件，生成相應(yīng)的標(biāo)注信息.數(shù)據(jù)集圖片在訓(xùn)練前分辨率統(tǒng)一設(shè)定為1 400×1 200像素，便于后續(xù)利用YOLOv3深度學(xué)習(xí)識別踏面損傷圖像.

圖1 相似目標(biāo)特征的遷移對象(a)源鄰域圖片；(b)目標(biāo)領(lǐng)域圖片

2 基于遷移學(xué)習(xí)車輪踏面檢測

由于車輪踏面數(shù)據(jù)集較少，基于目標(biāo)屬性的特征進(jìn)行遷移學(xué)習(xí)，使用新領(lǐng)域中存在的目標(biāo)屬性特征，然后利用新領(lǐng)域目標(biāo)屬性的特征進(jìn)行遷移，使用神經(jīng)網(wǎng)絡(luò)對其特征進(jìn)行描述，確保每一個目標(biāo)特征的權(quán)重能夠從一個訓(xùn)練好的數(shù)據(jù)集網(wǎng)絡(luò)遷移到另一個特征網(wǎng)絡(luò)當(dāng)中，這樣可以減少重新訓(xùn)練模型的時間，為后期的樣本的檢測提高檢測效率，以達(dá)到快速檢測的目的.

本文采用的是YOLOv3深度神經(jīng)網(wǎng)絡(luò)作為遷移學(xué)習(xí)的主體框架，YOLO是一種基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)屬性識別的定位算法，其中心思想是把目標(biāo)屬性作為一個相關(guān)的邊界和目標(biāo)屬性分類概率的回歸任務(wù).YOLOv3借鑒了殘差網(wǎng)絡(luò)結(jié)構(gòu)，形成更深的網(wǎng)絡(luò)層次以及多尺度檢測，提升了mAP及小物體檢測效果.它通過標(biāo)注的某個特定區(qū)域進(jìn)行學(xué)習(xí)，生成一個特定的卷積神經(jīng)單元網(wǎng)格，在一次次的學(xué)習(xí)訓(xùn)練中，一個特定的卷積神經(jīng)網(wǎng)絡(luò)就會從圖像信息中識別出該區(qū)域中所出現(xiàn)的目標(biāo)屬性.本實驗中檢測的標(biāo)簽只有一個損失，未對損傷的種類進(jìn)行分類.

基于遷移學(xué)習(xí)，首先訓(xùn)練目標(biāo)屬性和原始目標(biāo)屬性必須具有一定的相似度，否則檢測系統(tǒng)在卷積神經(jīng)深度學(xué)習(xí)的時候會大大減小識別的準(zhǔn)確率.本實驗制作大量的相似圖片，實驗中采用鐵制品劃痕替代臺車的踏面損傷，將鐵制品進(jìn)行手工打磨、拋光處理模仿臺車車輪踏面，將源鄰域圖像數(shù)據(jù)集通過深度神經(jīng)網(wǎng)絡(luò)YOLOv3進(jìn)行訓(xùn)練學(xué)習(xí)缺陷數(shù)據(jù)特征，再使用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)YOLOv3權(quán)重參數(shù)對車輪踏面損傷目標(biāo)領(lǐng)域數(shù)據(jù)集進(jìn)行驗證識別.從實驗結(jié)果來看基本能檢測到臺車踏面損傷，但是由于制作的鐵制品缺陷數(shù)據(jù)缺少規(guī)范性，使得后期的訓(xùn)練檢測學(xué)習(xí)到一些干擾圖像特征，進(jìn)而影響車輪踏面損傷檢測的準(zhǔn)確性.

3 實驗結(jié)果分析

本次模型訓(xùn)練使用的卷積網(wǎng)絡(luò)模型YOLOv3-tiny版本，訓(xùn)練系統(tǒng)使用的是Windows，電腦顯卡為英偉達(dá)GeForce GTX 1050Ti，CPU為Intel Core i5-8300H.本次訓(xùn)練用在COCO數(shù)據(jù)集上所完成的預(yù)訓(xùn)練模型作為訓(xùn)練的原始數(shù)據(jù)集，訓(xùn)練時Epoch=2 000，Class設(shè)為1，未將踏面損傷進(jìn)行詳細(xì)分類.如圖2所示為車輪踏面損傷檢測結(jié)果，從圖2可以看出：(b)和(e)檢測框有重復(fù)結(jié)果，但總體上不影響遷移學(xué)習(xí)方法對車輪踏面損傷特征的檢測.總體來說，訓(xùn)練實驗結(jié)果較為理想，對車輪踏面損傷檢測效果較好.

圖2 車輪踏面損傷與檢測結(jié)果

實驗當(dāng)中，使用到了召回率R與mAP作為評價車輪踏面損傷檢測模型的指標(biāo).如圖3和圖4所示為遷移學(xué)習(xí)訓(xùn)練指標(biāo)結(jié)果.其中圖3為召回率(Recall)指標(biāo)，即正確的圖像有多少被識別.其計算如式(1)所示.圖4為mAP指標(biāo)，mAP是平均AP值，是對多個識別對象求平均精度值，作為目標(biāo)檢測中檢測精度的判斷指標(biāo).AP為Average Precision即平均精確度.Precision表示精確率，樣本計算公式如式(2)所示.

圖3 Recall訓(xùn)練指標(biāo)結(jié)果

圖4 mAP訓(xùn)練指標(biāo)結(jié)果

Recall(R)=TP/(FP+FN) ，

(1)

Precision(P)=TP/(TP+FP) .(2)

式中：TP為正樣本預(yù)測正確；FP為正樣本預(yù)測錯誤；FN為負(fù)樣本預(yù)測錯誤.

如圖5所示，由于目標(biāo)領(lǐng)域車輪踏面數(shù)據(jù)集較少，使用制作的圖像數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)訓(xùn)練，把相似的損傷作為車輪踏面的基礎(chǔ)損傷來學(xué)習(xí)，大部分的損傷還是可以識別，但是由于部分源領(lǐng)域數(shù)據(jù)制作難以制作出與目標(biāo)領(lǐng)域相似的特征數(shù)據(jù)集，沒有訓(xùn)練學(xué)習(xí)到相關(guān)的數(shù)據(jù)圖像特征，例如大面積的魚紋式磨損、臺車車輪踏面斷裂裂紋，因此在本實驗中未能檢測到該類別的車輪踏面損傷，后期需要制作此類別的車輪踏面損傷數(shù)據(jù)，進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí).但本實驗方法可以驗證將遷移學(xué)習(xí)應(yīng)用于車輪踏面損傷檢測是可行的.

圖5 訓(xùn)練未能檢測到的樣本

4 結(jié)論

(1)應(yīng)用遷移學(xué)習(xí)的思想，通過相似領(lǐng)域圖片的遷移學(xué)習(xí)實現(xiàn)了車輪踏面損傷檢測，建立車輪踏面缺陷的特征數(shù)據(jù)集，通過訓(xùn)練源領(lǐng)域圖片的特征提取器，完成相似領(lǐng)域的知識遷移，建立鏈篦機(jī)臺車運(yùn)行狀態(tài)下的車輪踏面實時檢測模型.

(2)基于遷移學(xué)習(xí)進(jìn)行車輪踏面檢測方法是可行的.遷移學(xué)習(xí)的檢測方法通用性強(qiáng)、不受實際生產(chǎn)的場地限制，檢測成本相對較低.

(3)遷移學(xué)習(xí)檢測技術(shù)需要在應(yīng)用前對車輪踏面所有種類的損傷進(jìn)行特征數(shù)據(jù)集的建立，不然對未訓(xùn)練過的車輪踏面缺陷檢測會出現(xiàn)漏檢現(xiàn)象.