基于遷移學習的永磁除鐵器輸送帶斷裂檢測

李現(xiàn)國，劉 曉，馮欣欣

（1.天津工業(yè)大學 電子與信息工程學院，天津 300387；2.天津工業(yè)大學 天津市光電檢測技術與系統(tǒng)重點實驗室，天津 300387）

除鐵器是一種產(chǎn)生強大磁場吸引力的設備，能將混雜在非磁性物料中的鐵磁性雜質(zhì)清除，按磁力來源不同，分為電磁除鐵器和永磁除鐵器兩類。其中永磁除鐵器一般由永磁磁芯、棄鐵輸送帶、減速電機、框架、滾筒等部分組成，配合帶式輸送機使用，因其能夠連續(xù)不斷地自動卸鐵，而且磁場恒定、無冷熱態(tài)變化、故障點少，故被廣泛應用于礦山、選煤廠、港口、電廠、冶金、化工等工業(yè)領域[1]。棄鐵輸送帶是永磁除鐵器中的消耗品，經(jīng)常因吸附上的尖銳物體鑿穿輸送帶、輸送帶跑偏、輸送帶內(nèi)置的鋼絲繩斷裂等原因，出現(xiàn)斷裂[2-3]，若得不到及時處理會造成設備損壞、堆煤料、停產(chǎn)等事故，比如帶式輸送機輸煤過程中，常因其導致堆煤事故而停工。

輸送帶斷裂檢測的傳統(tǒng)技術有機械檢測法、聲光檢測法和電磁檢測法，它們均存在檢測裝置易損壞、安裝復雜、可靠性和準確性差的缺陷[3-9]。近年來隨著機器視覺的快速發(fā)展，基于該技術的輸送帶斷裂檢測技術及系統(tǒng)是當前研究和應用的重點。郭啟皇等[10]和甘福寶等[11]，分別提出了基于Otsu算法的輸送帶斷裂檢測方法；Yang等[12]提出了輸送帶撕裂紅外光譜成像檢測預警方法。這類方法都使用常規(guī)的圖像處理技術進行故障檢測，算法參數(shù)設置復雜，檢測的魯棒性和準確性不高。

Alport等[13]提出了基于小波和人工神經(jīng)網(wǎng)絡的鋼絲繩芯輸送帶、接頭及其故障的檢測算法，該算法對圖像質(zhì)量要求較高，并且算法的準確性有待提高。Liu等[14]提出了一種基于深度卷積網(wǎng)絡的輸送帶邊緣檢測方法，解決了傳統(tǒng)的機器視覺方法檢測輸送帶邊緣的準確性問題，但未涉及輸送帶的斷裂檢測。

基于深度學習的特征自動提取技術已被廣泛應用，在視頻檢測方面具有顯著的效果[15-17]。本文針對現(xiàn)有的永磁除鐵器棄鐵輸送帶斷裂檢測方法不精確、檢測裝置易損壞、安裝復雜等問題，提出一種基于遷移學習的方法，并將該方法部署到英偉達Jetson TX2嵌入式開發(fā)平臺上，設計一種永磁除鐵器棄鐵輸送帶斷裂檢測系統(tǒng)，以提高故障檢測的準確性、實用性和有效性。

1 永磁除鐵器棄鐵輸送帶斷裂檢測方法

圖1 所示為在輸送煤炭的工作環(huán)境下，某一永磁除鐵器監(jiān)控視頻中某時刻的監(jiān)測圖像。

圖1 永磁除鐵器監(jiān)測圖像Fig.1 Monitoring image of permanent magnetic iron remover

1.1 基于模板匹配的特征圖像提取

對本文的研究來說，永磁除鐵器監(jiān)控視頻中，除了棄鐵輸送帶及其相關區(qū)域，剩余的部分都是無關特征，可稱為干擾信息。這種無關特征會加大深度學習網(wǎng)絡訓練的難度，導致學習效果達不到預期目標。本文采用OpenCV中的模板匹配技術選取棄鐵輸送帶的特征圖像，從而得到源圖像中的感興趣區(qū)域（ROI區(qū)域）。

模板匹配是把不同相機或同一相機在不同時間、不同成像條件下對同一景物獲取的2幅或多幅圖像在空間上對準，或根據(jù)已知模式到另一幅圖中尋找相應模式或在同一幅圖像中尋找相同模式的處理方法[18]。設模板圖像矩陣為T（x，y）、源圖像矩陣為I（x，y）、計算得到的匹配結(jié)果矩陣為R（x，y），OpenCV中提供的6種模板匹配算法的計算公式為：

（1）平方差匹配法

（2）歸一化平方差匹配法

R（x，y）=

（3）相關匹配法

（4）歸一化相關匹配法

R（x，y）=

（5）相關系數(shù)匹配法

（6）歸一化相關系數(shù)匹配法

對于平方差匹配法和歸一化平方差匹配法，越小的數(shù)值具有越高的匹配結(jié)果；而其余的方法，數(shù)值越大匹配效果越好。如果模板圖像的大小為w×h，使用OpenCV中minMaxLoc（）函數(shù)查找R（x，y）的最大值或者最小值，將其位置作為源圖像中匹配效果最好的矩形區(qū)域的左上角，并以（w，h）作為矩形的寬度和高度，得到匹配后的圖像。

本文通過實驗確定了匹配效果最好的歸一化平方差匹配法，并用該方法確定了匹配的位置和區(qū)域。圖2為使用該方法提取的圖1的特征圖像。

圖2 使用模板匹配提取的圖1的特征圖像Fig.2 Feature image of Fig.1 extracted after template matching

1.2 數(shù)據(jù)增強

永磁除鐵器監(jiān)控視頻圖像樣本單一，并且監(jiān)控視頻中棄鐵輸送帶斷裂過程較短，為提高深度學習網(wǎng)絡的學習效果，需要更多的數(shù)據(jù)。本文通過對棄鐵輸送帶的圖片進行隨機旋轉(zhuǎn)、裁剪、亮度變換來擴充數(shù)據(jù)量，達到數(shù)據(jù)增強的效果。這樣可以讓同一張圖像在輸入到網(wǎng)絡時都會有不同的差異，使模型不容易因陷入過擬合而記住單一圖像的特點；另外在網(wǎng)絡遇到新的圖像時，能提升圖像識別的準確性。這樣訓練出的模型具有更高的魯棒性。原圖像和數(shù)據(jù)增強后的圖像對比如圖3所示。

圖3 原圖像和數(shù)據(jù)增強后的圖像對比Fig.3 Comparison between original image and data-enhanced image

1.3 ResNet18網(wǎng)絡

殘差網(wǎng)絡（residual neural network，ResNet）通過在網(wǎng)絡的低層與高層之間添加直通的殘差單元，解決了網(wǎng)絡層數(shù)很深時卷積網(wǎng)絡出現(xiàn)的梯度消失或者爆炸問題[19]。ImageNet數(shù)據(jù)集具有上百萬張分屬于1 000個類別的224×224規(guī)格的圖片；ResNet在ImageNet測試集的分類中取得了96.43%的準確度，并且根據(jù)不同的數(shù)據(jù)規(guī)模ResNet有ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152等多種版本。本文的數(shù)據(jù)規(guī)模和分類類別數(shù)目上遠不及ImagNet數(shù)據(jù)集，并且考慮到Jetson TX2開發(fā)平臺的運算能力對視頻檢測實時性的影響，所以選擇ResNet18作為網(wǎng)絡模型，其網(wǎng)絡結(jié)構(gòu)如圖4所示。

圖4 ResNet18結(jié)構(gòu)Fig.4 Structureof ResNet18

圖4顯示了ResNet18的網(wǎng)絡模型結(jié)構(gòu)，它包含17個卷積層和1個完全連接的層，即18個權(quán)重層。RessNet18網(wǎng)絡結(jié)構(gòu)的計算公式為

式中：al為l層的輸出結(jié)果；δ為激活函數(shù)；w代表權(quán)重參數(shù)；b代表偏置。

當前網(wǎng)絡層l的輸出等于正常網(wǎng)絡的輸出al-1與網(wǎng)絡輸入zl的和，然后再經(jīng)過激活函數(shù)。假設從l層到l-1層，按照常規(guī)的全連接層反向傳播公式為

其中J代表損失函數(shù)。但是ResNet增加了shutout連接，激活函數(shù)中的內(nèi)容就增加了一個al-1，通過反向公式求導，得出反向傳播公式為

公式中由原來的wl的變成了wl+1。隨著網(wǎng)絡深度的增加，訓練變慢，這主要是由于權(quán)重w的正則化，w變得非常小，加上多層級聯(lián)關系，該層的梯度變化非常小，但是權(quán)重值w增加1，梯度增加，這就使網(wǎng)絡更易于訓練。

因本實驗中棄鐵輸送帶的斷裂情況分為2類：完好和斷裂，所以本文將全連接層的參數(shù)結(jié)構(gòu)由1×1×1 000改為1×1×2；每個殘差單元包含2個卷積層，如圖5所示；恒等映射不會增加額外的參數(shù)和計算復雜度，它將輸入跨層傳遞，然后與經(jīng)過卷積后的輸出相加，達到充分訓練底層網(wǎng)絡的效果。

圖5 殘差學習單元Fig.5 A building block of residual learning

在圖5殘差學習單元結(jié)構(gòu)中，假設殘差網(wǎng)絡的輸出為H（x），經(jīng)過卷積操作后的輸出為F（x），則：

式中：w1和w2為卷積操作；δ代表激活函數(shù)。此時只要F（x）=0，就構(gòu)成了前述的恒等映射函數(shù)H（x）=x，所以得到一個容易擬合的殘差函數(shù)。這一過程中要保證F（x）和x的維度是相同的，如果不相同，則可以通過恒等映射執(zhí)行線性投影ws來匹配維度，則有

式中：ws是通過恒等映射對x的線性變換。

1.4 遷移學習

前文雖然利用模板匹配和數(shù)據(jù)增強來解決ResNet18網(wǎng)絡訓練時棄鐵輸送帶圖像中無關信息干擾和樣本數(shù)量不足的問題，但棄鐵輸送帶圖像樣本數(shù)量不足的問題仍然突出。本文使用遷移學習的方法進行克服。遷移學習是指將預訓練好的模型結(jié)構(gòu)和權(quán)重參數(shù)應用到一個新的網(wǎng)絡模型中的方法[20-23]。遷移學習模型如圖6所示。

圖6 遷移學習模型Fig.6 Transfer learning model

當目標域數(shù)據(jù)量很少或者很難獲取、或者從頭建立模型很費時和復雜時，可使用遷移學習完成與源目標任務相似的功能，有Fine Tuning和Feature Extraction 2種學習方法。本文使用Fine Tuning遷移學習方法，首先使用源數(shù)據(jù)（ImagNet數(shù)據(jù)集）預訓練ResNet18，然后以訓練好的模型參數(shù)為基礎，利用棄鐵輸送帶圖像數(shù)據(jù)集訓練網(wǎng)絡時繼續(xù)優(yōu)化全部參數(shù)，使得目標模型可以更好地完成識別任務。

1.5 網(wǎng)絡模型轉(zhuǎn)化

為了使Jetson TX2能控制GPIO，使得其檢測到棄鐵輸送帶斷裂時能立刻報警，需要將ResNet18網(wǎng)絡模型進行語言轉(zhuǎn)換，從而達到控制TX2外設的目的。TorchScript是一種可以把Pytorch模型轉(zhuǎn)成C++接口可讀的模型，是一種從PyTorch代碼創(chuàng)建可序列化和可優(yōu)化模型的方法，是連接C++和Python的橋梁。

Libtorch是Pytorch官方提供的C++接口，使用此接口在Jetson TX2開發(fā)平臺上部署C++的ResNet18網(wǎng)絡模型。

1.6 TCP/IP協(xié)議

在Jetson TX2檢測到輸送帶斷裂時，除了報警器報警外，在PC端用應用程序開發(fā)框架（Qt）設計一個監(jiān)控終端軟件，使用TCP/IP協(xié)議與Jetson TX2進行通信來進行數(shù)據(jù)的實時顯示。TCP/IP協(xié)議能保證網(wǎng)絡數(shù)據(jù)信息及時、完整地傳輸。

2 永磁除鐵器棄鐵輸送帶斷裂檢測系統(tǒng)設計

2.1 系統(tǒng)的硬件設計

永磁除鐵器棄鐵輸送帶斷裂系統(tǒng)硬件主要由監(jiān)控攝像頭、Jetson TX2嵌入式開發(fā)平臺、報警器和監(jiān)控終端界面組成，其結(jié)構(gòu)框圖如圖7所示。Jetson TX2是NVIDIA專為深度學習打造的嵌入式平臺，具有256個CUDA核心的GPU，共2塊CPU（一塊是雙核的Denver 2，另一塊是ARMCortexA57），8 GB運行內(nèi)存，32 GB flash存儲器；它支持NVIDIA JetPack SDK中的Tensor RT、cuDNN、CUDA工 具 包，VisionWorks、Streamer和OpenCV等眾多軟件，在深度學習運算速度、數(shù)據(jù)處理能力上具有很大優(yōu)勢，確保了檢測的實時性。

圖7 輸送帶斷裂檢測硬件框圖Fig.7 Flow chart of hardwaredesign for conveyor belt breakagedetection

2.2 系統(tǒng)的軟件設計

基于Pytorch架構(gòu)，利用Python語言使用自制的數(shù)據(jù)集，結(jié)合遷移學習方法對ResNet18網(wǎng)絡模型進行訓練。使用Torchscript將訓練后參數(shù)最好的ResNet18網(wǎng)絡模型轉(zhuǎn)化為C++語言模型，然后采用Libtorch部署到Jetson TX2開發(fā)平臺上。Jetson TX2檢測到棄鐵輸送帶斷裂時可控制GPIO進行實時報警同時將信息傳送給監(jiān)控終端進行數(shù)據(jù)實時顯示。棄鐵輸送帶斷裂檢測系統(tǒng)軟件設計流程如圖8所示。

圖8 棄鐵輸送帶斷裂檢測系統(tǒng)軟件設計流程Fig.8 Flow chart of softwaredesign for conveyor belt breakagedetection

3 實驗分析

3.1 訓練階段實驗結(jié)果分析

首先采用Fine Tuning和Feature Extraction這2種遷移學習方法對數(shù)據(jù)集進行訓練，通過結(jié)果對比選擇1種更適合的遷移學習方法。2種遷移學習方法訓練結(jié)果如圖9所示。網(wǎng)絡模型訓練平臺：CPU為Intel(R)Xeon(R)CPUE5-2678 v3，內(nèi)存為64 G DDR4，GPU為Nvidia Geforce GTX1080Ti，操作系統(tǒng)為64位Ubuntu16.04 LTS，實驗框架為Pytorch開源框架。數(shù)據(jù)集訓練次數(shù)設置為50。

圖9 2種遷移學習方法準確率Fig.9 Accuralcy of two transfer learning methods

由圖9可以看出，實驗中Fine Tuning遷移學習方法要比Feature Extraction遷移學習方法準確率高，并且Fine Tuning測試結(jié)果隨著數(shù)據(jù)集訓練次數(shù)的增加基本處于穩(wěn)定狀態(tài)。所以本文選擇Fine Tuning優(yōu)化模型參數(shù)。圖10是實驗測試結(jié)果，可以看到基于此方法可以準確檢測到棄鐵輸送帶的斷裂情況。

圖10 監(jiān)控視頻測試實驗結(jié)果Fig.10 Experimental resultsof surveillancevideo test

3.2 實驗室環(huán)境下測試結(jié)果分析

在實驗室環(huán)境下將網(wǎng)絡模型部署到Jetson TX2開發(fā)板上進行實驗檢測，因為實驗室沒有永磁除鐵器，所以使用帶式輸送機的輸送帶代替永磁除鐵器的棄鐵輸送帶。

實驗測試中網(wǎng)絡模型的大小為44.8 MB，在Jetson TX2上開啟最大功率模式，使用cuda進行加速以提高視頻畫面的流暢度。Jetson TX2顯示器上的監(jiān)測到的畫面如圖11所示。

圖11 Jetson TX2顯示器上監(jiān)測到的畫面Fig.11 Camera screen on Jetson TX2 display

Jetson TX2終端上數(shù)據(jù)顯示如圖12所示。圖12（a）表示ResNet18部署在Jetson TX2上運行時視頻的實時幀率，一般為17幀/s，有時可達18幀/s。當檢測到棄鐵輸送帶斷裂時，Jetson TX2連接的報警器會報警；圖12（b）是模擬報警器從而發(fā)出報警信息，max_index為每一幀輸送帶圖像是否斷裂標識號，0為斷裂，1為完好。

圖12 Jetson TX2終端上數(shù)據(jù)顯示Fig.12 Data display on jetson TX2 terminal

測試結(jié)果表明，永磁除鐵器棄鐵輸送帶斷裂檢測準確率為93.74%，網(wǎng)絡模型圖像處理速度為17幀/s，滿足視頻檢測的要求。在棄鐵輸送帶斷裂裂口小幅度或者大幅度張開以及徹底斷帶情況下，檢測報警準確率為100%。但由于攝像頭距離輸送帶較遠，如果攝像頭灰塵遮擋嚴重，導致視線模糊則檢測的準確率會降低，有時會出現(xiàn)錯檢的情況。

3.3 監(jiān)控終端軟件測試

使用Qt設計了監(jiān)控終端軟件，為了測試其有效性和實時性，利用現(xiàn)場采集的視頻模擬監(jiān)控視頻，進行測試，測試結(jié)果如圖13所示。

圖13 監(jiān)控終端軟件測試結(jié)果Fig.13 Information displayed on monitoring terminal

打開終端軟件后，輸入Jetson TX2的IP地址和使用的端口號進行連接，連接成功后，輸送帶狀態(tài)提示窗口會顯示成功連接。當監(jiān)控終端軟件接收到視頻畫面時，會在輸送帶狀態(tài)提示窗口顯示當前時間輸送帶是否斷裂等信息。

4 結(jié)語

本文針對永磁自卸除鐵器棄鐵輸送帶斷裂檢測方法不精確，易損壞、檢測裝置安裝復雜等問題，提出一種基于遷移學習的檢測方法，并將其部署在Jetson TX2平臺上。實驗結(jié)果表明，本文方法及系統(tǒng)準確率可達93.74%，圖像處理速率為17幀/s，當檢測到棄鐵輸送帶斷裂可現(xiàn)場實時報警。