一種改進的無錨框式金屬礦帶式輸送機異物檢測方法*

盧才武，閆雪頌，劉力，何旭乾，樊臘梅

(1.西安建筑科技大學 資源工程學院， 陜西 西安 710055；2.西安市智慧工程感知計算與決策重點實驗室， 陜西 西安 710055；3.西安建筑科技大學 管理學院， 陜西 西安 710055)

0 引言

金屬礦帶式輸送機上的異物（鉆根、鏟牙和工字鋼）是造成皮帶損壞、撕裂和研磨機磨損的主要原因之一，嚴重威脅著礦山生產的安全、穩(wěn)定運行。因此，金屬礦山企業(yè)急需對傳輸帶上異物進行準確的檢測，提前清除異物或對預發(fā)的事故進行及時預警與處置，減少因傳輸帶上異物帶來的經濟損失和安全事故的發(fā)生。

當前帶式輸送機的故障保護系統(tǒng)僅能對輸送機的運行故障進行自檢，通常是在事故發(fā)生之后停運處置。而傳統(tǒng)的傳送帶異物檢測的技術主要有雷達探測、金屬探測器和人工檢測，但采用這些異物檢測手段存在成本高、檢測類型少和裝備安裝運維難等問題，難以在金屬礦山企業(yè)實際生產中廣泛推廣。近年來，隨著人工智能的井噴式發(fā)展，機器視覺在各領域的運用也日趨成熟，使得機器視覺這一種部署簡單、成本低和運行可靠的帶式傳輸機異物檢測方法成為可能?，F(xiàn)已發(fā)展的機器視覺異物檢測的模式可分為有錨框式和無錨框式兩類。

如SSD[1]、YOLO V3[2]、Faster R-CNN[3]為有錨框式，有錨框的方法由于需要非極大抑制值（NMS）的處理，往往會導致模型準確度下降[4]。Center-Net[5]為無錨框式，而無錨框式的方法因池化層特征提取網絡的感受視野受到限制，會丟失大量的異物細節(jié)特征。同時，由于無錨框式的方法中檢測目標通過熱力圖預測出與中心位置相對應的點，還會導致異物樣本的極度不平衡、損失函數(shù)難以收斂的問題。

為此，本文提出了一種改進的無錨框式的金屬礦帶式輸送機異物檢測方法。在無錨框式目標檢測方法Center-Net 的基礎上，引入擴張率參數(shù)加入空洞卷積，以減少圖像信息經過池化層時細節(jié)異物信息的丟失。并通過正負樣本調節(jié)參數(shù)，減少整體損失函數(shù)的值，提高異物檢測精度。經試驗證明，改進后的模型迭代80 次后損失函數(shù)值較改進前縮小了2.666 倍。異物檢測的平均精準度均值（MAP）達到0.911，模型推理速度為26.05 幀/秒。各項指標均優(yōu)于以往SSD、YOLO V3、Faster R-CNN 和Center-Net 等常用的異物檢測方法。

1 異物檢測基本流程

本文異物檢測基本流程的步驟分為：

① 在帶式輸送機處安裝圖像采集裝置，采集輸送機工作圖像；

② 對采集到的的異物進行分類，剔除無影響異物，構建金屬礦帶式輸送機異物數(shù)據集；

③ 對異物數(shù)據集進行數(shù)據加強；

④ 使用標注軟件對金屬礦帶式輸送機異物進行標注；

⑤ 改進無錨框式Center-Net 目標檢測方法，增加識別系統(tǒng)的魯棒性；

⑥ 將采集到的圖像數(shù)據輸入改進后的目標檢測方法，對異物進行檢測。

具體檢測步驟如圖1 所示。

圖1 異物檢測基本流程

2 改進的無錨框式異物檢測方法

有錨框的目標檢測法可能導致大量的錨框被NMS 去除掉，為了避免這一現(xiàn)象導致網絡檢測效率下降，使用無錨框的目標檢測法，通過預測檢測圖中目標的中心點，并且回歸出目標所在位置進而實現(xiàn)圖像的識別。該算法極大地提高了網絡的檢測效率。Coener-Net，Cornernet-Lite，Center-Net，F(xiàn)COS（Fully convolutional one-stage object detection）為較長使用的無錨框目標檢測網絡[6]。

2.1 Center-Net 目標檢測算法

Center-Net 模型分為2 個步驟，首先該模型需要通過熱力圖預測生成目標檢測物的中心點，然后通過生成的中心點預測出目標物體的識別框。圖2為Center-Net 結構圖。

圖2 Center-Net 結構

圖像輸入主干網絡進行特征提取，然后分別輸入關鍵點生成模塊和目標框生成模塊。在關鍵點模塊，以熱力圖為基本信息，分別對中心點、中心點偏移量和目標尺寸進行預測，最終得到預測物體的關鍵點。在目標框生成模塊，根據熱力圖匹配屬于同一對的角點來生成目標框。該方法不需要使用NMS，大幅度地提高了目標檢測模型的檢測效率。

2.2 Hourglass-104 網絡結構

本文采用Hourglass-104 網絡結構對金屬礦帶式輸送機異物特征進行提取。Hourglass-104 網絡結構是由2 個類似于沙漏（Hourglass）結構的模塊疊加而成的。一系列的卷積層、殘差單元模塊、特征融合模塊和上采樣層組成一個Hourglass 模塊[7]。單個Hourglass 結構模塊如圖3 所示。

圖3 Hourglass 結構模塊

Hourglass-104 的具體工作步驟為：

① 將原始圖像輸入Hourglass-104 的預處理模塊，降低原始圖像3/4 的分辨率。

② 輸入殘差單元，通過步長為2 的卷積進行5次的下采樣。下采樣過程的同時使特征圖的通道數(shù)增加。

③ 進行5 次上采樣，使圖像分辨率回到預處理后的大小，同時也減少了特征通道的數(shù)量。

2.3 感受野的擴張

由于深度學習的特性往往需要大量的計算，傳統(tǒng)的卷積神經網絡通過池化層使得輸入圖像的尺寸減小，進而減少計算所需的時間。為了避免由池化層造成的異物細節(jié)信息損失，引入擴張率參數(shù)（dilation rate），在原始卷積的基礎上加入這個參數(shù)使得原始的卷積變成空洞卷積。以3×3 的卷積為例，圖4 為普通卷積和空洞卷積的差別。

圖4 空洞卷積對比

圖4 的3 個大框分別表示輸入的圖像，黑色的圓點表示3×3 的卷積，陰影的灰色區(qū)域為卷積核的識別區(qū)域。圖4（a）為普通的3×3 卷積，感受視野為3×3。圖4（b）為擴張率為2 的空洞卷積，感受視野增加為5×5。圖4（c）為擴張率為3 的空洞卷積，感受視野增加為8×8?？斩淳矸e在不增加卷積核和不增加圖像輸出特征尺寸的前提下增加了卷積的感受視野，為圖像細節(jié)的識別提供了更好的方法，用此方法來彌補經過池化層損失的異物細節(jié)特征信息。圖5 為空洞卷積一維對比圖。

圖5 空洞卷積一維對比

圖5（a）為原始卷積，圖5（b）、（c）為空洞卷積。設卷積核的大小為k，擴張率為d，經過空洞卷積擴張后的卷積核大小為O，則空洞卷積大小可以通過公式獲得：O=k+(k?1)(d?1)[8]。考慮異物的大小引入擴張率為2 的空洞卷積。

2.4 損失函數(shù)的設計

模型的損失函數(shù)通過檢測目標識別框和對應的圖片的預測結果計算得出。根據Center-Net 算法的核心步驟，損失函數(shù)有：中心點的損失LC，熱力圖的損失（分類置信度損失）LH，識別框寬高的損失LS，總的損失函數(shù)LE。

圖像輸入特征提取網絡時，經過下采樣會導致像素點的偏移進而產生精度誤差。

中心點的損失LC:

針對分類置信度的損失LH，由于模型的工作原理，一個檢測目標只由一個特征點進行預測，這就導致了樣本的極度不平衡。通過目標分類置信度的損失函數(shù)避免這一現(xiàn)象的產生。

分類置信度LH:

式中，Y?xyc為檢測圖像的預測值，為了使正樣本損失提高的同時減少負樣本的損失，在損失函數(shù)中設置了3 個參數(shù)α，β，δ。3 個參數(shù)的具體值通過多次試驗搜索獲得。負樣本Ln、正樣本LP分別通過設置β1，δ和β2進行調整。最終正負樣本的損失會反映到參數(shù)α上進而得到分類置信度函數(shù)LH。式中Y?xyc為檢測圖像的預測值。

Center-Net 目標檢測算法以預測出的中心點為基準生成目標尺寸框。目標尺寸框的寬與高存在一定的誤差。

式中，Cφ，Sφ分別是中心點損失和識別框寬高損失所占得比例。

3 樣本數(shù)據集

本文試驗數(shù)據采集自洛陽市欒川縣洛鉬露天金屬礦礦山，采取固定位置，位于傳送帶左側方45°，圖像采集角度下傾30°，距離地面180 cm，進行試驗圖像的收集。所處采集環(huán)境如圖6 所示。

圖6 采集環(huán)境

傳送數(shù)據采集位于碎礦車間的1#帶式輸送機，設備型號為YKK4502-4?？偣彩占愇飯D像4532張。圖像分別率為6000×4000。將所采集到的圖像進行劃分，分別劃分為訓練圖像集、驗證圖像集和測試圖像集，具體圖像集如圖7 所示。

圖7 采集的圖像數(shù)據集

3.1 樣本數(shù)據集增強

3.1.1 直方圖均衡化

針對較差的光線環(huán)境將直方圖均衡化，借助對圖像較暗區(qū)域進行加強以及通過對待處理圖像進行非線性的拉伸，將圖像數(shù)值進行重新的分配，進而使一定灰度范圍內的像素信息數(shù)值保持大致一致[9]。直方圖均衡化后的對比如圖8 所示。

圖8 直方圖均衡化對比

3.1.2 降噪

針對圖像中存在的噪聲，使用中值濾波，讓圖像的像素值趨近于真實值，進而達到降噪的效果。降噪前后的對比如圖9 所示。

圖9 降噪前后對比

3.2 標注數(shù)據集

本文使用labelimg 對數(shù)據集進行標注，標注完成后的圖像以xml 格式儲存。

4 試驗設計及結果分析

4.1 試驗環(huán)境配置

數(shù)據訓練使用改進后的Center-Net 目標檢測網絡訓練，使用遷移學習的方式，采用預訓練的VOC數(shù)據集權重，一共迭代80 個epoch，設置batch size為8，初始學習率為10?3，異物識別網絡使用pytorch 1.2 框架搭建，試驗所用計算機配置為處理器intel(R)-Xeon(R)-Silver-4114；內存128G；GPU 為2 張Nvidia-GeForce-RTX-2080Ti-12G。所用的訓練樣本輸入分辨率為512×512，所有模型輸出分辨率為128×128。

4.2 目標集的訓練

將處理后的數(shù)據集分別在不同的算法下進行試驗。試驗1 是通過提高感受野獲得的mo-centernet算法。試驗2 是在mo-centernet 算法的基礎上修改損失函數(shù)，修改后的算法稱為mol-centernet。為保證模型的平衡性，需要不斷設置α1，α2，β1，β2和δ。通過多次尋優(yōu)試驗獲得以下數(shù)據：

① 當β1=3，δ=0.2 時，實現(xiàn)負樣本損失的降低，對應的損失函數(shù)為Ln。

② 當β2=1.5 時，實現(xiàn)正樣本損失的提高，對應的損失函數(shù)為Lp。α參數(shù)控制正樣本與負樣本的比例，設置α1=0.25，α2=1 對應的損失函數(shù)為LK。圖10 為2 個模型的損失函數(shù)曲線。

圖10 損失函數(shù)曲線

由圖10 可知，迭代到80 輪時，mo-centernet算法的損失函數(shù)值為 0.0052，mol-centernet 為0.0024。修改后損失函數(shù)的模型最小值縮小了2.166倍，使得整個模型的損失函數(shù)更加趨于0。這說明通過在損失函數(shù)中引入參數(shù)，分別調控正負樣本的比例來優(yōu)化損失函數(shù)是有效的。

4.3 測試與結果驗證

使用4.1 所敘述的試驗環(huán)境，使用mol-centernet算法進行試驗。異物檢測過程與結果見圖11～圖12。

圖11 檢測過程

圖12 檢測結果

將本文所提出的方法分別與通用算法進行對比，進一步分析改進后的方法。最后分別使用精準度（precision），平均精度（AP），平均精度均值（MAP）和模型推理速度（FPS）4 個指標對各方法進行評估。MAP 是多個類別AP 的平均值。具體的計算公式見式（7）～式（9）。

本文設計5 組對照試驗，分別為本文通過擴張感受野和改進損失函數(shù)得到的mol-centernet 算法和SSD，YOLO V3，F(xiàn)aster r-cnn，Center-Net。具體結果如下所示。

表1 算法對比

根據試驗可以看出，本文提出的方法對鉆根、鏟牙和工字鋼的識別精度分別達到0.800，0.950 和0.911，對各項傳輸帶上的異物識別精度均有明顯提高，實現(xiàn)了對金屬礦帶式輸送機異物的高精度識別。

5 結論

本文旨在改進傳統(tǒng)無錨框式異物檢測的方法，為金屬礦帶式輸送機異物檢測提供一種高穩(wěn)定性、高精確度的方法。

（1）由于在金屬礦帶式輸送機上采集的圖像存在識別區(qū)域過大、暗部細節(jié)不足和噪聲過大的問題，對采集到的圖像進行直方圖均衡化和中值濾波降噪處理，有效地降低了環(huán)境因素對后期識別工作的影響。

（2）通過空引入洞卷積提高Center-Net 模型的感受視野。為了解決金屬礦帶式傳輸機異物在訓練過程中存在的正負樣本不平衡問題，在傳統(tǒng)損失函數(shù)上引入α1，α2，β1，β2和δ參數(shù)，來優(yōu)化訓練過程中正負樣本的比例，降低算法整體損失函數(shù)值，提高算法檢測準確率。

（3）試驗結果表明本文所提出的molcenter-net方法可以有效對金屬礦帶式輸送機上的異物進行檢測，相對于現(xiàn)有算法SSD，YOLO V3，F(xiàn)aster r-cnn和center-net 識別準確度有明顯提升。下一步的工作將對算法優(yōu)化、提升算法的識別速度展開。