智慧礦山皮帶運輸機堵煤視頻智能識別算法研究綜述

趙學(xué)軍 楊征

中國礦業(yè)大學(xué)（北京）機電與信息工程學(xué)院

0 引言

隨著人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展，各個行業(yè)都朝著智能化的方向發(fā)展，但是在煤礦行業(yè)的信息智能化程度還有待提高。煤礦行業(yè)實現(xiàn)智能化發(fā)展，可以有效降低煤礦生產(chǎn)的經(jīng)濟成本，減少安全事故的發(fā)生。因此，跟隨社會科技的發(fā)展，智慧礦山建設(shè)成為煤炭行業(yè)發(fā)展的必然趨勢。

目前，國內(nèi)大多數(shù)煤礦實現(xiàn)了視頻監(jiān)控，但是對皮帶運輸機的視頻監(jiān)控主要依靠人工，在出現(xiàn)預(yù)警的情況下調(diào)取監(jiān)控發(fā)現(xiàn)，其并沒有充分發(fā)揮視頻監(jiān)控系統(tǒng)的真正作用，無法達到智能化監(jiān)控的效果。因此，對視頻圖像進行智能分析，可以為煤礦安全生產(chǎn)提供強有力的保障，極大提高煤礦生產(chǎn)效率。

對皮帶運輸機的運行狀態(tài)進行智能監(jiān)測，是實現(xiàn)煤礦智能化的重要基礎(chǔ)。針對煤礦井下特殊的環(huán)境，主要是對皮帶運輸機進行堵煤智能識別監(jiān)控，從皮帶運輸機的運行監(jiān)測視頻出發(fā)。目前對視頻中的目標(biāo)檢測屬于計算機視覺領(lǐng)域的重要組成部分，一般是將檢測的運動目標(biāo)進行提取，然后對目標(biāo)進行準(zhǔn)確分析。在提取運動目標(biāo)的過程中，通用的方法主要有光流法、背景減法、幀差法、深度模型以及基于各算法的變形和改進。但是由于井下情況特殊，單一采用以上方法用于對皮帶運輸機堵煤的智能識別，往往難以取得滿意的效果。本文針對幾種皮帶運輸機堵煤識別算法進行對比和分析。

1 基于煤量檢測的堵煤識別算法研究

傳統(tǒng)的堵煤識別方法一般是通過檢測皮帶運輸機上的運煤量來判斷其是否出現(xiàn)堵煤或者空載等問題。皮帶機輸煤量一般是通過布設(shè)繁多的傳感器實現(xiàn)，傳感器磨損較大，且不精準(zhǔn)。目前，對煤量檢測的裝置是電子膠帶秤，雖然其應(yīng)用廣泛，但價格昂貴，且存在誤差。

曾飛等使用激光掃描的帶式輸送機物料瞬時流量高精度實時測量方法，利用二維激光測距儀和測速傳感器獲取帶式輸送機高速運行下物料流三維激光點云數(shù)據(jù)，通過分析掃描線上激光點云空間形態(tài)特征，提出一種物料流輪廓自動提取方法，并建立基于面元積分的帶式輸送機物料瞬時流量計算數(shù)學(xué)模型。這種方法主要是通過激光掃描皮帶，獲得皮帶上煤炭的點云信息，根據(jù)點云構(gòu)成的輪廓，確定輸送帶輸煤量。

關(guān)丙火提出了一種基于激光掃描的帶式輸送機瞬時煤量檢測方法。通過數(shù)字?jǐn)z像儀和激光儀器獲取帶式輸送機上散煤的圖像，利用Ohta 顏色空間特性提取激光線輪廓，采用梯形面積累積法計算散煤的截面面積，實時獲取皮帶運輸機的瞬時煤量。

曾飛等和關(guān)丙火都是通過激光檢測儀檢測皮帶運輸機上的運煤量，從而判斷皮帶運輸機是否出現(xiàn)堵煤或者空載的情況，但是利用激光對煤炭進行點或者線的掃描時，容易受環(huán)境中細小顆粒物的影響。礦井下煤炭粉狀懸浮空中，對激光掃描造成了很大的影響，對煤炭輪廓的提取造成較大干擾，同時，激光儀價格昂貴，難以在各個煤礦普及。

陶偉忠根據(jù)采取的皮帶運輸機上煤炭的圖像信息，分別選取煤流的顏色、運動和能量特征作為時域和頻域特征，對滿足時域和頻域特征區(qū)域的圖像取交集運算，進而計算出煤流區(qū)域面積。李紀(jì)棟主要是通過圖像邊緣檢測的方法得到煤料的寬度，通過知識庫模糊計算得到輸煤量。

陶偉忠和李紀(jì)棟主要是通過傳統(tǒng)的圖像算法提取圖像特征，針對礦井下環(huán)境較為昏暗的情況，傳統(tǒng)人工提取圖像特征的算法準(zhǔn)確率較低，且通用性能較差，對于煤量的檢測準(zhǔn)確率較低，進而造成堵煤識別具有不準(zhǔn)確性。

隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，利用卷積神經(jīng)網(wǎng)絡(luò)進行端到端的學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)圖像特征，提高了圖像檢測準(zhǔn)確率。韓濤提出了一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)的帶式輸送機輸煤量和跑偏檢測方法，同時對輸煤量檢測和跑偏檢測這兩個任務(wù)進行學(xué)習(xí)，減小了網(wǎng)絡(luò)體積，降低計算量，提高運行速度。

上述方法是針對皮帶運輸機上運煤量進行檢測，通過判斷皮帶運輸機上煤炭的量來判斷皮帶運輸機上是否出現(xiàn)堵煤或者空載等異常情況。這種先檢測煤量、再判斷是否堵煤的傳統(tǒng)方法，好處是可以有效地檢測到皮帶運輸機上的煤量，從而防止皮帶運輸機空載情況的發(fā)生，但是這種方法需要兩步判斷，需要投入大量的人力、物力，經(jīng)濟成本較高，難以有效實現(xiàn)對皮帶運輸機智能堵煤的識別。

2 基于目標(biāo)檢測的堵煤識別算法研究

隨著深度學(xué)習(xí)的快速發(fā)展，目標(biāo)檢測在各個領(lǐng)域的應(yīng)用越來越廣泛，但是沒有一種通用的檢測算法。在煤礦這一特殊的行業(yè)，需要根據(jù)環(huán)境的不同而使用不同的檢測算法，從而實現(xiàn)檢測算法的良好性能，達到減少生產(chǎn)成本和安全事故發(fā)生的同時，實現(xiàn)對井下的智能化監(jiān)控。接下來，將應(yīng)用在皮帶運輸機堵煤識別中的幾種目標(biāo)檢測算法進行分析對比。

2.1 融合邊緣檢測和背景減法的視頻目標(biāo)檢測

煤礦井下環(huán)境特殊，單純地使用一種檢測算法總是存在各種局限，檢測效果不夠理想。因此，許風(fēng)志提出了融合背景差分、幀間差分和處理后的邊緣檢測的目標(biāo)提取方法。該算法使用幀間差分進行或運算，擴大運動目標(biāo)檢測區(qū)域，然后使用Canny算子提取三幀差分圖像的邊緣，最后與邊緣檢測后的運動目標(biāo)團塊進行與運算，消除光照和噪聲的影響。三幀差分后使用Canny 邊緣檢測算子進行檢測，得到運動目標(biāo)邊緣并進行填充。

該算法選用的運算簡單、復(fù)雜度低。使用傳統(tǒng)目標(biāo)檢測的算法對煤礦井下物體進行檢測，同樣可以應(yīng)用在皮帶運輸機堵煤的識別上，但是此算法利用傳統(tǒng)的目標(biāo)檢測算法，較為繁瑣，計算量大，不能達到及時檢測的效果，對光照和噪聲敏感，嚴(yán)重依賴背景模型的建立。

2.2 基于Faster RCNN 的目標(biāo)檢測算法

Faster RCNN 由RCNN 連續(xù)發(fā)展而成。郜振國提出了基于Fasetr RCNN 的皮帶異物檢測算法。Faster RCNN 通過區(qū)域建議網(wǎng)絡(luò)RPN處理任意尺寸輸入圖像，輸出預(yù)選區(qū)域矩陣集合。在每一個滑動窗口位置，假設(shè)提供k 個預(yù)選區(qū)域，則回歸層提供4k 個輸出，對應(yīng)k 個預(yù)選區(qū)域的頂點坐標(biāo)編碼。分類層提供2k 個輸出，對應(yīng)該預(yù)選區(qū)域是不是目標(biāo)的概率。

以每個預(yù)選區(qū)為中心，定義9 種不同尺寸候選區(qū)域anchor，計算與真值的重疊率，確定其中是否包含目標(biāo)，形成正負樣本用于訓(xùn)練。通過最小化損失函數(shù)，來訓(xùn)練模型。

Faster RCNN 原模型結(jié)構(gòu)采用VGG 作為骨干網(wǎng)，但由于井下皮帶運輸機檢測的實時性要求，實際檢測時間需盡可能短，因此，本研究采用ZF 模型作為骨干網(wǎng)提取特征信息。ZF 網(wǎng)絡(luò)核心結(jié)構(gòu)包括5 層卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，3 層全連接神經(jīng)網(wǎng)絡(luò)實現(xiàn)分類。在模型訓(xùn)練中，使用dropout 技術(shù)避免過擬合。網(wǎng)絡(luò)結(jié)構(gòu)相對VGG 更簡單，因此，能夠保證良好的運行速度。

基于Faster RCNN 的皮帶運輸機堵煤識別算法，是利用深度網(wǎng)絡(luò)模型對煤礦井下視頻來自動學(xué)習(xí)堵煤特征信息，將視頻信息交給網(wǎng)絡(luò)結(jié)構(gòu)，通過網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練，得出皮帶運輸機上堵煤識別的情況，從而實現(xiàn)堵煤情況的自動識別。與傳統(tǒng)方法相比，其正確率獲得了明顯提高，并且Faster RCNN 可以實時識別，有利于及時發(fā)現(xiàn)堵煤情況，降低人力、物力的投入，減少安全事故的發(fā)生。具體算法流程如圖1 所示。

圖1 算法處理流程

2.3 基于RFCN 的目標(biāo)檢測算法

Faster-RCNN 算法在目標(biāo)的檢測和識別過程中雖然也有較好的表現(xiàn)效果，但是圖像信息在ROI Pooling 的全連接層時，出現(xiàn)目標(biāo)信息的部分丟失現(xiàn)象。許風(fēng)志提出了基于RFCN 的井下目標(biāo)識別算法。為了解決Faster-RCNN 在目標(biāo)檢測識別過程中出現(xiàn)的目標(biāo)位置丟失問題，改進了Faster-RCNN 中的ROI Pooling，在ROI Pooling 層前面引入了位置敏感得分圖，能夠精確地檢測到運動物體的位置，并對每個類別進行投票，得出類別的得分，有效地解決了以上問題。將RFCN 算法應(yīng)用于皮帶運輸機的堵煤識別算法，相對于Faster RCNN 算法來說速度更快，更能有效地達到實時檢測的效果。模型結(jié)構(gòu)如圖2所示。

圖2 模型結(jié)構(gòu)

3 待解決的問題與未來研究方向

皮帶運輸機是煤炭運輸?shù)闹饕O(shè)備，且成本較高，因此，對其進行實時、有效的檢測是煤炭生產(chǎn)活動中至關(guān)重要的一環(huán)。根據(jù)已有的研究方法和最新的研究思路，本文對基于皮帶運輸機堵煤識別的關(guān)鍵技術(shù)下一步待解決的問題與未來研究方向進行展望。

（1）如何使模型更適用于煤礦井下的目標(biāo)檢測需求。由于煤礦井下環(huán)境復(fù)雜，視頻圖像質(zhì)量不高，極大地限制了模型學(xué)習(xí)的能力。因此，需要通過上下文信息、數(shù)據(jù)增強、互補特征融合等各種方法，不斷提高模型的性能，以適應(yīng)煤礦場景下的目標(biāo)檢測需求。

（2）如何在數(shù)據(jù)集樣本較少的情況下實現(xiàn)精確的目標(biāo)檢測。皮帶運輸機出現(xiàn)堵煤或者空載的現(xiàn)象是很少的，大部分都是正常運行的狀態(tài)，在訓(xùn)練模型時，異常狀態(tài)的數(shù)據(jù)集含量較少的情況下，很難將模型訓(xùn)練好。因此，需要通過遷移學(xué)習(xí)或者強化學(xué)習(xí)等方法來訓(xùn)練深度網(wǎng)絡(luò)模型，提高檢測的效果。

（3）如何選擇高性能的骨干網(wǎng)絡(luò)。骨干網(wǎng)絡(luò)的好壞直接影響檢測效果，因此，如何獲取高性能的骨干網(wǎng)絡(luò)，將對后續(xù)的研究與實驗結(jié)果產(chǎn)生重要影響。目前，針對骨干網(wǎng)的選擇具有很大的隨機性，在不同的任務(wù)要求下，不同的骨干網(wǎng)產(chǎn)生的性能也就不同。

4 結(jié)束語

皮帶運輸機堵煤視頻智能識別系統(tǒng)是智慧礦山指揮調(diào)度系統(tǒng)的子系統(tǒng)。本文從皮帶運輸機進行堵煤識別檢測的原因和必要性出發(fā)，針對目前皮帶運輸機進行堵煤識別的幾種方法進行了綜述，主要是煤量檢測和基于目標(biāo)檢測算法的堵煤識別，對這兩種情況下分別存在的幾種方法進行了描述與對比，同時，對該領(lǐng)域如何使模型更適用于煤礦井下的目標(biāo)檢測需求、如何在數(shù)據(jù)集樣本較少的情況下實現(xiàn)精確的目標(biāo)檢測、如何選擇高性能的骨干網(wǎng)絡(luò)3 個研究熱點進行了分析與展望。