一種煤矸石優(yōu)化識別方法

趙明輝

(1.中煤科工集團上海有限公司， 上海 200030；2.同濟大學 電子與信息工程學院， 上海 201804)

0 引言

煤炭開采過程中混有大量矸石，將矸石從煤炭中分選出來是煤炭生產(chǎn)環(huán)節(jié)重要的組成部分。傳統(tǒng)的煤矸石分選主要依靠人工，存在分選效率低、勞動強度大等問題。隨著圖像處理技術(shù)的快速發(fā)展，圖像識別逐漸應用到煤矸石分選環(huán)節(jié)中[1-2]。傳統(tǒng)的煤矸石圖像識別方法對圖像進行濾波、邊緣檢測和分割等處理，基于灰度、紋理等特征區(qū)分煤和矸石[3-5]。然而在實際應用過程中，輸送帶磨損會給視覺檢測帶來嚴重噪聲，定位煤或矸石時會出現(xiàn)目標區(qū)域過大或過小的情況，導致目標區(qū)域出現(xiàn)過多輸送帶背景或丟失邊緣信息，影響煤矸石識別準確率。本文將深度學習引入煤矸石圖像識別，利用深度學習進行目標檢測，定位目標在圖像中的位置，再依據(jù)圖像灰度直方圖的三階矩特征參數(shù)對煤矸石進行分類，從而提高煤矸石識別準確率。

1 煤矸石識別方法

1.1 深度學習網(wǎng)絡

利用深度學習網(wǎng)絡進行目標檢測時，每個檢測框只能檢測1個目標，如果2個目標同時落在1個檢測框中，也只能檢測到1個目標。通過引入anchor boxes可實現(xiàn)多目標檢測，但增加了深度學習網(wǎng)絡的復雜程度，導致訓練過程收斂速度慢、網(wǎng)絡計算能力降低等問題[6-7]。深度學習網(wǎng)絡CornerNet只需通過檢測bounding box的左上角關(guān)鍵點和右下角關(guān)鍵點來實現(xiàn)目標檢測，消除了對anchor boxes的需求。但CornerNet網(wǎng)絡在COCO數(shù)據(jù)集上測試的平均單幀推理時間為1.147 s[8]，不能滿足實時性要求。

CornerNet-Lite是在CornerNet基礎上進行優(yōu)化，具體分為CornerNet-Saccade和CornerNet-Squeeze。CornerNet-Saccade通過降采樣減少像素量，同時使用多尺度的卷積，從而降低推理量，提高計算精度。CornerNet-Saccade在COCO數(shù)據(jù)集上測試，平均每張圖耗時190 ms且平均精度達43.2%[9]，適用于離線計算，準確率高。CornerNet-Squeeze通過減少每個像素的計算量來提高計算速度，在Hourglass卷積層將第1層residual block替換為SqueezeNet中的Fire Module，第2層3×3標準卷積替換為MobileNet 3×3深度可分離卷積。CornerNet-Squeeze在COCO數(shù)據(jù)集上測試，平均每張圖耗時30 ms且平均精度達34.4%[9]。由此可見，CornerNet-Saccade是在提高準確率的情況下兼顧計算速度，即準確率優(yōu)先，而CornerNet-Squeeze是在提高計算速度的情況下兼顧準確率，即速度優(yōu)先。

在實際生產(chǎn)中，輸送帶運行速度較快，為保證煤矸石能夠被快速識別，本文采用CornerNet-Squeeze網(wǎng)絡對煤矸石進行目標檢測，網(wǎng)絡結(jié)構(gòu)如圖1所示。

1.2 灰度特征選取

常用的灰度直方圖統(tǒng)計特征參數(shù)包括均值、方差、三階矩和熵[10-11]。

均值反映圖像的總體亮度，其表達式為

(1)

式中：i為灰度級；Pi為第i個灰度級出現(xiàn)的概率。

圖1 CornerNet-Squeeze網(wǎng)絡結(jié)構(gòu)Fig.1 Network structure of CornerNet-Squeeze

方差反映圖像的灰度在數(shù)值上的離散分布情況，其表達式為

(2)

三階矩反映圖像直方圖分布的不對稱程度，其表達式為

(3)

熵反映圖像包含的信息量大小，其表達式為

(4)

在實驗室條件下，選取50張以輸送帶為背景的煤和矸石圖像，統(tǒng)計煤與矸石圖像灰度直方圖的均值、方差、三階矩和熵等特征參數(shù)，結(jié)果見表1?？煽闯雒汉晚肥瘓D像的三階矩特征差異最明顯，因此本文選取三階矩作為煤矸石分類的依據(jù)。

表1 煤和矸石圖像灰度直方圖統(tǒng)計特征參數(shù)Table 1 Statistical characteristic parameters of gray histogram of coal-gangue images

1.3 煤矸石識別流程

煤矸石識別流程如圖2所示。采集的圖像經(jīng)過裁切、去噪、灰度化等預處理后，利用訓練好的CornerNet-Squeeze深度學習模型判斷圖像內(nèi)是否存在待檢測的煤或矸石，若存在則定位煤或矸石在圖像中的位置，然后對定位區(qū)域進行灰度直方圖分析，根據(jù)三階矩特征參數(shù)判定是煤還是矸石。

2 實驗驗證

為驗證本文方法的有效性，以煤矸石分選機器人系統(tǒng)為實驗平臺。該系統(tǒng)主要由圖像采集系統(tǒng)、工控機、機械臂控制器及機械臂組成，如圖3所示。圖像采集系統(tǒng)獲得輸送帶上煤及矸石圖像，并通過以太網(wǎng)發(fā)送給工控機；工控機對圖像進行分析處理，經(jīng)串口發(fā)送指令給機械臂控制器，控制多組機械臂將輸送帶上的矸石從煤流中靶取到矸石洞中[12-14]，實現(xiàn)煤矸石自動分選。圖像采集系統(tǒng)采用視覺暗箱降低外部環(huán)境光照對圖像特征變化的影響，并通過大功率LED表面光源及光源控制器提供均勻穩(wěn)定的照明環(huán)境。過低像素的圖像容易造成關(guān)鍵信息丟失，而過高像素的圖像不利于數(shù)據(jù)傳輸及處理，因此采用Rosa系列千兆網(wǎng)工業(yè)相機，采集的圖像為200萬像素[15]。

圖2 煤矸石識別流程Fig.2 Flow of coal-gangue identification

圖3 煤矸石分選機器人系統(tǒng)組成Fig.3 Composition of coal-gangue separation robot system

調(diào)用在Ubuntu下訓練好的CornerNet-Squeeze深度學習模型文件，加載到工控機的視覺軟件中，進行煤矸石識別實驗。實驗配置：1080 Ti GPU，Intel Core i7-8700K CPU，Ubuntu 16.04操作系統(tǒng)，PyTorch 1.0.0深度學習框架，CUDA 9.0。

2.1 圖像數(shù)據(jù)集

選取大同煤礦集團有限責任公司同忻礦的煤矸石，共拍攝1 845張圖像，其中煤1 249張，矸石596張。為提高數(shù)據(jù)集容量、解決數(shù)據(jù)集不平衡問題，對現(xiàn)有圖像進行鏡像、旋轉(zhuǎn)等正則變換后，共得到7 380張圖像，其中7 196張作為訓練集，184張作為測試集。對訓練集的圖像進行打標簽處理，即將每張圖像的目標區(qū)域用矩形框選出并標注分類信息，標記矩形框4個頂點的坐標，對應于csv文件中的第1行，其編碼格式為UTF-8。

2.2 參數(shù)設置

CornerNet-Squeeze網(wǎng)絡模型參數(shù)設置：batch_size為32；初始學習率為0.000 25；學習衰減因子為10；優(yōu)化器為adam；隊列預取數(shù)據(jù)量為5；soft-NMS閾值為 0.5。

2.3 實驗結(jié)果分析

分別采用傳統(tǒng)的煤矸石圖像識別方法和本文方法對圖像中目標進行檢測，結(jié)果如圖4所示，可看出本文方法能準確定位被檢測目標。

(a) 傳統(tǒng)的煤矸石圖像識別方法

(b) 本文方法

利用測試集對傳統(tǒng)的煤矸石圖像識別方法和本文方法的識別準確率和識別速度進行比較，結(jié)果見表2。可看出本文方法識別準確率高，且實時性好。

表2 煤矸石識別準確率和識別速度對比Table 2 Comparison of identification accuracy and identification speed of coal-gangue

3 結(jié)語

提出了一種煤矸石識別方法。該方法使用深度學習網(wǎng)絡模型CornerNet-Squeeze對煤矸石進行目標檢測，再依據(jù)圖像灰度直方圖的三階矩特征參數(shù)對煤矸石進行分類。實驗結(jié)果表明，該方法能有效提高煤矸石目標定位精度，避免因輸送帶磨損造成的背景干擾問題，保證煤矸石能夠被快速識別，提高煤矸石識別準確率。