基于機器視覺的煤矸識別實驗教學平臺研發(fā)

姜海燕，宋慶輝，宋慶軍，劉治江，郝文超

（1.山東科技大學智能裝備學院，山東泰安 271000；2.日照港集裝箱發(fā)展有限公司，山東日照 276800）

0 引言

在煤礦開采中，降低原煤含矸率是實現(xiàn)煤炭高效綠色發(fā)展的必要條件，它不僅能增加煤的發(fā)熱量，提升煤炭利用效率，還能減少對環(huán)境的污染［1］。在綜放工作面，實現(xiàn)頂煤下放過程的煤矸識別是降低原煤含矸率、提高煤炭質量的根本途徑。經(jīng)過近幾十年的發(fā)展，煤矸識別方法高達30 多種，涵蓋了γ射線、雷達探測、振動信號、聲波信號和圖像識別等方法［2-3］。煤矸圖像識別是近幾年比較流行的研究方法，劉富強［4］利用圖像處理技術對煤矸界面識別方法進行了深入的探討，并在此基礎上提出圖像處理方法的煤矸識別方法。文獻［5-6］中對煤矸圖像信息進行采集，利用去噪、多尺度分解、灰度共生矩陣分析的方式進行特征提取，提出一種基于小波、小波包和支持向量機的煤矸圖像識別方法。王家臣等［7］提出圖像識別智能放煤技術，建立輕量級的放頂煤工作面矸石識別及邊界測量模型，實現(xiàn)混矸率的精準快速識別。劉軍鋒等［8］提出一種記憶放煤和融合視覺監(jiān)控采放協(xié)調控制技術，實現(xiàn)放頂煤工作面放煤的煤矸識別和自動化放煤。于斌等［9］提出一種特厚煤層智能化綜放開采技術架構和融合振動與高光譜的煤矸識別研究思路。Jiang 等［10］在聲波、模式識別的基礎上，提出基于MFCC和多分支卷積神經(jīng)網(wǎng)絡的煤矸識別方法。

煤矸識別是國際前沿課題，也是工科院校，特別是煤炭院校熱門的研究課題，不僅對煤礦生產的實際指導意義重大，且有助于大學生、研究生實踐和創(chuàng)新能力的培養(yǎng)?；诖耍疚难邪l(fā)了一套模擬綜放工作面智能化放煤的教學和科研綜合實驗平臺，為相關專業(yè)的學生和科研人員開展煤矸識別的基礎和關鍵技術研究提供了硬件支撐。

1 實驗平臺設計

1.1 實驗平臺總體設計

煤矸識別實驗平臺主要由落煤裝置、計算機系統(tǒng)、工業(yè)相機、光源和煤矸石等部分組成，如圖1 所示。落煤裝置主要實現(xiàn)頂煤下放，計算機系統(tǒng)實現(xiàn)煤炭、矸石圖像的采集、圖像信號處理及煤矸識別。

圖1 實驗平臺總體設計方案

1.2 落煤裝置

落煤裝置主要由液壓支架、儲煤倉、插板以及控制插板開閉的直線推桿組成。實驗臺支架將各部分固定在相應位置。儲煤倉是邊長500 mm 的正方體空箱，在儲煤倉底部安裝有插板控制儲煤倉內的煤矸下落，插板由直線推桿驅動，用以模擬放煤口開閉。儲煤倉前表面裝有透明鋼化玻璃，可觀察煤或矸石在里面儲存狀態(tài)。插板由直線推桿電動機推動，推桿最大行程為300 mm，速度為7 mm／s，推桿電動機控制器選用Liyixun推桿電動機控制器。

1.3 圖像采集系統(tǒng)

實驗平臺選取MV-CS200-10GC 彩色面陣的CMOS工業(yè)相機，分辨率為5472 ×3648，最大幀率為5.9F／s＠5472 ×3648，曝光時間為46 μs～2.5 s。

為避免其他光源的影響，實驗驗證需要在暗室中進行，在此使用EFIII-200 型LED 可調節(jié)光源作為實驗光源，如圖2（a）所示。為驗證不同波段光源對煤矸識別準確率的影響，分別采用紅、黃和藍色濾色片（見圖2（b））對光源進行濾色，收集紅（波長625～740 nm）、黃（波長565～590 nm）、藍（波長485～500 nm）光源下的煤矸樣本圖像。此外，實驗配套使用55°標準反光罩加擋光板使光線反射均勻。

所搭建的實驗平臺如圖3 所示。

煤矸識別教學科研實驗平臺服務于自動化、智能控制和模式識別等專業(yè)的本科（研究）生與該領域的科研人員。利用該平臺學生能開展放煤規(guī)律、信號采集、信號處理與分析、煤矸識別與智能控制等教學綜合性實驗和科研探索與驗證實驗，有助于激發(fā)學生樂于探索和敢于動手的科研興趣，培養(yǎng)學生理論和實踐相結合的研究能力。該實驗裝置為科研人員提供煤炭開采關鍵技術的研究與開發(fā)提供了理論驗證平臺。

2 煤矸圖像預處理及特征提取

煤矸圖像經(jīng)預處理和特征提取之后，獲得有效的煤矸圖像的顏色、邊緣、紋理等特征，構成了特征維數(shù)為18 的煤矸數(shù)據(jù)集，其處理過程如圖4 所示。

圖4 圖像預處理及特征提取流程

2.1 圖像預處理

由于強光照產生的高斯噪聲、圖像傳感器產生的泊松噪聲和由解碼誤差造成的椒鹽噪聲［11］，在進行圖像特征提取之前需對圖像進行濾波和增強處理。常用的圖像降噪處理方法有高斯濾波、均值濾波和中值濾波。

濾波后的圖像通常需圖像增強來提高圖像成分的清晰度，有利于計算機處理。

利用Retinex理論可將其分解為反射圖像R（x，y）和光照圖像L（x，y）［12］，通過相機所獲得的圖像為

利用對數(shù)函數(shù)可獲得對數(shù)域反射圖像為

式中，g（x，y）為中心環(huán)繞函數(shù)，通常采用高斯函數(shù)。本文提出使用雙邊濾波代替高斯濾波對輸入圖像進行光照估計，在不增大圖像噪聲的基礎上，得到更多細節(jié)信息的圖像。

為便于計算像素權重，設置空間鄰近度因子Ws和亮度相似因子Wr來構造雙邊濾波函數(shù)：

式中：δs為空間域標準差；δr為值域標準差。δs和δr分別控制著空間鄰近度因子和顏色空間內的亮度相似度因子的衰減程度。

設（i，j）為當前像素點的位置，（k，l）為中心點的位置，且此中心像素領域范圍Si，j，則雙邊濾波函數(shù)

2.2 特征提取

灰度、紋理和顏色能表征煤與矸石表面特性差異，本文利用這3 種特征來分析煤與矸石在不同波長光源照射下的差異?；叶葘傩杂没叶戎狈綀D［13］來表征；灰度的紋理特性用灰度共生矩陣（Gray level cooccurrence matrix，GLCM）來表征，包含能量、熵、對比度和相關性［14］；Tamura 紋理是在對人類視覺感知的心理學研究的基礎上通過粗糙度、對比度、方向度、線性度、規(guī)則度和粗略度6 種視覺紋理特征表示煤炭與矸石圖像樣本紋理特征［15］。顏色屬性用RGB 各通道的一階矩、二階矩來表示。一階矩μi用來表示圖像的顏色信息；二階矩σi表示圖像中的顏色分布，即：

式中：pi，j為煤和矸石圖像顏色分量i中灰度值為的概率；N為煤和矸石圖像樣本的像素點的數(shù)量。

通過對比分析，在不同光源，3 種波長光源下的特征屬性具有不同的煤矸識別區(qū)分度，按照區(qū)分度值的大小排列，依次為灰度特征中的灰度均值，灰度方差紋理特征中的粗糙度、對比度、線性度、粗略度，顏色特征中的一階矩、二階矩。

3 實驗測試與分析

實驗測試任務為煤矸圖像的數(shù)據(jù)采集、信號處理、特征提取、煤矸識別實驗。測試的實驗平臺為本文所研發(fā)的煤矸識別實驗教學平臺。

3.1 數(shù)據(jù)采集實驗

利用LabVIEW完成煤矸圖像采集系統(tǒng)的設計，采集長波（紅色）、中波（黃色）、短波（藍色）3 種光源下的煤矸圖像樣本，前面板如圖5 所示，圖像采集程序如圖6 所示。

圖5 圖像采集系統(tǒng)的操作界面

圖6 圖像采集程序

通過視覺硬件平臺，培養(yǎng)學生運用LabVIEW解決一些實際工程應用問題的能力。在液壓支架安裝聲音和振動傳感器，獲得頂煤下放過程中不同煤矸比的聲音和振動信號［16］?？筛鶕?jù)實驗需求靈活調整傳感器類型和數(shù)量，為多傳感器信息融合提供了大量的數(shù)據(jù)集。

3.2 信號處理實驗

利用不同波長光源下的圖像樣本，自主研發(fā)圖像信號濾波處理子系統(tǒng)，驗證不同濾波算法的優(yōu)缺點。圖7 顯示了藍色光源下煤矸濾波效果，表1 為不同光源的降噪峰值信噪比（Peak Signal to Noise Ratio，PSNR）。

表1 不同光源下煤炭矸石樣本圖像濾波后的PSNR值dB

圖7 藍色光源下煤矸圖像濾波結果

由實驗結果分析發(fā)現(xiàn)，均值濾波可通過煤矸圖像噪聲附近的像素值來修復噪聲像素，對椒鹽噪聲過濾效果較好，但無法對圖像的細節(jié)起到良好的保護作用，導致圖像模糊；從圖7 很難判斷出高斯濾波和中值濾波的濾波效果，但中值濾波的PSNR 值高于高斯濾波和均值濾波。說明中值濾波對于煤矸圖像樣本的降噪能力優(yōu)于高斯濾波和均值濾波。

3.3 特征提取實驗

特征提取實驗運行在Windows7 系統(tǒng)上，可利用Matlab、LabVIEW軟件平臺或Python、C＃等編程語言，結合采集不同波長光源的圖像，按照第2 節(jié)的方法自主編寫特征提取程序。圖8、9 分別顯示了部分灰度特征和GLCM紋理特征。

圖8 不同光源下煤矸樣本灰度特征散點圖

圖9 不同光源下煤矸GLCM紋理特征散點圖

3.4 煤矸識別實驗

為分析不同波長光源照射下煤炭與矸石的識別差異，采用支持向量機（Support Vector Machine，SVM）實現(xiàn)煤矸識別的測試。開展單類特征和多類特征聯(lián)合實驗，實驗結果分別如圖10、11 所示。

圖10 單類特征的識別準確率

圖11 不同特征聯(lián)合下的識別準確率

由圖10、11 可見，分析出光源波長和圖像特征對煤矸識別的影響：

（1）短波藍光的識別精度最高，其次是長波紅光，最后是中波黃光。

（2）從單類特征上看，藍光下顏色特征識別精度最高，其次是灰度特征，最后是紋理特征。

（3）從聯(lián)合特征上看，藍光下灰度和顏色特征聯(lián)合識別精度最高，而灰度＋紋理＋顏色3 類特征聯(lián)合的識別精度卻不是最優(yōu)。

可見，光源波長和特征組合影響了煤矸識別精度，基于機器視覺的煤矸識別需要通過實驗選擇光源和特征的最優(yōu)組合。

3.5 煤矸實驗平臺特點

該平臺面向實際工程應用，可支撐不同綜放工作面的煤矸識別和智能化放煤等教學與科研關鍵技術的研究與開發(fā)。培養(yǎng)學生從工程的角度思考問題、解決問題。

該平臺具有良好的通用性，可滿足不同專業(yè)的教學和科研的需求，例如：放煤規(guī)律的研究、液壓支架的有限元及動力學分析、放煤智能化控制、模式識別、多傳感器信息融合等。

該平臺靈活性好，可提供振動、聲音和圖像等多種數(shù)據(jù)集，可模擬各種頂煤下放的場景，提供關鍵技術的驗證條件。

該平臺可培養(yǎng)學生能利用LabVIEW、Matlab 軟件和Python、C＃等編程語言實現(xiàn)工程關鍵技術的研究。

4 結語

本文設計了一套綜放工作面頂煤下放教學和科研綜合實驗平臺，可模擬不同放煤工作面運行情況，為多傳感器信息融合、智能控制和模式識別等領域提供大量實測數(shù)據(jù)。針對機器視覺煤矸識別研究課題，利用該平臺研究了圖像的預處理、特征提取和不同波長的光源對煤矸識別精度的影響，驗證了煤炭和矸石在實驗條件下采用機器視覺進行識別的可行性與先進性。借助該綜合實驗平臺的開發(fā)與運行經(jīng)驗，相關的關鍵技術已成功推廣到多個科研機構和智能放煤工程項目，有助促進學生理論和實踐相結合，提升學生的科研創(chuàng)新和動手實踐能力，完善產學研學生培養(yǎng)體系，為時代發(fā)展培養(yǎng)具有解決實際問題能力的人才。

教育是民族振興、社會進步的基石，是提高國民素質、促進人的全面發(fā)展的根本途徑。強國必先強教。優(yōu)先發(fā)展教育、提高教育現(xiàn)代化水平，對全面實現(xiàn)小康社會目標、建設富強民主文明和諧的社會主義現(xiàn)代化國家具有決定性意義。

摘自《國家中長期教育改革和發(fā)展規(guī)劃綱要》