一種改進的高斯混合模型煤矸石視頻檢測方法

程健，王東偉，楊凌凱，張美玲，郭一楠

?

一種改進的高斯混合模型煤矸石視頻檢測方法

程健1, 2，王東偉1，楊凌凱1，張美玲1，郭一楠1

(1. 中國礦業(yè)大學 信息與控制工程學院，江蘇 徐州，221116;2. 江蘇省礦山智能采掘裝備協同創(chuàng)新中心，江蘇 徐州，221116)

基于皮帶運輸機的監(jiān)控視頻，實現煤流中矸石的檢測。由于皮帶運輸機視覺場景復雜、視頻圖像質量差，所以，采用改進的高斯混合模型提取視頻背景，實現視頻背景分離，從而實現煤矸石的檢測和識別。為提高算法性能，采用粒子群優(yōu)化算法對高斯混合模型參數進行優(yōu)化與自整定。研究結果表明：所提算法對矸石的檢測準確率達到95.83%，能夠對皮帶運輸機上的煤矸石實現有效檢測，為提高煤炭質量、保證皮帶運輸機安全運行提供有效保障。

皮帶運輸機；高斯混合模型；粒子群優(yōu)化算法；煤矸石檢測

隨著計算機和多媒體技術的發(fā)展，機器視覺已在工業(yè)、農業(yè)、醫(yī)學、航天、軍事、安全等各個領域得到廣泛應用[1?2]。目標檢測與跟蹤是近年來機器視覺領域中備受關注的前沿方向[3]，它從包含運動目標的圖像序列中檢測、識別并跟蹤目標，并對其行為進行理解和描述。由于目標檢測與跟蹤技術潛在應用價值巨大，近年來受到廣泛關注[4]。煤礦安全生產和煤炭產品質量一直是煤炭行業(yè)備受關注的核心問題[5]。煤矸石是影響煤炭質量的關鍵因素，同時也嚴重威脅皮帶運輸機的安全運行，比如過大的矸石極易損壞設備，甚至造成皮帶撕裂、跑偏、堵煤等嚴重的生產安全事故[6]。目前，國內大部分煤礦依舊使用人工排矸的方法。即安排數名工人在皮帶兩側將較大的矸石挑出。人工排矸方法勞動強度大、生產效率低，因此，亟需一種自動化程度高、檢測效果好的煤矸石檢測方法。近年來，隨著煤炭行業(yè)自動化與信息化的深入發(fā)展，國內大中型礦井都已經安裝皮帶運輸機的集控系統(tǒng)和視頻監(jiān)控系統(tǒng)[7]，可以在集控室對皮帶運輸機的生產狀況遠程監(jiān)視。但是，主要還是依靠操作人員人工觀測監(jiān)控視頻發(fā)現矸石，并未實現煤矸石的自動識別。本文旨在利用視頻檢測的原理實現皮帶運輸機上煤流中矸石的自動檢測。煤礦皮帶運輸系統(tǒng)的視覺環(huán)境復雜、光照條件差、煤塵干擾明顯，其視頻監(jiān)控系統(tǒng)獲得的視頻圖像質量較差。采用傳統(tǒng)的檢測方法，如灰度閾值檢測[8]或邊緣檢測[9]，有很大的局限性。由于光照問題產生的煤與矸石灰度值嚴重混疊現象，使基于灰度閾值的檢測方法難以準確分割圖像，極易產生誤識別或者不識別。邊緣檢測雖然避免了灰度值混疊的問題，但該方法對煤塵、潮濕等因素造成的矸石顏色加深、邊緣梯度不明顯等問題無法有效解決。高斯混合模型[10]使用多個高斯分布，對每一個像素點進行準確的量化描述并實時更新模型。該方法對每一個像素點獨立檢測，使用混合高斯分布提取視頻背景，對視頻進行背景分離，從而檢測運動物體。高斯混合模型對背景實時更新及像素點獨立檢測的特性，使其不受煤礦井下復雜環(huán)境和照明的影響，反而表現出適應性和學習性[11?12]。但是，高斯混合模型是一種參數化模型，其參數大小直接影響到視頻背景建模和分離的效果，進而直接影響到視頻檢測的效率。因此，本文作者基于對煤矸石的視頻特征進行詳盡分析，提出基于高斯混合模型的煤矸石視頻檢測方法并通過粒子群算法[13]實現模型參數尋優(yōu)。

1 基于粒子群優(yōu)化算法的改進高斯混合模型

1.1 基于高斯混合模型的運動檢測

高斯混合模型是單高斯模型的拓展[14?15]，在場景復雜、光照變化較大的場景下，圖像背景點像素波動很大的情況下，單高斯模型難以準確地描述其概率密度函數。此時，需要使用多個高斯分布疊加來擬合其概率分布。高斯混合模型用多個模態(tài)精確量化事物，對復雜的背景有較強的適應性和抗干擾能力。高斯混合模型的每一個高斯分布都有1個權值，也就是說，高斯混合模型的實質就是個單高斯模型的加權和[10]：

若某一點成功匹配位于該點的任意1個高斯分布，則該點被判斷為背景，否則判斷為前景。

否則減小高斯分布的權值：

若某一點未能匹配所有高斯分布，則初始化1個新的模型取代權值最小的高斯分布，賦予較大方差和較小權值，將當前圖像該點灰度值作為新模型的均值。

1.2 基于粒子群優(yōu)化算法的改進高斯混合模型

由于高斯混合模型是參數化模型，其參數選擇直接影響到建模的效果。近年來，基于EM算法的高斯混合模型參數優(yōu)化[16?17]受到廣泛關注，但該方法收斂較慢，嚴重依賴初始值，容易收斂到局部最優(yōu)解。因此，本文采用粒子群優(yōu)化算法實現高斯混合模型的參數尋優(yōu)。

KENNEDY等[13]提出的粒子群優(yōu)化算法，模擬鳥群覓食過程，通過鳥的集體協作，使群體達到最優(yōu)。粒子群優(yōu)化算法實現容易、精度高、收斂快。該算法的優(yōu)化策略為2個動作的合成：1) 鳥群向距離食物最近的那只鳥飛行；2) 每只鳥向自身最優(yōu)方向飛行。

高斯混合模型主要有三項參數需要優(yōu)化和設定，包括：高斯模型數目，背景匹配閾值，學習率。這3個參數通常是根據經驗調整設定，具有很大的主觀性，設定的參數往往不是最好的參數，并且在生產現場，參數需要根據不同監(jiān)控視頻的具體情況作出不同調整。而煤礦操作人員大多不了解程序與算法，整定高斯混合模型的參數對非專業(yè)的人員具有一定難度。為避免這些問題，同時獲得最優(yōu)檢測效果，使用上述粒子群優(yōu)化算法實現高斯混合模型參數的自整定與尋優(yōu)，并將優(yōu)化后的參數提供給高斯混合模型。

2 復雜環(huán)境下煤矸石視頻檢測

2.1 算法實現

煤礦井下環(huán)境復雜、光照條件差，更有大量水汽、煤塵影響，傳統(tǒng)閾值處理和邊緣檢測的檢測的方法有很大局限性，單高斯模型也難以精確擬合其概率密度函數。在皮帶運煤過程中，雖然皮帶和煤也和矸石一樣運動，但皮帶與煤顏色單一，灰度僅有細微變化，仍舊可以被高斯混合模型精確量化，所以，高斯混合模型對矸石的檢測有很大的可行性。

皮帶運輸機監(jiān)控視頻質量較差，噪聲大量存在，而高斯混合模型對每一個點獨立檢測的特性，使其對噪聲點非常敏感。為減少噪聲干擾，對原始圖像進行高斯平滑，對平滑后的圖像使用高斯混合模型建模，對前景進行檢測。

矸石檢測分為以下4步。

第1步：對原始圖像進行高斯平滑，減少噪聲影響，得到平滑后的圖像。

第2步：對平滑后的圖像序列使用高斯混合模型建模，檢測運動前景，對檢測前景圖像進行閉操作，獲得前景圖像。

第3步：去除由于煤流寬度變化產生的誤檢測。

在皮帶運輸機上，煤流的邊緣是不規(guī)整的，寬度是實時變化的，這種變化必然被高斯混合模型判斷為前景，為獲得準確的矸石檢測效果，這部分前景必須被去除。

從圖1(a)可知：部分皮帶的灰度與煤有明顯差異，而有些區(qū)域由于光照問題，皮帶與煤的灰度相近。雖然在煤與皮帶灰度相近的區(qū)域，難以將皮帶與煤區(qū)分開，但在該區(qū)域，當煤流寬度變化時，高斯混合模型也無法將其檢測出來，所以，只需選擇1個合適的閾值將可分開的區(qū)域分割，獲得二值圖像1。再對該圖像向外膨脹一像素，并去除面積小于的連通域，獲得二值圖像2。其中，為皮帶上矸石可能的最大面積。

對圖像進行連通性檢查，若前景圖像中某一連通域與2中的連通域8連通，則將該連通域去除，獲得圖像。

(a) 原始圖像；(b) GMM檢測獲得前景O；(c) 閉操作結果P；(d) 對原始圖像閾值處理結果BW1；(e) 二值圖像BW2；(f) 去除煤流變化影響后結果Q

第4步：去除單像素連通域，雖然在第1步中已經進行了高斯平滑，但檢測結果中噪聲點仍難以完全避免，將這些檢測出來的離群噪聲點去除即可。

2.2 參數優(yōu)化與自整定

根據大量的實驗分析，設定高斯混合模型參數的取值范圍。在[2, 6]間取整數，∈[0, 10]，ɑ∈[0, 1]。粒子群規(guī)模取為20。每當粒子位置發(fā)生變化后，將該粒子的參數賦給高斯混合模型。高斯混合模型在經過15幀左右圖像的訓練后，對接來下的若干幀圖像檢測矸石。根據檢測結果，返回該粒子的適應值：

1) 檢測結果中若出現漏檢，則該參數是失敗的，返回適應度為0。

2) 若參數超過邊界，則返回適應度為0。

3) 若不存在漏檢，且參數未超過邊界，則考慮檢測效果和時間計算適應值。設耗時的檢測結果中存在個誤檢。誤檢越多，耗時越長，適應度越小。不失一般性，檢測準確性比檢測速度重要，應當在保證檢測準確的條件下提高速度，所以，給準確率1個較大的權重，給時間1個較小的權重：

在粒子群優(yōu)化算法迭代完成后，高斯混合模型自動獲取粒子群全局最優(yōu)位置，開始進行煤矸石檢測。

3 實驗及分析

本文以平頂山煤業(yè)(集團)八礦己三皮帶運輸機的監(jiān)控視頻作為研究對象，在i5-4590 CPU，4G內存的臺式機上通過Matlab R2012a編程實現。

3.1 參數優(yōu)化與自整定

表1所示為粒子群優(yōu)化算法尋優(yōu)獲得高斯混合模型參數。從表1可知：粒子群優(yōu)化算法在第8次迭代時收斂，速度較快。圖2所示為監(jiān)控視頻中不同采樣時間的3幀圖像及其處理結果。

在迭代完成后，自動將粒子群優(yōu)化算法獲得的全局最優(yōu)解，將=0.050 7，=5.543 1，=2賦給高斯混合模型進行煤矸石檢測，檢測結果如圖2(c)所示，采用2.1節(jié)中所述方法處理后，最終檢測效果如圖2(d)所示。

3.2 煤矸石檢測實驗

本文還使用Canny算子檢測矸石，并通過矸石與煤流邊緣特征差異去除了煤流邊緣，將檢測結果與本文所述方法所得結果進行對比。

表1 粒子群算法優(yōu)化高斯混合模型參數

1) 井下環(huán)境、設備復雜，諸如邊緣檢測、閾值處理等傳統(tǒng)方法，必須避開各種干擾因素，為其人為標記出檢測區(qū)域。當環(huán)境發(fā)生諸如相機角度、皮帶偏移、異物闖入等細微變化，檢測就會出問題。而高斯混合模型原理上與這些方法不同，高斯混合模型不僅不受其復雜背景影響，反而能通過更新模型，適應背景和光照的變化，具有更強的主檢測能力。

2) 當矸石潮濕或者表面附著煤粉時，矸石顏色加深，與煤的視覺差異變得不明顯，在圖2(a)第3張圖片中，皮帶上有一塊顏色與煤相近的矸石，高斯混合模型對其檢測效果有所下降，而Canny完全沒有檢測到該矸石。

3) 高斯混合模型對細節(jié)表現良好，精細度高。在圖2所示的3幀原圖中，都有大量細小破碎的小矸石，實驗發(fā)現高斯混合模型對小矸石很少遺漏，Canny算法遺漏較多。

由圖2可知：本文方法檢測結果中畫面干凈，矸石定位準確，與矸石形狀輪廓接近。由于細微的小矸石過多，難以完全統(tǒng)計，且對皮帶運行沒有威脅，統(tǒng)計時不考慮這些過小的矸石，統(tǒng)計結果見表2。從表2可知：高斯混合模型的檢測準確率達到95%左右。

(a) 原始圖像；(b) Canny；(c) GMM；(d) 去煤流寬度變化后的最終檢測效果

表2 煤矸石檢測準確率

4 結論

1) 針對煤礦皮帶運輸機煤流中矸石檢測的問題，本文提出了一種改進的高斯混合模型檢測矸石，該模型通過粒子群優(yōu)化算法尋找最優(yōu)參數，實現高斯混合模型參數自整定，進一步提高了其自動化水平。

2) 該方法能夠較好地處理皮帶運輸機視頻的復雜場景，對場景表現出極強的適應能力，對煤矸石的視頻特征十分敏感，具有較高的適應性和識別率，能夠較好地滿足生產現場的實際需求。接下來，將在提高高斯混合模型處理速度方面開展工作，提高其在生產現場中的實時應用能力。

[1] NANDI C S, TUDU B, KOLEY C. A machine vision-based maturity prediction system for sorting of harvested mangoes[J]. IEEE Transactions on Instrumentation & Measurement, 2014, 63(7): 1722?1730.

[2] IGATHINATHANE C, PORDESIMO L O, BATCHELOR W D. Major orthogonal dimensions measurement of food grains by machine vision using image[J]. Food Research International, 2009, 42(1): 76?84.

[3] MEHRABI A, MEHRSHAD N, MASSINAEI M. Machine vision based monitoring of an industrial flotation cell in an iron flotation plant[J]. International Journal of Mineral Processing, 2014, 133(10): 60?66.

[4] TISTARELLI M, BICEGO M, GROSSO E. Dynamic face recognition: From human to machine vision[J]. Image and Vision Computing, 2009, 27(3): 222?232.

[5] 孫繼平. 煤礦安全生產監(jiān)控與通信技術[J]. 煤炭學報, 2010, 35(11): 1925?1929.SUN Jiping. Technologies of monitoring and communication in the coalmine[J]. Journal of China Coal Society, 2010, 35(11): 1925?1929.

[6] 王偉寧, 李林平. 皮帶運輸機故障檢測系統(tǒng)的研究和應用[J]. 中國礦業(yè), 2008, 17(9): 61?63. WANG Weining, LI Linping. A studying and application about trouble detecting system of conveyer belt[J]. China Mining Magazine, 2008, 17(9): 61?63.

[7] 孟凡芹, 王耀才. 煤礦井下帶式輸送機煤流圖像識別方法的研究[J]. 煤炭學報, 2003, 28(1): 91?95. MENG Fanqin, WANG Yaocai. Study of the methods for recognizing the coal flow image of coalmine's conveyer belt[J]. Journal of China Coal Society, 2003, 28(1): 91?95.

[8] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man and Cybernetics, 1979, 9(1): 62?66.

[9] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(1): 679?714.

[10] LI Qi, SHAO Chunfu, ZHAO Yi. A robust system for real-time pedestrian detection and tracking[J]. Journal of Central South University, 2014, 21(4): 1643?1653.

[11] TU Lifeng, ZHONG Sidong, PENG Qi. Moving object detection method based on complementary multi resolution background models[J]. Journal of Central South University, 2014, 21(6):2306?2314.

[12] RADKE R, ANDRA S, AL-KOFAHI O, et al. Image change detection algorithms: A systematic survey[J]. IEEE Transactions on Image Processing, 2005, 14: 294–307.

[13] KENNEDY J, EBERHART R. Particles warm optimization[C]// Proceedings of 1995 IEEE International Conference on Neural Networks. Perth, Australia: IEEE Service Center, 1995, 4(8): 1942–1948.

[14] STAUFFER C, GRIMSON W E L. Adaptive background mixture models for real-time tracking[C]// Proceedings of the 12th IEEE Conference on Computer Vision and Pattern Recognition. Colorado, America: IEEE Computer Society, 1999, 2: 246–252.

[15] CHEN Zezhi, ELLIS T. A self-adaptive Gaussian mixture model[J]. Computer Vision & Image Understanding, 2014, 122(5): 35–46.

[16] BILMES J A. A gentle tutorial of the EM algorithm and its application to parameter estimation for gaussian mixture and hidden markov models[J]. International Computer Science Institute, 2000, 4: 2–15.

[17] DEMPSTER A. Maximum likelihood from incomplete data via the EM algorithm[J]. Journal of the Royal Statistical Society, 1977, 39(1): 1–38.

(編輯 楊幼平)

An improved Gaussian mixture model for coal gangue video detection

CHENG Jian1, 2, WANG Dongwei1, YANG Lingkai1, ZHANG Meiling1, GUO Yinan1

(1. School of Information and Control Engineering, China University of Mining and Technology, Xuzhou, 221116, China;2. Collaborative Innovation Center of Intelligent Mining Equipment, CUMT, Xuzhou, 221116, China)

A new approach was put forward to realize the detection of coal gangue via the monitoring video of conveyer belt. Considering the complex scene and the poor video quality of the conveyer belt, coal gangue was detected and recognized by an improved Gaussian mixture model (GMM) which extracts and subtracts the background of the video. In order to improve the algorithm performance, the particle swarm optimization was employed to find the better parameters of GMM. The results show that the average discrimination ratio is 95.38%. The proposed method can effectively detect coal gangue in the coal flow on the conveyer belt, which is good for improving the quality of coal and the safe operation of conveyer belt.

conveyer belt; Gaussian mixture model; particle swarm optimization; coal gangue detection

TP391

A

1672?7207(2018)01?0118?06

10.11817/j.issn.1672-7207.2018.01.016

2017?01?12；

2017?03?19

國家重點研發(fā)計劃項目(2016YFC0801406)；江蘇省六大高峰人才項目(2017-DZXX-046)；中國礦業(yè)大學學科前沿研究專項(2015XKQY19) (Project(2016YFC0801406) supported by the National Key Research and Development Program; Project(2017-DZXX-046) supported by Six Talent Peaks Project in Jiangsu Province; Project(2015XKQY19) supported by Research Program of Frontier Discipline of China University of Mining and Technology)

郭一楠，博士，教授，從事機器學習、計算智能、機器視覺與模式識別等研究；E-mail: guoyinan@cumt.edu.cn