基于圖像識(shí)別的煤礦井下安全管控技術(shù)

張立亞

（1.煤炭科學(xué)技術(shù)研究院有限公司，北京100013；2.煤礦應(yīng)急避險(xiǎn)技術(shù)裝備工程研究中心，北京100013；

3.北京市煤礦安全工程技術(shù)研究中心，北京100013）

近年來(lái)，隨著自動(dòng)化、信息化技術(shù)的發(fā)展，煤礦安全工作得到了明顯的提升，井下各類安全監(jiān)控系統(tǒng)對(duì)煤礦的安全生產(chǎn)起到了重要作用[1-5]。但是，由于視頻監(jiān)控?zé)o法進(jìn)行危險(xiǎn)源或違規(guī)等行為的智能辨別，形成安全管控盲區(qū)，為井下生產(chǎn)埋下一定的安全隱患。

現(xiàn)有煤礦安全監(jiān)控系統(tǒng)主要針對(duì)工作環(huán)境及設(shè)備監(jiān)控，未對(duì)人員等動(dòng)目標(biāo)實(shí)時(shí)有效監(jiān)管和分析，存在動(dòng)目標(biāo)管控不全面等問(wèn)題，尤其是對(duì)井下危險(xiǎn)行為無(wú)法辨識(shí)、安全隱患排查不到位等導(dǎo)致的事故時(shí)有發(fā)生。現(xiàn)有的工業(yè)電視監(jiān)控系統(tǒng)，設(shè)計(jì)簡(jiǎn)單、功能單一，只是對(duì)進(jìn)行監(jiān)控視頻進(jìn)行實(shí)時(shí)顯示和存儲(chǔ)等，沒(méi)有對(duì)視頻流或者圖像信息進(jìn)行分析、預(yù)判，在視頻監(jiān)控中存在局限性。無(wú)法滿足進(jìn)行重點(diǎn)區(qū)域的動(dòng)目標(biāo)管控的需求。

為了解決井下人員、設(shè)備等在安全管理中存在的問(wèn)題，彌補(bǔ)現(xiàn)有工業(yè)電視監(jiān)控功能的局限性，以煤礦井下人員和煤量作為動(dòng)目標(biāo)的研究對(duì)象，應(yīng)用智能化視頻分析技術(shù)，對(duì)煤礦綜采面、掘進(jìn)面、變電所、采空區(qū)等重要區(qū)域進(jìn)行可視化實(shí)時(shí)監(jiān)控與分析，及時(shí)做出預(yù)警，實(shí)現(xiàn)井下動(dòng)目標(biāo)的智能安全管控。

1 動(dòng)目標(biāo)異常狀況檢測(cè)識(shí)別技術(shù)

1.1 動(dòng)目標(biāo)特征提取與匹配原理

利用井下人員圖像內(nèi)部的灰度差異，將圖像中的人員劃分為不同的區(qū)域，再對(duì)劃分的各個(gè)區(qū)域采用采用SIFT（Scale-invariant feature transform，尺度不變特征變換）算法進(jìn)行特征提取，并基于提取到的特征進(jìn)行與模板圖像之間的特征匹配[6-7]。人員特征提取與匹配具體流程為：

1）在相同成像條件下，分別采集人員圖像，并組成樣本圖像集。對(duì)圖像中人員進(jìn)行結(jié)構(gòu)分割，組成工作人員的身軀樣本圖像集A（身軀）、工作人員的上肢樣本圖像集B（手臂）、工作人員的下肢樣本圖像集C、工作人員的頭部樣本圖像集D。

2）分別對(duì)樣本圖像集A、B、C、D 中的圖像灰度化，對(duì)灰度化后的樣本圖像集A、B、C、D 中每個(gè)樣本圖像的相鄰尺度圖像做差計(jì)算得到高斯差分尺度空間。

3）通過(guò)擬合方法和Hessian 矩陣，剔除低對(duì)比度點(diǎn)和邊緣相應(yīng)點(diǎn)，得到精確特征點(diǎn)，定義為待檢測(cè)特征點(diǎn)。

4）將待檢測(cè)特征點(diǎn)與樣本圖像特征點(diǎn)進(jìn)行相似性判定，匹配相似度最高的特征點(diǎn)則為識(shí)別結(jié)果值。

通過(guò)以上步驟，可以實(shí)現(xiàn)人體檢測(cè)與跟蹤。

1.2 人員位置異常檢測(cè)

結(jié)合煤礦井下低照度、環(huán)境復(fù)雜等情況，采用視頻檢測(cè)與UWB（Ultra Wideband）動(dòng)目標(biāo)精確定位技術(shù)相結(jié)合的方法進(jìn)行人員位置識(shí)別。利用標(biāo)定的危險(xiǎn)區(qū)域位置與人的位置相互關(guān)系[8-9]，進(jìn)行人員的判斷，進(jìn)而視情況發(fā)出預(yù)警。人員位置判斷圖如圖1。

圖1 人員位置判斷圖Fig.1 Personnel position judgment chart

圖1 中，人員到危險(xiǎn)區(qū)域邊界的距離為D，人員到2 個(gè)攝像儀的距離分別為L(zhǎng)1和L2，危險(xiǎn)區(qū)域預(yù)判邊界與危險(xiǎn)區(qū)域邊界的間距為H，P 為人員定位判距P1與視頻判距P2的融合結(jié)果值。

式中:x、y 為權(quán)值，根據(jù)井下測(cè)試數(shù)據(jù)，當(dāng)井下視頻情況良好的情況下，y>x，一般取值y=0.7，x=0.3,當(dāng)井下照度低粉塵大的情況下，y

將人員到危險(xiǎn)區(qū)域邊界的距離D 與危險(xiǎn)區(qū)域預(yù)判邊界與危險(xiǎn)區(qū)域邊界的間距H，進(jìn)行數(shù)值比對(duì)，若D

圖2 危險(xiǎn)區(qū)域動(dòng)目標(biāo)跨界判斷圖Fig.2 Cross border judgment chart of moving targets in hazardous area

對(duì)人員位置異常檢測(cè)主要分析步驟包括：①通過(guò)SIFT 方法進(jìn)行人員行為特征的提?。虎谶M(jìn)行人員特征點(diǎn)的匹配，實(shí)現(xiàn)對(duì)人員行為分析；③檢測(cè)到人員靠近邊界時(shí)，攝像儀進(jìn)行人員位置判斷，并調(diào)取UWB 定位系統(tǒng)的數(shù)據(jù)，按照式（1）進(jìn)行比對(duì)判斷，得到人員的位置P；④判定人員非法進(jìn)入危險(xiǎn)時(shí)，系統(tǒng)發(fā)出報(bào)警信息。

2 煤礦井下安全管控系統(tǒng)

基于圖像識(shí)別的煤礦井下安全管控系統(tǒng)以井下人員的行為、堆煤管理為重點(diǎn)分析對(duì)象，根據(jù)智慧礦山安全管理的需求，進(jìn)行系統(tǒng)設(shè)計(jì)[10-13]。

基于圖像識(shí)別的煤礦井下安全管控系統(tǒng)主要由井下礦用監(jiān)控?cái)z像儀進(jìn)行圖像采集，通過(guò)通信基站和環(huán)網(wǎng)交換機(jī)進(jìn)行視頻信號(hào)的傳輸，煤礦監(jiān)控中心的GPU 云服務(wù)平臺(tái)進(jìn)行視頻流的管理和視頻場(chǎng)景的算法分析處理，硬盤(pán)錄像機(jī)進(jìn)行視頻流的存儲(chǔ)，系統(tǒng)分析的違章信息通過(guò)聲光報(bào)警設(shè)備進(jìn)行文本、聲音的播報(bào)。

系統(tǒng)通過(guò)對(duì)井下動(dòng)目標(biāo)場(chǎng)景的視頻和圖像的分析，包括基于多特征融合的井下動(dòng)目標(biāo)識(shí)別及異常狀況檢測(cè)、煤礦井下復(fù)雜背景圖像增強(qiáng)等技術(shù)，把深度學(xué)習(xí)等最新的機(jī)器學(xué)習(xí)算法和計(jì)算機(jī)視覺(jué)技術(shù)運(yùn)用到煤礦生產(chǎn)管理中，實(shí)現(xiàn)人員違章預(yù)警識(shí)別、井下工作人員人臉識(shí)別、帶式輸送機(jī)運(yùn)輸帶堆煤檢測(cè)識(shí)別、片幫及大塊煤識(shí)別等。

安全管控平臺(tái)的視頻分析功能為：

1）人員管控功能。包括人員違章預(yù)警識(shí)別和井下工作人員人臉識(shí)別：主要是對(duì)生產(chǎn)期間人員進(jìn)出危險(xiǎn)區(qū)域預(yù)警，如：綜、連采工作面生產(chǎn)期間，非專崗人員進(jìn)入、非法闖入等異常行為進(jìn)行監(jiān)控預(yù)警；對(duì)井下重點(diǎn)場(chǎng)所如水泵房、變電所、綜采工作面等區(qū)域的人員進(jìn)行人臉識(shí)別，進(jìn)而實(shí)現(xiàn)人員進(jìn)出的權(quán)限管理。

2）煤量（塊）管控功能。①帶式輸送機(jī)運(yùn)輸帶堆煤檢測(cè)識(shí)別，利用圖像分析技術(shù)，實(shí)現(xiàn)帶式輸送機(jī)機(jī)尾、帶式輸送機(jī)運(yùn)輸帶搭接點(diǎn)等位置堆煤監(jiān)測(cè)和超限預(yù)警；②片幫及大塊煤識(shí)別，對(duì)綜采工作面護(hù)幫板、刮板機(jī)、轉(zhuǎn)載機(jī)等關(guān)鍵場(chǎng)所，進(jìn)行煤塊的視頻標(biāo)注訓(xùn)練，當(dāng)出現(xiàn)直徑超過(guò)刮板機(jī)寬度或轉(zhuǎn)載機(jī)寬度的煤塊進(jìn)行識(shí)別和報(bào)警，防止大塊煤堵塞的事件發(fā)生。

3 試驗(yàn)驗(yàn)證

在進(jìn)行井下試驗(yàn)測(cè)試中，井下重點(diǎn)場(chǎng)所布置15臺(tái)礦用攝像儀，地面機(jī)房布置2 臺(tái)視頻分析服務(wù)器、1 臺(tái)視頻存儲(chǔ)器，并在煤礦調(diào)度中心搭建1 套煤礦井下安全管控平臺(tái)。分別選取井下綜采工作面、移變列車(chē)處、帶式輸送機(jī)等場(chǎng)所進(jìn)行場(chǎng)景分析驗(yàn)證。

1）綜采工作面人員管控。在綜采工作面處對(duì)人員的違章行為進(jìn)行檢測(cè)和分析。工作面的刮板機(jī)區(qū)域不允許人員闖入，通過(guò)電子圍欄設(shè)定危險(xiǎn)區(qū)域，當(dāng)人員位置檢測(cè)算法識(shí)別到該區(qū)域內(nèi)有人員時(shí)，通過(guò)人員定位信息判斷人員的權(quán)限，如果非法傳入，則通過(guò)聲光報(bào)警設(shè)備進(jìn)行報(bào)警提示。工作面人員檢測(cè)如圖3。

2）移變列車(chē)處人臉識(shí)別。在煤礦井下工作面的移變列車(chē)處部署1 臺(tái)人臉識(shí)別攝像儀，進(jìn)行自動(dòng)人臉捕捉與識(shí)別功能的測(cè)試。平臺(tái)通過(guò)捕捉到的人臉圖像與數(shù)據(jù)庫(kù)中的樣本圖像進(jìn)行比對(duì)，當(dāng)相似度達(dá)到90%以上時(shí)，進(jìn)行關(guān)聯(lián)匹配。

圖3 工作面人員檢測(cè)Fig.3 Detection of working face personnel

3）煤量（塊）管控。以運(yùn)行的帶式輸送機(jī)機(jī)頭為例進(jìn)行試驗(yàn)，堆煤檢測(cè)報(bào)警的閾值上限設(shè)為75%，在軟件平臺(tái)視頻畫(huà)面中，可以在該圖像的左上角實(shí)時(shí)查看煤量的占比信息，當(dāng)超過(guò)設(shè)置閾值上限事，進(jìn)行報(bào)警提示。堆煤檢測(cè)如圖4，此時(shí)煤量值為53%，沒(méi)有達(dá)到報(bào)警值。

圖4 堆煤檢測(cè)Fig.6 Stacking coal detection

4）系統(tǒng)技術(shù)指標(biāo)分析。通過(guò)對(duì)人員管控場(chǎng)景、煤量（塊）管控場(chǎng)景的多次試驗(yàn)，對(duì)系統(tǒng)平臺(tái)的實(shí)時(shí)分析響應(yīng)時(shí)間、識(shí)別率等指標(biāo)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析。主要技術(shù)指標(biāo)見(jiàn)表1。

表1 主要技術(shù)指標(biāo)Table 1 Main technical indicators

通過(guò)表1 可以看出，系統(tǒng)平臺(tái)的實(shí)時(shí)分析響應(yīng)時(shí)間小于2 s，識(shí)別率大于98%?？梢詽M足煤礦井下動(dòng)目標(biāo)的視頻分析的需求。

4 結(jié) 語(yǔ)

基于圖像識(shí)別的煤礦井下危險(xiǎn)區(qū)域安全管控系統(tǒng)，能夠彌補(bǔ)現(xiàn)有煤礦監(jiān)控系統(tǒng)、人員定位系統(tǒng)和視頻監(jiān)控系統(tǒng)的不足。將圖像識(shí)別與人員管理數(shù)據(jù)、設(shè)備運(yùn)行數(shù)據(jù)等進(jìn)行綜合分析，動(dòng)態(tài)可靠地識(shí)別人、機(jī)、環(huán)、管各方面的風(fēng)險(xiǎn)，實(shí)現(xiàn)井下動(dòng)目標(biāo)的智能管控，能夠有效提高煤礦安全生產(chǎn)水平。