液壓支架護幫板工作狀態(tài)智能識別

張鍵，豐繼林，袁靜，周涵，劉祖陽

摘? 要： 液壓支架護幫板的打開和閉合是煤礦井下的主要作業(yè)之一。為了自動識別監(jiān)控視頻中每個護幫板的工作狀態(tài)，需研究液壓支架護幫板工作狀態(tài)智能識別算法。結(jié)合深度學(xué)習(xí)和計算機視覺的算法，可采用融合幅度信息的光流直方圖（Histograms of Oriented Optical Flow，HOF）提取運動特征。實驗結(jié)果表明：算法的準確率達到88.69%、精確率達到79.08%、召回率達到76.16%、F1_score值達到76.53%，fps值達到18幀/s，驗證了該算法的可行性和有效性。

關(guān)鍵詞： 液壓支架護幫板; 光流直方圖; 運動識別; 計算機視覺; 煤礦作業(yè)

中圖分類號：TP391.41? ? ? ? ? 文獻標(biāo)識碼：A? ? ?文章編號：1006-8228（2022）06-23-04

Detection algorithm for working state of hydraulic support guard plate

Zhang Jian， Feng Jilin， Yuan Jing， Zhou Han， Liu Zuyang

（Institute of Disaster Prevention， Langfang， Hebei 062541， China）

Abstract： The opening and closing of the hydraulic support guard plate is one of the main operations in coal mines. In order to automatically identify the working state of each plate in the monitoring video， an intelligent recognition algorithm is studied. Combining deep learning and computer vision algorithms， motion features are extracted using Histograms of Oriented Optical Flow （HOF） fused with amplitude information. The experimental results show that the accuracy rate reaches 88.69%， the precision rate reaches 79.08%， the recall rate reaches 76.16%， the F1 score value reaches 76.53%， and the fps value reaches 18 frames/s， which verifies the feasibility and effectiveness of the algorithm.

Key words： hydraulic support guard plate; Histograms of Oriented Optical Flow; motion recognition; computer vision; coal mine operations

0 引言

為實現(xiàn)煤礦生產(chǎn)無人化，以最大程度的保障人員生產(chǎn)安全，越來越多的礦井安裝了大量攝像頭用于遠程監(jiān)管煤礦生產(chǎn)活動、規(guī)范生產(chǎn)行為，其中液壓支架護幫板是保障煤礦生產(chǎn)安全的重要手段之一，其主要功能是防止煤壁片幫，對其工作狀態(tài)進行實時監(jiān)控是減少事故率的關(guān)鍵。圖1為液壓支架的結(jié)構(gòu)簡圖，而本文識別的主要區(qū)域為圖1中的裝置1：護幫裝置的護幫板。

目前，國內(nèi)外基于液壓支架護幫板運動狀態(tài)非接觸式智能識別的研究也主要集中在圖像處理和計算機視覺領(lǐng)域。比如，滿溢橋[1]聯(lián)合圖像增強技術(shù)和護幫板位姿解算模型設(shè)計了一套識別算法，該算法監(jiān)測護幫板圖像誤差較小，但是鄰架護幫板的運動會影響其識別性能，而且需要大量的破壞性實驗進行驗證，因此，該算法距離實際應(yīng)用尚且有一定差距。王淵[2]等人結(jié)合除霧算法與機器視覺技術(shù)，提出一種新的識別算法：采用圖像處理技術(shù)測量圖像中護幫板收回角度，以此來識別液壓支架護幫板的工作狀態(tài)。但上述方法均需要攝像頭的拍攝角度滿足一定要求。而煤礦井下的監(jiān)控攝像頭的安裝角度卻是多種多樣，這將導(dǎo)致上述算法的識別性能穩(wěn)定性差。

針對上述問題，本文提出一種基于計算機視覺的液壓支架護幫板工作狀態(tài)智能識別算法，創(chuàng)新點主要體現(xiàn)在以下兩個方面：

⑴ 結(jié)合深度學(xué)習(xí)和計算機視覺技術(shù)，提出適應(yīng)多角度拍攝場景的一套識別算法，該算法能實時地識別不同拍攝角度下的多個護幫板的工作狀態(tài);

⑵ 在判斷護幫板工作狀態(tài)環(huán)節(jié)，提出了融合幅度信息的光流直方圖。由于灰塵運動、手電光亮快速晃動會對識別效果產(chǎn)生不利影響，且灰塵運動、手電光亮晃動和防護板運動的幅度存在明顯差異，本文在傳統(tǒng)光流直方圖的基礎(chǔ)上融入了運動幅度信息減少灰塵運動、手電光亮對識別效果的影響。

1 算法整體流程

護幫板工作狀態(tài)識別算法主要分為兩個部分：護幫板定位算法和工作狀態(tài)識別算法。如圖2所示，護幫板定位算法部分主要流程為：通過暗通道除霧算法降低灰塵影響，再采用YOLO-V3[3]定位護幫板區(qū)域;工作狀態(tài)識別算法主要流程為：對護幫板區(qū)域進行低通濾波預(yù)處理，計算該區(qū)域的光流圖，并提取融合幅度信息的光流直方圖作為運動特征，最后用XGBoost來分類融合幅度信息的光流直方圖的運動特征。

2 護幫板定位算法

為了降低灰塵和霧氣對護幫板工作狀態(tài)檢測的影響，首先采用暗通道算法[4]對圖像進行增強處理，再采用YOLO-V3算法定位護幫板的圖像區(qū)域。YOLO-V3算法是目前流行的目標(biāo)檢測框架，該算法可以檢測不同尺寸的目標(biāo)，特征提取效果更好[5]，能夠較為準確地定位護幫板的位置，有助于進一步提取護幫板區(qū)域的運動特征。

3 護幫板工作狀態(tài)識別算法

護幫板工作狀態(tài)識別算法主要包括圖像預(yù)處理、運動特征提取和運動特征分類。

⑴ 圖像預(yù)處理：為了降低圖像中的光照變化對運動特征提取的影響，采用低通濾波算法對圖像進行降噪處理。

⑵ 運動特征提取：采用Farneback算法[6]提取圖像中護幫板位置的稠密光流圖，再利用幅度信息改進傳統(tǒng)的光流直方圖（Histograms of Oriented Optical Flow，HOF）[7]并將其作為運動特征。

光流直方圖是常用的運動特征，對稠密光流圖進行加權(quán)統(tǒng)計得到：通常將光流向量映射到12個方向，得到12個特征，但該特征更關(guān)注運動的方向信息而忽略了運動幅度信息。在實際的監(jiān)控視頻場景中，灰塵的運動、手電光的快速運動等，嚴重影響護幫板工作狀態(tài)的識別，僅靠光流方向很難準確的實現(xiàn)運動特征分類。通過光流圖像分析發(fā)現(xiàn)，灰塵運動的幅度較弱，手電光的運動幅度較大，而防護板的運動幅度介于二者中間。由此可以發(fā)現(xiàn)不同物體的運動具有不同的幅度信息?；诖?，提出融合幅度信息的光流直方圖，其改進方案如下。

若某一像素點為P，對應(yīng)的光流為（x，y），則所映射的方向具體可以用以下方式計算：

[θ=tan-1yx]? ?⑴

其中[θ]是求出的角度，當(dāng)角度落在范圍：

[2（b-1）πB≤θ≤2bπB]

s.t.[ 1≤b≤B]? ⑵

當(dāng)光流幅值[d=（x2+y2）12]

[（h-1）（Dmax-Dmin）H≤d≤h（Dmax-Dmin）H]

s.t.[ 0≤h≤H]? ⑶

其中：H為量化后的幅度信息的數(shù)量，d作用到光流直方圖第h個的bin中，最后兩者歸一化直方圖[7]。b為HOF特征第b個維度，B為光流場方向個數(shù);式⑶中[Dmax，Dmin]分別為幅值最大值最小值。根據(jù)式⑴、式⑵可計算該區(qū)域光流方向的直方圖，根據(jù)式⑹可計算該區(qū)域光流幅度的直方圖，再按照圖3中的融合幅度信息的HOF計算過程可計算出融合幅度信息的光流直方圖。融合幅度信息的光流直方圖如圖3所示。

⑶ 運動特征分類：XGBoost屬于集成學(xué)習(xí)算法，由多個互相關(guān)聯(lián)的基學(xué)習(xí)器共同決策[8]，在分類問題上表現(xiàn)優(yōu)秀，可用于處理大規(guī)模數(shù)據(jù)[9，10]。XGBoost包含一個迭代殘差樹的集合，利用梯度提升算法不斷減少已生成的決策樹的損失，每棵樹都在學(xué)習(xí)其前面所有樹的殘差，最后將每棵樹預(yù)測的結(jié)果相加作為樣本的最終結(jié)果[11，12]。

4 實驗環(huán)境和分析

4.1 實驗環(huán)境

為驗證本文算法的實用性和有效性，本文采用的數(shù)據(jù)來源于Marco公司提供的礦下監(jiān)控視頻，本文實驗環(huán)境為：?？礑S-2cd3t56wd，Intel Xeon CPU E5-2680 V4 2.40GHz，64內(nèi)存NVIDIA TITAN V。

4.2 實驗數(shù)據(jù)

本文采用的數(shù)據(jù)來源于Marco公司提供的礦下監(jiān)控視頻，礦井中的攝像頭一般安裝在護幫板對面的正上方，每隔3-5個護幫板安裝一個攝像頭，攝像頭旋轉(zhuǎn)時可以拍攝到7-8個護幫板。圖4為視頻原始圖像，其中圖4（a）、圖4（b）分別為同一視頻場景下攝像頭發(fā)生旋轉(zhuǎn)拍攝的不同角度的圖像。用于YOLO-V3模型訓(xùn)練的數(shù)據(jù)集累計248774張圖片，訓(xùn)練集與測試集比例為8：2，用于XGBoost型訓(xùn)練的數(shù)據(jù)集累計4659張圖片，訓(xùn)練集與測試集比例為8：2。

4.3 實驗方案

本實驗分為護幫板定位算法和護幫板工作狀態(tài)識別算法兩部分。YOLO-V3檢測三類：大護幫板，小護幫板，非護幫板，表1為YOLO-V3模型和XGBoost模型訓(xùn)練參數(shù)。本實驗以準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1_score、識別速度（fps）作為評價指標(biāo)。對照實驗：低通濾波和改進光流直方圖的特征提取方法識別護幫板工作狀態(tài)的效果。

4.4 實驗結(jié)果

根據(jù)4.3里的評價指標(biāo)，實驗結(jié)果如表2所示，本文對檢測方案中的均值濾波和改進的光流直方圖進行了對比試驗。從實驗一和實驗二的對比可以看出，對圖像進行均值濾波預(yù)處理后，傳統(tǒng)光流直方圖提取特征的效果都有所提升。由實驗三、實驗四對比可以看出，采用均值濾波處視頻圖像加上改進光流直方圖特征提取方法的算法，無論是在準確率、精確率、召回率還是F1_score，都有極大的提高，只在檢測速度（fps）上有所下降。

4.5 實驗結(jié)論

依據(jù)上述對比實驗可以得出，將視頻圖像進行低通濾波預(yù)處理，再采用改進的光流直方圖提取護幫板運動特征，可以在一定程度上克服礦井下灰塵運動和光線變化的影響，區(qū)分更多的運動信息，算法在攝像頭發(fā)生旋轉(zhuǎn)的情況下也可以達到較好的檢測效果。

5 結(jié)束語

針對煤礦場景下液壓支架護幫板傳統(tǒng)接觸式檢測難題，本文基于計算機視覺技術(shù)，提出液壓支架護幫板工作狀態(tài)智能識別算法。該算法分別通過除霧算法和低通濾波得到較高質(zhì)量的圖像，結(jié)合YOLO-V3算法得到的護幫板位置信息進行光流計算，并針對傳統(tǒng)的光流直方圖加入了運動幅度信息提取特征，豐富了護幫板運動特征信息。實驗表明融合幅度信息的光流直方圖算法方案在各項實驗指標(biāo)上都有較好表現(xiàn)，可作為液壓支架護幫板狀態(tài)智能檢測的手段。

參考文獻（References）：

[1] 滿溢橋.液壓支架護幫板與采煤機滾筒截割干涉監(jiān)測技術(shù)研究[D].徐州：中國礦業(yè)大學(xué)，2019

[2] 王淵，李紅衛(wèi)，郭衛(wèi)，等.基于圖像識別的液壓支架護幫板收回狀態(tài)監(jiān)測方法[J].工礦自動化，2019，45（? ? 2）：47-53

[3] Redmon J，F(xiàn)arhadi A.YOLOv3：an increamental improve-ment[J]. IEEE Conference on Computer Vision and Pattern Recognition，2018：89-95

[4] HE K M，SUNJ，TANGXO.Guided Image Filtering[J].IEEE Transactions on Software Engineering，2013，35（6）：1397-1409

[5] 施輝，陳先橋，楊英.改進YOLO v3的安全帽佩戴檢測方法[J].計算機工程與應(yīng)用，2019，55（11）：213-220

[6] 周偉.基于光流法的目標(biāo)提取與跟蹤算法研究[D].贛州：江西理工大學(xué)，2017

[7] 劉闖.基于計算機視覺的人體行為識別方法[D].南京：南京郵電大學(xué)，2019

[8] PAN B Y. Application of XGBoost algorithm in hourly PM2.5 concentration prediction[J].IOP Conference Series：Earth and Environmental Science，2018，113（1）：1-7

[9] 武康康，周鵬，陸葉，等.基于小批量梯度下降法的 FIR 濾波器[J].廣西師范大學(xué)學(xué)報（自然科學(xué)版）1-14[2021-05-17]

[10] SUKHPREET D，ABDULLAH N，ROBERT A. Effective intrusion detection system using XGBoost[J].Information，2018，9（7）：149-173

[11] LI W，YIN Y B，QUAN X W，et al. Gene expression value prediction based on XGBoost algorithm[J]. Frontiers in Genetics，2019，10：1-7

[12] 凌毓，張金區(qū)，李鄉(xiāng)儒，李慧.基于XGBoost的單脈沖信號識別研究[J].天文研究與技術(shù)：1-15[2021-06-25]