基于AI 視頻分析的煤礦瓦斯抽采鉆場遠(yuǎn)程監(jiān)督管理方法

胡金成，張立斌，蔣澤，姚超修，蔣志龍，王正義

（1.中煤科工集團(tuán)常州研究院有限公司，江蘇 常州 213015；2.天地（常州）自動化股份有限公司，江蘇 常州 213015；3.常州工學(xué)院 土木建筑工程學(xué)院，江蘇 常州 213032）

0 引言

瓦斯抽采鉆場打鉆是煤礦井下瓦斯治理的關(guān)鍵環(huán)節(jié)之一[1-2]，鉆孔施工情況直接影響瓦斯抽采效果與煤礦生產(chǎn)安全[3-4]。驗證施工過程中的鉆桿數(shù)等信息可有效防止打假鉆、虛報進(jìn)尺和不按設(shè)計路徑打鉆等情況，確保鉆孔的施工質(zhì)量。然而，井下打鉆地點與地面進(jìn)行信息交互存在較大困難。記錄施工信息的傳統(tǒng)方式包括人工記錄、語音通話與終端記錄。人工記錄可能出現(xiàn)漏記、多記、錯記等情況，且記錄效率低、誤差大、實時性較差；打鉆施工人員通過語音通話告知地面施工信息，事后檢閱并數(shù)鉆桿耗費額外人力；終端記錄可人為手動控制，但數(shù)據(jù)不可靠[5]。此外，現(xiàn)有基于人工及儀器的鉆桿計數(shù)法存在精度較低、耗時費力等問題[6]。

傳統(tǒng)的視頻監(jiān)控系統(tǒng)在鉆孔施工及退鉆桿期間，執(zhí)行“一鉆一攝像、一孔一視頻”管理辦法，在地面調(diào)度室通過視頻對鉆孔施工現(xiàn)場的鉆進(jìn)、退桿進(jìn)行實時監(jiān)督，代替人工驗孔，減少了大量驗孔人員，且保證了鉆孔進(jìn)尺的真實性，杜絕虛報進(jìn)尺現(xiàn)象。然而，傳統(tǒng)的視頻監(jiān)控系統(tǒng)只具有監(jiān)測和存儲功能，重要的過程參數(shù)或信息只能由監(jiān)測人員通過視頻錄像查看[7-8]。

隨著大數(shù)據(jù)、深度學(xué)習(xí)、圖像識別等技術(shù)的快速發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)搭建模型對視頻和圖像進(jìn)行處理，成為實現(xiàn)AI 視頻監(jiān)控的重要手段，有效節(jié)約人力資源和提高監(jiān)控效率[9-12]。通過查閱大量參考文獻(xiàn)[13-18]，發(fā)現(xiàn)目前AI 視頻分析技術(shù)已在煤礦智能視頻分析領(lǐng)域取得不少研究成果，但AI 視頻分析技術(shù)在瓦斯抽采鉆場視頻識別領(lǐng)域應(yīng)用較少。

針對煤礦井下鉆場記錄施工信息易出錯、鉆場管理人員難以連續(xù)監(jiān)控現(xiàn)場視頻、人工驗收模式效率低且易出現(xiàn)打假鉆情況等問題，本文提出一種基于AI 視頻分析的煤礦瓦斯抽采鉆場遠(yuǎn)程監(jiān)督管理方法。該方法通過AI 分析識別出打鉆流程后分段存儲錄像、記錄施工參數(shù)，基于AI 分析提供無人值守模式，對打鉆全過程進(jìn)行分析與管控，解決了鉆點信息需要人工錄入、打鉆過程錄像需要人工控制起止時間的問題，同時解決了鉆桿計數(shù)需要通過人工回看退鉆錄像，占用大量人工時間并容易出現(xiàn)計數(shù)錯誤的問題。

1 鉆場管理全過程分析

打鉆工作前，應(yīng)根據(jù)工作要求制定詳細(xì)的作業(yè)計劃，明確工作目標(biāo)和任務(wù)。打鉆作業(yè)應(yīng)依次執(zhí)行開孔、收孔、封孔3 個流程，并分別錄制視頻。打鉆作業(yè)流程如圖1 所示。準(zhǔn)備工作：設(shè)計并下發(fā)打鉆任務(wù)。執(zhí)行過程：在接收并開始打鉆任務(wù)后，啟用目標(biāo)檢測與OCR（Optical Character Recognition，光學(xué)字符識別 ）識別服務(wù)，根據(jù)依次識別到的開孔、收孔、封孔流程與施工參數(shù)，打鉆管理系統(tǒng)自動執(zhí)行是否錄像與保存參數(shù)的相應(yīng)操作，直到結(jié)束打鉆任務(wù)。當(dāng)識別出開始收孔，啟用退桿分析服務(wù)；當(dāng)識別出結(jié)束收孔，停止退桿分析服務(wù)。

實際打鉆過程中，井下工人需舉牌管理。在開始開孔、開始收孔、開始封孔任務(wù)施工前，需吸附上流程編號磁貼，并舉牌對準(zhǔn)攝像儀；在結(jié)束開孔、結(jié)束收孔、結(jié)束封孔任務(wù)施工前，需貼上流程編號，填入對應(yīng)施工信息，并舉牌對準(zhǔn)攝像儀。在退桿分析時，要求攝像儀正對鉆機(jī)與鉆桿，能夠清晰拍攝退桿過程，拍攝環(huán)境光照良好。退桿分析只在收孔過程進(jìn)行，開孔與封孔階段不進(jìn)行退桿分析。

2 AI 視頻分析關(guān)鍵技術(shù)

基于AI 視頻分析的煤礦瓦斯抽采鉆場遠(yuǎn)程監(jiān)督管理方法涉及信息牌檢測、OCR 識別、退桿分析3 種算法。信息牌檢測用于檢測當(dāng)前施工環(huán)節(jié)；OCR 識別用于識別信息牌上打鉆流程與施工信息；退桿分析用于分析收孔階段的退桿數(shù)，從而實現(xiàn)打鉆作業(yè)的全過程分析與管控。

2.1 信息牌檢測算法

信息牌檢測算法以YOLOv5 算法為核心，采用TensorRT 加速，流程如圖2 所示。先逐幀掃描監(jiān)控視頻，再根據(jù)檢測信息牌邊框與表格特征信息來判斷信息牌在視頻畫面中的大小是否達(dá)到60%，若達(dá)到60%則認(rèn)為檢測到信息牌目標(biāo)，并截取信息牌圖像。需注意的是，信息牌檢測過程要求信息牌正對攝像儀且光照良好。

圖2 信息牌檢測算法流程Fig.2 Process of information board detection algorithm

YOLOv5 算法是一種從端到端的檢測算法，其核心是卷積神經(jīng)網(wǎng)絡(luò)的特征結(jié)構(gòu)提取，可識別輸入目標(biāo)類別及輸出位置，廣泛應(yīng)用于圖像分類等場景[19-20]，其模型結(jié)構(gòu)如圖3 所示。Focus 結(jié)構(gòu)對輸入目標(biāo)的維度進(jìn)行切片操作，減少目標(biāo)原始特征信息的丟失，并提高模型計算速度，經(jīng)過一系列卷積操作得到不同尺寸的特征圖像；通過特征融合結(jié)構(gòu)對特征圖像進(jìn)行采樣，將其處理成相同大小，然后進(jìn)行特征融合及卷積，得到3 個具有更強(qiáng)特征表現(xiàn)能力的特征層；預(yù)測結(jié)構(gòu)通過損失函數(shù)進(jìn)行目標(biāo)類別概率和位置坐標(biāo)計算，最終得到預(yù)測結(jié)果[21]。

圖3 YOLOv5 算法模型結(jié)構(gòu)Fig.3 Structure of YOLOv5 algorithm model

2.2 OCR 識別算法

OCR 識別算法可解決打鉆過程鉆點信息需要人工錄入、分段錄像需要人工控制起止時間的問題。該算法基于PaddleOCR，通過提取打鉆各個環(huán)節(jié)的文字信息，對文字信息進(jìn)行訓(xùn)練，其業(yè)務(wù)流程如圖4 所示。根據(jù)信息牌檢測算法截取的信息牌圖像，通過文本檢測算法與表格結(jié)構(gòu)識別，最終生成關(guān)于表格結(jié)構(gòu)的識別結(jié)果。

圖4 OCR 識別算法業(yè)務(wù)流程Fig.4 Processes of OCR recognition algorithm

OCR 識別是對檢測到的信息牌上的信息進(jìn)行識別。OCR 識別包括打鉆流程識別與施工信息識別，其中打鉆流程識別指判斷哪個流程對應(yīng)位置吸附了“綠色磁釘”，則識別出相應(yīng)流程、施工地點、鉆場、鉆孔號，并在系統(tǒng)執(zhí)行對應(yīng)業(yè)務(wù)。試驗過程中將“綠色磁釘”直接吸附在信息牌流程信息位置。當(dāng)識別到“綠色磁釘”所在位置為信息牌上方的“結(jié)束開孔、結(jié)束收孔、結(jié)束封孔”時，需對信息牌下方的施工信息進(jìn)行識別，否則只需識別上方的流程。結(jié)束開孔時，需識別出距頂、距底、距測點、方位角、傾角、見煤、見巖、見瓦斯、孔徑、施工人員、班次、施工隊；結(jié)束收孔時，需識別出桿長、桿數(shù)、孔深、施工人員、班次、施工隊；結(jié)束封孔時，需識別出封孔方式、封孔管長度、排氣管長度、施工人員、班次、施工隊。在開始開孔、開始收孔、開始封孔階段不識別施工信息。需注意的是，OCR 識別過程不僅要求信息牌正對攝像儀與光照良好，還要清晰看出信息牌上文字。

2.3 退桿分析算法

退桿分析是在收孔階段進(jìn)行退桿數(shù)與現(xiàn)場人數(shù)識別。當(dāng)識別到收孔階段的流程信息時，啟動AI 分析服務(wù)，監(jiān)控視頻顯示含有現(xiàn)場人數(shù)與退桿數(shù)的分析視頻流，并實時更新視頻畫面中現(xiàn)場人數(shù)、退桿數(shù)。通過獲取視頻中鉆機(jī)與鉆桿的空間位置關(guān)系及運動軌跡，結(jié)合人員位置進(jìn)行綜合判斷，實現(xiàn)鉆桿計數(shù)。退桿分析算法業(yè)務(wù)流程如圖5 所示。若鉆機(jī)與鉆桿由位置有交叉到無交叉，且人與鉆桿由位置無交叉到有交叉再到無交叉，則退桿數(shù)加1，并保存到本地數(shù)據(jù)庫，否則退桿數(shù)不變。此外，通過人體檢測模型檢測并顯示視頻中的現(xiàn)場人數(shù)。當(dāng)識別到結(jié)束收孔階段的流程信息時，停止AI 分析服務(wù)，監(jiān)控視頻顯示原始視頻流。通過采集煤礦現(xiàn)場的退桿視頻，利用機(jī)器學(xué)習(xí)修正模型參數(shù)來優(yōu)化退桿分析算法，不斷提高退桿數(shù)識別準(zhǔn)確率。

圖5 退桿分析算法業(yè)務(wù)流程Fig.5 Process of pip withdrawal analysis algorithm

3 實驗結(jié)果及分析

3.1 實驗過程

為了運行AI 視頻分析算法，需搭建GPU 服務(wù)器部署AI 分析服務(wù)，對打鉆監(jiān)控視頻進(jìn)行分析。實驗中GPU 服務(wù)器部署在Linux 環(huán)境下，采用Docker、Python 及TensorRT 搭建算法模型；采用Tesla P100顯卡，32 GiB 內(nèi)存。在進(jìn)行實驗驗證前，需采集現(xiàn)場的打鉆視頻進(jìn)行訓(xùn)練，以期獲得較好的AI 分析模型。實驗步驟包括數(shù)據(jù)預(yù)處理、標(biāo)注及命名，模型參數(shù)配置，模型訓(xùn)練及測試。打鉆作業(yè)全過程執(zhí)行流程具體如下，不同流程對應(yīng)的信息牌如圖6-圖8所示。

圖6 開孔作業(yè)對應(yīng)的信息牌Fig.6 Information board corresponding to the opening hole

圖7 收孔作業(yè)對應(yīng)的信息牌Fig.7 The information board corresponding to the closing hole

圖8 封孔作業(yè)對應(yīng)的信息牌Fig.8 Information board corresponding to the sealing hole

1）當(dāng)識別出開孔開始，則開始開孔錄像，啟動信息牌檢測與OCR 識別服務(wù)，并發(fā)出語音播報“現(xiàn)在開始開孔”。

2）當(dāng)識別出開孔結(jié)束與開孔參數(shù)，則結(jié)束開孔錄像，保存參數(shù)并發(fā)出語音播報“現(xiàn)在結(jié)束開孔”。

3）當(dāng)識別出收孔開始，則開始收孔錄像，啟動退桿分析服務(wù)，實時更新分析視頻上的退桿數(shù)及現(xiàn)場人數(shù)，并發(fā)出語音播報“現(xiàn)在開始收孔”。

4）當(dāng)識別出收孔結(jié)束與收孔參數(shù)，則結(jié)束收孔錄像，停止退桿分析服務(wù)，保存參數(shù)，并發(fā)出語音播報“現(xiàn)在結(jié)束收孔”。

5）當(dāng)識別出封孔開始，則開始封孔錄像，發(fā)出語音播報“現(xiàn)在開始封孔”。

6）當(dāng)識別出封孔結(jié)束與封孔參數(shù)，則結(jié)束封孔錄像，停止信息牌檢測與OCR 識別服務(wù)，保存參數(shù)，并發(fā)出語音播報“現(xiàn)在結(jié)束封孔”。

7）當(dāng)識別出打鉆流程錯誤，如開孔后識別出封孔，則發(fā)出語音播報“當(dāng)前打鉆流程錯誤，請重新舉牌”。

一旦檢測到信息牌，AI 分析服務(wù)會自動啟用OCR 識別算法分析信息牌上信息，并反饋識別結(jié)果。

3.2 結(jié)果分析

將5 張信息牌分別連續(xù)檢測100 次，觀察檢測成功的次數(shù)，得到信息牌檢測成功的準(zhǔn)確率約為96%。OCR 識別算法通過識別信息牌上的“綠色磁貼”所在位置，確定當(dāng)前打鉆流程與施工信息，并用紫色框圈出。識別開孔階段的結(jié)果如圖9 所示。當(dāng)處于開孔開始階段，可識別出施工地點、鉆場、鉆孔號、施工人員、班次、施工隊。若為開孔結(jié)束階段，可識別出開孔參數(shù)，包括距頂、距底、距測點、方位角、傾角、見煤、見巖、見瓦斯、孔徑。

圖9 OCR 識別開孔結(jié)果Fig.9 The result of opening hole by OCR recognition

采用PaddleOCR 識別算法與常用的文字識別算法EasyOCR、ChineseOCR 分別對500 張信息牌圖像進(jìn)行識別，識別效果見表1?？煽闯鯬addleOCR 識別算法平均用時17.51 ms，較其他2 種識別算法分別降低了25.25，4.34 ms，PaddleOCR 識別算法的準(zhǔn)確率較其他2 種識別算法分別提高了5.75%，2.29%，召回率較其他2 種識別算法分別提高了9.77%，2.36%。

表1 OCR 識別效果對比Table 1 Comparison of OCR identification effects

取現(xiàn)場50 段不同的收孔視頻進(jìn)行退桿分析算法驗證，分析效果如圖10 所示。通過對比實際退桿數(shù)與分析退桿數(shù)的偏差，可得出本文方法分析準(zhǔn)確率約為95%，進(jìn)一步證明了本文所提方法可有效輔助驗鉆。

圖10 退桿分析效果Fig.10 The effect of pipe withdrawal analysis

4 結(jié)論

1）信息牌檢測算法對信息牌的識別準(zhǔn)確率為96%?；赑addleOCR 的OCR 識別算法具有檢測速度快、識別精度高的特點，平均用時17.51 ms，準(zhǔn)確率和召回率分別為93.9%，96.03%。

2）基于深度學(xué)習(xí)的退桿分析算法準(zhǔn)確率約為95%，能夠有效識別現(xiàn)場退桿數(shù)，有效輔助驗鉆。

3）AI 智能視頻分析技術(shù)可促進(jìn)打鉆作業(yè)無人值守與全過程分析管控。