露天煤礦視頻識別分析系統(tǒng)設(shè)計與應(yīng)用

汪 鵬，付恩三，姜 琳

(應(yīng)急管理部信息研究院，北京市朝陽區(qū)，100029)

目前，露天煤礦已經(jīng)基本實現(xiàn)在生產(chǎn)辦公區(qū)、機修車間、選煤廠、炸藥庫等關(guān)鍵位置部署高清視頻攝像頭，實現(xiàn)各類視頻信息的接入，進而實現(xiàn)在露天煤礦調(diào)度指揮中心進行視頻信息的實時調(diào)閱[1]。露天煤礦部署大量高清攝像頭的目的是通過視頻監(jiān)控發(fā)現(xiàn)設(shè)備異常情況和人員違章操作行為，從而及早報警和處理。

目前，大量高清攝像頭的布設(shè)僅僅實現(xiàn)對露天煤礦各部位視頻信息的采集，當(dāng)發(fā)生突發(fā)事件后，需要進行對應(yīng)位置和時間的視頻數(shù)據(jù)提取，大量視頻數(shù)據(jù)上傳對露天煤礦視頻存儲空間要求極高，且未實現(xiàn)對各類違章行為視頻圖像的智能識別和結(jié)構(gòu)化處理等功能[2-4]。因此，目前露天煤礦視頻監(jiān)控系統(tǒng)存在如下問題：

(1)視頻數(shù)據(jù)量龐大，需要大量的存儲空間，沒有價值的視頻數(shù)據(jù)存儲占比較大[5]。

(2)違章行為的識別完全依靠管理人員事后人工識別，由于調(diào)閱視頻存在信息量大、過程繁瑣、識別周期長，因此工作量較大，易造成人員視覺疲憊，違章行為識別準(zhǔn)確率較低[6]。

(3)視頻信息僅作為事故發(fā)生后備案存檔留存，造成煤礦視頻存儲量大，有意義、有警示作用的視頻并未有效提取存儲。

(4)違章行為不能實時識別，報警處置信息聯(lián)動不及時。

(5)系統(tǒng)未實現(xiàn)網(wǎng)絡(luò)化傳輸保存，違章行為處置實時性較差。

為了解決上述問題，露天煤礦需要探索創(chuàng)新，充分利用人工智能在圖像分析、語音識別、數(shù)據(jù)挖掘、深度學(xué)習(xí)等領(lǐng)域的優(yōu)勢，構(gòu)建露天煤礦視頻識別分析系統(tǒng)。通過對露天煤礦現(xiàn)有視頻監(jiān)控系統(tǒng)的融合，針對露天煤礦關(guān)鍵位置/區(qū)域和重點場所進行實時監(jiān)控畫面采集，經(jīng)過圖像預(yù)處理、背景提取、前景目標(biāo)檢測、目標(biāo)識別等一系列過程，并通過計算機機器視覺、人工智能、深度學(xué)習(xí)等技術(shù)，對有用視頻信息進行智能分析和處理，實現(xiàn)露天煤礦安全行為異常檢測和預(yù)警，并同時對有效的識別結(jié)果進行存儲和分析[7]。視頻識別分析技術(shù)的應(yīng)用可以促進煤礦企業(yè)的減員增效和提高安全生產(chǎn)系數(shù)，有力保障露天煤礦安全工作的全面性和及時性。

1 系統(tǒng)概述

1.1 系統(tǒng)總體架構(gòu)

系統(tǒng)總體架構(gòu)分為礦端、云端和客戶端，露天煤礦在指定場所配套攝像頭，礦端部署視頻識別分析硬件設(shè)備，通過礦山內(nèi)網(wǎng)或5G采集并分析礦端攝像頭實時視頻流，依托GPU高性能分析、流媒體服務(wù)和內(nèi)置智能算法等技術(shù)能監(jiān)控到某一模型場景的視頻信息，將識別的視頻信息轉(zhuǎn)換為視頻流片段、圖片和結(jié)構(gòu)化信息，本地化存儲、展示并上傳到云端，在云端和客戶端部署應(yīng)用軟件，供各類用戶訪問使用。系統(tǒng)總體架構(gòu)如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

1.2 系統(tǒng)技術(shù)架構(gòu)

系統(tǒng)采用B/S架構(gòu)，在礦端完成視頻信號的采集、存儲、分析識別工作，并將分析識別結(jié)果通過互聯(lián)網(wǎng)或?qū)＞W(wǎng)上傳到云端的云數(shù)據(jù)中心，客戶端用戶可以通過Web瀏覽器和手機App訪問識別分析展示結(jié)果，并根據(jù)煤礦實際情況，制定報警反饋處置流程，對報警處置過程和結(jié)果進行系統(tǒng)登記備案。該系統(tǒng)架構(gòu)要求具有良好的擴展性，在未來負(fù)載增加和并發(fā)訪問壓力增大的情況下，每一層可以通過集群、雙機熱備或負(fù)載均衡等技術(shù)提升系統(tǒng)的處理能力，可以方便擴展和升級。

本系統(tǒng)按照四層技術(shù)架構(gòu)進行設(shè)計，系統(tǒng)技術(shù)架構(gòu)如圖2所示。

(1)基礎(chǔ)設(shè)施層?；A(chǔ)設(shè)施層主要包括識別分析硬件資源、系統(tǒng)軟件(操作系統(tǒng)、數(shù)據(jù)庫、應(yīng)用中間件等)、網(wǎng)絡(luò)環(huán)境(礦山內(nèi)網(wǎng)、互聯(lián)網(wǎng)、5G)等基礎(chǔ)性工程。

(2)數(shù)據(jù)資源層。數(shù)據(jù)資源層用于接收視頻數(shù)據(jù)流和其他信息數(shù)據(jù)，為智能識別分析功能引擎提供數(shù)據(jù)支持，并用來存儲智能分析識別的結(jié)果以及報警片段的圖片和視頻，為數(shù)據(jù)的查詢、統(tǒng)計分析提供基礎(chǔ)。

圖2 系統(tǒng)技術(shù)架構(gòu)

(3)應(yīng)用支撐層。應(yīng)用支撐層包括對輸入的數(shù)據(jù)流進行編解碼、規(guī)范化等數(shù)據(jù)預(yù)處理操作，并對預(yù)處理后的數(shù)據(jù)采用深度學(xué)習(xí)技術(shù)實現(xiàn)視頻數(shù)據(jù)智能識別分析，系統(tǒng)框架基于VUE、JAVA Spring的前后端分離開發(fā)技術(shù)實現(xiàn)數(shù)據(jù)調(diào)度管理和系統(tǒng)管理。

(4)應(yīng)用層。應(yīng)用層能夠?qū)χ悄茏R別分析結(jié)果進行展示，實現(xiàn)對智能識別分析結(jié)果進行統(tǒng)計查詢、報警情況分析、報警片段的圖片和視頻查詢調(diào)閱、報警閉環(huán)處置以及參數(shù)配置等功能。

1.3 系統(tǒng)主要功能

露天煤礦視頻識別分析系統(tǒng)主要功能包括礦端視頻分析識別、模型更新、參數(shù)配置、信息展示、違章報警處置和報警數(shù)據(jù)上傳和存儲功能。系統(tǒng)主要功能如圖3所示。

圖3 系統(tǒng)主要功能

1.3.1礦端視頻分析識別模塊

該模塊通過智能圖像識別設(shè)備采集行為視頻數(shù)據(jù)，可對采集的視頻圖像進行實時預(yù)覽播放、檢測、識別和跟蹤，對視頻進行實時結(jié)構(gòu)化分析，并能夠?qū)ψR別結(jié)果進行本地化存儲和閱覽。礦端視頻分析識別界面如圖4所示。

圖4 礦端視頻分析識別界面

1.3.2模型更新模塊

該模塊支持對平臺已有算法模型進行更新，手動上傳離線訓(xùn)練好的模型參數(shù)文件替換原有模型參數(shù)，平臺自動識別利用更新后的模型參數(shù)進行推理識別。

1.3.3參數(shù)配置模塊

該模塊能夠?qū)崿F(xiàn)對攝像頭設(shè)備進行配置，攝像頭配置支持對攝像頭進行增加或刪除、配置攝像頭參數(shù)(包括攝像頭名稱、IP地址、視頻流路徑等)，并能夠從已有模型中選擇配置攝像頭需要實現(xiàn)的功能場景模型算法。

1.3.4信息展示模塊

該模塊支持多維度的歷史識別分析結(jié)果展示與查詢，包括支持對功能場景、檢測點攝像頭位置、攝像頭名稱、識別結(jié)果類別等關(guān)鍵字的信息查詢，并支持對不同周期內(nèi)各類識別分析結(jié)果的統(tǒng)計查詢，同時支持模糊查詢。信息展示模塊界面如圖5所示。

圖5 信息展示模塊界面

1.3.5違章報警處置模塊

該模塊對識別到的違章行為進行視頻片段或者圖片的抓取留痕，并產(chǎn)生報警事件和報告，提供報警處置流程，幫助煤礦進行違章閉環(huán)管理。

1.3.6報警數(shù)據(jù)上傳和存儲模塊

該模塊通過視頻采集與分析設(shè)備，在礦端完成視頻信號實時采集、存儲和分析后，并將相應(yīng)的分析結(jié)果上傳到大數(shù)據(jù)中心，輔助模型的優(yōu)化升級[8]。

2 關(guān)鍵技術(shù)

2.1 數(shù)據(jù)處理

通過攝像頭的錄像文件，從中清洗出可用的訓(xùn)練數(shù)據(jù)，對攝像頭的視頻流文件進行拆分，得到相應(yīng)的圖片數(shù)據(jù)，然后利用標(biāo)注工具對圖片數(shù)據(jù)進行標(biāo)注[9-10]。標(biāo)注內(nèi)容主要是識別目標(biāo)的具體位置和類別等信息，并生成對應(yīng)的標(biāo)注文件。數(shù)據(jù)處理流程如圖6所示。

圖6 數(shù)據(jù)處理流程

2.2 模型訓(xùn)練

根據(jù)露天煤礦識別場景構(gòu)建合適的模型，初步選定模型之后，根據(jù)需要對標(biāo)注后的文件進行預(yù)處理，然后用預(yù)處理后的文件進行模型訓(xùn)練。在模型訓(xùn)練的過程中，多次對初步得到的模型進行各項指標(biāo)的測試。根據(jù)測試結(jié)果，調(diào)整模型的相關(guān)參數(shù)，從而得到滿足項目需求的模型。

根據(jù)不同的應(yīng)用場景，訓(xùn)練平臺要支持針對多種不同的數(shù)據(jù)源進行輸入訓(xùn)練，包括對遠(yuǎn)程傳輸?shù)臄z像頭數(shù)據(jù)、文件流數(shù)據(jù)、本地設(shè)備數(shù)據(jù)等實現(xiàn)智能識別訓(xùn)練，因此需要實現(xiàn)不同格式的數(shù)據(jù)編解碼算法，以適應(yīng)不同輸入數(shù)據(jù)的格式要求，同時在多路數(shù)據(jù)輸入的過程中，還需要合適的調(diào)度算法實現(xiàn)多路數(shù)據(jù)源輸入的調(diào)度，從而高效完成數(shù)據(jù)從輸入到識別的任務(wù)全過程。

2.3 模型應(yīng)用

使用訓(xùn)練好的模型對輸入的數(shù)據(jù)流進行推理過程，并將模型識別推理結(jié)果進行返回輸出。模型推理流程如圖7所示。

(1)輸入數(shù)據(jù)支持3種格式，對應(yīng)文件流模式、本地接入模式、遠(yuǎn)程網(wǎng)絡(luò)數(shù)據(jù)模式3種不同的模式。

圖7 模型推理流程

(2)編解碼模塊根據(jù)不同的數(shù)據(jù)源，采用對應(yīng)的編解碼算法，將數(shù)據(jù)根據(jù)需要進行編解碼，將數(shù)據(jù)輸入下一個模塊。

(3)數(shù)據(jù)處理階段通過對數(shù)據(jù)源輸入數(shù)據(jù)進行整合，將不同數(shù)據(jù)源的多路數(shù)據(jù)整合成固定尺度(可調(diào))的批次，同時為每張圖片提供相應(yīng)索引，標(biāo)識其所屬的數(shù)據(jù)源。

(4)數(shù)據(jù)進入模型之后完成對圖片的檢測和識別，其中推理階段模型同樣支持FP32、FP6、INT8這3種不同的推理方式，分別對應(yīng)不同的模型數(shù)據(jù)精度，以適應(yīng)不同硬件平臺下的部署需求。

(5)經(jīng)模型推理后得到檢測結(jié)果，并對輸出結(jié)果中的流數(shù)據(jù)進行編碼，生成指定格式的視頻片段和照片。

(6)最終輸出結(jié)果分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)主要是違章行為信息，存儲到數(shù)據(jù)庫中，非結(jié)構(gòu)化數(shù)據(jù)為違章行為視頻片段或照片，以文件形式存儲。

(7)用戶可通過遠(yuǎn)程訪問和本地訪問兩種方式調(diào)用輸出的結(jié)果，滿足其應(yīng)用需要。

2.4 數(shù)據(jù)分析

在數(shù)據(jù)分析階段，根據(jù)不同的需求分析檢測結(jié)果。在安全帽佩戴檢測中，統(tǒng)計未佩戴安全帽的人數(shù)，記錄檢測時間以及攝像頭位置等信息；在車輛檢測中，統(tǒng)計車輛類別信息、車輛數(shù)量以及相關(guān)場景下的測速等。同時在指定區(qū)域內(nèi)，分析是否存在違規(guī)車輛，并及時報警和提供違規(guī)記錄等；在調(diào)度室值守情況檢測中，統(tǒng)計調(diào)度室人數(shù)，記錄調(diào)度室無人的時間和持續(xù)時間，進行報警，保存違規(guī)視頻片段；在駕駛員接打電話檢測中，記錄駕駛員接打電話進行時間和持續(xù)時間，以及違規(guī)時車速，并進行報警提醒，同時保存違規(guī)行為視頻片段。

在整體的推理上，根據(jù)不同的數(shù)據(jù)源進行編解碼的適配，然后將多個數(shù)據(jù)源數(shù)據(jù)整合之后輸入模型進行推理，推理完成后再根據(jù)業(yè)務(wù)場景的需求對推理結(jié)果完成分析、存儲、顯示等。安全帽佩戴檢測判斷邏輯如圖8所示，車輛檢測判斷邏輯如圖9所示，調(diào)度室值守檢測判斷邏輯如圖10所示，駕駛員接打電話檢測判斷邏輯如圖11所示，系統(tǒng)推理邏輯如圖12所示。

圖8 安全帽佩戴檢測邏輯

圖9 車輛檢測判斷邏輯

圖10 調(diào)度室值守檢測判斷邏輯

圖11 駕駛員接打電話檢測的判斷邏輯

圖12 系統(tǒng)推理邏輯

3 系統(tǒng)應(yīng)用

內(nèi)蒙古扎哈淖爾露天煤礦位于內(nèi)蒙古自治區(qū)通遼市扎旗境內(nèi)扎哈淖爾開發(fā)區(qū)界內(nèi)，屬于霍林河煤田的主要存量區(qū)域，煤炭貯量為 9.56億t，主要生產(chǎn)優(yōu)質(zhì)褐煤。

2019年8月，針對目前常規(guī)的現(xiàn)場檢查巡視只能針對固定時間、地點抽采，很難解決現(xiàn)階段安全管理難題的問題，引入并成功應(yīng)用了露天煤礦視頻識別分析系統(tǒng)。在調(diào)度室、機修車間和運輸車輛等多個位置場景開展視頻識別分析，通過后臺數(shù)據(jù)綜合運算，及時發(fā)現(xiàn)無人值班、未佩戴安全帽和行駛車輛過程中接打電話等違章行為，系統(tǒng)生成安全數(shù)據(jù)分析報告，并形成報警-溝通-處罰-學(xué)習(xí)的四級處理流程。露天煤礦視頻識別分析系統(tǒng)自投入使用以來，各類報警發(fā)生和處置3 000余條，經(jīng)過在監(jiān)管中心現(xiàn)場觀摩及安全教育培訓(xùn)的雙重作用下，報警數(shù)量呈陡降趨勢，后期趨于平穩(wěn)，目前報警數(shù)控制在20條/月以內(nèi)。露天煤礦視頻識別分析系統(tǒng)保證了安全問題實時在控可控，改善了內(nèi)蒙古扎哈淖爾露天煤礦安全管理狀況，且效果顯著。

4 結(jié)語

露天煤礦視頻識別分析系統(tǒng)采用深度學(xué)習(xí)技術(shù)自動對駕駛員接打電話、未佩戴安全帽、值班室無人值守及車輛入侵等行為或場景進行識別分析，存儲識別結(jié)果和對應(yīng)的違規(guī)記錄，以短視頻文件或圖片文件進行存儲，實現(xiàn)實時報警信息顯示、歷史報警信息查詢，并按時間和報警類型對報警信息進行統(tǒng)計分析，同時形成分析報告，可根據(jù)煤礦的實際情況，實現(xiàn)對不同報警閉環(huán)處置管理[11]。

通過構(gòu)建和應(yīng)用露天煤礦視頻識別分析系統(tǒng)，能夠使煤礦早發(fā)現(xiàn)問題、早解決隱患，極大幫助煤礦監(jiān)管安全生產(chǎn)、管控人員合規(guī)作業(yè)，對遏制煤礦重特大事故具有重要意義[12]。