基于煤礦視頻AI識別技術(shù)應(yīng)用研究

楊傳印

（山東煤炭工業(yè)信息計算中心，山東 濟南 250031）

習(xí)近平總書記在主持中共中央政治局第三十四次集體學(xué)習(xí)時強調(diào)：“要推動數(shù)字經(jīng)濟和實體經(jīng)濟融合發(fā)展，把握數(shù)字化、網(wǎng)絡(luò)化、智能化方向，要改進提高監(jiān)管技術(shù)和手段，把監(jiān)管和治理貫穿創(chuàng)新、生產(chǎn)、經(jīng)營、投資全過程?！?017 年7 月，國務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》，提出人工智能作為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力，將進一步釋放歷次科技革命和產(chǎn)業(yè)變革積蓄的巨大能量，并創(chuàng)造新的強大引擎，催生新技術(shù)、新產(chǎn)品、新產(chǎn)業(yè)、新業(yè)態(tài)、新模式，引發(fā)經(jīng)濟結(jié)構(gòu)重大變革。2021 年6月，國家能源局、國家礦山安全監(jiān)察局發(fā)布的《煤礦智能化建設(shè)指南（2021年版）》明確指出將人工智能、大數(shù)據(jù)、智能裝備等與現(xiàn)代煤炭開發(fā)技術(shù)進行深入融合，形成全面感知、實時互聯(lián)、分析決策、自主學(xué)習(xí)、動態(tài)預(yù)測、協(xié)同控制的智能系統(tǒng)，加速實現(xiàn)煤礦開拓、采掘（采剝）、運輸、通風(fēng)、洗選、安全保障、經(jīng)營管理等全過程的智能化運行。

國家目前已陸續(xù)部署了智能制造等國家重點研發(fā)計劃與重點專項，印發(fā)實施了“互聯(lián)網(wǎng)+”人工智能三年行動實施方案，從科技研發(fā)、應(yīng)用推廣和產(chǎn)業(yè)發(fā)展等方面提出了一系列措施。經(jīng)過多年的持續(xù)積累，我國在人工智能領(lǐng)域取得重要進展，部分領(lǐng)域核心關(guān)鍵技術(shù)實現(xiàn)重要突破。自適應(yīng)自主學(xué)習(xí)、直覺感知、綜合推理、混合智能和群體智能等逐步進入實際應(yīng)用，人工智能創(chuàng)新創(chuàng)業(yè)日益活躍，一批龍頭骨干企業(yè)加速成長。

隨著國家對礦山特別是煤礦安全生產(chǎn)的日益重視，礦山企業(yè)對煤礦無人智能化成套技術(shù)與裝備的需求保持快速增長勢頭。智能煤礦是人工智能的一個垂直應(yīng)用領(lǐng)域，推動智能化技術(shù)與煤炭產(chǎn)業(yè)融合發(fā)展、提升煤礦智能化水平是智能煤礦建設(shè)必須遵循的指導(dǎo)思想。為此，通過加強煤礦視頻AI（Artificial Intelligence，人工智能）技術(shù)及裝備等基礎(chǔ)設(shè)施建設(shè)規(guī)劃與布局，研發(fā)低延時、高精度、廣覆蓋的智能安全監(jiān)控系統(tǒng)及重大危險源智能預(yù)警防控平臺，實現(xiàn)人、設(shè)備與環(huán)境的實時聯(lián)通、精確識別、有效交互與智能控制，實現(xiàn)無人或者少人作業(yè)。充分發(fā)揮視頻AI分析技術(shù)在重大災(zāi)害風(fēng)險識別中的關(guān)鍵優(yōu)勢，實現(xiàn)對礦山關(guān)鍵地點、重點部位的重大風(fēng)險的實時識別、監(jiān)測和精準研判，利用信息化、智能化手段防范化解重大安全風(fēng)險，已成為大勢所趨、勢在必行。

1 煤礦視頻AI識別系統(tǒng)建設(shè)原則

1.1 安全性原則

煤礦視頻AI識別應(yīng)用建設(shè)應(yīng)滿足《煤礦安全規(guī)程》（2020年版）、《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》（發(fā)改能源〔2020〕283號）、《煤礦智能化建設(shè)指南（2021年版）》（國能發(fā)煤炭規(guī)〔2021〕29 號）和《智能化煤礦（井工）分類、分級技術(shù)條件與評價》（T/CCS001-2020）等文件要求。

1.2 可靠性原則

煤礦視頻AI識別裝備應(yīng)能在煤礦井下各類復(fù)雜環(huán)境下長時間穩(wěn)定運行，需要滿足采掘工作面、運輸巷道、提升、各類硐室等環(huán)境對網(wǎng)絡(luò)傳輸可靠性、帶寬、實時性、運動幀速率等方面的要求。針對人員、設(shè)備與環(huán)境的智能視頻智能識別率應(yīng)大于90%，圖像本地處理時延應(yīng)≤200 ms。

1.3 實用性原則

煤礦視頻AI分析裝備應(yīng)與現(xiàn)有的煤礦綜合自動化系統(tǒng)、安全監(jiān)控系統(tǒng)以及通信聯(lián)絡(luò)系統(tǒng)實現(xiàn)高度協(xié)同，充分利用已有煤礦信息化、自動化裝備與系統(tǒng)，分析各個環(huán)節(jié)的智能化需求，有針對性地開發(fā)AI算法，針對具體場景制定各類AI智能化應(yīng)用方案。

1.4 一礦一策原則

煤礦視頻AI分析系統(tǒng)應(yīng)結(jié)合各個煤礦安全、生產(chǎn)、運輸環(huán)節(jié)具體情況，分類部署、分步實施，一礦一策、一場景一算法。

2 煤礦視頻AI識別平臺架構(gòu)

智能礦山體系涵蓋采、掘、運、洗、選等各個環(huán)節(jié)，采用信息感知、圖像處理、模式識別、智能控制等技術(shù)手段，收集分析礦山生產(chǎn)、經(jīng)營和管理的各種數(shù)據(jù)，實現(xiàn)礦山管理的數(shù)字化、可視化與智能化。在此過程中，煤礦數(shù)據(jù)從管理角度可分為生產(chǎn)與安全數(shù)據(jù)，從數(shù)據(jù)類型上又可分為視頻數(shù)據(jù)、音頻數(shù)據(jù)、物聯(lián)數(shù)據(jù)等，其中利用視頻AI技術(shù)對視頻數(shù)據(jù)進行采集、傳輸、識別和分析處理對煤礦生產(chǎn)和安全的各個環(huán)節(jié)都有巨大的價值與意義。

2.1 典型平臺組成

煤礦視頻AI識別平臺主要由前端視頻AI識別分析系統(tǒng)、網(wǎng)絡(luò)傳輸系統(tǒng)、后端管理系統(tǒng)等組成。

（1）前端視頻智能識別分析系統(tǒng)。通過部署礦用本安型圖像AI處理攝像儀、隔爆兼本安型邊緣計算AI視頻分析裝置，就地實現(xiàn)數(shù)據(jù)采集、分析、存儲與上傳。實時對人員、機器、環(huán)境等監(jiān)控視頻進行智能分析與處理，并實現(xiàn)與煤礦通信聯(lián)絡(luò)系統(tǒng)、生產(chǎn)自動化系統(tǒng)、安全監(jiān)控系統(tǒng)的聯(lián)動與協(xié)同，從而提高煤礦安全管理水平和效率。

（2）網(wǎng)絡(luò)傳輸系統(tǒng)。包括煤礦光纖工業(yè)環(huán)網(wǎng)+5G/WIFI高速傳輸網(wǎng)絡(luò)，負責(zé)完成數(shù)據(jù)的傳輸與交換，結(jié)合礦山視頻監(jiān)控的實際需求，傳輸視頻的集團級主干網(wǎng)絡(luò)帶寬應(yīng)在萬兆級，分公司匯聚層網(wǎng)絡(luò)帶寬在千兆級，礦區(qū)監(jiān)控網(wǎng)絡(luò)帶寬在百兆級。各級平臺的互聯(lián)網(wǎng)服務(wù)質(zhì)量等級需達到網(wǎng)絡(luò)時延不大于150 ms、丟包率不大于1×10-3的要求。

（3）后端管理系統(tǒng)。由AI視頻分析服務(wù)器、AI視頻管理服務(wù)器、AI視頻分析管理平臺和事件資源庫、業(yè)務(wù)應(yīng)用等組成，負責(zé)實現(xiàn)對數(shù)據(jù)的匯聚、清洗、分析、存儲和管理。其中AI視頻分析管理平臺通過搭建GPU集群，可對多路并發(fā)視頻進行在線分析與處理。

2.2 平臺建設(shè)基本要求

（1）前端圖像AI處理攝像儀基本要求。攝像儀應(yīng)具備雙向音頻對講、本地視頻分析和處理功能，圖像本地處理時延應(yīng)≤200 ms，應(yīng)至少具有4個DI和4個DO干節(jié)點接口，鏡頭應(yīng)具備2.8～12 mm自動變焦功能。

（2）隔爆兼本安型邊緣計算AI視頻分析裝置基本要求。算力不小于8TOPS，圖像本地處理時延應(yīng)≤200 ms，應(yīng)至少具有4個DI和4個DO干節(jié)點接口。

（3）邊緣計算AI視頻分析裝置基本要求。應(yīng)具有千兆網(wǎng)口接入，具有8路、16路和32路分析能力，應(yīng)具有至少4TB存儲能力。

（4）視頻圖像基本要求。圖像畫面應(yīng)具有H.264和H.265的編解碼能力，圖像分辨率應(yīng)≥1920×1080，低速AI攝像儀視頻幀率應(yīng)≥25 fps，高速AI攝像儀視頻幀率應(yīng)≥150 fps，攝像儀應(yīng)具備自動調(diào)焦和對焦功能。

（5）傳輸網(wǎng)絡(luò)基本要求。應(yīng)支持光纖傳輸，最大傳輸距離應(yīng)不低于20 km，100 M帶寬；應(yīng)支持雙絞線傳輸，最大傳輸距離不低于2 km，10 M帶寬；應(yīng)支持WIFI傳輸，最大傳輸距離不低于500 m，2.4 G制式；網(wǎng)絡(luò)傳輸應(yīng)支持TCP/IP、RTSP、Websocket、HTTP等協(xié)議。

3 煤礦視頻AI識別裝備

3.1 煤礦視頻AI識別裝備現(xiàn)況

煤礦視頻AI識別裝備是各場景AI算法的載體，實時視頻/圖像信息通過AI視頻智能識別裝備的分析得到處理結(jié)果。視頻AI識別裝備主要可分為兩個類型：

（1）前端識別分析設(shè)備，包括：圖像AI處理攝像儀（礦用本安型高速AI攝像儀、礦用本安型低速AI攝像儀）、隔爆兼本安型邊緣計算AI視頻分析裝置。

（2）后端識別與管理設(shè)備，包括：AI視頻分析服務(wù)器、AI視頻管理服務(wù)器、AI視頻分析管理平臺服務(wù)器等。圖像AI處理攝像儀將智能分析結(jié)果和視頻監(jiān)控數(shù)據(jù)同步，可相對減少后端分析成本。AI視頻分析服務(wù)器是一種后端智能識別方式，普通攝像儀采集視頻信號，由后臺進行存儲，再通過AI視頻分析服務(wù)器進行分析，將分析結(jié)果返送至存儲設(shè)備中。對于已經(jīng)安裝過普通攝像儀且滿足成像要求的基礎(chǔ)上，可充分利用現(xiàn)有的普通圖像采集終端，通過后端AI視頻分析服務(wù)器來實現(xiàn)多個點位的實時智能分析，且服務(wù)器可放置于煤礦地面數(shù)據(jù)中心進行實時分析處理和顯示。

目前從事AI人工智能技術(shù)開發(fā)和應(yīng)用的企業(yè)多數(shù)以采用服務(wù)器中心分析為主，此種分析需要將視頻傳輸?shù)椒?wù)器端再進行分析得出結(jié)果，雖然可依靠集成大規(guī)模GPU芯片實現(xiàn)規(guī)模化的監(jiān)控視頻分析，但是對監(jiān)控的網(wǎng)絡(luò)帶寬提出了很高的要求，一旦帶寬受限，則分析的實時性、反饋的及時性都會下降。另一方面，通過后端服務(wù)器分析的方式在數(shù)據(jù)采集、傳輸、接收、分析、識別后的結(jié)果再發(fā)送到相應(yīng)的子系統(tǒng)來進行聯(lián)動控制會產(chǎn)生一定的響應(yīng)延遲，對于一些要求實時響應(yīng)的安全隱患則難以適用。因此，煤礦視頻AI識別技術(shù)應(yīng)用應(yīng)優(yōu)先選用礦用本安型AI攝像儀或隔爆兼本安型邊緣計算AI視頻分析裝置，就地實現(xiàn)視頻分析和處理。

3.2 煤礦視頻AI識別裝備功能要求

3.2.1 圖像AI處理攝像儀

基于AI人工智能技術(shù)和邊緣計算的礦用本安型AI攝像儀，自帶智能分析模塊，可實時對各種安全隱患進行分析和識別。

功能要求：

（1）實時分析?；贏I人工智能技術(shù)和邊緣計算的AI攝像儀，自帶智能分析模塊，可自動實時對各種安全隱患進行分析和識別。

（2）離線分析。AI攝像儀能夠在斷網(wǎng)的情況下仍能進行離線自動分析和識別，在網(wǎng)絡(luò)通暢后將報警記錄自動上傳至后端服務(wù)器管理平臺進行存檔。

（3）遠程模型下發(fā)和更新。AI攝像儀內(nèi)加載的人工智能算法可以通過遠程在線模型下發(fā)和更新的方式進行加載和更新，便于維護和升級。

（4）快速聯(lián)動響應(yīng)。前端的智能AI攝像儀支持MODBUS-TCP等聯(lián)動協(xié)議輸出，根據(jù)自動檢測到的隱患報警信息發(fā)出聯(lián)動控制響應(yīng)輸出信號，用于控制相應(yīng)的設(shè)備進行快速聯(lián)動響應(yīng)或者語音告警。

（5）兼容擴展?？芍苯蛹苫蛘呓尤雵鴥?nèi)主流智能管控平臺進行結(jié)果展示。

（6）音頻交互通信。AI攝像儀除具備視頻采集和分析功能外，內(nèi)置拾音器和揚聲器模塊具備音頻交互功能，能夠?qū)崿F(xiàn)前端與后端管理中心的音視頻信息交互。

（7）礦用本安型高速AI攝像儀：具有皮帶煤量識別與調(diào)速、皮帶異物（大塊、錨桿、水煤）識別、皮帶縱撕、皮帶表面損傷檢測、刮板運輸機斷鏈拉斜檢測、提升機鋼絲繩首尾繩外觀缺陷（斷絲、磨損、跳絲、腐蝕、散股、纏繞、脫落等）檢測、無軌膠輪車超速及闖紅燈等高速變化目標信息的采集、分析、識別和報警聯(lián)動功能。

（8）礦用本安型低速AI攝像儀：具備人員檢測、電子圍欄、安全帽安全繩等個人防護裝備檢測、單軌吊識別、人數(shù)統(tǒng)計、人員脫崗檢測、固定硐室人員巡檢分析、皮帶跑偏、激光測距、人員掛安全繩檢測、護幫支護檢測等中低速變化目標信息的采集、分析、識別和報警聯(lián)動功能。

3.2.2 隔爆兼本安型邊緣計算

AI視頻分析裝置部署在井下攝像儀附近，集成高性能NPU模塊，集IPC接入、存儲、管理、控制于一體，可遠程加載深度學(xué)習(xí)算法，實現(xiàn)自定義智能分析，可本地獨立工作，也可聯(lián)網(wǎng)組成安全隱患分析及預(yù)警系統(tǒng)。

3.2.3 AI視頻分析服務(wù)器

部署在地面數(shù)據(jù)中心機房，集成高性能NPU模塊，集IPC接入、存儲、管理、控制于一體，可遠程加載深度學(xué)習(xí)算法，實現(xiàn)自定義智能分析，可本地獨立工作，也可聯(lián)網(wǎng)組成安全隱患分析及預(yù)警系統(tǒng)。

3.2.4 AI視頻管理服務(wù)器

用于圖像AI處理攝像儀、隔爆兼本安型邊緣計算AI視頻分析裝置、AI視頻分析服務(wù)器等AI設(shè)備接入，負責(zé)業(yè)務(wù)數(shù)據(jù)存儲轉(zhuǎn)發(fā)、報警信息推送、報警錄像存儲及回放，支持攝像儀媒體流轉(zhuǎn) 發(fā)， 支 持TCP/IP，ICMP，HTTP，HTTPS，F(xiàn)TP，DHCP，DNS，DDNS，RTP，RTSP，NTP，802.1X，RTCP，UPnP，SMTP，SNMP，IGMP，QoS，IPv6，UDP 等協(xié)議。

3.2.5 煤礦視頻AI識別人工智能算法平臺

煤礦AI人工智能算法平臺是集成數(shù)據(jù)標注、算法訓(xùn)練、應(yīng)用部署一體的系統(tǒng)，能夠訓(xùn)練各類隱患智能識別算法模型，并將模型快速部署到專用智能設(shè)備等邊緣設(shè)備。

3.2.6 AI視頻分析管理平臺

具有分級權(quán)限管理，支持跨平臺數(shù)據(jù)訪問，提供客戶端、Web及移動App多種模式。具備數(shù)據(jù)接口，可以實現(xiàn)與現(xiàn)有的視頻管理平臺、信息化平臺、自動化平臺等多平臺的信息融合，實現(xiàn)信息的互聯(lián)互通。具備聯(lián)動控制功能，可以發(fā)出聯(lián)動控制命令給自動化系統(tǒng)控制設(shè)備停車平臺能夠?qū)I算法動態(tài)植入AI攝像儀和智能NVR，利用新一代人工智能技術(shù)實現(xiàn)視頻、圖片的智能分析。一旦監(jiān)控點位存在隱患，平臺可接收到隱患分析的結(jié)果并及時上報，以解決煤礦生產(chǎn)企業(yè)靠監(jiān)管人員不能及時發(fā)現(xiàn)隱患、追責(zé)無證據(jù)等問題。