基于三維視頻融合的礦井實(shí)時(shí)監(jiān)測(cè)技術(shù)

徐華龍

（1.煤炭科學(xué)技術(shù)研究院有限公司，北京100013；2.煤礦應(yīng)急避險(xiǎn)技術(shù)裝備工程研究中心，北京100013；3.北京市煤礦安全工程技術(shù)研究中心，北京100013）

煤礦視頻監(jiān)控系統(tǒng)為保證煤礦安全生產(chǎn)提供了可靠的技術(shù)支持，地面工作人員通過(guò)視頻監(jiān)控系統(tǒng)可直接監(jiān)視、記錄井下的各種生產(chǎn)情況，且可為事故的事后分析提供原始的視頻資料。2019 年10 月9日，國(guó)家煤礦安監(jiān)局召開全國(guó)煤礦信息化建設(shè)工作會(huì)議，要求在12 月31 日前完成煤礦安全監(jiān)控系統(tǒng)、人員位置監(jiān)測(cè)系統(tǒng)、工業(yè)視頻監(jiān)控系統(tǒng)等3 大系統(tǒng)的全國(guó)聯(lián)網(wǎng)工作，要求實(shí)現(xiàn)“先連上、先看見”的初步目標(biāo)。傳統(tǒng)矩陣式分鏡頭監(jiān)控?cái)z像頭存在離散、局限、聯(lián)動(dòng)性差等問(wèn)題，每一個(gè)鏡頭只能從鏡頭所在的視點(diǎn)觀看視頻圖像，每一個(gè)監(jiān)控?cái)z像機(jī)所拍攝到的視頻圖像和周圍的環(huán)境是割裂的，各個(gè)攝像機(jī)之間也是割裂的，只有對(duì)周圍環(huán)境十分熟悉的工作人員，才能知道所拍的位置[1-3]。為此,通過(guò)研究礦井視頻二維圖像和三維模型的一張圖融合技術(shù)和基于三維實(shí)景視頻的信息增強(qiáng)顯示技術(shù)，使原本碎片化的視頻在真實(shí)三維場(chǎng)景中360°全景可視，實(shí)現(xiàn)全礦井三維視頻融合“一張圖”管理，為礦山企業(yè)安全生產(chǎn)、應(yīng)急指揮提供新型技術(shù)手段。

1 技術(shù)路線

基于三維視頻融合技術(shù)，將礦山三維模型和視頻監(jiān)控融為一體，實(shí)現(xiàn)井上下三維視頻融合監(jiān)控一張圖動(dòng)態(tài)管理，主要分為以下幾個(gè)步驟來(lái)實(shí)現(xiàn)：①通過(guò)三維激光掃描技術(shù)，或3DMAX 手工建模技術(shù)，結(jié)合CAD 圖紙和現(xiàn)場(chǎng)拍照采集素材，完成井上下監(jiān)控區(qū)域的三維全真建模；②基于OPENCV 圖像技術(shù)，通過(guò)RTSP 協(xié)議采集現(xiàn)場(chǎng)監(jiān)控視頻圖像，為后續(xù)視頻融合提供穩(wěn)定、實(shí)時(shí)的視頻二維圖像數(shù)據(jù)；③針對(duì)各個(gè)攝像頭分別抓取1 張監(jiān)控圖像數(shù)據(jù)作為模型初始紋理，通過(guò)3DMAX 工具中FFD4×4×4 編輯修改器，依次完成單路視頻、多路視頻二維靜態(tài)圖像與三維模型的融合拼接，然后將融合拼接場(chǎng)景模型導(dǎo)入三維數(shù)字礦山平臺(tái)（DM3D），結(jié)合三維模型材質(zhì)紋理動(dòng)態(tài)更新技術(shù)，完成三維實(shí)景視頻動(dòng)態(tài)一張圖動(dòng)態(tài)監(jiān)控；④結(jié)合多源異構(gòu)數(shù)據(jù)采集技術(shù)，基于模型與感知信息交互掛接技術(shù)，完成井下人員、瓦斯等傳感器監(jiān)測(cè)數(shù)值在三維實(shí)景視頻中增強(qiáng)顯示，實(shí)現(xiàn)基于三維實(shí)景視頻的多源信息動(dòng)態(tài)實(shí)時(shí)監(jiān)測(cè)管理。系統(tǒng)技術(shù)路線如圖1。

圖1 技術(shù)路線圖Fig.1 Technology roadmap

2 三維場(chǎng)景建模

三維場(chǎng)景重建技術(shù)主要包括以下幾種：三維激光全真掃描技術(shù)、基于3DMAX 等工具三維重建技術(shù)、基于CAD 圖紙等矢量數(shù)據(jù)自動(dòng)建模技術(shù)。針對(duì)井上下監(jiān)控區(qū)域的不同特點(diǎn)，應(yīng)采用不同的三維建模方式。地表工業(yè)廣場(chǎng)、井下變電所、井下水泵房、井下避難硐室和井下綜采工作面等重點(diǎn)區(qū)域，有條件掃描的區(qū)域可采用三維激光全真掃描技術(shù)，通過(guò)高精度三維點(diǎn)云采樣進(jìn)行曲面重建，真實(shí)一比一還原三維場(chǎng)景。不具備掃描條件的區(qū)域則可結(jié)合CAD圖紙，以及現(xiàn)場(chǎng)拍攝紋理照片，利用3DMAX 等建模工具進(jìn)行三維場(chǎng)景重建?？紤]到井下巷道更新頻率較高，宜采用基于CAD 圖紙等矢量數(shù)據(jù)自動(dòng)建模技術(shù)，根據(jù)導(dǎo)線測(cè)量CAD 數(shù)據(jù)、煤層底板等高線數(shù)據(jù)和巷道斷面數(shù)據(jù)，通過(guò)巷道自動(dòng)三維建模算法，快速生成巷道的三維網(wǎng)格模型[4-5]。

3 基于OPENCV 視頻實(shí)時(shí)接入

OpenCV（Open Source Computer Vision Library），是一個(gè)開源的可以跨平臺(tái)運(yùn)行的計(jì)算機(jī)視覺庫(kù)，可以運(yùn)行在多個(gè)操作系統(tǒng)上，包括Windows、Linux 以及Mac OS 操作系統(tǒng)上。整個(gè)庫(kù)是由C 函數(shù)和C++類構(gòu)成的，包含了許多圖像處理和計(jì)算機(jī)視覺方面的通用算法。它構(gòu)建了一個(gè)方便開發(fā)人員使用的、簡(jiǎn)單易懂的計(jì)算機(jī)視覺框架，在這個(gè)基礎(chǔ)上，開發(fā)人員能更方便的設(shè)計(jì)出更復(fù)雜的計(jì)算機(jī)視覺相關(guān)程序[6]。

3.1 獲取RTSP 視頻流地址

煤礦企業(yè)視頻監(jiān)控主要部署在地面辦公樓、材料庫(kù)、副井、洗煤廠等區(qū)域，以及井下變電所、水泵房、帶式輸送機(jī)頭、綜采面等區(qū)域。視頻監(jiān)控設(shè)備主要以?？岛痛笕A品牌為主，各個(gè)網(wǎng)絡(luò)攝像機(jī)（IPCamera）和網(wǎng)絡(luò)硬盤錄像機(jī)（NVR）均支持標(biāo)準(zhǔn)RTSP協(xié)議。對(duì)于支持Onvif 協(xié)議的攝像機(jī)可直接通過(guò)RTSP 協(xié)議進(jìn)行視頻播放，不需要廠家SDK，但同一廠家不同型號(hào)會(huì)有不同RTSP 流地址URL。視頻設(shè)備的RTSP 網(wǎng)絡(luò)地址有以下2 種獲取方式：

1）按照視頻設(shè)備廠家格式手動(dòng)配置。?？岛痛笕A2 類視頻設(shè)備RTSP 格式大同小異，其中，?？狄曨l設(shè)備的RTSP 地址格式為：rtsp://[username]:[password]@[ip]:[port]/[codec]/[channel]/[subtype]/av_stream。其中：username 為登陸用戶名，例如admin；password為登陸密碼，例如123456；ip 為設(shè)備訪問(wèn)地址，例如10.10.22.132；port 為設(shè)備訪問(wèn)端口號(hào)，默認(rèn)為554，若是默認(rèn)端口號(hào)可不填寫；codec 為視頻編碼方式，支持h264、MPEG-4、mpeg4 等；channel 為視頻通道號(hào)，起始為1。例如通道1 的標(biāo)識(shí)為ch1。subtype 為視頻碼流類型，主碼流標(biāo)識(shí)為main，子碼流標(biāo)識(shí)為sub；av_stream 為固定字符，區(qū)分大小寫。根據(jù)以上規(guī)則要求，?？狄曨l設(shè)備通道1 主碼流的請(qǐng)求URL地址可表示為如下：rtsp://admin:123456@10.10.22.132:554/h264/ch1/main/av_stream。另外，可通過(guò)VLC播放器直接打開視頻流URL，檢驗(yàn)RTSP 是否可用。

2）利用RTSP 探測(cè)工具自動(dòng)獲取。如想獲取當(dāng)前型號(hào)RTSP 流地址URL，可通過(guò)Onvif Device Test Tool 和EasyNVR 等工具，直接探測(cè)掃描/設(shè)備的RTSP 流地址，不用手動(dòng)拼接。

3.2 基于OPENCV 接入視頻畫面

采用OPENCV 圖像庫(kù)通過(guò)RTSP 協(xié)議實(shí)現(xiàn)實(shí)時(shí)視頻圖像的接入，首先，客戶端向視頻前端源設(shè)備發(fā)送調(diào)看指定視頻圖像的URL 請(qǐng)求連接(包含用戶安全認(rèn)證信息); 其次，視頻前端源設(shè)備通過(guò)RTSP 協(xié)議交互將流媒體信息實(shí)時(shí)傳輸給客戶端；最后，OPENCV 通過(guò)VideoCapture 視頻類讀取監(jiān)控視頻圖像[7-9]，具體實(shí)現(xiàn)流程為：基于OpenCV 操作視頻類VideoCapture，在其函數(shù)cvCreateFileCapture 中將參數(shù)設(shè)為RTSP 流地址URL，首先打開網(wǎng)絡(luò)攝像頭獲取視頻流，然后通過(guò)cvQueryFrame（）函數(shù)循環(huán)逐幀提取視頻圖像的每一幀，每幀是一幅基于BRG 格式的圖像?；赩C2015 開發(fā)環(huán)境的主要實(shí)現(xiàn)代碼如下：

4 井上下三維視頻融合技術(shù)

三維視頻融合技術(shù)是指將1 個(gè)或多個(gè)由視頻采集設(shè)備獲取的關(guān)于某場(chǎng)景的二維圖像序列視頻與1個(gè)與之相關(guān)的三維虛擬場(chǎng)景加以融合，以生成1 個(gè)新的關(guān)于此場(chǎng)景的虛擬場(chǎng)景。三維視頻融合從預(yù)設(shè)的虛擬全局視點(diǎn)觀看視頻圖像，各個(gè)攝像機(jī)的視頻圖像信息之間在空間和時(shí)間上是結(jié)合到一起的，每個(gè)攝像機(jī)所拍攝的視頻圖像信息是嵌入到真實(shí)的環(huán)境中的。

4.1 二維視頻與三維場(chǎng)景融合原理

二維視頻與三維場(chǎng)景融合拼接指的是，由單路視頻畫面或多路相鄰攝像頭監(jiān)測(cè)畫面與三維模型拼接融。其具體實(shí)現(xiàn)原理如下：

1）融合拼接攝像機(jī)鏡頭不可對(duì)視安裝，且攝像機(jī)安裝位置一旦確定，不可隨意更改攝像機(jī)的視角，以免在后期輸出模型時(shí)拼接處出現(xiàn)錯(cuò)位的可能性。為了達(dá)到更好的融合效果，建議每張視頻圖像與臨近視頻圖像的重疊部分占比20%左右。

2）針對(duì)每一路視頻，采用視頻查看工具VLC 播放器等或視頻廠家播放插件等，抓取當(dāng)前視頻畫面作為融合基礎(chǔ)貼圖。參照現(xiàn)有抓取的視頻畫面，可通過(guò)調(diào)整攝像機(jī)的高度、角度和視頻畫面亮度等措施來(lái)提供視頻融合的質(zhì)量。

3）利用3DMAX 建模工具在三維場(chǎng)景實(shí)際位置處搭建一個(gè)面片Plane 模型，相鄰Plane 模型的拼接采用3DMax 中FFD4×4×4 編輯修改器來(lái)處理，在FFD4×4×4 編輯器里利用Control point 進(jìn)行模型修改，實(shí)現(xiàn)相鄰Plane 模型的無(wú)縫拼接[10]，構(gòu)建井上下三維視頻融合場(chǎng)景模型。

4）基于OGRE 三維引擎平臺(tái)，Microsoft Visual Studio 2015 作為開發(fā)環(huán)境，采用多線程、虛擬現(xiàn)實(shí)和OPENCV 圖像技術(shù)，利用OGRE 中Pass 和MaterialPtr 類將實(shí)時(shí)視頻二維畫面動(dòng)態(tài)更新為井上下三維視頻融合場(chǎng)景模型紋理，實(shí)現(xiàn)井上下視頻三維一張圖融合和動(dòng)態(tài)立體監(jiān)控?；贠GRE 三維視頻融合場(chǎng)景模型紋理動(dòng)態(tài)更新主要代碼如下：

4.2 多路和單路監(jiān)控畫面三維視頻融合

1）多路監(jiān)控畫面三維視頻融合。通常井上工業(yè)廣場(chǎng)的監(jiān)控范圍較廣，針對(duì)某一特定區(qū)域可能會(huì)出現(xiàn)多路攝像頭同時(shí)監(jiān)控。結(jié)合監(jiān)控區(qū)域的三維模型，在三維視頻融合平臺(tái)中，實(shí)時(shí)接入多個(gè)監(jiān)控視頻資源，針對(duì)視頻覆蓋范圍，將二維視頻畫面與三維場(chǎng)景模型進(jìn)行精準(zhǔn)匹配融合，把單一局部獨(dú)立視頻還原成全局真實(shí)場(chǎng)景，實(shí)現(xiàn)三維立體場(chǎng)景中視頻與場(chǎng)景同步展現(xiàn)。

2）單路監(jiān)控畫面三維視頻融合。井下監(jiān)控重點(diǎn)區(qū)域主要包括：變電所、水泵房、避難硐室、運(yùn)輸巷道等場(chǎng)景，基本上1 個(gè)視頻攝像頭就可滿足監(jiān)控要求。通過(guò)單個(gè)二維視頻圖像與三維虛擬場(chǎng)景的實(shí)時(shí)拼接融合，可實(shí)現(xiàn)井下特定區(qū)域視頻監(jiān)控一張圖透明化管理。

5 多源信息增強(qiáng)現(xiàn)實(shí)技術(shù)

通過(guò)對(duì)接現(xiàn)有安全監(jiān)控、人員定位等系統(tǒng)的多類傳感器數(shù)據(jù)，利用三維引擎OGRE 公告牌技術(shù)類MovableText，實(shí)時(shí)引入三維視頻融合系統(tǒng)中，并可實(shí)時(shí)顯示井下中央變電所、水泵房、運(yùn)輸大巷等場(chǎng)所的環(huán)境監(jiān)測(cè)數(shù)據(jù)，一旦出現(xiàn)報(bào)警信號(hào)，立即彈出，快速定位到報(bào)警地理位置，實(shí)現(xiàn)了三維實(shí)景視頻中多源信息一張圖動(dòng)態(tài)監(jiān)測(cè)。多源感知數(shù)據(jù)動(dòng)態(tài)增強(qiáng)顯示的主要實(shí)現(xiàn)代碼如下所示：

6 結(jié) 語(yǔ)

針對(duì)煤礦視頻監(jiān)控普遍采用傳統(tǒng)可切換矩陣，各攝像頭圖像存在視頻離散、關(guān)聯(lián)性差等問(wèn)題，結(jié)合三維精細(xì)建模技術(shù)和基于OPENCV 視頻接入技術(shù)，采用多個(gè)固定攝像機(jī)從不同視角對(duì)同一場(chǎng)景進(jìn)行拍攝方式，根據(jù)視頻圖像間的相關(guān)性進(jìn)行圖像配準(zhǔn)和投影變換等，完成了二維視頻圖像和三維場(chǎng)景模型的融合拼接，自主研發(fā)了全礦井三維視頻融合實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，使原本碎片化的分鏡頭畫面在真實(shí)三維場(chǎng)景中達(dá)到空間和時(shí)間上一體化監(jiān)控，為礦山企業(yè)日常調(diào)度管理和應(yīng)急指揮提供新型技術(shù)手段。