三維視頻融合監(jiān)控系統(tǒng)在服務(wù)區(qū)的應(yīng)用研究

李小勇 王玲容 唐文娟

摘要：高速公路服務(wù)區(qū)是高速公路的重要組成部分。服務(wù)區(qū)車輛人員復(fù)雜，流動(dòng)性強(qiáng)，為了維護(hù)服務(wù)區(qū)業(yè)務(wù)有序化，加強(qiáng)車輛人員管理，需建立一個(gè)良好的監(jiān)控系統(tǒng)。文章提出采用三維視頻融合監(jiān)控技術(shù)，將相鄰攝像頭的圖像進(jìn)行拼接融合處理，形成一幅大的全景圖像，拼接后將實(shí)時(shí)全景畫面投射到三維場(chǎng)景模型上，實(shí)現(xiàn)對(duì)服務(wù)區(qū)進(jìn)行全局大場(chǎng)景的監(jiān)控，方便跨鏡頭協(xié)同追蹤車輛或人員，給服務(wù)區(qū)的監(jiān)控和調(diào)度帶來極大的便利。

關(guān)鍵詞：服務(wù)區(qū);三維場(chǎng)景;視頻融合;拼接;監(jiān)控

0 引言

過去，高速公路服務(wù)區(qū)多采用傳統(tǒng)分鏡頭視頻監(jiān)控，存在如下弊端：每一個(gè)鏡頭只能從鏡頭所在的視點(diǎn)觀看視頻圖像;每一個(gè)監(jiān)控?cái)z像機(jī)所拍攝到的視頻圖像和周圍的環(huán)境是割裂的，每個(gè)攝像機(jī)和攝像機(jī)之間也是割裂的，只有對(duì)周圍環(huán)境十分熟悉的工作人員，才能知道攝像頭所拍攝的位置。本文針對(duì)高速公路服務(wù)區(qū)關(guān)于車輛、人員的安全管理，以及對(duì)應(yīng)急事件的快速反應(yīng)做綜合調(diào)控的項(xiàng)目需求，采用三維視頻融合技術(shù)，將離散的具有不同視角的監(jiān)控視頻進(jìn)行實(shí)時(shí)拼接處理，然后與監(jiān)控場(chǎng)景的GIS三維模型進(jìn)行視頻融合、渲染，形成場(chǎng)景內(nèi)多路視頻單一畫面顯示，實(shí)現(xiàn)三維場(chǎng)景與視頻融合的一體化監(jiān)控體系[1]，支持在單一監(jiān)控畫面中對(duì)整體區(qū)域的全局立體監(jiān)控、分畫面中監(jiān)控細(xì)節(jié)展示、用戶可自定義的視頻自動(dòng)巡邏監(jiān)控等功能。通過這種虛實(shí)融合技術(shù)，可以達(dá)到在服務(wù)區(qū)重點(diǎn)防控區(qū)域內(nèi)實(shí)時(shí)融合不同位置的動(dòng)態(tài)視頻到一個(gè)虛擬三維現(xiàn)實(shí)環(huán)境，達(dá)到全景一體化，一目了然，實(shí)現(xiàn)數(shù)字化、智能化、可視化的視頻融合監(jiān)控與預(yù)警管理，提高處置突發(fā)事件的能力，大大提升視頻監(jiān)測(cè)的實(shí)用效能。

本文以廣西那馬服務(wù)區(qū)為示范點(diǎn)，實(shí)現(xiàn)三維場(chǎng)景與視頻圖像的實(shí)時(shí)融合，構(gòu)建智慧化服務(wù)區(qū)三維可視管控平臺(tái)體系，提升監(jiān)控系統(tǒng)價(jià)值，提供輔助管理和決策，快速推進(jìn)廣西高速公路智慧服務(wù)區(qū)信息化建設(shè)，實(shí)現(xiàn)高速智慧服務(wù)區(qū)綜合應(yīng)用平臺(tái)轉(zhuǎn)型升級(jí)。

1 三維場(chǎng)景與視頻融合系統(tǒng)的設(shè)計(jì)

本文提出的智慧服務(wù)區(qū)三維視頻融合監(jiān)控系統(tǒng)實(shí)現(xiàn)方式是結(jié)合GIS地理信息系統(tǒng)建立高精度的三維場(chǎng)景模型，將攝像機(jī)獲取的實(shí)時(shí)視頻圖像進(jìn)行拼接處理，經(jīng)與GIS三維場(chǎng)景進(jìn)行精確配準(zhǔn)后，與監(jiān)控場(chǎng)景的GIS三維模型進(jìn)行視頻融合、渲染、顯示[2]，實(shí)現(xiàn)跨越區(qū)域、空間的三維全景視頻融合展示，對(duì)服務(wù)區(qū)進(jìn)行全方位監(jiān)控。系統(tǒng)主要模塊及實(shí)現(xiàn)功能有：三維GIS建模、視頻圖像校正拼接、三維場(chǎng)景與監(jiān)控視頻融合、三維視頻融合系統(tǒng)管控平臺(tái)。系統(tǒng)的模塊組成及實(shí)現(xiàn)數(shù)據(jù)流如圖1所示，系統(tǒng)拓?fù)淙鐖D2所示。

2 服務(wù)區(qū)三維GIS建模

三維GIS建模是利用Osg GIS庫(kù)實(shí)現(xiàn)服務(wù)區(qū)三維場(chǎng)景模型及地理信息的可視化[2]。該過程以三維數(shù)字地球?yàn)橹?，結(jié)合多級(jí)混合精度的三維地理數(shù)據(jù)，通過加載真實(shí)的、大范圍的、高精度的地理信息數(shù)據(jù)，加載三維建筑模型及二維矢量電子地圖，創(chuàng)建較真實(shí)的三維可視化虛擬環(huán)境。該過程具體實(shí)施步驟如下：

（1）利用無人機(jī)對(duì)服務(wù)區(qū)整體場(chǎng)景進(jìn)行航拍，獲取覆蓋服務(wù)區(qū)全景的連續(xù)圖片，此次拍攝圖片1 064張，該系列圖片包含無人機(jī)的pos信息數(shù)據(jù)。

（2）利用軟件導(dǎo)入無人機(jī)航拍的連續(xù)圖片，讀取圖片的pos信息。

（3）根據(jù)獲取的圖片的pos信息進(jìn)行空三計(jì)算，得到影像拍攝位置的數(shù)字高程模型DEM信息，以及圖片之間的空間位置關(guān)系。

（4）利用開源的Osg GIS庫(kù)構(gòu)建三維項(xiàng)目工程，按照1∶1的比例進(jìn)行建模，傾斜攝影模型輸出為osgb格式，并支持多地塊的LOD層級(jí)結(jié)構(gòu)。

建立服務(wù)區(qū)三維模型可直觀快速掌握服務(wù)區(qū)的整體狀況，模型的三維地理信息與監(jiān)控視頻數(shù)據(jù)結(jié)合，可追蹤目標(biāo)移動(dòng)路徑，從而實(shí)現(xiàn)在全局角度對(duì)服務(wù)區(qū)態(tài)勢(shì)進(jìn)行調(diào)度和指揮。

3 視頻數(shù)據(jù)采集及校正拼接

3.1 攝像機(jī)布設(shè)及原始視頻獲取

為能獲得覆蓋服務(wù)區(qū)所有角度的場(chǎng)景信息，并且能夠?qū)崿F(xiàn)視頻拼接，形成全局監(jiān)控，以及實(shí)現(xiàn)目標(biāo)跟蹤和綜合調(diào)度，需在服務(wù)區(qū)指定監(jiān)控點(diǎn)布設(shè)高清攝像頭。本文研究的重點(diǎn)是實(shí)現(xiàn)服務(wù)區(qū)停車區(qū)的全局監(jiān)控，但是設(shè)計(jì)時(shí)考慮到系統(tǒng)的延展性以及施工安裝便利性，故針對(duì)整個(gè)服務(wù)區(qū)進(jìn)行設(shè)計(jì)及布設(shè)攝像機(jī)。根據(jù)服務(wù)區(qū)現(xiàn)場(chǎng)情況，可得到如圖3（a）所示的攝像頭分布情況，小圓點(diǎn)即為攝像機(jī)桿件安裝點(diǎn)，攝像機(jī)桿件高度為20 m。攝像機(jī)分布如圖3（b）所示，每一攝像機(jī)桿件上安裝一臺(tái)球機(jī)以及不同數(shù)量的槍機(jī)，并且攝像機(jī)均具有不同的安裝方位角度。

本研究選用的槍機(jī)品牌型號(hào)為：?？低旸S-2CD2T45（D）P1-I，該攝像機(jī)分辨率為400萬(wàn)像素，視場(chǎng)角為180°，是超廣角型網(wǎng)絡(luò)攝像機(jī)，用于全景圖像的拼接和三維視頻融合。選用的球機(jī)品牌型號(hào)為：?？低旸S-2DC4420IW-D，用于實(shí)現(xiàn)目標(biāo)追蹤、快速定位等。

攝像機(jī)安裝完成以及調(diào)整好角度之后，將攝像機(jī)視頻信號(hào)接入服務(wù)區(qū)視頻監(jiān)控平臺(tái)，通過平臺(tái)軟件獲取實(shí)驗(yàn)所需的視頻圖像進(jìn)行實(shí)驗(yàn)研究。圖4分別為停車區(qū)1、2、3號(hào)桿上的1、2、3號(hào)槍機(jī)采集的圖像數(shù)據(jù)。由圖4可知，各路攝像機(jī)之間均有≥30%的重疊區(qū)域，適合進(jìn)行全局圖像拼接。

3.2 圖像畸變校正及拼接

由圖4可以明顯看出，攝像機(jī)圖像存在嚴(yán)重的畸變，難以直接進(jìn)行拼接處理，故需要對(duì)攝像機(jī)進(jìn)行標(biāo)定及畸變校正。相機(jī)標(biāo)定就是計(jì)算出三維場(chǎng)景信息與其在圖像中對(duì)應(yīng)點(diǎn)之間的映射關(guān)系的攝像機(jī)參數(shù)的過程[3]，包含攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)。本文采用自標(biāo)定的方法，利用圖像大小、停車區(qū)地面網(wǎng)格、攝像機(jī)安裝高度等信息計(jì)算攝像機(jī)的內(nèi)外參數(shù)。

攝像機(jī)的主要內(nèi)部參數(shù)有：主點(diǎn)坐標(biāo)（u0，v0）、焦距（fx，fy）、徑向畸變系數(shù)（k1，k2）;外部參數(shù)有旋轉(zhuǎn)矩陣R和平移向量T。圖像大小為[w，h]，則有u0=w/2，v0=h/2。假設(shè)圖像中任一點(diǎn)的像素坐標(biāo)為[u，v]，其對(duì)應(yīng)三維空間點(diǎn)坐標(biāo)為[Xw，Yw，Zw]，根據(jù)地面網(wǎng)格大小DX=DY=4 m，相機(jī)安裝高度h=20 m，以及相機(jī)成像模型：

4 三維視頻融合監(jiān)控系統(tǒng)

4.1 三維場(chǎng)景與監(jiān)控視頻融合

全景拼接只是二維場(chǎng)景的展示，不能進(jìn)行全方位的立體監(jiān)控，故需將實(shí)時(shí)視頻與三維場(chǎng)景進(jìn)行融合，建立服務(wù)區(qū)全局三維視頻融合展示平臺(tái)。在專門用于融合處理的高性能圖形服務(wù)器上，本文采用基于GPU加速的流水線裁剪與剔除、多線程分塊并行渲染的方式，對(duì)初步得到的服務(wù)區(qū)三維模型場(chǎng)景進(jìn)行擬真級(jí)三維仿真實(shí)時(shí)渲染處理，創(chuàng)建一個(gè)高精度、高仿真的服務(wù)區(qū)三維模型。根據(jù)經(jīng)拼接處理的全景圖像內(nèi)容，與GIS三維模型場(chǎng)景進(jìn)行精準(zhǔn)匹配融合渲染，實(shí)現(xiàn)在三維場(chǎng)景與視頻圖像的實(shí)時(shí)融合展示，并且可以從不同角度對(duì)融合監(jiān)控場(chǎng)景進(jìn)行視頻漫游展示，達(dá)到對(duì)服務(wù)區(qū)進(jìn)行整體全方位監(jiān)控的目的，提供攝像機(jī)無盲區(qū)點(diǎn)位規(guī)劃以及多類型資源管控。

4.2 三維視頻融合系統(tǒng)管控平臺(tái)

三維視頻融合管控平臺(tái)通過高性能圖形服務(wù)器大屏控制器和大屏前操作臺(tái)顯示器相連，將三維視頻融合真實(shí)感實(shí)時(shí)渲染輸出結(jié)果顯示到操作臺(tái)和大屏幕上。在操作臺(tái)顯示平臺(tái)操作界面，通過操作臺(tái)將全景視頻、球機(jī)視頻及報(bào)警信息等展示到大屏幕上，以方便管理人員進(jìn)行宏觀指揮調(diào)度。同時(shí)支持以下相關(guān)功能：

（1）二維/三維信息同步關(guān)聯(lián)。平臺(tái)支持三維視頻融合畫面與二維分鏡頭視頻畫面同步聯(lián)動(dòng)顯示。選定某重點(diǎn)觀察區(qū)域，即可馬上獲取所有可以拍攝到該地區(qū)的攝像機(jī)，以供指揮人員選擇最佳觀察視角，為快速?gòu)闹蝎@取該運(yùn)動(dòng)目標(biāo)的細(xì)節(jié)信息提供輔助手段，從而為指揮人員快速?zèng)Q策提供有效工具。形成了全局與局部、二維與三維的有機(jī)結(jié)合，能夠快速定位監(jiān)控視頻，解決了傳統(tǒng)分鏡頭畫面與真實(shí)場(chǎng)景無法對(duì)應(yīng)，只能依靠熟記攝像機(jī)位置信息以及覆蓋范圍的問題。

（2）關(guān)鍵路徑自動(dòng)巡檢。系統(tǒng)支持自定義巡更路徑，可自動(dòng)按照事先定義好的線路和視角觀察監(jiān)控場(chǎng)景，改變了傳統(tǒng)分鏡頭視頻監(jiān)控系統(tǒng)只能按照每一個(gè)分鏡頭的位置描述信息切換不同視頻以實(shí)現(xiàn)巡檢功能的工作模式。

（3）歷史事件全景回溯。系統(tǒng)通過在三維場(chǎng)景中框選，即可實(shí)現(xiàn)歷史視頻在該區(qū)域的三維模型中以全景融合形式播放。以整體畫面描述事件來龍去脈，提高對(duì)歷史事件的查詢能力及對(duì)事件的全場(chǎng)景重現(xiàn)能力，改變了重點(diǎn)防控區(qū)域治安監(jiān)控管理人員依賴分鏡頭零散倒查的傳統(tǒng)工作模式，能夠有效提升歷史事件的回查效率，降低資源的投入量。

（4）球機(jī)目標(biāo)追視。在三維場(chǎng)景中指定目標(biāo)點(diǎn)，可反向控制球機(jī)云臺(tái)，跨視域追視目標(biāo)。

（5）系統(tǒng)兼容傳統(tǒng)的九宮格播放形式，攝像頭播放數(shù)量和位置用戶可自定義調(diào)整。

5 結(jié)語(yǔ)

本文設(shè)計(jì)和建立了廣西那馬服務(wù)區(qū)三維視頻融合監(jiān)控系統(tǒng)，通過多路視頻拼接以及與三維GIS模型的實(shí)時(shí)融合顯示，用戶不僅能夠從全局角度直觀、快速地理解視頻監(jiān)控內(nèi)容，而且通過二、三維信息同步關(guān)聯(lián)等功能，追蹤目標(biāo)移動(dòng)路徑，從而實(shí)現(xiàn)在全局角度對(duì)服務(wù)區(qū)態(tài)勢(shì)進(jìn)行調(diào)度和指揮。本文采用視頻融合監(jiān)控技術(shù)，是面向視頻監(jiān)控領(lǐng)域的一套新型高科技、綜合、網(wǎng)絡(luò)化的系統(tǒng)，可以在高速公路服務(wù)區(qū)以及園區(qū)、廣場(chǎng)等大場(chǎng)景推廣使用。

參考文獻(xiàn)：

[1]雷培梁，伍朝輝.虛擬現(xiàn)實(shí)在智慧校園中的應(yīng)用與創(chuàng)新[J].長(zhǎng)春大學(xué)學(xué)報(bào)，2020，242（4）：42-45，50.

[2]馬原野，趙 剛，何 彬.3DGIS與多視頻融合系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2012（6）：109-112.

[3]魯國(guó)峰.圖像自動(dòng)拼接及三維重建方法的研究[D].湘潭：湖南科技大學(xué)，2017.