水電站三維場景智能視頻分析系統(tǒng)的研究與應用

李志詠，周觀堯，邱國俊

（重慶亞東亞集團軟件有限公司，重慶 400014）

為了加強生產安全、防盜保安、環(huán)境監(jiān)控等方面的綜合管理水平，實現(xiàn)創(chuàng)一流的目標，很多的水電站都建設了集中式視頻監(jiān)控系統(tǒng)，對水電站的現(xiàn)場進行了實時視頻監(jiān)控。通過將監(jiān)視點的現(xiàn)場視頻通過數據通信網實時地傳輸到集控站或監(jiān)控中心，生產管理人員及相關領導在計算機上就能實時地對水電站進行視頻監(jiān)控。視頻監(jiān)控系統(tǒng)的應用使生產管理人員在監(jiān)控中心就可以隨時直觀了解到各種設備的工作狀況，及時處理各種意外情況，消除重大事故隱患，從生產設備、生產設施、環(huán)境、人員等諸多方面大大地提高了水電站的運行可靠性和安全性。

隨著視頻監(jiān)控技術在水電站安全生產上得到廣泛應用，監(jiān)控人員管理的范圍越來越大、管理內容越來越多，面臨的突發(fā)事件和異常事件越來越復雜，監(jiān)控的難度和重要性也越來越突出，僅僅依靠人力越來越難以勝任分析和理解采集到的數量驚人的視頻數據。在連續(xù)盯著監(jiān)視器，即使是非常敬業(yè)的監(jiān)控人員，其持續(xù)集中精神注意顯示器的能力也會大幅度下降。因此，視頻監(jiān)控的深層次應用已經不僅僅是如何有效地采集現(xiàn)場監(jiān)控圖像，而是如何有效地采用新的智能技術對大量涌現(xiàn)在監(jiān)控人員面前的視頻信息進行分析，將眾多沒有威脅、無關緊要的視頻信息篩選出去，使真正重要的信息能夠更有效地直接呈現(xiàn)給用戶，提高視頻監(jiān)控的工作效率和準確性，協(xié)助監(jiān)控人員及時發(fā)現(xiàn)問題和處理問題，近一步保障水電站安全可靠運行。

針對這個問題，提出綜合運用智能視頻分析技術和三維虛擬現(xiàn)實技術來提高水電站視頻監(jiān)控管理水平的一種方法，并在此基礎上開發(fā)了水電站三維場景智能視頻分析系統(tǒng)。

1 系統(tǒng)研究的關鍵技術

1.1 智能視頻分析技術

智能視頻分析技術（IVS:Intelligent video surveillance）源自計算機視覺（CV:Computer Vision）技術，它通過在圖像及圖像描述之間建立關系，使計算機能夠通過數字圖像處理和分析來理解視頻畫面中的內容，從而達到自動分析和抽取視頻源中關鍵信息的目的。其核心內容之一是對特定目標的自動跟蹤和自動識別，例如對人體的跟蹤：首先從實時圖像序列(即視頻)中檢測出運動物體，再判定運動物體中的人體，然后跟蹤人體的運動軌跡，并分析和選定有異常行為的人，最后對行為異常的人進行持續(xù)跟蹤。

雖然智能視頻分析技術長期以來都受到了很高的關注度，但因計算機運算能力、網絡帶寬、視覺分析算法不成熟等條件限制，一直停滯在研究實驗室階段，無法應用到具體的生產實踐中。從上世紀90年代中期開始，以卡耐基梅隆大學(CMU)和麻省理工學院(MIT)為代表、多家美國高校所參與、由美國國防高級研究項目署設立的視覺監(jiān)控重大項目VSAM(Visual Surveillanceand Monitoring)，以及其它科研機構的研究成果，使得智能視頻分析技術取得了快速發(fā)展。當前，除了CMU和MIT，奧地利Graz理工大學的嵌入式智能攝像機研究組，IBM的S3(Smart Surveillance System)項目組，Intel的IRISNET (Internet-scale,Resource-intensive Sensor Network ServICes)項目組等，分別在分布式智能視頻分析領域處于領先地位。中科院、清華大學等也在相關技術領域的工程應用上取得了突破性的進展。

1.2 三維虛擬現(xiàn)實技術

三維虛擬現(xiàn)實技術（簡稱VR），又稱靈境技術，是以沉浸性、交互性和構想性為基本特征的計算機高級人機界面，是近年隨著計算機軟硬件技術的發(fā)展而產生的一項新興技術。它綜合利用了計算機圖形學、仿真技術、多媒體技術、人工智能技術、計算機網絡技術、并行處理技術和多傳感器技術，創(chuàng)建了一種適人化的多維信息空間。使用者不僅能夠通過虛擬現(xiàn)實系統(tǒng)感受到在客觀物理世界中所經歷的“身臨其境”的逼真性，而且能夠突破空間、時間以及其他客觀限制，感受到真實世界中無法親身經歷的體驗。

根據對虛擬環(huán)境的不同要求和對于使用目的和應用對象的不同要求，目前應用較為廣泛的虛擬現(xiàn)實系統(tǒng)可分為兩類：桌面式虛擬現(xiàn)實系統(tǒng)、沉浸式虛擬現(xiàn)實系統(tǒng)。桌面式虛擬現(xiàn)實系統(tǒng)又稱為非沉浸式虛擬現(xiàn)實系統(tǒng)，這種系統(tǒng)通過計算機屏幕、投影屏幕作為用戶觀察虛擬環(huán)境的一個窗口，參與者僅使用一些簡單外部設備來控制虛擬環(huán)境和操縱虛擬場景中的物體。桌面式虛擬現(xiàn)實系統(tǒng)適宜推廣應用，投資比較低，而且通過附加一些低成本的輔助設備，如立體觀察器、液晶顯示光閘眼鏡等就能達到比較理想的模擬現(xiàn)實的效果。

目前三維虛擬現(xiàn)實技術主要應用于建筑、規(guī)劃、三維動畫、產品演示、網絡游戲等領域，應用于生產行業(yè)的信息管理上還比較少見，而以三維虛擬現(xiàn)實作為視頻監(jiān)控統(tǒng)一管理平臺更沒有具體的應用。

2 在三維虛擬場景交互平臺上實現(xiàn)水電站智能視頻監(jiān)控的設計思路

采用三維建模技術開發(fā)水電站三維模型，以三維虛擬場景交互平臺為基礎實現(xiàn)水電站三維模型和水電站監(jiān)控設備的關聯(lián)和展示，使監(jiān)控人員能夠直觀管理站上所有監(jiān)控設備，在水電站三維虛擬場景下與實時監(jiān)控視頻進行交互聯(lián)動。同時對接入三維虛擬場景交互平臺上的實時監(jiān)控視頻圖像進行智能分析，將智能分析結果與事先預置的報警條件進行匹配，如果出現(xiàn)異常，系統(tǒng)一方面在水電站三維虛擬場景上及時對異常點進行標識警示、自動彈出實時視頻畫面并啟動自動錄像功能；另一方面則自動與部署在現(xiàn)場的聲光電報警裝置聯(lián)動，發(fā)送告警信息以警示異常點現(xiàn)場管理人員。

通過在水電站三維場景交互平臺上集成智能視頻分析和相關業(yè)務應用，使監(jiān)控人員能夠在一個統(tǒng)一的三維平臺上對全站的視頻監(jiān)控信息進行集中管理和智能分析，在逼近真實的三維交互場景上直觀、全面、及時了解異常發(fā)生的地點區(qū)域、事故影響到的設備范圍、事態(tài)可能的發(fā)展趨勢等，隨時調看相關的視頻資源，實時跟蹤事態(tài)發(fā)展。從而有效地協(xié)助水電站監(jiān)控人員及時處理危機，預防事故的發(fā)生及擴大。

3 系統(tǒng)具體實現(xiàn)

按照以上的系統(tǒng)設計思路，我們開發(fā)了水電站三維場景智能視頻分析系統(tǒng)。該系統(tǒng)以智能視頻分析算法為核心處理模塊，在三維場景交互環(huán)境下實現(xiàn)了對水電站視頻監(jiān)控信息的各種智能分析和應用功能。

3.1 系統(tǒng)應用架構

圖1為系統(tǒng)應用架構圖。系統(tǒng)采用聯(lián)網的集中監(jiān)控管理體系結構，整個體系結構由攝像機、DVR/DVS、智能視頻分析系統(tǒng)、綜合監(jiān)控管理平臺、告警設備以及采用三維場景交互技術的監(jiān)控終端等組成。智能視頻分析系統(tǒng)通過與水電站視頻監(jiān)控平臺無縫對接，對水電站監(jiān)控區(qū)域的實時視頻信息進行分析和處理，然后將視頻分析信息返回到綜合監(jiān)控平臺。綜合監(jiān)控平臺將視頻分析信息與事先預置的報警條件進行匹配，從而產生相應的報警信息。報警信息通過網絡發(fā)送到監(jiān)控終端或現(xiàn)場報警裝置，后者以聲、光、電報警等方式警示在現(xiàn)場或監(jiān)控中心的監(jiān)控人員。

圖1 系統(tǒng)應用架構圖

3.2 系統(tǒng)功能架構

圖2 系統(tǒng)功能架構圖

（1）視頻采集傳輸模塊

視頻采集傳輸模塊包括視頻采集、視頻編碼、視頻解碼等功能。其中視頻采集功能負責從監(jiān)控系統(tǒng)中采集視頻數據，視頻編碼功能將視頻數據編碼壓縮后通過數據網絡進行傳輸，視頻解碼功能用于從網絡傳輸取得視頻數據后，進行相應解碼，使其成為視頻分析程序所能讀取的數字格式。

（2）智能視頻分析模塊

該模塊實現(xiàn)一系列的智能視頻功能。它采用先進的智能視頻分析算法，對來自視頻傳輸服務的視頻數據進行分析、處理，實現(xiàn)了適用于水電站安全生產的視頻檢測功能，這些功能包括單向越界、雙向越界、進入禁區(qū)、離開禁區(qū)、禁區(qū)徘徊、人數統(tǒng)計、設備外觀狀態(tài)識別等功能。該模塊構建在先進的多物體跟蹤算法、模式識別算法的基礎上，并且提供了規(guī)則定義修改等系統(tǒng)參數設置接口。

（3）三維場景分析模塊：

該模塊主要實現(xiàn)三維虛擬場景的漫游（及漫游相關操作如：飛行速度、飛到等）、設備選取、信息展示、畫圖、預警標注、雙向查詢等功能。

（4）預警聯(lián)動模塊

該模塊主要實現(xiàn)是否開啟預警檢測、設定預警規(guī)則、預警輸出方式等功能。

（5）系統(tǒng)綜合管理模塊

該模塊主要實現(xiàn)對系統(tǒng)權限、運行分析日志、圖片、錄像、系統(tǒng)設置等方面的管理功能。

3.3 智能視頻分析核心算法

圖3 視頻分析核心算法流程圖

（1）前景/背景檢測模塊

從背景中提取前景在整個流水線中是個很重要的步驟。此模塊對一幀圖像上的每一個點構建一個多重高斯分布的模型，該模型將隨著場景中物體的變化實時進行學習，以適應各種條件的變化，如光線的變化，背景物體的變化等等。

（2）物體塊進入檢測模塊

此模塊是基于聯(lián)通組件跟蹤（connected component tracker）,具體由以下三個步驟組成：

1）計算由1中產生的前景中的聯(lián)通組件，每個組件將視為一個物體塊（blob）;

2）通過試圖在此幀和前一幀中找到此物體塊來跟蹤它；

3）當在連續(xù)幾幀找到一個物體塊后，把它加入預先準備好的列表。

（3）物體塊跟蹤模塊

物體塊跟蹤模塊提供了物體塊在一幀幀中的位置與大小，它基于中值漂移（mean-shift）算法和離子過濾（Particle Filtering）的采樣算法.卡門過濾（Kalman Filter）用來預測物體塊在下一幀中的位置，這種算法的結合成功地處理了物體交叉碰撞時的有效分離問題。

（4）軌跡產生模塊

根據連續(xù)幾幀所記錄的物體塊位置，產生各個物體軌跡列表

（5）軌跡后處理模塊

軌跡是由連續(xù)的點組成，往往此曲線會有鋸齒的形狀，將給曲線分析帶來困難，所以軌跡需要做一些曲線的平滑處理，給分析階段帶來更高的效率。

（6）軌跡分析模塊

運用預先定義的規(guī)則模塊，來進行曲線分析，以得到正確的違規(guī)信息

3.4 系統(tǒng)采用的三維開發(fā)技術

在水電站三維模型的實現(xiàn)上，系統(tǒng)采用了3D Studio MAX建模工具。嚴格按照真實比例、尺寸規(guī)格、相對位置等建模，再按照實際采集回來的相片、視頻等信息對模型進行貼圖、加入燈光、渲染（陰影、反光、透視等效果）等細加工，使得模型與實際工作環(huán)境幾乎完全一致。再將模型輸入三維場景交互平臺，編寫對應模型的邏輯代碼，定義與程序交互接口，程序通過使用COM接口命令與三維實體實現(xiàn)交互。

系統(tǒng)的三維場景交互模塊基于DirectX技術進行開發(fā)，由一組實時三維引擎和一套編輯工具組成，包括了2D和3D目標模型工具，多層文檔，視頻回放，數據庫聯(lián)系，網絡，制圖和完整的JavaScript控制工具，通過使用加強ActiveX/COM接口命令控制外部文檔。

圖4 系統(tǒng)監(jiān)控主界面截圖

4 系統(tǒng)實際應用情況

目前該系統(tǒng)已在重慶大唐國際彭水水電開發(fā)有限公司得到具體應用，通過將系統(tǒng)與水電廠現(xiàn)有的視頻監(jiān)控系統(tǒng)進行整合接入，實現(xiàn)了在三維場景交互下的彭水水電站視頻監(jiān)控信息的智能分析和智能告警功能，并取得較好的實際應用效果。圖4為系統(tǒng)監(jiān)控主界面截圖。

5 結論

智能化、數字化、網絡化是視頻監(jiān)控發(fā)展的必然趨勢，智能視頻分析技術的出現(xiàn)和應用正是這一趨勢的直接體現(xiàn)。結合三維虛擬技術對水電站的視頻監(jiān)控信息進行集中管理和智能分析，使用戶能在逼近真實的三維交互場景上直觀、全面、及時了解異常發(fā)生的地點區(qū)域、事故影響到的設備范圍、事態(tài)可能的發(fā)展趨勢等，協(xié)助生產管理人員對水電站重點區(qū)域進行有效監(jiān)控，充分應對和處理突發(fā)事件，有力地保障水電站安全可靠運行。

[1]覃劍，曾孝平．基于視頻分析的智能監(jiān)控系統(tǒng)[J]．計算機工程與應用，2008，(25).

[2]胡以靜，李政訪，胡躍明.基于光流的運動分析理論及應用[J].計算機測量與控制，2007，（2）.

[3]Jorge Badenas,PlaF.Segmentation based on region-trackingin imagesequencesfortrafficmonitoring[C].1998.

[4]程成.虛擬環(huán)境人機交互技術研究[D].中國優(yōu)秀博碩士學位論文全文數據庫(博士),2002,(01).