智能視聯(lián)網(wǎng)技術(shù)在膠東調(diào)水工程中的應用與實踐

吳 奇，魏文政，張昊鵬

（山東省調(diào)水工程運行維護中心，山東 濟南 250100）

1 工程概況

膠東調(diào)水工程是國家南水北調(diào)東線工程山東“T”字型調(diào)水大動脈的重要組成部分，是山東省省級骨干水網(wǎng)工程，是一項遠距離、跨流域、跨區(qū)域重大戰(zhàn)略性工程。

為及時有效了解現(xiàn)地輸水過程、輸水情況、閘（閥）站、泵站設備運行情況，建設完成了1 套覆蓋輸水明渠、泵站、節(jié)制閘、分水閘、倒虹、渡槽、交水界面、水庫的遠程視頻監(jiān)視系統(tǒng)及安防監(jiān)控系統(tǒng)，實現(xiàn)1 個調(diào)度中心、1 個備調(diào)中心、6 個管理分中心、13 個管理站對現(xiàn)地運行工況及安防情況的遠程視頻監(jiān)視，實現(xiàn)現(xiàn)地無人值班，少人值守情況下對調(diào)水工程設施的有效管理[1]。

全線網(wǎng)絡為自建局域網(wǎng)，全線安裝2 645 個視頻監(jiān)控點位，分辨率均在1080P 以上，同時建有13套視頻監(jiān)控管理平臺及配套存儲系統(tǒng)。

2 需求分析

膠東調(diào)水視頻監(jiān)視系統(tǒng)主要功能為工程運行全面直觀的現(xiàn)場圖像展示，輔助采集工情、水情信息，管理區(qū)域及園區(qū)安防警戒。雖然實現(xiàn)了監(jiān)控全覆蓋，提高了工程管理維護和故障處理效率，減少了運維管理人員勞動強度，但缺乏智能識別、多源數(shù)據(jù)融合、群控聯(lián)動等功能，沒有完全發(fā)揮應有作用[2]。針對使用情況，對工程運行管理現(xiàn)狀和應用需求進行了梳理，并對網(wǎng)絡帶寬、存儲、網(wǎng)絡安全等需求進行了分析。

2.1 應用需求

應用需求包括日常管理輔助和違規(guī)行為識別兩方面。日常管理方面主要有設置日常巡查視頻打卡點；監(jiān)測渠道坍塌滑坡情況；監(jiān)控渠道水尺、閘前閘后、彎道處、倒虹及涵洞、渡槽進出口等重點部分水位超限、水位突變異常情況；監(jiān)測閥門井內(nèi)滲漏水情況；監(jiān)測設備運行狀態(tài)（泵站、閘閥站、機房、配電設施）；監(jiān)測冰凌檢測、冰塞；監(jiān)測渠道水面漂浮物、水質(zhì)顏色變化、水藻爆發(fā)等。違規(guī)行為方面主要有監(jiān)測無關人員在堤頂逗留和進入工程的封閉區(qū)域；監(jiān)測人員溺水、游泳、捕魚（釣魚）、傾倒垃圾；工程管理范圍內(nèi)堆放垃圾、違法建筑；監(jiān)測載重車輛、運輸垃圾及?；返扔绊懝こ毯退|(zhì)安全車輛駛?cè)氲添斅?；監(jiān)測工程管理范圍內(nèi)的鉆探、取土、挖坑、擅自建設其他工程的影響工程安全的行為；監(jiān)測移動式、固定式取水設備自渠道內(nèi)取水情況；監(jiān)測砍伐破壞工程渠系綠化樹木、草皮的行為；監(jiān)測破壞現(xiàn)場管理設施、輸配電設施、防護網(wǎng)、自動化設施的行為；監(jiān)測明火、濃煙（渠道燒荒）等。

2.2 網(wǎng)絡帶寬需求

按現(xiàn)有攝像機每臺2M 帶寬計算，整體帶寬需求如表1。

表1 攝像機帶寬需求表

因為智能分析能力不增加現(xiàn)有帶寬，現(xiàn)有帶寬滿足要求。

2.3 存儲容量需求

在各運行過程中，積累了大量的數(shù)據(jù)。這些數(shù)據(jù)會隨著時間的推移，數(shù)據(jù)量會不斷增加，特別是智能分析的逐時、逐日的實時信息有所增加。各泵站中心軟硬件設備環(huán)境需要提供大容量的存儲空間和安全的存儲環(huán)境，滿足后續(xù)日益增長的水網(wǎng)大數(shù)據(jù)的存儲需求。

2.4 計算性能需求

需要大量的GPU 計算資源進行算法，來實現(xiàn)邊云協(xié)同的模型構(gòu)建，實現(xiàn)大規(guī)模視頻的在線分析、離線分析、分析任務調(diào)度、算法能力開放等功能。

2.5 安全需求

智能化視聯(lián)網(wǎng)是實時作業(yè)運行系統(tǒng)，安全需求主要包括應用安全需求、數(shù)據(jù)安全需求、運行軟硬件安全需求、通信網(wǎng)絡安全需求等。

3 視聯(lián)網(wǎng)技術(shù)

目前基于人工智能的視頻識別技術(shù)在交通、鐵路、醫(yī)學等領域存在廣泛應用，在水利行業(yè)應用較少。經(jīng)研究主要用到的智能視聯(lián)網(wǎng)技術(shù)為異常行為與事件智能檢測和識別技術(shù)、異常事件檢測的多源信息融合技術(shù)、視聯(lián)網(wǎng)多視監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)等[3]。

3.1 異常行為與事件智能檢測和識別技術(shù)

基于人工智能的水利視聯(lián)網(wǎng)異常行為與事件智能檢測和識別技術(shù)關鍵在于如何結(jié)合智能識別算法模型訓練出更適合水利行業(yè)應用場景模型，獲得更高的識別精度。結(jié)合水利行業(yè)相關需求，部分功能算法可直接借鑒目前已成熟的算法，如人臉識別算法、車輛檢測算法等。相關研究人員已經(jīng)開始嘗試運用機器學習等算法解決如水尺水位識別、閥門井內(nèi)滲漏水、水域漂浮物識別、冰凌和冰塞識別等實際問題，且已取得較理想的效果。較典型的為水尺水位識別算法，目前針對該算法的研究較多，有基于BP 神經(jīng)網(wǎng)絡和粒子群的靜態(tài)水尺圖像識別、基于YOLO-v3 對象檢測算法和基于ResNet 實時水位刻度識別等算法，均取得了較高的識別精度。應用處于探索階段，需根據(jù)實際情況對算法進行改進或者構(gòu)建新的模型解決實際問題。

3.2 異常事件檢測的多源信息融合技術(shù)

多源信息融合技術(shù)的關鍵在于融合算法的選擇，隨著新的基于統(tǒng)計推斷、人工智能及信息論的新方法出現(xiàn)，越來越多的方法運用到信息融合技術(shù)中。常用的方法有信號處理與估計理論方法、統(tǒng)計推斷方法、信息論方法、決策論方法、人工智能方法等。在本課題中，河湖視頻異常事件檢測的多源信息融合首先要確定選擇哪些類型的數(shù)據(jù)進行融合，采用哪種融合方法對數(shù)據(jù)進行融合。

3.3 水利視聯(lián)網(wǎng)多視監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)

基于監(jiān)控視頻對象檢測和協(xié)同跟蹤技術(shù)的關鍵技術(shù)在于兩點：（1）在實際監(jiān)控場景中背景較為復雜，所需跟蹤的目標往往存在形體變化、光照變化等問題，且目標與目標之間、目標與背景之間會發(fā)生遮擋，因此如何穩(wěn)定地追蹤運動目標成為難題；（2）利用多相機協(xié)同跟蹤時，如何解決多相機視角中目標與場景的遮擋等問題。

4 總體設計

4.1 設計思路

基于膠東調(diào)水自動化調(diào)度系統(tǒng)視頻監(jiān)視系統(tǒng)，依據(jù)應用場景和智能分析需求，建立智能分析算法庫。算法庫以視頻智能分析為主，主要包括兩部分，①是對行業(yè)應用中已相對成熟的算法進行集成[4]，②是對本項目中特殊場景、特定需求的新型算法進行研究。

梳理各類場景（水面、渠道內(nèi)坡、堤頂路等）所需分析的內(nèi)容，結(jié)合算法對監(jiān)視畫面的要求，對攝像機設定不同的預置位，通過算法調(diào)度實現(xiàn)一臺攝像機多個預置位循環(huán)監(jiān)視，對每個預置位畫面可調(diào)用不同的算法，實現(xiàn)不同的智能分析。通過攝像機上下游關系關聯(lián)，利用策略控制實現(xiàn)各種聯(lián)動監(jiān)視場景應用。建設方案技術(shù)路線如圖1。

圖1 建設方案技術(shù)路線圖

4.2 系統(tǒng)架構(gòu)

智能視聯(lián)網(wǎng)系統(tǒng)充分利用人工智能、深度學習、視頻圖像處理、網(wǎng)絡通信、數(shù)據(jù)分析等技術(shù)，按照統(tǒng)籌規(guī)劃、信息資源共享的總體原則開展項目工程的建設。總體架構(gòu)如圖2 所示。

圖2 智能視聯(lián)網(wǎng)系統(tǒng)架構(gòu)圖

（1）智慧感知層。主要是接入各類視頻感知和自動監(jiān)測終端設備，包括超高清攝像機、普通高清槍機、普通高清球機、激光云臺、熱成像攝像機等各類設備，移動感知終端包括手機、車載、無線攝像機、船載、無人機、臨時布控攝像機、執(zhí)法記錄儀、手持單兵等各類移動視頻圖像感知設備，以及水位、流量、水質(zhì)等在線自動監(jiān)測設備。

（2）網(wǎng)絡傳輸層。各監(jiān)控攝像機通過業(yè)務外網(wǎng)有線傳輸?shù)揭曨l管理平臺，每路視頻傳輸不低于2 Mbps。

（3）基礎支撐層。充分利用現(xiàn)有的虛擬化基礎設施資源，結(jié)合應用系統(tǒng)需求對計算資源、存儲資源、網(wǎng)絡資源、安全資源、備份資源進行統(tǒng)一的資源配置和優(yōu)化調(diào)度。

（4）視頻級聯(lián)集控平臺。提供平臺基礎應用、水利視頻算法模型、算法調(diào)度與視頻處理、視頻運維管理與報表可視化，實現(xiàn)視頻級聯(lián)集控平臺功能升級和算法跨級共享應用。具體包括以下應用：

1）運行控制系統(tǒng)承擔著對平臺資源的實時監(jiān)控和管理，同時，監(jiān)視各個算法運行流程和狀態(tài)，協(xié)調(diào)調(diào)度各個算法所需的資源，實現(xiàn)多種算法的并行計算和靈活的按需調(diào)度，確保系統(tǒng)正常運行。

2）視頻處理分析系統(tǒng)主要完成對接收視頻數(shù)據(jù)及分析數(shù)據(jù)的標準化處理，對智能預警事件進行多維度統(tǒng)計和態(tài)勢分析。

3）智能算法開發(fā)系統(tǒng)綜合利用人工智能、機器學習、視頻圖像處理等技術(shù)，基于江河湖庫水資源保護、河湖水域岸線管理、水生態(tài)監(jiān)測和執(zhí)法監(jiān)管，以及水利工程建設和管理等業(yè)務需求，構(gòu)建水利模型和智能算法倉庫，對視頻數(shù)據(jù)進行深度開發(fā)和有效信息自動提取，提升智慧水利的預測預報、工程調(diào)度和輔助決策的算法能力。

4）視頻質(zhì)量控制系統(tǒng)的主要功能是進行視頻數(shù)據(jù)和分析結(jié)果的質(zhì)量檢查與質(zhì)量評價，可視化顯示和管理各產(chǎn)品質(zhì)量檢查計劃進度及狀態(tài)信息，提供對質(zhì)量檢查狀態(tài)及結(jié)果的查詢、瀏覽、統(tǒng)計、輸出等功能，從而對整個系統(tǒng)的視頻質(zhì)量信息進行統(tǒng)一管理。

5）視頻存檔管理系統(tǒng)實現(xiàn)對視頻信息的存儲和治理，是水利視頻信息在業(yè)務系統(tǒng)間進行共享與服務的技術(shù)基礎和運行基礎，包括視頻數(shù)據(jù)的歸檔、遷移、檢索、同步、整合、資產(chǎn)管理、多維可視化展示等。

6）共享服務系統(tǒng)通過視頻信息服務接口開發(fā)，實現(xiàn)與其他系統(tǒng)的對接。

7）數(shù)字孿生通過集成數(shù)字化場景和智能解析成果等信息，實現(xiàn)膠東調(diào)水當前總體態(tài)勢的全場景展示，輔助調(diào)水工程業(yè)務應用。

（5）業(yè)務應用層。面向省調(diào)水中心以及市縣各級管理部門用戶提供專用 PC 客戶端、瀏覽器應用終端、大屏操控終端和移動 APP 應用終端等，方便不同類型用戶便捷使用。

4.3 系統(tǒng)劃分

本項目新建系統(tǒng)整體分為視頻解析平臺、視聯(lián)網(wǎng)基礎平臺以及無人機、全景AR、工業(yè)聽診等前段感知設備3 部分。其邏輯關系結(jié)構(gòu)如圖3 所示。

圖3 系統(tǒng)劃分結(jié)構(gòu)示意圖

視聯(lián)網(wǎng)基礎平臺負責與已有的主備調(diào)中心的視頻管理平臺對接，通過GB/T28181、ONVIF 協(xié)議或SDK 實現(xiàn)對已有視頻監(jiān)控資源的調(diào)用。視聯(lián)網(wǎng)基礎平臺同時負責本項目新建的無人機、全景AR、工業(yè)聽診等感知設備的統(tǒng)一管理。

視頻解析平臺負責與已有的業(yè)務應用系統(tǒng)、數(shù)據(jù)資源管理系統(tǒng)對接，通過數(shù)據(jù)資源管理系統(tǒng)獲取數(shù)據(jù)庫中的監(jiān)測數(shù)據(jù)、業(yè)務數(shù)據(jù)進行綜合分析，通過業(yè)務應用系統(tǒng)實現(xiàn)分析結(jié)果的可視化展示和預測預警。

4.4 安全體系

安全體系包括可靠性、可用性、完整性、保密性、不可抵賴性和可控性等6 個方面。綜合利用身份認證技術(shù)、數(shù)據(jù)加密技術(shù)、密碼技術(shù)、訪問控制技術(shù)、防病毒技術(shù)、防火墻技術(shù)、漏洞攻擊保護技術(shù)、入侵防御技術(shù)、安全審計技術(shù)、操作系統(tǒng)安全技術(shù)等不同層次的安全技術(shù)，實現(xiàn)安全管理、物理安全、系統(tǒng)安全、應用安全和跟蹤審計，分層模型如圖4 所示。

圖4 安全體系分層模型圖

5 結(jié)語

智能視聯(lián)網(wǎng)項目在膠東調(diào)水自動化調(diào)度系統(tǒng)基礎上，對已建視頻監(jiān)控系統(tǒng)、計算機通信網(wǎng)絡及配套基礎設施等進行了充分利用，所采用的視頻融合和智能解析等平臺（系統(tǒng)）均屬于國內(nèi)先進且通用的產(chǎn)品或技術(shù)方案，建設成本和后期運行維護成本相對長期的人力資源成本較低。隨著智能視頻分析算法的不斷優(yōu)化，其場景適應能力和識別準確率將不斷增強，可向其他類似的水網(wǎng)工程推廣應用，提升其智慧化管理水平，本項目的直接及間接效益是十分顯著的。