基于5G的AI的河湖監(jiān)控管理能力研究

黃賢焱

（廣東省電信規(guī)劃設(shè)計(jì)院有限公司，廣東 陽(yáng)江 529500）

0 引 言

經(jīng)過(guò)幾年的發(fā)展，已初步建成了全國(guó)河湖長(zhǎng)制管理體系，全國(guó)各省、市、縣三級(jí)成立了河長(zhǎng)制辦公室，承擔(dān)河長(zhǎng)制日常工作。但由于各地河道管理手段不足，管理人員不夠，再加上地處偏遠(yuǎn)，日常數(shù)據(jù)采集和管理難度依舊很大。在水質(zhì)監(jiān)測(cè)領(lǐng)域，現(xiàn)在還比較依賴人員去巡查監(jiān)管，對(duì)于水質(zhì)顏色、水面漂浮物堆積等事件無(wú)法及時(shí)發(fā)現(xiàn)處理，缺乏常態(tài)化監(jiān)管手段?；贏I 的河湖監(jiān)控管理能力能實(shí)現(xiàn)人工巡檢與智能巡檢相結(jié)合、快速預(yù)警并處置。

1 能力目標(biāo)

基于5G 的AI 的河湖監(jiān)控管理能力，旨在以“提升系統(tǒng)智能化水平、提升資源有效復(fù)用度、實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)化”為總體思路，圍繞河流長(zhǎng)制、水域岸線管理、河流采砂監(jiān)管等重點(diǎn)需求，依托5G、物聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等先進(jìn)技術(shù)，構(gòu)建基于5G 的AI 的河湖監(jiān)控管理能力，支撐江河流泊的管理業(yè)務(wù)，提升江河流泊長(zhǎng)效保護(hù)與動(dòng)態(tài)管控能力。其主要目標(biāo)有：

1.1 智能升級(jí)提高系統(tǒng)智能化水平

以AI 開(kāi)放平臺(tái)為基礎(chǔ)，針對(duì)河流管理事件的各類應(yīng)用場(chǎng)景，豐富智能化應(yīng)用種類，提升智能化效果，并同時(shí)進(jìn)行多維感知核對(duì)確認(rèn)，真正起到智能化、自動(dòng)化的效果，減少大量人工投入，提升相關(guān)工作開(kāi)展效率。

1.2 集約共享提升資源有效復(fù)用度

充分考慮和研究同一場(chǎng)景下不同時(shí)間、對(duì)象、精確度等方面的應(yīng)用需求，在保證效果的同時(shí)，合理匹配和優(yōu)化設(shè)備，提供同時(shí)、分時(shí)的一機(jī)多用和多機(jī)聯(lián)用，并統(tǒng)籌建設(shè)后端中心平臺(tái)，達(dá)到集約共享的目的。

建立統(tǒng)一數(shù)據(jù)管理平臺(tái)，打通數(shù)據(jù)交換壁壘，形成數(shù)據(jù)共享交換體系，實(shí)現(xiàn)對(duì)各部門業(yè)務(wù)的有效支撐。

1.3 總體設(shè)計(jì)實(shí)現(xiàn)業(yè)務(wù)應(yīng)用系統(tǒng)化

以總體設(shè)計(jì)為起點(diǎn)，結(jié)合“縱向到底、橫向到邊”的管控體系，由“目標(biāo)驅(qū)動(dòng)監(jiān)管”向“數(shù)據(jù)驅(qū)動(dòng)監(jiān)管”轉(zhuǎn)變，破解業(yè)務(wù)交叉、建設(shè)分散的情況，推動(dòng)河流管理業(yè)務(wù)全流程數(shù)據(jù)和管理，有關(guān)數(shù)據(jù)也可共享至其他業(yè)務(wù)部門，實(shí)現(xiàn)河長(zhǎng)制管理效益最大化。

2 能力架構(gòu)

2.1 總體架構(gòu)

基于5G 的AI 的河湖監(jiān)控管理能力充分依托電子政務(wù)外網(wǎng)、運(yùn)營(yíng)商5G 網(wǎng)絡(luò)資源，構(gòu)建安全可靠的網(wǎng)絡(luò)，滿足河流管理感知、業(yè)務(wù)應(yīng)用、移動(dòng)應(yīng)用等連接接入?？傮w網(wǎng)絡(luò)架構(gòu)如圖1所示。

圖1 基于5G 的AI 的河湖監(jiān)控管理能力總體架構(gòu)

總體網(wǎng)絡(luò)架構(gòu)為中心—現(xiàn)地站二級(jí)管控體系以實(shí)現(xiàn)指揮控制扁平化。前端固定視頻通過(guò)視頻專網(wǎng)（光纜）接入，將視頻流以及視頻異常事件信息上傳至管理中心，視頻圖像流及異常事件在管理中心進(jìn)行存儲(chǔ)；管理中心可依托視頻專網(wǎng)調(diào)用實(shí)時(shí)視頻流，同時(shí)可以調(diào)用存儲(chǔ)在現(xiàn)地的歷史視頻；管理中心通過(guò)視頻管理軟件依托政務(wù)外網(wǎng)以及視頻專網(wǎng)調(diào)用實(shí)時(shí)視頻流，依托政務(wù)外網(wǎng)調(diào)用存儲(chǔ)在管控分中心的視頻流。

通過(guò)運(yùn)營(yíng)商無(wú)線網(wǎng)絡(luò)（4G/5G，在具備運(yùn)營(yíng)商5G 信號(hào)覆蓋的場(chǎng)景下，優(yōu)先利用5G 網(wǎng)絡(luò)）接入的視頻監(jiān)控設(shè)備視頻流信息存儲(chǔ)在本地；現(xiàn)地AI 分析出的異常事件、定時(shí)抓拍的圖像信息、及其他信息通過(guò)運(yùn)營(yíng)商無(wú)線網(wǎng)絡(luò)（5G）傳輸?shù)街行?。移?dòng)終端可通過(guò)運(yùn)營(yíng)商5G無(wú)線網(wǎng)絡(luò)，實(shí)現(xiàn)高帶寬、低延時(shí)的移動(dòng)應(yīng)用。

2.2 應(yīng)用架構(gòu)

基于5G 的AI 的河湖監(jiān)控管理能力的應(yīng)用架構(gòu)包括：智能感知、基礎(chǔ)設(shè)施、數(shù)據(jù)服務(wù)和智能應(yīng)用共4 個(gè)層次，以及信息安全、標(biāo)準(zhǔn)規(guī)范和運(yùn)維管理三大體系組成。河流管理智能可視化系統(tǒng)應(yīng)用架構(gòu)如圖2所示。

圖2 基于5G 的AI的河湖監(jiān)控管理能力應(yīng)用架構(gòu)

3 能力組成

3.1 AI 計(jì)算中心

結(jié)合大數(shù)據(jù)、云計(jì)算和人工智能技術(shù)，建設(shè)AI 計(jì)算中心，提供河流管理AI 能力，提供API 方式調(diào)用，河湖監(jiān)控管理平臺(tái)及其他第三方業(yè)務(wù)系統(tǒng)可直接調(diào)用。

3.1.1 AI 計(jì)算中心架構(gòu)

AI 計(jì)算中心整體系統(tǒng)包括AI 訓(xùn)練平臺(tái)、智能分析設(shè)備、河流管理智能可視化平臺(tái)等模塊。

AI訓(xùn)練平臺(tái)負(fù)責(zé)進(jìn)行智能算法模型的訓(xùn)練。少量訓(xùn)練可采用公有云AI訓(xùn)練平臺(tái)，大量素材訓(xùn)練可采用私有化部署的AI訓(xùn)練平臺(tái)。

智能分析設(shè)備可以是智能分析前端（智能攝像機(jī)）、智能分析NVR 或智能分析服務(wù)器，AI 訓(xùn)練平臺(tái)訓(xùn)練完成的算法模型可以方便地部署在智能分析設(shè)備上運(yùn)行。

基于AI 的河湖監(jiān)控管理能力一般部署在局域網(wǎng)中，可接入智能分析前端（攝像機(jī)）、智能分析NVR 及智能分析服務(wù)器，并通過(guò)多網(wǎng)域配置等技術(shù)手段對(duì)接部署于互聯(lián)網(wǎng)中的AI 訓(xùn)練平臺(tái)。AI 計(jì)算中心部署架構(gòu)如圖3所示。

圖3 AI 計(jì)算中心部署架構(gòu)

3.1.2 智能分析算法訓(xùn)練

（1）水面漂浮物識(shí)別算法說(shuō)明：1）智能分析功能說(shuō)明：對(duì)于攝像機(jī)視野覆蓋內(nèi)的情況，視頻智能分析系統(tǒng)能夠?qū)ζ∥锞奂庍_(dá)到一定面積的漂浮物進(jìn)行自動(dòng)分析識(shí)別。2）目標(biāo)要求：現(xiàn)場(chǎng)攝像機(jī)安裝條件滿足要求，目標(biāo)清晰可見(jiàn)，且像素大小不低于48×48 像素（1 920×1 080 分辨率下）。3）水域漂浮物的分類：根據(jù)現(xiàn)場(chǎng)管理的需要，將水域漂浮物分類成水葫蘆、生活垃圾其他類別。4）水面漂浮物識(shí)別算法技術(shù)實(shí)現(xiàn)原理。水面漂浮物識(shí)別智能分析功能在后端布設(shè)的智能視頻分析服務(wù)器中集中實(shí)現(xiàn)，前端視頻監(jiān)控設(shè)備負(fù)責(zé)采集視頻數(shù)據(jù)，相關(guān)網(wǎng)絡(luò)鏈路及信息化基礎(chǔ)設(shè)施負(fù)責(zé)視頻資源的傳輸、存儲(chǔ)、讀取和展示。其實(shí)現(xiàn)過(guò)程如圖4所示。

圖4 水面漂浮物識(shí)別算法實(shí)現(xiàn)過(guò)程

水面漂浮物檢測(cè)算法采用深度學(xué)習(xí)技術(shù)。深度學(xué)習(xí)是模仿人腦對(duì)信息的分析處理方式，通過(guò)建立由線性或者非線性變換的處理單元組成的具有層次結(jié)構(gòu)的多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，借助反向傳播算法，來(lái)自動(dòng)學(xué)習(xí)出數(shù)據(jù)的特征和表達(dá)。深度學(xué)習(xí)算法，能夠通過(guò)底層特征的不斷組合將抽象特征形成具有語(yǔ)義的更加高級(jí)的特征，來(lái)更好的表達(dá)數(shù)據(jù)。

基于深度學(xué)習(xí)的識(shí)別技術(shù)，通過(guò)視頻分析判斷場(chǎng)景中是否有所需識(shí)別目標(biāo)，然后提供報(bào)警信息。算法處理流程主要包含以下幾個(gè)模塊：1）輸入原始的圖像數(shù)據(jù)至目標(biāo)檢測(cè)模塊，產(chǎn)生目標(biāo)檢測(cè)鏈表。2）對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)及過(guò)濾。3）輸出報(bào)警信號(hào)，包括報(bào)警標(biāo)志位和目標(biāo)位置。

（2）垃圾堆識(shí)別：1）垃圾堆AI 識(shí)別算法說(shuō)明：對(duì)于攝像機(jī)視野覆蓋內(nèi)的情況，AI 能力能夠發(fā)現(xiàn)河岸兩邊一定面積的垃圾堆進(jìn)行識(shí)別。2）垃圾堆識(shí)別算法技術(shù)實(shí)現(xiàn)原理：垃圾堆智能分析功能在后端布設(shè)的智能視頻分析服務(wù)器中集中實(shí)現(xiàn)，前端視頻監(jiān)控設(shè)備負(fù)責(zé)采集視頻數(shù)據(jù)，相關(guān)網(wǎng)絡(luò)鏈路及信息化基礎(chǔ)設(shè)施負(fù)責(zé)視頻資源的傳輸、存儲(chǔ)、讀取和展示。其實(shí)現(xiàn)過(guò)程如圖5所示。

圖5 水面垃圾堆識(shí)別算法實(shí)現(xiàn)過(guò)程

需要注意的是，現(xiàn)有的水面垃圾堆監(jiān)測(cè)方案，只能定點(diǎn)采集圖像，因此也只能實(shí)現(xiàn)對(duì)固定區(qū)域的監(jiān)測(cè)，對(duì)于河道等水流速較快、路徑較長(zhǎng)的待監(jiān)測(cè)目標(biāo)，很難實(shí)現(xiàn)對(duì)整條河道的完整監(jiān)測(cè)，更無(wú)法實(shí)現(xiàn)為監(jiān)測(cè)到的漂浮物的跟蹤定位，較為可行的做法是，增加河湖區(qū)域的視頻采集密度，并對(duì)算法加以完善，增強(qiáng)垃圾堆數(shù)量預(yù)測(cè)分析。

（3）其他AI 識(shí)別能力。根據(jù)業(yè)務(wù)管理需求，結(jié)合主管部門業(yè)務(wù)痛點(diǎn)，至少還應(yīng)包括采砂船AI識(shí)別、入河排污口（明排）排水識(shí)別、水體顏色識(shí)別和水面泡沫識(shí)別。其實(shí)現(xiàn)方式主要利用圖像進(jìn)行智能識(shí)別。其原理為：

采砂船智能分析功能、排污識(shí)別和水體顏色識(shí)別在前端布設(shè)的智能攝像機(jī)中實(shí)現(xiàn)，其中排污識(shí)別包括排污口水體顏色、泡沫識(shí)別、定性判斷，以判定是否排污水；而水體顏色識(shí)別是指能夠在白天對(duì)水體顏色包括紅色、黑色和黃色進(jìn)行識(shí)別（具體顏色判定指標(biāo)需結(jié)合光照時(shí)間和距離情況等多種因素，由用戶方指定相關(guān)標(biāo)準(zhǔn)）。需要注意的是，水體顏色識(shí)別和水面泡沫識(shí)別智能分析功能在后端布設(shè)的智能視頻分析服務(wù)器中集中實(shí)現(xiàn)。

3.2 視頻聯(lián)網(wǎng)能力

隨著可視化系統(tǒng)規(guī)模的不斷擴(kuò)大，應(yīng)用的不斷深入，系統(tǒng)的整合需求日益強(qiáng)烈；各級(jí)河流管理部門對(duì)視頻圖像資源共享的需求不斷提升；橫向跨區(qū)域視頻圖像共享需求日益增多，視頻監(jiān)控“大聯(lián)網(wǎng)”已成為發(fā)展趨勢(shì)。

從河流日常管理的角度來(lái)看：首先，河流管理對(duì)視頻監(jiān)控的需求已經(jīng)不僅僅滿足于局部區(qū)域的有限范圍，而是在覆蓋本地區(qū)的基礎(chǔ)上，要求進(jìn)行全省乃至全國(guó)范圍內(nèi)跨區(qū)域的大聯(lián)網(wǎng)監(jiān)控，市級(jí)聯(lián)網(wǎng)監(jiān)控成為整個(gè)體系中資源匯聚整合的重要環(huán)節(jié)；其次，利用智能分析、大數(shù)據(jù)、云計(jì)算等新興技術(shù)對(duì)視頻信息進(jìn)行深度挖掘，以平臺(tái)大規(guī)模聯(lián)網(wǎng)、監(jiān)控資源整合、視頻信息匯聚為前提條件。

3.2.1 前端設(shè)備聯(lián)網(wǎng)接入

平臺(tái)支持市場(chǎng)上符合標(biāo)準(zhǔn)協(xié)議的前端設(shè)備直接接入，同時(shí)考慮到了其他廠家及非標(biāo)設(shè)備的兼容接入方案。實(shí)現(xiàn)了中心平臺(tái)部署與前端設(shè)備建設(shè)的技術(shù)分隔，使得前端設(shè)備的部署和選型具有更大靈活性。

站點(diǎn)布設(shè)。需要科學(xué)優(yōu)化布局視頻監(jiān)控網(wǎng)絡(luò)，應(yīng)對(duì)支流匯入口、大中型水閘匯入口，進(jìn)行布設(shè)視頻站點(diǎn)。

標(biāo)準(zhǔn)設(shè)備。平臺(tái)支持符合GB/T 28181、ONVIF 等協(xié)議的設(shè)備直接接入，實(shí)現(xiàn)視頻預(yù)覽、云臺(tái)控制、錄像回放等操作。

非標(biāo)準(zhǔn)設(shè)備。非標(biāo)準(zhǔn)前端通過(guò)視頻聯(lián)網(wǎng)網(wǎng)關(guān)（NCG）進(jìn)行SDK 開(kāi)發(fā)，實(shí)現(xiàn)高性能兼容接入，支持各種操作包括預(yù)覽、控制、回放等，以主要解決已有設(shè)備的利舊問(wèn)題。

3.2.2 下級(jí)平臺(tái)聯(lián)網(wǎng)接入

標(biāo)準(zhǔn)平臺(tái)。采用視頻聯(lián)網(wǎng)網(wǎng)關(guān)（NCG）實(shí)現(xiàn)多廠商滿足GB/T 28059、GB/T 28181、DB33 等國(guó)標(biāo)或地標(biāo)要求的視頻監(jiān)控平臺(tái)級(jí)聯(lián)或互聯(lián)。NCG 具備信令網(wǎng)關(guān)、媒體網(wǎng)關(guān)、網(wǎng)關(guān)運(yùn)維、日志管理、安全認(rèn)證和權(quán)限管理等功能。實(shí)現(xiàn)跨平臺(tái)的目錄推送、視頻預(yù)覽、視頻回放、設(shè)備重啟、校時(shí)。

非標(biāo)準(zhǔn)平臺(tái)。視頻聯(lián)網(wǎng)網(wǎng)關(guān)（NCG）通過(guò)平臺(tái)廠商提供的SDK 進(jìn)行定制開(kāi)發(fā)，可將中心平臺(tái)標(biāo)準(zhǔn)信令轉(zhuǎn)換成下級(jí)平臺(tái)非標(biāo)準(zhǔn)信令，將下級(jí)平臺(tái)非標(biāo)準(zhǔn)碼流轉(zhuǎn)換成標(biāo)準(zhǔn)碼流，再上傳到中心平臺(tái)流媒體服務(wù)器進(jìn)行轉(zhuǎn)發(fā)調(diào)用。

4 能力特色

4.1 基礎(chǔ)視頻功能

通過(guò)視頻實(shí)時(shí)遠(yuǎn)程掌握河流重點(diǎn)水域、岸線的情況，對(duì)攝像機(jī)進(jìn)行控制，抓拍、歷史錄像查詢等。按照預(yù)設(shè)的場(chǎng)景自動(dòng)調(diào)用攝像機(jī)進(jìn)行自動(dòng)抓拍并對(duì)動(dòng)態(tài)目標(biāo)自動(dòng)放大抓拍。執(zhí)法取證的視頻、圖像能夠永久保存。

4.2 智能視頻分析

通過(guò)智能設(shè)備對(duì)視頻圖像進(jìn)行分析，支持非法采砂、水面漂浮物、垃圾傾倒、違法施工、違章建筑物等識(shí)別，并根據(jù)規(guī)則觸發(fā)報(bào)警。

4.3 預(yù)警全流程處置

能力系統(tǒng)可幫助工作人員對(duì)人工巡查及視頻智能分析的報(bào)警進(jìn)行人工復(fù)核，并推送給水政監(jiān)察執(zhí)法人員、河流保潔人員等進(jìn)行處理，處理完成后可進(jìn)行再次審核，并對(duì)事件進(jìn)行統(tǒng)計(jì)，用于輔助考核管理。

4.4 全面開(kāi)放

提供開(kāi)放SDK 接口，實(shí)現(xiàn)與“河長(zhǎng)制”業(yè)務(wù)系統(tǒng)、視頻會(huì)商系統(tǒng)、城市大腦（一網(wǎng)統(tǒng)管平臺(tái)）等第三方系統(tǒng)的對(duì)接，實(shí)現(xiàn)實(shí)時(shí)視頻、智能識(shí)別預(yù)警、錄像回放等與業(yè)務(wù)系統(tǒng)的融合，給管理維護(hù)帶來(lái)便利。

5 結(jié) 論

借助于現(xiàn)代化的基于AI 的河湖監(jiān)控管理能力，可實(shí)時(shí)監(jiān)測(cè)與掌控漠河湖狀況，包括：水面漂浮物、水質(zhì)（水顏色）、水位監(jiān)測(cè)與掌控。借助科技手段，提高河湖管理單位的反應(yīng)能力與控制能力，能有效提高水務(wù)工作人員在處理常規(guī)日常水務(wù)工作和突發(fā)事件處理與應(yīng)對(duì)的能力和效率。