基于智能視頻分析系統(tǒng)的智能監(jiān)控系統(tǒng)構(gòu)建

王德臣 WANG De-chen；唐宇捷 TANG Yu-jie；趙碩 ZHAO Shuo

（同濟(jì)大學(xué)，上海 200092）

0 引言

目前視頻監(jiān)控的覆蓋范圍已經(jīng)遍布在生活的各個角落，但傳統(tǒng)的視頻監(jiān)控多作為事后追查、取證等，在海量的視頻錄像面前，依靠人工處理顯得十分無力[1]。而人工智能技術(shù)的出現(xiàn)很大改善這一現(xiàn)狀，一些企事業(yè)單位和政府通過將智能視頻分析系統(tǒng)引入到視頻監(jiān)控系統(tǒng)，構(gòu)建了智能視頻監(jiān)控系統(tǒng)，在社會治安、城市治理、智慧環(huán)保等場景落地，將被動通知向主動告警轉(zhuǎn)變，大大提高了視頻監(jiān)控的系統(tǒng)價值[2-3]。在越來越多企業(yè)想要用人工智能技術(shù)為視頻監(jiān)控系統(tǒng)賦能的背景下，本研究通過對智能視頻分析系統(tǒng)的技術(shù)原理和系統(tǒng)架構(gòu)進(jìn)行總結(jié)，并將智能視頻分析系統(tǒng)與傳統(tǒng)視頻監(jiān)控系統(tǒng)結(jié)合來構(gòu)建了智能監(jiān)控系統(tǒng)，并從實踐的角度提供了一個體系流程來幫助企事業(yè)單位構(gòu)建智能監(jiān)控業(yè)務(wù)和應(yīng)用場景。

1 智能視頻分析系統(tǒng)

1.1 技術(shù)原理

智能視頻分析系統(tǒng)是利用計算機(jī)圖像視覺分析技術(shù)對視頻監(jiān)控畫面進(jìn)行采集、識別、分類、分析，生成圖像內(nèi)容和行為的描述信息，并根據(jù)預(yù)定的分析規(guī)則，指出可能存在的違反規(guī)則的風(fēng)險目標(biāo)或行為，同時發(fā)出預(yù)警信息，協(xié)助相關(guān)人員進(jìn)行日常管理。在算法分析平臺內(nèi)，根據(jù)配置的設(shè)備信息獲取視頻流。在拉取視頻流后，調(diào)用告警區(qū)域?qū)D像進(jìn)行逐幀解析。圖像處理系統(tǒng)調(diào)用算法中心的服務(wù)，并構(gòu)建數(shù)據(jù)包推送至視頻流合成系統(tǒng)。視頻流合成系統(tǒng)調(diào)用告警規(guī)則信息，依據(jù)原視頻的幀率等信息合成處理后的視頻流，包含必要的識別信息，如人臉、告警標(biāo)記、預(yù)警等級等。在視頻流合成完成后產(chǎn)生事件告警通知推送至告警中心，其技術(shù)原理如圖1 所示[4-5]。

圖1 智能視頻分析系統(tǒng)技術(shù)原理

1.2 系統(tǒng)架構(gòu)

智能視頻分析系統(tǒng)可以分為邊緣型和平臺型兩種架構(gòu)[6]。邊緣型架構(gòu)是面向設(shè)備離散的業(yè)務(wù)環(huán)境，比如零售、餐飲、快遞、城市治理等，將前端監(jiān)控設(shè)備直接接入智能邊緣設(shè)備，將相應(yīng)環(huán)境的算法直接部署在邊緣設(shè)備上對視頻圖像進(jìn)行分析處理，并分析后的告警信息向管理平臺統(tǒng)一推送，該架構(gòu)的優(yōu)點(diǎn)是占用網(wǎng)絡(luò)帶寬少，可以實現(xiàn)輕量化部署，缺點(diǎn)則是需要較多邊緣設(shè)備的資產(chǎn)投入和配置維護(hù)工作。平臺型架構(gòu)面向設(shè)備集中的業(yè)務(wù)環(huán)境，比如企事業(yè)園區(qū)、工廠等，將所有前端監(jiān)控設(shè)備接入到統(tǒng)一算法分析平臺，通過算法分析平臺對視頻圖像進(jìn)行統(tǒng)一分析處理，該架構(gòu)的優(yōu)點(diǎn)是可以實現(xiàn)多種算法統(tǒng)一配置維護(hù)，但對平臺網(wǎng)絡(luò)和服務(wù)器性能提出了更高的要求。這兩種架構(gòu)方式各有優(yōu)劣，本文選擇平臺型的架構(gòu)進(jìn)行研究。

2 智能監(jiān)控系統(tǒng)架構(gòu)

智能視頻監(jiān)控系統(tǒng)基于智能視頻分析系統(tǒng)，對監(jiān)控視頻信號進(jìn)行處理、分析和理解。可以在監(jiān)控場景中自動分析視頻圖像，對變化進(jìn)行定位、識別和跟蹤，并進(jìn)行異常告警[7]?？紤]到大部分業(yè)務(wù)場景下，視頻監(jiān)控管理平臺都是單獨(dú)建設(shè)或者是已經(jīng)投入運(yùn)營，因此本文提供了一個視頻監(jiān)控管理平臺和算法分析平臺共存的智能監(jiān)控系統(tǒng)架構(gòu)，如圖2 所示，下面對系統(tǒng)架構(gòu)各個層級進(jìn)行介紹。

圖2 智能監(jiān)控系統(tǒng)架構(gòu)圖

2.1 基礎(chǔ)層

基礎(chǔ)層包含了網(wǎng)絡(luò)系統(tǒng)、服務(wù)機(jī)房、錄像存儲設(shè)備以及各類前端監(jiān)控攝像機(jī)等。其中監(jiān)控設(shè)備主要有槍機(jī)、球機(jī)、半球等多種形式，目前常見的數(shù)字化監(jiān)控設(shè)備主要通過網(wǎng)絡(luò)協(xié)議TCP/IP 接入視頻監(jiān)控管理平臺并通過POE供電，大大簡化了基礎(chǔ)層所需的建設(shè)內(nèi)容。但圖像識別技術(shù)對畫面的清晰度和識別像素有一定要求，因此，在設(shè)計和實施過程中要注意配合算法要求的最小像素和識別距離，對于夜間環(huán)境則需要設(shè)備具有紅外或者補(bǔ)光燈來提升夜間監(jiān)控畫面的質(zhì)量，從而保障算法的準(zhǔn)確率。此外，基礎(chǔ)層涵蓋了系統(tǒng)運(yùn)行所需的服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)機(jī)房等數(shù)據(jù)中心基礎(chǔ)環(huán)境，為智能監(jiān)控平臺提供算力支持，良好的基礎(chǔ)設(shè)施是業(yè)務(wù)連續(xù)性保障的基礎(chǔ)。

2.2 平臺層

2.2.1視頻監(jiān)控平臺

視頻監(jiān)控管理平臺是一種專門用于管理和控制視頻監(jiān)控系統(tǒng)的平臺，通過管理編碼設(shè)備，制定錄像計劃、抓圖計劃等，可以實現(xiàn)實時視頻監(jiān)控、錄像/圖片查看等功能，平臺主要功能如下：

設(shè)備管理：管理各種監(jiān)控設(shè)備和系統(tǒng)，包括攝像機(jī)、硬盤錄像機(jī)、監(jiān)控存儲等，實現(xiàn)設(shè)備到平臺的接入和網(wǎng)絡(luò)配置。

錄像計劃：為監(jiān)控點(diǎn)配置存儲和錄像計劃，使其按照計劃時間進(jìn)行錄像?？蔀椴煌脑O(shè)備配置不同的錄像存儲計劃和存儲資源池。

視頻監(jiān)測：對于視頻資源的巡檢結(jié)果的應(yīng)用，如視頻圖像質(zhì)量監(jiān)測、設(shè)備在線監(jiān)測、錄像完整性監(jiān)測等。

存儲管理：負(fù)責(zé)對所有監(jiān)控點(diǎn)的錄像存儲進(jìn)行管理，包括存儲空間、存儲類型、存儲資源池，錄像覆蓋策略等。

2.2.2智能分析平臺

智能分析平臺是基于視頻監(jiān)控平臺獲取視頻流，通過疊加不同人工智能算法，使得傳統(tǒng)視頻監(jiān)控系統(tǒng)能夠自動分析理解視頻畫面中的內(nèi)容，并發(fā)出實時告警，該平臺提供的主要模塊有：

接入中心：負(fù)責(zé)將各種視頻監(jiān)控設(shè)備接入到平臺中，實現(xiàn)設(shè)備的統(tǒng)一管理和控制。接入中心支持多種廠家設(shè)備協(xié)議和接口，能夠接入不同廠家的各種視頻監(jiān)控設(shè)備，并對其進(jìn)行批量管理和參數(shù)配置。

應(yīng)用中心：向用戶提供多種智能視頻分析系統(tǒng)的智能應(yīng)用，對告警策略進(jìn)行應(yīng)用配置，比如人臉識別白名單庫、行為分析的告警信息內(nèi)容等，同時提供應(yīng)用服務(wù)的API接口方便客戶定制個性化場景。

算法中心：提供各種智能視頻分析算法，如人臉識別、行為分析、目標(biāo)檢測等。通過算法中心，用戶可以根據(jù)實際需求選擇不同的算法，對監(jiān)控視頻進(jìn)行分析和處理。

告警中心：負(fù)責(zé)告警規(guī)則的配置、接收和處理各種告警信息，包括：告警類型、告警位置、告警時間、告警圖片等，并且可以通過郵件、短信或其他社交軟件發(fā)送告警通知。

管理中心：管理中心主要方便用戶對系統(tǒng)進(jìn)行全面管理和控制，從告警配置管理到平臺運(yùn)維的管理，負(fù)責(zé)對整個算法分析系統(tǒng)進(jìn)行管理和維護(hù)，包括：算法配置、服務(wù)器管理、用戶和權(quán)限的管理、日志管理、監(jiān)控管理等。

報表中心：負(fù)責(zé)對智能視頻分析系統(tǒng)的運(yùn)行數(shù)據(jù)進(jìn)行統(tǒng)計和分析，生成各種報表和圖表，比如設(shè)備資源報表、告警統(tǒng)計報警、算法運(yùn)行報表等。用戶可以通過報表中心查看系統(tǒng)的運(yùn)行和告警情況等，為決策提供數(shù)據(jù)支持。

2.3 應(yīng)用層

應(yīng)用層是基于平臺層的功能模塊，通過各種智能監(jiān)控業(yè)務(wù)邏輯來處理和展示數(shù)據(jù)，如人臉識別、行為分析、告警通知等。這些應(yīng)用可以通過前端設(shè)備、WEB 頁面、APP 等方式向用戶進(jìn)行展示和交互。

2.4 管理層

管理層負(fù)責(zé)對整個智能監(jiān)控業(yè)務(wù)進(jìn)行管理和調(diào)度，包括設(shè)備管理、用戶管理、安全管理和系統(tǒng)監(jiān)控等方面。智能監(jiān)控業(yè)務(wù)規(guī)則和告警策略也在此進(jìn)行管理，以便對數(shù)據(jù)進(jìn)行篩選和應(yīng)用。

3 智能監(jiān)控體系

智能監(jiān)控體系是基于智能監(jiān)控系統(tǒng)構(gòu)建智能監(jiān)控業(yè)務(wù)的一套管理體系，該體系可以根據(jù)不同業(yè)務(wù)場景來部署所需算法，從而構(gòu)建各種應(yīng)用場景，下面介紹體系構(gòu)建的流程和幾個應(yīng)用場景。

3.1 體系構(gòu)建流程

第一步設(shè)備接入：首先明確需求，確定需要借助平臺算法進(jìn)行智能分析的環(huán)境。根據(jù)這個環(huán)境選擇合適的監(jiān)控設(shè)備接入到算法分析平臺。設(shè)備接入可通過視頻監(jiān)控管理平臺的接口直接獲取設(shè)備，也可直接將設(shè)備添加到算法分析平臺。

第二步告警配置：根據(jù)所需的分析算法，配置相應(yīng)的告警邏輯。比如算法分析的區(qū)域、算法分析的時間段、告警推送的時間段、告警的閾值、重復(fù)告警推送的頻率、接收告警的對象、告警的優(yōu)先級等等，形成一個完整的告警配置。

第三步告警呈現(xiàn)：平臺產(chǎn)生的告警可直接在算法分析平臺內(nèi)直接進(jìn)行呈現(xiàn)并處理。如果客戶有統(tǒng)一的告警管理平臺，則可將相應(yīng)的告警信息通過平臺接口推送到相應(yīng)的告警管理平臺，比如將告警內(nèi)容推送到企業(yè)微信或者飛書，讓人員能更及時的接收告警信息。

第四步告警測試：根據(jù)部署的告警邏輯和分析算法，主動觸發(fā)告警后驗證告警配置的正確性。如未按預(yù)期觸發(fā)告警則需要再次進(jìn)行調(diào)試?；谝陨系母婢壿嬋邕\(yùn)行正常，則可進(jìn)入正常的運(yùn)營階段。

第五步告警處理：在運(yùn)營階段，如果產(chǎn)生了告警則需要安排人員進(jìn)行相應(yīng)的處置動作，比如人工復(fù)核告警是否誤報，如果不是誤報則需要采取相應(yīng)的處置措施，形成完整一條告警業(yè)務(wù)流。

第六步數(shù)據(jù)分析：在運(yùn)營中可通過報表中心對相應(yīng)的數(shù)據(jù)分析，如果多次誤報則需要對算法或者告警邏輯進(jìn)行優(yōu)化，如果一類告警頻繁出現(xiàn)則加強(qiáng)相關(guān)的管理工作等等。

3.2 應(yīng)用場景

按照上述流程完成業(yè)務(wù)構(gòu)建后，便可結(jié)合人工智能技術(shù)應(yīng)用至多個領(lǐng)域場景中，從而形成全方位的智能監(jiān)控解決方案，表1 所示為一些常見的場景舉例。

表1 智能監(jiān)控應(yīng)用場景

3.3 提升和發(fā)展方向

算法準(zhǔn)確率的提升。算法準(zhǔn)確率是智能監(jiān)控業(yè)務(wù)的核心價值所在，如果算法準(zhǔn)確率不及預(yù)期，則會大大降低該業(yè)務(wù)的價值。一個成熟的算法模型需要通過海量數(shù)據(jù)的采集、標(biāo)注、訓(xùn)練迭代，但某些需要識別預(yù)警的場景較為復(fù)雜且為小概率事件，能夠提供的數(shù)據(jù)有限，在一定程度上影響了算法的迭代和優(yōu)化。在不同客戶的應(yīng)用場景中可能需要定制不同的算法，在算法訓(xùn)練上可能不能提供足夠的數(shù)據(jù)支撐，從而導(dǎo)致準(zhǔn)確率不足，這就需要用戶和供應(yīng)商雙方約定一個算法準(zhǔn)確率，共同協(xié)作來提高算法準(zhǔn)確率。

開放性提升。隨著業(yè)務(wù)需求的復(fù)雜性和多樣性，對開放性集成系統(tǒng)的需求也在增大，用戶更需要統(tǒng)一的集成管理平臺，實現(xiàn)視頻基礎(chǔ)組件模塊化服務(wù)和開放接口，讓所有的視頻相關(guān)業(yè)務(wù)應(yīng)用可以像積木一樣快速開發(fā)、安裝和應(yīng)用，而不是維護(hù)多套功能重復(fù)的系統(tǒng)。

云計算服務(wù)。隨著云計算技術(shù)的不斷發(fā)展，視頻監(jiān)控領(lǐng)域正逐漸向云端轉(zhuǎn)移。未來要將算法分析環(huán)節(jié)向云端適配，能提供公有云服務(wù)的廠商會贏得更多的市場，在提供強(qiáng)大的數(shù)據(jù)存儲和處理能力的同時，提升算法配置的靈活性和擴(kuò)展性。

4 結(jié)語

隨著AI 技術(shù)在視頻監(jiān)控領(lǐng)域的成熟，給傳統(tǒng)的監(jiān)控業(yè)務(wù)帶來了巨大變化，未來更多企業(yè)和政府將會利用人工智能技術(shù)來重構(gòu)傳統(tǒng)視頻監(jiān)控業(yè)務(wù)。各個行業(yè)都可以實現(xiàn)智能化識別、預(yù)測預(yù)警、自主決策及響應(yīng)、云端部署遠(yuǎn)程監(jiān)控等方面的技術(shù)性突破。視頻監(jiān)控將突破傳統(tǒng)安防領(lǐng)域的邊界，智能監(jiān)控將會在城市治理、零售、能源、交通等多個領(lǐng)域發(fā)揮更多的價值。