視頻圖像分析系統(tǒng)及算法倉(cāng)庫(kù)在視頻圖像庫(kù)建設(shè)中的應(yīng)用研究

張鵬飛，藍(lán)維旱，高 峰

（中通服咨詢?cè)O(shè)計(jì)研究院有限公司，江蘇 南京 210019）

0 引 言

近幾年，隨著國(guó)家對(duì)公共安全的重視程度逐漸加強(qiáng)，國(guó)家相關(guān)部門(mén)發(fā)布了一系列建設(shè)規(guī)劃和指導(dǎo)意見(jiàn)，各地“雪亮工程”建設(shè)工作不斷推進(jìn)，視頻前端攝像機(jī)的數(shù)量急劇增加，前端數(shù)據(jù)采集技術(shù)已經(jīng)比較成熟。目前充分挖掘視頻圖像信息價(jià)值，解決視頻圖像應(yīng)用領(lǐng)域存在的問(wèn)題是建設(shè)新型智慧視頻圖像庫(kù)的重要任務(wù)。

1 視頻圖像分析系統(tǒng)定位和作用

視頻圖像分析系統(tǒng)利用視頻分析技術(shù)和分析算法，通過(guò)采集設(shè)備/系統(tǒng)自動(dòng)從卡口中提取圖像信息數(shù)據(jù)，提取前端設(shè)備所采集圖片的結(jié)構(gòu)化及特征值數(shù)據(jù)，并從視頻監(jiān)控聯(lián)網(wǎng)等平臺(tái)獲取視頻流，經(jīng)解析后提取視頻圖像信息存入視圖庫(kù)，通過(guò)對(duì)應(yīng)的分析接口為應(yīng)用平臺(tái)提供分析服務(wù)[1]。

視頻圖像分析系統(tǒng)通過(guò)構(gòu)建高性能圖像視頻圖像解析能力支撐智能化應(yīng)用，提供高效的解析服務(wù)，快速挖掘海量圖像視頻資源的中的價(jià)值信息。主要通過(guò)建立算法倉(cāng)庫(kù)，采用多種算法服務(wù)校驗(yàn)結(jié)果數(shù)據(jù)，具備任務(wù)調(diào)度和資源調(diào)度等功能。此外，算法倉(cāng)庫(kù)提供多算法接入能力，采用SDK接入、RESTful服務(wù)接入以及API接入的混合接入模式，解決公安實(shí)戰(zhàn)時(shí)解析資源不足的問(wèn)題，提升視頻圖像處理效率及業(yè)務(wù)協(xié)同能力[2]。視頻圖像分析系統(tǒng)架構(gòu)如圖1所示。

圖1 視頻圖像分析系統(tǒng)架構(gòu)

2 視頻圖像分析系統(tǒng)設(shè)計(jì)

2.1 視頻圖像分析系統(tǒng)功能

視頻圖像分析系統(tǒng)主要實(shí)現(xiàn)兩方面功能，一方面用于識(shí)別和解析視頻專網(wǎng)中的視頻（含聯(lián)網(wǎng)視頻和離線視頻）、抓拍的人臉照片以及卡口過(guò)車圖片等，生成結(jié)構(gòu)化數(shù)據(jù)，另一方面用于識(shí)別解析聯(lián)網(wǎng)視頻和離線視頻文件等，生成結(jié)構(gòu)化數(shù)據(jù)[3]。

視頻圖像分析系統(tǒng)支持對(duì)監(jiān)控視頻中的人和車等典型目標(biāo)進(jìn)行自動(dòng)檢測(cè)與識(shí)別，并進(jìn)行相應(yīng)的行為分析，形成易于自動(dòng)判別或人工判別的分析結(jié)果。分析結(jié)果以圖像描述數(shù)據(jù)表示，可形成人、車以及物等運(yùn)動(dòng)目標(biāo)的摘要視頻或者快照?qǐng)D片，為上層業(yè)務(wù)提供視頻圖像內(nèi)容和目標(biāo)特征等相關(guān)信息。

圖像內(nèi)容分析包括人像檢測(cè)識(shí)別、人像比對(duì)、車輛識(shí)別、視頻摘要、運(yùn)動(dòng)目標(biāo)檢測(cè)、目標(biāo)分類、行人檢測(cè)、遺留物檢測(cè)、速度異常檢測(cè)、人群密度檢測(cè)以及徘徊檢測(cè)等。通過(guò)視頻圖像分析系統(tǒng)對(duì)各類視頻數(shù)據(jù)（包括視頻、人員圖片以及車輛圖片等）進(jìn)行結(jié)構(gòu)化處理，并整合該級(jí)其他視頻圖像結(jié)構(gòu)化數(shù)據(jù)，實(shí)現(xiàn)車輛和人員結(jié)構(gòu)化數(shù)據(jù)的全面匯集，建設(shè)覆蓋全面且檢索高效的視頻圖像結(jié)構(gòu)化信息資源。視頻圖像分析數(shù)據(jù)流程如圖2所示。

圖2 視頻圖像分析數(shù)據(jù)流程

2.2 視頻圖像分析系統(tǒng)設(shè)計(jì)原則

當(dāng)前端系統(tǒng)有視圖資源推送到視頻圖像分析系統(tǒng)時(shí)，引入任務(wù)調(diào)度服務(wù)、網(wǎng)關(guān)服務(wù)以及資源中心服務(wù)，分別管理和分發(fā)解析任務(wù)與特征提取服務(wù)。當(dāng)前端系統(tǒng)有視圖資源推送到視頻圖像分析系統(tǒng)時(shí)，視頻圖像分析系統(tǒng)的管理中心會(huì)將解析任務(wù)的配置信息推送給算法倉(cāng)庫(kù)，算法倉(cāng)庫(kù)解碼分析獲取的媒體流數(shù)據(jù)，并將分析結(jié)果通過(guò)業(yè)務(wù)框架反饋給視頻圖像分析系統(tǒng)管理中心，實(shí)現(xiàn)布控等業(yè)務(wù)的比對(duì)預(yù)警，同時(shí)輸出結(jié)構(gòu)化數(shù)據(jù)和特征值到大數(shù)據(jù)平臺(tái)，提供檢索、聚類以及碰撞等大數(shù)據(jù)服務(wù)能力[4]。

視頻圖像分析系統(tǒng)采用充分解耦設(shè)計(jì)，軟件與硬件解耦，算法解耦，多算法兼容共存設(shè)計(jì)，充分調(diào)動(dòng)各廠家的優(yōu)勢(shì)，滿足系統(tǒng)頂層設(shè)計(jì)對(duì)開(kāi)放和兼容的應(yīng)用與建設(shè)需求。

3 算法倉(cāng)庫(kù)建設(shè)

3.1 算法倉(cāng)庫(kù)

算法倉(cāng)庫(kù)應(yīng)具備可動(dòng)態(tài)部署和擴(kuò)容的能力，算法的部署與硬件資源解耦，實(shí)現(xiàn)業(yè)務(wù)動(dòng)態(tài)調(diào)配資源和實(shí)時(shí)回收，滿足實(shí)戰(zhàn)突發(fā)計(jì)算，實(shí)現(xiàn)多算法和多版本的共存和集成。

通過(guò)車牌/車輛特征識(shí)別、人臉/人體特征識(shí)別以及行為分析等智能化算法服務(wù)，分析實(shí)時(shí)/歷史視頻和圖片，統(tǒng)一存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)的海量分析結(jié)果，并提供檢索結(jié)果，同時(shí)存儲(chǔ)半結(jié)構(gòu)向量用于檢索，存儲(chǔ)關(guān)聯(lián)視頻和摳圖等素材便于二次分析使用。此外，采用統(tǒng)一的主題對(duì)象庫(kù)，便于解耦存儲(chǔ)資源與計(jì)算資源，并將檢索性能發(fā)揮到最大。

算法倉(cāng)庫(kù)應(yīng)能以插件倉(cāng)或鏡像倉(cāng)等模式承載不同廠商和不同類別的算法，無(wú)論是算法插件還是算法鏡像，都以壓縮包的方式導(dǎo)入算法倉(cāng)庫(kù)。每種算法為一個(gè)壓縮包，里面包含算法庫(kù)和算法模型文件等信息，壓縮包中的算法接口按照標(biāo)準(zhǔn)文檔封裝好的，算法壓縮包導(dǎo)入算法倉(cāng)庫(kù)后，算法倉(cāng)庫(kù)先對(duì)壓縮包進(jìn)行統(tǒng)一管理，算法壓縮包解壓縮后，才是可使用的算法插件和算法鏡像。

3.2 算法插件倉(cāng)

算法插件倉(cāng)包含了所有可以直接提供給基礎(chǔ)業(yè)務(wù)容器使用的算法插件，基礎(chǔ)業(yè)務(wù)容器在掛載了算法插件后，從鏡像倉(cāng)庫(kù)里拉起，變成算法插件對(duì)應(yīng)的算法服務(wù)。

3.3 算法鏡像倉(cāng)

算法鏡像倉(cāng)包含了所有可以與業(yè)務(wù)容器組合成算法服務(wù)的算法鏡像，屬于云管理平臺(tái)鏡像倉(cāng)庫(kù)的一部分。鏡像是指容器運(yùn)行時(shí)的前身，即容器鏡像，為鏡像配置好相關(guān)計(jì)算資源、網(wǎng)絡(luò)資源以及存儲(chǔ)資源后，從鏡像倉(cāng)庫(kù)拉起后就可以運(yùn)行在容器中。

3.4 算法接入

算法倉(cāng)庫(kù)能夠提供算法的多種集成方式，以SDK接入形式或API接入形式集成到視頻分析組件，提供包括視圖資源解析、視圖數(shù)據(jù)檢索以及人臉車輛布控在內(nèi)的各種算法基礎(chǔ)服務(wù)能力和增強(qiáng)服務(wù)能力。

算法SDK接入是在視頻圖像分析系統(tǒng)的業(yè)務(wù)框架中將人臉、車輛以及視頻結(jié)構(gòu)化等算法壓縮包解壓后統(tǒng)一掛載在算法插件倉(cāng)的目錄下，將算法插件與視頻圖像分析系統(tǒng)的業(yè)務(wù)框架運(yùn)行打包在一個(gè)容器中，形成一個(gè)算法的運(yùn)行主題，如人臉識(shí)別算法，提供包括人臉采集前端的資源接入、目標(biāo)檢測(cè)、特征提取以及結(jié)構(gòu)化數(shù)據(jù)輸出等能力。當(dāng)采集系統(tǒng)有視圖資源推送到視頻圖像分析系統(tǒng)時(shí)，視頻圖像分析系統(tǒng)的管理中心將解析任務(wù)的配置信息推送給算法運(yùn)行主題（算法pod），算法運(yùn)行時(shí)，主題中的業(yè)務(wù)框架基于解析任務(wù)獲取音視頻和圖片等媒體流數(shù)據(jù)，對(duì)媒體流解碼后與配置信息一起推送給SDK算法插件。SDK算法插件分析解碼后的視圖資源，提取目標(biāo)特征值和結(jié)構(gòu)化數(shù)據(jù)，將分析結(jié)果通過(guò)業(yè)務(wù)框架反饋給視頻圖像分析系統(tǒng)管理中心[5]。

算法平臺(tái)API接入方式的視圖分析管理（解析管理）包括任務(wù)調(diào)度、任務(wù)管理、資源管理以及業(yè)務(wù)統(tǒng)計(jì)4個(gè)模塊。任務(wù)調(diào)度基于采集系統(tǒng)的流量感知，實(shí)現(xiàn)算法與任務(wù)的調(diào)度匹配，任務(wù)管理模塊主要是對(duì)各類解析任務(wù)進(jìn)行增、刪、查以及改，資源管理是基于流量感知和任務(wù)調(diào)度，在任務(wù)啟動(dòng)時(shí)實(shí)現(xiàn)對(duì)底層資源的申請(qǐng)，在任務(wù)結(jié)束時(shí)實(shí)現(xiàn)對(duì)底層資源的釋放，業(yè)務(wù)統(tǒng)計(jì)主要統(tǒng)計(jì)業(yè)務(wù)響應(yīng)速度、實(shí)時(shí)業(yè)務(wù)量、業(yè)務(wù)調(diào)用次數(shù)以及業(yè)務(wù)故障次數(shù)。算法軟件以算法平臺(tái)API接入形式與視頻分析管理進(jìn)行對(duì)接，可以以容器化或者虛擬機(jī)的方式運(yùn)行，算法平臺(tái)包括算法的分析和檢索功能。

RESTful服務(wù)接入是指算法軟件與解析業(yè)務(wù)框架分別運(yùn)行在單獨(dú)容器，通過(guò)RESTful接口組合成一個(gè)算法運(yùn)行主題，其示例如圖3所示。當(dāng)前端采集系統(tǒng)有視圖資源推送到視頻圖像分析系統(tǒng)時(shí)，視頻圖像分析系統(tǒng)的管理中心會(huì)將解析任務(wù)的配置信息推送給算法運(yùn)行主題（算法pod），算法運(yùn)行主題中的業(yè)務(wù)框架將采集系統(tǒng)的媒體流地址和配置信息推送給算法容器，算法容器獲取媒體流數(shù)據(jù)進(jìn)行解碼和分析，并將分析結(jié)果通過(guò)業(yè)務(wù)框架反饋給視頻圖像分析系統(tǒng)管理中心，實(shí)現(xiàn)布控等業(yè)務(wù)的比對(duì)預(yù)警，同時(shí)輸出結(jié)構(gòu)化數(shù)據(jù)和特征值到大數(shù)據(jù)平臺(tái)，提供檢索、聚類以及碰撞等大數(shù)據(jù)服務(wù)能力[5]。

圖3 RESTful服務(wù)接入示例圖

4 結(jié) 論

隨著科技的發(fā)展進(jìn)步，對(duì)視頻圖像數(shù)據(jù)挖掘的能力要求越來(lái)越高，大數(shù)據(jù)平臺(tái)將引入越來(lái)越多的AI機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及智能圖算法等尖端技術(shù)來(lái)提高整個(gè)系統(tǒng)的智能化水平。借助云計(jì)算、大數(shù)據(jù)、深度學(xué)習(xí)以及物聯(lián)網(wǎng)等技術(shù)構(gòu)筑實(shí)現(xiàn)對(duì)海量圖像和視頻的接入、轉(zhuǎn)碼、轉(zhuǎn)發(fā)、存儲(chǔ)以及結(jié)構(gòu)化分析等已經(jīng)逐漸深入日常工作，通過(guò)搭建算法倉(cāng)庫(kù)建設(shè)深度視頻圖像分析系統(tǒng)，提供快速準(zhǔn)確彈性的解析服務(wù)，已經(jīng)成為實(shí)現(xiàn)視頻數(shù)據(jù)的采集、匯聚、清洗以及整合的基本需求，成為了滿足對(duì)基礎(chǔ)資源的靈活調(diào)度、滿足現(xiàn)階段不同部門(mén)和不同業(yè)務(wù)的智能解析需求以及深化視頻圖像庫(kù)和綜合應(yīng)用平臺(tái)部署的基本要求。