海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)研究

馬元元+李向偉+劉艷飛

摘 要： 針對(duì)海量監(jiān)控視頻的存儲(chǔ)、瀏覽、檢索問題，提出一種適合于海量監(jiān)控視頻的分級(jí)摘要生成算法，生成的分級(jí)視頻摘要體積小，按照內(nèi)容重要性進(jìn)行排序，能減少海量監(jiān)控視頻摘要的存儲(chǔ)空間，提高海量監(jiān)控視頻瀏覽和檢索速度?；谏鲜龊Ａ勘O(jiān)控視頻摘要生成算法，設(shè)計(jì)了一個(gè)建立在Hadoop上的海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)，為海量監(jiān)控視頻摘要生成提供分布式存儲(chǔ)和并行化運(yùn)算環(huán)境，進(jìn)一步解決了存儲(chǔ)問題，提高了運(yùn)算速度。

關(guān)鍵詞： 海量監(jiān)控視頻； 分級(jí)摘要生成； 壓縮域； 關(guān)鍵幀

中圖分類號(hào)： TN911?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）13?0034?04

Abstract： For the storage， browse and retrieval problems existing in massive surveillance video， a hierarchical summary generation algorithm suitable for massive surveillance video is proposed. The generated hierarchical video summary with small size is ranked according to the content importance to save the summary storage space of the massive surveillance video， and improve the browse and retrieval speed of the massive surveillance video. On the basis of the summary generation algorithm of massive surveillance video， a Hadoop?based hierarchical summary generation system of massive surveillance video was designed， which can provide the distributed storage and parallel computing environments for summary generation of massive surveillance video， and solve the storage problem and improve the system computing speed further.

Keywords： massive surveillance video； hierarchical summary generation； compressed domain； key frame

0 引 言

隨著物聯(lián)網(wǎng)技術(shù)的普及和平安城市、智慧城市的推進(jìn)，商場(chǎng)、道路、學(xué)校、工廠、家庭中使用了大量視頻監(jiān)控設(shè)備，產(chǎn)生了海量的監(jiān)控視頻，如何實(shí)現(xiàn)海量監(jiān)控視頻的快速瀏覽，以及在海量視頻中快速檢索出需要的視頻資料，已經(jīng)成為急需解決的問題。引入視頻摘要技術(shù)，分析視頻的內(nèi)容與結(jié)構(gòu)，從原始視頻中提取出關(guān)鍵信息，濃縮成可充分體現(xiàn)視頻語義內(nèi)容的視頻摘要并構(gòu)建概要生成系統(tǒng)已經(jīng)成為一個(gè)研究熱點(diǎn)。文獻(xiàn)[1]對(duì)原視頻中的活動(dòng)事件進(jìn)行提取，采用空間疊加的方式將不同時(shí)間段的活動(dòng)事件壓縮到一個(gè)短視頻中，短視頻包含原視頻的所有活動(dòng)事件，通過瀏覽短視頻達(dá)到快速瀏覽原視頻的目的。文獻(xiàn)[2]對(duì)面向云平臺(tái)的視頻摘要技術(shù)進(jìn)行研究，基于貪心算法和遺傳算法提取監(jiān)控視頻摘要，并利用云端進(jìn)行存儲(chǔ)。文獻(xiàn)[3]提出一種基于運(yùn)動(dòng)人體檢測(cè)的視頻摘要算法，從運(yùn)動(dòng)區(qū)域底層特征出發(fā)，將HOG特征和LBP特征結(jié)合，并通過PCA降維，最終改進(jìn)了基于HOG特征的人體檢測(cè)算法。文獻(xiàn)[4]研究了交通監(jiān)控視頻摘要生成技術(shù)，將人們關(guān)注的交通事件定義為異常事件，對(duì)給定視頻中的視頻幀提取特征結(jié)合帶隱變量的支持向量機(jī)逐幀檢測(cè)視頻中的目標(biāo)，匹配檢測(cè)結(jié)果得到視頻中的運(yùn)動(dòng)軌跡，將其表示為運(yùn)動(dòng)事件，分析其中異常事件的特點(diǎn)，結(jié)合Bootstrapping的隨機(jī)森林模型做分類，完成基于關(guān)鍵區(qū)域的視頻摘要提取算法[4]。

監(jiān)控視頻除具有海量的特點(diǎn)，還存在信息冗余多，超過70%上的冗余；信息密度底，連續(xù)不間斷監(jiān)控過程中可能有用的數(shù)據(jù)僅僅有一兩秒；需要的處理速度快，遵循“1 s定理”；在監(jiān)控視頻摘要的使用方面，瀏覽和檢索通常按照摘要排列的順序從前往后，找到目標(biāo)內(nèi)容后，瀏覽、檢索即可停止。根據(jù)以上監(jiān)控視頻及摘要使用特點(diǎn)，本文面向壓縮域提出了一種分級(jí)摘要生成算法，生成空間占用少、查詢效率高的靜態(tài)視頻摘要，將關(guān)鍵幀按照重要程度從高到低順序排列，生成分級(jí)視頻摘要；在分級(jí)摘要基礎(chǔ)上，基于Hadoop設(shè)計(jì)了一個(gè)海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)。

1 海量監(jiān)控視頻分級(jí)摘要關(guān)鍵技術(shù)

視頻信息有著獨(dú)立的結(jié)構(gòu)。一般說來，組成一段視頻的單位依次為場(chǎng)景、鏡頭、視頻幀。視頻摘要是指利用計(jì)算機(jī)技術(shù)分析視頻結(jié)構(gòu)、理解視頻內(nèi)容，并從原始數(shù)據(jù)中選取具有代表性的、有意義的部分，將它們以某種方式組合并生成緊湊的、用戶可讀的原始視頻的縮略[5]。視頻摘要分為靜態(tài)視頻摘要和動(dòng)態(tài)視頻摘要兩種。靜態(tài)視頻摘要主要分析視覺內(nèi)容，不考慮音頻信息，它的建構(gòu)與表現(xiàn)都相當(dāng)靈活，占用更少的存儲(chǔ)空間，可以更靈活的組織以用于瀏覽和索引。在靜態(tài)視頻摘要生成系統(tǒng)中要著重解決鏡頭分割、關(guān)鍵幀提取、數(shù)據(jù)冗余處理幾個(gè)方面的問題。

1.1 面向壓縮域的鏡頭分割與關(guān)鍵幀提取

在H.264國際標(biāo)準(zhǔn)中，視頻在傳輸、存儲(chǔ)中均采用壓縮形式。面向非壓縮域的鏡頭檢測(cè)和分割方法在對(duì)視頻進(jìn)行計(jì)算前需要解壓縮，計(jì)算完成后傳輸前又要進(jìn)行壓縮，尤其是在面對(duì)海量數(shù)據(jù)時(shí)，對(duì)速度影響較大。面向壓縮域的視頻鏡頭檢測(cè)和分割算法直接從壓縮視頻數(shù)據(jù)流中提取用于鏡頭分割的特征，省去解壓步驟，加快了檢測(cè)速度。

1.1.1 幀的分類

在H.264國際標(biāo)準(zhǔn)中，視頻幀被分成一個(gè)個(gè)的組（Group of Picture，GoP）。壓縮編碼時(shí)，視頻幀序列被壓縮成為幀、幀或者幀。幀又稱為內(nèi)部編碼，通常是每個(gè)GoP的第一個(gè)幀，它是一個(gè)全幀壓縮的編碼幀，僅用幀的數(shù)據(jù)就可重構(gòu)完整圖像完成解碼[6]；幀被稱為預(yù)測(cè)編碼，需要參考前面的幀完成解碼；幀被稱為雙向預(yù)測(cè)編碼，需要參考前后的幀完成解碼。

1.1.2 DCT變換

DCT（Discrete Cosine Transform）編碼屬于正交變換編碼，主要作用是將圖像矩陣的時(shí)域信號(hào)變換到系數(shù)空間的頻域信號(hào)上。正交變換前后圖像的信息量沒有損失，所以可以通過反向變換得到原始圖像。由于在空間上相關(guān)性強(qiáng)的信號(hào)變換到頻域上之后，某特定區(qū)域的能量常常被集中在一起，所以圖像經(jīng)過變換后，對(duì)大多數(shù)圖像，將原空間的圖像數(shù)據(jù)在新的空間中得到集中，而且大多數(shù)變換系數(shù)很小，很多接近0，所以只要?jiǎng)h除接近0的系數(shù)，粗量化較小的系數(shù)，將包含圖像主要信息的系數(shù)保留，就能實(shí)現(xiàn)壓縮編碼。解碼時(shí)，因?yàn)橹饕畔⒌靡员Ａ簦詧D像基本不會(huì)失真。

由于對(duì)整個(gè)圖像進(jìn)行DCT變換計(jì)算量太大，所以通常將圖像分解為8×8的子塊。先對(duì)8×8個(gè)子塊進(jìn)行余弦變換后得到8×8個(gè)變換系數(shù)，其中集中在左上角的是低頻分量，數(shù)值最大的元素在第一行第一列，叫做DC系數(shù)，即直流系數(shù)，反映8×8圖像子塊的平均值，其他63個(gè)元素是AC系數(shù)，即交流系數(shù)。得到AC和DC系數(shù)后，再依據(jù)壓縮需求選取DC系數(shù)和部分AC系數(shù)進(jìn)行量化，最后將變換得到的量化DCT系數(shù)進(jìn)行編碼和傳送，完成圖像壓縮。解碼時(shí)，先解碼DCT系數(shù)，然后求逆，并轉(zhuǎn)化為8×8樣本像塊（使用二維DCT反變換），最后將這些塊組合在一起還原為單一圖像。

1.1.3 面向壓縮域的鏡頭分割與關(guān)鍵幀提取方法

根據(jù)MPEG壓縮域國際標(biāo)準(zhǔn)，幀是基礎(chǔ)幀，蘊(yùn)含了視頻的主要信息。幀在壓縮域體現(xiàn)為DCT系數(shù)，DCT系數(shù)中的DC系數(shù)是視頻的主要信息攜帶者[6]。一方面由于人的視覺系統(tǒng)不是對(duì)任何變化都能感知到，另外一方面，海量監(jiān)控視頻摘要分析是對(duì)視頻的一種近似智能化分析與處理，視頻分割允許一定范圍內(nèi)的誤差，所以認(rèn)為在鏡頭分割時(shí)可以首先在MPEG壓縮域中提取幀，然后在幀中提取DC系數(shù)，滿足鏡頭分割的需要。

1.2 分級(jí)摘要生成

粗糙集RS（rough sets）理論由波蘭學(xué)者Pawlak在1982年提出[7]，是一種刻畫不完整性和不確定性的數(shù)學(xué)工具，能有效地分析和處理不精確、不一致、不完整等各種不完備信息，并從中發(fā)現(xiàn)隱含知識(shí)，揭示潛在規(guī)律[8]。

知識(shí)庫中的知識(shí)并非同等重要，有很大一部分是冗余的。屬性約簡(jiǎn)是粗糙集理論的核心內(nèi)容之一，其主要思想是：在保持相對(duì)分類能力不變的條件下，刪除那些冗余的、不必要的屬性，以達(dá)到知識(shí)簡(jiǎn)化的目的[9]。視頻數(shù)據(jù)是非結(jié)構(gòu)性數(shù)據(jù)，冗余數(shù)據(jù)量大，尤其是監(jiān)控視頻大約占到總體數(shù)據(jù)70%以上，大量冗余數(shù)據(jù)制約了監(jiān)控視頻分析技術(shù)的性能、結(jié)果，對(duì)監(jiān)控視頻數(shù)據(jù)的約減、去冗是監(jiān)控視頻數(shù)據(jù)處理不可缺少的部分。使用粗糙集理論可以在不需要先驗(yàn)知識(shí)的前提下，對(duì)屬性進(jìn)行劃分，可大大消除冗余數(shù)據(jù)，并在此基礎(chǔ)上進(jìn)行信息系統(tǒng)模型的建立及后續(xù)工作。

核代表了信息系統(tǒng)中不可約簡(jiǎn)的屬性，對(duì)應(yīng)到視頻序列為不可約簡(jiǎn)的視頻幀，即關(guān)鍵幀。由于重要的鏡頭總是要以更多的冗余幀來體現(xiàn)，因此，冗余的幀越多，說明鏡頭的內(nèi)容越重要，即視頻的重要程度與冗余的幀成正比。據(jù)此，可根據(jù)約簡(jiǎn)的幀的數(shù)目給視頻內(nèi)容排序，依據(jù)排序后的結(jié)果即可產(chǎn)生分級(jí)的視頻摘要。用戶根據(jù)需要瀏覽、檢索生成的視頻摘要，排在前面的總是最重要的內(nèi)容。

2 海量監(jiān)控視頻分級(jí)摘要生成算法

在對(duì)系統(tǒng)關(guān)鍵技術(shù)分析的基礎(chǔ)上，設(shè)計(jì)海量監(jiān)控視頻摘要生成系統(tǒng)的模型為：原始監(jiān)控視頻流→提取幀→提取幀DCT系數(shù)→提取DC系數(shù)→聚類視頻流鏡頭→依據(jù)鏡頭的DC系統(tǒng)構(gòu)造信息系統(tǒng)→依據(jù)粗糙集理論對(duì)信息系統(tǒng)進(jìn)行約簡(jiǎn)→產(chǎn)生沒有冗余的幀→根據(jù)約簡(jiǎn)數(shù)目排序→產(chǎn)生分級(jí)視頻摘要。如圖1所示。

Step1：提取DCT，DC系數(shù)

在壓縮域中，幀攜帶了主要信息。在幀的DCT系數(shù)中，DC系數(shù)代表了最多的信息量。直接在原始?jí)嚎s視頻流中提取幀，并且依次提取DCT系數(shù)與DC系數(shù)。其過程可表示如下：

式中表示原始視頻序列。

Step2：數(shù)據(jù)預(yù)處理

DC系數(shù)攜帶的信息完全可滿足視頻分割需要，但由于視頻數(shù)據(jù)存在巨大的數(shù)據(jù)冗余，因此，在使用DC系數(shù)進(jìn)行分析處理前，必須進(jìn)行數(shù)據(jù)預(yù)處理，盡可能減少冗余數(shù)據(jù)，提高數(shù)據(jù)分析的實(shí)時(shí)性。

Step3：鏡頭分割

每個(gè)鏡頭包含有若干連續(xù)的圖像幀，它是視頻結(jié)構(gòu)化的基礎(chǔ)物理單元。進(jìn)行聚類分析與關(guān)聯(lián)分析，根據(jù)視頻相鄰幀之間數(shù)據(jù)的相關(guān)性將視頻幀劃分到對(duì)應(yīng)的鏡頭，為下一步摘要的生成提供科學(xué)依據(jù)。其過程可用式（4）～式（6）表示：

Step4：視頻摘要提取

首先根據(jù)式（3）的結(jié)果建立信息系統(tǒng)模型，引入粗糙集理論進(jìn)行約簡(jiǎn)，最后依據(jù)約簡(jiǎn)結(jié)果排序，產(chǎn)生面向用戶的分級(jí)視頻摘要。

3 海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)

3.1 Hadoop技術(shù)

Hadoop是由一系列的軟件庫組成的框架。這個(gè)框架適合用作大數(shù)據(jù)處理，其中分布式文件系統(tǒng)HDFS（Hadoop Distribute File System）是Hadoop的基石，負(fù)責(zé)數(shù)據(jù)存儲(chǔ)。HDFS中的節(jié)點(diǎn)分為兩類：名字節(jié)點(diǎn)（NameNode）和數(shù)據(jù)節(jié)點(diǎn)（DataNode）。其中，名字節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)，存儲(chǔ)文件與數(shù)據(jù)庫映射，提供文件系統(tǒng)的全景圖，數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)塊數(shù)據(jù)。HDFS具有高效、高可靠、可伸縮、易于訪問等特點(diǎn)，為PB級(jí)海量數(shù)據(jù)提供存儲(chǔ)，以并行的方式工作，自動(dòng)保存數(shù)據(jù)的多個(gè)副本，自動(dòng)將失敗的任務(wù)重新分配，以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)，能有效解決監(jiān)控系統(tǒng)負(fù)載過重、容災(zāi)能力弱、擴(kuò)展能力弱等問題。Hadoop框架中另有其他專門模塊負(fù)責(zé)計(jì)算、資源管理等。

3.2 海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)總體設(shè)計(jì)

監(jiān)控視頻的分級(jí)視頻摘要主要用作海量監(jiān)控視頻的快速瀏覽、檢索，要進(jìn)行案件偵破、事實(shí)還原，原始視頻必不可少，孤立的視頻摘要和原始視頻意義不大，故海量視頻摘要生成系統(tǒng)在設(shè)計(jì)時(shí)還要同時(shí)考慮原始視頻的收集和存放、瀏覽等問題。鑒于此，基于Hadoop建立海量視頻分級(jí)摘要生成系統(tǒng)，可實(shí)現(xiàn)海量監(jiān)控視頻及分級(jí)摘要分布式存儲(chǔ)，摘要生成，視頻瀏覽的并行處理等。系統(tǒng)具體設(shè)計(jì)如圖2所示。

海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)分為海量原始監(jiān)控視頻生成子系統(tǒng)、海量監(jiān)控視頻分級(jí)摘要生成子系統(tǒng)、海量監(jiān)控視頻存儲(chǔ)子系統(tǒng)、海量監(jiān)控視頻瀏覽子系統(tǒng)，共4個(gè)子系統(tǒng)。

海量原始監(jiān)控視頻生成子系統(tǒng)從攝像頭采集數(shù)據(jù)，并壓縮成符合H.264標(biāo)準(zhǔn)的原始監(jiān)控視頻。海量監(jiān)控視頻分級(jí)摘要生成子系統(tǒng)使用本文提出的算法生成海量監(jiān)控視頻分級(jí)摘要。海量監(jiān)控視頻存儲(chǔ)子系統(tǒng)存儲(chǔ)原始監(jiān)控視頻和生成的分級(jí)視頻摘要，是一個(gè)HDFS。其中，視頻管理服務(wù)器是名字節(jié)點(diǎn)，管理原始視頻和視頻摘要的存儲(chǔ)位置，原始監(jiān)控視頻和監(jiān)控視頻分級(jí)摘要存儲(chǔ)在數(shù)據(jù)節(jié)點(diǎn)中。海量監(jiān)控視頻瀏覽子系統(tǒng)提供監(jiān)控視頻分級(jí)摘要和原始監(jiān)控視頻的瀏覽功能。由于本文提出的海量監(jiān)控視頻分級(jí)摘要生成算法建立在H.264壓縮域基礎(chǔ)之上，所以在4個(gè)子系統(tǒng)間流動(dòng)的也是符合H.264標(biāo)準(zhǔn)的壓縮文件。因?yàn)镠DFS沒有視頻文件處理能力，給客戶端瀏覽帶來不便，所以系統(tǒng)必須添加一個(gè)流媒體文件服務(wù)器，以便HDFS中的視頻文件能夠被處理和觀看。

系統(tǒng)運(yùn)行時(shí)，海量原始監(jiān)控視頻生成子系統(tǒng)將獲取的原始監(jiān)控視頻存入海量監(jiān)控視頻存儲(chǔ)系統(tǒng)；海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)從海量監(jiān)控視頻存儲(chǔ)系統(tǒng)獲取原始監(jiān)控視頻，生成分級(jí)視頻摘要，然后將生成的分級(jí)視頻摘要存儲(chǔ)在海量監(jiān)控視頻存儲(chǔ)系統(tǒng)中；海量監(jiān)控視頻瀏覽系統(tǒng)按照用戶的需求調(diào)用監(jiān)控視頻分級(jí)摘要或原始監(jiān)控視頻進(jìn)行瀏覽。

4 結(jié) 論

對(duì)H.264標(biāo)準(zhǔn)壓縮域視頻結(jié)構(gòu)進(jìn)行分析，通過提取DCT系數(shù)、DC系數(shù)，對(duì)壓縮域的幀進(jìn)行聚類，建立信息系統(tǒng)，通過粗糙集理論去除冗余，提取關(guān)鍵幀的方法生成監(jiān)控視頻分級(jí)摘要，使用內(nèi)容分析的方法克服傳統(tǒng)摘要提取的隨意性、主觀性、片面性，生成的摘要占用存儲(chǔ)空間小、瀏覽和檢索效率高。并在此基礎(chǔ)上設(shè)計(jì)了一個(gè)基于Hadoop集群的海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)，從系統(tǒng)架構(gòu)的角度進(jìn)一步解決海量監(jiān)控視頻存儲(chǔ)問題，提高海量監(jiān)控視頻分級(jí)摘要生成系統(tǒng)的運(yùn)算速度。目前，該摘要生成系統(tǒng)還沒有包括摘要信息檢索功能，后續(xù)將在這個(gè)方面繼續(xù)努力。

參考文獻(xiàn)

[1] 周小龍.監(jiān)控視頻摘要生成技術(shù)的研究與實(shí)現(xiàn)[D].重慶：重慶大學(xué)，2010.

[2] 楊軍杰.面向云平臺(tái)的視頻摘要技術(shù)的研究與實(shí)現(xiàn)[D].北京：北京郵電大學(xué)，2014.

[3] 張慧.基于運(yùn)動(dòng)人體檢測(cè)的監(jiān)控視頻摘要[D].合肥：安徽大學(xué)，2014.

[4] 袁冠紅.基于異常事件檢測(cè)的交通監(jiān)控視頻摘要[D].杭州：浙江大學(xué)，2015.

[5] 王娟，蔣興浩，孫錟鋒.視頻摘要技術(shù)綜述[J].中國圖象圖形學(xué)報(bào)，2014（12）：1686?1695.

[6] 李向偉.壓縮域視頻檢索與挖掘關(guān)鍵技術(shù)研究[D].蘭州：蘭州理工大學(xué)，2010.

[7] PAWLAK Z. Rough sets [J]. International journal of computer and information science， 1982， 11（5）： 341?356.

[8] GRZYMALA?BUSSE J W， PAWLAK Z， SLOWINSKI R， et al. Rough sets [J]. Communication of ACM， 1995， 38（11）： 88?95.

[9] 李向偉，康毓秀.粗糙集理論在視頻分析中的應(yīng)用[J].軟件，2014（9）：1?5.

[10] 劉曉彤.高效視頻編碼中自適應(yīng)插值濾波器的研究[D].長(zhǎng)春：吉林大學(xué)，2014.