基于視覺特征提取的壓縮域在線視頻摘要快速提取

周柏清，黃　淼，任勇軍

(1.湖州職業(yè)技術(shù)學(xué)院 信息工程分院，浙江 湖州 313000；2.平頂山學(xué)院 軟件學(xué)院，河南 平頂山 467000；3.南京信息工程大學(xué) 計算機與軟件學(xué)院，江蘇 南京 210044)

?

基于視覺特征提取的壓縮域在線視頻摘要快速提取

周柏清1，黃淼2，任勇軍3

(1.湖州職業(yè)技術(shù)學(xué)院 信息工程分院，浙江 湖州 313000；2.平頂山學(xué)院 軟件學(xué)院，河南 平頂山 467000；3.南京信息工程大學(xué) 計算機與軟件學(xué)院，江蘇 南京 210044)

摘要：為了在有限的時間內(nèi)產(chǎn)生質(zhì)量可接受的視頻摘要以達(dá)到在線使用的要求，提出一種基于視覺特征提取(visual features extraction ，VFE)的壓縮域視頻摘要快速提取方法。從每幀輸入視頻中提取視覺特征，采用零均值歸一化交叉相關(guān)(zero mean normalized cross correlation，ZNCC)指標(biāo)檢測有相似內(nèi)容的視頻幀組，為每組選擇代表性幀，運用2個量化直方圖過濾所選擇的幀，從而避免視頻摘要中可能的冗余或無意義幀。在視頻檢索國際權(quán)威評測(TREC video retrieval evaluation，TRECVID)2007數(shù)據(jù)集上的實驗結(jié)果表明，與基于聚類的高斯混合模型、基于熵的模糊C均值聚類和關(guān)鍵幀提取方法相比，該方法提取的視頻摘要質(zhì)量更高，且在時間和空間復(fù)雜度上具有明顯優(yōu)勢，適合在線實時處理。

關(guān)鍵詞：視頻摘要；壓縮域；視覺特征提取(VFE)；量化直方圖；TRECVID 2007

0引言

隨著大數(shù)據(jù)時代的到來，視頻數(shù)據(jù)充斥著工作和生活，如何從冗余數(shù)據(jù)中獲取需要的視頻數(shù)據(jù)是一個亟待解決的問題[1]。所需要的視頻即視頻摘要是一個精簡版的視頻序列，近些年隨著高清視頻的普及和網(wǎng)絡(luò)帶寬過剩， 獲取高質(zhì)量視頻摘要的呼聲越來越高，為了在線產(chǎn)生高質(zhì)量視頻摘要，解決方案必須高效且漸進(jìn)執(zhí)行，用戶大多需要在下載視頻數(shù)據(jù)過程中能產(chǎn)生高質(zhì)量的視頻摘要。

一般視頻摘要提取有2種不同類型：靜態(tài)視頻情節(jié)提取，是從原始視頻中提取視頻幀的集合，如文獻(xiàn)[1-3]就是靜態(tài)視頻摘要；另一種是動態(tài)視頻剪輯，它是一組視頻短片，加入序列，并作為視頻播放，如文獻(xiàn)[4-5]。動態(tài)視頻剪輯算法框架可以按照非壓縮域[5-7]和壓縮域[8-9]分組。

文獻(xiàn)[5]提出了一種通過采用一個高層次特征融合的方法來提取視頻摘要。首先，預(yù)采樣步驟是為了丟棄大量的冗余信息，接著，在剩余的幀中提取5個高層次的特征；之后，通過梯度下降方法組合這些功能的最優(yōu)權(quán)重；最后，用加權(quán)k均值算法識別構(gòu)成最終摘要中最重要的段。這種利用高層次的特征提取視頻摘要可以產(chǎn)生不錯的效果，但是需要離線操作，時間和存儲開銷都非常大，無法適應(yīng)在線提取視頻摘要。

文獻(xiàn)[6]提出了一種聚類算法，以同類色配合視頻幀組。首先，視頻序列分解成片段，基于顏色矩相似幀分組；接著，采用基于粗糙集理論的譜聚類(rough-set based spectral clustering, RSC)方法聚類這些片段，屬于同一個集群的連續(xù)片段結(jié)合；然后，相鄰的段被合并，以便減少冗余；最后，從最長段幀的子集選擇得到視頻摘要。與文獻(xiàn)[6]類似，文獻(xiàn)[7]將輸入視頻轉(zhuǎn)換成基于顏色直方圖的鏡頭。此后，將它們應(yīng)用貪婪RSC方法進(jìn)行相鄰鏡頭的合并，進(jìn)而減少了冗余。在結(jié)束時，具有最高運動部分的視頻幀才能包括在摘要中。文獻(xiàn)[6-7]雖然一定程度上減少了冗余信息，但只適合離線提取視頻摘要。

文獻(xiàn)[8]提出了一種技術(shù)以解決視頻摘要問題，通過故事結(jié)構(gòu)與視頻拍攝的動力學(xué)表征信息來組合，通過對視頻流的部分譯碼，計算估計每個鏡頭的視頻摘要貢獻(xiàn)的運動描述符。接著，利用隱馬爾可夫模型(hidden markov model, HMM)模擬拍攝順序，最后，視頻摘要作為觀測序列生成，其中較高概率分配給動態(tài)拍攝。文獻(xiàn)[8]利用HMM，是個不錯的策略，在壓縮域取得一些效果，不過內(nèi)容的分析必須在完整可用的數(shù)據(jù)上執(zhí)行，而網(wǎng)絡(luò)數(shù)據(jù)總是滿足這一條件。

文獻(xiàn)[9]提出了一個基于熵的模糊C均值聚類的摘要算法。最初，從每個圖片組序列(groups of pictures, GOP)的I-幀的數(shù)碼相機(digital camera，DC)圖像提取顏色布局描述符；接著，通過比較連續(xù)GOP特征向量之間的相異度，輸入序列分割為視頻鏡頭；之后，聚類方法用于鏡頭分組；最后，使用交互式定級過程獲得視頻摘要。文獻(xiàn)[9]聚類算法的應(yīng)用提高了壓縮域上的操作，其局限和文獻(xiàn)[8]一樣，必須在完整可用數(shù)據(jù)上執(zhí)行。

在眾多解決方案中，很多研究側(cè)重非壓縮域[5-7]，盡管它們有些能產(chǎn)生不錯的質(zhì)量，但非常耗時，而且存儲空間也巨大，即它們只適用于離線使用，很難達(dá)到在線操作的要求。而壓縮域可作為加速計算性能的替代者[8-9]，盡管那些策略有效，但內(nèi)容分析必須在所有完整可用的數(shù)據(jù)上執(zhí)行，限制了在線操作模式。因此，本文提出一種基于視覺特征提取(visual features extraction, VFE)的視頻摘要快速提取方法，直接在壓縮域運行，它依賴于視頻的視覺特征和簡單快速的視頻相似內(nèi)容檢測，本文框架以遞進(jìn)方式產(chǎn)生輸出摘要。計算上的改進(jìn)使該技術(shù)框架適用于在線操作。

1MPEG-1/2/3/4

MPGE視頻主要由三類圖片組成：幀內(nèi)編碼(I-幀)、幀間預(yù)測(P-幀)和雙向預(yù)測(B-幀)，這些圖片組織成MPEG視頻流中的GOP。

GOP必須以I-幀開始，然后是任意數(shù)目的I和P幀，它們?yōu)殄^幀。每對連續(xù)錨幀之間可出現(xiàn)多個B-幀。圖1給出了一種典型的GOP結(jié)構(gòu)。

I-幀不參考任意其他視頻幀，因此，可獨立編碼，為快速訪問壓縮視頻提供一個入口點。另一方面，P-幀編碼基于2個錨幀，前1個以及后1個錨幀。

每個I-幀劃分為一個無重疊宏序列，對于以4∶2∶0格式編碼的視頻，每個宏包括6個8×8像素塊，4個亮度(Y)塊和2個色度(CbCr)塊，每個宏完全內(nèi)編碼，因此，使用離散余弦變換(discrete cosine transform, DCT)轉(zhuǎn)換每個8×8像素塊到頻域，然后量化(有損)和熵(運行長度和霍夫曼，無損)編碼64個DCT系數(shù)，實現(xiàn)壓縮。

圖1　MPEG視頻中的GOPFig.1　GOP of MPEG video

2壓縮域視頻摘要快速提取方法

本文方法包括3個主要步驟：①特征提??；②內(nèi)容選擇；③噪聲過濾。流程圖如圖2所示，從每幀輸入視頻流中提取視覺特征，接著使用一種簡單快速算法檢測相似內(nèi)容的視頻幀組，并為每個組選擇代表性視頻幀，最后，過濾選擇的幀，以避免視頻摘要中可能的冗余或無意義幀。下面詳細(xì)介紹每個步驟。

圖2　本文方法流程圖Fig.2　Flow chart of proposed method

2.1特征提取

將視頻流劃分為一組有意義可管理的單元，大部分視頻編碼基于GOP，作為基本單元。I-幀包括表征整個GOP內(nèi)容足夠多的信息。

原始圖像劃分為8×8像素塊，每個塊轉(zhuǎn)換為64個DCT系數(shù)來執(zhí)行MPEG視頻的I-幀壓縮，DC項c(0,0)通過(1)式[10]與像素值f(i,j)相關(guān)

(1)

即DC項的值是像素塊平均強度的8倍，若提取所有塊的DC項，可使用這些值形成原始圖像的縮減版本，這個相似圖像便是DC圖像[10]。盡管DC圖像的大小僅為原始圖像的1/64，但它仍然保留了重要信息量，因此，在原始圖像上執(zhí)行全局特征提取可應(yīng)用于DC圖像。圖3給出了大小為352×288的圖像，其對應(yīng)的DC圖像大小為44×36。雖然DC圖像縮減了尺寸，但它們未壓縮，需要大量存儲空間。為了保存待存儲的數(shù)據(jù)，可通過計算彩色直方圖[11]將每個DC圖像變換為一個256維特征向量。該技術(shù)計算量小，且對攝像機位置的微小變化具有魯棒性。本文從色度，飽和度，純度(hue，saturation，value，HSV)顏色空間獲得了彩色直方圖，更能抵御噪聲，HSV空間的彩色直方圖提取如下：HSV顏色空間劃分為256個子空間，使用H的32個范圍、S的4個范圍和V 的2個范圍，特征向量的每個維度值是整個DC圖像中每個顏色的空間密度。

圖3　原始圖像352×288和其DC圖像44×36Fig.3　Original image 352 x 288 and its DC images 44×36

2.2內(nèi)容選擇

利用從壓縮視頻中提取的彩色直方圖來檢測具有相似內(nèi)容的視頻幀組，并選擇每組中具有代表性的視頻幀，以產(chǎn)生視頻摘要。分組相似幀的有效性依賴于2個幀所用的相似度指標(biāo)。本文采用零均值歸一化交叉相關(guān)(zero-meannormalizedcrosscorrelation,ZNCC)指標(biāo)[12]作為2個幀之間的距離函數(shù)，該函數(shù)對光照仿射變換具有不變性，因此，這類度量廣泛用于模板匹配、運動分析等。

(2)

(2)式中，Ht1和Ht2分別是在t1和t2時刻從視頻幀提取的彩色直方圖。該函數(shù)返回一個從-1(-1表示直方圖完全不相似)到+1(+1表示相等)的實數(shù)。

為了檢測視頻幀組，本文計算了連續(xù)幀的成對不相似度。圖4給出了這些值按時間分布的例子，從圖4中可以觀察到有一些瞬時時刻視頻幀之間的不相似度差別很大(對應(yīng)峰值)，而更長周期內(nèi)則變化較小(對應(yīng)非常密集的區(qū)域)。通常，峰值對應(yīng)于視頻中突然的動作或場景變換，而視頻幀在密集區(qū)域更相似。因此，2個峰值之間的幀可視作具有相似內(nèi)容的幀組。本文僅考慮特定時刻的峰值。

圖4　TRECVID2007數(shù)據(jù)集的視頻MRS150072幀之間的兩兩相異性Fig.4　Diversity between MRS150072 frame in TRECVID2007 data set

(3)

(3)式中，ε是相似幀之間不相似度的閾值。通過實驗測試，發(fā)現(xiàn)該值取0.05—0.15是不錯的選擇[13]。

若相似幀序列的持續(xù)時間小于最小值，則丟棄所有這些幀，否則，選擇這個序列中一段代表一個幀組。即當(dāng)且僅當(dāng)幀組大于閾值λ時，幀組可用作摘要。根據(jù)經(jīng)驗，相似幀視頻持續(xù)時間占總的視頻序列0.5%—2%是一個良好的選擇。

最后，通過以用戶定義的速率提取視頻幀段，本文僅選擇I-幀(情節(jié)摘要)或整個GOP(視頻剪輯)。本文僅15%的幀組包括在視頻摘要中，通過本方法選擇的視頻幀如圖5所示，對TRECVID 2007數(shù)據(jù)集的視頻MRS150072取每段中間的I-幀。

2.3噪聲過濾

噪聲過濾是避免視頻摘要中可能的冗余或無意義幀，因為垃圾幀和冗余段可能會影響視頻摘要的質(zhì)量。垃圾幀通常出現(xiàn)在每個鏡頭的開始或末尾，例如測試圖案、拍手板、單色幀等。冗余幀源自重復(fù)序列。

圖5　對TRECVID2007數(shù)據(jù)集的視頻MRS150072選定幀F(xiàn)ig.5　Selected frame for MRS150072 video in TRECVID2007 data sets

當(dāng)選擇一個新的視頻幀組成視頻摘要時，若它不是必須幀，則丟棄它。接著檢查分析該幀是否有用，為此，從其量化的圖像計算2個直方圖：一個用于顏色分布，另一個用于梯度方向，原始直方圖有36個bins，覆蓋360°方向。圖6解釋了各類視頻幀的直方圖的行為，值得一提的是，垃圾幀的分布是均勻分布，這使得bins之間差異較大，因此，若直方圖的歸一化差異大于預(yù)定義閾值，本文將丟棄這個輸入幀，否則，比較它與視頻摘要的所有幀。比較視頻幀的算法依賴于量化圖像之間的像素對匹配，如果2個對應(yīng)像素的強度值不同或它們對應(yīng)4鄰域之一擁有不同的量化顏色，則它們不相似，否則認(rèn)為它們相似。因此，這些幀之間的相似度通過相似像素數(shù)與總像素數(shù)的比率測量，如果它們之間的相似度大于0.05，則2個視頻幀匹配。如果匹配幀與從幀組選擇的總幀數(shù)的比率低于最小值，則這個段中所有幀都包括在視頻摘要中。否則，假設(shè)它們都屬于冗余段，丟棄它們。按照經(jīng)驗，比率小于50%是個不錯的選擇[13]。圖7為利用本文方法經(jīng)過噪聲過濾后的TRECVID 2007數(shù)據(jù)集的視頻MRS150072。

3實驗與分析

3.1實驗數(shù)據(jù)集

本文所用數(shù)據(jù)集為TRECVID2007數(shù)據(jù)集[14]，大約5小時的視頻(409 630幀)，所有視頻是MPEG-1格式(352×288分辨率、幀率為25 fame/s)，顏色和聲音等均未剪輯，鏡頭主要為英國廣播公司戲劇節(jié)目的5大系列。這些視頻取自制作電影或紀(jì)錄片的拍攝過程中，是來自攝像機的原始記錄，一般在6—34 min變化，由于拍攝現(xiàn)場動作表現(xiàn)或意外失誤的變化，會有一些同樣的場景記錄在視頻序列。此外，它們還含有輔助數(shù)據(jù)，如測試圖案，以校準(zhǔn)攝像機的顏色，或拍板序列。

圖6顏色直方圖(第2列)、方向直方圖(第3列)和正常行為(第1行)，單色幀(第2行)和彩條幀(第3行)

Fig.6Color histograms (second column), orientation histograms (third column), normal behavior (first row), monochrome (second row) and color-bar (third row) frames

圖7　經(jīng)過噪聲過濾后的TRECVID 2007數(shù)據(jù)集

3.2實驗評估框架與參數(shù)設(shè)置

與其他的研究領(lǐng)域不同，評價一個視頻摘要并非簡單，常常需要一致的評估框架。文獻(xiàn)[1,15]都有自己的評估方法，但沒有任何性能分析。本文的評價方法與文獻(xiàn)[14]一樣，在這種方法中，地面實況是發(fā)生在原始視頻中重要的視頻段，每個視頻段確定了鮮明的物體或事件，使用拍攝角度、距離或者其他信息決定是否合格。每一個視頻摘要由多少地面實況(inclusions, IN)和多少重復(fù)材料(eedundancy, RE)來判斷，另外本文還采用2個額外評估項：相對于原始視頻的持續(xù)時間(duration, DU)和垃圾幀(junk, JU)所占份額。

本文方法制作視頻摘要的參數(shù)：ε設(shè)定為0.075，λ為給定視頻長度的0.5%，κ為所選擇幀的25%。手動注釋TRECVID 2007數(shù)據(jù)集視頻的所有幀為正常、單色或彩條，接著計算每個幀的顏色和方向直方圖的歸一化差異，選擇用于選擇濾出垃圾幀的閾值。

3.3視頻摘要質(zhì)量與運行成本比較

所有實驗均在英特爾酷睿2四核Q6600處理器上執(zhí)行(四核運行頻率為2.4 GHz)，2 GByte的DDR3內(nèi)存。將本文方法生成的視頻摘要質(zhì)量與文獻(xiàn)[6]提出的基于聚類的高斯混合模型、文獻(xiàn)[9]提出的基于熵的模糊C均值聚類和關(guān)鍵幀提取方法進(jìn)行比較，比較結(jié)果如圖8所示。整體結(jié)果表示為杜克式盒狀圖，如圖9所示。

圖8　各個方法產(chǎn)生視頻摘要質(zhì)量Fig.8　Video summarization quality of each method

圖9　杜克式盒形圖示例Fig.9　Sample of Duke box figure

實驗結(jié)果表明，在視頻摘要中的IN以及原始視頻的DU方面，本文方法與其他方法質(zhì)量差不多，但在RE和JU所占份額方面優(yōu)于其他算法。為了驗證這些結(jié)果的統(tǒng)計顯著性，需要計算它們之間差異的置信區(qū)間，進(jìn)而比較每對方法。若置信區(qū)間包括零，則差異在該置信水平上不顯著，否則差異顯著。

表1是95%置信度下不同方法的差異對比，實驗分析表明，這些方法產(chǎn)生的視頻摘要的IN和持續(xù)時間DU相似。因此，其他度量的置信區(qū)間不包括零，結(jié)果證實，本方法相對于其他方法能產(chǎn)生更優(yōu)質(zhì)量的摘要(擁有最高RE和JU)。

表1　95%置信度下不同方法的差異

由于產(chǎn)生視頻摘要所需的時間依賴于硬件，且所有待比較方法的源代碼不可用，這里只能做相對性能差異。表2為所有比較方法的計算成本和空間需求(相對于幀數(shù)n和特征向量的維度d)。

表2　各種方法的計算成本和空間需求

從表2可以看出，本文方法的計算成本和空間需求低于其他2種比較方法，本文方法采用ZNCC指標(biāo)作為2個幀之間的距離函數(shù)，該函數(shù)對光照仿射變換具有不變性，可實現(xiàn)快速的相似度檢測，通過噪聲過濾避免視頻摘要中可能的冗余或無意義幀，進(jìn)一步降低了計算開銷。

4結(jié)束語

本文提出了一種基于視覺特征的視頻摘要提取方法，采用零均值歸一化交叉相關(guān)指標(biāo)檢測有相似內(nèi)容的視頻幀組，為每組選擇代表性幀，運用2個量化直方圖過濾所選擇的幀，避免了視頻摘要中可能的冗余或無意義幀。本文方法可直接在壓縮域運行，實現(xiàn)視頻摘要的遞進(jìn)生成，適用于視頻摘要的在線生成。在TRECVID2007數(shù)據(jù)集(BBC未剪輯摘要任務(wù))的實驗表明，本文方法能產(chǎn)生高質(zhì)量視頻摘要，且計算開銷低于目前幾種較為先進(jìn)的方法。

本文方法也可采用其他視覺特征和相似度指標(biāo)的評估，另外用于局部特征和運動分析將是不錯的選擇，這將是未來工作的重點。

參考文獻(xiàn)：

[1]WANG L, WANG W, JIAN M A, et al. Perceptual video encryption scheme for mobile application based on H. 264[J]. The Journal of China Universities of Posts and Telecommunications, 2008, 15(4): 73-78.

[2]陳佳, 滕東興, 楊海燕，等. 一種草圖形式的視頻摘要生成方法[J]. 中國圖象圖形學(xué)報, 2010, 43(8): 1139-1144.

CHEN Jia, TENG Dongxin, YANG Haiyan, et al. A generating method for video abstraction of the form of sketches [J]. Journal of Image and Graphics, 2010, 43(8): 1139-1144.

[3]羅斌, 戴玉名, 翟素蘭. 自適應(yīng)CCV及等價關(guān)系聚類的視頻摘要的生成[J]. 重慶大學(xué)學(xué)報：自然科學(xué)版, 2010, 18 (2) : 69-72.

LUO Bin, DAI Yuming, ZHAI Sulan. Video summarization generation based on adaptive CCV and equivalent relation clustering [J]. Journal of chongqing university: Natural Science Edition, 2010, 18 (2) : 69-72.

[4]吳華, 馮達(dá), 柳長安，等. 基于導(dǎo)航信息的架空電力線巡檢視頻摘要[J]. 華中科技大學(xué)學(xué)報：自然科學(xué)版，2013, 41(1): 1120-1126.

WU Hua, FENG Da, LIU Changan, et al. Overhead power line inspection video abstract based on the navigation information [J]. Journal of Huazhong University of Science and Technology：Natural Science Edition, 2013, 41 (1): 1120-1126.

[5]KLEBAN J, SARKAR A, MOXLEY E, et al. Feature fusion and redundancy pruning for rush video summarization [C]//Proceedings of the international workshop on TRECVID video summarization (TVS).Augsburg, Bavaria, Germany：ACM, 2007: 84-88.

[6]OU S H, LEE C H, SOMAYAZULU V S, et al. Low complexity on-line video summarization with Gaussian mixture model based clustering[C]// IEEE.Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on.Dresden, Germany：IEEE Press, 2014, 1260-1264.

[7]CHASANIS V, LIKAS A, GALATSANOS N. Video Rushes Summarization Using Spectral Clustering and Sequence Alignment[C]//Proc.Workshop on TRECVID Video Summarization，Vancouver. Ljubljana, Slovenia：IEEE Press，2008: 75-79.

[8]PIACENZA A, GUERRINI F, ADAMI N, et al. Markov chains fusion for video scenes generation[C]//IEEE.Signal Processing Conference (EUSIPCO), 2012 Proceedings of the 20th European.Ljubljana,Slovenia：IEEE Press, 2012: 405-409.

[9]ANGADI S, NAIK V. Entropy Based Fuzzy C Means Clustering and Key Frame Extraction for Sports Video Summarization[C]//IEEE.Signal and Image Processing (ICSIP), 2014 Fifth International Conference on, Piscataway, NJ：IEEE Press, 2014: 271-279.

[10] 劉哲. 基于視頻壓縮感知的編碼端速率控制研究[D].西安：西安電子科技大學(xué), 2013.

LIU Zhe. The research of coding rate control based on video compression perception [D].Xi 'an：Xi 'an university of electronic science and technology, 2013.

[11] 李延龍, 李太君, 羅其朝. 基于顏色空間特性的圖像檢索[J]. 海南大學(xué)學(xué)報: 自然科學(xué)版, 2013, 31(4): 344-348.

LI Yanglong, LI Taijun, LUO Qizhao. Image retrieval based on color space characteristics [J].Journal of Hainan University: Natural Science Edition, 2013, 31 (4) : 344-348.

[12] LU J, ZHAO D, JI W. Research on matching recognition method of oscillating fruit for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(20): 32-39.

[13] ALMEIDA J, LEITE N J, TORRES R Da S.VISON: VIdeo summarization for Online applications[J].Pattern Recognition Letters，2012, 33(4): 397-409.

[14] METZE F, DING D, YOUNESSIAN E, et al. Beyond audio and video retrieval: topic-oriented multimedia summarization[J].International Journal of Multimedia Information Retrieval, 2013, 2(2): 131-144.

[15] 宋杰, 徐丹, 時永杰. 視覺感知的圖像和視頻抽象[J]. 中國圖象圖形學(xué)報, 2013, 18(4): 450-908.

SONG Jie, XU Dan, SHI Yongjie. The image and video abstract of visual perception [J]. Chinese journal of image and graphics, 2013, 18(4): 450-908.

Online video abstract extraction based on visual features in compressed domain

ZHOU Baiqing1, HUANG Miao2, REN Yongjun3

(1.Faculty of Information Technology, Huzhou Vocational & Technical College, Huzhou 313000, P.R.China；2.School of Software, Pingdingshan University, Pingdingshan 467000, P.R.China；3.School of Computer & Software, Nanjing University of Information Science & Technology, Nanjing 210044, P.R.China)

Abstract:In order to produce acceptable quality of video abstract in a limited period of time, and achieve the online requirement, a fast video summarization method in compressed domain based on visual features extraction (VFE) is proposed. Firstly, visual features from each frame of the input video are extracted. Then, the zero mean normalized cross correlation (ZNCC) is used to detect similar content video frames, and the representative frames for each group are selected. Finally, two quantized-histogram filters are used to select frames to avoid possible video redundant or meaningless frames. The experimental results on the TREC video retrieval evaluation(TRECVID) 2007 data show that proposed method has higher video summary quality than the Gaussian mixture model based on clustering, entropy based fuzzy C means clustering and key frame extraction method, it has obvious dominance in the time and space complexity, and it is suitable for online real-time processing.

Keywords：video summary; compressed domain; visual features extraction (VFE); quantized-histogram; TREC video retrieval evaluation(TRECVID) 2007

DOI：10.3979/j.issn.1673-825X.2016.02.021

收稿日期：2014-12-19

修訂日期：2015-10-09通訊作者：周柏清zhoubqzjhz@163.com

基金項目：國家自然科學(xué)基金(61304205，61300236)

Foundation Items：The Natural Science Foundation of China (61304205, 61300236)

中圖分類號：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號：1673-825X(2016)02-0273-070

作者簡介：

周柏清(1974-)，女，浙江金華人，講師，碩士，研究領(lǐng)域為視頻處理、圖像處理等。E-mail：zhoubqzjhz@163.com。

黃淼(1982-)，女，河南社旗人，講師，碩士，研究領(lǐng)域為圖形圖像處理、視頻處理等。

任勇軍(1974-)，男，江蘇南京人，副教授，博士后，研究領(lǐng)域為視頻處理、信息安全等。

(編輯：王敏琦)