聯(lián)合時空SIFT特征的同源視頻檢測*

張瑞年，于洪濤，李邵梅

（國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

聯(lián)合時空SIFT特征的同源視頻檢測*

張瑞年，于洪濤，李邵梅

（國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，河南 鄭州 450002）

通過對視頻幀序列時空特性的分析，采用“局部趨同，全局異化”的策略，提出了一種聯(lián)合時域和空域SIFT點特征的特征提取方法。實驗表明，基于該特征的同源視頻檢測方法對于一定的視頻變化具有較好的魯棒性和檢測精度。

同源視頻檢測；視頻幀序列時空特性；聯(lián)合時空SIFT特征

近年來，隨著網(wǎng)絡(luò)技術(shù)和多媒體技術(shù)的快速發(fā)展，數(shù)字視頻的產(chǎn)生、復(fù)制、修改和傳播變得越來越容易。視頻信息在版權(quán)保護、廣播監(jiān)測、內(nèi)容跟蹤和管理等方面的問題日益突出，同源視頻檢測技術(shù)作為應(yīng)對此類問題的一個有效手段受到廣泛關(guān)注。

同源視頻檢測的實質(zhì)是判定兩段視頻是否具有相同的內(nèi)容。現(xiàn)有的同源視頻檢測方法通常采用基于幀匹配框架，且一些圖像匹配方法被廣泛使用，如基于顏色直方圖的方法、基于邊緣的方法以及基于運動信息的方法[1]等，但這些方法都存在對視頻色彩、格式、尺度變化魯棒性差以及難以準確表征視頻信息等問題。基于分塊亮度順序 OM（Ordinal Measures）[2]的方法相比于現(xiàn)有其他方法性能更優(yōu)。該方法通過發(fā)現(xiàn)圖像塊間相對關(guān)系來構(gòu)造不變視覺特征，但是局部變化通常會打亂圖像塊間的相對關(guān)系，導(dǎo)致這類方法失效[3]，且該方法受限于OM分塊的數(shù)量，對視頻內(nèi)容的區(qū)分能力較弱[1]。

上述方法的核心問題是所選取特征的魯棒性及區(qū)分性較差，采用魯棒性及區(qū)分性更好的視頻圖像特征將有利于視頻的準確表征，能進一步改善同源視頻檢測效果。近年來，在計算機視覺領(lǐng)域成熟的圖像局部關(guān)鍵點檢測算子和描述算子[4]受到廣泛關(guān)注，并被應(yīng)用于視頻檢測中[5，11]。其中SIFT特征在對象識別方面具有較好的性能[6-7]。但是基于單幀SIFT特征的視頻檢測方法沒有充分利用視頻特征的時空相關(guān)性，不利于視頻的表征及檢測效果。本文對視頻幀序列的SIFT特征進行了時空特性分析，提出了一種視頻聯(lián)合時空SIFT特征。

1 視頻序列的SIFT特征分析

1.1 SIFT特征提取算法

SIFT[8]（Scale-Invariant Feature Transform）是一種圖像特征提取與匹配算法，該算法能處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、尺度變化、光照變化情況下的特征匹配問題，且在一定程度上對視角變化、仿射變化也具備較為穩(wěn)定的特征匹配能力。該算法已被證實在同類特征中健壯性最強[4，6]，能在不同圖像中檢測識別出相同的物體。SIFT特征在穩(wěn)定性、獨特性方面的優(yōu)良性能，使得SIFT特征非常適合在連續(xù)視頻幀中提取穩(wěn)定性、區(qū)分性強的事物特征來表征視頻信息，并能夠準確地在特征數(shù)據(jù)庫中予以匹配。

1.2 視頻序列的SIFT特征時空特性分析

連續(xù)視頻幀的視覺信息在時域和空域都是不斷變化的，其中會有穩(wěn)定相同的以及新出現(xiàn)的事物和特征。本文以視頻幀圖像的SIFT特征進行實驗分析，對一段運動視頻在空域上對每幀圖像進行SIFT特征提取，在時域上統(tǒng)計幀與幀之間的SIFT特征匹配數(shù)量。實驗結(jié)果如圖1(a)所示，虛線表示每幀圖像中SIFT特征的數(shù)量，實線表示相鄰前后兩幀圖像相匹配的SIFT特征數(shù)量，‘*’線表示后續(xù)幀分別與首幀(也可認為是某一固定幀)特征相匹配的數(shù)量。該數(shù)據(jù)表明本實驗視頻具有以下特性：

(1)相鄰的前后幀存在大量相匹配的SIFT特征，即幀間存在特征冗余。

(2)后續(xù)幀與首幀之間存在一定數(shù)量相匹配的SIFT特征，即后續(xù)畫面中穩(wěn)定出現(xiàn)的一些特征，如圖1(b)所示。視頻中可能會有臺標、徽標等長時間出現(xiàn)且未發(fā)生變化的物體畫面區(qū)域。

(3)序列幀間存在特征更新。雖然相鄰幀相匹配的特征數(shù)量較多，但對于運動等畫面內(nèi)容變動較大的視頻，隨著幀間隔的擴大，幀間特征匹配數(shù)量會減少，即新的特征在增加。

(4)隨著后續(xù)幀與首幀（或者某一固定幀）相匹配的特征數(shù)量的減少，其所占每幀特征總數(shù)的比例遞減。進一步分析可知，當其減少到一定比例時，可以認為是大量新的視頻信息取代了首幀（或者某一固定幀）信息，即新的代表幀甚至是新場景鏡頭的開始。

通過以上分析容易得出，本實驗視頻的上述特點具有一定的普遍性。

2 視頻序列的聯(lián)合時空SIFT特征表征及其度量

對于一段視頻，僅提取單幀或者關(guān)鍵幀圖像的特征會造成一定的視頻信息損失，無法充分準確地表征視頻。結(jié)合1.2節(jié)視頻序列SIFT特征的時空特性分析，本文進行了視頻聯(lián)合時空SIFT特征構(gòu)造。

2.1 聯(lián)合時空SIFT特征的構(gòu)造

視頻聯(lián)合時空SIFT特征有以下三種構(gòu)造方法：

(1)對視頻幀序列范圍內(nèi)的SIFT特征進行“趨同”處理。由1.2節(jié)實驗視頻特性(2)可知，視頻幀序列中會重復(fù)、穩(wěn)定出現(xiàn)一些事物特征，特別是對于鏡頭固定、畫面內(nèi)容變動不大的視頻，此類特征能較準確地表達視頻信息。于是以一定序列幀內(nèi)某一幀為基準，按照式(1)提取幀間穩(wěn)定出現(xiàn)的、即“趨同”的SIFT特征對視頻進行表征。

其中Fi(i=1,…,n)為幀序列中每個單幀的SIFT特征集。顯然，V是視頻序列精簡、穩(wěn)定的SIFT特征集合。但由實驗視頻特性分析(4)可知，對于畫面內(nèi)容變動較大的視頻而言，隨著幀間隔的擴大，幀間趨同的特征數(shù)量會逐漸減少，用式(1)提取的特征來表征整段視頻會造成一定的信息丟失，且當信息丟失到一定水平后，可以認為該特征集V已經(jīng)無法準確地表征視頻信息。

(2)對視頻幀序列范圍內(nèi)的SIFT特征進行“異化”處理。由視頻特性分析(3)可知，幀間的特征存在著新舊更替。若提取并整合這類不斷更新的特征，即對特征進行“異化”處理，便能得到更充分表達所有視頻幀信息的特征。于是按照式(2)，建立以首幀（或某一固定幀）為基準，包含后續(xù)幀中增量特征的非冗余特征集。

此方法提取的視頻特征集包含了所有視頻幀的特征，是對整段視頻的較完整描述。但同時也會導(dǎo)致提取的特征數(shù)量過多、計算量大等問題，因此只適合離線操作。

(3)按照“局部趨同、全局異化”的策略提取SIFT特征。方法(1)、(2)所提取的特征雖然具有精簡、穩(wěn)定的特點，但存在信息丟失或信息全面但計算量大等問題。鑒于兩者的優(yōu)缺點，本文將兩種方法予以結(jié)合，建立如圖2所示的特征提取模型，即在整個視頻序列的時域和空域范圍內(nèi)，采用“局部趨同，全局異化”的策略提取SIFT特征，以得到精確且較為充分的視頻聯(lián)合時空SIFT特征。

假設(shè)視頻序列可以劃分為s(s≥1)個區(qū)間。在每個局部區(qū)間內(nèi)，采用式(1)進行特征處理，得到“趨同”的特征集 Vsi(i=1,2,…,s)；在序列全局區(qū)間內(nèi)，對特征集 Vsi(i=1,2,…,s)采用式(2)處理，即在“趨同”特征集的基礎(chǔ)上，將特征“異化”，吸納新增特征，得到包含各 Vsi(i=1,2,…,s)增量特征在內(nèi)的聯(lián)合時空SIFT特征集V。這樣得到的V是結(jié)合了視頻幀序列中,在時域和空域上穩(wěn)定、較為全面的SIFT特征集。

對于模型中區(qū)間的劃分，可以通過檢測視頻序列幀間相匹配特征數(shù)量的跳變來實現(xiàn)。假設(shè)某段視頻序列的總幀數(shù)為 n，首幀特征數(shù)量為 Ks0，第 i(i＜n)幀與首幀(或者新區(qū)間序列的首幀)特征匹配數(shù)量為 Ki，當(Ki/Ks0)＜η 時，即認為該區(qū)間截止，則第i幀為下一區(qū)間的首幀。其中，η為判決門限。不難發(fā)現(xiàn),方法(1)是 η=0的特例，方法(2)是η=1的特例。經(jīng)實驗，本文中采取 η=0.3。

2.2 時空聯(lián)合SIFT特征的同源度度量

假定兩個進行同源視頻檢測的視頻為A和 B，其時空聯(lián)合的 SIFT特征數(shù)目分別為KeyNumA和KeyNumB，且相匹配的特征數(shù)目為KeyMatchAB,則定義同源度[9]θ為：

θ表明了兩段視頻的同源程度。在判斷兩個視頻同源性的過程中，需要一個門限值θT來判定同源程度的高低。當θ＞θT時,則認為兩個視頻為同源視頻。本文中，θT取值為 0.837 6。

3 實驗及分析

實驗環(huán)境：Inter 8核 CPU 2.93 GHz,內(nèi)存 2.93 GB，采用Matlab與C語言混合編程。

數(shù)據(jù)集:在TRECVID2010提供的數(shù)據(jù)集中，抽取300個不同內(nèi)容分類的源視頻作為參考視頻，每個視頻時間長度在30 s～4 min之間不等。待檢測視頻共 100個，均從其參考視頻或者其他非參考視頻截取獲得，并進行添加logo、提高亮度、畫中畫、畫面模糊、畫面尺寸、改變幀率、改變分辨率、畫面翻轉(zhuǎn)8種變化。

評價指標：NDCR[10]與平均檢測時間。

(1)NDCR：即TRECVID官方評價提出的歸一化檢測錯誤率，其意義是評測漏檢率和錯報率加權(quán)調(diào)和值，即：

(2)平均檢測時間：由一個查詢遍歷完所有參考視頻所消耗的時間來衡量。

本文將聯(lián)合時空SIFT方法與目前常用的分塊亮度順序(OM)方法進行同源視頻檢測的對比實驗。如圖3(a)中所示的聯(lián)合時空SIFT特征方法的NDCR總體平均值為0.192 9,遠低于OM方法的NDCR總體平均值0.872 1，即前者的檢測精度高于后者。圖3(b)中聯(lián)合時空SIFT方法的時間消耗平均為1 000.46 s，遠大于OM方法的122.75 s。

由實驗可以得出，聯(lián)合時空SIFT方法對亮度、尺寸、幀率、分辨率、畫中畫等視頻變化都有較好的檢測精度，明顯好于OM方法。由于SIFT算法本身具有較大的計算量，而聯(lián)合時空SIFT方法是在提取了SIFT局部點特征的基礎(chǔ)上進行了一定的時域及空域的壓縮，所以導(dǎo)致了檢測時間明顯高于OM方法。

SIFT特征具有良好的尺度、旋轉(zhuǎn)、光照和仿射等不變性，是性能優(yōu)良的特征匹配算子。視頻幀序列中，單個圖像幀的特征匹配并不能很好地解決所選特征存在的魯棒性和區(qū)分性較弱的問題。本文對視頻幀序列進行了SIFT特征時空特性分析，并采用“局部趨同，全局異化”的策略，提出了一種聯(lián)合時空SIFT特征的視頻表征方法。實驗表明，使用本文所提出的聯(lián)合特征進行同源視頻檢測，能應(yīng)對如亮度、尺寸、分辨率等視頻變化，且較現(xiàn)有的OM方法具有更好的檢測精度。但基于該特征的方法也有些不足，如計算量較大等問題，且當參考視頻數(shù)據(jù)庫規(guī)模較大時，會導(dǎo)致檢測時間較長。在進一步的工作中，將繼續(xù)對本文所提出的方法進行優(yōu)化研究，以提高處理速度及改善在大容量視頻數(shù)據(jù)庫中的應(yīng)用。

[1]潘雪峰,李錦濤,張勇東,等.基于視覺感知的時空聯(lián)合視頻拷貝檢測方法[J].計算機學(xué)報,2009,32(1):107-114.

[2]LAW T J,CHEN L,JOLY A,et al.Video copy detection:A Comparative Study[C].Proceedings of CIVR.Amsterdam:The Netherlands,2007.

[3]吳瀟,李錦濤,唐勝,等.基于時空軌跡行為特征的視頻拷貝檢測方法[J].計算機研究與發(fā)展,2010,47(11):1871-1877.

[4]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.A comparsion of affine region detectors[J].International Journal of Computer Vision,2005,65(1):43-72.

[5]孫晶,褚金奎.圖像局部不變特征提取技術(shù)研究及其應(yīng)用[D].大連:大連理工大學(xué),2009.

[6]MIKOLAJCZYK K,SCHMID C.A performance evaluation of local descriptors[J].IEEE Trans.on Pat.Analysis and Machine Intelligence,2005,27(10):1615-1630.

[7]DOUZE M,JEGOU H,SCHMID C.An image-based approach to video copy detection with spatio-temporal post-filtering[J].IEEE Transactions on Multimedia,2008,12(4):257-266

[8]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision,2004,60(2):91-110

[9]徐波,孫軍.基于視頻印記的同源視頻檢測[D].上海:上交通大學(xué),2008

[10]TREC Video Retrieval Evaluation Home Page[Z].(2011-4-15).http://www-nlpir.nist.gov/projects/trecvid/.

[11]Guo Junbo,Li Jintao,Zhang Yongdong,et al.Video copy detection based on trajectory behavior pattern[J].Journal of Computer Aided Design and Computer Graphics,2010,22(6):943-948.

Detection of coderivative video based on spatiotemporal SIFT

Zhang Ruinian,Yu Hongtao,Li Shaomei
(National Digital Switching System Engineering&Technological R&D Center,Zhengzhou 450002,China)

Video features extraction is the important part of detection of coderivative video.SIFT features are local features with excellent performance.By anglicizing the temporal and spatial characteristics of video frames sequences SIFT feature,this paper takes the ＂local convergence,global alienation＂strategy,and proposes a feature extraction method of spatiotemporal SIFT characteristics.Experiments of detection of coderivative video based on the method show that the proposed co-features has better robustness against certain changes of video sequences,and also has a better detection accuracy than some existing methods.

detection of coderivative video;spatiotemporal characteristics of video frames sequences；spatiotemporal SIFT characteristics

TN915

A

0258-7998(2012)03-0130-04

國家“863”計劃資助項目（2011AA010603)

2011-11-23)

張瑞年，男，1985年生，碩士研究生，主要研究方向：電信網(wǎng)安全、通信與信息系統(tǒng)。

于洪濤，男，1970年生，教授，主要研究方向：電信網(wǎng)安全、通信與信息系統(tǒng)。

李邵梅，女，1982年生，助教，主要研究方向：電信網(wǎng)安全、通信與信息系統(tǒng)。