一種改進(jìn)的時空線索的視頻顯著目標(biāo)檢測方法

秦利斌，劉純平，王朝暉，季 怡

QIN Libin,LIU Chunping,WANG Zhaohui,JI Yi

蘇州大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州215006

Shool of Computer Science and Technology,Soochow University,Suzhou,Jiangsu 215006,China

1 引言

顯著區(qū)域檢測是計算機(jī)視覺的一項重要的技術(shù)，其目的是將靜態(tài)圖像或者視頻中顯著的物體與背景分離開來，為圖像或視頻中物體的快速定位、特征提取、圖像和視頻的分析等后續(xù)工作提供重要的基礎(chǔ)。顯著區(qū)域檢測的研究是在人眼視覺注意模型研究的基礎(chǔ)上對其做出的一個實(shí)用性的模擬過程，即人眼視覺注意模型是理論層次的概念級模型，而顯著區(qū)域檢測模型則是對視覺注意模型的量化表示。

顯著性檢測方法通常分為三類：自頂向下的方法、自底向上的方法和混合方法[1]。自頂向下的方法是由任務(wù)驅(qū)動的，在檢測之前已知目標(biāo)的先驗(yàn)知識。這種方法基于人腦的認(rèn)知知識，是一個自發(fā)的過程。傳統(tǒng)的基于規(guī)則或者基于訓(xùn)練的目標(biāo)檢測都是這類方法的例子。自底向上的方法通常被稱作刺激驅(qū)動的方法。這類方法基于人類對外部刺激的反應(yīng)，例如明亮的顏色、特殊的形狀或者是反常的運(yùn)動，這是一種強(qiáng)制的過程[2]。早期的顯著區(qū)域檢測大多以靜態(tài)圖像作為研究對象，而對于視頻中的顯著區(qū)域檢測是近年來的主流研究。

視頻的顯著區(qū)域檢測模型不僅要考慮視頻幀內(nèi)圖像的空間顯著性，而且要考慮視頻幀間的時間顯著性。傳統(tǒng)的視頻中顯著區(qū)域檢測是從靜態(tài)圖像的顯著區(qū)域檢測模型進(jìn)行擴(kuò)展，如Itti 等在經(jīng)典Itti98 的基礎(chǔ)上增加了運(yùn)動特征及幀間閃爍[3]，從而將該模型的應(yīng)用擴(kuò)展到視頻中的時空顯著圖的計算。Guo[4]將譜殘差法做了相應(yīng)改進(jìn)并擴(kuò)展到視頻中，首先對視頻中各幀分別提取運(yùn)動、紅綠對比色、藍(lán)橙對比色和亮度等特征，然后使用四元傅里葉變換獲取上述四種特征的相位譜，最終得到融合多個通道的顯著圖。Lu 等人[5]在他們的視覺顯著模型中使用了底層特征如顏色、紋理和運(yùn)動以及認(rèn)知特征，比如皮膚和臉，同時也用了不同種類的圖像。Cheng[6]等人在視覺注意模型中加入了運(yùn)動信息，他們的模型分析水平方向和垂直方向的像素運(yùn)動的大小。但是在實(shí)際應(yīng)用中，通過靜態(tài)疊加方式混合時空特征的方法，難以滿足不同的應(yīng)用需求，很多研究也表明時空特征的靜態(tài)混合效果并不理想。Zhai 和Shah 提出一種利用特征點(diǎn)匹配的方法獲取運(yùn)動信息，并采用動態(tài)權(quán)重融合策略獲取混合時空特征的顯著區(qū)域檢測方法[2]。Bioman[7]等提出檢測視頻中時間空間域上不規(guī)則性的方法，該方法并不直接采用實(shí)際的運(yùn)動信息，而是將視頻塊的2 維和3 維紋理和訓(xùn)練數(shù)據(jù)集進(jìn)行比較，從而得到視頻中不規(guī)則運(yùn)動的信息。Meur[8]等提出了基于視覺注意的時間空間域模型，通過分析仿射參量來生成運(yùn)動顯著圖。Kienzle[9]通過對眼動數(shù)據(jù)的學(xué)習(xí)構(gòu)建了基于時空興趣的檢測子，通過這些檢測子對輸入視頻信號分別在時域和空域內(nèi)濾波，從而檢測得到其中的顯著對象。Duan 等人[10]利用空間加權(quán)相異性來進(jìn)行顯著性檢測。Mahadevan 和Vasconcelos[11]針對高度動態(tài)的場景，提出了時空顯著性檢測方法，以有效地提出前景中的顯著目標(biāo)。Mahadevan 和Vasconcelos[12]利用中心-周圍的顯著機(jī)制進(jìn)行類似生物激勵的目標(biāo)跟蹤。Ren 等人[13]利用稀疏重構(gòu)過程去捕捉中心-周圍高對比度的區(qū)域作為空間顯著性，對于時間顯著性則利用重構(gòu)誤差、稀疏性規(guī)則化和局部軌跡對比度進(jìn)行運(yùn)動顯著性的測量，并將時間和空間顯著性進(jìn)行合并，在人眼固定視頻數(shù)據(jù)庫上具有較好性能。Décombas 等人[14]從時間和空間特征角度出發(fā)，利用局部對比度和全局稀少特征作為顯著性，從顏色和方位提取空間特征，從運(yùn)動維度和方向提取時間特征，提出時空稀少顯著模型。因此從時空特征出發(fā)進(jìn)行視頻中顯著區(qū)域檢測方法的研究成為視頻顯著性分析的重點(diǎn)，不同的時空顯著性檢測方法各具特色。

本文基于Zhai 和Shah 提出的時空顯著檢測方法，提出基于HSL 顏色空間的視頻空間特征顯著性的描述方法，并結(jié)合原來的時間顯著性計算方法，通過動態(tài)權(quán)重分配自動融合時、空顯著性而得到最終的顯著圖，最終以顯著圖的搜索獲取視頻中的顯著區(qū)域。

2 改進(jìn)時空線索顯著區(qū)域檢測方法

Zhai 和Shah 提出的時空線索的顯著模型是一種自底向上的視覺顯著性檢測方法。這種方法能夠檢測出視頻序列中的注意區(qū)域和注意動作。圖1 給出了基于時空線索的視頻顯著性檢測的框架。本文依照Zhai 和Shah 提出的方法框架，在空間顯著性的計算方面進(jìn)行改進(jìn)，獲得了比原方法更好的顯著區(qū)域檢測效果。

圖1 基于時空線索的視頻顯著性檢測框架

2.1 時間顯著圖生成

運(yùn)動是視頻區(qū)別于靜態(tài)圖像的一個重要特征，時間顯著性的計算就是要找出視頻中的運(yùn)動區(qū)域并且以顯著度來定量表示運(yùn)動區(qū)域的顯著性大小。時間顯著性檢測中，時間顯著圖往往是計算圖像像素之間的運(yùn)動對比得到，傳統(tǒng)的方法多數(shù)是基于密集光流場。如果場景中存在多個運(yùn)動圖層，那么邊緣像素的光流就會很“嘈雜”，而且密集光流在紋理較少的區(qū)域可能產(chǎn)生錯誤。除此之外光流場對噪聲的魯棒性也比較差，而特征點(diǎn)的匹配（也稱為稀疏光流）表示的運(yùn)動軌跡則比較精確和穩(wěn)定，因此Zhai 和Shah 提出了基于SIFT[15-16]特征特征提取與匹配和RANSAC[17]運(yùn)動聚類的時間顯著圖生成的方法。在顯著度計算中使用圖像間的以平面運(yùn)動作為運(yùn)動片段的模型幾何變換，該方法主要分為三步：

（1）用SIFT 特征提取與匹配算法得到特征點(diǎn)的運(yùn)動軌跡。

（2）用RANSAC 算法進(jìn)行運(yùn)動聚類，得到運(yùn)動平面。在這個過程中采用迭代的方式獲取不同的運(yùn)動平面。具體是將每次聚類的內(nèi)點(diǎn)作為一個找到的運(yùn)動平面，然后對該次聚類的外點(diǎn)繼續(xù)采用RANSAC 聚類尋找新的內(nèi)點(diǎn)作為運(yùn)動平面，直到再也找不到符合運(yùn)動平面聚類的內(nèi)點(diǎn)為止。

（3）計算運(yùn)動平面的顯著度。運(yùn)動平面的顯著度是基于特征點(diǎn)的運(yùn)動對比計算得到的。這和原來論文中的計算方式一樣，主要是利用運(yùn)動平面的單應(yīng)性矩陣的幾何變換誤差來進(jìn)行顯著圖的計算。

圖2 給出了一組使用SIFT 和RANSAC 方法得到的運(yùn)動平面顯著性檢測實(shí)驗(yàn)結(jié)果。

圖2 時間顯著圖生成實(shí)驗(yàn)結(jié)果

圖2 中第一列和第二列是視頻序列中的兩幀圖片，第三列是時間顯著圖，從時間顯著圖上可以發(fā)現(xiàn)，前兩行的例子中找到了運(yùn)動平面，第三行的例子卻沒有找到。通過跟蹤程序的運(yùn)行發(fā)現(xiàn)，在第三個例子中兩幅圖片共有6 對匹配點(diǎn)，而要通過RANSAC 找到運(yùn)動平面必須滿足這6 個點(diǎn)全部是內(nèi)點(diǎn)，但實(shí)際上僅有4 個內(nèi)點(diǎn)，所以在這個例子中沒有找到運(yùn)動平面。因此這也是該方法進(jìn)行時間顯著性檢測可能不能正確獲取運(yùn)動平面顯著性的一個主要原因所在。

2.2 空間顯著區(qū)域提取

心理學(xué)研究表明人類感知系統(tǒng)對顏色、亮度、紋理這些視覺信號的對比很敏感。在Zhai 和Shah 的空間顯著模型中只考慮了圖像的亮度信息而沒有考慮顏色和紋理的信息，所以空間顯著區(qū)域的提取的準(zhǔn)確性不高，圖3 是原有方法的一個失敗的例子，可以看到圖中的紅色小汽車比較吸引人的注意，但最后的空間顯著區(qū)域并沒有覆蓋它。為此，本文在空間顯著性的計算中加入了顏色信息，為了更好地描述人眼的視覺特性，采用HSV顏色空間，從像素級和區(qū)域級兩個層次來表示顯著性。

圖3 原始方法的一個失敗例子

HSV 模型在1978 年由埃爾維·雷·史密斯創(chuàng)立，它是三原色光模式的一種非線性變換。HSV 在數(shù)學(xué)上定義為在RGB 空間中的顏色的R，G 和B 的坐標(biāo)的變換。它比RGB 更準(zhǔn)確地描述了感知和顏色的聯(lián)系。在HSV 顏色空間中，H 指hue（色相），S 指saturation（飽和度），V 指value（色調(diào)）。從RGB 空間轉(zhuǎn)換到HSV 空間的公式如下：

其中w1、w2和w3是權(quán)值，實(shí)驗(yàn)中對w1，w2和w3在0.1 到0.9 之間進(jìn)行調(diào)試，由于亮度受到光照等因素的影響，使得同一目標(biāo)也有可能呈現(xiàn)出不同的亮度特征，因此w3過大則會使得亮度分量在顯著圖生成中占主導(dǎo)，得到的效果和改進(jìn)前的方法相比，沒有顯著提高，也不利于不同光照下的顯著對象的檢測，而w3過小則會使得在顯著圖生成過程中亮度這一重要的信息幾乎不起作用，這樣對于大多數(shù)情況都不能得到很好的效果，因此適當(dāng)?shù)募s束亮度，增加色調(diào)和飽和度的權(quán)重，可以比較好的反映真實(shí)場景中的原始信息。在論文的實(shí)驗(yàn)中w1、w2和w3取0.4，0.3，0.3 時總體效果最好。

得到了像素級的顯著圖之后，找出其中的局部極大值點(diǎn)，以這些點(diǎn)為中心初始化矩形的種子區(qū)域，然后通過分析矩形內(nèi)外兩側(cè)的能量，將矩形向矩形四邊的方向擴(kuò)展。這樣矩形將會在像素級顯著圖的亮暗區(qū)域的交界處停止擴(kuò)展。由于存在不同種子區(qū)域擴(kuò)展后覆蓋同一塊顯著區(qū)域的情況，通過分析矩形的重疊率，將重疊率高的矩形合并起來，最后，將矩形內(nèi)像素的平均灰度值作為該矩形顯著區(qū)域的顯著度。圖4 給出了原有空間顯著區(qū)域檢測和改進(jìn)的空間顯著區(qū)域檢測的實(shí)驗(yàn)結(jié)果對比。從圖4 可以看出改進(jìn)的方法可以有效地找出靜態(tài)圖像中的顯著區(qū)域。因?yàn)楦倪M(jìn)的方法中加入了顏色信息，更加符合人類的視覺特性，所以找到的顯著區(qū)域比原來更準(zhǔn)確，如圖3 中的例子，在圖4 中改進(jìn)的方法得到了比較準(zhǔn)確的顯著區(qū)域。

圖4 原有方法（奇數(shù)行）與改進(jìn)方法（偶數(shù)行）空間顯著區(qū)域檢測結(jié)果對比

2.3 時空動態(tài)融合

得到了時間顯著圖和空間顯著圖，還需要將時間和空間的顯著圖通過一定的方法融合到一起形成包含時空顯著性的時空顯著圖。本文依然采用原來論文中提出的動態(tài)權(quán)重融合的方式進(jìn)行時空顯著圖的最終計算，采用兩個動態(tài)權(quán)值kT和kS對時間和空間顯著圖進(jìn)行融合。首先定義偽方差PVarT來衡量時間顯著圖中運(yùn)動的大小，其定義如下：

kT和kS是根據(jù)PVarT來計算的，其定義為：

最后的時空顯著圖計算如下：

當(dāng)時間顯著圖中運(yùn)動較大，那么kT的值就比較大，時間顯著度占主導(dǎo)，反之kS的值較大，空間顯著度占主導(dǎo)。

3 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境如下：CPU 是Intel Corei3 2.13 GHz，內(nèi)存為2.00 GB。所使用的操作系統(tǒng)是Microsoft Windows 7（32 位），開發(fā)環(huán)境是Visual Studio 2010、OpenCV2.4.2以及GSL1.8。為驗(yàn)證改進(jìn)算法的有效性，對標(biāo)準(zhǔn)視頻進(jìn)行了實(shí)驗(yàn)，視頻來自PETS2001、I2R、KTH 數(shù)據(jù)庫以及優(yōu)酷網(wǎng)。

圖5 和圖6 是一組對比實(shí)驗(yàn)的結(jié)果，圖5 使用Zhai和Shah 的空間顯著模型，圖6 是本文改進(jìn)的方法。

圖5 原有方法的時空融合顯著目標(biāo)檢測實(shí)驗(yàn)結(jié)果

圖6 改進(jìn)方法的時空融合顯著目標(biāo)檢測實(shí)驗(yàn)結(jié)果

從圖4 和圖6 中顯著目標(biāo)檢測的結(jié)果可以看出，圖4中原始圖像的第一、三、四行是背景復(fù)雜的圖像，除了運(yùn)動的前景本身之外，背景也存在運(yùn)動，圖4 中原始圖像的第二行以及圖6 中的示例圖像是光照不均勻的情況，在本例中存在陰影，從原有方法和改進(jìn)方法目標(biāo)的檢測結(jié)果來看，改進(jìn)的方法的檢測結(jié)果優(yōu)于原有方法。因此本文所述方法對于光照不均勻和運(yùn)動背景的情況，有不錯的效果。相對于原有方法有明顯改進(jìn)。

從圖5 和圖6 的結(jié)果來看，圖5 的最后兩個例子的結(jié)果中沒有比較準(zhǔn)確地找到運(yùn)動的物體所在區(qū)域。而圖6 中則能比較準(zhǔn)確地找到它們。這說明對于這組實(shí)驗(yàn)數(shù)據(jù)，用改進(jìn)的方法得到的時空融合和目標(biāo)檢測的效果要好于原有方法。對于最后一個例子，由于運(yùn)動目標(biāo)少的特征點(diǎn)匹配太少（3 對），而RANSAC 需要至少4 對匹配點(diǎn)，所以在時間顯著模型中沒有找到其所在的運(yùn)動平面，但由于通過改進(jìn)的空間顯著性檢測比較準(zhǔn)確地找到了運(yùn)動物體位置，而且在融合的時候空間顯著模型占主導(dǎo)，所以圖6 中最后還是檢測出了運(yùn)動物體，并且使用高斯濾波平滑了噪聲，使顯著圖連續(xù)性得到增強(qiáng)，所以對于運(yùn)動目標(biāo)的檢測較為完整。而原有方法只對圖像的亮度計算顯著圖，并且沒有作高斯濾波，得到的空間顯著區(qū)域較小，使得最后檢測的目標(biāo)不完整。對于第四個例子，在時間顯著圖中雖然找到了小車所在的運(yùn)動平面，但這一運(yùn)動平面顯然并不準(zhǔn)確，它還包含一大塊小車以外的區(qū)域，表1 是該運(yùn)動平面對應(yīng)的單應(yīng)性矩陣的內(nèi)點(diǎn)。

從表1 中不難發(fā)現(xiàn)在這些內(nèi)點(diǎn)中最后一個點(diǎn)的縱坐標(biāo)和其他點(diǎn)的縱坐標(biāo)差別很大，這個點(diǎn)顯然不在目標(biāo)紅色小汽車上，這是一個異常的點(diǎn)，而它的運(yùn)動和小汽車的運(yùn)動相似，所以也被當(dāng)作內(nèi)點(diǎn)，由于這個異常點(diǎn)的存在，最終得到的運(yùn)動平面與真實(shí)的運(yùn)動平面有很大的差距，又因?yàn)轱@著度和運(yùn)動平面面積有關(guān)，所以最終得到的運(yùn)動平面的顯著度與真實(shí)情況也會有一定差距。不過，由于改進(jìn)的方法在空間顯著圖上比較準(zhǔn)確地找到了這個目標(biāo)，彌補(bǔ)了時間顯著圖計算的錯誤，所以最后得到的結(jié)果還不錯。

表1 紅色小車運(yùn)動平面對應(yīng)的單應(yīng)矩陣的內(nèi)點(diǎn)和匹配點(diǎn)坐標(biāo)

從圖4，圖5 和圖6 看到，由于改進(jìn)的方法在空間顯著圖的生成過程中加入了圖像的色彩這一人眼十分敏感的視覺信息，在顯著度計算的過程中使用能反映人類視覺特性的顏色空間HSV，使得到的顯著圖更加能夠反映人眼的真實(shí)的注意機(jī)制，因此最終得到的顯著目標(biāo)的檢測效果比改進(jìn)前有明顯提高。

4 結(jié)束語

本文在充分分析Zhai 和Shah 提出的時空線索的顯著區(qū)域檢測方法的基礎(chǔ)上，提出了一種基于HSV 顏色模型的空間顯著區(qū)域提取方法，并將這一方法和Zhai和Shah 的時間顯著區(qū)域提取和動態(tài)時空融合的方法相整合，實(shí)現(xiàn)視頻顯著目標(biāo)的檢測，提高了顯著目標(biāo)提取的準(zhǔn)確性。

當(dāng)然本文所用的方法也存在不足，首先使用SIFT特征匹配的方法無法保證提供足夠的特征點(diǎn)匹配來計算正確的單應(yīng)性矩陣；其次復(fù)雜場景中背景上較多的匹配點(diǎn)會影響運(yùn)動平面的估計；再次是使用SIFT 特征提取與匹配的方法計算復(fù)雜度高，無法實(shí)時處理視頻；最后是沒有考慮在空間模型中加入紋理特征，使得空間顯著區(qū)域的提取在背景紋理復(fù)雜的情況下變得不準(zhǔn)確。這些方面都有待進(jìn)一步的研究，來提高目標(biāo)檢測的效果和效率。

[1] Wolfe J M，Cave K R，F(xiàn)ranzel S L.Guided search：an alternative to the feature integration model of visual search[J].Journal of Experimental Psychology，1989，15：419-433.

[2] Zhai Yun，Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//14th Annual ACM International Conference on Multimedia，Santa Barbara，USA，2006：815-824.

[3] Itti L，Koch C.Computational modeling of visual attention[J].Nature Review Neuroscience，2001，2（3）：194-203.

[4] Guo C，Zhang L.A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression[J].IEEE Transactions on Image Processing，2010，19（1）：185-198.

[5] Lu Z，Lin W，Yang X，et al.Modeling visual attentions modulatory after effects on visual sensitivity and quality evaluation[J].T-IP，2005，14（11）：1928-1942.

[6] Cheng W H，Chu W T，Kuo J H，et al.Automatic video region-of-interest determination based on user attention model[J].ISCAS，2005，4：3219-3222.

[7] Boiman O，Irani M.Detecting irregularities in images and in video[C]//ICCV，2005，1：462-469.

[8] Le Meur O，Thoreau D，Le Callet P，et al.A spatio-temporal model of the selective human visual attention[C]//ICIP，2005，3：1188-1191.

[9] Kienzle W，Scholkopf B，Wichmann F A，et al.How to find interesting locations in video：a spatiotemporal interest point detector learned from human eye movements[C]//Proceedings of DAGM-Symposium，2007：405-414.

[10] Duan Lijuan，Wu Chunpeng，Miao Jun，et al.Visual saliency detection by spatially weighted dissimilarity[C]//IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2011：473-480.

[11] Mahadevan V，Vasconcelos N.Spatiotemporal saliency in highly dynamic scenes[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2010，32（1）：171-177.

[12] Mahadevan V，Vasconcelos N.Biologically inspired object tracking using center-surround saliency mechanisms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（3）：541-554.

[13] Ren Zhixiang，Gao Shenghua，Rajan Deepu，et al.Spatiotemporal saliency detection via sparse representation[C]//IEEE ICME，2012：158-163.

[14] Décombas M，Riche N，Dufaux F，et al.Spatio-temporal saliency based on rare model[C]//IEEE International Conference on Image Processing（ICIP），2013.

[15] Lowe D.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[16] 王永明，王錦貴.圖像局部不變性特征與描述[M].北京：國防工業(yè)出版社，2010.

[17] Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fittingwith applications to image analysis and automated cartography[J].Communications of the ACM，1981，24（6）：381-395.