基于像素級(jí)估計(jì)的視頻顯著性檢測(cè)

李春華 郝娜娜 劉玉坤 白玉華

摘 要：為了減少背景噪聲干擾，準(zhǔn)確地從復(fù)雜視頻中提取顯著目標(biāo)，提出一種具有時(shí)空一致性的視頻顯著區(qū)域檢測(cè)算法。將視頻幀劃分為超像素，以超像素為基本單元提取光流特征，在時(shí)空一致性原則指導(dǎo)下動(dòng)態(tài)融合顏色、邊界信息和光流特征，獲取視頻顯著圖。在此基礎(chǔ)上，借助視頻幀的細(xì)節(jié)和區(qū)域特征對(duì)視頻顯著圖進(jìn)行細(xì)化增強(qiáng)。實(shí)驗(yàn)結(jié)果表明，算法的準(zhǔn)確率召回率曲線在復(fù)雜圖像數(shù)據(jù)庫(kù)中高于傳統(tǒng)經(jīng)典算法，具有足夠高的魯棒性，能夠減少相機(jī)運(yùn)動(dòng)和背景運(yùn)動(dòng)以及突變情況對(duì)跟蹤檢測(cè)的影響。所提方法能夠在各種運(yùn)動(dòng)模式下和外觀復(fù)雜場(chǎng)景中較為完整地提取顯著目標(biāo)，可作為預(yù)處理技術(shù)，改善目標(biāo)跟蹤、行為檢測(cè)、視頻壓縮等的性能。

關(guān)鍵詞：計(jì)算機(jī)圖像處理;光流梯度;運(yùn)動(dòng)顯著圖;前景顯著性估計(jì);像素級(jí)顯著性估計(jì)

中圖分類號(hào)：TP391?? 文獻(xiàn)標(biāo)識(shí)碼：A

DOI： 10.7535/hbgykj.2022yx03003

Video saliency detection based on pixel-level estimation

LI Chunhua，HAO Nana，LIU Yukun，BAI Yuhua

（School of Information Science and Engineering，Hebei University of Science and Technology，Shijiazhuang，Hebei 050018，China）

Abstract：In order to reduce the interference of background noise and accurately extract salient targets from complex videos，the design combined the optical flow characteristics generated by foreground motion in the video with superpixel estimation to detect salient targets in the video.Firstly，the video frame was segmented by super-pixel，and the motion saliency map was generated by combining the intra-frame color，boundary information and the optical flow gradient of inter-frame motion variation.This method has sufficient robustness to extract the foreground objects with various motion patterns and complex appearance scenes.Then，considering the details and regional features of the video frame，the pixel-level saliency map was formed by using the background and foreground saliency estimation of the super-pixel.These clues enhance the refinement of saliency.Finally，the motion saliency map and the pixel level saliency map were dynamically fused by spatiotemporal consistency.The experimental results show that the accuracy-recall rate curve of the algorithm is higher than that of the traditional classical algorithm in complex image databases.The designed video detection algorithm can be used as the processing plug-in of target tracking to reduce the influence of camera motion，background motion and mutation on tracking detection.

Keywords：

computer image processing;optical flow gradient;motion sketch;foreground visibility estimation;pixel level saliency estimation

視覺系統(tǒng)能夠迅速捕捉到視野中的重要對(duì)象，這種認(rèn)知過(guò)程使得人類可以實(shí)時(shí)解讀復(fù)雜場(chǎng)景。顯著性檢測(cè)技術(shù)模仿人類這一視覺機(jī)能，預(yù)測(cè)觀察者可能注視的場(chǎng)景區(qū)域。近年來(lái)，顯著性檢測(cè)廣泛應(yīng)用于目標(biāo)檢測(cè)和識(shí)別[1-2]、行為檢測(cè)[3]和圖像或視頻壓縮[4-5]中，成為計(jì)算機(jī)視覺的研究熱點(diǎn)。根據(jù)人類視覺系統(tǒng)的注意機(jī)制，顯著區(qū)域的檢測(cè)可分為兩類：一類自上而下[6-7]，與任務(wù)控制處理相關(guān)，由高級(jí)認(rèn)知任務(wù)驅(qū)動(dòng)，使用圖像高級(jí)別特征來(lái)計(jì)算顯著區(qū)域，如利用人臉檢測(cè)模型或局部對(duì)稱預(yù)測(cè)人體固定點(diǎn)的位置;另一類自下而上[8]，利用底層特征如顏色特征、紋理特征和空間距離等來(lái)構(gòu)造視覺顯著圖。相對(duì)而言，自下而上的視覺注意機(jī)制更加簡(jiǎn)單易行，便于推廣應(yīng)用。

作為一項(xiàng)開創(chuàng)性的工作，ITTI等[9]基于生物學(xué)上的視覺注意結(jié)構(gòu)和特征整合理論提出了一個(gè)眾所周知的顯著性檢測(cè)模型。該模型首先使用不同尺度的中心環(huán)繞算子計(jì)算亮度、顏色和方向特征圖，然后進(jìn)行歸一化求和生成顯著性圖，該顯著性模型分別標(biāo)注出亮度、顏色和方向特征中與其周圍區(qū)域具有高對(duì)比度的區(qū)域。ZHU等[10]利用初始先驗(yàn)的思想級(jí)聯(lián)中心先驗(yàn)、暗道先驗(yàn)獲得圖像的顯著性值，但對(duì)于待檢測(cè)視頻中包含快速變化、復(fù)雜背景或運(yùn)動(dòng)方向變化不定時(shí)，檢測(cè)性能不盡人意。李春華等[11]使用超像素先驗(yàn)條件，借助三維凸包定位顯著目標(biāo)區(qū)域，得到更加準(zhǔn)確的顯著圖。

與圖像顯著性相比，提取動(dòng)態(tài)場(chǎng)景中顯著目標(biāo)的算法較少，這主要是因?yàn)闀r(shí)間維度增加了檢測(cè)難度。視頻序列中目標(biāo)運(yùn)動(dòng)模式多樣、場(chǎng)景復(fù)雜多變、存在相機(jī)運(yùn)動(dòng)，使得視頻顯著性檢測(cè)具有挑戰(zhàn)性?，F(xiàn)有的視頻顯著性檢測(cè)算法大多只是簡(jiǎn)單地將運(yùn)動(dòng)特征添加到圖像顯著性模型中，計(jì)算運(yùn)動(dòng)顯著概率[12-13]。這些方法通常忽略了視頻顯著性應(yīng)當(dāng)具有時(shí)空一致性的約束，即前景或背景區(qū)域的顯著性值不應(yīng)當(dāng)沿著時(shí)間軸顯著變化。

針對(duì)現(xiàn)有視頻顯著性檢測(cè)算法存在時(shí)空不一致的問(wèn)題，本文將顏色和邊界信息與光流梯度結(jié)合識(shí)別視頻顯著目標(biāo)，以運(yùn)動(dòng)映射圖的形式將每幀圖像顯著目標(biāo)的像素級(jí)特征動(dòng)態(tài)結(jié)合，提取顯著性區(qū)域。實(shí)驗(yàn)結(jié)果表明，加入顏色和邊界信息的光流梯度可以有效減少相機(jī)運(yùn)動(dòng)以及背景運(yùn)動(dòng)造成顯著對(duì)象定位不準(zhǔn)確的問(wèn)題。

1 算法描述

本文提出的算法包括運(yùn)動(dòng)顯著圖、像素級(jí)顯著性估計(jì)以及顯著圖融合3部分。算法的實(shí)現(xiàn)過(guò)程如圖1所示。首先在超像素分割的基礎(chǔ)上利用光流梯度特征初步獲取當(dāng)前幀與前一幀的運(yùn)動(dòng)變化，結(jié)合幀內(nèi)顏色和邊界信息將其轉(zhuǎn)化為運(yùn)動(dòng)顯著圖;利用視頻幀的細(xì)節(jié)特征，對(duì)每一幀進(jìn)行像素級(jí)顯著性估計(jì);最后，將獲得的運(yùn)動(dòng)映射圖與顯著性估計(jì)動(dòng)態(tài)加權(quán)融合得到最后的時(shí)空顯著圖。

1.1 運(yùn)動(dòng)顯著圖

光流梯度方法利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到上一幀和當(dāng)前幀之間的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息。由于運(yùn)動(dòng)梯度比運(yùn)動(dòng)顯著線索更可靠[14]，本文通過(guò)運(yùn)動(dòng)梯度與顏色梯度結(jié)合生成時(shí)空梯度來(lái)計(jì)算運(yùn)動(dòng)顯著圖。

輸入一個(gè)視頻序列I=I1，I2，…，In，使用線性迭代聚類 （simple linear iterative clustering，SLIC）[15]分割每幀的超像素，保留視頻內(nèi)容的初始結(jié)構(gòu)元素。邊界和不連續(xù)性揭示了視頻幀的重要內(nèi)容，它們作為超像素之間的邊界，被保留下來(lái)。令第k幀Ik的超像素集為Pk=Pk，1，Pk，2，…，對(duì)各超像素計(jì)算X=x，y處的顏色梯度值：

MckX=SymbolQC@I′kX，（1）

式中I′k是幀Ik的超像素抽象模型。

令I(lǐng)k的光流場(chǎng)為ck，通過(guò)相鄰幀之間的光流變化量，利用大位移運(yùn)動(dòng)估計(jì)法[16]計(jì)算Ik幀的光流梯度：

MdkX=SymbolQC@ckX。（2）

將得到的顏色梯度值和光流梯度值整合到幀Ik的時(shí)空梯度場(chǎng)Mk中：

MkX=MckX·1-exp-λ·MdkX， max（Mdk）>1，MckX， max（Mdk）≤1，（3）

式中：λ是指數(shù)函數(shù)的比例因子，根據(jù)經(jīng)驗(yàn)令λ=1;當(dāng)max（Mdk）≤1時(shí)，光流梯度值可以忽略不計(jì)，時(shí)空梯度場(chǎng)中只有顏色梯度參與計(jì)算，場(chǎng)景幾乎靜止不動(dòng);當(dāng)maxMdk>1時(shí)，光流算法對(duì)于運(yùn)動(dòng)目標(biāo)具有極強(qiáng)的分辨能力。因此光流梯度特征顯著圖較為準(zhǔn)確地指出視頻中的顯著目標(biāo)區(qū)域。

對(duì)于視頻幀的每個(gè)像素，利用時(shí)空梯度場(chǎng)上、下、左、右4個(gè)方向的梯度流值最小的像素流值作為運(yùn)動(dòng)顯著梯度流，對(duì)最小的像素梯度值大于0.2的前景進(jìn)行灰度膨脹，區(qū)分出視頻幀的顯著目標(biāo)，作為視頻的運(yùn)動(dòng)顯著圖S1。

由于光流顯著圖包含了視頻幀中所有的運(yùn)動(dòng)變化量，所以將顏色、邊界信息與光流梯度特征結(jié)合，可以有效去除背景運(yùn)動(dòng)、相機(jī)運(yùn)動(dòng)以及突變情況造成的影響，提高檢測(cè)結(jié)果的準(zhǔn)確性。

運(yùn)動(dòng)顯著圖形成過(guò)程如圖2所示。

1.2 像素級(jí)顯著性估計(jì)

在上節(jié)邊界檢測(cè)中沒(méi)有考慮圖像細(xì)節(jié)特征，所以需要進(jìn)行幀內(nèi)顯著性估計(jì)，將圖像的細(xì)節(jié)特征體現(xiàn)出來(lái)。文獻(xiàn)[17]利用邊界信息從圖像超像素中收集背景種子，從背景顯著圖中選擇前景種子，計(jì)算出前景顯著圖，然后將背景顯著圖和前景顯著圖統(tǒng)一映射，這種算法在復(fù)雜背景以及前景不顯著的情況下，檢測(cè)效果仍然不佳。文獻(xiàn)[18]側(cè)重背景區(qū)域分割，將前景種子集進(jìn)行流行排序，通過(guò)4個(gè)方向的顯著圖映射得到了良好的效果。但是這種方式不宜用于視頻顯著性檢測(cè)。為解決上述難題，本文采用前景種子隨機(jī)游走排序算法。首先通過(guò)去除錯(cuò)誤邊界來(lái)優(yōu)化圖像邊界，并通過(guò)背景查詢生成顯著性估計(jì)概率;然后，通過(guò)背景估計(jì)的互補(bǔ)值生成前景顯著性估計(jì)概率;最后，從前景顯著性估計(jì)中提取種子作為參考，并使用文獻(xiàn)[19]所提出的正則化隨機(jī)游走排序算法計(jì)算像素級(jí)顯著圖。

1.2.1 背景顯著性估計(jì)

對(duì)于輸入視頻幀序列，如果一個(gè)超像素與背景種子具有較大的顏色差異，那么它更有可能成為顯著對(duì)象。另一方面，背景種子對(duì)距離較近的超像素貢獻(xiàn)較大，而對(duì)距離較遠(yuǎn)的超像素貢獻(xiàn)較小。因此，利用空間加權(quán)的顏色對(duì)比度來(lái)估計(jì)基于背景的顯著性，將背景種子集表示為BG，所以Ik幀中第i個(gè)超像素的顯著性：

Sbi=∑n≠i，n∈BGd（ai，an）（1-d（bi，bn）/θ），（4）

式中：dai，an和dbi，bn分別為背景種子集BG中第i個(gè)超像素和第n個(gè)超像素的顏色和空間距離的歐幾里得的歸一化值;θ為調(diào)節(jié)因子，用于調(diào)節(jié)顏色和空間距離的重要性。為了避免有些超像素出現(xiàn)零自相似性，通過(guò)式（5）重新計(jì)算所有基于邊界背景的顯著性估計(jì)概率：

S-bi=1BG（Sbi+1BG-1∑m∈BGδ（m，i）Sbm），（5）

δ（m，i）=1， m=i，0， m≠i，（6）

式中：BG為背景種子集的數(shù)值表示;Sbm為第m個(gè)超像素的背景顯著圖。

1.2.2 前景顯著性估計(jì)

首先使用自適應(yīng)閾值算法對(duì)背景的顯著圖進(jìn)行二值化，然后選擇基于背景的顯著值大于閾值的超像素來(lái)組成前景種子集。使用自適應(yīng)閾值生成的前景種子比使用固定閾值生成的前景種子更準(zhǔn)確和可靠，因?yàn)轱@著性值的范圍在不同圖像中是變化不定的。前景種子為前景顯著圖計(jì)算提供了足夠的對(duì)象信息，如圖3 c）所示，其中非前景種子被遮蔽。

用前景種子計(jì)算每個(gè)超像素的空間顏色相似度，來(lái)描述超像素的前景顯著性：

Sfi=∑n≠i，n∈FGβd（ai，an）+d（bi，bn），（7）

式中：dai，an和dbi，bn分別為前景種子集FG中第i個(gè)超像素和第n個(gè)超像素的顏色和空間距離的歐幾里得表示;β和是用于平衡顏色和位置距離之間重要性。圖3 d）示出了一些前景顯著圖，從中可以看出，由于背景噪聲與所選前景種子形成強(qiáng)烈對(duì)比，背景的顯著圖中的背景噪聲被較好抑制。盡管如此，還是有一些失敗的案例。例如，在圖3 d）的底部行中，背景顯著圖中錯(cuò)誤地將一些背景區(qū)域檢測(cè)為顯著對(duì)象，導(dǎo)致前景種子將噪聲引入前景顯著圖中。

1.2.3 像素級(jí)顯著性估計(jì)

重啟隨機(jī)游走是基于過(guò)去的表現(xiàn)，無(wú)法預(yù)測(cè)將來(lái)的發(fā)展步驟和方向[13]。正則化隨機(jī)行走排序顯著優(yōu)于隨機(jī)游走，本節(jié)使用它優(yōu)化前面獲取的顯著性圖。將1.2.1節(jié)和1.2.2節(jié)獲得的背景種子和前景種子整合到PkM中。當(dāng)k=1時(shí)，對(duì)應(yīng)背景種子集BG;當(dāng)k=2時(shí)，對(duì)應(yīng)前景種子集FG。k=2的情況下，將前景種子集作為參考，利用隨機(jī)游走算法重新排序，獲得優(yōu)化的前景顯著圖，即像素級(jí)顯著圖S2，其尺寸與輸入圖像的尺寸一致。如圖3 e）所示。

1.3 時(shí)空顯著圖

通過(guò)光流梯度特征和背景、前景顯著性估計(jì)，分別獲得了運(yùn)動(dòng)顯著圖和超像素級(jí)顯著圖?；诠饬魈荻忍卣鞯娘@著圖能夠更加準(zhǔn)確地突出視頻中運(yùn)動(dòng)變化，而基于背景、前景的像素級(jí)顯著性估計(jì)能夠更好地抑制背景噪聲，突出顯著目標(biāo)的細(xì)節(jié)特征。因此，采用了一種動(dòng)態(tài)集成機(jī)制區(qū)域，綜合利用光流和背景前景信息，如式（8）和式（9）所示：

S=ρ×S1+（1-ρ）×S2，（8）

ρ=mean（S1×S2）mean（S1×S2）+mean（S1+S2）/2，（9）

式中：S1，S2分別表示運(yùn)動(dòng)顯著圖和像素級(jí)顯著圖;ρ為空間顯著性的權(quán)重，由時(shí)間顯著性的散度來(lái)決定。當(dāng)運(yùn)動(dòng)目標(biāo)較小或運(yùn)動(dòng)區(qū)域較集中時(shí)，應(yīng)減小ρ值，從而增加時(shí)間顯著性的權(quán)重。當(dāng)運(yùn)動(dòng)目標(biāo)分散時(shí)，增加空間顯著性的權(quán)重。通過(guò)這種方法可以得到更真實(shí)的時(shí)空顯著圖。

2 實(shí)驗(yàn)結(jié)果分析

將本節(jié)算法與現(xiàn)有7種經(jīng)典流行算法進(jìn)行比較，7種經(jīng)典算法分別為MST算法[20]、SIVM算法[21]、SST算法[22]、TIMP算法[23]、SPVM算法[24]、RWRV算法[13]、RRWR算法[19]，在SegTrack_v2[25]和DAVIS[26]兩大公開數(shù)據(jù)集中進(jìn)行測(cè)試。在本次測(cè)試對(duì)比中，采用主觀效果比較和客觀指標(biāo)比較。

2.1 主觀效果比較

本節(jié)將各種經(jīng)典算法與本章算法在視覺主觀方面進(jìn)行比較，圖4表示傳統(tǒng)經(jīng)典算法和本文算法在SegTrack_v2數(shù)據(jù)庫(kù)和DAVIS數(shù)據(jù)庫(kù)中的測(cè)試結(jié)果。從圖4中可以看出，本文算法可以完整、準(zhǔn)確地顯示顯著區(qū)域，保持清晰的目標(biāo)邊界，還能夠有效抑制背景噪聲。

圖4中GT為真實(shí)檢測(cè)，結(jié)果從圖4中可以看出，MST算法能檢測(cè)出簡(jiǎn)單背景視頻中的目標(biāo)區(qū)域，但當(dāng)背景雜亂時(shí)，背景噪聲沒(méi)有被充分抑制消除且與前景對(duì)比度低，檢測(cè)效果不理想，如圖4中的soccerball，girl，原因在于MST算法是在頻域范圍內(nèi)進(jìn)行的顯著性定義，當(dāng)處理復(fù)雜背景時(shí)，容易將高頻部分的噪聲區(qū)域誤判定為前景區(qū)域，使得檢測(cè)效果不佳;SST算法不管是處理目標(biāo)突出的視頻還是背景復(fù)雜的視頻檢測(cè)效果都不好;SIVM算法能夠檢測(cè)出前景區(qū)域，但在抑制背景噪聲方面的性能較差;TIMP算法雖然能將前景目標(biāo)都完整地檢測(cè)出，但是仍然會(huì)有背景噪聲影響，并且檢測(cè)物不明亮?xí)斐赡繕?biāo)細(xì)節(jié)缺失;SPVM算法相較與TIMP算法更好地抑制背景噪聲，但是在背景模糊的情況下，如圖4 frog中犧牲了前景細(xì)節(jié)，且把soccerball中的部分目標(biāo)當(dāng)成背景抑制掉了;RWRV算法基于重啟隨機(jī)游走算法，運(yùn)用運(yùn)動(dòng)獨(dú)特性、時(shí)間一致性以及突變特征找到時(shí)間顯著性和運(yùn)動(dòng)顯著性，然后將兩者結(jié)合找出運(yùn)動(dòng)目標(biāo)的轉(zhuǎn)移概率，為下一幀做映射，從而進(jìn)行迭代計(jì)算顯著性，雖然這種方法考慮了視頻檢測(cè)的時(shí)空一致性，但是在抑制背景噪聲方面還有待提高;RRWR算法基于正則化隨機(jī)游走排序算法，該方法在前景種子基礎(chǔ)上對(duì)超像素進(jìn)行排序，達(dá)到了較好的效果，但是由于超像素分割不精確，也會(huì)出現(xiàn)檢測(cè)結(jié)果不理想的情況，如圖4 girl，本文算法（OUR算法）針對(duì)以上檢測(cè)方法的不足，提出了基于光流梯度特征和像素級(jí)估計(jì)算法，本文算法的檢測(cè)結(jié)果能夠較好地抑制背景噪聲，完整地檢測(cè)出顯著區(qū)域，整體性能優(yōu)于對(duì)比算法。

雖然本文算法能夠?qū)Υ蟛糠忠曨l中的顯著區(qū)域完整檢測(cè)出，但當(dāng)目標(biāo)對(duì)象出現(xiàn)在圖像邊緣附近或者目標(biāo)區(qū)域顏色接近背景區(qū)域時(shí)，檢測(cè)結(jié)果不盡人意。圖5為本文算法的部分失敗案例。原因在于當(dāng)圖像中目標(biāo)所占的比例過(guò)于低和當(dāng)目標(biāo)區(qū)域顏色接近背景區(qū)域時(shí)，構(gòu)建的像素級(jí)顯著估計(jì)不能完整地將顯著區(qū)域包裹在內(nèi)，圖像的檢測(cè)結(jié)果不夠完整，準(zhǔn)確度降低。

2.2 定量實(shí)驗(yàn)分析

為了避免僅憑主觀效果評(píng)價(jià)顯著圖算法的局限性，本節(jié)算法分別在SegTrack_v2和DAVIS數(shù)據(jù)集中進(jìn)行測(cè)試，并采用準(zhǔn)確率-召回率（precision-recall，PR曲線）、F-measure值和平均絕對(duì)誤差（MAE）來(lái)定量分析算法的性能。準(zhǔn)確率表示的是得到的顯著圖中正確區(qū)域所占的比例，召回率表示的是顯著圖與圖集中的真值圖相對(duì)應(yīng)的正確區(qū)域的比例。PR曲線的初始值越高，隨著召回率的增大曲線越平穩(wěn)則表明算法檢測(cè)效果越佳。F-measure測(cè)量值用來(lái)評(píng)價(jià)算法的總體性能。

precision=∑Gt（x，y）×S（x，y）∑S（x，y），（10）

recall=∑Gt（x，y）×S（x，y）∑Gt（x，y），（11）

F-maesure=（1+β2）precision×recallβ2×precision+recall，（12）

式中：Gt（x，y）表示Ground Truth圖;S（x，y）為顯著圖，根據(jù)經(jīng)驗(yàn)β2=0.3。

平均絕對(duì)誤差（MAE）表示二值圖與真值圖的接近程度，數(shù)值越小，兩種圖像越接近算法性能越好。它被定義為

MAE=1W×H∑Wx=1∑Hy=1S（x，y）-G（x，y）。（13）

在SegTrack_v2數(shù)據(jù)集上選用6個(gè)不同場(chǎng)景的視頻段（bmx，frog，cheetah，soldier，girl和monkey），包含222張300×300的視頻幀參與測(cè)試。如圖6所示為樣本測(cè)試的PR曲線、客觀評(píng)價(jià)指標(biāo)數(shù)值和MAE值。由圖6 a）可以看到本文算法的PR曲線略高于RRWR，SPVM，SIVM等算法的曲線，說(shuō)明在相同召回率的情況下，本文算法準(zhǔn)確率的值高于其他算法，本文算法提取到的顯著區(qū)域更加準(zhǔn)確。隨著召回率的增加，分割閾值逐漸減小，使得更多區(qū)域被判斷為顯著區(qū)域，所以各個(gè)算法對(duì)應(yīng)的準(zhǔn)確率下降，唯獨(dú)MST算法的準(zhǔn)確率比本章算法稍高一點(diǎn)。圖6 b）表示在自適應(yīng)閾值下得到的各項(xiàng)指標(biāo)數(shù)值，可以看出本文算法的綜合指標(biāo)F-measure值最高。由圖6 c）可以看出本文算法的錯(cuò)誤率最低，說(shuō)明準(zhǔn)確率更高。

在DAVIS數(shù)據(jù)集上選用6個(gè)不同場(chǎng)景的視頻段（kite-surf，bus，car-turn，bmx-bumps，hike和soccerball），包含420張300×300的視頻幀參與測(cè)試。如圖7所示為樣本數(shù)據(jù)得到測(cè)試的PR曲線和指標(biāo)數(shù)值。圖7 a）可以看出PR曲線在召回率比較小時(shí)，本文算法比其他算法性能好。但是隨著召回率升高，本文算法和RWRV算法性能接近，表明在圖像數(shù)據(jù)復(fù)雜度變高時(shí)，這兩種算法檢測(cè)效果具有穩(wěn)定性。在對(duì)比結(jié)果評(píng)價(jià)指標(biāo)方面，可以看出precision值高于其他算法，有相對(duì)較高的查準(zhǔn)率，綜合評(píng)價(jià)指標(biāo)F-measure值最高，MAE值最低。綜合兩種結(jié)果表明本文算法在該數(shù)據(jù)集中有良好的表現(xiàn)，性能有所提升。

3 結(jié) 語(yǔ)

提出了一種像素級(jí)視頻顯著性檢測(cè)算法，將光流顯著圖與像素級(jí)顯著圖動(dòng)態(tài)結(jié)合進(jìn)行時(shí)空一致化處理，獲得了較為準(zhǔn)確、完整的視頻顯著性圖。首先，運(yùn)動(dòng)光流梯度特征聯(lián)合顏色和邊界信息準(zhǔn)確定位視頻中顯著目標(biāo)，為檢測(cè)結(jié)果的準(zhǔn)確性提供了基礎(chǔ);其次，將背景種子、前景種子作為參考，進(jìn)行幀內(nèi)像素級(jí)估計(jì)，為檢測(cè)結(jié)果的完整性提供了保障;最后，運(yùn)動(dòng)顯著圖和像素級(jí)顯著圖動(dòng)態(tài)融合，分情況考慮視頻內(nèi)容，使本文算法更具有普遍性。在公開數(shù)據(jù)集SegTrack_v2和DAVIS數(shù)據(jù)庫(kù)中的測(cè)試實(shí)驗(yàn)結(jié)果，反映了本文算法的客觀評(píng)價(jià)指標(biāo)PR曲線和F-measure值優(yōu)于傳統(tǒng)算法，其中F-measure值在2個(gè)數(shù)據(jù)集中分別為0.631和0.679。本文算法利用加入邊界和顏色因素的光流梯度特征能夠較好地解決傳統(tǒng)視頻檢測(cè)模型中前景提取效果差的問(wèn)題，充分突出了改進(jìn)光流和動(dòng)態(tài)融合方式的時(shí)空一致性優(yōu)勢(shì)。但是，當(dāng)目標(biāo)對(duì)象出現(xiàn)在邊緣附近或者目標(biāo)區(qū)域顏色接近背景區(qū)域時(shí)，檢測(cè)結(jié)果不理想。接下來(lái)將就當(dāng)目標(biāo)物出現(xiàn)在邊緣以及目標(biāo)區(qū)域與背景區(qū)域顏色接近的視頻中時(shí)，如何提高顯著區(qū)域檢測(cè)結(jié)果的準(zhǔn)確性繼續(xù)開展深入研究。

參考文獻(xiàn)/References：

[1] SULTAN S，JENSEN C D.Metadata based need-to-know view in large-scale video surveillance systems[J].Computers & Security，2021，111：102452.

[2] 薛培林，吳愿，殷國(guó)棟，等.基于信息融合的城市自主車輛實(shí)時(shí)目標(biāo)識(shí)別[J].機(jī)械工程學(xué)報(bào)，2020，56（12）：165-173.

XUE Peilin，WU Yuan，YIN Guodong，et al.Real-time target recognition for urban autonomous vehicles based on information fusion[J].Journal of Mechanical Engineering，2020，56（12）：165-173.

[3] LAHOULI I，KARAKASIS E，HAELTERMAN R，et al.Hot spot method for pedestrian detection using saliency maps，discrete Chebyshev moments and support vector machine[J].IET Image Processing，2018，12（7）：1284-1291.

[4] ZHENG Bowen，ZHANG Jianping，SUN Guiling，et al.Fully learnable model for task-driven image compressed sensing[J].Sensors，2021，21（14）：4662.

[5] REKHA B，KUMAR R，SCIENCE C.High quality video assessment using salient features[J].ndonesian Journal of Electrical Engineering，2017，7（3）：767-772.

[6] MARCHESOTTI L，CIFARELLI C，CSURKA G.A framework for visual saliency detection with applications to image thumbnailing[C]//2009 IEEE 12th International Conference on Computer Vision.Kyoto：IEEE，2009：2232-2239.

[7] KANAN C，TONG M H，ZHANG Lingyun，et al.SUN：Top-down saliency using natural statistics[J].Visual Cognition，2009，17（6/7）：979-1003.

[8] CHENG Mingming，MITRA N J，HUANG Xiaolei，et al.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（3）：569-582.

[9] ITTI L，KOCH C，NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254-1259.

[10]ZHU Chunbiao，LI Ge，WANG Wenmin，et al.An innovative salient object detection using center-dark channel prior[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.Venice：IEEE，2017：1509-1515.

[11]李春華，秦云凡，劉玉坤.改進(jìn)凸包的貝葉斯模型顯著性檢測(cè)算法[J].河北科技大學(xué)學(xué)報(bào)，2021，42（1）：30-37.

LI Chunhua，QIN Yunfan，LIU Yukun.Bayesian model saliency detection algorithm based on improved convex hull[J].Journal of Hebei University of Science and Technology，2021，42（1）：30-37.

[12]XI Tao，ZHAO Wei，WANG Han，et al.Salient object detection with spatiotemporal background priors for video[J].IEEE Transactions on Image Processing，2017，26（7）：3425-3436.

[13]KIM H，KIM Y，SIM J Y，et al.Spatiotemporal saliency detection for video sequences based on random walk with restart[J].IEEE Transactions on Image Processing，2015，24（8）：2552-2564.

[14]WANG Wenguan，SHEN Jianbing，SHAO Ling.Consistent video saliency using local gradient flow optimization and global refinement[J].IEEE Transactions on Image Processing，2015，24（11）：4185-4196.

[15]ACHANTA R，SHAJI A，SMITH K，et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[16]CHEN Jun，CAI Zemin，LAI Jianhuang，et al.Efficient segmentation-based patchmatch for large displacement optical flow estimation[J].IEEE Transactions on Circuits and Systems for Video Technology，2019，29（12）：3595-3607.

[17]WANG Jianpeng，LU Huchuan，LI Xiaohui，et al.Saliency detection via background and foreground seed selection[J].Neurocomputing，2015，152：359-368.

[18]YANG Chuan，ZHANG Lihe，LU Huchuan，et al.Saliency detection via graph-based manifold ranking[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland：IEEE，2013：3166-3173.

[19]LI Changyang，YUAN Yuchen，CAI Weidong，et al.Robust saliency detection via regularized random walks ranking[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：2710-2717.

[20]TU W C，HE Shengfeng，YANG Qingxiong，et al.Real-time salient object detection with a minimum spanning tree[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：2334-2342.

[21]RAHTU E，KANNALA J，SALO M，et al.Segmenting Salient Objects from Images and Videos[M].Heidelberg：Springer，2010：366-379.

[22]SEO H J，MILANFAR P.Static and space-time visual saliency detection by self-resemblance[J].Journal of Vision，2009，9（12）：15.1-27.

[23]ZHOU Feng，KANG S B，COHEN M F.Time-mapping using space-time saliency[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：3358-3365.

[24]LIU Zhi，ZHANG Xiang，LUO Shuhua，et al.Superpixel-based spatiotemporal saliency detection[J].IEEE Transactions on Circuits and Systems for Video Technology，2014，24（9）：1522-1540.

[25]PERAZZI F，PONT-TUSET J，MCWILLIAMS B，et al.A benchmark dataset and evaluation methodology for video object segmentation[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：724-732.

[26]LI Fuxin，KIM T，HUMAYUN A，et al.Video segmentation by tracking many figure-ground segments[C]//2013 IEEE International Conference on Computer Vision.Sydney：IEEE，2013：2192-2199.