基于Manifold Ranking和結(jié)合前景背景特征的顯著性檢測(cè)

朱征宇　汪梅

摘要：

針對(duì)基于圖和流形排序（Manifold Ranking）的顯著性檢測(cè)算法（MR算法）過(guò)度依賴(lài)邊界節(jié)點(diǎn)的背景特征的問(wèn)題，提出一種改進(jìn)的結(jié)合前景背景特征的顯著性檢測(cè)算法。首先，對(duì)圖像進(jìn)行超像素分割，建立閉環(huán)圖模型；然后利用流形排序算法根據(jù)圖像前景特征和背景特征分別得出前景種子和背景種子；再通過(guò)亮度和顏色特征對(duì)兩類(lèi)種子進(jìn)行結(jié)合，篩選出更為準(zhǔn)確的查詢(xún)節(jié)點(diǎn)；最后再利用流形排序算法進(jìn)行顯著值計(jì)算，得到最終的顯著圖。實(shí)驗(yàn)表明，改進(jìn)方法與MR算法相比在精確率、召回率、F值等多個(gè)評(píng)價(jià)指標(biāo)上均有明顯提升，得到的顯著圖更接近真值。

關(guān)鍵詞：

顯著性檢測(cè)；流形排序；查詢(xún)節(jié)點(diǎn)；顯著圖；顯著區(qū)域

中圖分類(lèi)號(hào)：

TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract：

Focusing on the issue that the saliency detection algorithm via graphbased manifold ranking （MR algorithm） is over dependent on background features extracted from boundary nodes， an improved saliency detection algorithm combined with foreground and background features was proposed. Firstly， an image was divided into several superpixels and a closeloop model was constructed. Secondly， the foreground and background seeds were obtained by using manifold ranking algorithm according to foreground and background features. Then these two kinds of seed nodes were combined through brightness and color characteristics， resulting in more accurate query nodes. Finally， a saliency map of the image was obtained by computing the saliency value via manifold ranking algorithm. Experimental results show that compared with MR algorithm， the precision rate， the recall rate and the Fmeasure of the proposed algorithm are significantly improved， and the obtained saliency maps are much more close to the true value.

英文關(guān)鍵詞Key words：

saliency detection； Manifold Ranking （MR）； query node； saliency map；salient region

0引言

近年來(lái)，隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，多媒體數(shù)據(jù)呈現(xiàn)爆炸式的增長(zhǎng)，多媒體信息的存儲(chǔ)、傳輸和處理變得越來(lái)越重要，尤其是圖像處理相關(guān)的研究和應(yīng)用。顯著性檢測(cè)（Saliency Detection）就是圖像分析處理前期的一個(gè)重要工作，它的任務(wù)就是檢測(cè)出圖像中最顯著最重要的部分。通過(guò)顯著性檢測(cè)可以將有限的計(jì)算資源優(yōu)先分配給圖像中的顯著區(qū)域，大大提高圖像分析和處理的效率。

圖像的顯著性檢測(cè)，簡(jiǎn)單來(lái)說(shuō)是指將圖片中的顯著性區(qū)域（前景）從非顯著性區(qū)域（背景）中分離出來(lái)。它作為一種圖像預(yù)處理技術(shù)，可以用于后期的圖像分割[1]、物體檢測(cè)[2]、自適應(yīng)圖像壓縮[3]、基于內(nèi)容的圖像檢索[4]、視頻目標(biāo)檢測(cè)[5]等領(lǐng)域。顯著性檢測(cè)算法可以分為兩類(lèi)：眼動(dòng)點(diǎn)預(yù)測(cè)模型[6-9]和顯著目標(biāo)檢測(cè)模型[10-14]。眼動(dòng)點(diǎn)檢測(cè)模型主要為了檢測(cè)出圖像中引起人眼注意的顯著位置，以此分析和指導(dǎo)人的注意力；而顯著目標(biāo)檢測(cè)模型則是為了準(zhǔn)確地從圖像中提取出顯著目標(biāo)區(qū)域，以此為基礎(chǔ)進(jìn)行更為復(fù)雜的圖像處理。顯著性檢測(cè)模型根據(jù)實(shí)現(xiàn)思路的不同可以分為兩種：自上而下[15-17]和自下而上[18-19]。自上而下的方法是由任務(wù)驅(qū)動(dòng)的，從高層語(yǔ)義入手，如目標(biāo)檢測(cè)等；自下而上的方法是由數(shù)據(jù)驅(qū)動(dòng)的，從底層特征入手，如顏色、邊緣、紋理信息等。本文主要關(guān)注自下而上的顯著目標(biāo)檢測(cè)模型。

1998年，Itti等[6]首次從計(jì)算機(jī)視覺(jué)角度來(lái)研究顯著性問(wèn)題，奠定了顯著性研究的基本思路：1）特征提取、歸一化；2）顯著值計(jì)算； 3）顯著區(qū)域劃分或興趣點(diǎn)標(biāo)定。

近幾年來(lái)，越來(lái)越多新穎的算法被應(yīng)用到顯著值計(jì)算這個(gè)環(huán)節(jié)中來(lái)，并取得了良好的實(shí)驗(yàn)效果，為顯著性檢測(cè)的算法研究提供了一些新的角度。最直觀的顯著性檢測(cè)方法是基于對(duì)比度的算法。Cheng等[10]提出了一種基于全局對(duì)比度的顯著區(qū)域檢測(cè)算法RC（Regionbased Contract）。該算法采用圖像各分割區(qū)域之間的顏色距離作為全局對(duì)比度的衡量方法，取得了很好的實(shí)驗(yàn)效果。程明明在文章中該文獻(xiàn)中還對(duì)各區(qū)域之間的對(duì)比度權(quán)值作出了一些假設(shè)，如基于centerbias模型提出了越靠近圖像中心顯著值越大、提出了區(qū)域間空間距離越近對(duì)顯著值影響越大等思想。這些對(duì)顯著值的假設(shè)通過(guò)實(shí)驗(yàn)驗(yàn)證了其正確性，并對(duì)后續(xù)的研究有一定的參考價(jià)值。

然而，RC算法沒(méi)有體現(xiàn)區(qū)域特征的空間分布對(duì)顯著性的重要影響，即特征分布越集中顯著性越大，并且在處理復(fù)雜紋理背景的圖像時(shí)效果一般?；诖?，Krahenbuhl等[11]提出了一種SF（Saliency Filter）算法。該算法使用改進(jìn)的超像素分割方法來(lái)進(jìn)行圖像預(yù)處理，并提出了結(jié)合顏色獨(dú)立性和空間顏色分布的顯著性計(jì)算方法。文中還將顯著值的普通計(jì)算過(guò)程轉(zhuǎn)換為以濾波器的思想進(jìn)行計(jì)算，借助此將算法的時(shí)間復(fù)雜度降低到了線性時(shí)間內(nèi)。

2013年，Yang等[12]提出了一種基于閉環(huán)圖和背景先驗(yàn)[20]的顯著檢測(cè)方法——基于圖和流形排序的顯著性檢測(cè)（saliency detection algorithm via graphbased Manifold Ranking， MR）算法，將流形排序算法[21]引入到顯著性檢測(cè)的應(yīng)用中來(lái)。文中將圖像抽象為一個(gè)基于超像素的閉環(huán)圖模型，然后基于流形排序算法分兩個(gè)階段來(lái)計(jì)算每個(gè)節(jié)點(diǎn)的顯著值。第一階段以四個(gè)邊界的節(jié)點(diǎn)作為背景先驗(yàn)種子節(jié)點(diǎn)，以各節(jié)點(diǎn)與背景種子的差異度計(jì)算顯著值；第二階段將第一階段得到的顯著圖進(jìn)行二值化的結(jié)果作為前景種子節(jié)點(diǎn)，以各節(jié)點(diǎn)與前景種子的相似度再進(jìn)行一次顯著值計(jì)算，以此得到最終的顯著圖。然而MR算法中的兩階段計(jì)算方法都依賴(lài)于第一步背景種子的選取。文中使用圖像的邊界節(jié)點(diǎn)作為初始查詢(xún)節(jié)點(diǎn)以求得第一階段的圖像顯著值，又使用第一階段的計(jì)算結(jié)果作為第二階段的輸入，這樣過(guò)多依賴(lài)了圖像的背景特征而忽略了前景特征。對(duì)此，本文作出了如下改進(jìn)：

1）除了將背景（邊界節(jié)點(diǎn)）作為查詢(xún)節(jié)點(diǎn)，還加入基于全局對(duì)比度的前景特征，將兩者結(jié)合形成最終的查詢(xún)節(jié)點(diǎn)；

2）根據(jù)前景種子和背景種子，結(jié)合亮度、顏色等多種特征，篩選更準(zhǔn)確的查詢(xún)節(jié)點(diǎn)。

實(shí)驗(yàn)結(jié)果表明，本文的改進(jìn)方法在效果上取得了一定的提升。下文將依次介紹Manifold Ranking與顯著性檢測(cè)、基于Manifold Ranking和結(jié)合前景背景特征的顯著性檢測(cè)算法、實(shí)驗(yàn)結(jié)果與分析等內(nèi)容。

1Manifold Ranking與顯著性檢測(cè)

Manifold Ranking的概念最早是由Zhou在文獻(xiàn)[21]中提出的。Manifold Ranking算法以圖模型來(lái)模擬數(shù)據(jù)集內(nèi)在的流形結(jié)構(gòu)，所有的數(shù)據(jù)點(diǎn)通過(guò)這個(gè)圖模型來(lái)將它們的排序值傳播給鄰接點(diǎn)，直到排序值收斂到穩(wěn)定狀態(tài)。具體算法描述如下：

給定一個(gè)數(shù)據(jù)集X={x1，…，xi，xi+1，…，xn}∈Rn×n，包括已標(biāo)記的查詢(xún)數(shù)據(jù)以及需要進(jìn)行排序的未標(biāo)記數(shù)據(jù)。令f：X→Rn表示一個(gè)排序方程，其中每個(gè)值fi表示數(shù)據(jù)點(diǎn)xi的排序值。 f可以看作一個(gè)向量f=[f1， f2，…， fn]T。令y=[y1，y2，…，yn]T表示一個(gè)標(biāo)簽向量，其中當(dāng)xi為查詢(xún)節(jié)點(diǎn)時(shí)yi=1，否則yi=0。流形排序算法步驟如下：

1）構(gòu)建一個(gè)圖G（V，E），其中節(jié)點(diǎn)V為數(shù)據(jù)集X，邊E的權(quán)重表示為相似度矩陣W=[wij]n×n。計(jì)算圖的度矩陣D=diag（d1，d2，…，dn），其中dii=∑jwij。S是W的歸一化矩陣S=D-1/2WD-1/2。

2）利用公式f（t+1）=αSf（t）+（1-α）y進(jìn)行迭代，直到收斂。其中α∈[0，1）。

3）令f*i代表數(shù)列{fi（t）}的極值。最后根據(jù)f*i對(duì)數(shù)據(jù)點(diǎn)進(jìn)行排序。

文獻(xiàn)[21]中已經(jīng)證明，序列最終將收斂到如下閉合解：

f*i=（I-αS）-1y（1）

其中：I為單位矩陣，參數(shù)α決定了平滑約束（smoothness constraint）和適應(yīng)性約束（fitting constraint）的權(quán)重比例。其中平滑約束代表相鄰節(jié)點(diǎn)之間的排序值不應(yīng)變化太大，適應(yīng)性約束是指最終得到的排序值結(jié)果與初始查詢(xún)要大致接近。

式（1）的非歸一化的解為：

f*=（D-αW）-1y（2）

文獻(xiàn)[12]中的實(shí)驗(yàn)證明，應(yīng)用在顯著性檢測(cè)這一問(wèn)題中，非歸一化的式（2）比歸一化的式（1）有更好的實(shí)驗(yàn)效果，因此本文也采用式（2）進(jìn)行流形排序計(jì)算。

令A(yù)=（D-αW）-1，則：

f*=Ay（3）

矩陣A可以看作通過(guò)排序算法學(xué)習(xí)到的最優(yōu)相似度矩陣，它比W能更好地描述節(jié)點(diǎn)之間的關(guān)聯(lián)程度。第i個(gè)節(jié)點(diǎn)的排序值可以看成是矩陣A的第i行與向量y的內(nèi)積。

流形排序算法提出后，被相繼應(yīng)用在文檔搜索、圖像搜索[22]等領(lǐng)域。在MR算法中，作者將流形排序的思想結(jié)合到顯著性檢測(cè)中來(lái)。文獻(xiàn)[12]中將圖像抽象為一個(gè)閉環(huán)圖模型[12]，如圖1。

閉環(huán)圖模型的構(gòu)建過(guò)程為：1）對(duì)一個(gè)圖像，使用SLIC（Simple Linear Iterative Cluster）超像素方法[23]將圖像分割成若干超像素，每個(gè)超像素作為圖G中的一個(gè)“節(jié)點(diǎn)”；2）邊界節(jié)點(diǎn)之間兩兩有邊，每個(gè)節(jié)點(diǎn)都與其鄰節(jié)點(diǎn)、間接鄰節(jié)點(diǎn)之間有邊；3）邊的權(quán)重定義為兩節(jié)點(diǎn)的平均Lab顏色的歐幾里得距離，具體計(jì)算公式如下：

wij=e-‖ci-cj‖σ2； i， j∈V（4）

其中：ci是節(jié)點(diǎn)i中包含所有像素點(diǎn)的Lab平均顏色。

基于以上閉環(huán)圖模型，選取初始顯著節(jié)點(diǎn)作為查詢(xún)節(jié)點(diǎn)，可以通過(guò)Manifold Ranking算法中的式（2）得到每個(gè)節(jié)點(diǎn)的排序值。這個(gè)排序值即作為該節(jié)點(diǎn)所包含像素的顯著值，以此得到圖像的顯著圖。

2基于Manifold Ranking和結(jié)合前景背景特征的顯著性檢測(cè)

2基于Manifold Ranking和結(jié)合前景背景特征的顯著性檢測(cè)

2.1前景和背景特征的流形排序

MR算法提出的兩階段顯著性檢測(cè)方法是以背景特征為查詢(xún)節(jié)點(diǎn)的流形排序，其背景特征從四個(gè)方向的邊界節(jié)點(diǎn)獲取。在式（2）中令yi=1，i是上邊界的節(jié)點(diǎn)，得到以上邊界節(jié)點(diǎn)為查詢(xún)種子的排序結(jié)果ft。那么以上邊界節(jié)點(diǎn)為背景特征的圖像顯著值St可通過(guò)式（5）計(jì)算得到：

St=1-ft（5）

其中 ft是ft的歸一化到[0，1]的結(jié)果。同理可以得到以其他三個(gè)邊界節(jié)點(diǎn)作為背景特征得到的顯著值Sb、Sl、Sr。這4個(gè)顯著圖可以通過(guò)式（6）進(jìn)行整合，得到的結(jié)果即為以背景特征為先驗(yàn)的顯著值Sbg。文獻(xiàn)[12]中已證明式（6）的合理性，這里不作贅述。將顯著圖Sbg二值化，得到背景特征種子節(jié)點(diǎn)（后文簡(jiǎn)稱(chēng)“背景種子”）。

Sbg=St×Sb×Sl×Sr（6）

然而由于MR算法只考慮了背景特征而沒(méi)有考慮全局前景特征，本文方法基于MR算法中的閉環(huán)圖模型，將所有節(jié)點(diǎn)設(shè)為查詢(xún)節(jié)點(diǎn)，即在式（2）中令y=[1，1，…，1]T，相當(dāng)于直接利用閉環(huán)圖本身的最優(yōu)相似度矩陣A計(jì)算每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)的差異和。以此進(jìn)行流形排序得到一個(gè)顯著圖Sfg，該顯著圖即為考慮全局特征得到各個(gè)節(jié)點(diǎn)的顯著值，計(jì)算公式如式（7）。將顯著圖Sfg二值化，得到前景特征種子節(jié)點(diǎn)（后文簡(jiǎn)稱(chēng)“前景種子”）。

Sfg=A×[1，1，…，1]T（7）

實(shí)驗(yàn)發(fā)現(xiàn)，部分圖片的前景種子與背景種子有著很大的相似性（場(chǎng)景1），如圖2中的（1）、（2）組圖片：此類(lèi)圖片的顯著區(qū)域既與背景特征區(qū)別顯著，也在全局范圍內(nèi)有著排序靠前的特征顯著性，因此使用前景或者背景種子作為查詢(xún)節(jié)點(diǎn)，都可以得到良好的實(shí)驗(yàn)結(jié)果。

然而，大部分的前景種子與特征種子存在部分差異（場(chǎng)景2），如圖2中的（3）、（4）組圖片：有時(shí)前景種子作為查詢(xún)節(jié)點(diǎn)更準(zhǔn)確，有時(shí)背景種子表現(xiàn)更佳，因此不能單純使用前景或背景種子進(jìn)行計(jì)算，需根據(jù)一定規(guī)則將兩者進(jìn)行有機(jī)結(jié)合。3.2節(jié)將詳細(xì)闡述如何進(jìn)行結(jié)合。

特別地，還存在個(gè)別圖片的前景種子與背景種子存在顯著差異（場(chǎng)景3），如圖2中的（5）、（6）組圖片：此類(lèi)圖片的前景種子與背景種子的交集非常有限，即以邊界節(jié)點(diǎn)特征作為先驗(yàn)與計(jì)算全局對(duì)比度得到的顯著區(qū)域幾乎完全相反。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，背景特征種子往往更貼近理想的查詢(xún)節(jié)點(diǎn)，因此對(duì)于這類(lèi)圖片，直接采取背景特征種子作為最終查詢(xún)節(jié)點(diǎn)。

2.2結(jié)合前景和背景特征的顯著性檢測(cè)

針對(duì)上文描述的前景特征與背景特征的不同表現(xiàn)，本文提出了一種結(jié)合背景和前景特征的顯著性檢測(cè)方法。通過(guò)MR算法得到背景特征顯著圖，再以式（2）設(shè)全1的查詢(xún)節(jié)點(diǎn)y得到前景特征顯著圖。對(duì)前景特征顯著圖和背景特征顯著圖分別進(jìn)行二值化，得到前景種子和背景種子。結(jié)合這兩類(lèi)種子節(jié)點(diǎn)作為最終查詢(xún)節(jié)點(diǎn)進(jìn)行流形排序，即可得到更準(zhǔn)確的顯著值。算法流程如圖3所示。

得到前景種子和背景種子的前提下，關(guān)于如何計(jì)算選取最終查詢(xún)節(jié)點(diǎn)，本文提出了一種結(jié)合亮度和顏色特征的種子選取規(guī)則。

定義初始前景fgQuery=[q1，q2，…，qn]T，其中qi=0或1。 fgQuery為兩次被標(biāo)記為顯著區(qū)域的節(jié)點(diǎn)，用于計(jì)算圖像前景特征，也作為初始查詢(xún)節(jié)點(diǎn)。同理初始背景bgQuery為兩次被標(biāo)記為非顯著區(qū)域的節(jié)點(diǎn)，用于計(jì)算圖像背景特征。候選查詢(xún)節(jié)點(diǎn)candidate為待判定為前景或背景的節(jié)點(diǎn)。計(jì)算公式如式（8）：

fgQuery=Query1∩Query2

bgQuery=（Query1∪Query2）

candidate=Query1∪Query2-Query1∩Query2（8）

其中Query1是背景種子，Query2是前景種子。

首先判斷圖像的前景種子是否符合3.1節(jié)中描述的場(chǎng)景1或場(chǎng)景3。若符合，則最終查詢(xún)節(jié)點(diǎn)y即為背景種子Query1；否則將y初始化為初始前景fgQuery，然后判斷候選查詢(xún)節(jié)點(diǎn)是否被選為最終查詢(xún)節(jié)點(diǎn)。式（9）如下：

y=Query1，場(chǎng)景1或3

fgQuery，場(chǎng)景2

場(chǎng)景1：Query1=Query2

場(chǎng)景2：Query1≠Q(mào)uery2 and num（fgQuery）≥μ×num（Query1）

場(chǎng)景3：num（fgQuery）<μ×num（Query1）（9）

其中：num（Query）表示Query種子節(jié)點(diǎn)的個(gè)數(shù)； μ表示初始前景至少占背景種子的比例，實(shí)驗(yàn)中取50%。即當(dāng)初始前景的節(jié)點(diǎn)個(gè)數(shù)小于背景種子個(gè)數(shù)的一半時(shí)，則認(rèn)為前景種子與背景種子的差異過(guò)大，初始前景的特征不足以用來(lái)作為判斷是否顯著的參考。因此，當(dāng)前景種子與背景種子完全相同，或者初始前景節(jié)點(diǎn)數(shù)明顯不足的情況下，直接采用背景種子作為最終查詢(xún)節(jié)點(diǎn)。

對(duì)于候選查詢(xún)節(jié)點(diǎn)，根據(jù)亮度和顏色兩種特征來(lái)判定其屬于前景還是背景，即是否被選為最終查詢(xún)節(jié)點(diǎn)。之所以將亮度參數(shù)和顏色參數(shù)分開(kāi)考慮，是針對(duì)MR算法中兩種表現(xiàn)不佳的情況：

1）顯著區(qū)域因亮度存在差異，部分亮度較低的區(qū)域被判斷為非顯著區(qū)域；

2）顯著區(qū)域因顏色存在差異，部分與背景顏色更接近的區(qū)域被判定為非顯著區(qū)域。

針對(duì)以上兩種情況，候選節(jié)點(diǎn)滿(mǎn)足以下兩個(gè)要求之一的節(jié)點(diǎn)，也設(shè)為查詢(xún)節(jié)點(diǎn)：

1）亮度參數(shù)（L分量）更接近初始前景；

2）顏色參數(shù)（a、b分量）更接近初始前景。

其中：L代表Lab顏色空間中的L分量，AB表示Lab顏色空間中的a、b兩個(gè)分量；Dli表示當(dāng)前節(jié)點(diǎn)與初始前景或初始背景之間L分量的歐氏距離，Dabi表示當(dāng)前節(jié)點(diǎn)與初始前景或初始背景之間a、b分量的歐氏距離。

a）原圖（b）真值（c）背景種子（d）前景種子（e）Lab三個(gè)分量綜合判定的最終查詢(xún)節(jié)點(diǎn)（f）L分量和a、b分量分別判定的最終查詢(xún)節(jié)點(diǎn)

圖4展示了兩種判定方式得到的查詢(xún)種子，可以看出，將亮度和顏色分量分開(kāi)判定比Lab三個(gè)分量綜合判定，使得更多原本應(yīng)該加入顯著區(qū)域的節(jié)點(diǎn)加入進(jìn)來(lái)，得到的最終查詢(xún)節(jié)點(diǎn)更準(zhǔn)確。

2.3算法過(guò)程形式化描述

綜上分析，本文提出算法的形式化描述如下：

輸入：圖像Image；

輸出：圖像的各個(gè)超像素部分的顯著值，即得到一個(gè)圖像的顯著圖saliencymap。

1）將圖像分割為n個(gè)超像素區(qū)域，以每個(gè)超像素為節(jié)點(diǎn)建立閉環(huán)圖G，計(jì)算度矩陣D和權(quán)重矩陣W。

2）計(jì)算A=（D-αW）-1并將其對(duì)角元素設(shè)置為0。

3）基于背景特征的流形排序：以四個(gè)方向的邊界節(jié)點(diǎn)作為查詢(xún)節(jié)點(diǎn)進(jìn)行流形排序計(jì)算，由式（5）、（6）得到背景特征顯著圖，以自適應(yīng)閾值二值化后得到背景種子Query1。

4）基于前景特征的流形排序：根據(jù)式（7），將所有節(jié)點(diǎn)作為查詢(xún)節(jié)點(diǎn)進(jìn)行流形排序計(jì)算，得到前景特征顯著圖，以自適應(yīng)閾值二值化后得到前景種子Query2。

5）計(jì)算查詢(xún)節(jié)點(diǎn)y：

①根據(jù)式（8）計(jì)算初始前景fgQuery、初始背景bgQuery，候選查詢(xún)節(jié)點(diǎn)candidate；

②根據(jù)式（9）判斷是否符合場(chǎng)景1或場(chǎng)景3，若符合，令y=Query1，直接跳到第6）步；否則，繼續(xù)下列步驟。

③y初始化為初始前景y=fgQuery，對(duì)于每個(gè)候選節(jié)點(diǎn)candidate，根據(jù)式（10）判斷其是否為查詢(xún)節(jié)點(diǎn)。

6）利用式（3）計(jì)算各個(gè)節(jié)點(diǎn)的排序值，得到的排序值即為各個(gè)超像素的顯著值，并以此求得圖像的顯著圖。

3實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)的硬件環(huán)境為CPU 3GHz、內(nèi)存4GB的計(jì)算機(jī)。實(shí)驗(yàn)在Windows 7操作系統(tǒng)下進(jìn)行，使用Matlab語(yǔ)言在Matlab 2014a平臺(tái)上仿真。

本文實(shí)驗(yàn)數(shù)據(jù)集采用的是由文獻(xiàn)[24]提供的MSRA1000，是MSRA數(shù)據(jù)集的子集，由人工標(biāo)記了顯著區(qū)域GroundTruth（GT）。以下實(shí)驗(yàn)中，本文方法（簡(jiǎn)寫(xiě)為Ours）與近幾年的其他三種stateofart類(lèi)算法：MR算法[12]、SF算法[11]、RC算法[10]（RC算法有兩個(gè)版本，分別來(lái)自文獻(xiàn)[4]和文獻(xiàn)[10]，本文使用的是文獻(xiàn)[10]中給出的實(shí)驗(yàn)數(shù)據(jù)）進(jìn)行了對(duì)比分析。

實(shí)驗(yàn)中涉及到幾個(gè)參數(shù)，它們分別是：超像素個(gè)數(shù)（閉環(huán)圖節(jié)點(diǎn)個(gè)數(shù)）n，式（2）中的調(diào)節(jié)參數(shù)α。本文實(shí)驗(yàn)中，參考MR算法[12]中參數(shù)的設(shè)定，取n=200，α=0.99。

實(shí)驗(yàn)中，使用了三種常用的評(píng)價(jià)指標(biāo)：精確率（Precision）、召回率（Recall）和F值（Fmeasure）。其中：精確率表示算法得出的顯著區(qū)域中真實(shí)顯著區(qū)域的比例，召回率表示GT中的顯著區(qū)域被正確標(biāo)記的比例，F(xiàn)值則是對(duì)精確率和召回率進(jìn)行整合的一個(gè)綜合指標(biāo)。本文參照以往文獻(xiàn)[10-12]中的參數(shù)設(shè)定，設(shè)β2=0.3以強(qiáng)調(diào)精確率的重要性。

Fβ=（1+β2）Precision×Recallβ2Precision+Recall（11）

顯著圖的二值化使用下面兩種方式：自適應(yīng)閾值方式和固定閾值方式。自適應(yīng)閾值是指對(duì)每個(gè)圖片都根據(jù)其顯著圖計(jì)算一個(gè)閾值進(jìn)行分割，實(shí)驗(yàn)結(jié)果直接使用平均精確率、召回率和F值的方式來(lái)表示。固定閾值是指對(duì)所有數(shù)據(jù)集中的圖片，固定閾值為0～255，以此獲得在不同閾值下的精確率和召回率，一般使用PR曲線和F值曲線來(lái)表示?？梢哉J(rèn)為，自適應(yīng)閾值方式是該算法的最佳表現(xiàn)結(jié)果，固定閾值方式體現(xiàn)了算法的平均表現(xiàn)結(jié)果。圖5分別是本文算法（Ours）、MR算法、SF算法、RC算法在自適應(yīng)閾值和固定閾值下的實(shí)驗(yàn)對(duì)比結(jié)果?？梢钥闯?，自適應(yīng)閾值情況下，本文算法較MR是算法在精確率、召回率、F值上均有提升；固定閾值情況下，本文算法始終略好于MR算法。

為了更直觀地分析本文算法在實(shí)驗(yàn)效果上的改進(jìn)，圖6展示了12組本文算法得到的顯著圖與其他三種算法：MR算法、SF算法、RC算法的對(duì)比結(jié)果，其中GT是人工標(biāo)記的顯著區(qū)域?？梢钥闯觯訥T為參照，本文算法的效果普遍好于其他三種算法。

通過(guò)前6組圖片，可以看出本文算法更能夠均勻地突出前景，即顯著區(qū)域的顯著值更大而非顯著區(qū)域的顯著值減小。這是由于本文結(jié)合了前景和背景特征得到的查詢(xún)節(jié)點(diǎn)，采取了比MR算法（僅由背景特征得到的）更準(zhǔn)確的查詢(xún)節(jié)點(diǎn)，使得噪聲數(shù)據(jù)減少，顯著與非顯著區(qū)域的排序值區(qū)分更大。

通過(guò)后6組圖片，可以看出本文算法可以檢測(cè)到MR算法“丟失”的顯著區(qū)域，這是由于本文方法結(jié)合了全局對(duì)比度

的前景特征。MR算法由于依賴(lài)于邊界背景特征，容易在以下兩種情況下表現(xiàn)不佳：一是顯著區(qū)域與邊界區(qū)域特征近似時(shí)，難以區(qū)分是否顯著；二是當(dāng)顯著區(qū)域由幾個(gè)特征差異較大的部分組成時(shí)，難以區(qū)分是否顯著。而這兩個(gè)問(wèn)題在使用前景特征進(jìn)行流形排序時(shí)可以得到很好的解決。SF算法和RC算法是基于全局對(duì)比度的算法，這兩種算法在后6幅圖片中表現(xiàn)比MR好，也可以間接證明這一點(diǎn)。

綜合來(lái)說(shuō)，使用背景特征先驗(yàn)可以更均勻地突出顯著區(qū)域，使用前景特征先驗(yàn)可以檢測(cè)到更完整的顯著區(qū)域。本文方法采取結(jié)合前景和背景特征的方式，有效結(jié)合了以上兩個(gè)優(yōu)點(diǎn)。

4結(jié)語(yǔ)

圖像顯著性檢測(cè)越來(lái)越得到廣泛的研究和關(guān)注，然而仍然存在許多問(wèn)題尚待改進(jìn)。本文在文獻(xiàn)[12]的基礎(chǔ)上，針對(duì)其依賴(lài)背景特征的不足，基于Manifold Ranking算法提出了一種結(jié)合前景背景特征的顯著性檢測(cè)方法。該方法融合全局對(duì)比度和以邊界信息為參考的背景特征，并結(jié)合多次流形排序算法為計(jì)算顯著值提供了更準(zhǔn)確的查詢(xún)節(jié)點(diǎn)。然而，本文算法仍有改進(jìn)的空間，如在處理背景較為復(fù)雜的圖片時(shí)對(duì)顯著區(qū)域的檢測(cè)不夠準(zhǔn)確；算法僅僅使用了顏色特征進(jìn)行描述，在以后的工作中可以融合紋理、形狀等多種圖像特征。

參考文獻(xiàn)：

[1]

GOFERMAN S， ZELNIKMANOR L， TAL A. Contextaware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 34（10）： 1915-1926.

[2]

RUTISHAUSER U， WALTHER D， KOCH C， et al. Is bottomup attention useful for object recognition？ [C]// CVPR 04： Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： 37-44.

[3]

ITTI L. Automatic foveation for video compression using a neurobiological model of visual attention [J]. IEEE Transactions on Image Processing， 2004， 13（10）： 1304-1318.

[4]

CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection [C]// CVPR 11： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 409-416.

[5]

LIU Z， ZHANG X， LUO S， et al. Superpixelbased spatiotemporal saliency detection [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2014， 24（9）： 1522-1540.

[6]

ITTI L， KOCH C， NIEBUR E. A model of saliencybased visual attention for rapid scene analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1254-1259.

[7]

HOU X， ZHANG L. Saliency detection： a spectral residual approach [C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007：1-8.

[8]

JUDD T， EHINGER K， DURAND F， et al. Learning to predict where humans look [C]// Proceedings of the IEEE 12th International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 2106-2113.

[9]

KIM J S， SIM J Y， KIM C S. Multiscale saliency detection using random walk with restart [J]. IEEE Transactions on Circuits and Systems for Video Technology， 2014， 24（2）： 198-210.

[10]

CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 569-582.

[11]

PERAZZI F， KR？HENBüHL P， PRITCH Y， et al. Saliency filters： contrast based filtering for salient region detection [C]// CVPR 2012： 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.， 2012：733-740.

KRAHENBUHL P. Saliency filters： contrast based filtering for salient region detection [C]// CVPR 12： Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 733-740.

[12]

YANG C， ZHANG L， LU H， et al. Saliency detection via graphbased manifold ranking [C]// CVPR 13： Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 3166-3173.

[13]

LIANG Z， WANG M， ZHOU X， et al. Salient object detection based on regions [J]. Multimedia Tools and Applications， 2014， 68（3）： 517-544.

[14]

SHI J， YAN Q， XU L， et al. Hierarchical image saliency detection on extended CSSD [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（4）：717-729.

[15]

LIU T， YUAN Z， SUN J， et al. Learning to detect a salient object [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33（2）： 353-367.

[16]

ZHAO R， OUYANG W， LI H， et al. Saliency detection by multicontext deep learning [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 1265-1274.

[17]

TONG N， LU H， RUAN X， et al. salient object detection via bootstrap learning [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 1884-1892.

[18]

LI C， YUAN Y， CAI W， et al. Robust saliency detection via regularized random walks ranking [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 2710-2717.

[19]

QIN Y， LU H， XU Y， et al. Saliency detection via cellular automata [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2015： 110-119.

[20]

WEI Y， WEN F， ZHU W， et al. Geodesic saliency using background priors [C]// Proceedings of the 2012 12th European Conference on Computer Vision， LNCS 7574. Berlin： Springer， 2012： 29-42.

[21]

ZHOU D， WESTON J， GRETTON A， et al. Ranking on data manifolds [J]. Advances in Neural Information Processing Systems， 2003： 169-176.

ZHOU D， WESTON J， GRETTON A， et al. Ranking on data manifolds [EB/OL]. [20151108]. http：//www.kyb.mpg.de/fileadmin/user_upload/files/publications/pdfs/pdf2334.pdf.

[22]

WANG B， PAN F， HU K M， et al. Manifoldranking based retrieval using kregular nearest neighbor graph [J]. Pattern Recognition， 2012， 45（4）： 1569-1577.

[23]

ACHANTA R， SHAJI A， SMITH K， et al. SLIC superpixels [J]. Epfl， 2010.

ACHANTA R， SHAJI A， SMITH K， et al. SLIC superpixels [EB/OL]. [20151211]. http：//islab.ulsan.ac.kr/files/announcement/531/SLIC_Superpixels.pdf.

[24]

ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequencytuned salient region detection [C]// CVPR 2009： Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 1597-1604.