基于超像素分類的顯著目標(biāo)檢測(cè)

李繼德 李曉強(qiáng) 沙彩霞

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)

基于超像素分類的顯著目標(biāo)檢測(cè)

李繼德 李曉強(qiáng) 沙彩霞

(上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院 上海 200444)

結(jié)合邊界-中心先驗(yàn)信息與超像素分割技術(shù)提出一種新的顯著性目標(biāo)檢測(cè)方法。首先對(duì)種子點(diǎn)進(jìn)行分類，使得分割后的超像素具有背景或前景屬性。然后，從空間和顏色兩個(gè)方面對(duì)每個(gè)超像素區(qū)域計(jì)算其背景顯著性和前景顯著性。最后，對(duì)不同的顯著性值進(jìn)行融合得到最終顯著性值。一方面通過(guò)實(shí)驗(yàn)說(shuō)明空間、顏色、前景和背景等因素在顯著性計(jì)算中具有重要作用；另一方面，通過(guò)與其他顯著性檢測(cè)算法進(jìn)行比較，證明該方法優(yōu)于現(xiàn)存的8種方法。

顯著性檢測(cè) 超像素分割 邊界-中心知識(shí) 前景-背景

0 引 言

人類對(duì)外界信息的感知，80%是通過(guò)視覺(jué)獲取的。如何讓計(jì)算機(jī)擁有和人類一般高效、靈活的視覺(jué)，是人類一直不懈追求的目標(biāo)。依據(jù)早期科學(xué)家對(duì)于人類視覺(jué)的研究成果可知，人類對(duì)于所見(jiàn)的事物不是一概全部吸收，而是有選擇的接納，學(xué)術(shù)上稱這種人類所關(guān)注的部分為顯著目標(biāo)。相對(duì)應(yīng)地，人類大腦能自動(dòng)地將所見(jiàn)場(chǎng)景轉(zhuǎn)化為顯著圖，提取出顯著目標(biāo)，摒棄非顯著目標(biāo)以進(jìn)行后續(xù)的信息處理。

早期關(guān)于視覺(jué)顯著性的研究是建立在生物驅(qū)動(dòng)模型[1-3]的基礎(chǔ)上，研究的問(wèn)題是人眼的關(guān)注點(diǎn)在什么位置，其致力于尋找圖像中的若干個(gè)人眼關(guān)注的點(diǎn)。近幾年來(lái)，關(guān)于顯著性的研究致力于目標(biāo)級(jí)顯著性檢測(cè)[4-5]，不同于生物驅(qū)動(dòng)顯著性僅致力于研究某些點(diǎn)在什么位置，這里研究的是顯著目標(biāo)在什么位置。關(guān)于目標(biāo)級(jí)顯著性檢測(cè)的研究已經(jīng)越來(lái)越受到人們的關(guān)注，因?yàn)檫@種方法有更好的實(shí)用性，例如顯著目標(biāo)檢測(cè)已經(jīng)廣泛應(yīng)用于圖像分割[6-7]、自適應(yīng)壓縮[8]、圖像檢索[9]等計(jì)算機(jī)視覺(jué)技術(shù)中。

一般來(lái)說(shuō)，顯著性計(jì)算的復(fù)雜度較高。為簡(jiǎn)化計(jì)算量，本文用SLIC超像素[10]方法對(duì)圖像進(jìn)行分割，以分割后的超像素為處理單元進(jìn)行顯著性計(jì)算。另外，在選取種子點(diǎn)時(shí)用使用文獻(xiàn)[11]中的邊界-中心知識(shí)，并對(duì)種子點(diǎn)進(jìn)行分類，使得分割后的超像素具有背景或前景屬性。然后，本文從空間和顏色兩個(gè)角度對(duì)每個(gè)區(qū)域計(jì)算背景顯著性和前景顯著性。最后，將所有因素融合得到最終顯著性。

本文的顯著性檢測(cè)方法有以下三個(gè)方面的優(yōu)勢(shì)。首先，由于本文的處理單元為超像素而非像素，因此計(jì)算量得以大大縮小。其次，本文從背景、前景、顏色和空間四個(gè)方面計(jì)算顯著性，并分析各個(gè)要素的重要性。最后，通過(guò)在公共數(shù)據(jù)集上的大量實(shí)驗(yàn)，證明本文方法優(yōu)于現(xiàn)存的8種方法。

1 相關(guān)工作

隨著顯著性研究的不斷發(fā)展，很多學(xué)者將顯著性的研究投向于確定顯著目標(biāo)這一新型意義上的顯著性。這種顯著性在圖像分割，圖像自適應(yīng)等圖像應(yīng)用領(lǐng)域更具有實(shí)用性。對(duì)比度是最為常用的目標(biāo)級(jí)顯著性模型的表示手段，依據(jù)對(duì)比的范圍可分為局部對(duì)比度算法和全局對(duì)比度算法。局部對(duì)比度是指處理單元將與其附近某個(gè)鄰域內(nèi)的所有處理單元關(guān)于某種特征的對(duì)比度，而全局對(duì)比度是指處理單元與整個(gè)圖像處理單元的對(duì)比度。

早期關(guān)于對(duì)比度的研究，著重于局部對(duì)比度[12-14]。1998年，Itti等[12]提出“中心-周邊差”的概念，即典型的視覺(jué)神經(jīng)對(duì)于對(duì)抗性的差異更為敏感?；诖?，通過(guò)計(jì)算中心區(qū)域和周邊區(qū)域關(guān)于亮度、顏色、方向三種特征的差異，得到中心區(qū)域的顯著性。2008年Achanta等提出Itti方法的簡(jiǎn)化方法[14]。該文認(rèn)為Itti方法之所以計(jì)算量大是因?yàn)椴捎昧硕嗉?jí)金字塔來(lái)計(jì)算“中心-周邊差”，為減少計(jì)算量，本文采用滑動(dòng)模板的方法，以同一像素為中心的大小不同的兩個(gè)均值模板對(duì)圖像卷積然后求差，從而簡(jiǎn)化“中心-周邊差”的計(jì)算復(fù)雜度。

局部對(duì)比度應(yīng)用廣泛，然而大多數(shù)局部對(duì)比度方法普遍存在的缺陷是只能檢測(cè)出邊緣，顯著目標(biāo)內(nèi)部則不能比較均勻地表現(xiàn)出來(lái)。對(duì)于這個(gè)問(wèn)題，全局對(duì)比度[15-16]給出更好的解決方案。

2010年Goferman等人提出上下文內(nèi)容相關(guān)的顯著性檢測(cè)方法[15]。為體現(xiàn)出上下文內(nèi)容相關(guān)的特點(diǎn)，他們把每個(gè)像素點(diǎn)及其周邊某個(gè)尺度范圍作為處理單元。另外，通過(guò)計(jì)算每個(gè)像素與其距離最大的k個(gè)像素的平均距離，作為對(duì)全局對(duì)比度的簡(jiǎn)化。最后，將不同尺度下所得的值整合成為一個(gè)顯著值。2011年Cheng等人提出基于顏色直方圖對(duì)比度的顯著目標(biāo)檢測(cè)方法和基于區(qū)域?qū)Ρ榷鹊娘@著目標(biāo)檢測(cè)方法[16]?；陬伾狈綀D對(duì)比度的顯著目標(biāo)檢測(cè)方法把像素對(duì)比度轉(zhuǎn)化為顏色對(duì)比度，并通過(guò)對(duì)顏色的篩選和過(guò)濾，大大減少傳統(tǒng)全局對(duì)比度方法的計(jì)算量；基于區(qū)域?qū)Ρ榷鹊娘@著目標(biāo)檢測(cè)方法一方面引入了空間因素，另一方面，把對(duì)像素的處理拓展為對(duì)區(qū)域的處理，以此減少計(jì)算量。

除對(duì)比度方法外，顯著性還有很多其他的表現(xiàn)形式。2007年Hou等人[17]提出譜殘差的顯著性檢測(cè)方法。該方法認(rèn)為顯著目標(biāo)就是圖像中的新穎信息，將圖像由空間域轉(zhuǎn)化為頻率域，得到的頻譜圖中的非平坦部分就是圖像的顯著信息。2012年，Wei等人[18]提出基于地形圖的顯著目標(biāo)檢測(cè)方法。該方法在圖像邊界是背景的假設(shè)之上，定義某個(gè)處理單元的顯著性是該單元到圖像邊界的最短路徑距離，該方法打破了常規(guī)的以對(duì)比度為核心的處理策略。2013年，Sha等[11]提出了基于邊界-中心知識(shí)的顯著性檢測(cè)方法。該方法從背景和前景兩個(gè)角度對(duì)顯著性進(jìn)行分析，并利用邊界-中心知識(shí)對(duì)計(jì)算進(jìn)行簡(jiǎn)化，從而進(jìn)一步對(duì)顯著性計(jì)算方法進(jìn)行優(yōu)化。

文獻(xiàn)[11]把顯著性計(jì)算都孤注在中心區(qū)域(作為前景區(qū)域)的選擇上，若選擇失誤，則會(huì)影響整個(gè)算法的正確率。為克服這個(gè)缺點(diǎn)，本文以文獻(xiàn)[11]的邊界-中心知識(shí)為基礎(chǔ)，結(jié)合SLIC超像素，提出基于前景-背景超像素分類的顯著目標(biāo)檢測(cè)方法。首先，為簡(jiǎn)化計(jì)算量，本文用SLIC超像素方法對(duì)圖像進(jìn)行分割，以分割后的超像素為處理單元進(jìn)行顯著性計(jì)算。另外，為使超像素具有背景或前景屬性，本文在選取種子點(diǎn)時(shí)結(jié)合邊界-中心知識(shí)，對(duì)種子點(diǎn)進(jìn)行了分類。然后，本文從空間和顏色兩個(gè)方面對(duì)每個(gè)區(qū)域計(jì)算背景顯著性和前景顯著性。最后，將所有因素融合得到最終顯著性。通過(guò)實(shí)驗(yàn)證明，本文方法在性能上優(yōu)于現(xiàn)存的8種方法，同時(shí)，本文方法具有相對(duì)較少的計(jì)算量。

2 本文算法

2.1 背景顯著性和前景顯著性

文獻(xiàn)[11]將全局對(duì)比度分解為與前景、背景相關(guān)的兩個(gè)要素。通過(guò)研究發(fā)現(xiàn)，前景要素總是遏制前景像素的顯著性，促進(jìn)背景像素的顯著性，對(duì)全局對(duì)比度方法產(chǎn)生了負(fù)面影響，使得該方法對(duì)于目標(biāo)較大的情況下效果不理想。因此，文獻(xiàn)[11]對(duì)前景要素進(jìn)行了修改，使其能夠與全局對(duì)比度方法所描述的顯著性一致。將重新定義的前景要素和背景要素分別稱為前景顯著性和背景顯著性。本文沿用其前景顯著性與背景顯著性的概念，即圖像I中的任意一個(gè)像素點(diǎn)Ik的顯著性定義為：

S(Ik)=fBSB(Ik)+fFSF(Ik)

(1)

其中，SB(Ik)、SF(Ik)分別表示像素Ik的背景顯著性和前景顯著性，fB和fF表示背景像素和前景像素所占圖像像素的比率。

進(jìn)一步地，依據(jù)紋理特征對(duì)背景區(qū)域分塊，可以將背景顯著性的計(jì)算轉(zhuǎn)化為：

(2)

其中B={B1，B2，…，BnB}，fBi表示區(qū)域Bi占整個(gè)背景B的概率，SBi(Ik)表示區(qū)域Bi對(duì)像素Ik造成的顯著性影響，i=1,2,…，nB,nB表示前景區(qū)域的個(gè)數(shù)。

類似地，依據(jù)紋理特征對(duì)前景區(qū)域分塊，可以將前景區(qū)域轉(zhuǎn)化為：

(3)

其中，F(xiàn)={F1,F2,…,FnF}，fFj表示區(qū)域Fj占整個(gè)背景F的概率。D(Ik,Fij)表示像素Ik與區(qū)域Fj內(nèi)的像素Fij的距離,CFj(Ik)表示前景區(qū)域Fj對(duì)像素Ik產(chǎn)生的影響。

由于每個(gè)區(qū)域是按照像素的顏色、亮度等進(jìn)行劃分的，因此，可以將區(qū)域作為處理單元，這樣可以減少計(jì)算量。若將所有區(qū)域合起來(lái)記作{R1,R2,…,RnB+nF}，則上述處理單元就轉(zhuǎn)化為Rk，k=1,2,…,nB+nF。

2.2 算法流程

上文分析了圖像分塊計(jì)算顯著性的優(yōu)勢(shì)，本文用SLIC超像素方法實(shí)現(xiàn)對(duì)圖像的分塊。SLIC超像素分割方法是K均值方法的改進(jìn)，需要選擇初始種子點(diǎn)，然后在此基礎(chǔ)上迭代收斂，把圖像分割若干個(gè)超像素區(qū)域。

另外，上文說(shuō)明了對(duì)圖像進(jìn)行前景、背景區(qū)域分類對(duì)于前景顯著性和背景顯著性計(jì)算的必要性。因此，本文需要把這些超像素分類為前景或者背景。然而，我們發(fā)現(xiàn)，超像素分割不會(huì)更改每個(gè)區(qū)域前景與背景的本質(zhì)，只會(huì)對(duì)其邊界進(jìn)行細(xì)化。因此，如果在確定種子點(diǎn)的時(shí)候就已經(jīng)對(duì)其分好類，比分割完畢后再進(jìn)行分類方便得多。本文借鑒文獻(xiàn)[11]中的邊界-中心知識(shí)，在邊界區(qū)域中選擇背景種子點(diǎn)，然后對(duì)中心區(qū)域中的種子點(diǎn)進(jìn)行分類。綜上所述，可得到本文顯著性算法的流程如圖1所示。

圖1 本文顯著性算法流程圖

2.3 選擇種子點(diǎn)

SLIC超像素方法是對(duì)K均值方法的改進(jìn)，需要選擇初始種子點(diǎn)。初始種子點(diǎn)必須均勻分布在圖像上面，這樣才能對(duì)圖像進(jìn)行有效的分割。不同于文獻(xiàn)[10]中的SLIC方法，本文采用對(duì)圖像進(jìn)行均勻分塊的方式選取種子點(diǎn)。

本文借鑒文獻(xiàn)[11]中的邊界-中心知識(shí)選取種子點(diǎn)區(qū)域，以便于下一步的分類操作。邊界區(qū)域的邊界位置和邊界寬度、中心區(qū)域的選擇方式都與文獻(xiàn)[11]中相同。

圖2給出一個(gè)選擇圖片種子區(qū)域情況?？紤]到背景的多樣性，這里將邊界區(qū)域共分為16個(gè)區(qū)域，上下左右各4個(gè)。另外，為了與邊界區(qū)域相對(duì)應(yīng)，中心區(qū)域也有16個(gè)。

圖2 種子區(qū)域的選擇

2.4 種子點(diǎn)分類

假設(shè)已經(jīng)選擇了若干個(gè)邊界區(qū)域和中心區(qū)域。關(guān)于邊界區(qū)域，依據(jù)邊界準(zhǔn)則[18]，本文將其全部默認(rèn)標(biāo)記為背景區(qū)域。關(guān)于中心區(qū)域，由于顯著目標(biāo)的位置、大小具有極大的不確定性，可能位于圖片中心區(qū)域的任意位置，可能占據(jù)任意多個(gè)中心區(qū)域。這種不確定性使得我們不能隨意選擇哪些中心區(qū)域作為背景區(qū)域或者前景區(qū)域。因此，本文對(duì)中心區(qū)域進(jìn)行分類，將其分為前景區(qū)域和背景區(qū)域。本文選擇的特征空間為HSV顏色空間。圖3給出了選擇的初始種子點(diǎn)在HSV空間上的分布，其中符號(hào) “o”為邊界種子， 符號(hào)“*”為中心種子。可見(jiàn)“*”點(diǎn)比較集中，“o”點(diǎn)比較分散，基于此，可對(duì)這些點(diǎn)作出分類。

算法1：劃分前景區(qū)域和背景區(qū)域1：標(biāo)記所有邊界區(qū)域?yàn)楸尘皡^(qū)域2：對(duì)每個(gè)中心區(qū)域記為Cj，j=1，2，…，nC，計(jì)算該區(qū)域與所有邊界區(qū)域的平均距離dj=1nB′∑nB′i=1DC(Cj，B′i)，j=1，2，…，nC3：計(jì)算所有中心區(qū)域到邊界區(qū)域的平均值d-=1nC∑nCj=1dj4：對(duì)于每個(gè)中心區(qū)域Cj，j=1，2，…，nC若dj

圖3 初始種子點(diǎn)在HSV空間的分布

2.5 超像素分割

所謂超像素，是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的圖像塊。它利用像素之間特征的相似程度將像素分組，可以獲取圖像的冗余信息，在很大程度上降低了后續(xù)圖像處理任務(wù)的復(fù)雜度。

上文我們對(duì)前景以及背景區(qū)域進(jìn)行初步的分類，然而，我們的目標(biāo)是對(duì)整個(gè)圖像計(jì)算顯著性。本文引入SLIC超像素技術(shù)，一方面能夠利用上文提供的均勻分塊的區(qū)域作為種子點(diǎn)進(jìn)行超像素分割，另一方面，超像素分割的結(jié)果能夠提供較好的邊緣分割效果，用分割得到超像素計(jì)算區(qū)域顯著性相較于計(jì)算像素級(jí)顯著性，其計(jì)算量可以大大減小。圖4為SLIC超像素分割方法對(duì)兩個(gè)圖像處理的效果，可以看出該方法能夠?qū)@著目標(biāo)的輪廓很好地分開(kāi)，從而得到一個(gè)完整的目標(biāo)。

SLIC超像素方法同時(shí)在顏色相似度和空間相近性兩個(gè)方面進(jìn)行考慮，通過(guò)對(duì)像素聚類生成超像素。本文的顏色相似度在HSV顏色空間上完成，而空間相近性指的是每個(gè)像素點(diǎn)的位置(x,y)，它們共同構(gòu)成一個(gè)五維的特征空間(h,s,v,x,y)，在此特征空間上對(duì)像素進(jìn)行聚類。

算法初始時(shí)，依據(jù)2.3節(jié)中的方法選擇種子區(qū)域，計(jì)算每個(gè)區(qū)域的中心Ck=[hk,sk,vk,xk,yk]T作為種子點(diǎn)，即初始聚類中心。定義聚類中心Ck和某個(gè)像素點(diǎn)(hi,si,vi,xi,yi)的距離測(cè)度D為：

(4)

其中，參數(shù)m∈[0,1]用來(lái)調(diào)整超像素間的緊密程度，m越大，越強(qiáng)調(diào)空間相近性，超像素間越緊密。

對(duì)于圖像中的每個(gè)像素點(diǎn)，依據(jù)距離測(cè)度D，在其某個(gè)鄰域內(nèi)尋找與其最匹配的聚類中心。然后對(duì)屬于每一類的像素求平均值，得到新的聚類中心。不斷迭代上述過(guò)程，直至收斂。在算法最后，進(jìn)行連接性操作使得聚類時(shí)一些屬于同一類卻不相連的類相連。至此，我們得到原圖像的超像素分割結(jié)果。

2.6 顯著性定義

本文所求顯著性為每個(gè)區(qū)域的顯著性。我們認(rèn)為每個(gè)超像素區(qū)域的所有像素，在各種特征上都具有一致性，理應(yīng)具有相同的顯著值，因此，本文用區(qū)域的顯著性代替區(qū)域中每個(gè)像素的顯著性。在特征方面，本文采用的是五維特征(h,s,v,x,y)。

本文將顯著性STotal分為前景顯著性和背景顯著性，記為SF和SB。前景顯著性是指前景像素點(diǎn)對(duì)每個(gè)像素顯著性所做的貢獻(xiàn)，背景顯著性指背景像素點(diǎn)對(duì)每個(gè)像素點(diǎn)顯著性所做的貢獻(xiàn)。由于特征的變化，這里顯著性又分為顏色顯著性和空間顯著性。顏色顯著性是指由于HSV顏色特征對(duì)顯著性造成的影響，空間顯著性指由于每個(gè)區(qū)域的空間位置而對(duì)顯著性造成的影響。更具體地，顏色顯著性又分為背景顏色顯著性和前景顏色顯著性，分別記為SFC和SBC?？臻g顯著性又分為背景空間顯著性和前景空間顯著性，分別記為SFS和SBS。

假設(shè)一幅大小為m×n的圖像，進(jìn)行超像素分割后得到nB+nF個(gè)區(qū)域，表示為Rk，k=1,2,…,nB+nF,其中背景區(qū)域?yàn)锽i,i=1,2,…,nB,前景區(qū)域?yàn)镕j,j=1,2,…,nF。用DC表示顏色距離，用DS表示空間距離。

首先考慮顏色特征的影響，與文獻(xiàn)[11]一樣，超像素Rk的各個(gè)顏色顯著性的定義如下：

(5)

(6)

關(guān)于空間特征，前人[13-14]也曾有過(guò)將其納入顯著性范疇的情況，他們大多考慮的是任意兩個(gè)顯著性處理單元，相距越遠(yuǎn)，顯著性影響越小。然而，由于本文的超像素有類別之分，因此，本文的空間顯著性也要分類考慮。

首先，對(duì)于背景超像素，若按照距離越遠(yuǎn)，顯著性影響越小的角度考慮，距離其最遠(yuǎn)的超像素應(yīng)該是其對(duì)面的某個(gè)超像素，然而那個(gè)超像素應(yīng)該也是背景，所以并不適用。本文關(guān)于背景空間顯著性的定義為：

SBS(Rk)=min{d,m-d,n-d}

(7)

對(duì)于前景超像素，由于前景目標(biāo)比較聚集，不會(huì)出現(xiàn)背景超像素在圖像周邊環(huán)繞分布的情況，但是與顏色一樣，它產(chǎn)生的效果應(yīng)該是與整體顯著性相反的。因此，距離前景超像素越近的超像素，其顯著性越大，反之，顯著性越小。定義如下：

(8)

將背景顏色顯著性與背景空間顯著性結(jié)合構(gòu)成背景顯著性，前景顏色顯著性與前景空間顯著性結(jié)合構(gòu)成前景顯著性。顏色信息強(qiáng)調(diào)細(xì)節(jié)，空間信息強(qiáng)調(diào)位置，二者缺一不可，互相補(bǔ)充。因此，這里將兩種特征的顯著性相乘，取長(zhǎng)補(bǔ)短，能夠保留下來(lái)的，必是在空間和顏色都有優(yōu)勢(shì)的超像素。超像素Rk的背景顯著性與前景顯著性定義為：

SB(Rk)=SBC(Rk)×SBS(Rk)

(9)

SF(Rk)=SFC(Rk)×SFS(Rk)

(10)

同樣地，為保留前景顯著性與背景顯著性中共同的顯著目標(biāo)，這里定義超像素Rk的最終顯著性為：

STotal(Rk)=fB·SB(Rk)+fF·SF(Rk)

(11)

其中，k=1,2,…,nB+nF,fB=nB/(nB+nF),fB=nB/(nB+nF)。

圖5顯示對(duì)于同一幅圖像，本文中提及的各種顯著性算法的結(jié)果圖?？梢钥闯觯ㄟ^(guò)空間和顏色、前景和背景的互補(bǔ)，才能達(dá)到最終的最佳狀態(tài)。另外，需要注意的是，每一步顯著性操作都需要對(duì)結(jié)果進(jìn)行歸一化，然后繼續(xù)進(jìn)行，才能得到最終的顯著圖。

圖5 從左到右，從上到下依次為Original：原圖像；STotal：最終顯著圖；SB：背景顯著圖；SBC：背景顏色顯著圖；SBS：背景空間顯著圖；SF：前景顯著圖；SFC：前景顏色顯著圖；SFS：前景空間顯著圖

3 實(shí)驗(yàn)和討論

3.1 數(shù)據(jù)集和評(píng)估標(biāo)準(zhǔn)

實(shí)驗(yàn)中的數(shù)據(jù)集是由微軟亞洲研究院提供的MSRA-1000數(shù)據(jù)集[4]，這是一個(gè)經(jīng)典數(shù)據(jù)集，為大部分顯著性檢測(cè)算法所采用。這個(gè)數(shù)據(jù)集包括1000張圖片，這1000張圖片涉及不同的類型，包括自然圖像、動(dòng)物、人、室內(nèi)圖像，室外圖像等。更重要的是，該數(shù)據(jù)集提供了手工分割顯著區(qū)域的掩模圖，為我們?cè)u(píng)判顯著性檢測(cè)算法的優(yōu)劣提供了標(biāo)準(zhǔn)。本文實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為Windows 7、CPU為Core 2.5 GHz、內(nèi)存為2 GB、開(kāi)發(fā)環(huán)境為Matlab2013。

本文采用大部分顯著性檢測(cè)算法所使用的固定閾值目標(biāo)分割方法進(jìn)行性能評(píng)估。首先，對(duì)得到的顯著圖進(jìn)行二值分割，然后，將二值圖與MSRA數(shù)據(jù)庫(kù)中手工分割的掩模圖相比較，得到不同方法的precision-recall曲線圖。分析曲線圖，就能比較不同方法的優(yōu)劣。

獲取顯著目標(biāo)二值分割最簡(jiǎn)單的方法是，用固定的閾值T對(duì)顯著圖進(jìn)行分割。由于顯著值是表示顯著性程度的一個(gè)值，其范圍為[0,255]，若閾值只確定為某個(gè)固定值，對(duì)于不同的圖片不具有普適性。這里動(dòng)態(tài)地改變T的值，給它從0到255賦值。針對(duì)每一個(gè)閾值T，每個(gè)顯著圖都可以得到一個(gè)二值圖，將這個(gè)二值圖與手工分割掩模圖進(jìn)行逐像素比較，記錄分類正確與錯(cuò)誤的像素個(gè)數(shù)，計(jì)算這個(gè)閾值下，該顯著性檢測(cè)算法對(duì)于該圖片的precision和recall，precision和recall的定義如下：

(12)

(13)

其中，tp表示正確分類的顯著像素個(gè)數(shù)，fp表示非顯著像素錯(cuò)誤分類成顯著像素的個(gè)數(shù)，fn表示顯著像素錯(cuò)誤分類成非顯著像素的個(gè)數(shù)。

針對(duì)某種顯著性檢測(cè)算法求得的顯著圖，設(shè)定每一個(gè)閾值T，都能得到相對(duì)應(yīng)的precision和recall，將這些(precision,recall)在圖像中描繪出來(lái)，可以得到precision-recall曲線。理想的情況是一種方法既有較高的precision，又有令人滿意的recall，以此我們可以對(duì)不同方法進(jìn)行優(yōu)劣評(píng)判。

3.2 背景、前景、空間和顏色因素的比較

首先，對(duì)本文提及的幾個(gè)顯著性因素進(jìn)行一下比較，它們分別記為背景顯著性B，前景背景顯著性BC，背景空間顯著性BS，前景顯著性F，前景顏色顯著性FC，前景空間顯著性FS，最終顯著性Total。另外，這里還對(duì)顏色和空間兩個(gè)方面進(jìn)行了比較，因此，定義了區(qū)域Rk的顏色顯著性和空間顯著性：

SC(Rk)=SBC(Rk)×SFC(Rk)

(14)

SS(Rk)=SBS(Rk)×SFS(Rk)

(15)

分別記這兩種方法為C和S。

圖6給出了B、BC、BS、F、FC、FS、Total以及C、BC、FC、S、BS、FS、Total的precision-recall曲線圖。從圖6(a)可以看出，背景顯著性的效果好于前景顯著性，因?yàn)樵谶x取前景的過(guò)程中可能會(huì)出現(xiàn)誤差，但是邊界部分無(wú)疑大多數(shù)為背景，因此背景比前景能更好地體現(xiàn)顯著性。在背景因素中，顏色比空間能獲得更高的效果；在前景因素中，空間比顏色效果更好。從圖6(b)可以看出，顏色顯著性和空間顯著性勢(shì)均力敵，能獲得差不多的效果。在顏色因素中，背景比前景效果好；在空間因素中，前景比背景效果好。

(a) B、BC、BS、F、FC、FS和Total的precision-recall曲線

(b) C,BC,FC,S,BS,FS和Total的precision-recall曲線

圖7給出各種因素的顯著圖比較。從中可以看出，背景在尋找顯著目標(biāo)的能力方面強(qiáng)于前景，但是，背景給出的顯著圖沒(méi)有前景的明顯，即顯著目標(biāo)顯著值不夠大。通過(guò)二者結(jié)合的方式，可以把彼此的弊端去除掉，而得到相對(duì)更好的顯著圖。此外，顏色顯著性側(cè)重于細(xì)節(jié)，空間顯著性側(cè)重于整體的位置，二者結(jié)合才能夠進(jìn)行精確定位。

圖7 9種不同的顯著性檢測(cè)算法的顯著圖比較。從左到右分別為原圖像，B、BC、BS、C、F、FC、FS、S、Total方法的顯著圖和手工分割圖

3.3 本文方法和各種方法的比較

我們將本文方法Total顯著性與8種顯著性檢測(cè)算法進(jìn)行比較，這8種方法分別是由Itti[10](記為IT)，Harel[19](記為GB)，Hou[17](記為SR)，Achanta[14](記為AC)，Achanta[20](記為FT)，Goferman[15](記為CA)和Cheng[16](HC和RC)提出的。

圖8 AC、SR、CA、FT、GB、HC、IT、RC和本文Total方法的precision-recall曲線圖

圖10 8種不同方法在MSRA數(shù)據(jù)集上得到的顯著圖。從左到右分別為原圖像，AC、CA、FT、GB、HC、IT、RC、SR、本文Total方法結(jié)果和手工分割圖像

圖8給出IT、GB、SR、AC、FT、CA、HC、RC和本文方法Total的precision-recall曲線?？梢钥闯觯疚牡腡otal方法比其他各種方法能夠得到更高的precision和recall。

在其他幾種方法中，HC和RC這兩種基于全局對(duì)比度的顯著性檢測(cè)算法，有更大的優(yōu)勢(shì)。在此進(jìn)一步對(duì)Total、RC和HC方法進(jìn)行比較，如圖9所示，給出了三種方法顯著圖的像素分布圖，橫軸表示像素值，范圍為0到255，縱軸表示屬于該像素值的像素在顯著圖中出現(xiàn)的概率。本文Total方法得到的顯著圖顯著值主要集中在0和255兩個(gè)值上面，且值為255的像素占多數(shù)。這樣得到的顯著圖，效果更為明顯，顯著目標(biāo)亮度更大，非顯著目標(biāo)亮度更小，很容易進(jìn)行區(qū)分。也由于這個(gè)原因，Total方法的precision-recall曲線不能達(dá)到recall為0的地方。而RC方法，主要是顯著值為50左右的像素占據(jù)多數(shù)，這樣就導(dǎo)致整個(gè)顯著圖效果偏暗。類似地，對(duì)于HC方法，由于是逐像素處理，因此，其像素分布變化較為平滑，然而大多數(shù)的像素分布于靠近0的位置，從而整個(gè)顯著圖呈現(xiàn)較暗的效果。

圖10給出AC、CA、FT、GB、IT、RC和Total方法的顯著圖比較。IT、SR方法是依據(jù)生物啟發(fā)模型建立的，因此其顯著圖呈現(xiàn)出的特點(diǎn)是只能給出若干關(guān)鍵點(diǎn)，與我們的顯著目標(biāo)檢測(cè)不符。AC、FT和GB方法屬于局部對(duì)比度顯著性檢測(cè)算法，所得顯著圖僅能找出顯著目標(biāo)的輪廓，不能整體地突出目標(biāo)，效果不甚理想。CA、HC和RC方法是基于全局對(duì)比度的顯著目標(biāo)檢測(cè)，與Total方法相比，其顯著目標(biāo)亮度偏暗，且對(duì)于目標(biāo)較大的情況，如手表等，往往不能正確定位。對(duì)于這些情況，Total方法由于調(diào)整了前景顯著性，能很好地予以解決。

4 結(jié) 語(yǔ)

本文提出基于超像素分割的區(qū)域顯著性檢測(cè)算法。從邊界和中心分別選擇一系列區(qū)域作為種子區(qū)域，然后依據(jù)背景先驗(yàn)知識(shí)對(duì)種子點(diǎn)進(jìn)行分類。將這些種子點(diǎn)進(jìn)一步使用SLIC超像素方法迭代進(jìn)行區(qū)域分割。然后，從前景、背景、顏色和空間四個(gè)角度出發(fā)求顯著性，最后，將這些歸一化整合得到最終顯著圖。該方法除超像素分割部分外，計(jì)算量特別小。另外通過(guò)實(shí)驗(yàn)，一方面分析了空間、顏色、前景和背景因素在顯著性計(jì)算中的重要性，另一方面，與其他顯著性檢測(cè)算法進(jìn)行了比較，證明了本文方法優(yōu)于現(xiàn)存的8種方法。

本文成果可以用于高精度分割算法的預(yù)處理中，先用顯著性算法檢測(cè)出目標(biāo)區(qū)域并獲得其粗略邊界，再使用摳圖算法實(shí)現(xiàn)高精度分割；也可以用于圖像檢索，在檢測(cè)到顯著目標(biāo)后，提取顯著目標(biāo)區(qū)域的特征以便進(jìn)一步提高檢索的準(zhǔn)確率。

在未來(lái)的研究中，可以考慮加入紋理特征進(jìn)行顯著性研究。此外，需要使用更多的實(shí)驗(yàn)數(shù)據(jù)集對(duì)各種方法進(jìn)行全面地評(píng)估。另外，可以考慮加入一些自頂向下的先驗(yàn)信息，這樣能大大提高顯著目標(biāo)提取的正確率。

[1] Judd T,Ehinger K,Durand F,et al.Learning to predict where humans look[C]//Proceedings of the IEEE 12th International Conference on Computer Vision,2009:2106-2113.

[2] Kootstra G,Nederveen A,Boer B D.Paying attention to symmetry[C]//Proceedings of the British Machine Vision Conference,2008:1115-1125.

[3] Ramanathan S,Katti H,Sebe N,et al.An eye fixation database for saliency detection in images[C]//Proceedings of the 11th European Conference on Computer Vision,2010:30-43.

[4] Martin D R,Fowlkes C,Tal D,et al.A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings of Eighth IEEE International Conference on Computer Vision,2001:416-423.

[5] 朱斐文，肖菁， 戴晨，等.一種高效的基于局部特征的顯著區(qū)域檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2012,29(8):5-9.

[6] Han J,Ngan K N,Li M,et al.Unsupervised extraction of visual attention objects in color images[J].IEEE Transactions on Circuits and Systems for Video Technology,2006,16(1):141-145.

[7] Ko B C,Nam J Y.Object-of-interest image segmentation based on human attention and semantic region clustering[J].Journal of the Optical Society of America A,2006,23(10):2462-2470.

[8] Christopoulos C,Skodras A,Ebrahimi T.The JPEG2000 still image coding system:an overview[J].IEEE Transactions on Consumer Electronics,2000,46(4):1103-1127.

[9] Chen T,Cheng M M,Tan P,et al.Sketch2Photo:internet image montage[J].ACM Transactions on Graphics (TOG),2009,28(5):89-97.

[10] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282.

[11] Sha C,Li X,Shao Q,et al.Saliency detection via boundary and center priors[C]//Proceedings of the 6th International Congress on Image and Signal Processing,2013:1066-1071.

[12] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.

[13] Ma Y F,Zhang H J.Contrast-based image attention analysis by using fuzzy growing[C]//Proceedings of the Eleventh ACM International Conference on Multimedia,2003:374-381.

[14] Achanta R,Estrada F,Wils P,et al.Salient region detection and segmentation[C]//Proceedings of the 6th International Conference on Computer Vision Systems,2008:66-75.

[15] Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2010:2376-2383.

[16] Cheng M M,Zhang G X,Mitra N J,et al.Global contrast based salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2011:409-416.

[17] Hou X,Zhang L.Saliency detection:A spectral residual approach[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[18] Wei Y,Wen F,Zhu W,et al.Geodesic saliency using background priors[C]//Proceedings of the 12th European Conference on Computer Vision,2012:29-42.

[19] Harel J,Koch C,Perona P.Graph-based visual saliency[C]//Proceedings of the Annual Conference on Neural Information Processing Systems,2006:545-552.

[20] Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2009:1597-1604.

SALIENT OBJECT DETECTION BASED ON SUPER-PIXEL CLASSIFICATION

Li Jide Li Xiaoqiang Sha Caixia

(SchoolofComputerEngineeringandScience,ShanghaiUniversity,Shanghai200444,China)

A new salient detection method combining super-pixel segmentation with boundary-center priors is proposed.Firstly,the image is segmented by SLIC method to get super-pixel region classified as background or foreground.Then,we calculate the saliency of the regions in the respect of color and space.Finally,the fusion of different aforementioned salient value is computed as the total saliency.In the experiments,the importance of foreground,background,color,space in salient calculation are analyzed;on the other side,extensive experimental results show that the performance of this method is higher than the other 8 state-of-the-art saliency detection methods.

Salient detection Super-pixel Boundary-center priors Foreground-background

2015-10-20。國(guó)家自然科學(xué)基金項(xiàng)目(61402279)。李繼德，碩士生，主研領(lǐng)域：圖像分析和理解。李曉強(qiáng)，副教授。沙彩霞，碩士。

TP3

A

10.3969/j.issn.1000-386x.2017.01.033