基于Object Proposals并集的顯著性檢測模型

趙閏霞，蹇木偉,2，齊強(qiáng)，王靜，王瑞紅，董軍宇

近年來，顯著性檢測在圖像處理和計(jì)算機(jī)視覺領(lǐng)域中愈發(fā)重要，并且得到了廣泛研究和應(yīng)用。顯著性檢測的本質(zhì)是模擬人類的視覺注意機(jī)制提取圖像中最引人注意的區(qū)域，目前已被廣泛應(yīng)用于圖像分割[1]、目標(biāo)識別[2]、像壓縮[3]以及圖像檢索[4]等領(lǐng)域。

顯著性檢測方法通?？煞譃閮煞N模型：自底向上 (bottom-up)[5?10]和自頂向下 (top-down)[11?12]。自底向上一般是快速的、數(shù)據(jù)驅(qū)動的顯著性提取模型。Cheng等[5]提出了基于區(qū)域?qū)Ρ榷鹊娘@著性檢測算法，用于測量全局對比度差異；Harel等[6]提出了一種基于圖形的顯著性模型檢測圖像中的顯著物體；Erdem[7]使用從局部圖像塊提取的圖像特征的協(xié)方差矩陣來計(jì)算最終的顯著性圖；Murray等[8]設(shè)計(jì)了一種特殊的顏色外觀顯著性檢測模型；Shi[9]通過圖形模型提出了一種分層圖像顯著性目標(biāo)檢測方法，以產(chǎn)生最終顯著性等級；Yang等[10]通過基于圖形的流形排序?qū)崿F(xiàn)圖像元素(像素或區(qū)域)與前景或背景線索的相似性的排序。

與自底向上相反，自頂向下通常是慢速的、任務(wù)依賴的、目標(biāo)驅(qū)動的顯著性提取。自頂向下的方法通常依賴于學(xué)習(xí)框架，采用高層線索和先驗(yàn)知識進(jìn)行顯著性檢測。文獻(xiàn)[11]中提出了通過學(xué)習(xí)條件隨機(jī)場進(jìn)行特征組合，并引入動態(tài)顯著特征以實(shí)現(xiàn)顯著目標(biāo)的檢測。最近，文獻(xiàn)[12]提出了一種結(jié)合字典學(xué)習(xí)和條件隨機(jī)場的自上而下的視覺顯著性模型。

一般情況下，使用基于學(xué)習(xí)框架的顯著性檢測模型的檢測效果會比較好，但是其檢測效果會很大程度上依賴于模型的訓(xùn)練樣本，訓(xùn)練的過程也會使計(jì)算復(fù)雜度增加。非學(xué)習(xí)類的顯著性檢測模型通常是以底層特征為線索進(jìn)行顯著性檢測，如對比度先驗(yàn)、中心先驗(yàn)、背景先驗(yàn)等。這些方法一般只對簡單的場景有效，當(dāng)背景與檢測對象相似時(shí)，這類方法將無法準(zhǔn)確地檢測出目標(biāo)物體。

本文提出基于Object Proposals并集的顯著性檢測模型。首先我們利用Object Proposals的有效信息預(yù)測背景區(qū)域的位置并得到背景圖，然后基于紋理特征以及全局對比度進(jìn)行顯著性檢測，最后將三者進(jìn)行融合得到最終的顯著圖。

1 Object Proposals

Object Proposals是一系列包含目標(biāo)對象的候選區(qū)域，它通常以預(yù)處理的形式廣泛應(yīng)用于各種視覺任務(wù)。Alexe等[13]提出了對象度量(objectness measure)的概念，量化一個(gè)圖像窗口覆蓋對象的可能性；Cheng等[14]提出二值化規(guī)范梯度(BING)特征，有助于用對象評分(objectness score)搜索對象。本文使用Edge Boxes[15]算法生成Proposals，得到的Proposals會包含豐富的對象級特征，我們利用這些特征判斷顯著目標(biāo)的位置并預(yù)測背景區(qū)域。

對于圖{像I，首先使}用SLIC算法[16]得到超像素圖，。然后使用Edge Boxes[15]算法生成圖像I的Proposals，這里面部分候選框能準(zhǔn)確地標(biāo)注到目標(biāo)對象，但也存在大量的候選框包含太多的背景區(qū)域或者不包含目標(biāo)對象。以圖1為例，(a)中的3個(gè)候選框都標(biāo)注到了目標(biāo)對象，且包含的背景區(qū)域比較少；(b)中的候選框則沒有包含目標(biāo)對象；(c)中的候選框雖然包含了目標(biāo)對象，但也包含了很多的背景區(qū)域。為了得到更準(zhǔn)確的背景區(qū)域，根據(jù)目標(biāo)分?jǐn)?shù)對得到的候選框進(jìn)行選擇。一般分?jǐn)?shù)靠前的候選框能夠更準(zhǔn)確地包含到目標(biāo)物體，所以選擇前N個(gè)候選框作為目標(biāo)集合A，在實(shí)驗(yàn)中，N的取值為100。

圖1 目標(biāo)候選框Fig. 1 Object Proposals

在目標(biāo)集合A中，針對圖1(b)、(c)的現(xiàn)象，對包含大量背景區(qū)域的候選框進(jìn)行刪除。受文獻(xiàn)[17-19]的啟發(fā)，本文中使用基于超像素的邊界連通性對候選框進(jìn)行篩選。用BndCon(·)表示邊界連通性，其本質(zhì)是描述一個(gè)區(qū)域與圖像邊界的連通程度[20]。BndCon(·)的定義為

式中：Area(spi)的含義是區(qū)域中存在的超像素?cái)?shù)目，而Lenbnd(spi)則是與邊界相鄰的超像素的數(shù)目。BndCon(spi)的值越大，則表明邊界上的超像素?cái)?shù)目越多，也就是該區(qū)域是背景區(qū)域的可能性越大。若一個(gè)候選框計(jì)算得到的BndCon(spi)很大，我們則認(rèn)為這個(gè)候選框包含了很多背景區(qū)域，并從A中將其刪除。最終得到的目標(biāo)集合能盡量去除背景區(qū)域的影響，更新后的目標(biāo)集合記作 A–。

2 基于Object Proposals并集的顯著性檢測

2.1 構(gòu)建基于OP并集的背景圖

o(bj)表示候選框bj的目標(biāo)分?jǐn)?shù)，若超像素spi屬于候選框 bj，δ(·)則取值為 1，否則為 0。

通過計(jì)算A–中所有超像素的(pi)值，可以得到最終的OP并集，然后用φ劃分目標(biāo)對象和背景區(qū)域，如下：

第一個(gè)“用典”，即“清明時(shí)節(jié)雨紛紛”典故，其作用為渲染煩悶憂傷情緒，為全文定下悲清悄愴基調(diào)。后兩個(gè)用典讓聽眾腦中泛起清明雨下人愁苦的漣漪，勾畫出孤獨(dú)悲愁者的普遍形象?？梢哉f典故的魅力一下子顯現(xiàn)出來。

圖2 本文的顯著性檢測模型Fig. 2 Our proposed saliency model

2.2 紋理顯著性

紋理[21-22]通常反應(yīng)的是圖像的某種局部化性質(zhì)，一般表現(xiàn)為圖像像素點(diǎn)某鄰域內(nèi)灰度級或者顏色的變化。在圖像中彩色像素并不是一個(gè)隨機(jī)的組合，而是有一定含義的排列，不同排列會形成不同的紋理，這些紋理特征則可用于對圖像中的空間信息進(jìn)行一定程度的定量描述。

在本文中，使用選擇性紋理[23]獲得紋理顯著性。首先，將紋理表達(dá)式通過k-means[24]算法進(jìn)行聚類，并將聚類中心作為代表紋理[23]，最后每個(gè)紋理特征都可以用其最近的代表紋理進(jìn)行表示。使用的濾波器組是高斯導(dǎo)數(shù)以及其希爾伯特變換沿著y軸旋轉(zhuǎn)得到的，具體為

式中：μ是標(biāo)準(zhǔn)化常數(shù)，σ和l分別是尺度參數(shù)和方向參數(shù)。對于圖像I的第i個(gè)像素Ii的紋理顯著性定義如下：

式中ti和tj分別是像素Ii和Ij的紋理特征。圖2中的第3列是選擇性紋理檢測[23]的結(jié)果，可以看出紋理顯著性檢測能夠區(qū)分出不同紋理的對象，但結(jié)果依然會包含背景中的部分紋理內(nèi)容，比如第3行的紋理檢測結(jié)果。

2.3 全局對比度顯著性

空間加權(quán)對比度在文獻(xiàn)[5，18]中已被證明是有效的顯著性檢測方法。在文獻(xiàn)[5]中是將圖片分割成若干區(qū)域，計(jì)算區(qū)域及顏色對比度，再用每個(gè)區(qū)域與其他區(qū)域?qū)Ρ榷燃訖?quán)和定義此區(qū)域的顯著性。本文中直接在第1節(jié)中獲得的超像素基礎(chǔ)上進(jìn)行計(jì)算。對于任意超像素spi，在CIE LAB色彩空間中計(jì)算超像素spi的顏色平均值ci以及平均像素坐標(biāo) di，并將 di歸一化到[0，1]。對于超像素spi，其空間加權(quán)區(qū)域?qū)Ρ榷葹?/p>

式中：σp為空間加權(quán)參數(shù)，σp越小，空間權(quán)值的影響就會越大，這樣就可以使較近的區(qū)域?qū)Ξ?dāng)前區(qū)域的顯著性值產(chǎn)生較大的影響。本文中，σp2取值0.2。圖2中的第2列是全局對比度的檢測結(jié)果，全局對比度圖能進(jìn)一步凸顯前景區(qū)域，加深紋理檢測圖中的顯著目標(biāo)的顯著程度。

2.4 顯著性融合

將得到的背景圖(2.1節(jié))、紋理顯著圖(2.2節(jié))以及全局對比顯著圖(2.3節(jié))進(jìn)行融合。首先將紋理顯著圖和全局對比度顯著圖進(jìn)行融合，旨在結(jié)合二者的優(yōu)勢，相互補(bǔ)充，優(yōu)化顯著圖。

式中norm(·)是對得到的顯著圖進(jìn)行歸一化。在這里選擇“+”是因?yàn)榧y理檢測和全局對比度檢測可以相互補(bǔ)充，此外，通過加運(yùn)算可以使前景區(qū)域分布更均勻[19]。

在得到融合顯著圖Sal后，使用2.1節(jié)中得到的背景圖對顯著圖Sal的背景區(qū)域進(jìn)行抑制，從而提高顯著圖的準(zhǔn)確率。

3 實(shí)驗(yàn)與比較

本文在MSRA1000公開數(shù)據(jù)集對本文的顯著性模型進(jìn)行了測試，并與一些經(jīng)典的算法進(jìn)行比較：SR[25]、HC[5]、FT[26]、LC[27]、GS[28]。實(shí)驗(yàn)過程中，使用的代碼均采用作者公開的代碼。

圖3是將本文的顯著性檢測模型與其他5種算法進(jìn)行比較的效果圖。從圖中可以看出在MSRA1000數(shù)據(jù)集上本文提出的顯著性檢測模型比SR、HC、FT、LC相比效果有很大提升；與GS相比，本文的顯著性檢測圖前景分布更均勻，且背景區(qū)域得到了明顯抑制。

圖3 顯著圖的視覺效果對比圖Fig. 3 Visual comparison of saliency maps

為了更全面地測試方法的性能，使用PR曲線、F-measure進(jìn)一步與其他方法進(jìn)行比較。

對于得到的顯著圖，設(shè)定閾值Tf∈[0，255]來得到二值分割圖，并與ground truth進(jìn)行比較得到準(zhǔn)確率和召回率。除此之外，我們還記算了F-measure衡量總體的檢測效果，

β2取值為0.3。由圖4～5可知，本文方法與SR、HC、FT、LC相比，準(zhǔn)確率和召回率、F-measure都有很大提升。與GS相比，由圖5可以看出，在召回率相同時(shí)，大部分情況下我們的方法準(zhǔn)確率更高，也存在小部分結(jié)果其準(zhǔn)確率微低于GS，但從圖4也能夠看出在平均情況下，無論是準(zhǔn)確度、召回率還是F-measure，本文方法均略高于GS。

圖5 正確率–召回率曲線Fig. 5 Precision-recall curves

4 結(jié)束語

圖4 統(tǒng)計(jì)指標(biāo)的對比結(jié)果Fig. 4 Quantitative comparison results

本文提出的基于Object Proposals并集的顯著性檢測模型，首先利用Object Proposals計(jì)算背景圖，然后將紋理和全局對比度結(jié)合進(jìn)行顯著性檢測，最后利用背景圖抑制背景區(qū)域得到最終顯著圖。實(shí)驗(yàn)結(jié)果表明，本文提出的顯著性檢測模型取得了較好的效果。