多角度融合的RGB-D顯著檢測(cè)*

張志華，劉政怡

(安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,安徽 合肥 230601)

1 引言

視覺注意機(jī)制是人類視覺系統(tǒng)的重要組成部分。通過視覺注意力，人眼能夠過濾掉多余的信息，并從復(fù)雜的場(chǎng)景中快速找到區(qū)別于周圍環(huán)境的顯著目標(biāo)。準(zhǔn)確提取顯著目標(biāo)能夠有效提高圖像處理的效率和質(zhì)量，因此，顯著目標(biāo)的檢測(cè)已經(jīng)廣泛應(yīng)用到圖像分割[1]、圖像識(shí)別[2]和目標(biāo)重定位[3]等計(jì)算視覺領(lǐng)域。

雖然顯著目標(biāo)檢測(cè)已被廣泛研究了數(shù)年，但先前的大部分工作都著重于2D圖像分析。近來，研究者開始整合多模態(tài)成像數(shù)據(jù)以提高圖像處理的性能，而其中RGB-D圖像的顯著目標(biāo)檢測(cè)受到越來越多的關(guān)注。

(1)2D顯著檢測(cè)。現(xiàn)有的2D顯著檢測(cè)方法可以大致分為兩類，即全局方法和局部方法[4]?；谌值姆椒ㄖ饕罁?jù)一個(gè)區(qū)域與整幅圖像中全部區(qū)域的比較，比如Achanta等人[5]提出的頻率調(diào)諧方法，將顯著值定義為像素點(diǎn)顏色與圖像平均顏色的差異。而基于局部的方法則只關(guān)注一個(gè)區(qū)域與周圍相鄰較小區(qū)域的對(duì)比關(guān)系，比如Liu等人[6]通過線性組合多尺度的對(duì)比和中心環(huán)繞直方圖的分析定義了局部區(qū)域的對(duì)比。另一方面，基于緊密度的顯著計(jì)算方法在各種顯著檢測(cè)模型中得到應(yīng)用。其中，Gopalakrishnan等人[7]認(rèn)為圖像的低層次特征在背景上的分布相對(duì)于顯著目標(biāo)更為廣泛。在此基礎(chǔ)上，Cheng等人[8]將緊密度作為顯著性的重要度量，利用特征相似和空間相近來衡量顯著程度。同樣地，基于圖模型的傳播方法在顯著檢測(cè)領(lǐng)域也取得了卓越的效果。Jiang等人[9]將邊界上的超像素作為吸收節(jié)點(diǎn)，利用隨機(jī)游走的方式計(jì)算顯著值。Yang等人[10]利用背景先驗(yàn)將邊界上的四條邊定義為背景，并以流形排序計(jì)算與邊界區(qū)域的相似性得到顯著圖。

(2)3D顯著檢測(cè)。早期的RGB-D顯著檢測(cè)方法將深度信息作為先驗(yàn)知識(shí)去引導(dǎo)2D顯著圖的權(quán)重分配[11]。這種方式?jīng)]有考慮相對(duì)深度且只有當(dāng)顯著目標(biāo)與背景在深度特征上的差異較大時(shí)才有效果。而后，由對(duì)比方法在2D顯著檢測(cè)方法的有效性得到啟發(fā)，許多基于深度對(duì)比的方法被提了出來。Peng等人[12]提出了一種多級(jí)上下文對(duì)比模型，利用局部對(duì)比、全局對(duì)比以及背景對(duì)比檢測(cè)顯著目標(biāo)。Cheng等人[13]分別利用顏色空間和深度空間的視覺線索進(jìn)行對(duì)比，并將二維的中心偏移擴(kuò)展到三維空間，提出空間偏移，將三種特征進(jìn)行融合得到最終顯著值。近來，以深度對(duì)比為基礎(chǔ)，融合先驗(yàn)知識(shí)和優(yōu)化的顯著檢測(cè)方法取得了卓越的效果。Ren等人[14]利用曲面方向先驗(yàn)和背景先驗(yàn)檢測(cè)顯著目標(biāo)，并以PageRank算法和馬爾科夫隨機(jī)場(chǎng)MRF(Markov Rondom Field)算法優(yōu)化顯著圖。Guo等人[15]在融合顏色對(duì)比和深度對(duì)比的基礎(chǔ)上，利用迭代傳播的方法得到最終的顯著圖。

本文依據(jù)RGB-D圖像的特點(diǎn)，將深度圖中的深度特征和RGB圖中的顏色特征進(jìn)行融合，使其相互補(bǔ)充，并以圖模型為基礎(chǔ)將顏色深度融合的特征貫穿整個(gè)顯著檢測(cè)過程。另外，將2D顯著檢測(cè)中全局和局部、前景和背景的互補(bǔ)關(guān)系應(yīng)用到在顯著計(jì)算和顯著優(yōu)化的過程中，進(jìn)一步提高顯著檢測(cè)的準(zhǔn)確率。

2 多角度融合

多角度融合是指顏色和深度融合、全局和局部融合、前景和背景融合。相對(duì)于2D顯著檢測(cè)，RGB-D顯著檢測(cè)多了一項(xiàng)非常重要的信息，即深度特征。現(xiàn)有的RGB-D顯著檢測(cè)方通常是將顏色和深度特征分開使用，將深度信息引入對(duì)比框架，計(jì)算前景與背景的深度對(duì)比差異，來得到深度顯著圖，然后結(jié)合顏色特征得到的顯著圖，形成最終顯著圖。這種方法雖然能取得一定的效果，但當(dāng)前景的深度對(duì)比不明顯時(shí)，深度顯著圖易產(chǎn)生誤檢，從而影響最終的檢測(cè)結(jié)果，如圖1所示。

Figure 1 Effect on detection results due to non-obvious depth constrast圖1 因深度對(duì)比不明顯而影響檢測(cè)結(jié)果的情況

為了使深度特征得到充分利用，同時(shí)減小誤檢率，本文將顏色和深度特征融合，并以圖模型的方式將顏色深度融合的特征應(yīng)用到顯著檢測(cè)的每一步。另一方面，2D顯著檢測(cè)的方法提出了許多互補(bǔ)的顯著關(guān)系。其中，局部和全局以及背景和前景的關(guān)系被廣泛使用。基于局部的方法傾向于突出目標(biāo)的邊緣，而基于全局的方法卻能得到更為一致的檢測(cè)結(jié)果;背景角度的顯著檢測(cè)能夠有效抑制背景區(qū)域，而前景角度卻能夠完整地突出顯著目標(biāo)。受互補(bǔ)關(guān)系在2D顯著檢測(cè)中取得的效果的啟發(fā)，本文將這兩對(duì)互補(bǔ)關(guān)系引入RGB-D的顯著檢測(cè)方法中，利用局部和全局方法在目標(biāo)突出方面的互補(bǔ)提高初步顯著值的精確度，以背景和前景方法在視覺關(guān)注方面的不同來得到高亮均勻的最終顯著圖。

3 具體算法

圖2展示了具體算法的主要流程。首先，本文分別在像素級(jí)別和超像素級(jí)別進(jìn)行顏色和深度的融合。以像素間的相似度作為聚類距離，對(duì)SLIC(Simple Linear Iterative Cluster)分割算法[16]進(jìn)行拓展，以超像素間的相似度計(jì)算連接的權(quán)重，構(gòu)造圖模型。其次，在圖模型的基礎(chǔ)上分別計(jì)算全局緊密度和局部緊密度，并將全局與局部進(jìn)行融合得到初步的顯著圖。最后是背景和前景的雙向優(yōu)化。以背景先驗(yàn)為基礎(chǔ)，利用包含深度信息的邊界連接權(quán)重[17]計(jì)算背景概率，并以背景概率對(duì)初步顯著值加權(quán)得到背景優(yōu)化顯著圖。利用閾值分割提取背景優(yōu)化顯著圖中最為顯著的部分作為前景查詢節(jié)點(diǎn)，以流形排序[10]進(jìn)行前景優(yōu)化得到最終顯著圖。

Figure 2 An overview of the proposed method圖2 具體算法流程圖

3.1 顏色深度特征融合的圖模型

Perazzi等人[18]認(rèn)為將圖像抽象成圖模型能夠有效提高顯著檢測(cè)的效率和性能，本文采用Harel等人[19]的方法構(gòu)建無向圖G(V,E)。下面分別從顏色深度特征融合和圖模型的構(gòu)造兩個(gè)方面進(jìn)行說明。

3.1.1 顏色深度特征融合

(1)像素級(jí)別顏色和深度融合。

像素級(jí)別顏色和深度的融合體現(xiàn)在引入深度信息，更為精確地表示像素之間的相似程度。

像素i與像素j之間的相似度定義為：

(1)

(2)

其中,li、ai以及bi分別對(duì)應(yīng)像素點(diǎn)i在L、a和b通道上的數(shù)值。

(3)

其中,xi和yi表示平面坐標(biāo)系中的坐標(biāo)，di表示像素i的深度值。

(2)超像素級(jí)別顏色和深度融合。

超像素級(jí)別顏色和深度的融合體現(xiàn)在引入深度信息，更為精確地表示超像素之間的相似程度。超像素vi與超像素vj之間的相似度定義為：

(4)

其中，σ為控制參數(shù)，li,j和di,j分別表示超像素i和j間的顏色距離和深度距離，定義如下：

li,j=‖ci-cj‖

(5)

di,j=‖di-dj‖

(6)

其中,ci和cj分別表示超像素vi和vj內(nèi)所有像素點(diǎn)在CIELab顏色空間的均值，而di和dj則表示對(duì)應(yīng)超像素內(nèi)所有像素點(diǎn)在深度空間的均值。

3.1.2 圖模型的構(gòu)造

Figure 3 Comparison of SLIC segmentation algorithm before and after depth Information Fusion圖3 SLIC分割算法融入深度信息前后的分割對(duì)比

構(gòu)造的圖模型規(guī)定有著共同邊界的超像素互為鄰居，鄰居間是連接的。另外，認(rèn)為圖像邊緣上的每對(duì)區(qū)域都是連接的，以減少相似超像素間的測(cè)地線距離[9]。超像素之間的權(quán)重由顏色深度特征融合的關(guān)聯(lián)矩陣Wcd=[wi,j]N×N表示。

(7)

其中，Nei表示與超像素vi相連接的鄰居集合。

3.2 全局和局部融合的顯著計(jì)算

為了更精確地描述超像素之間的相似性，本文利用顏色深度特征融合的關(guān)聯(lián)矩陣Wcd,將相似性信息擴(kuò)散到整個(gè)圖模型中，即：

ΜT=(D-αWcd)-1SSuperPixel

(8)

顯著目標(biāo)通常被背景區(qū)域所包圍，因此背景區(qū)域上的顏色和深度特征的分布一般會(huì)比顯著區(qū)域上的更為廣泛。所以，對(duì)于每個(gè)超像素來說，特征差異越大，緊密度就越小，越不可能成為顯著性目標(biāo)。首先從全局的角度出發(fā)，計(jì)算超像素vi與全部超像素的特征差異，即超像素vi的全局緊密度如下所示：

(9)

相對(duì)應(yīng)地，從局部角度出發(fā)，計(jì)算超像素vi與相鄰超像素的特征差異，即超像素vi的局部緊密度如下所示：

(10)

(11)

融合全局和局部?jī)煞N不同的方式得到的緊密度，形成顯著值：

Scom(i)=norm(sg(i)·sl(i))

(12)

3.3 背景和前景融合的顯著優(yōu)化

在顯著計(jì)算的步驟中，本文以超像素間的緊密度作為初步的顯著值。為了得到更完善的顯著圖，本文首先從背景角度優(yōu)化抑制背景區(qū)域，然后通過前景角度的優(yōu)化提高顯著檢測(cè)的完整度。

3.3.1 背景優(yōu)化

自然圖像中的顯著區(qū)域與背景區(qū)域的空間分布是不同的。相對(duì)于背景區(qū)域，顯著區(qū)域很少接觸圖像邊緣，所以假設(shè)圖像的邊緣區(qū)域?yàn)楸尘笆秋@著檢測(cè)方法中常用的先驗(yàn)知識(shí)[22]。本文在Zhu等人[17]的方法基礎(chǔ)上，將深度信息引入邊界連接權(quán)重并計(jì)算背景概率，對(duì)初步顯著圖進(jìn)行背景優(yōu)化。首先，以超像素之間顏色深度特征融合的距離(li,j+di,j)為基礎(chǔ)計(jì)算測(cè)地線距離。然后，定義邊緣測(cè)地線權(quán)重與全圖測(cè)地線權(quán)重的比值為邊界連接權(quán)重。最后，利用邊界連接權(quán)重計(jì)算背景概率對(duì)初步的顯著值加權(quán)，完成背景角度的優(yōu)化。

本文將超像素之間的測(cè)地線距離定義為兩個(gè)超像素之間最短路徑上的距離之和。超像素vi和vj之間的測(cè)地線距離dgeo(i,j)計(jì)算如下：

(13)

超像素vi的全圖測(cè)地線權(quán)重G(i)和邊緣測(cè)地線權(quán)重B(i)分別定義如下：

(14)

(15)

即，超像素vi的邊界連接權(quán)重表示為：

(16)

超像素vi的背景概率表示如下：

(17)

其中，σBCon為控制參數(shù)。最后，利用背景概率對(duì)初步顯著值進(jìn)行加權(quán)得到背景優(yōu)化顯著值：

SB(i)=Scom(i)·pbg(i)

(18)

3.3.2 前景優(yōu)化

在流形排序中，給定數(shù)據(jù)集X={xl,…,xl,xl+1,…,xn}∈Rn×n,將其中一些數(shù)據(jù)節(jié)點(diǎn)標(biāo)記為詢問節(jié)點(diǎn)，其余節(jié)點(diǎn)需要根據(jù)它們和詢問節(jié)點(diǎn)間的相關(guān)性進(jìn)行排序。令f:X→Rn表示排序函數(shù)，給每個(gè)節(jié)點(diǎn)xi分配一個(gè)排序值fi。f被視為一個(gè)向量f=[f1,…,fn]T,令y=[y1,y2,…,yn]T為指示向量，如果xi是詢問節(jié)點(diǎn)則yi=1,否則yi=0。接著對(duì)數(shù)據(jù)集構(gòu)建一個(gè)圖G=(V,E)，節(jié)點(diǎn)集合V代表數(shù)據(jù)集X,E由一個(gè)關(guān)聯(lián)矩陣W=[wi,j]n×n加權(quán)，n表示圖模型的頂點(diǎn)數(shù)量。給定G,對(duì)應(yīng)的度矩陣即為D=diag{d11,…,dnn},dii=∑jwij。查詢節(jié)點(diǎn)的最優(yōu)排序通過最優(yōu)化下面的公式解決：

(19)

μ控制平滑限制和擬合約束的平衡，也就是說，一個(gè)好的排序算法要使鄰近的點(diǎn)之間相關(guān)性變化不大，且不能與初始的排序值有太大的差距。

通過求導(dǎo)置為零求解以上最小化問題，可以使用以下排序函數(shù)表示：

f*=(1-α)(I-αS)-1y

(20)

出于效率的考慮，本文采用非歸一化的拉普拉斯矩陣形式來計(jì)算顯著性，非歸一化拉普拉斯形式的排序方程可表示為：

f*=(D-αW)-1y

(21)

(22)

所以，本文的前景優(yōu)化顯著圖可以用以下公式表示：

(23)

4 實(shí)驗(yàn)

為驗(yàn)證本文方法，實(shí)驗(yàn)在RGBD1000[12]基準(zhǔn)數(shù)據(jù)集上，同時(shí)與四種先進(jìn)的RGB顯著檢測(cè)方法以及三種先進(jìn)的RGB-D顯著檢測(cè)算法，在Precision、Recall、F-measure和運(yùn)行時(shí)間這四個(gè)評(píng)價(jià)指標(biāo)上作對(duì)比。本實(shí)驗(yàn)所有程序都是在Intel(R) Core(TM) i5-4970CPU 3.2 GHz、內(nèi)存8 GB的PC上實(shí)現(xiàn)。本文實(shí)驗(yàn)所用軟件為Matlab(R2013a)，對(duì)比方法來自各作者提供的公開代碼或檢測(cè)結(jié)果。

4.1 數(shù)據(jù)集

RGBD-1000數(shù)據(jù)集是由Microsoft Kinect分別在室內(nèi)室外所拍攝的自然圖片組成，包含1 000張RGB圖片和1 000張對(duì)應(yīng)的手工標(biāo)注顯著模板。

4.2 評(píng)估標(biāo)準(zhǔn)

本文采用PR(Precision-Recall)曲線和F-measure值兩個(gè)不同的指標(biāo)來評(píng)估不同方法的性能，通過繪制PR曲線圖和指標(biāo)評(píng)價(jià)直方圖直觀展現(xiàn)對(duì)比差異。

PR曲線的Precision表示正確分配到提取區(qū)域中顯著像素的比例，Recall表示定義為顯著像素關(guān)于模板數(shù)量的比例。具體地，用0～255不同的固定閾值把顯著圖分割成256個(gè)二值圖，并計(jì)算得到256個(gè)Precision-Recall對(duì)，以Recall為橫軸，Precision為縱軸，繪制Precision隨Recall變化的曲線。在顯著性的評(píng)估過程中，Precision和Recall之間會(huì)互相影響。一般情況下，當(dāng)檢測(cè)的Precision提高時(shí)，Recall可能會(huì)有所下降，所以另外采用F-measure值來評(píng)價(jià)方法的性能。F-measure作為Precision和Recall的加權(quán)調(diào)和平均數(shù)，計(jì)算方法如下：

(24)

其中，β2為控制精確性和完整性的權(quán)值，其值設(shè)為0.3，強(qiáng)調(diào)準(zhǔn)確率的重要性。

4.3 參數(shù)分析與設(shè)置

本文方法中需要設(shè)置k、m、σ、σbg、σBCon以及α六個(gè)參數(shù)。

(1)k：本文將人為設(shè)定的超像素個(gè)數(shù)k設(shè)置為300，另一方面，因?yàn)镾LIC分割算法在分割的過程中會(huì)有誤差，故將實(shí)際分割得到的超像素個(gè)數(shù)表示為N。

(2)m：SLIC分割算法在計(jì)算聚類距離時(shí)需要參數(shù)m平衡空間距離和顏色距離的相對(duì)重要性。當(dāng)m大時(shí)，空間鄰近性更重要，并且所得到的超像素更緊湊。當(dāng)m小時(shí)，所得到的超像素更緊密地粘附到圖像邊界，但是具有較小的規(guī)則尺寸和形狀。當(dāng)使用CIELAB色彩空間時(shí)，m可以在[1,40]，數(shù)值參考文獻(xiàn)[15]設(shè)置為20。

(3)σ、σbg和σBCon：在本文方法中σ控制兩個(gè)超像素之間的權(quán)重強(qiáng)度，σbg、σBCon控制指數(shù)函數(shù)下降率的參數(shù)，本文將其分別設(shè)置為σ=0.1，σbg=10，σBCon=1。

(4)α：流形排序算法是數(shù)據(jù)點(diǎn)通過圖模型來將其顯著值擴(kuò)散給鄰居節(jié)點(diǎn)的過程，擴(kuò)散過程會(huì)一直重復(fù)，直到收斂到穩(wěn)定狀態(tài)為止。參數(shù)α是為了控制擴(kuò)散過程中平滑限制和擬合約束的平衡。為了保證擴(kuò)散能達(dá)到收斂，α的取值是[0,1)，參考文獻(xiàn)[10]將α設(shè)置為0.99。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 本文算法評(píng)估

本文算法評(píng)估對(duì)比如圖4所示。本文在計(jì)算緊密度時(shí)使用了顏色深度融合的特征，為體現(xiàn)顏色深度融合相對(duì)于單獨(dú)顏色的優(yōu)勢(shì)，本文首先評(píng)估單獨(dú)顏色特征的緊密度計(jì)算和顏色深度特征融合的緊密度計(jì)算，在對(duì)比圖中分別以S-C和S-CD表示。在PR曲線的對(duì)比中，相對(duì)于單獨(dú)顏色特征的緊密度計(jì)算，顏色深度特征融合的緊密度計(jì)算有著明顯提高。其次，本次實(shí)驗(yàn)對(duì)背景優(yōu)化前后的結(jié)果做出了評(píng)估。其中，用S-CD-B表示背景優(yōu)化后的結(jié)果。通過對(duì)比發(fā)現(xiàn)，利用背景概率為初步顯著值加權(quán)能夠有效優(yōu)化檢測(cè)結(jié)果。最后，用 S-CD-F表示前景優(yōu)化后的結(jié)果，即最終結(jié)果。從PR曲線中可以看出，相對(duì)于背景優(yōu)化的PR曲線，前景優(yōu)化后的曲線在召回率增大的情況下，精確度下降的速率變小，即前景優(yōu)化進(jìn)一步完整地突出了顯著目標(biāo)。

Figure 4 Evaluation of the method in this paper圖4 本文算法評(píng)估

4.4.2 其他顯著檢測(cè)方法對(duì)比

為進(jìn)一步說明本文方法的性能，與多種先進(jìn)的顯著檢測(cè)方法在RGBD1000數(shù)據(jù)集上作對(duì)比實(shí)驗(yàn)。首先與四種沒有考慮深度信息的RGB顯著檢測(cè)方法進(jìn)行對(duì)比，這四種方法分別來自文獻(xiàn)[9,10,17,23]。如圖5a和圖5b所示，本文方法在PR曲線和評(píng)價(jià)指標(biāo)直方圖上均有明顯優(yōu)勢(shì)。

Figure 5 Comparison with other methods圖5 與其他算法對(duì)比

Figure 6 Quality comparison.圖6 質(zhì)量對(duì)比

本文方法所對(duì)比的三種RGB-D顯著檢測(cè)方法分別來自文獻(xiàn)[12,13,24]，對(duì)比結(jié)果如圖5c和圖5d所示。從PR曲線上看，本文方法明顯優(yōu)于文獻(xiàn)[12,13,24]的方法。從評(píng)價(jià)指標(biāo)直方圖上看，本文方法有一定的優(yōu)勢(shì)，精確度達(dá)到了76%，F(xiàn)-measure值也達(dá)到了0.7，都處于較高水平。

4.5 質(zhì)量比較

本文方法與其他方法的質(zhì)量對(duì)比結(jié)果如圖6所示。從RGB圖和深度上看，第一行和第二行圖片的顏色對(duì)比比較明顯，所以，沒有考慮深度信息時(shí)RGB顯著檢測(cè)方法也能取得較好的檢測(cè)結(jié)果；而第三行、第四行以及第五行的RGB圖片中顏色對(duì)比不明顯，引入了深度信息的RGB-D顯著檢測(cè)方法相對(duì)于沒有考慮深度信息RGB顯著檢測(cè)方法有著明顯的優(yōu)勢(shì)，其中本文方法得到的顯著圖能夠更加完整地突出顯著目標(biāo)；最后三行圖片中的背景更加復(fù)雜，前景和背景中的顏色特征、深度特征都比較接近，對(duì)于現(xiàn)有的RGB-D顯著檢測(cè)方法也有一定的難度，但本文依靠多角度互補(bǔ)關(guān)系的融合依然能夠取得較好的效果。

在實(shí)驗(yàn)中，同樣發(fā)現(xiàn)本文算法的局限性。例如圖7中的第一行和第二行，通過觀察發(fā)現(xiàn)，當(dāng)圖像中的顯著目標(biāo)與背景在顏色、位置以及深度信息都較為接近時(shí)，緊密度計(jì)算得到的顯著值與模板會(huì)有明顯的差距，從而影響最終的檢測(cè)結(jié)果。此外，觀察圖7中的第三行發(fā)現(xiàn)，當(dāng)圖像的邊界有多處與顯著目標(biāo)具有相似的特征時(shí)，背景優(yōu)化的效果往往會(huì)有所降低，導(dǎo)致最終的檢測(cè)效果變差。

Figure 7 Failure examples of saliency detection results of the proposed method圖7 本文算法顯著檢測(cè)失敗例子

4.6 運(yùn)行效率比較

本文方法與上述七種顯著檢測(cè)方法同樣在RGBD-1000數(shù)據(jù)集做運(yùn)行效率對(duì)比實(shí)驗(yàn)。由表1能夠看出，相對(duì)于RGB顯著檢測(cè)方法，RGB-D顯著檢測(cè)方法在運(yùn)行效率上偏低，但本文方法運(yùn)行時(shí)間僅為2.126 s，運(yùn)行效率較高。

5 結(jié)束語

本文融合顏色和深度特征構(gòu)建圖模型，并將圖模型中顏色深度融合的特征應(yīng)用到顯著檢測(cè)的每一步。然后融合全局緊密度和局部緊密度作為初步顯著值。最后，依次從背景角度和前景角度進(jìn)行優(yōu)化，得到最終的顯著圖。以RGB-D圖像為依據(jù)，結(jié)合多個(gè)角度的互補(bǔ)關(guān)系提高了RGB-D圖像中顯

著檢測(cè)的準(zhǔn)確率。

在未來的研究中可以進(jìn)一步考慮RGB圖像中的其他特征和深度特征的結(jié)合，引入更適合深度特征的先驗(yàn)知識(shí)，進(jìn)一步提高檢測(cè)正確率，或者利用自頂向下的檢測(cè)模型，融入深度信息進(jìn)行訓(xùn)練來獲得更好的預(yù)測(cè)效果。

參考文獻(xiàn):

[1] Rother C,Kolmogorov V,Blake A.Grabcut:Interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics (TOG), 2004,23(3):309-314.

[2] Ding Y,Xiao J,Yu J.Importance filtering for image retargeting[C]∥Proc of 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2011:89-96.

[3] Lin W Y,Wu P C,Chen B R.Image retargeting using depth enhanced saliency[C]∥Proc of 3D Systems and Applications (3DSA),2013:1-4.

[4] Cheng M M,Mitra N J,Huang X,et al.Global contrast based salient region detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):569-582.

[5] Achanta R,Shaji A,Smith K,et al.SLIC superpixels compared to state-of-the-art superpixel methods[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2012,34(11):2274-2282.

[6] Liu T,Yuan Z,Sun J,et al.Learning to detect a salient object[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2007,33(2):353-367.

[7] Gopalakrishnan V,Hu Y,Rajan D.Salient region detection by modeling distributions of color and orientation[J].IEEE Transactions on Multimedia,2009,11(5):892-905.

[8] Cheng M M,Warrell J,Lin W Y,et al.Efficient salient region detection with soft image abstraction[C]∥Proc of the IEEE International Conference on Computer Vision,2013:1529-1536.

[9] Jiang B,Zhang L,Lu H,et al.Saliency detection via absorbing Markov chain[C]∥Proc of the IEEE International Conference on Computer Vision,2013:1665-1672.

[10] Yang C,Zhang L,Lu H,et al.Saliency detection via graph-based manifold ranking[C]∥Proc of 2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2013:3166-3173.

[11] Zhang Y,Jiang G,Yu M,et al.Stereoscopic visual attention model for 3d video[C]∥Proc of International Conference on Multimedia Modeling,2010:314-324.

[12] Peng H,Li B,Xiong W,et al.Rgbd salient object detection:A benchmark and algorithms[C]∥Proc of European Conference on Computer Vision,2014:92-109.

[13] Cheng Y,Fu H,Wei X,et al.Depth enhanced saliency detection method[J].European Journal of Histochemistry Ejh,2014,55(1):301-308.

[14] Ren J, Gong X, Yu L,et al.Exploiting global priors for RGB-D saliency detection[C]∥Proc of 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW),2015:25-32.

[15] Guo J,Ren T,Bei J.Salient object detection for RGB-D image via saliency evolution[C]∥Proc of 2016 IEEE International Conference on Multimedia and Expo (ICME),2016:1-6.

[16] Hsu C Y, Ding J J. Efficient image segmentation algorithm using superpixels and boundary-focused region merging[C]∥Proc of 2013 9th International Conference on Information, Communications and Signal Processing(ICICS), 2013:1-5.

[17] Zhu W,Liang S,Wei Y,et al.Saliency optimization from robust background detection[C]∥Proc of 2014 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2014:2814-2821.

[18] Perazzi F, Kr?henbühl P,Pritch Y,et al.Saliency filters:Contrast based filtering for salient region detection[C]∥Proc of 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2012:733-740.

[19] Harel J,Koch C,Perona P.Graph-based visual saliency[C]∥Proc of Advances in Neural Information Processing Systems,2006:545-552.

[20] Zhou L,Yang Z,Yuan Q,et al.Salient region detection via integrating diffusion-based compactness and local contrast[J].IEEE Transactions on Image Processing,2015,24(11):3308-3320.

[21] Xue H,Gu Y,Li Y,et al.RGB-D saliency detection via mutual guided manifold ranking[C]∥Proc of 2015 IEEE International Conference on Image Processing (ICIP),2015:666-670.

[22] M Wei Y, Wen F,Zhu W,et al.Geodesic saliency using background priors[C]∥Proc of European Conference on Computer Vision,2012:29-42.

[23] Qin Y,Lu H,Xu Y,et al.Saliency detection via cellular automata[C]∥Proc of 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2015:110-119.

[24] Ju R,Ge L,Geng W,et al.Depth saliency based on anisotropic center-surround difference[C]∥Proc of 2014 IEEE International Conference on Image Processing,2014:1115-1119.