多尺度的圖像顯著性檢測(cè)方法

賈 寧， 柳先輝， 陳宇飛， 趙衛(wèi)東， 邢尚文

(1. 同濟(jì)大學(xué) 電子與信息工程學(xué)院， 上海 201804; 2. 國家電網(wǎng)集團(tuán), 山東 濟(jì)南 250000)

人的眼睛具有快速、準(zhǔn)確發(fā)現(xiàn)視野中感興趣物體的能力[1].在機(jī)器視覺領(lǐng)域識(shí)別感興趣物體的過程被定義為顯著性檢測(cè).顯著性檢測(cè)是機(jī)器視覺領(lǐng)域的基礎(chǔ)性工作，其主要目的就是讓計(jì)算設(shè)備模仿人的視覺系統(tǒng)使其具有快速發(fā)現(xiàn)圖像中需要重點(diǎn)關(guān)注區(qū)域的能力.顯著性檢測(cè)理論已經(jīng)大量應(yīng)用于圖像壓縮[2]、目標(biāo)識(shí)別[3]、圖像分割[4]等領(lǐng)域，并且取得了顯著的效果.雖然顯著性檢測(cè)理論已經(jīng)在多個(gè)領(lǐng)域內(nèi)得到廣泛應(yīng)用，但是在顯著性檢測(cè)研究中依然存在有許多難點(diǎn)，其中一個(gè)重要的難點(diǎn)就是顯著性檢測(cè)算法的準(zhǔn)確率與魯棒性問題.由于不同的顯著性檢測(cè)算法的側(cè)重點(diǎn)不同，導(dǎo)致算法在一個(gè)數(shù)據(jù)集上表現(xiàn)較好，而在其他數(shù)據(jù)集上表現(xiàn)較差.

隨著機(jī)器視覺的發(fā)展，近年來人們提出了很多視覺顯著性檢測(cè)的算法和框架來解決上述問題，這些模型和框架主要分為兩類[5]，一類是受數(shù)據(jù)驅(qū)動(dòng)的自下向上的顯著性檢測(cè)方法，一類是由任務(wù)驅(qū)動(dòng)的自上而下的顯著性檢測(cè)方法.基于數(shù)據(jù)驅(qū)動(dòng)的方法依靠數(shù)據(jù)本身的特征來進(jìn)行顯著性檢測(cè)；基于任務(wù)驅(qū)動(dòng)的方法依靠任務(wù)對(duì)象的屬性來進(jìn)行顯著性檢測(cè).這兩類顯著性檢測(cè)方法都存在自身的優(yōu)點(diǎn)與不足:自下而上的顯著性檢測(cè)方法具有生物學(xué)以及神經(jīng)學(xué)理論的支撐,對(duì)于背景復(fù)雜的場(chǎng)景較為有效，缺點(diǎn)是這類方法僅僅是利用圖像的底層特征,難以刻畫圖像對(duì)象的多義性；自上而下的顯著性檢測(cè)方法根據(jù)顯著對(duì)象的語義特征來定位顯著性的區(qū)域，同時(shí)利用圖像的場(chǎng)景信息來提高顯著性檢測(cè)的可靠性與準(zhǔn)確性，這類算法能夠充分表達(dá)圖像內(nèi)容的對(duì)象性以及輪廓特征，但這類方法沒有生物學(xué)理論的支撐，在進(jìn)行顯著性檢測(cè)的時(shí)候需要預(yù)先給出具體的檢測(cè)任務(wù)來確定檢測(cè)目標(biāo).近年來隨著機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)技術(shù)的發(fā)展，人們開始使用基于深度學(xué)習(xí)的方法對(duì)圖像進(jìn)行處理，這類方法往往可以取得常規(guī)方法難以達(dá)到的效果.但是基于深度學(xué)習(xí)的方法在前期的訓(xùn)練過程中需要大量的圖片信息，而在某些特定的環(huán)境下是無法滿足這個(gè)前提的，所以常規(guī)方法仍有其存在的價(jià)值.

本文提出了一種結(jié)合圖像的底層特征和高層特征的多尺度的顯著性檢測(cè)算法.首先對(duì)圖像進(jìn)行濾波處理,將與顯著性檢測(cè)的非相關(guān)的細(xì)節(jié)信息進(jìn)行平滑[6].其次利用像素的空間分布先驗(yàn)[7]和顏色先驗(yàn)[8]，獲得像素尺度上的顯著圖.再次，利用SLIC(simple linear iterative clustering)對(duì)圖像進(jìn)行分割[9]，抽取圖像邊界區(qū)域的超像素以及待檢測(cè)超像素的鄰接超像素和二鄰階超像素作為待檢測(cè)超像素的顯著支撐區(qū)域，計(jì)算待測(cè)超像素與顯著支撐區(qū)域在Lab顏色空間以及LM(Leung-Malik)最大響應(yīng)值上的顏色空間距離來獲取超像素尺度上的顯著圖.第四，利用圖割算法[10]對(duì)圖像進(jìn)行多次區(qū)域分割，利用先驗(yàn)信息、圖像塊在Lab顏色空間、Hue等特征進(jìn)行局部對(duì)比獲得圖像在每一分割尺度下的顯著圖，然后將不同尺度下的顯著圖進(jìn)行合并獲得圖像塊尺度上的顯著圖.第五，由于不同尺度上的顯著圖對(duì)于圖像最終的顯著性計(jì)算的貢獻(xiàn)不同，不同于文獻(xiàn)[11]中依靠經(jīng)驗(yàn)進(jìn)行加權(quán)賦值的方法，本文利用CRF(conditional random field)框架對(duì)每一部分的貢獻(xiàn)進(jìn)行加權(quán)，得到理論上更好的顯著圖.

將本文算法與多種典型算法在兩個(gè)公開數(shù)據(jù)集(ECSSD、MSRA 1000)上進(jìn)行實(shí)驗(yàn)對(duì)比，發(fā)現(xiàn)本文算法在準(zhǔn)確性和魯棒性方面都有較好的表現(xiàn).

1 相關(guān)工作

由于對(duì)于圖像中顯著對(duì)象的大小缺乏先驗(yàn)知識(shí)，所以在一個(gè)尺度上無論采用何種基于對(duì)比的顯著性檢測(cè)方法，都不可能取得令人滿意的效果.文獻(xiàn)[12-14]將圖像劃分為多個(gè)尺度，分別獲取每一個(gè)尺度上的顯著性檢測(cè)結(jié)果，最后對(duì)多個(gè)結(jié)果進(jìn)行加權(quán)融合.文獻(xiàn)[13]利用圖割算法，通過不斷調(diào)整圖割算法的參數(shù)將圖片劃分為10個(gè)不同的尺度，利用局部對(duì)比方法獲得每一尺度上的顯著圖，最后對(duì)各個(gè)顯著圖通過求均值的方式獲得最終的顯著性檢測(cè)結(jié)果.文獻(xiàn)[12]利用超像素分割方法將圖像分割為多個(gè)超像素，根據(jù)相鄰超像素特征的相似性對(duì)鄰接進(jìn)行合并，將每一張圖像劃分為四個(gè)尺度，然后根據(jù)局部對(duì)比方法獲取每一尺度上的顯著圖，最后通過加權(quán)求和的方式獲得最終的顯著圖.文獻(xiàn)[14]對(duì)圖像進(jìn)行超像素分割，利用全局對(duì)比方法獲得每一個(gè)超像素的顯著值，并計(jì)算相鄰超像素的特征差異，根據(jù)超像素的顯著值與特征差異對(duì)超像素進(jìn)行區(qū)域合并，通過不斷的重復(fù)合并，最終將一張圖像表達(dá)為一個(gè)多尺度的樹結(jié)構(gòu)，最后對(duì)樹結(jié)構(gòu)進(jìn)行加權(quán)求和得到最終的顯著圖.

目前多尺度融合的方式主要有兩種：基于概率論的方法和基于經(jīng)驗(yàn)的方法.文獻(xiàn)[15]采用貝葉斯方法將基于前景種子和基于背景種子獲得的顯著結(jié)果進(jìn)行加權(quán)融合，該方法將其中一個(gè)結(jié)果作為先驗(yàn)來對(duì)另一結(jié)果進(jìn)行概率結(jié)算，最后將結(jié)果相加得到最終的結(jié)果.文獻(xiàn)[7]采用學(xué)習(xí)的方式對(duì)多個(gè)尺度上的顯著圖進(jìn)行融合，同一個(gè)測(cè)試樣本集上將不同方法獲得的顯著圖與真值進(jìn)行對(duì)比，準(zhǔn)確度高的方法獲得較大的權(quán)重.文獻(xiàn)[16]以及文獻(xiàn)[11]采用最簡單的相加和相乘的方式對(duì)多個(gè)顯著圖進(jìn)行融合，而沒有衡量不同尺度上顯著性檢測(cè)結(jié)果對(duì)最終生成結(jié)果的影響不同.

圖像多尺度的劃分大部分是從超像素尺度上開始的，這種方法忽略了圖像底層特征的差異[17]，同時(shí)顯著性檢測(cè)結(jié)果嚴(yán)重依賴于圖像超像素分割的結(jié)果，如果超像素劃分的結(jié)果不佳，那么將可能得不到令人滿意的顯著性檢測(cè)結(jié)果.為了克服上述問題，本文提出的多尺度顯著性檢測(cè)方法將像素劃分為最底層的尺度，來進(jìn)行顯著性檢測(cè)，同時(shí)為了克服單一方法的局限性，本文在不同尺度上采用不同的顯著性檢測(cè)方法，這樣可以更好地檢測(cè)出具有不同顯著性屬性的顯著性區(qū)域.

2 多尺度圖像顯著性檢測(cè)算法步驟

圖1為本文算法的框架結(jié)構(gòu)圖，從中可以看出算法主要分為兩大部分：①多層次初始顯著性檢測(cè)結(jié)果的獲?。虎谌诤隙喑叨瘸跏硷@著性檢測(cè)結(jié)果，獲得最終的顯著圖.圖2為不同尺度上的顯著性檢測(cè)的結(jié)果.

2.1 圖像平滑

圖1 算法框架圖 Fig.1 Diagram of proposed method

a 輸入圖片

b 像素尺度顯著圖

c 超像素尺度顯著圖

d 圖像塊尺度顯著圖

e 最終顯著圖

f 真值 圖2 不同尺度上的顯著圖 Fig.2 Saliency maps at different scales

心理學(xué)實(shí)驗(yàn)表明,人的視覺系統(tǒng)對(duì)圖像中的中頻特征比高頻特征更加敏感，圖像中的高頻特征不僅不會(huì)對(duì)圖像的顯著性檢測(cè)提供幫助，而且還會(huì)在一些顯著性模型中被當(dāng)作噪聲處理.同時(shí)圖像大量存在的細(xì)小紋理變化，也會(huì)給圖像的顯著性檢測(cè)造成不利的影響，所以為減少高頻特征對(duì)算法的性能的影響，首先對(duì)原始輸入圖像進(jìn)行平滑處理，實(shí)現(xiàn)對(duì)圖像中高頻特征的抑制.本文采用文獻(xiàn)[6]中的方法對(duì)圖像進(jìn)行平滑處理.平滑處理的目標(biāo)函數(shù)為

(1)

式中：I為原始圖像;S為平滑后的圖像;p為圖像像素;λ=0.07為平滑參數(shù),決定模型對(duì)圖像的平滑程度;ε=2為防止分母為0的一個(gè)小正數(shù);Dx(p)與Dy(p)分別是以點(diǎn)p為中心的矩形框中，所有像素點(diǎn)沿著X軸方向與Y軸方向的總變分;Lx(p)和Ly(p)作為區(qū)分紋理主要結(jié)構(gòu)的內(nèi)在變分.圖3為圖像平滑前后的對(duì)比圖.

a 原始圖像

b 平滑后圖像 圖3 圖像平滑處理 Fig.3 Smoothed image

2.2 像素尺度

2.2.1顏色先驗(yàn)

多種顏色通道共同作用使得圖像呈現(xiàn)出不同的色彩，以RGB顏色空間為例,理論上一幅圖像最多含有2553種顏色，這些顏色根據(jù)色彩上的相似性可以簡單分為十幾類，顏色類與類之間的色彩差異比較大，類內(nèi)的差異比較小.本文認(rèn)為一種顏色在圖像中的空間分布越廣，空間分布方差越大，該顏色屬于背景的可能性越大.根據(jù)這個(gè)前提,本文利用GMM(Gaussian mixed model)模型來表示每個(gè)像素點(diǎn).

(2)

式中:I(x,y)為圖像中坐標(biāo)為(x,y)的像素點(diǎn);c為第c個(gè)顏色分量;μc和σc分別為第c個(gè)分量的均值和方差;N(,)為高斯模型;ωc為第c個(gè)分量權(quán)重.本文采用最大估計(jì)法對(duì)式(2)求解.

(3)

式中：C為所有的顏色分量，每個(gè)顏色分量的空間坐標(biāo)位置可以簡化為

(4)

式中:vh(c*)、vv(c*)分別為第c*顏色分量中所有像素點(diǎn)在X方向和Y方向的上的坐標(biāo)均值;N為顏色分量c*中具有最大似然值的個(gè)數(shù).每個(gè)顏色分量的空間分布方差定義為

V(c*)=max(vh(c*),vv(c*))

(5)

通過大量實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)顏色的分量的總數(shù)取4或者5時(shí)實(shí)驗(yàn)的效果最好，本文選擇的顏色分量的個(gè)數(shù)為4，圖4為基于顏色空間分布得出的顯著圖.

圖4 基于顏色空間分布的顯著圖 Fig.4 Saliency maps based on color spatial distribution

2.2.2空間分布先驗(yàn)

根據(jù)文獻(xiàn)[11]中的描述，暖色調(diào)的物體要比冷色調(diào)的物體更能吸引人的注意力，也就是說暖色調(diào)的物體比冷色調(diào)的物體顯著值更高.根據(jù)這一結(jié)論,本文構(gòu)建了基于顏色先驗(yàn)的視覺顯著性檢測(cè)方法.在Lab顏色空間中，a通道值的大小代表了顏色從綠色到紅色的過度程度，而b通道值的大小代表了顏色從藍(lán)色到黃色的過度程度.由于綠色與藍(lán)色屬于冷色調(diào)，而紅色與黃色代表暖色調(diào)，所以a通道與b通道之和衡量了該像素顏色的冷暖程度，也就決定了該顏色顯著值的大小.

根據(jù)上面的分析，本文采用文獻(xiàn)[8]中提出的方法對(duì)像素點(diǎn)的顯著性進(jìn)行度量.首先將上述兩個(gè)顏色通道進(jìn)行歸一化處理.

(6)

式中:fan(x,y)=[0,1]與fbn(x,y)=[0,1]分別表示坐標(biāo)為(x,y)的像素n在a通道與b通道的顏色值;maxa和maxb分別表示所有像素點(diǎn)在a通道和b通道的最大值;mina和minb分別表示所有像素點(diǎn)在a通道和b通道的最小值;fan(x,y)與fbn(x,y)的和反映了像素n的顯著性.最后通過公式(7)對(duì)每個(gè)像素點(diǎn)的顯著性進(jìn)行賦值.

(7)

式中:σ為調(diào)節(jié)參數(shù)，令σ2=0.25.結(jié)合圖像顏色先驗(yàn)，最終像素尺度上的顯著值定義為

Sp(x，y)=Sf(x,y)+Sc(I(x,y))

(8)

圖5為基于顏色先驗(yàn)獲得的顯著性檢結(jié)果.

圖5 基于顏色先驗(yàn)的顯著圖 Fig.5 Saliency detection based on color-prior

2.3 超像素尺度

基于文獻(xiàn)[18]得出兩個(gè)結(jié)論：①距離超像素越近的區(qū)域?qū)υ摮袼氐娘@著性檢測(cè)結(jié)果影響越大;②圖像的顯著性區(qū)域一般處于遠(yuǎn)離圖像邊界的區(qū)域.

(9)

式中:d(,)為兩個(gè)超像素在Lab顏色空間的歐氏距離.

超像素顯著支撐區(qū)域的提取見圖6.

將中心超像素的一階鄰接區(qū)域、二階鄰接區(qū)域以及背景模板B總稱為超像素的顯著性支撐區(qū)域.利用文獻(xiàn)[19]中的方法提取所有超像素的Lab平均

圖6 超像素顯著支撐區(qū)域的提取 Fig.6 Salient support region of center superpixel

顏色特征vLab、Lab直方圖特征hLab以及LM最大值特征htex構(gòu)建超像素的特征向量，兩個(gè)超像素間的特征差異定義為

(10)

式中:χ2(,)為兩個(gè)超像素之間的卡方距離;λ為權(quán)重參數(shù).

最后超像素的顯著性計(jì)算公式定義如下：

(11)

式中:ω為權(quán)重參數(shù).

圖7為超像素尺度上圖像顯著性檢測(cè)的結(jié)果.

圖7 超像素尺度上的顯著圖Fig.7 Salieny maps on superpixel scales

2.4 圖像塊尺度

(12)

(13)

2.5 多尺度融合

目前多尺度融合過程中的權(quán)重參數(shù)主要采用經(jīng)驗(yàn)優(yōu)先或者求均值的方式獲取，這兩種方法不僅浪費(fèi)資源而且對(duì)于得到的結(jié)果是否最優(yōu)缺乏理論支撐.本文采用CRF框架來融合多尺度顯著性檢測(cè)結(jié)果，該方法不僅可以避免大量的常識(shí)性計(jì)算還能獲得理論上更好的效果.條件隨機(jī)場(chǎng)是一種判別式概率模型，其形式是根據(jù)模型的特征輸入(觀察值)以及隨機(jī)變量之間的相互關(guān)系來預(yù)測(cè)輸出的概率分布，近年來?xiàng)l件隨機(jī)場(chǎng)主要應(yīng)用于序列標(biāo)注以及狀態(tài)預(yù)測(cè)，并在機(jī)器學(xué)習(xí)與大數(shù)據(jù)分析方面表現(xiàn)突出.

2.5.1CRF融合

圖8 圖像塊尺度上的顯著圖Fig.8 Salieny maps on region scales

圖像顯著區(qū)域一般位于一個(gè)相對(duì)集中的區(qū)域，因此可以通過像素周圍區(qū)域的像素的顯著性判斷中心像素是否顯著，這樣顯著性檢測(cè)方法更具魯棒性.但是這種方法過度依賴于其周圍像素，當(dāng)像素位于顯著區(qū)域的邊緣位置時(shí)，該方法便不再有效.為了彌補(bǔ)這個(gè)不足，本文采用基于CRF的多尺度融合方法，利用像素之間的相互關(guān)系，同時(shí)采用增加觀測(cè)值的方法，克服了上述方法的不足.本文將不同尺度上的顯著性檢測(cè)結(jié)果作為條件隨機(jī)場(chǎng)模型的特征輸入，相鄰像素之間的特征值作為隨機(jī)變量之間的相互關(guān)系，通過訓(xùn)練學(xué)習(xí)，獲得模型的參數(shù)組合，對(duì)圖像的顯著區(qū)域進(jìn)行預(yù)測(cè).根據(jù)條件隨機(jī)場(chǎng)理論的一般模型，本文中的CRF模型為

(14)

式中:I為輸入圖像;z為歸一化因子.

圖像I中的顯著區(qū)域表示為一個(gè)二值模板A={ax}，ax=1,說明像素x屬于顯著區(qū)域;ax=0,則說明像素x屬于背景區(qū)域.

E(A/I)定義為

(15)

式中:等式右邊第一項(xiàng)為輸入特征(觀察值);第二項(xiàng)為隨機(jī)變量的相互關(guān)系;(x,x′)為鄰接像素;γk為第k個(gè)特征權(quán)值，其中

(16)

式中:fk(x,I)為像素x是屬于顯著區(qū)域的概率(像素的顯著值).

S(ax,ax′,I)=|ax-ax′|exp(-βd(x,x′))

(17)

2.5.2CRF訓(xùn)練過程

本文CRF模型的特征輸入(觀察值)以及隨機(jī)變量之間的相互關(guān)系，可以通過多尺度顯著圖來獲得，未知變量僅有模型參數(shù)γ.本文通過對(duì)模型進(jìn)行訓(xùn)練獲得該參數(shù)組合.從MSRA10K中抽取一千張圖片作為訓(xùn)練集，對(duì)CRF模型求解參數(shù).

(18)

式中:(A,I)為訓(xùn)練的圖像樣本.參考文獻(xiàn)[20],本文使用最大似然估計(jì)的方法對(duì)式(18)求解，獲得最優(yōu)的權(quán)值.

3 實(shí)驗(yàn)與分析

將本文提出的算法與9種經(jīng)典算法在兩個(gè)公共數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比，通過實(shí)驗(yàn)結(jié)果來定性、定量檢驗(yàn)本文模型的實(shí)際效果.

3.1 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在MSRA10K和ECSSD數(shù)據(jù)集上進(jìn)行.MSRA10K數(shù)據(jù)集包含有10 000張內(nèi)容豐富且含有確定顯著性對(duì)象的圖像數(shù)據(jù),ECSSD數(shù)據(jù)集包含有1 000張含有確定顯著性對(duì)象的數(shù)據(jù)集. ECSSD數(shù)據(jù)集中的圖片在區(qū)分前景與背景的困難程度明顯高于MSRA1000數(shù)據(jù)集.

對(duì)比算法包括:CRF[7]、AC[21]、GB[22]、FT[23]、CA[20]、PCA[18]、CB[13]、RC[19]、DSR[17].所有實(shí)驗(yàn)都是基于如下軟、硬件基礎(chǔ)進(jìn)行：操作系統(tǒng)WIN 7，開發(fā)平臺(tái)Matlab 2015(b)；Intel I 56500(3.2 GHz) ，內(nèi)存8 G.

3.2 定性比較

圖9、10分別為本文提出的方法與9種經(jīng)典算法在數(shù)據(jù)集ECSSD和MSRA 1000上的實(shí)驗(yàn)結(jié)果.從圖中可以看出,算法AC和CA不能提取顯著對(duì)象全部輪廓信息，僅僅是對(duì)圖像底層特征差異比較明顯的區(qū)域敏感；算法CRF和FT可以比較完整地檢測(cè)到顯著區(qū)域，但是這種方法將大量的非顯著區(qū)域錯(cuò)誤地檢測(cè)為顯著區(qū)域，算法的錯(cuò)誤率比較高.算法PCA和GB在實(shí)際的測(cè)試中將大量非顯著區(qū)域錯(cuò)誤地檢測(cè)為顯著區(qū)域.算法RC、DSR、CB在顯著區(qū)域集中、明確且背景簡單的圖片上與本文提出的顯著性檢測(cè)方法可以達(dá)到類似的效果，但是對(duì)于背景復(fù)雜、前景背景差異比較小的圖片,效果不及本文提出的方法.

3.3 定量分析

3.3.1評(píng)價(jià)標(biāo)準(zhǔn)的選擇

對(duì)于實(shí)驗(yàn)效果的評(píng)估需要一定的量化標(biāo)準(zhǔn)和評(píng)價(jià)方法，本部分采用P-R(precious-recall)曲線、自適應(yīng)閾值F以及平均誤差M這3個(gè)評(píng)價(jià)指標(biāo)作為度量標(biāo)準(zhǔn)，以固定閾值法和自適應(yīng)閾值法為評(píng)價(jià)方法.3個(gè)度量標(biāo)準(zhǔn)的具體描述如下：

a 輸入b ACc CAd FTe GBf PCAh CRFi CBj RCk DSRl 本文算法m 真值

圖9 不同算法在ECSSD數(shù)據(jù)集上的定性對(duì)比結(jié)果 Fig.9 Qualitative comparison of different saliency maps on ECSSD dataset

(1)P-R曲線.P-R曲線反應(yīng)的是模型得到的顯著值與真值之間的差別.P-R曲線越好,其反應(yīng)的是模型越符合其模擬的系統(tǒng).P-R曲線由兩部分組成,分別是準(zhǔn)確率P(precious)和召回率R(recall)，準(zhǔn)確率反映的是模型產(chǎn)生顯著區(qū)域與真值之間相同的部分占模型顯著區(qū)域的百分比，召回率反映的是模型產(chǎn)生顯著區(qū)域與真值之間相同的部分占真值的百分比.具體的公式表述如下：

(19)

式中:B為模型輸出的顯著區(qū)域；GT為圖像的顯著性真值.

(2) 自適應(yīng)閾值F.當(dāng)使用P-R曲線來評(píng)價(jià)一些模型的效果時(shí)，獨(dú)立地考量準(zhǔn)確率或召回率會(huì)出現(xiàn)相互矛盾的情況，為了調(diào)和兩者的矛盾需要對(duì)兩者進(jìn)行綜合的考量.定義自適應(yīng)閾值F為

(20)

參考文獻(xiàn)[6]設(shè)定式(21)中參數(shù)β2=0.3.

(3) 平均誤差M.在評(píng)估模型的實(shí)際效果時(shí)雖然P-R曲線可以獲得比ROC(receiver operating characteristic)曲線更好的表示，但是由于P-R曲線本身所具有的局限性，僅僅使用P-R曲線對(duì)模型有效性進(jìn)行刻畫還是比較片面的，因此引入平均誤差M對(duì)模型的效果進(jìn)行進(jìn)一步的評(píng)估.

(21)

式中:w、h分別為圖像的寬度與長度；S(i,j)、GT(i,j)分別為坐標(biāo)(i,j)處模型輸出的顯著值與真值.

3.3.2評(píng)價(jià)方法

(1) 固定閾值法

所謂的固定閾值法就是設(shè)定一個(gè)固定的閾值來對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行二值分割，超過閾值的部分定義為顯著區(qū)域，低于閾值的區(qū)域認(rèn)為是背景區(qū)域.通過得到的二值結(jié)果與GT進(jìn)行對(duì)比得到算法的召回率、準(zhǔn)確率等量化數(shù)據(jù).在進(jìn)行實(shí)驗(yàn)時(shí),閾值一般設(shè)0～255順序變化，就可以得到完整的P-R曲線，以便評(píng)估在不同的閾值下算法的具體表現(xiàn).

(2) 自適應(yīng)閾值法

與固定閾值法不同，自適應(yīng)閾值法對(duì)于每張圖像都有一個(gè)不同的閾值來決定顯著圖中哪些部分屬于前景區(qū)域，哪些部分屬于背景區(qū)域.閾值的設(shè)定遵循一定的慣例，一般將閾值設(shè)置為平均顯著值的兩倍.具體的公式描述見式(22).

(22)

3.3.3定量分析與比較

圖11、12分別為本文提出的算法與9種經(jīng)典算法在ECSSD和MSRA 1000數(shù)據(jù)集上定量比較的結(jié)果.從圖中可以看出，本文的算法無論在精確度、召回率還是自適應(yīng)閾值方面都明顯優(yōu)于CRF、FT、GB、HC、PCA、AC、CA和CB算法，和DSR算法以及RC算法的表現(xiàn)處于同一水平.由于本文算法在超像素尺度上的M較高導(dǎo)致算法最終的M要稍高于DSR算法，但是在精確度以及召回率方面明顯好于其他算法.這說明本文算法不僅能精確地定位顯著區(qū)域所在的位置，同時(shí)還能相對(duì)比較完整的檢測(cè)出顯著區(qū)域.

3.4 單一尺度檢測(cè)結(jié)果與采用不同融合方法檢測(cè)結(jié)果對(duì)比

圖13中展示了本文算法中不同成分以及采用不同優(yōu)化方法融合后的定量分析結(jié)果.由圖13可以看出：采用單一的顯著性檢測(cè)方法不能有效檢測(cè)出完整的顯著對(duì)象;經(jīng)過融合后的算法相對(duì)于每一個(gè)單一組成都更加有效；采用CRF對(duì)算法不同組成部分進(jìn)行有效性衡量是有必要的.圖中①為本文算法，②為多尺度顯著圖線性相乘的結(jié)果，③為多尺度顯著圖線性相加的結(jié)果，④為像素尺度顯著性檢測(cè)結(jié)果，⑤為超像素尺度顯著性檢測(cè)結(jié)果，⑥為圖像塊尺度顯著性檢測(cè)結(jié)果.

a P-R曲線

b 自適應(yīng)閾值

c 平均誤差 圖11 多個(gè)顯著性檢測(cè)算法在ECSSD數(shù)據(jù)集的量化比較 Fig.11 Quantitative results of different methods on ECSSD dataset

3.5 算法運(yùn)行效率

準(zhǔn)確率與召回率并不是檢驗(yàn)一個(gè)算法的唯一標(biāo)準(zhǔn)，對(duì)于圖像處理算法而言，算法的運(yùn)行效率也是一個(gè)重要的評(píng)價(jià)指標(biāo).抽取100張圖像對(duì)本文提出的算法與經(jīng)典算法在同一平臺(tái)上進(jìn)行效率測(cè)試，測(cè)試結(jié)果見表1.

a P-R曲線

b 自適應(yīng)閾值

c 平均誤差 圖12 多個(gè)顯著性檢測(cè)算法在MSRA1000數(shù)據(jù)集的量化比較 Fig.12 Quantitative results of different methods on MSRA 1000 dataset

a P-R曲線

b 自適應(yīng)閾值

c 平均誤差

表1 算法效率對(duì)比Tab.1 Comparison of execution time

從表1中可以看出,相對(duì)于早期的顯著性檢測(cè)算法，本文的算法效率相對(duì)落后；與目前比較高效的DSR算法相比，本文的算法具有良好的表現(xiàn).本文算法由于需要抽取多個(gè)層次，因此占用了大量的計(jì)算時(shí)間.

4 結(jié)論

本文提出的多尺度的顯著性檢測(cè)方法，通過結(jié)構(gòu)提取方法對(duì)圖像進(jìn)行預(yù)處理；通過顏色空間分布以及顏色先驗(yàn)兩種方法獲得像素尺度的顯著圖；將圖像進(jìn)行超像素分割，利用超像素與顯著支撐區(qū)域的特征差異求得超像素尺度上的顯著圖；使用圖割算法對(duì)圖像進(jìn)行多尺度分割，利用局部對(duì)比方法求得圖像塊尺度上的顯著圖；利用CRF框架對(duì)多尺度顯著圖進(jìn)行加權(quán)融合得到最終的顯著圖.與經(jīng)典算法在兩個(gè)公開數(shù)據(jù)集上進(jìn)行性能的比較和分析表明，本文算法具有優(yōu)越性.