圖像顯著性檢測方法解析

孫娜娜+劉鑫

摘 要： 圖像顯著性檢測是一種通過對圖像顏色、強(qiáng)度、方向等特征進(jìn)行分析生成圖像顯著性圖的技術(shù)。其生成的顯著性圖可以用于圖像分割、圖像壓縮以及圖像識別等圖像處理領(lǐng)域，從而改善圖像處理的性能。為了對圖像顯著性檢測技術(shù)及其發(fā)展有一個全面深入的了解，使用文獻(xiàn)研究法和比較研究法對其概念及方法進(jìn)行了探究。針對幾種具有代表性的圖像顯著性檢測算法進(jìn)行了簡要的概述和分析，用流程圖簡明扼要地表示顯著性檢測算法的基本框架。研究結(jié)果顯示，圖像顯著性檢測技術(shù)的效率在不斷提升，算法越來越多樣化，在圖像處理領(lǐng)域的應(yīng)用越來越廣泛，這些對于圖像處理自動化具有重要意義。

關(guān)鍵詞： 圖像顯著性； 顯著性檢測； 檢測方法； 圖像處理

中圖分類號： TN919?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2014）22?0001?04

Analysis for method of image saliency detection

SUN Na?na， LIU Xin

（School of Physical and Electronic Science， Shandong Normal University， Jinan 250014， China）

Abstract： Image saliency detection is the technology that generates image saliency diagram by means of analyzing the image features such as color， intensity and direction. The generated saliency diagram can be used in the image processing fields such as image segmentation， image compression and image recognition， so as to improve the performance of the image processing. In order to comprehend the image saliency detection technology and its development completely， its concept and methods were explored with the literature research method and comparative study method. Several image saliency detection methods with representativeness are summarized and analyzed briefly. The basic framework of saliency detection algorithm is shown in the flow chart concisely. The research results show that the efficiency of image saliency detection technology is improved constantly， its algorithm is more and more diversified， and more widely applied in the field of image processing. These have important significance for automated image processing.

Keywords： image saliency； saliency detection； detection method； image processing

0 引 言

人類所獲得的外界信息80%以上都是通過視覺完成的，然而對于大量的信息，視覺系統(tǒng)并不是完全地進(jìn)行捕獲和處理，它會根據(jù)特有的機(jī)制進(jìn)行選擇性的處理和忽略，這就是視覺的選擇注意機(jī)制。這種信息處理機(jī)制被應(yīng)用于圖像和視頻的處理，發(fā)展出一個新的科研方向，即顯著性檢測研究。

隨著圖像處理技術(shù)和計算機(jī)技術(shù)的發(fā)展，人們越來越希望計算機(jī)能夠自主地進(jìn)行圖像的處理，而圖像顯著性信息對于圖像自動化處理來說異常重要。因此，圖像顯著性檢測技術(shù)受到了廣泛的關(guān)注，并產(chǎn)生了許多檢測方法與技術(shù)。基于此，對其中代表性的檢測方法進(jìn)行解析，對于顯著性檢測研究具有一定的意義。

1 圖像顯著性檢測方法分類

圖像顯著性是指，圖像中的像素點（或者區(qū)域）能夠區(qū)別于其他點（或者區(qū)域）吸引視覺注意的能力。圖像顯著性檢測是通過對圖像顏色、強(qiáng)度、對比度等特征的分析，計算圖像顯著性，生成圖像顯著性圖的一種技術(shù)。而圖像顯著性圖是一幅和原始圖像大小相同的二維圖像，其中每個像素值表示原圖像對應(yīng)點的顯著性大小。顯著性圖不僅表示每個位置的顯著性，還可以用于引導(dǎo)注意區(qū)域的選擇，快速定位和處理圖像的顯著性區(qū)域。

視覺顯著性研究最先開始于生物學(xué)方面，直到20世紀(jì)90年代才被引入到計算機(jī)領(lǐng)域，用于圖像和視頻的處理。最開始，顯著性研究集中在利用生物學(xué)上已有的顯著性研究成果來創(chuàng)建相似的顯著性模型，但是這種方法算法比較復(fù)雜，效率不高，而且效果也不是很理想。隨后，研究人員不斷簡化模型，突破了嚴(yán)格的生物模型形式，開始使用各種圖像處理的方法，來實現(xiàn)更為簡單便捷的顯著性計算。如上所述，可以將圖像顯著性檢測方法分為兩類：基于生物模型的和基于圖像的。

還有一種更為常用的分類方法，即根據(jù)人類視覺選擇注意方式分為兩類：一類是純數(shù)據(jù)驅(qū)動獨立于任務(wù)的自底而上的顯著性檢測方法，另一類是受意識支配依賴于任務(wù)的自頂而下的顯著性檢測方法。由于人類自頂而下的選擇注意由高層的腦部信息所控制，對于同一場景不同的人注意的結(jié)果不同，其動機(jī)、情感等因素比較難以控制和分析，因此構(gòu)建自頂而下的顯著性模型比較復(fù)雜，所以對于這類顯著性模型的研究不是很多。

2 自底而上的圖像顯著性檢測方法

早期研究中最為經(jīng)典的顯著性模型是Itti等人根據(jù)Koch和Ullman提出的生物框架創(chuàng)建的顯著性模型，它模擬靈長類動物的早期視覺特征，結(jié)合圖像顏色、亮度和方向三個方面的特征，利用多尺度分析計算圖像顯著性圖，其算法框架如圖1所示。

圖1 Itti顯著性圖算法流程圖

Itti顯著性模型定義強(qiáng)度表示為[I=（r+g+b）3]；將顏色由三個通道轉(zhuǎn)換為四個通道：紅色[R=r-（g+b）2]，綠色[G=（r+b）2，]藍(lán)色[B=b-（r+g）2，]黃色[Y=（r+g）2-r-g2-b]（負(fù)值置為零）；通過高斯濾波選取4個方向[θ∈{0°，45°，90°，135°}]。對于上述圖像特征量建立9個尺度的高斯金字塔，然后根據(jù)一些生物視覺特征建立圖像特征圖，強(qiáng)度上：[I（c，s）=I（c）ΘI（s）]，顏色上：[Rg（c，s）=（R（c）-G（c））Θ（G（s）-R（s））]，[By（c，s）=（B（c）-Y（c））Θ（Y（s）-B（s））]，方向上：[O（c，s，θ）=O（c，θ）ΘO（s，θ）]。其中[Θ]為不同尺度空間的特征圖相應(yīng)點的差值，[c]表示圖像像素的中心尺度，取值為[c∈{2，3，4}]；[s=c+δ]表示該像素周圍的相應(yīng)尺度，而[δ∈{3，4}]。然后將標(biāo)準(zhǔn)化之后的特征圖通過線性插值調(diào)整到同一大小后，相加計算強(qiáng)度、顏色和方向上的顯著性圖。最后將各顯著性圖標(biāo)準(zhǔn)化之后，線性相加得到圖像的顯著性圖。該模型比較適合處理自然圖像，能夠有效地計算復(fù)雜自然場景的顯著性圖。對比是圖像顯著性研究中常會用到的一種方法。Ma和Zhang提出了一種使用對比來進(jìn)行顯著性檢測的方法，如圖2（a）所示。首先在圖像的LUV顏色空間通過計算像素與周圍像素的色彩差異和來計算對比度，即[Ci，j=q∈Θd（pi，j，q）]，其中像素[（i，j）]鄰域[Θ]的大小控制著感知區(qū)域的敏感度，[pi，j]和[q]表示感知因素色彩，這里對比差異[d]通過高斯距離來計算。然后將對比度的值標(biāo)準(zhǔn)化到[[0，255]]區(qū)間作為該像素點的顯著性值。這種顯著性圖不僅可以反映顏色的對比，而且可以反映圖像紋理強(qiáng)度信息。Achanta等人提出通過在不同尺度上利用新的對比方法來計算顯著性的方法，他們引入?yún)^(qū)域平均特征元素向量的概念來計算像素點的顯著性值，如圖2（b）所示。

圖2 三種采用對比方法的顯著性檢測算法流程圖

在這種方法中給定一個圖像尺度，位于[（i，j）]位置的像素點基于對比的顯著性值為內(nèi)部區(qū)域[R1]的像素特征平均向量和外部區(qū)域[R2]的像素特征平均向量的距離，數(shù)學(xué)公式表示如下：[ci，j=D[（1N1p=1N1vp），（1N2q=1N2vq）]]。其中[N1]和[N2]分別為區(qū)域[R1]和區(qū)域[R2]中像素的個數(shù)，[v]是對應(yīng)像素的特征元素向量，定義為[[L，a，b]T]，距離[D]采用歐氏距離。這里內(nèi)部區(qū)域[R1]一般選擇所需計算顯著性值的像素本身，外部區(qū)域[R2]選擇寬度范圍為[[ω2，ω8]]的像素方形鄰域，其中[ω]為圖像的像素寬度。使用上述方法計算出不同尺度的對比顯著性值后，再將各個尺度的顯著性值相加，計算出每個像素最后的顯著性值，從而構(gòu)建出圖像顯著性圖。該方法可以獲得與原始圖像相同分辨率的顯著性圖。

Cheng等人提出了兩種利用圖像直方圖對比的方法來計算圖像顯著性。第一種方法，通過直方圖對比的方法建立顯著性圖，如圖2（c）所示。這里使用顏色統(tǒng)計和對比，計算每種顏色的顯著性值，其像素[Ik]的顯著性值定義為：[S（Ik）=S（cl）=j=1nfjD（cl，cj）]，這里[cl]為像素[Ik]對應(yīng)的顏色值，[n]為圖像中不同像素顏色的數(shù)量，[fj]是圖像中顏色為[cj]的像素的概率，這里[D（cl，cj）=cl-cj]是一種顏色距離，表示顏色間的差異。最后再利用平滑程序進(jìn)行去噪處理，形成最終的顯著性圖。第二種方法，利用系數(shù)直方圖比較來進(jìn)行區(qū)域?qū)Ρ?，獲得區(qū)域顯著值。這種方法先將圖像分割為不同區(qū)域，然后通過區(qū)域間顏色對比計算區(qū)域顯著性值。Sha等人將圖像劃分為前景區(qū)域和背景區(qū)域，對兩個不同區(qū)域計算前景顯著性圖和背景顯著性圖，最后通過計算和融合生成最終的顯著性圖，算法流程如圖3所示。

計算背景顯著性時，將圖像背景區(qū)域劃分為上下左右四個子區(qū)域，經(jīng)過對圖像的分析選取上下兩個背景區(qū)域和像素進(jìn)行對比計算像素顯著性值。計算前景圖像顯著性時，將圖像劃分為一個個大小相同的方形參考中心區(qū)域，通過和上下兩個背景區(qū)域的對比，選取出最具顯著性的區(qū)域作為中心區(qū)域，并通過像素和這個中心區(qū)域的對比來計算像素的顯著性值。

隨著研究的不斷深入，圖像顯著性的研究不可能僅僅局限在空間域進(jìn)行分析。Achanta等人提出了一種頻域方法來計算顯著性圖，如圖4（a）所示。首先利用高斯差分濾波器來進(jìn)行圖像預(yù)處理，通過調(diào)整高斯差分濾波器參數(shù)，在去除高頻噪聲（和紋理）的同時能夠保留更多關(guān)于顯著性邊緣的高頻信息。然后通過包含顏色和亮度的特征向量計算顯著性，公式表示如下：[S（x，y）=Iμ-Iωhc（x，y）]，這里[Iμ]是圖像平均特征向量，[Iωhc（x，y）]是圖像經(jīng)過高斯濾波處理后對應(yīng)像素點的特征向量。利用這種方法可以獲得帶有清晰的顯著性對象邊界的全分辨率顯著性圖。隨后，他們又對這個方法進(jìn)行了改進(jìn)，將[Iμ]定義為像素點的鄰域平均向量，而不是整幅圖像的平均特征向量，使其能夠更適用于計算復(fù)雜背景或者顯著性區(qū)域非常大的圖像的顯著性圖。

圖3 Sha的顯著性算法流程圖

圖4 兩種頻域顯著性檢測算法流程圖

Ngau等人提出了一種在小波變換域計算顯著性圖的方法，如圖4（b）所示。該方法先將圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，然后分別對Y，Cb，Cr分量圖像進(jìn)行小波變換分解到LL，LH，HL和HH四個波段，該方法中只選用了LL波段來進(jìn)行分析（包括圖像水平和垂直方向的低頻成分），分別計算各分量在LL波段的對比圖。以Y分量為例，其像素點[（x，y）]的對比值[C（x，y）=（ILL（x，y）-Iμ）2]。其中[ILL（x，y）]表示像素點[（x，y）]在LL波段的強(qiáng)度值；[Iμ]表示圖像在LL波段的強(qiáng)度均值。接著通過逆小波變換將各分量對比圖轉(zhuǎn)換回空間域，最后將各分量對比圖標(biāo)準(zhǔn)化之后相加計算出最后的顯著性圖。

3 自頂而下的圖像顯著性檢測方法

自頂而下的顯著性模型一般包括特征學(xué)習(xí)和顯著性計算兩個部分。Judd等人提出一種通過機(jī)器學(xué)習(xí)來建立自頂而下顯著性模型的方法，如圖5（a）所示。首先通過實驗收集15位觀察者自由觀看1 003張隨機(jī)圖像的視線跟蹤數(shù)據(jù)，隨后對這些數(shù)據(jù)進(jìn)行人類視覺關(guān)注點分析獲得顯著性圖，并選擇一些用于訓(xùn)練模型的不同級別的特征；然后通過現(xiàn)有顯著性模型來計算這些不同級別的特征；最后使用1 003張圖像通過機(jī)器學(xué)習(xí)來進(jìn)行訓(xùn)練和測試顯著性模型。

圖5 兩種自頂而下的顯著性模型構(gòu)建流程圖

這里對于每幅圖像從顯著性前20%中隨機(jī)選取10個積極標(biāo)簽像素，顯著性后70%中隨機(jī)選取10個消極標(biāo)簽像素，建立一個18 060個樣本的訓(xùn)練集和一個2 000個樣本的測試集。Yang等人提出了一種利用判別字典和條件隨機(jī)場來建立顯著性模型的方法，如圖5（b）所示。首先將圖像分為圖像塊，對于每個圖像塊做出目標(biāo)是否存在標(biāo)記，利用學(xué)習(xí)的方法獲得條件隨機(jī)場（CRF）權(quán)重和判別字典，使用圖像塊標(biāo)記、條件隨機(jī)場權(quán)重和判別字典對圖像塊計算顯著性。搜集圖像建立圖像訓(xùn)練集，通過學(xué)習(xí)的方法構(gòu)建條件隨機(jī)場和判別字典，其算法為：對于給定圖像根據(jù)訓(xùn)練數(shù)據(jù)所得的字典估算其稀疏潛在變量，然后結(jié)合稀疏潛在變量、CRF權(quán)重以及圖像目標(biāo)標(biāo)記來獲得違反標(biāo)記，最后通過損失函數(shù)的梯度算法來更新字典和隨機(jī)場權(quán)重。

4 結(jié) 語

圖像顯著性檢測對于圖像的自動化處理非常重要，它現(xiàn)在已經(jīng)應(yīng)用到了圖像分割、圖像自適應(yīng)壓縮、圖像識別、圖像非真實感繪制等眾多圖像處理研究領(lǐng)域，通過圖像顯著性信息的引導(dǎo)可以更加精準(zhǔn)高效地進(jìn)行圖像處理工作。雖然圖像顯著性檢測技術(shù)研究已經(jīng)有了相當(dāng)不錯的成果，但是隨著圖像處理智能化發(fā)展趨勢的要求，以及更多領(lǐng)域的使用和普及，圖像顯著性檢測技術(shù)還有著很大的發(fā)展前景。

參考文獻(xiàn)

[1] KOCH C， ULLMAN S. Shift in selective visual attention： Towards the underlying neural circuitry [J]. Human Neurobiology， 1985， 4（4）： 219?227.

[2] ITTI L， KOCH C， NIEBUR E. A model of saliency?based visual attention for rapid scene analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1254?1259.

[3] MA Yu?fei， ZHANG Hong?jiang. Contrast?based image attention analysis by using fuzzy growing [C]// Proceedings of the 11th ACM International Conference on Multimedia. Berkeley， CA， USA，： ACM， 2003： 374?381.

[4] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [M]// Computer Vision Systems of Lecture Notes in Computer Science. Heidelberg： Springer， 2008： 66?75.

[5] CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2011： 409?416.

[6] SHA C.X， LI X.Q， SHAO Q， et al. Saliency detection via boundary and center priors [C]// Proceedings of the 6th International Congress on Image and Signal Processing. Los Alamitos： IEEE Computer Society Press， 2013： 1066?1071.

[7] ACHANTA R， HEMANI S， ESTRADA F， et al. Frequency?tuned salient region detection [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2009： 1597?1604.

[8] ACHANTA R， S?SSTRUNK S. Saliency detection using maximum symmetric surround [C]// Proceedings of the International Conference on Image Processing. Los Alamitos： IEEE Computer Society Press， 2010： 2653?2656.

[9] NGAU C W H， ANG L M， SENG K P. Bottom?up visual saliency map using wavelet transform domain [C]// Proceedings of the International Conference on Computer Science and Information Technology. Los Alamitos： IEEE Computer Society Press， 2010： 692?695.

[10] JUDD T， EHINGER K， DURAND F， et al. Learning to predict where humans look [C]// Proceedings of the International Conference on Computer Vision. Los Alamitos： IEEE Computer Society Press， 2009： 2106?2113.

[11] YANG J M， YANG M H. Top?down visual saliency via joint CRF and dictionary learning [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2012： 2296?2303.

圖4 兩種頻域顯著性檢測算法流程圖

Ngau等人提出了一種在小波變換域計算顯著性圖的方法，如圖4（b）所示。該方法先將圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，然后分別對Y，Cb，Cr分量圖像進(jìn)行小波變換分解到LL，LH，HL和HH四個波段，該方法中只選用了LL波段來進(jìn)行分析（包括圖像水平和垂直方向的低頻成分），分別計算各分量在LL波段的對比圖。以Y分量為例，其像素點[（x，y）]的對比值[C（x，y）=（ILL（x，y）-Iμ）2]。其中[ILL（x，y）]表示像素點[（x，y）]在LL波段的強(qiáng)度值；[Iμ]表示圖像在LL波段的強(qiáng)度均值。接著通過逆小波變換將各分量對比圖轉(zhuǎn)換回空間域，最后將各分量對比圖標(biāo)準(zhǔn)化之后相加計算出最后的顯著性圖。

3 自頂而下的圖像顯著性檢測方法

自頂而下的顯著性模型一般包括特征學(xué)習(xí)和顯著性計算兩個部分。Judd等人提出一種通過機(jī)器學(xué)習(xí)來建立自頂而下顯著性模型的方法，如圖5（a）所示。首先通過實驗收集15位觀察者自由觀看1 003張隨機(jī)圖像的視線跟蹤數(shù)據(jù)，隨后對這些數(shù)據(jù)進(jìn)行人類視覺關(guān)注點分析獲得顯著性圖，并選擇一些用于訓(xùn)練模型的不同級別的特征；然后通過現(xiàn)有顯著性模型來計算這些不同級別的特征；最后使用1 003張圖像通過機(jī)器學(xué)習(xí)來進(jìn)行訓(xùn)練和測試顯著性模型。

圖5 兩種自頂而下的顯著性模型構(gòu)建流程圖

這里對于每幅圖像從顯著性前20%中隨機(jī)選取10個積極標(biāo)簽像素，顯著性后70%中隨機(jī)選取10個消極標(biāo)簽像素，建立一個18 060個樣本的訓(xùn)練集和一個2 000個樣本的測試集。Yang等人提出了一種利用判別字典和條件隨機(jī)場來建立顯著性模型的方法，如圖5（b）所示。首先將圖像分為圖像塊，對于每個圖像塊做出目標(biāo)是否存在標(biāo)記，利用學(xué)習(xí)的方法獲得條件隨機(jī)場（CRF）權(quán)重和判別字典，使用圖像塊標(biāo)記、條件隨機(jī)場權(quán)重和判別字典對圖像塊計算顯著性。搜集圖像建立圖像訓(xùn)練集，通過學(xué)習(xí)的方法構(gòu)建條件隨機(jī)場和判別字典，其算法為：對于給定圖像根據(jù)訓(xùn)練數(shù)據(jù)所得的字典估算其稀疏潛在變量，然后結(jié)合稀疏潛在變量、CRF權(quán)重以及圖像目標(biāo)標(biāo)記來獲得違反標(biāo)記，最后通過損失函數(shù)的梯度算法來更新字典和隨機(jī)場權(quán)重。

4 結(jié) 語

圖像顯著性檢測對于圖像的自動化處理非常重要，它現(xiàn)在已經(jīng)應(yīng)用到了圖像分割、圖像自適應(yīng)壓縮、圖像識別、圖像非真實感繪制等眾多圖像處理研究領(lǐng)域，通過圖像顯著性信息的引導(dǎo)可以更加精準(zhǔn)高效地進(jìn)行圖像處理工作。雖然圖像顯著性檢測技術(shù)研究已經(jīng)有了相當(dāng)不錯的成果，但是隨著圖像處理智能化發(fā)展趨勢的要求，以及更多領(lǐng)域的使用和普及，圖像顯著性檢測技術(shù)還有著很大的發(fā)展前景。

參考文獻(xiàn)

[1] KOCH C， ULLMAN S. Shift in selective visual attention： Towards the underlying neural circuitry [J]. Human Neurobiology， 1985， 4（4）： 219?227.

[2] ITTI L， KOCH C， NIEBUR E. A model of saliency?based visual attention for rapid scene analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1254?1259.

[3] MA Yu?fei， ZHANG Hong?jiang. Contrast?based image attention analysis by using fuzzy growing [C]// Proceedings of the 11th ACM International Conference on Multimedia. Berkeley， CA， USA，： ACM， 2003： 374?381.

[4] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [M]// Computer Vision Systems of Lecture Notes in Computer Science. Heidelberg： Springer， 2008： 66?75.

[5] CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2011： 409?416.

[6] SHA C.X， LI X.Q， SHAO Q， et al. Saliency detection via boundary and center priors [C]// Proceedings of the 6th International Congress on Image and Signal Processing. Los Alamitos： IEEE Computer Society Press， 2013： 1066?1071.

[7] ACHANTA R， HEMANI S， ESTRADA F， et al. Frequency?tuned salient region detection [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2009： 1597?1604.

[8] ACHANTA R， S?SSTRUNK S. Saliency detection using maximum symmetric surround [C]// Proceedings of the International Conference on Image Processing. Los Alamitos： IEEE Computer Society Press， 2010： 2653?2656.

[9] NGAU C W H， ANG L M， SENG K P. Bottom?up visual saliency map using wavelet transform domain [C]// Proceedings of the International Conference on Computer Science and Information Technology. Los Alamitos： IEEE Computer Society Press， 2010： 692?695.

[10] JUDD T， EHINGER K， DURAND F， et al. Learning to predict where humans look [C]// Proceedings of the International Conference on Computer Vision. Los Alamitos： IEEE Computer Society Press， 2009： 2106?2113.

[11] YANG J M， YANG M H. Top?down visual saliency via joint CRF and dictionary learning [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2012： 2296?2303.

圖4 兩種頻域顯著性檢測算法流程圖

Ngau等人提出了一種在小波變換域計算顯著性圖的方法，如圖4（b）所示。該方法先將圖像由RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，然后分別對Y，Cb，Cr分量圖像進(jìn)行小波變換分解到LL，LH，HL和HH四個波段，該方法中只選用了LL波段來進(jìn)行分析（包括圖像水平和垂直方向的低頻成分），分別計算各分量在LL波段的對比圖。以Y分量為例，其像素點[（x，y）]的對比值[C（x，y）=（ILL（x，y）-Iμ）2]。其中[ILL（x，y）]表示像素點[（x，y）]在LL波段的強(qiáng)度值；[Iμ]表示圖像在LL波段的強(qiáng)度均值。接著通過逆小波變換將各分量對比圖轉(zhuǎn)換回空間域，最后將各分量對比圖標(biāo)準(zhǔn)化之后相加計算出最后的顯著性圖。

3 自頂而下的圖像顯著性檢測方法

自頂而下的顯著性模型一般包括特征學(xué)習(xí)和顯著性計算兩個部分。Judd等人提出一種通過機(jī)器學(xué)習(xí)來建立自頂而下顯著性模型的方法，如圖5（a）所示。首先通過實驗收集15位觀察者自由觀看1 003張隨機(jī)圖像的視線跟蹤數(shù)據(jù)，隨后對這些數(shù)據(jù)進(jìn)行人類視覺關(guān)注點分析獲得顯著性圖，并選擇一些用于訓(xùn)練模型的不同級別的特征；然后通過現(xiàn)有顯著性模型來計算這些不同級別的特征；最后使用1 003張圖像通過機(jī)器學(xué)習(xí)來進(jìn)行訓(xùn)練和測試顯著性模型。

圖5 兩種自頂而下的顯著性模型構(gòu)建流程圖

這里對于每幅圖像從顯著性前20%中隨機(jī)選取10個積極標(biāo)簽像素，顯著性后70%中隨機(jī)選取10個消極標(biāo)簽像素，建立一個18 060個樣本的訓(xùn)練集和一個2 000個樣本的測試集。Yang等人提出了一種利用判別字典和條件隨機(jī)場來建立顯著性模型的方法，如圖5（b）所示。首先將圖像分為圖像塊，對于每個圖像塊做出目標(biāo)是否存在標(biāo)記，利用學(xué)習(xí)的方法獲得條件隨機(jī)場（CRF）權(quán)重和判別字典，使用圖像塊標(biāo)記、條件隨機(jī)場權(quán)重和判別字典對圖像塊計算顯著性。搜集圖像建立圖像訓(xùn)練集，通過學(xué)習(xí)的方法構(gòu)建條件隨機(jī)場和判別字典，其算法為：對于給定圖像根據(jù)訓(xùn)練數(shù)據(jù)所得的字典估算其稀疏潛在變量，然后結(jié)合稀疏潛在變量、CRF權(quán)重以及圖像目標(biāo)標(biāo)記來獲得違反標(biāo)記，最后通過損失函數(shù)的梯度算法來更新字典和隨機(jī)場權(quán)重。

4 結(jié) 語

圖像顯著性檢測對于圖像的自動化處理非常重要，它現(xiàn)在已經(jīng)應(yīng)用到了圖像分割、圖像自適應(yīng)壓縮、圖像識別、圖像非真實感繪制等眾多圖像處理研究領(lǐng)域，通過圖像顯著性信息的引導(dǎo)可以更加精準(zhǔn)高效地進(jìn)行圖像處理工作。雖然圖像顯著性檢測技術(shù)研究已經(jīng)有了相當(dāng)不錯的成果，但是隨著圖像處理智能化發(fā)展趨勢的要求，以及更多領(lǐng)域的使用和普及，圖像顯著性檢測技術(shù)還有著很大的發(fā)展前景。

參考文獻(xiàn)

[1] KOCH C， ULLMAN S. Shift in selective visual attention： Towards the underlying neural circuitry [J]. Human Neurobiology， 1985， 4（4）： 219?227.

[2] ITTI L， KOCH C， NIEBUR E. A model of saliency?based visual attention for rapid scene analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20（11）： 1254?1259.

[3] MA Yu?fei， ZHANG Hong?jiang. Contrast?based image attention analysis by using fuzzy growing [C]// Proceedings of the 11th ACM International Conference on Multimedia. Berkeley， CA， USA，： ACM， 2003： 374?381.

[4] ACHANTA R， ESTRADA F， WILS P， et al. Salient region detection and segmentation [M]// Computer Vision Systems of Lecture Notes in Computer Science. Heidelberg： Springer， 2008： 66?75.

[5] CHENG M M， ZHANG G X， MITRA N J， et al. Global contrast based salient region detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2011： 409?416.

[6] SHA C.X， LI X.Q， SHAO Q， et al. Saliency detection via boundary and center priors [C]// Proceedings of the 6th International Congress on Image and Signal Processing. Los Alamitos： IEEE Computer Society Press， 2013： 1066?1071.

[7] ACHANTA R， HEMANI S， ESTRADA F， et al. Frequency?tuned salient region detection [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2009： 1597?1604.

[8] ACHANTA R， S?SSTRUNK S. Saliency detection using maximum symmetric surround [C]// Proceedings of the International Conference on Image Processing. Los Alamitos： IEEE Computer Society Press， 2010： 2653?2656.

[9] NGAU C W H， ANG L M， SENG K P. Bottom?up visual saliency map using wavelet transform domain [C]// Proceedings of the International Conference on Computer Science and Information Technology. Los Alamitos： IEEE Computer Society Press， 2010： 692?695.

[10] JUDD T， EHINGER K， DURAND F， et al. Learning to predict where humans look [C]// Proceedings of the International Conference on Computer Vision. Los Alamitos： IEEE Computer Society Press， 2009： 2106?2113.

[11] YANG J M， YANG M H. Top?down visual saliency via joint CRF and dictionary learning [C]// Proceedings of the International Conference on Computer Vision and Pattern Recognition. Los Alamitos： IEEE Computer Society Press， 2012： 2296?2303.