基于互信息相對熵差異的顯著區(qū)域提取算法

郭禮華

(華南理工大學(xué)電子與信息學(xué)院，廣州510641)

生物學(xué)家對人眼的視覺模型進(jìn)行了研究(A.P.Michael 1999)，結(jié)果發(fā)現(xiàn)，當(dāng)人觀察一幅圖像時(shí)，往往會(huì)首先關(guān)注圖像的主要內(nèi)容，即最顯著的區(qū)域，而忽略圖像的背景信息。最顯著的區(qū)域，它含有大量的信息。若能從圖像中將這些區(qū)域提取出來作為圖像處理和分析的目標(biāo)，不僅可消除圖像中次要信息對圖像處理結(jié)果的影響，而且更符合人眼的視覺需求。圖像的顯著目標(biāo)提取是用部分概括整體，突出了圖像的最主要部分，從而消除了一些次要部分對觀察者帶來的干擾。目前，顯著目標(biāo)的提取技術(shù)已經(jīng)在許多領(lǐng)域得到了廣泛的應(yīng)用，如圖像檢索、自適應(yīng)圖像壓縮和編碼、視頻壓縮、敏感圖像識(shí)別、醫(yī)學(xué)圖像分析等。

近些年來，圖像的研究者們對圖像顯著區(qū)域的提取方法進(jìn)行了一系列的研究，按其基本原理來看，常見的顯著區(qū)域提取方法可為分以下幾種:基于人機(jī)交互的方法，基于變換的方法和基于生物視覺注意機(jī)制的方法。最早，Itti首先提出顯著圖的概念，其采用的機(jī)制就是生物視覺注意機(jī)制，他們構(gòu)成的顯著圖是一副和圖像大小相同的亮度分布圖，以亮度大小表示圖像中對應(yīng)位置的顯著性程度，通過檢測圖像中顏色和方向的對比反映圖像對人眼視覺的刺激［1－3］，隨后 Walther擴(kuò)充了顯著模型，并成功應(yīng)用于目標(biāo)識(shí)別［4］，他們還建立了顯著性檢測網(wǎng)站，提供顯著性工具箱下載［5］。后來陸續(xù)出現(xiàn)了基于信息理論的視覺注意模型，譬如AIM［6］、GBVS［7］、DISC［8］算法。AIM用一個(gè)特定的Gaussian函數(shù)估計(jì)中心－周邊概率，然后計(jì)算自信息;GBVS用 Markov鏈計(jì)算中心－周邊的互相影響;DISC用樣本方差和峰度估計(jì)假設(shè)的GGD概率密度函數(shù)，然后計(jì)算中心－周邊的互信息。這些基于信息理論的算法結(jié)構(gòu)上還是按照 Itti的特征提取、中心－周邊對抗及重組的3個(gè)階段。這些算法都是非常復(fù)雜的，計(jì)算時(shí)速度比較緩慢。自從基于信息理論的視覺注意算法的出現(xiàn)，視覺注意開始偏離了生物性，顯著性分析算法也開始采用各種不同的算法。2008年 Achanta等［9］提出一種顯著性分析算法(AC算法)，該算法的顯著值是指輸入圖像的一個(gè)局部區(qū)域和它的周邊區(qū)域的一個(gè)對比，即是這個(gè)局部區(qū)域的平均特征向量和周邊區(qū)域的平均特征向量的差。因?yàn)檫@里的特征只考慮顏色和亮度，所以該算法在計(jì)算時(shí)速度非?？?。而基于頻域的算法也同樣在計(jì)算速度上很有優(yōu)勢，2007年 Hou等［10］提出的剩余譜方法(SR算法)和2009年 Achanta等［11］提出的IG算法都是基于頻域的算法。筆者從顯著區(qū)域突出的特點(diǎn)，比較中心區(qū)域和周邊區(qū)域之間的顏色和梯度等屬性的差別，建立一套結(jié)合低維視覺特征的顯著區(qū)域提取算法。

1 中心周邊分布特征的提取

Itti模型是目前世界上被最廣泛采用并最有影響力的顯著圖提取模型，它是對一幅輸入的圖像提取多方面的特征，包括顏色、亮度、方向等特征，然后形成各個(gè)特征上的多尺度關(guān)注圖(Conspicuity Map)，對其進(jìn)行分析、融合得到顯著圖(Saliency Map)，并從顯著圖中得到顯著區(qū)域和目標(biāo)。Itti模型主要有3個(gè)處理步驟: 1)對圖像進(jìn)行高斯金字塔分解，在圖像的多個(gè)尺度上提取顏色、亮度、方向等早期視覺特征; 2)通過局部的迭代合并策略，利用早期視覺特征分別得到3個(gè)特征顯著圖;3)將3個(gè)特征顯著圖線性合并為綜合顯著圖［1］。其中每一特征的計(jì)算采用了與生物感受野類似的線性中央周邊操作。中央周邊操作是指視覺神經(jīng)元對位于其中央的小區(qū)域最敏感，而其中央?yún)^(qū)周圍的更廣、更弱區(qū)域內(nèi)的刺激將抑制該神經(jīng)元的響應(yīng)。顯然，這樣的對局部空間不連續(xù)性的敏感結(jié)構(gòu)特別適用于檢測相對于其局部周圍突出的區(qū)域，這也是視網(wǎng)膜、外膝體及視皮層內(nèi)采用的一般計(jì)算原則。模型中的中央周邊操作是通過計(jì)算小尺度和大尺度的差來實(shí)現(xiàn)的。

Itti方法在實(shí)際應(yīng)用中取得了良好的效果，但也存在一些問題。

1)Itti方法中使用Gabor濾波提取方向信息，但Gabor濾波器比較復(fù)雜，計(jì)算量大，效率較差;

2)Itti方法對提取得到的關(guān)注圖沒有進(jìn)行進(jìn)一步處理，直接進(jìn)行組合;

3)Itti方法也沒有對提取的顯著區(qū)進(jìn)行區(qū)分，可能會(huì)產(chǎn)生過度提取的情況。

筆者按Itti模型的中央周邊操作的指導(dǎo)思想下建立顯著區(qū)域提取算法，但又有別于Itti模型。其系統(tǒng)結(jié)構(gòu)圖如圖1所示。

圖1 顯著區(qū)域提取算法框圖Fig.1 Significant regin extraction algoritm diagram

和Itti顯著區(qū)域提取模型一樣，此方法也將圖像分成3部分，分別是亮度圖像、顏色圖像和梯度圖像，但是該算法的亮度、顏色和梯度圖的提取方法不同于Itti中的圖像方法，省去了Itti算法中的運(yùn)算復(fù)雜度高的Gabor濾波器提取過程。首先，將彩色圖像中的RGB圖像層轉(zhuǎn)換成HSL圖像層，其中H表示色調(diào)圖像層，S表明飽和度圖像層，L表示亮度圖像層。色調(diào)和飽和度兩個(gè)圖像層在顏色表示時(shí)，是一對極坐標(biāo)空間，為此在顏色圖像層中，將H和S兩個(gè)圖像層轉(zhuǎn)換成直角坐標(biāo)系，分別得到2個(gè)圖像層Hue_x和Hue_y。梯度圖像采用在一特定尺度空間下，區(qū)域內(nèi)像素偏微分的平均值。

計(jì)算亮度圖像，顏色圖像和梯度圖像后，需要對其進(jìn)行分層處理。分層的最大好處就在于可利用不同的層次來檢測不同大小的顯著區(qū)域。為此將圖像進(jìn)行分層處理，各層之間的大小關(guān)系是0.5倍，圖像共分成4個(gè)層次。接下來是計(jì)算對比特征，生物視覺研究關(guān)于視覺顯著性的觀察認(rèn)為，視覺系統(tǒng)對視覺信號(hào)的對比度是很敏感的。首先根據(jù)文獻(xiàn)［12］計(jì)算像素的顯著值，具體來說，一個(gè)像素的顯著性值可以用它和圖像中其它像素的對比度來定義。圖像P中像素Pk的顯著性值定義為

其中H(Pk，Pi)為像素Pk和Pi像素在圖像空間的距離度量，在該系統(tǒng)中，其分別是亮度空間，顏色空間和梯度空間的距離度量。用公(1)計(jì)算圖像每個(gè)像素的顯著性值的方法，其時(shí)間復(fù)雜度為O(N2)。對于圖像來說，其計(jì)算復(fù)雜度已經(jīng)非常高了。

文獻(xiàn)［12］利用亮度值減少顏色的數(shù)量n。這種方法雖然減低了復(fù)雜度，但是在這種定義下具有相同顏色值的像素具有相同的顯著性值，所以這種方法的缺陷是沒有考慮顏色信息的顯著性，同時(shí)也忽略了空間關(guān)系。

文獻(xiàn)［13］利用量化顏色，然后保留高頻出現(xiàn)的顏色，而替代低頻出現(xiàn)的顏色，減少復(fù)雜度，其實(shí)現(xiàn)效果對顯著性區(qū)域提取有很大改善，但是并未建模區(qū)域局部與周邊區(qū)域的關(guān)系。

在此基礎(chǔ)上，利用局部直方圖對比的方式，將顯著性值植入局部直方圖對比中，從而最終實(shí)現(xiàn)顯著區(qū)域提取。具體操作如下，首先在亮度圖像層、顏色圖像層和梯度圖像層中，分別將其像素值量化成12份，然后將在亮度圖像層、顏色圖像層和梯度圖像層分別計(jì)算各個(gè)像素的顯著性信號(hào)值，在局部區(qū)域內(nèi)，統(tǒng)計(jì)中心區(qū)域內(nèi)顯著性信號(hào)的直方圖與周邊區(qū)域內(nèi)顯著信息信號(hào)直方圖的差異。

在求解直方圖差異的時(shí)候，本算法借鑒信息理論中信息熵的思想統(tǒng)計(jì)其直方圖的差異。信息理論是用來分析信號(hào)及其在信道傳輸時(shí)的統(tǒng)計(jì)理論方法。在這些理論中，信息熵是一個(gè)重要的概念，它表明信號(hào)的不確定性。以圖2為例，圖2右下方區(qū)域內(nèi)的區(qū)域和其周圍在顏色上存在極大差別，如果統(tǒng)計(jì)其直方圖分布的話，其在直方圖分布存在極大差異。而圖左上方的中心區(qū)域內(nèi)，其和周邊的直方圖分布就存在一致性。

圖2 中心區(qū)域與周邊區(qū)域內(nèi)差異特征Fig.2 Differences in characteristics of the center area and the surrounding area

在信息熵中，相對熵(Relative Entropy)是兩個(gè)信號(hào)之間的不確定性，借鑒其概念，將相對熵引入到中心區(qū)域和周邊直方圖分布的差異分析，在該系統(tǒng)中，相對熵的度量采用Kullback－Leibler距離，它衡量的是相同事件空間里的兩個(gè)概率分布的差異情況。假設(shè)中心區(qū)域和周圍區(qū)域的直方圖分布分別是Hcem(x)和Hsur(x)，計(jì)算公式如下:

經(jīng)過計(jì)算各種圖像層的對比度距離特征后，將各個(gè)層進(jìn)行最終的融合，得到最終的顯著區(qū)域。

3 計(jì)算結(jié)果與比較

首先觀察一下亮度信息提取顯著區(qū)域的效果，亮度信息提取顯著區(qū)域也采用的本算法框架結(jié)構(gòu)，選用了一個(gè)花卉圖片作為測試圖片，如圖3 (a)所示，其亮度圖像如圖3(b)所示。分層結(jié)構(gòu)后的顯著區(qū)域如圖3(c)所示，最終融合各種分層結(jié)構(gòu)的結(jié)果如圖3(d)所示。所得到的結(jié)果可以看出，如果只是利用亮度信息對圖像的顯著性區(qū)域進(jìn)行提取的話，雖然可以取得一定的效果，但在背景圖像較為復(fù)雜的情況下，其顯著圖的效果不是非常理想，背景中的一部分信息的顯著性也比較大，準(zhǔn)確性不夠高。

圖3 花卉圖像的顯著性區(qū)域提取實(shí)驗(yàn)Fig.3 Flower image of the significant region extraction experiment

圖4 人體圖像的顯著性區(qū)域提取實(shí)驗(yàn)Fig.4 A significant area of the human body image extraction experiment

筆者采用顯著性值和局部直方圖信息提取顯著區(qū)域的效果，選用幾幅圖像對其算法進(jìn)行相應(yīng)的測試，圖像有人像和花卉。比較的算法有GBVS［1］，Itti方法［5］，和全局對比度方法［13］。從圖4可看出，由于全局對比度方法需要對圖像進(jìn)行分割，此時(shí)分割比較正確，所以其顯著性區(qū)域的檢測比較符合人體視覺。GBVS方法和Itti方法雖然也關(guān)注場景中的人物，但是結(jié)果不夠清晰。在圖5和圖6的花卉圖像中，由于全局對比度方法在圖像分割過程中，圖像的主題并沒有完整的被分割出來，使得圖5中左上角的黑色區(qū)域被誤認(rèn)了最顯著區(qū)域。圖6中的百合花蕾被視為單個(gè)對象進(jìn)行了分割，并沒有和百合花整體分割，所以顯著區(qū)域檢測過程中，百合花蕾的顯著性更強(qiáng)，其最終成了最突出的顯著區(qū)域。而筆者算法顯著區(qū)域比較符合人體的視覺主觀特性。

圖5 花卉圖像1的顯著性區(qū)域提取實(shí)驗(yàn)Fig.5 Flower image 1 significant area extracting

圖6 花卉圖像2的顯著性區(qū)域提取實(shí)驗(yàn)Fig.6 Flower image 2 significant area extracting

4 結(jié)論

筆者提出一種基于互信息相對熵差異的顯著區(qū)域提取算法。算法首先在亮度圖像層、顏色圖像層和梯度圖像層中，分別將其像素值進(jìn)行量化，然后將在亮度圖像層、顏色圖像層和梯度圖像層分別計(jì)算各個(gè)像素的顯著性信號(hào)值，并將顯著性值植入局部直方圖對比中，然后在局部區(qū)域內(nèi)，統(tǒng)計(jì)中心區(qū)域內(nèi)顯著性信號(hào)的直方圖與周邊區(qū)域內(nèi)顯著信息信號(hào)直方圖的差異。在求解直方圖差異的時(shí)候，本算法借鑒信息理論中信息熵的思想來統(tǒng)計(jì)其直方圖的差異。在算法設(shè)計(jì)中，不僅僅考慮亮度信息，而且還融入色調(diào)和梯度信息，并采用分層結(jié)構(gòu)，設(shè)計(jì)由粗到細(xì)的顯著區(qū)域提取。實(shí)驗(yàn)結(jié)果比較好地驗(yàn)證了，筆者算法所提取的顯著區(qū)域比較符合人體視覺的主觀感覺。

［1］Itti l，Koch C，Niebur E.A model of saliency－based visual attention for rapid scene analysis［J］.IEEE Tran.on Pattern Analysis and Machine Intelligence，1998，20 (11):1254－1259.

［2］Itti l，Koch C.A saliency－based searchmechanism for overt and covert shifts of visual attention［J］.Vision Research，2000，40(10):1489－1506.

［3］Itti l，Koch C，Niebur E.Computationmodeling of visual attention［J］.Nature Reviews Neuroscience，2001，2 (11):194－203.

［4］Walther D，Itti l，RiesenhubeR M，et al，Attentional selection for object recognitiona gentle way［J］.Lecture Notes in Computer Science，2002，25(1):472－479.

［5］Walther D，Itti l，Koch C.Saliency toolbox［OL］.［2012－05－04］.http://www.saliencytoolbox.net，2008.11.

［6］Bruce N，Tsotsos J.Salencey based on informationmaximization［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2006:155－162.

［7］Harel J，Koch C，Perona P.Graph－based visual saliency［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2007:545－552.

［8］Gao D，Mahadevan V，Vasconcelos N.The discriminant center－surround hypothesis for bottom－up saliency［C］//Advances in Neural Information Processing Systems.Vancouver，Canada，2007:497－504.

［9］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］//Proceedings of International Conference on Computer Vision Systems.Santorini，Greece，2008:66－75.

［10］Hou X，Zhang L.Saliency detection:a spectral residual approach［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Minnesota，USA，2007:1－8.

［11］Achanta R，Hemami S，Estrada F，et al.Frequencytuned salient region detection［C］//Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition.Florida，USA，2009:1597－1604.

［12］Zhai Y Shah M.Visual attention detection in video sequences using spatiotemporal cues.［C］//Proceedings of ACM Multimedia.Santa Barbara，USA，2006:815－824.

［13］Cheng Ming－ming，Zhang Guo－xin，Niloy JMitra，et al. Global Contrast based Salient Region Detection.［C］// Proceedings of IEEE CVPR.Colorado Springs，USA，2011:409－416.