融合深度信息的視覺注意模型研究

高秀麗，陳華華

(杭州電子科技大學(xué)通信工程學(xué)院，浙江杭州310018)

0 引言

隨著信息技術(shù)的發(fā)展，圖像數(shù)據(jù)的規(guī)模變得越來越大。面對如此龐大的圖像數(shù)據(jù)，如何能夠快速而準確地完成各種圖像分析任務(wù)己經(jīng)成為人們研究的熱點。視覺注意模型可以模擬人的注意機制，在圖像和視頻處理領(lǐng)域可以有選擇的獲取人們所關(guān)注的目標顯著信息，在一定程度上降低了信息處理量。通過視覺注意模型計算得到的顯著圖在計算機視覺領(lǐng)域有著廣泛的應(yīng)用，包括圖像中顯著對象的分割［1］，目標對象識別［2］，圖像壓縮［3］等。近年來，對于視覺注意的研究一直是計算機視覺和多媒體方向研究的熱點之一。一種基于全局對比度的顯著性區(qū)域檢測方法，得到了較為理想的顯著圖［4］。然而，方法并沒有考慮深度信息對人類視覺注意機制的影響，在特征選擇上與人類視覺注意機制存在較大的差異。為了得到更接近于人類視覺感知的視覺注意計算方法，根據(jù)特征整合理論［5］，本文在基于全局對比度模型的基礎(chǔ)上提出了一種融合深度信息的視覺注意模型。該模型首先通過全局優(yōu)化的圖切割方法提取深度信息得到深度信息圖，然后與原圖像分別進行基于全局對比度的視覺注意計算得到各自的顯著圖，最后對兩者進行融合得到最終的視覺注意顯著圖。實驗結(jié)果表明該模型能夠得到相對完整的顯著性目標，反映了深度信息對人類視覺注意的影響。

1 深度信息提取

立體匹配方法可大致分為兩種:一種是只對象素周圍小區(qū)域進行約束的局部匹配方法;另一種是對掃描線甚至整幅圖進行約束的全局匹配方法。全局匹配方法將計算集中在視差計算階段，目的是找出一個視差函數(shù)，使全局能量達到最小。全局能量函數(shù)如:

式中，映射函數(shù)f:P→L，P為各個攝像機拍攝成像的象素集，L是對應(yīng)不同深度值的離散集合，Edata(f)是數(shù)據(jù)項，Esmooth(f)是平滑項，Evisibility(f)是可視性約束項。

本文采用圖切割算法來求解使全局匹配能量最小的最小割曲面［6］，并根據(jù)最小割曲面為圖像中的象素分配視差值，最后通過計算最小代價視差得到最優(yōu)的視差圖，即深度信息圖。與誤配率較高的局部匹配方法相比，圖切割算法有較高的匹配準確率。

2 基于全局對比度的視覺注意計算方法

基于全局對比度的顯著性計算方法是用一個區(qū)域和整幅圖像的對比度來計算顯著值［4］。首先用基于圖的分割方法將圖像分成若干區(qū)域［7］，然后對于圖像中的每個區(qū)域rk，計算它與圖像中其他區(qū)域的顏色對比度，并引進空間信息來增加區(qū)域的空間影響，最后計算每個區(qū)域rk和其他區(qū)域?qū)Ρ榷燃訖?quán)和來得到區(qū)域rk的顯著值。區(qū)域rk的顯著值計算公式如:

式中，Ds(rk，ri)為區(qū)域rk和ri的空間距離，δs控制空間權(quán)值強度。兩個區(qū)域的空間距離定義為兩個區(qū)域重心的歐氏距離。w(ri)為區(qū)域ri的權(quán)值，表示區(qū)域ri里的象素數(shù)，Dr(·，·)表示任意兩個區(qū)域的顏色距離度量。

3 融合深度信息的模型

在基于全局對比度模型的基礎(chǔ)上，本文提出一種融合深度信息的視覺注意模型，如圖1所示。在這個模型中，左圖像和右圖像首先通過全局優(yōu)化的立體匹配方法計算深度信息，得到深度信息圖。然后，利用基于全局對比度的方法，對左圖像和深度信息圖分別進行計算得到各自的顯著圖。最后將左圖像顯著圖和深度信息顯著圖進行融合得到最終的視覺注意顯著圖。

圖1 視覺注意模型系統(tǒng)框圖

深度信息融合的具體過程如下所述。左圖像顯著圖和深度信息顯著圖中的象素值均被歸一化到0－255之間，顯著性高的區(qū)域?qū)?yīng)的顯著值比較大，在顯著圖中會顯示的比較亮;相反，顯著性低的區(qū)域?qū)?yīng)的顯著值比較小，在顯著圖中會顯示的比較暗。對圖像計算顯著圖的目的是找到圖像中更容易引起觀察者感興趣的區(qū)域，是顯著值比較大的區(qū)域。因此，可以適當?shù)暮雎燥@著值比較小的區(qū)域，更多的考慮顯著值比較大的區(qū)域?；谏厦娴目紤]，對左圖像顯著圖和深度信息顯著圖進行閾值處理，選取0－255之間某一閾值T，分別將兩幅顯著圖中低于該閾值的象素值賦為0，其他象素的顯著值保持不變，這樣就得到經(jīng)過閾值處理的兩幅顯著圖。對于處理后的兩幅顯著圖，分別計算所有非0象素顯著值的均值，假設(shè)M1、M2分別表示經(jīng)過處理的左圖像顯著圖和深度顯著圖中非0象素顯著值的均值。對于兩幅顯著圖中的顯著區(qū)域，首先考慮第一顯著區(qū)域，即最容易引起觀察者興趣的注意焦點。為了判斷哪幅顯著圖中的顯著區(qū)域更占優(yōu)勢，對M1和M2進行比較，采用勝者為王(即WTA)機制，如果M1大于M2，則M1對應(yīng)的閾值處理后的顯著圖作為最終的視覺注意顯著圖，相反，則M2對應(yīng)的閾值處理后的顯著圖作為最終的視覺注意顯著圖。

4 實驗及結(jié)果分析

為驗證本文提出的方法的可行性，對該方法進行了實驗驗證。本文實驗用到的數(shù)據(jù)來自于美國Middlebury大學(xué)計算機視覺研究中心提供的立體圖像數(shù)據(jù)庫。本文用立體數(shù)據(jù)庫中的Tsukuba和Aloe圖像做實驗。實驗結(jié)果如圖2、3所示。

圖2 Tsukuba實驗結(jié)果

圖3 Aloe實驗結(jié)果

圖2、3(a)是 Tsukuba和 Aloe原圖，圖2、3(b)是由程明明模型得到的顯著圖［4］，圖 2、3(c)是由本文提出的融合深度信息的視覺注意模型計算得到的顯著圖。在Tsukuba實驗結(jié)果中，圖2(b)較好的表示了容易引起觀察者注意的臺燈區(qū)域。與圖2(b)相比較，圖2(c)更完整的檢測到了引起觀察者注意的臺燈區(qū)域。對于Aloe實驗結(jié)果，圖3(b)顯示的顯著區(qū)域中的一些枝葉是不連續(xù)的。與圖3(b)相比較，圖3(c)得到了相對完整的顯著性目標。圖2、3(b)是基于二維信息模型得到的，由于沒有考慮深度信息對人類視覺注意的影響，因此在特征選擇上存在一定的不足。圖2、3(c)的效果比較理想，顯著值高的區(qū)域比較集中，顯著度區(qū)分明顯。

為了更形像的描述本文模型得到的顯著圖，將得到的顯著圖中的顯著區(qū)域信息還原到原始圖像中，同時將基于二維信息模型得到的顯著圖信息也還原到原始圖像中。得到的實驗效果圖如圖4所示。

圖4 Tsukuba和Aloe實驗效果圖

圖4(a)是Tsukuba和Aloe原圖，圖4(b)是由程明明模型得到的顯著圖［4］，圖4(c)是基于圖4(b)得到的效果圖，圖4(d)是本文模型得到的顯著圖，圖4(e)是基于圖4(d)得到的效果圖。以Tsukuba圖為例，由圖可知，圖4(c)除了檢測到臺燈，還有雕像脖子處的一小塊殘余區(qū)域，而且臺燈區(qū)域有缺口。相比較而言，圖4(e)檢測到的臺燈區(qū)域比較完整，而且沒有周圍殘余區(qū)域的影響，檢測效果比較好。Tsukuba圖像中臺燈位置距離觀察者比較近，通過比較效果圖(e)和(c)，可以看出本文模型得到的效果圖(e)更好的反映了空間深度信息對視覺注意的影響。因此，深度信息的引入符合人類視覺感知的要求，體現(xiàn)了深度信息對人類視覺注意的影響，更符合人類生理學(xué)機制對目標注意對像的判斷。

5 結(jié)束語

本文根據(jù)人類視覺機制及圖像的特點，綜合考慮影響人類視覺注意的因素。在基于全局對比度的視覺注意模型的基礎(chǔ)上，將深度信息對視覺注意的影響融合進去，建立了融合深度信息的視覺注意計算模型。模型更全面的考慮了圖像中所含的二維信息和立體信息對人類視覺注意的影響，對于圖像中能夠引起人類視覺注意的注意焦點具有較好的檢測能力。本文模型對于區(qū)域顏色對比度比較明顯的圖像可取得較好的檢測結(jié)果，然而對于具有復(fù)雜紋理背景的圖像有待于進一步的研究。因此，研究更適用的視覺注意計算方法，以及如何更好的將影響視覺注意機制的各因素進行融合，是今后需要進一步努力的方向。

［1］ Han J，Ngan K，Li M，etal.Unsupevrised extraction of visual attention objects in color images［J］.IEEE Transactions on Circuits and Systems for Video Technology，2006，16(1):141 －145.

［2］ Rutishauser U，Walther D，Koch C，etal.Is bottom-up attention useful for object recognition［C］.Washington:IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004:37 －44.

［3］ 紀震，蔣峰.基于注意力集中機制的圖像壓縮算法［J］.深圳大學(xué)學(xué)報(理工版)，2001，18(2):51－56.

［4］ Cheng Mingming，Zhang Guoxin，Mitra N J，etal.Global Contrast based Salient Region Detection［C］.Providence:IEEE Conference on Computer Vision and Pattern Recognition，2011∶409－416.

［5］ Treisman A M，Gelade G.A feature － integration theory of attention［J］.Cognitive Psycholog，1980，12(1):97 －106.

［6］ Boykov Y，Kolmogorov V.An Experimental Comparison of Min-cut/Max-flow Algorithms for Energy Minimization in Vision［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2004，26(9):1 124 －1 137.

［7］ Felzenszwalb P，Huttenlocher D.Efficient graph-based image segmentation［J］.International Journal of Computer Vision，2004，59(2):167 －181.