基于流形排名與遲滯閾值法的視覺顯著性檢測

宋長軍

（渭南職業(yè)技術(shù)學(xué)院 陜西 渭南 714000）

基于流形排名與遲滯閾值法的視覺顯著性檢測

宋長軍

（渭南職業(yè)技術(shù)學(xué)院 陜西 渭南 714000）

視覺顯著性檢測是機器視覺領(lǐng)域的關(guān)鍵技術(shù)之一。提出一種基于流形排名與遲滯閾值的檢測方法，首先將圖像劃分成超像素集合，以之作為結(jié)點形成閉環(huán)圖；再按照基于圖的流形排名方法計算各個結(jié)點的顯著值，形成圖像的顯著圖；然后利用顯著圖直方圖統(tǒng)計出高、低兩個閾值，將顯著圖劃分為三個部分，使用伽馬校正技術(shù)分別進行處理，最終整合校正結(jié)果得到輸出顯著圖。實驗結(jié)果表明，相對于現(xiàn)有算法，本文算法得到的顯著圖能夠更好地區(qū)分背景區(qū)域和顯著目標(biāo)，同時也更具穩(wěn)健性。

視覺顯著性；圖像分割；流形排名；遲滯閾值法

近年來，視覺顯著性檢測引起了國內(nèi)外學(xué)者廣泛而持續(xù)的關(guān)注，這是由于它可以分割出圖像中最有意義的目標(biāo)區(qū)域，從而能夠解決眾多復(fù)雜的機器視覺問題，比如目標(biāo)識別[1]、圖像壓縮[2]、圖像檢索等等[3]。現(xiàn)有的顯著性檢測算法大體上可劃分為兩大類：一類是高層任務(wù)驅(qū)動的自頂向下方法[4-5]，另一類則屬于底層數(shù)據(jù)驅(qū)動的自底向上方法[6-7]。算法的執(zhí)行結(jié)果通常是只有前景目標(biāo)與背景區(qū)域組成的二值圖像，或者是給出一幅顯著圖用于指示各個像素屬于目標(biāo)的概率。

早期算法一般采用局部的中心、外周對比度方式來計算顯著性。隨后Gopalakrishnan et al.[8]將目標(biāo)檢測問題描述成一個圖的標(biāo)號過程，利用背景先驗知識標(biāo)號部分結(jié)點作為初始種子，然后推斷其它未標(biāo)號結(jié)點與該種子的相似度。整個標(biāo)號過程可以轉(zhuǎn)化為能量泛函的形式，它的極小值就是問題的最優(yōu)解。關(guān)于背景先驗知識的自動獲取，文獻[7]提供了一種很好的方法，認為人類視覺在觀察一幅圖像時通常會集中于圖像的中心區(qū)域，因此可以將圖像上下左右4個邊界的結(jié)點作為初始種子，分別對其余未標(biāo)號結(jié)點進行流形排名，得到4幅顯著圖; 接著對它們進行整合得到前景顯著圖，然后以前景顯著圖的極大顯著點為掩碼提取出圖像的前景結(jié)點，并對圖像剩余結(jié)點進行第2次流形排名就得到算法的最終輸出。

雖然上述算法取得了良好的效果，但仍然具有較大的改進空間。其中現(xiàn)有算法還面臨的突出問題之一就是：目標(biāo)的組成部分時常呈現(xiàn)出多樣性，其中一部分由于與背景相關(guān)性較強，進而導(dǎo)致其顯著性較低；反之依然。針對這一問題，本文提出借助遲滯閾值法和伽馬校正來實現(xiàn)背景的抑制和目標(biāo)的增強。由顯著圖的直方圖統(tǒng)計分析可知，目標(biāo)像素的顯著值主要分布于直方圖的高亮部分，而背景像素的顯著值則往往集中于直方圖的低暗部分。此時可使用某閾值近似分割出背景區(qū)域和目標(biāo)區(qū)域，對背景區(qū)域進行取值大于1的伽馬校正以壓縮其顯著值，而對目標(biāo)區(qū)域則進行取值小于1的伽馬校正以提高其顯著值。實驗結(jié)果表明，經(jīng)過上述步驟處理后得到的顯著圖具有更好的視覺效果和更好的檢測性能。

1 流形排名計算原理

流形學(xué)習(xí)是為了發(fā)現(xiàn)高維數(shù)據(jù)中的內(nèi)在低維流形結(jié)構(gòu)，如果將圖像數(shù)據(jù)構(gòu)建成圖結(jié)構(gòu)，那么圖像的顯著性檢測問題便可以轉(zhuǎn)化為圖的標(biāo)號問題[9]。圖標(biāo)號的基本思想是：預(yù)先對一些結(jié)點進行標(biāo)號，并將其作為初始查詢種子，然后計算其它未標(biāo)號結(jié)點與查詢種子的相似度。其中相似度的計算需要通過排名函數(shù)來完成。

假定X={x1, x2,…，xn}表示圖中n個數(shù)據(jù)點的集合，y=[y1, y2,…，yn]T表示其指示向量，若xi是查詢種子，則y1=1；否則，yi=0 。排名函數(shù)f:X→□n計算每個數(shù)據(jù)點xi的排名值fi，組成向量f=[f1, f2,…，fn]。定義圖G=(V,E)，其中結(jié)點集V等價于X，邊集E中元素wij表示結(jié)點xi和 xj之間的權(quán)重，由權(quán)重組成圖的關(guān)聯(lián)矩陣W={wij}nxn，度矩陣D=diag{d11,…，dnn}，其中dii=Σjwij。則排名函數(shù)f:X→□n的最優(yōu)解f*可以通過譜聚類算法[5]求解一個最優(yōu)化問題獲得：

上式中第1個求和項是平滑約束項，第2個求和項是擬合約束項，參數(shù) 是平衡因子，它控制著排名函數(shù)既不會過于改變鄰近結(jié)點的排名值，也不會偏離初始查詢種子太遠。對式（1）各變量求導(dǎo)并令其等于零，就可以得到最優(yōu)解：

其中，α=1/(1+μ)，其作用相當(dāng)于平衡因子μ 。

若將圖像表達成圖G=(V,E)，再指定一些結(jié)點為初始查詢種子，那么結(jié)點的顯著值就等于式(2)計算出來的排名值。為便于分析，令A(yù)=(D-αW)-1，有f*=Ay，故第i個結(jié)點的顯著值fi其實就是矩陣A中第i行向量與向量y的內(nèi)積，而向量y是一個二值指示向量，所以fi也可以視為第i個結(jié)點與圖中所有結(jié)點的相似度之和。從上述計算中不難發(fā)現(xiàn)，顯著值fi實際上也包含了與自身的相似度，這有時會產(chǎn)生過高的異常值。因此，A可先將矩陣 所有的對角元素設(shè)置為0，然后再計算結(jié)點的顯著值fi。最后還需要將顯著值f*規(guī)一化，因為查詢種子是背景結(jié)點，所以圖像的前景顯著值需要轉(zhuǎn)換為1-f* 。

2 圖的構(gòu)造與背景先驗知識

SLIC算法[10]將圖像劃分成一組小塊的集合，每個小塊就是一個超像素，這些超像素構(gòu)成了圖的結(jié)點集V。結(jié)點之間的權(quán)重構(gòu)成的關(guān)聯(lián)矩陣滿足如下性質(zhì)：首先，結(jié)點不僅和相鄰結(jié)點存在著關(guān)聯(lián)，而且還和相鄰結(jié)點的相鄰結(jié)點存在著關(guān)聯(lián)；其次，圖的上、下、左、右4個邊界上任意兩個結(jié)點都存在著關(guān)聯(lián)。在上述兩項約束下，關(guān)聯(lián)矩陣 W的多數(shù)元素等于零，因此是一個稀疏矩陣，不為零的元素定義為兩結(jié)點的權(quán)重：

其中Ci和Cj分別表示第i個和第j個超像素的平均值（在CIE LAB顏色空間下計算），σ控制權(quán)重的強度。由式(2)定義的矩陣A=（D-αW）-1則是一個完全關(guān)聯(lián)矩陣，也就是說，任何兩結(jié)點之間都存在著一定程度的關(guān)聯(lián)，并且關(guān)聯(lián)程度隨著顏色距離的增加而減小。一般來說，背景和前景都具有顏色上的差異，所以矩陣A非常有利于顯著值的計算。

視覺注意理論認為[11]人類眼睛通常會關(guān)注圖像的中心區(qū)域，而不是周邊區(qū)域?；诖耍尘跋闰炛R假設(shè)背景結(jié)點分布于圖像邊界上，前景結(jié)點集中于圖像中心區(qū)域。分別以上、下、左、右四個邊界上的超像素作為標(biāo)號結(jié)點計算出四幅顯著圖，然后整合在一起形成一幅合成顯著圖。

以上邊界為例看一下具體執(zhí)行過程：將位于上邊界的超像素作為標(biāo)號結(jié)點形成初始查詢種子，其他超像素作為未標(biāo)號結(jié)點，此時指示向量y已被確定；按照式(2)計算結(jié)點的排名向量f*，向量中每個元素值代表了該點與查詢種子的相似度；規(guī)一化向量f*，將其范圍限制在[0, 1]區(qū)間內(nèi)，則以上邊界作為先驗知識的顯著圖St(i)定義如下：

在顯著圖Sbq(i)中，顯著目標(biāo)的多數(shù)結(jié)點都會被賦予較高的顯著值，但同時也會有部分背景結(jié)點出現(xiàn)較高的顯著值。因此還需要以前景結(jié)點為先驗知識再作一次排名處理：計算Sbq(i)的平均顯著值，大于該均值的設(shè)置為前景結(jié)點，其余為背景結(jié)點，給出指示向量y；利用式(2)求出各結(jié)點的排名值，規(guī)一化后得到前景顯著圖：

3 直方圖閾值計算與伽馬校正

顯著圖Sfq(i)還存在著如下兩個問題：一是矩陣A不是一個稀疏矩陣，所以顯著圖Sfq(i)中背景結(jié)點也會存在不為零的顯著值；二是前景目標(biāo)區(qū)域常常延伸到某個邊界，導(dǎo)致前景結(jié)點的顯著值有所下降。為了抑制背景結(jié)點和突顯前景結(jié)點，本文提出利用Sfq(i)的直方圖計算出高閾值Th和低閾值Tl，然后將Sfq(i)分割成3個部分，分別對它們進行不同的處理，最后整合處理結(jié)果得到輸出顯著圖S(i)。

經(jīng)驗表明，目標(biāo)在圖像中都占有一定的面積比例，據(jù)此可假設(shè)Sfq(i)中前pM個具有最大顯著值的超像素都屬于目標(biāo)(p是分位數(shù)，M是超像素總數(shù)），并令其顯著值等于1，其余顯著值都置為零，得到顯著圖Shigh(i); 高閾值Th取值于直方圖的(1-p)處，低閾值 Tl=Th/2，保留Sfq(i)中顯著值位于區(qū)間[Tl,Th)的超像素，其余超像素置零，得到顯著圖Smid(i)。Smid(i)中顯著值非零的超像素屬于目標(biāo)的可能性較大，為提高其顯著性，可采用參數(shù)為γ1的伽馬校正，其中γ1＜0; Sfq(i) 中顯著值小于Tl的超像素保持不變，其余超像素置零，即得到顯著圖Slow(i) 。這部分超像素屬于背景的可能較大，因此可采用參數(shù)為γ2的伽馬校正以抑制Slow(i) 的顯著值，其中γ1＞0 。

經(jīng)過上述處理后，最終的顯著圖S(i)可定義為：

其中 i表示圖像中超像素結(jié)點的序號。

4 算法步驟

本文提出的顯著性檢測算法整合了多種技術(shù)和方法，其執(zhí)行過程整理如下：

1）使用SLIC方法將輸入圖像分割成超像素集合，并以超像素為結(jié)點構(gòu)造圖像對應(yīng)的圖，按照式（3）計算圖的關(guān)聯(lián)矩陣W和度矩陣D ；

2）計算（D -αW）-1，將其對角元素置零；

3）分別以4個邊界為先驗知識，形成指示向量y，按照式（2）和式（4）求出對應(yīng)的子顯著圖，然后按照式（5）計算出Sbq；

4）二值化顯著圖Sbq，形成以前景結(jié)點為查詢種子的指示向量，按照式（2）和式（6）計算顯著圖Sfq；

5）對顯著圖Sfq進行直方圖統(tǒng)計，求出高閾值Th和低閾值Tl，將Sfq劃分成3個部分Shigh，Smid及Slow；

6）將Shigh中非零元素全部設(shè)置為1，然后利用γ1和γ2分別對Smid(i)和Slow(i)進行校正；最后按照式（7）計算出顯著圖 S 。

5 實驗結(jié)果

本文算法的檢測性能將通過標(biāo)準(zhǔn)數(shù)據(jù)庫MSRA進行驗證。實驗參數(shù)設(shè)置如下：超像素結(jié)點個數(shù)N=200，結(jié)點之間的關(guān)聯(lián)權(quán)重σ2=0.1，平衡因子α=0.99，分位數(shù)p=0.1，校正因子γ1=0.5 及 γ2=2。

圖1 不同算法的顯著性檢測結(jié)果Fig. 1 Saliency detection results of different methods

圖1顯示了本文算法與現(xiàn)有算法的檢測結(jié)果，其中(b)列是人工標(biāo)注的真實顯著圖，顯著性檢測算法越好，則其檢測結(jié)果越接近于真實顯著圖；(e)列是本FT算法的檢測結(jié)果，該算法對紋理的響應(yīng)較強，導(dǎo)致背景紋理和目標(biāo)紋理都具有較高的顯著值，不利于目標(biāo)區(qū)分；(d)列是文獻[7]的檢測結(jié)果，由于目標(biāo)與背景在顏色空間上存在一定的相似性，導(dǎo)致其結(jié)點之間的權(quán)重高于零，因此增強了背景顯著值，同時縮小了目標(biāo)顯著值；(c)列是本文算法的檢測結(jié)果，從中可以看出，輸出顯著圖更加接近于真實顯著圖，這是因為本文算法通過遲滯閾值劃分和伽馬校正方法成功抑制了背景顯著值和提高了目標(biāo)顯著值，非常有利于目標(biāo)的準(zhǔn)確區(qū)分。

6 結(jié) 論

文中提出一種自底向上的圖像顯著性檢測算法，利用超像素構(gòu)建圖，發(fā)掘圖的內(nèi)部流形結(jié)構(gòu)，以邊界為先驗知識計算中間顯著圖，再借助遲滯閾值法將其劃分為3個不相交的部分，分別進行不同的處理，最后整合為輸出顯著圖。實驗對比結(jié)果表明本文算法有效抑制了背景結(jié)點的顯著值和提高了前景結(jié)點的顯著值，使得目標(biāo)在圖像中具有更好的顯著性，有利于后續(xù)的圖像分割等任務(wù)。此外，由于自然圖像中還包含有大量其他特征，比如紋理、邊緣等，如何將這些信息融入算法中以提高顯著性檢測性能將是下一步的工作重點。

[1] Rutishauser U,Walther D, Koch C, et al.Is bottom-up attention useful for object recognition?[C]//IEEE CVPR,Los Alamitos, 2004:37-44.

[2] Itti L. Automatic foveation for video compression using a neurobiologicalmodel of visual attention[J].IEEE TIP,2004,13(10):1304-1318.

[3] CHEN Tao,CHENG Ming-ming,Tan Ping,et al.Sketch2photo:Internet image montage[J].ACM TOG,2009,28(5):1-10.

[4] LIU Tie,SUN Jian, ZHENG Nan-ning Zheng,et al.Learning to detect a salient object[C]//IEEE CVPR, Minneapolis, 2007:1-8.

[5] Ng A,Jordan M,Weiss Y,et al.On spectral clustering:Analysis and an algorithm[C]//NIPS, 2002: 849-856.

[6] WANG Le,XUE Jian-ru,ZHENG Nan-ning,et al.Automatic salient object extraction with contextual cue[C] //IEEE ICCV,Barcelona,2011:105-112.

[7] YANG Chuan,ZHANG Li-he,LU Hu-chuang,et al.Saliency Detection via Graph-Based Manifold Ranking[C]//IEEE CVPR,Portland,2013.

[8] Gopalakrishnan V,Hu Y,Rajan D.Random walks on graphs for salient object detection in images[J],IEEE TIP,2010,19(12):3232-3242.

[9] Zhou D,Weston J,Gretton A,et al.Ranking on data manifolds[C]//NIPS,2004:169-176.

[10] Achanta R,Appu S,Smith K,et al.SLIC Superpixels Compared to State-of-the-art Superpixel Methods[J].IEEE PAMI.2012.34(11):2274-2282.

[11] Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis[J]. IEEE PAMI,1998,20(11):1254-1259.

[12] Achanta R, Hemami S, Estrada F,et al.Frequency-tuned salient region detection[C]//IEEE CVPR,Florida 2009:1597 -1604.

Visual saliency detection via manifold ranking and hysteresis threshold

SONG Chang-jun
（Weinan Vocational & Technical College, Weinan 714000, China）

Visual saliency detection is one of the key technologies for machine vision. We propose a new approach based on manifold ranking and hysteresis threshold to detect salient objects in images. Firstly, the image is represented as a close-loop graph with nodes consisting of superpixels, and these nodes are ranked by manifold ranking method in order to extract a saliency map. Secondly we compute two different thresholds from the histogram of saliency map,and apply the gamma correction to this map twice with high and low values respectively. Finally the outputs from gamma corrections are processed by two thresholds so as to segment background regions and thereby salient objects.Experimental results demonstrate that the proposed approach performs well when against the existing algorithms in terms of accuracy and robustness.

visual saliency; image segmentation; manifold ranking; hysteresis threshold

TP391

A

1674-6236(2014)03-0190-04

2013–06–23 稿件編號：201306148

宋長軍(1976—),男,陜西蒲城人,碩士研究生,講師。研究方向：計算機網(wǎng)絡(luò)、圖像檢索等。