一種結(jié)合先驗(yàn)知識和半監(jiān)督學(xué)習(xí)的顯著性檢測方法

王祥雒，楊春蕾，劉中華，馬華紅

（1.洛陽師范學(xué)院信息技術(shù)學(xué)院，洛陽 471934；2.河南科技大學(xué)信息工程學(xué)院，洛陽 471023）

一種結(jié)合先驗(yàn)知識和半監(jiān)督學(xué)習(xí)的顯著性檢測方法

王祥雒1，楊春蕾2，劉中華2，馬華紅2

（1.洛陽師范學(xué)院信息技術(shù)學(xué)院，洛陽 471934；2.河南科技大學(xué)信息工程學(xué)院，洛陽 471023）

圖像的顯著性檢測被用來定位和提取能夠獲取人類視覺注意的圖像區(qū)域。為了提高復(fù)雜場景下圖像顯著性檢測的精準(zhǔn)度，基于人類視覺注意的生物特性，位置優(yōu)先、顏色優(yōu)先和邊界優(yōu)先等高層先驗(yàn)知識作為查詢被用于半監(jiān)督學(xué)習(xí)的流形排序。通過流形結(jié)構(gòu)描述的圖像區(qū)域間的相關(guān)性，可得到圖像各區(qū)域的顯著性描述。實(shí)驗(yàn)結(jié)果表明，先驗(yàn)知識與半監(jiān)督學(xué)習(xí)的結(jié)合可有效提高檢測質(zhì)量。

顯著性檢測；先驗(yàn)知識；半監(jiān)督學(xué)習(xí)；流形排序

0 引言

隨著計(jì)算機(jī)視覺系統(tǒng)的廣泛應(yīng)用，相關(guān)的識別與檢測技術(shù)近年來不斷快速發(fā)展，例如目標(biāo)檢測、目標(biāo)識別與分類、圖像檢索等[1]。然而，越來越復(fù)雜的圖像場景使得檢測與識別算法的工作效率大大降低。如果能在圖像中事先獲得目標(biāo)在圖像中的大致位置，則大大縮減了這些計(jì)算機(jī)視覺任務(wù)的難度并加快處理速度。圖像的顯著性檢測為上述目標(biāo)提供了可靠的支持。圖像的顯著性是指圖像中能夠快速獲取人類視覺注意的顯著特性，通常來講高顏色對比度、高紋理對比度、圖像的中心位置、物體的形狀特性等均可引起圖像中某些區(qū)域的高顯著特性。圖像顯著性檢測算法的難度在于如何快速地檢測出較為完整的包含目標(biāo)的前景區(qū)域，自1998年Itti提出的第一個(gè)較為完整的顯著性檢測算法以來，研究者們已經(jīng)探索出眾多檢測方法。這些方法主要分為兩個(gè)方向：視焦預(yù)測（eye fixation predication）和顯著目標(biāo)分割（salient object segmentation），本文主要討論第二個(gè)致力于檢測前景區(qū)域的方向。

顯著目標(biāo)分割從算法流程上可以分為自底向上（bottom-up）和自頂向下（top-down）兩種方法，自底向上的方法基于抽取的圖像底層特征生成顯著圖，自頂向下的方法往往需要一些先驗(yàn)知識做引導(dǎo)。從對比方法上來講，顯著性檢測主要考察圖像區(qū)域（早期方法多以像素或像素塊為單位）的局部對比度（local contrast）和全局對比度（global contrast），用來對比的特征主要是lab顏色和lbp紋理直方圖，近年來，較為先進(jìn)的方法會將這兩種對比方式進(jìn)行合理融合，融合后的效果一般均優(yōu)于僅適用一種對比度的算法。

本文受前人研究思路的激發(fā)，提出一種結(jié)合了先驗(yàn)知識和半監(jiān)督學(xué)習(xí)的顯著目標(biāo)檢測方法。具體來講，圖像區(qū)域的位置先驗(yàn)、顏色先驗(yàn)和背景先驗(yàn)知識被首先計(jì)算出來，整合這三種先驗(yàn)知識可獲得圖像區(qū)域初步的顯著性；參照楊川[2]等人在2013年提出的圖流形排序檢測方法，可構(gòu)建圖像各個(gè)區(qū)域的鄰接圖，并根據(jù)鄰居區(qū)域間的特征關(guān)系計(jì)算出相應(yīng)的鄰接矩陣和度矩陣以獲得圖結(jié)構(gòu)內(nèi)部的流形特征；提取初步顯著值較大的那部分區(qū)域作為半監(jiān)督流形學(xué)習(xí)的查詢，可獲得更為精準(zhǔn)和光滑的顯著圖。

本文提出的算法在公開測試集SED2[3]上進(jìn)行了驗(yàn)證和對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明：結(jié)合了先驗(yàn)知識和半監(jiān)督學(xué)習(xí)的顯著性檢測算法在具有一定復(fù)雜度的場景條件下顯示出更好的檢測性能。下文將著重介紹該方法的檢測框架和實(shí)驗(yàn)過程。

1 顯著性檢測框架

1.1 圖像過分割

為了在檢測時(shí)盡量將特征屬性相近的像素聚為一個(gè)緊致區(qū)域，我們采用了經(jīng)典的Simple Linear Iterative Clustering（SLIC）[4]算法對待測圖像進(jìn)行過分割，根據(jù)前人經(jīng)驗(yàn)，圖像被分割為n個(gè)大小基本相同但形狀不規(guī)則的圖像區(qū)域，該區(qū)域被稱為超像素。圖像因此可被表示為：

其中，Ik為圖像I的第k個(gè)超像素，k=1，2，…，n。以下步驟均基于超像素區(qū)域展開。

1.2 計(jì)算高層先驗(yàn)值

可以獲得初步顯著圖的方法有很多，例如使用自底向上方法計(jì)算基于圖像區(qū)域顏色或紋理的局部或全局對比度，但人類在注視圖像時(shí)具有一定的主觀意圖，單純的對比度計(jì)算可能不足以提供足夠的線索。我們可以將這種無意識的主觀意圖解釋為人類視覺的生物特性、視覺習(xí)慣，例如，人們習(xí)慣于首先注視處于圖像中心的具有更鮮明色彩的區(qū)域，而處于圖像邊界的顏色灰暗的區(qū)域則容易被忽略。因此，我們選取了三種高層先驗(yàn)知識以生成初步顯著圖，即：位置優(yōu)先、顏色優(yōu)先和邊界優(yōu)先。

位置優(yōu)先每個(gè)超像素的位置優(yōu)先值為該區(qū)域中所有像素距離圖像中心的平均值：

其中，pl（k）為超像素Ik的位置優(yōu)先值（k=1，2，…，n），numk為Ik中所含像素的個(gè)數(shù)，exp（-d（xm，c）/）為像素xm距離圖像中心的高斯分布距離。

顏色優(yōu)先根據(jù)視覺生物學(xué)研究結(jié)果，人類更傾向于注視暖色調(diào)的區(qū)域，因此，在顏色優(yōu)先計(jì)算中，我們參考了文獻(xiàn)[5]提供的常規(guī)圖像前景和背景顏色分布數(shù)據(jù)hS和hB，以計(jì)算每個(gè)超像素的顏色優(yōu)先值：

邊界優(yōu)先根據(jù)文獻(xiàn)[6]提供的方法，基于超像素間的測地線距離、跨區(qū)距離和距離邊界的距離計(jì)算出每個(gè)超像素的邊界優(yōu)先值，記為pb（k）。

整合高層先驗(yàn)值使用最簡單高效的元素點(diǎn)乘法（element-wised multiplication）整合三種先驗(yàn)知識，整合后的高層先驗(yàn)向量記為：

1.3 圖流形排序

（1）半監(jiān)督流形學(xué)習(xí)

給定一個(gè)數(shù)據(jù)集X={x1，…xl，xl+1，…，xn}∈Rm×n，令f: X→Rn表示一個(gè)映射方程，該方程可根據(jù)定義的數(shù)據(jù)間的相關(guān)性和提供的查詢q=[q1，q2，…，qn]T，qk=1 or 0，（k=1，2，…，n）給出每個(gè)數(shù)據(jù)元素與查詢直接的相關(guān)值。

那么，如果給定一個(gè)查詢q，根據(jù)公式：

可得到所有結(jié)點(diǎn)與查詢之間的相關(guān)值。

（2）構(gòu)建圖模型

參照文獻(xiàn)[5]的構(gòu)圖方法，對于超像素Ik，每個(gè)與Ik相鄰的超像素記為Ik的鄰接點(diǎn)，同時(shí)，與Ik的鄰接點(diǎn)相鄰的超像素記為Ik的間接鄰接點(diǎn)。Ik與其直接和間接鄰接點(diǎn)之間均構(gòu)建邊，邊的權(quán)值可通過上節(jié)中的仿射矩陣確定。

1.4 顯著值及顯著圖的生成

圖流形排序算法的排序結(jié)果對給定查詢是非常敏感的，因此，提供合理的查詢種子能夠生成較為準(zhǔn)確的排序值。令查詢q=[q1，q2，…，qn]T被定義為：

其中，avg（hp）為所有高層先驗(yàn)值的平均值。將查詢代入到公式（5），可得到所有超像素結(jié)點(diǎn)對該查詢的相關(guān)度排序值，歸一化后的相關(guān)度排序值向量被記為f=[f1，f2，…，fn]，超像素Ik將獲得其顯著值，將fk賦值給Ik所屬的所有像素，可得到圖像I的顯著圖S：

2 實(shí)驗(yàn)及結(jié)果分析

2.1 性能指標(biāo)

2.2 實(shí)驗(yàn)數(shù)據(jù)及分析

為了說明本文算法的顯著性檢測效果，我們選用SED2[3]測試集做性能測試實(shí)驗(yàn)。該測試集中包含100張選自現(xiàn)實(shí)場景的圖片，場景具有復(fù)雜、覆蓋面廣等特點(diǎn)，既包含目標(biāo)突出的簡單場景，更多地包含了復(fù)雜場景，復(fù)雜性主要體現(xiàn)在：前背景色調(diào)相融、目標(biāo)結(jié)構(gòu)異常、目標(biāo)靠近圖像邊緣等，這些因素使得該測試集具備很強(qiáng)的挑戰(zhàn)性。圖1展示了本文提出的算法結(jié)果與其他經(jīng)典算法結(jié)果的視覺效果比較，我們選取了顯著性檢測發(fā)展過程中出現(xiàn)的較為經(jīng)典的算法參與對比，它們是SR[8]、FT[7]、MSS[9]、GB[10]、SF[11]、MNP[12]和GS[13]算法，同時(shí)也選取了近幾年出現(xiàn)的性能卓越的RBD[14]、 SPLMS[15]、GBMR[2]算法比較視覺效果和檢測性能。

圖1 本文提出的算法與對比算法的顯著圖比較

圖2和表1給出了這些對比算法在SED2標(biāo)準(zhǔn)測試集上的性能指標(biāo)數(shù)據(jù)。

圖2 本文提出的算法與對比算法的PR曲線比較

表1 本文提出的算法與對比算法的平均Fmeasure值比較

從圖1中可以看出，本文提出的算法在多目標(biāo)場景中能夠檢出易遺漏的小目標(biāo)，在前背景色調(diào)相近的場景中能檢出較為完整的目標(biāo)區(qū)域，同時(shí)算法能夠減少顯著圖中的噪聲、保證較高的精準(zhǔn)度。圖2和表1反映出該算法在復(fù)雜場景下具有較好的前景檢出能力。究其原因，主要在于：當(dāng)流形結(jié)構(gòu)確定后，流形排序的結(jié)果在很大程度上取決于查詢，給定充足而精準(zhǔn)的前景線索，可通過超像素之間的相關(guān)性獲得較為完整的前景顯著性表示。

3 結(jié)語

本文提出了一種結(jié)合了先驗(yàn)知識和半監(jiān)督學(xué)習(xí)的顯著性檢測方法。該檢測方法首先根據(jù)人類視覺生物特征提取并整合圖像的三種高層先驗(yàn)知識，并將該線索作為查詢提供給基于顏色特征構(gòu)建的圖模型作流形排序，流形排序的結(jié)果顯示圖像各區(qū)域的顯著性。檢測算法在公開測試集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法在復(fù)雜場景中具有較高的前景檢出精準(zhǔn)度和較強(qiáng)的抗噪性。

[1]Cheng，M.M.，Mitra，N.J.，Huang，X.，et al.Salientshape:Group Saliency in Image Collections[J].Vis.Comput.2014，30（4）:443-453.

[2]Yang，C.，Zhang，L.，Lu，H.，et al.:Saliency Detection Via Graph Based Manifold Ranking[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2013:3166-3173.

[3]Sharon，A.，Meirav，G.，Achi，B.，et al.:Image Segmentation by Probabilistic Bottom-up Aggregation and Cue Integration[J].IEEE Trans.Pattern Anal.Mach.Intell，2007，34（2）:1-8.

[4]Achanta，R.，Shaji，A.，Smith，K.，et al.Slic superpixels[R].2010.

[5]Shen，X.，Wu，Y..A Unified Approach to Salient Object Detection Via Low Rank Matrix Recovery[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2012:2296-2303.

[6]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[7]Achanta，R.，Hemamiz，S.，Estraday，F(xiàn).，et al.Frequency-Tuned Salient Region Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2009:1597-1604.

[8]Hou，X.，Zhang，L.Saliency Detection:a Spectral Residual Approach[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2007:1-8.

[9]Achanta，R.，Susstrunk，S.Saliency Detection Using Maximum Symmetric Surround[C].In:17th IEEE Int.Conf.on Image Processing（ICIP），2010:2653-2656.

[10]Harel，J.，Koch，C.，Perona，P.Graph-Based Visual Saliency[J].Adv.Neural Inf.Process.Syst.2006，19:545-552.

[11]Perazzi，F(xiàn).，Krahenbuhl，P.，Pritch，Y.，et al.Saliency Filters:Contrast Based Filtering for Salient Region Detection[C].In:IEEE Conf. on Computer Vision and Pattern Recognition（CVPR），2012:733-740.

[12]Margolin，R.，Zelnik-Manor，L.，Tal，A.Saliency for Image Manipulation[J].Vis.Comput.2013，29（5）:381-392.

[13]Wei，Y.，Wen，F(xiàn).，Zhu，W.，et al.Geodesic Saliency Using Background Priors[J].In:European Conference on Computer Vision，2012: 29-42.

[14]Zhu，W.，Liang，S.，Wei，Y.，et al.Saliency Optimization from Robust Background Detection[C].In:IEEE Conf.on Computer Vision and Pattern Recognition（CVPR），2014:2814-2821.

[15]Tong，N.，Lu，H.，Zhang，L.，et al.Saliency Detection with Multi Scale Superpixels[J].IEEE Signal Process.Lett.2014，21（9）:1035-1039.

A Saliency Detection Method Based on the Integration of Prior Knowledge and Semi-Supervised Learning

WANG Xiang-luo1，YANG Chun-lei2，LIU Zhong-hua2，MA Hua-hong2

（1．Department of Information Technology,Luoyang Normal University，Luoyang 471934；
2．Department of Information Engineering,Henan University of Science and Technology，Luoyang 471023）

Image saliency detection is used to locate and extract the image regions which can catch human visual attention．To enhance the precision of saliency detection in complex scenes,uses the biological characteristics of human visual attention,and fuses the location prior,color prior and boundary prior into the high-level prior knowledge．The prior knowledge is employed as the query to be offered to the semi-supervised learning based manifold ranking,and the relevancies between the regions are used to present the image saliency．The experimental results illustrate that the integration of prior knowledge and semi-supervised learning can effectively improve the detection quality of saliency maps．

Saliency Detection;Prior Knowledge;Semi-Supervised Learning;Manifold Ranking

國家自然科學(xué)基金（No.U1504610）

1007-1423（2017）11-0018-05

10.3969/j.issn.1007-1423.2017.11.003

王祥雒（1977-），男，河南洛陽人，碩士，研究方向?yàn)橛?jì)算機(jī)視覺、模式識別

楊春蕾（1980-），女，河南開封人，研究方向?yàn)橛?jì)算機(jī)視覺、模式識別

2017-01-18

2017-04-10