基于低秩背景約束與多線索傳播的圖像顯著性檢測(cè)

唐紅梅白夢(mèng)月 韓力英 梁春陽(yáng)

(河北工業(yè)大學(xué)電子信息工程學(xué)院 天津300401)

1 引言

人類的視覺(jué)注意機(jī)制能夠從復(fù)雜的場(chǎng)景中排除瑣碎的信息并篩選出最有吸引力的區(qū)域。顯著性檢測(cè)的目的是定位最能吸引人注意的區(qū)域，同時(shí)忽略非重要的視覺(jué)信息[1,2]。顯著性檢測(cè)作為圖像的預(yù)處理過(guò)程，被應(yīng)用到圖像檢索等領(lǐng)域[3,4]。按照數(shù)據(jù)處理方式，顯著性檢測(cè)的方法分為兩類：自下而上模型和自上而下模型[5]。自下而上模型在數(shù)據(jù)驅(qū)動(dòng)下，采用紋理、邊界等線索完成顯著性檢測(cè)。自上而下模型以任務(wù)驅(qū)動(dòng)的方式對(duì)帶有類標(biāo)簽的模型進(jìn)行訓(xùn)練，從而實(shí)現(xiàn)顯著性檢測(cè)，耗費(fèi)時(shí)間較長(zhǎng)[6]。本文專注于自下而上模型。

近些年，圖像的顯著性檢測(cè)算法在不斷進(jìn)步。測(cè)地顯著性(Geodesic Saliency,GS)算法[7]從背景線索出發(fā)，通過(guò)測(cè)量像素到邊界的最短路徑距離來(lái)計(jì)算每個(gè)區(qū)域的顯著值；加權(quán)低秩恢復(fù)(Weighted Low Rank Recovery,WLRR)算法[8]采用背景高級(jí)先驗(yàn)引導(dǎo)特征矩陣分解的方式得到顯著圖。文獻(xiàn)[9]改進(jìn)VGG-16網(wǎng)絡(luò)以優(yōu)化顯著性檢測(cè)，模型訓(xùn)練成本較高。顯著性的傳播機(jī)制具有高效性，成為了顯著性檢測(cè)的重要策略之一?；趫D的流形排序(Graph Based Manifold Ranking,GBMR)算法[10]采用圖排序檢測(cè)顯著目標(biāo)，依據(jù)背景先驗(yàn)選取種子節(jié)點(diǎn)，導(dǎo)致顯著目標(biāo)在邊界時(shí)檢測(cè)效果差；流形保持?jǐn)U散(Manifold-Preserving Diffusion,MPD)算法[11]探索了平滑項(xiàng)和局部重建誤差項(xiàng)兩個(gè)假設(shè)，以保持顯著性檢測(cè)的流形結(jié)構(gòu)；基于流形排序的矩陣分解(Manifold Ranking based Matrix Factorization,MRMF)算法[12]在矩陣分解中對(duì)排序問(wèn)題建模，合并空間信息、嵌入標(biāo)簽，賦予相鄰超像素相似的顯著性值。教學(xué)與學(xué)教(Teaching-to-Learn and Learning-to-Teach,TLLT)算法[13]采用教與學(xué)相結(jié)合的策略，從簡(jiǎn)單性學(xué)習(xí)到高難度學(xué)習(xí)傳播顯著值，耗費(fèi)時(shí)間較長(zhǎng)。

基于流形排序的顯著性檢測(cè)已經(jīng)取得了不錯(cuò)的進(jìn)展，但在指示向量篩選和傳播矩陣的構(gòu)建方面仍存在不足：(1)指示向量的選擇通常依賴圖像背景信息，缺乏對(duì)圖像子空間信息的挖掘；(2)傳播矩陣的構(gòu)建缺乏感知線索的運(yùn)用，導(dǎo)致顯著圖的前景背景之間邊界不明顯；(3)傳播矩陣采用標(biāo)準(zhǔn)平滑約束，忽視了局部區(qū)域的平滑性，造成部分區(qū)域信息的丟失，使得丟失信息區(qū)域的節(jié)點(diǎn)與周?chē)鷧^(qū)域連接較強(qiáng)的節(jié)點(diǎn)不能可靠傳播。為解決上述問(wèn)題，提出基于低秩背景約束與多線索傳播的圖像顯著性檢測(cè)算法。本文的創(chuàng)新點(diǎn)如下：

(1)兼顧圖像子空間結(jié)構(gòu)信息和節(jié)點(diǎn)間潛在關(guān)系，提出基于低秩背景約束與多線索傳播的顯著性檢測(cè)算法。利用高級(jí)背景先驗(yàn)約束特征矩陣的分解，挖掘子空間的結(jié)構(gòu)信息，增強(qiáng)低秩矩陣與稀疏矩陣的差異，提高前景與背景的辨別度；聯(lián)合多個(gè)線索探究節(jié)點(diǎn)間的冗余性和關(guān)聯(lián)性，優(yōu)化傳播機(jī)制。

(2)在細(xì)化過(guò)程中，重新構(gòu)建傳播矩陣，將提出的稀疏感知項(xiàng)與局部平滑項(xiàng)嵌入其中。從稀疏感知的角度出發(fā)，合理抑制顏色特征出現(xiàn)概率高的節(jié)點(diǎn)傳播，著重突出顏色特征出現(xiàn)概率低的節(jié)點(diǎn)傳播，從而達(dá)到突出前景抑制背景的效果。設(shè)計(jì)局部平滑策略，加強(qiáng)局部區(qū)域內(nèi)節(jié)點(diǎn)間的關(guān)聯(lián)性，準(zhǔn)確地呈現(xiàn)出局部區(qū)域內(nèi)各個(gè)節(jié)點(diǎn)的屬性，促進(jìn)同類別節(jié)點(diǎn)的可靠傳播。

2 提出算法整體框架

為解決基于流形排序的顯著性檢測(cè)算法缺乏子空間信息挖掘和節(jié)點(diǎn)間傳播不準(zhǔn)確的問(wèn)題，本文提出基于低秩背景約束與多線索傳播的圖像顯著性檢測(cè)算法，算法框架如圖1所示。首先，將圖像分割成均勻的超像素塊，全面地捕捉像素的結(jié)構(gòu)信息；其次，提取每個(gè)超像素塊的特征矩陣，使用高級(jí)背景先驗(yàn)約束特征矩陣分解，突出低秩矩陣與稀疏矩陣的差異性，得到前景背景分離的低秩背景約束顯著圖；進(jìn)一步，為探索超像素節(jié)點(diǎn)間的潛在聯(lián)系，構(gòu)建契合人類感知系統(tǒng)的局部信息圖結(jié)構(gòu)，借助低秩背景約束顯著圖篩選可靠的指示向量，重構(gòu)傳播矩陣，嵌入稀疏感知特性與局部平滑約束作為正則項(xiàng)，實(shí)現(xiàn)顯著值的多線索傳播，獲得精細(xì)的顯著圖。

3 基于低秩背景約束與多線索傳播的顯著性檢測(cè)

3.1 基于低秩背景約束的顯著性檢測(cè)

3.1.1構(gòu)建低秩背景約束模型

為降低算法復(fù)雜度，使用簡(jiǎn)單線性迭代聚類

圖1 基于低秩背景約束與多線索傳播的顯著性檢測(cè)算法框架

3.1.2建立背景加權(quán)約束矩陣

位置、顏色、邊界連通度先驗(yàn)等視覺(jué)先驗(yàn)可以在特征空間中提供相關(guān)性，背景視覺(jué)先驗(yàn)約束圖像特征矩陣的分解，提高低秩矩陣和稀疏矩陣的辨別度，特別是當(dāng)?shù)椭染仃嚺c稀疏矩陣存在高度一致性時(shí)，也能較好地實(shí)現(xiàn)兩者的分離。

(1)背景位置先驗(yàn)：人類容易被位于圖像中心的目標(biāo)吸引，而遠(yuǎn)離圖像中心的目標(biāo)更可能屬于背景。對(duì)于超像素ki，背景位置先驗(yàn)可以表示為

3.2 基于多線索傳播機(jī)制的顯著性檢測(cè)

基于低秩背景約束的顯著性檢測(cè)算法充分挖掘了圖像的空間結(jié)構(gòu)信息，其假設(shè)稀疏矩陣中每個(gè)節(jié)點(diǎn)之間是獨(dú)立的，為了避免生成的顯著區(qū)域不均勻，深入探究節(jié)點(diǎn)之間的關(guān)系，提出稀疏感知與局部平滑相結(jié)合的多線索傳播機(jī)制，進(jìn)一步增強(qiáng)前景背景的差異，提高顯著性檢測(cè)的準(zhǔn)確率。

3.2.1建立局部信息圖結(jié)構(gòu)

特征矩陣存儲(chǔ)了圖像的主要信息，但無(wú)法揭示超像素對(duì)之間的鄰接關(guān)系。為了探索超像素對(duì)之間的關(guān)系，建立局部信息圖結(jié)構(gòu)G(V,E1)，其節(jié)點(diǎn)為V=[v1v2···v n],E1為節(jié)點(diǎn)間的邊界。相鄰節(jié)點(diǎn)最有可能共享相似的顯著值，將每個(gè)節(jié)點(diǎn)都與其相鄰節(jié)點(diǎn)相連；為減少節(jié)點(diǎn)間的測(cè)地距離，將邊界區(qū)域的每對(duì)節(jié)點(diǎn)彼此連接。該局部信息圖結(jié)構(gòu)將局部鄰域節(jié)點(diǎn)約束在相同范圍內(nèi)，鼓勵(lì)局部近鄰的節(jié)點(diǎn)分組。每對(duì)節(jié)點(diǎn)之間的權(quán)重wij如式(9),ci和cj分別是v i和vj在Lab顏色空間的平均值，σ1為控制顏色相似性強(qiáng)度的參數(shù)

圖2 先驗(yàn)圖可視化結(jié)果

其中，η和θ是控制全局和局部平滑項(xiàng)比重的參數(shù)，ε和γ是控制擬合項(xiàng)和稀疏感知項(xiàng)的權(quán)重，M為拉普拉 斯 矩 陣，D=diag(d11d22···d n n)為置 信度 矩陣，I為單位陣。經(jīng)化簡(jiǎn)，得式(12)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

圖3 改進(jìn)的局部平滑傳播機(jī)制相關(guān)節(jié)點(diǎn)處理

圖4 基于低秩背景約束與多線索傳播的圖像顯著性檢測(cè)算法重要步驟結(jié)果圖

為評(píng)估算法的性能，在ECSSD,MSRA-10K,DUT-OMRON等3個(gè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，這3個(gè)數(shù)據(jù)集均配有人工標(biāo)注的真值圖(Ground Truth,GT)。引入準(zhǔn)確率(Precision,P)、召回率(Recall,R)、Fβ測(cè)度(F-measur e)以及平均絕對(duì)誤差(Mean Absolute Error,MAE)等指標(biāo)，分別利用多閾值和自適應(yīng)閾值分割得到二值圖，與真值圖進(jìn)行比較得到P和R，繪制P-R曲線和P,R,F柱狀圖，其中Fβ為

其中，β2=0.3，平均絕對(duì)誤差MAE衡量顯著圖S與真值圖GT之間的差距

其中，NW和NH分別表示顯著圖的寬度和高度。

4.2 性能比較

所有算法均在Intel Core i5-5300U 2.3 GHz處理器、8 GB內(nèi)存、64 bit Windows8環(huán)境下的MATLAB R2015a實(shí)現(xiàn)。

4.2.1定性比較

圖5展示了本文算法與GS,WLRR,GBMR,MPD,TLLT的可視化比較。第1行是單目標(biāo)圖像，第2行是背景復(fù)雜的圖像，第3行是前景背景對(duì)比度低的圖像，第4行是多目標(biāo)圖像，第5行是顯著目標(biāo)接觸邊界的圖像。GS算法能檢測(cè)出顯著目標(biāo)的大致輪廓，卻難以抑制背景，WLRR算法在前景背景對(duì)比度較低時(shí)，易受背景干擾。GBMR, MPD, TLLT算法在檢測(cè)多目標(biāo)圖像時(shí)存在虛影現(xiàn)象。本文算法能有效處理背景復(fù)雜的場(chǎng)景，原因在于子空間關(guān)系的挖掘增強(qiáng)了前景與背景的差異性；對(duì)小顯著區(qū)域的檢測(cè)效果良好，如第1行的圖像不僅能使顯著目標(biāo)高亮一致，還能準(zhǔn)確處理胳膊與頭之間的縫隙，這是由于局部平滑項(xiàng)的引入加強(qiáng)了局部區(qū)域內(nèi)節(jié)點(diǎn)的聯(lián)系；借助于提出的稀疏感知線索，可以檢測(cè)出前景背景對(duì)比度低的情景，還可以檢測(cè)圖像中的多個(gè)顯著目標(biāo)。總之，本文算法能更好地突出所有顯著目標(biāo)，具有優(yōu)越性能。

4.2.2定量比較

圖6—圖8從P-R曲線、F曲線、自適應(yīng)閾值下的P,R,F值和MAE等方面，在3個(gè)數(shù)據(jù)集上進(jìn)行了定量比較。在ECSSD數(shù)據(jù)集和MSRA-10K數(shù)據(jù)集，本文算法的P-R曲線在召回率較高時(shí)保持較高的準(zhǔn)確率，F(xiàn)曲線在很大閾值跨度上具有最大值，且平均絕對(duì)誤差均最小，更接近真值圖；在DUTOMRON數(shù)據(jù)集，本文算法的P-R曲線包圍大部分對(duì)比算法的P-R曲線，分割閾值大于150時(shí)，具有最大的F值，且MAE最小。自適應(yīng)閾值分割時(shí)，ECSSD,DUT-OMRON數(shù)據(jù)集的平均召回率最高。綜上所述，本文所提算法憑借子空間結(jié)構(gòu)信息和稀疏感知與局部平滑策略重構(gòu)的傳播矩陣，獲得了較好的檢測(cè)結(jié)果。

4.2.3驗(yàn)證稀疏感知項(xiàng)和局部平滑約束的有效性

為驗(yàn)證所提稀疏感知項(xiàng)和局部平滑約束的有效性，在ECSSD數(shù)據(jù)集依次進(jìn)行了WLRR算法、傳統(tǒng)流形排序細(xì)化算法、改進(jìn)的稀疏感知傳播機(jī)制、改進(jìn)的局部平滑傳播機(jī)制、本文算法等5個(gè)實(shí)驗(yàn)，不同方案下的P-R曲線如圖9所示。WLRR算法的檢測(cè)能力最差，其次是傳統(tǒng)流形排序細(xì)化算法，改進(jìn)的稀疏傳播機(jī)制和改進(jìn)的局部平滑傳播機(jī)制的PR曲線均高于前兩種算法。融合稀疏感知與局部平滑策略的多線索傳播機(jī)制的P-R曲線下降較緩慢，左側(cè)頂端較高，包圍其他4個(gè)實(shí)驗(yàn)的大部分曲線，兼顧了準(zhǔn)確率和召回率。

圖5 各算法視覺(jué)對(duì)比示例

圖6 ECSSD數(shù)據(jù)集定量評(píng)價(jià)對(duì)比

圖7 MSRA-10K數(shù)據(jù)集定量評(píng)價(jià)對(duì)比

4.3 時(shí)間比較

將本文算法在ECSSD數(shù)據(jù)集的平均運(yùn)行時(shí)間與5種算法對(duì)比，如表1所示。本文算法在執(zhí)行背景約束、特征矩陣分解、重構(gòu)傳播矩陣后，運(yùn)行時(shí)間仍比MPD,TLLT算法少，綜合比較，本文算法性能優(yōu)越。

4.4 應(yīng)用于圖像檢索的性能分析

圖9 ECSSD數(shù)據(jù)集不同方案下的P-R曲線

將所提算法應(yīng)用于圖像檢索技術(shù)，在具有1000張圖像、10個(gè)類別的Corel數(shù)據(jù)集進(jìn)行圖像檢索。圖10、圖11分別展示了基于整體圖像和基于顯著圖的檢索結(jié)果，其中每一行的第1列圖像為待檢索圖像，按順序返回與待檢索圖像最相似的9張圖像?；陲@著圖的檢索不僅能夠凸出圖像的顯著特征，降低背景的干擾，提高了圖像檢索的準(zhǔn)確率，在運(yùn)行時(shí)間方面表現(xiàn)仍然突出，表2對(duì)比了兩種檢索方法的平均運(yùn)行時(shí)間。

5 結(jié)束語(yǔ)

本文提出了一種低秩背景約束與多線索傳播的顯著性檢測(cè)算法，兼顧了圖像子空間結(jié)構(gòu)和圖節(jié)點(diǎn)間的關(guān)系。利用低秩背景約束有效地區(qū)分了前景和背景，篩選出優(yōu)質(zhì)的指示向量，在改進(jìn)的傳播矩陣中嵌入稀疏感知特性與局部平滑約束，提高了顏色特征出現(xiàn)概率低的節(jié)點(diǎn)的傳播能力，探索了局部區(qū)域內(nèi)節(jié)點(diǎn)的關(guān)聯(lián)性，改善了節(jié)點(diǎn)間傳播不準(zhǔn)確的問(wèn)題。實(shí)驗(yàn)證明本文算法在3個(gè)數(shù)據(jù)集上均具有優(yōu)勢(shì)，尤其是圖像中有多個(gè)顯著目標(biāo)時(shí)，檢測(cè)能力更為突出。未來(lái)考慮其他感知線索優(yōu)化傳播機(jī)制，進(jìn)一步改善節(jié)點(diǎn)的傳播效果。

表1 不同算法運(yùn)行時(shí)間對(duì)比

圖10 基于整體圖像的圖像檢索結(jié)果

圖11 基于顯著圖的圖像檢索結(jié)果

表2 兩種圖像檢索方法的平均運(yùn)行時(shí)間(s)