基于邊界和中心關(guān)系的顯著性檢測方法

郭 偉,洪 倩

(遼寧工程技術(shù)大學(xué) 軟件學(xué)院,遼寧 葫蘆島 125105)

0 概述

人們在處理視覺信息時,通常篩選其中的一個或幾個顯著目標(biāo)[1]而選擇性地忽略其他信息,以減少信息處理量并提高信息處理速度。與上述過程類似,顯著性檢測是機器識別并提取出顯著目標(biāo)的過程。在目標(biāo)識別[2]、圖像分割[3]等研究領(lǐng)域,顯著性檢測得到廣泛應(yīng)用并發(fā)揮著重要作用。

研究人員相繼提出多種顯著性檢測模型,其中主流研究思路是對顯著物體在圖片中的位置、與背景的顏色差異等性質(zhì)進行研究,以得到結(jié)果圖。Itti[4]方法利用多尺度特征和“中心-邊界對抗”方法提取特征圖,最后融合特征圖得到結(jié)果顯著圖。GBVS[5]方法在Itti方法的基礎(chǔ)上構(gòu)建馬爾科夫隨機鏈,求解平衡分布然后得到結(jié)果顯著圖。COV[6]方法以區(qū)域協(xié)方差為特征,描述不同的特征維度對整體視覺顯著性的影響。DSR[7]方法利用多角度的重構(gòu)差異并引入貝葉斯公式進行積分以得到顯著圖。FES[8]方法在貝葉斯框架下,利用稀疏采樣和密度估計計算局部特征對比度的顯著性。GR[9]方法使用興趣點來估計顯著目標(biāo)的中心從而得到顯著圖。PCA[10]方法根據(jù)中心環(huán)繞對比度和全局稀缺性2個特征,利用分段和主成分分析進行顯著性檢測。SDSP[11]方法結(jié)合帶通濾波能模擬視覺機制檢測顯著性目標(biāo)、中心區(qū)域更引人注意、暖色更引人注意這3種簡單先驗以進行顯著性檢測。文獻[12]提出一種多尺度超像素顯著性檢測方法,其對圖片進行超像素處理后,對不同尺度顯著圖實現(xiàn)自適應(yīng)中心環(huán)繞處理并進行融合以得到最終顯著圖。文獻[13]在超像素分割后建立無向圖,在該無向圖上進行惰性隨機游走,結(jié)合顏色對比度實現(xiàn)優(yōu)化以得到最終顯著圖。

在進行顯著物體檢測時,上述方法會出現(xiàn)背景噪聲、將背景區(qū)域誤當(dāng)前景顯著區(qū)域等問題。為此,最近背景先驗及其顯著性檢測模型相繼被提出[14-15]。對背景點顯著度進行提取,得到背景顯著圖,然后利用背景顯著圖找到顯著目標(biāo)。文獻[16]將背景先驗和多尺度相結(jié)合,其在不同的尺度下進行超像素分割,利用超像素塊的特征差提取出背景區(qū)域,然后計算顯著區(qū)域并對不同尺度下的顯著圖進行融合得到最終顯著圖。但該方法存在顯著物體接近邊界位置會被誤認為是背景區(qū)域的問題,導(dǎo)致其準(zhǔn)確率與普適性較低。

本文提出一種基于邊界和中心關(guān)系的顯著性檢測方法。提取中心點和邊界點的關(guān)系并計算出兩者的顯著度,結(jié)合背景連續(xù)性和顯著目標(biāo)邊緣閉合性,利用伽馬變換背景抑制得到一張顯著圖。依據(jù)邊界和中心的關(guān)系選取背景種子點,由此改進流行排序結(jié)果并利用伽馬變換背景抑制得到另一張顯著圖。在像素級上計算合適的閾值,融合上述2張顯著圖并作為最終的結(jié)果顯著圖。

1 顯著性檢測

1.1 方法流程

如圖1所示,本文方法使用引導(dǎo)濾波[17]處理原圖像,達到平滑處理的效果并降低高頻噪聲對顯著信息提取的干擾。本文方法的步驟分為:

1)超像素分割平滑處理后的圖像為超像素塊,結(jié)合邊界中心關(guān)系計算中心顯著度和前景權(quán)重,通過伽馬變換得到顯著圖1。

2)基于邊界中心關(guān)系改進流行排序算法,使用伽馬變換背景抑制得到顯著圖2。

3)在像素級上利用像素差尋找閾值并融合2張顯著圖。

圖1 基于邊界和中心關(guān)系的顯著性檢測方法框架

1.2 引導(dǎo)濾波平滑處理

圖像的高頻信息在一定程度上能干擾顯著性檢測的準(zhǔn)確度,而大部分顯著信息蘊含在低頻信息中。因此,為了提高結(jié)果顯著圖的準(zhǔn)確性,可以先對輸入圖像進行平滑處理。本文通過引導(dǎo)濾波的方法進行平滑處理,引導(dǎo)濾波同時能夠減少噪聲對顯著圖的影響。

引導(dǎo)濾波選取窗口并在窗口內(nèi)使用局部線性模型,設(shè)q為輸出圖像,I為引導(dǎo)圖像,k是窗口中心點的位置,ωk是窗口內(nèi)所有點的集合,ak、bk均為線性系數(shù)。在計算完一個窗口后,窗口往后滑動,直到計算出所有像素點的值:

qi=akIi+bk,?i∈ωk

(1)

為了得到輸出圖像,需要通過式(2)最小化損失函數(shù)以求解得到線性系數(shù)ak和bk的值:

(2)

(3)

(4)

圖2 平滑處理示例

1.3 超像素分割

本文利用SLIC[18-20]超像素分割方法將經(jīng)過平滑處理的圖片分割為超像素塊。超像素處理可以在模糊圖像、弱化紋理的同時保持圖片的邊緣信息。像素聚類而成的超像素塊作為基本單位,相比像素點數(shù)量大幅減少,從而能夠降低計算量并提高運行效率。

1.4 基于中心邊界關(guān)系的顯著圖

1.4.1 中心顯著度

顯著物體與周圍環(huán)境存在差異性,其在顏色、位置、紋理等屬性特征上具有獨特性。根據(jù)觀察,圖片的顯著物體一般具有以下3種特性:

1)顯著目標(biāo)在圖片中的位置一般在中心區(qū)域。

2)顯著目標(biāo)的亮度與邊界區(qū)域差異明顯,并且顯著目標(biāo)的邊緣是閉合的。

3)顯著目標(biāo)的顏色與圖片邊界區(qū)域有明顯的差異。

本文根據(jù)第1個、第3個特征得到圖片中心點顯著度,具體計算方法如下

Sc=exp[-Mid·min{d(gc,hk)}]

(5)

(6)

其中,gc是中心超像素塊,hn是一般超像素塊,hk是圖片4個角的邊界超像素塊,超像素塊gc和hk的顏色距離用歐氏距離d(gc,hk)表示。

1.4.2 顯著度計算

背景區(qū)域具有連續(xù)性,前景區(qū)域與背景區(qū)域有明顯的對比度,并且前景區(qū)域邊界閉合。如圖3所示,條形區(qū)域a背景連續(xù),中間部分與兩端邊界區(qū)域相似度高、對比度低,且具有連續(xù)性;條形區(qū)域b的中間部分與兩端邊界區(qū)域相似度低、對比度高,且中心區(qū)域邊緣閉合,可以理解為中心區(qū)域的顯著目標(biāo)隔斷了背景區(qū)域的連續(xù)性。

圖3 圖像背景連續(xù)性示例

S(αi)=exp[-d(gc,αi)·Sc·MIN]

(7)

MIN=min{d(α1,αi),d(αi,αm)}

(8)

其中,歐式距離d(α1,αi)是超像素塊α1和αi的顏色距離。式(7)中第一項和第二項描述超像素塊αi與中心超像素塊gc的顯著相似度,最后一項描述αi與左右邊界超像素塊的差異性。通過超像素塊αi的最短路徑會有多條,能夠計算出多個不同的值,為了檢測結(jié)果的準(zhǔn)確性,選取顯著值最小的值作為該點的顯著度。圖4所示為基于中心邊界關(guān)系的顯著圖示例。

圖4 基于中心邊界關(guān)系的顯著圖

1.4.3 伽馬變換背景抑制

伽馬變換如式(9)、式(10)所示,調(diào)節(jié)γ的值能增強低灰度區(qū)域或高灰度區(qū)域。取γ>1,能夠抑制灰度級低的區(qū)域,增強圖片的對比度。

s=crγ

(9)

(10)

其中,Gg表示背景抑制后的圖像,Gq表示輸入的前景顯著圖,c和γ是正值常數(shù)。

對前景顯著圖進行伽馬變換實現(xiàn)背景抑制,可以提高顯著圖的對比度,減少背景區(qū)域?qū)η熬皡^(qū)域的影響,得到初步顯著圖1。從圖5可以看出,荷花上下的灰色非顯著性區(qū)域被明顯抑制,顯著檢測結(jié)果更貼合真值。

圖5 基于中心邊界關(guān)系的背景抑制顯著圖

1.5 改進的流行排序算法

流行排序算法在顯著性檢測領(lǐng)域得到廣泛應(yīng)用,其利用4個邊界的點作為種子點計算顯著圖。本文將與中心點顯著度差值大于差值平均值的點作為背景種子點。

(11)

其中,ci和cj分別為超像素i和超像素j在CIE Lab顏色空間上的平均值,σ是權(quán)重控制因子。

利用式(5)、式(7)分別計算4個邊界上所有超像素塊的顯著度和中心顯著度的差值,取差值總和的平均值作為閾值,將所有大于閾值的超像素塊作為背景種子構(gòu)造指示向量Y=[y1,y2,…,yn]。流行函數(shù)的計算方法為:

f*=(D-aW)-1Y

(12)

(13)

其中,f*是記錄所有節(jié)點排序得分的N維向量,歸一化該向量得到節(jié)點i的背景顯著度Sbq,生成背景顯著圖。

尋找合適的閾值對背景顯著圖進行閾值分割,閾值的獲取方式是取圖像顯著度的均值,得到前景種子點并作為新的指示向量,利用式(12)對所有超像素塊進行排序,歸一化處理得到前景顯著圖Sfq:

(14)

此處同樣利用伽馬變換對前景顯著圖Sfq進行背景抑制,得到初步顯著圖2,從圖6可以看出,非前景區(qū)域被抑制,對比度增強。

圖6 基于改進流行排序的背景抑制顯著圖

1.6 顯著圖像素差融合

從圖5、圖6可以看出,初步顯著圖1的荷花上部分有一塊背景區(qū)域被誤認為前景區(qū)域,初步顯著圖2的2片花瓣的灰度值變低且上部分有一小片背景區(qū)域沒有被完全抑制。為了解決上述問題,本文對這2張初步顯著圖在像素級上進行融合。對于同一像素點πi,在2張初步顯著圖中的顯著值分別為X1(πi)、X2(πi),除去顯著值差值為0的像素點,計算剩下所有像素點顯著值總差值的平均值DDis,以DDis作為閾值計算像素點πi在融合的顯著圖中的顯著值Sfn,計算公式如下:

H(πi)=Xi(πi)-X2(πi)

(15)

(16)

(17)

其中,count是顯著差值不為0的像素點個數(shù),a、b分別為X1(πi)、X2(πi)的權(quán)重因子,通過實驗確定a=0.3,b=0.7。若不去除顯著值相同的點,大量顯著值相同的像素點將拉低閾值,降低顯著性檢測效果,如圖7(d)所示。如圖7(e)所示,在最終結(jié)果中,顯著圖的前景背景區(qū)域區(qū)分明顯,且荷花的細節(jié)得到了更好地保留,2幅圖的背景區(qū)域得到較好地處理,表明2幅初步顯著圖的融合能大幅提升顯著性檢測效果。

圖7 像素級融合顯著圖

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

本文實驗數(shù)據(jù)集來自MSRA10K,其包含10 000張圖片和對應(yīng)的顯著真值圖。將本文方法與COV、DSR、FES、GBVS、GR、PCA和SDSP 7種顯著性檢測方法進行對比分析。實驗環(huán)境為WIN 7操作系統(tǒng),MATLAB R2016a。

2.2 評價指標(biāo)

本文選取P-R曲線、F-Measure、平均絕對誤差MAE 3個傳統(tǒng)指標(biāo),以及S-Measure[21]、E-Measure[22]2個新指標(biāo)來評價方法性能。F-Measure是對準(zhǔn)確率(P)和召回率(R)的綜合評價,其計算方法如式(18)所示。根據(jù)文獻[23],β2取值為0.3,以增加準(zhǔn)確率的權(quán)重。MAE計算方法如式(19)所示。

(18)

(19)

其中,S(x,y)是結(jié)果顯著圖,Gt(x,y)是真值顯著圖,W和H分別代表結(jié)果顯著圖的長和寬。

S-Measure是針對人類視覺對顯著目標(biāo)結(jié)構(gòu)具有高度敏感的特性提出的一種結(jié)構(gòu)性相似度量,其注重調(diào)亮度比較、差異對比度和色散概率,針對屬于[0,1]實數(shù)非二進制進行映射,具體計算方式如下:

S-Measure=α·S0+(1-α)·Sr

其中,S0表示對象感知的結(jié)構(gòu)相似度,Sr表示區(qū)域感知的結(jié)構(gòu)相似度。

認知視覺研究表明,人類對全局信息和局部細節(jié)信息都敏感,因此文獻[22]提出能很好應(yīng)對二進制映射的E-Measure評價指標(biāo),其結(jié)合像素級和圖像級均值,同時捕捉圖像級信息和像素級匹配信息,具體計算方式如下:

φI=I-μI·A

(20)

(21)

φFM=f(ξFM)

(22)

(23)

2.3 結(jié)果分析

圖8、圖9(a)和圖9(b)是在3種經(jīng)典評價指標(biāo)下的對比結(jié)果。從中可以看出,在P-R曲線上,本文方法略低于GR方法且明顯優(yōu)于其他方法。對于F-Measure值,本文方法高于其他方法。對于平均絕對誤差MAE值,本文方法略高于DSR方法且遠低于其他方法。圖9(c)和圖9(d)分別為2種新評價指標(biāo)E-Measure和S-Measure下的結(jié)果對比,從中可以看出,本文方法和GR方法的S-Measure值相近且僅次于DSR方法,本文方法、GR方法和DSR方法的E-Measure處于同一水平,優(yōu)于其他方法。

圖8 P-R曲線對比

圖9 不同方法的評價指標(biāo)直方圖對比

圖10是各方法的運行結(jié)果,從中可以看出,COV方法、FES方法和GBVS方法像素降低且失去邊緣信息,PCA方法和SDSP方法在簡單背景下能準(zhǔn)確提取出顯著目標(biāo),但是在復(fù)雜背景下,大量的背景信息并未很好地去除,被誤認為是前景顯著區(qū)域。DSR方法、GR方法和本文方法都能取得較好的效果,但是本文方法的背景抑制效果更徹底,對比度明顯且很好地保留了邊緣信息,例如圖10中荷葉圍繞中的一朵荷花、石頭上的一片楓葉,DSR方法和GR方法的顯著圖中都有一些背景區(qū)域沒有被很好地抑制,本文方法的顯著圖對比明顯,背景抑制徹底,更接近真值。

圖10 各方法運行結(jié)果對比

除了上述5種評價指標(biāo),本文還測試了各種方法的平均運行時間,結(jié)果如表1所示?？梢钥闯?本文方法的運行時間雖然高于DSR方法,但是比GR方法低很多,運行速度在可接受的范圍內(nèi)。綜合各評價指標(biāo)和運行時間結(jié)果可知,本文方法具有一定優(yōu)勢。

表1 各方法運行時間結(jié)果對比

3 結(jié)束語

本文提出一種基于邊界和中心關(guān)系的顯著性檢測方法。使用引導(dǎo)濾波處理圖像,在降低高頻信息干擾的同時模糊圖像。結(jié)合中心顯著度和邊界顯著度關(guān)系計算顯著圖,以準(zhǔn)確提取顯著目標(biāo)。利用邊界中心關(guān)系選取背景種子點并改進流行排序算法,得到更可靠的前景顯著圖。在此基礎(chǔ)上,通過伽馬變換進行背景抑制,從而減弱背景區(qū)域?qū)η熬皡^(qū)域的干擾,增強對比度。實驗結(jié)果表明,與COV、DSR等顯著性檢測方法相比,該方法在F-Measure、S-Measure等評價指標(biāo)上能取得更好的結(jié)果。本文方法在復(fù)雜背景環(huán)境下對背景抑制仍不夠徹底,解決該問題并進一步提升結(jié)果顯著圖的準(zhǔn)確率將是下一步的研究方向。