基于背景感知的顯著性目標檢測算法①

包曉安,朱曉芳,張 娜,高春波,胡玲玲,桂江生

(浙江理工大學 信息學院,杭州 310018)

靈長類動物能快速處理視覺圖像中的感興趣區(qū)域,為了模仿這種視覺注意機制,圖像顯著性檢測理論得到快速發(fā)展.該理論研究廣泛應用于很多領域,如圖像分割[1],目標檢測[2]和圖像檢索[3]等.

傳統(tǒng)顯著性檢測算法都是利用目標的稀有性特征解決問題,忽略了背景信息.例如Itti[4]計算圖像顏色和空間位置等特征獲得圖像顯著性.Achanta[5]提出基于頻率調諧(Frequency-Tuned,FT)顯著性算法.Goferman等[6]提出利用圖像上下文感知(Context-Aware,CA)檢測圖像的顯著性.Hou等人[7]從譜殘差的角度計算顯著圖.Cheng等人[8]根據區(qū)域對比度信息來計算顯著性,取得不錯的檢測效果.Yan[9]從多層次考慮顯著性檢測.Perazzi等人[10]提出Saliency filters顯著性算法.以上這些顯著性算法都有效地促進了顯著性檢測理論的發(fā)展,但顯著目標檢測的準確率和召回率還有待提高.

近來,基于超像素[11,12]、圖模型[13]和背景先驗[14-17]的顯著性檢測研究廣泛.例如Wei等[14]利用測地線距離來計算顯著性.Zhang等[15]基于邊界背景先驗的思想,將圖像邊界區(qū)域作為背景,取得一定的檢測效果,但背景假設太理想.徐威等[16]提出利用層次先驗估計的顯著性的檢測算法.Yang等[17]基于超像素構造圖模型,提出利用背景先驗知識和流形排序(Manifold Ranking,MR)計算顯著性.其中由于背景選取理想化和前景節(jié)點漏選,在顯著目標靠近圖像邊界的情況下,MR算法會出現目標檢測不準確和不完整的現象.基于MR算法,朱征宇等人[18]通過前景和背景特征獲取了更多查詢節(jié)點,提高了顯著目標的準確性,但目標的完整性還待解決,還需要從根源解決該問題.周強強等人[19]基于MR算法提出結合前景和背景的檢測方法,得到了比較精細的顯著圖.鄧凝旖等人[20]利用深度學習來計算顯著性,取得不錯的檢測效果.

本文在流形排序算法的基礎上,提出一種基于背景感知的顯著性目標檢測算法.針對上述基于背景先驗的顯著性檢測算法中存在的背景假設過于理想和目標檢測不完整的問題,本文提出以下解決方法：(1)對背景區(qū)域的真實性進行判斷;(2)提取完整的前景節(jié)點區(qū)域,檢測到完整目標;(3)加強顯著目標邊界.

1 基于流形排序的顯著性檢測

基于圖的流形排序顯著性(MR)檢測算法是Yang等人[17]提出的.MR算法中主要提出了用流形排序算法進行顯著性計算,其主要過程如下：

首先,對輸入圖像進行超像素分割.再構造基于超像素的圖模型其中V和E分別為節(jié)點集與邊集.定義輸入圖像數據M的關聯矩陣為度矩陣為其中定義節(jié)點的指示向量為當xi節(jié)點是查詢節(jié)點時,yi=1,否則yi=0.定義排序函數這里表示節(jié)點xi的排序得分.求節(jié)點的排序得分可通過最優(yōu)化式(1)求得.

公式(1)中,u是控制比例參數.兩個節(jié)點間的連接權重定義為下式：

式中,ci和cj分別是超像素節(jié)點在CIELAB顏色空間對應的均值,是控制著權重變化力度的參數.根據文獻[17]的實驗結果可知,排序函數式(3)可由式(4)來代替計算結果更好.其中,是單位矩陣為規(guī)范化的拉普拉斯矩陣同文獻[17]一樣,本文實驗時值取10,α取0.99.

文獻[17]中的MR顯著性檢測主要有2個階段.第1階段：先按式(4)和(5)分別計算節(jié)點xi相對邊界背景種子點(即背景查詢對象)的排序得分和顯著值.再根據式(6)計算第1階段的最終顯著圖.式中為歸一化的排序向量分別是節(jié)點xi相對于下、上、右、左邊界查詢節(jié)點的顯著值.是節(jié)點xi相對背景種子點的流形排序綜合得分的反值(得分越高,顯著值越低),即第1階段顯著圖的最終顯著值.

第2階段：閾值分割第1階段的顯著圖,獲得前景種子點(即為前景查詢對象).再根據式(4)計算各節(jié)點相對前景種子點的排序得分.最后根據(7)計算第2階段(最終的)的顯著值,實驗結果如圖1所示是節(jié)點xi基于前景種子點的流形排序得分(得分越高,顯著值越高),即最終顯著圖的顯著值.

由圖1(c)觀察可知,在顯著目標靠近圖片邊界的情況下,顯著圖沒完整地突顯出前景目標且背景未被完全抑制,總體實驗結果不理想.由圖1(d)可見,在目標未靠近邊界情況下,圖1(f)中目標突顯的較完整,且背景抑制程度較低.由上述可知,經典MR方法存在對背景抑制程度不夠,且對部分靠近邊界目標的圖片顯著性檢測較差.

圖1 基于流形排序的顯著性檢測實驗結果

2 本文算法

2.1 基于背景感知的顯著性檢測

本文算法基于背景先驗[14]的基礎上,感知到真實背景.同時根據目標物體的封閉性特征,采用BING(Binarized Normed Gradients)[21]算法獲得完整的前景目標區(qū)域.本文的顯著性目標檢測算法主要步驟如下：

Step 1.將圖像分割成超像素,根據SLIC[19]方法,并構造圖模型.本文和文獻[17]一樣,所有實驗超像素的數量取200,如圖1所示.

Step 2.選擇圖像邊界處的超像素為初始背景,再運用自適應顏色聚類得到相應的區(qū)域,計算這些區(qū)域的綜合差異度,篩選出真實超像素區(qū)域并標記為真實背景種子點.進行流形排序,生成第1階段的顯著圖.

Step 3.根據物體目標的封閉性,計算輸入圖像的BING特征,估計出目標的位置.再結合第1階段的顯著圖,得到完整的前景目標區(qū)域.

Step 4.重構前景目標區(qū)域的圖模型并加強重要節(jié)點間的連接權值.最后利用流形排序生成第2 階段的顯著圖,即最終的顯著圖.

2.2 邊界背景感知

由第1節(jié)MR算法的實驗結果可知,在目標接觸圖像邊界的檢測情況下,前景目標沒被完整地突出,甚至會檢測錯誤.導致該現象的根本原因是背景種子點的誤選,所以本文提出根據邊界區(qū)域的綜合差異度,篩選出真實背景種子點.背景種子點的篩選方法具體步驟如下：

Step 1.選取圖像邊界的超像素作為初始背景種子點集如圖2(a).根據顏色對其進行自適應聚類,得到對應一系列區(qū)域構成環(huán)形結構,如圖2(b)所示.對每個區(qū)域將其相鄰的區(qū)域分別作為它的前驅和后繼,沿著順時針方向.

Step 2.計算每個區(qū)域rl的 顏色均值和面積根據公式(7)、(8)和(9)分別計算它與它的前驅、后繼及整個邊界區(qū)域顏色均值的差異度Dpl、Dsl和Dml.再根據式(10)計算該區(qū)域的綜合差異度Dfl.式(10)權衡了距離和面積的影響.

Step 3.選取綜合差異度較大的前m個區(qū)域(m=0,1),將其包含的超像素從初始背景種子點集中去除,得到真實的背景種子點集,如圖2(c)所示.背景種子點篩選后得到的實驗結果,如圖3所示.

Step 4.選擇真實的背景種子點作為查詢對象,利用式(4)和式(5)計算其余節(jié)點相對于查詢對象的流形排序得分和顯著值,得到第1階段顯著圖,實驗結果如圖4.

圖2 背景的自適應顏色聚類和篩選示意圖

Step 3中區(qū)域數m的選擇是根據邊界區(qū)域歸一化來判斷,若大等于0.75,m值取1,否則m值取0.根據以上提出的步驟,我們在數據集MASR數據集上進行測試,相比于經典的MR算法的實驗結果,取得了更好的檢測結果,原因是采用了圖片的真實背景種子點,如圖3所示.

圖3 本文算法的真實背景種子點選取與對比

由圖3(c)和3(d)對比可知,該圖背景種子點主要在下邊界發(fā)生變化,所以單獨以下邊界為背景種子點產生的顯著圖有明顯改變,突出了目標整體,如圖4(e)的右上角部分的小圖所示.

顯著性檢測2個階段的試驗結果對比,如圖4所示.由于本文篩選出了真實背景種子點,所以單獨用四個邊界產生的顯著圖與MR算法不同,見圖4(a)和圖4(b).由圖4觀察可看出,本文第1階段的顯著圖4(d)相比MR算法圖4(b),更大面積突出了目標且目標亮度更大、更真實.由此得到的第2階段的顯著圖圖4(f),對比可看出本文算法有效地抑制了背景區(qū)域.圖4(h)和(g)是二值化后處理后的圖,對比觀察可看出,本節(jié)檢測算法突出了圖像邊界處的目標,效果明顯優(yōu)于MR算法的檢測結果.

圖4 本文算法的2個階段檢測結果對比

2.3 前景目標檢測

由2.2節(jié)內容可知,在獲得真實背景種子點之后,仍有部分圖片的前景目標未被完整地突顯.分析得到該現象發(fā)生的原因是現有前景種子點的區(qū)域范圍,未能有效的覆蓋到目標整體,漏選了重要的前景節(jié)點.由Yang[17]的論述和實驗結果可知,前景節(jié)點的誤選對實驗結果不會產生太大影響,但文中沒有論述和分析前景種子節(jié)點的漏選對實驗結果的影響.

BING[21]算法是一種利用物體封閉性特征快速預測目標位置的算法.目標物體的封閉性特征為當物體梯度圖縮小到一定尺寸大小時,會呈現出完整的閉合曲線且相互獨立,與背景存在較大差異.其中主要涉及到以下3個公式：

圖5 本文BING特征訓練得到的w模型

圖6 BING特征檢測與本文目標檢測對比

公式(11)中的w是BING算法中用liblinear分類器離線訓練第1階段得到的模型W,如圖5.本文這里采用VOC2007數據集作為訓練集,MASR-1000數據集作為測試集.gl是l點處窗口的BING特征值.i是待檢測圖片縮放得到的尺寸大小,x,y是檢測窗口所在位置坐標.vi和ti是訓練第2階段在不同尺寸下獲取的參數值.公式(13)是對l點處窗口修改后的得分.最后采用非極大值抑制(NMS)篩選出候選框,再結合檢測第1階段顯著圖的目標位置信息,篩選得到含有完整目標的位置,即包含完整前景節(jié)點的區(qū)域.BING算法的檢測準確率較高,速度快,尤其對于復雜背景的過濾效果好,極大程度提高了顯著目標檢測的準確性和完整性,如圖6所示.圖6第1行的矩形框是本文第1階段顯著性檢測得到的顯著目標所在位置;第2行矩形框是BING特征算法檢測得到的目標位置信息.由6圖可見,在BING算法檢測出的所有目標中,每張目標都包含了顯著目標,所以本文根據BING特征估計來獲取顯著目標的位置,從而獲取完整前景種子點.

本文采用BING算法,檢測得到目標物體的候選位置,如圖7(a)所示.對比觀察圖7的(b)圖和(c)圖,可看出本算法提取出完整的前景種子點且不存在漏選,最終顯著圖如圖7(d)所示.本文算法完整地突出了前景目標,并且有效地抑制了背景區(qū)域,整體檢測效果很好.

圖7 本文前景種子點區(qū)域的選取和實驗結果

獲取完整的前景種子點后,為獲得清晰的目標邊界,加強這些節(jié)點間的相關性,削弱他們與背景節(jié)點的相關性.本文對該候選框區(qū)域內的超像素重新構造圖模型,候選框區(qū)域之外節(jié)點連接方式不變,如圖8所示.在構造前景節(jié)點區(qū)域的圖模型時,規(guī)定每個節(jié)點只與直接相連的鄰居節(jié)點相連,并且要求這些鄰居節(jié)點本身至少有5個以上相鄰節(jié)點(減少邊緣節(jié)點的可能性).例如圖6中的圓型節(jié)點只和2個節(jié)點相連,矩形節(jié)點和菱形節(jié)點分別與7個節(jié)點相連、4個節(jié)點相連.

同時,本文分析發(fā)現圖模型中不同節(jié)點的重要性有較大差異且屬于目標區(qū)域的可能性也不同.在重構圖模型后,采用文獻[22]提出的加權k-殼分解法,將前景節(jié)點區(qū)域的節(jié)點層層剝去,確定出圖模型中重要節(jié)點的位置,主要涉及到的公式如下：

式中,ki為節(jié)點vi鄰居節(jié)點的數目為該節(jié)點與周圍節(jié)點的連接數.α和β 是調節(jié)權值和局部環(huán)境的參數,本實驗取 α=β=1.如圖7,矩形節(jié)點為計算得到的該區(qū)域重要節(jié)點之一,其度值最大.利用公式(15)加強與這些節(jié)點連接的權值使得流形排序后的重要節(jié)點獲得較高排序得分.公式(15)是根據節(jié)點的重要程度來調整連接權值的大小,是基于公式(2)改進得到.

式中,c為重要節(jié)點的個數.

圖8 前景區(qū)域的圖模型

本文前景目標顯著圖檢測的具體步驟如下：

1) 首先,利用物體的封閉性特征,采用BING算法檢測得到目標位置的一些候選窗口如圖7(a)所示.

2) 對第1階段產生的背景顯著圖進行閾值分割,得到分割圖Seg,利用邊緣檢測得到顯著區(qū)域的外接矩形框Boxi,如圖7(b)所示.

3) 分別計算外接矩形框和候選框面積大小和相交面積,選取相交面積最大且兩個面積大小誤差最小的再取其并集為在分割圖中標出該區(qū)域,如圖7(c)所示.該區(qū)域即為完整的前景種子點區(qū)域.

4) 重構該前景節(jié)點區(qū)域的圖模型,再利用加權k-殼分解法得到該區(qū)域的重要節(jié)點.并根據公式(15)加強這這些節(jié)點間的連接權值.最后,進行流形排序,得到最終的顯著圖,如圖7(d)所示.

由圖7觀察可知,本節(jié)算法的實驗結果圖7(d)相比于圖4(e)和圖4(f),檢測效果提高明顯,背景幾乎完全被抑制,目標被完整突出且目標邊界較清晰.

3 實驗設計及分析

本文在MRSA-1000數據集上進行分析檢測和評價.MRSA-1000數據集含有1000張顯著對象的圖片,且提供對應的人工標識圖,是顯著性檢測領域公開的數據集.本文分別選取了多種顯著性檢測算法與本文進行比較,其中包括：IT[4],FT[5],CA[6],RC[8],HS[9],SF[10],MR[17],FB[18],FBE[19],CP-DNN[20],BSCA[23],GraB[24].

3.1 評價指標

采用了4種顯著性目標檢測的評價指標,分別是準確率(Precision)、召回率(Recall)、F-measure和平均絕對誤差(MAE).F-measure指標是對準確率和召回率的權衡.平均MAE是對圖像背景區(qū)域抑制程度大小的反應,該值越小表明檢測算法性能越好.分別用式(16)和 (17)來計算.其中

S(x,y)是顯著圖中像素的顯著值,G T(x,y)是對應人工標識圖中像素的亮度值.M和N是圖像的行列數.

本文算法在MRSA-1000數據集上的P-R曲線(Precision-Recall curve)和自適應閾值分割后的精確度、召回率和F-measure,如圖9所示.由圖9(a)可見,從整體趨勢上看,本文算法的準確率較高.FB、FBE、MR與本文算法都是基于前景與背景的思想,但它們的曲線都在本文算法曲線之下.定量分析發(fā)現,當召回率處于[0,0.80]區(qū)間時,本文算法的準確率保持在0.96左右,略高于MR算法.當召回率在0.75左右時,本文算法的準確率最高,競爭優(yōu)勢明顯.分析圖9(b)可知,本文算法在MRSA-1000數據集上的F-measure數值是各算法中最高的.本文高F-measure值的原因是選擇了真實的背景種子點,并通過封閉性特征得到完整前景種子節(jié)點.FB、FBE、MR等其余算法在召回率和F-measure值上沒有本文算法優(yōu)勢大.

平均MAE值對比.各算法在MRSA-1000數據集上的平均MAE值對比,見表1.由表1觀察可知,本文算法的平均MAE值和MR算法最為接近,且是所列算法中值最小的,可見對背景的有效抑制程度最大.

運行時間對比,見表2.本文算法采用C++語言編寫,實驗運行環(huán)境設置為Intel(R) Core(TM) i3-2410M CPU,4 G內存的筆記本.表2中各算法均用C++編寫、實驗,測試數據集為MRSA-1000.由表2可知,本文算法相比于MR算法檢測時間變化不大.雖然本算法實現步驟增加了BING特征檢測,但BING檢測可達到300 ftps的檢測速度,所以整體時間增加不多.本文算法相比于SF、HS和FBE算法的運行時間較少,相比于RC、IT、和FT算法運行時間略多,但存在檢測準確率、召回率高的優(yōu)勢.故綜合準確率、召回率和時間三方面考慮,本文算法有較大競爭優(yōu)勢.

圖9 各算法在MRSA-1000數據集上的P-R曲線及自適應閾值分割后的精確度、召回率和F-measure

表1 本文算法和8種算法在MRSA-1000數據集上的平均絕對誤差

表2 本文算法和7種算法在MRSA-1000數據集上的平均運行時間

圖10 本文算法和5種算法實驗的顯著圖

實驗結果對比.本文算法分別與5種顯著性檢測算法的實驗結果見圖10,這5種算法分別是CA[6],HS[10],FT[5],SR[7],MR[17].圖10中的6幅輸入圖像都取自MRSA-1000數據集,從整體實驗結果來看,本文算法的實驗檢測效果最好,目標邊界清晰.觀察第1、第5張輸入圖像,在目標靠近圖像邊界時,本文算法完整地突出了目標且與Ground Truth圖中標注的顯著目標最為接近,較好地抑制了背景.觀察第2和第3張圖片的檢測結果,發(fā)現本文算法檢測獲得的目標內部亮度較均一,明顯優(yōu)于其余算法的結果.觀察第4張輸入圖像的檢測結果,MR算法和其余算法的檢測效果都沒過濾掉目標的影子.本文算法對該圖的檢測效果最好,因為提取了完整的前景種子點并加強了它們的連接權值,準確完整地突出了前景目標,很好地消除了目標的影子,最接近Ground Truth圖標注中的顯著目標.觀察第6張輸入圖片的檢測結果,本文算法檢測有效抑制了目標的背景區(qū)域,且準確地突出了目標,優(yōu)于其余算法.其余算法的背景抑制程度較差,導致目標檢測準確率不高.綜上所述,本文實驗結果相比于其余算法檢測效果最優(yōu).

4 結論

本文提出了一種基于背景感知的顯著性目標檢測算法,重點研究了背景判斷和前景節(jié)點的選取問題.與經典的流形排序顯著性檢測算法相比,本文算法解決了背景假設不準確和目標檢測不完整的問題,同時獲得輪廓清晰的目標.實驗結果表明,同幾種顯著性檢測算法相比,本文算法在MRSA-1000數據集上,取得了較好的實驗結果,優(yōu)于經典的MR和部分算法.由于本文研究是基于超像素分割基礎之上,下一步的研究工作將專注于研究高效的超像素分割方法,降低它的時間復雜度.

1 白雪飛,王文劍,梁吉業(yè).基于區(qū)域顯著性的活動輪廓分割模型.計算機研究與發(fā)展,2012,49(12)：2686-2695.

2 曲延云,鄭南寧,李翠華,等.基于支持向量機的顯著性建筑物檢測.計算機研究與發(fā)展,2007,44(1)：141-147.

3 馮松鶴,郎叢妍,須德.一種融合圖學習與區(qū)域顯著性分析的圖像檢索算法.電子學報,2011,39(10)：2288-2294.

4 Itti L,Koch C,Niebur E.A model of saliency-based visual attention for rapid scene analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11)：1254-1259.[doi：10.1109/34.730558]

5 Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection.Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,FL,USA.2009.1597-1604.

6 Goferman S,Zelnik-Manor L,Tal A.Context-aware saliency detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(10)：1915-1926.[doi：10.1109/TPAMI.2011.272]

7 Hou XD,Zhang LQ.Saliency detection：A spectral residual approach.Proceedings of 2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis,MN,USA.2007.1-8.

8 Cheng MM,Zhang GX,Mitra NJ,et al.Global contrast based salient region detection.Proceedings of 2011 IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs,USA.2015.409-416.

9 Yan Q,Xu L,Shi JP,et al.Hierarchical saliency detection.Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA.2013.1155-1162.

10 Perazzi F,Kr?henbühl P,Pritch Y,et al.Saliency filters：Contrast based filtering for salient region detection.Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,USA.2012.733-740.

11 Zhu WJ,Liang S,Wei YC,et al.Saliency optimization from robust background detection.Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA.2014.2814-2821.

12 呂建勇,唐振民.一種基于圖的流形排序的顯著性目標檢測改進方法.電子與信息學報,2015,37(11)：2555-2563.[doi：10.11999/JEIT150619]

13 Jiang BW,Zhang LH,Lu HC,et al.Saliency detection via absorbing Markov chain.Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney,NSW,Australia.2013.1665-1672.

14 Wei YC,Wen F,Zhu WJ,et al.Geodesic saliency using background priors.Proceedings of the 12th European Conference on Computer Vision.Florence,Italy.2012.29-42.

15 張巧榮.利用背景先驗的顯著性檢測算法.中國圖象圖形學報,2016,21(2)：165-173.[doi：10.11834/jig.20160205]

16 徐威,唐振民.利用層次先驗估計的顯著性目標檢測.自動化學報,2015,41(4)：799-812.

17 Yang C,Zhang LH,Lu HC,et al.Saliency detection via graph-based manifold ranking.Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland,OR,USA.2013.3166-3173.

18 朱征宇,汪梅.基于Manifold Ranking和結合前景背景特征的顯著性檢測.計算機應用,2016,36(9)：2560-2565.[doi：10.11772/j.issn.1001-9081.2016.09.2560]

19 周強強,趙衛(wèi)東,柳先輝,等.一種前景和背景提取相結合的圖像顯著性檢測.計算機輔助設計與圖形學學報,2017,29(8)：1396-1407.

20 鄧凝旖,沈志強,郭躍飛.基于類別先驗與深度神經網絡特征的顯著性檢測.計算機工程,2017,43(6)：225-229.

21 Cheng MM,Zhang ZM,Lin WY,et al.BING：Binarized normed gradients for objectness estimation at 300 fps.Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus,OH,USA.2014.3286-3293.

22 Garas A,Schweitzer F,Havlin S.A k-shell decomposition method for weighted networks.New Journal of Physics,2012,14(8)：083030.[doi：10.1088/1367-2630/14/8/083030]

23 Qin Y,Lu HC,Xu YQ,et al.Saliency detection via cellular automata.Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston,MA,USA.2015.110-119.

24 Wang QS,Zheng W,Piramuthu R.GraB：Visual saliency via novel graph model and background priors.Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,NV,USA.2016.535-543.