基于貝葉斯框架的顯著物體檢測*

黃煒亮 段先華

（江蘇科技大學 鎮(zhèn)江 212003）

1 引言

顯著物體檢測旨在能夠完整檢測出可能由幾個不同性質(zhì)的區(qū)域共同構成的顯著物體，完整的顯著物體檢測結果為后期的目標識別、跟蹤等任務提供了重要的先驗信息，特別是許多實際場景的應用［2～3］。顯著物體檢測已經(jīng)在越來越多的實際環(huán)境或復雜場景的數(shù)據(jù)集中得到了成功的應用，提高了圖像識別理解等計算機視覺工作計算的準確率。

傳統(tǒng)的視覺顯著性將研究重點放在符合視覺原理的數(shù)學模型的建立與理論的優(yōu)化上，然而研究工作大多沒有和實際場景下的具體應用結合起來［1］，這些數(shù)學模型在具體場景應用中很難發(fā)揮出顯著性的優(yōu)勢。如Itti［4］等較早提出基于中心-周圍環(huán)繞對比度的顯著性模型，其主要包括特征提取、最終顯著圖合成、視覺注意焦點選擇和轉(zhuǎn)移三個階段，最終提取出分辨率較低的顯著性邊緣等信息。Harel［17］等通過歸一化 Itti等的特征圖，突出了圖像的顯著區(qū)域，并且計算所得的顯著圖可與其它顯著圖像進行融合。Achanta［10］等提出一種基于頻率調(diào)協(xié)的算法，以此獲取多尺度的顯著性區(qū)域檢測結果。Hou［21］等提出一種基于頻域普殘差的顯著性計算模型，計算效率較高。以上兩種算法均通過在頻域中計算頻譜差異作為該位置的顯著性度量，速度雖然較快，然而計算過程無法用生物視覺原理解釋，且檢測精度較低。Bruce等認為人們傾向于注意哪些場景中具有較高不可預測性的區(qū)域，而這種不可預測恰恰可以用該區(qū)域相對于場景整體的自信息（self-information）來度量，即顯著性正比于自信息，由此而提出了視覺注意的信息最大化模型。與Bruce的工作不同，Zhang［25］等認為信號的顯著性可以由其自身的不可預測性（自底向上）和其對目標的預測能力（自頂向下）來共同衡量，并可以由貝葉斯推理計算得出。Lu［19］等綜合考慮圖像低層信息（像素點）和中層信息（超像素），通過凸包粗糙檢測以及貝葉斯融合得到了檢測精度較高的顯著圖。

綜上所述，傳統(tǒng)的顯著性模型大多重視局部顯著性的計算，以像素點為基本計算單元，檢測出顯著物體邊緣或角點等區(qū)域［1，19］。另一方面，傳統(tǒng)顯著性數(shù)學模型的表示方式過于單一，通過傳統(tǒng)的特征融合原理（Feature Integration Theory，F(xiàn)IT）綜合顯著性特征圖，很難完整地表述復雜的視覺場景處理過程中許多重要信息。因此，傳統(tǒng)視覺顯著性方法更多的注重理論研究，很難將視覺場景中目標物體完整檢測出來，無法應用于實際應用場景中。

為解決以上問題，本文提出一種基于貝葉斯框架的顯著物體檢測算法，通過引入圖像中層超像素信息，使得算法不僅僅是檢測顯著物體的邊緣和角點等信息，而是以顯著物體整體為目標從圖像中完整分割出來。同時通過似物性模型計算顯著物體出現(xiàn)的大致區(qū)域，作為位置信息。最終通過貝葉斯框架［25］融合自底向上的顯著性、位置信息和自頂向下的顯著性，計算得到最終的顯著物體。

2 基于貝葉斯框架的顯著物體檢測

2.1 超像素級顯著性方法

顯著性計算底層依賴于不同特征之間的比較，也即對比度法則［1，4］。各特征之間的對比度值是反應局部區(qū)域和周圍環(huán)境差異的關鍵因素，對比度大則能夠引起人們注意。這種對比度差異可以是顏色特征之間的、紋理特征之間的或者是形狀等特征之間的，對比區(qū)域可以是局部的也可以是全局的，局部對比度往往更關心中心與周圍區(qū)域的差異程度，差別越大則說明該位置對人眼的刺激程度越大。而全局對比度則計算的是中心區(qū)域與整個場景的差別程度。對比度差異可以在空間域中計算，也可以在頻域中計算，如Hou［21］等通過頻域中頻譜差異計算不同區(qū)域的顯著程度。

本文通過計算像素點之間的顏色對比度得到像素級顯著性信息，由于CIELab空間更符合人眼視覺機制，因此將原圖像從RGB空間轉(zhuǎn)換到CIELab空間，計算每個像素點xi的全局對比度值，，N為圖像中像素總數(shù)：

將計算出的像素級顯著性值進行Min-Max標準化處理，得到歸一化后的像素級顯著性。由于單個像素點無法保存過多的關于視覺場景內(nèi)目標物體本身的重要信息，而過分割后的圖像中超像素能完整地保留了前景目標物體邊緣結構化等信息，因此本文對過分割后的超像素內(nèi)所有像素點的顯著值累加取均值，作為該超像素的顯著值：

由于超像素具有空間一致性、緊致性等特性，本文基于相鄰超像素之間的緊致性與顏色關系，通過拉格朗日函數(shù)優(yōu)化超像素級顯著性：

圖1 超像素級顯著圖

2.2 似物性位置信息計算

傳統(tǒng)的目標檢測常使用滑動窗口（slidingwindow）法，然而滑動窗口計算量巨大，耗時較高，在不同場景圖像上的實驗表明對單個目標的檢測常常需要消耗104-105個窗口，針對多個目標的場景下檢測則多達106-107個窗口［2～3］。而一般環(huán)境下經(jīng)常含有多個目標，多尺度滑動窗口檢測方法效率低下，預處理階段的巨大計算資源開銷使得許多與目標檢測有關的圖像處理任務最終效果較差。為解決不同場景下目標檢測效率較低與檢測質(zhì)量較差的問題，研究人員提出目標建議（objectproposal）方法，又稱為似物性檢測。目前，各種似物性模型在PASCAL、ImageNet、MSCOCO等數(shù)據(jù)集上均得到了較高的檢測精度，不僅成為支撐圖像檢測、識別、理解等許多圖像領域任務的重要方法，也是目前流形的深度神經(jīng)網(wǎng)絡的一種重要的輸入特征［4］。

本文通過Alexe［12］等提出的通用似物性度量Objectness計算目標物體出現(xiàn)的概率，作為物體粗糙檢測，為后文貝葉斯框架融合提供物體位置信息。原始Objectness中使用SR［21］顯著性作為生成似物性窗口的特征之一，SR方法使用傅里葉變換生成的普殘差計算全局顯著性，生成整幅圖像 f的感興趣區(qū)域。顯著圖I以及每個像素點 p的關系如下：

圖2 似物性檢測結果

2.3 貝葉斯顯著性融合

傳統(tǒng)的顯著性檢測方法常通過利用視覺機制相關原理，如“中心偏置”或者“中心環(huán)繞對比度”計算像素點局部或全局對比度值，而后通過傳統(tǒng)的特征融合機制綜合不同的對比度計算結果，生成最終的顯著圖。如Itti［4］等提出的基于生物視覺原理的檢測方法，將不同的特征圖（亮度I、顏色C、方向O）經(jīng)過線性綜合，得到最終的顯著圖。

然而，特征融合機制并不能很好地符合人眼視覺原理，生成的顯著圖中僅考慮到圖像低層信息，單個像素點無法完整地保留物體整體輪廓，因此僅能提取出圖像邊緣角點等信息。為解決以上問題，本文通過貝葉斯框架融合前文生成的超像素級顯著性以及目標物體位置信息，最終計算出顯著物體后驗概率。

當在視覺場景中搜索顯著物體obj時，基于Zhang等的假設：該顯著物體obj的顯著程度可以由物體顯著性特征和位置信息共同決定。本文以超像素級顯著性和似物性信息 pi為先驗知識，檢測顯著物體，具體計算過程如下：

假設目標物體的顯著性特征和位置信息彼此相互獨立，通過條件獨立簡化式（8）：

對上式取對數(shù)，得到：

由于原始Objectness方法中顯著性特征是通過在頻域計算普殘差的SR方法得到，與本文在空間域計算對比度的思想不一致，為保證超像素內(nèi)顯著值性質(zhì)相同，本文優(yōu)化原始似物性度量，刪除Objectness中的SR方法，并將原打分函數(shù)替換為本文的貝葉斯后驗，在超像素級顯著圖中搜索分數(shù)最高的區(qū)域作為最終檢測出的顯著物體。

3 實驗結果與分析

本文的超像素級顯著性方法和顯著物體檢測方法均在標準數(shù)據(jù)集MSRA-1000上與其他方法進行對比實驗。MSRA-1000含有豐富的場景，圖像顏色特征明顯，并由Achanta［7］實驗室提供真值圖（Ground-Truth），以便客觀地評估性能。實驗中將本文顯著性方法與8種影響廣泛的顯著性方法對比 ，分 別 為 Itti［1］，GBVS［19］，SR［24］，F(xiàn)T［7］，Context-Aware［22］，LTD［2］，SEG［20］和 Lu［21］。將本文顯著物體檢測算法與原始Objectness對比，所有實驗結果均通過原作者提供的實驗源碼運行得到。

3.1 超像素級顯著性方法實驗及分析

在state-of-the-art顯著性方法中選取最具代表性且性能較好的8種與本文顏色顯著性方法實驗比較。其中Itti、GBVS、SR、FT均為采用視覺機制自底向上的傳統(tǒng)方法，SR和FT在頻域計算對比度。Context-Aware綜合全局和局部特征，是傳統(tǒng)顯著性研究中檢測精度最高的方法。LTD是檢測顯著物體的方法，本文與該算法中的多尺度顯著性對比。SEG和Lu都采用了貝葉斯模型作為整體框架融合多個目標對象特征檢測顯著物體，值得一提的是Lu方法中同樣綜合考慮了圖像低層和中層信息，檢測效果明顯高于其他幾種，本文與以上8種方法的顯著圖和PR曲線比較，如圖3～5所示。

從以上的顯著性圖對比分析可以看出，傳統(tǒng)顯著性模型僅能檢測出目標對象的邊緣或角點等信息，無法將顯著物體完整地從視覺場景中分割出來。不同于傳統(tǒng)的顯著性算法，本文超像素級顯著性模型綜合考慮了圖像中層超像素信息，又經(jīng)過相鄰超像素間的緊致性及RGB顏色關系優(yōu)化，使得顯著圖中目標前景更加突出，從以上的顯著圖實驗中可以看出本文算法分割效果明顯好于其他8種方法。

圖3 在MSRA-1000數(shù)據(jù)集上的顯著圖對比

圖4 在MSRA-1000數(shù)據(jù)集上的顯著圖對比

本文使用PR曲線對比分析不同方法的檢測準確率，假設B、S分別表示顯著區(qū)域的二值化基準圖和顯著區(qū)域檢測算法生成的并被閾值二值化的顯著圖，PR精度計算公式和PR精度曲線如式（11）及圖5所示。

從以上的PR曲線可以看出，在頻域中計算的FT和SR方法精度最低，同樣使用貝葉斯框架融合多種特征的SEG和Lu方法精度相對高于其他幾種，Lu方法中也加入了超像素信息計算顯著值，然而其使用角點作為興趣點構建凸包作為顯著物體的粗糙檢測區(qū)域，從顯著圖中可以看出，顯著物體周圍存在大量由于異常興趣點構建的誤檢區(qū)域，對最終檢測精度造成極大的影響，而本文顯著性方法通過綜合考慮圖像中層超像素所帶有的目標對象邊緣結構信息，結合超像素間臨域關系及空間一致性等性質(zhì)，使得優(yōu)化后的顯著圖能夠從視覺場景中完整地分割出顯著物體，而不僅僅是邊緣角點等信息，檢測精度也高于其他幾種方法。

圖5 在MSRA-1000數(shù)據(jù)集上的PR曲線

3.2 本文顯著物體檢測結果及分析

圖6 在MSRA-1000數(shù)據(jù)集上的最終顯著物體檢測對比

原始Objectness方法中僅考慮到物體邊緣、顏色、位置和頻域顯著性特征，丟失了物體在空間域中以顯著物體為目標的任務驅(qū)動型自頂向下顯著性信息，而本文算法通過貝葉斯框架融合超像素級顯著性、似物性和自頂向下顯著性信息計算得到符合人眼視覺原理的顯著物體貝葉斯后驗信息，并以此為評分標準，在超像素級顯著圖中搜索得到較完整的顯著物體。從以上的實驗結果可以看出，Objectness方法僅能檢測出顯著物體部分信息，因此該方法常用作顯著物體的粗糙檢測，提供顯著物體位置等先驗知識。而本文算法使用似物性作為粗糙檢測，綜合考慮圖像中層超像素結構信息，實驗表明本文算法能檢測處于多個不同性質(zhì)區(qū)域的顯著物體，較完整地分割出顯著物體整體。

4 結語

傳統(tǒng)顯著性方法僅能檢測出目標物體邊緣或角點等方面信息，丟失了大量物體內(nèi)部數(shù)據(jù)，為解決以上問題，本文考慮以超像素為基本單元，而不只是單個像素點信息，綜合考慮超像素之間的臨域關系，優(yōu)化得到超像素級顯著圖。其次，利用通用似物性度量計算目標物體粗糙檢測區(qū)域，避免了傳統(tǒng)滑窗法巨大的時間開銷問題，給出目標物體位置信息。最后通過貝葉斯框架融合超像素自底向上顯著性、位置信息和自頂向下顯著性信息，計算得到顯著物體貝葉斯后驗概率，并以此為本文優(yōu)化后的似物性方法評分標準。從實驗結果可以看出本文超像素級顯著圖精度明顯高于其他8種一流算法，在顯著圖上的搜索最終能夠完整分割出顯著物體。