基于GCF-SB視覺注意模型的紅外目標檢測算法*

王楓寧， 宋 勇*， 趙宇飛， 楊 昕， 張子爍

0 引 言

復雜背景紅外圖像具有對比度較低、目標邊緣模糊等特點.同時，背景噪聲可能導致紅外圖像中局部區(qū)域的灰度值高于目標區(qū)域，從而使顯著性目標檢測精度發(fā)生下降[1].上述因素導致紅外圖像的目標顯著性檢測成為一項具有挑戰(zhàn)性的任務[2-3].

目前，顯著性目標檢測算法可分為經(jīng)典顯著性目標檢測算法和基于深度學習的顯著性目標檢測算法兩類[4].其中，經(jīng)典顯著性目標檢測算法主要包括3種類型：(1)具有內(nèi)部線索的基于塊的模型[5]；(2)具有內(nèi)部線索的基于區(qū)域的模型[6]；(3)具有外部線索的模型[7].此類算法首先確定圖像的顯著圖，然后將其從圖像中分割出來，從而實現(xiàn)顯著圖檢測.此外，基于深度學習的顯著性目標檢測算法[8]利用了卷積神經(jīng)網(wǎng)絡多層次和多尺度的特性，無需任何先驗知識即可準確獲取顯著性目標.此類算法主要分為兩類：(1)基于經(jīng)典卷積網(wǎng)絡的模型[9]；(2)基于完全卷積網(wǎng)絡的模型[10].

然而，上述兩類算法多數(shù)針對可見光圖像，在處理紅外圖像時，易受噪聲影響而出現(xiàn)誤檢，導致檢測精度下降[11].針對上述問題，雖然一些研究者提出了專門針對紅外圖像的顯著性目標檢測算法，但存在不同程度的局限性.其中，文獻[12]提出了一種局部對比度測量算法(local contrast measure, LCM).該算法將圖像劃分為小塊，并通過計算每個小塊與周圍塊之間的對比度來檢測目標位置，然而該算法的計算量較大；文獻[13]提出了一種基于紅外顯著性的艦船檢測算法，該算法可以較好地檢測艦船目標，但對除艦船以外的目標，該算法的檢測能力有限，不具有普適性；文獻[14]提出了一種基于方向顯著性的算法，該算法分別利用Facet模型和傅里葉變換的相位譜(phase spectrum of fourier transform, PFT)計算二階有向?qū)?shù)(second-order directional derivative, SODD)特征圖和方向顯著性特征圖，最后通過融合兩個特征圖計算目標總的顯著性特征圖.該算法雖具有較好的目標檢測能力，但當顯著區(qū)域的信噪比較低時，其性能會降低.

另一方面，視覺注意機制可使人腦快速找到感興趣的區(qū)域并獲得有用的信息[15]，具有突出顯著目標等特性，在顯著性目標檢測領域具有突出優(yōu)勢.已有的視覺注意模型可分為兩類.一類是基于特征提取的視覺注意模型，包括Itti視覺注意模型[16]和基于圖的視覺顯著性(graph-based visual saliency, GBVS)模型[17]等.其中，Itti模型首先按不同特征通道和不同尺度提取輸入圖像的顯著圖，然后將這些顯著圖融合，得到最終顯著圖；GBVS模型則在獲取顯著圖的過程中引入了馬爾可夫鏈，并采用了數(shù)學計算方法.另一類是基于數(shù)學計算的視覺注意模型.如Achanta 等[18]提出的基于全分辨率的視覺注意模型，該模型通過計算圖像區(qū)域相對于鄰域不同比例的局部對比度獲得顯著性特征圖；HOU等[19]提出的基于頻譜殘差(spectral residuals, SR)的視覺注意模型，該模型通過在頻域中執(zhí)行傅立葉逆變換獲得顯著性特征圖.需要說明的是，上述視覺注意模型雖具有目標增強和背景抑制能力，但其主要根據(jù)可見光圖像的顏色特征和形狀特征進行處理.對于具有復雜背景和低對比度的紅外圖像，上述模型的檢測精度難以保證.

基于上述分析，本論文提出了一種基于灰度對比度特征-相似性貝葉斯(gray & contrast features-similarity-based Bayes, GCF-SB)模型的紅外顯著性目標檢測算法，該算法包括特征提取層和概率估層.其中，特征提取層主要利用GCF模型實現(xiàn)初級顯著圖檢測.利用灰度特征通道和對比度特征通道分別提取輸入圖像的灰度和對比度特征，然后通過特征融合得到輸入圖像的初級顯著圖；概率估計層主要利用SB模型實現(xiàn)最終顯著圖檢測.首先根據(jù)特征提取層獲得的初級顯著圖分別計算目標和背景的先驗概率和似然函數(shù)，然后利用貝葉斯公式計算最終顯著圖，實現(xiàn)圖像的顯著性目標檢測.實驗結果表明，與SUN，F(xiàn)S，SeR，LC，RC，RST和DS等7種對比算法相比，所提出算法可有效降低紅外圖像噪聲、增強對比度，具有較高的目標檢測精度和魯棒性.

1 GCF-SB視覺注意模型

圖1為本論文所建立的GCF-SB模型的流程圖，包括特征提取層和概率估計層兩個層級.

在特征提取層，主要通過GCF模型得到圖像的初級顯著圖.其中，灰度特征提取采用均值漂移(Mean-shift)方法實現(xiàn)，根據(jù)圖像的灰度分布，通過均值漂移對圖像的像素點進行分類，將輸入紅外圖像分割成不同灰度等級的區(qū)域，同時保持各分割區(qū)域中的內(nèi)部細節(jié)[20]，實現(xiàn)輸入圖像的灰度特征提取；對比度特征提取采用側抑制網(wǎng)絡(lateral inhibition network)方法實現(xiàn)，通過側抑制模板對輸入圖像進行濾波，可增強圖像的對比度、抑制背景噪聲并突出邊緣等，實現(xiàn)輸入圖像的對比度特征提??；提取圖像的灰度和對比度特征圖后，將兩個特征圖相乘，進行特征融合，實現(xiàn)輸入圖像的初級顯著圖提取.

在概率估計層，主要通過SB模型實現(xiàn)最終顯著圖檢測.首先，根據(jù)特征提取層獲得的初級顯著圖計算圖像中目標和背景部分的先驗概率和似然函數(shù)，然后利用貝葉斯公式計算最終顯著圖，得到輸入圖像的顯著性目標檢測結果.另一方面，利用貝葉斯公式計算圖像的顯著圖具有計算量小、結果直觀等優(yōu)勢.然而，常規(guī)貝葉斯公式通?；诮?jīng)驗知識進行先驗概率的計算，對于背景復雜、對比度較低的圖像，其顯著圖計算的準確性較低.針對這一問題，本論文根據(jù)特征提取層中獲得的初級顯著圖(而非經(jīng)驗知識)計算先驗概率，從而提高了顯著圖計算的準確性.

2 基于GCF-SB視覺注意模型的紅外顯著性目標檢測算法

2.1 GCF模型

如圖2所示，GCF模型主要包括灰度特征提取、對比度特征提取和特征融合.在灰度特征提取和對比度特征提取中分別采用均值漂移法和側抑制法.Meanshift方法可以將紅外圖像分割成多個不同灰度級的區(qū)域，同時很好地保留了圖像的內(nèi)部細節(jié)，LI方法可以有效地增強目標邊緣.將上述方法相結合，有利于抑制背景噪聲，突出目標.

圖2 GCF模型顯著圖檢測示意圖Fig.2 Schematic diagram of GCF model

2.1.1 灰度特征提取

利用均值漂移方法提取圖像的灰度特征，即根據(jù)圖像的灰度分布對圖像中的像素點進行歸類.對于輸入圖像中的任一像素點A，首先找到該像素點的類標簽和相應的類中心B，然后將像素點A的灰度值賦為B的灰度值，即Ag=Bg.其中，Ag和Bg分別表示像素點A和B的灰度值.

搜索一個像素點的類中心需要經(jīng)過多次迭代，單次迭代過程如下：

在第k+1次迭代中，類中心像素點的位置為

(1)

(2)

當相鄰兩次迭代結果的類中心位置不變或類中心的灰度變化值在給定閾值之內(nèi)時，搜索將停止，具體的條件如下：

(3)

或

(4)

然后，將像素點(x,y)的灰度值賦為其類中心的灰度值Bg(x,y)，即可獲得灰度特征圖，即

G(x,y)=Bg(x,y).

2.1.2 對比度特征提取

側抑制網(wǎng)絡具有增強對比度、抑制背景并突出邊緣等特性，可用于圖像的對比度特征提取.所提出算法通過模板卷積核L對輸入圖像進行濾波獲得對比度特征圖，公式如下：

(5)

其中，I(x,y)是輸入圖像，C(x,y)是由側抑制網(wǎng)絡模板L濾波后的圖像，即對比度特征圖，側抑制網(wǎng)絡模板L為

2.1.3 特征融合

分別在兩個通道內(nèi)進行灰度特征提取和對比度特征提取，獲得輸入圖像的灰度特征圖G(x,y)和對比度特征圖C(x,y).然后，將這兩個特征圖相乘，得到初級顯著圖F(x,y)：

F(x,y)=G(x,y)×C(x,y)

(6)

2.2 SB模型

基于雙層視覺注意模型的面目標檢測算法的概率估計層進行最終顯著圖檢測.首先，根據(jù)特征提取層獲得的初級顯著圖計算先驗概率和似然函數(shù)，然后利用貝葉斯公式計算最終顯著圖，實現(xiàn)輸入圖像的目標檢測.顯著圖檢測的具體流程如圖3所示.

圖3 SB模型顯著圖檢測示意圖Fig.3 Schematic diagram of SB model

2.2.1 先驗概率的計算

在輸入圖像中，任一像素點A均有兩個先驗概率，即該像素點屬于目標的先驗概率P(T)和該像素點屬于背景的先驗概率P(B)，分別表示該像素點為目標或背景的概率估計.

如圖3所示，對于像素點屬于目標的先驗概率P(T)的計算，首先從初級顯著圖中提取特征點S1,S2,…，SN，其中N為特征點的數(shù)量；然后通過計算像素點A和N個特征點S1,S2,…，SN之間的平均相似度，用以確定像素點A屬于目標的先驗概率P(T).其中，平均相似度的計算綜合考慮了當前像素點與特征點之間的灰度距離和空間距離，有利于提高先驗概率計算結果的準確性.像素點屬于目標先驗概率P(T)的計算公式為：

(7)

式中，Dgray(A,Si)和Dspatial(A,Si)分別表示像素點A與第i個特征點Si之間的灰度距離和空間距離.特別地，當Dgray(A,Si)+Dspatial(A,Si)=0時，令1/(Dgray(A,Si)+Dspatial(A,Si))=1.Dgray(A,Si)和Dspatial(A,Si)由式(8)計算

(8)

在輸入圖像中，任一像素點只能屬于目標或背景，因此像素點屬于背景的先驗概率P(B)為

P(B)=1-P(T).

2.2.2 似然函數(shù)的計算

與先驗概率類似，對于任一像素點A，其似然函數(shù)也有兩種類型，分別為P(A|T)和P(A|B).

P(A|T)表示在已知目標區(qū)域的情況下像素點A屬于目標的概率.如圖3所示，首先，根據(jù)初級顯著圖得到輸入圖像的估計目標區(qū)域；然后，搜索估計目標區(qū)域中灰度值為該區(qū)域所有灰度值中位數(shù)的像素點Tmd；最后，計算像素點A和Tmd之間的相似度，得到像素點A的目標似然函數(shù)P(A|T).同樣地，A和Tmd之間的相似度計算考慮了其灰度距離和空間距離.P(A|T)的計算公式如下

(9)

式中，Dgray(A,Tmd)和Dspatial(A,Tmd)分別表示像素點A與灰度值為估計目標區(qū)域中所有像素的灰度值中位數(shù)的像素點Tmd之間的灰度距離和空間距離，計算方式如下

(10)

P(A|B)表示在已知背景區(qū)域的情況下像素點A屬于背景的概率.類似地，首先，根據(jù)初級顯著圖獲得輸入圖像的估計背景區(qū)域；然后，搜索估計背景區(qū)域中灰度值為該區(qū)域所有灰度值中位數(shù)的像素點Bmd；最后，計算像素點A和Bmd之間的相似度，得到像素點A的背景似然函數(shù)P(A|B).考慮到圖像中的背景區(qū)域通常比較分散，在計算像素點A和Bmd之間的相似度時，僅考慮像素點A和Bmd之間的灰度距離，而未考慮空間距離，即

(11)

其中，Dgray(A,Bmd)表示像素點A與估計背景區(qū)域中灰度值中位數(shù)像素點Bmd之間的灰度距離.

2.2.1 最終顯著圖計算

利用兩個先驗概率P(T)、P(B)和兩個似然函數(shù)P(A|T)、P(A|B)，利用貝葉斯公式計算像素點A屬于目標的概率P(T|A)，如下式：

(12)

按照上述步驟處理圖像中每個像素點，得到圖像中各像素點屬于目標的概率分布，即為輸入圖像的最終顯著圖.

3 實驗及結果

選擇SUN[21]，F(xiàn)S[22]，SeR[23]，LC[24]，RC[25]，RST[26]和DS[27]七種算法作為對比算法，與所提出的基于雙層視覺注意模型的面目標檢測算法進行對比實驗.采用受試者工作特性(receiver operating characteristic, ROC)曲線[28]對算法的目標檢測性能進行評估，ROC曲線可直觀地顯示不同虛警率(false positive rate, FPR)下對應的檢測率(true positive rate, TPR)值.同時，利用ROC曲線對應的曲線下面積(area under curve, AUC)值[29]對目標檢測性能進行定量評估，AUC值為ROC曲線所覆蓋的區(qū)域面積，即在坐標軸中處于曲線下方部分的面積.

利用所提出算法和7種對比算法對八幅實驗圖像進行目標檢測，得到如圖4所示結果.

圖4 典型復雜背景圖像的目標檢測對比結果Fig.4 IR saliency detection results of eight methods

如圖4所示，7種對比算法中，SUN能夠檢測到目標的位置，然而其檢測結果的輪廓較為模糊，且丟失了內(nèi)部細節(jié)；FS僅能檢測到部分圖像中目標的輪廓；SeR僅能檢測到部分圖像中目標的大致位置，且噪聲抑制能力較弱；LC的結果相對較好，但是噪聲抑制能力同樣較弱；RC、RST和DS算法的檢測性能相對較好，然而僅對部分圖像具有較好的檢測效果(如RC對圖像(h)、RST對圖像(e)和DS對圖像(c)，(f)，(g)，(h)的檢測結果較差).所提出的基于DL視覺注意模型的面目標檢測算法不僅可以有效地降低噪聲并增強圖像對比度，而且可以保留完整的目標輪廓，總體性能優(yōu)于7種對比算法.

圖5為7種對比算法和所提出算法對8幅實驗圖像的面目標檢測結果進行評估得到的ROC曲線圖，表1所示為對應的AUC值.

圖5 基于典型復雜背景圖像的ROC曲線對比結果Fig.5 ROC curves of the eight methods

表1 基于典型復雜背景圖像實驗結果的AUC值Tab.1 AUC values of the proposed and comparison methods

為了驗證所提出算法的魯棒性，本論文采用公共數(shù)據(jù)集進行了對比實驗.選擇來自 OTCBVS Benchmark Dataset Collection中的3個紅外圖像數(shù)據(jù)集作為實驗對象，包括 Dataset 01: OSU Thermal Pedestrian Database，Dataset 05: Terravic Motion IR Database(部分使用)和Dataset 06: Terravic Weapon IR Database.表2中列出了這3個數(shù)據(jù)集的詳細信息.

表2 實驗所用數(shù)據(jù)集信息Tab.2 Details of three datasets in the experiment

圖6示出了8種方法對來自上述數(shù)據(jù)集的4個代表性圖像的檢測結果，如圖6所示，7種對比算法中，SUN和SeR能夠檢測到紅外目標的大致位置，然而檢測結果的輪廓模糊；FS僅能檢測到部分圖像中目標的部分輪廓，檢測效果較差；LC和RC的檢測結果相對較好，但噪聲抑制能力比較弱；RST和DS的檢測性能不穩(wěn)定.所提出的基于GCF-SB模型的紅外顯著性目標檢測算法不僅能有效降低噪聲、增強對比度，而且可以保留目標輪廓的完整性，總體性能優(yōu)于7種對比算法.

圖6 基于數(shù)據(jù)集的顯著性目標檢測對比結果Fig.6 IR saliency detection results of eight methods of theexperiment using datasets

圖7和表3是相應的接收機工作特性(ROC)曲線和曲線下面積(AUC)值.

圖7 基于數(shù)據(jù)集的ROC曲線對比結果Fig.7 ROC curves of the eight methods based on the three datasets

表3 基于數(shù)據(jù)集實驗結果的AUC值Tab.3 AUC values of the proposed and comparison methods of the experiment using datasets

由圖7和表3同樣可看出：對于所有實驗圖像，F(xiàn)S算法的AUC值都很小，平均值僅為0.5918；LC、RC、RST和DS算法的AUC值不穩(wěn)定，對于圖像(b)，LC、RC和DS的AUC值僅為0.6341、0.5664和0.7935，對于圖像(c)和(h)，RST的AUC值僅為0.7551；SUN和SeR算法的性能相對較好，且AUC值穩(wěn)定在較高水平，分別為0.8611和0.9674.相比七種對比算法，所提出的算法具有最高的平均AUC值(0.9729).同時，對于所有的實驗圖像，所提出算法得到的AUC值均處于較高水平.

4 結 論

本論文提出了一種基于GCF-SB視覺注意模型的紅外顯著性目標檢測算法.該算法通過GCF模型進行圖像的初級顯著圖提取，輸入圖像在灰度通道和對比度通道中并行處理，得到輸入圖像的灰度特征圖和對比度特征圖，然后通過特征融合獲得初級顯著圖；通過SB模型提取圖像的最終顯著圖，根據(jù)初級顯著圖計算目標部分和背景部分的先驗概率和似然函數(shù)，然后利用貝葉斯公式計算最終顯著圖，從而實現(xiàn)圖像的目標檢測.實驗結果表明，所提出算法不僅能突出目標輪廓，抑制背景雜波，而且能保持目標輪廓的完整性，最終實現(xiàn)高檢測精度和魯棒性的紅外顯著性目標檢測.