自適應(yīng)尺度顯著圖融合的紅外艦船檢測算法

樊宇亮，王 鋼，張佳巖

(哈爾濱工業(yè)大學(xué) 通信技術(shù)研究所，黑龍江 哈爾濱 150001)

0 引言

20世紀80年代以來，紅外熱成像技術(shù)快速發(fā)展，紅外目標探測技術(shù)也隨之得到了快速發(fā)展，得益于紅外圖像可以接收物體的紅外輻射進而被動成像，能夠在一定條件下無視天氣及煙霧等惡劣天氣的影響，具有巨大的優(yōu)勢，由于其被動成像的隱身效果和較強的抗環(huán)境影響等因素，使得紅外圖像在各個領(lǐng)域被廣泛使用，并使紅外圖像的處理分析成為新興的研究熱點。

因為紅外成像技術(shù)具有隱蔽性好、分辨率較高和靈敏度較高的優(yōu)點，現(xiàn)已是無人機偵察和精確制導(dǎo)領(lǐng)域的核心技術(shù)。海上紅外圖像艦船目標識別技術(shù)首先對海上艦船進行紅外探測并成像，利用數(shù)字圖像處理技術(shù)對圖像進行處理，從復(fù)雜的外界背景中對可能為艦船目標的區(qū)域完成檢測，并識別出是否為真實艦船目標。但是由于紅外探測器本身存在性能限制和內(nèi)部噪聲影響，再加上處于海上惡劣環(huán)境中，生成的圖像存在信噪比低、對比度低的現(xiàn)象。同時紅外成像設(shè)備多處于運動狀態(tài)，而艦船目標也多處于非靜止狀態(tài)，所以紅外艦船圖像又具有邊緣模糊、細節(jié)信息不清晰的問題。在實際場景中，探測器設(shè)備距離艦船目標較遠，造成目標成像面積比較小的局面，此時進行弱小目標和背景分離難度較大，難以實現(xiàn)實時有效的目標檢測[1]。

目標檢測作為目標識別研究中的先前內(nèi)容，具有關(guān)鍵的作用。該技術(shù)的主要思想是通過對像素處理或像素域變換處理來提取出可能為目標的區(qū)域，即感興趣的區(qū)域，并完成目標分割。完善的目標檢測可以提取出較好的候選目標區(qū)域，直接為目標特征提取降低了工作量，所以目標檢測一直以來是研究工作者的重點研究內(nèi)容。

近年來，對紅外艦船目標傳統(tǒng)識別方法也不斷改進。文獻[2]提出一種基于顯著性檢測和Hu不變矩特征的紅外艦船目標檢測方法，但是采用Hu特征的7個維度，提高了算法計算量；Zhang等人[3]為了解決傳統(tǒng)直方圖出現(xiàn)局部過度增強、噪聲放大問題，提出了一種利用利用局部熵映射直方圖自適應(yīng)分割的紅外圖像增強方法，利用LOESS算法和局部最小值檢驗將局部熵映射直方圖自適應(yīng)地分割成多個子直方圖；文獻[4]將圖像轉(zhuǎn)換到頻域，利用背景高頻分量和目標低頻分量分割圖像可抑制弱小目標的復(fù)雜背景區(qū)域，但是采用濾波器組太多，算法比較復(fù)雜。文獻[5]采用HOG特征提取加Adaboost分類算法，提高了識別率，但是用了部分學(xué)習(xí)網(wǎng)絡(luò)。文獻[1]基于離散余弦(DCT)背景建模實現(xiàn)海水背景抑制，提高了識別率，但是對復(fù)雜背景還存在局限性。文獻[6]提出了一種有效紅外艦船目標分割方法，主要分為迭代圖像分割和艦船目標選擇，主要是針對圖像像素值的分布，設(shè)計了一種全局背景減除濾波器，可以在一定程度上濾除背景，但由于迭代次數(shù)多算法耗時長。

顯著性檢測一直以來是也是研究熱門。文獻[7]針對低精度檢測問題，提出了一種視覺顯著性遙感船只檢測方法，先采用Scharr邊緣檢測算子提取輪廓，后用FT顯著性模型得到最終結(jié)果，在復(fù)雜背景圖像中精確度上有了提升。文獻[8]提出提取顯著性區(qū)域和精確分割目標結(jié)合的方法，先利用圖論的視覺顯著性(Graph Based Visual Saliency,GBVS)模型計算顯著圖，再結(jié)合艦船先驗信息，利用多級閾值分割提取顯著區(qū)域，最后用模糊C均值進行分割，算法準確率高，位置更精確。文獻[9]提出的改進ITTI視覺顯著性算法，特征圖集新增了全局對比度和局部方差，算法在準確率上提升，復(fù)雜度上也提升了。文獻[10]提出一種能快速集中注意力檢測感興趣區(qū)域的算法，針對運動目標，在ITTI模型中加入了運動特征，取得較好效果。文獻[11]采用基于小波多尺度變換方法生成小波金字塔，而且將顏色空間變換，每個通道的特征圖合成時采用不同權(quán)值?？偟膩碚f，針對紅外艦船目標識別方法非常之多，但是由于紅外圖像本身只有灰度信息、圖像信噪比較低、受溫度影響大和圖像模糊，所以研究出復(fù)雜背景、抑制噪聲能力強、識別率高和識別速度快的紅外目標識別算法仍然是任重道遠。

還有一些其他的紅外艦船檢測算法，文獻[12]提出一種基于貝葉斯理論和SVM相結(jié)合的紅外艦船目標檢測算法。貝葉斯理論估計信息不完全的部分未知的概率并進行修正，最終優(yōu)化決策采用期望值和修正的概率。文獻[13]提出一種改進的基于Haar小波的弱小紅外艦船檢測網(wǎng)絡(luò)，基于Haar小波分解加強對小目標特征的提取能力，利用Haar正逆變換設(shè)計模塊代替金字塔網(wǎng)絡(luò)的上采樣層和骨干網(wǎng)下采樣層，算法性能提高，但復(fù)雜度很大。文獻[14]針對最大模糊相關(guān)分割計算量大的特點，在分割前采用基于模糊熵的圖像增強技術(shù)提高對比度，為降低計算量，提出一種迭代策略，但不適用于硬件實現(xiàn)。綜上所述，紅外目標檢測方法眾多，但適用于紅外艦船目標的檢測算法有限，并存在諸多問題。

1 視覺顯著性檢測算法

圖像顯著性區(qū)域檢測一直是圖像處理和計算機視覺領(lǐng)域的熱門研究重點之一，其主要工作是引導(dǎo)計算機像人眼一樣可以快速定位圖像中的顯著性區(qū)域。視覺注意力模型表明人眼可以靈敏快速地對復(fù)雜場景做出反應(yīng)，場景信息在進入視覺系統(tǒng)，進行深入處理之前，會對場景中的信息進行選擇性輸入大腦深入處理，選擇性過程會降低對場景信息處理的復(fù)雜性，人眼會迅速聚焦在場景的一個局部顯著區(qū)域或者某個感興趣的區(qū)域，即注意焦點(Focus of Attention,FOA)，最終生成顯著圖。

1.1 基于ITTI模型檢測算法

基于ITTI模型的算法是一種基于視覺注意力機制的自底向上的顯著性目標檢測算法，能夠快速高效地提取場景中較為顯著的區(qū)域。該模型通過建立圖像高斯金字塔來生成不同尺度的圖像層，通過較為宏觀的角度來尋找顯著區(qū)域的所在，而不是通過對圖像中像素的特征來尋找顯著目標，所以這非常適用于在紅外艦船圖像這樣圖像整體較為模糊，缺少邊緣和紋理等細節(jié)信息的圖像場景。ITTI模型關(guān)注的是目標主體，通過特征圖來不斷地突顯出顯著目標區(qū)域，使得圖像中的目標和背景進行分離，進而得到艦船目標。模型算法整體較為簡單，主要分為構(gòu)建多尺度高斯金字塔、中央周邊差分操作和生成顯著圖三部分[15]，其基本流程如圖1所示。

圖1 ITTI模型流程Fig.1 ITTI model flowchart

(1) 構(gòu)建多尺度金字塔

首先通過對原始紅外艦船圖像做下采樣來構(gòu)建灰度高斯金字塔，金字塔從底部到頂部，圖層的分辨率越來越低，尺寸也越來越小。在對圖像進行下采樣操作之前首先對圖像進行高斯濾波，然后將卷積結(jié)果圖像的奇數(shù)行和列數(shù)據(jù)保留，偶數(shù)行和列像素均去掉，完成圖像下采樣，生成下一層的金字塔圖層。

(2) 中央周邊差操作

金字塔不同的圖層分辨率不同，最底層是原圖，有最高的分辨率，高分辨率可以反映出更多細節(jié)信息，越向上分辨率越低，低分辨率更能反映的是圖像的背景信息。上層的圖層可以看作是對應(yīng)原圖中一塊區(qū)域的代表，所以某個點和局部區(qū)域背景做差分，即金字塔中大尺度和小尺度圖像進行差分即可反映出局部區(qū)域的反差。對于灰度圖像采用亮度和方向兩個特征通道，公式如下：

I(c,s)=|I(c)-I(s)|,

c∈(2,3,4),s=s+σ,σ∈(3,4),

(1)

(2)

式中，“-”表示將兩圖像的尺寸調(diào)節(jié)到一致后做減法操作，I表示灰度信息特征圖集，O表示方向信息特征圖集，c、s分別代表中央大尺度和周邊小尺度，θ表示方向角度。

(3) 生成顯著圖

顯著性圖像通過圖像空間內(nèi)分布的顯著性區(qū)域來表示目標的顯著度。傳統(tǒng)方法會直接加權(quán)平均特征圖集生成顯著圖，人的注意力會受太多反差較強的區(qū)域，進而不集中，檢測效果影響較大，所以可采用歸一化方法。根據(jù)生物的側(cè)抑制機制，靳薇等人[16]提出新的歸一化算子N(·)，這樣做是為了削弱那些具有強反差區(qū)域較多的特征圖，突出那些強反差區(qū)域較少的特征差異圖。

1.2 基于HOU模型檢測算法

Barlow等人[17]在有效編碼假說中提出：感知系統(tǒng)的信號處理流程和外部信號的統(tǒng)計特性有非常緊密的相關(guān)性。感知系統(tǒng)的初級階段是去掉信號中的冗余信息，人腦可以從容地接收外界環(huán)境并適應(yīng)，主要是神經(jīng)元可以高效地忽略冗余信息，利用較低的資源使用量來表達更多的有效信息。

在一個圖像識別系統(tǒng)模型中，通過計算輸入圖像的統(tǒng)計相似性可以在很大程度上減少多余的非主要信息，因為信號之間的相似性表示著信息冗余。在紅外圖像中，圖像的log頻譜具有非常相似的分布趨勢，同時又較好的局部線性特性，所以在不同的log譜中不談相似部分，只分析有差異的部分。對于log頻譜和log頻率成圖是幾乎是一條直線，這樣紅外圖片的log振幅譜和平均log振幅譜做相減就能得到圖像的顯著性部分，即圖像顯著圖[18]，這個過程基于譜殘差，算法流程如圖2所示。

圖2 HOU模型流程Fig.2 HOU model flowchart

算法整體流程具體計算公式表達如下：

A(f)=|I[L(x)]|，

(3)

P(f)=arg(I[L(x)])，

(4)

(f)=lg(A(f))，

(5)

R(f)=(f)-hn(f)*(f)，

(6)

S(x)=g(x)*I-1[exp(R(f)+P(f))]2，

(7)

式中，A(f)為幅度譜，L(x)為圖像像素值，I為二維離散傅里葉變換，P(f)為相位譜，(f)為log幅度譜，R(f)為殘余幅度譜，hn(f)為一個n×n的均值濾波的卷積核，*為圖像卷積運算。

2 自適應(yīng)尺度融合算法

2.1 顯著圖融合

視覺顯著度代表了圖像特征的顯著程度。針對ITTI模型的顯著圖研究，可以發(fā)現(xiàn)在尺寸太小的目標場景中，過度下采樣會使得弱小目標隨著圖像金字塔的下采樣而逐漸丟失目標信息。與此同時，如果兩個目標離的很近，中央周邊差運算中使用的臨近插值會彌補目標間的縫隙，降低相鄰目標的區(qū)分度，所以對于弱小目標ITTI模型效果并不好，但是此模型可顯示出目標的主體亮度區(qū)域，對于目標的主體定位有顯著效果。ITTI模型原來采集亮度、方向和顏色三個特征通道的信息來得到顯著圖?，F(xiàn)在對于紅外艦船圖像多數(shù)是灰度圖像的情況，而且經(jīng)過仿真，方向特征圖在實驗中影響極小，所以改進算法采用亮度特征來生成顯著圖，在處理時間和內(nèi)存占用將降低為原來約1/3的工作量。

同時，HOU模型在速度上占明顯優(yōu)勢，但是顯著圖主要在目標的邊緣部分顯著，目標主體部分缺失較為嚴重，主要原因是HOU模型適用于目標很小而且邊緣較為明顯的場景，在紅外圖像進行圖像預(yù)處理，采用形態(tài)學(xué)濾波后可以在一定程度上增強邊緣細節(jié)，所以在顯著圖的生成方面，在基于HOU模型的基礎(chǔ)上，融合了亮度特征圖來補全HOU模型顯著圖主體缺失的不足，融合方式如下：

(8)

式中，S(x)是融合后顯著圖，L(x)是亮度特征顯著圖，H(x)是HOU模型顯著圖。

具體實現(xiàn)流程如下，流程圖如圖3所示。

(1) 計算亮度特征圖

將圖像的亮度信息作為輸入源，對原紅外艦船圖像做下采樣來構(gòu)建灰度高斯金字塔，然后進行中央周邊差操作，對小尺度圖像進行線性插值，然后不同圖層之間進行對點差分計算得到一組亮度特征圖集。然后根據(jù)歸一化理論進行歸一化并將特征圖集融合成一張?zhí)卣鲌D。

(2) 計算HOU顯著圖

將灰度圖像變換到頻域，計算log振幅譜并對其進行均值濾波，然后計算得到log殘差譜，通過進一步傅里葉逆變換將圖像從頻率域變換回空間域得到相應(yīng)的顯著圖。

(3) 加權(quán)融合

根據(jù)上文分析，將亮度特征圖和HOU顯著圖進行加權(quán)融合，這里權(quán)值可以根據(jù)傾向進行分配，對二者進行同等對待，取相同的權(quán)值，即各取一半進行加權(quán)融合，得到改進的顯著圖。

圖3 融合顯著圖實現(xiàn)流程Fig.3 Fusion saliency map implementation flowchart

2.2 自適應(yīng)尺度算法

在對單目標檢測時，采用ITTI算法生成高斯金字塔時，通過不斷對低層圖層進行下采樣得到，然后去除上一圖層的偶數(shù)行和列的像素點來實現(xiàn)。小尺度圖層的信息來源于大尺度圖層，并且隨著尺度的變小，圖層的細節(jié)、目標信息越來越少，反映的背景信息越來越多，因此過度的下采樣會導(dǎo)致高圖層的目標消失，造成部分的差分操作變得冗余，所以選取合適的金字塔圖層可以更好地適應(yīng)目標檢測。對于小目標來說，降低金字塔圖層不僅可以提高顯著圖的質(zhì)量，還能降低處理時延，所以提出了一種自適應(yīng)不同大小目標的檢測算法。

首先，為了對目標的大小進行定位，先計算了紅外艦船圖像的灰度直方圖。通過直方圖統(tǒng)計發(fā)現(xiàn)，目標和背景的像素都比較集中，呈現(xiàn)出兩個極大值波峰、目標亮度大而像素點較少、背景亮度小而像素點非常多的特點。目標各灰度值像素點數(shù)和背景各灰度值像素點數(shù)存在較大的差距，通過統(tǒng)計一定數(shù)量范圍內(nèi)不同灰度像素點的總數(shù)可以估計目標所占圖像的比例，從而在一定程度上可以判定目標的大小，進而作為選擇高斯金字塔尺度數(shù)量的依據(jù)。圖4為一幅紅外艦船圖像及其灰度直方圖，原圖為了視覺清晰，已進行反色，后續(xù)圖像均進行反色。

(a) 原圖

目標大小衡量指標采用SI表示，像素點數(shù)量臨界設(shè)為M，取M=10 000，定義為：

(9)

如果目標數(shù)量占到圖像總面積的1/4及以上，即可認為該目標為很大的目標，對于占比1/4的目標，采用9尺度金字塔，由于統(tǒng)計中背景灰度值過渡區(qū)域會有一部分背景像素計算入SI，所以將SI=0.3的圖像對應(yīng)9尺度金字塔，那么自適應(yīng)尺度可以表述為：

N=[30×SI],(N≥4),

(10)

式中，N為所求尺度，[ ]表示向上取整，N最低為4，低于4的都將按4進行計算。

根據(jù)中央周邊差操作，即式(1)中c∈(2,3,4)，σ∈(3,4)，兩個參數(shù)分別從2，3開始取，改進自適應(yīng)尺度算法的參數(shù)分別從1，3開始取，并且滿足s≤N，這也決定了N≥4，具體亮度差分公式如式(11)，通過中央周邊差分操作來求取亮度特征值。求取亮度特征圖實現(xiàn)流程如圖5所示。

(11)

圖5 自適應(yīng)尺度求亮度特征流程圖Fig.5 Flowchart of brightness characteristics obtained by adaptive scaling algorithm

3 仿真結(jié)果與分析

識別圖像采用公開的數(shù)據(jù)集IRShips，它是一個合成的紅外圖像數(shù)據(jù)集，旨在開發(fā)訓(xùn)練基于深度學(xué)習(xí)的算法，圖像由CounterSim使用虛擬攝像機在8～14 μm的波段生成，其中背景主要為海雜波、天空和背景其他雜波。該數(shù)據(jù)集的船上攝像機距離為1 000 m、1 111 m、1 250～10 000 m不等，方位角為0°～359°，攝像機俯仰角在0°、5°、10°。該數(shù)據(jù)集包含972 000張合成圖像，根據(jù)需要選取50張圖像作為樣本集，該樣本集參數(shù)如表1所示。

表1 圖像數(shù)據(jù)參數(shù)Tab.1 Image data parameter

通過對圖6的分析發(fā)現(xiàn)，對比圖6(a)、(c)可以發(fā)現(xiàn)，在采用自適應(yīng)尺度算法后，亮度特征圖對目標船體的檢測更加精確，圖6(a)中存在較大的邊緣模糊問題，而在圖6(c)中符合目標實際邊緣，在改進前后的顯著圖中也可以看出，改進自適應(yīng)尺度后，顯著圖中船體的邊緣輪廓更加精確，和實際更加吻合。其主要原因是算法改進之前采用統(tǒng)一的9尺度金字塔，在下采樣過程中，隨著采樣圖層尺寸的減小，后續(xù)的小尺度圖層相似度極高，只能反映出圖像低頻部分，即背景部分，而背景在小尺度圖像中反映出的信息相差很小，造成金字塔采樣出現(xiàn)冗余，中央周邊差操作重復(fù)，而且可能因為其中一個和周圍像素點灰度值變化大的像素點而使得特征圖變得模糊或目標丟失，這也是改進前圖像模糊的原因，可以看出改進后特征圖質(zhì)量明顯提高，因為金字塔圖層數(shù)量合理下降，自適應(yīng)尺度算法有更好的性能。

(a) 原亮度特征圖

從圖7(f)、(g)中可以驗證改進自適應(yīng)尺度算法有非常明顯的優(yōu)勢，而且面對有高復(fù)雜度背景干擾的紅外艦船圖像。從7圖(b)、(c)中看出ITTI模型算法識別區(qū)域偏大，是因為ITTI模型中是考慮了方向特征通道，而海面艦船圖像中，海浪波紋的方向性很強，會降低顯著圖的中目標的顯著度。從圖7(d)、(e)中看出HOU模型識別區(qū)域偏小，而且在復(fù)雜環(huán)境背景下，HOU模型的識別效果有限，并不能突顯出目標的顯著度。改進算法最符合目標所在定位，而且能比較精確地定位艦船目標的輪廓。

(a) 原圖

表2是圖7中原圖對應(yīng)不同算法的耗時長，所用平臺處理器為Intel(R) Core(TM) i5-6300HQ CPU @ 2.30 GHz，耗時長受處理器影響。

從表2可以看出，ITTI算法耗時非常長，難以在實際應(yīng)用中達到高速實時識別的目的。HOU模型算法保持了非常好的高速識別效果和低耗時性能。改進算法在性能提升的同時，雖然耗時比HOU模型增加了不到一倍，但也比較低，主要原因是提取了ITTI模型的亮度特征，并通過自適應(yīng)尺度改進，可以在一定程度上減少金字塔圖層數(shù)量和下采樣次數(shù)，減少了算法運算量，最終耗時長在可接受范圍內(nèi)。

表2 圖7中原圖不同算法耗時長Tab.2 Delay of different algorithms in the original image in fig.7

對公開紅外艦船數(shù)據(jù)集IRShips中所選的50幅圖像作為目標檢測的樣本集進行了測試，樣本中都加入了不同程度的背景干擾，有海雜波、海浪、天空、云層等干擾，以海面干擾為主。測試結(jié)果如表3所示。

表3中識別率計算來源于識別結(jié)果中包含目標中心區(qū)域的結(jié)果作為正確識別結(jié)果，這也驗證了視覺顯著性模型適用于目標較大的目標檢測。實際上，在復(fù)雜環(huán)境中，ITTI模型識別結(jié)果略微偏離目標區(qū)域，一般偏大，而HOU模型由于輪廓不連續(xù)導(dǎo)致識別率很低，有一部分原因是分割算法還不夠好。而改進算法完美克服了上述算法的不足，大大提高了識別率，可以達到94.0%，降低了漏檢率。

表3 不同算法檢測結(jié)果Tab.3 Detection results of different algorithms

4 結(jié)束語

根據(jù)紅外圖像灰度不均勻且模糊的情況，重點研究了基于視覺顯著性檢測的紅外圖像艦船目標檢測算法，詳細研究了ITTI模型和HOU模型識別算法對紅外目標檢測的適用性和其各自的特點。提出了一種融合顯著圖生成的算法，在HOU模型識別輪廓清晰和識別速度快的基礎(chǔ)上加入了ITTI模型的亮度特征，彌補了HOU模型識別出現(xiàn)目標主體部分缺失的問題，提高了識別率，并在一定程度上體現(xiàn)了高速識別的特性。針對亮度特征圖生成過程中出現(xiàn)尺度過采樣的情況，提出了一種基于直方圖的自適應(yīng)尺度算法，算法通過自適應(yīng)降低圖像金字塔采樣尺度的數(shù)量來減少小尺度圖層的冗余，可以有效地適用于不同大小目標的識別，提高了識別率和精確率。