基于視覺顯著性和區(qū)域生長的紅外目標提取方法

楊 爽,徐宏宇,唐澤坤

(沈陽航空航天大學 電子信息工程學院,沈陽 110136)

隨著現(xiàn)代計算機處理能力的不斷增強,紅外成像技術(shù)無論在軍事范疇還是民用范疇都越來越受到人們的重視與應(yīng)用。由于紅外圖像低信噪比低分辨率等特點,并且目標提取是目標識別的前提,紅外目標提取具有很大的研究價值。由于圖像目標提取應(yīng)用廣泛,獲得大量學者的重視并對此進行了研究,至今提出的方法已多達上千種[1-2]。由于不同類型圖像成像原理以及拍攝環(huán)境不同,沒有對于目標提取的通用框架,所以圖像目標提取仍是圖像處理領(lǐng)域中的難點。

區(qū)域生長算法是由Zucker在1976年提出的[3]。區(qū)域生長就是對一像素或一小區(qū)域不斷以一定的準則擴充其邊界的過程,選擇合適的生長點、規(guī)定相似性準則即生長準則及確定生長停止條件是它主要的內(nèi)容[4]。它具有算法簡單和計算快速的特點,是一種被廣泛使用的分割方法,大量學者對此進行了研究和改進。吳海濱等[5]研究提出了將二維OTSU作為初始處理以此選擇區(qū)域生長的種子點的方法。李修霞等[6]提出了以1維方向上的光譜差異為依據(jù)作為確定初始種子點的方法。劉付芬[7]提出了將置信連接與區(qū)域競爭相結(jié)合的方法作為區(qū)域生長準則。目前對于它的探討改進一般集中在初始生長種子點的選取與區(qū)域生長準則的確定。本文針對種子點的自動選取進行研究,利用紅外圖像目標的顯著性,提出了將視覺顯著性模型與區(qū)域生長法相結(jié)合的方法。

1 視覺顯著性模型原理及其改進

1.1 基于頻譜殘差的視覺顯著性模型原理

無論計算機視覺在近幾年的發(fā)展多么迅速,它都不能與人眼的視覺系統(tǒng)對真實復雜場景的信息分析與處理能力相比。因此很多學者及研究人員都開始不斷探索提出基于人眼的視覺顯著性的數(shù)學計算模型,目前常用的視覺顯著性模型包括:ITTI顯著性模型、頻譜殘差顯著性模型以及AIM 視覺注意計算模型[8]。

由于紅外成像利用的是目標的輻射能量,使得目標區(qū)域相對于背景來說是顯著的,所以可以采用顯著性模型來提取目標所在的區(qū)域范圍。由于顯著模型的建立只為了實現(xiàn)自動選取區(qū)域生長的種子點,所以選擇了計算簡單快速、準確率較高的基于頻譜殘差的視覺顯著性模型,即頻譜殘差法(Spectral Residual,SR)。SR方法的基本思想為:每個圖像的對數(shù)譜具有類似的走向趨勢,而圖像的變化部分即顯著區(qū)域是由頻譜殘差導致的。通過使用傅里葉逆變換,就可以在空間域中構(gòu)造稱為顯著圖的輸出圖像[9]。

給定一幅圖像I(x),圖像經(jīng)過傅里葉變換后所得的頻譜F(x)能夠分解成為兩部分,即幅度譜A(f)和相位譜P(f),如式(1)和式(2)所示。

A(f)=Amp{FFT[I(x)]}

(1)

P(f)=Pha{FFT[I(x)]}

(2)

然后對幅度譜做對數(shù)變換如式(3)所示,將對數(shù)幅度譜與通過一個低通濾波器與其進行卷積而平滑后的對數(shù)幅度譜相減,即得到頻譜殘差,如式(4)所示。

L(f)=logA(f)

(3)

R(f)=L(f)-hn(f)*L(f)

(4)

最后對頻譜殘差與初始的相位譜做傅立葉反變換從而獲得原始圖像的顯著圖,并通過高斯濾波器對其進行平滑處理以得到更好的視覺效果,如式(5)所示。

S(x)=g(x)*|FFT-1[exp(R(f))+i×P(f)]|2

(5)

其中,A(f)、P(f)、L(f)、R(f)、S(x)分別為原始圖像的幅度譜、相位譜、對數(shù)相位譜、頻譜殘差及顯著圖;FFT、FFT-1表示傅里葉變換及其反變換;hn(f)表示的是頻域的低通濾波器(這里選用均值濾波器);g(x)為空域的低通濾波器,可采用一個高斯平滑濾波器。

1.2 基于頻譜殘差的視覺顯著性模型的改進

受ITTI模型的啟發(fā),將SR模型引入方向的特征[10]。Prewitt邊緣算子通過計算各個像素點的四鄰域內(nèi)的灰度差值來找到圖像的邊緣即差值極值處,它能夠平滑噪聲。它通過兩個方向來進行檢測,即水平方向和垂直方向,具體實現(xiàn)是分別利用各自的方向模板與原始圖像進行卷積計算[11],分別如式(6)和式(7)所示。

Ix(x)=I(x)?Gx

(6)

Iy(x)=I(x)?Gy

(7)

其中Prewitt的垂直和水平卷積核如圖1所示。

圖1 Prewitt梯度算子

通過Prewitt一階梯度算子得到原始圖像的水平及垂直方向梯度特征,再利用SR模型分別提取水平及垂直方向的顯著圖。將公式(6)、(7)得到的Ix(x)、Ix(x)分別代入公式(1)～(5)的I(x),得到水平和垂直方向的顯著圖saliencyMap1、saliencyMap2。最后將兩個方向的顯著圖進行加權(quán)融合以得到最終的顯著圖。

saliencyMap=c1*saliencyMap1+c2*saliencyMap2

(8)

其中c1、c2為常數(shù),且c1+c2=1。

改進的SR模型具體流程如圖2所示。

圖2 改進的SR模型流程圖

1.3 實驗結(jié)果與分析

選取一張單目標紅外圖像和一張多目標紅外圖像作為測試數(shù)據(jù),分別使用原始SR模型和改進的SR模型對數(shù)據(jù)組圖像進行測試得到顯著圖,如圖3所示,其中每排圖像分別對應(yīng)于原圖、原SR模型所得結(jié)果以及改進的SR模型所得結(jié)果。

圖3 改進的SR模型實驗

由圖3可以看出,改進后的SR模型對于噪聲有一定的抑制作用,除此之外兩者的效果幾乎沒什么差別,這是因為算法的原理是基本一致的。

2 區(qū)域生長法原理

區(qū)域生長是對一個像素點或者子區(qū)域按照預先設(shè)定的生長準則尋找其邊界相似像素點并不斷聚集到一起的過程。它的基本思想是首先選取一個或一組比較具備代表性的種子點作為生長的起始點,要確保圖像中的每個目標即分割區(qū)域都有自己的種子點,接著采用之前設(shè)定好的生長準則,把所有種子點鄰域內(nèi)符合生長準則的像素點與種子點進行合并從而不斷擴大生長區(qū)域,然后將以上符合要求的像素點都作為新的種子點并開始不斷重復執(zhí)行以上的過程,直到種子點與其鄰域像素點之間不滿足生長的條件,這樣就完成了區(qū)域生長分割[12]。

傳統(tǒng)區(qū)域生長算法實現(xiàn)的步驟如下:

step1人工選取分割目標內(nèi)的一個像素點,設(shè)該像素點為(x0,y0);

step2找到(x0,y0)的4鄰域像素,如果4鄰域像素內(nèi)有符合生長準則的像素,將該像素點與(x0,y0)合并;

step3將步驟2中滿足生長準則的像素點,分別作為新的(x0,y0)代入步驟2;

step4 如果沒有找到滿足生長準則的像素點,則生長結(jié)束。

區(qū)域生長算法應(yīng)用廣泛是由于它計算量小并且對相對均勻的連通區(qū)域來說分割準確性較高,初始生長種子點的確定以及區(qū)域生長相似性準則是決定區(qū)域生長分割效果的關(guān)鍵因素,而種子點具備代表待分割的目標區(qū)域內(nèi)的絕大多數(shù)像素的性質(zhì),所以初始生長種子點的確定對于區(qū)域生長算法的分割效果具有很大的影響[13]。

3 基于視覺顯著性和區(qū)域生長的改進算法

由于傳統(tǒng)區(qū)域生長法需要人工選用種子點,本文提出了結(jié)合視覺顯著性和區(qū)域生長的改進算法,實現(xiàn)了種子點的自動選取。算法的具體步驟如下:

(1)根據(jù)改進的基于頻譜殘差的顯著性模型求取原始圖像的顯著圖S(x);

(2)對顯著圖S(x)采用簡單的閾值分割算法,獲得二值圖像bw,如式(9)所示。

(9)

threshold=3×E(S(x))

(10)

(3)對二值圖像bw先后采用不同結(jié)構(gòu)元素的腐蝕運算以及膨脹運算形態(tài)學處理,得到處理后的圖像bw1;

腐蝕運算能夠消除邊界點,若物體小于結(jié)構(gòu)元素物體將消失,此步驟是為了消除圖像中的弱小顆粒像素,集合A被結(jié)構(gòu)元素B腐蝕,定義如式(11)所示。

AΘB={x:Bx?A}

(11)

膨脹運算能夠擴充邊界點,此步驟是為了在得到的二值圖像的邊界不連續(xù)時,通過選擇大一些的結(jié)構(gòu)元素可將輪廓連接起來并將圖像中的小孔進行填充,集合A被結(jié)構(gòu)元素B膨脹,定義如式(12)所示。

(12)

(4)對二值圖像bw1進行連通區(qū)域的標記,并將所有連通區(qū)域的大小進行排序,只保留前n(目標數(shù)量)個連通區(qū)域并保存其重心點(xi,yi);

在對經(jīng)過形態(tài)學處理后而得到的二值圖像bw1進行連通區(qū)域的標記,在這里選用的是按8連通尋找連通區(qū)域。其中8連通是指,如果對于某一像素點而言,另一像素點與其8鄰接,即在其周圍8個點即它的上下左右位置以及左上角、右上角或者左下角、右下角之中,那么這兩個像素點就是屬于8連通[14],如圖4所示。

圖4 4鄰接與8鄰接

本文使用的連通區(qū)域標記的算法,它先對圖像進行完整的遍歷,找到每一行中聚集在一起的非零像素即為團,并記下其所在的位置和等價對,最后利用等價對對原本的圖像進行重新的標記[15]。

(5)以各連通區(qū)域的重心為初始種子點,分別開始區(qū)域生長,將取得的各個目標點區(qū)域生長結(jié)果進行融合,得到最終的提取結(jié)果。

以步驟(4)得到的連通區(qū)域的重心(xi,yi)為種子點,對每個種子點分別進行區(qū)域生長得到outi,最終結(jié)果如式(13)所示。

(13)

4 結(jié)果與分析

同樣選取一張單目標紅外圖像和一張多目標紅外圖像作為測試數(shù)據(jù),分別使用OTSU算法、FCM聚類算法以及本文算法對原始圖像進行目標提取,圖中每組從左到右依次為原圖、OTSU算法的處理結(jié)果、FCM聚類算法處理的結(jié)果以及本文算法所處理的結(jié)果，如圖5所示。

通過以上對比實驗表明,本文改進后的算法對于紅外目標的提取具有較好的效果。由于視覺顯著性模型能直接獲取原圖中的顯著圖即紅外目標區(qū)域,再通過閾值處理、形態(tài)學運算、連通區(qū)域標記,能準確找到目標所在區(qū)域的重心,代替了傳統(tǒng)區(qū)域生長算法的人工選取種子點,具有較好的準確性與良好的視覺效果。

圖5 本文提取算法與經(jīng)典算法對比

5 結(jié)論

本文針對傳統(tǒng)區(qū)域生長法的種子點需要人工交互的方式選取的不方便性,以及利用紅外圖像的目標灰度比背景灰度大的特點,提出將顯著模型與區(qū)域生長相結(jié)合,以完成實現(xiàn)種子點的自動選取的目的。通過matlab仿真實驗對比證明,改進后的算法相比OTSU、FCM等一些傳統(tǒng)算法對目標的提取有更好的效果。