基于方向?qū)Рㄔ鰪?qiáng)的紅外與可見光圖像融合

張 慧,常莉紅

(寧夏師范學(xué)院數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,寧夏 固原 756000)

1 引 言

圖像融合主要是將來自同一傳感器在不同條件,或者不同傳感器獲取的同一場景中的多幅源圖像進(jìn)行合并[1]。紅外線和可見光圖像融合可以綜合兩種圖像的優(yōu)點(diǎn)[2],獲取更多的場景信息與目標(biāo)指示,所以近些年被廣泛應(yīng)用于軍事、監(jiān)控、安防等領(lǐng)域。

基于多尺度分解的方法在紅外線與可見光圖像融合較為流行,多尺度分解能夠?qū)崿F(xiàn)圖像尺度和空間特征的自動(dòng)定位,正好符合人類視覺神經(jīng)對物體的處理機(jī)理。傳統(tǒng)的多尺度方法包括小波變換、非下采樣輪廓波變換,四元數(shù)小波變換等,這些方法在圖像融合中取得較好的效果[3-5],但是在空間一致性表現(xiàn)一般。李等人在文獻(xiàn)[6]中提出了一種基于方向?qū)Рǚ纸獾膱D像融合方法,提高了像素顯著性和空間一致性。隨著紅外線與可見光圖像融合方法的深入研究發(fā)現(xiàn),在同一場景下紅外線圖像與可見光圖像對比度反饋可能截然不同,一般的多尺度分解將會(huì)降低可見光圖像中包含的原始的視覺信息。文獻(xiàn)[7]中提出同時(shí)利用多尺度高斯濾波和雙邊濾波分解源圖像為多尺度紋理細(xì)節(jié)和邊界特征,能夠增強(qiáng)背景中目標(biāo)的可視度和可見光圖像的細(xì)節(jié),更加適應(yīng)人類的視覺效果。所以在選取分解方法時(shí)應(yīng)該綜合文獻(xiàn)[6]、[7]方法的優(yōu)點(diǎn),既能提高像素顯著性和空間一致性,又能獲得更加適應(yīng)人類視覺效果。

在較暗的光線條件下,可見光圖像的對比度比較低,直接融合紅外線與可見光圖像融合后視覺效果不佳,所以增強(qiáng)可見光圖像的信息是非常有必要的。如文獻(xiàn)[8]～[10]中提到幾種增強(qiáng)方法都取得的不錯(cuò)的效果,但還是有弊端,例如計(jì)算成本高,或者會(huì)產(chǎn)生偽影等。

在圖像融合中融合規(guī)則也起到了決定性的作用,多尺度分解中最常用的基礎(chǔ)層融合規(guī)則就是取平均值的方法[11]。但能量大多包含在基礎(chǔ)層,基于平均值的融合規(guī)則往往使融合圖像中的能量損失,導(dǎo)致對比度降低。經(jīng)改進(jìn)后的融合規(guī)則,如劉等人在文獻(xiàn)[12]中將稀疏表示作為基礎(chǔ)層的融合規(guī)則,很好的解決了對比度下降的缺點(diǎn)；但是,基于稀疏表示的融合方法一般都采用滑動(dòng)窗口的技術(shù),因此在融合的過程中往往會(huì)對圖像的細(xì)節(jié)過于平滑,致使圖像細(xì)節(jié)模糊。所以在基礎(chǔ)層融合規(guī)則中需要解決能量保存和細(xì)節(jié)提取的問題。

基于以上的描述,本文提出一種基于方向?qū)Рǖ囊挂暠尘皟?nèi)容增強(qiáng)的紅外線與可見光圖像融合的方法:首先,在圖像融合前對可見光圖像的內(nèi)容進(jìn)行增強(qiáng),接下來使用方向?qū)Рǘ喑叨确纸饪梢姽馀c紅外線圖像,將圖像分解后再分別合成大尺度層、小尺度層和基礎(chǔ)層。在大尺度層的信息合成過程中利用視覺基礎(chǔ)上的正則化參數(shù)來決定融入紅外線光譜特征的相對數(shù)量,實(shí)現(xiàn)紅外線圖像的信息加到可見光圖像的過程。最后,在基礎(chǔ)層使用能量保護(hù)與細(xì)節(jié)提取法作為融合規(guī)則,同時(shí)解決能量保存和細(xì)節(jié)提取的問題。實(shí)驗(yàn)結(jié)果表明,本文所提出的融合方法在主觀評價(jià)和客觀評價(jià)上都取得了較好的效果。

2 相關(guān)理論

2.1 利用方向?qū)Рǖ膱D像增強(qiáng)

為了增強(qiáng)較暗光線下可見光圖像的夜視背景,文獻(xiàn)[6]給出了一種有效的方法—基于方向?qū)Рǖ母邉?dòng)態(tài)范圍壓縮的圖像增強(qiáng)方法。為了方便描述,我們標(biāo)記方向?qū)Рㄋ阕訛镚Fr,ε(·),r與ε是關(guān)于導(dǎo)波尺寸和保護(hù)圖像邊緣程度的參數(shù),則基本步驟可以表述如下:

(1)對輸入圖像I先利用方向?qū)Рㄋ阕舆M(jìn)行分解得到基礎(chǔ)層Ib=GFr,ε(I)。

(3)增強(qiáng)后的圖像為:

(1)

圖1給出了兩組不同夜視背景下可見光圖像的增強(qiáng)示例,圖1(a)中源圖像照明條件較弱,利用式(1)進(jìn)行增強(qiáng)的結(jié)果為圖1(b),從中可以看出區(qū)域的夜視背景下細(xì)節(jié)部分明顯得到了增強(qiáng)。但是,圖1(c)有較好照明條件,增強(qiáng)后的效果一般。因此,圖像的增強(qiáng)效果依賴于可見光圖像本身成像時(shí)的光照條件。

圖1 兩組可見光圖像的增強(qiáng)結(jié)果Fig.1 Visibility enhancement results for two set of test visible images

2.2 基于多尺度分解的方向?qū)Р?/h3>

給定待濾波圖像P,引導(dǎo)濾波將輸出圖像O,引導(dǎo)圖像假定為),則根據(jù)文獻(xiàn)[6],方向?qū)Рㄋ阕佑洖镚Fr,ε(·) 。文獻(xiàn)[13]中曾證明,如果引導(dǎo)圖像I與輸入圖像P完全相同,方向?qū)Рň哂辛己玫谋＿呅?在多尺度分解中用方向?qū)Р梢源骐p邊濾波；另一方面,如果ε的值足夠大,方向?qū)Р軌蛟诙喑叨确纸膺^程中反復(fù)轉(zhuǎn)移高頻的信息,在這種情況下方向?qū)Р梢杂脕硖娲咚篂V波。所以采用基于多尺度分解的方向?qū)РㄟM(jìn)行分解不僅可以滿足文獻(xiàn)[7]里的混合多尺度分解,還可以滿足文獻(xiàn)[6]里的方向?qū)Рǚ纸獾囊蟆?/p>

根據(jù)文獻(xiàn)[13],新的基于方向?qū)Рǖ某叨确纸饪蚣芙Y(jié)構(gòu)如圖2所示。

圖2 基于多尺度分解的方向?qū)Рㄈ诤狭鞒虉DFig.2 Flow chart of fusion based on MSD of the guided filter

Ir,Iv是輸入的紅外線圖像與可見光圖像,首先,給出兩組方向?qū)Р?

最后,可以通過式(2)和式(3)來獲得多尺度紋理細(xì)節(jié)及邊界特征。

(2)

(3)

2.3 基于視覺的正則參數(shù)選擇

本文提出一種基于視覺的正則參數(shù)選擇方法,即描述人類視覺系統(tǒng)對于各種視覺刺激偏好的敏感度函數(shù)(CSF),參數(shù)選擇方法如下[13]:

(1)使用索貝爾算子獲得輸入圖像的每一個(gè)像素x的梯度強(qiáng)度G(x)。同時(shí),輸入圖像被分為不重疊的窗口,在每一個(gè)局部的窗口中的原始圖像的信息被轉(zhuǎn)變在頻域。

(3)在每個(gè)窗口中視覺能量Ei都通過Ci(u,v)平方的和獲得,輸入圖像的視覺顯著性(PS)被定義為所有原始視覺能量的加權(quán)平均。

最后,參數(shù)τ的值由相對的視覺顯著性的值來決定。

(4)

當(dāng)Rs<0.8時(shí),我們假定紅外線圖像與可見光圖像相比缺乏足夠的視覺信息,所以參數(shù)τ選擇參數(shù)值為100,最大的參數(shù)值不超過2000。參數(shù)τ可以全局性的決定加入可見光圖像的紅外線光譜信息的相對數(shù)量。τ的值越大時(shí),越多的紅外線光譜信息融入可見光圖像中。

3 分解后的信息合成

3.1 小尺度層的信息合成

圖2展示了整體的紅外線與可見光圖像基于方向?qū)Рǖ膱D像分解與信息合成,Ir,Iv經(jīng)過分解后依據(jù)不同的尺度層:大尺度層,小尺度層和基礎(chǔ)層,通過不同的權(quán)重選擇進(jìn)行來進(jìn)行信息的合并。

頂層的分解信息被選中作為小尺度層的合并,在這一層的融合權(quán)重是由絕對值最大的選擇方法決定的。

那么在尺度層的復(fù)合信息利用下式進(jìn)行計(jì)算:

(5)

3.2 大尺度層的信息合成

大尺度層包含從j=2到j(luò)=n的分解層,大尺度層包含紅外線圖像邊緣特征信息的大尺度特征。紅外線被壓縮的邊緣特征常常對于紅外線重要的光譜特征,并且可以用來決定紅外線圖像信息的融合權(quán)重。

首先,紅外線光譜在每一層中重要的特征利用以下公式確定的:

(6)

融合權(quán)重計(jì)算如下:

(7)

在大尺度層被分解的信息通過如下方法來合成:

(8)

3.3 基礎(chǔ)層的信息合成

在這里根據(jù)文獻(xiàn)[14]提出基礎(chǔ)層上基于能量保護(hù)和細(xì)節(jié)提取的合成權(quán)重:

首先給出一個(gè)活躍水平的測量方法稱為WLE,定義如下:

LS(i+m,j+n)2

(9)

由于分解層數(shù)的有限性,導(dǎo)致在基礎(chǔ)層中仍然包括一些細(xì)節(jié)信息,為了從源圖像中完全提取細(xì)節(jié)信息,可以利用WSEML來測量活躍水平,定義如下:

(10)

EML如下定義:

EMLS(i,j)=|2S(i,j)-S(i-1,j)-S(i+1,j)|+|2S(i,j)-S(i,j-1)-S(i,j+1)|

(11)

基礎(chǔ)層的最終活躍水平測量被定義為WLE和WSEML的乘法,因此基礎(chǔ)層權(quán)重的計(jì)算如下:

(12)

最后,被分解的基礎(chǔ)層通過下式被合成：

BF=CbBr+(1-Cb)Bv

(13)

4 實(shí)驗(yàn)結(jié)果與分析

4.1 測試集與所比較的算法

為了驗(yàn)證本文所研究方法與所比較算法的融合效果,選取如圖3所給的6組紅外線與可見光圖像的測試集(來源于http://www.imagefusion.org/),第一行的圖片所給的是可見光圖像,第二行所給的是同一場景中的紅外線圖像。本文所提方法(記為EGFF)和所要比較的算法分別為拉普拉斯變換方法、對偶數(shù)復(fù)小波變換方法、曲波變換方法、小波變換方法和非下采樣輪廓波變換。分別記為LP 、DTCWT、 CVT和 DWT,以及NSCT,所有的尺度分解都選4層分解。

圖3 測試集Fig.3 Test set

4.2 圖像質(zhì)量評價(jià)指標(biāo)

為了更加客觀地評價(jià)融合的效果,本文采用6種常見的融合指標(biāo)對各種融合方法進(jìn)行客觀質(zhì)量評價(jià)。六種融合指標(biāo)分別為度量圖像中信息豐富程度的熵(Entropy,EN),度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差(Standard deviation,SD),度量保留源圖像信息量的互信息(Mutual information,MI)[15]、基于結(jié)構(gòu)相似度的梯度評價(jià)指標(biāo)QG[16],和描述圖像邊緣信息的相位一致性的度量指標(biāo)QP[17],以及融合圖像結(jié)構(gòu)相似度的度量QY[18]。在評價(jià)的過程中,這些評價(jià)指標(biāo)的數(shù)值越大說明融合效果越好。

4.3 融合后的主觀評價(jià)

由于篇幅原因,我們從實(shí)驗(yàn)結(jié)果中任意選出一組示例圖。從融合結(jié)果可以看出:幾種融合方法都實(shí)現(xiàn)了紅外線圖像和可見光圖像的融合,但在目視效果上還是有一定的差別。從圖4 中可以看到,本文提出的方法對于遠(yuǎn)處樹木的處理效果最好,與其他幾種方法相比較樹木的紋理更清晰,輪廓更清楚。經(jīng)本文所提出的方法處理后的地面,與其余方法相比較,在對比度上表現(xiàn)最優(yōu),并且地面物體輪廓也最清晰。總體上本文所提出的方法將紅外線圖像中的很多信息在融合后的圖像中被保留,并且在細(xì)節(jié)處理上也是非常好,對比度得到了提升。

圖4 一組實(shí)驗(yàn)結(jié)果圖Fig.4 A set of experimental results

4.4 實(shí)驗(yàn)結(jié)果與討論

表1給出的是6組圖像經(jīng)不同融合方法后客觀評價(jià)指標(biāo)的結(jié)果,由于篇幅原因,表中的數(shù)據(jù)是6組圖像在同一方法、同一指標(biāo)下六組數(shù)據(jù)取平均值。通過梳理六種客觀評價(jià)指標(biāo)的測試數(shù)據(jù)(加粗?jǐn)?shù)據(jù)表明結(jié)果最好),可以看出本文給出的融合方法在處理細(xì)節(jié)、能量保護(hù)方面都有以及在保留源圖像的信息方面有非常好的效果。

表1 用LP、DTCWT 、DWT 、NSCT、CVT和EGFF方法融合得到的指標(biāo)Tab.1 Comparison with LP、DTCWT 、DWT 、NSCT、CVT and EGFF of different processing results

5 結(jié) 論

本文提出一種基于夜視背景增強(qiáng)的可見光與紅外線圖像融合方法,首先利用方向?qū)Р▽梢姽鈭D像的內(nèi)容進(jìn)行增強(qiáng),提高可見光圖像在照明條件不好情況下的融合效果。同時(shí),為了提高空間一致性與像素顯著性、實(shí)現(xiàn)將紅外線圖像的信息加入到可見光圖像中去,本文利用方向?qū)Рǖ亩喑叨确纸鈱⒃磮D像分解后,再分別合成小尺度層、大尺度層和基礎(chǔ)層。在大尺度層的信息合并中,依據(jù)基于視覺的正則參數(shù)選擇將紅外線圖像的信息加入到可見光圖像中去。為了確保源圖像中細(xì)節(jié)完全的提取,在基礎(chǔ)層的信息合成過程中使用了基于細(xì)節(jié)保護(hù)和能量提取的融合方法。實(shí)驗(yàn)結(jié)果也驗(yàn)證了本文方法的有效性。