基于顯著性檢測與MDLatLRR分解的紅外與可見光圖像融合

龍志亮，鄧月明，王潤民，董 俊

基于顯著性檢測與MDLatLRR分解的紅外與可見光圖像融合

龍志亮，鄧月明，王潤民，董 俊

（湖南師范大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長沙 410081）

針對紅外與可見光圖像融合過程中細(xì)節(jié)信息的缺失、融合結(jié)果對比度較低等問題，提出一種基于顯著性檢測與多層潛在低秩表示的紅外與可見光圖像融合方法。首先，使用基于顯著性檢測的方法對紅外與可見光圖像進(jìn)行預(yù)融合；然后，使用多層潛在低秩表示方法依次將紅外圖像、可見光圖像和預(yù)融合圖像分解為低秩層和細(xì)節(jié)層；其中細(xì)節(jié)層采用結(jié)構(gòu)相似性和L2范數(shù)相結(jié)合的方法進(jìn)行融合，低秩層使用基于能量屬性的方法進(jìn)行融合；最后，將低秩層和細(xì)節(jié)層的融合結(jié)果重構(gòu)便得到最終的融合圖像。文中將該方法與11種具有代表性的圖像融合方法進(jìn)行了評估比較，通過對比多組融合圖像的主客觀評價(jià)，其結(jié)果表明，相較于對比方法，本方法能夠保留紅外與可見光圖像融合過程中源圖像的有效細(xì)節(jié)，且融合結(jié)果具有較高的對比度，更符合人們的視覺理解。

圖像融合；顯著性檢測；潛在低秩表示；紅外圖像；可見光圖像

0 引言

單一傳感器的成像不一定能反映目標(biāo)場景的完整信息，為達(dá)到更好的視覺理解，有時我們需要集合兩個或多個相同場景的圖像共同來表達(dá)目標(biāo)信息[1]。圖像融合是一種將多幅不同的源圖像中有用或互補(bǔ)的信息組合到一幅圖像中的技術(shù)，其融合結(jié)果能完整、清晰地描述目標(biāo)場景信息，以促進(jìn)后續(xù)的目標(biāo)檢測、識別、跟蹤等計(jì)算機(jī)視覺研究[2-3]。

根據(jù)成像機(jī)理的差異，圖像可分為多模態(tài)、多光譜以及數(shù)字?jǐn)z影圖像，多模態(tài)圖像主要包括紅外與可見光圖像、醫(yī)學(xué)圖像和遙感圖像[4]，其中可見光圖像能為計(jì)算機(jī)視覺任務(wù)提供豐富的背景和直觀的細(xì)節(jié)信息，其成像特點(diǎn)符合人的視覺理解，但在光線較暗或天氣不明朗的環(huán)境中無法突出重要的目標(biāo)信息；紅外圖像能根據(jù)物體和環(huán)境的熱輻射差異，將目標(biāo)和背景信息區(qū)分開，且不受低能見度或惡劣天氣環(huán)境的影響，但其空間分辨率較低，不能反映圖像的紋理細(xì)節(jié)[2]。將紅外圖像與可見光圖像進(jìn)行融合，既能結(jié)合紅外圖像中熱輻射差異信息，又能結(jié)合可見光圖像中細(xì)致的紋理信息，因此紅外與可見光圖像融合廣泛應(yīng)用于車載、夜間行駛、安防監(jiān)視等計(jì)算機(jī)視覺領(lǐng)域[1]。

現(xiàn)有的紅外與可見光圖像融合主流方法可分為傳統(tǒng)法和深度學(xué)習(xí)法[5]兩大類，基于深度學(xué)習(xí)的方法在圖像處理領(lǐng)域有著巨大的研究前景，其原理是通過設(shè)計(jì)一種網(wǎng)絡(luò)框架和損失函數(shù)[4]，實(shí)現(xiàn)對圖像信息的特征提取、特征融合及圖像重構(gòu)，但其過程需要依靠大量的訓(xùn)練數(shù)據(jù)來確保融合的準(zhǔn)確性，融合過程中易出現(xiàn)特征提取不完整的情況，且其網(wǎng)絡(luò)框架也難以解釋[6-7]。傳統(tǒng)方法主要包括多尺度變換、稀疏表示、基于顯著性、基于子空間以及混合方法[1-2]，其中基于多尺度變換是一種常用的圖像融合方法，且融合結(jié)果符合人們的視覺理解[3]，其原理是通過多尺度變換將圖像分解為多個方向的尺度，根據(jù)每個尺度相應(yīng)的特點(diǎn)采取不同的融合策略進(jìn)行融合，最終通過逆變換重構(gòu)出融合圖像，能夠有效融合多個方向的有效信息。目前來講，盡管深度學(xué)習(xí)方法有著巨大的研究前景，但基于多尺度變換實(shí)現(xiàn)圖像融合的方法靈活多變、更受歡迎，且融合效果更好。

基于多尺度變換能夠融合各個方向的有效信息，其融合結(jié)果符合人們的視覺觀察，但也存在一些問題。首先，傳統(tǒng)的多尺度分解方法的分解過程中存在偽影現(xiàn)象[2]，導(dǎo)致融合結(jié)果不太理想，且基部采用簡單的權(quán)值分配的融合規(guī)則，使融合結(jié)果的對比度信息較低，目標(biāo)信息不夠突出[7]。此外，不是所有可見光圖像中的細(xì)節(jié)信息都是有效的，如汽車燈、路燈等局部高亮度信息不能反映目標(biāo)場景的有效細(xì)節(jié)，但過于簡單的融合策略無法提取目標(biāo)場景中的有效細(xì)節(jié)，易將無效的細(xì)節(jié)注入到融合圖像中，導(dǎo)致融合過程中出現(xiàn)細(xì)節(jié)信息缺失的問題。

為了解決紅外與可見光圖像融合過程中細(xì)節(jié)信息的缺失、融合結(jié)果對比度較低等問題，本文提出一種基于顯著性檢測與多級潛在低秩分解（Multi-level image Decomposition base on Latent Low-Rank Representation，MDLatLRR）的紅外與可見光圖像融合方法，通過對源圖像使用顯著性檢測以突出圖像的顯著特征，潛在低秩表示將圖像分解為低秩層和細(xì)節(jié)層，其中低秩層引入能量屬性進(jìn)行融合，保留了源圖像中大部分的背景信息，對于細(xì)節(jié)層引入結(jié)構(gòu)相似性系數(shù)和L2范數(shù)進(jìn)行融合，充分提取了目標(biāo)場景的有效細(xì)節(jié)信息，且融合結(jié)果的對比度也得以提高。

1 本文方法

本文提出的基于顯著性檢測與MDLatLRR分解實(shí)現(xiàn)紅外與可見光圖像融合分為3個步驟：圖像預(yù)融合、圖像分解、圖像二次融合。圖1為實(shí)現(xiàn)本文方法的框架，具體地，對紅外與可見光圖像使用顯著性檢測的方法獲取預(yù)融合圖像，然后通過多層潛在低秩表示方法，將預(yù)融合圖像分解為一層低秩圖像，多層細(xì)節(jié)層圖像，分別引入不同的融合策略對其二次融合，最后通過重構(gòu)圖像得到最終的融合圖像。

1.1 圖像預(yù)融合

顯著性檢測旨在識別輸入圖像上最引人注目的對象，例如比鄰域更重要的人，物體等信息[8-10]。對源圖像使用顯著性檢測獲取的預(yù)融合圖像，突出了源圖像中的顯著特征信息，同時為細(xì)節(jié)層融合提供了參考。圖2為獲取預(yù)融合圖像的框架，包括雙尺度分解、顯著性檢測、圖像預(yù)融合3部分。

1）通過雙尺度變換將紅外與可見光源圖像分解為基礎(chǔ)層和細(xì)節(jié)層，如式(1)和(2)所示，I表示源圖像，文中通用下標(biāo)取1或2，分別代表紅外與可見光圖像對應(yīng)的部分，Mean(×)表示尺寸為×的均值濾波器，(·)表示滑窗操作，*是卷積運(yùn)算符，對源圖像進(jìn)行均值濾波得到基層圖像bi；源圖像I減去基層圖bi像得到細(xì)節(jié)層圖像di。

bi＝Mean(×)*(I) (1)

di＝I－bi(2)

2）如式(3)和(4)所示，定義一種顯著性檢測，gi表示源圖像I經(jīng)過引導(dǎo)濾波后的結(jié)果，其中引導(dǎo)圖與輸入圖像相同，為濾波器尺寸，eps為濾波參數(shù)；S就是對源圖像通過顯著性檢測得到的顯著特征圖層。

gi＝guidedfilter(I,,, eps) (3)

3）對獲取的顯著特征圖層歸一化，作為預(yù)融合細(xì)節(jié)層圖像的權(quán)重系數(shù)，基層選取加權(quán)平均的融合規(guī)則，B為預(yù)融合的基層圖像，D為預(yù)融合的細(xì)節(jié)層圖像，pf為預(yù)融合圖像。

＝S/(1＋2) (5)

D＝1×d1＋2×d2(6)

B＝0.5×(b1＋b2) (7)

pf＝B＋D(8)

圖1 本文方法的總體框架

圖2 圖像預(yù)融合的實(shí)現(xiàn)框架

1.2 圖像分解

圖像分解旨在將一幅包含完整目標(biāo)信息的圖像分解為各個方向的尺度，其每個方向包含不同的特征信息，通過對不同方向采用不同的融合方法將特征信息進(jìn)行融合，從而把源圖像中有效的信息注入到融合圖像中，使融合結(jié)果符合人們的視覺特征。潛在低秩表示（Latent Low-Rank Representation，LatLRR）理論是在低秩表示（Low-Rank Representation，LRR）理論的基礎(chǔ)上發(fā)展而來的子空間分割算法，解決了LRR方法輸入數(shù)據(jù)不充分或嚴(yán)重?fù)p壞的問題，能夠提取圖像的低秩結(jié)構(gòu)和細(xì)節(jié)特征，如式(9)和(10)所示，將LatLRR問題表示為優(yōu)化問題[11]：

＝＋＋(9)

式中：為輸入源圖像矩陣；是低秩系數(shù)矩陣；是學(xué)習(xí)得到的顯著性系數(shù)矩陣；代表噪聲；為分離出來的低秩信息；包含圖像大部分的細(xì)節(jié)和顯著信息[12]。＞0，表示平衡系數(shù)，||·||?為nuclear范數(shù)，描述奇異矩陣值之和，||.||1表示L1范數(shù)，用于表征稀疏噪聲。

基于多層潛在低秩表示將圖像分解為低秩層和細(xì)節(jié)層的實(shí)現(xiàn)如式(11)和(12)所示[13]：

式中：為輸入圖像；表示分解的層數(shù)；Z為第級分解的低秩層；D為第級分解的細(xì)節(jié)層；(·)表示滑窗和矩陣重組兩種運(yùn)算符；D為輸入圖像分解的結(jié)果；(·)是一種重構(gòu)運(yùn)算符，從D中重構(gòu)出細(xì)節(jié)層圖像，將輸入圖像減去細(xì)節(jié)層就得到對應(yīng)的低秩層圖像。

1.3 圖像二次融合

紅外、可見光源圖像以及預(yù)融合圖像被分解為低秩層和細(xì)節(jié)層，針對每層不同的特征采用不同的融合規(guī)則進(jìn)行融合。具體地，將可見光和預(yù)融合圖像的低秩層使用一種基于能量屬性的方法進(jìn)行融合，其結(jié)果作為最終圖像的基層；紅外與可見光圖像的細(xì)節(jié)層通過L2范數(shù)與結(jié)構(gòu)相似性系數(shù)相結(jié)合的方法進(jìn)行融合，其結(jié)果作為最終圖像的細(xì)節(jié)層，將得到的基層和細(xì)節(jié)層進(jìn)行相加重構(gòu)，得到最終的融合結(jié)果。

1.3.1 低秩層融合

定義一種能量屬性[14]EA，如式(13)和(14)所示：

IE＝(m＋h)/2 (13)

EA(,)＝exp[×|Z(,)-IE|] (14)

式中：m表示圖像的均值；h表示圖像的中值；IE是包括圖像均值和中值的固有屬性，將圖像的低秩層Z與固有屬性IE做減法操作，然后通過一種指數(shù)運(yùn)算，得到能量屬性EA，在式中作為調(diào)整能量屬性值的參數(shù)。

根據(jù)式(13)、(14)，分別求取紅外和預(yù)融合圖像的能量屬性，用EA1和EA2表示，計(jì)算其權(quán)重比例，作為可見光低秩層圖像Zvi和預(yù)融合低秩層圖像Zpf的融合系數(shù)，最后將其對應(yīng)加權(quán)相加得到在最終融合圖像的基層IMB。

(,)＝EA(,)/[EA1(,)＋EA2(,)] (15)

IMB＝1(,)×Zvi(,)＋2(,)×Zpf(,) (16)

可見光圖像中含有豐富的背景信息，預(yù)融合圖像包含了源圖像中的顯著性信息，通過基于能量屬性的方法將可見光圖像和預(yù)融合圖像的低秩層進(jìn)行融合，能保留源圖像中豐富的背景信息，提高融合圖像的對比度，同時加強(qiáng)了相鄰像素間的聯(lián)系。

1.3.2 細(xì)節(jié)層融合

針對過于簡單的融合規(guī)則無法提取可見光圖像中有效細(xì)節(jié)信息的問題，本文把潛在低秩分解獲得的紅外與可見光圖像的細(xì)節(jié)層，采用L2范數(shù)和結(jié)構(gòu)相似性（structural similarity，SSIM）相結(jié)合的方法進(jìn)行融合，融合結(jié)果作為最終融合圖像的細(xì)節(jié)層，流程圖如圖3所示。

圖3 細(xì)節(jié)層圖像融合框架圖

1）計(jì)算結(jié)構(gòu)相似性

結(jié)構(gòu)相似性表征兩個圖像之間的相似度，包括圖像的亮度、對比度、結(jié)構(gòu)3個特征[15-16]，如式(17)所示：

式中：、分別代表兩幅圖像的平均灰度；、分別代表兩幅圖像的標(biāo)準(zhǔn)差；代表兩幅圖像的協(xié)方差；1、2為常數(shù)，選擇適當(dāng)?shù)膮?shù)可以調(diào)整高度、對比度、結(jié)構(gòu)3個特征的權(quán)重。

＝1＋SSv_f－SSi_f, (0≤≤1) (18)

根據(jù)公式(17)計(jì)算紅外圖像和預(yù)融合圖像之間的結(jié)構(gòu)相似性，結(jié)果用SSi_f表示，計(jì)算可見光圖像和預(yù)融合圖像之間的結(jié)構(gòu)相似性，結(jié)果用SSv_f表示，再根據(jù)式(18)將計(jì)算的結(jié)果進(jìn)一步轉(zhuǎn)化為平衡系數(shù)，用來控制紅外與可見光圖像的細(xì)節(jié)信息分配；SSv_f≥SSi_f時，＝1，說明該區(qū)域中可見光圖像能提供較多的有效細(xì)節(jié)信息；SSv_f＜SSi_f時，＜1，表示該區(qū)域融合圖像中大部分有效的細(xì)節(jié)信息應(yīng)來自紅外圖像。

2）L2范數(shù)優(yōu)化融合細(xì)節(jié)層

針對過于簡單的融合策略無法提取可見光圖像的有效細(xì)節(jié)，易將無效的細(xì)節(jié)注入到融合圖像中，導(dǎo)致融合過程中出現(xiàn)細(xì)節(jié)信息缺失的問題，本文使用L2范數(shù)和結(jié)構(gòu)相似性系數(shù)相結(jié)合的方法，提取出紅外圖像中含有的少量細(xì)節(jié)信息，以及可見光圖像中有效的細(xì)節(jié)信息，如式(19)所示，細(xì)節(jié)層圖像融合被視為一個最小優(yōu)化問題[7]：

式(20)和(21)中IDfi、IDir和IDvi分別表示第層最終融合圖像的細(xì)節(jié)層，紅外、可見光圖像通過潛在低秩分解后的細(xì)節(jié)層，ir、vi分別為第層紅外、可見光細(xì)節(jié)層圖像融合的增強(qiáng)系數(shù)，大小為源圖像細(xì)節(jié)層的全局均方根誤差和局部均方根誤差的比值，紅外、可見光圖像細(xì)節(jié)層乘上對應(yīng)增強(qiáng)系數(shù)與最終融合圖像細(xì)節(jié)層的偏差分別用、表示，當(dāng)偏差值最小時，此時的IDfi為最終求取的第層融合細(xì)節(jié)層，其中是由式(18)獲得的平衡系數(shù)，用來提取可見光圖像中的有效細(xì)節(jié)信息。式(22)中的表示ir與IDir的乘積，為vi與IDvi的乘積。

1.3.3 圖像重建

將各層細(xì)節(jié)層融合的圖像IDfi累加得到最終融合圖像的細(xì)節(jié)層IMD，然后將基層的融合圖像IMB與最終融合圖像的細(xì)節(jié)層IMD相加重構(gòu)獲得最終的融合圖像IMF：

IMF＝IMB＋I(xiàn)MD (24)

式中：為潛在低秩表示分解的總層數(shù)。

2 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)中的紅外與可見光輸入源圖像來自于TNO公共數(shù)據(jù)集[17]，其包含了不同軍事相關(guān)的多光譜夜間圖像，通過不同多波段的相機(jī)系統(tǒng)將圖像配準(zhǔn)好，有多種不同分辨率的灰度圖像。

預(yù)融合過程中，中值濾波的濾波器尺寸＝5；對可見光圖像進(jìn)行引導(dǎo)濾波的濾波器尺寸＝45，濾波參數(shù)eps＝0.3；對紅外圖像進(jìn)行引導(dǎo)濾波的濾波器尺寸＝7，濾波參數(shù)為eps＝10－6；多層潛在低秩分解的總層數(shù)=4；低秩層融合過程中，調(diào)整能量屬性的參數(shù)＝4；求解結(jié)構(gòu)相似性系數(shù)中的參數(shù)1＝2＝1；

實(shí)驗(yàn)在配置為Intel core i5-6500，CPU主頻3.2GHz，16G RAM，Windows10系統(tǒng)下的計(jì)算機(jī)上運(yùn)行的，實(shí)驗(yàn)環(huán)境平臺為MATLAB R2016b。

3 實(shí)驗(yàn)與分析

為驗(yàn)證本文方法的性能，融合實(shí)驗(yàn)中選擇4組經(jīng)典的紅外與可見光圖像數(shù)據(jù)集，分別為‘Camp、Kaptein、Marne、Airplane in Trees’；同CBF[18]、CNN[19]、GFCE[20]、GFF[21]、HMSD_GF[20]、IVFusion[7]、LP[22]、MDLatLRR[13]、NSST_PCNN[14]、TIF[9]、VSMWLS[23]共11種具有代表性的圖像融合方法進(jìn)行了定性和定量的比較，圖4～7分別為11種融合方法以及本文提出方法對“Camp、Kaptein、Marne、Airplane in Trees”4組數(shù)據(jù)集融合結(jié)果的對比。

由圖4～7可知，大部分融合方法都能將紅外圖像中較強(qiáng)的目標(biāo)信息和可見光圖像中豐富的紋理和細(xì)節(jié)信息融合成一幅圖像，但CBF方法容易給融合圖像帶來噪點(diǎn)，在數(shù)據(jù)集Kaptein、Airplane in Trees’的融合上尤為突出；GFF、HMSD_GF、NSST_PCNN、TIF、VSMWLS方法融合的圖像亮度信息不高，無法突出圖像的細(xì)節(jié)，邊緣輪廓也較模糊；IVFusion方法的融合結(jié)果在目標(biāo)和背景都呈現(xiàn)較高的亮度，但目標(biāo)與背景的對比度較差，無法突出目標(biāo)特征；LP方法在一些區(qū)域混肴了圖像的目標(biāo)和背景信息，導(dǎo)致無法正確提取顯著信息；總的來說，GFCE、MDLatLRR以及本文提出的方法融合效果都有著較好的視覺理解，但遇到目標(biāo)和背景很接近的場景時，如‘Airplane in Trees’數(shù)據(jù)集中，在背景為森林中的飛機(jī)目標(biāo)難以察覺，GFCE和MDLatLRR融合效果有所降低，不能突出有效的細(xì)節(jié)信息，而本文提出方法的融合結(jié)果有著較好的清晰度，目標(biāo)與場景的對比度較高，有著豐富的細(xì)節(jié)紋理。

圖4 數(shù)據(jù)集‘Camp’的融合圖像

圖6 數(shù)據(jù)集‘Marne’的融合圖像

客觀評價(jià)使用平均梯度（average gradient，AG）、交叉熵（cross entropy，CE）、邊緣強(qiáng)度（edge intensity，EI）、信息熵（information entropy，EN）、互信息（mutual information，MI）、CV（Chen-Varshney）、標(biāo)準(zhǔn)差（standard deviation，SD）、空間頻率（spatial frequency，SF）、結(jié)構(gòu)相似性SSIM以及視覺信息保真度（visual information fidelity，VIF）10種評價(jià)指標(biāo)[5,24]。其中CE和CV2個指標(biāo)值越小代表融合結(jié)果越好，其余8個指標(biāo)值越大代表融合效果越佳，表1～4為4組數(shù)據(jù)集融合結(jié)果的客觀評價(jià)指標(biāo)和運(yùn)行時間對比，其中最優(yōu)值數(shù)據(jù)用紅色表示，次優(yōu)值用藍(lán)色表示，第三用綠色表示。

圖7 數(shù)據(jù)集‘Airplane in Trees’的融合圖像

表1 數(shù)據(jù)集‘Camp’的融合結(jié)果客觀評價(jià)指標(biāo)