基于RPCA和LatLRR分解的紅外與可見(jiàn)光的圖像融合

丁 健，高清維，盧一相，孫 冬

〈圖像處理與仿真〉

基于RPCA和LatLRR分解的紅外與可見(jiàn)光的圖像融合

丁 健，高清維，盧一相，孫 冬

（安徽大學(xué) 電氣工程與自動(dòng)化學(xué)院，安徽 合肥 23061）

紅外光和可見(jiàn)光圖像的融合在視頻監(jiān)控、目標(biāo)跟蹤等方面發(fā)揮著越來(lái)越重要的作用。為了得到融合效果更好的圖像，提出了一種新的基于魯棒性低秩表示的圖像分解與深度學(xué)習(xí)結(jié)合的方法。首先，利用魯棒性主成分分析對(duì)訓(xùn)練集圖像進(jìn)行去噪處理，利用快速的潛在低秩表示學(xué)習(xí)提取突出特征的稀疏矩陣，并對(duì)源圖像進(jìn)行分解，重構(gòu)形成低頻圖像和高頻圖像。然后，低頻部分利用自適應(yīng)加權(quán)策略進(jìn)行融合，高頻部分利用深度學(xué)習(xí)的VGG-19網(wǎng)絡(luò)進(jìn)行融合。最后，將新的低頻圖像與新的高頻圖像進(jìn)行線性疊加，得到最后的結(jié)果。實(shí)驗(yàn)驗(yàn)證了本文提出的圖像融合算法在主觀評(píng)價(jià)與客觀評(píng)價(jià)上均具有一定的優(yōu)勢(shì)。

圖像融合；深度學(xué)習(xí)；潛在低秩表示；稀疏矩陣

0 引言

紅外與可見(jiàn)光圖像融合是為了得到信息更加豐富的圖像。如今，紅外與可見(jiàn)光圖像的融合在很多方面發(fā)揮著作用。尤其對(duì)軍事應(yīng)用和現(xiàn)實(shí)監(jiān)控裝置有著重要的影響。紅外圖像通過(guò)熱輻射能夠捕捉潛在目標(biāo)，但是分辨率低。相反，可見(jiàn)光圖像能夠提供大量的主要信息，但圖像質(zhì)量容易受外界環(huán)境的影響。如今，對(duì)于紅外與可見(jiàn)光的圖像已經(jīng)有大量研究，但是很難實(shí)現(xiàn)融合圖像噪聲小，沒(méi)有光暈同時(shí)包含豐富的細(xì)節(jié)信息。融合的目的就是為了讓融合圖像提供兩張圖像中的有用信息以提高圖像質(zhì)量，這對(duì)于人類(lèi)視覺(jué)的觀察以及目標(biāo)的跟蹤都十分有利。

圖像融合的方法大多是基于像素級(jí)的融合。像素級(jí)的圖像融合可以劃分為變換域和空間域的圖像融合。在變換域中常用的融合方法包括平穩(wěn)小波變換（stationary wavelet transform, SWT）[1]和離散小波變換（discrete wavelet transform, DWT）[2]，以及之后出現(xiàn)的雙樹(shù)復(fù)雜小波變化（dual-tree complex wavelet transform, DTCWT）[3]，非下采樣剪切波變換（non - sampling under shear wave transformation, NSST）[4]等。但是這些方法對(duì)于圖像細(xì)節(jié)信息的利用并不足夠?？臻g域的圖像融合方法包括全變分最小化（total variation minimization, TV）以及加權(quán)平均法[5]。但是往往效果不是很理想。基于稀疏域的圖像融合采用學(xué)習(xí)字典對(duì)圖像進(jìn)行稀疏表示。最常用的方法是基于稀疏表示（sparse representation, SR）。Lin等人提出了一種新的基于SR的圖像融合方法[6]。此外，基于稀疏表示和其它算法相結(jié)合的算法也很多，如低秩表示（low rank representation, LRR）和稀疏表示聯(lián)合[7]、NSST聯(lián)合稀疏表示[8]以及SR和脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network, PCNN）[9]。但基于SR的方法中，字典的學(xué)習(xí)通常十分耗費(fèi)時(shí)間。此外，常用的方法也包括基于低秩表示的圖像融合方法。Li等人提出了一種基于潛在性低秩表示（latent low rank representation, LatLRR）的圖像融合方法[10]，LatLRR是一種無(wú)監(jiān)督的提取方法，能夠從數(shù)據(jù)中魯棒地提取出特征，為本文的算法提供了思路。

過(guò)去的幾年，深度學(xué)習(xí)不斷興起，并且融合效果得到證明。Yu、Liu等人提出了一種基于卷積稀疏表示（convolutional sparse representation, CSR）[11]以及基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network, CNN）的融合方法[12]，但是，基于CNN的方法只適用于多視角圖像融合，基于CSR的方法存在較多的噪聲，且融合后的圖像突出特征并不明顯。Prabahakar等提出了基于CNN的簡(jiǎn)單的圖像融合算法，可是該方法的深度特征沒(méi)有得到很好的利用[12]。為了解決這些缺點(diǎn)，Liu等提出了一種基于預(yù)訓(xùn)練網(wǎng)絡(luò)的融合框架[13]。首先，經(jīng)過(guò)圖像分解得出源圖像的高頻分量和低頻分量。采用平均策略對(duì)低頻分量進(jìn)行融合，利用深度學(xué)習(xí)框架獲得融合的高頻分量。將融合后的低頻部分和融合后的高頻部分結(jié)合起來(lái)，重建之后得出融合圖像。但是該方法的圖像分解方法十分簡(jiǎn)單，至于深度學(xué)習(xí)的優(yōu)勢(shì)沒(méi)有更好地體現(xiàn)出來(lái)。

為了更好地融合可見(jiàn)光與紅外圖像，本文提出了一種基于RPCA（robust principal component analysis）和LatLRR分解與VGG網(wǎng)絡(luò)結(jié)合的融合方法。為了降低噪聲對(duì)融合效果產(chǎn)生影響，實(shí)現(xiàn)更好的圖像分解效果，本文利用RPCA對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行去噪，之后利用無(wú)噪聲的LatLRR學(xué)習(xí)得到稀疏矩陣，對(duì)源圖像進(jìn)行分解重建。為了保留更多的有用的圖像信息，分解后的高頻圖像利用預(yù)訓(xùn)練的融合框架VGG-19提取深層次的特征進(jìn)行融合，分解后的低頻圖像利用自適應(yīng)加權(quán)融合，最后將融合后的高頻圖像與低頻圖像疊加，得到最終的融合圖像。實(shí)驗(yàn)結(jié)果表明，該方法不僅很好地利用了可見(jiàn)光圖像的紋理信息，也充分利用了紅外光圖像的特征信息，從而取得了比較不錯(cuò)的融合效果。

1 相關(guān)理論

目前，常用來(lái)進(jìn)行特征提取的方法為深度學(xué)習(xí)和稀疏表示[14]。Liu等人提出了利用LatLRR進(jìn)行子空間聚類(lèi)以及特征提取，取得了很好的效果[15]。但研究發(fā)現(xiàn)LatLRR模型解決方法是不唯一的，使得選擇LatLRR模型的解決方法變得困難[18]。故本文提出利用RPCA和LatLRR結(jié)合的圖像分解方法。RPCA和LatLRR是無(wú)監(jiān)督的特征提取方法，經(jīng)驗(yàn)證可以實(shí)現(xiàn)很好的圖像分解效果。

1.1 RPCA對(duì)訓(xùn)練集圖像去噪

PCA在噪聲較小時(shí)，效果比較好；當(dāng)噪聲較大時(shí)，即使只有少部分的數(shù)據(jù)被干擾，也會(huì)使PCA的性能大大降低。針對(duì)這種現(xiàn)象，Wright等人提出了魯棒主成分分析（RPCA），RPCA的作用是將矩陣分解成兩個(gè)部分，稀疏矩陣和低秩矩陣[17]。只要噪聲矩陣是足夠稀疏的，不管大小都可以恢復(fù)出低秩矩陣。其模型如(1)所示：

因?yàn)楣?1)是NP難的，故將式(1)松弛到如下凸優(yōu)化問(wèn)題(2)：

式中：為稀疏噪聲數(shù)據(jù)；為去除噪聲后的訓(xùn)練數(shù)據(jù)。

1.2 無(wú)噪聲的LatLLR

在樣本數(shù)量足夠的情況下，LRR才可以很好地起作用。為了解決樣本數(shù)據(jù)不足，Liu等人提出了潛在低秩表示（LatLRR）[15]。如公式(3)所示：

式中：||||*代表核范數(shù)；代表無(wú)噪聲的數(shù)據(jù)；代表低秩矩陣；代表稀疏矩陣可以用來(lái)進(jìn)行特征的提取。

2 基于RPCA和LatLRR分解的圖像融合

本文針對(duì)紅外與可見(jiàn)光圖像，首先，利用RPCA和LatLRR學(xué)習(xí)用于提取顯著特征的矩陣，將源圖像分解重構(gòu)成低頻圖像和高頻圖像。之后，低頻部分利用自適應(yīng)權(quán)重策略進(jìn)行融合，高頻部分利用VGG-19網(wǎng)絡(luò)進(jìn)行融合。最后，將新的低頻圖像與新的高頻圖像進(jìn)行疊加，得到融合圖像。本文融合步驟如圖1所示。

圖1 圖像融合過(guò)程

對(duì)于輸入的源圖像I利用重疊的窗口滑動(dòng)將源圖像分解成多個(gè)圖像塊。將每個(gè)圖像塊變成列向量重組成一個(gè)初始矩陣。通過(guò)公式(4)、(5)將初始矩陣分解得到高頻部分和低頻部分[10]：

＝×(I) (4)

＝I－() (5)

式中：代表圖像分解的次數(shù)；代表源圖像的序號(hào)；是稀疏矩陣；()代表前文提到的窗口滑動(dòng)以及重組；()代表前文提到的圖像重建。

當(dāng)一張?jiān)磮D像經(jīng)過(guò)次分解之后，得到高頻分量1:k和低頻分量。對(duì)1:k使用上文提到的窗口滑動(dòng)以及重組方法進(jìn)行重建，得到一張高頻圖像分量。

2.1 稀疏矩陣

本文利用RPCA和無(wú)噪聲的LatLRR訓(xùn)練得到稀疏矩陣。1.2中利用RPCA得到無(wú)噪聲數(shù)據(jù)，再利用8×8滑動(dòng)窗口將這些無(wú)噪聲數(shù)據(jù)分解成多個(gè)圖像塊，產(chǎn)生矩陣train。稀疏矩陣訓(xùn)練過(guò)程如表1所示[16]。表1中的方法實(shí)驗(yàn)操作簡(jiǎn)潔，能夠?qū)崿F(xiàn)更好的圖像分解效果。

表1 稀疏矩陣D的訓(xùn)練過(guò)程

2.2 低頻分量融合

圖像的低頻部分代表圖像的主要部分，因此低頻分量的圖像融合的效果起著重要的作用[19]。雖然加權(quán)平均法和絕對(duì)值法可以達(dá)到低頻融合的目的，但效果較差。本文采用自適應(yīng)加權(quán)法，利用RPCA和無(wú)噪聲的LatLRR對(duì)圖像進(jìn)行分解，分解得到低頻分量1,2通過(guò)公式(6)、(7)、(8)、(9)得到低頻融合的權(quán)重1,2。

式中：S(,)＝I(,)－，(,)表示圖像的像素點(diǎn)；表示圖像的平均像素點(diǎn)；＝{1,2}分別代表可見(jiàn)光和紅外圖像。I和I分別表示紅外與可見(jiàn)光低頻分量計(jì)算結(jié)果。

融合后的低頻圖像可以表示為(10)：

I＝1×1＋2×2(10)

2.3 高頻分量融合

為了突出融合圖像的細(xì)節(jié)特征和邊緣部分，本文采用已經(jīng)訓(xùn)練好的VGG-19提取高頻圖像特征。VGG-19網(wǎng)絡(luò)結(jié)構(gòu)中包含3個(gè)全連接層，5個(gè)池化層以及5個(gè)卷積層。通過(guò)公式(11)能夠得到VGG-19網(wǎng)絡(luò)的特征[20]：

式中：(×)代表VGG-19網(wǎng)絡(luò)中的一層，＝{1,2,3,4,5}，代表5個(gè)卷積組。通過(guò)如下步驟可以得到權(quán)重w。

式中：,?{0,1,…,(2－1－1)}，代表塊平均策略中塊的大小，本文中＝1，與代表求和的窗口范圍。

本文中有5組權(quán)重矩陣w，每一組的高頻分量融合如公式(16)表示：

再由公式(17)選擇出融合效果最好的高頻分量融合圖。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本實(shí)驗(yàn)方法的有效性和可行性，在WINDOWS 10和MATLAB 2018A的基礎(chǔ)上進(jìn)行了4組實(shí)驗(yàn)，如圖2所示。本文從TNO Image Fusion Dataset中選取6組經(jīng)過(guò)配準(zhǔn)的源圖像進(jìn)行稀疏矩陣的訓(xùn)練，另外選擇了4種具有代表性的圖像融合方法與本文的方法進(jìn)行比較。

圖2 4組紅外與可見(jiàn)光源圖像

3.1 測(cè)評(píng)指標(biāo)

本文選取了多層級(jí)圖像結(jié)構(gòu)相似性，差分相關(guān)性之和，視覺(jué)信息保真度，特征相互信息，abf五種評(píng)價(jià)指標(biāo)。

1）多層級(jí)圖像結(jié)構(gòu)相似性（Multi scale structural similarity index，MS_SSIM）能更好地與人眼的視覺(jué)系統(tǒng)的視覺(jué)感知相一致[21]。并且在一定的尺度下，評(píng)價(jià)效果優(yōu)于SSIM。公式如下：

式中：(,)，(,)，(,)分別表示亮度比較，對(duì)比度比較和結(jié)構(gòu)比較。與、分別代表該比較的重要程度。

2）差分相關(guān)性之和（difference and correlation, SCD）在圖像融合的應(yīng)用中，要求融合圖像應(yīng)包含盡可能多的來(lái)自輸入圖像的信息[22]。SCD反應(yīng)圖像的反差大小，反差越大，則融合圖像效果越好，公式如下：

1＝－2(19)

2＝－1(20)

SCD＝1,1)＋2,2) (21)

式中：S表示源圖像；表示融合后的圖像；D表示融合圖像與源圖像之間的差異。(×)計(jì)算相關(guān)度，＝{1,2}，分別代表紅外與可見(jiàn)光圖像。

3）視覺(jué)信息保真度（visual information fidelity, VIF）基于視覺(jué)信息保真度提出的衡量融合圖像質(zhì)量的指標(biāo)[23]。VIF越大，則圖像融合的效果就越好，可以表示為：

式中：代表圖像塊中的子帶；和分別代表參考圖像和融合圖像；(×)代表互信息量的計(jì)算。

4）特征相互信息（feature mutual information ，F(xiàn)MI）與質(zhì)量相關(guān)的大多數(shù)信息都包含在細(xì)節(jié)信息里，并且與一些特征（如邊緣、紋理和對(duì)比度）相關(guān)[24]。FMI值越大，代表融合圖像細(xì)節(jié)信息越多，公式如下：

式中：FA與FB分別表示源圖像；A、B表示源圖像的熵值；F表示融合后圖像的熵值。

5）abf表示融合過(guò)程中人為添加到融合圖像上的噪聲比率。abf的值越小，圖像融合的效果就越好。

3.2 仿真結(jié)果及分析

本文分別選用基于離散小波（DWT）的圖像融合算法以及基于紅外特征提取和視覺(jué)信息度保存（Infrared feature extraction and visual information preservation , IFE_VIP）的圖像融合算法[27]、基于卷積稀疏表示的圖像融合（CSR）[25]以及基于交叉雙邊濾波器的圖像融合方法（Cross bilateral filter, CBF）[26]與本文提出的融合算法進(jìn)行對(duì)比。DWT通過(guò)小波變換將圖像分解成高頻部分以及低頻部分，低頻部分采用均值，高頻部分采用區(qū)域能量最大值；IFE_VIP利用四叉樹(shù)分解以及貝塞爾插值提取紅外圖像背景圖，將其與可見(jiàn)光圖像線性疊加；CSR通過(guò)雙尺度圖像分解將圖像分解成高頻部分以及低頻部分，高頻部分利用基于稀疏表示的方法，低頻部分采用平均策略；CBF通過(guò)從源圖像中利用雙邊交叉濾波進(jìn)行權(quán)值計(jì)算，直接用于源圖像的融合。從主觀角度來(lái)看，所有融合算法均達(dá)到圖像融合的目的，但融合效果卻不盡相同。

DWT的融合圖像的亮度低，細(xì)節(jié)信息損失嚴(yán)重，如圖3中的葉子。CBF融合圖像雖然亮度適中但是卻產(chǎn)生了黑色斑點(diǎn)，如圖4中圖像的邊緣以及主體部分。由于高頻分量融合步驟簡(jiǎn)單，DWT和CBF均存在人工信息以及突出特征不明顯的問(wèn)題。IFE_VIP很好地保存了背景細(xì)節(jié)和主體目標(biāo)，但是人的部分存在過(guò)度增強(qiáng)，如圖3和圖4中人的部分。由于IFE_VIP的圖像分解能力有限，融合圖像的邊緣產(chǎn)生了光暈，如融合后圖5的邊緣部分。本文提出的融合算法因?yàn)槭褂肦PCA和LatLRR分解所以融合圖像不會(huì)產(chǎn)生光暈，且不易受到噪聲的影響。CSR的融合圖像和CBF效果類(lèi)似，產(chǎn)生了較大范圍的黑色斑塊或者斑點(diǎn)，例如圖6，CSR在融合后圖像的邊緣部分產(chǎn)生了黑色斑塊，CBF融合后的圖像在紋理信息處產(chǎn)生了很多明顯的黑色斑點(diǎn)。由于CSR在變換域需要融合系數(shù)，如果這些系數(shù)產(chǎn)生小的變化，空間域就會(huì)產(chǎn)生較大的變化。所以，易受到偽像的影響。本文提出的融合算法對(duì)比度適中，保留細(xì)節(jié)信息完整，沒(méi)有產(chǎn)生光暈，實(shí)現(xiàn)了更好的融合效果。

圖3 第1組仿真結(jié)果

圖4 第2組仿真結(jié)果

圖5 第3組仿真結(jié)果

但是主觀判斷誤差較大，并容易受外界影響。故本文選取了MS_SSIM，SCD，VIF，F(xiàn)MI，abf五種評(píng)價(jià)指標(biāo)。

從圖7中可知本文提出的融合算法在FMI、SCD、MS_SSIM這3個(gè)指標(biāo)上完全優(yōu)于對(duì)比算法，表明本文算法得出的融合圖像與源圖像結(jié)構(gòu)更相似，且包含的源圖像轉(zhuǎn)移的信息更多，細(xì)節(jié)信息也更多。在指標(biāo)VIF上僅對(duì)于第3組源圖像的值略低于CBF算法，但其它組均高于對(duì)比算法。在abf指標(biāo)上，遠(yuǎn)遠(yuǎn)低于對(duì)比算法，正是由于對(duì)于訓(xùn)練集圖像進(jìn)行了PRCA去噪，才會(huì)使得融合圖像的噪聲更小。

從表2中可以看出，本文提出的融合算法在FMI、SCD、MS_SSIM、VIF、abf這5種指標(biāo)上，平均值均高于其他算法，說(shuō)明本文算法融合后的圖像包含更多的有效信息，與理想結(jié)果更接近，得到的融合圖像更加清晰，且增加的人工噪聲更少。

表3列出了5種算法在TNO Image Fusion Dataset上運(yùn)行時(shí)間的對(duì)比，雖然本文方法運(yùn)行時(shí)間較長(zhǎng)，但是融合后的圖像細(xì)節(jié)信息更加豐富、噪聲更小，融合效果更加出色。

表2 不同融合圖像的客觀評(píng)價(jià)結(jié)果

表3 不同融合方法的計(jì)算時(shí)間對(duì)比

4 結(jié)論

為了解決紅外與可見(jiàn)光圖像融合中細(xì)節(jié)紋理信息易丟失以及深度學(xué)習(xí)對(duì)于圖像融合方法中源圖像分解過(guò)于簡(jiǎn)單、LatLRR的解決選擇困難等問(wèn)題，本文提出了一種基于RPCA改進(jìn)的LatLRR分解的紅外光與可見(jiàn)光的圖像融合方法。首先利用RPCA和LatLRR快速訓(xùn)練得到稀疏矩陣，其次，利用稀疏矩陣與滑動(dòng)窗口技術(shù)對(duì)源圖像進(jìn)行分解重構(gòu)，得到高頻圖像分量和低頻圖像分量。高頻圖像部分利用已經(jīng)訓(xùn)練好的VGG-19網(wǎng)絡(luò)進(jìn)行特征提取，得到融合后的高頻圖像。低頻部分利用自適應(yīng)加權(quán)策略，得到融合后的低頻圖像。最后，將融合后的高頻圖像與低頻圖像線性相加得到最后的融合圖像。實(shí)驗(yàn)結(jié)果表明，在主觀和客觀兩方面，本文所提出的方法均具有更好的融合效果。下一步將著重于優(yōu)化算法中的參數(shù)以適應(yīng)多種類(lèi)型圖像融合。

[1] DENG Y, LI C, ZHANG Z, et al. Image fusion method for infrared and visible light images based on SWT and regional gradient[C]//20173rd(), 2017: 976-979, doi: 10.1109/ITOEC.2017.8122499.

[2] BEN H A, Yun H, Hamid K, et al. A multiscale approach to pixel-level image fusion[J]., 2005, 12(2): 135-146.

[3] Goshtasby A A, Nikolov S. Image fusion: advances in the state of the art[J]., 2007, 8(2): 114-118.

[4] LUO X Q, LI X Y, WANG P F, et al. Infrared and visible image fusion based on NSCT and stacked sparse autoencoders[J]., 2018, 77(17): 22407-22431.

[5] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]., 2019, 45: 153-178.

[6] YANG J, Wright J, HUANG T S, et al. Image super-resolution via sparse representation[C]//, 2010, 19(11): 2861-2873, Doi: 10.1109/TIP.2010.2050625.

[7] 王文卿, 高鈺迪, 劉涵, 等. 基于低秩稀疏表示的紅外與可見(jiàn)光圖像序列融合方法[J]. 西安理工大學(xué)學(xué)報(bào), 2019, 35(3): 8. WANG W Q, GAO Y D, LIU H, et al. Fusion method of infrared and visible image sequences based on low rank sparse representation[J]., 2019, 35(3): 8.

[8] 康家銀, 陸武, 張文娟. 融合NSST和稀疏表示的PET和MRI圖像融合[J]. 小型微型計(jì)算機(jī)系統(tǒng), 2019(12): 2506-2511. KANG J Y, LU W, ZHANG W J. Pet and MRI image fusion based on NSST and sparse representation[J]., 2019(12): 2506-2511.

[9] 王建, 吳錫生. 基于改進(jìn)的稀疏表示和PCNN的圖像融合算法研究[J]. 智能系統(tǒng)學(xué)報(bào), 2019, 14(5): 7. WANG J, WU X S. Image fusion algorithm based on improved sparse representation and PCNN[J]., 2019, 14(5): 7.

[10] LI H, WU X, Kittler J. MD LatLRR: A Novel Decomposition Method for Infrared and Visible Image Fusion[C]//, 2020, 29: 4733-4746. Doi: 10. 1109/TIP. 2020. 2975984.

[11] YU L, XUN C, Ward R K, et al. Image fusion with convolutional sparse representation[J]., 2016(99): 1-1.

[12] Prabhakar K R, Srikar V S, Babu R V. Deep fuse: a deep unsupervised approach for exposure fusion with extreme exposure image pairs[C]//,, 2017: 4724-4732.

[13] LIU Y, CHEN X, CHENG J, et al. Infrared and visible image fusion with convolutional neural networks[J]., 2018, 16(3): S0219691318500182.

[14] WANG X Z, YIN J F, ZHANG K, et al. Infrared weak-small targets fusion based on latent low-rank representation and DWT[J]., 2019, 7: 112681-112692. Doi: 10.1109/ACCESS.2019.2934523.

[15] LIU G, YAN S. Latent Low-rank representation for subspace segmentation and feature extraction[C]//,2011: 1615-1622. Doi: 10.1109/ICCV.2011.6126422.

[16] WANG Y M, Morariu V I, Davis L S. Unsupervised feature extraction inspired by latent low-rank representation[C]//, 2015: 542-549. Doi: 10. 1109/WACV.2015.78.

[17] Wright J, MA Y, Mairal J, et al. Sparse representation for computer vision and pattern recognition[J]., 2010, 98(6): 1031-1044.

[18] ZHANG H, LIN Z, ZHANG C, et al. Robust latent low rank representation for subspace clustering[J]., 2014, 145(5): 369-373.

[19] 謝艷新. 基于LatLRR和PCNN的紅外與可見(jiàn)光融合算法[J]. 液晶與顯示, 2019, 34(4): 100-106. XIE Y X. Infrared and visible light fusion algorithm based on latLRR and PCNN[J]., 2019, 34(4): 100-106.

[20] LI H, WU X J, Kittler J. Infrared and visible image fusion using a deep learning framework[C]//24th(), 2018: 2705-2710. Doi: 10.1109/ICPR.2018. 8546006.

[21] WANG Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality[C]//, 2003, 2: 1398-140. Doi: 10.1109/ACSSC. 2003.1292216.

[22] Aslantas V L, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]., 2015, 69(12):1890-1896.

[23] lantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]., 2015, 69(12): 1890-1896.

[24] Haghighat M, Razian M A. Fast-FMI: Non-reference image fusion metric[C]//, 2014: 1-3.

[25] LIU Y, CHEN X, Ward R, et al. Image fusion with convolutional sparse representation[J]., 2016, 23(12): 1882-1886. Doi: 10.1109/LSP.2016.2618776.

[26] Kumar B K S. Image fusion based on pixel significance using cross bilateral filter[J]., 2015, 9(5): 1193-1204.

[27] ZHANG Y, ZHANG L, BAI X, et al. Infrared and visual image fusion through infrared feature extraction and visual information preservation[J]., 2017, 83: 227-237.

Infrared and Visible Image Fusion Algorithm Based on the Decomposition of Robust Principal Component Analysis and Latent Low Rank Representation

DING Jian，GAO Qingwei，LU Yixiang，SUN Dong

(School of Electrical Engineering and Automation, Anhui University, Hefei 230601, China)

The fusion of infrared and visible images plays an important role in video surveillance, target tracking, etc. To obtain better fusion results for images, this study proposes a novel method combining deep learning and image decomposition based on a robust low-rank representation. First, robust principal component analysis is used to denoise the training set images. Next, rapid latent low rank representation is used to learn a sparse matrix to extract salient features and decompose the source images into low-frequency and high-frequency images. The low-frequency components are then fused using an adaptive weighting strategy, and the high-frequency components are fused by a VGG-19 network. Finally, the new low-frequency image is superimposed with the new high-frequency image to obtain a fused image. Experimental results demonstrate that this method has advantages in terms of both the subjective and objective evaluation of image fusion.

image fusion, deep learning, latent low rank representation, sparse matrix

TN391

A

1001-8891(2022)01-0001-08

2020-10-13；

2021-03-30.

丁?。?997-），男，安徽蕪湖人，碩士研究生，研究方向?yàn)閳D像處理。E-mail: 1522523398@qq.com。

高清維（1965-），男，安徽合肥人，教授，博導(dǎo)，研究方向?yàn)閿?shù)字圖像處理、信號(hào)處理、模式識(shí)別等。E-mail: qingweigao@ahu.edu.cn。

國(guó)家自然科學(xué)基金項(xiàng)目（61402004，61370110）；安徽省高等學(xué)校自然科學(xué)基金項(xiàng)目（KJ2018A0012）。