基于WEMD和生成對(duì)抗網(wǎng)絡(luò)重建的紅外與可見(jiàn)光圖像融合

楊艷春，高曉宇，黨建武，王陽(yáng)萍

基于WEMD和生成對(duì)抗網(wǎng)絡(luò)重建的紅外與可見(jiàn)光圖像融合

楊艷春*，高曉宇，黨建武，王陽(yáng)萍

（蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070）

針對(duì)紅外與可見(jiàn)光圖像融合中邊緣模糊、對(duì)比度較低的問(wèn)題，提出一種二維窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸猓╓EMD）和生成對(duì)抗網(wǎng)絡(luò)重建的紅外與可見(jiàn)光圖像融合算法。將紅外和可見(jiàn)光圖像進(jìn)行WEMD分解得到內(nèi)蘊(yùn)模式函數(shù)分量和殘余分量，將內(nèi)蘊(yùn)模式函數(shù)分量通過(guò)主成分分析進(jìn)行融合，殘余分量用加權(quán)平均進(jìn)行融合，重構(gòu)得到初步融合圖像，再將初步融合圖像輸入生成對(duì)抗網(wǎng)絡(luò)中與可見(jiàn)光圖像進(jìn)行對(duì)抗博弈，補(bǔ)全背景信息，得到最終的融合圖像?？陀^評(píng)價(jià)指標(biāo)采用平均梯度、邊緣強(qiáng)度、熵值、結(jié)構(gòu)相似性和互信息，與其他5種方法相比，本文算法的各項(xiàng)指標(biāo)分別平均提高了46.13%，39.40%，19.91%，3.72%，33.10%。實(shí)驗(yàn)結(jié)果表明，該算法較好地保留了源圖像的邊緣及紋理細(xì)節(jié)信息，同時(shí)突出了紅外圖像的目標(biāo)，具有較好的可視性，而且在客觀評(píng)價(jià)指標(biāo)方面也有明顯的優(yōu)勢(shì)。

圖像融合；紅外與可見(jiàn)光圖像；窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸?；生成?duì)抗網(wǎng)絡(luò)

1 引　言

圖像融合是從不同傳感器捕獲的圖像中提取最有意義的信息，并將多個(gè)源圖像的互補(bǔ)信息生成一幅信息更完備、對(duì)后續(xù)應(yīng)用更有利的圖像［1］。具體來(lái)說(shuō)，可見(jiàn)光圖像容易受天氣、光照等因素的影響，無(wú)法有效突出目標(biāo)。紅外成像通過(guò)捕捉熱輻射信息差異形成紅外圖像，與可見(jiàn)光圖像相比，紅外圖像對(duì)成像環(huán)境的魯棒性更強(qiáng)，所捕獲的紅外圖像具有顯著的對(duì)比度，能有效地將熱目標(biāo)與背景區(qū)分開(kāi)。然而在對(duì)比度、分辨率和細(xì)節(jié)刻畫(huà)等方面，紅外圖像又遠(yuǎn)不如可見(jiàn)光圖像。通過(guò)紅外與可見(jiàn)光圖像融合實(shí)現(xiàn)兩種圖像的優(yōu)勢(shì)互補(bǔ)，生成的圖像既能突出目標(biāo)區(qū)域又有豐富的紋理細(xì)節(jié)。目前，這種技術(shù)廣泛應(yīng)用于軍事［2］、安全監(jiān)控［3］、醫(yī)療科學(xué)技術(shù)［4］、遙感［5］和機(jī)器視覺(jué)［6］等領(lǐng)域。

隨著圖像融合領(lǐng)域的不斷發(fā)展，新的融合方法不斷提出，融合效率也明顯提高?；诙喑叨茸儞Q的方法是圖像融合中的有力工具，比如小波［7］、金字塔［8］、曲波［9］以及它們的改進(jìn)方法。這些方法取得了一定的融合效果，但得到的融合結(jié)果耗時(shí)長(zhǎng)、效率低。經(jīng)驗(yàn)?zāi)B(tài)分解（Emperical Mode Decomposition，EMD）［10］是Huang在1998年提出的，它可以分解為一維非線性和非平穩(wěn)信號(hào)。諸多學(xué)者將一維信號(hào)分解擴(kuò)展到二維圖像信號(hào)分解，并且已經(jīng)逐步地發(fā)展成熟。文獻(xiàn)［11］提出了一種基于二維經(jīng)驗(yàn)?zāi)B(tài)分解（BEMD）的圖像融合方法，利用BEMD進(jìn)行分解，各自分量對(duì)應(yīng)一個(gè)融合規(guī)則，最后各自分量相加得到融合結(jié)果。文獻(xiàn)［12］提出了一種分級(jí)多尺度融合的水下偏振圖像處理方法，基于BEMD分別將偏振參量融合圖像與偏振強(qiáng)度圖像進(jìn)行多尺度變換，對(duì)得到的高低頻子圖像分別進(jìn)行加權(quán)平均融合，融合權(quán)重是采用窮舉搜索法計(jì)算得到的，最后，將高低頻融合結(jié)果反變換得到最終的融合圖像。深度學(xué)習(xí)可以自動(dòng)從數(shù)據(jù)中提取獨(dú)有的特征，無(wú)需人工干預(yù)，在圖像融合中得到了廣泛的應(yīng)用。文獻(xiàn)［13］利用深度學(xué)習(xí)框架生成源圖像特征的單幅圖像，較好地保留了源圖像的重要特征，取得了較好的融合效果。文獻(xiàn)［14］用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）來(lái)融合紅外與可見(jiàn)光這兩種類型的信息，其中生成器的目標(biāo)是生成具有主要紅外強(qiáng)度和附加可見(jiàn)梯度的融合圖像，鑒別器的目標(biāo)是迫使融合圖像具有可見(jiàn)光圖像中存在的更多細(xì)節(jié)，這使得最終的融合圖像同時(shí)保持紅外圖像中的熱輻射和可見(jiàn)光圖像中的紋理信息。

目前，紅外與可見(jiàn)光圖像融合存在以下問(wèn)題：（1）部分方法利用BEMD的優(yōu)良分解特性，在使用BEMD算法分解圖像時(shí)存在信號(hào)隱藏問(wèn)題，無(wú)法完全分離信號(hào)，對(duì)圖像邊緣和紋理提取不充分；（2）生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練過(guò)程中會(huì)產(chǎn)生梯度消失的現(xiàn)象，無(wú)法達(dá)到納什均衡。為解決以上問(wèn)題，本文提出一種基于窗口經(jīng)驗(yàn)?zāi)B(tài)分解（Window Empirical Mode Decomposition，WEMD）和GAN重建的紅外與可見(jiàn)光圖像融合算法。利用WEMD算法的高頻細(xì)節(jié)信息強(qiáng)獲取能力，可以更好地提取可見(jiàn)光中的背景信息，分解成殘余分量和內(nèi)蘊(yùn)模式函數(shù)分量（Intrinsic Mode Function，IMF）。殘余分量則相當(dāng)于低頻信息，融合規(guī)則采用加權(quán)平均的方法，重構(gòu)得到初步的融合圖像。代表高頻信息的IMF分量采用主成分分析（Principle Component Analysis，PCA）的融合規(guī)則進(jìn)行融合，生成初步融合圖。將得到的初步融合圖像輸入GAN中，針對(duì)訓(xùn)練不穩(wěn)定的問(wèn)題，將GAN的目標(biāo)函數(shù)由交叉熵?fù)p失替換為最小二乘損失，增強(qiáng)圖像細(xì)節(jié)特征的提取能力。為了驗(yàn)證算法的有效性，與其他5種方法進(jìn)行對(duì)比，本文方法在解決信號(hào)隱藏問(wèn)題的基礎(chǔ)上，保留了圖像的邊緣及紋理等細(xì)節(jié)信息，具有較好的可視性。

2 理論分析

2.1　窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸?/h3>

傳統(tǒng)BEMD存在著信號(hào)隱藏和收斂速度慢的問(wèn)題，因?yàn)锽EMD在計(jì)算平均包絡(luò)時(shí)運(yùn)用了插值算法，插值算法在端點(diǎn)處和頻率變化較大的區(qū)域會(huì)出現(xiàn)較大的擺動(dòng)，隨著分解層數(shù)的增加，得到的分解數(shù)據(jù)會(huì)出現(xiàn)嚴(yán)重的失真。BEMD的分解停止條件是通過(guò)計(jì)算標(biāo)準(zhǔn)差來(lái)決定的，而這種篩選過(guò)程不具備快速收斂性，影響運(yùn)算速度。本文提出了一種二維WEMD算法，在BEMD的基礎(chǔ)上，增加了一個(gè)自適應(yīng)窗口，替代了BEMD中通過(guò)插值算法計(jì)算出上下包絡(luò)的方法，很好地克服了信號(hào)隱藏問(wèn)題［15］，舍棄了根據(jù)標(biāo)準(zhǔn)差的停止篩選條件，有效提高了算法的運(yùn)算速度。WEMD可以很好地解決信號(hào)隱藏問(wèn)題，如圖1所示。

圖1　窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸?/p>

它的基本算法流程如下：

（2）對(duì)當(dāng)前第層，進(jìn)行加窗處理：

③=+2，如果<，轉(zhuǎn)到步驟②；否則求；

④計(jì)算下一像素，轉(zhuǎn)到步驟②，直到計(jì)算完所有像素點(diǎn)；

2.2　生成對(duì)抗網(wǎng)絡(luò)框架

GAN將生成模型設(shè)計(jì)成一個(gè)學(xué)習(xí)概率參數(shù)的模型，為了使真實(shí)分布數(shù)據(jù)和生成模型之間的散度最小化，通過(guò)一個(gè)最大、最小博弈對(duì)抗過(guò)程同時(shí)訓(xùn)練兩個(gè)模型來(lái)估計(jì)生成模型：生成模型G和鑒別模型D［16］。生成器G將生成的一個(gè)樣本去欺騙鑒別器D，鑒別器D則是區(qū)分真假圖像。在訓(xùn)練過(guò)程中進(jìn)行對(duì)抗學(xué)習(xí)來(lái)提高兩個(gè)模型的性能，產(chǎn)生更高質(zhì)量的圖像。它的目標(biāo)函數(shù)為：

當(dāng)訓(xùn)練G時(shí)，鑒別器D中的參數(shù)是不變的。G和D的對(duì)抗過(guò)程構(gòu)成了最小最大博弈，其中G試圖愚弄D，而D被訓(xùn)練來(lái)鑒別生成的數(shù)據(jù)。因此，鑒別器很難區(qū)分生成的樣本和真實(shí)數(shù)據(jù)?，F(xiàn)有的基于GAN的融合方法僅僅應(yīng)用GAN來(lái)迫使融合圖像在可見(jiàn)光圖像中獲得更多細(xì)節(jié)，而紅外圖像中的熱輻射僅通過(guò)內(nèi)容損失獲得。隨著對(duì)抗博弈的進(jìn)行，融合后的圖像與可見(jiàn)光圖像更加相似，熱目標(biāo)的突出度逐漸降低。利用雙鑒別器可以很好地解決以上的問(wèn)題。

3 方　法

將源圖像通過(guò)WEMD分解得到殘余分量和IMF分量，通過(guò)加權(quán)平均對(duì)殘余分量進(jìn)行融合。IMF分量則采用PCA主成分分析法進(jìn)行融合，PCA方法的降維處理方式應(yīng)用在圖像處理上往往容易獲得大尺度下的紋理和細(xì)節(jié)信息，將PCA應(yīng)用于IMF分量的融合，可以很好地對(duì)IMF分量中的細(xì)節(jié)、線條和邊緣進(jìn)行捕捉和刻畫(huà)，從而保留圖像主要的細(xì)節(jié)信息。最后，將得到的各分量的融合圖像累加得到初步的融合圖像，將初步融合圖像輸入GAN中進(jìn)行細(xì)節(jié)重建，得到最終的融合圖像?；赪EMD的算法流程如圖2所示，具體步驟如下：

（2）選用加權(quán)平均來(lái)融合殘余分量，利用PCA融合IMF分量，得到各個(gè)分量的融合圖，重構(gòu)得到初步的融合圖像；

（3）再將得到的初步融合圖像輸入GAN中進(jìn)行細(xì)節(jié)重建得到最終的融合圖像。

圖2　基于窗口經(jīng)驗(yàn)?zāi)Ｊ椒纸馑惴鞒?/p>

3.1　融合部分

（8）將得到的兩部分融合圖重構(gòu)得到初步的融合圖像。

3.2　細(xì)節(jié)重建部分

細(xì)節(jié)重建部分是將得到的初步融合圖像輸入GAN，通過(guò)生成器來(lái)生成虛假樣本，利用雙鑒別器與生成器對(duì)抗的過(guò)程中補(bǔ)全紅外圖像和可見(jiàn)光圖像的信息。

321生成器的網(wǎng)絡(luò)架構(gòu)

生成器的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。由圖可知，它是一個(gè)簡(jiǎn)單的五層卷積神經(jīng)網(wǎng)絡(luò)，其中第一層和第二層使用5×5濾波器，第三層和第四層使用3×3濾波器，最后一層使用1×1濾波器。每層的步幅設(shè)置為1。對(duì)于紅外和可見(jiàn)光圖像融合，每個(gè)下采樣過(guò)程都會(huì)丟失源圖像中的一些細(xì)節(jié)信息，這對(duì)融合很重要。因此，只引入卷積層。這也可以保持輸入和輸出的大小相同，因此，轉(zhuǎn)置卷積層在我們的網(wǎng)絡(luò)中是不必要的。此外，為了避免梯度消失的問(wèn)題，遵循深度卷積GAN的規(guī)則進(jìn)行批量歸一化和激活函數(shù)。為了克服對(duì)數(shù)據(jù)初始化的敏感性，在前四層采用了批量歸一化，批量歸一化層可以使模型更加穩(wěn)定，也可以幫助梯度有效地反向傳播到每一層。為了避免隨著網(wǎng)絡(luò)加深出現(xiàn)的誤差，引入殘差網(wǎng)絡(luò)。在前四層使用ReLU激活函數(shù)，最后一層使用tanh激活函數(shù)。

圖3　生成器的網(wǎng)絡(luò)架構(gòu)

322鑒別器的網(wǎng)絡(luò)架構(gòu)

鑒別器的網(wǎng)絡(luò)結(jié)構(gòu)每一層都只有卷積操作，如圖4所示。從第一層到第四層，卷積層中使用3×3的濾波器，在沒(méi)有填充的情況下將步幅設(shè)置為2。鑒別器是一個(gè)分類器，它先從輸入圖像中提取特征圖，然后對(duì)它們進(jìn)行分類。因此，將步幅設(shè)置為2，它的工作方式與匯集層相同。為了不引入噪聲，只在第一層對(duì)輸入圖像執(zhí)行填充操作，在其余三個(gè)卷積層不執(zhí)行填充。從第二層到第四層，使用批處理規(guī)范化層。隨著層數(shù)的增加，為了避免誤差，引入殘差網(wǎng)絡(luò)。每一層的激活函數(shù)都是Leaky ReLU函數(shù)，最后是線性層。

圖4　鑒別器的網(wǎng)絡(luò)架構(gòu)

323網(wǎng)絡(luò)訓(xùn)練

為了解決GAN在網(wǎng)絡(luò)訓(xùn)練中不穩(wěn)定的問(wèn)題，在訓(xùn)練中引入內(nèi)容丟失。因此，生成器不僅被訓(xùn)練成欺騙鑒別者，而且約束生成的圖像和內(nèi)容中的源圖像之間的相似性的任務(wù)。因此，生成器的損失函數(shù)由兩部分構(gòu)成，損失函數(shù)定義為：

4 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文算法的可行性與有效性，實(shí)驗(yàn)中選取6組經(jīng)過(guò)配準(zhǔn)的紅外與可見(jiàn)光圖像進(jìn)行融合，其大小分別為632×496，640×480，620×450，360×270，595×328和768×576 pixel。網(wǎng)絡(luò)模型運(yùn)用tensorflow框架。實(shí)驗(yàn)的仿真平臺(tái)采用配置為Intel酷睿i5-4210H CPU，運(yùn)行內(nèi)存8 GB，操作系統(tǒng)為Win 10，編程環(huán)境為Python 3.6。如圖5所示，將本文方法與自適應(yīng)稀疏表示（ASR）［17］、通過(guò)紅外特征提取和視覺(jué)信息保存實(shí)現(xiàn)紅外與可見(jiàn)光圖像融合（EP）［18］、基于卷積稀疏性的形態(tài)學(xué)成分分析方法（CSMCA）［19］、集成卷積神經(jīng)網(wǎng)絡(luò)方法（ECNN）［20］和GAN［14］進(jìn)行對(duì)比。

圖5中，第一組EP方法很好地突出了高亮區(qū)域，但遺漏了很多可見(jiàn)光圖像中的信息，而其他方法沒(méi)有很好突出紅外信息，本文方法在保持細(xì)節(jié)信息的同時(shí)，得到了足夠的紅外信息。第二組對(duì)比方法的融合結(jié)果丟失了一些紅外信息，本文方法中很好地體現(xiàn)出了飛機(jī)螺旋槳的紅外信息，對(duì)比度更高。本文方法很好地體現(xiàn)了紅外目標(biāo)信息，并保有一定的背景細(xì)節(jié)信息。第三組很好地保留了房子周圍樹(shù)木的紋理細(xì)節(jié)，EP方法有明顯的遮擋，GAN方法保留了目標(biāo)建筑物的顯著性，但周邊樹(shù)木的紋理結(jié)構(gòu)卻不夠豐富，而本文方法則很好地突出了紅外目標(biāo)的信息。第四組圖像在標(biāo)出的路面上損失了很多背景信息，CSMCA方法和ECNN方法融合得到的圖像雖然突出了前景目標(biāo)信息，但兩個(gè)方法丟失了部分細(xì)節(jié)、紋理信息。相比而言，本文算法對(duì)路面的紋理保留得最好，且有效地突出了高亮區(qū)域。第五組EP和ECNN具有明顯的融合處理痕跡，比如樹(shù)林的背景被虛化、人體線條失真，且源圖像區(qū)域間成像特性差異越大、特征變化越急劇，這種效應(yīng)越明顯，對(duì)比之下，ASR和本文方法則較為自然。從第六組圖片可以看出，房子周圍的樹(shù)木模糊，天空中的云出現(xiàn)失真的現(xiàn)象，本文算法可以清晰地看到樹(shù)木和云朵的紋理信息，相比其他方法具有明顯優(yōu)勢(shì)。

為了更好地評(píng)價(jià)圖像質(zhì)量，本文采用了5種客觀評(píng)價(jià)指標(biāo)，如表1所示，對(duì)多組圖像進(jìn)行評(píng)價(jià)。這5種評(píng)價(jià)指標(biāo)分別是平均梯度［23］（Average Gradient，AG），邊緣強(qiáng)度［24］（Edge Intensity，EI），熵值［25］（Entropy，EN），結(jié)構(gòu)相似性［26］（Structural Similarity，SSIM）和互信息［27］（Mutual Information，MI）。

圖6　指標(biāo)折線圖

表1圖像融合對(duì)比實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)

Tab.1　Objective evaluation index of image fusion contrast experiment

如表1所示，本文效果優(yōu)于對(duì)比融合方法。本文算法較好地保留了圖像的邊緣及紋理細(xì)節(jié)信息，同時(shí)突出了紅外圖像的目標(biāo)，具有較好的對(duì)比度和清晰度。

運(yùn)行效率也是評(píng)估算法性能的重要標(biāo)準(zhǔn)之一。統(tǒng)計(jì)了不同方法在TNO數(shù)據(jù)集上的運(yùn)行時(shí)間，結(jié)果如表2所示。因?yàn)镋P方法運(yùn)用了傳統(tǒng)方法，所以運(yùn)行時(shí)間較短，其他方法需要通過(guò)字典或網(wǎng)絡(luò)來(lái)生成融合圖像，本文所提方法在TNO數(shù)據(jù)集上的運(yùn)行效率比多數(shù)方法都快。

表2各方法在TNO數(shù)據(jù)集上的運(yùn)行時(shí)間

Tab.2　Running time of each method on TNO dataset?。╯）

5 結(jié)　論

本文提出了一種基于WEMD和GAN重建的紅外與可見(jiàn)光圖像融合方法，不僅能夠有效地解決圖像分解中信號(hào)隱藏的問(wèn)題，而且保持了邊緣和紋理等細(xì)節(jié)信息，提高了圖像的對(duì)比度。WEMD算法對(duì)圖像各層的細(xì)節(jié)信息進(jìn)行提取，將圖像分解為殘余分量和IMF分量，IMF分量可以通過(guò)閾值將細(xì)節(jié)和背景分離開(kāi)來(lái)，更好地提取高頻信息。最后重構(gòu)得到初步的融合圖像，初步融合圖像再通過(guò)GAN的細(xì)節(jié)重建，補(bǔ)全丟失的細(xì)節(jié)紋理信息。與其他方法相比，本文提出的方法能獲得紋理和細(xì)節(jié)更加豐富的圖像，提高了圖像的對(duì)比度和清晰度，是一種有效的融合方法。與ASR，EP，CSMCA，ECNN和GAN 5種方法相比，平均梯度（AG），邊緣強(qiáng)度（EI），熵值（EN），結(jié)構(gòu)相似性（SSIM）和互信息（MI）分別平均提高了46.13%，39.40%，19.91%，3.72%，33.10%。不過(guò)，基于WEMD和GAN的方法在圖像融合中會(huì)受到噪聲的影響，提出更具魯棒性的融合規(guī)則是今后努力的方向。

［1］ 劉先紅，陳志斌，秦夢(mèng)澤. 結(jié)合引導(dǎo)濾波和卷積稀疏表示的紅外與可見(jiàn)光圖像融合［J］. 光學(xué)精密工程， 2018， 26（5）： 1242-1253.

LIU X H， CHEN ZH B， QIN M Z. Infrared and visible image fusion using guided filter and convolutional sparse representation［J］.， 2018， 26（5）： 1242-1253. （in Chinese）

［2］ SINGH R， VATSA M， NOORE A. Integrated multilevel image fusion and match score fusion of visible and infrared face images for robust face recognition［J］.， 2008， 41（3）： 880-893.

［3］ HAN J， BHANU B. Fusion of color and infrared video for moving human detection［J］.， 2007， 40（6）： 1771-1784.

［4］ REINHARD E， ADHIKHMIN M， GOOCH B，. Color transfer between images［J］.， 2001， 21（5）： 34-41.

［5］ 馮維，吳貴銘，趙大興，等. 多圖像融合Retinex用于弱光圖像增強(qiáng)［J］. 光學(xué)精密工程， 2020， 28（3）： 736-744.

FENG W， WU G M， ZHAO D X，. Multi images fusion Retinex for low light image enhancement［J］.， 2020， 28（3）： 736-744. （in Chinese）

［6］ 殷明，段普宏，褚標(biāo)，等. 基于非下采樣雙樹(shù)復(fù)輪廓波變換和稀疏表示的紅外和可見(jiàn)光圖像融合［J］. 光學(xué)精密工程， 2016， 24（7）： 1763-1771.

YIN M， DUAN P H， CHU B，. Fusion of infrared and visible images combined with NSDTCT and sparse representation［J］.， 2016， 24（7）： 1763-1771. （in Chinese）

［7］ ALI S S， RIAZ M M， GHAFOOR A. Fuzzy logic and additive wavelet-based panchromatic sharpening［J］.， 2014， 11（1）： 357-360.

［8］ CHEN G， LI L， JIN W Q，. Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera［J］.， 2019， 11（5）： 1-15.

［9］ CHOI M， KIM R Y， NAM M R，. Fusion of multispectral and panchromatic Satellite images using the curvelet transform［J］.， 2005， 2（2）： 136-140.

［10］ HUANG N E， SHEN Z， LONG S R，. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis［J］.：，， 1998， 454（1971）： 903-995.

［11］ YANG J K， GUO L， YU S W，. A new multi-focus image fusion algorithm based on BEMD and improved local energy［J］.， 2014， 9（9）： 2329-2334.

［12］ 王慧斌，廖艷，沈潔，等. 分級(jí)多尺度變換的水下偏振圖像融合法［J］. 光子學(xué)報(bào)， 2014， 43（5）： 192-198.

WANG H B， LIAO Y， SHEN J，. Method of underwater polarization image fusion based on hierarchical and multi-scale transform［J］.， 2014， 43（5）： 192-198. （in Chinese）

［13］ LI H， WU X J， KITTLER J. Infrared and visible image fusion using a deep learning framework［C］.201824（）2024，2018，，， 2018： 2705-2710.

［14］ MA J Y， YU W， LIANG P W，. FusionGAN： a generative adversarial network for infrared and visible image fusion［J］.， 2019， 48： 11-26.

［15］ 朱攀，黃戰(zhàn)華. 基于二維經(jīng)驗(yàn)?zāi)B(tài)分解和高斯模糊邏輯的紅外與可見(jiàn)光圖像融合［J］. 光電子·激光， 2017， 28（10）： 1156-1162.

ZHU P， HUANG ZH H. Fusion of infrared and visible images based on BEMD and GFL［J］.， 2017， 28（10）： 1156-1162. （in Chinese）

［16］ RADFORD A， METZ L， CHINTALA S.Unsupervised representation learning with deep convolutional generative adversarial networks［J］.， 2015（1）： arXiv：1511.06434.

［17］ LIU Y， WANG Z F. Simultaneous image fusion and denoising with adaptive sparse representation［J］.， 2015， 9（5）： 347-357.

［18］ ZHANG Y， ZHANG L J， BAI X Z，. Infrared and visual image fusion through infrared feature extraction and visual information preservation［J］.， 2017， 83： 227-237.

［19］ LIU Y， CHEN X， WARD R K，. Medical image fusion via convolutional sparsity based morphological component analysis［J］.，2019， 26（3）： 485-489.

［20］ AMIN-NAJI M， AGHAGOLZADEH A， EZOJI M. Ensemble of CNN for multi-focus image fusion［J］.， 2019， 51： 201-214.

［21］ SHEN Y， WU Z D， WANG X P，. Tetrolet transform images fusion algorithm based on fuzzy operator［J］.， 2015， 9（9）： 1132-1138.

［22］ XYDEAS C S， PETROVIC? V. Objective image fusion performance measure［J］.， 2000， 36（4）： 308.

［23］ 閆莉萍，劉寶生，周東華. 一種新的圖像融合及性能評(píng)價(jià)方法［J］. 系統(tǒng)工程與電子技術(shù)， 2007， 29（4）： 509-513.

YAN L P， LIU B SH， ZHOU D H. Novel image fusion algorithm with novel performance evaluation method［J］.， 2007， 29（4）： 509-513. （in Chinese）

［24］ MA J Y， MA Y， LI C. Infrared and visible image fusion methods and applications： a survey［J］.， 2019， 45： 153-178.

［25］ QU G H， ZHANG D L， YAN P F. Information measure for performance of image fusion［J］.， 2002， 38（7）： 313-315.

Infrared and visible image fusion based on WEMD and generative adversarial network reconstruction

YANG Yanchun*，GAO Xiaoyu，DANG Jianwu，WANG Yangping

（，，730070，），：102

To overcome the problem of blurred edges and low contrast in the fusion of infrared and visible images， a two-dimensional window empirical mode decomposition （WEMD） and infrared and visible light image fusion algorithm for GAN reconstruction was proposed. The infrared and visible light images were decomposed using WEMD to obtain the intrinsic mode function components （IMF） and residual components. The IMF components were fused through principal component analysis， and the residual components were fused by the weighted average. The preliminary fused image was reconstructed and input into the GAN to play against the visible light image， and some background information was supplemented to obtain the final fusion image. The average gradient （AG）， edge strength （EI）， entropy （EN）， structural similarity （SSIM）， and mutual information （MI） are used for objective evaluation， and they increased by 46.13%， 39.40%， 19.91%， 3.72%， and 33.10%， respectively， compared with the other five methods. The experimental results show that the proposed algorithm achieves better retention of the edge and texture details of the sources image while simultaneously highlighting the target of the infrared image， has better visibility， and has obvious advantages in terms of objective evaluation indicators.

image fusion； infrared and visible image； window empirical mode decomposition； generative adversarial network

TP391

A

10.37188/OPE.20223003.0320

1004-924X（2022）03-0320-11

2021-05-27；

2021-07-01.

長(zhǎng)江學(xué)者和創(chuàng)新團(tuán)隊(duì)發(fā)展計(jì)劃資助項(xiàng)目（No.IRT_16R36）；國(guó)家自然科學(xué)基金資助項(xiàng)目（No.62067006）；甘肅省科技計(jì)劃資助項(xiàng)目（No.18JR3RA104）；甘肅省高等學(xué)校產(chǎn)業(yè)支撐計(jì)劃資助項(xiàng)目（No.2020C-19）；蘭州市科技計(jì)劃資助項(xiàng)目（No.2019-4-49）；蘭州交通大學(xué)天佑創(chuàng)新團(tuán)隊(duì)資助項(xiàng)目（No.TY202003）；蘭州交通大學(xué)-天津大學(xué)聯(lián)合創(chuàng)新基金資助項(xiàng)目（No.2021052）

楊艷春（1979），女，新疆五家渠人，副教授，博士，碩士生導(dǎo)師，2002年、2007年、2014年于蘭州交通大學(xué)分別獲得學(xué)士、碩士和博士學(xué)位，主要從事圖像融合和圖像處理的研究。E-mail：yangyanchun102@sina.com

高曉宇（1997），男，內(nèi)蒙古烏蘭察布人，碩士研究生，2019年于蘭州交通大學(xué)大學(xué)獲得學(xué)士學(xué)位，主要從事圖像融合和圖像處理的研究。E-mail：xiaoyu19971101@163.com