基于注意力與殘差級(jí)聯(lián)的紅外與可見(jiàn)光圖像融合方法

李晨，侯 進(jìn)，李金彪，陳子銳

（西南交通大學(xué)信息科學(xué)與技術(shù)學(xué)院，成都 611756）

0 概述

紅外圖像通過(guò)物體的熱輻射信息成像得到，具有顯著區(qū)別于周?chē)h(huán)境的目標(biāo)信息?？梢?jiàn)光圖像通過(guò)物體反光成像得到，具有較豐富的背景細(xì)節(jié)信息。紅外與可見(jiàn)光圖像的融合能夠克服單一傳感器獲得的圖像信息不足的缺點(diǎn)。因此，紅外與可見(jiàn)光圖像融合廣泛應(yīng)用在人臉識(shí)別、遙感、目標(biāo)檢測(cè)、目標(biāo)跟蹤［1-3］等領(lǐng)域。

傳統(tǒng)的紅外與可見(jiàn)光圖像融合方法主要有多尺度變換、稀疏表示、混合模型等。文獻(xiàn)［4］提出基于目標(biāo)增強(qiáng)的多尺度變換分解模型，該方法使用拉普拉斯變換將配準(zhǔn)的源圖像分解為高頻和低頻成分后，根據(jù)分解后的紅外低頻信息確定融合權(quán)重，通過(guò)正則化參數(shù)控制紅外特征的比例，同時(shí)利用拉普拉斯逆變換重建融合圖像。文獻(xiàn)［5］提出一種混合模型驅(qū)動(dòng)的融合方法，將源圖像分解為顯著子帶和基礎(chǔ)子帶后，根據(jù)子帶的特點(diǎn)采用不同的融合方法得到融合圖像，具有較優(yōu)的融合效果。隨著深度學(xué)習(xí)的發(fā)展，越來(lái)越多的深度學(xué)習(xí)方法應(yīng)用于圖像融合領(lǐng)域。文獻(xiàn)［6］提出一種基于神經(jīng)網(wǎng)絡(luò)CNN 的融合方法。該方法利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)提取源圖像的特征，通過(guò)手動(dòng)設(shè)計(jì)融合規(guī)則得到融合圖像。文獻(xiàn)［7］提出基于生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的融合方法Fusion GAN，將各源圖像一起作為GAN 的輸入，生成器提取特征并生成初步融合圖像，判別器調(diào)整生成器，使得融合圖像中有更多的可見(jiàn)光信息。Fusion GAN生成的融合圖像中包含紅外圖像的目標(biāo)信息和可見(jiàn)光圖像的背景信息，但是缺少細(xì)節(jié)信息，并且清晰度較低。文獻(xiàn)［8］提出一種基于Wasserstein 距離的融合網(wǎng)絡(luò)D2WGAN。在D2WGAN 中，使用2 個(gè)判別器使得訓(xùn)練過(guò)程變得復(fù)雜。融合圖像雖然具有較高的對(duì)比度，但是視覺(jué)效果較差，且圖像比較模糊。

注意力機(jī)制能夠充分利用圖像的關(guān)鍵信息，并忽略不相關(guān)的信息。本文提出基于注意力與殘差級(jí)聯(lián)的紅外與可見(jiàn)光圖像融合方法。采用層次特征融合模塊提取源圖像中的層次特征，通過(guò)特征解碼融合模塊融合層次特征并生成融合圖像，使用譜歸一化技術(shù)提高GAN 訓(xùn)練穩(wěn)定性，生成具有紅外圖像顯著目標(biāo)和可見(jiàn)光圖像豐富背景細(xì)節(jié)的融合圖像。

1 相關(guān)工作

1.1 注意力機(jī)制

近年來(lái)，注意力機(jī)制廣泛應(yīng)用于圖像處理領(lǐng)域。針對(duì)圖像分類問(wèn)題，文獻(xiàn)［9］提出一種SE（Squeeze-and-Excitation）的網(wǎng)絡(luò)結(jié)構(gòu)，通過(guò)Squeeze和Excitation這2個(gè)部分來(lái)學(xué)習(xí)并加權(quán)特征。SE 結(jié)構(gòu)的原理是通過(guò)增大有用特征的權(quán)重值并抑制無(wú)用特征的權(quán)重值來(lái)提高網(wǎng)絡(luò)提取特征的能力。文獻(xiàn)［10］提出一種殘差注意力的網(wǎng)絡(luò)結(jié)構(gòu)，在每個(gè)注意力模塊中都增加掩膜分支。主干分支使用殘差網(wǎng)絡(luò)結(jié)構(gòu)提取特征，掩膜分支將降采樣和上采樣相結(jié)合，并將其與高低維度的特征組合，得到掩膜權(quán)重，以提升網(wǎng)絡(luò)提取高頻特征的能力。在紅外與可見(jiàn)光圖像融合的過(guò)程中需要提取大量的細(xì)節(jié)信息，因此，本文依據(jù)這2 種網(wǎng)絡(luò)結(jié)構(gòu)，并在文獻(xiàn)［11］的基礎(chǔ)上構(gòu)建新的模塊。

1.2 譜歸一化生成對(duì)抗網(wǎng)絡(luò)

針對(duì)傳統(tǒng)GAN 在訓(xùn)練中存在模式崩潰和不收斂的問(wèn)題，文獻(xiàn)［12］提出基于Wasserstein 距離的GAN，增大GAN 訓(xùn)練時(shí)的穩(wěn)定性，其主要原理是使用Wasserstein 距離代替GAN 的JS（Jensen Shannon）距離來(lái)求得2 個(gè)分布的距離，因此經(jīng)過(guò)改進(jìn)后的GAN 稱為WGAN。WGAN 的計(jì)算如式（1）所示：

WGAN 在判別器的參數(shù)矩陣上增加了Lipschitz約束，但是該方法容易破壞參數(shù)之間的比例關(guān)系，導(dǎo)致網(wǎng)絡(luò)的梯度丟失。SNGAN［13］（Spectral Normalization GAN）設(shè)計(jì)既滿足Lipschitz 約束，又不破壞矩陣結(jié)構(gòu)。多層神經(jīng)網(wǎng)絡(luò)可以看成是多個(gè)復(fù)合函數(shù)的嵌套，因此神經(jīng)網(wǎng)絡(luò)可以簡(jiǎn)寫(xiě)為：

激活函數(shù)均滿足1-Lipschitz 條件，要使整個(gè)網(wǎng)絡(luò)滿足1-Lipschitz 條件，只需讓每層的矩陣W滿足即可。因此，對(duì)每層矩陣W進(jìn)行譜歸一化操作即可滿足1-Lipschitz，譜歸一化操作如式（3）所示：

其中：σ(W)為整個(gè)W矩陣的最大特征值。σ(W)如式（4）所示：

通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行譜歸一化操作后，神經(jīng)網(wǎng)絡(luò)的梯度被限制在一個(gè)范圍內(nèi)，從而增強(qiáng)GAN 的訓(xùn)練穩(wěn)定性。

2 基于注意力與殘差級(jí)聯(lián)的融合方法

本文網(wǎng)絡(luò)架構(gòu)基于GAN 原理，分為生成器和判別器2 個(gè)網(wǎng)絡(luò)結(jié)構(gòu)。本文的網(wǎng)絡(luò)架構(gòu)如圖1 所示。

圖1 本文網(wǎng)絡(luò)架構(gòu)Fig.1 Framework of the proposed network

在模型訓(xùn)練中，紅外圖像、可見(jiàn)光圖像、調(diào)節(jié)圖像及這3 個(gè)圖像的梯度一起作為生成器的輸入，生成器得到輸入圖像后直接生成初始融合圖像。得到調(diào)節(jié)圖像的方法如式（5）所示：

其中：R為調(diào)節(jié)圖像；I和V分別為紅外圖像與可見(jiàn)光圖像；w為權(quán)重，在本文中w設(shè)置為0.4；(x,y)為對(duì)應(yīng)像素點(diǎn)。生成初始融合圖像的生成器將與輸入預(yù)融合圖像的判別器進(jìn)行對(duì)抗，同時(shí)在訓(xùn)練中計(jì)算初始融合圖像與紅外圖像的梯度損失和可見(jiàn)光圖像的結(jié)構(gòu)強(qiáng)度損失。在生成器與判別器的對(duì)抗中，向生成圖像補(bǔ)充源圖像的信息，使得最終的融合圖像既具有紅外圖像顯著目標(biāo)，又具有可見(jiàn)光圖像豐富的背景細(xì)節(jié)。

2.1 生成器結(jié)構(gòu)

傳統(tǒng)的融合網(wǎng)絡(luò)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)直接融合特征，但是在網(wǎng)絡(luò)結(jié)構(gòu)過(guò)深時(shí)，存在丟失信息的問(wèn)題。針對(duì)該問(wèn)題，文獻(xiàn)［14］提出一種新的改進(jìn)嵌套連接結(jié)構(gòu)。本文生成器網(wǎng)絡(luò)主要由提取淺層特征的卷積塊、基于注意力與殘差級(jí)聯(lián)的層次特征提取模塊（Hierarchical Feature Extract Block，HFEB）、特征解碼融合的模塊（Decoder ConvBlock，DCB）組成。整體生成器結(jié)構(gòu)如圖2 所示。

圖2 生成器結(jié)構(gòu)Fig.2 Generator structure

2.1.1 層次特征提取模塊

在深層神經(jīng)網(wǎng)絡(luò)傳遞的過(guò)程中不斷損失特征信息，最后的特征融合部分會(huì)丟失源圖像的信息。為解決該問(wèn)題，本文構(gòu)建一種殘差連接結(jié)構(gòu)。每層HFEB 得到的輸入都是前面HFEB 模塊的輸出與淺層提取特征的級(jí)聯(lián)，每層HFEB 的計(jì)算如式（6）所示：

其中：fHFEB為HFEB模塊；C為連接操 作；Xn-1為每個(gè)HFEB 的輸出。在每個(gè)HFEB 中，輸入特征先經(jīng)過(guò)一個(gè)3×3 的卷積層，再輸入到EM（Extract and Mask）模塊中提取高頻特征。

受文獻(xiàn)［11］啟發(fā)，在超分辨率重建任務(wù)中，采用掩碼注意力網(wǎng)絡(luò)提取圖像的細(xì)節(jié)信息。本文對(duì)掩碼注意力網(wǎng)絡(luò)進(jìn)行改進(jìn)，用于提取紅外和可見(jiàn)光圖像中的高頻信息。在每個(gè)EM 模塊中，輸入圖像的信息先經(jīng)過(guò)一次通道注意力SE 模塊，以加權(quán)重要通道的信息，并且減小不重要信息的比重。經(jīng)過(guò)加權(quán)的特征信息再分別輸入到特征提取模塊和基于注意力的掩碼模塊，其結(jié)構(gòu)如圖3 所示。

圖3 特征提取與掩碼模塊Fig.3 Feature extraction and mask module

特征提取模塊主要用于提取源圖像中的高頻信息。本文借鑒文獻(xiàn)［11］的結(jié)構(gòu)來(lái)提取紅外與可見(jiàn)光源圖像中的高頻信息。輸入的中間特征x經(jīng)過(guò)上采樣得到再經(jīng)過(guò)卷積后得到，如式（7）和式（8）所示：

經(jīng)過(guò)2 次上采樣和卷積后，紅外與可見(jiàn)光圖像的高頻細(xì)節(jié)信息被最大限度提取。

EM 模塊的另一個(gè)分支是掩碼注意力模塊，其設(shè)計(jì)思路基于文獻(xiàn)［15］，其結(jié)構(gòu)如圖4 所示。

圖4 掩碼注意力模塊Fig.4 Mask attention module

在掩碼注意力模塊內(nèi)，輸入的特征通過(guò)3×3 卷積和PReLU 函數(shù)激活后，再經(jīng)過(guò)平均池化對(duì)通道信息進(jìn)行壓縮，經(jīng)過(guò)2 次1×1 的卷積，在每個(gè)卷積層后都有一個(gè)PReLU 層，最后使用Softmax 函數(shù)加權(quán)特征通道。

2.1.2 特征解碼融合模塊

特征解碼融合模塊由卷積層組成，每個(gè)DCB 模塊由2 個(gè)卷積層組成，每個(gè)卷積層后面都利用ReLU函數(shù)進(jìn)行激活。

2.2 判別器結(jié)構(gòu)

判別器是一個(gè)二分類網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。表中I（Input）表示輸入通道數(shù)，O（Output）表示輸出通道數(shù)，K（kernel_size）表示卷積核尺寸，S（stride）表示步長(zhǎng)，P（padding）表示填充大小。

表1 判別器結(jié)構(gòu)Table 1 Discriminator structure

判別器是用于判別輸入圖像是生成圖像還是預(yù)融合圖像的概率，由8 個(gè)卷積層組成，在每個(gè)卷積層的后面都使用LeakyReLU 函數(shù)進(jìn)行激活，并保持梯度，在網(wǎng)絡(luò)的最后一層采用PatchGAN 綜合考慮圖像中不同部分的影響，使得模型的感受野更大，判別器的準(zhǔn)確率更高。

2.3 損失函數(shù)

生成器的損失由對(duì)抗損失、融合圖像與預(yù)融合圖像的內(nèi)容損失、融合圖像與可見(jiàn)光圖像的結(jié)構(gòu)強(qiáng)度損失、融合圖像與紅外圖像的梯度損失4 個(gè)部分組成，如式（11）所示：

1）生成器的對(duì)抗損失采用SNGAN 的損失計(jì)算方法，其計(jì)算公式如式（12）所示：

其中：If為融合圖像；PIf為融合圖像的分布。

2）融合圖像與預(yù)融合圖像的內(nèi)容損失如式（13）所示：

3）通過(guò)SSIM 損失計(jì)算融合圖像與可見(jiàn)光圖像之間的結(jié)構(gòu)強(qiáng)度損失，如式（14）所示：

其中：F為融合圖像；P為預(yù)融合圖像。本文采用多尺度結(jié)構(gòu)強(qiáng)度損失計(jì)算結(jié)構(gòu)強(qiáng)度損失。

4）融合圖像與紅外圖像之間的損失是梯度損失，如式（15）所示：

其中：?If和?Ii分別為融合圖像和紅外圖像的梯度。

損失函數(shù)的參數(shù)設(shè)置為：α為0.005，γ為100，β1和β2為5。

3 實(shí)驗(yàn)與結(jié)果分析

本文從公開(kāi)數(shù)據(jù)集INO［16］和TNO［17］中選取配準(zhǔn)的紅外與可見(jiàn)光圖像進(jìn)行實(shí)驗(yàn)?；谖墨I(xiàn)［16］，本文選取INO 數(shù)據(jù)集中具有紅外和可見(jiàn)光的視頻，并進(jìn)行幀拆分得到295 對(duì)紅外與可見(jiàn)光圖像，通過(guò)STDFusionNet［18］方法得到預(yù)融合圖像，并將其作為訓(xùn)練數(shù)據(jù)集。針對(duì)數(shù)據(jù)量不足的問(wèn)題，在訓(xùn)練中每次都從源圖像中隨機(jī)截取128×128 像素的圖像進(jìn)行訓(xùn)練。由于源圖像中可見(jiàn)光圖像的對(duì)比度較低，因此本文在訓(xùn)練中使用對(duì)比度受限的直方圖均衡［19］（Contrast Limited Adaptive Histogram Equalization，CLAHE）對(duì)可見(jiàn)光圖像進(jìn)行處理，得到對(duì)比度分明的可見(jiàn)光圖像。本文實(shí)驗(yàn)環(huán)境：CPU 為Intel I7-6 800K 處理器，主頻為3.4 GHz，內(nèi)存為32 GB，顯卡為 NVIDIA GeForce GTX1080Ti，操作系統(tǒng)為ubuntu16.04，Pytorch 框架。本文的訓(xùn)練參數(shù)設(shè)置如下：優(yōu)化器為Adam，學(xué)習(xí)速率為0.000 2，Batch Size為32，Epoch 為2 000。

本文從TNO 數(shù)據(jù)集中選取21 對(duì)紅外與可見(jiàn)光圖像進(jìn)行實(shí)驗(yàn)，并與其他5 種方法得到的圖像進(jìn)行對(duì)比。所有對(duì)比實(shí)驗(yàn)的代碼和參數(shù)都基于公開(kāi)的實(shí)驗(yàn)代碼。

3.1 主觀評(píng)價(jià)

本文方法與 FusionGAN、LP［20］（Laplacian Pyramid Transform）、GANMcc［21］、NestFuse［14］和STDFusionNet［18］方法的紅外與可見(jiàn)光融合結(jié)果對(duì)比如圖5～圖7 所示。

圖5 不同方法的融合結(jié)果對(duì)比1Fig.5 Fusion results comparison 1 among different methods

圖6 不同方法的融合結(jié)果對(duì)比2Fig.6 Fusion results comparison 2 among different methods

圖7 不同方法的融合結(jié)果對(duì)比3Fig.7 Fusion results comparison 3 among different methods

從圖5 可以看出，基于FusionGAN 得到的融合圖像缺乏細(xì)節(jié)信息，對(duì)于可見(jiàn)光圖像的細(xì)節(jié)紋理完全缺失，只有輪廓信息?；贚P 方法得到的融合圖像對(duì)比度較低，并且圖像的噪聲較多。基于GANMcc 得到的融合圖像與FusionGAN 相似，提取較少的可見(jiàn)光圖像細(xì)節(jié)信息，沒(méi)有地面和樹(shù)葉的紋理信息?；贜estFuse 得到的融合圖像的整體亮度不夠，圖像的細(xì)節(jié)紋理稀少?；赟TDFusionNet 得到的融合圖像亮度較低，圖像的整體視覺(jué)效果較差。本文方法能夠有效提取可見(jiàn)光圖像的亮度和細(xì)節(jié)信息，其融合圖像具有明顯的樹(shù)葉地面等細(xì)節(jié)信息，視覺(jué)效果顯著提升。

從圖6 可以看出，基于FusionGAN 得到的融合圖像較灰暗，對(duì)比度不夠鮮明，且較為模糊?；贚P、GANMcc、NestFuse 得到的融合圖像較接近，但是這三者對(duì)可見(jiàn)光圖像提取的信息都較少且路邊的障礙物也沒(méi)有表現(xiàn)出來(lái)；基于STDFusionNet 得到的融合圖像整體亮度較低，與本文方法的融合結(jié)果相比，缺少較多的可見(jiàn)光細(xì)節(jié)紋理信息。

從圖7 可以看出，基于FusionGAN 和GANMcc的融合圖像整體偏暗，圖像背景區(qū)域缺少紋理?；贚P 和NestFuse 的融合圖像整體視覺(jué)效果較灰暗，其背景區(qū)域同樣缺少紋理?；赟TDFusionNet 的融合圖像對(duì)比度鮮明，其目標(biāo)較為顯著，但是與本文方法的融合結(jié)果相比，人物旁邊樹(shù)葉的清晰度較低，缺失樹(shù)葉的紋理等細(xì)節(jié)信息。

3.2 客觀評(píng)價(jià)

本文選取信息熵（EN）、標(biāo)準(zhǔn)差（SD）、互信息（MI）、空間頻率（SF）和多尺度結(jié)構(gòu)相似度（MS-SSIM）這5 個(gè)指標(biāo)對(duì)得到的融合圖像進(jìn)行客觀評(píng)價(jià)。EN 越大說(shuō)明融合圖像中的信息量越大，保留的圖像細(xì)節(jié)越多。SD 和SF 越大說(shuō)明圖像的質(zhì)量越高。MI 衡量圖像之間的相似程度，MI 越大說(shuō)明融合圖像保留源圖像的信息越多，圖像質(zhì)量越好。MS-SSIM 衡量圖像與源圖像的相似性。所有指標(biāo)為融合圖像的平均評(píng)估結(jié)果。不同融合方法的評(píng)價(jià)指標(biāo)對(duì)比如表2所示。

表2 不同融合方法的評(píng)價(jià)指標(biāo)對(duì)比Table 2 Evaluation indexs comparison among different fusion methods

從表2 可以看出，本文方法在EN、SD、MI 和SF這4 個(gè)指標(biāo)上明顯優(yōu)于其他融合方法，表明本文方法保留了較豐富的源圖像信息，并且生成圖像的視覺(jué)效果較優(yōu)。本文方法的MS-SSIM 指標(biāo)較低，其原因?yàn)樵磮D像中可見(jiàn)光圖像整體亮度和對(duì)比度較低，而融合圖像的圖像對(duì)比度較高，整體細(xì)節(jié)紋理信息較多，因此圖像與源圖像的結(jié)構(gòu)相似度較低。

本文通過(guò)計(jì)算網(wǎng)絡(luò)參數(shù)的數(shù)量來(lái)評(píng)估各融合方法的空間復(fù)雜度，由于各方法使用的網(wǎng)絡(luò)架構(gòu)不同，基于生成對(duì)抗網(wǎng)絡(luò)的方法在測(cè)試時(shí)只需要生成器，因此本文僅計(jì)算測(cè)試時(shí)各方法的性能參數(shù)。在2 種數(shù)據(jù)集上，不同融合方法的測(cè)試時(shí)間和參數(shù)量對(duì)比如表3 所示。時(shí)間復(fù)雜度通過(guò)計(jì)算各方法的實(shí)際運(yùn)行時(shí)間進(jìn)行評(píng)估，所有方法的運(yùn)行時(shí)間都是測(cè)試集上的平均時(shí)間。本文方法能夠改善融合效果，并且提高運(yùn)行效率。

表3 不同融合方法的測(cè)試時(shí)間和參數(shù)量對(duì)比Table 3 Test time and parameter quantity comparison among different fusion methods

4 結(jié)束語(yǔ)

本文提出基于生成對(duì)抗網(wǎng)絡(luò)的紅外與可見(jiàn)光圖像融合方法。通過(guò)構(gòu)建結(jié)合注意力與殘差機(jī)制的生成器，融合從源圖像中提取的層次特征，同時(shí)利用注意力機(jī)制提高網(wǎng)絡(luò)提取特征的能力，采用譜歸一化技術(shù)提高生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，相 比FusionGAN、LP、STDFusionNet 等融合方法，該方法能夠充分提取源圖像的信息，改善融合效果，并且生成高質(zhì)量的融合圖像。后續(xù)將研究更有效的損失函數(shù)，以降低網(wǎng)絡(luò)的復(fù)雜度，使本文方法適用于實(shí)際場(chǎng)景。