基于差分融合與邊緣增強(qiáng)的輕量級紅外與可見光圖像融合算法

摘 要 為了解決現(xiàn)有融合方法在融合性能與計算資源消耗上存在不平衡的問題，提出了一種基于差分融合與邊緣增強(qiáng)的輕量級紅外與可見光圖像融合算法。該方法通過基于結(jié)構(gòu)重參數(shù)化的編碼器和深度編碼塊來提取圖像特征信息，用差分融合模塊（DFM）融合不同模態(tài)的特征信息，再將融合后的特征信息通過邊緣增強(qiáng)模塊（EEM）來強(qiáng)化特征的邊緣信息。在訓(xùn)練完成后，用結(jié)構(gòu)重參數(shù)化技術(shù)優(yōu)化多分支結(jié)構(gòu)和推理速度，在融合性能不變的情況下，降低網(wǎng)絡(luò)的計算資源消耗。最后，在MSRS和TNO數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，所提方法在視覺效果和定量指標(biāo)方面具有優(yōu)越性。

關(guān)鍵詞 結(jié)構(gòu)重參數(shù)化 邊緣增強(qiáng) 紅外與可見光圖像 圖像融合 深度學(xué)習(xí)

中圖分類號 TP391 " 文獻(xiàn)標(biāo)志碼 A " 文章編號 1000-3932（2024）04-0644-08

圖像融合是一種將不同模態(tài)的源圖像的互補(bǔ)特征集成到單個融合圖像的技術(shù)。例如，紅外圖像通過紅外傳感器獲得熱輻射的信息，對熱目標(biāo)具有顯著性，但通常缺少背景紋理細(xì)節(jié)；而可見光圖像擁有豐富的紋理細(xì)節(jié)，但易受成像環(huán)境因素影響［1］。將具有互補(bǔ)特性的紅外與可見光圖像融合，可以獲得目標(biāo)顯著且背景紋理豐富的高質(zhì)量圖像，對后續(xù)的語義分割、目標(biāo)檢測等領(lǐng)域的發(fā)展具有促進(jìn)作用［2］。

隨著深度學(xué)習(xí)在圖像領(lǐng)域大放異彩，越來越多的學(xué)者研究了基于深度學(xué)習(xí)的圖像融合方法。其中，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法［3～5］主要利用精心設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)端到端地實(shí)現(xiàn)特征提取、特征融合和圖像重建的過程。盡管這些方法在圖像融合任務(wù)上不同程度地取得了進(jìn)步，但都未考慮在取得具有競爭力效果的同時，降低網(wǎng)絡(luò)的參數(shù)和計算成本以及更好地將融合模型布署在移動端設(shè)備上。為此，ZHANG Y等利用兩個卷積層從源圖像提取特征，并采用特定的融合規(guī)則完成對多個融合任務(wù)不同特征的融合［6］。XUE W M等設(shè)計了一個自動編碼器的網(wǎng)絡(luò)結(jié)構(gòu)，同時進(jìn)行特征提取和融合的交叉連接，在該網(wǎng)絡(luò)中特征融合不是通過使用特定的融合策略，而是通過特征流與權(quán)重共享來實(shí)現(xiàn)的［7］。陳昭宇等設(shè)計了帶權(quán)重共享的雙分支殘差網(wǎng)絡(luò)進(jìn)行紅外與可見光圖像的融合，該網(wǎng)絡(luò)主要通過結(jié)構(gòu)重參數(shù)化技術(shù)提高了網(wǎng)絡(luò)推理速度［8］。然而以上方法為了達(dá)到輕量級融合的目的，編碼器和融合方式設(shè)計比較簡單，從而制約了融合圖像的質(zhì)量。

為了解決上述問題，筆者提出了一種基于差分融合與邊緣增強(qiáng)的輕量級紅外與可見光圖像融合算法，具體方式和目的如下：

a. 提出了一種基于差分融合與邊緣增強(qiáng)的輕量級紅外與可見光圖像融合框架，以在有效整合互補(bǔ)信息的同時降低網(wǎng)絡(luò)的計算資源消耗；

b. 設(shè)計了基于結(jié)構(gòu)重參數(shù)化的淺層特征提取編碼器（SE）和深度特征提取編碼器（DE）以實(shí)現(xiàn)有效的特征提取和網(wǎng)絡(luò)的輕量化，除此之外，還設(shè)計了差分融合模塊（DFM），可以在各個階段整合來自特征提取網(wǎng)絡(luò)的公共信息和互補(bǔ)信息；

c. 設(shè)計了一種邊緣增強(qiáng)模塊（EEM），以增強(qiáng)圖像特征邊緣信息。

1 方法描述

1.1 網(wǎng)絡(luò)架構(gòu)

為了保證網(wǎng)絡(luò)在保持出色的特征提取能力和生成信息全面的融合圖像的同時，網(wǎng)絡(luò)的推理速度和計算資源消耗量也被控制在一個較為合理的范圍內(nèi)，筆者設(shè)計了基于差分融合與邊緣增強(qiáng)的輕量級融合網(wǎng)絡(luò)，其整體框架結(jié)構(gòu)如圖1所示。

文中的特征提取編碼器主要包括淺層特征提取編碼器與深度特征提取編碼器，其結(jié)構(gòu)如圖2所示。

盡管用由普通卷積構(gòu)成的骨干網(wǎng)絡(luò)提取紅外與可見光圖像特征也取得了較好的效果，但與復(fù)雜模型相比，其融合性能較差。然而，將普通卷積替換成復(fù)雜的塊會使得網(wǎng)絡(luò)需要消耗更多的計算資源。因此，筆者引入結(jié)構(gòu)重參數(shù)化技術(shù)來豐富網(wǎng)絡(luò)的特征表征能力，同時不增加網(wǎng)絡(luò)在推理階段的計算資源消耗。因此，編碼器中嵌入了RepBlock［9］，在訓(xùn)練階段，該網(wǎng)絡(luò)以多尺度的形式進(jìn)行特征提取，而在推理階段，用結(jié)構(gòu)重參數(shù)化技術(shù)將網(wǎng)絡(luò)優(yōu)化成直連網(wǎng)絡(luò)，從而降低了模型的計算資源消耗。

在融合階段，DFM模塊可使所設(shè)計的網(wǎng)絡(luò)以漸進(jìn)方式在特征提取階段集成公共信息和互補(bǔ)信息，其結(jié)構(gòu)如圖3所示。各階段的特征被送入DFM模塊先做差分操作得到互補(bǔ)信息，后經(jīng)全局平均池化層GAP獲得全局特征向量，學(xué)習(xí)各通道的重要性，后經(jīng)過Sigmoid激活函數(shù)獲得權(quán)重，將權(quán)重與原輸入特征相乘獲得差分注意力特征。最后，將差分注意力特征與原特征相加得到融合特征。

紅外與可見光圖像融合任務(wù)的意義在于生成目標(biāo)對比度高和背景紋理細(xì)節(jié)豐富的圖像，故在網(wǎng)絡(luò)中設(shè)計了邊緣增強(qiáng)部分，可以從源圖像和融合特征中多維度獲取和傳遞紅外目標(biāo)和背景細(xì)節(jié)的邊緣信息，由3個邊緣增強(qiáng)重參數(shù)化模塊（EERB）構(gòu)成。在EERB中，利用Sobel算子對混合特征進(jìn)行紋理提取，以增強(qiáng)特征細(xì)粒度表示，除此之外，為了使邊緣增強(qiáng)模塊不增加整體網(wǎng)絡(luò)的復(fù)雜度，筆者也在該模塊中嵌入結(jié)構(gòu)重參數(shù)化操作，具體結(jié)構(gòu)如圖4所示。

1.2 損失函數(shù)

損失函數(shù)用于指導(dǎo)網(wǎng)絡(luò)生成紅外目標(biāo)對比度高且背景紋理細(xì)節(jié)豐富的圖像。筆者設(shè)計了3個損失函數(shù)來共同約束網(wǎng)絡(luò)的訓(xùn)練，分別為多尺度結(jié)構(gòu)相似性損失、強(qiáng)度損失和梯度損失。首先考慮在多尺度情況下綜合評估融合圖像失真的情況，設(shè)計的多尺度結(jié)構(gòu)相似性損失LMS-SSIM如下：

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

在MSRS數(shù)據(jù)集［10］上訓(xùn)練所提出的模型，并在TNO數(shù)據(jù)集［11］上進(jìn)行泛化評估實(shí)驗(yàn)。選擇了7種領(lǐng)先的融合方法（DenseFuse［12］、RFN-Nest［13］、FusionGAN［14］、PMGI［15］、U2Fusion［16］、FLFuse［17］和UMF-CMGR［18］）與筆者所提方法進(jìn)行對比，以驗(yàn)證該方法的有效性。

此外，筆者引入了標(biāo)準(zhǔn)差（Standard Deviation，SD）、互信息（Mutual Information，MI）、視覺保真度（Visual Information Fidelity，VIF）、平均梯度（Average Gradient，AG）、信息熵（Entropy，EN）、基于邊緣信息的指標(biāo)Q和空間頻率（Spatial Frequency，SF）這7個評價指標(biāo)來評估各方法的性能。SD用于評估融合圖像的分布和對比度；MI用于信息論度量從源圖像轉(zhuǎn)移到融合圖像的信息量；VIF用于衡量信息的保真度；AG和SF反映圖像紋理信息的豐富程度；EN用于評估融合圖像包含的信息量；Q用于測量從源圖像轉(zhuǎn)移到融合圖像的邊緣信息。以上評價指標(biāo)均為正向指標(biāo)。

筆者所提方法的網(wǎng)絡(luò)優(yōu)化器采用的是Adam，epoch=10，batch size=8，學(xué)習(xí)率為1×10-4，損失函數(shù)參數(shù)為a=10、b=55、c=50。文中所有對比方法均以公共代碼進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)的平臺為GeForce RTX 2080Ti 11 GB和Intel Core i5-12600KF，深度學(xué)習(xí)框架為PyTorch。

2.2 對比實(shí)驗(yàn)

由于圖像融合任務(wù)沒有可以參考的圖像作為標(biāo)準(zhǔn)，通常從可視化圖像的定性評估和通用圖像質(zhì)量指標(biāo)的定量評估來評判融合算法的優(yōu)劣。本節(jié)分別在MSRS和TNO數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)和泛化評估實(shí)驗(yàn)。

圖5給出了筆者所提方法在MSRS數(shù)據(jù)集上與7種先進(jìn)的融合方法對比的可視化結(jié)果，圖中VIS和IR分別表示可見光圖像和紅外圖像。從圖中可看出，當(dāng)成像場景光照條件較好時，筆者所提方法能很好地保留可見光圖像的背景紋理細(xì)節(jié)信息和光照強(qiáng)度分布。在夜間場景時，筆者所提方法的融合結(jié)果能突出顯著目標(biāo)，且在視覺效果上也更自然。

泛化評估實(shí)驗(yàn)在TNO數(shù)據(jù)集上的可視化結(jié)果如圖6所示。在該圖的紅色框中可以看到DenseFuse和U2Fusion削弱了紅外目標(biāo)的顯著性，RFN-Nest、FusionGAN的紅外目標(biāo)邊緣不清晰。在該圖的綠色框中可以看出FLFuse和UMF-CMGR對背景細(xì)節(jié)的融合不充分，光照強(qiáng)度分布更偏向紅外圖像。PMGI能保持紅外目標(biāo)的顯著性，也保留了一定的紋理信息，但PMGI和以上方法一樣不同程度地存在光譜污染。而筆者所提方法能有效保留可見光圖像的紋理信息并凸顯紅外目標(biāo)的高對比度。

在定量評估方面，在MSRS和TNO數(shù)據(jù)集上用7個指標(biāo)評估對比算法與筆者所提方法的融合性能，具體結(jié)果見表1。從表中可以看出，筆者所提方法在兩個數(shù)據(jù)集上MI和Qabf值是最優(yōu)的，這表明從源圖像轉(zhuǎn)移到融合圖像的信息量很多。最佳的VIF值表明筆者所提方法的融合圖像保真度較高，符合人類的視覺感知。AG和SF值表現(xiàn)最佳，表明筆者所提方法的融合結(jié)果包含豐富的紋理信息。SD值的表現(xiàn)也是不俗的，說明筆者所提方法的融合結(jié)果的對比度較高，紅外目標(biāo)顯著。而EN值雖然在TNO數(shù)據(jù)集上表現(xiàn)一般，但結(jié)果顯示出更真實(shí)的邊緣，更符合人類的視覺感知。

2.3 效率實(shí)驗(yàn)

為了驗(yàn)證筆者所提方法的計算效率，測試了MSRS數(shù)據(jù)集的平均運(yùn)行時間，并與其他融合方法進(jìn)行了比較，對比結(jié)果見表2?？梢钥闯?，筆者所提方法僅比FLFuse慢，但其融合結(jié)果更好，故該部分差距是可以接受的。

此外，還對比了結(jié)構(gòu)重參數(shù)化前后的運(yùn)行時間、計算所需存儲空間、參數(shù)量、權(quán)重大小以及融合結(jié)果偏差，并進(jìn)行了實(shí)驗(yàn)對比，對比結(jié)果見表3。由表中數(shù)據(jù)可以看出，筆者所提方法可以在融合結(jié)果低偏差的情況下，有效地提高網(wǎng)絡(luò)的計算效率。

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證筆者所提方法的有效性，設(shè)計了消融實(shí)驗(yàn)并對消融實(shí)驗(yàn)進(jìn)行了定性與定量分析。其中，實(shí)驗(yàn)１為消除DFM的實(shí)驗(yàn)，實(shí)驗(yàn)２為消除EEM的實(shí)驗(yàn)，實(shí)驗(yàn)３為同時消除DFM和EEM的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖7和表4所示。

如圖7d所示，在消除DFM后紅外目標(biāo)顯著性下降，表4中第3行SD、EN值下降，說明來自源圖像的信息量變少，進(jìn)一步說明此時公共信息和互補(bǔ)信息都未充分融合。如圖7e所示，在消除EEM后，紅外目標(biāo)的邊緣模糊，表4中第2行SF和Qabf值下降，說明從源圖像轉(zhuǎn)移到融合圖像的邊緣信息減少。在同時消除DFM和EEM后，表4中第4行各項(xiàng)指標(biāo)都有不同程度的降低，圖7f中的融合圖像也變差。證實(shí)筆者所提方法能夠充分融合來自源圖像的信息，生成對比度高、紋理信息豐富的圖像。

3 結(jié)束語

筆者研究了一種高效、輕量級的紅外與可見光圖像融合網(wǎng)絡(luò)模型，特別是提出了基于結(jié)構(gòu)重參數(shù)化的編碼器和深度編碼模塊，以及用于整合跨模態(tài)圖像特征信息的差分融合模塊和邊緣增強(qiáng)模塊。該方法能有效地保留紅外突出目標(biāo)和場景細(xì)節(jié)信息，根據(jù)在MSRS和TNO數(shù)據(jù)集的廣泛評估，與現(xiàn)有融合方法相比，筆者所提方法在融合質(zhì)量和處理速度方面提供了更好的平衡，有助于后續(xù)將融合算法應(yīng)用于真實(shí)場景。未來，將專注于探索該算法在嵌入式設(shè)備中的實(shí)際應(yīng)用及優(yōu)化改進(jìn)。

參 考 文 獻(xiàn)

［1］ " ZHANG H，XU H，TIAN X，et al.Image fusion meets deep learning：A survey and perspective［J］.Information Fusion，2021，76：323-336.

［2］ " TANG L F，ZHANG H，XU H，et al.Rethinking the necessity of image fusion in high-level vision tasks：A practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity［J］.Information Fusion，2023，99：101870.

［3］ " CHEN Z Y，F(xiàn)AN H B，MA M Y，et al.FECFusion：Infrared and visible image fusion network based on fast edge convolution［J］.Mathematical Biosciences and Engineering，2023，20（9）：16060-16082.

［4］ " TANG L F，DENG Y X，MA Y，et al.SuperFusion：A versatile image registration and fusion network with semantic awareness［J］.IEEE/CAA Journal of Automatica Sinica，2022，9（12）：2121-2137.

［5］ " LIU H P，MA M Y，WANG M，et al.SCFusion：Infrared and Visible Fusion Based on Salient Compensation［J］.Entropy，2023，25（7）：985.

［6］ " ZHANG Y，LIU Y，SUN P，et al.IFCNN：A general image fusion framework based on convolutional neural network［J］.Information Fusion，2020，54：99-118.

［7］ " XUE W M，WANG A H，ZHAO L J.FLFuse-Net：A fast and lightweight infrared and visible image fusion network via feature flow and edge compensation for salient information［J］.Infrared Physics amp; Technology，2022，127：104383.

［8］ " 陳昭宇，范洪博，馬美燕，等.基于結(jié)構(gòu)重參數(shù)化的紅外與可見光圖像融合［J］.控制與決策，2024，39（7）：2275-2283.

［9］ " DING X，ZHANG X，MA N，et al.Repvgg：Making vgg-style convnets great again［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE，2021：13733-13742.

［10］ " TANG L F，YUAN J T，ZHANG H，et al.PIAFusion：A progressive infrared and visible image fusion network based on illumination aware［J］.Information Fusion，2022，83：79-92.

［11］ " 唐霖峰，張浩，徐涵，等.基于深度學(xué)習(xí)的圖像融合方法綜述［J］.中國圖象圖形學(xué)報，2023，28（1）：3-36.

［12］ " LI H，WU X J.DenseFuse：A fusion approach to infrared and visible images［J］.IEEE Transactions on Image Processing，2019，28（5）：2614-2623.

［13］ nbsp; LI H，WU X J，KITTLER J.RFN-Nest：An end-to-end residual fusion network for infrared and visible images［J］.Information Fusion，2021，73：72-86.

［14］ " MA J Y，YU W，LIANG P W，et al.FusionGAN： A generative adversarial network for infrared and visible image fusion［J］.Information Fusion，2019，48：11-

26.

［15］ " ZHANG H，XU H，XIAO Y，et al.Rethinking the image fusion：A fast unified image fusion network based on proportional maintenance of gradient and intensity［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：12797-12804.

［16］ " XU H， MA J，JIANG J， et al. U2Fusion： A unified unsupervised image fusion network［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，44（1）：502-518.

［17］ " XUE W M， WANG A H， ZHAO L J. FLFuse-Net：A fast and lightweight infrared and visible image fusion network via feature flow and edge compensation for salient information［J］.Infrared Physics amp; Technology，2022，127：104383.

［18］ " WANG D， LIU J， FAN X，et al. Unsupervised misaligned infrared and visible image fusion via cross-modality image generation and registration［J］.arXiv Preprint，2022，arXiv：2205.11876.

（收稿日期：2023-08-10，修回日期：2024-05-14）

A Lightweight Infrared and Visible Image Fusion Algorithm

Based on Difference Fusion and Edge Enhancement

MA Mei-yan， CHEN Zhao-yu， LIU Hai-peng

（Faculty of Information Engineering and Automation， Kunming University of Science and Technology）

Abstract " For purpose of solving the imbalance between the performance and calculating resource consumption of fusion methods existed， a lightweight infrared and visible image fusion algorithm based on difference fusion and edge enhancement was proposed， which has a structure reparameterization-based encoder and deep encoding blocks adopted to extract image feature information， make use of the difference fusion module（DFM）to fuse different modal feature information， and then enhance the edge information of the feature information fused through an edge enhancement module（EEM）. After the training， having the structure reparameterization technique employed "to optimize both multi-branch structure and inference speed was implemented， including reducing computational resource consumption of the network while maintaining the same fusion performance. Experiments on the MSRS and TNO datasets show that， the method proposed has superiority visual effects and quantitative metrics.

Key words " structure reparameterization， edge enhancement， infrared and visible image， image fusion， deep learning