改進(jìn)多尺度結(jié)構(gòu)化融合的紅外與可見光圖像融合

龍志亮，鄧月明，謝 競(jìng)，王潤(rùn)民

（湖南師范大學(xué) 信息科學(xué)與工程學(xué)院，湖南 長(zhǎng)沙 410081）

1 引言

可見光圖像是通過(guò)傳感器捕捉物體表面反射的光線而成像的，在足夠的光源強(qiáng)度下包含清晰的視覺信息，但在弱光夜視環(huán)境下呈現(xiàn)的圖像信息比較模糊。紅外圖像是通過(guò)傳感器檢測(cè)物體和環(huán)境的紅外輻射能量差異進(jìn)行成像的，能夠區(qū)分圖像的目標(biāo)和背景［1］，但受成像機(jī)理的影響，不能呈現(xiàn)目標(biāo)場(chǎng)景的整體環(huán)境和空間結(jié)構(gòu)。因此，將弱光環(huán)境下的紅外與可見光圖像進(jìn)行有效融合，生成一幅清晰度高、細(xì)節(jié)紋理豐富的圖像，對(duì)推動(dòng)軍事偵察、夜間行駛和安防監(jiān)控等夜視技術(shù)的發(fā)展有著重要的意義［2］。

圖像融合方法主要分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類［3］。深度學(xué)習(xí)具有強(qiáng)大的圖像特征表示能力，按照網(wǎng)絡(luò)框架不同，可分為卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)和自編碼器網(wǎng)絡(luò)方法［4］。傳統(tǒng)方法主要包括多尺度變換、稀疏表示、顯著性、子空間、混合等方法。其中，多尺度分解方法和融合規(guī)則的選擇具有靈活性，因此研究應(yīng)用最為廣泛［5］。

多尺度變換通過(guò)將源圖像分解為多個(gè)尺度的子圖像，根據(jù)每個(gè)子圖像的特點(diǎn)來(lái)設(shè)計(jì)適宜的融合規(guī)則，從而得到符合人們視覺感知的圖像［6］。但受到源圖像清晰度低和分解方法缺陷的影響，大部分多尺度變換方法存在細(xì)節(jié)提取能力不足、耗時(shí)長(zhǎng)等問(wèn)題。非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有高度的方向性，能夠捕獲圖像在不同尺度上的細(xì)節(jié)信息，但在邊緣附近容易產(chǎn)生偽影現(xiàn)象［7］。邊緣保持濾波器成功應(yīng)用于圖像的多尺度表示中，其中滾動(dòng)引導(dǎo)濾波器（Rolling Guidance Filter，RGF）可以平滑圖像的細(xì)節(jié)紋理，保留圖像的邊緣輪廓，但存在有效信息損失的問(wèn)題［8］。多級(jí)潛在低秩表示（Multi-level image Decomposition based on Latent Low-Rank Representation，MDLatLRR）能夠很好地保留源圖像的細(xì)致紋理，減少圖像有效信息的損失，但分解過(guò)程耗時(shí)長(zhǎng)［9］。結(jié)構(gòu)化圖像塊分解（Structural Patch Decomposition，SPD）能夠快速分離出圖像的細(xì)節(jié)紋理和空間結(jié)構(gòu)，還能克服偽影和光暈現(xiàn)象，但融合結(jié)果缺失可見光圖像中清晰的細(xì)節(jié)紋理［10］。因此，為了提取圖像清晰的細(xì)節(jié)信息，實(shí)現(xiàn)快速融合，本文提出將多尺度結(jié)構(gòu)化分解（Multi-scale Structural Image Decomposition，MSID）與動(dòng)態(tài)范圍壓縮（Dynamic Range Compression，DRC）相結(jié)合，在圖像融合前，使用DRC 增強(qiáng)算法提高弱光環(huán)境下可見光圖像的清晰度，再通過(guò)MSID 提取出清晰的細(xì)節(jié)紋理，為融合過(guò)程提供豐富的信息。

圖像的整體結(jié)構(gòu)、大體輪廓等基本信息屬于圖像的低頻信息?，F(xiàn)有的融合規(guī)則通常采用加權(quán)平均對(duì)圖像的低頻信息進(jìn)行融合［11］，但由于紅外與可見光圖像動(dòng)態(tài)范圍的差異性較大，亮度范圍不一致，加權(quán)平均融合規(guī)則容易引入噪聲、降低圖像的對(duì)比度。本文提出一種基于均方根誤差（Root Mean Square Error，RMSE）系數(shù)的融合規(guī)則，通過(guò)計(jì)算圖像局部的RMSE 系數(shù)作為融合權(quán)重，對(duì)圖像的低頻信息進(jìn)行自適應(yīng)融合，以減少噪聲和失真現(xiàn)象。

圖像的細(xì)節(jié)紋理、邊緣輪廓等變化速度較快的信息屬于圖像的高頻信息。采用范數(shù)優(yōu)化、深度學(xué)習(xí)的方法可以有效融合圖像的高頻細(xì)節(jié)，但也存在一些缺陷。范數(shù)優(yōu)化通?；谙闰?yàn)?zāi)Ｐ?，缺乏一定的靈活性和普適性［12］；深度學(xué)習(xí)具有強(qiáng)大的特征提取和表達(dá)能力，在一定程度上能夠生成細(xì)節(jié)紋理較豐富的融合圖像，但融合框架可解釋性差、耗時(shí)長(zhǎng)［13］。本文提出一種基于圖像信息熵（Information Entropy，IE）自適應(yīng)調(diào)整權(quán)重的策略來(lái)優(yōu)化融合高頻信息，對(duì)MSID 得到的高頻細(xì)節(jié)先進(jìn)行初步融合，再計(jì)算初步融合圖像的IE調(diào)整權(quán)重進(jìn)行二次優(yōu)化融合，從而將圖像的高頻信息進(jìn)行有效融合。

由于受到源圖像對(duì)比度較低以及融合過(guò)程中對(duì)比度損失的影響，大部分融合圖像的對(duì)比度較低，一些方法通常先對(duì)源圖像進(jìn)行對(duì)比度增強(qiáng)再融合［14］，解決了源圖像本身對(duì)比度較低的問(wèn)題，但不能解決融合過(guò)程中對(duì)比度損失的問(wèn)題。本文提出一種基于灰度分類的區(qū)域像素增強(qiáng)方法，對(duì)融合圖像中不同灰度的區(qū)域進(jìn)行針對(duì)性增強(qiáng)，能夠有效提高融合結(jié)果的清晰度和對(duì)比度。綜上，為了解決弱光環(huán)境下紅外與可見光圖像融合存在的清晰度和對(duì)比度低、細(xì)節(jié)紋理不足、融合耗時(shí)長(zhǎng)等問(wèn)題，本文提出一種改進(jìn)MSID 融合的紅外與可見光圖像融合方法。

2 相關(guān)工作

2.1 動(dòng)態(tài)范圍壓縮

動(dòng)態(tài)范圍壓縮算法通過(guò)壓縮圖像的亮度范圍，使圖像的整體亮度更加均衡，從而提高圖像的清晰度。Zhou 等提出一種基于引導(dǎo)濾波的DRC 算法［14］，在實(shí)現(xiàn)DRC 的功能外，還體現(xiàn)了對(duì)比度恢復(fù)。首先，將弱光下的可見光圖像通過(guò)引導(dǎo)濾波器得到濾波圖像，即有：

式中：IVI為可見光圖像，Ig為濾波圖像，G為引導(dǎo)圖像，r為濾波器尺寸，eps為濾波的邊緣保持參數(shù)。

通過(guò)自然對(duì)數(shù)ln（·）運(yùn)算得到可見光的基層和細(xì)節(jié)層圖像，為了避免對(duì)數(shù)運(yùn)算后細(xì)節(jié)層和基層的像素值為負(fù)，ln（·）運(yùn)算的對(duì)象加上常數(shù)1，如下：

式中Ib，Id分別為可見光的基層和細(xì)節(jié)層圖像。

通過(guò)尺度縮放因子對(duì)基層進(jìn)行動(dòng)態(tài)壓縮，加上細(xì)節(jié)層和對(duì)比度恢復(fù)因子得到對(duì)數(shù)域的夜視增強(qiáng)圖像：

式中：β，γ分別為尺度縮放因子和對(duì)比度恢復(fù)因子，其計(jì)算公式如下：

其中T為對(duì)比度目標(biāo)基。

最后，通過(guò)自然指數(shù)運(yùn)算exp（·）從對(duì)數(shù)域中恢復(fù)夜視增強(qiáng)圖像IVI_en。

2.2 結(jié)構(gòu)化分解

SPD 是一種作用在小尺度圖像塊上的分解方法［10］。通過(guò)對(duì)圖像進(jìn)行分塊操作，將一幅圖像分成若干個(gè)圖像小塊，再把若干個(gè)圖像小塊分解為平均亮度、信號(hào)強(qiáng)度和信號(hào)結(jié)構(gòu)3 個(gè)特征，將圖像的亮度信息、紋理信息和結(jié)構(gòu)信息分離出來(lái)，對(duì)克服融合過(guò)程中的重影現(xiàn)象有著較好的穩(wěn)定性。圖像塊x的SPD 過(guò)程如下：

式中：||·||2為L(zhǎng)2 范數(shù)運(yùn)算，l代表被分解的平均亮度，表示圖像的整體明暗程度，代表圖像的低頻信息，通過(guò)對(duì)圖像塊x進(jìn)行均值濾波得到；c代表被分解的信號(hào)強(qiáng)度，描述圖像中局部的對(duì)比度和紋理信息，通過(guò)計(jì)算圖像塊x與l之差的L2 范數(shù)得到；s代表被分解的信號(hào)結(jié)構(gòu)，分析了圖像信號(hào)的物體幾何形狀和空間關(guān)系，通過(guò)計(jì)算圖像塊x與l之差再除以c獲得。信號(hào)強(qiáng)度c和信號(hào)結(jié)構(gòu)s共同表征圖像的高頻信息。

3 算法原理

本文在MSID 融合的基礎(chǔ)上，引入DRC 算法增強(qiáng)弱光夜視環(huán)境下可見光圖像的清晰度，分別改進(jìn)圖像低頻和高頻成分的融合規(guī)則，提出了一種基于灰度分類的區(qū)域像素增強(qiáng)算法對(duì)融合后圖像的對(duì)比度進(jìn)行增強(qiáng)，融合框圖如圖1 所示。

圖1 改進(jìn)MSID 融合的紅外與可見光圖像融合方法的結(jié)構(gòu)框圖Fig.1 Framework of infrared and visible image fusion method based on improved multi-scale structral fusion

3.1 動(dòng)態(tài)范圍壓縮和多尺度結(jié)構(gòu)化分解

采用DRC 算法增強(qiáng)弱光環(huán)境的可見光圖像，獲得夜視增強(qiáng)圖像IVI_en，再通過(guò)MSID 將紅外圖像IIR和IVI_en分解為金字塔結(jié)構(gòu)的平均亮度l，信號(hào)強(qiáng)度c和信號(hào)結(jié)構(gòu)s3 個(gè)特征。MSID 的分解流程如圖2 所示，首先通過(guò)滑動(dòng)濾波器將源圖像分解成多個(gè)小塊，然后對(duì)小尺度的圖像塊進(jìn)行SPD，分解得到的l通過(guò)下采樣操作，采樣結(jié)果作為輸入繼續(xù)進(jìn)行SPD，圖像尺寸為輸入的1/2，循環(huán)往復(fù)，直到分解次數(shù)j＝J，最后得到J+1 個(gè)不同尺寸的高頻層c·s和1 個(gè)低頻層l。

圖2 MSID 分解流程Fig.2 Decomposition process of MSID

3.2 低頻融合

為了增強(qiáng)圖像的亮度信息，代表圖像低頻信息的平均亮度l一般采取γ校正加權(quán)法進(jìn)行融合，但該方法存在信息丟失、引入失真等缺陷，本文提出一種基于RMSE 系數(shù)的融合策略。兩幅圖像的RMSE 系數(shù)反映圖像之間的相似性，而圖像相鄰像素與均值之間的RMSE 系數(shù)比值反映了圖像局部的變化程度。為了將圖像的低頻信息有效融合，減少失真現(xiàn)象，通過(guò)計(jì)算圖像塊局部和全局RMSE 系數(shù)的比值來(lái)融合l。

3.1.1 計(jì)算均方根誤差

通過(guò)MSID 得到尺寸為k1×k2的l，其全局RMSE 系數(shù)的計(jì)算結(jié)果如下：

式中：μl為l的均值，（m，n）表示當(dāng)前像素坐標(biāo)，同理可求得尺寸為K×K的局部RMSE 系數(shù)RK。

3.1.2 融合平均亮度

根據(jù)式（10）將R進(jìn)一步轉(zhuǎn)換為l的融合系數(shù)α，l的融合結(jié)果lF如下：

式中：下標(biāo)IR 和VI 分別表示紅外與可見光部分。

擴(kuò)展到整個(gè)圖像上，圖像分塊用均值滑動(dòng)濾波來(lái)實(shí)現(xiàn)，低頻部分的融合系數(shù)用BW表示，第J層的平均亮度l融合結(jié)果如下：

式中：f（·）表示均值滑動(dòng)濾波器，為第J-1 層平均亮度l通過(guò)下采樣后的結(jié)果。

3.3 高頻融合

高頻細(xì)節(jié)信息的融合在很大程度上決定了圖像融合的質(zhì)量。為了突出融合圖像的細(xì)節(jié)紋理，本文提出一種基于圖像IE 自適應(yīng)調(diào)整的融合策略，先對(duì)MSID 方法得到的信號(hào)強(qiáng)度c、信號(hào)結(jié)構(gòu)s進(jìn)行初步融合，再計(jì)算初步融合結(jié)果的IE 自適應(yīng)調(diào)整融合權(quán)重，進(jìn)行二次優(yōu)化融合，能夠有效融合圖像的細(xì)節(jié)紋理和空間結(jié)構(gòu)。

3.3.1 初步融合

s與c的乘積可表示為圖像的去均值模塊，表達(dá)圖像塊的高頻信息。為了使融合圖像的紋理信息清晰可見，使用最大值融合策略來(lái)融合圖像塊的信號(hào)強(qiáng)度c，采用基于信號(hào)強(qiáng)度的冪函數(shù)系數(shù)β來(lái)加權(quán)融合圖像塊的信號(hào)結(jié)構(gòu)s，融合公式如下：

式中：cF，sF分別為所求信號(hào)強(qiáng)度c和信號(hào)結(jié)構(gòu)s的融合結(jié)果，q為冪次。

3.3.2 二次優(yōu)化融合

圖像的信息熵是衡量圖像信息量的度量標(biāo)準(zhǔn)之一，反映圖像中含有細(xì)節(jié)信息的豐富程度。其定義如下：

式中：i指圖像的灰度值，L表示圖像的最大灰度值，Pi表示灰度值i的像素?cái)?shù)Ni與總像素?cái)?shù)N的比值，如下：

通過(guò)計(jì)算初步融合結(jié)果的信息熵生成優(yōu)化權(quán)重ne，即：

式中：指數(shù)運(yùn)算保證權(quán)重大于1，系數(shù)ω控制優(yōu)化的尺度，δ表示優(yōu)化的偏量。圖像的IE 越大，偏量δ越小，避免注入無(wú)效的信息導(dǎo)致圖像失真。

基于IE 自適應(yīng)調(diào)整權(quán)重二次優(yōu)化高頻細(xì)節(jié)過(guò)程如下：

式中：s可用（x-l）/c表示，（xi-li）即表征圖像高頻信息的去均值模塊。

擴(kuò)展到整個(gè)圖像X上，圖像分塊用均值滑動(dòng)濾波來(lái)實(shí)現(xiàn)，高頻部分的融合系數(shù)用DW表示，第j層高頻細(xì)節(jié)二次優(yōu)化后的融合結(jié)果可表示為：

其中X（0）指代融合前的圖像IIR和IVI_ne。

3.4 圖像重構(gòu)

根據(jù)SPD 分解式（8）的逆變換可知，將第J層低頻層l和高頻層c·s的融合結(jié)果聚合可得出第J層圖像塊的融合結(jié)果：

根據(jù)金字塔結(jié)構(gòu)的MSID 的逆變換，將第j+1 層圖像塊的融合結(jié)果通過(guò)上采樣和均值濾波 操作，再與第j高頻層的融合結(jié)果進(jìn)行聚合，得出第j層圖像塊的融合結(jié)果，如下：

式中：↑（·）運(yùn)算符為上采樣操作，進(jìn)行一次上采樣操作，圖像尺寸擴(kuò)大2 倍。

通過(guò)J次循環(huán)迭代，可重構(gòu)出融合圖像XF（0），記為：

3.5 對(duì)比度增強(qiáng)

針對(duì)融合圖像的對(duì)比度較低問(wèn)題，本文提出一種基于灰度分類的區(qū)域像素增強(qiáng)算法。其原理是根據(jù)圖像的灰度范圍劃分區(qū)域，通過(guò)增加圖像目標(biāo)和背景之間的像素灰度差的動(dòng)態(tài)范圍，從而提高圖像的對(duì)比度，包括灰度分類、區(qū)域像素增強(qiáng)兩個(gè)步驟。

3.5.1 灰度分類

根據(jù)像素灰度級(jí)的特點(diǎn)，將圖像像素劃分為低灰度、中間灰度和高灰度3 個(gè)區(qū)域。其中，中間灰度區(qū)域是像素由黑轉(zhuǎn)白的過(guò)渡區(qū)，因此范圍最廣。根據(jù)灰度分類參數(shù)A，B將融合圖像的像素值劃分為3 個(gè)區(qū)域段，即圖像像素img（m，n）＜A的區(qū)域?yàn)榈突叶葏^(qū)，A≤img（m，n）≤B的區(qū)域?yàn)橹虚g灰度區(qū)，img（m，n）＞B的區(qū)域?yàn)楦呋叶葏^(qū)。為使中間灰度區(qū)范圍最廣，參數(shù)B為A與圖像最大像素值的一半之和，即：

式中參數(shù)A為常數(shù)。

3.5.2 區(qū)域像素增強(qiáng)

低灰度區(qū)的圖像整體顏色靠近黑色，高灰度區(qū)的圖像整體顏色接近白色。為了增加圖像像素的動(dòng)態(tài)灰度差，對(duì)低灰度區(qū)的像素乘以增強(qiáng)系數(shù)AE，此時(shí)AE＜1；對(duì)高灰度區(qū)的像素乘以增強(qiáng)系數(shù)BE，此時(shí)BE＞1；對(duì)中間灰度區(qū)的像素不做處理，保留圖像的灰度區(qū)域，如下：

式中imgNE為增強(qiáng)結(jié)果。

增強(qiáng)系數(shù)AE和BE的確定是增強(qiáng)圖像對(duì)比度的關(guān)鍵，計(jì)算公式如下：

式中：λ用來(lái)調(diào)節(jié)像素灰度的動(dòng)態(tài)差，a，b為增強(qiáng)校正系數(shù)，保證AE＜1，BE＞1。

a，b與圖像的灰度分類參數(shù)相關(guān)，計(jì)算公式如下：

4 實(shí) 驗(yàn)

實(shí)驗(yàn)在配置為Intel core i5-12500H，CPU 主頻2.5 GHz，16G RAM，Windows11 系統(tǒng)下的計(jì)算機(jī)上運(yùn)行，環(huán)境平臺(tái)為MATLAB R2016b。

紅外與可見光圖像融合實(shí)驗(yàn)選用16 對(duì)包含不同軍事場(chǎng)景的TNO 公共數(shù)據(jù)集，以及6 對(duì)包含車輛道路和行人的CVC-14 數(shù)據(jù)集。夜視增強(qiáng)過(guò)程中，引導(dǎo)圖像G與輸入圖像相同，濾波器尺寸r取圖像尺寸較長(zhǎng)邊的0.04 倍，邊緣保持參數(shù)eps=0.01，對(duì)比度目標(biāo)基T=4，MSID 分解參數(shù)J=5，低頻融合中的系數(shù)K=7，信號(hào)結(jié)構(gòu)融合系數(shù)的冪次q=4，均值滑動(dòng)濾波器模板為5×5，優(yōu)化尺度系數(shù)ω=0.08，對(duì)比度增強(qiáng)過(guò)程中灰度分類參數(shù)A=100，λ=2。

為了驗(yàn)證本方法的有效性，本文選擇9 種主流的圖像融合方法進(jìn)行實(shí)驗(yàn)對(duì)比，包括貝葉斯（Bayesian，Bayes）［15］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）［16］、基于引導(dǎo)濾波的背景增強(qiáng)（Context Enhancement based on Guided Filter，GFCE）［14］、基于引導(dǎo)濾波的混合多尺度分解（Hybrid Multi-Scale Decomposition based on Guided Filter，HMSD_GF）［14］、基于多尺度分解和范數(shù)優(yōu)化的圖像融合方法IVFusion［5］，MDLatLRR［9］，MSID［17］，NSST［7］和相對(duì)全變分分解（Relative Total Variation Decomposition，RTVD）融合方法［18］。其中，GFCE，IVFusion 的框架中包含預(yù)處理流程。

為了客觀驗(yàn)證本方法的有效性，選擇5 種客觀評(píng)價(jià)指標(biāo)來(lái)衡量不同方法的融合效果，包括平均梯度（Average Gradient，AG）、交叉熵（Cross Entropy，CE）、邊緣強(qiáng)度（Edge Intensity，EI）、標(biāo)準(zhǔn)差（Standard Deviation，SD）以及空間頻率（Spatial Frequency，SF）。AG 反映圖像的清晰度和邊緣信息，值越大意味著圖像的邊緣和細(xì)節(jié)更加清晰；CE 反映圖像間的差異，值越小代表融合圖像和源圖像越接近，保留的細(xì)節(jié)越多；EI 反映圖像的信息量和復(fù)雜度，值越大表示圖像中的細(xì)節(jié)紋理信息更加豐富；SD 反映圖像的亮度變化程度，值越大表示圖像中的明暗區(qū)域差異明顯，對(duì)比度越高；SF 反映圖像的細(xì)節(jié)和紋理變化頻率，值越大表示細(xì)節(jié)更加豐富，紋理更加清晰［3，19］。因此，AG，EI，SD，SF 越大，CE 越小，融合效果越好。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 主觀評(píng)價(jià)

圖3～圖4 分別為TNO 和CVC-14 數(shù)據(jù)集中的5 組測(cè)試集的源圖像以及9 種融合方法與文中方法的融合結(jié)果。

圖3 TNO 數(shù)據(jù)集上不同方法的融合結(jié)果對(duì)比Fig.3 Comparison of fusion results of different fusion methods on TNO dataset

圖4 CVC-14 數(shù)據(jù)集上不同方法的融合結(jié)果對(duì)比Fig.4 Comparison of fusion results of different fusion methods on CVC-14 dataset

總的來(lái)說(shuō)，大部分融合方法都能將紅外圖像的熱輻射信息和可見光圖像的細(xì)致紋理有效融合到一幅圖像上。然而，Bayes 和RTVD 的融合圖像較為模糊，HMSD_GF，NSST 的融合結(jié)果亮度偏低，CNN，MSID 的融合結(jié)果無(wú)法突出可見光圖像中清晰的細(xì)節(jié)紋理。GFCE，IVFusion和MDLatLRR 算法取得了較好的融合結(jié)果，但在弱光夜視環(huán)境下也存在一些缺陷，如在圖3 的TNO 數(shù)據(jù)集圖像Img1 中，GFCE 的融合結(jié)果對(duì)比度較低，無(wú)法有效突出人、圍欄等顯著信息。IVFusion 的融合結(jié)果整體亮度太高，MDLatLRR 的融合結(jié)果不能呈現(xiàn)圖像左下角樹葉的細(xì)節(jié)紋理。本文方法通過(guò)DRC 算法提高圖3中Img5 可見光圖像清晰度的同時(shí)，在低頻區(qū)域引入細(xì)微的噪點(diǎn)，使圖像整體看起來(lái)有細(xì)微的紋理，但對(duì)整體融合效果的影響較小。該方法在清晰度、對(duì)比度和細(xì)節(jié)處理方面都有較好的提升效果外，還能在一定程度上改善圖像中顯著目標(biāo)的突出效果。此外，因紅外圖像不受弱光環(huán)境的影響，相比可見光圖像所表達(dá)的顯著信息較多，從視覺上看，融合圖像中含有的紅外圖像成分更多。

5.2 客觀評(píng)價(jià)

表1～表2 分別為本文方法和對(duì)比方法在16對(duì)TNO 數(shù)據(jù)集和6 對(duì)CVC-14 數(shù)據(jù)集上圖像融合實(shí)驗(yàn)的平均客觀評(píng)價(jià)指標(biāo)對(duì)比，加粗代表最優(yōu)值，橫線代表次優(yōu)值。由表可知，本方法在TNO和CVC-14 數(shù)據(jù)集上實(shí)驗(yàn)的5 種客觀指標(biāo)AG，CE，EI，SD，SF 都優(yōu)于對(duì)比方法，與對(duì)比方法的最優(yōu)客觀評(píng)價(jià)值相比，AG，CE，EI，SD，SF 分別至少提升了8.04%，16.27%，4.61%，0.14%，16.26%，證明本文方法在圖像的清晰度、細(xì)節(jié)紋理和對(duì)比度的處理上都要優(yōu)于對(duì)比方法。

表1 TNO 數(shù)據(jù)集上融合實(shí)驗(yàn)的平均客觀評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of average objective indexes of fusion results on TNO dataset

表2 CVC-14數(shù)據(jù)集上融合實(shí)驗(yàn)的平均客觀評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of average objective indexes of fusion results on CVC-14 dataset

5.3 運(yùn)行時(shí)間對(duì)比

表3 為不同融合方法在TNO 和CVC-14 數(shù)據(jù)集中的平均運(yùn)行時(shí)間。表中平均運(yùn)行時(shí)間最快的是MSID 方法，本方法在MSID 的基礎(chǔ)上改進(jìn)了融合規(guī)則，加入DRC 增強(qiáng)和對(duì)比度增強(qiáng)模塊，平均運(yùn)行時(shí)間為0.237 s，排第二，而整體融合效果僅次于本方法的MDLatLRR 和IVFusion 方法運(yùn)行時(shí)間偏長(zhǎng)。由此表明，本方法能夠?qū)崿F(xiàn)高質(zhì)量快速融合。

表3 不同融合方法的平均運(yùn)行時(shí)間Tab.3 Average running time of different fusion methods

5.4 消融實(shí)驗(yàn)

為驗(yàn)證MSID 融合的改進(jìn)作用，以16 對(duì)TNO 數(shù)據(jù)集中的測(cè)試集進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)包含3 個(gè)部分：（1）MSID+DRC，在多尺度結(jié)構(gòu)化融合中加入動(dòng)態(tài)范圍壓縮模塊；（2）MSID+DRC+RIE，在（1）的基礎(chǔ)上改進(jìn)融合策略，此處RIE 為基于RMSE 系數(shù)和IE 自適應(yīng)優(yōu)化融合的縮寫；（3）MSID+DRC+RIE+EC，在（2）的基礎(chǔ)上加入對(duì)比度增強(qiáng)模塊EC。

消融實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)結(jié)果如表4 所示，數(shù)據(jù)加粗代表最優(yōu)值。加入DRC 前后，除了指標(biāo)CE 外，其他4 個(gè)指標(biāo)都要優(yōu)于沒(méi)有使用DRC增強(qiáng)的融合結(jié)果；加入RIE 前后，除了指標(biāo)SD 有所下降外，其余4 個(gè)指標(biāo)都有大幅的提升；加入EC 前后的5 個(gè)指標(biāo)均有所提升，證明了改進(jìn)方法的有效性。

表4 消融實(shí)驗(yàn)的平均客觀評(píng)價(jià)指標(biāo)結(jié)果Tab.4 Average objective evaluation index results of ablation experiment

6 結(jié)論

本文提出一種改進(jìn)MSID 融合的紅外與可見光圖像融合方法。首先，將DRC 增強(qiáng)算法與MSID 方法相結(jié)合，有效提取出圖像的低頻基部和高頻細(xì)節(jié)信息；然后，對(duì)低頻信息采用基于RMSE 加權(quán)的融合策略進(jìn)行融合，對(duì)高頻信息先進(jìn)行初次融合，再采用基于IE 自適應(yīng)調(diào)整權(quán)重的方法進(jìn)行二次優(yōu)化融合。接著通過(guò)MSID 逆變換重構(gòu)出融合圖像；最后，提出一種基于灰度分類的區(qū)域像素增強(qiáng)算法以提高融合圖像的對(duì)比度。在TNO 和CVC-14 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果表明，與9 種對(duì)比方法中最優(yōu)的客觀指標(biāo)值相比，本文提出方法在AG，CE，EI，SD 和SF 指標(biāo)上分別至少提升了8.04%，16.27%，4.61%，0.14%，16.26%，證明了提出方法的融合圖像不僅具有豐富的細(xì)節(jié)紋理，較高的清晰度和對(duì)比度，還能實(shí)現(xiàn)紅外與可見光圖像的快速融合；同時(shí)，消融實(shí)驗(yàn)也進(jìn)一步證明了改進(jìn)方法的有效性。引入的DRC 算法能提高弱光環(huán)境下可見光圖像的清晰度，但無(wú)法有效增強(qiáng)紅外圖像的質(zhì)量，為了突出紅外圖像中的顯著信息，后續(xù)將著重研究紅外圖像的顯著特征提取及增強(qiáng)方法，嘗試將輕量化的深度學(xué)習(xí)框架與傳統(tǒng)方法相結(jié)合，以進(jìn)一步增強(qiáng)紅外和可見光源圖像的融合效果。