融合卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像全色銳化

路琨婷，費(fèi)蓉蓉，張選德

（陜西科技大學(xué) 電子信息與人工智能學(xué)院，西安 710021）

0 引言

近年來，遙感圖像被廣泛應(yīng)用于科學(xué)研究、精準(zhǔn)農(nóng)業(yè)、礦產(chǎn)探測、國土普查、城市規(guī)劃、地震預(yù)報(bào)、軍事防御等領(lǐng)域［1］。然而，由于物理設(shè)備的限制，直接從衛(wèi)星遙感器獲取到的圖像僅僅有兩種：低空間分辨率多光譜（Low-Resolution Multi-Spectral，LRMS）圖像和高空間分辨率（High-Resolution，HR）全色（PANchromatic，PAN）圖像。前者分辨率較低但擁有豐富的光譜信息，后者分辨率較高但含有的光譜信息較少。

全色銳化通常利用較高空間分辨率的PAN 圖像對較低空間分辨率的多光譜（Multi-Spectral，MS）圖像進(jìn)行銳化，從而獲得高空間分辨率多光譜（High-Resolution Multi-Spectral，HRMS）圖像。解決全色銳化問題的方法分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法兩大類。傳統(tǒng)方法包括成分替換（Component Substitution，CS）、多分辨率分析（Multi-Resolution Analysis，MRA）以及基于模型的方法。

CS 方法首先對LRMS 圖像上采樣后作適當(dāng)?shù)挠蜃儞Q，使表示頻譜和空間的信息完全分離并用不同的分量表達(dá)；然后利用擁有更多空間信息的PAN 圖像替換分離的空間分量；最后使用上述變換的逆變換將替換后的圖像變換回原域得到HRMS 圖像。CS 方法使用的變換包括亮度-色度-飽和度（Intensity-Hue-Saturation，IHS）變換［2］、主成分分析（Principal Component Analysis，PCA）變換、Gram-Schmid（tGS）變換［3］等，能展現(xiàn)清晰的空間結(jié)構(gòu)，但存在一定的光譜失真。

MRA 方法假定可以通過PAN 圖像的高頻空間分量補(bǔ)充LRMS 圖像的空間細(xì)節(jié)：利用低通濾波器獲取PAN 圖像的高頻信息，然后將它注入MS 圖像中得到HRMS 圖像。常見的MRA 方法有抽取小波變換（Decimated Wavelet Transform，DWT）、非抽取小波變換（UnDecimated Wavelet Transform，UDWT）以及拉普拉斯金字塔（Laplacian Pyramid，LP）［4］等。MRA 方法最大限度地保留了LRMS 圖像的光譜信息，但由于濾波的使用導(dǎo)致HRMS 圖像會出現(xiàn)一定的空間失真。

隨著稀疏表示算法和貝葉斯（Bayesian）框架的快速發(fā)展，基于模型的方法已被廣泛應(yīng)用于各種圖形圖像處理任務(wù)并取得顯著效果?；谀Ｐ偷姆椒▽⑷J化看作圖像重建的過程，利用各種先驗(yàn)信息建立統(tǒng)計(jì)模型。常見的基于模型的方法有壓縮感知（Compressed Sensing）、貝葉斯、變分優(yōu)化（Variational Optimization）等。這類方法的光譜和空間細(xì)節(jié)失真相對較低，但對先驗(yàn)信息的要求較高。

近幾年，基于深度學(xué)習(xí)的全色銳化方法產(chǎn)生的HRMS 圖像性能明顯優(yōu)于傳統(tǒng)方法。Masi 等［5］首先將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）應(yīng)用于全色銳化并提出PNN（CNN based Pansharpening）；Wei 等［6］引入殘差學(xué)習(xí)提出一個(gè)具有11 個(gè)可學(xué)習(xí)層的深度殘差網(wǎng)絡(luò)（Residual Network，ResNet），在全色銳化問題中充分利用深度學(xué)習(xí)模型的高度非線性性質(zhì)；Yang 等［7］提出的PanNet 由10 個(gè)堆疊的殘差塊組成，旨在解決全色銳化的兩個(gè)基本問題，即光譜信息和空間信息保存；Yuan 等［8］設(shè)計(jì)的多尺度多深度的CNN（Multi-Scale and multi-Depth CNN，MSDCNN）模型擁有兩個(gè)不同的可學(xué)習(xí)層數(shù)分支，性能優(yōu)異；Fu 等［9］使用分組的多尺度擴(kuò)張網(wǎng)絡(luò)（Deep Multiscale Detail Network，DMDNet）擴(kuò)大感受野，多尺度結(jié)構(gòu)能夠融合不同尺度的空間信息以進(jìn)一步提升融合效果；Zhang 等［10］建立圖像間的非線性梯度變換關(guān)系來約束空間結(jié)構(gòu)，使網(wǎng)絡(luò)對融合結(jié)果圖像中含有的空間結(jié)構(gòu)具有更強(qiáng)的合理性解釋。除上述監(jiān)督學(xué)習(xí)框架外，無監(jiān)督學(xué)習(xí)框架也發(fā)展迅速：Wang 等［11］提出多尺度密集生成器網(wǎng)絡(luò)來提取特征，采用兩個(gè)鑒別器分別保護(hù)光譜和空間信息；Zhou等［12］設(shè)計(jì)雙流生成器從MS 圖像和PAN 圖像中提取模態(tài)特定特征來提升性能。

傳統(tǒng)的CS 和MRA 方法易于解釋但效果在光譜保真和空間細(xì)節(jié)信息增強(qiáng)兩方面各有側(cè)重，得到的HRMS 圖像質(zhì)量各有利弊。此外，CS 和MRA 方法的一個(gè)很大的局限性是使用的線性注入模型通常不考慮用于全色銳化傳感器的相對光譜響應(yīng)。目前大多數(shù)全色銳化網(wǎng)絡(luò)雖然能實(shí)現(xiàn)較好的融合效果，但缺乏如傳統(tǒng)CS 和MRA 方法對模型和算法的直觀解釋，對原圖像的開發(fā)利用不足，特征信息提取不夠充分，對特征圖的各個(gè)通道平等看待造成了光譜和空間信息的部分損失，在一定程度上阻礙了融合性能。

為解決上述問題，本文結(jié)合傳統(tǒng)方法與深度學(xué)習(xí)方法構(gòu)建融合效果良好的全色銳化方法CMRNet，以提高融合圖像的光譜和空間分辨率。本文的主要工作如下：

1）聚合CS 和MRA 的思想，并結(jié)合CNN 實(shí)現(xiàn)非線性，克服傳統(tǒng)方法線性注入模型的局限性，改善深度學(xué)習(xí)全色銳化方法的性能。

2）設(shè)計(jì)殘差通道（Residual Channel，RC）塊以充分提取光譜和空間信息，實(shí)現(xiàn)多尺度特征信息的融合提取，并引入通道注意力（Channel Attention，CA）［13］學(xué)習(xí)通道間的依賴關(guān)系使網(wǎng)絡(luò)更關(guān)注重要的特征信息。

1 相關(guān)工作

1.1 基于CS的全色銳化方法

CS 方法基于PAN 圖像對單一分量進(jìn)行簡單替換，這些強(qiáng)度分量通常通過MS 圖像光譜帶的線性組合獲得。首先通過PAN 圖像與強(qiáng)度分量的差值提取PAN 圖像的高空間結(jié)構(gòu)信息，再通過適當(dāng)?shù)淖⑷敕桨笇⑻崛〉母呖臻g結(jié)構(gòu)信息注入MS 圖像。Tu 等［14］證明基于CS 的方法可推廣到一種新的形式化，隨后Dou 等［15］進(jìn)一步擴(kuò)展，提出了通用的CS 方法融合框架，現(xiàn)已被廣泛使用。基于一般形式化的CS 方法的流程如圖1（a）所示，數(shù)學(xué)表達(dá)式如下：

圖1 傳統(tǒng)的全色銳化方法流程Fig.1 Flowcharts of traditional pansharpening methods

其中：M表示LRMS 圖像表示融合圖像（即HRMS 圖像）表示LRMS 圖像上采樣后的圖像；IL表示要替換的強(qiáng)度分量；P表示PAN 圖像，通常PAN 圖像與IL分量進(jìn)行歸一化（如直方圖匹配）以減少光譜失真；g表示注入權(quán)重。

1.2 基于MRA的全色銳化方法

Tu 等［14］也對基于一般形式化的MRA 方法進(jìn)行擴(kuò)展，算法流程如圖1（b）所示，大多數(shù)基于MRA 方法的數(shù)學(xué)表達(dá)式如下：

其中，PL表示PAN 圖像的低通版本。與CS 方法提取空間細(xì)節(jié)的方式不同，MRA 方法通過PAN 圖像與它的低通版本的差值獲得空間結(jié)構(gòu)信息。

1.3 基于深度學(xué)習(xí)的全色銳化方法PanNet

基于深度學(xué)習(xí)的PanNet 方法［7］第一次應(yīng)用了ResNet，網(wǎng)絡(luò)模型分為空間保護(hù)和光譜保護(hù)兩部分。對于空間保護(hù)，PanNet 在高通域訓(xùn)練圖像以保存細(xì)節(jié)邊緣信息；對于光譜保護(hù)，將上采樣的MS 圖像直接添加到網(wǎng)絡(luò)輸出以更好地保存光譜信息。網(wǎng)絡(luò)損失函數(shù)為：

其中：N表示訓(xùn)練數(shù)據(jù)的總數(shù)；fw(·)表示ResNet 模型；G表示高通信息；↑表示上采樣操作。

2 本文方法

傳統(tǒng)的基于CS 和MRA 的全色銳化方法在理論解釋方面的研究相對成熟，從理論分析以及實(shí)驗(yàn)實(shí)施均有發(fā)展成熟的各種常用方法；基于CS 的方法具有豐富的空間細(xì)節(jié)信息；基于MRA 的方法生成的融合圖像具有較強(qiáng)的光譜保真度。CS 和MRA 方法的一個(gè)很大的局限性是通常假設(shè)使用線性注入模型，而不考慮用于全色銳化傳感器的相對光譜響應(yīng)。

結(jié)合MRA 方法對具有優(yōu)越表現(xiàn)的PanNet 方法進(jìn)行深入分析：在PanNet 方法中，網(wǎng)絡(luò)輸入包含PAN 圖像和MS 圖像的高通信息，最后將上采樣的MS 圖像添加到網(wǎng)絡(luò)輸出獲得HRMS 圖像；在MRA 方法中，PAN 圖像與低通PAN 圖像之間的差值獲得的同樣是PAN 圖像的高通信息，將PAN 圖像的高通信息注入到MS 圖像即可獲得融合圖像。因此，PanNet方法可以看作是一種實(shí)現(xiàn)MRA 方法非線性的深度學(xué)習(xí)方法。

本文將遵循CS 和MRA 方法的一般形式化，使用CNN 實(shí)現(xiàn)CS 和MRA 方法的非線性，提高全色銳化方法性能。

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文將結(jié)合傳統(tǒng)與深度學(xué)習(xí)的全色銳化方法稱作CMRNet，從而構(gòu)建HRMS 圖像的空間細(xì)節(jié)信息和光譜信息。受超分辨領(lǐng)域殘差通道注意力網(wǎng)絡(luò)（Residual Channel Attention Network，RCAN）［16］的啟發(fā)，CMRNet 的網(wǎng)絡(luò)框架采用長連接和短連接的方式，有助于傳輸豐富的低頻信息，使網(wǎng)絡(luò)學(xué)習(xí)到更有效的信息。網(wǎng)絡(luò)主體結(jié)構(gòu)由四個(gè)RC 塊堆疊組成：RC 塊保證在網(wǎng)絡(luò)訓(xùn)練時(shí)，輸入信息可通過所有參數(shù)層充分傳播，并且能很好地提取空間和光譜信息。每個(gè)RC 塊由兩個(gè)殘差塊、通道注意力（CA）塊、卷積、跳躍連接組成，RC 塊采用跳躍連接將提取的特征信息跨層傳播，實(shí)現(xiàn)多尺度特征信息的融合提取。此外，由于遙感圖像的通道數(shù)較多且一般的網(wǎng)絡(luò)結(jié)構(gòu)無法充分利用通道間的相互依賴關(guān)系，導(dǎo)致獲得的特征質(zhì)量在通道方向參差不齊或冗余，這將限制網(wǎng)絡(luò)學(xué)習(xí)的能力。因此，本文在RC 塊中引入CA，使網(wǎng)絡(luò)根據(jù)通道間的依賴關(guān)系為不同的通道分配不同的權(quán)重，進(jìn)一步提高網(wǎng)絡(luò)表達(dá)能力。

RC 塊的主要結(jié)構(gòu)如圖2 所示，具體實(shí)現(xiàn)如下：1）輸入信息經(jīng)過兩個(gè)殘差塊進(jìn)行特征提??；2）通過CA 塊讓網(wǎng)絡(luò)去注意多通道中對重建更有用的信息；3）使用一次卷積實(shí)現(xiàn)當(dāng)前RC 塊與前一個(gè)RC 塊的通道數(shù)對齊，便于后續(xù)跳躍連接的實(shí)現(xiàn)；4）通過跳躍連接實(shí)現(xiàn)多尺度特征信息的融合提取。

圖2 RC塊結(jié)構(gòu)Fig.2 Structure of RC block

CMRNet 的網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。首先，CMRNet 關(guān)注高通域的高頻細(xì)節(jié)，通過高通濾波器獲得PAN 圖像和LRMS 圖像的高通信息，使用上采樣塊將LRMS 圖像的高通信息上采樣到PAN 圖像的分辨率；接著，使用上采樣塊將LRMS 圖像上采樣到PAN 圖像的分辨率，并進(jìn)行光譜帶的線性組合得到要替換的強(qiáng)度分量，從而通過PAN 圖像與強(qiáng)度分量間的差值進(jìn)一步獲得高空間結(jié)構(gòu)信息；然后將PAN 圖像的高通信息、上采樣到PAN 圖像大小后LRMS 圖像的高通信息、高空間結(jié)構(gòu)信息、PAN 圖像與MS 圖像間的差值級聯(lián)后輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；最后，為更好地保存光譜信息，直接添加上采樣的MS 圖像到網(wǎng)絡(luò)的輸出使光譜信息直接傳播到融合圖像，最大限度地減小HRMS 圖像與LRMS 圖像之間的光譜信息差異，保持光譜質(zhì)量以獲得高質(zhì)量的HRMS 圖像。本文網(wǎng)絡(luò)能充分利用原圖像包含的豐富空間信息和光譜信息，經(jīng)過高通濾波后的圖像可以更好地顯示其空間信息，利用較高的空間結(jié)構(gòu)信息以及PAN 圖像與MS 圖像的差異可減少光譜和空間細(xì)節(jié)的損失。

圖3 CMRNet方法的網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of CMRNet method

對結(jié)合CS 和MRA 的全色銳化方法CMRNet 進(jìn)行抽象描述，該方法中PAN 圖像的高通信息可類比于MRA 方法中的P-PL，高空間結(jié)構(gòu)信息可類比于CS 方法中的P-IL，最后添加到網(wǎng)絡(luò)輸出的上采樣的MS 圖像也可類比于CS 和MRA方法中的。綜上所述，本文方法將傳統(tǒng)方法與深度方法相結(jié)合，不僅實(shí)現(xiàn)CS 和MRA 方法的非線性，而且能更好地保存光譜和空間信息。

2.2 損失函數(shù)

現(xiàn)有的基于深度學(xué)習(xí)的全色銳化方法采用圖像域的監(jiān)督方式，由于L2 損失函數(shù)能夠懲罰較大的異常值，因此選用L2 損失對網(wǎng)絡(luò)估計(jì)的HRMS 圖像與真實(shí)標(biāo)簽數(shù)據(jù)的相似性進(jìn)行約束，損失函數(shù)定義如下：

其中：PD表示復(fù)制到MS 圖像分辨率的PAN 圖像；f(?)表示本文網(wǎng)絡(luò)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用QuickBird 和GF1 衛(wèi)星傳感器收集的圖像分別進(jìn)行模型的訓(xùn)練和測試。對于QuickBird 傳感器，PAN 圖像和LRMS 圖像的空間分辨率分別為0.6 m 和2.4 m；對于GF1傳感器，PAN 圖像和LRMS 圖像的空間分辨率分別為2 m 和8 m。由于實(shí)際應(yīng)用中遙感圖像不存在真實(shí)標(biāo)簽數(shù)據(jù)，即網(wǎng)絡(luò)訓(xùn)練中沒有目標(biāo)圖像，因此需要構(gòu)建訓(xùn)練數(shù)據(jù)集。本文根據(jù)Wald 協(xié)議［17］進(jìn)行設(shè)計(jì)，將原始MS 圖像和PAN 圖像以采樣率4 進(jìn)行下采樣，構(gòu)建的訓(xùn)練數(shù)據(jù)集包括下采樣后的LRMS、PAN 以及原始的MS 圖像。降尺度評估以下采樣后的圖像作為網(wǎng)絡(luò)輸入，以原始MS 圖像作為參考圖像即真實(shí)標(biāo)簽數(shù)據(jù)。全尺度評估則直接將原始的衛(wèi)星圖像輸入網(wǎng)絡(luò)。QuickBird和GF1 衛(wèi)星數(shù)據(jù)集中的PAN 和LRMS 圖像對數(shù)分別為11 904和8 960，圖像大小分別為128×128 和32×32，將它們隨機(jī)分成90%和10%用于訓(xùn)練和測試。

為充分驗(yàn)證CMRNet 的性能，與較先進(jìn)的方法進(jìn)行實(shí)驗(yàn)對比，選用的方法如下：基于CS 方法的IHS［2］和GS［3］，基于MRA 方法的Wavelet［4］、廣義拉普拉斯金字塔（Modulation Transfer Function based Generalized Laplacian Pyramid，MTFGLP）［18］，基于深度學(xué)習(xí)方法的DMDNet［9］、MSDCNN［8］、深度CNN 的遙感圖像融合（Remote Sensing Image Fusion with deep CNN，RSIFNN）［19］與PanNet［7］。

本文的實(shí)驗(yàn)環(huán)境如下：PyTorch 1.13 深度學(xué)習(xí)框架，并在GeForce RTX 3090Ti 上訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練中使用Adam 優(yōu)化器優(yōu)化網(wǎng)絡(luò)，批處理大小為32，初始學(xué)習(xí)率為0.001 并且每20個(gè)epoch 乘以0.5。

3.2 評價(jià)指標(biāo)

實(shí)驗(yàn)采用的評價(jià)指標(biāo)包括：峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）、相關(guān)系數(shù)（Correlation Coefficient，CC）、光譜角度映射（Spectral Angle Mapper，SAM）、相對無量綱全局誤差（Erreur Relative Globale Adimensionnelle de Synthese，ERGAS）、質(zhì)量指標(biāo)（Quality-index，Q4）、無參考質(zhì)量指標(biāo)（Quality with No Reference，QNR）和它的兩個(gè)分量Dλ和DS。這幾種指標(biāo)中，PSNR、SSIM、CC、Q4、QNR 指標(biāo)越高表明融合效果越好；SAM、ERGAS、Dλ、DS指標(biāo)越低表明融合效果越好。指標(biāo)具體說明如下所示。

CC 能衡量兩個(gè)圖像的相似度：

其中：x表示第x個(gè)像素；X表示像素?cái)?shù)；表示融合圖像；M表示參考圖像；μ*表示圖像的均值。

SAM 衡量兩個(gè)圖像像素點(diǎn)矢量間的角度的絕對值，可反映圖像的光譜失真程度：

其中，u和v是融合圖像和參考圖像的像素向量。

ERGAS 是一個(gè)全局質(zhì)量指標(biāo)，能全面反映融合圖像的質(zhì)量：

其中：h和l分別表示PAN 圖像和MS 圖像的空間分辨率；B是圖像的波段數(shù)；IRMSE(b)是融合圖像和參考圖像b波段的均方根誤差；μ(b)是b波段的均值。

Q4是一個(gè)通用圖像質(zhì)量評價(jià)指標(biāo)：

QNR 在沒有任何參考圖像的情況下衡量融合圖像的全局質(zhì)量，由Dλ和DS組成，分別反映光譜失真程度和空間失真程度：

其中：P表示PAN 圖像，P↓表示下采樣后的PAN 圖像。

3.3 實(shí)驗(yàn)與結(jié)果分析

3.3.1 降尺度評估

不同方法在降尺度QuickBird 數(shù)據(jù)集上對海邊港口圖像的銳化結(jié)果如圖4 所示。與參考圖像相比，只有PanNet、DMDNet 和CMRNet 能夠很好地保存光譜信息，而其他方法均具有明顯的光譜失真。為進(jìn)一步進(jìn)行可靠的對比，選取局部區(qū)域放大。比較3 種方法的局部放大圖像，可以看出CMRNet 的光譜信息與參考圖像最相似，邊界也更清晰。在這些具有光譜失真的方法中，IHS、GS 和RSIFNN 方法的整體失真較為嚴(yán)重，光譜信息與參考圖像差異較大，圖像整體顏色較淡；MTF-GLP 方法和MSDCNN 方法部分光譜信息損失且邊界較模糊；Wavelet 方法的銳化效果質(zhì)量較差，空間細(xì)節(jié)信息較少且存在偽影和鋸齒。與這些方法相比，本文的CMRNet 方法可以更好地保存光譜信息和紋理細(xì)節(jié)。

圖4 降尺度QuickBird衛(wèi)星圖像的銳化結(jié)果Fig.4 Sharpening results at reduced-resolution on QuickBird dataset

不同方法在QuickBird 數(shù)據(jù)集上測試的統(tǒng)計(jì)平均結(jié)果如表1 所示，最優(yōu)結(jié)果加粗表示。從表1 可以看出，與幾種常用的全色銳化方法相比，CMRNet 方法在PSNR、SSIM、CC、SAM、ERGAS 和Q4這6 種指標(biāo)上都取得最好的效果。相較于PanNet 方法，CMRNet 的PSNR 提高了5.48%。因此，在QuickBird 衛(wèi)星圖像上，本文方法在定性和定量上的表現(xiàn)較好，融合圖像在光譜分布和空間結(jié)構(gòu)上均與參考圖像最一致。

表1 不同方法在降尺度QuickBird數(shù)據(jù)集上的結(jié)果對比Tab.1 Comparison of results of different methods on reduced-resolution QuickBird dataset

不同方法在GF1 數(shù)據(jù)集上對森林圖像的銳化結(jié)果如圖5所示?？梢钥闯觯瑐鹘y(tǒng)的IHS、GS、Wavelet 和MTF-GLP 方法的光譜失真較為嚴(yán)重，銳化結(jié)果缺乏綠色光譜信息；MSDCNN 方法保留空間信息的能力較弱，圖像較模糊；比較局部放大區(qū)域的河流，可以看出RSIFNN 方法在邊界上有輕微的空間信息損失，PanNet、DMDNet 和CMRNet 方法的銳化效果較好，但本文的CMRNet 方法在保存光譜和空間信息方面略優(yōu)于PanNet 和DMDNet 方法，并且在光譜和空間上最接近參考圖像。

圖5 降尺度GF1衛(wèi)星圖像的銳化結(jié)果Fig.5 Sharpening results at reduced-resolution on GF1 dataset

不同方法在降尺度GF1 數(shù)據(jù)集上測試的統(tǒng)計(jì)平均結(jié)果如表2 所示。從表2 可以看出，與幾種常用的全色銳化方法相比，本文的CMRNet 方法在所有指標(biāo)上都取得了最優(yōu)；相較于PanNet，CMRNet 的PSNR 提高了9.62%。實(shí)驗(yàn)結(jié)果表明，本文方法的銳化效果優(yōu)于其他方法，銳化結(jié)果不僅具有更準(zhǔn)確的光譜分布，而且包含合理的局部紋理細(xì)節(jié)。綜上，在GF1 衛(wèi)星圖像上，本文方法在定性和定量評價(jià)上均取得較好的效果。

表2 不同方法在降尺度GF1數(shù)據(jù)集上的結(jié)果對比Tab.2 Comparison of results of different methods on reduced-resolution GF1 dataset

3.3.2 全尺度評估

不同方法在QuickBird 數(shù)據(jù)集上的銳化結(jié)果如圖6 所示。

圖6 全尺度QuickBird衛(wèi)星圖像的銳化結(jié)果Fig.6 Sharpening results at full-resolution on QuickBird dataset

可以看出，除PanNet 和本文的CMRNet 方法外，其他方法生成的圖像均有不同程度的紅色光譜信息失真。與PanNet 方法相比，CMRNet 方法包含的綠色光譜信息稍多，顏色上與LRMS 圖像最相似，主觀感知方面優(yōu)于其他方法。

不同方法在QuickBird 數(shù)據(jù)集上測試的統(tǒng)計(jì)平均結(jié)果如表3 所示。從表3 可以看出，與其他全色銳化方法相比，CMRNet 在DS和QNR 指標(biāo)上取得了最優(yōu)，Dλ指標(biāo)也跟最優(yōu)的RSIFNN 接近。總體來看，本文方法仍然在對比方法中表現(xiàn)最優(yōu)，在全尺度實(shí)驗(yàn)中取得了良好的效果，充分驗(yàn)證了本文方法對全色銳化任務(wù)的積極作用。

表3 不同方法在全尺度QuickBird數(shù)據(jù)集上的結(jié)果對比Tab.3 Comparison of results of different methods on full-resolution QuickBird dataset

3.4 消融實(shí)驗(yàn)

為驗(yàn)證CMRNet 中CS 方法和MRA 方法相結(jié)合的思想及網(wǎng)絡(luò)結(jié)構(gòu)的有效性，在GF1 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。

1）將CMRNet 與PanNet 與以下方法對比：使用本文的損失函數(shù)和PanNet 的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練的方法（簡稱CP）；使用PanNet 的損失函數(shù)和本文的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練的方法（簡稱PC）。銳化效果如圖7 所示。從局部放大區(qū)域可看出，CP、PC、CMRNet 的銳化效果都優(yōu)于PanNet 方法，其中CMRNet 方法在光譜信息和空間細(xì)節(jié)方面與參考圖像最接近，實(shí)現(xiàn)了較好的銳化效果。4 種方法的評價(jià)指標(biāo)如表4 所示。在所有指標(biāo)上，CP 均優(yōu)于PanNet，驗(yàn)證了本文損失函數(shù)的有效性；PC 優(yōu)于PanNet，驗(yàn)證了本文網(wǎng)絡(luò)結(jié)構(gòu)的有效性。而CMRNet 結(jié)合這兩者進(jìn)一步提升了融合效果。

表4 不同損失函數(shù)與網(wǎng)絡(luò)結(jié)構(gòu)組合的消融實(shí)驗(yàn)結(jié)果對比Tab.4 Comparison of ablation experiment results of different loss functions and network structure combinations

圖7 消融實(shí)驗(yàn)的銳化結(jié)果及其對比圖像Fig.7 Sharpening results of ablation experiments and their comparison images

2）對CMRNet 中的長連接、RC 塊中的短連接和CA 的有效性進(jìn)行消融實(shí)驗(yàn)，評價(jià)指標(biāo)如表5 所示。從表5 可以看出，三者均對性能提升起著積極作用。

表5 不同模塊的消融實(shí)驗(yàn)結(jié)果對比Tab.5 Comparison of ablation experimental results of different modules

3.5 網(wǎng)絡(luò)性能評估

本節(jié)對比了本文方法與DMDNet、MSDCNN、RSIFNN、PanNet 的參數(shù)量。所有的全色銳化方法均使用PyTorch 框架實(shí)現(xiàn)，各方法的參數(shù)量如表6 所示?？梢钥闯?，本文的CMRNet 方法具有較低的參數(shù)量。因此，CMRNet 方法不僅相對輕量化，并且能夠?qū)崿F(xiàn)較好的全色銳化效果。

表6 不同方法的參數(shù)量Tab.6 Parameters of different methods

4 結(jié)語

本文關(guān)注傳統(tǒng)方法CS 和MRA 的思想，并將它們與CNN相結(jié)合，巧妙聚合這兩種思想并實(shí)現(xiàn)非線性以克服線性注入模型的局限性，從而提升全色銳化方法的性能。考慮到遙感圖像的通道數(shù)較多但大多網(wǎng)絡(luò)結(jié)構(gòu)忽略通道間的依賴關(guān)系使網(wǎng)絡(luò)學(xué)習(xí)能力受到限制，引入通道注意力給每個(gè)通道分配不同的權(quán)重，讓網(wǎng)絡(luò)關(guān)注重要的特征并抑制不重要的特征，進(jìn)一步提高性能。實(shí)驗(yàn)結(jié)果表明，與基于深度學(xué)習(xí)的方法相比，本文的CMRNet 方法不僅參數(shù)量較小，而且進(jìn)一步提高了融合圖像的光譜和空間分辨率（定量結(jié)果顯示所有指標(biāo)均有顯著提升）；此外，消融實(shí)驗(yàn)結(jié)果驗(yàn)證了本文思想和網(wǎng)絡(luò)結(jié)構(gòu)均對性能提升起著積極作用。綜上所述，本文方法能較好地保存空間和光譜信息，具有廣泛的研究與應(yīng)用前景。未來將會對圖像約束作進(jìn)一步研究，以達(dá)到更好的效果。