基于知識引導(dǎo)的遙感影像融合方法

孔愛玲， 張承明， 李峰， 韓穎娟， 孫煥英， 杜漫飛

(1.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，泰安 271018； 2.山東省氣候中心，濟(jì)南 250031；3.中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室，銀川 750002; 4.航天宏圖信息技術(shù)股份有限公司，北京 100195)

0 引言

目前，由于傳感器技術(shù)的限制，單一傳感器還不能直接獲取到同時(shí)具有高光譜分辨率、高空間分辨率的圖像，衛(wèi)星遙感平臺上一般同時(shí)安裝有兩臺傳感器，分別用于獲取高空間分辨率的全色圖像和多光譜圖像[1]。在應(yīng)用時(shí)，通常需要先利用圖像融合技術(shù)對全色圖像和多光譜圖像進(jìn)行融合，以獲取同時(shí)具有高光譜分辨率和高空間分辨率的圖像[2]。

傳統(tǒng)的圖像融合方法主要有成分替代(component substitution,CS)[3]、多分辨率分析(multiresolution analysis,MRA)[4]和稀疏表示(spare representation,SR)[5]。CS融合方法首先將多光譜圖像(multispectral,MS)轉(zhuǎn)化到另一個(gè)空間，將空間結(jié)構(gòu)和光譜信息分離為不同的成分； 然后，將轉(zhuǎn)化后的MS圖像中具有空間結(jié)構(gòu)的分量替換為全色圖像(panchromatic,PAN)。經(jīng)典的基于CS的融合方法包括強(qiáng)度-色調(diào)-飽和度(intensity-hue-saturation,IHS)融合方法[6]、主成分分析(principal component analysis，PCA)融合方法[7]和施密特正交化方法(gram-schmidt,GS)[8]?；贑S的方法可以獲得豐富的細(xì)節(jié)，但光譜失真往往比較嚴(yán)重。MRA融合方法的核心是多尺度細(xì)節(jié)提取和注入。通常采用MRA方法從PAN圖像中提取空間細(xì)節(jié)，然后將其注入上采樣的多光譜圖像中。廣泛使用的MRA方法包括拉普拉斯金字塔[9]、小波變換[10,11]、curvelet變換[12]、非下采樣contourlet變換[13,14]、sheartlet變換[15]、非下采樣sheartlet變換[16]。與基于CS的方法相比，基于MRA的方法將提取到的全色圖像的細(xì)節(jié)信息注入到多光譜圖像中能夠更好地保持光譜特性。稀疏表示的核心思想是將圖像表示為一個(gè)過完整字典中最少原子的線性組合，但是該方法比較復(fù)雜和費(fèi)時(shí)[17]。

近年來，基于深度學(xué)習(xí)的遙感圖像融合方法受到了廣泛的關(guān)注，如以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的融合網(wǎng)絡(luò) (pansharpening by convolutional neural networks，PNN)[18]，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)自適應(yīng)融合網(wǎng)絡(luò)(target-adaptive CNN-based pansharpening，Target-PNN)[19〗，多尺度多深度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale and multi-depth convolutional neural network，MSDCNN)[20]，采用深度網(wǎng)絡(luò)結(jié)構(gòu)的圖像融合(a deep network architecture for pan-sharpening，PanNet)[21]，遙感圖像融合深度卷積神經(jīng)網(wǎng)絡(luò)(remote sensing image fusion with deep convolutional neural network ,RSIFNN)[22]，基于卷積自編碼器的MS融合(convolutional autoencoder-based multispectral image fusion,CAE)[23]。其中，PNN網(wǎng)絡(luò)首次在圖像融合任務(wù)中使用卷積神經(jīng)網(wǎng)絡(luò)，其將插值后的多光譜圖像和全色圖像拼接起來輸入網(wǎng)絡(luò)中進(jìn)行端對端的訓(xùn)練，網(wǎng)絡(luò)直接學(xué)習(xí)輸入和高分辨率圖像之間的關(guān)系； PanNet網(wǎng)絡(luò)將全色圖像和多光譜圖像的高頻細(xì)節(jié)信息拼接起來輸入到殘差網(wǎng)絡(luò)中進(jìn)行特征提取與融合，然后將提取到的高頻細(xì)節(jié)信息注入上采樣后的低分辨率多光譜圖像中。與傳統(tǒng)的基于CS和基于MRA的算法相比，基于CNN的方法顯著提高了圖像融合的性能，但這些方法還存在一些問題，主要有： Target-PNN和RSIFNN都缺乏具體的紋理細(xì)節(jié)處理，導(dǎo)致融合后的圖像紋理細(xì)節(jié)不夠清晰。PNN只是單純地將全色圖像和上采樣的多光譜圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，沒有根據(jù)全色圖像和多光譜圖像各自的特點(diǎn)有針對的進(jìn)行特征提取和融合，可能會(huì)導(dǎo)致一些光譜和空間結(jié)構(gòu)的失真。PanNet雖然增強(qiáng)了紋理細(xì)節(jié)，但沒有考慮MS圖像光譜通道之間的關(guān)系，可能會(huì)導(dǎo)致一些光譜失真。

注意力機(jī)制源于對人類視覺的研究，在認(rèn)知學(xué)中，人類會(huì)有選擇地關(guān)注所有信息的一部分，同時(shí)忽略其他可見信息。該思想最早應(yīng)用在自然語言的處理中。后來，研究者提出了注意力機(jī)制模型(squeeze-and-excitation networks，SENet)，該模型通過對輸入的信息進(jìn)行擠壓、激勵(lì)和特征重標(biāo)定，對每個(gè)特征通道賦予不同的權(quán)重[24]。該網(wǎng)絡(luò)結(jié)構(gòu)被廣泛應(yīng)用于目標(biāo)檢測、圖像分類等任務(wù)中，取得了很好的效果。在圖像融合任務(wù)中，需要通過神經(jīng)網(wǎng)絡(luò)對全色和多光譜圖像的所有特征進(jìn)行融合操作，但是這樣會(huì)產(chǎn)生大量的冗余信息，如何更準(zhǔn)確高效地融合特征信息成為了一個(gè)亟待解決的問題。注意力機(jī)制則可以通過對特征賦予權(quán)重來解決這個(gè)問題。

先驗(yàn)知識是人們通過經(jīng)驗(yàn)或者數(shù)理統(tǒng)計(jì)等方法得到的對于事物特性的描述，被廣泛應(yīng)用于自然圖像去模糊、自然圖像去噪中[25]。常用的自然圖像先驗(yàn)知識有自然圖像的局部平滑性、非局部自相似性、稀疏性等特征。受自然圖像先驗(yàn)知識的啟發(fā)，考慮到歸一化植被指數(shù)(normalized difference vegetation index，NDVI)能夠反映土地植被的分布信息，歸一化水指數(shù)(normalized difference water index，NDWI)反映了水體的分布信息，而植被和水體是能夠影響光譜的兩種主要信息。所以，我們利用這兩種信息作為先驗(yàn)知識，對遙感影像的融合過程進(jìn)行約束，可以進(jìn)一步提高融合效果，改善光譜失真的問題。

基于上述分析，本文提出一種新的圖像融合模型——基于知識引導(dǎo)的遙感影像融合模型(remote sensing image FuseNet，RSFuseNet)來改善融合過程中的光譜失真和空間結(jié)構(gòu)失真問題。本文在RSFuseNet模型中引入了SENet網(wǎng)絡(luò)中的擠壓激勵(lì)(squeeze-and-excitation，SE)結(jié)構(gòu)，通過對圖像的特征進(jìn)行擠壓、激勵(lì)操作學(xué)習(xí)每個(gè)特征通道的權(quán)重，將學(xué)到的權(quán)重賦予圖像的每個(gè)特征通道，以此來有針對性地抑制無用信息，增強(qiáng)有用信息，減少了冗余信息在網(wǎng)絡(luò)中的傳遞和積累，提高了融合精度，縮短了模型的訓(xùn)練時(shí)間。根據(jù)全色圖像與多光譜圖像的特點(diǎn)引入先驗(yàn)知識——NDVI和NDWI來對融合過程中的光譜信息進(jìn)行約束。提高了融合過程中光譜信息的保真度，解決了圖像融合過程中容易產(chǎn)生的光譜失真問題。

1 研究數(shù)據(jù)

1.1 遙感數(shù)據(jù)及其預(yù)處理

本文選擇山東省泰安市的兩幅高景一號影像，以及其對應(yīng)的高分六號影像制作數(shù)據(jù)集。每幅高景一號影像包含了全色波段和多光譜波段，全色波段的分辨率為0.5 m，多光譜波段的分辨率為2 m。每景高分六(GF-6)影像包含多光譜波段(藍(lán)、綠、紅、近紅外)和全色波段，空間分辨率分別為8 m和2 m，表1給出了本文所使用的高分六號衛(wèi)星的主要參數(shù)。

表1 高分6號衛(wèi)星的主要參數(shù)

圖像預(yù)處理主要包括幾何糾正、輻射校正等步驟。本文利用航天宏圖信息技術(shù)股份有限公司生產(chǎn)的新一代遙感與地理信息一體化軟件(pixel information expert，PIE)對高分六號衛(wèi)星的圖像以批處理的方式進(jìn)行預(yù)處理，包括： 大氣校正、幾何糾正、正射校正。經(jīng)過預(yù)處理后，得到空間分辨率為8 m的多光譜圖像和空間分辨率為2 m的全色圖像，其中，多光譜圖像包含藍(lán)、綠、紅、近紅外4個(gè)波段，全色圖像包含一個(gè)波段。在遙感圖像處理平臺(the environment for visualizing images，ENVI)中對高景一號多光譜影像進(jìn)行輻射定標(biāo)、大氣校正及正射校正，得到分辨率為2 m的多光譜影像。

1.2 數(shù)據(jù)集制作

通過1.1節(jié)中所述步驟，得到高分六號的全色與多光譜圖像及高景一號的多光譜圖像，將高分六號全色圖像裁剪成512×512大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_pan。將對應(yīng)的高分六號多光譜圖像裁剪成128×128大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_lrms。將對應(yīng)的高景一號的多光譜影像裁剪成512像素×512像素大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_target。將裁剪得到的數(shù)據(jù)的80%作為訓(xùn)練樣本，20%的數(shù)據(jù)作為測試樣本，分別放在train和test文件夾下，即得到實(shí)驗(yàn)所用的數(shù)據(jù)集。

2 研究方法

2.1 模型結(jié)構(gòu)

RSFuseNet模型的輸入數(shù)據(jù)為訓(xùn)練樣本中的高分六號全色、多光譜圖像，高景一號的多光譜圖像。其中，高分六號的全色圖像和多光譜圖像用來提取特征并進(jìn)行特征融合； 高景一號的多光譜圖像是參考圖像，用來計(jì)算模型的損失。模型結(jié)構(gòu)如圖1所示，主要包括特征提取模塊、自適應(yīng)SE模塊以及結(jié)合自適應(yīng)SE的卷積模塊。

圖1 RSFuseNet模型基本結(jié)構(gòu)圖

2.1.1 特征提取模塊

在進(jìn)行圖像融合前，全色圖像要經(jīng)過高通濾波器，提取高頻細(xì)節(jié)信息，過濾掉冗余的噪聲信息。構(gòu)建高通濾波器時(shí)，首先用均值濾波器獲取圖像的低頻信息，然后用原始圖像減去低頻信息即得到高頻信息。獲取全色圖像的高頻信息可以減少全色圖像中的噪聲信息對多光譜圖像中光譜信息的影響，充分發(fā)揮全色圖像中高頻紋理細(xì)節(jié)的優(yōu)勢，進(jìn)而使融合圖像的光譜信息和紋理信息達(dá)到最優(yōu)的效果。

多光譜圖像輸入模型后首先要進(jìn)行上采樣以達(dá)到與全色圖像相同的分辨率。鑒于雙三次插值法可以充分保持多光譜圖像的光譜信息，故采用雙三次插值進(jìn)行上采樣?？紤]到全色圖像的分辨率是多光譜圖像分辨率的4倍，遂采用分兩次上采樣來提升多光譜圖像的分辨率，每一次在原來的基礎(chǔ)上提升兩倍。上采樣模塊由一個(gè)雙三次插值層和一個(gè)1×1卷積的調(diào)整層組成。在上采樣后引入先驗(yàn)知識，即通過NDVI和NDWI的計(jì)算公式分別計(jì)算出上采樣后多光譜圖像的每個(gè)像素點(diǎn)的NDVI和NDWI的值，這些值分別組成2個(gè)矩陣，與上采樣后的多光譜圖像一起作為下一層卷積的輸入。NDVI和NDWI的計(jì)算公式為：

，

(1)

，

(2)

式中，NIR，R和G分別為多光譜圖像近紅外波段、紅色波段和綠色波段的反射率。

2.1.2 自適應(yīng)SE模塊

該模塊輸入的特征圖大小為c×h×w，其中c為通道數(shù)，h為高度，w為寬度。該模塊主要由一個(gè)全局平均池化層，兩個(gè)全連接層，一個(gè)ReLU激活函數(shù)層和一個(gè)Sigmoid激活函數(shù)層組成。全局平均池化層將輸入的特征圖壓縮為c×1×1的大小，也就是每一個(gè)通道得到一個(gè)值，這個(gè)值具有全局的感受野，它表征著在特征通道上響應(yīng)的全局分布。第一個(gè)全連接層將全局平均池化層中得到的結(jié)果降維到c/r×1×1的大小，這里的r采用上一層卷積的通道數(shù)也就是c，這也是該模塊叫作“自適應(yīng)”SE模塊的原因，即降維所用的參數(shù)能夠隨著輸入特征通道數(shù)的變化而變化，通過這種“自適應(yīng)”機(jī)制可以極大地減少參數(shù)量和計(jì)算量。ReLU層對第一層全連接層的結(jié)果進(jìn)行激活操作，第二個(gè)全連接層將特征升回到原始的維度。通過全連接層的降維和升維以及ReLU的激活操作可以增加模型的非線性，更好地?cái)M合通道間復(fù)雜的相關(guān)性。Sigmoid激活函數(shù)獲得每個(gè)特征通道的權(quán)重。最后將獲得的權(quán)重乘到每個(gè)通道的特征上，也就是圖中的×操作。具體見圖2。

圖2 自適應(yīng)SE模塊結(jié)構(gòu)圖

2.1.3 結(jié)合自適應(yīng)SE的卷積模塊

RSFuseNet模型的影像融合部分采用結(jié)合自適應(yīng)SE的卷積模塊。該模塊主要包括3個(gè)卷積單元，第一個(gè)和第二個(gè)卷積單元組成相同，都是由一個(gè)卷積層、一個(gè)激活函數(shù)層和一個(gè)自適應(yīng)SE模塊組成； 第三個(gè)卷積單元由一個(gè)卷積層和一個(gè)激活函數(shù)層組成。該模塊輸入為經(jīng)過高通濾波提取的全色圖像的高頻紋理信息、上采樣后分辨率與全色圖像相同的多光譜圖像和經(jīng)過逐像素計(jì)算得到的NDVI和NDWI。這樣，第一個(gè)卷積單元一共輸入7個(gè)波段，故該單元卷積層的輸入通道為7，卷積核大小為9×9，步長大小為1，填充大小為4，輸出特征通道大小為48。第二個(gè)卷積單元卷積層的輸入通道為48，卷積核大小為5×5，步長大小為1，填充大小為2，輸出通道的大小為32。第三個(gè)卷積單元卷積層的輸入通道為32，卷積核大小為5×5，步長大小為1，填充大小為2，輸出通道大小為4。由于數(shù)據(jù)輸入模型時(shí)首先對其進(jìn)行歸一化操作，故卷積層后面沒有使用歸一化層。

2.2 訓(xùn)練模型

2.2.1 模型損失

由于圖像融合任務(wù)屬于回歸問題，所以模型以均值平方差為基礎(chǔ)定義損失函數(shù)，均值平方差損失函數(shù)定義為：

(3)

式中：I(i,j)為目標(biāo)圖像第(i,j)個(gè)像素的值，即真值；K(i,j)為訓(xùn)練完成后結(jié)果圖像第(i,j)個(gè)像素的值；m為圖像的寬度；n為圖像的高度。

根據(jù)MSE函數(shù)，定義RSFuseNet模型的損失函數(shù)為loss，計(jì)算公式為:

，

(4)

(5)

(6)

式中：Lspectral(i,j)為融合圖像光譜部分的損失值；Lspatial(i,j)為融合圖像結(jié)構(gòu)部分的損失值；R(i,j)為參考圖像的值；upLR(i,j)為上采樣后的多光譜圖像的值；HRMS(i,j)為融合后得到的高分辨多光譜圖像的值。

2.2.2 訓(xùn)練方法

模型采用端對端的方式進(jìn)行訓(xùn)練，使用loss作為損失函數(shù)，使用隨機(jī)梯度下降算法 (stochastic gradient descent,SGD)作為優(yōu)化算法，具體訓(xùn)練步驟為：

1)確定訓(xùn)練過程中的超參數(shù)，并對模型的參數(shù)進(jìn)行初始化。

2)將制作出的訓(xùn)練圖像(包括全色，多光譜以及參考圖像)作為訓(xùn)練數(shù)據(jù)輸入到模型。

3)使用模型對當(dāng)前的訓(xùn)練數(shù)據(jù)進(jìn)行一次前向計(jì)算。

4)使用loss損失函數(shù)進(jìn)行計(jì)算損失。

5)使用隨機(jī)梯度下降算法，對模型的參數(shù)進(jìn)行更新，完成一次訓(xùn)練過程。

6)重復(fù)步驟3)—5)，直到損失函數(shù)小于指定的期望值或者損失值不再減小。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文以pytorch框架為實(shí)驗(yàn)平臺，以python語言對模型進(jìn)行編碼實(shí)現(xiàn)。使用一臺服務(wù)器開展對比實(shí)驗(yàn)，實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu16.04，為了加速數(shù)據(jù)的運(yùn)行，裝載GPU TITAN X，并安裝CUDA和cuDNN加速。實(shí)驗(yàn)使用的數(shù)據(jù)集在1.2節(jié)已經(jīng)進(jìn)行了說明，本實(shí)驗(yàn)采用1 850組圖像作為訓(xùn)練樣本、422組圖像作為測試樣本，訓(xùn)練樣本和測試樣本互不交叉。每一組圖像包括全色圖像、多光譜圖像、參考圖像。由于全色和多光譜圖像的空間分辨率之比為1∶4，參考圖像與全色圖像的空間分辨率相同，所以在這些樣本中，全色圖像和參考圖像的尺寸為512像素×512像素，多光譜圖像的尺寸為128像素×128像素。這些數(shù)據(jù)均由高分六號衛(wèi)星的PMS傳感器獲得、經(jīng)過預(yù)處理得到。另外，本文實(shí)驗(yàn)得到的結(jié)果圖像與高分六號全色圖像具有相同的空間分辨率，均為2 m，圖像尺寸為512像素×512像素。

本文將RSFuseNet模型與5種常見的圖像融合方法進(jìn)行比較，對比方法分別是GS變換、PCA、最鄰近插值融合方法(nearest neighbor diffusion，NNDiffuse)、PNN和PanNet。前3種是傳統(tǒng)的圖像融合算法，PNN和PanNet是深度學(xué)習(xí)的圖像融合算法(表2)。

表2 對比實(shí)驗(yàn)使用的模型

3.2 客觀評價(jià)指標(biāo)

客觀評價(jià)指標(biāo)可以定量地評價(jià)融合圖像的質(zhì)量情況，尤其是在圖像的一些微小的細(xì)節(jié)，僅僅依靠人眼很難發(fā)現(xiàn)圖像的優(yōu)劣，而采用客觀評價(jià)指標(biāo)，則可以通過數(shù)值的大小定量地評價(jià)圖像的好壞。因此，本文選擇峰值信噪比(peak signal to noise ratio,PSNR)[26]、結(jié)構(gòu)相似性指數(shù)(structural similarity,SSIM)[27]和光譜映射角(spectral angle mapper,SAM)[28]3種評價(jià)指標(biāo)對融合結(jié)果進(jìn)行定量評價(jià)，從不同的方面對圖像的質(zhì)量進(jìn)行評估。

PSNR主要用來評價(jià)圖像質(zhì)量的敏感性誤差，是衡量兩幅圖像差別的重要指標(biāo)，其計(jì)算公式為：

，

(7)

(8)

式中：H和W分別是圖像的高度和寬度；F和R分別為融合結(jié)果圖像和參考圖像。PSNR的值越大，表明融合圖像從原始圖像獲得的信息量越多，圖像和原始圖像相似度越高，融合效果越好。

SSIM從亮度(均值)、對比度(方差)和結(jié)構(gòu)3個(gè)層次中比較圖像的失真程度，取值范圍為[0,1]，值越大越好，其計(jì)算公式為：

(9)

SAM是可以計(jì)算兩幅圖像在每個(gè)像素處的光譜相似度的一種指標(biāo)。其值較低則表示較低的光譜失真和較好的圖像融合質(zhì)量。其計(jì)算公式為：

(10)

式中：Fj和Rj分別為F和R的第j個(gè)像素向量，F(xiàn)j,Rj為兩個(gè)向量的內(nèi)積，‖·‖為向量的L2范數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

圖3—圖6分別給出了使用NNDiffuse，GS變換、PCA，PanNet，PNN和RSFuseNet方法對測試樣本進(jìn)行融合得到的結(jié)果圖。其中a列為用 NNDiffuse融合的結(jié)果圖，b列為用GS變換融合得到的結(jié)果圖，c列為用PCA融合的結(jié)果圖，d列為用PanNet模型融合得到的結(jié)果圖，e列為PNN模型的融合結(jié)果圖，f列為用RSFuseNet模型得到的融合結(jié)果圖。這些圖像中包含了建筑、農(nóng)田、大棚、道路、河流等地物，具有一定的代表性。

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

綜合圖3—圖6可以看出，a列融合圖像顏色偏深，尤其是在有植被的地方，植被的不同區(qū)域展現(xiàn)出的不同顏色在融合圖像中無法具體區(qū)分。b列和c列圖像還是會(huì)存在部分光譜失真的現(xiàn)象，d列、e列、f列圖像在區(qū)分不同區(qū)域的植被顏色上都有了改進(jìn)，可以區(qū)分出不同區(qū)域不同的顏色。在圖像的紋理特征方面，d列和e列要比f列稍遜色一些。在圖像的水體特征方面，通過圖6可以看出，與f列圖像相比，d列和e列圖像在水體的顏色方面存在著明顯的光譜失真，a列、b列和c列圖像存在著輕微的光譜失真，這也進(jìn)一步說明了引入NDWI信息可以改善水體的光譜失真現(xiàn)象。仔細(xì)觀察上述圖像可以發(fā)現(xiàn)，f列圖像的結(jié)果在圖像的邊緣部分更清晰，比如在房子的邊緣、大棚的邊緣以及不同作物的邊緣，f列圖像得到的結(jié)果紋理更明顯，d列和e列則有一些模糊。這說明了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像融合的方法是優(yōu)于傳統(tǒng)的圖像融合方法的，而且不同的卷積神經(jīng)網(wǎng)絡(luò)算法對融合結(jié)果的影響不同。通道注意力層在圖像的融合過程中發(fā)揮了作用，能夠通過學(xué)習(xí)每個(gè)通道的特征信息并根據(jù)其重要程度賦予其權(quán)重，這樣，權(quán)重低的噪聲信息在圖像融合的過程中就會(huì)被相應(yīng)的抑制，從而使融合結(jié)果更精確。

各個(gè)模型的定量評價(jià)結(jié)果如表3所示，表中向上的箭頭表示該指標(biāo)的值越高，融合效果越好，向下的箭頭表示該指標(biāo)的值越低，融合效果越好。可以看到RSFuseNet模型的3個(gè)評價(jià)指標(biāo)的值均優(yōu)于對比模型。

表3 對比模型性能指標(biāo)表

通過圖3—圖6和表3的分析，可以發(fā)現(xiàn)不論是主觀視覺感受還是在客觀評價(jià)指標(biāo)，本文構(gòu)建的RSFuseNet模型都比其他方法表現(xiàn)出更好的效果。

4 討論

4.1 自適應(yīng)SE對結(jié)果精度的影響

使用自適應(yīng)SE模塊的目的，是為了對特征重標(biāo)定，從而達(dá)到根據(jù)特征的重要程度進(jìn)行特征融合的目的。在本研究開展的對比實(shí)驗(yàn)中，RSFuseNet，PanNet和PNN都是通過對輸入的特征進(jìn)行卷積操作達(dá)到特征融合的效果。不同的是，RSFuseNet在融合的過程中采用了自適應(yīng)SE模塊對特征進(jìn)行重標(biāo)定，而PanNet和PNN在融合的過程中沒有進(jìn)行特征的重標(biāo)定操作。

對比RSFuseNet模型和PanNet模型、PNN模型的融合結(jié)果，可以發(fā)現(xiàn)PanNet模型生成的圖像還普遍存在著棋盤化的現(xiàn)象； PNN模型的結(jié)果圖像在光譜上還是存在著一定的失真。RSFuseNet模型融合的結(jié)果圖像光譜信息較好，細(xì)節(jié)較豐富。尤其是在圖像中建筑的邊緣、道路、農(nóng)田中不同作物的邊緣以及大棚的邊緣，RSFuseNet的融合結(jié)果比PanNet，PNN的融合結(jié)果具有更加清晰的紋理。

造成這種現(xiàn)象的原因，主要是因?yàn)樵赗SFuseNet模型中使用了自適應(yīng)SE模塊。該模塊通過特征重標(biāo)定增強(qiáng)有用的特征，抑制無用的特征，從而能夠有針對性地進(jìn)行圖像融合，減少了冗余信息對融合結(jié)果的影響。

4.2 先驗(yàn)知識對結(jié)果精度的影響

目前，在圖像分類，圖像分割任務(wù)中需要根據(jù)先驗(yàn)知識對訓(xùn)練圖像做一個(gè)真值圖，以此來告訴深度學(xué)習(xí)模型哪些類型的地物是農(nóng)田，哪些地物類型是建筑、小麥、玉米、水體、道路等等。在圖像融合中無法細(xì)致地對每一類地物做出標(biāo)記，但是可以利用遙感影像便于計(jì)算的NDVI和NDWI屬性充當(dāng)先驗(yàn)信息來進(jìn)行圖像融合。因此，使用NDVI和NDWI這兩種先驗(yàn)知識的目的，是為了在模型中添加一些限制條件，達(dá)到對圖像融合約束的作用。在本研究開展的對比實(shí)驗(yàn)中，只有RSFuseNet模型使用了先驗(yàn)知識NDVI和NDWI。

對比RSFuseNet模型和GS，PCA，PanNet，PNN及NNDiffuse，可以發(fā)現(xiàn)NNDiffuse得到的結(jié)果圖像光譜失真比較嚴(yán)重，圖像顏色發(fā)暗，難以區(qū)分不同地物。GS和PCA得到的結(jié)果圖像存在著少許的光譜失真。PanNet和PNN模型的結(jié)果圖也存在著輕微的光譜失真。而RSFuseNet模型的結(jié)果圖像則幾乎沒有出現(xiàn)光譜失真現(xiàn)象，光譜信息更豐富，圖像質(zhì)量更高。

5 結(jié)論

針對遙感影像融合過程中容易出現(xiàn)的光譜失真和空間結(jié)構(gòu)失真問題，本文利用注意力機(jī)制在特征提取方面的優(yōu)勢和先驗(yàn)知識的特性，建立了一種適用于高分六號遙感影像的融合模型。該模型利用注意力機(jī)制對圖像的特征通道賦予重要性，并根據(jù)重要程度對特征進(jìn)行后續(xù)的處理； 同時(shí)在融合過程中利用先驗(yàn)知識對特征進(jìn)行逐像素約束，使得融合結(jié)果的光譜特征和紋理特征都取得了較高的保真度。

本文的不足之處在于本文構(gòu)建的模型是有監(jiān)督模型，但是當(dāng)前圖像融合的參考圖像難以獲得，融合結(jié)果相比理想結(jié)果可能還是存在一些差距。針對這個(gè)問題考慮在下一步的工作中根據(jù)遙感影像的特點(diǎn)設(shè)計(jì)一個(gè)無監(jiān)督的網(wǎng)絡(luò)，解決參考圖像難以獲得的問題。

志謝：感謝山東農(nóng)業(yè)大學(xué)高性能計(jì)算中心的支持。