密集連接網(wǎng)絡(luò)在SAR 與多光譜影像融合中的應(yīng)用

王書濤，崔 凱，孔德明，劉詩瑜，吳 興

（燕山大學(xué)電氣工程學(xué)院河北省測試計(jì)量技術(shù)及儀器重點(diǎn)實(shí)驗(yàn)室，河北秦皇島066004）

1 引 言

多光譜（Multispectral，MS）衛(wèi)星和合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）衛(wèi)星的成像原理不同。多光譜影像是基于光反射成像，擁有較高的光譜分辨率，可以較好得反應(yīng)地物光譜信息。但其成像受限于天氣和光線因素，無法在云霧、冰雪等惡劣天氣下保證影像質(zhì)量，不便于及時(shí)性分析。不同于多光譜成像，SAR 采用主動(dòng)式微波成像，不僅可以不受天氣影響，全天時(shí)全天候成像，而且可以穿透水體，獲得更多普通光學(xué)衛(wèi)星無法獲得的地物信息［1］。因此，為了突破衛(wèi)星單一傳感器的成像限制，將多光譜影像和SAR 影像進(jìn)行特征融合，以充分獲得地面有效信息，融合后的圖像可用于圖像分類［2］、圖像分割［3］和目標(biāo)識(shí)別［4］等領(lǐng)域，在災(zāi)情監(jiān)測、環(huán)境監(jiān)測、資源勘查、測繪和軍事應(yīng)用等方面都具有重大意義［5］。

目前針對多源遙感影像的融合算法主要為空間域變換和多尺度分析［6］兩大類。其中，空間域方法采用分量替換，主要包括PCA 變換、IHS變換和Brovey 變換等。以IHS 變換為例，首先將多光譜影像變換到IHS 空間，將SAR 影像與多光譜I 分量做直方圖匹配，然后用SAR 影像替換其I 分量，反變換回RGB 空間［7］。然而此方法在保留光譜信息的同時(shí)也造成了光譜失真和細(xì)節(jié)模糊等問題。多尺度分析法主要是將圖像進(jìn)行多尺度分解，得到低頻和高頻信息，然后在各自頻率上采用不同的融合規(guī)則進(jìn)行特征融合，最后進(jìn)行逆變換，重構(gòu)出融合圖像［8］。常用的多尺度分析法有金字塔變換、小波變換、NSCT 變換和NSST 變換等。2015 年，Liu 等［9］提出了小波變換和稀疏表示相結(jié)合的融合算法。2017 年，Mao等［10］將多尺度分解和稀疏表示的方法用于太赫茲影像，取得了較好的增強(qiáng)效果。之后，Shen等［11］提出了基于非下采樣剪切波變換（NSST）的偏振圖像融合算法。雖然多尺度分析可以在不同尺度分辨率下分析圖像，但需要設(shè)計(jì)不同尺度下的融合規(guī)則，增加了計(jì)算的復(fù)雜程度，同時(shí)也容易損失空間細(xì)節(jié)特征。

近年來，深度學(xué)習(xí)發(fā)展火熱，基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的特征提取算法應(yīng)用廣泛，也備受多源圖像融合領(lǐng)域相關(guān)學(xué)者的青睞。2016 年，Masi 等［12］提出了基于CNN 的泛銳化方法，使用簡單的三層結(jié)構(gòu)提高了光學(xué)衛(wèi)星影像的融合效果；2017 年，Yuan 等［13］結(jié)合深度殘差網(wǎng)絡(luò)，增強(qiáng)了多光譜影像泛銳化的精度；2019 年，Ma 等［14］提出了基于生成對抗網(wǎng)絡(luò)的融合模型，在近紅外和可見光圖像融合中取得了良好的效果；2020 年，Xu 等［15］使用ResNet 進(jìn)行多尺度特征融合，并應(yīng)用于遙感影像建筑物分割。目前，針對SAR 與多光譜的研究多集中于多尺度分析。

基于以上分析，本文利用密集連接網(wǎng)絡(luò)（Densely Connected Network，DenseNet）可減少梯度消失、最大化網(wǎng)絡(luò)層中特征傳播的特點(diǎn)，同時(shí)為解決融合影像光譜失真、細(xì)節(jié)模糊等問題，提出了基于DenseNet 的SAR 與多光譜影像的融合算法，將圖像輸入編碼器和解碼器，充分學(xué)習(xí)圖像特征，采用區(qū)域能量最大的融合策略融合深度特征，最終得到清晰的融合圖像。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種包含卷積運(yùn)算的前饋性神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中的參數(shù)的梯度可通過反向傳播機(jī)制不斷更新以達(dá)到最優(yōu)，訓(xùn)練好的模型可以學(xué)習(xí)輸入圖像的某些特征。LeNet-5 是最早提出的用于圖像分類的網(wǎng)絡(luò)［16］。經(jīng)過多年的發(fā)展，CNN 已被廣泛應(yīng)用于目標(biāo)檢測、圖像融合、語義分割和自然語言處理［17］等領(lǐng)域。

CNN 的經(jīng)典結(jié)構(gòu)主要由卷積層、激活層、池化層和全連接層構(gòu)成。其中，卷積層的作用是通過卷積核對輸入圖像進(jìn)行特征提取，其公式如式（1）：

其中：ω為卷積核，通常為奇數(shù)大小，b為偏置向量，*代表卷積運(yùn)算，x為卷積層的輸入，f（x）為卷積層的輸出。

卷積層之后通常為非線性激活層，其主要作用是提高網(wǎng)絡(luò)解決非線性問題的能力［18］。常用的非線性激活函數(shù)有ReLU，LeakyReLU，tanh 和sigmoid 等。其中，LeakyReLU 如式（2）所示：

其中：x為上一層卷積層的輸出，α為泄漏值。α的引入解決了當(dāng)輸入x為負(fù)時(shí)梯度消失的問題。

池化層也稱下采樣層，其作用為減少特征數(shù)據(jù)量，降低信息冗余，同時(shí)也防止學(xué)習(xí)過程中出現(xiàn)過擬合現(xiàn)象，常用的池化函數(shù)有最大池化和平均池化［19］。

全連接層位于網(wǎng)絡(luò)模型的最后一層，該層中的每個(gè)節(jié)點(diǎn)都與前一層的所有節(jié)點(diǎn)相連，將學(xué)習(xí)到的特征映射到樣本標(biāo)記空間。

本文采用的融合過程如圖1 所示。首先將源圖像輸入編碼模型提取圖像特征，然后采用融合規(guī)則對特征圖進(jìn)行融合，得到N維特征圖組，最后輸入解碼器中重構(gòu)得到融合圖像。

圖1 卷積神經(jīng)網(wǎng)絡(luò)融合過程Fig.1 Convolutional neural network fusion process

3 融合算法實(shí)現(xiàn)

3.1 DenseNet 模型

在傳統(tǒng)的CNN 模型中，隨著網(wǎng)絡(luò)深度的增加，容易出現(xiàn)網(wǎng)絡(luò)降級(jí)，并且輸入層與輸出層距離過遠(yuǎn)，容易導(dǎo)致細(xì)節(jié)信息的丟失。為了解決網(wǎng)絡(luò)降級(jí)問題，本文引入了密集連接［20］的網(wǎng)絡(luò)連接方式，即密集連接塊中每一層的輸入來自于前面所有層的輸出，因此在L層的網(wǎng)絡(luò)結(jié)構(gòu)中，共有L（L+1）/2 個(gè)連接。通過這種連接方式，特征圖和梯度信息可以在網(wǎng)絡(luò)中更有效地傳播，從而減輕了梯度消失問題，并且使得參數(shù)減少，網(wǎng)絡(luò)更加容易訓(xùn)練。

本文CNN 模型由Encoder 和Decoder 兩部分組成，包含1 個(gè)輸入層、8 個(gè)卷積層和1 個(gè)輸出層。其中，前4 層位于Encoder 中，采用密集連接的方式，對輸入圖像進(jìn)行特征提取，每個(gè)卷積層的輸出維度固定為16；后4 層位于Decoder 中，采用級(jí)聯(lián)方式，對圖像進(jìn)行逆卷積重構(gòu)。卷積核大小設(shè)為3，步長為1，采用反射填充模式，激活函數(shù)選用LReLU，模型框架如圖2 所示。密集連接網(wǎng)絡(luò)參數(shù)如表1 所示。

3.2 訓(xùn)練過程

3.2.1 損失函數(shù)

為了更好地重建輸入圖像、保存更多的有效信息，選擇結(jié)構(gòu)相似性（Structural Similarity，SSIM）［21］作為輸入輸出圖像的相似性衡量指標(biāo)，其公式如式（3）所示。為了避免使用滑動(dòng)窗口計(jì)算SSIM 過程中產(chǎn)生的“分塊效應(yīng)”，使用了11×11 大小的對稱高斯加權(quán)函數(shù)作為加權(quán)窗口，高斯函數(shù)標(biāo)準(zhǔn)差設(shè)為1.5，這樣可以保證局部計(jì)算過程中的各向同性，減少窗口大小對計(jì)算結(jié)果的影響：

其中：x，y分別代表輸入和輸出圖像，μx，μy分別代表x和y的均值，σ2x和σ2y分別代表x和y的方差，σxy代表x和y的協(xié)方差，c1和c2是維穩(wěn)系數(shù)。SSIM 取值范圍為（0，1），值越大表明相似性越好，因此選用損失函數(shù)Lloss，如（4）所示：

圖2 DenseNet 模型圖Fig.2 Model diagram of DenseNet

表1 密集連接網(wǎng)絡(luò)模型參數(shù)Tab.1 Densely connected network parameters

其中，SSIM(O，I)為輸入圖像和輸出圖像的結(jié)構(gòu)相似性指標(biāo)，其值越大，表明結(jié)構(gòu)信息損失越少，兩幅圖像越接近。

3.2.2 融合策略

多光譜影像具有豐富的地物信息和光譜信息，SAR 影像包含更多的細(xì)節(jié)信息，為了同時(shí)保留兩幅圖像各自的信息，更好地表達(dá)兩類圖像的特點(diǎn)，采用區(qū)域能量最大的融合策略。在融合階段，融合層加在Conv4 之后，將兩幅影像的64 維特征圖進(jìn)行能量計(jì)算，輸入到解碼器中重構(gòu)出融合圖像。融合公式可用式（5）表示：

其中：Ia和Ib分別是SAR 影像和多光譜影像的64維特征圖，Ea和Eb為其對應(yīng)區(qū)域的能量，表達(dá)式如式（6）所示：

其中，［m，n］為計(jì)算能量的滑動(dòng)窗口大小，本文滑動(dòng)窗口大小設(shè)為3。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用哨兵1 號(hào)SAR 影像、Landsat-8 和高分1 號(hào)光學(xué)衛(wèi)星影像進(jìn)行融合實(shí)驗(yàn)。其中，SAR 影像采用SNAP 雷達(dá)影像處理軟件進(jìn)行預(yù)處理，主要步驟包括多視、濾波、去除熱噪聲和地形校正，其中濾波過程選用Lee 濾波器。Landsat-8 影像選用紅、綠、藍(lán)三個(gè)波段進(jìn)行波段疊加，并用真彩色顯示。所有影像均經(jīng)過雙三次插值法重采樣處理，重采樣后的影像空間分辨率均為10 m。為了驗(yàn)證模型的有效性和一般性，選擇SAR 與Landsat-8 影像作為第一組融合數(shù)據(jù)，選擇SAR 與高分1 號(hào)影像作為第二組融合數(shù)據(jù)。

4.1 訓(xùn)練過程分析

本文所提網(wǎng)絡(luò)的主要功能為提取圖像特征并重構(gòu)圖像，因此，訓(xùn)練階段不進(jìn)行圖像融合，僅使用具有高空間分辨率的SAR 影像作為訓(xùn)練數(shù)據(jù)，數(shù)據(jù)量為95 000 張，圖像尺寸為256×256，迭代次數(shù)設(shè)為3 800，epoch 設(shè)為3，batch size 設(shè)為25。采用隨機(jī)梯度下降法計(jì)算損失函數(shù)的梯度，迭代更新網(wǎng)絡(luò)中的權(quán)重與偏差項(xiàng)。迭代完成后，保存模型參數(shù)。訓(xùn)練過程損失函數(shù)曲線如圖3 所示。

從圖3 可以看到，網(wǎng)絡(luò)收斂迅速，在迭代至936 次時(shí)，損失函數(shù)已達(dá)到10-4次方量級(jí)，且收斂平穩(wěn)，迭代完成時(shí)，損失函數(shù)為6.8×10-4。這表明網(wǎng)絡(luò)收斂性能好，可以最大程度減少輸入圖像的結(jié)構(gòu)損失，網(wǎng)絡(luò)輸出影像與輸入影像十分逼近。

4.2 融合結(jié)果分析

圖3 訓(xùn)練迭代圖Fig.3 Training iteration graph

結(jié)果分析從主觀視覺和客觀評價(jià)指標(biāo)兩個(gè)角度開展。為了更好地體現(xiàn)本文算法在SAR 與多光譜影像融合中的優(yōu)越性，將本文融合算法與基于成分替換法的Brovey 變換和GS 正交融合、基于多尺度分析法的IHS+Wave 和NSCT、基于CNN 的PanNet 方法進(jìn)行對比試驗(yàn)。對于PanNet 方法，使用40 000 張256×256 大小的哨兵1 號(hào)影像進(jìn)行訓(xùn)練，保留原文中的超參數(shù)以達(dá)到最佳實(shí)驗(yàn)效果。兩組實(shí)驗(yàn)結(jié)果對比如圖4～圖5 所示。

圖4 第1 組融合結(jié)果Fig.4 Fusion results of the first set

圖5 第2 組融合結(jié)果Fig.5 Fusion results of the second set

首先對融合結(jié)果進(jìn)行主觀評價(jià)。從圖4 可以看出，基于成分替換法的Brovey 變換和GS 正交融合結(jié)果表現(xiàn)出了明顯的光譜失真現(xiàn)象，岸邊廠房和草地顏色明顯發(fā)生了變化；基于多尺度分析法的IHS+Wave 方法和NSCT 方法較好的增強(qiáng)了空間分辨率，但也存在不同程度的光譜失真現(xiàn)象；而基于CNN 方法的PanNet 和本文方法在光譜保持程度上明顯大于其他方法，與原多光譜影像相比幾乎沒有光譜失真，并且SAR 影像的空間細(xì)節(jié)在融合結(jié)果中得到了很好的保留，空間分辨率明顯上升；相比之下，本文方法融合結(jié)果的清晰度要高于PanNet 方法，這是由于在訓(xùn)練過程中，PanNet 方法將上采樣后的多光譜信息手動(dòng)加入到了模型的輸出中，不可避免的會(huì)產(chǎn)生手工偽影，影響空間分辨率。同理，在圖5 中，本文方法融合結(jié)果不管是在光譜信息的保持上還是在空間細(xì)節(jié)的增強(qiáng)上，都明顯優(yōu)于其他方法，證明了本文方法在SAR 與多光譜影像融合中的優(yōu)越性。

表2 客觀評價(jià)指標(biāo)Tab.2 Objective evaluation index

在客觀指標(biāo)上，選擇信息熵（Entropy）［22］、平均梯度（Average Gradient，AG）、圖像清晰度（Image Definition，IMDE）［23］、差異相關(guān)性之和（Sum of Correlations of Differences，SCD）［24］和多尺度結(jié)構(gòu)相似性（Multiscale Structural Similarity，MSSIM）［25］作為融合質(zhì)量評價(jià)指標(biāo)。在測試階段，選用landsat-8 影像、高分1 號(hào)影像和哨兵1號(hào)影像各500 張進(jìn)行融合實(shí)驗(yàn)，融合結(jié)果的平均指標(biāo)如表2 所示。

分析表2 可以得知，第一組數(shù)據(jù)中，本文所提方法在除平均梯度外的各項(xiàng)指標(biāo)上均取得了最優(yōu)值，與主觀分析評價(jià)一致，證明本文方法在光譜保持和空間細(xì)節(jié)保留方面效果較好；其中，平均梯度越大僅表明了圖像變化較多，層次更豐富，但從主觀角度看，圖像的光譜保持程度不一定好。兩組數(shù)據(jù)中，本文方法在SCD 和MSSIM 指標(biāo)上取到了最大值，說明融合圖像較輸入圖像失真較少，且從主觀角度看圖像更加清晰，證明所提方法能很好地保持SAR 影像中的細(xì)節(jié)信息。

5 結(jié) 論

本文提出了基于密集連接網(wǎng)絡(luò)的SAR 與多光譜影像融合算法，設(shè)計(jì)并實(shí)現(xiàn)了SAR 與多光譜影像的融合模型，算法模型分為三部分：編碼器、融合層和解碼器。首先，源圖像輸入編碼器分別進(jìn)行特征提取，然后采用區(qū)域能量最大的融合策略進(jìn)行特征融合，最后輸入解碼器中重構(gòu)影像，并對融合結(jié)果進(jìn)行了主觀和客觀兩方面的評價(jià)。主觀上看，融合結(jié)果避免了光譜失真，較好地保持了原有的地物色彩，提高了影像的清晰度；多個(gè)客觀指標(biāo)也表明提出的算法優(yōu)于其他融合算法，尤其是多尺度結(jié)構(gòu)相似性指標(biāo)達(dá)到了0.930 7，最大化保持了融合影像和源圖像的結(jié)構(gòu)相似度。實(shí)驗(yàn)結(jié)果表明，提出的密集連接網(wǎng)絡(luò)融合算法適用于SAR 與多光譜影像的融合，且對多個(gè)衛(wèi)星數(shù)據(jù)具有良好的適應(yīng)性，表現(xiàn)出了很好的融合效果。