單樣本對(duì)卷積神經(jīng)網(wǎng)絡(luò)遙感圖像時(shí)空融合

李云飛，李軍，賀霖

1.中山大學(xué) 地理科學(xué)與規(guī)劃學(xué)院 廣東省城市化與地理環(huán)境空間模擬重點(diǎn)實(shí)驗(yàn)室,廣州 510275;2.華南理工大學(xué) 自動(dòng)化科學(xué)與工程學(xué)院,廣州 510640

1 引 言

隨著越來越多對(duì)地觀測(cè)衛(wèi)星的發(fā)射，我們能獲取到的不同類型遙感圖像數(shù)據(jù)日益增多。衛(wèi)星遙感傳感器在朝著高空間、高時(shí)間、高光譜分辨率的方向發(fā)展。然而目前來說，空間、時(shí)間和光譜3種分辨率之間的相互制約在硬件技術(shù)上還沒有被解決（黃波和趙涌泉，2017），即沒有單一衛(wèi)星遙感傳感器可以提供時(shí)序密集且空間分辨率較高的數(shù)據(jù)。同時(shí)，云干擾也導(dǎo)致很多高空間分辨率遙感圖像無法使用，使得可用的高空間分辨率數(shù)據(jù)變得更少。而對(duì)于植物物候監(jiān)測(cè)，土地利用和土地覆蓋變化監(jiān)測(cè)，農(nóng)業(yè)評(píng)估等地表動(dòng)態(tài)研究來說，在時(shí)間序列上密集，同時(shí)空間分辨率又滿足要求的遙感數(shù)據(jù)集常常是必須的（Zhu 等，2016）。為了解決這個(gè)矛盾，遙感數(shù)據(jù)時(shí)空融合技術(shù)應(yīng)運(yùn)而生。其目的是將高空間低時(shí)間分辨率的遙感數(shù)據(jù)（如Landsat，SPOT 數(shù)據(jù)） 與低空間高時(shí)間分辨率的遙感數(shù)據(jù)（如MODIS，AVHRR 數(shù)據(jù)）進(jìn)行融合，得到高空間同時(shí)高時(shí)間分辨率的合成數(shù)據(jù)。目前已有很多研究應(yīng)用到時(shí)空融合方法，例如作物估產(chǎn)（Liao 等，2019），作物監(jiān)測(cè)（Nduati等，2019），植被生產(chǎn)力評(píng)估（Zhang等，2019），蒸騰量估算（Knipper等，2019），環(huán)境動(dòng)態(tài)監(jiān)測(cè)（Heimhuber 等，2018），懸浮顆粒物監(jiān)測(cè)（Pan 等，2018）等。為了敘述的清晰方便，下文中將高空間低時(shí)間分辨率的圖像稱為細(xì)圖像且用F表示，將低空間高時(shí)間分辨率的圖像稱為粗圖像且用C表示，k- 1，k，k+ 1表示數(shù)據(jù)獲取時(shí)相，來表示最終的預(yù)測(cè)圖像?，F(xiàn)有時(shí)空融合方法最少需要用Fk-1，Ck-1和Ck3幅圖像來預(yù)測(cè)，這類方法可被稱為“單樣本對(duì)方法”，需要多于3幅圖像的方法可稱為“多樣本對(duì)方法”。

目前為止，國內(nèi)外學(xué)者已經(jīng)提出了多種時(shí)空融合方法。其中大多數(shù)方法可歸為如下3類：基于加權(quán)的方法，基于解混的方法，基于學(xué)習(xí)的方法（Zhu 等，2016）。其中，基于加權(quán)的方法中最有代表性的為STARFM（Gao 等，2006）。該方法假設(shè)所有粗圖像（Ck-1和Ck）的像元都是純像元，進(jìn)而認(rèn)為地表反射率在不同時(shí)相粗圖像上的變化就等于其在對(duì)應(yīng)時(shí)相細(xì)圖像上的變化，因此將粗圖像上的反射率變化量直接加至Fk-1；然后使用鄰域校正策略尋找每個(gè)像元的相似像元，并給這些相似像元賦權(quán)加和，得到最終預(yù)測(cè)值。此類方法還包括STAARCH（Hilker 等，2009），ESTARFM（Zhu 等，2010），SADFAT（Weng 等，2014）等。這些方法的主要問題為在進(jìn)行鄰域校正時(shí)，其相似像元來自于Fk-1，此處隱含一個(gè)假設(shè)，即地表在k- 1 時(shí)相和k時(shí)相地物類型一致。如果在k- 1 時(shí)相和k時(shí)相間有地物類型變化，例如發(fā)生了洪水，或者農(nóng)田變城市，像元在Fk-1上的相似關(guān)系和在Fk上將完全不同，此假設(shè)就會(huì)不合理并帶來誤差。

基于解混的方法將混合像元分解理論引入了時(shí)空融合，如ESTDFM（Zhang 等，2013），MSTDFA（Wu M 等，2015），STRUM （Gevaert 和García-Haro，2015）和FSDAF（Zhu 等，2016）等。這類方法一般先對(duì)Fk-1進(jìn)行分類，然后假設(shè)Ck-1和Ck的像元都是由這些類別線性混合得到。然后基于此假設(shè)計(jì)算每個(gè)類別的反射率變化，進(jìn)而得到預(yù)測(cè)圖像可以看出，這類方法的隱含假設(shè)與基于加權(quán)的方法一致。因此，這類方法和基于加權(quán)的方法有著同樣的問題。

基于學(xué)習(xí)的方法是將機(jī)器學(xué)習(xí)方法引入到時(shí)空融合中，如SPSTFM （Huang 和Song，2012），SPFMOL（Song 和Huang，2013），EBSCDL（Wu B等，2015），增強(qiáng)SPFMOL（Li等，2018），時(shí)空譜聯(lián)合稀疏方法（Zhao等，2018）等。以SPSTFM 為例，該方法先使用稀疏表示建立ΔFk-1，k+1與ΔCk-1，k+1（即細(xì)尺度的反射率變化和粗尺度的反射率變化）之間的關(guān)系，基于此關(guān)系利用ΔCk-1，k和ΔCk+1，k預(yù)測(cè)ΔFk-1，k和ΔFk+1，k，進(jìn)而得到預(yù)測(cè)圖像可以看出，這類方法并不具有類似于前兩種方法的假設(shè)，所以其適用的范圍更廣。除了稀疏表示，其他一些機(jī)器學(xué)習(xí)方法也被應(yīng)用到這個(gè)鄰域中，例如回歸樹（Boyte等，2018），隨機(jī)森林（Ke等，2016）等。

近幾年，卷積神經(jīng)網(wǎng)絡(luò)也被應(yīng)用到時(shí)空融合領(lǐng)域當(dāng)中。目前基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空融合方法主要有兩種，分別是STFDCNN（Song等，2018）和StfNet（Liu 等，2019）。其中，STFDCNN 采用超分卷積神經(jīng)網(wǎng)絡(luò)來提高粗圖像的空間分辨率，然后用高通模型將其與相鄰時(shí)相的細(xì)圖像融合得到預(yù)測(cè)圖像。需要注意的是，此方法需要較多的訓(xùn)練數(shù)據(jù)，基于單樣本對(duì)訓(xùn)練STFDCNN 效果相對(duì)有限。StfNet 提出在超分粗尺度的反射率變化圖像時(shí)加入細(xì)圖像來彌補(bǔ)空間信息的缺失，并通過雙目標(biāo)聯(lián)合訓(xùn)練來提高超分結(jié)果的準(zhǔn)確性。需要指出的是，此方法是一個(gè)多樣本對(duì)方法，無法在單樣本對(duì)的情況下使用。上述兩種方法在實(shí)際數(shù)據(jù)上都表現(xiàn)出了較好的性能，但其共同的問題在于對(duì)先驗(yàn)數(shù)據(jù)的需求較多，難以應(yīng)用于單樣本對(duì)的情況。如前所述，高空間分辨率遙感數(shù)據(jù)缺失嚴(yán)重，在某些區(qū)域，比如華南的廣東，廣西等省份，常年被云遮蔽，很可能全年都很難得到可用的高空間分辨率圖像。因此，樣本數(shù)極為有限，嚴(yán)重限制了基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空融合方法的應(yīng)用潛力。

為了解決上述的問題，本文提出了一種單樣本對(duì)卷積神經(jīng)網(wǎng)絡(luò)（SS-CNN）的時(shí)空融合方法，本方法可以在單樣本對(duì)的情況下使用，并取得良好的融合效果。

2 方 法

2.1 方法基本原理

圖1是本文的單樣本對(duì)卷積神經(jīng)網(wǎng)絡(luò)時(shí)空融合方法（SS-CNN）所使用的卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)。先將多波段細(xì)圖像進(jìn)行波段平均得到波段平均圖像，然后將其與插值后的多波段粗圖像壘疊起來送入卷積層，通過網(wǎng)絡(luò)學(xué)習(xí)獲取重建的多波段圖像。

圖1 本文方法SS-CNN所使用的網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.1 Network structure used in the proposed method

在時(shí)空融合問題中，通常粗圖像和細(xì)圖像的空間分辨率差異巨大（例如MODIS 圖像500 m 分辨率，而Landsat 圖像30 m 分辨率），這導(dǎo)致粗圖像中的空間細(xì)節(jié)嚴(yán)重缺失，再加上遙感圖像本身紋理復(fù)雜，直接使用自然圖像的卷積神經(jīng)網(wǎng)絡(luò)超分方法難以從粗圖像上恢復(fù)出細(xì)圖像的細(xì)節(jié)（Liu等，2019）。因此，在網(wǎng)絡(luò)超分粗圖像時(shí)加入細(xì)圖像的波段平均圖像來彌補(bǔ)空間細(xì)節(jié)的缺失。而用細(xì)圖像的波段平均圖像的目的在于防止細(xì)圖像光譜對(duì)粗圖像光譜有所干擾。具體來說，超分過程中，粗圖像提供光譜信息，細(xì)圖像的波段平均圖像來提供空間細(xì)節(jié)信息。在網(wǎng)絡(luò)的訓(xùn)練過程中，我們先用待預(yù)測(cè)細(xì)圖像相鄰時(shí)相的圖像對(duì)（如Fk-1和Ck-1）訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，建立粗圖像與細(xì)圖像之間的超分重建關(guān)系，然后再利用該關(guān)系預(yù)測(cè)細(xì)圖像。

圖2 是本文方法的流程示意圖。AF和AC分別表示細(xì)圖像和粗圖像的波段平均圖像。

圖2 本文方法流程示意圖Fig.2 Flowchart of the proposed method

2.2 網(wǎng)絡(luò)訓(xùn)練與結(jié)果預(yù)測(cè)

網(wǎng)絡(luò)訓(xùn)練集可以表示為如下形式：

式中，Tx表示訓(xùn)練集中的輸入圖像，Ty表示訓(xùn)練集中的目標(biāo)圖像。其中：

式中，是Fk-1的波段平均圖像，其與粗圖像Ck-1壘疊作為網(wǎng)絡(luò)的輸入。采用均方差函數(shù)MSE（Mean Square Error） 作為損失函數(shù)，其可以表示為：

式中，f(·)表示卷積神經(jīng)網(wǎng)絡(luò)的映射函數(shù)，θ表示網(wǎng)絡(luò)要優(yōu)化求解的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示，共4 個(gè)卷積層，前3 層的輸出被Relu 函數(shù)激活后傳入下一層。同時(shí)選擇Adam 方法作為優(yōu)化器來最小化損失函數(shù)?(θ)，求解θ，Adam 方法可以在網(wǎng)絡(luò)訓(xùn)練初期快速減小損失函數(shù)，從而大大提高網(wǎng)絡(luò)訓(xùn)練效率（Kingma和Ba，2015）。網(wǎng)絡(luò)訓(xùn)練完成后，就可以預(yù)測(cè)目標(biāo)圖像如前所述，網(wǎng)絡(luò)的輸入是粗圖像和對(duì)應(yīng)的細(xì)圖像的波段平均圖像，因此預(yù)測(cè)需要先獲取其波段平均圖像本文提出一種簡單的鄰域加權(quán)方法獲取

假設(shè)AF的像元可由插值后的AC的像元加權(quán)表示，且其權(quán)重不隨時(shí)間變化，即

式中，wij表示權(quán)重，s為鄰域大小，x和y為像元坐標(biāo)。為了獲取wij，基于前述假設(shè)，可以利用k- 1時(shí)相圖像，即

求解得到。最后，便可利用和Ck進(jìn)行預(yù)測(cè)，

3 實(shí)驗(yàn)與分析

為驗(yàn)證本文提出的SS-CNN 方法，本章采用模擬數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行測(cè)試。模擬數(shù)據(jù)實(shí)驗(yàn)使用Landsat 8 圖像作為細(xì)圖像（30 m 空間分辨率），將Landsat 8圖像降采樣20倍（600 m空間分辨率）后充當(dāng)粗圖像（Zhu 等，2016），實(shí)驗(yàn)?zāi)康氖桥懦齻鞲衅髡`差，天氣情況，大氣狀況等一系列因素影響，測(cè)試SS-CNN 在理想數(shù)據(jù)上的效果。真實(shí)數(shù)據(jù)實(shí)驗(yàn)則使用真實(shí)的Landsat 7 圖像和MODIS 圖像。實(shí)驗(yàn)選擇了兩個(gè)對(duì)比方法：第1 個(gè)是FSDAF（Zhu等，2016），F(xiàn)SDAF 是一個(gè)經(jīng)典的基于解混的時(shí)空融合方法，具有良好的融合效果；另一個(gè)對(duì)比方法是STFDCNN（Song 等，2018），STFDCNN 理論上可以在單樣本對(duì)的情況下使用（StfNet 則不能）。這兩種對(duì)比方法的參數(shù)設(shè)置與其出處文獻(xiàn)中所述相同，以保證其效果。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用的模擬數(shù)據(jù)集分別來自黑龍江省杜爾伯特蒙古族自治縣巴彥查干鄉(xiāng)（46°7′N，124°26′E）和天津市西青區(qū)（39°31′N，116°28′E），如圖3 和圖4 所示。其中圖3（a）和圖3（b）分別是巴彥查干鄉(xiāng)2017年3月8日和2017年4月9日的Lansat 8圖像，圖3（c）和圖3（d）則是圖3（a）和圖3（b）降采樣之后得到的低分辨率圖像。圖4（a）和圖4（b）分別是天津西青區(qū)2017年10月30日與2017年12月17日的Landsat 8 圖像，圖4（c）和圖4（d）為對(duì)應(yīng)的低空間分辨率圖像。兩個(gè)數(shù)據(jù)集中的Landsat圖像尺寸都為1000×1000，包含6個(gè)波段，分別是藍(lán)光波段（0.45—0.51 μm），綠光波段（0.53—0.59 μm），紅光波段（0.64—0.67 μm），近紅外波段（0.85—0.88 μm），短波紅外波段1（1.57—1.65 μm），短波紅外波段2（2.11—2.29 μm）。所有Landsat 圖像的原始DN 值都已經(jīng)轉(zhuǎn)化為反射率，并做了暗像元法大氣校正，且將反射率歸一化到0—255的范圍內(nèi)。

圖3 巴彥查干數(shù)據(jù)集Fig.3 The Bayanchagan dataset

圖4 天津數(shù)據(jù)集Fig.4 The Tianjin dataset

巴彥查干地區(qū)在2017年3月8日之前下了大雪，導(dǎo)致其旁邊的向陽湖以及周圍的其他水體都結(jié)了冰，并且地面上也有殘余冰雪存在。而到了2017年4月9日，冰雪完全消融。選擇這個(gè)數(shù)據(jù)集主要來測(cè)試本文SS-CNN 對(duì)于地物類型變化的預(yù)測(cè)能力，同時(shí)從圖3（a）和圖3（b）中也可以看出，這段時(shí)間內(nèi)巴彥查干地區(qū)的植被已經(jīng)開始生長，這兩個(gè)時(shí)相之間存在很明顯的物候變化。而天津西青區(qū)從2017-10-30—2017-12-17日存在明顯的物候變化，這點(diǎn)可以從圖4（a）和圖4（b）中看出。同時(shí)，由于它是城鎮(zhèn)區(qū)域，地塊破碎，地表異質(zhì)性很高，這也給時(shí)空融合帶來了一定的挑戰(zhàn)。我們選擇這個(gè)數(shù)據(jù)集用來測(cè)試本文SS-CNN 在異質(zhì)性高的區(qū)域物候變化的預(yù)測(cè)能力。

真實(shí)實(shí)驗(yàn)使用Gao等（2006）在文獻(xiàn)中使用的“BOREAS（Boreal Ecosystem-Atmosphere Study southern study area）”數(shù)據(jù)集，如圖5 所示。該數(shù)據(jù)集來自54°N，124°W，此區(qū)域植被生長期短，物候變化迅速（Gao 等，2006）。其中Landsat 圖像是ETM+圖像（30 m 空間分辨率），MODIS 圖像為MOD09 GHK 圖像（500 m 空間分辨率），兩種圖像都包括近紅，紅和綠3 個(gè)波段，圖像大小為1200 像素×1200像素。

圖5 BOREAS數(shù)據(jù)集Fig.5 The BOREAS dataset

后文中將各數(shù)據(jù)集的第一時(shí)相和第二時(shí)相的高分辨圖像分別記為已知圖像和待預(yù)測(cè)圖像。

3.2 實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)

為了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)估，選擇4個(gè)評(píng)價(jià)指標(biāo)：（1）均方根誤差（RMSE），用來評(píng)價(jià)預(yù)測(cè)圖像和真實(shí)圖像各個(gè)波段圖像之間的總體反射率差異；（2）結(jié)構(gòu)相似度（SSIM），用來評(píng)價(jià)預(yù)測(cè)圖像和真實(shí)圖像各個(gè)波段圖像之間的空間結(jié)構(gòu)相似性（Wang 等，2004）；（3） ERGAS （Erreur Relative Global Adimensionnelle de Synthese），用來評(píng)價(jià)預(yù)測(cè)圖像多個(gè)波段整體的光譜質(zhì)量（Renza 等，2013）；（4）光譜角（SAM）（Park 等，2007），來評(píng)價(jià)預(yù)測(cè)圖像和真實(shí)圖像之間的多個(gè)波段整體的光譜誤差。越小的RMSE，ERGAS，SAM和越大的SSIM代表預(yù)測(cè)結(jié)果越好。

3.3 參數(shù)設(shè)置

本文SS-CNN 在進(jìn)行鄰域插值時(shí)將s經(jīng)驗(yàn)性地設(shè)置為1，即一個(gè)邊長為3 的正方形窗口。另外，由于計(jì)算機(jī)GPU 內(nèi)存的限制，無法將整個(gè)圖像直接輸入訓(xùn)練，所以在實(shí)驗(yàn)中我們將其裁成帶重疊的圖像塊輸入訓(xùn)練，圖像塊大小為32×32，重疊寬度為16。網(wǎng)絡(luò)的基本參數(shù)設(shè)置如表1 所示，學(xué)習(xí)率設(shè)置為0.0001。本次實(shí)驗(yàn)代碼在Tensorflow 和Keras框架下編寫，并在GTX 1080Ti GPU上運(yùn)行。

表1 網(wǎng)絡(luò)基本參數(shù)Table 1 Essential parameters of the CNN used in the proposed SS-CNN

3.4 結(jié)果與分析

圖6 展示了SS-CNN 鄰域插值方法預(yù)測(cè)的波段平均圖像與真實(shí)的波段平均圖像。從目視效果來看，3 個(gè)數(shù)據(jù)集鄰域插值預(yù)測(cè)的圖像總體上都接近真實(shí)圖像。但也可以看出，由于鄰域插值帶來了模糊效應(yīng)，與真實(shí)圖像相比，預(yù)測(cè)圖像在地物邊界較為模糊?？紤]到插值是為圖像融合過程提供空間細(xì)節(jié)，因此我們采用SSIM 指標(biāo)對(duì)預(yù)測(cè)的波段平均圖像與真實(shí)波段平均圖像的空間相似性做了定量評(píng)價(jià)，同時(shí)與已知圖像的波段平均圖像做了對(duì)比，結(jié)果如表2所示?？梢钥闯觯?個(gè)數(shù)據(jù)集預(yù)測(cè)圖像的SSIM值都要更高，這說明鄰域插值是有效的。

表2 鄰域插值預(yù)測(cè)的波段平均圖像定量評(píng)價(jià)Table 2 Quantitative evaluation of the results of neighboring interpolation

圖6 基于鄰域插值預(yù)測(cè)的波段平均圖像結(jié)果Fig.6 The obtained band-average images

圖7 和圖8 分別顯示了兩個(gè)模擬數(shù)據(jù)實(shí)驗(yàn)的完整結(jié)果圖像及子區(qū)域圖像。圖7（a）和（b）分別是巴彥查干鄉(xiāng)2017年3月8日和2017年4月9日真實(shí)的Landsat 8 圖像，圖7（c）—（e）分別是SSCNN，STFDCNN和FSDAF的結(jié)果圖像?？梢钥吹剑紫?，SS-CNN 取得得視覺效果最好，尤其是從子區(qū)域圖像來看，SS-CNN 成功預(yù)測(cè)到了冰雪已經(jīng)消融，表明SS-CNN 有預(yù)測(cè)地物類型變化的能力。其次，F(xiàn)SDAF的預(yù)測(cè)結(jié)果相當(dāng)突出，然而FSDAF并沒有預(yù)測(cè)到冰雪消融帶來的地物變化。此外，STFDCNN預(yù)測(cè)的結(jié)果圖像出現(xiàn)了嚴(yán)重的畸變，已經(jīng)不具有對(duì)比價(jià)值。這說明雖然STFDCNN 從理論上來說可以在一對(duì)先驗(yàn)數(shù)據(jù)的情況下使用，但過少的訓(xùn)練數(shù)據(jù)會(huì)嚴(yán)重影響其效果。需要指出的是，SSCNN的預(yù)測(cè)效果看起來較為模糊，這是因?yàn)猷徲虿逯捣椒A(yù)測(cè)的波段平均圖像模糊造成的。最后，表3是巴彥查干數(shù)據(jù)集實(shí)驗(yàn)結(jié)果的定量評(píng)價(jià)，可以看到SS-CNN幾乎在所有指標(biāo)上都取得了最優(yōu)。

表3 巴彥查干數(shù)據(jù)集實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)Table 3 Quantitative results of Bayanchagan dataset

圖7 巴彥查干數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.7 Experimental result from the Bayanchagan dataset

圖8 天津數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.8 Experimental result from the TianJin dataset

圖8（a）和（b）分別是天津西青區(qū)2017年10月30日和2017年12月17日真 實(shí)的Landsat 8 圖像，圖8（c）—（e）分別表示SS-CNN，STFDCNN和FSDAF 的預(yù)測(cè)圖像。同樣SS-CNN 的結(jié)果在視覺效果上更接近于真實(shí)圖像，說明SS-CNN 在預(yù)測(cè)物候變化方面效果良好。FSDAF 方法結(jié)果在本數(shù)據(jù)集上的預(yù)測(cè)結(jié)果視覺效果有限。STFDCNN 的結(jié)果出現(xiàn)了嚴(yán)重的畸變。從子區(qū)域圖像上來看，SSCNN 抓住了這兩個(gè)時(shí)相之間大部分的物候變化，盡管由于地物異質(zhì)性高及部分地物面積過小導(dǎo)致有些地方預(yù)測(cè)并不正確。表4是天津數(shù)據(jù)集實(shí)驗(yàn)結(jié)果的定量評(píng)價(jià)，從整體評(píng)價(jià)指標(biāo)ERGAS 和SAM 上來看，SS-CNN的預(yù)測(cè)結(jié)果更好。

表4 天津數(shù)據(jù)集實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)Table 4 Quantitative results of Tianjin dataset

圖9展示了真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，圖9（a）和（b）分別是BOREAS 數(shù)據(jù)集2001年5月24日和2001年8月12日真實(shí)的Landsat 7圖像，圖9（c）—（e）分別表示SS-CNN，STFDCNNF 和FSDAF 的預(yù)測(cè)圖像。從圖9 可以看出，SS-CNN 的預(yù)測(cè)結(jié)果更接近真實(shí)情況，尤其是從子區(qū)域圖像上來看；FSDAF 也取得了較好的視覺效果，STFDCNN 的結(jié)果仍然存在明顯的畸變。表5 是對(duì)于圖9 結(jié)果的定量比較，其中FSDAF 對(duì)于第一波段的預(yù)測(cè)是最好的，SS-CNN對(duì)于第二波段的預(yù)測(cè)最好，從ERAGS和SAM這兩個(gè)整體指標(biāo)上來看，SS-CNN取得了更好的效果，并在數(shù)值上取得了較大的領(lǐng)先。

圖9 BOREAS數(shù)據(jù)集實(shí)驗(yàn)結(jié)果Fig.9 Experimental result from the BOREAS dataset

表5 BOREAS數(shù)據(jù)集實(shí)驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)Table 5 Quantitative results of BOREAS dataset

從實(shí)驗(yàn)結(jié)果可以總結(jié)出以下3點(diǎn)：

（1）SS-CNN 在單樣本對(duì)的情況下，可以較好地預(yù)測(cè)地物的物候變化和類型的變化，且在異質(zhì)性高、地塊破碎的城鎮(zhèn)區(qū)域可以做出良好的預(yù)測(cè)。

（2）現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的時(shí)空融合方法在單樣本對(duì)的情況下效果難以保障，如STFDCNN 在3 個(gè)數(shù)據(jù)集中的預(yù)測(cè)結(jié)果都有較為嚴(yán)重的畸變。

（3）需要指出的是，由于SS-CNN 采用鄰域插值方法，會(huì)導(dǎo)致地物邊界的預(yù)測(cè)出現(xiàn)模糊現(xiàn)象。這是SS-CNN以后需要重點(diǎn)提高的部分。

4 結(jié) 論

針對(duì)目前基于卷積神經(jīng)網(wǎng)絡(luò)時(shí)空融合方法需要較多訓(xùn)練樣本的問題，本文提出了一種基于單樣本對(duì)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)時(shí)空融合方法（SS-CNN），本方法使用細(xì)圖像的波段均值圖像提供空間細(xì)節(jié)信息，利用粗圖像來提供光譜信息，進(jìn)而結(jié)合卷積神經(jīng)網(wǎng)絡(luò)建立粗圖像與細(xì)圖像之間的超分關(guān)系。在預(yù)測(cè)階段，提出采用鄰域插值方法預(yù)測(cè)待求時(shí)相細(xì)圖像的波段平均圖像，并基于訓(xùn)練好的網(wǎng)絡(luò)對(duì)目標(biāo)細(xì)圖像進(jìn)行預(yù)測(cè)。在實(shí)驗(yàn)部分，使用了兩個(gè)模擬的Landsat 8 數(shù)據(jù)集和一個(gè)真實(shí)的Landsat 7-MODIS 數(shù)據(jù)集測(cè)試了SS-CNN 的效果，結(jié)果證明SS-CNN 在預(yù)測(cè)地物類型變化，物候變化時(shí)候都表現(xiàn)良好，并且在異質(zhì)性高的區(qū)域具有較好的表現(xiàn)。但是SS-CNN 用來預(yù)測(cè)空間細(xì)節(jié)信息鄰域插值方法在地物邊界上會(huì)出現(xiàn)模糊現(xiàn)象，并影響最終的預(yù)測(cè)結(jié)果。將來會(huì)針對(duì)此問題做進(jìn)一步研究。