基于時(shí)序自注意力機(jī)制的遙感數(shù)據(jù)時(shí)間序列分類

張偉雄，唐娉，張正

1.中國(guó)科學(xué)院空天信息創(chuàng)新研究院,北京 100094;

2.中國(guó)科學(xué)院大學(xué) 電子電氣與通信工程學(xué)院,北京 100049

1 引言

遙感衛(wèi)星影像分類是研究土地覆蓋與土地利用的基礎(chǔ)手段。由于遙感衛(wèi)星的重訪問(wèn)特性，伴隨著海量遙感衛(wèi)星數(shù)據(jù)的積累，形成了大量的遙感影像時(shí)間序列。遙感影像時(shí)間序列能夠反映地表地物光譜在一定時(shí)間尺度和范圍內(nèi)隨時(shí)間變化的特性，研究其時(shí)序特征建模及分類方法對(duì)于有效提高地物分類識(shí)別的精度具有重要意義。

由于常規(guī)的分類方法，如支持向量機(jī)SVM（Support Vector Machines）和隨機(jī)數(shù)森林RF（Random Forest）等傳統(tǒng)機(jī)器學(xué)習(xí)方法不能有效提取遙感影像時(shí)間序列的時(shí)序特征，研究人員開展了一系列以提取時(shí)序特征為核心的研究，其中動(dòng)態(tài)時(shí)間規(guī)整DTW（Dynamic Time Warping）方法有大量研究（Petitjean等，2012；Zhang等，2015；Zhang等，2017；Maus 等，2016）。DTW 方法通過(guò)對(duì)兩條序列進(jìn)行特征對(duì)齊進(jìn)而描述序列間的相似性，通過(guò)相似性度量進(jìn)行聚類獲得地表分類結(jié)果。但DTW 是一種對(duì)時(shí)序特征進(jìn)行淺層挖掘的方式，其獲得有效判別特征的能力有限。

隨著深度學(xué)習(xí)領(lǐng)域的快速發(fā)展，一些能夠獲取深層時(shí)序特征的深度學(xué)習(xí)模型越來(lái)越受到青睞，被廣泛應(yīng)用在語(yǔ)音處理、股市房?jī)r(jià)預(yù)測(cè)、天氣預(yù)測(cè)等領(lǐng)域，正在逐步引入遙感影像時(shí)間序列分類問(wèn)題中。廣泛應(yīng)用的模型有兩類，一類以循環(huán)神經(jīng)網(wǎng)絡(luò)模型RNN（Recurrent Neural Network）為基礎(chǔ)，特別是長(zhǎng)短時(shí)記憶LSTM（Long Short Term Memory）（Hochreiter和Schmidhuber，1997）網(wǎng)絡(luò)，循環(huán)網(wǎng)絡(luò)的基本思想是通過(guò)刻畫一個(gè)序列當(dāng)前時(shí)刻與之前時(shí)刻的相關(guān)性，即前向記憶，來(lái)建模時(shí)序特征。Ienco 等（2017）采用LSTM 進(jìn)行特征學(xué)習(xí)，在基于像素和基于對(duì)象的土地利用分類任務(wù)上取得優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)方法（SVM，RF）的分類精度；Ru?wurm 和K?rner（2017，2018）使用LSTM 在基于像素鄰域的植被提取任務(wù)中，取得了比經(jīng)典RNN 網(wǎng)絡(luò)和僅用單時(shí)相數(shù)據(jù)更優(yōu)的效果。另一類深層時(shí)序建模的方法是時(shí)序卷積網(wǎng)絡(luò)TempCNN（Temporal Convolutional Neural Network），卷積網(wǎng)絡(luò)不同于循環(huán)網(wǎng)絡(luò)只能考慮前向時(shí)間鄰域特征，它沿著時(shí)序方向?qū)r(shí)間序列數(shù)據(jù)進(jìn)行一維時(shí)序卷積，具有很強(qiáng)的基于時(shí)間鄰域特征提取能力。Pelletier 等（2019）采用時(shí)序卷積網(wǎng)絡(luò)（TempCNN），在基于像素的分類任務(wù)中，驗(yàn)證了該網(wǎng)絡(luò)的時(shí)序特征提取能力強(qiáng)于不考慮時(shí)序—光譜結(jié)構(gòu)的RF、光譜變換、時(shí)序變換和循環(huán)神經(jīng)網(wǎng)絡(luò)等方法；而Zhong 等（2019）則在多時(shí)相農(nóng)作物分類任務(wù)中驗(yàn)證了基于時(shí)序卷積網(wǎng)絡(luò)優(yōu)于循環(huán)網(wǎng)絡(luò)和多層感知器MLP（Multi-Layer Perceptron）等方法。深度學(xué)習(xí)網(wǎng)絡(luò)雖然能對(duì)時(shí)間序列數(shù)據(jù)的時(shí)序特征進(jìn)行深層編碼和提取，但深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)于深層時(shí)序特征的學(xué)習(xí)離不開大量的訓(xùn)練數(shù)據(jù)，而在遙感影像時(shí)間序列分類問(wèn)題中，由于自然地物的自然生長(zhǎng)屬性，在一定地理范圍內(nèi)很難保證每個(gè)地類都有大量均衡的訓(xùn)練樣本?；谘h(huán)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)的分類模型雖然在整體分類性能上優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法和DTW 的淺層特征挖掘，但是仍面臨小樣本地類精度不高的問(wèn)題，因此如何提高小樣本地類的分類精度一直備受關(guān)注。

Vaswani 等（2017）提出的基于自注意力機(jī)制（Self-Attention Mechanism）的Trasformer網(wǎng)絡(luò)，該網(wǎng)絡(luò)不同于循環(huán)網(wǎng)絡(luò)LSTM 和卷積網(wǎng)絡(luò)TempCNN 之處在于它是一種能夠考慮時(shí)間序列全局信息，并自動(dòng)地關(guān)注某些對(duì)分類特征提取有重要影響的時(shí)序位置進(jìn)行特征編碼的網(wǎng)絡(luò)（Ganort 等，2020），自注意力機(jī)制方法的誕生使深度學(xué)習(xí)領(lǐng)域有了不同于卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)的第3 種基本網(wǎng)絡(luò)架構(gòu)，已在自然語(yǔ)言處理領(lǐng)域中取得了統(tǒng)治性的地位。Ru?wurm 和K?rner（2019）首次將自注意力機(jī)制引入遙感影像時(shí)間序列分類問(wèn)題中，在類別平衡的實(shí)驗(yàn)數(shù)據(jù)上的結(jié)果，表明了自注意力機(jī)制的總體分類性能與基于循環(huán)網(wǎng)絡(luò)模型相當(dāng)?shù)那闆r下，能夠主動(dòng)地忽視一些云干擾時(shí)相，對(duì)有云層遮擋的觀測(cè)具有魯棒性。基于此，本文通過(guò)以Transformer編碼器為基礎(chǔ)，設(shè)計(jì)了新的基于時(shí)序自注意力機(jī)制特征提取器用于多光譜遙感時(shí)間序列分類中，并解決小樣本地類精度低的問(wèn)題。本文的實(shí)際貢獻(xiàn)在于，（1）針對(duì)遙感時(shí)間序列分類任務(wù)中，小樣本地類精度不高的問(wèn)題，引入自然語(yǔ)言處理領(lǐng)域內(nèi)的自注意力機(jī)制與Transformer 編碼器。（2）針對(duì)遙感時(shí)間序列數(shù)據(jù)的特點(diǎn)，對(duì)Transformer 編碼器進(jìn)行了兩點(diǎn)改進(jìn)：在多頭注意力之前添加特征升維層，提升數(shù)據(jù)光譜信息；使用拉伸后降維替代時(shí)序方向的全局最大值池化，構(gòu)造基于時(shí)序自注意力機(jī)制的特征提取器。利用自注意力機(jī)制能夠?qū)Σ煌悇e產(chǎn)生不同時(shí)序位置的關(guān)注，從而增大不同類別間的判別差異，獲取樣本不均衡時(shí)對(duì)小樣本更強(qiáng)特征表達(dá)能力，從而提升小樣本精度。（3）通過(guò)與目前常用的循環(huán)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)方法對(duì)比，驗(yàn)證了方法的有效性以及本文對(duì)原始網(wǎng)絡(luò)結(jié)構(gòu)兩點(diǎn)改進(jìn)的必要性。

2 基于時(shí)序自注意力機(jī)制的遙感數(shù)據(jù)時(shí)間序列特征提取方法

2.1 自注意力機(jī)制

注意力機(jī)制的本質(zhì)來(lái)自于人類視覺注意力機(jī)制。人們視覺在感知東西的時(shí)候一般不會(huì)是一個(gè)場(chǎng)景從到頭看到尾每次全部都看，而往往是根據(jù)需求觀察注意特定的一部分。自注意力機(jī)制是自動(dòng)篩選輸入信息中的高價(jià)值信息的過(guò)程，本質(zhì)上是一種加權(quán)機(jī)制，注意力函數(shù)可以被描述為一個(gè)查詢（query）向量和一系列Key-Value向量對(duì)到輸出向量間的映射，輸出向量通過(guò)計(jì)算Value 向量的加權(quán)和得到，而與每個(gè)Value 向量對(duì)應(yīng)的權(quán)重是通過(guò)計(jì)算Query向量和相應(yīng)的Key向量的相關(guān)性得到。

2.2 Transformer編碼器

Transformer 是自注意力機(jī)制實(shí)現(xiàn)的一個(gè)框架，首次提出是在文本翻譯的背景下，使用基于自注意力機(jī)制設(shè)計(jì)的編解碼器代替常用的循環(huán)神經(jīng)網(wǎng)絡(luò)作為Seq2Seq 架構(gòu)（Sutskever 等，2014）中的編解碼器。Transformer以縮放點(diǎn)積注意力（Scaled Dot-Product Attention）的方式實(shí)現(xiàn)自注意力機(jī)制的思想，圖1左圖，其計(jì)算具體過(guò)程如下：

圖1 縮放點(diǎn)擊注意力和多頭注意力Fig.1 Scaled dot-product attention and multi-head attention

（2）使用點(diǎn)積作為計(jì)算序列間不同序列位置的Key 向量和Query 向量的相關(guān)性的方式，求得不同位置間相互影響的權(quán)重矩陣——“注意力”矩陣，并對(duì)其進(jìn)行縮放和SoftMax歸一化。

（3）對(duì)序列的每個(gè)位置進(jìn)行編碼，將（2）中計(jì)算得來(lái)的權(quán)重與Value 向量相乘計(jì)算加權(quán)和，獲得序列每個(gè)位置的編碼輸出結(jié)果。（2）（3）可用矩陣形式表示為式（3），其中是縮放因子。

一次縮放點(diǎn)積注意力難以關(guān)注序列多個(gè)重要位置，通過(guò)并行地進(jìn)行多次縮放點(diǎn)積注意力——稱之為多頭自注意力（Multi-Head Attention），圖1右圖將h個(gè)縮放點(diǎn)積注意力產(chǎn)生的編碼輸出進(jìn)行拼接再經(jīng)過(guò)一個(gè)線性變換層變換為一個(gè)最終的編碼輸出，拓展模型關(guān)注不同位置的注意力，如式（4）。

Transformer 編碼器除了多頭注意力，還包括位置編碼，前饋神經(jīng)網(wǎng)絡(luò)，殘差連接和歸一化等重要操作，如圖2展示了一層編碼器的結(jié)構(gòu)。

圖2 Transformer編碼層Fig.2 Transformer encoder layer

由于縮放點(diǎn)積注意力的計(jì)算并沒(méi)有考慮文本序列的詞序信息，因此對(duì)詞嵌入向量輸入進(jìn)行位置編碼，位置編碼的要求是每個(gè)句子的相同位置的嵌入值是相同的，然后與原來(lái)的詞嵌入向量相加作為模型新的輸入向量。經(jīng)典的位置編碼計(jì)算嵌入值按照式（5）—（6）計(jì)算：

式中，pos為詞序位置，i為詞向量要素維度，dmodel為詞向量維度數(shù)，N是一個(gè)控制頻率的參數(shù)，常取值10000。

在多頭自注意力后應(yīng)用逐位置前饋神經(jīng)網(wǎng)絡(luò)層，目的是為了鞏固網(wǎng)絡(luò)模型的表達(dá)能力。前饋神經(jīng)網(wǎng)絡(luò)包含兩個(gè)線性變換的全連接層，先將輸入變換至高維空間再降維至輸入維度，中間有一次ReLU激活，將其逐位置地應(yīng)用到序列上，意味著前饋神經(jīng)網(wǎng)絡(luò)在不同位置是參數(shù)共享的。如式是經(jīng)過(guò)多頭注意力的編碼輸出是前饋網(wǎng)絡(luò)中間層神經(jīng)元數(shù)量，且dfeedforward?dmodel。

多個(gè)編碼層堆疊的深度網(wǎng)絡(luò)在訓(xùn)練過(guò)程中存在梯度消失的問(wèn)題，使用殘差連接和歸一化可以有效地消除梯度消失問(wèn)題。

2.3 基于時(shí)序自注意力機(jī)制構(gòu)建遙感數(shù)據(jù)時(shí)間序列特征提取網(wǎng)絡(luò)

自注意力機(jī)制對(duì)于序列每個(gè)位置來(lái)說(shuō)，通過(guò)計(jì)算與序列所有位置的相關(guān)性來(lái)進(jìn)行編碼，考慮了全局的信息，這是其具有很強(qiáng)的特征提取能力的基礎(chǔ)。為了將自注意力機(jī)制應(yīng)用到多光譜遙感數(shù)據(jù)時(shí)間序列分類中，本文以Transformer 的編碼器為基礎(chǔ)，做了適當(dāng)改造，設(shè)計(jì)出新的基于時(shí)序自注意力機(jī)制的特征提取網(wǎng)絡(luò)，如圖3。

圖3 基于時(shí)序自注意力機(jī)制的特征提取器Fig.3 Temporal self-attention mechanism based feature extraction network

整個(gè)特征提取器可以調(diào)節(jié)的超參數(shù)包括升維和降維過(guò)程中的目標(biāo)維數(shù)dmodel，多頭注意力的頭數(shù)h，Query-Key-Value向量維度dq，dk，dv，前饋網(wǎng)絡(luò)中間層維數(shù)dfeedforward，原則上要保持dfeedforward?dmodel，在本文實(shí)驗(yàn)中具體的各超參數(shù)取值范圍見表1。

表1 不同模型的候選超參數(shù)Table 1 Hyperparameter candidates of different models

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)來(lái)自2017 年TiSeLaC 時(shí)間序列土地覆蓋分類競(jìng)賽提供的公開數(shù)據(jù)集。原始數(shù)據(jù)采集自留尼汪島2014 年全年23 景2A 級(jí)別的Landsat 8影像，研究區(qū)具有2866×2633像素大小，30 m空間分辨率和10 個(gè)波段，包含原始數(shù)據(jù)前7 個(gè)波段（Landsat8 的Band1 到Band7）和3 個(gè)指數(shù)波段（歸一化植被指數(shù)NDVI，歸一化水指數(shù)NDWI 和亮度指數(shù)BI）。對(duì)數(shù)據(jù)逐像素逐波段地通過(guò)時(shí)序線性插值來(lái)替換有云數(shù)據(jù)。隨機(jī)采樣共得99687個(gè)像素構(gòu)建數(shù)據(jù)集，分為81714 個(gè)像素的訓(xùn)練集和17973 個(gè)像素的測(cè)試集，如圖4是采樣后的像素分布圖。參考2012 年科林土地覆蓋地圖（Corine Land Cover）和2014 年當(dāng)?shù)剞r(nóng)民填報(bào)的土地地塊登記結(jié)果，將研究區(qū)的土地覆蓋劃分為9個(gè)地類。

圖4 留尼汪島TiSeLaC數(shù)據(jù)集像素分布Fig.4 Pixels distribution of Reunion Island TiSeLaC dataset

表2是訓(xùn)練集和測(cè)試集不同類別的像素?cái)?shù)量統(tǒng)計(jì)情況，其中Urban Areas，F(xiàn)orests，Sparse vegetation和Rocks and bare soil 等4 個(gè)類別單類占比均超過(guò)15%，共計(jì)占有樣本數(shù)75.16%，屬于多樣本類別，Other built-up surfaces，Grassland，Sugarcane crops，Other crops 和Water 等5 個(gè)類別單類占比均不足10%，是本數(shù)據(jù)集中的小樣本類別，尤其是Other built-up surfaces，Other crops和Water等3個(gè)類別，單類占比不足4%，可見該數(shù)據(jù)集樣本十分不均衡。

表2 TiSeLaC數(shù)據(jù)集各類別樣本統(tǒng)計(jì)Table 2 Per-class Sample statistics in TiSeLaC dataset

3.2 對(duì)比方法

為了研究自注意力機(jī)制在樣本不均衡時(shí)提高小樣本類別分類精度的能力，本文以第2節(jié)中構(gòu)建的新的基于時(shí)序自注意力機(jī)制的特征提取器，在不均衡的樣本數(shù)據(jù)集上，通過(guò)與基于循環(huán)網(wǎng)絡(luò)LSTM 和基于卷積網(wǎng)絡(luò)TempCNN 的特征提取器進(jìn)行分類精度比較，從而驗(yàn)證自注意力機(jī)制在全局尺度進(jìn)行深層時(shí)序特征提取對(duì)提升小樣本類別分類精度的有效性，并通過(guò)消融實(shí)驗(yàn)驗(yàn)證本文對(duì)Transformer的相應(yīng)改進(jìn)是有效的。

比較驗(yàn)證采用如圖5的分類網(wǎng)絡(luò)結(jié)構(gòu)，包括多光譜遙感時(shí)間序列數(shù)據(jù)輸入，特征提取器，分類器和類別概率輸出，其中特征提取器使用不同特征提取網(wǎng)絡(luò)，分類器使用多層感知器（MLP）。

圖5 分類網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 The classification network architecture

3.2.1 循環(huán)網(wǎng)絡(luò)LSTM

LSTM 在克服RNN處理長(zhǎng)序列會(huì)出現(xiàn)的梯度消失和梯度爆炸的問(wèn)題的同時(shí)，能夠沿著時(shí)序方向傳遞每個(gè)時(shí)間步的狀態(tài)，獲取一定時(shí)間范圍內(nèi)的前向時(shí)序上下文特征——稱為記憶。

圖6 展示了一層LSTM 網(wǎng)絡(luò)結(jié)構(gòu)，序列數(shù)據(jù)x1，x2，...，xT，按順序進(jìn)入LSTM 單元（Cell）進(jìn)行處理，LSTM 單元包括3 個(gè)重要的門，輸入門決定當(dāng)前時(shí)刻有多少信息被保留，遺忘門決定前面時(shí)刻有多少記憶信息被保留，輸出門決定當(dāng)前時(shí)刻的記憶有多少被輸出到下一時(shí)刻。每次LSTM 單元處理得到當(dāng)前位置的編碼輸出和狀態(tài)，并將狀態(tài)傳遞給下一位置，直到序列結(jié)束，在這個(gè)過(guò)程中LSTM 單元可以循環(huán)使用，所以被稱為循環(huán)網(wǎng)絡(luò)。這樣使得LSTM 單元能夠獲取當(dāng)前時(shí)刻前一定距離內(nèi)時(shí)刻的記憶，并且記憶狀態(tài)和隱藏狀態(tài)在每個(gè)時(shí)刻得到更新。

圖6 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)Fig.6 Long Short Term Memory network

圖7 是本文采用的基于循環(huán)網(wǎng)絡(luò)LSTM 的特征提取器，該網(wǎng)絡(luò)通過(guò)若干層LSTM 將遙感時(shí)序數(shù)據(jù)編碼到更高維度，不同的LSTM 層數(shù)對(duì)特征提取有著不同深度層次的表征。第一層LSTM 使用原始數(shù)據(jù)作為輸入，堆疊了多層LSTM 時(shí)，之后的下一層LSTM 使用上一層的隱藏狀態(tài)作為輸入，并在LSTM層之間使用Dropout，各層的首個(gè)時(shí)刻的隱藏狀態(tài)都是初始化為零向量，最終將最后一層LSTM的最后時(shí)刻的隱藏狀態(tài)作為整個(gè)網(wǎng)絡(luò)特征提取的結(jié)果進(jìn)入分類器。可以調(diào)節(jié)的網(wǎng)絡(luò)超參數(shù)為L(zhǎng)STM層數(shù)L，每層隱藏狀態(tài)維數(shù)dhidden，具體的各超參數(shù)取值范圍見表1。

圖7 基于LSTM的特征提取網(wǎng)絡(luò)Fig.7 LSTM based feature extraction network

3.2.2 卷積網(wǎng)絡(luò)TempCNN

TempCNN 的核心在于沿著多光譜遙感時(shí)序數(shù)據(jù)的時(shí)序維度進(jìn)行一維卷積提取特征，卷積核的大小決定了感受野的范圍，在特征提取時(shí)能感知固定的時(shí)序鄰域范圍信息進(jìn)行編碼。

圖8 是本文采用的基于卷積網(wǎng)絡(luò)TempCNN 的特征提取器，基本沿用了原文的網(wǎng)絡(luò)結(jié)構(gòu)。先通過(guò)堆疊三層時(shí)序卷積層進(jìn)行基于時(shí)間鄰域特征編碼，將遙感時(shí)序數(shù)據(jù)編碼至具有時(shí)序維度和高特征維度的特征編碼結(jié)果，每一個(gè)卷積層都是通過(guò)一維時(shí)序卷積，批歸一化，ReLU激活和Dropout實(shí)現(xiàn)的，一維卷積的步長(zhǎng)設(shè)為1，并且設(shè)置于卷積核相應(yīng)的邊緣填充保持時(shí)序長(zhǎng)度的完整性。然后通過(guò)將編碼后的特征結(jié)果從二維拉伸為一維向量，再通過(guò)一次線性變換降低其維度作為最終的分類判別特征進(jìn)入分類器。整個(gè)模型可以調(diào)節(jié)的超參數(shù)包括卷積核大小k，相應(yīng)的邊緣填充為padding=int每層卷積核個(gè)數(shù)N，降維層的目標(biāo)維數(shù)doutput，具體的各超參數(shù)取值范圍見表1。

圖8 基于TempCNN的特征提取網(wǎng)絡(luò)Fig.8 TempCNN based feature extraction network

3.2.3 時(shí)序自注意力機(jī)制特征提取網(wǎng)絡(luò)

在2.3 節(jié)中，介紹了由Transformer 改進(jìn)的時(shí)序自注意力機(jī)制特征提取網(wǎng)絡(luò)，為了驗(yàn)證本文的對(duì)Transformer的改進(jìn)是否有效，增加了對(duì)Transformer的消融實(shí)驗(yàn)對(duì)比組。

對(duì)于基礎(chǔ)的Transformer 結(jié)構(gòu)，記作Basic，沒(méi)有特征升維步驟，后面的特征降維使用的是全局最大值池化；DimUp 則在Basic 的基礎(chǔ)上增加特征升維；Flatten 則在Basic 基礎(chǔ)上增加拉伸后降維取代全局最大值池化。相應(yīng)的對(duì)比實(shí)驗(yàn)組見表3。

表3 消融實(shí)驗(yàn)Table 3 Ablation experiments

3.3 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)硬件配置有4 塊Nvidia Titan XP GPU 顯卡，32 核英特爾至強(qiáng)E5 系列CPU，128 GB 內(nèi)存和80 TB 硬盤。使用Linux 操作系統(tǒng)，實(shí)驗(yàn)代碼使用Python語(yǔ)言在Pytorch框架下編寫。

為了對(duì)比驗(yàn)證基于時(shí)序自注意力機(jī)制的特征提取網(wǎng)絡(luò)Tranformer，循環(huán)網(wǎng)絡(luò)LSTM 和卷積網(wǎng)絡(luò)TempCNN 在TiSeLaC 數(shù)據(jù)集上的表現(xiàn)，對(duì)圖5 所示的分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，使用相同的4 層MLP 分類器，其每層神經(jīng)元個(gè)數(shù)為［128，64，32，9］，采用FocalLoss（Lin 等，2017）作為損失函數(shù)，使用Adam算法（Kingma和Ba，2015）優(yōu)化損失函數(shù)，學(xué)習(xí)率設(shè)置為0.001，指數(shù)衰減率設(shè)置為［0.9，0.999］。

對(duì)分類模型在數(shù)據(jù)集上進(jìn)行100次迭代訓(xùn)練和測(cè)試，迭代次數(shù)足以保證使用不同特征提取器的分類模型可以收斂，迭代過(guò)程中批量大小設(shè)置為32并隨機(jī)采樣。對(duì)每次迭代在訓(xùn)練集上訓(xùn)練出的模型，計(jì)算模型在測(cè)試集上的總體精度OA（Overall Accuracy），平均交并比mIoU（mean Intersection over Union）和各個(gè)類別的單類分類精度。總體精度和平均交并比都反映了模型的整體分類性能，總體精度反映模型對(duì)于數(shù)據(jù)集全體樣本的分類精度，但是面對(duì)數(shù)據(jù)集類別不均衡時(shí)，總體精度高并不能代表所有類別的單類精度高，本文主要關(guān)注小樣本類別精度問(wèn)題，因此使用平均交并比作為反映類別間精度平衡后的整體評(píng)價(jià)指標(biāo)。在一次實(shí)驗(yàn)中，選取100 次迭代中在測(cè)試集上mIoU 分?jǐn)?shù)最高的迭代作為最后評(píng)價(jià)模型性能依據(jù)。

本文按照表1組合超參數(shù)設(shè)置，由于深度學(xué)習(xí)網(wǎng)絡(luò)模型的學(xué)習(xí)能力和參數(shù)數(shù)量有著密切的關(guān)聯(lián)，不同的超參數(shù)設(shè)置使得模型的參數(shù)數(shù)量差別也十分巨大，為了合理比較不同模型，本文在表1選擇超參數(shù)設(shè)置的基礎(chǔ)上舍棄特征提取網(wǎng)絡(luò)的參數(shù)量超過(guò)30萬(wàn)個(gè)的超參數(shù)組合設(shè)置。

3.4 結(jié)果與分析

對(duì)不同模型在不同超參數(shù)下使用隨機(jī)初始化模型參數(shù)，使用100 個(gè)迭代中mIoU 對(duì)應(yīng)的迭代作為一次實(shí)驗(yàn)的評(píng)價(jià)依據(jù)，最后對(duì)不同模型選取mIoU分?jǐn)?shù)最高的前3個(gè)超參數(shù)設(shè)置實(shí)驗(yàn)的結(jié)果計(jì)算均值作為該模型最終的精度指標(biāo)結(jié)果。

3.4.1 特征提取方法對(duì)比結(jié)果

表4 是基于循環(huán)網(wǎng)絡(luò)LSTM，基于卷積網(wǎng)絡(luò)TempCNN 和本文構(gòu)建的基于Tranformer 編碼器的時(shí)序自注意力機(jī)制特征提取器在相同分類網(wǎng)絡(luò)架構(gòu)下，在TiSeLaC 數(shù)據(jù)集上最終的精度評(píng)價(jià)指標(biāo)對(duì)比，包括各模型在單類上的精度，總體精度OA 和平均交并比mIoU。

表4 特征提取方法分類精度表Table 4 Classification accuracy table of feature extraction methods

實(shí)驗(yàn)結(jié)果顯示就不同特征提取器分類網(wǎng)絡(luò)的整體分類性能而言，使用基于時(shí)序自注意力機(jī)制的特征提取器Transformer 優(yōu)于基于循環(huán)網(wǎng)絡(luò)LSTM和卷積網(wǎng)絡(luò)TempCNN 的特征提取器，總體精度OA達(dá)到了92.98%，平均交并比mIoU達(dá)到了80.60%，相較于LSTM和TempCNN有1.25%和1.32%的提升。

對(duì)于單個(gè)類別分類效果而言，Transformer 與LSTM，TempCNN 在4 個(gè)多樣本類別上表現(xiàn)基本相當(dāng)，在5個(gè)小樣本類別上優(yōu)于LSTM和TempCNN。具體來(lái)說(shuō)，TempCNN 在Urban Areas和Sparse Vegetation兩個(gè)類別上取得最優(yōu)精度，分別達(dá)到93.13%和95.60%，Transformer與之差距甚小，只有0.22%和0.07%。LSTM 在Forests 和Rocks and bare soil 兩個(gè)類別上取得了最優(yōu)精度，分別達(dá)到92.05%和97.31%，Transformer 與之差距也只有0.18%和0.74%。而在其他5 個(gè)小樣本類別上，Transformer 均取得了最優(yōu)精度，在Grassland 類別上，Transformer 優(yōu)于LSTM網(wǎng)絡(luò)1.71%分類精度。尤其是在樣本最少的Other built-up surfaces，Other crops 和Water 等3 個(gè)類別上，Transformer 取得極其優(yōu)異的表現(xiàn)，在Other built-up surfaces類別上，分別優(yōu)于LSTM和TempCNN以3.45%和2.47%，在Other crops類別上優(yōu)于LSTM和TempCNN以2.6%和5.41%，在Water類別上優(yōu)于LSTM 和TempCNN 以2.83%和3.53%。可以看出，深度學(xué)習(xí)方法對(duì)于多樣本類別，往往都能夠充分挖掘足夠的特征信息，因此差異不大，而對(duì)于小樣本地類精度，時(shí)序自注意力機(jī)制有著明顯的提升。圖9是小樣本密集分布區(qū)域僅顯示小樣本的分類結(jié)果對(duì)比圖，本文使用的基于時(shí)序自注意力機(jī)制的方法在小樣本類別上的分類效果明顯優(yōu)于循環(huán)網(wǎng)絡(luò)和卷積網(wǎng)絡(luò)方法。

圖9 局部區(qū)域小樣本分類結(jié)果Fig.9 Small-sample categories classification result in local area

3.4.2 消融實(shí)驗(yàn)對(duì)比結(jié)果

表5是對(duì)本文改進(jìn)后的Transformer編碼器進(jìn)行消融實(shí)驗(yàn)的精度對(duì)比表，實(shí)驗(yàn)結(jié)果顯示本文對(duì)Tranformer 編碼器所進(jìn)行的兩點(diǎn)改進(jìn)均是顯著有效的。首先，從DimUp 與Basic 對(duì)比可以看出，添加了特征升維層可以提高所有類別的單類精度，尤其是Other crops，基礎(chǔ)的Transformer 特征提取器幾乎不能有效判別該類別，而添加了特征升維之后，使得該類分類精度有了飛躍性的提升，這說(shuō)明特征升維對(duì)于時(shí)序自注意力機(jī)制處理遙感時(shí)間序列數(shù)據(jù)是十分必要的。同樣地，從Flatten 與Basic 的對(duì)比也可以看出，本文所采用的拉伸后降維的降維策略優(yōu)于全局最大值池化。而同時(shí)采用了兩種改進(jìn)的Transformer取得了單類與整體的最優(yōu)結(jié)果。

表5 消融實(shí)驗(yàn)分類精度表Table 5 Classification accuracy table for ablation experiments

3.4.3 時(shí)序自注意力機(jī)制可視化

如圖10 展示了不同類別樣本的自注意力權(quán)重可視化結(jié)果，每個(gè)子圖上方是各波段歸一化時(shí)間序列，下方是自注意力機(jī)制中時(shí)序編碼的權(quán)重可視化，顏色越深代表權(quán)重越大。對(duì)于不同類別的樣本，時(shí)序自注意力機(jī)制特征提取器能夠?qū)Σ煌瑫r(shí)序位置產(chǎn)生不同程度的注意力，這是一種動(dòng)態(tài)的加權(quán)機(jī)制。相比之下，卷積網(wǎng)絡(luò)在卷積訓(xùn)練確定之后，對(duì)于不同時(shí)序位置的編碼重要性不存在動(dòng)態(tài)加權(quán)；循環(huán)網(wǎng)絡(luò)一定程度上也屬于一種加權(quán)機(jī)制，但是其遺忘門控制前面位置的輸入，輸入門控制當(dāng)前位置的輸入，隨著時(shí)序推進(jìn)前面位置的權(quán)重逐漸變小，與當(dāng)前輸入越近，權(quán)重越大，因此可以視為一種固定的加權(quán)方式。本文所使用的時(shí)序自注意力機(jī)制能夠動(dòng)態(tài)地在不同類別之間關(guān)注不同位置，能夠有效地?cái)U(kuò)大類別間的差異性，從而促進(jìn)小樣本地類精度。

圖10 不同類別樣本自注意力權(quán)重可視化Fig.10 Visual illustration of self-attention weights of samples of different classes

4 結(jié)論

隨著遙感技術(shù)的發(fā)展，海量的遙感影像時(shí)間序列數(shù)據(jù)對(duì)對(duì)地觀測(cè)的應(yīng)用具有重要的意義。本文針對(duì)遙感時(shí)間序列處理領(lǐng)域目前常用的深度學(xué)習(xí)分類模型在處理時(shí)間序列數(shù)據(jù)時(shí)，需要大量訓(xùn)練數(shù)據(jù)，而數(shù)據(jù)中存在樣本不均衡的實(shí)際情形，使得小樣本地類分類精度不高的問(wèn)題，引入自然語(yǔ)言處理領(lǐng)域最新的方法原理——自注意力機(jī)制。基于Transformer 編碼器進(jìn)行適當(dāng)改進(jìn)構(gòu)建基于時(shí)序自注意力機(jī)制特征提取器，借助時(shí)序自注意力機(jī)制在全局尺度對(duì)時(shí)序數(shù)據(jù)進(jìn)行時(shí)序建模，并能自主地關(guān)注某些特定時(shí)序位置進(jìn)行特征編碼的能力，應(yīng)用于遙感影像時(shí)間序列分類，通過(guò)與目前廣泛使用的循環(huán)網(wǎng)絡(luò)LSTM 和卷積網(wǎng)絡(luò)TempCNN在公開的遙感時(shí)間序列數(shù)據(jù)集上進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明，基于時(shí)序自注意力機(jī)制方法在全局尺度提取時(shí)序特征的方式，在多樣本類別上保持了和循環(huán)網(wǎng)絡(luò)使用前向記憶和卷積網(wǎng)絡(luò)使用時(shí)序卷積進(jìn)行時(shí)序特征提取兩種方式同水準(zhǔn)高精度的同時(shí)，能夠有效提高小樣本類別的精度，明確了基于時(shí)序自注意力機(jī)制方法用于遙感時(shí)間序列數(shù)據(jù)分類的有效性和意義。

本文將自注意力機(jī)制方法用于遙感數(shù)據(jù)時(shí)序特征建建模，關(guān)于自注意力機(jī)制方法在遙感時(shí)間序列領(lǐng)域的應(yīng)用，仍有許多值得探索的地方，例如，海量的遙感時(shí)序信息提供了豐富的空間-光譜-時(shí)序信息，如何進(jìn)一步基于自注意力機(jī)制方法發(fā)展混合特征提取建模深度學(xué)習(xí)網(wǎng)絡(luò)充滿挑戰(zhàn)性；在不同的空間分辨率，光譜分辨率和時(shí)間分辨率的遙感時(shí)序數(shù)據(jù)中使用自注意力機(jī)制應(yīng)當(dāng)注意的問(wèn)題和特點(diǎn)等。

志 謝本文所用遙感時(shí)間序列數(shù)據(jù)來(lái)自Dino Ienco 于2017 年公開的TiSeLaC 競(jìng)賽數(shù)據(jù)集，在此由衷表示地感謝！