黃翀,侯相君
基于Bi-LSTM模型的時間序列遙感作物分類研究
1中國科學(xué)院地理科學(xué)與資源研究所/資源與環(huán)境信息系統(tǒng)國家重點實驗室,北京 100101;2中國科學(xué)院大學(xué),北京 100049;3中國科學(xué)院黃河三角洲現(xiàn)代農(nóng)業(yè)工程實驗室,北京 100101
【目的】及時、準確地作物分類制圖是農(nóng)情監(jiān)測的重要依據(jù)。本研究基于雙向長短期記憶網(wǎng)絡(luò)模型探究深度學(xué)習(xí)技術(shù)在時間序列遙感作物分類與早期識別中的應(yīng)用潛力?!痉椒ā勘疚囊渣S河三角洲地區(qū)為例,以哨兵2號全年可用衛(wèi)星影像為數(shù)據(jù)源,構(gòu)建年時間序列NDVI數(shù)據(jù)集;采用循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)架,搭建針對結(jié)構(gòu)化時序數(shù)據(jù)的雙向長短期記憶網(wǎng)絡(luò)模型(bidirectional long short-term memory,Bi-LSTM),開展遙感作物分類,并評估模型的泛化能力;通過輸入不同長度時間序列遙感數(shù)據(jù),探究滿足一定制圖精度條件下的作物最早可識別時間。【結(jié)果】作物年生長時序特征對于大多數(shù)作物遙感分類識別都具有較好的區(qū)分能力,基于年時間序列NDVI數(shù)據(jù)的Bi-LSTM模型作物分類總體準確率達90.9%,Kappa系數(shù)達到0.892。通過測試不同時間序列長度對作物分類的影響發(fā)現(xiàn),對大多數(shù)作物來說,其分類精度隨著數(shù)據(jù)時間序列長度增加而不斷提高,冬小麥、水稻等作物在生長季早期即具有較為獨特的分類特征,因而利用生長季早期的時間序列影像即可獲得較高的制圖精度,而棉花、春玉米等作物需要完整生長序列影像才能更好地保證分類精度?!窘Y(jié)論】衛(wèi)星影像時間序列蘊含的結(jié)構(gòu)化特征信息可以有效地降低特定時段的作物光譜混淆;雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型能夠同時考慮前向和后向的時間狀態(tài)信息,可以學(xué)習(xí)作物不同階段的光譜變化特征,在水稻、棉花、春玉米等易混淆作物的識別上表現(xiàn)優(yōu)異;模型能夠有效地把握樣本總體上的變化趨勢,在農(nóng)作物多分類任務(wù)中表現(xiàn)出較好的泛化能力和魯棒性。本研究通過集成深度學(xué)習(xí)和遙感時間序列,為及時、快速的區(qū)域作物高精度制圖提供了可行的思路。
作物分類;早期識別;時序遙感;Bi-LSTM;模型泛化
【研究意義】及時、準確地對農(nóng)作物進行分類制圖是農(nóng)情監(jiān)測的重要依據(jù),也是宏觀調(diào)控農(nóng)作物種植結(jié)構(gòu)、估計農(nóng)作物產(chǎn)量、制定糧食政策等問題的重要參考[1-2]。而在作物生長早期階段,如果能盡早獲得作物分類的結(jié)果,將使作物提取更有意義[3-4],例如提前分配農(nóng)業(yè)灌溉用水量提高用水效率,更合理地進行農(nóng)作物的收儲等[5]?!厩叭搜芯窟M展】遙感是應(yīng)對高時空分辨率作物精細制圖的一個重要工具。早期的遙感農(nóng)作物分類主要是基于農(nóng)作物生長關(guān)鍵期的單期或少數(shù)幾期影像,利用不同作物的光譜特征差異進行分類識別[6-7]。但關(guān)鍵期影像往往受到天氣條件限制,且對相似作物的區(qū)分不夠明顯。隨著衛(wèi)星技術(shù)的突破,基于密集時間序列遙感數(shù)據(jù)的分類技術(shù)得到發(fā)展。其中,哨兵2號衛(wèi)星憑借其較高的時空分辨率和較好的數(shù)據(jù)質(zhì)量成為研究作物分類的理想數(shù)據(jù)源[8-9]。利用密集時間序列遙感數(shù)據(jù)進行分類識別的基礎(chǔ)是作物全生長期的光譜響應(yīng)特征。Vrieling等[10]將哨兵2號植被指數(shù)序列和地面實測綠色色度坐標序列相比,證明了其提供植被生長階段特征信息的能力,這為進一步提高農(nóng)作物分類識別精度提供了基礎(chǔ)。近年來,以深度學(xué)習(xí)為前沿的機器學(xué)習(xí)方法日益增長,也越來越多地應(yīng)用于時間序列遙感數(shù)據(jù)分類研究[11-13]。循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)是一種能夠解決前向序列學(xué)習(xí)問題的網(wǎng)絡(luò),通過使用帶自反饋的神經(jīng)元,能夠挖掘時間序列中的上下文信息,對于結(jié)構(gòu)化序列數(shù)據(jù)建模分析有著天然的優(yōu)勢[14]。目前已有一些研究利用循環(huán)神經(jīng)網(wǎng)絡(luò)模型開展遙感作物分類,如Luo等[15]將三維卷積神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)(long short-term memory,LSTM)模型進行橫向拼接,構(gòu)建模型對農(nóng)作物進行分類提取。Kussul等[16]使用多層LSTM模型對光學(xué)數(shù)據(jù)和雷達數(shù)據(jù)進行融合并對作物進行提取。Zhou等[17]使用LSTM模型對多時相SAR數(shù)據(jù)進行作物分類,也取得了較好的效果?!颈狙芯壳腥朦c】現(xiàn)有的研究大多是針對單期或少數(shù)幾期遙感影像的深度學(xué)習(xí)分類,難以充分利用豐富的時間序列特征信息。作為對RNN的一種改進,雙向長短期記憶網(wǎng)絡(luò)模型(bidirectional LSTM,Bi-LSTM)能夠同時考慮前向和后向的時間狀態(tài)信息,反向推斷作為時序推斷的補充,在學(xué)習(xí)過程中避免時序因果關(guān)系的限制[18]??紤]到從作物播種到收獲,其生長階段的信息在前向和后向兩個方向上都是瞬時相關(guān)的[19],因此,應(yīng)用Bi-LSTM模型進行時間序列遙感作物分類和早期識別的潛力尚待進一步探索[11]。【擬解決的關(guān)鍵問題】本研究以華北平原典型農(nóng)業(yè)區(qū)黃河三角洲為例,在密集時間序列遙感數(shù)據(jù)支持下,探究基于雙向長短期記憶網(wǎng)絡(luò)模型的深度學(xué)習(xí)技術(shù)在作物分類與早期識別中的應(yīng)用潛力。同時,選擇具有不同主導(dǎo)農(nóng)作物的典型農(nóng)業(yè)區(qū),利用獨立采集的驗證樣本,進一步測試模型在較大區(qū)域上的泛化能力,以期為遙感時序大數(shù)據(jù)的農(nóng)業(yè)深入應(yīng)用提供可供借鑒的方案。
黃河三角洲位于山東省東營市黃河入??冢屈S河攜帶巨量泥沙經(jīng)多年沉積形成。區(qū)域氣候類型屬于暖溫帶半濕潤大陸性季風(fēng)氣候,冬季干燥寒冷,夏季炎熱多雨。該區(qū)域是華北平原典型的旱地農(nóng)業(yè)種植區(qū),其種植結(jié)構(gòu)主要為一年兩季的冬小麥-夏玉米和冬小麥-夏大豆。華北平原地區(qū)常見的春玉米、棉花等一年一季旱地作物也較為常見。近年來,在灌溉水源能夠保證的地方,水稻也得到大面積的種植。因此,黃河三角洲多樣的種植結(jié)構(gòu)在華北平原農(nóng)業(yè)中極具代表性。本研究以山東省東營市黃河南岸的三角洲平原為研究區(qū),主要包括墾利縣和東營區(qū)兩個縣級行政區(qū),如圖1所示。
圖1 研究區(qū)位置圖
1.2.1 試驗數(shù)據(jù)獲取 Sentinel-2任務(wù)是歐盟委員會和歐洲航天局共同倡議的“全球環(huán)境與安全監(jiān)測計劃”中的一部分,用于提供農(nóng)業(yè)利用、土地覆被變化監(jiān)測等一系列服務(wù)[20]。Sentinel-2搭載一枚高分辨率多光譜成像儀(MSI),包括4個空間分辨率為10 m的可見光-近紅外波段等。Sentinel-2任務(wù)的兩顆衛(wèi)星同時運行,為農(nóng)業(yè)遙感應(yīng)用提供了密集的數(shù)據(jù)來源。
通過GEE平臺獲取了2020年1月1日至2020年12月31日一個完整自然年份的全部Sentinel-2遙感影像,以云量90%為閾值進行篩選,共獲取可用影像109景,如表1所示。該數(shù)據(jù)為L2A標準產(chǎn)品,已經(jīng)過幾何校正和大氣校正,投影為UTM/WGS84,數(shù)據(jù)是地表反射率產(chǎn)品。
樣本數(shù)據(jù)是2020年5月和8月用手持GPS在研究區(qū)野外實地調(diào)查的數(shù)據(jù),共382個采樣點(圖2-B),其中,人工林樣點68個,水稻樣點58個,棉花樣點40個,春玉米樣點53個,荒地樣點69個,冬小麥-夏大豆樣點28個,冬小麥-夏玉米樣點66個。該數(shù)據(jù)用來計算模型在研究區(qū)的泛化精度。
表1 哨兵2數(shù)據(jù)分布時間
考慮到深度學(xué)習(xí)需要大量樣本,在野外調(diào)查基礎(chǔ)上,還收集了訓(xùn)練區(qū)域2020年不同月份的Google 高清影像,進行目視解譯,以構(gòu)建支撐模型的樣本集合(圖1中的訓(xùn)練樣本區(qū)域)。本研究獲取到不同種類地塊共1 388個用于模型訓(xùn)練和驗證,每個地塊中的所有像素均被當成該種作物和種植類型的有效樣本,如圖2-A所示。之后將樣本矢量數(shù)據(jù)轉(zhuǎn)化為柵格數(shù)據(jù),從中選取云量覆蓋率較低的集合,對每一類單獨遍歷,從中隨機選取12 000個點,七大類共84 000個點用于模型訓(xùn)練,構(gòu)成訓(xùn)練集;同時對每類另隨機選取2 000個點,共14 000個點,構(gòu)成驗證集,用于訓(xùn)練區(qū)的精度驗證。
此外,為了測試模型的泛化能力,除研究區(qū)外,在東營市北部河口區(qū)選擇水稻典型種植區(qū)、東營市南部廣饒縣選擇春玉米典型種植區(qū),河北省衡水市冀州區(qū)選擇冬小麥-夏玉米典型種植區(qū),作為對模型泛化能力的測試區(qū)。測試區(qū)域(圖2-C)及樣本點如圖2-D—F所示,樣本點采集時間也為2020年。
圖2 訓(xùn)練集與測試集樣本分布
1.2.2 時序數(shù)據(jù)預(yù)處理 數(shù)據(jù)預(yù)處理包括遙感影像無效值剔除與歸一化植被指數(shù)時序曲線的構(gòu)建。時序遙感影像中經(jīng)常會存在不同程度的云覆蓋,本研究首先利用s2cloudless算法對遙感影像中的云層等無效數(shù)據(jù)進行剔除[21]。該算法可以針對每個像素產(chǎn)生一個云概率,通過設(shè)定閾值來控制選擇像素的數(shù)量和質(zhì)量。經(jīng)過多次試驗,將閾值控制為30%[21],以最大程度減小無效像素的影響,同時盡可能多地保留有效的像素,這有利于構(gòu)建完整的時序數(shù)據(jù)集合。
歸一化差值植被指數(shù)(normalize difference vegetation index,NDVI)是植被生長狀態(tài)的良好指示因子,能夠較好地反映植被綠度、光合作用強度等特征[22]。本研究通過構(gòu)建作物NDVI年時間序列,利用深度學(xué)習(xí)模型進行作物精細分類識別。由于數(shù)據(jù)經(jīng)過去云操作后存在一定的時序缺失,本研究通過Savitzky-Golay濾波器對時序曲線進行補缺處理,以得到完整的地物年時序曲線,如圖3所示。
圖3 農(nóng)作物與其他植被NDVI時序曲線
1.3.1 雙向長短期記憶網(wǎng)絡(luò)模型構(gòu)建 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一類用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)[14]。全連接層網(wǎng)絡(luò)(full connected network)只在層與層之間建立了全連接,RNN最大的不同之處就是在時間維度引入循環(huán)概念,使網(wǎng)絡(luò)能建模過去時刻對當前時刻的影響,以此建立正向時間上的聯(lián)系。
時間序列遙感分類任務(wù)是完整序列多類別分類任務(wù)的一種,如果能從前后兩個方向同時考慮歷史信息和未來信息,這相比于單方向模型有更多的特征參與分類,從而提高分類精度。然而,通用的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)在時序上處理序列,忽略了未來信息在序列中的影響。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)[18]的基本思想是在模型中構(gòu)建兩個不同方向的循環(huán)神經(jīng)網(wǎng)絡(luò),而且這兩個循環(huán)網(wǎng)絡(luò)都連接著一個輸出層。這個結(jié)構(gòu)把輸入序列中每一個點的完整的前向和后向的上下文信息提供給輸出層。
圖4是一個沿時間展開的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。6個獨特的權(quán)值在每一個時步被重復(fù)利用,6個權(quán)值分別對應(yīng):輸入到向前和向后隱含層(1,3),隱含層到隱含層自己(2,5),向前和向后隱含層到輸出層(4,6)。另外需要說明的是,向前和向后隱含層之間沒有信息流,這保證了展開圖是非循環(huán)的。
原始RNN的隱藏層只有一個狀態(tài),它對于短期的輸入非常敏感,但存在梯度消失問題。長短期記憶網(wǎng)絡(luò)[23]和門控循環(huán)單元[24](gated recurrent unit,GRU)通過使用單元建模隱藏狀態(tài)來解決這一問題。在給定先前狀態(tài)、當前存儲器和輸入值的情況下,這些單元決定了要保留和丟棄的信息[25]。其中,LSTM通過單元與門的設(shè)計來控制信息在序列中的傳遞,實現(xiàn)對歷史數(shù)據(jù)有區(qū)別地記憶和遺忘以及對當前輸入數(shù)據(jù)不同程度的利用。本研究為解決梯度消失問題,采用雙向LSTM(Bi-LSTM)網(wǎng)絡(luò)。該網(wǎng)絡(luò)輸出兩個時間域特征向量,融合后輸入激活函數(shù)進行分類。在本研究中,采用Tensorflow模塊構(gòu)建Bi-LSTM模型,模型的層數(shù)為2層,每層的神經(jīng)元個數(shù)為128,學(xué)習(xí)率為0.001。模型的激活函數(shù)使用Softmax函數(shù),代價函數(shù)為多分類的交叉熵損失函數(shù)。本研究設(shè)置深度學(xué)習(xí)每個batch大小為128,為了訓(xùn)練出高精度模型設(shè)置epochs為50。
此外,為了探究循環(huán)神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機器學(xué)習(xí)模型在遙感作物分類效果的區(qū)別,在使用相同的訓(xùn)練樣本的情況下,選擇支持向量機(support vector machine,SVM)作為對比分類器。SVM模型采用Python語言編寫,調(diào)用sklearn包中的相關(guān)函數(shù)對分類器模型進行構(gòu)建,參數(shù)均采用默認值。
圖4 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖
1.3.2 模型泛化能力評估 目前將深度學(xué)習(xí)用于農(nóng)作物分類的研究大多使用一個數(shù)據(jù)集,例如野外采樣數(shù)據(jù)[9, 26]或者現(xiàn)有的作物分類產(chǎn)品[27-28],訓(xùn)練集(驗證集)與測試集由該數(shù)據(jù)集劃分得到,模型在訓(xùn)練完成后基于同一數(shù)據(jù)分布的集合直接進行模型的能力測試[29]。本研究中,為進一步測試模型的泛化能力,訓(xùn)練集(驗證集)與測試集采用獨立的數(shù)據(jù)集。訓(xùn)練集與測試集之間存在協(xié)變量偏差[30],該偏差可以用來有效地檢測模型的遷移泛化能力。
1.3.3 精度評價 本研究通過建立混淆矩陣對分類結(jié)果進行精度評價,評價指標包括:總體精度(),用戶精度(),制圖精度(),Kappa系數(shù)()??傮w精度是指對每一個隨機樣本,所分類的結(jié)果與驗證數(shù)據(jù)類型相一致的概率。用戶精度是指從分類結(jié)果中任取一個隨機樣本,其所具有的類型與驗證數(shù)據(jù)類型相同的條件概率。制圖精度是指從驗證樣點中任取一個隨機樣本,分類圖上同一地點的分類結(jié)果與其相一致的條件概率。Kappa系數(shù)是遙感分類中常用于一致性檢驗的指標,表示分類結(jié)果中的一致性。
1.3.4 基于不同長度時間序列遙感的作物早期識別 本研究希望通過深度學(xué)習(xí)模型對不同種類農(nóng)作物進行盡可能早的有效識別,因此將不同長度時間序列遙感數(shù)據(jù)輸入模型,得到在不同時間節(jié)點的各類農(nóng)作物的識別情況。本研究以月為單位,將完整時間序列進行分割。由于每個月的有效圖像數(shù)量不同,因此數(shù)據(jù)長度不是等差增長的。隨著時間序列長度的增加,分類精度將同步提高。根據(jù)多次預(yù)試驗結(jié)果以及參考相關(guān)文獻[8],本研究中,每種作物的最早可識別時間(earliest identifiable timing,EIT)被定義為該作物的F1分數(shù)首次達到0.85的閾值,其中F1分數(shù)為用戶精度與制圖精度的調(diào)和平均數(shù)。這樣便可以得到對不同種類作物進行有效識別的最早月份。
圖5為利用Bi-LSTM模型生成的研究區(qū)作物分布圖。從圖5可以看出,冬小麥-夏玉米是該區(qū)主要的農(nóng)作物種植方式,分布面積最大。而水稻主要分布在距離黃河沿岸較近的地區(qū),這與水稻種植需要大量引水灌溉特征相符。棉花和春玉米零散分布在黃河入海口附近,種植規(guī)模較小。
基于Bi-LSTM模型的分類結(jié)果精度統(tǒng)計如圖6所示,模型總體準確率達90.9%,Kappa系數(shù)達到0.892(表2)。從圖6中可以看出,一年兩季的作物種植模式有很高的識別精度,但是當具體到冬小麥-夏玉米和冬小麥-夏大豆的精細分類時,精度變低。主要原因在于,夏玉米和夏大豆NDVI時序曲線非常相似,僅依賴NDVI時序特征,兩者還存在較大的混淆。相比來說,由于夏玉米的種植范圍更加廣泛,特征相對明顯,因此冬小麥-夏玉米的分類精度要高于冬小麥-夏大豆。
圖5 基于Bi-LSTM模型的黃河三角洲地區(qū)農(nóng)作物分類結(jié)果
圖6 Bi-LSTM模型的精度統(tǒng)計圖
表2 分類模型的精度統(tǒng)計
與旱地作物不同,水稻種植期存在的特殊灌水期包含了區(qū)分水田的重要光譜特征,因此水稻的分類精度較高,其用戶精度在96%以上,其他作物誤分為水稻的概率很低;而水稻的制圖精度稍低于用戶精度,這是因為受到云等因素的影響,部分像元時序中的低谷特征不明顯,導(dǎo)致水稻被誤分為其他類型。春玉米、棉花是研究區(qū)典型的一年一季旱地作物。春玉米的制圖精度較高,而用戶精度較低,這說明春玉米的識別特征被放大,有一部分其他農(nóng)作物被識別成了春玉米。盡管棉花的NDVI曲線形態(tài)與春玉米相近,但由于收獲時間不同,7、8月份的曲線特征存在差異。因此,從整個生長時序看,棉花與春玉米、水稻在不同的階段仍有較為明顯的區(qū)分特征,分類精度較高。
在基于單期或多期遙感影像分類中,人工林和荒地與生長季作物存在較大程度的誤分,因此本研究將其納入分類對象。由于人工林的生長周期顯著大于農(nóng)作物的種植周期,因而分類精度較高。與人工林相反,荒地的地表基本為雜草,其NDVI時間序列的峰值要遠低于人工林和各種農(nóng)作物,因此也較易區(qū)分。
為探索Bi-LSTM模型在分類任務(wù)中的優(yōu)勢,在相同數(shù)據(jù)源(全時序數(shù)據(jù))的情況下,將Bi-LSTM模型和SVM模型的分類結(jié)果進行了對比,模型的精度如表2所示。
從表2中可以看出,總體上Bi-LSTM模型的結(jié)果稍好。對于三類精度較高的植被類型或作物類型(人工林,荒地和冬小麥-夏玉米)來說,Bi-LSTM模型和SVM模型同樣可以取得較為滿意的結(jié)果。而在難以區(qū)分的四類(水稻、棉花、春玉米和冬小麥-夏大豆),Bi-LSTM模型的表現(xiàn)則更為突出。相比之下,SVM模型在水稻和春玉米的分類上有較大的“漏分”情況;在棉花和冬小麥-夏大豆的分類上有較大的“誤分”情況。這說明Bi-LSTM模型在針對春夏季難以區(qū)分的種植作物上具有優(yōu)勢。
此外,兩種模型在分類的細節(jié)上也顯示出一定的差異(圖7)。由于黃河三角洲地區(qū)以個體農(nóng)戶經(jīng)營為主,不同地塊間種植較為雜亂。SVM分類器在這些細節(jié)處的“椒鹽”現(xiàn)象嚴重,地塊內(nèi)部不均勻且邊界輪廓線模糊。相比之下,采用Bi-LSTM模型得到的結(jié)果分類噪聲明顯減少,地塊內(nèi)部相對均勻,邊界清晰,有利于多種農(nóng)作物的分類與制圖。
本研究利用訓(xùn)練區(qū)樣本得到的模型對研究區(qū)作物結(jié)構(gòu)進行分類識別,因此,研究區(qū)的分類精度一定程度上反映了模型的泛化能力。訓(xùn)練區(qū)(圖2-A)的驗證精度由訓(xùn)練集誤差直接得到,其結(jié)果往往高于研究區(qū)的泛化精度。SVM和Bi-LSTM模型的驗證精度都非常高,分別為96.7%和97.4%,這表明二者均對訓(xùn)練數(shù)據(jù)集進行了充分的信息挖掘。但是當把模型泛化到研究區(qū)時,二者出現(xiàn)了較大的區(qū)別,Bi-LSTM模型精度依舊保持在較高的水平(90.9%),而SVM的泛化精度下降至84.8%,出現(xiàn)了明顯衰減。這表明,Bi-LSTM模型在多分類任務(wù)中具有更好的預(yù)測精度和魯棒性,即使處理有一定特征變化的新的樣本,模型也可以較準確地提取主要特征并歸類,這保證了模型的泛化能力和穩(wěn)定性。
圖7 不同分類方法制圖細節(jié)對比
為了進一步驗證模型在更大區(qū)域上的泛化能力,選擇研究區(qū)之外的3個典型農(nóng)業(yè)種植區(qū)進行模型測試,其分類結(jié)果和精度如圖8和表3所示。
結(jié)果表明,在3個典型農(nóng)作物的種植區(qū),Bi-LSTM的結(jié)果優(yōu)于SVM的結(jié)果,平均泛化精度高4.5%。在河口種植區(qū),水稻沿河流分布,其Bi-LSTM泛化精度比SVM模型高6.4%,錯分類型主要為春玉米和荒地。由于受到云層遮蓋與混合像元的影響,錯分區(qū)域的水稻曲線灌水特征不明顯,是導(dǎo)致錯分的主要原因。在廣饒種植區(qū),模型遷移后春玉米被錯分為棉花,沒有被錯分為水稻與荒地,說明模型識別一年一季旱地作物的能力較強,但在區(qū)分相似的春玉米與棉花時精度稍低,Bi-LSTM模型的泛化精度為90.3%,優(yōu)于SVM模型。冀州種植區(qū)是北方典型的冬小麥-夏玉米種植區(qū),其種植物候稍早于訓(xùn)練樣本區(qū)[31],冬小麥-夏大豆種植模式并不常見。但是由于夏玉米與夏大豆的NDVI曲線特征非常相似,當訓(xùn)練區(qū)模型泛化到該區(qū)域時,仍有少量冬小麥-夏玉米類別被錯分為冬小麥-夏大豆,導(dǎo)致模型泛化精度較低,Bi-LSTM模型的泛化精度為83.6%,而SVM泛化精度為78.7%。
綜合來說,由于訓(xùn)練區(qū)域與分類區(qū)域不同,分類區(qū)域中的變化特征檢測了模型在面對新的樣本的泛化能力。而Bi-LSTM模型的泛化精度較高的結(jié)果表明,它具有更好的提取特征并泛化推廣的能力,以及穩(wěn)定的魯棒性。與傳統(tǒng)模型相比,即使處理與訓(xùn)練樣本庫不同的新樣本,Bi-LSTM模型也可以保證較好的識別結(jié)果。
表3 泛化能力測試區(qū)模型精度統(tǒng)計
左側(cè)圖為Bi-LSTM結(jié)果,右側(cè)圖為SVM結(jié)果,A、B圖為河口種植區(qū),C、D圖為廣饒種植區(qū),E、F圖為冀州種植區(qū)
不同月份時間長度遙感時序數(shù)據(jù)作為輸入的模型結(jié)果如表4和圖9所示。
從圖9和表4中可以看出,不同類型的農(nóng)作物F1分數(shù)曲線的特點和最早可識別時間有很大不同。一年兩季類型包括冬小麥-夏大豆和冬小麥-夏玉米,若不加區(qū)分,冬小麥在冬季就可以達到很高的識別精度,僅使用一個月的曲線便可以達到0.77的F1值,而4月份小麥進入拔節(jié)期,NDVI指數(shù)明顯增大,遠高于其他農(nóng)作物及植被,因此在4月份便可以達到0.87的F1分數(shù),最早可識別時間為4月份。若將夏玉米和夏大豆加以區(qū)別,則10月份是夏玉米的可識別時間,此時玉米已成熟,NDVI變化明顯;而夏大豆識別精度較低,使用全生長季數(shù)據(jù)依然無法得到令人滿意的單分類結(jié)果。
表4 不同月份數(shù)據(jù)長度精度統(tǒng)計
圖9 不同月份數(shù)據(jù)F1分數(shù)統(tǒng)計圖
在一年一季作物中,水稻較為特殊,5月份的灌水期是其識別的重要時間。因此在5月份,水稻的F1分數(shù)有一個明顯的提升。而在6月份進入快速生長期,NDVI值迅速上升,此差異進一步提升了水稻的分類精度,最早可識別時間為6月份。棉花和春玉米的種植和生長周期較為相似,但春玉米種植和收獲早于棉花1—2個月,春玉米在9月份收獲,棉花在10—11月份收獲。在對這兩種作物進行早期識別時,作物時序NDVI特征不夠明顯,只有較為完整的曲線才可以保證較高的精度,因此春玉米的最早可識別時間為9月份,而棉花的最早可識別時間為10月份。
總體來看,不同作物與種植類型的最早可識別時間與該類作物的生長階段特征關(guān)系明顯,并且在該作物出現(xiàn)較為獨特、明顯的特征后精度會有較大幅度的提升,如冬小麥、水稻等;同時也存在早期特征不明顯,需要完整生長序列才能保證精度的類型,如棉花、春玉米等。從多種作物的總體精度看,總體精度隨著數(shù)據(jù)時間序列長度增加而不斷提高。在3月份到5月份增長明顯,分類精度有明顯提升,說明這一時期的數(shù)據(jù)具有較多的信息量。在5月份到9月份不斷提升,說明時間序列長度的增加可以有效提升分類精度。而在9月份之后,精度提升效果不明顯,因此,大多數(shù)作物在9月份可以達到85%以上的精度,是一個較為理想的水平。
與傳統(tǒng)的單多期影像相比,結(jié)構(gòu)化的時間序列數(shù)據(jù)可以屏蔽天氣的影響,同時蘊含著更多的信息,有利于提取植被物候特征[32]。生長期相近的作物往往難以區(qū)分[8],例如水稻、棉花和玉米。但不同作物在生長過程中存在不同的快速增長期,這種信息會反應(yīng)在NDVI時序數(shù)據(jù)的斜率和權(quán)重上,是單多期影像無法提供的關(guān)鍵區(qū)分信息[17]。
Bi-LSTM是一種專注于探究時序數(shù)據(jù)前后邏輯關(guān)系的循環(huán)神經(jīng)網(wǎng)絡(luò)模型,它可以充分利用結(jié)構(gòu)化的時間標簽信息。本研究采用高頻時序NDVI數(shù)據(jù)作為輸入,進一步證明該模型在挖掘植被生長過程中NDVI變化特征的優(yōu)勢。一些研究已顯示了循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用于作物分類的優(yōu)勢。Kwak等[19]研究表明,當難以獲得覆蓋作物整個生長周期的完整時間序列圖像時,該模型通過考慮時間序列圖像在前向和后向的時間依賴性來彌補信息的不足,可以有效地應(yīng)用于作物分類。用于玉米和大豆的分類制圖時,Xu等[33]發(fā)現(xiàn),循環(huán)神經(jīng)網(wǎng)絡(luò)能夠從關(guān)鍵的生長階段捕捉到了關(guān)鍵信息,在7月初以后取得了比其他模型更高的準確率。另外,Bi-LSTM模型不但考慮歷史信息,還考慮了未來輸入的影響[19],也即在作物分類任務(wù)中更加充分地考慮了序列在整體時間段上的變化與分布,如整體的高低位轉(zhuǎn)換模式。因此模型通過對時序數(shù)據(jù)特征學(xué)習(xí),能對作物生長階段信息進行有效的考慮,進一步改善作物識別精度。
當應(yīng)用訓(xùn)練區(qū)得到的模型對研究區(qū)和其他幾個測試區(qū)進行分類時,Bi-LSTM模型都表現(xiàn)出較高的分類精度,總體上比SVM模型具有更好的分類效果,說明Bi-LSTM模型具有良好的泛化能力。這可能與Bi-LSTM模型的強學(xué)習(xí)能力有關(guān)。Bi-LSTM模型中LSTM層接受輸入的時序數(shù)據(jù)之后,利用其處理上下文信息的能力和記憶能力有可能挖捕捉到時序數(shù)據(jù)中潛在的非線性特征[34],而多層與雙向的LSTM結(jié)構(gòu)進一步提高了模型容量與提取特征的能力[27]。之后利用激活函數(shù)對特征進行處理,更好地表達時序數(shù)據(jù)中的信息并輔助最終數(shù)據(jù)分類任務(wù)。與之相比,SVM從線性分類模型改進而來,尋求樣本間隔最大化的分離超平面,從而實現(xiàn)對非線性數(shù)據(jù)的分類[35]。SVM可以通過核技巧使低維數(shù)據(jù)轉(zhuǎn)化為特征數(shù)據(jù)[36],同樣也有不錯的分類結(jié)果,但核的選擇與特征提取效果依賴于先驗知識與不斷反復(fù)試驗,在面對新樣本時提取特征能力弱于深度學(xué)習(xí)模型[34]。以水稻為例,野外調(diào)查發(fā)現(xiàn)黃河三角洲地區(qū)水稻種植的水源主要依賴于引黃灌溉,因此,水稻的播種需要視引黃灌溉的時間安排而定,移栽期在空間上存在較大差異,從5月中旬到6月下旬不等。而Bi-LSTM模型在泛化過程中對研究區(qū)之外水稻的識別依然保持較高的精度,這說明該模型在學(xué)習(xí)過程中,將水稻NDVI時序間的關(guān)系(形態(tài)、結(jié)構(gòu)等)作為有效的區(qū)分特征準確地識別出來,即使區(qū)域不同、物候特征存在一定偏差,Bi-LSTM模型依然能夠有效地把握其總體上的變化趨勢。
Bi-LSTM模型的泛化能力在相關(guān)研究中也得到一定驗證。在Xu等[33]開展大規(guī)模玉米和大豆制圖研究中,該模型的空間轉(zhuǎn)移能力明顯優(yōu)于隨機森林模型(random forest,RF)和多層感知機模型(multilayer perceptron,MLP),表明模型有能力從時間序列中學(xué)習(xí)可推廣的特征。這一優(yōu)勢對于大區(qū)域的作物分類制圖非常重要,因為全面樣本的選取通常費時費力,當采集的訓(xùn)練樣本無法覆蓋全面的種植類型特點時,樣本和地表真實情況存在一定的系統(tǒng)性誤差,影響傳統(tǒng)模型的分類精度。而采用泛化能力更強的深度學(xué)習(xí)模型進行分類制圖,可以一定程度上降低對樣本的依賴。
基于哨兵2號全年可用衛(wèi)星影像構(gòu)建了NDVI時間序列數(shù)據(jù),采用TensorFlow深度學(xué)習(xí)框架搭建了Bi-LSTM模型,對黃河三角洲地區(qū)的農(nóng)作物開展分類和早期識別研究,探究了深度學(xué)習(xí)模型在時間序列遙感作物分類中的潛力。主要結(jié)論如下:
(1)衛(wèi)星影像時間序列蘊含的結(jié)構(gòu)化特征信息可以有效地降低特定時段的作物光譜混淆,為作物和種植結(jié)構(gòu)精細分類提供了有力的支撐。結(jié)合深度學(xué)習(xí)模型,在應(yīng)用于黃河三角洲地區(qū)作物分類時,總體準確率達90.9%,Kappa系數(shù)達到0.892。
(2)Bi-LSTM模型能夠同時考慮前向和后向的時間狀態(tài)信息,可以學(xué)習(xí)作物不同階段的光譜變化特征,在水稻、棉花、春玉米等作物的識別上表現(xiàn)優(yōu)異。同時,模型能夠有效地把握樣本的變化趨勢與特征,因而在農(nóng)作物大區(qū)域分類任務(wù)中具有更好的泛化能力和魯棒性。
(3)不同類型的農(nóng)作物F1得分曲線的特點和最早可識別時間各不相同,與作物生長階段特征關(guān)系明顯。小麥為4月份、水稻為6月份、春玉米為9月份、棉花和夏玉米為10月份。本研究為開展典型作物早期識別制圖提供了依據(jù)。
(4)本研究只利用了NDVI時序特征進行作物分類,由于夏玉米和夏大豆之間生長季NDVI曲線變化相似,兩者之間仍有一定程度的誤分。進一步,可結(jié)合不同波段的光譜特征或融合其他數(shù)據(jù)源來提高夏玉米和夏大豆之間的識別精度。此外,模型的泛化能力還有待在更大區(qū)域上開展作物分類試驗。
[1] 張佳華, 胡小夏, 劉學(xué)鋒, 何貞銘. 基于MODIS數(shù)據(jù)提取華北典型區(qū)冬小麥種植面積. 中國科學(xué)院大學(xué)學(xué)報, 2013, 30(5): 637-643.
Zhang J H, Hu X X, Liu X F, He Z M. Extraction of winter wheat planting areas based on the time-series MODIS data in typical region of North China. Journal of University of Chinese Academy of Sciences, 2013, 30(5): 637-643. (in Chinese)
[2] 史舟, 梁宗正, 楊媛媛, 郭燕. 農(nóng)業(yè)遙感研究現(xiàn)狀與展望. 農(nóng)業(yè)機械學(xué)報, 2015, 46(2): 247-260.
SHI Z, LIANG Z Z, YANG Y Y, GUO Y. Status and prospect of agricultural remote sensing. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247-260. (in Chinese)
[3] 陳仲新, 任建強, 唐華俊, 史云, 冷佩, 劉佳, 王利民, 吳文斌, 姚艷敏, 哈斯圖亞. 農(nóng)業(yè)遙感研究應(yīng)用進展與展望. 遙感學(xué)報, 2016, 20(5): 748-767.
CHEN Z X, REN J Q, TANG H J, SHI Y, LENG P, LIU J, WANG L M, WU W B, YAO Y M, Hasi T y. Progress and perspectives on agricultural remote sensing research and applications in China. Journal of Remote Sensing, 2016, 20(5): 748-767. (in Chinese)
[4] deCastro A I, TORRES-SáNCHEZ J, PENA J M, JIMENEZ- BRENES F M, CSILLIK O, LOPEZ-GRANADOS F. An automatic random forest-OBIA algorithm for early weed mapping between and within crop rows using UAV Imagery. Remote Sensing, 2018, 10(2): 285.
[5] 郝鵬宇, 唐華俊, 陳仲新, 牛錚. 基于歷史增強型植被指數(shù)時序的農(nóng)作物類型早期識別. 農(nóng)業(yè)工程學(xué)報, 2018, 34(13): 179-186.
HAO P Y, TANG H J, CHEN Z X, NIU Z. Early season crop type recognition based on historical EVI time series. Transactions of the Chinese Society of Agricultural Engineering, 2018, 34(13): 179-186. (in Chinese)
[6] AZAR R, VILLA P, STROPPIANA D, CREMA A, BOSCHETTI M, BRIVIO P A. Assessing in-season crop classification performance using satellite data: a test case in Northern Italy. European Journal of Remote Sensing, 2016, 49(1): 361-380.
[7] 趙麗花, 李衛(wèi)國, 杜培軍. 基于多時相HJ衛(wèi)星的冬小麥面積提取. 遙感信息, 2011, 26(2): 41-45, 50.
ZHAO L H, LI W G, DU P J. The area extraction of winter wheat based on multi-temporal HJ remote sensing satellite images. Remote Sensing Information, 2011, 26(2): 41-45, 50. (in Chinese)
[8] YOU N S, DONG J W. Examining earliest identifiable timing of crops using all available Sentinel 1/2 imagery and Google Earth Engine. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 161: 109-123.
[9] REN T W, LIU Z, ZHANG L, LIU D Y, XI X J, KANG Y H, ZHAO Y Y, ZHANG C, LI S M, ZHANG X D. Early identification of seed maize and common maize production fields using sentinel-2 images. Remote Sensing, 2020, 12(13): 2140.
[10] VRIELING A, MERONI M, DARVISHZADEH R, SKIDMORE A K, WANG T J, ZURITA-MILLA R, OOSTERBEEK K, O’CONNOR B, PAGANINI M. Vegetation phenology from Sentinel-2 and field cameras for a Dutch barrier island. Remote Sensing of Environment, 2018, 215: 517-529.
[11] SUN Z H, DI L P, FANG H. Using long short-term memory recurrent neural network in land cover classification on Landsat and Cropland data layer time series. International Journal of Remote Sensing, 2019, 40(2): 593-614.
[12] WANG Y M, ZHANG Z, FENG L W, MA Y C, DU Q Y. A new attention-based CNN approach for crop mapping using time series Sentinel-2 images. Computers and Electronics in Agriculture, 2021, 184: 106090.
[13] QU Y, ZHAO W Z, YUAN Z L, CHEN J G. Crop mapping from sentinel-1 polarimetric time-series with a deep neural network. Remote Sensing, 2020, 12(15): 2493.
[14] 楊麗, 吳雨茜, 王俊麗, 劉義理. 循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述. 計算機應(yīng)用, 2018, 38(S2): 1-6, 26.
YANG L, WU Y X, WANG J L, LIU Y L. Research on recurrent neural network. Journal of Computer Applications, 2018, 38(S2): 1-6, 26. (in Chinese)
[15] LUO C, MENG S Y, HU X, WANG X Y, ZHONG Y F. Cropnet: Deep Spatial-Temporal-Spectral Feature Learning Network for crop classification from Time-Series Multi-Spectral Images//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 4187-4190.
[16] KUSSUL N, LAVRENIUK M, SHUMILO L. Deep Recurrent Neural Network for crop classification task based on Sentinel-1 and Sentinel-2 imagery//Proceedings of the IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium, 2020, 6914-6917.
[17] ZHOU Y N, LUO J C, FENG L, YANG Y P, CHEN Y H, WU W. Long-short-term-memory-based crop classification using high-resolution optical images and multi-temporal SAR data. GIScience & Remote Sensing, 2019, 56(8): 1170-1191.
[18] SCHUSTER M, PALIWAL K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 1997, 45(11): 2673-2681.
[19] KWAK G H, PARK M G, PARK C W, LEE K D, NA S I, AHN H Y, PARK N W. Combining 2D CNN and bidirectional LSTM to consider spatio-temporal features in crop classification. Korean Journal of Remote Sensing, 2019, 35(51): 681-692.
[20] 畢愷藝, 牛錚, 黃妮, 康峻, 裴杰. 基于Sentinel-2A時序數(shù)據(jù)和面向?qū)ο鬀Q策樹方法的植被識別. 地理與地理信息科學(xué), 2017, 33(5): 16-20, 27, 127.
BI K Y, NIU Z, HUANG N, KANG J, PEI J. Identifying vegetation with decision tree model based on object-oriented method using multi-temporal sentinel-2A images. Geography and Geo-Information Science, 2017, 33(5): 16-20, 27, 127. (in Chinese)
[21] SANCHEZ A H, PICOLI M C A, CAMARA G, ANDRADE P R, CHAVES M E D, LECHLER S, SOARES A R, MARUJO R E B, SIMBES R E O, FERREIRA K R, QUEIROZ G R. Comparison of Cloud cover detection algorithms on sentinel–2 images of the amazon tropical forest. Remote Sensing, 2020, 12(8): 1284.
[22] JIMéNEZ-MU?OZ J C, SOBRINO J A, PLAZA A, GUANTER L, MORENO J, MARTINEZ P. Comparison between fractional vegetation cover retrievals from vegetation indices and spectral mixture analysis: Case study of PROBA/CHRIS data over an agricultural area. Sensors, 2009, 9(2): 768-793.
[23] HOCHREITER S, SCHMIDHUBER J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780.
[24] CHO K, VAN MERRIENBOER B V, BAHDANAU D, BENGIO Y. On the properties of neural machine translation: Encoder-decoder approaches//Proceedings of SSST-8, Eighth Workshop on Syntax, Semantics and Structure in Statistical Translation, 2014, 103-111.
[25] 趙紅偉, 陳仲新, 劉佳. 深度學(xué)習(xí)方法在作物遙感分類中的應(yīng)用和挑戰(zhàn). 中國農(nóng)業(yè)資源與區(qū)劃, 2020, 41(2): 35-49.
ZHAO H W, CHEN Z X, LIU J. Deep learning for crop classification of remote sensing data: applications and challenges. Chinese Journal of Agricultural Resources and Regional Planning, 2020, 41(2):35-49. (in Chinese)
[26] ZHAO S, LIU X N, DING C, LIU S Y, WU C S, Wu L. Mapping rice paddies in complex landscapes with convolutional neural networks and phenological metrics. GIScience & Remote Sensing, 2020, 57(1): 37-48.
[27] KWAK G H, PARK C W, AHN H Y, NA S I, LEE K D, PARK N W. Potential of bidirectional long short-term memory networks for crop classification with multitemporal remote sensing images. Korean Journal of Remote Sensing, 2020, 36(4): 515-525.
[28] RU?WURM M, K?RNER M. Self-attention for raw optical satellite time series classification. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 169: 421-435.
[29] GOODFELLOW I, BENGIO Y, COURVILLE A. Deep Learning. Massachusetts: MIT Press, 2016.
[30] QUI?ONERO-CANDELA J, SUGIYAMA M, SCHWAIGHOFER A, LAWRENCE N D. Dataset Shift in Machine Learning. Massachusetts: MIT Press, 2009.
[31] 潘海珠. 基于作物多模型遙感數(shù)據(jù)同化的區(qū)域冬小麥生長模擬研究[D]. 北京: 中國農(nóng)業(yè)科學(xué)院, 2020.
PAN H Z. Winter wheat growth simulation based on multiple crop models and remote sensing data assimilation[D]. Beijing: Chinese Academy of Agricultural Sciences, 2020. (in Chinese)
[32] ZENG L L, WARDLOW B D, XIANG D X, HU S, LI D R. A review of vegetation phenological metrics extraction using time-series, multispectral satellite data. Remote Sensing of Environment, 2020, 237: 111511.
[33] XU J F, ZHU Y, ZHONG R H, LIN Z X, XU J L, JIANG H, HUANG J F, LI H F, LIN T. DeepCropMapping: A multi-temporal deep learning approach with improved spatial generalizability for dynamic corn and soybean mapping. Remote Sensing of Environment, 2020, 247: 111946.
[34] LAKSHMINARAYANAN S K, MCCRAE J P. A comparative study of SVM and LSTM deep learning algorithms for stock market prediction //proceedings of the AICS, 2019, 446-457.
[35] 龐敏. 基于LSTM混合模型的時間序列預(yù)測[D]. 武漢: 華中科技大學(xué), 2019.
PANG M. Time series forecasting based on LSTM hybrid model[D]. Wuhan: Huazhong University of Science & Technology, 2019. (in Chinese)
[36] CHEN P H, LIN C J, SCH?LKOPF B. A tutorial on ν-support vector machines. Applied Stochastic Models in Business and Industry, 2005, 21(2): 111-136.
Crop Classification with Time Series Remote Sensing based on Bi-LSTM Model
HUANG Chong1, 3, HOU XiangJun1, 2
1Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences/State Key Laboratory of Resources and Environmental Information System, Beijing 100101;2University of Chinese Academy of Sciences, Beijing 100049;3CAS Engineering Laboratory for Yellow River Delta Modern Agriculture, Beijing 100101
【Objective】Timely and accurate crop classification mapping is an important basis for agricultural situation monitoring. This study explores the potential of deep learning in time series remote sensing crop classification and early identification based on a bidirectional long short-term memory network model.【Method】In this paper, Yellow River Delta region was chosen as an example and a time-series NDVI dataset were constructed by using Sentinel-2 year-round available satellite images as the data source. A recurrent neural network architecture is used to build a bidirectional long short-term memory (Bi-LSTM) model for structured time-series remote sensing data to carry out crop classification, then the generalization ability of the model is evaluated. Through adjusting the length of time series, we explore the earliest identifiable time of different crops under the condition of satisfying certain mapping accuracy.【Result】 Growth characteristics represented by time series remote sensing images have great potential to discriminate different crops. The overall accuracy of the Bi-LSTM model reached 90.9% with a Kappa coefficient of 0.892. By testing the effects of different time series lengths on crop classification, the earliest identifiable time of typical crops was obtained. The accuracy of crops such as winter-wheat and rice could improve significantly after the emergence of unique characteristics. Crops such as cotton and spring maize required complete growth sequences to ensure classification accuracy.【Conclusion】The structured feature information embedded in satellite image time series could effectively reduce crop spectral confusion at specific time periods. The Bi-LSTM model was able to consider both forward and backward temporal state information and could learn the spectral change characteristics of crops, which was excellent in the identification of confusing crops such as rice, cotton and spring maize. In addition, the deep learning model could effectively capture the variation trend on the sample in general, and showed better generalization ability and robustness in the crop multi-classification task. This study provided a feasible idea for regional crop mapping with high accuracy by integrating deep learning and remote sensing time series.
crop classification; early identification; time-series remote sensing; Bi-LSTM model; model generalization
10.3864/j.issn.0578-1752.2022.21.005
2021-12-14;
2022-04-18
中國科學(xué)院戰(zhàn)略性先導(dǎo)科技專項(XDA23050101)
黃翀(通信作者),E-mail:huangch@lreis.ac.cn
(責(zé)任編輯 楊鑫浩)