基于深度學習的作物長勢監(jiān)測和產(chǎn)量估測研究進展

王鵬新 田惠仁 張 悅 韓 東 王 婕 尹 猛

(中國農(nóng)業(yè)大學信息與電氣工程學院， 北京 100083)

0 引言

作物長勢是糧食產(chǎn)量估測與預(yù)測的重要信息來源，對于我國糧食安全和貿(mào)易具有重大價值。其中遙感技術(shù)具有覆蓋范圍廣、重訪周期短、數(shù)據(jù)獲取成本相對低等優(yōu)勢，在作物長勢監(jiān)測和產(chǎn)量估測中扮演著重要的角色。目前作物估產(chǎn)方法主要包括基于作物生長模型的估產(chǎn)方法和基于統(tǒng)計回歸的經(jīng)驗估產(chǎn)方法?；谧魑锷L模型估產(chǎn)方法的最大特點是機理性強，但由于作物生長模型的參數(shù)眾多，對于區(qū)域尺度的作物估產(chǎn)，往往無法充分獲取作物生長模型所需的參數(shù)，在一定程度上限制了作物生長模型在大范圍作物估產(chǎn)中的廣泛應(yīng)用[1-2]?；诮y(tǒng)計回歸模型的估產(chǎn)方法無需輸入大量參數(shù)，因此更適用于區(qū)域的作物單產(chǎn)估測?；诮y(tǒng)計回歸模型的作物估產(chǎn)方法包括線性模型方法和非線性模型方法。由于農(nóng)田生態(tài)系統(tǒng)較為復(fù)雜，涉及的許多過程都是非線性的，作物長勢和產(chǎn)量形成的機理通常表現(xiàn)為非線性[3-6]，因此，目前研究者更多地使用非線性模型來監(jiān)測作物長勢和估測單產(chǎn)，如支持向量回歸(Support vector regression，SVR)、隨機森林(Random forest，RF)和人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network，ANN)等[7-12]。在機器學習模型中，ANN由于能夠?qū)W習和存儲大量輸入-輸出模式的映射關(guān)系，可以得到較高的精度，并且存在一些衍生形式，如MAYA GOPAL等[13]在多元線性回歸(Multiple linear regression，MLR)與ANN基礎(chǔ)上提出了MLR-ANN混合模型，以提高作物產(chǎn)量估測精度。JOHNSON等[14]利用貝葉斯神經(jīng)網(wǎng)絡(luò)(Bayesian neural network，BNN)對加拿大大草原的作物產(chǎn)量進行估測。然而，這種傳統(tǒng)機器學習方法對于捕獲數(shù)據(jù)間復(fù)雜的非線性關(guān)系的能力較為有限，深度學習能夠提取多尺度和多層次特征并將這些特征組合抽象成高層次特征[15-18]。因此，深度學習模型的表現(xiàn)優(yōu)于傳統(tǒng)機器學習模型，在利用遙感數(shù)據(jù)進行長勢監(jiān)測和產(chǎn)量估測方面表現(xiàn)出巨大的潛力[19]。

本文所涉及的區(qū)域尺度作物長勢監(jiān)測是指利用低空間分辨率的遙感數(shù)據(jù)及其產(chǎn)品進行的監(jiān)測，而田塊尺度作物長勢監(jiān)測是指利用中高空間分辨率的遙感數(shù)據(jù)及其產(chǎn)品進行的監(jiān)測。隨著精準農(nóng)業(yè)的發(fā)展以及深度學習方法在區(qū)域尺度長勢監(jiān)測及產(chǎn)量估測中的廣泛應(yīng)用，將深度學習運用于田塊尺度作物長勢監(jiān)測及產(chǎn)量估測成為目前研究熱點之一。在田塊尺度進行作物長勢監(jiān)測時要求遙感影像在時間和空間上具有高分辨率特征[20]。目前依據(jù)遙感平臺的不同，可分為基于無人機平臺和基于衛(wèi)星平臺的田塊尺度作物長勢監(jiān)測及產(chǎn)量估測。

本文基于深度學習模型，在區(qū)域尺度和田塊尺度對作物長勢監(jiān)測的研究進展及趨勢進行綜述，一方面在區(qū)域尺度對深度學習模型樣本、模型結(jié)構(gòu)及其優(yōu)化進行歸納總結(jié)，一方面針對遙感數(shù)據(jù)獲取平臺的不同，分別從無人機平臺和衛(wèi)星平臺總結(jié)和分析田塊尺度作物長勢監(jiān)測和產(chǎn)量估測的進展。在此基礎(chǔ)上，針對深度學習存在的問題與發(fā)展趨勢分析，提出今后的重點發(fā)展方向。

1 區(qū)域尺度的作物長勢監(jiān)測和產(chǎn)量估測研究進展

遙感數(shù)據(jù)具有明顯的大數(shù)據(jù)特征，是作物長勢監(jiān)測的主要數(shù)據(jù)源。作物長勢與其單產(chǎn)密切相關(guān)，受光、溫、水、土、肥等因子影響，是表征農(nóng)情和進行作物產(chǎn)量估測預(yù)測的重要指標之一，而應(yīng)用遙感技術(shù)表征的與作物長勢密切相關(guān)的監(jiān)測指標是這些因子綜合作用的結(jié)果。因此，多種參數(shù)結(jié)合被廣泛地應(yīng)用于區(qū)域尺度的作物長勢監(jiān)測和產(chǎn)量估測研究中。近年來，隨著大數(shù)據(jù)技術(shù)與深度學習在各領(lǐng)域應(yīng)用的逐步深入，開展基于多參數(shù)和深度學習的從數(shù)據(jù)到數(shù)據(jù)的作物長勢信息提取是一個重要的研究方向。因此，本文從模型樣本和模型構(gòu)建與優(yōu)化兩方面，對深度學習模型在區(qū)域尺度的作物長勢監(jiān)測和產(chǎn)量估測進行描述和總結(jié)。

1.1 模型樣本

1.1.1樣本構(gòu)建

人工神經(jīng)網(wǎng)絡(luò)和深度學習模型通常需要大量的訓練樣本，并且利用樣本以實現(xiàn)對特征的提取。因此，選擇合適的樣本是一個必不可少的步驟[21]。盡管作物生長狀況受多種因素的影響，且其生長過程又是一個非常復(fù)雜的生物生理過程，但作物生長狀況可以用一些與其生長過程密切相關(guān)的參數(shù)進行表征[22-23]。在基于遙感數(shù)據(jù)進行作物長勢監(jiān)測的參數(shù)中(表1)，主要包括植被指數(shù)、生物物理參數(shù)和生長環(huán)境參數(shù)[23-25]。其中，最常用的是利用植被光譜響應(yīng)敏感波段構(gòu)建能夠反映作物生長狀況的遙感指數(shù)進行監(jiān)測，歸一化植被指數(shù)(Normalized difference vegetation index，NDVI)的應(yīng)用最為廣泛。目前，國內(nèi)外學者利用NDVI等植被指數(shù)進行了大量研究[14,26-29]，并且發(fā)現(xiàn)，相比于基于單生育時期植被指數(shù)，綜合多生育時期的植被指數(shù)與作物長勢和單產(chǎn)具有更高的相關(guān)性[30-34]，這為在區(qū)域和國家范圍內(nèi)將多生育時期的植被指數(shù)與作物產(chǎn)量聯(lián)系起來的眾多研究奠定了基礎(chǔ)。此外，一些學者也開展了以常見作物長勢指標，如葉面積指數(shù)(Leaf area index，LAI)、條件溫度指數(shù)(Temperature condition index，TCI)、條件植被指數(shù)(Vegetation condition index，VCI)、條件植被溫度指數(shù)(Vegetation temperature condition index，VTCI)等進行樣本的適用性和有效性評價研究，為提高作物長勢監(jiān)測的準確性發(fā)揮了重要作用[35-37]。BOLTON等[38]基于MODIS NDVI、歸一化差異水分指數(shù)(Normalized difference water index，NDWI)和使用2個波段的增強植被指數(shù)(Two-band enhanced vegetation index，EVI2)作為特征參數(shù)預(yù)測美國中部玉米和大豆的單產(chǎn)，結(jié)果表明在玉米返青期后的65～75 d和大豆返青期后的80 d，EVI2與非干旱縣玉米單產(chǎn)之間具有較高的相關(guān)性，而NDWI對半干旱縣的玉米單產(chǎn)估測性能更好。

由于作物生長受到光照、氣溫、降水等多種環(huán)境因素的影響，因此每年的產(chǎn)量會因環(huán)境因素在年際間的改變而出現(xiàn)明顯差異。此外，隨著高時間分辨率衛(wèi)星數(shù)據(jù)產(chǎn)品的積累(如MODIS數(shù)據(jù))和遙感大數(shù)據(jù)技術(shù)的發(fā)展，時間序列數(shù)據(jù)作為模型樣本在現(xiàn)階段獲得了廣泛的應(yīng)用。因此，用于訓練深度學習模型的樣本主要包括基于多生育時期和長時間序列的遙感數(shù)據(jù)和氣象數(shù)據(jù)，為進一步提高長勢監(jiān)測精度提供了依據(jù)[39-42]。

除上述遙感數(shù)據(jù)和氣象數(shù)據(jù)作為樣本的作物長勢監(jiān)測和產(chǎn)量估測外，國內(nèi)外學者也陸續(xù)開展了以作物品質(zhì)為樣本的長勢監(jiān)測和產(chǎn)量估測研究[43-44]。從研究對象來看，主要集中在小麥與水稻兩大糧食作物上，以籽粒蛋白質(zhì)品質(zhì)監(jiān)測預(yù)報居多[2,45]。由于隨著作物品種的提高和科技的進步，好的品種對特定疾病或蟲害的抵抗力更強，并且它們適應(yīng)了以氣候和土壤等多種條件為特征的特定環(huán)境[46-47]。因此，利用作物品質(zhì)作為樣本對于提高估產(chǎn)精度具有重要的作用。

表1 主要遙感指標及適用性Tab.1 Major remote sensing indices and applicability

1.1.2樣本擴充

深度學習是一種數(shù)據(jù)驅(qū)動的技術(shù)，模型通常具有較為復(fù)雜的結(jié)構(gòu)，需要大量的訓練樣本量使得深度學習模型學習到可能的分布[48-49]。然而，受作物品種特性和科技進步的影響，作物長勢監(jiān)測和估產(chǎn)模型的構(gòu)建一般是應(yīng)用近5年的數(shù)據(jù)[50]，能作為訓練樣本的數(shù)據(jù)有限，而深度學習模型對訓練樣本的要求較高，并且在較大規(guī)模樣本的訓練下可達到較高的精度，在較小規(guī)模樣本下易出現(xiàn)過擬合現(xiàn)象。因此使用數(shù)據(jù)增強技術(shù)進行樣本集的擴充對于在一定程度上改善樣本量的限制和解決過擬合問題有重要作用，從而改進整體學習過程并獲得最佳性能。

INOUE[51]提出一種高效的數(shù)據(jù)增強方法Sample Pairing，它簡單易操作，并且與具體數(shù)據(jù)無關(guān)，通過從訓練集中隨機抽取兩個樣本，以平均值的方式合成一個新的樣本。ZHANG等[52]通過引入Mixup方法構(gòu)建虛擬訓練樣本，此方法同樣隨機選擇兩個樣本，以一個服從Beta分布的比例進行疊加，從而改進了Sample Pairing在ImageNet、CIFAR、語音和表格數(shù)據(jù)集中的泛化誤差，且有助于消除對錯誤標簽的記憶、對對抗樣本的敏感性以及對對抗訓練的不穩(wěn)定性。由于在樣本中類不平衡是一種很常見的現(xiàn)象，因此對原始數(shù)據(jù)過采樣來處理樣本不平衡問題也是一種數(shù)據(jù)增強方法。過采樣是以多數(shù)類樣本為標準，通過直接復(fù)制少數(shù)類樣本或者人工合成少數(shù)類樣本等方式提升少數(shù)類樣本的數(shù)量以達到擴充和平衡數(shù)據(jù)集的目的。其中比較經(jīng)典的是CHAWLA等[53]提出的合成少數(shù)類過采樣技術(shù)(Synthetic minority oversampling technique，SMOTE)，該算法通過k近鄰法代替原先的簡單隨機復(fù)制樣本法，合成新的少數(shù)類樣本。

當樣本數(shù)量較少時，傳統(tǒng)的Sample Pairing和Mixup等方法很難補充到樣本中隱含的潛在分布規(guī)律。生成式對抗網(wǎng)絡(luò)(Generative adversarial network，GAN)作為一種近年來最具潛力的非監(jiān)督數(shù)據(jù)增強技術(shù)，可以通過生成逼近訓練數(shù)據(jù)真實分布的樣本，從而實現(xiàn)對已有類別數(shù)據(jù)的模擬[54]。然而，GAN在基于梯度下降訓練時存在梯度消失的問題，導致優(yōu)化目標不連續(xù)。為了解決訓練梯度消失問題，ARJOVSKY等[55]提出了Wasserstein GAN(W-GAN)?？紤]到GAN的輸出為連續(xù)實數(shù)分布而無法產(chǎn)生離散空間的分布，YU等[56]提出了一種能夠生成離散序列的生成式模型Seq-GAN。針對模型的不同問題，各種基于GAN 的衍生模型相繼被提出，從而進一步提高對抗網(wǎng)絡(luò)的生成和判別能力，并學習出新的、更具代表性的樣本。

1.2 作物長勢監(jiān)測和產(chǎn)量估測深度學習模型

盡管深度學習模型具有良好的通用性，但單一的網(wǎng)絡(luò)框架不能解決所有問題。迄今為止，已經(jīng)開發(fā)了不同的深度學習模型來實現(xiàn)對不同作物的產(chǎn)量估測，從而證明了深度學習網(wǎng)絡(luò)框架的重要性。主流的深度學習模型包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)和循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)，下面進一步開展對每個模型結(jié)構(gòu)及其優(yōu)化的歸納總結(jié)。此外，針對深度學習模型可解釋性弱的問題，優(yōu)化模型結(jié)構(gòu)從而提高模型可解釋性。

1.2.1CNN及其優(yōu)化

圖1 2D Histogram CNN估產(chǎn)架構(gòu)[57]Fig.1 Architecture of 2D Histogram CNN yield estimation

相比于ANN，CNN更加易于訓練，對于大型圖像處理有出色的表現(xiàn)。CNN是一種既有深度結(jié)構(gòu)又包含卷積計算的深層前饋神經(jīng)網(wǎng)絡(luò)，是深度學習的常用算法之一。CNN的設(shè)計思想受到了視覺神經(jīng)科學的啟發(fā)，主要由卷積層(Convolutional layer)和池化層(Pooling layer，也稱子采樣層)組成。CNN本質(zhì)上是實現(xiàn)一種輸入到輸出的映射關(guān)系，通過訓練數(shù)據(jù)來進行學習，使得輸出數(shù)據(jù)和標簽數(shù)據(jù)共享相同的維度，避免了顯式的特征提取，而是隱式地從訓練數(shù)據(jù)中學習特征，且同一特征映射面上的神經(jīng)元權(quán)值相同，網(wǎng)絡(luò)可以并行學習，這也是CNN相對于其他神經(jīng)網(wǎng)絡(luò)的一個優(yōu)勢。因此，基于CNN模型的作物長勢監(jiān)測和產(chǎn)量估測研究取得了諸多成果，也激發(fā)了更多的研究者不斷挖掘[57-59]。如周亮等[60]使用MODIS數(shù)據(jù)構(gòu)建了基于CNN的冬小麥估產(chǎn)模型，該模型可以從遙感影像中有效地學習與冬小麥產(chǎn)量相關(guān)的特征，從而實現(xiàn)冬小麥單產(chǎn)的復(fù)雜擬合，對未來冬小麥產(chǎn)量預(yù)測可以做到實時高效。深度學習模型的訓練過程中存在大量需要探索的技巧，即需要對網(wǎng)絡(luò)結(jié)構(gòu)和各項參數(shù)(如神經(jīng)元、層數(shù)、濾波器大小、步幅、學習率和激活函數(shù)等)進行優(yōu)化來提高網(wǎng)絡(luò)的收斂性以及網(wǎng)絡(luò)的泛化能力[49]。為了提高學習效率，得到更高精度的估產(chǎn)模型，NEVAVUORI等[58]測試了CNN各方面(訓練算法的選擇、網(wǎng)絡(luò)深度、正則化策略和超參數(shù)的調(diào)整)對預(yù)測效率的影響，并確定了性能最佳的網(wǎng)絡(luò)，從而顯著提高了產(chǎn)量估測的精度。YOU等[57]提出了一種新的深度學習估產(chǎn)框架(2D Histogram CNN)(圖1)，其創(chuàng)新之處在于使用遙感影像的直方圖信息作為模型輸入，既達到了數(shù)據(jù)降維的效果，同時又取得較高的產(chǎn)量預(yù)測精度。TERLIKSIZ等[61]在YOU構(gòu)建的深度學習估產(chǎn)框架基礎(chǔ)上，利用遙感圖像的空間、時間和光譜維度，提出了一種用于大豆產(chǎn)量預(yù)測的3D CNN。研究結(jié)果表明，3D CNN產(chǎn)量預(yù)測精度顯著優(yōu)于2D Histogram CNN，并揭示了利用深度時空特征學習模型進行作物產(chǎn)量預(yù)測將是未來的一個發(fā)展方向。

1.2.2RNN及其優(yōu)化

圖2 基于物候的長短時記憶(LSTM)模型的單產(chǎn)估測結(jié)構(gòu)[68]Fig.2 Architecture of phenology-based LSTM yield estimation model

圖3 多級深度學習模型(MLDL-Net)架構(gòu)[69]Fig.3 Architecture of multilevel deep learning network (MLDL-Net) framework

圖4 用于縣級冬小麥產(chǎn)量估算的ALSTM模型的總體結(jié)構(gòu)[77]Fig.4 Overall structure of ALSTM model for county-level wheat yield estimation

1.2.3模型可解釋性

由于深度神經(jīng)網(wǎng)絡(luò)模型具有“黑盒”屬性，使得其可解釋性弱[19]。然而，在應(yīng)用深度學習模型開展作物長勢監(jiān)測和產(chǎn)量估測研究時，實驗或研究結(jié)果可能不理想，這就要求根據(jù)特定的問題與數(shù)據(jù)來制定和優(yōu)化深度學習的網(wǎng)絡(luò)結(jié)構(gòu)與訓練參數(shù)，以及學習策略等，以解決深度學習模型可解釋性弱的問題，因此深度學習模型的可解釋性成為目前的研究熱點之一。可解釋性可簡單地理解為用人們可理解的方式來解釋算法做出相應(yīng)決策的原因[19,71-72]。目前，對于深度學習模型的可解釋性研究主要有2類研究方法[73-74]：一是從模型的可解釋性分析入手，調(diào)整模型內(nèi)部參數(shù)，對系統(tǒng)得到的結(jié)果進行分析，判斷內(nèi)部參數(shù)對于結(jié)果的影響；二是從模型的構(gòu)建入手，直接構(gòu)建本身就具有可解釋性的模型，旨在學習更結(jié)構(gòu)化和可解釋的模型。后者往往具有更強的可解釋性，但建模難度很大，且與應(yīng)用領(lǐng)域密切相關(guān)。注意力機制是前者的典型代表，它與人類的選擇性視覺注意力機制類似，是通過掃描全局圖像獲取重點關(guān)注的目標區(qū)域。注意力機制主要是在Encoder-Decoder(編碼器-解碼器)模型框架下提出的，它通過對模型中不同關(guān)注部分賦予不同的權(quán)重，并從中抽取出更加重要和關(guān)鍵的信息，從而優(yōu)化模型并做出更為準確的判斷[70,75-76]。

目前已出現(xiàn)了一些基于注意力機制的產(chǎn)量估測模型。TIAN等[77]提出了基于注意力機制LSTM(LSTM neural network with an attention mechanism，ALSTM)的冬小麥單產(chǎn)估測模型(圖4)，該模型相比于LSTM不僅能夠提高估產(chǎn)精度，而且能夠提取更重要的特征變量，提高神經(jīng)網(wǎng)絡(luò)的可解釋性。為了能夠清楚了解時間累積效應(yīng)對于區(qū)域作物產(chǎn)量估計和不同地區(qū)作物生長的空間差異，LIN等[78]開發(fā)了一個名為DeepCropNet(DCN)的深度時空學習框架，其中時間特征由基于注意力機制的LSTM學習，空間特征由多任務(wù)學習(Multi-task learning，MTL)機制進行學習，分層捕獲縣級玉米長勢的特征。結(jié)果表明，DCN模型可以通過時間學習模塊識別玉米生長季節(jié)的關(guān)鍵生長階段，空間學習模塊根據(jù)MTL機制捕獲區(qū)域特定特征(如過度降雨、干旱、極端高溫)，DCN模型為氣候條件和生產(chǎn)水平差異大的區(qū)域下進行作物產(chǎn)量估測提供了一個發(fā)展方向。此外，林靖皓等[79]將CNN和雙向門控循環(huán)單元(Bidirectional gated recurrent unit，BiGRU)以統(tǒng)一的架構(gòu)組合，并在CNN和GRU之間引入自注意力機制(Self-attention)，開發(fā)了一種基于自注意力機制雙向門控循環(huán)單元和卷積神經(jīng)網(wǎng)絡(luò)組合(Self-attention C-BiGRU)的芒果產(chǎn)量預(yù)測模型。該模型利用CNN的卷積層提取局部特征，Self-attention用于進一步提取依賴特征，BiGRU充分考慮年份之間的關(guān)聯(lián)性，學習長期依賴特征，能夠更準確地學習影響產(chǎn)量的特征，從而在一定程度上提高了模型的可解釋性。

2 田塊尺度的作物長勢監(jiān)測和產(chǎn)量估測研究進展

隨著深度學習在區(qū)域尺度作物長勢監(jiān)測和產(chǎn)量估測研究的不斷深入，進一步細化研究尺度，將長勢監(jiān)測及產(chǎn)量估測研究具體到田塊尺度，推動精準農(nóng)業(yè)的持續(xù)發(fā)展成為目前的研究熱點之一。繼續(xù)沿用區(qū)域尺度作物長勢監(jiān)測所使用的1 km級別或者十幾天分辨率的遙感數(shù)據(jù)，均無法滿足田塊尺度監(jiān)測的需要。因此，使用高空間分辨率或同時具備高時空分辨率的遙感數(shù)據(jù)實現(xiàn)田塊尺度監(jiān)測成為解決此類問題的有效方法。本節(jié)回顧深度學習方法在田塊尺度作物長勢監(jiān)測及產(chǎn)量估測研究中應(yīng)用的進展，并根據(jù)遙感數(shù)據(jù)獲取平臺的不同，分為基于無人機平臺和基于衛(wèi)星平臺的田塊尺度作物長勢監(jiān)測和產(chǎn)量估測。

2.1 基于無人機平臺的田塊尺度作物長勢監(jiān)測和產(chǎn)量估測

無人機平臺因具有成本低、數(shù)據(jù)獲取效率高、測試高度及測試時間可按需調(diào)節(jié)等優(yōu)點[80-82]，在監(jiān)測作物長勢研究中具有地面平臺和高空平臺無法比擬的優(yōu)勢[83]，已被用于田塊尺度的農(nóng)情信息獲取。當研究尺度為田塊尺度時，影像的空間分辨率提高，包含了更為豐富的空間細節(jié)特征。不同于傳統(tǒng)方法僅可捕獲局部空間相關(guān)性[84]，深度學習方法可以同時獲取局部和全局的空間依賴特征[85]，提取更復(fù)雜的特征，從而獲得高精度的長勢監(jiān)測及產(chǎn)量估測結(jié)果。YANG等[86]基于無人機平臺獲取RGB和多光譜圖像，使用CNN架構(gòu)學習與水稻籽粒產(chǎn)量相關(guān)的重要特征從而實現(xiàn)在水稻成熟期的產(chǎn)量估測研究。隨著CNN模型的進一步發(fā)展，模型結(jié)構(gòu)復(fù)雜度逐漸提升，為減少模型運行的時間成本，吳剛等[87]在考慮無人機采集圖像特性的基礎(chǔ)上，選取深度合適、允許原始輸入信息直接傳到后面層中的ResNet18作為識別玉米植株圖像的基本網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)玉米作物營養(yǎng)狀況識別。針對長勢監(jiān)測過程中作物發(fā)生的倒伏情況，YANG等[88]利用無人機獲取影像，采用FCN-AlexNet和SegNet兩種神經(jīng)網(wǎng)絡(luò)架構(gòu)建立圖像語義分割模型，實現(xiàn)了大面積稻田的水稻倒伏情況估計。

為進一步研究不同CNN結(jié)構(gòu)對作物長勢監(jiān)測的適用情況，蔣楠等[89]通過無人機采集可見光影像，分別構(gòu)建基于AlexNet、VGGNet、GoogLeNet 3種網(wǎng)絡(luò)框架的CNN模型，實現(xiàn)了棉花花蕾期各項生長參數(shù)監(jiān)測，結(jié)果表明，AlexNet模型在株高和地上生物量方面表現(xiàn)最好；GoogLeNet模型在葉面積指數(shù)監(jiān)測方面性能最優(yōu)。張瑞杰等[90]利用無人機影像建立幼苗期油菜的可見光圖像數(shù)據(jù)集，并由農(nóng)學專家將作物長勢標注為好、一般、較差3種情況，選擇5種CNN模型：EfficientNet、ShuffleNet v2、ResNet、DenseNet、ResNeXt分別進行優(yōu)化和實驗，實驗結(jié)果顯示，DenseNet的識別精度最高，但是從綜合精度和推理時間來看ResNet的表現(xiàn)更佳。綜上可以看出，對于具體應(yīng)用場景，不同深度學習方法的適用性仍需要進一步研究。

利用深度學習方法基于無人機平臺進行作物長勢監(jiān)測時存在平臺容易受環(huán)境影響、無法大范圍長時間連續(xù)穩(wěn)定獲取作物影像、深度學習算法復(fù)雜性高及耗時長等不足。未來可以進一步完善無人機遙感技術(shù)，提高數(shù)據(jù)獲取及處理的穩(wěn)定性和一致性，從而確保獲取數(shù)據(jù)的準確性，實現(xiàn)長時間序列的作物長勢監(jiān)測和產(chǎn)量估測。此外，可嘗試通過改進深度學習算法，來提高算法學習效率。

2.2 基于衛(wèi)星平臺的田塊尺度作物長勢監(jiān)測和產(chǎn)量估測

隨著高空間分辨率衛(wèi)星的不斷出現(xiàn)以及相比于無人機平臺所具有的覆蓋范圍廣等優(yōu)勢，利用高空間分辨率衛(wèi)星數(shù)據(jù)進行田塊尺度作物長勢監(jiān)測及產(chǎn)量估測也取得了一定進展。如， CAO等[91]通過整合谷歌地球引擎(Google earth engine，GEE)平臺中公開可用的數(shù)據(jù)，對比深度神經(jīng)網(wǎng)絡(luò)(Deep neural network，DNN)、1D CNN和LSTM在田塊尺度產(chǎn)量預(yù)測的適用性，結(jié)果表明，DNN在田塊尺度表現(xiàn)較好。然而，在利用高空間分辨率衛(wèi)星影像進行田塊尺度作物長勢監(jiān)測時，光學遙感衛(wèi)星容易受到天氣影響，無法在時間尺度上滿足監(jiān)測需要。針對這一問題，可采用基于光學和微波遙感數(shù)據(jù)融合的方法以及基于時空數(shù)據(jù)融合的方法對缺失數(shù)據(jù)進行補充，從而滿足時間尺度監(jiān)測的需要。

相比于光學遙感，微波遙感可以接收來自地表較長的電磁波信息，這些較長的電磁波可以有效穿透云霧，從而使得微波遙感具備全天候監(jiān)測地表的能力[92]。因此，融合光學和微波遙感數(shù)據(jù)可以進一步提高模型輸入數(shù)據(jù)的獲取能力。目前，在融合光學與雷達遙感衛(wèi)星數(shù)據(jù)方面，大部分研究的關(guān)注點在于如何基于雷達數(shù)據(jù)填補光學遙感指數(shù)在時間序列上的缺失。如ZHAO等[93]基于時間序列Sentinel-1雷達衛(wèi)星數(shù)據(jù)的VV和VH極化圖像，首先利用1D CNN模型提取每種極化圖像的特征，然后將提取出的時間序列雷達極化特征輸入LSTM模型，用以模擬時間序列的Sentinel-2光學衛(wèi)星數(shù)據(jù)反演的NDVI的動態(tài)變化，最終在時間序列上填補NDVI的缺失。物候是影響作物生長的一個重要因素，是作物長勢監(jiān)測的一個重要研究領(lǐng)域。得益于微波遙感衛(wèi)星的全天候地表信息獲取能力，基于微波遙感的作物物候監(jiān)測受到越來越多的關(guān)注。如MERONI等[94]針對不同類型作物，比較了Sentinel-1和Sentinel-2數(shù)據(jù)在監(jiān)測作物物候方面的表現(xiàn)，發(fā)現(xiàn)Sentinel-1反演的物候結(jié)果與Sentinel-2的反演結(jié)果具有可比性，且相比于夏季作物，冬季作物的可比性更高。上述研究表明，光學數(shù)據(jù)和微波數(shù)據(jù)在監(jiān)測作物長勢方面具有較高的協(xié)同潛力。為了更好地結(jié)合兩種數(shù)據(jù)源各自的優(yōu)勢，也有一些研究以光學和雷達數(shù)據(jù)同時作為模型輸入，這不僅彌補了僅依靠光學數(shù)據(jù)作為模型輸入帶來的信息不足的缺陷，同時也避免了只依靠微波數(shù)據(jù)帶來的較多異常值的問題。如IENCO等[95]將時間序列的Sentinel-1和Sentinel-2數(shù)據(jù)集分別作為模型的輸入數(shù)據(jù)，并分別通過ConvGRU+Attention分支和CNN分支，每個分支后連接一個輔助分類器以提高分支的預(yù)測能力，最后通過全連接層輸出地表分類結(jié)果。鑒于目前田塊尺度的作物產(chǎn)量標簽獲取難度較大，通過深度學習方法并融合光學和雷達數(shù)據(jù)的農(nóng)業(yè)領(lǐng)域研究主要集中在作物分類方面，而在田塊尺度的作物產(chǎn)量估測方面的研究還較少。

相比基于光學和微波遙感數(shù)據(jù)融合的方法，基于時空數(shù)據(jù)融合的方法不僅能夠?qū)崿F(xiàn)缺失數(shù)據(jù)的填補，還可以滿足在田塊尺度監(jiān)測過程中高時間和高空間分辨率的要求，從而進一步提高田塊尺度長勢監(jiān)測及產(chǎn)量估測的精度。基于時空數(shù)據(jù)融合的作物長勢監(jiān)測及產(chǎn)量估測方法通過融合高空間分辨率數(shù)據(jù)和高時間分辨率數(shù)據(jù)獲取具有高時空分辨率的遙感數(shù)據(jù)，從而進行田塊尺度的作物長勢監(jiān)測及產(chǎn)量估測。目前基于時空數(shù)據(jù)融合的田塊尺度作物長勢監(jiān)測方法可以依據(jù)時空數(shù)據(jù)融合方法不同，分為基于混合像元分解、基于權(quán)重函數(shù)、基于貝葉斯、基于學習和基于混合的5類時空融合方法[96]，并已廣泛應(yīng)用于作物種植面積提取[97-98]、長勢監(jiān)測[99-100]及產(chǎn)量估測[101-102]。其中，基于學習的時空融合方法可利用機器學習算法學習不同分辨率影像之間的非線性變化關(guān)系建立模型，從而獲取具有較高精度的高時空分辨率影像。

隨著深度學習的不斷發(fā)展，基于深度學習實現(xiàn)時空數(shù)據(jù)融合成為一種新的研究思路。CHU等[103]使用兩個反向傳播神經(jīng)網(wǎng)絡(luò)(Back-propagation neural networks，BPNNs)和獨立循環(huán)神經(jīng)網(wǎng)絡(luò)(Independently RNN，IndRNN)引入時間特征，從而提取數(shù)據(jù)的空間特征和時間特征，并通過全連接層對特征進行融合實現(xiàn)對水稻產(chǎn)量的預(yù)測，降低了時間特征對產(chǎn)量預(yù)測的影響。目前已出現(xiàn)了一些基于CNN的時空數(shù)據(jù)融合模型。相比于傳統(tǒng)的時空數(shù)據(jù)融合模型，基于CNN的時空數(shù)據(jù)融合模型能夠自動、有效地學習影像上的特征，并在特征層面上進行數(shù)據(jù)融合。相比于像元層面的時空數(shù)據(jù)融合模型，特征層次的時空數(shù)據(jù)融合模型能夠減少對影像噪聲的敏感程度，然而在融合影像的清晰度方面有所降低。SAGAN等[104]運用2D和3D的CNN集成WorldView-3和PlanetScope衛(wèi)星數(shù)據(jù)中包含的光譜、空間和時間信息實現(xiàn)大豆生長季產(chǎn)量估測。為進一步適應(yīng)時間變化，處理復(fù)雜和異質(zhì)性的景觀，以及集成其他衛(wèi)星數(shù)據(jù)集，HTITIOU等[105]提出了一種基于極深超分辨率(Very deep super-resolution，VDSR)的深度學習時空數(shù)據(jù)融合方法，將Sentinel-2和Landsat 8的NDVI數(shù)據(jù)進行融合，并對比分析了VDSR與增強型時空自適應(yīng)反射率融合模型(Enhanced spatial and temporal adaptive reflectance fusion model，ESTARFM)和靈活時空數(shù)據(jù)融合(Flexible spatiotemporal data fusion，F(xiàn)SDAF)兩種經(jīng)典方法的性能，結(jié)果表明，VDSR算法相較其他數(shù)據(jù)融合算法具有模糊程度最低和合成NDVI值預(yù)測最準確的特點，特別是在景觀異質(zhì)性和土地覆蓋突變的地區(qū)。

除上述已運用于作物長勢監(jiān)測及產(chǎn)量估測的深度學習融合方法外，還有一些提出的深度學習融合方法尚未運用到農(nóng)業(yè)領(lǐng)域，如TAN等[106]提出的深度卷積時空融合網(wǎng)絡(luò)(Deep convolutional spatiotemporal fusion network，DCSTFN)，該算法充分利用CNN從高時間低空間分辨率和低時間高空間分辨率的遙感影像中提取高時空分辨率影像，結(jié)果表明，基于CNN的融合算法不僅達到了較高的精度，而且比傳統(tǒng)的時空融合算法更具魯棒性。此后，TAN等[107]對現(xiàn)有的DCSTFN進行了細化和改進，提出了改進的深度卷積時空融合網(wǎng)絡(luò)(Enhanced DCSTFN，EDCSTFN)，該算法通過構(gòu)建殘差編碼器自動學習輸入高空間分辨率影像與預(yù)測高空間分辨率影像之間的特征差異，同時，在損失函數(shù)中引入視覺損失函數(shù)來盡可能保留高頻信息，從而進一步提高了模型預(yù)測精度。在今后的研究中可嘗試將此類方法運用于作物長勢監(jiān)測及產(chǎn)量估測之中，擴展方法應(yīng)用領(lǐng)域，進一步研究方法的適用性。

3 存在的問題與展望

雖然基于深度學習的長勢監(jiān)測和產(chǎn)量估測研究已經(jīng)取得了全面發(fā)展，然而，相關(guān)領(lǐng)域的研究還存在一些需要解決的問題。主要表現(xiàn)在：

(1)深度學習模型建立于大樣本之上才能保證其精度，然而，目標產(chǎn)量的樣本數(shù)量通常是有限的，因此使用遷移學習可以在一定程度上改善小樣本的限制[108-109]。在這種方法中，可以使用有限的樣本在大型數(shù)據(jù)集上預(yù)訓練的模型中的參數(shù)進行微調(diào)，以在新任務(wù)中獲得最佳性能。具體包括以下兩方面：一是基于區(qū)域的遷移學習。首先利用樣本數(shù)量充足的區(qū)域來學習模型，然后將該模型擴展到樣本數(shù)量較少的其他區(qū)域，實現(xiàn)區(qū)域的傳遞。二是基于參數(shù)的遷移學習。針對相關(guān)任務(wù)的模型間共享部分參數(shù)，或超參數(shù)的先驗分布以提高整體性能。迄今為止，雖然這兩種方法都有助于提升模型性能，但由于數(shù)據(jù)具有復(fù)雜和多樣的特點，目前對數(shù)據(jù)集相似度的界定還沒有統(tǒng)一的辦法，且以相似度為基礎(chǔ)的遷移需要更多定量和定性的解釋。因此，未來隨著數(shù)據(jù)的累積，深度學習模型的優(yōu)勢將逐漸凸顯。此外，基于區(qū)域的遷移學習中不同區(qū)域的環(huán)境是異構(gòu)的，如何實現(xiàn)異構(gòu)環(huán)境下的遷移是未來的研究方向。

(2)深度學習的可解釋性依舊是個難題。深度學習模型的本質(zhì)是從數(shù)據(jù)到數(shù)據(jù)的特征提取，對作物生長過程的描述與機理表達無法學習到，而作物生長模型整合了很多已知的作物生理學、作物栽培學等先驗知識。因此，未來可嘗試探索作物生長模型和深度學習模型的并行和協(xié)同開發(fā)，以提高對作物生長過程的理解，從而提高模型的可解釋性。此外，作物生長模型參數(shù)往往存在不確定性，從而導致模型輸出錯誤，通過實際觀測和其他輔助數(shù)據(jù)，使用深度學習模型來對作物生長模型輸出進行校準。

(3)在田塊尺度利用深度學習進行作物長勢監(jiān)測及產(chǎn)量估測時，需利用深度學習復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)對高分辨率數(shù)據(jù)進行充分學習，而在此過程中需要大量的時間進行訓練，同時對計算機性能提出了較高要求。因此，如何高效、快速學習特征，保證學習特征的完整性，盡可能減少對冗余信息的學習是利用深度學習方法進行田塊尺度長勢監(jiān)測的難點之一。

(4)在田塊尺度進行作物長勢監(jiān)測及產(chǎn)量估測時，衛(wèi)星遙感難以克服空間異質(zhì)性對于精度的影響，而無人機平臺可以較好地識別異質(zhì)性信息，因此可以嘗試將無人機平臺與衛(wèi)星平臺相結(jié)合，以無人機平臺數(shù)據(jù)作為衛(wèi)星數(shù)據(jù)時空融合過程中尺度轉(zhuǎn)換的中間變量，確保在降尺度過程中的精度。

深度學習在產(chǎn)量估測方面取得了比傳統(tǒng)機器學習和統(tǒng)計模型更高的精度，不斷克服依賴專家經(jīng)驗、耗費人力物力等缺點，為作物長勢監(jiān)測及產(chǎn)量估測的研究拓展了全新的研究視角。本文從區(qū)域尺度和田塊尺度兩方面，通過代表性文獻分析了深度學習在作物長勢監(jiān)測及產(chǎn)量估測相關(guān)研究中的最新應(yīng)用進展。同時隨著在時間、空間等維度的深度融合，對未來深度學習技術(shù)提出更高的要求，只有智能技術(shù)的更進一步發(fā)展才能有效促進融合下的多維度數(shù)據(jù)分析，為農(nóng)情監(jiān)測和防災(zāi)減災(zāi)提供更強的科學依據(jù)和技術(shù)支撐。