基于深度強(qiáng)化學(xué)習(xí)的耕作層土壤水分、溫度預(yù)測

劉會丹，萬雪芬，崔 劍，蔡婷婷，楊 義

(1 東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 上海 201620； 2 河北省物聯(lián)網(wǎng)監(jiān)控工程技術(shù)研究中心, 河北 廊坊 065201；3 華北科技學(xué)院 計算機(jī)學(xué)院, 河北 廊坊 065201； 4 北京航空航天大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院, 北京 100083)

中國是一個農(nóng)業(yè)大國，農(nóng)業(yè)人口超過7億人，耕地面積達(dá)到121億hm2，在全球耕地總面積中占8%左右。在農(nóng)作物耕作培育過程中，土壤是不可忽視的環(huán)境因素之一[1]。土壤耕作層作為農(nóng)作物根系生存的重要介質(zhì)，包含著農(nóng)作物生長所需要的養(yǎng)分與水分。農(nóng)作物根系土壤環(huán)境是否適宜其生長，對農(nóng)作物優(yōu)質(zhì)、高效栽培具有重要意義[2]。農(nóng)業(yè)土壤由淺入深一般由耕作層、犁底層、心土層和底土層等層位組成[3]。耕作層指經(jīng)長期耕種已經(jīng)熟化的表土層，深度為15～20 cm，耕作層易受周圍環(huán)境氣候條件的影響，該層往往有機(jī)質(zhì)含量高，養(yǎng)分豐富，土體疏松，農(nóng)作物的根系主要分布在耕作層中[4]。在農(nóng)業(yè)種植中，農(nóng)作物的根系主要依賴耕作層的土壤環(huán)境而很少分布在其他層位，因此需要對土壤耕作層進(jìn)行更多地關(guān)注與研究。在土壤的眾多參數(shù)中，土壤溫度與水分這2個參數(shù)具有重要作用[5]。土壤水分和溫度是保證植物生長的關(guān)鍵，不適宜的土壤水分、溫度不利于田間耕作和播種，保持適宜的土壤水分、溫度對農(nóng)作物優(yōu)質(zhì)栽培具有重要意義[6]。因此對耕作層土壤水分及溫度進(jìn)行的高質(zhì)量時序預(yù)測對科學(xué)研究和農(nóng)業(yè)生產(chǎn)實際都有重要意義。有研究表明，0～20 cm土層的地溫與空氣溫度呈線性關(guān)系，同時，土壤深度越深，土壤溫度與周圍環(huán)境空氣溫度的相關(guān)性就越滯后[7-8]。Han等[9]研究發(fā)現(xiàn)，土壤淺層溫度與周圍環(huán)境溫度的關(guān)系對應(yīng)一種正弦曲線。近年來隨著計算機(jī)運(yùn)算能力的提升，國內(nèi)外許多學(xué)者開始采用機(jī)器學(xué)習(xí)方法對土壤水分、溫度預(yù)測進(jìn)行研究。薛曉萍等[10]利用支持向量機(jī)方法建立土壤水分預(yù)測模型，構(gòu)建的模型預(yù)測精度較高，但利用傳統(tǒng)方法預(yù)測的數(shù)據(jù)具有滯后性且較難找到最優(yōu)參數(shù)。Wu等[11]采用人工神經(jīng)網(wǎng)絡(luò)(Artificial neural network，ANN)較為精確地估算了在10 cm深度下的月平均土壤溫度數(shù)據(jù)，但該方法僅能預(yù)測月維度的土壤溫度，難以適用于日常的農(nóng)業(yè)生產(chǎn)中。Jung等[12]基于3種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，預(yù)測了溫室中溫度、濕度和CO2的環(huán)境變化，3種深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型依次為ANN、具有外源輸入的非線性自回歸網(wǎng)絡(luò)(Nonlinear autoregressive network with exogenous inputs，NARX)以及長短期記憶 (Long short-term memory，LSTM)，試驗發(fā)現(xiàn)LSTM的總體精度最高。

傳統(tǒng)的機(jī)器學(xué)習(xí)模型通常對樣本的質(zhì)量和數(shù)量有更多的限制，需要在數(shù)據(jù)預(yù)處理和特征提取方面付出更多的努力。另外，由于不同地區(qū)的土壤差異很大，需要更具普適性的土壤預(yù)測方法[13]。近年來，物聯(lián)網(wǎng)技術(shù)為智慧農(nóng)業(yè)的發(fā)展提供了重要的推動力，如何利用物聯(lián)網(wǎng)獲得的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析是智慧農(nóng)業(yè)領(lǐng)域需要解決的重要問題之一。土壤水分、溫度具有明顯的時空特征，土壤耕作層深度較淺，易受到地表氣溫影響導(dǎo)致水分蒸騰。當(dāng)氣溫較高時，其水分蒸發(fā)速率較快導(dǎo)致土壤水分下降；當(dāng)氣溫較低時，水分不易蒸騰就容易保留下來。土壤耕作層距離地表較近，空氣溫度也會對土壤耕作層溫度產(chǎn)生影響。因此可以利用環(huán)境空氣溫、濕度與土壤水分、溫度之間的關(guān)系構(gòu)建預(yù)測模型，預(yù)測未來一段時間的土壤水分、溫度。基于該預(yù)測方法決策者可以依靠低成本的數(shù)據(jù)更好地了解土壤耕作層水分與溫度動態(tài)，以指導(dǎo)實踐。

1 材料與方法

對土壤耕作層水分、溫度進(jìn)行預(yù)測，需要先了解前段時間的土壤水分、溫度數(shù)據(jù)，然后通過土壤近表面環(huán)境空氣溫、濕度和土壤水分、溫度的歷史相互關(guān)系來預(yù)測未來時間的土壤水分溫度。使用基于長短期記憶結(jié)構(gòu)的數(shù)據(jù)分析與預(yù)測策略來實現(xiàn)由土壤近表面環(huán)境空氣溫、濕度到土壤水分、溫度的分析預(yù)測。

1.1 用于組合預(yù)測的深度學(xué)習(xí)基模型

LSTM從循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network，RNN)改進(jìn)而來[14]。LSTM由輸入門、輸出門、遺忘門組成循環(huán)模塊，提高網(wǎng)絡(luò)保留長期信息的能力并有效解決梯度爆炸與消失問題[15]。LSTM中引入3個門限來提升長時信息記憶能力，并過濾掉不重要的信息[16]。

門限循環(huán)單元 (Gated recurrent unit, GRU)由Cho等[17]提出，由LSTM改進(jìn)而來。LSTM神經(jīng)網(wǎng)絡(luò)模型較為復(fù)雜，參數(shù)較多，存在訓(xùn)練時間較長的問題。為了簡化結(jié)構(gòu)，GRU將遺忘門和輸入門合并為更新門，同時對細(xì)胞狀態(tài)進(jìn)行融合[18]。

雙向長短期記憶網(wǎng)絡(luò)(Bi-directional long short-term memory，Bi-LSTM)包含了前向與后向LSTM。輸入層數(shù)據(jù)經(jīng)過兩個方向計算，最后結(jié)合隱藏狀態(tài)作為下一層輸入。Bi-LSTM同時擁有前向傳播和反向傳播，能夠提取序列的雙向特征，在一定程度上增加抓取時序信息的能力。但是模型的參數(shù)也相應(yīng)增加，導(dǎo)致模型訓(xùn)練需要更多的時間[19-20]。

1.2 深度強(qiáng)化學(xué)習(xí)理論

強(qiáng)化學(xué)習(xí)是通過智能體與環(huán)境間的交互學(xué)習(xí)最優(yōu)策略的過程[21]，系統(tǒng)框圖如圖1所示，智能體做出動作后，由環(huán)境反饋獎勵，同時改變智能體與環(huán)境的狀態(tài)。在強(qiáng)化學(xué)習(xí)中，智能體以獲得最大回報為目標(biāo)來執(zhí)行動作[22]。

圖1 強(qiáng)化學(xué)習(xí)系統(tǒng)框圖Fig. 1 Block diagram of reinforcement learning system

馬爾可夫決策過程可用于強(qiáng)化學(xué)習(xí)建模，通常用四元組＜S, A, P, R>表示。其中 S 為狀態(tài)空間，A為動作空間，P為狀態(tài)轉(zhuǎn)移函數(shù)，R為獎勵函數(shù)。策略用表示。智能體在執(zhí)行動作后的回報具有延遲性，只通過立即獎勵來評價動作優(yōu)劣并不準(zhǔn)確。強(qiáng)化學(xué)習(xí)中用值函數(shù)進(jìn)行評價，包括狀態(tài)值函數(shù)和動作-狀態(tài)值函數(shù)定義如式(1)所示，

狀態(tài)-動作值函數(shù)又稱Q值函數(shù)，定義如式(2)所示，

用貝爾曼方程表示狀態(tài)值函數(shù)如式(3)所示，

狀態(tài)值函數(shù)可由回報獎勵和未來時刻的狀態(tài)值函數(shù)計算得到。

在許多任務(wù)中強(qiáng)化學(xué)習(xí)算法的表現(xiàn)并不佳，主要因為強(qiáng)化學(xué)習(xí)算法存在2個缺點：

1)采用Q值表來記錄不同狀態(tài)下執(zhí)行各動作的回報，狀態(tài)動作空間維度較高時會產(chǎn)生維數(shù)災(zāi)難，導(dǎo)致構(gòu)建Q值表所需的內(nèi)存空間極大。

2)在首次執(zhí)行某狀態(tài)動作組合時得到的Q值可能并不準(zhǔn)確，需要多次訪問，以完善相應(yīng)Q值。在狀態(tài)空間或動作空間維度較高時，找到最優(yōu)策略需要較大的時間復(fù)雜度。

深度 Q 學(xué)習(xí) (Deep Q network，DQN)針對強(qiáng)化學(xué)習(xí)存在的問題做出了改進(jìn)，是深度強(qiáng)化學(xué)習(xí)中的經(jīng)典算法[23]。DQN在加入神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的改進(jìn)主要包括以下2個方面：

1)采用經(jīng)驗回放機(jī)制，該機(jī)制構(gòu)建了一個經(jīng)驗池。智能體每次執(zhí)行動作后，就將樣本數(shù)據(jù)存儲到經(jīng)驗池中。每次訓(xùn)練時從經(jīng)驗池中進(jìn)行隨機(jī)抽樣，清除觀測序列的相關(guān)性。

2) DQN中使用了當(dāng)前值網(wǎng)絡(luò)與目標(biāo)值網(wǎng)絡(luò)。目標(biāo)值網(wǎng)絡(luò)用于輔助計算Q值，每隔一定步長更新當(dāng)前值網(wǎng)絡(luò)到目標(biāo)值網(wǎng)絡(luò)[24]。

2 基于深度強(qiáng)化學(xué)習(xí)的水分、溫度組合預(yù)測模型

2.1 DQN-L-G-B組合模型

圖2 組合預(yù)測模型結(jié)構(gòu)圖Fig. 2 Structure diagram of combination forecasting model

為了提高LSTM、GRU與Bi-LSTM模型的組合預(yù)測結(jié)果，引入DQN深度強(qiáng)化學(xué)習(xí)算法進(jìn)行加權(quán)求和，得到優(yōu)化后的預(yù)測值?；隈R爾科夫決策過程，對狀態(tài)空間S、動作空間A、獎勵函數(shù)R建模如下：

1)狀態(tài)空間S。狀態(tài)空間矩陣S包含各基模型的預(yù)測結(jié)果權(quán)重，如式(7)所示，

式中，w1,w2,w3分別表示LSTM、GRU與Bi-LSTM這3個模型的預(yù)測結(jié)果權(quán)重。初始的狀態(tài)s0設(shè)為 [1/3,1/3,1/3]；

2)動作空間A。動作空間矩陣A包含各基模型的預(yù)測結(jié)果權(quán)重增加與減少的動作，建立3行2列的動作矩陣，如式(8)所示，

3)獎勵函數(shù)R。獎勵函數(shù)的設(shè)置是深度強(qiáng)化學(xué)習(xí)中的重要問題，每次執(zhí)行完動作后獲得的即刻獎勵函數(shù)R設(shè)置如式(9)與式(10)所示。

DQN-L-G-B算法中采用探索策略為ε-greedy策略，算法步驟如下：

2)對于每一次權(quán)重優(yōu)化任務(wù)，初始化環(huán)境狀態(tài)s=s0，對于每一次組合模型的預(yù)測結(jié)果權(quán)重改變動作；

6)滿足任務(wù)訓(xùn)練次數(shù)要求后。輸出最優(yōu)策略與優(yōu)化后的權(quán)重矩陣 [w1,w2,w3]。

3 試驗結(jié)果與分析

3.1 數(shù)據(jù)集獲取

為了獲取用于構(gòu)建深度學(xué)習(xí)模型的數(shù)據(jù)集，在土壤耕作層水分、溫度預(yù)測的背景下，基于NBIoT與云平臺構(gòu)建可以長周期等間隔采集數(shù)據(jù)的物聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)。系統(tǒng)由現(xiàn)場終端節(jié)點與云端數(shù)據(jù)管理平臺組成。現(xiàn)場終端節(jié)點獲得各項監(jiān)測參數(shù)的觀測值，并通過NB-IoT數(shù)據(jù)通道送往構(gòu)建在阿里云上的云端數(shù)據(jù)管理平臺。云端數(shù)據(jù)管理平臺結(jié)合服務(wù)器MySQL數(shù)據(jù)庫實現(xiàn)NB-IoT數(shù)據(jù)接口、數(shù)據(jù)存儲、數(shù)據(jù)交互等管理功能?，F(xiàn)場終端節(jié)點主板和終端節(jié)點如圖3所示。試驗表明，在測試期間數(shù)據(jù)包傳輸成功率為99.95%，該數(shù)據(jù)采集系統(tǒng)具有高可用性與穩(wěn)定性，可以實現(xiàn)長周期等間隔地采集時間序列。

圖3 現(xiàn)場終端節(jié)點主板(a)和試驗中的現(xiàn)場終端節(jié)點(b)Fig. 3 Field terminal node main board (a) and field terminal node in the experiment (b)

數(shù)據(jù)采集系統(tǒng)搭建完畢后，將終端節(jié)點部署于試驗基地中，進(jìn)行長周期的數(shù)據(jù)采集試驗。試驗基地分別位于江蘇省連云港市贛榆區(qū)和河南省開封市尉氏縣。贛榆區(qū)屬于暖溫帶海洋性季風(fēng)氣候，靠近東部沿海，較為濕潤，年均降水量約為900 mL。開封市尉氏縣屬于溫帶季風(fēng)氣候，地處中原地區(qū)，相較于贛榆區(qū)較為干燥，年均降水量約為600 mL。分別選取贛榆地區(qū)的壤土和尉氏縣的砂土作為兩地區(qū)的試驗土壤。

試驗中壤土種植箱中混種韭菜與矮株番茄，砂土種植箱中單種花生，如圖4所示，在試驗期間作物根系深度未超過20 cm?？諝鉁貪穸葌鞲衅鞅徊荚O(shè)于種植箱上方50 cm處(處于土壤水分蒸發(fā)的影響范圍內(nèi))；土壤傳感器探針插入土深15 cm處。種植箱被置于自然環(huán)境中(無大棚薄膜等遮蔽)，日照、降雨、環(huán)境空氣運(yùn)動、灌溉等自然及人為活動都將對試驗環(huán)境中的土壤水分溫度等造成影響。

圖4 試驗中用到的2種土壤類型Fig. 4 Two soil types used in the experiment

集中管理數(shù)據(jù)的云端平臺部署于阿里云ECS服務(wù)器中。設(shè)置終端節(jié)點的數(shù)據(jù)采集周期為5 min/次，整個測試周期為2020年11月1日至2021年9月18日。在這一段時間的長周期測試過程中，終端節(jié)點向云服務(wù)器采集發(fā)送的數(shù)據(jù)包數(shù)目為92 448個，云端服務(wù)器共接收到有效數(shù)據(jù)包數(shù)目為92 402個，可以滿足日常采集需求。

3.2 模型訓(xùn)練

使用數(shù)據(jù)采集系統(tǒng)在2020年11月1日0:00時至2021年9月18日24:00時采集的數(shù)據(jù)作為數(shù)據(jù)集，主要包括空氣溫度、空氣濕度、土壤溫度與土壤水分等農(nóng)作物栽培生態(tài)環(huán)境數(shù)據(jù)。其中90%作為訓(xùn)練集，10%作為測試集。利用訓(xùn)練集對LSTM、GRU、Bi-LSTM等基模型以及DQN-L-GB組合模型進(jìn)行訓(xùn)練，再利用測試集對各模型的預(yù)測結(jié)果進(jìn)行比較與分析。

深度學(xué)習(xí)預(yù)測模型的輸入時間步長為5，輸入維度為4，維度分別是空氣溫度、空氣濕度、土壤溫度和土壤水分。每個時間步長的間隔為30 min。模型訓(xùn)練試驗使用的操作系統(tǒng)為Windows 10 64位，處理器型號為 Intel Core i5-9400F CPU 2.90 GHz，內(nèi)存為16 GB，編程語言采用Python3.6，深度學(xué)習(xí)框架采用Tensorflow2.1。

試驗中構(gòu)建的LSTM、GRU和Bi-LSTM模型都包括2個網(wǎng)絡(luò)層，分別有32和16個神經(jīng)元，均使用Tanh作為激活函數(shù)，Huber loss作為損失函數(shù)，Adam作為優(yōu)化算法，迭代次數(shù)均設(shè)置為100次。

DQN-L-G-B中的DQN神經(jīng)網(wǎng)絡(luò)模型采用2個全連接神經(jīng)網(wǎng)絡(luò)(Densely-connected neural network，DNN)，分別有128和64個神經(jīng)元，訓(xùn)練超參數(shù)設(shè)置學(xué)習(xí)率為10-4，優(yōu)化器為Adam,獎勵折扣因子為0.9，激活函數(shù)為ReLU，權(quán)重變更步長為10-5，經(jīng)驗池容量為 3 200，最小更新批次為 32，目標(biāo)值網(wǎng)絡(luò)更新步長為200，Huber loss超參數(shù)為1，訓(xùn)練任務(wù)總次數(shù)為10 000，探索概率為0.1。

3.3 評價指標(biāo)

用來表示預(yù)測精度的評價指標(biāo)較多，為了從多個角度比較模型的預(yù)測效果。本文選取以下4個指標(biāo)作為評價指標(biāo)：

1) 均方根誤差 (Root mean square error，RMSE)。RMSE可以測量誤差的平均大小，對于預(yù)測值中的異常值較為敏感，RMSE越小表示預(yù)測結(jié)果越好。RMSE計算如式(11)所示，

2)平均絕對誤差 (Mean absolute error，MAE)。MAE是一般形式的誤差平均值，MAE越小表示預(yù)測結(jié)果越精準(zhǔn)，MAE計算如式(12)所示：

3)平均百分比誤差 (Mean absolute percentage error，MAPE)。MAPE 計算如式 (13)所示，

相比MAE，MAPE增加了誤差值與真實值相比的步驟，MAPE越小表示誤差相對于真實值越小，模型預(yù)測結(jié)果越好。

4)決定系數(shù) (R-Square，R2)。R2計算如式(14)所示，

3.4 試驗結(jié)果分析

3.4.1 耕作層土壤溫度預(yù)測結(jié)果分析對部署在不同土壤類型的2個終端節(jié)點處的耕作層土壤水分、溫度進(jìn)行比較分析，所使用的預(yù)測模型部署條件相同。DQN-L-G-B模型經(jīng)過訓(xùn)練后得到優(yōu)化后壤土耕作層溫度預(yù)測權(quán)重w1、w2和w3分別為0.330 773、0.331 271和 0.332 472。砂土耕作層溫度預(yù)測權(quán)重分別為 0.332 062、0.331 443和 0.327 623。為了便于比較分析DQN-L-G-B模型優(yōu)化的有效性，在模型結(jié)果分析中引入了加權(quán)平均的L-G-B模型，其基模型權(quán)重 w1、w2、w3均為 1/3。

LSTM、GRU、Bi-LSTM、L-G-B以及DQN-LG-B模型在土壤耕作層溫度測試集上的RMSE、MAE、MAPE以及R2等評價指標(biāo)的表現(xiàn)對比如表1所示。在壤土與砂土的土壤耕作層中，DQN-L-GB的各評價指標(biāo)均優(yōu)于LSTM、GRU、Bi-LSTM等基模型以及未引入DQN算法的L-G-B模型。

表1 2種土壤類型的土壤耕作層溫度各模型的試驗結(jié)果Table 1 Experimental results of various models of soil tillage layer temperature in two soil types

在壤土耕作層溫度預(yù)測中，相較于Bi-LSTM模型，DQN-L-G-B的RMSE降低了6.3%，MAE降低了10.1%，MAPE降低了11.1%，R2提高了1.1%?？梢钥吹?，與最優(yōu)的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指標(biāo)上均有較好的優(yōu)化結(jié)果，對于R2也有一定程度的提升。DQN-L-G-B模型與L-G-B模型相比，DQNL-G-B模型的RMSE降低了4%，MAE降低了7%，MAPE降低了7.7%，R2提升了0.7%。在砂土耕作層溫度預(yù)測中，相較于Bi-LSTM模型，DQNL-G-B的RMSE降低了5.9%，MAE降低了11.4%，MAPE降低了12.8%，R2提高了1.2%。DQN-L-G-B模型與L-G-B模型相比，在RMSE降低了6.9%，MAE降低了10.1%，MAPE降低了11.5%，R2提升了1.4%?？梢钥吹剑?個不同位置耕作層土壤溫度預(yù)測中，DQN-L-G-B模型都有著不錯的表現(xiàn)。

在LSTM、GRU、Bi-LSTM這3種基模型中，Bi-LSTM表現(xiàn)最優(yōu)，在以下的試驗結(jié)果分析中，引入基模型中表現(xiàn)最好的Bi-LSTM與其他2種組合模型進(jìn)行對比，選取測試集中的最后3 d (2021年9月16—18日)的樣本點進(jìn)行擬合曲線繪制，結(jié)果如圖5所示。在圖5中，可以看到DQN-L-GB模型預(yù)測結(jié)果的擬合曲線更貼近于真實值曲線。

圖5 不同土壤類型上的3種預(yù)測模型耕作層土壤溫度的預(yù)測值與真實值Fig. 5 Predicted and true values of three prediction models for soil temperature of the cultivated layer in different soil types

3.4.2 耕作層土壤水分預(yù)測結(jié)果分析壤土耕作層水分預(yù)測權(quán)重w1、w2和w3分別為0.332 086、0.333 553和 0.333 367；砂土耕作層水分預(yù)測權(quán)重分別為 0.333 277、0.333 279和 0.330 464。LSTM、GRU、Bi-LSTM、L-G-B以及DQN-L-G-B模型在土壤耕作層水分測試集上的RMSE、MAE、MAPE以及R2等評價指標(biāo)的表現(xiàn)對比如表2所示。

表2 土壤耕作層水分預(yù)測各模型試驗結(jié)果Table 2 Experimental results of various models for soil moisture prediction in cultivated layer

在壤土耕作層土壤水分預(yù)測中，相較于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了7.9%，MAE降低了21.0%，MAPE降低了12.8%，R2提高了0.1%?？梢钥吹?，與最優(yōu)的基模型相比，DQN-L-G-B模型在RMSE、MAE以及MAPE等性能指標(biāo)上均有較好的優(yōu)化結(jié)果，R2也略微提升。DQN-L-G-B模型與L-G-B模型相比，其RMSE降低了6.1%，MAE降低了15.1%，MAPE降低了30.4%，R2保持一致。

在砂土耕作層水分預(yù)測中，相較于Bi-LSTM模型，DQN-L-G-B模型的RMSE降低了5.2%，MAE降低了23.6%，MAPE降低了12.9%，R2提高了0.1%。DQN-L-G-B模型與L-G-B模型相比，其RMSE降低了3.7%，MAE降低了16.0%，MAPE降低了30.4%，R2提升了0.1%?？梢钥吹剑?種類型的耕作層土壤水分預(yù)測中，DQN-L-G-B模型預(yù)測精度都有不錯的表現(xiàn)。

選取測試集中的最后 3 d (2021年 9月16—18日)的樣本點進(jìn)行擬合曲線繪制，選取基模型中表現(xiàn)最好的Bi-LSTM與其他2種組合模型進(jìn)行對比，結(jié)果如圖6所示，可以看到，DQNL-G-B模型預(yù)測結(jié)果的擬合曲線更貼近于真實值曲線。

圖6 不同土壤類型3種預(yù)測模型耕作層土壤水分的預(yù)測值與真實值Fig. 6 Predicted and true values of three prediction models for soil moisture of the cultivated layer in different soil types

4 結(jié)論

本文基于NB-IoT與云平臺構(gòu)建了物聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)，實現(xiàn)環(huán)境土壤數(shù)據(jù)的可靠收集以用于深度學(xué)習(xí)模型訓(xùn)練。測試結(jié)果表明，通過該數(shù)據(jù)系統(tǒng)可以穩(wěn)定可靠地獲得用于日常預(yù)測及深度學(xué)習(xí)訓(xùn)練的核心數(shù)據(jù)集。

本文針對土壤耕作層水分與溫度預(yù)測問題，基于深度強(qiáng)化學(xué)習(xí)方法研究了DQN-L-G-B組合模型。最后試驗結(jié)果表明，在土壤耕作層水分與溫度預(yù)測問題中，DQN-L-G-B組合模型可以更為精準(zhǔn)地預(yù)測未來時刻的土壤水分與溫度。在未來的研究中，可以進(jìn)一步考慮預(yù)測得到的未來時刻土壤水分溫度數(shù)據(jù)后的應(yīng)用場景。如預(yù)測得到30 min后的耕作層土壤水分過低時，可以控制農(nóng)業(yè)物聯(lián)網(wǎng)設(shè)備進(jìn)行澆水等操作。