基于XGBoost的土壤含水量傳感器溫度補(bǔ)償模型研究

沈 欣，吳 勇，孟范玉，張 賡，于景鑫，史凱麗

（1.全國農(nóng)業(yè)技術(shù)推廣服務(wù)中心，北京100125；2.北京市農(nóng)業(yè)技術(shù)推廣站，北京100129；3.農(nóng)業(yè)信息軟硬件產(chǎn)品質(zhì)量檢測重點(diǎn)實(shí)驗(yàn)室，北京100097；4.北京派得偉業(yè)科技發(fā)展有限公司，北京100097）

0 引言

精準(zhǔn)灌溉是提高農(nóng)業(yè)水資源利用效率，緩解我國水資源短缺的有效途徑[1]。精準(zhǔn)農(nóng)業(yè)灌溉技術(shù)是以大田耕作為基礎(chǔ)，按照作物生長需求，采用精確的灌溉設(shè)施對作物進(jìn)行嚴(yán)格有效的施肥灌水[2]。因此，土壤含水量信息的準(zhǔn)確采集決定了精準(zhǔn)灌溉的準(zhǔn)確性和可靠性。

傳統(tǒng)的土壤含水量測量方法是烘干法——通過人工取土的方式獲取土壤樣本，在105 ℃高溫烘干超過48 h后根據(jù)重量的變化計(jì)算土壤含水量。然而烘干法操作復(fù)雜且取土過程會對原狀土體造成破壞，此外，該方法測定的數(shù)據(jù)有較大的時間延遲難以滿足連續(xù)監(jiān)測的要求[3]。隨著傳感器測量技術(shù)的進(jìn)步，通過傳感器測量土壤含水量可定時連續(xù)監(jiān)測并通過無線通訊網(wǎng)絡(luò)回傳至數(shù)據(jù)中心，實(shí)現(xiàn)高效便捷的土壤多深度含水量的連續(xù)監(jiān)測[4]。在農(nóng)業(yè)生產(chǎn)和科研應(yīng)用中，介電法是常用的測定方法，該方法以土壤的介電特性為基礎(chǔ)，通過監(jiān)測土壤的介電特性來計(jì)算土壤的含水量，而根據(jù)其監(jiān)測方式的不同又可以分為電容法、同軸探頭法、傳輸線法、自由空間法和諧振腔法[5]。在同軸探頭法的基礎(chǔ)上又研究出了駐波比法（SWR）、時域反射法（TDR）和頻域反射法（FDR）等方法，其中FDR 測定方法目前最為常用[6]。然而，研究發(fā)現(xiàn)外界環(huán)境等因素尤其是土壤溫度對土壤水分傳感器的監(jiān)測精度、穩(wěn)定性、監(jiān)測范圍、監(jiān)測速率等傳感器性能指標(biāo)有不同程度的影響[7]，所以評估土壤溫度對土壤傳感器測量準(zhǔn)確性的影響并構(gòu)建校正模型至關(guān)重要。

國內(nèi)外的相關(guān)學(xué)者針對溫度對土壤傳感器的影響及校正模型作了大量的研究。例如，孫道憲等采用數(shù)據(jù)融合技術(shù)建立補(bǔ)償模型對TDR-3 土壤濕度傳感器進(jìn)行補(bǔ)償，降低了傳感器受土壤硬度的影響程度，使測量精度提高[8]。高磊等對FDR土壤濕度傳感器進(jìn)行了溫度的影響因素試驗(yàn)，得出了FDR 土壤濕度傳感器受溫度影響的規(guī)律并繪制了相關(guān)曲線[9]。張榮標(biāo)等研究了EC-5 土壤水分傳感器受溫度的影響，并使用最小二乘法建立了EC-5 土壤濕度傳感器受溫度影響的補(bǔ)償曲線，減少了傳感器受溫度的影響程度，降低監(jiān)測誤差[10]。H R Bogena等研究了TE 型土壤濕度傳感器受溫度變化和電導(dǎo)率的影響并得出了對TE 傳感器進(jìn)行補(bǔ)償?shù)臄?shù)學(xué)模型[11]。Seyfried 等研究了溫度變化對EC-5 土壤含水量傳感器的影響并建立了溫度和土壤介電常數(shù)的擬合曲線[12]。然而，溫度對傳感器測量土壤含水量的影響機(jī)制復(fù)雜，呈現(xiàn)出復(fù)雜的非線性關(guān)系，現(xiàn)有的研究通常采用線性回歸構(gòu)建溫度校正補(bǔ)償模型，難以實(shí)現(xiàn)高精度溫度補(bǔ)償。

目前，AI 算法相比于傳統(tǒng)模型具有更強(qiáng)大的數(shù)據(jù)擬合能力，而集成學(xué)習(xí)是其熱門發(fā)展趨勢[13]，集成模型將獨(dú)立模型組合成更強(qiáng)的學(xué)習(xí)器，相比于單獨(dú)的模型能夠獲得更好的穩(wěn)定性和預(yù)測效果[14]。在集成學(xué)習(xí)模型中，XGBoost （eXtreme Gradient Boosting）是2016年提出的一種基于樹的集成學(xué)習(xí)模型[15]，該模型在很多機(jī)器學(xué)習(xí)比賽中獲勝并在工業(yè)界和學(xué)術(shù)界有著廣泛的應(yīng)用[16]。然而，目前鮮有研究利用XGBoost 算法構(gòu)建針對傳感器土壤含水量溫度補(bǔ)償?shù)哪Ｐ汀?/p>

本研究以小湯山精準(zhǔn)農(nóng)業(yè)與生態(tài)環(huán)境重點(diǎn)野外科學(xué)觀測試驗(yàn)站土壤樣本為依托，分別配置12 組不同含水量濕土土樣基準(zhǔn)，測定了傳感器在0～45 ℃的溫度變化過程中傳感器讀數(shù)數(shù)據(jù)，來構(gòu)建基于AI 算法的溫度補(bǔ)償模型。本研究的主要目的是：①分析溫度對土壤含水量傳感器測量精度的影響效應(yīng)；②提出基于XGBoost的土壤含水量溫度校正模型構(gòu)建方法；③評估XGBoost土壤含水量溫度校正效果。

1 材料與方法

1.1 試驗(yàn)材料

本論文試驗(yàn)材料選自設(shè)在北京市小湯山的精準(zhǔn)農(nóng)業(yè)與生態(tài)環(huán)境重點(diǎn)野外科學(xué)觀測試驗(yàn)站（東經(jīng)116°34′-117°00′，北緯40°00′-40°21′）。試驗(yàn)區(qū)為平原地貌，屬溫帶半濕潤季風(fēng)性氣候，在田塊內(nèi)選取0～20 cm 耕作層土壤樣本。表1 展示了土壤背景值的測試結(jié)果。

表1 土壤背景值測試結(jié)果Tab.1 Test results of soil background values

本試驗(yàn)選用傳感器為FDR原理的探針式傳感器（見圖1），其量程為0%～100%，在非飽和范圍內(nèi)傳感器的監(jiān)測偏差值為±3%，重復(fù)性為±1%，響應(yīng)時間小于1 s，工作電壓為5～12 VDC，輸出信號為0～1.5 VDC 或4～20 mA。95%的測量區(qū)域?yàn)閲@中央探針直徑5 cm、長8 cm的圓柱體內(nèi)。

圖1 土壤含水量傳感器的外觀圖Fig.1 Exterior view of soil water content sensor

1.2 試驗(yàn)方法

本研究在室溫22 ℃左右條件下使用傳感器測定土樣濕度。選取土壤表層0～20 cm 耕作層的土壤樣本，將土樣曬干后使用2 mm 篩網(wǎng)過篩。為了方便表述，下文所述的土壤含水量如無特殊注明則均代表體積含水量。使用拌土法分別配置體積含水量為10%、15%、20%、25%、35%的濕土土樣，每個梯度設(shè)置3個重復(fù)，并將制備好的土壤樣本密封靜置48 h以便土壤均勻混合，將放置后的土樣按照原狀土壤容重（1.4 g/cm3）定容填裝到高20 cm、直徑20 cm的土柱。

試驗(yàn)過程中，將被測試傳感器安置于土樣后放入控溫箱內(nèi)，將箱內(nèi)溫度降為0 ℃。使用傳感器的溫度探頭觀察土壤樣本的溫度，在土壤樣本穩(wěn)定至0 ℃后，記錄傳感器的讀數(shù)。分別測試傳感器在0 ℃、5 ℃、10 ℃、15 ℃、20 ℃、25 ℃、30 ℃、35 ℃、40 ℃、45 ℃的土壤溫度條件下的讀數(shù)數(shù)值變化。試驗(yàn)中使用薄膜覆蓋密封土樣，避免放置過程中水分蒸發(fā)而影響試驗(yàn)結(jié)果。在使用傳感器讀數(shù)后，使用烘干法將所測部分土樣在105 ℃的烘箱內(nèi)烘干48 h，測定土壤真實(shí)含水量。

1.3 評價方法

本研究中所構(gòu)建的溫度對土壤含水量影響的校正模型屬于回歸問題，因此，我們選取了4個關(guān)鍵精度評定誤差指標(biāo)來評價模型的預(yù)測精度和擬合情況。

平均絕對誤差(MAE)：

均方誤差(MSE)：

均方根誤差(RMSE)：

決定系數(shù)(R2)：

MAE指標(biāo)可以反映預(yù)測值誤差的真實(shí)情況。MSE是模型估算值和真實(shí)值之差的平方期望值，反映了誤差數(shù)據(jù)的變化程度，MSE值越小表明模型預(yù)測精度越高。RMSE是MSE指標(biāo)的算術(shù)平方根。R2可以消除數(shù)據(jù)維度對評價指標(biāo)的影響，反映模型對數(shù)據(jù)的擬合程度。

2 模型構(gòu)建

2.1 XGBoost算法

XGBoost 是借助梯度提升技術(shù)得以實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法，是一種增強(qiáng)的GBDT 算法，其基分類器是分類與回歸樹（CART），XGBoost 將多個CART 進(jìn)行組合，即XGBoost 為樹集成模型[15]。XGBoost 模型以迭代添加樹的方式建立，第t次迭代時第i個樣本的預(yù)測值可以表示為：

迭代添加樹以最小化目標(biāo)函數(shù)，目標(biāo)函數(shù)式可以表示為：

式中：L為損失函數(shù)；Ω(ft)表示模型復(fù)雜度。

為了快速優(yōu)化目標(biāo)，對式（6）使用二階泰勒展開：

式中：gi和hi分別為損失函數(shù)項(xiàng)的一階和二階導(dǎo)數(shù)。

在添加第t棵樹時，前面t- 1 棵樹已經(jīng)完成訓(xùn)練，即為常數(shù)項(xiàng)，移除該項(xiàng)獲得第t步的簡化目標(biāo)函數(shù)：

式中：ωj為葉結(jié)點(diǎn)j的權(quán)重；γ和λ為復(fù)雜度變量。

最終，目標(biāo)函數(shù)得以優(yōu)化，最優(yōu)解可以表示為：

葉結(jié)點(diǎn)的分裂是基于模型的輸入變量來進(jìn)行的，通過輸入變量被應(yīng)用于葉結(jié)點(diǎn)分裂的次數(shù)來計(jì)算該輸入變量的重要性得分，重要性得分反映了該輸入變量與模型輸出結(jié)果之間的相關(guān)性，進(jìn)而根據(jù)各輸入項(xiàng)的重要性總和計(jì)算相對重要性，因此可以根據(jù)輸入變量相對重要性得分來篩選XGBoost 的輸入。

2.2 XGBoost土壤含水量溫度校正模型

采用XGBoost作為核心擬合算法構(gòu)建傳感器讀數(shù)、土壤溫度和真實(shí)土壤含水量之間的復(fù)雜非線性關(guān)系。模型的輸入項(xiàng)為2×1 矩陣，輸出項(xiàng)為1×1 矩陣。參考相關(guān)文獻(xiàn)對XGBoost 模型的研究結(jié)果[15]，本研究中XGBoost 的主要參數(shù)、參數(shù)設(shè)置、可選區(qū)間和參數(shù)釋義見表2。

表2 XGBoost模型主要參數(shù)設(shè)置Tab.2 XGBoost model main parameter settings

為了充分利用數(shù)據(jù)價值，采用“K折交叉驗(yàn)證”用于模型調(diào)優(yōu)，通過使用無重復(fù)抽樣技術(shù)，每次迭代過程中每個樣本點(diǎn)只有一次被劃入訓(xùn)練集或測試集的機(jī)會，使得模型獲得泛化性能最優(yōu)的超參輸出值。本研究采用5折交叉驗(yàn)證，訓(xùn)練集全部用于模型訓(xùn)練，而測試集用于對訓(xùn)練好的模型進(jìn)行誤差檢驗(yàn)。

XGBoost 土壤含水量校正模型的溫度校正過程見圖2，包含以下幾個步驟：①獲取試驗(yàn)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行歸一化處理，進(jìn)而將數(shù)據(jù)集劃分為訓(xùn)練集和測試集2 部分；②采用5 折交叉驗(yàn)證法對訓(xùn)練集進(jìn)行處理，分別生成5份用于訓(xùn)練和驗(yàn)證的數(shù)據(jù)組；③針對交叉驗(yàn)證的每份數(shù)據(jù)，XGBoost 模型分別建立樹模型、尋找最優(yōu)分裂點(diǎn)、構(gòu)建XGBoost和計(jì)算目標(biāo)函數(shù)；④本研究采用MSE指標(biāo)對模型進(jìn)行誤差評定，選取最佳預(yù)測精度的模型權(quán)重參數(shù)作為最終的模型參數(shù)；⑤將測試集代入最終模型以評估模型對未參與建模數(shù)據(jù)的預(yù)測精度。

圖2 基于XGBoost的土壤含水量校正模型結(jié)構(gòu)Fig.2 XGBoost-based soil moisture content correction model and training process

2.3 數(shù)據(jù)集劃分

為了能夠更好地驗(yàn)證XGBoost模型的模型構(gòu)建能力且充分利用有限的數(shù)據(jù)資源，將數(shù)據(jù)集分成訓(xùn)練集和測試集2 部分。隨機(jī)選取總數(shù)據(jù)中的80%作為訓(xùn)練集，總數(shù)據(jù)集中剩余的20%數(shù)據(jù)用于測試模型的預(yù)測精度評定。

2.4 歸一化方法

為了提升模型訓(xùn)練的精度和擬合速度，將數(shù)據(jù)進(jìn)行歸一化處理，本研究使用“Min-Max”歸一化方法來對各特征值進(jìn)行處理。

2.5 模型訓(xùn)練環(huán)境

本研究試驗(yàn)的訓(xùn)練環(huán)境為一臺圖形工作站，配置為CPU：Intel(R)Xeon(R)CPU E5-1620 v4 @ 3.50GHz、GPU：NVIDIA Quadro K2200 和RAM：32 GB。模型訓(xùn)練采用Ananconda 平臺作為模型訓(xùn)練基礎(chǔ)平臺，采用XGBoost 1.1.0 作為模型框架，底層Python版本為3.7。

3 結(jié)果與分析

3.1 溫度對傳感器測量精度的影響

表3顯示了不同溫度下，傳感器在不同樣本中的度數(shù)與基準(zhǔn)值的差值?？梢钥闯?，傳感器的讀數(shù)均高于實(shí)際的土壤含水量值，整體偏差為[3.52%，14.93%]。此外，隨著溫度的升高，傳感器在各樣本的讀數(shù)均出現(xiàn)了升高趨勢。這是因?yàn)殡S著溫度的升高土壤的極化作用會變強(qiáng)，土壤中水分子的運(yùn)動也隨著溫度的升高而變得活躍，從而導(dǎo)致土壤的介電常數(shù)增大。

表3 不同溫度下土壤含水量傳感器讀數(shù)值與基準(zhǔn)值的差值 %Tab.3 Difference between soil moisture sensor measurements and reference values at different temperatures

圖3 展示了傳感器在0～45 ℃溫度基準(zhǔn)下對各樣本讀數(shù)的最大值、最小值和差值。土壤溫度在0～45 ℃的變化過程中，土壤含水量樣本由低至高的12 組類別，傳感器讀數(shù)數(shù)值范圍分別為[13.1%，18.6%]，[13.7%，19.5%]，[14.1%，20.1%]，

圖3 0～45 ℃溫度下傳感器對各基準(zhǔn)度數(shù)的最大值、最小值和差值Fig.3 Maximum，minimum and difference of sensor for each reference degree at 0～45 ℃

[19.4%，26.6%]，[21.8%，28.6%]，[21.5%，28.3%]，[22.7%，29.8%]，[27.9%，35.8%]，[31.9%，35.5%]，[31.9%，39.5%]，[30.8%，35.1%]，[42.7%，49.1%]。0～45 ℃溫度下各基準(zhǔn)類別讀數(shù)最大值與最小值之差為[3.6%，7.9%]，平均讀數(shù)變幅為6.25%，讀數(shù)變幅較為接近且與基準(zhǔn)土壤含水量并無明顯的趨勢關(guān)系。

從表3的結(jié)果可以看出，溫度對傳感器測量結(jié)果的影響明顯，溫度與傳感器讀數(shù)呈正相關(guān)，溫度升高會導(dǎo)致傳感器讀數(shù)的變大，這是因?yàn)殡S著溫度的升高土壤的極化作用會變強(qiáng)，土壤中的水分子的運(yùn)動也隨著溫度的升高而變得活躍，從而導(dǎo)致土壤的介電常數(shù)增大。這與文獻(xiàn)[9,10,18]的研究結(jié)論相同。此外，賽音朝格圖等[19]在溫室環(huán)境中的研究也有相似的結(jié)論。

3.2 XGBoost 模型土壤含水量溫度補(bǔ)償估算精度對比

為了驗(yàn)證本研究所提出的XGBoost模型的土壤含水量溫度校正效果，以本次試驗(yàn)0～45 ℃溫度下和傳感器在不同基準(zhǔn)的讀數(shù)為模型驗(yàn)證數(shù)據(jù)，對XGBoost 模型的預(yù)測效果進(jìn)行評估。此外，為了進(jìn)一步展示所提出的XGBoost模型在土壤含水量溫度校正的精度優(yōu)勢，對比了其他的集成學(xué)習(xí)方法，比如Bagging[20]、Random Forest[21]和Adaboost[22]，此外，還對比了經(jīng)典的傳統(tǒng)機(jī)器學(xué)習(xí)方法，比如Decision Trees[23]和K-Nearest Neighbor[24]方法。

表4 顯示了XGBoost 模型與其他機(jī)器學(xué)習(xí)模型對訓(xùn)練集數(shù)據(jù)的5 折交叉驗(yàn)證預(yù)測誤差和對測試集的預(yù)測誤差結(jié)果。除SVR 和KNN 外，其余模型的訓(xùn)練集和測試集的預(yù)測R2均超過了0.90，說明其均能夠?qū)崿F(xiàn)對整體數(shù)據(jù)集的較好擬合。

表4 XGBoost及不同機(jī)器學(xué)習(xí)模型的土壤含水量校正精度對比Tab.4 Comparison of the accuracy of soil moisture content correction for XGBoost and different machine learning models

從測試集的預(yù)測誤差看，本研究所提出的XGBoost模型獲得了最佳的預(yù)測精度，MSE、MAE和RMSE分別為0.013%、0.825%和1.165%，取得了所有對比模型中的最佳預(yù)測表現(xiàn)。這是由于XGBoost算法具備并行計(jì)算、近似建樹、對稀疏數(shù)據(jù)的有效處理以及內(nèi)存使用優(yōu)化等功能，使得XGBoost不僅運(yùn)算高效且擬合精度更高。文獻(xiàn)[25,26]的研究同樣證明了XGBoost模型預(yù)測能力優(yōu)于其他基于樹的集成學(xué)習(xí)模型。

在未來的研究中，希望能夠在不同的土壤類型上進(jìn)行數(shù)據(jù)采集以分析空氣溫度、土壤溫度等因素對模型估算的影響，進(jìn)一步提升用于模型訓(xùn)練的數(shù)據(jù)量來平衡訓(xùn)練集與測試集的統(tǒng)計(jì)學(xué)指標(biāo)，實(shí)現(xiàn)更好的模型泛化性能和應(yīng)用能力。

4 結(jié)論

針對土壤溫度對傳感器土壤含水量測定的影響，本研究提出采用基于樹的集成學(xué)習(xí)算法XGBoost 結(jié)合“5 折交叉驗(yàn)證法”構(gòu)建土壤含水量溫度校正模型。以小湯山精準(zhǔn)農(nóng)業(yè)與生態(tài)環(huán)境重點(diǎn)野外科學(xué)觀測試驗(yàn)站土壤樣本為依托，分別配置含水量為10%、15%、20%、25%、35%的濕土土樣，測定了12 組土壤含水量基準(zhǔn)環(huán)境，記錄了傳感器在0～45 ℃的溫度變化過程中傳感器讀數(shù)。

（1）土壤含水量傳感器讀數(shù)隨著溫度的升高而增加，0～45 ℃溫度下各基準(zhǔn)類別讀數(shù)最大值與最小值變幅為[3.6%，7.9%]，平均讀數(shù)變幅為6.25%。

（2）XGBoost 土壤含水量溫度校正模型能夠?qū)崿F(xiàn)對傳感器土壤含水量溫度影響的補(bǔ)償，對測試集的MSE、MAE、RMSE和R2分別為0.013%、0.825%、1.165%和0.973。此外，對比Tree、Random Froest、Bagging、Adaboost、KNN 和SVR 模型，本研究提出的XGBoost 溫度校正模型取得了最佳的預(yù)測精度。本研究對土壤含水量傳感器溫度校正和基于樹的集成學(xué)習(xí)模型構(gòu)建具有一定的意義。