基于小波包分解的GJO-XGBoost水面蒸發(fā)量預(yù)測(cè)

陳金紅 崔東文

(1.云南省水利水電投資有限公司,昆明 650051;2.云南省文山州水務(wù)局,云南 文山 663000)

1 研究背景

水面蒸發(fā)量是反映全球水循環(huán)變化趨勢(shì)的重要指標(biāo)之一,是核定區(qū)域水資源量的重要內(nèi)容.提高水面蒸發(fā)量預(yù)測(cè)精度,對(duì)于水文情報(bào)預(yù)報(bào)及分析區(qū)域水量平衡、水資源變化趨勢(shì)具有重要意義.近年來(lái),各種機(jī)器學(xué)習(xí)模型,如隨機(jī)森林[1]、GPR、Cat Boost、XGBoost網(wǎng)絡(luò)[2]、BP神經(jīng)網(wǎng)絡(luò)[3]、RBF神經(jīng)網(wǎng)絡(luò)[4]等已在水面蒸發(fā)量預(yù)測(cè)研究中得到應(yīng)用,并取得較好的預(yù)測(cè)效果.由于水面蒸發(fā)量時(shí)間序列受熱力因子、動(dòng)力因子、水分因子等影響[5],常表現(xiàn)出非線性和多尺度等特征,傳統(tǒng)單一模型難以獲得滿意的水面蒸發(fā)量預(yù)測(cè)效果.當(dāng)前,基于“分解算法+智能算法+預(yù)測(cè)模型+疊加重構(gòu)”的預(yù)測(cè)方法已在各行業(yè)領(lǐng)域及水文預(yù)測(cè)預(yù)報(bào)研究中得到廣泛應(yīng)用[5-7],但鮮見于水面蒸發(fā)量時(shí)間序列預(yù)測(cè).

極端梯度提升(XGBoost)算法是在GBDT(gradient boosting decision tree,GBDT)算法的基礎(chǔ)上做了大量?jī)?yōu)化,提升了算法的性能和速度,是樹集成算法的典型代表,具有擬合效果好、訓(xùn)練速度快等優(yōu)點(diǎn),已在水面蒸發(fā)量[8]、降水量[9]、電力峰值負(fù)荷預(yù)測(cè)[10]等領(lǐng)域得到廣泛應(yīng)用.然而,XGBoost算法包含迭代次數(shù)、學(xué)習(xí)率、最大樹深、最小樣本權(quán)重和、樣本采用率等許多超參數(shù),這些超參數(shù)對(duì)預(yù)測(cè)模型的實(shí)現(xiàn)效率和預(yù)測(cè)性能有著較大影響,超參數(shù)的合理選取是提升XGBoost算法預(yù)測(cè)性能的關(guān)鍵,目前,遺傳算法等[11-16]若干優(yōu)化算法已在XGBoost超參數(shù)調(diào)優(yōu)中得到應(yīng)用,并取得較好的調(diào)優(yōu)效果.

為提高水面蒸發(fā)量時(shí)間序列預(yù)測(cè)精度,改進(jìn)XGBoost預(yù)測(cè)性能,拓展群體智能算法(swarm intelligence algorithms,SIA)在XGBoost超參數(shù)調(diào)優(yōu)中的應(yīng)用范疇,本文基于小波包變換(wavelet packet transform,WPT)和“分解算法+智能算法+預(yù)測(cè)模型+疊加重構(gòu)”思想,研究提出金豺優(yōu)化(golden jackal optimization,GJO)算法調(diào)優(yōu)XGBoost超參數(shù)的水面蒸發(fā)量時(shí)間序列預(yù)測(cè)模型,并構(gòu)建WPTPSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPT-XGBoost對(duì)比分析模型,通過云南省龍?zhí)墩?、董湖站、西洋?991年1月至2021年12月逐月水面蒸發(fā)量時(shí)序數(shù)據(jù)對(duì)各模型預(yù)測(cè)性能進(jìn)行驗(yàn)證,為水面蒸發(fā)量預(yù)測(cè)研究提供參考.

2 數(shù)據(jù)來(lái)源與研究方法

2.1 研究區(qū)概況與數(shù)據(jù)來(lái)源

云南省氣候、地形類型多樣,各水文要素分布十分復(fù)雜.龍?zhí)墩臼冀ㄓ?952 年2 月,位于盤龍河中游,控制徑流面積3 128 km2,屬國(guó)家重要水文站和中央報(bào)汛站,觀測(cè)項(xiàng)目有水位、流量、蒸發(fā)等.盤龍河流域?qū)俚途暥雀咴撅L(fēng)氣候,流域內(nèi)冬無(wú)嚴(yán)寒,夏無(wú)酷暑,年溫差小,日溫差大,無(wú)霜期長(zhǎng),流域月平均蒸發(fā)量82.6 mm,最大月蒸發(fā)量168.4 mm,最小月蒸發(fā)量40.3 mm,蒸發(fā)量起伏波大,差異明顯.由于海拔高低懸殊,具有明顯的立體氣候特征.董湖站設(shè)立于1958年12月,位于南利河下游,控制流域面積2 369 km2,屬國(guó)家重要水文站和中央報(bào)汛站,觀測(cè)項(xiàng)目有水位、流量、蒸發(fā)等.南利河流域地處低緯度地區(qū),屬南亞熱帶高原季風(fēng)氣候,具有冬春干涼、夏秋濕潤(rùn),氣候垂直差異大、立體氣候明顯等特征.高海拔的山地為暖濕帶、濕帶氣候,下游河谷為熱帶氣候.流域蒸發(fā)量年內(nèi)分配不均,一般最大蒸發(fā)出現(xiàn)在4-5月,11月至次年2月蒸發(fā)量最少.流域月平均蒸發(fā)量75.1 mm,最大月蒸發(fā)量139.8 mm,最小月蒸發(fā)量38.1 mm,月蒸發(fā)量差異明顯.西洋站設(shè)立于1958年10月,位于西洋江中游,控制流域面積2 473 km2,屬國(guó)家重要水文站和中央報(bào)汛站,觀測(cè)項(xiàng)目有水位、流量、降雨、蒸發(fā).西洋江流域?qū)儆谥衼啛釒Ц咴撅L(fēng)氣候,常年氣候溫和,流域內(nèi)雨水充沛,雨量集中,干濕季分明,氣候總特征為“夏無(wú)酷暑,冬無(wú)嚴(yán)寒”.流域月平均蒸發(fā)量73.7 mm,最大月蒸發(fā)量144.5 mm,最小月蒸發(fā)量29.6 mm,月蒸發(fā)量差異顯著.龍?zhí)墩尽⒍?、西洋站蒸發(fā)觀測(cè)均采用E601型蒸發(fā)皿.

本文以云南省龍?zhí)墩?、董湖站、西洋?991年1月至2021年12月共372組逐月水面蒸發(fā)量為研究對(duì)象,逐月蒸發(fā)量時(shí)序數(shù)據(jù)變化曲線如圖1所示.從圖1可以看出,龍?zhí)墩?、董湖站、西洋站月蒸發(fā)時(shí)序數(shù)據(jù)呈現(xiàn)出典型的出多尺度、非線性特征.

圖1 龍?zhí)墩?、董湖站、西洋站逐月水面蒸發(fā)時(shí)序數(shù)據(jù)

2.2 研究方法

2.2.1 小波包變換(WPT)

WPT 能同時(shí)對(duì)信號(hào)低頻部分和高頻部分進(jìn)行分解,更適用于水面蒸發(fā)量時(shí)間序列分解.WPT 對(duì)水面蒸發(fā)量原始信號(hào)進(jìn)行分解的公式為[17-21]:

式中各參數(shù)意義詳見文獻(xiàn)[17-21].

2.2.2 金豺優(yōu)化(GJO)算法

GJO 算法是Nitish Chopra等于2022年提出的一種基于種群的新型元啟發(fā)式優(yōu)化算法[22].該算法靈感來(lái)自于自然界中金豺協(xié)作狩獵行為,算法通過一對(duì)雄性和雌性金豺協(xié)同搜索獵物、包圍獵物、突襲獵物建立數(shù)學(xué)模型實(shí)現(xiàn)待優(yōu)化問題的求解.

參考文獻(xiàn)[22],GJO 數(shù)學(xué)描述簡(jiǎn)述如下:

1)初始化.與其他元啟發(fā)式算法一樣,GJO 通過隨機(jī)初始化金豺種群開始,金豺個(gè)體初始化位置描述為:

式中:Y0為金豺個(gè)體初始位置;Ymax、Ymin為搜索范圍上、下限;Rand為[0,1]范圍內(nèi)的隨機(jī)數(shù).

2)探索階段(搜索獵物).GJO 中,金豺知道如何感知和跟蹤獵物,但偶爾會(huì)有獵物逃脫.狩獵由雄性金豺領(lǐng)導(dǎo),雌性金豺跟隨雄性金豺狩獵.搜索行為描述如下:

式中:Y1(t)、Y2(t)為對(duì)應(yīng)獵物的雄性和雌性金豺位置;t為當(dāng)前迭代次數(shù);Prey(t)為第t次迭代獵物位置;YM(t)、YFM(t)為雄性和雌性金豺第t次迭代位置;E為獵物逃避能量,描述為:E=c1·[1-(t/T)]·(2r-1),c1為常數(shù),本文取1.5;T為最大迭代次數(shù);r為介于0和1之間的隨機(jī)數(shù);RL為基于Levy飛行的隨機(jī)數(shù);其他參數(shù)意義同上.

3)開發(fā)階段(圍捕和突襲獵物).當(dāng)獵物受到金豺攻擊時(shí),其逃避能量逐漸降低.金豺?qū)〉墨C物展開突襲,并將其捕食.雄性和雌性金豺一起狩獵的行為描述如下:

式中,參數(shù)意義同上.

4)位置更新.GJO 依據(jù)式(6)更新金豺位置.

式中:Y(t+1)為第(t+1)次迭代金豺位置;其他參數(shù)意義同上.

2.2.3 XGBoost算法

XGBoost屬于Boosting 集成學(xué)習(xí)算法,具有良好的擬合和泛化能力.對(duì)于給定的數(shù)據(jù)集D={(x i,y i)},XGBoost學(xué)習(xí)k棵樹,采用以下函數(shù)對(duì)樣本進(jìn)行預(yù)測(cè)[6-8]:

通過多個(gè)決策樹使預(yù)測(cè)值接近真實(shí)值,XGBoost目標(biāo)函數(shù)為:

式中:l(φ)為損失函數(shù);n為訓(xùn)練樣本數(shù)量;y i為第i個(gè)樣本實(shí)測(cè)值;Ω(φ)為正則項(xiàng).正則項(xiàng)對(duì)每顆回歸數(shù)的復(fù)雜度進(jìn)行懲罰,XGboost學(xué)習(xí)出來(lái)的模型更加不容易過擬合.

樹的復(fù)雜度通常由樹的深度、內(nèi)部節(jié)點(diǎn)個(gè)數(shù)、葉子節(jié)點(diǎn)個(gè)數(shù)、葉子節(jié)點(diǎn)分?jǐn)?shù)等指標(biāo)進(jìn)行衡量.XGboost對(duì)葉子節(jié)點(diǎn)個(gè)數(shù)進(jìn)行懲罰,相當(dāng)于在訓(xùn)練過程中做了剪枝:

式中:T為葉子結(jié)點(diǎn)個(gè)數(shù);ω為葉子結(jié)點(diǎn)分?jǐn)?shù);γ、λ用來(lái)增強(qiáng)模型控過擬合能力.

XGBoost算法中,迭代次數(shù)M、學(xué)習(xí)率l、最大樹深d、最小樣本權(quán)重和w、樣本采用率u、對(duì)列采樣率s、正則系數(shù)σ是影響XGBoost預(yù)測(cè)性能的關(guān)鍵.為確定最優(yōu)XGBoost超參數(shù),本文使用GIO 對(duì)其進(jìn)行調(diào)優(yōu).

2.2.4 算法驗(yàn)證

本文在3維至100維條件下,選取表1中4個(gè)函數(shù)對(duì)GJO、PSO 進(jìn)行仿真測(cè)試,并利用20次尋優(yōu)平均值進(jìn)行評(píng)估.設(shè)置GJO、PSO 最大迭代次數(shù)Tmax=200,種群規(guī)模n=50,其他參數(shù)采用各算法默認(rèn)值.

表1 函數(shù)尋優(yōu)結(jié)果

對(duì)于單峰函數(shù)和多峰函數(shù),GJO 尋優(yōu)精度分別較PSO 提高12個(gè)和5個(gè)數(shù)量級(jí)以上.GJO 尋優(yōu)效果優(yōu)于PSO,尤其是在低維(3、5、10維)情形下,GJO 具有更佳的尋優(yōu)精度.

2.3 建模流程

步驟1:為盡量減少模型的計(jì)算規(guī)模,本文基于dmey小波基函數(shù),利用1 層WPT 將龍?zhí)墩尽⒍?、西洋?991年1月—2021年12月逐月水面蒸發(fā)量時(shí)序數(shù)據(jù)分解為2個(gè)子序列分量[1,1]和[1,2],如圖2所示.

圖2 龍?zhí)墩尽⒍?、西洋站水面蒸發(fā)時(shí)序數(shù)據(jù)WPT 分解

從圖2可以看出,[1,1]分量頻率最小,為時(shí)間序列的低頻部分,大致反映水面蒸發(fā)量時(shí)序數(shù)據(jù)的變化趨勢(shì);[1,2]分量波動(dòng)激烈且頻率較大,為時(shí)間序列的高頻部分,大致反映水面蒸發(fā)量時(shí)序數(shù)據(jù)的隨機(jī)性特征.

步驟2:采用文獻(xiàn)[19-20]方法確定分量[1,1]、[1,2]的嵌入維數(shù)k,并利用前k月水面蒸發(fā)分量來(lái)預(yù)測(cè)當(dāng)月水面蒸發(fā)分量.預(yù)測(cè)模型的輸入、輸出表示為:

式中:Youtput為月水面蒸發(fā)量預(yù)測(cè)輸出值;u為月水面蒸發(fā)量序列長(zhǎng)度;k為嵌入維或滯后數(shù).

經(jīng)計(jì)算,龍?zhí)墩尽⒍?、西洋站水面蒸發(fā)分量[1,1]和[1,2]的k值分別為27和11、14和18、19和22.本文選取1991年1月-2011年12月(252月)作為訓(xùn)練樣本,2012年1月-2021年12月(120月)作為預(yù)測(cè)樣本.

步驟3:利用各分量訓(xùn)練樣本構(gòu)建GJO 優(yōu)化XGBoost迭代次數(shù)、學(xué)習(xí)率、最大樹深、最小樣本權(quán)重和、樣本采用率、對(duì)列采樣率、正則系數(shù)共7個(gè)超參數(shù)的適應(yīng)度函數(shù)f:

步驟4:設(shè)置GJO、PSO 最大迭代次數(shù)Tmax=100,種群規(guī)模n=30,其他參數(shù)采用各算法默認(rèn)值;設(shè)置XGBoost迭代次數(shù)M、學(xué)習(xí)率l、最大樹深d、最小樣本權(quán)重和w、樣本采用率u、對(duì)列采樣率s、正則系數(shù)σ的搜索范圍分別為[5,50]、[0.01,0.5]、[1,5]、[0.5,1]、[0.5,1]、[0.1,10]、[0.1,10];SVM 超參數(shù)搜索范圍設(shè)置為[2-5,25].所有模型水面蒸發(fā)時(shí)序數(shù)據(jù)均采用[-1,1]進(jìn)行歸一化處理(PSO 調(diào)優(yōu)XGBoost超參數(shù)以及GJO、PSO 調(diào)優(yōu)SVM 超參數(shù)可參考實(shí)現(xiàn)).

步驟5:利用式(3)在搜索空間中隨機(jī)初始化金豺位置Y0;同時(shí)初始化獵物矩陣Prey,其中第一和第二獵物位置對(duì)應(yīng)的一對(duì)雄性和雌性金豺位置.

步驟6:計(jì)算獵物適應(yīng)度值,找到并保存當(dāng)前第一和第二獵物位置,即對(duì)應(yīng)雄性和雌性金豺位置Y1、Y2.令當(dāng)前迭代次數(shù)t=1.

步驟7:計(jì)算獵物逃避能量E.若|E|≥1,利用式(4)、式(5)和式(8)更新金豺位置;若|E|<1,利用式(6)、式(7)和式(8)更新金豺位置.

步驟8:計(jì)算位置更新后的獵物適應(yīng)度值,比較并保存當(dāng)前雄性金豺位置Y1.

步驟9:重復(fù)步驟7～8直至滿足算法最大迭代次數(shù).

步驟10:輸出雄性金豺位置Y1,該位置即為XGBoost最佳超參數(shù).利用該超參數(shù)建立WPT-GJOXGBoost模型對(duì)各實(shí)例[1,1]、[1,2]分量進(jìn)行預(yù)測(cè)和加和重構(gòu).

步驟11:利用平均絕對(duì)百分比誤差、平均絕對(duì)誤差對(duì)各模型進(jìn)行評(píng)估,見式(14).

3 結(jié)果與分析

構(gòu)建WPT-GJO-XGBoost、WPT-PSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPT-XGBoost模型對(duì)龍?zhí)墩?、董湖站、西洋站月水面蒸發(fā)量進(jìn)行訓(xùn)練及預(yù)測(cè),預(yù)測(cè)結(jié)果如圖3～5所示,預(yù)測(cè)效果如圖6所示.

圖3 龍?zhí)墩舅嬲舭l(fā)量預(yù)測(cè)結(jié)果

圖4 董湖站水面蒸發(fā)量預(yù)測(cè)結(jié)果

圖5 西洋站水面蒸發(fā)量預(yù)測(cè)結(jié)果

圖6 水面蒸發(fā)量預(yù)測(cè)結(jié)果

由圖3～6可以得出:

1)WPT-GJO-XGBoost模型對(duì)龍?zhí)墩舅嬲舭l(fā)量預(yù)測(cè)的EMAP、EMA分別為5.491%、4.70 mm,預(yù)測(cè)精度分別較WPT-PSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPT-XGBoost模型提高了14.9%、10.6%、18.7%、42.8%和14.6%、8.6%、13.1%、43.5%;對(duì)董湖站水面蒸發(fā)量預(yù)測(cè)的EMAP分別為4.943%、3.37 mm,預(yù)測(cè)精度分別較WPT-PSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPTXGBoost模型提高了33.2%、14.2%、38.1%、57.8%和29.9%、12.1%、35.6%、53.6%;對(duì)西洋站水面蒸發(fā)量預(yù)測(cè)的EMAP分別為5.024%、3.39 mm,預(yù)測(cè)精度分別較 WPT-PSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPT-XGBoost模型提高了29.1%、2.1%、6.4%、52.5%和26.6%、4.2%、7.8%、52.5%.WPT-GJO-XGBoost模型預(yù)測(cè)精度優(yōu)于WPT-PSOXGBoost、WPT-GJO-SVM、WPT-PSO-SVM 模型,遠(yuǎn)優(yōu)于WPT-XGBoost模型,具有較好的精度和泛化能力,將其用于水面蒸發(fā)量預(yù)測(cè)是可行的.

2)WPT-GJO-XGBoost模型對(duì)龍?zhí)墩?、董湖站、西洋站水面蒸發(fā)量的預(yù)測(cè)誤差遠(yuǎn)小于WPT-XGBoost模型,證明GJO 能有效調(diào)優(yōu)XGBoost超參數(shù),提高XGBoost 的預(yù)測(cè)性能;WPT-GJO-XGBoost、WPT-GJO-SVM 預(yù)測(cè)精度高于對(duì)應(yīng)的WPT-PSOXGBoost,WPT-PSO-SVM 模型,說明GJO 對(duì)XGBoost、SVM 超參數(shù)的調(diào)優(yōu)效果要優(yōu)于PSO;算法尋優(yōu)性能越好,超參數(shù)調(diào)優(yōu)效果越佳,由此所構(gòu)建的模型預(yù)測(cè)精度也越高.

3)從圖6可知,WPT-XGBoost模型預(yù)測(cè)誤差波動(dòng)幅度較大,預(yù)測(cè)可靠性較低;相比之下,WPT-GJOXGBoost模型預(yù)測(cè)誤差最小、精度最高,能更好地逼近真實(shí)值,這進(jìn)一步證明了WPT-GJO-XGBoost模型預(yù)測(cè)能力的準(zhǔn)確性.

4 結(jié)論

針對(duì)水面蒸發(fā)量時(shí)間序列多尺度、非線性特征和XGBoost超參數(shù)選取困難等不足,建立WPT-GJOXGBoost水面蒸發(fā)量時(shí)間序列預(yù)測(cè)模型,并構(gòu)建WPT-PSO-XGBoost等4種對(duì)比預(yù)測(cè)模型,通過云南省龍?zhí)墩尽⒍?、西洋?個(gè)水面蒸發(fā)量預(yù)測(cè)實(shí)例對(duì)各模型進(jìn)行驗(yàn)證.結(jié)論有以下幾點(diǎn):

1)GJO 具有較好的尋優(yōu)性能,將GJO 用于XGBoost超參數(shù)調(diào)優(yōu)是可靠的.

2)通過與 WPT-PSO-XGBoost、WPT-GJOSVM、WPT-PSO-SVM、WPT-XGBoost 模型相比,提出的WPT-GJO-XGBoost模型能顯著提高水面蒸發(fā)量預(yù)測(cè)精度,3個(gè)實(shí)例預(yù)測(cè)的EMAP均低于5.5%,充分驗(yàn)證了預(yù)測(cè)模型的可靠性和準(zhǔn)確性.模型預(yù)測(cè)精度高、泛化性能好,同時(shí)具有簡(jiǎn)潔高效等特點(diǎn),有著較好的推廣價(jià)值.

3)GJO 能有效調(diào)優(yōu)XGBoost超參數(shù),提高XGBoost的預(yù)測(cè)性能;算法尋優(yōu)性能越好,XGBoost超參數(shù)調(diào)優(yōu)效果越佳,由此所構(gòu)建的模型預(yù)測(cè)精度也越高.