基于XGBOOST-DNN的中期電力負(fù)荷預(yù)測①

楊 洋,谷震浩

1(中國科學(xué)院大學(xué),北京 100049)

2(中國科學(xué)院 沈陽計(jì)算技術(shù)研究所,沈陽 110168)

電力負(fù)荷預(yù)測在電力系統(tǒng)調(diào)度、維護(hù)和容量規(guī)劃等方面起著至關(guān)重要的作用,對指導(dǎo)電網(wǎng)規(guī)劃建設(shè)和改善電力系統(tǒng)資源的優(yōu)化配置具有重要意義.實(shí)際的電力負(fù)荷預(yù)測分為短期、中期和長期預(yù)測.短期負(fù)荷預(yù)測(Short Term Load Forecasting,STLF) 與未來幾小時到幾天的負(fù)荷預(yù)測相關(guān),中期負(fù)荷預(yù)測(Medium Term Load Forecasting,MTLF) 則處理以幾周到幾個月為目標(biāo)的預(yù)測,長期負(fù)荷預(yù)測(Long Term Load Forecasting,LTLF) 則是處理一年到幾年的負(fù)荷預(yù)測.LTLF可以協(xié)助規(guī)劃新的電力系統(tǒng);MTLF 有助于系統(tǒng)維護(hù)、購買能源和定價(jià)計(jì)劃;而 STLF在配電和負(fù)荷調(diào)度中起著關(guān)鍵作用.MTLF是一項(xiàng)及具有挑戰(zhàn)性的任務(wù),因?yàn)樗枰谳^長的時間內(nèi)完成及長期指導(dǎo)和預(yù)測的功能.

在前沿工作者的研究當(dāng)中,短期電力負(fù)荷預(yù)測的算法種類較多,豐富多樣.如Chen 等[1]在2018年提出了一種引入深度殘差網(wǎng)絡(luò)結(jié)構(gòu)的短期電力負(fù)荷模型;孔祥玉等[2]在2019年提出了一種基于模態(tài)分解與特征相關(guān)分析的短期負(fù)荷預(yù)測方法;Del Carmen Ruiz-Abellón 等[3]在2018年驗(yàn)證了集成學(xué)習(xí)方法隨機(jī)森林在短期電力負(fù)荷的有效性.肖勇等[4]在2020年提出了基于多尺度跳躍深度長短期記憶網(wǎng)絡(luò)的短期負(fù)荷預(yù)測方法.在中長期的電力負(fù)荷預(yù)測的研究工作中,傅靖等[5]在2020年提出了基于基因表達(dá)式編程的中長期電力負(fù)荷預(yù)測算法,并通過仿真實(shí)驗(yàn)驗(yàn)證了其算法的精確性;王軍[6]在2018年提出了基于深度神經(jīng)網(wǎng)絡(luò)的中期電力負(fù)荷預(yù)測,在中期的負(fù)荷數(shù)據(jù)分析處理和神經(jīng)網(wǎng)絡(luò)模塊中給出了具體的處理方案;陳家慧[7]在2019年提出了灰色理論與深度神經(jīng)網(wǎng)絡(luò)在電力系統(tǒng)中長期負(fù)荷預(yù)測中的應(yīng)用方案.

在本文中,我們提出了基于XGBoost和DNN 模型相結(jié)合的XGBoost-DNN 算法,最大程度地利用除負(fù)荷時序特征以外的特征信息,并引入短期電力負(fù)荷的預(yù)測形成的交叉特征到最終的中期電力負(fù)荷模型中.

1 電力負(fù)荷預(yù)測的影響因素

電力負(fù)荷預(yù)測的數(shù)據(jù)主要是以時序形式存儲,其影響因素非常復(fù)雜,因此需要觀察不同時間段的天氣、溫度、濕度、節(jié)假日、經(jīng)濟(jì)狀況來對數(shù)據(jù)進(jìn)行不同角度的分析.這里我們主要采用的數(shù)據(jù)源于全球能源大賽GEF-Com2017,其中的更多數(shù)據(jù)細(xì)節(jié)可以參考文獻(xiàn)[8]進(jìn)行查閱.該數(shù)據(jù)提供了橫跨美國新英格蘭的8 個區(qū)域的小時級電力負(fù)荷數(shù)據(jù),還提供了包括干球溫度和露點(diǎn)溫度在內(nèi)的每小時天氣數(shù)據(jù).當(dāng)前數(shù)據(jù)的分析主要取2003年3月到2017年12月時期所有區(qū)域總和的負(fù)荷數(shù)據(jù),溫度是8 個地區(qū)氣象站的加權(quán)值,根據(jù)文獻(xiàn)[8]所解釋，每個負(fù)荷區(qū)對應(yīng)的氣象站是根據(jù)其與負(fù)荷區(qū)地理位置的接近程度來表示的“最佳選擇”,并不代表負(fù)荷區(qū)的“實(shí)際天氣”,而僅代表所列氣象站,其權(quán)重?cái)?shù)據(jù)可具體參見GEF-Com2017 數(shù)據(jù)集.

受于數(shù)據(jù)所限,本文的負(fù)荷數(shù)據(jù)影響因素的分析將在干球溫度和露點(diǎn)溫度的數(shù)據(jù)上進(jìn)行.如圖1和圖2所示,我們可以獲取到從2003年到2017年在以小時為粒度,溫度和真實(shí)需求負(fù)荷之間的散點(diǎn)圖,我們從中進(jìn)行了非線性函數(shù)的擬合,最終確定溫度和負(fù)荷之間的非線性關(guān)系.

圖1 露點(diǎn)溫度與負(fù)荷數(shù)據(jù)的散點(diǎn)圖

圖2 干球溫度與負(fù)荷數(shù)據(jù)的散點(diǎn)圖

數(shù)據(jù)在數(shù)據(jù)分析過程中,我們不得不去驗(yàn)證數(shù)據(jù)溫度的真實(shí)性,即其溫度數(shù)據(jù)是否符合我們的基礎(chǔ)認(rèn)知(呈現(xiàn)線性關(guān)系).如圖3所示,我們將所有的干球和露點(diǎn)數(shù)據(jù)進(jìn)行了散點(diǎn)圖的可視化,并進(jìn)行了線性函數(shù)的擬合.可以發(fā)現(xiàn),干球溫度和露點(diǎn)溫度小時粒度的區(qū)分度非常明顯,并且線性擬合的函數(shù)滿足于我們的基礎(chǔ)認(rèn)知的數(shù)據(jù)特性.

圖3 露點(diǎn)溫度與干球溫度數(shù)據(jù)的散點(diǎn)圖

除以上干球和露點(diǎn)溫度的影響因素外,其負(fù)荷數(shù)據(jù)本身便存在一定的周期性變化,如圖4所示,可以看出數(shù)據(jù)在2003年到2017年之間,每一年的負(fù)荷數(shù)據(jù)都呈現(xiàn)了3 個峰頭和3 個峰谷的周期性變化.因此,與周期性變化具有強(qiáng)關(guān)聯(lián)性的時間特征是需要重點(diǎn)挖掘的數(shù)據(jù)特征,比如季節(jié)、月份、上下旬、工作日、周末等.

圖4 負(fù)荷數(shù)據(jù)的周期性變化圖

2 XGBoost-DNN 模型算法

本文所提出的XGBoost-DNN 模型算法主要是由XGBoost和DNN 兩個模塊,前者作為特征處理器,利用短期負(fù)荷預(yù)測對原始數(shù)據(jù)進(jìn)行用來學(xué)習(xí)特征到目標(biāo)的映射關(guān)系,后者將學(xué)習(xí)的映射關(guān)系(葉子節(jié)點(diǎn))作為特征接入到DNN 模型中去學(xué)習(xí)中期電力負(fù)荷的時序目標(biāo),由此完成中期電力負(fù)荷的預(yù)測任務(wù).

2.1 XGBoost

樹模型具備一般的if-then 結(jié)構(gòu),簡單的決策樹模型會將輸入數(shù)據(jù)集的特征空間進(jìn)行劃分,每個數(shù)據(jù)樣本最終會被分在特征空間的子空間中,也就是每個數(shù)據(jù)樣本會落在決策樹上的某一個葉子節(jié)點(diǎn)上,而該葉子節(jié)點(diǎn)得益于if-then 結(jié)構(gòu)的原因就具備了一個天然的特征交叉效果,如圖5所示,在Tree1 中,如果樣本A落在第一個葉子節(jié)點(diǎn)上,那么可以獲得＜age＜15 &gender=male＞的二階交叉特征.因此,通過樹模型我們可以很自然地獲取到高階的交叉特征,基于這類特性,我們選擇樹模型可以將時序特征和類別特征加工成豐富的交叉特征.

圖5 樹模型的特征交叉

在樹模型的演化歷史中,集成學(xué)習(xí)中的樹模型又被分為了以隨機(jī)森林(random forest) 模型為代表的bagging 思想和梯度提升樹(Gradient Boosting Decision Tree,GBDT)為代表的Boosting 思想,兩者都是使用弱學(xué)習(xí)器的集成學(xué)習(xí)方式對需求任務(wù)進(jìn)行學(xué)習(xí),其中主要的不同是,前者是分為多個子模型對放回抽樣的數(shù)據(jù)進(jìn)行多次決策,最終預(yù)測結(jié)果依賴于全部子模型的投票結(jié)果,后者是將多個子模型進(jìn)行堆疊,后一個子模型在前一個子模型的基礎(chǔ)上學(xué)習(xí)其剩余的殘差,即一個樣本不再只落在一棵樹的葉子節(jié)點(diǎn)上.如圖5所示,當(dāng)一個樣本A 通過Boosting的樹模型,并且落在Tree1的第一個葉子結(jié)點(diǎn)和Tree2的第一個葉子節(jié)點(diǎn),那么我們可以得到＜Age＜15 &gender=male＞和＜useComputer=yes &isKid=yes＞作為樣本A的高階特征表達(dá).

XGBoost (eXtreme Gradient Boosting)算法是由華盛頓大學(xué)陳天奇博士基于GBDT和隨機(jī)森林提出的高效和廣泛使用的集成學(xué)習(xí)方法,既可以應(yīng)用于分類任務(wù)中,也可以應(yīng)用在回歸問題中.相比GBDT和隨機(jī)森林,XGBoost不僅具備更加良好的精確性,還添加了正則化項(xiàng)增強(qiáng)了模型的泛化效果,同時支持并行化特征選擇使其具備了更加高效的學(xué)習(xí)方式去提升模型的訓(xùn)練速度.損失函數(shù)的計(jì)算公式如下:

其中,是第t次迭代中第i個樣本的預(yù)測結(jié)果,ft(xi)是第當(dāng)前迭代中第i個樣本的預(yù)測函數(shù),Ω(ft)是正則項(xiàng).

基于此,樹模型本身的交叉特性和XGBoost的高精確性是我們選擇它的主要因素.借助XGBoost 模型對中長期電力負(fù)荷預(yù)測任務(wù)進(jìn)行預(yù)訓(xùn)練,將中長期電力負(fù)荷預(yù)測的特征數(shù)據(jù)接入到XGBoost 模型中,預(yù)測Label 由多目標(biāo)轉(zhuǎn)為單目標(biāo),即取最近的時序負(fù)荷作為目標(biāo)Label,預(yù)測任務(wù)是短期負(fù)荷預(yù)測任務(wù).該操作主要考慮到兩個因素,其一是樹模型本身不適用于做多目標(biāo)回歸任務(wù);其二是XGBoost在XGBoost-DNN的模型結(jié)構(gòu)里,承擔(dān)的主要任務(wù)是提供高階的交叉特征,而選擇最近時序的負(fù)荷數(shù)據(jù)作為目標(biāo)Label 有助于XGBoost 模型在學(xué)習(xí)過程中能更好地捕捉到以短期時序?yàn)槟繕?biāo)的特征結(jié)構(gòu)信息,讓DNN 模型學(xué)習(xí)到更豐富的特征空間.

2.2 DNN

深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks,DNN)是基于誤差反向傳播算法的前向神經(jīng)網(wǎng)絡(luò),具有較強(qiáng)的非線性擬合和學(xué)習(xí)能力,一般包含3 層網(wǎng)絡(luò):輸入層、隱含層和輸出層.每一層都是由許多神經(jīng)元組成,相同層的神經(jīng)元之間沒有任何連接,相鄰層則是完全互相連接,其中隱含層大多情況下不止一層,而其中每個隱層的每個神經(jīng)元都是非線性的激活函數(shù),如ReLU、Sigmoid 等.一般,DNN在工業(yè)界中是由機(jī)器學(xué)習(xí)轉(zhuǎn)到深度學(xué)習(xí)演進(jìn)過程中必不可少的模型,其強(qiáng)大的非線性擬合和學(xué)習(xí)能力是得到業(yè)界共識的.在中期電力負(fù)荷的領(lǐng)域里,DNN在多目標(biāo)的回歸任務(wù)中是學(xué)習(xí)時序關(guān)系必不可少的重要模型.它可以很好地捕捉到負(fù)荷數(shù)據(jù)到目標(biāo)的非線性映射關(guān)系,這是XGBoost 等樹模型所不能替代的.

2.3 XGBoost-DNN 算法

XGBoost-DNN 模型是由XGBoost和DNN 所構(gòu)成的組合模型,其模型結(jié)構(gòu)如圖6所示.在中期電力負(fù)荷預(yù)測的場景下一般是使用單個模塊來去實(shí)現(xiàn)特征信息的提取,如我們常使用LSTM 提取時序特征信息,使用DNN用來學(xué)習(xí)特征到目標(biāo)的非線性映射關(guān)系.目前在中長期電力負(fù)荷領(lǐng)域下,使用DNN的單模塊模型在學(xué)習(xí)過程中更偏向于學(xué)習(xí)特征映射到多目標(biāo)的時序關(guān)系,對特征本身的特征捕捉能力較少.這里XGBoost作為子模塊之一,引入短期電力負(fù)荷的Label 作為單目標(biāo)回歸任務(wù)的學(xué)習(xí),相對中期電力負(fù)荷預(yù)測的多目標(biāo)回歸任務(wù),單目標(biāo)模型因?yàn)榫群蛽p失函數(shù)問題會更多關(guān)注數(shù)據(jù)特征的深度挖掘,不會因?yàn)槎嗄繕?biāo)的Label之間存在時序關(guān)系從而導(dǎo)致模型更關(guān)注時序關(guān)系而忽略了特征本身.因此利用XGBoost 學(xué)習(xí)到的從數(shù)據(jù)到目標(biāo)的交叉特征,就是一份經(jīng)過深度挖掘后的豐富特征信息,利用這份預(yù)訓(xùn)練學(xué)習(xí)到的交叉特征結(jié)合原數(shù)據(jù)通過DNN的特性去學(xué)習(xí)中期電力負(fù)荷的時序關(guān)系,可在組合模型中降低DNN 單模型的學(xué)習(xí)閾值,并實(shí)現(xiàn)將中期電力負(fù)荷預(yù)測模型無法關(guān)注到的特征信息得以關(guān)注,以此來更適用于該場景下的預(yù)測任務(wù).其算法流程如下詳述:

圖6 XGBoost-DNN 模型結(jié)構(gòu)

1)XGBoost 獲取交叉特征:輸入層會將數(shù)據(jù)分為5 折輸入到XGBoost 模型中進(jìn)行一次短期負(fù)荷預(yù)測,然后通過交叉預(yù)測的方式對每個樣本進(jìn)行預(yù)測,進(jìn)而獲取到每一個樣本在XGBoost 中的所有葉子節(jié)點(diǎn).例如,假設(shè)模型共3 棵子樹,并且Tree1、Tree2、Tree3分別對應(yīng)葉子節(jié)點(diǎn)數(shù)目為3,2,3,樣本數(shù)據(jù)分別落在第2,1,3的葉子節(jié)點(diǎn)上,其樣本數(shù)據(jù)獲得的交叉特征當(dāng)為[0,1,0,1,0,0,0,1]的特征向量.

2)特征工程:這里主要采用的是針對時間和負(fù)荷數(shù)據(jù)做了大量的特征處理,比如,在時間數(shù)據(jù)上,年、月、日,季度、工作日、節(jié)假日、小時、月份上下旬是我們所處理后的時間特征;在負(fù)荷數(shù)據(jù)上,我們生產(chǎn)了多階差分?jǐn)?shù)據(jù)(上一個時間點(diǎn)的負(fù)荷與當(dāng)前時間點(diǎn)的負(fù)荷差值)作為偏移值,這里只做了過去72 小時的差分特征.同時,根據(jù)時間,為當(dāng)前時間點(diǎn)產(chǎn)出過去30 天的小時級負(fù)荷數(shù)據(jù),同時引入前一年同期的前后15 天小時級負(fù)荷數(shù)據(jù).最后,將類別特征做獨(dú)熱編碼的處理,并將全部產(chǎn)出特征和XGBoost所得到的交叉特征進(jìn)行拼接,即可得到全部轉(zhuǎn)換后的特征數(shù)據(jù).

3)DNN 訓(xùn)練:DNN 模塊這里主要采樣了3 層的結(jié)構(gòu),激活函數(shù)采樣ReLU,每層神經(jīng)元數(shù)目根據(jù)塔式變化進(jìn)行調(diào)整,并需保證最后一層輸出層是720 個神經(jīng)元,以此預(yù)測未來30 天時間里的負(fù)荷數(shù)據(jù).

3 實(shí)驗(yàn)分析

如前面所說,實(shí)驗(yàn)所采用數(shù)據(jù)源自于全球能源大賽GEF-Com2017,主要是從2013年3月到2017年的12月的負(fù)荷和溫度數(shù)據(jù).

3.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文中的實(shí)驗(yàn)環(huán)境是Docker 容器,鏡像是Tensor-Flow-GPU-1.4.0 版本,對應(yīng)Keras-2.25 版本,所用Python 版本是3.6.8.除此之外,其他配置為6 核CPU,24 GB 內(nèi)存,一塊Tesla P40 GPU,顯存23 GB.

3.2 實(shí)驗(yàn)評估指標(biāo)

為評估預(yù)測結(jié)果的性能,設(shè)置均方根誤差(RMSE)和平均絕對百分比誤差(MAPE)來去評估實(shí)驗(yàn)預(yù)測結(jié)果的性能.其中,n是樣本數(shù)目,m是預(yù)測未來時間點(diǎn)的個數(shù),xtrue(ij)是第i個樣本在第j個時間點(diǎn)的真實(shí)負(fù)荷數(shù)據(jù),xpred(ij)是第i個樣本在第j個時間點(diǎn)的預(yù)測負(fù)荷數(shù)據(jù).

3.3 實(shí)驗(yàn)結(jié)果分析

本次實(shí)驗(yàn)采用了Grid Search對XGBoost的參數(shù)進(jìn)行了調(diào)試,并通過控制變量法逐步對DNN 模型的參數(shù)進(jìn)行調(diào)優(yōu),在固定網(wǎng)絡(luò)層數(shù)的情況下,測試不同的超參數(shù)對模型整體的影響.如圖7所示,可以發(fā)現(xiàn)XGBoost-DNN的模型算法預(yù)測的某個樣本未來30 天里的負(fù)荷曲線圖,較之其他模型算法有較好的表現(xiàn),更接近于真實(shí)的預(yù)測結(jié)果.

圖7 各類算法在某一樣本上對未來30 天的預(yù)測結(jié)果

各個算法的評測結(jié)果見表1.從表1中可知,XGBoost-DNN的算法在所有的實(shí)驗(yàn)算法中擁有較好的指標(biāo)提升,可見這種架構(gòu)模型的性能較好.

表1 各類算法實(shí)驗(yàn)結(jié)果

4 結(jié)論與展望

本文將XGBoost 引入到DNN 進(jìn)行中長期電力負(fù)荷預(yù)測之中,并將短期電力負(fù)荷和長期電力負(fù)荷相結(jié)合.在實(shí)驗(yàn)過程中,采用了全球能源大賽GEF-Com2017的數(shù)據(jù),分別對每一個時間點(diǎn)進(jìn)行特征工程和模型訓(xùn)練的工作,并將XGBoost-DNN 算法和其他模型進(jìn)行了對比,驗(yàn)證了該模型架構(gòu)的準(zhǔn)確性,也證實(shí)了多特征交叉的有效性.