基于Prophet與XGBoost混合模型的短期負(fù)荷預(yù)測(cè)

朱江行，鄒曉松，熊煒，袁旭峰,2，艾小清，彭月

（1.貴州大學(xué)電氣工程學(xué)院，貴州省貴陽(yáng)市 550025；2.貴州電網(wǎng)有限公司電力科學(xué)研究院，貴州省貴陽(yáng)市 550002）

0 引言

在我國(guó)高速經(jīng)濟(jì)發(fā)展中，電力負(fù)荷的預(yù)測(cè)已成為一項(xiàng)重要而艱巨的任務(wù)。通過可靠且高質(zhì)量的負(fù)荷預(yù)測(cè)模型準(zhǔn)確地預(yù)測(cè)電負(fù)荷及其變化趨勢(shì)能夠?yàn)殡娋W(wǎng)制定調(diào)度策略、供電計(jì)劃提供重要參考[1-2]。

電力系統(tǒng)信息化的發(fā)展，分布式電源的大量使用以及電動(dòng)汽車的出現(xiàn)，增加了配電網(wǎng)中電力消耗的復(fù)雜性，對(duì)電負(fù)荷預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性提出了更高的要求。國(guó)內(nèi)外眾多學(xué)者已對(duì)電力負(fù)荷預(yù)測(cè)的理論和方法開展了大量的研究，針對(duì)用電負(fù)荷的預(yù)測(cè)，常用的方法主要包括時(shí)間序列分析法和機(jī)器學(xué)習(xí)分析法兩類[3-4]：時(shí)間序列分析方法主要包含指數(shù)平滑模型法[5]、自回歸方法[6]和累積自回歸滑動(dòng)平均(Auto regressive Integrated Moving Average model，ARIMA)方法[7]等，時(shí)間序列分析方法主要根據(jù)歷史電負(fù)荷和現(xiàn)在電負(fù)荷預(yù)測(cè)未來(lái)電負(fù)荷，但其只考慮了數(shù)據(jù)的時(shí)間相關(guān)性因素，并沒有考慮外界因素對(duì)預(yù)測(cè)對(duì)象的影響，故當(dāng)有特殊時(shí)段時(shí)，其預(yù)測(cè)結(jié)果偏差可能較大；機(jī)器學(xué)習(xí)分析法主要包含專家系統(tǒng)法[8]、支持向量機(jī)(support vector regression，SVM)[9]、隨機(jī)森林[10]和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)[11]等。文獻(xiàn)[12]提出了一種基于嶺回歸估計(jì)的徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)方法，解決了輸入多重共線性問題；文獻(xiàn)[13]利用改進(jìn)的PSO-RVM (Particle swarm optimization-Relevance Vector Machine)算法對(duì)各小波分量進(jìn)行預(yù)測(cè)然后疊加得到最終預(yù)測(cè)值，為后期運(yùn)行可靠性評(píng)估提供數(shù)據(jù)支撐，機(jī)器學(xué)習(xí)分析法能夠考慮氣象、時(shí)間及日期等多特征進(jìn)行預(yù)測(cè)，提高預(yù)測(cè)精度。此外也有不少研究人員將多種單一模型進(jìn)行結(jié)合得到混合模型；文獻(xiàn)[14]針對(duì)負(fù)荷數(shù)據(jù)時(shí)序性和非線性的特點(diǎn)，通過卷積神經(jīng)網(wǎng)絡(luò)(Cellular Neural Network，CNN)構(gòu)建多特征向量作為長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory，LSTM)的輸入，將CNN與LSTM有效結(jié)合，進(jìn)一步提高了預(yù)測(cè)精度；文獻(xiàn)[15]采用誤差倒數(shù)法將LSTM與XGBoost (Xtreme gradient boosting)結(jié)合，修正單一模型誤差較大的時(shí)序數(shù)據(jù)，以降低單一預(yù)測(cè)模型誤差。

Prophet模型可將時(shí)間序列通過一定的函數(shù)變換為每小時(shí)、每日、每周、每季度及每年等不同時(shí)間維度的組合模式，并加以整體趨勢(shì)[16]，其主要考慮了時(shí)間相關(guān)性，對(duì)氣象等因素考慮較少；XGBoost算法運(yùn)行速度較快，并且通過人為對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，構(gòu)建考慮氣象，日期等多因素的特征向量，考慮了多因素影響[17]。兼顧Prophet和XGBoost各自獨(dú)有的優(yōu)點(diǎn)，本文提出一種基于Prophet-XGBoost混合模型的短期負(fù)荷預(yù)測(cè)方法，較單一模型預(yù)測(cè)精度更高，較SVR模型運(yùn)行時(shí)間更短。

1 Prophet模型

2017-02-24，F(xiàn)acebook發(fā)布了時(shí)間序列預(yù)測(cè)框架Prophet，與傳統(tǒng)的時(shí)間序列預(yù)測(cè)方法相比，有以下優(yōu)點(diǎn)：其具有較好的靈活性，輕松適應(yīng)多個(gè)季節(jié)的季節(jié)性，并通過分析對(duì)趨勢(shì)做出不同的假設(shè)；測(cè)量值不必呈等間距分布，也不需要插值缺失值；擬合速度較快；預(yù)測(cè)模型具有易于解釋的參數(shù)，這些參數(shù)可通過分析對(duì)預(yù)測(cè)進(jìn)行強(qiáng)加。

Prophet實(shí)質(zhì)上是一個(gè)基于自加性模型的預(yù)測(cè)時(shí)間序列數(shù)據(jù)的模型，模型整體可以分解為三個(gè)主要部分：趨勢(shì)項(xiàng)(growth) g (t)、季節(jié)項(xiàng) (seasonality)s(t)、 節(jié)假日項(xiàng)(holidays) h (t)，它們通過下式疊加在一起：

式中：εt代表誤差項(xiàng)，一般情況下，假設(shè)其服從均值為0的正態(tài)分布，其主要用來(lái)反映未在模型中體現(xiàn)的異常變動(dòng)。

g(t)為趨勢(shì)函數(shù)，包括調(diào)節(jié)模型光滑度的參數(shù)和不同程度的假設(shè)，主要是對(duì)時(shí)間序列中的分段線性增長(zhǎng)或logistic飽和增長(zhǎng)等非周期性變化進(jìn)行建模，根據(jù)數(shù)據(jù)中的變化點(diǎn)(changepoint)檢測(cè)趨勢(shì)走向。本文采用logistic飽和增長(zhǎng)模型，基本趨勢(shì)項(xiàng)采用一個(gè)邏輯回歸模型：

式中：k 代表增長(zhǎng)率； b(t) 表 示偏移量；C (t)為模型容量；隨著t的 增加， g (t) 趨 近于C (t)。

s(t)代表周期性變化，為了擬合并預(yù)測(cè)季節(jié)的效果，Prophet基于傅里葉級(jí)數(shù)提出了一個(gè)靈活的模型， s(t)可根據(jù)以下公式進(jìn)行估算：

式中： N 代表周期總數(shù)； T代表某個(gè)固定的周期(年度數(shù)據(jù)的 T是365.25，周數(shù)據(jù)的 T 是7)； 2n代表期望在模型中使用該周期的個(gè)數(shù)； a1,a2,···aN，b1,b2,···bN表示模型中需要估計(jì)的參數(shù)。

h(t)代表節(jié)假日效果，節(jié)假日和大事件都會(huì)導(dǎo)致時(shí)間序列中出現(xiàn)可預(yù)測(cè)的波動(dòng)。不同節(jié)假日及大事件在不同時(shí)刻下的影響都能建立獨(dú)立模型，給每個(gè)獨(dú)立模型制定一個(gè)時(shí)間窗口，其中考慮了節(jié)假日的影響有窗口期（如中秋節(jié)的前幾天和后幾天），同一個(gè)窗口期中的影響為相同值。節(jié)假日效果模型 h(t)根據(jù)以下公式進(jìn)行估算：

式中：L為節(jié)假日集合；i為 第i節(jié) 假日；κi為對(duì)應(yīng)節(jié)假日對(duì)預(yù)測(cè)值的影響因子； Di為窗口期中包含的時(shí)間t。

定義 Z (t)=[1(t∈D1),···1(t∈DL)]，可得：

1.1 Prophet建模

電力負(fù)荷數(shù)據(jù)具有時(shí)序性，本文利用Prophet模型對(duì)歷史電力負(fù)荷數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，模型構(gòu)建步驟如下：

1）數(shù)據(jù)處理。

Prophet的輸入量是一個(gè)包含兩列的數(shù)據(jù)框，第一列為日期，第二列為與日期相對(duì)應(yīng)的電力負(fù)荷數(shù)據(jù)，本文采用西南地區(qū)某地市2013-01-01至2015-12-31日的電力負(fù)荷數(shù)據(jù)，數(shù)據(jù)的采樣周期為1h，包含了每天24個(gè)采樣點(diǎn)的負(fù)荷情況，其中訓(xùn)練集選為2013-01-01到2015-03-13的電力負(fù)荷數(shù)據(jù)，預(yù)測(cè)目標(biāo)為2015-03-14日各小時(shí)點(diǎn)的電力負(fù)荷。

2）參數(shù)調(diào)優(yōu)。

在python3.7環(huán)境下調(diào)用fbprophet軟件包，Prophet預(yù)測(cè)模型中對(duì)實(shí)驗(yàn)結(jié)果影響較大的參數(shù)有趨勢(shì)模型、轉(zhuǎn)折點(diǎn)數(shù)量、季節(jié)擬合度和假期擬合度。具體步驟如下：

① 選擇趨勢(shì)模型為分段線性的趨勢(shì)；

② 根據(jù)電力負(fù)荷數(shù)據(jù)的規(guī)律給參數(shù)轉(zhuǎn)折點(diǎn)設(shè)定一個(gè)初始值為2，選擇季節(jié)擬合度和假期擬合度的初始值都分別為8和9，并在節(jié)假日項(xiàng)中設(shè)置節(jié)假日特征如表1所示；

表1 節(jié)假日特征表Table 1 Holidays feature list

③ 用處理好的訓(xùn)練集對(duì)Prophet模型進(jìn)行訓(xùn)練，通過作圖觀察擬合效果，調(diào)節(jié)上述模型參數(shù)，使模型預(yù)測(cè)效果最佳。

2 XGBoost模型

XGBoost實(shí)現(xiàn)的是一種通用的Tree Boosting算法，相比梯度提升算法，性能有10倍以上的提升。所用樹模型是回歸數(shù)（CART）模型，樹的集成模型為：

XGBoost模型的目標(biāo)函數(shù) L包含兩部分：

式中：γ 和 λ 為懲罰系數(shù)；T 為葉子節(jié)點(diǎn)個(gè)數(shù)；w為葉子節(jié)點(diǎn)的分?jǐn)?shù)。

式(7)在計(jì)算過程中，通過尋找最佳 ft(xi)，不斷疊加來(lái)最小化目標(biāo)函數(shù)。第t 輪的目標(biāo)函數(shù)可改寫為：

對(duì)式(9)進(jìn)行二階泰勒近似展開，定義Ij={i|q(xi=j)} 為 第 j棵樹每一葉子中的樣本集合。其中，為一階導(dǎo)數(shù)，為二階導(dǎo)數(shù)，于是可得：

對(duì)上式中 w 求偏導(dǎo)可得最優(yōu) w為：

將式(12)代入式(11)可得：

目標(biāo)函數(shù)越小則模型越好，在訓(xùn)練過程中，應(yīng)用貪心算法對(duì)子樹進(jìn)行劃分，并枚舉可行的分割點(diǎn)，不斷計(jì)算結(jié)點(diǎn)損失以選擇增益最大的葉子結(jié)點(diǎn)。增益 LGain的計(jì)算公式如下：

式中：第1項(xiàng)為左子樹分裂后的增益；第2項(xiàng)為右子樹分裂后的增益；第3項(xiàng)表示不進(jìn)行子樹分裂的增益。

2.1 XGBoost建模

綜合考慮氣象，日期等因素對(duì)電力負(fù)荷數(shù)據(jù)的影響，采用XGBoost模型對(duì)電力負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測(cè)，模型的構(gòu)建步驟如下：

1）數(shù)據(jù)處理。

在1.1節(jié)的數(shù)據(jù)基礎(chǔ)上加入氣象數(shù)據(jù)，構(gòu)建數(shù)據(jù)集，將前5個(gè)時(shí)刻的負(fù)荷數(shù)據(jù)，工作日信息，溫度，濕度，風(fēng)速，降雨量構(gòu)建特征向量作為輸入，預(yù)測(cè)第6個(gè)時(shí)刻的負(fù)荷數(shù)據(jù)，訓(xùn)練集與預(yù)測(cè)范圍同1.1節(jié)。

2）參數(shù)調(diào)優(yōu)。

在python3.7環(huán)境下調(diào)用XGBoost軟件包，XGBoost預(yù)測(cè)模型的參數(shù)由3種類型組成， 其中通用參數(shù)用于宏觀函數(shù)控制，Booster參數(shù)用于決定每一步的booster，學(xué)習(xí)目標(biāo)參數(shù)用于控制學(xué)習(xí)的表現(xiàn)，具體步驟如下：

①確定各個(gè)參數(shù)初始值及范圍如表2所示；

表2 參數(shù)初始化值及范圍Table 2 Initialization value and range of parameters

②采用網(wǎng)格搜索法對(duì)迭代次數(shù)、函數(shù)、下采樣、列占比及學(xué)習(xí)率進(jìn)行高負(fù)荷搜索，通過觀察擬合效果，調(diào)整各參數(shù)值，如：若過擬合，則減小下采樣值，直到達(dá)到最好的效果。

3 混合預(yù)測(cè)模型

根據(jù)電力負(fù)荷數(shù)據(jù)分別構(gòu)建Prophet模型和XGBoost機(jī)器學(xué)習(xí)模型，假設(shè)在 t時(shí)刻，Prophet模型的預(yù)測(cè)值為 P(t)，XGBoost機(jī)器學(xué)習(xí)模型的預(yù)測(cè)值為 X(t)， t=1,2,···,n，然后采用誤差倒數(shù)法將兩個(gè)單一模型進(jìn)行組合。此時(shí)，定義集成后的Prophet-XGBoost混合預(yù)測(cè)模型為：

式中： εP,εX分別為Prophet和XGBoost的平均相對(duì)誤差； Yt為 t時(shí)刻的混合預(yù)測(cè)值。

應(yīng)用如式(16)和式(17)所示的倒數(shù)誤差法求取權(quán)重，該方法通過對(duì)平均相對(duì)誤差小的模型賦較大的權(quán)重，使整個(gè)混合模型的平均相對(duì)誤差趨于減小，得到更準(zhǔn)確的預(yù)測(cè)值。

基于Prophet-XGBoost混合模型的電力負(fù)荷預(yù)測(cè)流程如圖1所示。

圖1 Prophet-XGBoost混合模型預(yù)測(cè)流程Fig.1 Forecasting flow chart of Prophet-XGBoost hybrid model

4 算例分析

4.1 預(yù)測(cè)評(píng)價(jià)指標(biāo)

為評(píng)估各預(yù)測(cè)模型的質(zhì)量，本文采用平均相對(duì)誤差(mean absolute percentage error，MAPE)，平均誤差(mean error，ME)和均方根誤差(root mean square error，RMSE)作為預(yù)測(cè)評(píng)價(jià)指標(biāo)。各評(píng)價(jià)指標(biāo)的計(jì)算方法如下：

式中：yt代 表t時(shí) 刻電力負(fù)荷值實(shí)際值；代 表t時(shí)刻電力負(fù)荷預(yù)測(cè)值；n代表電力負(fù)荷數(shù)據(jù)數(shù)量。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文采用西南地區(qū)某地市2013-01-01至2015-12-31的電力負(fù)荷數(shù)據(jù)、氣象數(shù)據(jù)、工作日數(shù)據(jù)，分別采用1.1節(jié)和2.1節(jié)所述方法對(duì)Prophet模型和XGBoost模型進(jìn)行參數(shù)調(diào)優(yōu)，各最優(yōu)參數(shù)如表3、表4所示。

表3 Prophet模型各參數(shù)最優(yōu)值Table 3 Optimal values of parameters in Prophet model

表4 XGBoost模型各參數(shù)最優(yōu)值Table 4 Optimal values of parameters in XGBoost model

通過實(shí)驗(yàn)，式(1)中趨勢(shì)項(xiàng)、季節(jié)項(xiàng)、節(jié)假日項(xiàng)3部分對(duì)應(yīng)的分析結(jié)果如圖2所示，圖2（a）至圖2（b）依次為總體增長(zhǎng)趨勢(shì)、節(jié)假日項(xiàng)、日周期趨勢(shì)。

由圖2可知，該地區(qū)電力負(fù)荷呈現(xiàn)上升趨勢(shì)，各節(jié)假日對(duì)電力負(fù)荷的影響程度不同，從日趨勢(shì)來(lái)看，白天用電量多于夜晚用電量，符合實(shí)際情況。

混合模型與各單一模型的預(yù)測(cè)值和實(shí)際值的對(duì)比如圖3所示，各模型的平均相對(duì)誤差如圖4所示，MAPE、ME和RMSE值如表4所示。

圖2 組成成分分析Fig.2 Component analysis

圖3 各模型預(yù)測(cè)曲線對(duì)比圖Fig.3 Comparison of forecasting curves by various models

圖4 各模型平均相對(duì)誤差對(duì)比Fig.4 Comparison of mean relative error by various models

由圖可3知，各模型對(duì)次日實(shí)際負(fù)荷預(yù)測(cè)都得到較好的結(jié)果，其中本文所提出的Prophet-XGBoost混合預(yù)測(cè)模型相比三個(gè)單一模型有更高的預(yù)測(cè)精度，其預(yù)測(cè)曲線與實(shí)際曲線變化趨勢(shì)相似，Prophet模型較XGBoost模型精確度更高，SVR模型精確度最低。由圖4可知本文提出的Prophet-XGBoos混合預(yù)測(cè)模型各時(shí)刻平均相對(duì)誤差較小且波動(dòng)不大，有效降低了預(yù)測(cè)誤差，表現(xiàn)出更好的預(yù)測(cè)效果。由表5可知，與SVR模型，單一Prophet模型和XGBoost模型相比，Prophet-XGBoos混合預(yù)測(cè)模型具有最小的MAPE、ME及RMSE值，分別為5.3%、2.643 MW和1.625 MW。與SVR模型相比，Prophet-XGBoos混合預(yù)測(cè)模型運(yùn)行時(shí)間縮短了60%，大大提升了預(yù)測(cè)效率。

表5 MAPE、ME和RMSETable 5 MAPE、ME and RMSE

5 結(jié)論

1）混合模型中的Prophet模型對(duì)數(shù)據(jù)中的趨勢(shì)變化點(diǎn)和節(jié)日效應(yīng)具有出色的適應(yīng)能力，尤其對(duì)大量的異常值、缺失值和趨勢(shì)轉(zhuǎn)變的魯棒性極強(qiáng)，降低了數(shù)據(jù)波動(dòng)性對(duì)預(yù)測(cè)的不利影響。

2）應(yīng)用誤差倒數(shù)法將Prophet模型和XGBoost機(jī)器學(xué)習(xí)模型進(jìn)行結(jié)合得到Prophet-XGBoost混合模型，其兼顧了兩個(gè)單一模型各自的優(yōu)點(diǎn)，彌補(bǔ)了單一模型預(yù)測(cè)誤差較大的缺陷，該混合模型達(dá)到了提升短期負(fù)荷預(yù)測(cè)精度的效果。