基于變分模態(tài)分解和深度學(xué)習(xí)的短期電力負(fù)荷預(yù)測模型

陽曾，丁施尹，葉萌，李晶，薛書倩，吳昊天

(1.廣東電網(wǎng)有限責(zé)任公司廣州供電局電力調(diào)度控制中心，廣州 510000； 2.北京清軟創(chuàng)新科技股份有限公司，北京 100085； 3.華北電力大學(xué)，北京 102206)

0 引 言

負(fù)荷預(yù)測是制定電力供應(yīng)計劃和電網(wǎng)電量供需平衡的關(guān)鍵挑戰(zhàn)之一，它是電力市場運營的基礎(chǔ)工作和電力規(guī)劃中不可或缺的組成部分[1]。電力系統(tǒng)負(fù)荷預(yù)測可根據(jù)預(yù)測的時間長短分為超短期、短期、中期和長期預(yù)測[2]。其中，短期負(fù)荷預(yù)測是電力日常調(diào)度工作中重要的一項內(nèi)容，同時是能量管理系統(tǒng)的重要組成部分。提高短期負(fù)荷預(yù)測的準(zhǔn)確性，有助于提高電力設(shè)備的利用率，降低能耗，緩解能源的供應(yīng)端和需求端兩者之間的不平衡[3-4]。

現(xiàn)階段，圍繞負(fù)荷序的時序性和非線性特點，短期負(fù)荷預(yù)測方法層出不窮，有多元線性回歸法[5]，其優(yōu)點在于結(jié)構(gòu)形式簡單，預(yù)測速度快，但描述較復(fù)雜的問題時，精度較低；卡爾曼濾波法[6]，該算法能很好的解決數(shù)據(jù)中的噪聲問題，但這樣也會造成變化較大的負(fù)荷也被篩選出去,對預(yù)測結(jié)果造成一定的影響；灰色理論法[7]，該方法所需數(shù)據(jù)量少，計算方便，但未考慮到相關(guān)因素之間的聯(lián)系，故誤差偏大；支持向量機(jī)[8]，其泛化能力好，預(yù)測精度較高，預(yù)測但運算時間太長，難以預(yù)測大規(guī)模數(shù)據(jù)；隨機(jī)森林法[9]，可以處理高維數(shù)據(jù)，其泛化誤差小，但對于噪聲較大的數(shù)據(jù)，易出現(xiàn)過擬合現(xiàn)象；以及應(yīng)用較為廣泛的神經(jīng)網(wǎng)絡(luò)法[10-11]等。隨著深度學(xué)習(xí)的興起與發(fā)展，多種深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)逐漸應(yīng)用于負(fù)荷預(yù)測領(lǐng)域。文[11]利用LSTM網(wǎng)絡(luò)預(yù)測負(fù)荷功率, 在淺神經(jīng)網(wǎng)絡(luò)中，只能改變單隱層神經(jīng)元的數(shù)量，而在LSTM網(wǎng)絡(luò)中，寬度和深度都可以改變，它通過預(yù)訓(xùn)練方式緩解了傳統(tǒng)網(wǎng)絡(luò)局部最優(yōu)點問題。

對于隨機(jī)性、波動性較強(qiáng)負(fù)荷序列而言，單一預(yù)測方法難以得到理想的預(yù)測精度。目前，各種組合預(yù)測方法廣泛應(yīng)用在短期負(fù)荷預(yù)測領(lǐng)域，以EMD[12]為主的分解方法能有效的實現(xiàn)原始負(fù)荷序列的分解，實現(xiàn)平穩(wěn)序列和非平穩(wěn)序列互相分離的目的，然后再結(jié)合預(yù)測方法對各個IMF分別進(jìn)行預(yù)測。但是，EMD分解方法難以避免模態(tài)混疊現(xiàn)象產(chǎn)生，得到的虛假IMF，會對預(yù)測精度產(chǎn)生不利影響。文[13]采用VMD將負(fù)荷數(shù)據(jù)分解為特征互異的模態(tài)函數(shù)，避免了模態(tài)混疊現(xiàn)象發(fā)生，提升了信號的分析效果。

基于以上研究工作，文中以某地區(qū)負(fù)荷數(shù)據(jù)為研究對象，對負(fù)荷序列進(jìn)行VMD分解，獲得多個特征互異的子序列，并分別結(jié)合LSTM網(wǎng)絡(luò)進(jìn)行預(yù)測，將多個預(yù)測結(jié)果疊加后得到最終的預(yù)測結(jié)果。與單一LSTM和EMD-LSTM方法預(yù)測結(jié)果相比，驗證了所提方法可有效挖掘負(fù)荷序列潛在特征，從而提升預(yù)測精度。

1 VMD算法原理

2014年Konstantin Dragomiretskiy提出一種新型的VMD估計方法，用于非平穩(wěn)信號的自適應(yīng)分解，可將復(fù)雜的信號分解成K個調(diào)頻調(diào)幅的子信號[14]。它本質(zhì)上是一個自適應(yīng)維納濾波器組，可以有效地將測試信號分解成一組有限帶寬的中心頻率。不同于EMD和EEMD方法，VMD方法采用了非遞歸及變分模態(tài)求解模式處理原始信號，具有較好的抗噪聲性能和非平穩(wěn)性能信號處理效果。

VMD的目的是將多分量信號分解為帶寬上具有特定稀疏性的有限帶寬模式的集合；相反，這些分解的模式也能夠重構(gòu)輸入信號。求解約束變分優(yōu)化問題：

(1)

式中uk(t)為輸入信號的模態(tài)函數(shù)；{uk}表示模態(tài)集合{u1,u2, ……,uk}；wk是對應(yīng)于輸入信號的第k階模態(tài)的中心頻率；{wk}表示分解后的模態(tài)對應(yīng)的一組中心頻率{w1,w2, ……,wk}；f(t)是輸入信號；δ(t)是單位脈沖函數(shù)。

將拉格朗日乘子λ和二次懲罰因子α引入，可以將式(1)改寫為：

(2)

使用乘法算法的交替方向法求解(2)，獲得一組模態(tài)分量及其各自的中心頻率。每個模態(tài)可由頻域中的解估算出來，表示為：

(3)

在式(3)中具有維納濾波結(jié)構(gòu)的特點，它直接更新了傅立葉域中的模態(tài)。此外，還可以通過提取濾波分析信號傅里葉逆變換的實部，在時域內(nèi)得到這些模態(tài)。

(4)

2 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)在處理分類以及回歸問題時難以避免會陷入局部最優(yōu)點，而深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)通過預(yù)訓(xùn)練方式緩解了這個問題[15]。LSTM網(wǎng)絡(luò)源自于循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，而后者在每個時刻都對應(yīng)著一個輸出，同時結(jié)合其當(dāng)前時刻的狀態(tài)得到對應(yīng)的輸出。當(dāng)前的狀態(tài)是根據(jù)上一時刻的狀態(tài)以及此刻的輸入共同作用來決定的，通過這種結(jié)構(gòu)比較適合解決與時間序列有關(guān)的問題。但是，如果時間序列過長會導(dǎo)致當(dāng)前時刻節(jié)點對歷史時刻節(jié)點的感知能力不足，從而出現(xiàn)梯度消失的問題。而且當(dāng)前時刻預(yù)測和當(dāng)前時刻所需信的息之間的跨度長短不一致，這種長期依賴的問題是傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)所不能解決的。

LSTM網(wǎng)絡(luò)對經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)做了改進(jìn)，通過引入“遺忘門”，讓信息有選擇性地影響RNN中每個時刻的狀態(tài)。計算節(jié)點由輸入門、輸出門、遺忘門和cell組成[16]，LSTM的計算節(jié)點圖見圖1。

圖1 LSTM模型結(jié)構(gòu)Fig.1 LSTM model structure

在圖1中，cell為計算節(jié)點的核心，記錄著當(dāng)前時刻的狀態(tài)；控制信息的輸入和輸出則分別由輸入門、輸出門操控；而遺忘門則控制著細(xì)胞歷史時刻狀態(tài)信息的儲存。遺忘門的輸出值始終保持在[0, 1]之間，這得益于門利用的sigmoid激活函數(shù)，輸出值為0，將上一狀態(tài)的信息全部丟棄，輸出值為1，上一狀態(tài)的信息則全部保存。如式(5)所示：

ft=σ(Wf·[ht-1,xt]+bf)

(5)

式中Wf是遺忘門的權(quán)重矩陣；bf是偏置項；[ht-1,xt]是遺忘門的輸入向量；σ是sigmoid函數(shù)。

“輸入門”負(fù)責(zé)新狀態(tài)的補充，根據(jù)xt，ht-1來判斷ct-1狀態(tài)中的哪些部分應(yīng)當(dāng)寫入當(dāng)前時刻狀態(tài)ct中去，如下：

it=σ(Wi·[ht-1,xt]+bi)

(6)

式中Wi是輸入門的權(quán)重矩陣；bi是輸入門的偏置項。

同時，新狀態(tài)的候選值c*t由tanh函數(shù)產(chǎn)生，c*t可能會加入到新狀態(tài)中，如下：

(7)

那么當(dāng)前時刻的狀態(tài)ct就是由上一時刻的狀態(tài)ct-1乘以遺忘門ft，再用新狀態(tài)候選值c*t乘以輸入門it，再將兩個乘積求和，有：

(8)

類似地，輸出門表示如式(9)所示：

ot=σ(Wo·[ht-1,xt]+bo)

(9)

式中Wo是輸入門的權(quán)重矩陣；bo是輸入門的偏置項。而LSTM最終的輸出ht是由輸出門與單元狀態(tài)共同決定的。

ht=ot·tanh(ct)

(10)

在網(wǎng)絡(luò)傳播的過程中，ot并不是唯一起作用的，ht才是LSTM網(wǎng)絡(luò)的特殊之處，它是根據(jù)三個門新增加的，有效解決了梯度消失的問題。

3 VMD-LSTM模型的短期負(fù)荷預(yù)測

電力負(fù)荷基于用戶習(xí)慣性消費信息，受人類活動、氣象條件、社會經(jīng)濟(jì)和政治因素等不同程度的影響表現(xiàn)出一定的波動性、隨機(jī)性的特點。然而，人類生活生產(chǎn)活動有一定的規(guī)律性，因此，負(fù)荷也具有較強(qiáng)的周期特性。負(fù)荷序列本質(zhì)上具有不穩(wěn)性，為精細(xì)研究分析負(fù)荷序列特點，采用VMD方法對原始負(fù)荷序列進(jìn)行分解，得到一系列有利于預(yù)測的負(fù)荷分量。由于深度學(xué)習(xí)算法具有多層次內(nèi)部結(jié)構(gòu)和重復(fù)學(xué)習(xí)特征的訓(xùn)練方式的特點，所以能更好地應(yīng)對負(fù)荷預(yù)測問題，所以將各個負(fù)荷分量結(jié)合LSTM網(wǎng)絡(luò)進(jìn)行訓(xùn)練預(yù)測，疊加每個分量預(yù)測結(jié)果，進(jìn)而得到了VMD-LSTM模型的最終預(yù)測結(jié)果，模型框圖如圖2所示。

圖2 負(fù)荷預(yù)測模型Fig.2 Load forecasting model

圖2中給出了VMD的參數(shù)設(shè)置[14]：通過反復(fù)實驗測試，模態(tài)函數(shù)個數(shù)K=5；二次懲罰因子α=1 000；收斂判據(jù)r=10-6。起始中心頻率w=0。LSTM網(wǎng)絡(luò)參數(shù)調(diào)試，通過調(diào)節(jié)LSTM網(wǎng)絡(luò)中的堆疊層數(shù)、隱含層神經(jīng)元個數(shù)、Dropout參數(shù)以及每批處理樣本數(shù)量來提升網(wǎng)絡(luò)的預(yù)測的性能。

(1)堆疊層數(shù)(Sk)和隱含層神經(jīng)元個數(shù)(Hd)

堆疊層數(shù)及隱含層神經(jīng)元個數(shù)的選取對負(fù)荷預(yù)測精度有著顯著的影響，以日周期分量數(shù)據(jù)為測試對象，計算了當(dāng)堆疊層數(shù)分別為1層～3層，隱含層神經(jīng)元個數(shù)分別為5、20、50、100個時訓(xùn)練集和測試集的MAPE，結(jié)果見表1所示。

表1 訓(xùn)練集及測試集的測試結(jié)果Tab.1 Test results of training set and test set

從表1中，可以看出當(dāng)網(wǎng)絡(luò)堆疊層數(shù)為2，隱含層神經(jīng)元個數(shù)為50時訓(xùn)練集和測試集的MAPE最小，故以此網(wǎng)絡(luò)參數(shù)進(jìn)行后續(xù)的短期負(fù)荷預(yù)測仿真實驗。

(2)dropout參數(shù)

dropout參數(shù)的設(shè)置可以有效抑制神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過擬合。dropout的原理是在模型訓(xùn)練時，以一定的概率讓某個神經(jīng)元失活。目前學(xué)術(shù)界對dropout的取值方法并無定論，具體到本文模型，采用遍歷的方法，通過計算平均準(zhǔn)確度(mean Accuracy, mAcc)選取最優(yōu)值，如式(11)所示:

(11)

本文嘗試了10種不同的dropout比例，實驗結(jié)果如圖3所示，當(dāng)dropout參數(shù)從0.5增大至0.95，mAcc呈現(xiàn)了先增加后減小的變化趨勢，在dropout取0.65時mAcc獲得最大值95.83%。

圖3 不同dropout參數(shù)下負(fù)荷預(yù)測mAccFig.3 mAcc of load forecasting with different dropout parameters

(3)每批處理樣本數(shù)量(batch)

在LSTM網(wǎng)絡(luò)中每批處理樣本數(shù)量如果值太小，則很容易不收斂；如果取值過大，容易陷入局部最優(yōu)解。本文選取的方法是以128為分界線，向上乘2，向下乘0.5，訓(xùn)練后比較測試結(jié)果，測試結(jié)果顯示向下更好，向下繼續(xù)乘0.5，直到結(jié)果不再提升為止，最終測試結(jié)果該參數(shù)值取16。

4 實驗分析

實驗采用某地區(qū)2019-06-16至2019-06-30之間的負(fù)荷數(shù)據(jù)，采樣間隔15 min，共計采樣點1 440個，以前面12天的數(shù)據(jù)作為訓(xùn)練樣本，后面3天的數(shù)據(jù)作為測試樣本。原始數(shù)據(jù)集分別由EMD和VMD方法進(jìn)行分解，原始負(fù)荷序列及分解結(jié)果分別見圖4～圖6。

圖4 原始負(fù)荷序列Fig.4 Original load sequence

圖5 EMD分解結(jié)果Fig.5 EMD decomposition results

圖6 VMD分解結(jié)果Fig.6 VMD decomposition results

從圖4中可以看出，原始負(fù)荷序列的波動性較強(qiáng)，從圖5和圖6的分解結(jié)果可以看出，由EMD分解方法的模態(tài)分量多達(dá)8個，而VMD分解出來的模態(tài)分量只有5個，這大大減少了預(yù)測的計算規(guī)模；高頻分量不以利于預(yù)測，可以看出VMD分解出來的高頻分量幅值占比更少，有利于減少預(yù)測誤差；中低頻部分VMD分解的分量的規(guī)律性則明顯比EMD分解的分量規(guī)律性要強(qiáng)；兩者分解出來的低頻部分都較為平緩，可以看出VMD分解出的低頻分量更接近原始負(fù)荷序列的波動趨勢。因此，從兩者分解結(jié)果來看VMD方法更有利于后續(xù)建模預(yù)測。

接著根據(jù)上一節(jié)LSTM網(wǎng)絡(luò)測試的參數(shù)，利用LSTM網(wǎng)絡(luò)分別對原始負(fù)荷數(shù)據(jù)、EMD及VMD分解的分量序列進(jìn)行預(yù)測，并分別疊加后兩種方法的預(yù)測結(jié)果，得到EMD-LSTM方法和VMD-LSTM方法的最終預(yù)測結(jié)果。圖7中給出了三種方法的預(yù)測結(jié)果曲線。

圖7 三種方法的預(yù)測結(jié)果比較Fig.7 Comparison of prediction results of the three methods

科學(xué)和全面的指標(biāo)在對各種負(fù)荷預(yù)測模型的篩選和糾正中發(fā)揮著重要作用。目前評價負(fù)荷預(yù)測結(jié)果的指標(biāo)眾多，通常是采用平均絕對百分誤差(Mean Absolute Percentage Error, MAPE)來評估模型優(yōu)劣，采用均方根誤差(Root Mean Square Error, RMSE)來反映預(yù)測的精密度，兩者數(shù)值越小，模型的預(yù)測效果越好[17-19]。三種方法的誤差統(tǒng)計結(jié)果見表2。

(12)

(13)

式中各符號的意義同式(11)。

圖7中的放大區(qū)域中可以看出單一采用LSTM方法在負(fù)荷峰谷值部分預(yù)測誤差很大，而VMD-LSTM方法略優(yōu)于EMD-LSTM方法，預(yù)測結(jié)果比較理想。在表2中，從預(yù)測日的平均值角度分析，VMD-LSTM方法的具有最好的預(yù)測精度，MAPE為0.62%，RMSE為7.91 MW，驗證了該方法具有較好的預(yù)測性能。

表2 三種方法的誤差統(tǒng)計結(jié)果Tab.2 Error statistics results of the three methods

5 結(jié)束語

文章提出了一種基于VMD-LSTM的短期負(fù)荷預(yù)測方法。實驗驗證，在波動性較強(qiáng)的負(fù)荷序列中，VMD可有效提取其內(nèi)在具有緊支撐傅里葉頻譜特性的負(fù)荷分量。對比EMD方法，VMD方法具有可手動調(diào)節(jié)模態(tài)分量個數(shù)的優(yōu)勢，進(jìn)而可減少預(yù)測的計算規(guī)模。同時，考慮到LSTM具有預(yù)訓(xùn)練方式的特點，可有效緩解傳統(tǒng)神經(jīng)網(wǎng)絡(luò)易陷入局部最優(yōu)點問題，可為高精度預(yù)測結(jié)果提供強(qiáng)力保障。對比LSTM和EMD-LSTM方法，突顯了本文方法優(yōu)越的預(yù)測性能，為研究短期負(fù)荷預(yù)測提供一定的參考意義。

在后續(xù)的研究中，可以考慮在輸入數(shù)據(jù)中加入影響負(fù)荷變化的特征，比如氣象條件、經(jīng)濟(jì)因素等；可考慮結(jié)合優(yōu)化算法，對LSTM的權(quán)值和閾值進(jìn)行逐層優(yōu)化，以達(dá)到提升預(yù)測精度的目的。