基于深度長短期記憶神經(jīng)網(wǎng)絡的短期負荷預測

王激華，仇鈞，方云輝，周蘇洋

(1.國網(wǎng)浙江省電力有限公司寧波供電公司，浙江 寧波 315016；2. 東南大學，江蘇 南京 211189)

負荷預測屬于能量管理系統(tǒng)的重要組成部分，是電力系統(tǒng)經(jīng)濟調(diào)度的一項重要內(nèi)容[1]。精準的電網(wǎng)層級負荷預測有助于電力部門合理規(guī)劃生產(chǎn)，優(yōu)化運行成本，保持電網(wǎng)運行的安全穩(wěn)定性，同時能減少不必要的旋轉備用容量，降低發(fā)電成本，提高電網(wǎng)運行的經(jīng)濟性。隨著電力市場的不斷發(fā)展，現(xiàn)貨市場的改革對負荷預測精度的要求越來越高。精準的用戶層級負荷預測有助于進行能源交易方法設計和現(xiàn)貨市場報價，以及制訂中長期售電策略等；因此，精準的負荷預測是實現(xiàn)電力系統(tǒng)管理現(xiàn)代化、售電公司向現(xiàn)貨市場轉型的重要基礎[2]。

按預測時間的不同，負荷預測可以分為超短期、短期和中長期負荷預測。通常，短期負荷預測會受各種非線性因素的影響，例如待預測地區(qū)的氣候條件、社會活動、經(jīng)濟情況和一些其他非常規(guī)的行為等。隨著人們生活水平的提高，社會經(jīng)濟活動日益豐富，負荷波動水平明顯增大。此外，隨著智能電網(wǎng)、通信網(wǎng)絡技術和傳感器技術的發(fā)展，電力用戶側數(shù)據(jù)呈指數(shù)級增長[3]，給傳統(tǒng)負荷預測模型的數(shù)據(jù)處理能力及預測精度帶來巨大壓力。這些不確定性因素使電改背景下更為精確的負荷預測成為一項亟需提升的技術。

為提高短期負荷預測的精度，過去數(shù)十年間國內(nèi)外學者提出了很多預測方法，大致可分為經(jīng)典預測算法和現(xiàn)代預測算法[4]。經(jīng)典預測算法通常使用早期的統(tǒng)計分析模型，如趨勢外推法[5-6]、時間序列法[7-8]、回歸分析法[9-10]等，這些方法對于平穩(wěn)時間序列負荷信號有較好的預測效果，但無法進行非線性擬合分析，因此對于非平穩(wěn)時間序列負荷信號的預測效果往往較差。

現(xiàn)代預測算法通常使用人工智能算法[11]進行預測。文獻[12-14]使用支持向量回歸(support vector machine regression，SVR)模型結合人工特征提取器構建了短期負荷預測模型，在國內(nèi)外地區(qū)的負荷預測上取得不錯的效果；文獻[15]使用人工神經(jīng)網(wǎng)絡(artificial neural network，ANN)算法進行了不同場景下的短期負荷預測，雖然效果較好但存在泛化能力較差的問題；文獻[16-17]分別建立了基于BP神經(jīng)網(wǎng)絡和Elman神經(jīng)網(wǎng)絡的短期負荷預測模型，并針對上述2種算法的缺點進行了優(yōu)化，提高了算法的預測精度；文獻[18]使用決策樹(decision trees，DT)對未來短期負荷進行概率上的擬合，但存在精度較差的問題；文獻[19-20]分別使用隨機森林(random forest，RF)算法和迭代決策樹(gradient boosting decision tree，GBDT)算法建立了短期負荷預測模型，并使用真實負荷數(shù)據(jù)進行了有效性驗證。上述現(xiàn)有主流負荷預測算法在面對數(shù)量較大、隨機性較強的數(shù)據(jù)時，泛化能力較差且無法直接處理，需要人工事先挑選特征，造成有效信息的丟失，進而導致預測精度無法滿足智能電網(wǎng)的發(fā)展要求。

為解決上述問題，文獻[21]使用寬度和深度(Wide & Deep)模型對傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)進行改進，建立了深度學習短期負荷預測模型，并在此基礎上進行了日前臺區(qū)負荷預測,但該方法的預測精度仍有改進空間。本文提出一種完全數(shù)據(jù)驅動型的負荷預測方法，該方法基于深度長短期記憶(deep long short-term memory，DLSTM)神經(jīng)網(wǎng)絡構建負荷預測模型，使該模型既具備傳統(tǒng)神經(jīng)網(wǎng)絡的泛化能力，又能深度學習、挖掘時間序列中的信息，避免在過長的離線訓練中過早陷入局部最優(yōu)。最后將該方法應用于美國新英格蘭地區(qū)的負荷預測，并將預測結果與現(xiàn)有主流算法進行了對比分析。

1 數(shù)據(jù)預處理

某地區(qū)的電力負荷通常與當?shù)氐淖匀粭l件、社會活動等息息相關,因此負荷預測需要充分考慮可能影響用電負荷的重要因素，例如溫度、濕度、節(jié)假日、工作日、歷史負荷等，這些因素均可稱為特征變量。

設所有特征變量的歷史數(shù)據(jù)集為C，則該數(shù)據(jù)集可表示為

C=[C1C2…Ck…Cm]，

(1)

式中Ck為第k(1≤k≤m)維特征變量，m為負荷預測所考慮的特征變量維數(shù)。第k維特征變量Ck可進一步表示為

(2)

常規(guī)的數(shù)據(jù)驅動型負荷預測方法通常受限于自身算法的計算能力而不考慮時間維度信息。為提取歷史數(shù)據(jù)中的時序特征用于負荷預測，進一步提高短期負荷預測的精度，本文采用DLSTM神經(jīng)網(wǎng)絡對歷史時間序列數(shù)據(jù)進行深入挖掘。

(3)

式中μ和σ分別為特征變量平均值和標準差。

然后對標準化后的歷史時間序列數(shù)據(jù)使用長度為q的滑動窗口進行幀格化，作為一個訓練樣本。設樣本數(shù)據(jù)集為X，則第i個訓練樣本

(4)

式中1

D=[XY].

(5)

2 長短期記憶神經(jīng)網(wǎng)絡構建

長短期記憶(long short-term memory，LSTM)神經(jīng)網(wǎng)絡屬于深度學習算法，是特殊形式的RNN算法，由Hochreiter和Schmidhuber在1997年首次提出，并在近期被Alex Graves進行了改良和推廣，主要用于對序列數(shù)據(jù)中的長期依賴信息進行學習和處理[22-25]。

LSTM神經(jīng)網(wǎng)絡能提取序列數(shù)據(jù)中的長期依賴信息的關鍵，在于其網(wǎng)絡內(nèi)部結構中各種類型控制門的靈活使用。LSTM神經(jīng)網(wǎng)絡常見的控制門包括輸入門、遺忘門和輸出門，其神經(jīng)元典型結構如圖1所示。圖1中：t為時間點；i(t)為輸入門，主要用于控制當前時刻網(wǎng)絡的狀態(tài)有多少信息需要保存到內(nèi)部狀態(tài)中；f(t)為遺忘門，主要用于控制過去的狀態(tài)信息有多少需要丟棄；o(t)為輸出門，主要用于控制當前時刻的內(nèi)部狀態(tài)有多少信息需要輸出給外部狀態(tài)；h(t)為當前時刻神經(jīng)元內(nèi)部狀態(tài)；c(t)為當前時刻外部狀態(tài)；x(t)為當前時刻外部輸入；σ為激活層函數(shù)。

圖1 LSTM神經(jīng)元結構Fig.1 Structure of LSTM neuron

通過綜合運用這3種控制門，LSTM神經(jīng)網(wǎng)絡可以控制神經(jīng)網(wǎng)絡中傳遞信息的保留和丟棄，并控制當前時刻新的狀態(tài)信息有多少需要保存到記憶單元中。相比一般的神經(jīng)網(wǎng)絡，LSTM神經(jīng)網(wǎng)絡可以學習跨度相對較長的依賴關系，而不會出現(xiàn)梯度消失[26]和梯度爆炸[27]的問題。

為挖掘到更深層次的時間序列信息，本文將多層LSTM神經(jīng)網(wǎng)絡進行順序堆疊，構建DLSTM神經(jīng)網(wǎng)絡，其網(wǎng)絡結構如圖2所示，其中T為1個數(shù)據(jù)幀的時間點個數(shù)。

由圖2可知，在DLSTM神經(jīng)網(wǎng)絡中，每一層網(wǎng)絡的隱藏層輸出均作為下一層網(wǎng)絡的輸入。設DLSTM神經(jīng)網(wǎng)絡的層數(shù)為l，則l層DLSTM神經(jīng)網(wǎng)絡的狀態(tài)更新方式可表示為：

(6)

(7)

(8)

(9)

(10)

式中：W、V、b為網(wǎng)絡權重矩陣，下標“i、f、o、c”分別對應i、f、o門和外部狀態(tài)；?表示內(nèi)積運算。

圖2 DLSTM神經(jīng)網(wǎng)絡結構Fig.2 Structure of DLSTM

3 基于DLSTM神經(jīng)網(wǎng)絡的預測模型構建

本文所設計的電力負荷預測模型由嵌入維、DLSTM神經(jīng)網(wǎng)絡以及邏輯回歸層順序堆疊而成，其構建方法如圖3所示，其中s為迭代次數(shù)，S為算法訓練前設定的迭代總次數(shù)，E(s)為第s次softmax回歸函數(shù)值。

圖3 構建負荷預測模型的流程Fig.3 Flow chart of building a load forecasting model

負荷預測模型搭建完成后，需要使用大量歷史數(shù)據(jù)進行離線訓練，直至收斂后才能生成可用于實際負荷預測的穩(wěn)定模型。通常離線訓練計算量較大、用時較長、速度較慢，但訓練完成后在線使用時速度快、用時短，與使用傳統(tǒng)負荷預測算法差別不大。

4 實驗

為驗證本文所提出方法的有效性，以美國新英格蘭地區(qū)的負荷數(shù)據(jù)為例，分別使用DLSTM神經(jīng)網(wǎng)絡、RNN、ANN、DT對該地區(qū)進行負荷預測，并對預測結果進行對比分析。數(shù)據(jù)均來源于New England ISO的公開數(shù)據(jù)集，該數(shù)據(jù)源的詳細下載鏈接為： https://www.iso-ne.com/isoexpress/web/reports/load-and-demand/-/tree/zone-info。

4.1 實驗設置

使用新英格蘭地區(qū)2004—2009年的負荷數(shù)據(jù)作為此次實驗的數(shù)據(jù)集，該數(shù)據(jù)集每小時采集1次，共有52 608點數(shù)據(jù)。其中，選擇2004—2007年的數(shù)據(jù)作為歷史數(shù)據(jù)集進行離線學習訓練，使用2008—2009年的數(shù)據(jù)作為驗證數(shù)據(jù)集。

分別使用DLSTM神經(jīng)網(wǎng)絡、RNN、ANN、DT預測1 d內(nèi)24個點(每小時1個點)的負荷，所有方法使用的敏感變量均為溫度、濕度、時刻、上一周同時刻負荷量、前一天同時刻負荷量、前一天平均負荷量。不同的是，DLSTM神經(jīng)網(wǎng)絡所使用的變量均為時間序列數(shù)據(jù)，序列長度為1周共168點數(shù)據(jù)。

DLSTM神經(jīng)網(wǎng)絡設置為3層，神經(jīng)元個數(shù)分別為7、50、1，訓練算法為adam，dropout系數(shù)設為0.2。RNN的層數(shù)為3層，神經(jīng)元個數(shù)分別為7、20、1，ANN的層數(shù)和神經(jīng)元個數(shù)與RNN相同。值得一提的是，在實驗過程中，當RNN和ANN的隱藏層神經(jīng)元設為與DLSTM神經(jīng)網(wǎng)絡一樣的50個時訓練極為緩慢，且無法收斂，在逐步減少神經(jīng)元個數(shù)情況下才能正常運行，故最終設為20。DT的樹深度設為“None”。

4.2 實驗指標

本文結合統(tǒng)計學誤差分析與實際調(diào)度運行的需要，主要使用均方根誤差(root mean square error，RMSE)、平均絕對誤差(mean absolute error，MAE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)、日峰值平均絕對百分比誤差(daily peak MAPE，DPM)4個指標作為本次實驗結果評價指標，其量符號分別為ERMS、EMA、EMAP、EDPM。

實驗指標的定義如下：

(11)

(12)

(13)

(14)

由上述定義可知：ERMS、EMA、EMAP和EDPM的值越小，表示預測值與真實值越吻合，模型越完美；反之則代表預測值與實際值差別越大，預測效果越差。

4.3 實驗結果及分析

為驗證所提出方法的有效性，分別使用DLSTM神經(jīng)網(wǎng)絡、RNN、ANN和DT對新英格蘭地區(qū)2008—2009年的日負荷數(shù)據(jù)進行預測，預測結果見表1。

表1 采用不同方法預測結果Tab.1 Forecasting results using different methods

首先對預測結果進行橫向對比分析。由表1可知，使用DLSTM神經(jīng)網(wǎng)絡進行預測，其預測結果的ERMS為376.10 MWh，比RNN的431.26 MWh、ANN的461.37 MWh以及DT的517.41 MWh分別低12.79%、18.48%、27.31%。同時，DLSTM神經(jīng)網(wǎng)絡的EMA為275.64 MWh，也是4種方法中的最小值。

此外，DLSTM神經(jīng)網(wǎng)絡的EMAP降至1.66%，低于RNN的2.26%、ANN的2.40%和DT的2.56%。DLSTM神經(jīng)網(wǎng)絡對日負荷峰值的預測也比其他方法更為精準，EDPM僅有1.58%，分別比RNN、ANN和DT降低21.78%、24.04%和33.05%。

從以上實驗指標數(shù)值的橫向對比不難發(fā)現(xiàn)：DLSTM神經(jīng)網(wǎng)絡、RNN、ANN這3種方法的負荷預測結果要優(yōu)于DT；可從時間序列數(shù)據(jù)中挖掘特征信息的DLSTM神經(jīng)網(wǎng)絡和RNN的負荷預測結果優(yōu)于無法處理時間序列的ANN和DT；采用了深度學習架構進行改進的DLSTM神經(jīng)網(wǎng)絡，其負荷預測性能比RNN也有了明顯改進。

為了更直觀地對比4種方法的預測效果，以新英格蘭地區(qū)2009年1月16—23日的日負荷預測結果為例，其預測值和真實值的對比以及相關殘差如圖4、圖5所示。

圖4 日負荷預測結果與真實值對比(2009年)Fig.4 Comparison of load forecasting results with real values(in 2009)

圖5 日負荷預測結果殘差對比(2009年)Fig.5 Comparison of load forecasting result residuals(in 2009)

由圖4可知，在2009年1月16—23日一周時間內(nèi)，DLSTM神經(jīng)網(wǎng)絡的日負荷預測曲線與真實的負荷曲線最為貼近，幾乎重合；從圖5則可進一步發(fā)現(xiàn)DLSTM的殘差也一直在0附近波動。4種方法中，DLSTM神經(jīng)網(wǎng)絡的預測準確度和穩(wěn)定度均為最高。

接著再單獨針對DLSTM神經(jīng)網(wǎng)絡的預測結果進行縱向對比分析。DLSTM神經(jīng)網(wǎng)絡的全部預測結果殘差分布如圖6所示。

圖6 DLSTM神經(jīng)網(wǎng)絡日負荷預測結果殘差分布Fig.6 Residual error distribution of load forecasting results of DLSTM

由圖6可知，DLSTM神經(jīng)網(wǎng)絡的預測殘差基本滿足正態(tài)分布，其預測結果較為真實可信。

進一步地按日、周分別進行相關殘差統(tǒng)計分析，得到圖7、圖8所示的箱形圖。

圖7 按日統(tǒng)計殘差箱形圖Fig.7 Residual box plot by hours

由圖7可知DLSTM神經(jīng)網(wǎng)絡對該地區(qū)09：00—16：00之間負荷的預測異常值較少，結果較為精確。這與09：00—16：00通常為工作時間，用電負荷較為穩(wěn)定有關。而觀察一天中的負荷趨勢不難發(fā)現(xiàn)，該地區(qū)13：00—19：00的負荷通常較大。

圖8 按周統(tǒng)計殘差箱形圖Fig.8 Residual box plot by weeks

由圖8可知，DLSTM神經(jīng)網(wǎng)絡對該地區(qū)星期四、星期五的負荷預測異常值較多，預測較為困難。

5 結束語

為解決傳統(tǒng)的短期電力負荷預測方法難以處理大數(shù)據(jù)量和強隨機性導致精度難以滿足現(xiàn)狀的問題，本文提出了一種完全數(shù)據(jù)驅動的DLSTM神經(jīng)網(wǎng)絡短期負荷預測方法。為驗證該方法的有效性，將該方法與目前常用的幾種方法同時應用于美國新英格蘭地區(qū)的負荷預測，并對預測結果進行了橫向和縱向對比分析。最終對比結果表明，本文所提出的方法比目前常用的RNN、ANN和DT具有更高的準確度和穩(wěn)定度，且能很好地學習適應不同地區(qū)的電力負荷特點，具有很強的泛化能力。