超短期風電功率預(yù)測的混合深度學習模型

劉旭麗， 莫毓昌， 吳哲， 嚴珂

(1. 華僑大學 計算科學福建省高校重點實驗室， 福建 泉州 362021； 2.中國計量大學 信息工程學院， 浙江 杭州 310018)

隨著經(jīng)濟社會的快速發(fā)展，能源的生產(chǎn)和消費也迅速增加.煤炭、石油、天然氣等化石能源的大量消耗將導致資源枯竭.因此，調(diào)整能源結(jié)構(gòu)和開發(fā)利用新能源已成為世界各國經(jīng)濟社會可持續(xù)發(fā)展的重要戰(zhàn)略.風能是一種清潔、可再生、取之不盡的能源.與其他可再生能源相比，風電具有技術(shù)成熟、規(guī)?；?、商業(yè)化、便于開發(fā)利用、發(fā)展前景好等諸多優(yōu)勢.然而，大量風電并入電力系統(tǒng)會產(chǎn)生波動性、間歇性、隨機性等問題，給電力系統(tǒng)運行的安全性、穩(wěn)定性和經(jīng)濟性帶來嚴峻挑戰(zhàn)[1].風電的不確定性可以通過需求側(cè)響應(yīng)管理、備用容量配置優(yōu)化等方案來解決[2-4].但是，考慮到方案的經(jīng)濟性和可行性，風電功率預(yù)測仍然是解決風電不確定性最有效、最經(jīng)濟的方法之一.因此，電力調(diào)度部門非常有必要加強對可再生能源進行風能概率預(yù)測[5-6]、混合預(yù)測[7-9]和太陽能預(yù)測[10-12]的研究，以提高功率預(yù)測的準確性.準確的風電預(yù)測可用于安排發(fā)電計劃、維護電網(wǎng)平衡，為電網(wǎng)運行和區(qū)塊管理提供可靠依據(jù)，還可以提高風電的滲透性，使風電場在最佳范圍內(nèi)合理運行.

風電預(yù)測可以簡單地分為超短期預(yù)測、短期預(yù)測、中期預(yù)測和長期預(yù)測4個層次.研究者提出物理方法、統(tǒng)計方法、混合方法和學習方法[13]等來解決風力發(fā)電預(yù)測問題.根據(jù)文獻[14]，超短期風電功率預(yù)測基本采用統(tǒng)計方法.自回歸(AR)和差分整合移動平均自回歸(ARIMA)等統(tǒng)計模型可以根據(jù)大量歷史數(shù)據(jù)預(yù)測風電功率.物理方法需要大型計算系統(tǒng)、風電場周圍的地形地貌信息和對低層大氣的詳細描述[15].混合方法是不同方法的組合，例如，統(tǒng)計方法和學習方法的結(jié)合.Chang等[16]提出了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(RBFNN)和ARIMA的混合模型，該模型兼具統(tǒng)計方法和學習方法的優(yōu)點，可以處理具有非線性函數(shù)的時間序列數(shù)據(jù).學習方法也稱為黑盒方法，人工神經(jīng)網(wǎng)絡(luò)(ANN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)和時間卷積網(wǎng)絡(luò)(TCN)等學習方法被廣泛應(yīng)用于風電功率預(yù)測[17-20].

隨著深度學習模型的廣泛應(yīng)用，本文提出一種基于離散小波變換(DWT)、時間卷積神經(jīng)網(wǎng)絡(luò)(TCN)和長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)的混合深度學習模型.首先，通過DWT將原始功率數(shù)據(jù)進行分解；然后，利用TCN分別從原始功耗通道和小波分解通道提取時域和頻域特征，并進行特征融合；最后，通過LSTM繼續(xù)提取數(shù)據(jù)中的長期依賴信息，輸入全連接層得出下一時刻的風電功率預(yù)測結(jié)果.

1 基本概念

1.1 離散小波變換

小波變換是將原始數(shù)據(jù)與小波基函數(shù)和尺度函數(shù)進行內(nèi)積運算的過程.小波變換包括離散小波變換和連續(xù)小波變換(CWT).與CWT相比，DWT不僅冗余性好，且重構(gòu)誤差相對CWT較低.因此，采用DWT分解原始風電功率序列.

DWT三級分解，如圖1所示.原始信號x[n]進行3次分解后，獲得多級頻域特征.每次信號分解都同時通過低頻通濾波器l[n]和高頻通濾波器h[n]的2個分支，從而得到每級的分解系數(shù).

圖1 DWT三級分解Fig.1 DWT three-level decomposition

在第1級DWT分解中，原始數(shù)據(jù)被分解為低頻和高頻部分，高頻部分(細節(jié)分量1)保留，低頻部分(近似分量1)則繼續(xù)用于后續(xù)分解.重復(fù)上述操作2次得到第2，3級多分辨率頻域特征：近似分量2和細節(jié)分量2；近似分量3和細節(jié)分量3，而最終保留的分解分量為細節(jié)分量1、細節(jié)分量2、細節(jié)分量3和近似分量3.

1.2 時間卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)分為一維和二維，卷積神經(jīng)網(wǎng)絡(luò)在語音用戶界面、自然語言處理和計算機視覺中比較常用.在時間序列預(yù)測中，常用時間卷積神經(jīng)網(wǎng)絡(luò)進行信息特征提取，TCN使用一維卷積處理單變量時序數(shù)據(jù).時間卷積神經(jīng)網(wǎng)絡(luò)主要包含卷積和池化操作2個組件，它們通常交替出現(xiàn)在TCN的結(jié)構(gòu)中.二維卷積神經(jīng)網(wǎng)絡(luò)(CNN)卷積核大小為k×k，TCN卷積核大小為k×1.卷積神經(jīng)網(wǎng)絡(luò)通常使用ReLU作為激活函數(shù).

TCN的卷積過程，如圖2所示.輸入數(shù)據(jù)中，部分橙色區(qū)域和卷積核對應(yīng)元素相乘并相加來完成一次卷積計算，經(jīng)過一次運算后，卷積核按照設(shè)定步長繼續(xù)向后進行同樣的運算，最終得到右邊卷積運算后的結(jié)果，同樣多個輸入得出多個輸出.

圖2 TCN的卷積過程Fig.2 Convolution process of TCN

池化操作包括最大、最小和平均池化.最大池化操作表達式為

(1)

TCN的最大池化過程，如圖3所示.取左邊池化區(qū)域中的最大值替換左邊區(qū)域中的每個元素，進而得到右邊對應(yīng)顏色的池化結(jié)果.

圖3 TCN的最大池化過程Fig.3 Max pooling process of TCN

1.3 長短期記憶神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)包括前饋神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò).前饋神經(jīng)網(wǎng)絡(luò)比較常用的有反向傳播神經(jīng)(BP)網(wǎng)絡(luò)和CNN，而反饋神經(jīng)網(wǎng)絡(luò)常用的包括RNN和LSTM.相對于RNN，LSTM在序列建模方面有一定的優(yōu)勢，具有長時記憶功能，實現(xiàn)起來更簡單.除此之外，LSTM還能解決RNN梯度消失和梯度爆炸問題.

圖4 LSTM細胞結(jié)構(gòu)Fig.4 LSTM cell structure

ft=σ(Wf·[ht-1，xt]+bf)，

(2)

it=σ(Wi·[ht-1，xt]+bi)，

(3)

ot=σ(Wo·[ht-1，xt]+bo)，

(4)

(5)

(6)

ht=ot·tanhCt.

(7)

式(2)～(7)中:Wf，Wi，Wo分別為遺忘門、輸入門、輸出門的權(quán)重矩陣；bf，bi，bo分別為遺忘門、輸入門和輸出門偏置；WC，bC分別為求解當前候選細胞狀態(tài)的權(quán)重矩陣和偏置.

2 DWT-TCN-LSTM模型

超短期風力發(fā)電功率預(yù)測的混合深度模型(DWT-TCN-LSTM模型)，如圖5所示.它包括輸入、雙通道TCN特征提取、特征融合、LSTM特征提取、輸出和更新網(wǎng)絡(luò)5個過程.其中，TCN特征提取包括時域和頻域兩個部分，TCN分別從原始功率通道和小波分解通道提取時域和頻域特征.

圖5 DWT-TCN-LSTM模型Fig.5 DWT-TCN-LSTM model

將原始風電功率數(shù)據(jù)進行小波分解，經(jīng)過多次實驗對比發(fā)現(xiàn)，小波一級分解優(yōu)于小波二級和三級分解，所以使用小波一級分解將風電功率數(shù)據(jù)分解為近似分量和細節(jié)分量兩部分.輸入包括原始功率數(shù)據(jù)和由小波分解得到的功率數(shù)據(jù)分量.對兩部分輸入進行數(shù)據(jù)預(yù)處理，首先，選擇最大、最小值標準化對數(shù)據(jù)集進行歸一化處理；然后，劃分訓練集和測試集；最后，通過滑動窗口法得到序列長度為L的時間序列數(shù)據(jù)，進一步解決原始功率數(shù)據(jù)維度較低的問題.窗口隨時間序列移動，如圖6所示.圖6中：Input_vector為窗口里的數(shù)據(jù)組成的向量；target為需要預(yù)測的目標值；P為風電功率；t為時間.

圖6 窗口隨時間序列移動Fig.6 Window moves with time series

將預(yù)處理后的數(shù)據(jù)輸入模型中，數(shù)據(jù)通過原始功率通道和小波分解通道，利用TCN提取時域和頻域特征.利用TCN通過原始功率消耗通道提取數(shù)據(jù)中的時域隱藏特征，如圖5中的綠色虛線框所示，TCN特征提取塊由2個一維卷積層組成，使用的激活函數(shù)為ReLU，在2個連續(xù)的卷積層后加入最大池化層.其中，這2個Conv1D層過濾器個數(shù)分別為32和64，過濾器大小都為3，第1個TCN層用來提取數(shù)據(jù)中的局部隱藏特征，第2個TCN層則用于全局隱藏特征的提取.在卷積運算之后，使用1個最大池化層進一步加快網(wǎng)絡(luò)訓練速度.卷積操作非常有效，在深度學習框架中，堆積多個卷積層使初始層能夠?qū)W習應(yīng)用輸入中的低級特征.作為卷積層輸出的特征圖有1個限制，即它會跟蹤輸入中特征的精確位置，這意味著輸入中特征位置的微小移動將導致不同的特征圖.通常在卷積層后添加1個池化層，以減輕生成的特征圖不變性的限制，而激活函數(shù)則用于增強模型學習復(fù)雜結(jié)構(gòu)的能力.在模型中，最大池化層是一種下采樣方案，可將特征圖的空間維度降低2倍，從而降低整體計算負載.ReLU激活函數(shù)對梯度消失問題具有彈性，已被研究人員廣泛實施，使網(wǎng)絡(luò)更易于訓練.

小波分解通道用來獲取頻域隱藏特征，如圖5中的紅色虛線框所示，每個分支都連接2個一維卷積層，在分支匯合處連接合并層.DWT分解后的細節(jié)分量和近似分量分別輸入2個分支中，以提取數(shù)據(jù)中的頻域隱藏特征.2個Conv1D層的過濾器個數(shù)分別為32和64，過濾器大小都為3.最后，合并由TCN從小波分解通道提取的多個頻域特征，進一步獲取頻域融合特征.

在TCN提取操作后分別獲取數(shù)據(jù)的時域特征和頻域融合特征，再通過合并層的使用獲得數(shù)據(jù)的時頻域融合特征.為了進一步提取數(shù)據(jù)中具有長期依賴關(guān)系的信息，采用帶有節(jié)點為80的LSTM層來提取數(shù)據(jù)的長期依賴特征，從而獲得具有長期依賴性的時頻域融合特征.

在任何深度學習模型的開發(fā)中，dropout層提供了一種很新穎的方法來緩解過擬合問題.該層包括隨機選擇神經(jīng)元，并在訓練過程中停用其中一些神經(jīng)元.在平面化層和全連接層之間加入1個dropout層，以防止過度擬合.序列學習塊的輸出連接到1個dropout層，然后是一個全連接層以產(chǎn)生最終輸出.

在訓練過程中，使用小批量梯度下降算法使真實值與預(yù)測值之間的平均絕對誤差(MAE)達到最小值來更新網(wǎng)絡(luò)參數(shù).此外，采用優(yōu)化器Adam找到最佳的收斂路徑，全連接層的激活函數(shù)采用sigmoid.

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

對風電功率數(shù)據(jù)進行特征分析，風電功率數(shù)據(jù)曲線，如圖7所示.圖7中：n為測試集數(shù)據(jù)數(shù).圖7是從總數(shù)據(jù)中隨機提取的500個風電功率數(shù)據(jù).由圖7可知：風電功率數(shù)據(jù)存在不穩(wěn)定性，尤其是連續(xù)低值問題.

圖7 風電功率數(shù)據(jù)曲線Fig.7 Wind power data curve

從GitHub網(wǎng)站上下載風力發(fā)電功率公開數(shù)據(jù)集，數(shù)據(jù)起始時間是2017年1月1日至2017年12月31日.數(shù)據(jù)的測量從早到晚24 h不間斷，測量間隔時間為15 min.訓練集和測試集數(shù)據(jù)數(shù)，如表1所示.表1中：N為總數(shù)據(jù)數(shù).分別進行時間間隔(Δt)為15，30，60 min的預(yù)測實驗.將80%的原始數(shù)據(jù)作為訓練集，其中5%進行驗證，剩余20%的原始數(shù)據(jù)作為測試集.

表1 訓練集和測試集數(shù)據(jù)Tab.1 Training set and test set data

3.3 對比模型

將文中模型(DWT-TCN-LSTM模型)與ARIMA模型、支持向量回歸(SVR)模型、LSTM模型和卷積長短期記憶(TCN-LSTM)混合模型進行對比.ARIMA是時間序列預(yù)測分析方法之一，是統(tǒng)計方法中常用的時序模型，其缺點是要求時序數(shù)據(jù)是穩(wěn)定的，本質(zhì)上只能預(yù)測線性關(guān)系，不能預(yù)測非線性關(guān)系，對不穩(wěn)定的風電功率數(shù)據(jù)，預(yù)測效果較差.SVR 是機器學習中主要用來處理回歸問題的模型.LSTM是深度學習中主要用來時序預(yù)測的模型，作為單一的深度模型提取的數(shù)據(jù)特征有限，相對于TCN-LSTM，LSTM模型的性能較差.使用TCN-LSTM模型與文中模型作對比，進一步說明小波分解對TCN-LSTM模型的影響.

3.2 評價指標

采用對稱平均絕對百分比誤差(SMAPE)、均方根誤差(RMSE)和平均絕對誤差(MAE)3個評價指標對模型的性能進行評價，其計算式分別為

(8)

(9)

(10)

式(8)～(10)中:xi為實際值；yi為預(yù)測值.

3.4 預(yù)測結(jié)果分析

為了考察文中模型在不同時間間隔(15，30，60 min)的預(yù)測性能，與其他4個模型進行對比.不同時間間隔內(nèi)，5個模型在3個不同時間間隔上的RMSE，MAE和SMAPE比較，分別如表2～4所示.

表2 5個模型在3個不同時間間隔上的RMSE比較Tab.2 Comparison of RMSE of five models at three different time intervals

表3 5個模型在3個不同時間間隔上的MAE比較Tab.3 Comparison of MAE of five models at three different time intervals

表4 5個模型在3個不同時間間隔上的SMAPE比較Tab.4 Comparison of SMAPE of five models at three different time intervals

RMSE側(cè)重刻畫風力發(fā)電功率峰值的預(yù)測誤差，模型峰值的預(yù)測效果越差，則該模型的RMSE值就越大；RMSE值越小，說明模型的預(yù)測效果越好.由表2可知：文中模型在3個不同時間間隔的表現(xiàn)均為最優(yōu)；從3個時間間隔的預(yù)測結(jié)果的平均值來看，RMSE值排序為文中模型

MAE著重刻畫風力發(fā)電功率平穩(wěn)狀態(tài)時的預(yù)測誤差，MAE值越小，說明預(yù)測效果越好.由表3可知：文中模型在平穩(wěn)狀態(tài)的預(yù)測效果最好，從3個時間間隔預(yù)測結(jié)果的平均值來看，MAE值的排序為文中模型

SMAPE刻畫了風力發(fā)電功率的整體預(yù)測效果，也是評價模型預(yù)測效果的主要依據(jù)，SMAPE值越小，說明預(yù)測效果越好.由表4可知：在時間間隔為30，60 min時，文中模型表現(xiàn)均為最優(yōu)，在時間間隔為15 min時，文中模型和TCN-LSTM模型的預(yù)測效果相同，優(yōu)于其他3個模型；從3個時間間隔預(yù)測結(jié)果的平均值來看，SMAPE值的排序為文中模型

文中模型使用DWT擴充數(shù)據(jù)維度，以提升TCN-LSTM模型的預(yù)測精度，為了驗證文中模型的預(yù)測效果是否比TCN-LSTM模型有提升，使用SMAPE作為評價標準評估兩種方法的預(yù)測性能.對比文中模型和TCN-LSTM模型在不同時間間隔數(shù)據(jù)集上的SMAPE值可知，文中模型在不同時間間隔數(shù)據(jù)集上的預(yù)測性能均有提升，相比原有的TCN-LSTM模型，在時間間隔為30，60 min數(shù)據(jù)集上的SMAPE值分別提升了18.09%和8.57%.說明使用離散小波變換擴增功率數(shù)據(jù)特征對提升超短期風力發(fā)電功率預(yù)測精度具有顯著效果，證明了文中模型的有效性.

3.5 預(yù)測結(jié)果曲線圖

DWT-TCN-LSTM模型代碼通過Keras 2.3.1版實現(xiàn).DWT使用一級分解，TCN使用2層卷積和1層池化，LSTM層使用80個隱藏單元，而全連接層使用1個隱藏單元用于輸出預(yù)測結(jié)果.通過隨機初始化重建DWT-TCN-LSTM模型，重復(fù)實驗10次，將DWT-TCN-LSTM，TCN-LSTM，LSTM，SVR和ARIMA模型在時間間隔分別為15，30，60 min的預(yù)測結(jié)果進行比較，結(jié)果如圖8所示.

(a) Δt=15 min

(b) Δt=30 min (c) Δt=60 min圖8 5個模型在時間間隔為15，30，60 min的預(yù)測曲線Fig.8 Prediction curves of five models at time intervals of 15， 30， and 60 minutes

由圖8可知：時間間隔為15 min時，5個模型的預(yù)測曲線差距不明顯，總體來看，文中模型曲線擬合較好；時間間隔為30 min時，當真實數(shù)據(jù)曲線數(shù)值較低且波動較小時，文中模型表現(xiàn)最好，LSTM和TCN-LSTM模型次之，ARIMA和SVR模型的預(yù)測效果較差.由于在無風情況下，風力發(fā)電功率存在連續(xù)0值，用平均值填充并不能取得好的預(yù)測效果，因此，保留了連續(xù)0值，而文中模型對連續(xù)低值的預(yù)測效果比其他模型更好.這也驗證了文中模型在3個時間間隔內(nèi)的MAE表現(xiàn)較好的結(jié)論.當時間間隔為60 min時，與LSTM，TCN-LSTM模型和文中模型相比，ARIMA和SVR模型的預(yù)測曲線擬合較差，LSTM模型雖然表現(xiàn)良好，但是在峰值和低值預(yù)測方面仍然沒有文中模型的預(yù)測性能好.總體來看，無論是波動較大的數(shù)據(jù)還是平穩(wěn)性較好的數(shù)據(jù)，相對于其他模型，文中模型的預(yù)測曲線與實際曲線更為接近.

文中模型預(yù)測曲線和真實數(shù)據(jù)曲線的對比，如圖9所示.圖9是從時間間隔為15，30，60 min的數(shù)據(jù)中隨機抽取的4組數(shù)據(jù)繪制的曲線.

(a) Δt=15 min

(b) Δt=30 min

(c) Δt=60 min圖9 文中模型預(yù)測曲線和真實數(shù)據(jù)曲線的對比Fig.9 Comparison between prediction curves of proposed model with real data curves

由圖9可知：當時間間隔為15，30 min時，文中模型的預(yù)測曲線與真實曲線較為接近；當時間間隔為60 min時，隨著時間間隔的增大，文中模型的預(yù)測曲線逐漸偏離實際曲線，但偏差不大；在不同的時間間隔內(nèi)，文中模型對連續(xù)低值的預(yù)測效果表現(xiàn)較好，進一步證實了之前的結(jié)論.

4 結(jié)論

風力發(fā)電功率預(yù)測是解決風電不確定性最有效、最經(jīng)濟的方法之一.提出一種基于離散小波變換(DWT)，時間卷積網(wǎng)絡(luò)(TCN)和長短期記憶(LSTM)神經(jīng)網(wǎng)絡(luò)的時頻域融合深度學習模型.與TCN-LSTM模型不同，DWT-TCN-LSTM模型利用TCN通過小波分解通道提取頻域特征，再利用LSTM學習長期依賴信息，提高了TCN-LSTM模型的預(yù)測能力.

通過實驗對比，得出在15，30，60 min時間間隔內(nèi)，ARIMA，SVR，LSTM，TCN-LSTM和DWT-TCN-LSTM模型的3個誤差評價指標及預(yù)測曲線對比圖.結(jié)果表明：與其他4個模型相比，DWT-TCN-LSTM模型的預(yù)測能力具有明顯的優(yōu)勢.

未來的研究工作將繼續(xù)尋找新的模型應(yīng)用到風力發(fā)電功率預(yù)測中.