基于VMD-DenseNet的短期電力負荷預測

余 珊 溫 蜜 顧春華 陳禹帆

1(上海電力大學計算機科學與技術學院 上海 201306) 2(上海理工大學光電信息與計算機工程學院 上海 200093)

0 引 言

短期電力負荷預測對于電力系統(tǒng)的能源管理、可靠性分析、安全風險評估和降低用電成本等方面都具有重要的意義[1]。隨著電力系統(tǒng)的不斷發(fā)展和日益精細化的管理需求,準確的短期負荷預測已經變得越來越重要和具有技術挑戰(zhàn)性。電力負荷的變化主要受社會、經濟及環(huán)境等多方面的影響,因此,基于電力負荷復雜的變化特性,研究新的短期負荷預測方法以提取數據中的潛在特征,對于進一步提升預測精度有著重要的意義。

短期負荷預測的研究方法主要包括時間序列模型和機器學習方法等。時間序列模型主要以線性模型為基礎,考慮了數據的時序性關系,但對于溫度、天氣類型等非線性特征難以捕捉[2]。機器學習方法主要有支持向量機[3](Support Vector Machines,SVM)和神經網絡[4]算法等。SVM方法在處理小樣本和高維數據集上具有優(yōu)勢,但在大規(guī)模樣本下訓練效率較低。

隨著深度學習的迅速發(fā)展,許多研究者將神經網絡算法運用于時間序列預測領域[5-6]。文獻[7]基于深度神經網絡(Deep Neural Networks,DNN)對工業(yè)園區(qū)負荷進行預測,很好地捕捉了輸入數據的非線性特征,但當網絡層數較多時,模型易導致參數數量膨脹和產生梯度消失問題。文獻[8]建立了電力市場中基于長短期記憶網絡(Long Short-Term Memory,LSTM)的短期負荷進行預測模型,很好地捕捉輸入數據長期和短期的相關特征。然而,當輸入序列較長時,LSTM會出現丟失歷史關鍵信息的問題,且其不能進行并行計算,影響了模型的準確率和效率。卷積神經網絡(Convolutional Neural Network,CNN)具有提取數據細節(jié)特征的優(yōu)勢,因此逐步運用于負荷預測領域[10-11]。為加強CNN的表達能力,一些改進模型如Inception、ResNet和密集連接卷積網絡[9](Densely Connected Convolutional Network,DenseNet)被提出,在計算機視覺領域表現出卓越的性能,但較少運用于負荷預測領域。DenseNet采用獨特的密集連接方式以更好地實現特征重用,有效解決深層神經網絡易產生的梯度消失問題,提升模型的準確性。文獻[12]通過構建二維輸入特征圖,將DenseNet運用于日前光伏出力預測,取得了較為理想的效果。

由于信號的非平穩(wěn)性,單一預測模型通常不能取得令人滿意的預測結果,因此基于信號分解和數據挖掘等方法與預測模型相結合的組合預測模型得到廣泛地運用[13]。一些實驗結果表明,信號分解技術如小波分解[14]和經驗模式分解[15](Empirical Mode Decomposition,EMD),給模型的預測精度帶來了顯著的改進。相比于小波分解,EMD不受小波基函數的選擇、分解層數等影響,它可以用于分析非線性、非平穩(wěn)的信號序列,具有良好的時頻聚焦性。但EMD存在模態(tài)混疊現象,且不能自主選擇分解的模態(tài)函數個數,因此建模復雜度較高。

為提升短期電力負荷的預測精度,本文針對上述文獻中存在的問題,提出了一種基于VMD-DenseNet的短期電力負荷預測方法。為了減少預測模型的訓練難度并使模型順利收斂,利用變分模態(tài)分解(Variational Mode Decomposition,VMD)方法分解原始負荷,通過VMD識別輸入負荷序列中的潛在特征,將數據分解為三個頻率各異的分量:趨勢分量、細節(jié)分量和隨機分量。對各分量和特征變量進行最大信息系數(Maximal Information Coefficient,MIC)相關性分析,選取影響較大的特征變量作為輸入變量。采用一維DenseNet網絡模型對各分量輸入序列進行建模,以加強特征重用,更加充分地提取數據中隱藏的豐富特征。以歐洲某電網的負荷數據集為算例進行實驗,對負荷進行提前1 h和提前6 h預測,所提出的模型相比其他模型具有更高的預測精度。

1 相關原理

1.1 最大信息系數

MIC[16]是2011年提出的一種變量相關性分析方法,常被用于輸入變量的選擇。該方法能較好地衡量兩個變量之間線性或非線性的關聯(lián)程度。具體描述如下:

設X,Y為數據集D中的兩個隨機變量,其中X={xi,i=1,2,…,n},Y={yi,i=1,2,…,n},n為樣本數。定義X與Y之間的互信息為:

式中:p(x,y)為X和Y的聯(lián)合概率密度;p(x)和p(y)分別為X和Y的邊緣概率密度。

將數據集D中兩個隨機變量X和Y離散在二維空間中,并把二維空間沿x和y方向劃分,形成一個網格G=(a,b),a、b分別為在x、y方向上劃分的網格數,然后查看兩個變量組成的散點在網格中的分布情況,則最大互信息可定義為:

式中:D|G為數據集D在網格G下的劃分。X與Y的最大信息系數為:

式中:n為樣本集的數量,B為變量,通常情況下,B=n0.6。MIC將不同劃分下得到的最大互信息值歸一化,取值范圍為[0,1]。若某兩個變量具有較高的MIC值,表明兩個變量之間的相關性較強,相反,較低的MIC值則表明兩者相關性較弱。

1.2 變分模態(tài)分解

VMD是一種新的信號分解方法,它可以有效地識別非線性和非平穩(wěn)信號中的周期性特征,并且能夠避免產生EMD存在的端點效應和模態(tài)混疊問題,對于噪聲具有較強的魯棒性,因此可獲得較為理想的信號分析結果,在信號分解中表現出良好的性能[17]。該方法可以人為設置本征模態(tài)函數的個數k,通過合理地設置k值,可以降低模型的建模復雜度。

VMD方法主要通過獲取最優(yōu)解的方式來自適應地將輸入序列f(t)分解為k個不同頻率的模態(tài)函數uk,并且通過不斷地確定每個模態(tài)函數的中心頻率和帶寬,以使估計帶寬的總和達到最小值,從而獲得最優(yōu)的分解結果。具體步驟如下:

1) 通過Hilbert變換可以獲得每個模態(tài)函數uk的有限邊際譜,預估每個模態(tài)函數相應的中心頻率,調制其頻譜到模態(tài)函數相應的基頻帶,然后通過H1高斯平滑法估計每個模態(tài)函數的帶寬。帶約束條件的變分問題的目標函數如下:

式中:{uk}={u1,u2,…,uk}和{ωk}={ω1,ω2,…,ωk}是模態(tài)函數集和中心頻率集;δ(t)是單位脈沖函數。

2) 通過引入二次懲罰因子α和拉格朗日算子λ(t)這兩個參數,以消除約束變分問題的約束條件,使其變?yōu)榉羌s束性變分問題,擴展的Lagrange函數表達式如下:

3) 通過采用交替方向乘子法(ADMM)更新uk和ωk,尋求式(5)的鞍點,以解決原始最小化問題。最終,求解得到uk和ωk的表達式如式(6)和式(7)所示。

4) 依據式(8)更新Lagrange懲罰算子:

式中:τ為更新參數。

5) 判斷是否滿足迭代結束條件,若滿足,則根據模態(tài)函數個數k得到相應的分解子序列。

1.3 密集連接卷積網絡

一般來說,更深的網絡可以帶來更高的預測精度,但對于深度神經網絡而言,隨著網絡深度的進一步加深,梯度消失問題會愈加明顯[18]。

DenseNet提出了一個密集連接機制:通過添加多個跳躍連接,將每個層與之前所有層的輸入進行拼接,作為其額外的輸入,從而將所有層都相互連接起來。一個密集塊的結構圖如圖1所示。

圖1 密集塊結構圖

對于一個l層的網絡,傳統(tǒng)的CNN每層僅有1個輸入,連接個數共l個。而DenseNet第l層網絡有l(wèi)個輸入,連接個數共l(l+1)/2個,網絡在l層的輸出為:

xl=Hl([x0,x1,…,xl-1])

(9)

式中:[x0,x1,…,xl-1]表示第0,1,…,l-1層的輸出在特征維度上的拼接,Hl(·)代表第l層包含卷積在內的非線性轉化復合函數。拼接操作將卷積層提取的特征信息進行融合,使得網絡中每一層的輸入均為該層前面所有層輸出特征圖的并集,且當前層的特征圖也直接傳遞給之后的所有層作為輸入,從而增加數據訓練時的原始特征。

DenseNet網絡可以由n個密集塊和n-1個過渡層組成,其密集塊獨特的密集連接機制,最大程度地增加了網絡中各層之間的信息流,從而有助于神經網絡模型訓練過程中梯度的反向傳播,使得訓練深層網絡變得更加容易;過渡層位于兩個密集塊之間,用以減少特征輸出的維度。相比于其他深層神經網絡,DenseNet不僅緩解了梯度消失問題,還增強了神經網絡中各層之間特征的傳遞,通過特征的連接來實現特征重用,更有效地利用了特征,使模型在參數和計算成本更少的情形下,達到更優(yōu)的性能。

2 模型構建

本文主要關注對未來某時刻的電力負荷進行預測,通過獲取負荷序列中蘊含的豐富特征,利用深層神經網絡模型加強對數據中的特征的提取,以獲得較高的預測精度。因此,提出一種基于VMD-DenseNet的短期負荷預測模型(以下簡稱VDSN),模型結構如圖2所示。首先采用VMD分解方法將原始負荷序列分解為3個分量,并為各分量選擇合適的特征變量;其次,采用一維DenseNet預測模型預測各分量負荷;最后,重構各分量預測結果得到最終的負荷預測值。

圖2 VDSN短期負荷預測模型

2.1 VMD分解原始負荷序列及各分量變量選擇

通過VMD分解方法可以將原始輸入負荷序列分解k個特征互異的模態(tài)函數,但過多的模態(tài)函數個數會增加預測模型的復雜度和訓練時間,因此本文選取k=3,得到3個頻率互不相同的分量。

以歐洲某電網的負荷數據為例,原始負荷及其分解得到的三個分量曲線圖如圖3所示。根據各分量曲線圖和電力負荷數據的趨勢性、周期性和隨機性等特點,定義三個分量分別為趨勢分量、細節(jié)分量和隨機分量。其中,趨勢分量代表負荷數據整體變化的趨勢性,細節(jié)分量具有一定的周期性,幅度受節(jié)假日、時間類型等因素的影響,隨機分量由經濟因素、用戶的用電行為等變化而引起,具有較大的波動性和不確定性。通過使用VMD,識別了隱藏在原始負荷序列中的潛在特征,并獲得分解后的各分量序列,與原始信號相比,這三個分量清晰地體現了電力負荷的變化性特點。

圖3 VMD分解原始負荷序列結果圖

輸入變量是影響短期負荷的重要因素,由于影響因素的差異性,通常會選擇與負荷序列相關性較強的因素作為特征變量,構建輸入變量集合。因此對由VMD分解出的各分量進行影響因素相關性分析,針對歷史負荷、溫度、天氣類型(晴、多云和雨)、時間類型(小時、星期、月份、季節(jié)和節(jié)假日)等數據,通過MIC相關性分析方法篩選出與各分量具有較強相關性的影響因素,作為各變量的輸入特征變量集合,具體參數見表1。

表1 各分量輸入變量選擇結果

2.2 一維DenseNet預測模型結構

二維CNN善于處理較為復雜的信息和結構數據,因此多用于計算機視覺、圖像處理等領域。而一維CNN能夠較好地用于序列類數據的分析處理,比如電力負荷時間序列數據。為了更加充分地利用一維時間序列中的特征,以及準確地預測未來某時刻的負荷,文中采用一維DenseNet進行負荷預測。

對各分量的輸入序列,利用DenseNet模型有效地提取數據中蘊含的趨勢性、周期性和隨機性等特征,最大限度地保留這些特征對負荷序列的影響,學習這些特征與負荷之間的關系,提升預測精度。模型采用三維數據進行輸入,且模型中的卷積層均采用一維卷積,具體層結構如圖4所示。

圖4 一維DenseNet模型結構圖

(1) 輸入層。采用滑動窗口方式輸入數據,設置窗口大小為24,時間步長為1,假設當前分量的輸入變量個數為n,則模型輸入為24×n,其中n維特征向量分別代表當前時刻的負荷值及由MIC篩選出的歷史負荷、天氣數據和時間類型數據。

(2) 卷積層。對輸入數據進行一維卷積化操作以初步提取數據中隱藏的細節(jié)特征,卷積核個數為128。

(3) 密集塊。首先,將密集塊中的復合函數Hl(·)設計為一個組合操作,包括批標準化、ReLU激活函數、一維卷積層及Dropout正則化。其中,批標準化用于降低樣本間的差異,對每一層的輸入作標準化處理,激活函數用于提升神經網絡模型的非線性表達能力,卷積層用于提取數據中蘊含的豐富特征。另外,在Hl(·)中添加Dropout層,以防止模型過擬合,并且增強模型的抗噪能力。

將卷積后的數據輸入到密集塊中,模型中共包含n個密集塊,每個密集塊均采用密集連接,并且包含4個卷積層。其中第一個卷積層選擇大小為1的卷積核,以減少輸入特征的數量,提升計算效率。其余卷積層均選擇大小為3的卷積核,以對數據中的特征進行提取,所有卷積層的卷積核數目均為8。

(4) 過渡層。為連接兩個相鄰的密集塊并減少特征數量,在每兩個密集塊之間加入一個大小為1,卷積核數為64的卷積層。

(5) 池化層。對密集連接后的特征進行尺寸為5的最大池化操作,以降低網絡復雜度,減小輸出維度大小。

(6) Flatten層。將二維向量數組進行切片,形成一維向量數組,作為全局特征提取。

(7) 輸出層。通過全連接層對數據進行回歸輸出,得到預測后的負荷數據。

2.3 各分量預測結果重構

將由趨勢分量、細節(jié)分量和隨機分量三個分量預測得到的預測分量Pi(i=1,2,3)進行疊加式重構,如式(10)所示,P為最終的負荷預測結果,然后將其與真實負荷值進行對比。

3 算例分析

3.1 實驗數據集

采用歐洲某電網2016年的負荷數據集作為研究對象,數據來源于歐洲互聯(lián)電網(ENTSO-E)。選取2016年1月至2016年11月的數據作為訓練集,2016年12月的數據作為測試集,數據時間間隔為1小時。同時收集當地氣象站采集的溫度、天氣類型數據及當地節(jié)假日等數據。

圖5為某一周的負荷數據曲線圖,起始時刻為周一的零點。可以看出,日負荷值在白天達到峰值,在夜間達到低谷,且用電高峰期具有一定的波動性。在一周時間內,負荷具有較強的周期性,并且幅值會根據日期類型等特點而發(fā)生不同程度的變化。在工作日,負荷幅值較大;在非工作日,負荷幅值相比于工作日明顯減小。

圖5 某一周的負荷曲線圖

3.2 數據預處理及評價指標

為便于模型的訓練,首先對所有數據集進行數據預處理,將標志性數據進行編碼處理,并對選擇的歷史輸入數據進行歸一化處理,將數據映射到[0,1]范圍內。公式如下:

式中:xmin、xmax是各輸入變量的最小值和最大值,xi是當前變量的輸入值。

為較好地評估模型的性能,使用平均絕對百分比誤差(Mean Absolute Percentage Error,MAPE)和均方根誤差(Root Mean Square Error,RMSE)兩種性能評價指標對預測結果進行分析。MAPE和RMSE的計算公式分別為:

3.3 實驗對比分析

為驗證文中所提出的VDSN模型的性能,本文分別與基于DNN、LSTM、DenseNet、VMD-DNN和EMD-LSTM的五種預測模型進行實驗對比。模型均可以在不同的時間范圍內對未來負荷進行點預測,包括提前1 h和提前6 h。實驗均在裝有GeForce RTX 2080Ti GPU的服務器上進行,模型開發(fā)基于Python和Keras框架。

實驗中DenseNet采用3個密集塊,相對應的,DNN和LSTM分別設置為效果較好的3層結構,隱藏層神經元個數分別設置為128、64、64,并且在每個隱藏層中加入0.2的Dropout率以防止過擬合,所有模型采用早停法進行實驗。

表2為6種不同模型對負荷進行提前1 h預測和提前6 h預測的連續(xù)一周(12月12日—12月18日)的預測結果對比?？梢钥闯?無論是工作日(12月12日—12月16日)還是非工作日12月17日—12月18日),VDSN模型的每日預測誤差MAPE和RMSE值相對于其他模型基本都較小,表明該模型的預測精度較為理想,預測精度較高。

表2 12月12日—12月18日提前1 h負荷預測的結果比較

為探究模型的通用性,本文對提前1 h預測和提前6 h預測兩種不同尺度的預測結果進行了分析。圖6為提前1 h預測的某日結果對比圖,圖7為提前6 h預測的某日結果對比圖。

圖6 提前1 h預測的某日結果對比

圖7 提前6 h預測的某日結果對比

由圖6和圖7可以看出,VDSN模型的預測結果更加接近真實值,因此預測精度最高,其他模型預測結果均次于該模型。對于單個模型,DNN和LSTM的預測效果相比DenseNet模型預測精度要差,對于組合模型,VMD-DNN和EMD-LSTM模型的預測誤差相比于VDSN模型都較大。特別地,對于提前6 h預測,單個模型的預測精度明顯低于組合模型的預測精度,模型穩(wěn)定性相比提前1 h預測較差。

表3為兩種不同時間尺度的12月份整體情況對比。由表3的分析結果可知,提前1 h的預測精度整體優(yōu)于提前6 h的預測精度。從模型預測角度來說,加入VMD或EMD的組合模型預測效果比單一預測模型得到明顯提升。另外,LSTM和DNN模型在預測不同時間尺度的負荷數據時各有優(yōu)缺點,但兩者預測精度都次于DenseNet模型。在兩種不同的預測時間尺度下,本文提出的組合模型VDSN都具有更高的預測精度。對于提前1 h預測,VDSN模型相比于VMD-DNN、EMD-LSTM模型MAPE值分別提升了17.82%和15.31%,RMSE值分別提升了15.37%和21.90%;對于提前6 h預測,VDSN模型相比于VMD-DNN、EMD-LSTM模型MAPE值分別提升了13.49%和29.55%,RMSE值分別提升了13.23%和34.25%。綜上,基于VMD和DenseNet的混合模型VDSN提高了特征的利用率,能夠獲得更好的預測效果,提升了預測精度。

表3 兩種不同時間尺度的12月份預測精度比較

4 結 語

本文結合人工智能領域熱點研究方向,提出了一種基于VMD-DenseNet的方法對短期電力負荷進行預測。VMD方法能夠避免發(fā)生模態(tài)混疊問題,獲得較好的負荷序列分解效果,掌握負荷的趨勢性、周期性和隨機性等特點。利用MIC對每個分量的輸入變量(歷史負荷、環(huán)境和時間特性等)進行相關性分析,加強了重要特征對模型的影響并降低了數據冗余。借助DenseNet復雜的網絡結構進行深度負荷預測,既有效地避免了梯度消失問題,也加強了對各分量數據的特征提取。實驗結果表明所提出的模型,能夠獲得更高的預測精度,具有更優(yōu)的性能。

未來的研究中,我們考慮進一步將DenseNet網絡運用于負荷預測領域,比如概率預測、多尺度預測等,并且通過優(yōu)化其連接方式,加強其特征提取能力,提升模型的普適性。