基于CNN-BiLSTM-Attention的超短期電力負(fù)荷預(yù)測(cè)

任建吉，位慧慧，鄒卓霖，侯庭庭，原永亮，沈記全，王小敏

基于CNN-BiLSTM-Attention的超短期電力負(fù)荷預(yù)測(cè)

任建吉1，位慧慧1，鄒卓霖2，侯庭庭1，原永亮3，沈記全1，王小敏1

(1.河南理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，河南 焦作 454000；2.許繼電氣直流輸電分公司，河南 許昌 461000；3.河南理工大學(xué)機(jī)械與動(dòng)力工程學(xué)院，河南 焦作 454000)

超短期電力負(fù)荷預(yù)測(cè)對(duì)電力系統(tǒng)的快速響應(yīng)和實(shí)時(shí)調(diào)度至關(guān)重要，準(zhǔn)確預(yù)測(cè)負(fù)荷能保障電力系統(tǒng)的安全并提高用電效率。為獲得準(zhǔn)確可靠的負(fù)荷預(yù)測(cè)結(jié)果，針對(duì)電網(wǎng)負(fù)荷數(shù)據(jù)非線性和時(shí)序性等特征，提出了一種基于CNN-BiLSTM-Attention(AC-BiLSTM)的新型超短期電力負(fù)荷預(yù)測(cè)方法。該方法首先將卷積神經(jīng)網(wǎng)絡(luò)(CNN)和雙向長(zhǎng)短期記憶(BiLSTM)網(wǎng)絡(luò)相結(jié)合充分提取負(fù)荷數(shù)據(jù)本身的時(shí)空特征。然后引入注意力(Attention)機(jī)制自動(dòng)為BiLSTM隱藏層狀態(tài)分配相應(yīng)的權(quán)重，以區(qū)分不同時(shí)間負(fù)荷序列的重要性，能夠有效減少歷史信息的丟失并突出關(guān)鍵歷史時(shí)間點(diǎn)的信息。最后通過(guò)全連接層輸出最終負(fù)荷預(yù)測(cè)結(jié)果。以某地區(qū)真實(shí)負(fù)荷數(shù)據(jù)為例進(jìn)行了實(shí)驗(yàn)分析。通過(guò)兩種實(shí)驗(yàn)場(chǎng)景對(duì)比，驗(yàn)證了該方法具有較高的預(yù)測(cè)精度，可以為電力系統(tǒng)規(guī)劃和穩(wěn)定運(yùn)行提供可靠的依據(jù)。

負(fù)荷預(yù)測(cè)；卷積神經(jīng)網(wǎng)絡(luò)；雙向長(zhǎng)短期記憶網(wǎng)絡(luò)；注意力機(jī)制；電力系統(tǒng)

0 引言

電力系統(tǒng)作為未來(lái)的能源樞紐，將對(duì)我國(guó)實(shí)現(xiàn)碳達(dá)峰碳中和目標(biāo)起到關(guān)鍵作用[1]。在雙碳背景下，精確地預(yù)測(cè)電力負(fù)荷能夠有效幫助供電企業(yè)制定及時(shí)、經(jīng)濟(jì)的發(fā)電計(jì)劃，優(yōu)化電力調(diào)度規(guī)劃，同時(shí)保證電力系統(tǒng)的安全，符合綠色發(fā)展的要求，而預(yù)測(cè)誤差較大將會(huì)導(dǎo)致不必要的能源浪費(fèi)[2]。因此，提高電力負(fù)荷預(yù)測(cè)準(zhǔn)確度、優(yōu)化現(xiàn)代電力產(chǎn)業(yè)結(jié)構(gòu)及促進(jìn)能源生產(chǎn)消費(fèi)轉(zhuǎn)型，并在電力建設(shè)中扎實(shí)做好碳達(dá)峰碳中和各項(xiàng)工作，對(duì)落實(shí)2030年前碳排放碳達(dá)峰行動(dòng)方案具有積極的現(xiàn)實(shí)意義。

目前，諸多國(guó)內(nèi)外學(xué)者進(jìn)行了大量研究以提高超短期電力負(fù)荷預(yù)測(cè)精度[3-5]。超短期電力負(fù)荷預(yù)測(cè)方法有時(shí)間序列分析、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三種。常用的時(shí)間序列分析法有指數(shù)平滑方法[6]、自回歸移動(dòng)平均方法(ARIMA)[7-8]等，這類模型主要采用線性方法，原理簡(jiǎn)單并且考慮了數(shù)據(jù)的時(shí)序性，對(duì)波動(dòng)性較小的數(shù)據(jù)預(yù)測(cè)效果好[9-10]。近年來(lái)，機(jī)器學(xué)習(xí)模型廣泛應(yīng)用于電力負(fù)荷預(yù)測(cè)領(lǐng)域并在波動(dòng)性較大的數(shù)據(jù)上表現(xiàn)出較好的預(yù)測(cè)性能。傳統(tǒng)的機(jī)器學(xué)習(xí)算法包括隨機(jī)森林[11]、XGBoost[12-13]、支持向量機(jī)等，這些模型可以學(xué)習(xí)負(fù)荷與各類影響因素之間的非線性關(guān)系，該類方法在負(fù)荷預(yù)測(cè)建模過(guò)程中過(guò)分依賴相似日樣本選取，使模型構(gòu)建與更新不夠靈活[14]，導(dǎo)致負(fù)荷預(yù)測(cè)精度難以滿足電力系統(tǒng)的要求。

長(zhǎng)短期記憶(Long Short-Term Memory, LSTM)網(wǎng)絡(luò)因其具備特殊的記憶能力和門結(jié)構(gòu)，能夠同時(shí)兼顧負(fù)荷數(shù)據(jù)的時(shí)序性及非線性，在電力負(fù)荷預(yù)測(cè)領(lǐng)域得到了廣泛應(yīng)用。文獻(xiàn)[15]將LSTM神經(jīng)網(wǎng)絡(luò)用于電力負(fù)荷預(yù)測(cè)領(lǐng)域，通過(guò)實(shí)驗(yàn)表明，與前饋神經(jīng)網(wǎng)絡(luò)相比，LSTM模型具有較高的預(yù)測(cè)能力和適用性；文獻(xiàn)[16]提出了一種基于CNN和LSTM的混合神經(jīng)網(wǎng)絡(luò)模型，證明了該模型比ARIMA模型、隨機(jī)森林模型以及單一結(jié)構(gòu)的LSTM模型具有更高的預(yù)測(cè)精度。隨著深度學(xué)習(xí)的發(fā)展，雙向長(zhǎng)短期記憶網(wǎng)絡(luò)BiLSTM作為傳統(tǒng)單向LSTM網(wǎng)絡(luò)的延伸被提出，因其能夠?qū)W習(xí)雙向時(shí)序特征，進(jìn)一步提高了模型預(yù)測(cè)的準(zhǔn)確性。文獻(xiàn)[17]證明了BiLSTM模型在時(shí)間序列分析中的預(yù)測(cè)能力優(yōu)于單向LSTM模型，可以用于電力負(fù)荷預(yù)測(cè)。文獻(xiàn)[18]提出了一種基于CNN-BiLSTM的組合模型進(jìn)行電力負(fù)荷預(yù)測(cè)，與單一結(jié)構(gòu)的LSTM模型和CNN-LSTM組合模型相比，所提CNN-BiLSTM模型具有優(yōu)越性。

近年來(lái)，注意力機(jī)制作為一種高效的資源分配機(jī)制，已經(jīng)逐步成為語(yǔ)音識(shí)別、圖像識(shí)別和機(jī)器翻譯等領(lǐng)域的研究熱點(diǎn)，一些學(xué)者嘗試將注意力機(jī)制用于電力負(fù)荷預(yù)測(cè)以提高負(fù)荷預(yù)測(cè)精度。文獻(xiàn)[19]提出了一種基于注意力機(jī)制的LSTM模型，利用住宅、大型工業(yè)、商業(yè)和農(nóng)業(yè)四種不同類型的真實(shí)負(fù)荷數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該模型的有效性；文獻(xiàn)[20]提出一種基于注意力機(jī)制的CNN-LSTM-BiLSTM用于綜合能源系統(tǒng)的負(fù)荷預(yù)測(cè)，該方法中CNN與注意力機(jī)制結(jié)合提取模型的有效局部特征，LSTM與BiLSTM提取負(fù)荷數(shù)據(jù)的時(shí)間特征，與傳統(tǒng)方法相比，所提模型可以更好地預(yù)測(cè)綜合能源系統(tǒng)中的電力負(fù)荷。

基于CNN-BiLSTM和Attention機(jī)制的優(yōu)勢(shì)，本文針對(duì)電力負(fù)荷數(shù)據(jù)的非線性和時(shí)序性的特點(diǎn)，提出一種基于CNN-BiLSTM-Attention(AC-BiLSTM)的新型超短期電力負(fù)荷預(yù)測(cè)方法。其中，卷積神經(jīng)網(wǎng)絡(luò)CNN可以有效提取電力負(fù)荷數(shù)據(jù)的非線性局部特征；BiLSTM層用于提取序列數(shù)據(jù)的雙向時(shí)序特征；將BiLSTM隱藏層產(chǎn)生的特征作為Attention機(jī)制的輸入，利用注意力機(jī)制對(duì)BiLSTM層提取的時(shí)間信息通過(guò)加權(quán)的方式進(jìn)行重要程度的區(qū)分以減小冗雜信息對(duì)負(fù)荷預(yù)測(cè)結(jié)果的影響。最后，以真實(shí)負(fù)荷數(shù)據(jù)為例進(jìn)行兩種不同場(chǎng)景的預(yù)測(cè)實(shí)驗(yàn)，與現(xiàn)有的幾種預(yù)測(cè)方法進(jìn)行對(duì)比，從兩種不同角度驗(yàn)證了本文所提出的AC-BiLSTM模型具有更好的超短期電力負(fù)荷預(yù)測(cè)性能。

1 模型結(jié)構(gòu)

1.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

CNN是深度學(xué)習(xí)領(lǐng)域應(yīng)用最廣泛的算法之一，因其具有高效的特征提取能力，在電力系統(tǒng)研究領(lǐng)域已有應(yīng)用[21]。CNN主要由卷積層和池化層構(gòu)成[22]，其中卷積層利用卷積核進(jìn)行電力負(fù)荷數(shù)據(jù)的有效非線性局部特征提取，池化層用于壓縮提取的特征并生成更重要的特征信息，提高泛化能力。CNN基本結(jié)構(gòu)如圖1所示。

圖1 CNN結(jié)構(gòu)圖

1.2 LSTM神經(jīng)網(wǎng)絡(luò)

Hochreiter等[23]最早提出了一種新穎的遞歸網(wǎng)絡(luò)體系結(jié)構(gòu)LSTM神經(jīng)網(wǎng)絡(luò)。LSTM通過(guò)引入遺忘門、輸入門和輸出門三種門的邏輯控制單元保持和更新細(xì)胞狀態(tài)，加強(qiáng)了長(zhǎng)期記憶能力，可以很好地解決RNN梯度消失與梯度爆炸的問(wèn)題。LSTM通過(guò)學(xué)習(xí)時(shí)序數(shù)據(jù)的長(zhǎng)時(shí)間相關(guān)性，使網(wǎng)絡(luò)可以更好、更快地收斂，有助于提高超短期電力負(fù)荷預(yù)測(cè)精度。LSTM結(jié)構(gòu)單元如圖2所示。

圖2 LSTM單元結(jié)構(gòu)

式(5)、式(6)所示。

1.3 BiLSTM神經(jīng)網(wǎng)絡(luò)

圖3BiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

前向LSTM、后向LSTM的隱藏層更新狀態(tài)以及BiLSTM最終輸出過(guò)程如式(7)—式(9)所示。

1.4 注意力機(jī)制Attention

Attention起源于對(duì)人腦注意力特征的模擬，該方法首先應(yīng)用于圖像處理領(lǐng)域[25]。在深度學(xué)習(xí)領(lǐng)域，Attention機(jī)制根據(jù)不同的特征分配權(quán)重的大小，對(duì)關(guān)鍵的內(nèi)容分配更大的權(quán)重，對(duì)其他內(nèi)容分配較小的權(quán)重，通過(guò)差異化的權(quán)重分配可提高信息處理的效率。Attention單元結(jié)構(gòu)如圖4所示。

圖4 Attention單元結(jié)構(gòu)

注意力狀態(tài)轉(zhuǎn)換過(guò)程[26]如式(10)—式(13)所示。

1.5 AC-BiLSTM預(yù)測(cè)模型結(jié)構(gòu)

本文提出一種基于AC-BiLSTM模型的超短期電力負(fù)荷預(yù)測(cè)方法，具體實(shí)現(xiàn)流程如圖5所示。首先，將采集到的負(fù)荷數(shù)據(jù)進(jìn)行預(yù)處理并劃分訓(xùn)練集和測(cè)試集。其次，構(gòu)建AC-BiLSTM模型，本文采用一層一維卷積層和池化層組成的CNN框架自動(dòng)提取負(fù)荷數(shù)據(jù)的內(nèi)部特征，卷積層進(jìn)行電力負(fù)荷數(shù)據(jù)的有效非線性局部特征提取，池化層選取最大池化方法壓縮提取的特征并生成更關(guān)鍵的特征信息。BiLSTM隱藏層建模學(xué)習(xí)CNN所提取的局部特征的內(nèi)部動(dòng)態(tài)變化規(guī)律，從局部特征中迭代提取更復(fù)雜的全局特征。將BiLSTM隱藏層產(chǎn)生的特征作為Attention機(jī)制的輸入，利用注意力機(jī)制自動(dòng)對(duì)BiLSTM隱藏層所提取到的時(shí)間信息通過(guò)加權(quán)的方式進(jìn)行重要程度的區(qū)分，可以更有效地利用負(fù)荷數(shù)據(jù)自身的時(shí)間序列屬性，挖掘深層次的時(shí)間相關(guān)性。注意力機(jī)制能夠有效減少歷史信息的丟失并突出關(guān)鍵歷史時(shí)間點(diǎn)的信息以削弱冗雜信息對(duì)負(fù)荷預(yù)測(cè)結(jié)果的影響。然后將Attention層的輸出作為全連接層的輸入，通過(guò)全連接層輸出最終負(fù)荷預(yù)測(cè)結(jié)果。此外，本文引入隨機(jī)失活(Dropout)技術(shù)來(lái)防止過(guò)擬合現(xiàn)象，即在每一個(gè)BiLSTM隱藏層后面附加一個(gè)Dropout層[27]，在防止過(guò)擬合現(xiàn)象的同時(shí)，還可以提升模型的泛化性并且減少模型的訓(xùn)練時(shí)間。在網(wǎng)絡(luò)參數(shù)優(yōu)化部分本文采用Adam(Adaptive Moment Estimation)優(yōu)化算法更新各層的網(wǎng)絡(luò)參數(shù)，損失函數(shù)采用均方誤差(Mean Squared Error, MSE)。最后，保存訓(xùn)練好的AC-BiLSTM模型，并使用測(cè)試集驗(yàn)證模型的有效性，通過(guò)分析負(fù)荷預(yù)測(cè)結(jié)果以確定不足之處，并不斷優(yōu)化預(yù)測(cè)模型。

圖5 AC-BiLSTM流程圖

2 數(shù)據(jù)處理

2.1 數(shù)據(jù)描述

表1 日期和時(shí)間相關(guān)的特征

2.2 數(shù)據(jù)歸一化

歸一化處理具有提升損失函數(shù)收斂速度、防止梯度爆炸且提高計(jì)算精度的作用。在實(shí)際的負(fù)荷預(yù)測(cè)過(guò)程中，模型的輸入通常包含多種不同量綱的數(shù)據(jù)，為消除不同量綱對(duì)預(yù)測(cè)結(jié)果的影響及提高模型的精度和效率，需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理。本文采用min-max標(biāo)準(zhǔn)化將數(shù)據(jù)歸一化到[0, 1]，計(jì)算過(guò)程如式(14)所示。

2.3 模型評(píng)估

本文采用平均絕對(duì)百分誤差(MAPE)、均方根誤差(RMSE)和平均誤差(ME)三個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)電力負(fù)荷預(yù)測(cè)方法的性能[31-32]。電力負(fù)荷預(yù)測(cè)中MAPE、RMSE及ME的值越小，代表負(fù)荷預(yù)測(cè)越準(zhǔn)確，計(jì)算公式如式(16)—式(18)所示。

3 算例分析

本文從兩個(gè)不同角度驗(yàn)證模型的各項(xiàng)性能：(1) 采用人工搜索超參數(shù)的方法選取兩組不同參數(shù)組合，分別建立AC-BiLSTM模型與單一結(jié)構(gòu)的CNN、BiLSTM模型，并在測(cè)試集上進(jìn)行預(yù)測(cè)對(duì)比分析；(2) 采用隨機(jī)搜索算法尋找預(yù)測(cè)模型最優(yōu)超參數(shù)，基于幾種對(duì)比算法分別建立模型，并在測(cè)試集上進(jìn)行預(yù)測(cè)對(duì)比分析。從兩個(gè)不同角度充分證明了本文所提出的方法在超短期電力負(fù)荷預(yù)測(cè)方面的優(yōu)勢(shì)。為保證實(shí)驗(yàn)的可靠性和有效性，對(duì)所有驗(yàn)證方法提供相同的實(shí)驗(yàn)條件。

3.1 人工搜索模型參數(shù)預(yù)測(cè)結(jié)果分析

在保證對(duì)比實(shí)驗(yàn)公平性的前提下，為驗(yàn)證所提出模型的學(xué)習(xí)性能，本文將CNN、BiLSTM模型的參數(shù)與AC-BiLSTM參數(shù)選取保持一致，并采用人工搜索方法選取了2組不同的超參數(shù)組合進(jìn)行測(cè)試。根據(jù)算例1和算例2的2組不同的超參數(shù)組合分別訓(xùn)練一個(gè)CNN、BiLSTM和AC-BiLSTM模型，連續(xù)運(yùn)行30次，分別預(yù)測(cè)出一周(2015年1月2日至1月8日)的負(fù)荷以及一天(2015年1月9日)的負(fù)荷，取30次實(shí)驗(yàn)結(jié)果的平均值，得到最終負(fù)荷預(yù)測(cè)結(jié)果，并分別計(jì)算出各方法的MAPE、RMSE和ME。

3.1.1算例1負(fù)荷預(yù)測(cè)與結(jié)果分析

圖6(a)為算例1中各模型預(yù)測(cè)一周的負(fù)荷對(duì)比折線圖。從圖中可以看出，所提出的AC-BiLSTM模型擬合曲線與實(shí)際負(fù)荷預(yù)測(cè)曲線波動(dòng)最為相近。當(dāng)實(shí)際負(fù)荷發(fā)生較大變化時(shí)(即負(fù)荷預(yù)測(cè)的不確定性增強(qiáng))，單一結(jié)構(gòu)的CNN和BiLSTM模型的預(yù)測(cè)誤差較大，而AC-BiLSTM模型仍然能夠較好地?cái)M合實(shí)際負(fù)荷的變化趨勢(shì)，尤其是在曲線谷峰處差異最明顯。

圖6(b)為算例1中的模型對(duì)2015年1月9日當(dāng)天的負(fù)荷預(yù)測(cè)結(jié)果。其中，CNN模型預(yù)測(cè)曲線與實(shí)際負(fù)荷曲線大體吻合。從圖中可以看出，BiLSTM模型預(yù)測(cè)曲線峰谷值與實(shí)際負(fù)荷曲線存在較大偏差且具有不穩(wěn)定性，相對(duì)于其他模型預(yù)測(cè)效果最差。從圖6(b)可以看出，12：00—14：00所有模型預(yù)測(cè)誤差均較大，這是由于該時(shí)間段為休息時(shí)間，受到人員流動(dòng)性較大等因素的影響，但是與其他模型相比，此時(shí)所提出的AC-BiLSTM模型預(yù)測(cè)結(jié)果與實(shí)際負(fù)荷最為貼近。

在算例1中，基于AC-BiLSTM的模型與設(shè)置相同超參數(shù)的CNN、BiLSTM模型的預(yù)測(cè)誤差如表2所示。

表2 算例1對(duì)比模型預(yù)測(cè)誤差

由表2可以看出：在預(yù)測(cè)連續(xù)一周的負(fù)荷結(jié)果中，AC-BiLSTM模型的MAPE指標(biāo)為4.39%，相較于CNN模型和BiLSTM模型分別降低了1.38%、3.15%；AC-BiLSTM模型的RMSE為324.57 MW，相較于CNN模型和BiLSTM模型分別降低了145.94 MW、174.41 MW；且AC-BiLSTM模型的ME均低于單一結(jié)構(gòu)的CNN、BiLSTM模型。

預(yù)測(cè)一天的負(fù)荷結(jié)果顯示，AC-BiLSTM模型的MAPE指標(biāo)分別降低了4.64%、5.07%；RMSE分別降低了358.12 MW、299.63 MW；ME均低于CNN、BiLSTM模型，驗(yàn)證了所提方法的預(yù)測(cè)準(zhǔn)確度相較于單一結(jié)構(gòu)預(yù)測(cè)模型得到很大提升。

3.1.2算例2負(fù)荷預(yù)測(cè)與結(jié)果分析

算例2中改變各層超參數(shù)設(shè)置，進(jìn)行與算例1相同的實(shí)驗(yàn)，對(duì)測(cè)試集進(jìn)行連續(xù)一周和一天負(fù)荷的預(yù)測(cè)，其負(fù)荷擬合曲線分別如圖7(a)和圖7(b)所示，從圖中可以看出本文所提出的AC-BiLSTM模型擬合效果最優(yōu)，基本擬合實(shí)際負(fù)荷的變化趨勢(shì)，進(jìn)一步驗(yàn)證了AC-BiLSTM模型提高了超短期電力負(fù)荷預(yù)測(cè)的精度。

算例2中改變各模型超參數(shù)設(shè)置，進(jìn)行與算例1相同的實(shí)驗(yàn)并計(jì)算各評(píng)估指標(biāo)，實(shí)驗(yàn)結(jié)果如表3所示。

表3 算例2對(duì)比模型預(yù)測(cè)誤差

由表3可以看出：無(wú)論是連續(xù)一周負(fù)荷預(yù)測(cè)還是單獨(dú)一天預(yù)測(cè)，本文所提出的AC-BiLSTM模型各項(xiàng)評(píng)估指標(biāo)均優(yōu)于CNN和BiLSTM模型。

通過(guò)算例1和算例2實(shí)驗(yàn)結(jié)果綜合分析，本文所提出的AC-BiLSTM模型在MAPE、RMSE和ME上都有顯著減少，表明AC-BiLSTM模型的預(yù)測(cè)性能優(yōu)于CNN和BiLSTM模型的預(yù)測(cè)性能，驗(yàn)證了所提出的模型在電力系統(tǒng)超短期負(fù)荷預(yù)測(cè)能力的有效性。

3.2 隨機(jī)搜索優(yōu)化不同模型預(yù)測(cè)結(jié)果分析

3.2.1模型參數(shù)設(shè)置

人工搜索和網(wǎng)格搜索是超參數(shù)優(yōu)化中應(yīng)用最廣泛的方法，人工搜索超參數(shù)的方法效率較低，需要耗費(fèi)大量的時(shí)間和精力，網(wǎng)格搜索通過(guò)嘗試搜索范圍內(nèi)的所有超參數(shù)組合尋找一組最優(yōu)的超參數(shù)，這種方法雖然簡(jiǎn)單有效，但需消耗大量的計(jì)算資源且非常耗時(shí)。而隨機(jī)搜索對(duì)不同重要性的參數(shù)選擇不同的搜索范圍，對(duì)超參數(shù)優(yōu)化比網(wǎng)格搜索和人工搜索更有效[33]。本文采用隨機(jī)搜索的方法進(jìn)行超參數(shù)優(yōu)化，實(shí)驗(yàn)采用的超參數(shù)選取情況如表4所示。

表4 AC-BiLSTM超參數(shù)選擇情況

3.2.2負(fù)荷預(yù)測(cè)與結(jié)果分析

為進(jìn)一步驗(yàn)證所提出的AC-BiLSTM模型在超短期電力負(fù)荷預(yù)測(cè)精度方面的優(yōu)越性，本文選取了幾種常用的負(fù)荷預(yù)測(cè)算法進(jìn)行對(duì)比分析。圖8(a)和圖8(b)分別為隨機(jī)森林、XGBoost、CNN、BiLSTM和AC-BiLSTM模型預(yù)測(cè)連續(xù)一周負(fù)荷及預(yù)測(cè)一天負(fù)荷的結(jié)果。

從圖8(a)和圖8(b)可以看出，機(jī)器學(xué)習(xí)算法隨機(jī)森林和XGBoost不能準(zhǔn)確反映負(fù)荷數(shù)據(jù)的波動(dòng)規(guī)律，整體預(yù)測(cè)效果表現(xiàn)最差，雖然CNN、BiLSTM算法在隨機(jī)搜索選擇最優(yōu)超參數(shù)后預(yù)測(cè)準(zhǔn)確度較算例1和算例2人工搜索超參數(shù)有所提高，但預(yù)測(cè)結(jié)果相比本文提出的AC-BiLSTM模型較差。AC-BiLSTM模型能有效預(yù)測(cè)電力負(fù)荷變化趨勢(shì)，尤其是在負(fù)荷變化較大的峰谷值時(shí)也能準(zhǔn)確把握負(fù)荷變化規(guī)律。從圖8(a)和圖8(b)中可以看出，與機(jī)器學(xué)習(xí)算法隨機(jī)森林和XGBoost以及CNN、BiLSTM算法相比，本文提出的AC-BiLSTM模型的預(yù)測(cè)準(zhǔn)確度最高，能夠?yàn)殡娏ο到y(tǒng)規(guī)劃和穩(wěn)定運(yùn)行提供可靠的依據(jù)。

將該模型與隨機(jī)森林、XGBoost、CNN和BiLSTM四種模型在隨機(jī)搜索選擇最優(yōu)超參數(shù)組合的情況下進(jìn)行電力負(fù)荷預(yù)測(cè)并分別計(jì)算模型的評(píng)估指標(biāo)，不同模型的預(yù)測(cè)結(jié)果如表5所示。

表5 不同算法預(yù)測(cè)結(jié)果對(duì)比

由表5可以看出：本文所提出的AC-BiLSTM預(yù)測(cè)模型進(jìn)行連續(xù)一周和單獨(dú)一天負(fù)荷預(yù)測(cè)的MAPE、RMSE和ME三個(gè)評(píng)價(jià)指標(biāo)均優(yōu)于隨機(jī)森林、XGBoost、CNN、BiLSTM模型。在隨機(jī)搜索算法尋找最優(yōu)超參數(shù)組合下，CNN和BiLSTM模型的預(yù)測(cè)精度較算例1和算例2人工搜索模型超參數(shù)的預(yù)測(cè)精度均有所提升，但AC-BiLSTM模型的提升效果最優(yōu)。AC-BiLSTM模型預(yù)測(cè)一周負(fù)荷的RMSE僅為90.88 MW，比隨機(jī)森林、XGBoost、CNN、BiLSTM分別降低了760.23 MW、757.78 MW、258.46 MW、99.05 MW；AC-BiLSTM模型預(yù)測(cè)一天負(fù)荷的RMSE僅為91.38 MW，比其他模型分別降低了772.27 MW、770.78 MW、266.36 MW、76.64 MW，進(jìn)一步驗(yàn)證了本文所提出的AC-BiLSTM模型的有效性和優(yōu)越性。

4 結(jié)論

面向碳達(dá)峰和碳中和的目標(biāo)，構(gòu)建安全綠色的電力系統(tǒng)刻不容緩，本文提出了AC-BiLSTM模型進(jìn)行超短期電力負(fù)荷預(yù)測(cè)，通過(guò)實(shí)驗(yàn)驗(yàn)證分析得出以下結(jié)論：

(1) 利用時(shí)間滑動(dòng)窗口將多維數(shù)據(jù)構(gòu)造成連續(xù)特征圖作為輸入，充分發(fā)揮CNN能夠有效提取空間特征的優(yōu)勢(shì)，結(jié)合BiLSTM網(wǎng)絡(luò)對(duì)序列數(shù)據(jù)的雙向時(shí)序特征提取的能力，以及Attention機(jī)制能夠選擇性關(guān)注隱層狀態(tài)，從而充分挖掘負(fù)荷數(shù)據(jù)自身的時(shí)間序列屬性，獲取深層次的時(shí)間相關(guān)性。注意力機(jī)制也能夠有效減少歷史信息的丟失并突出關(guān)鍵歷史時(shí)間點(diǎn)的信息以減小冗雜信息影響負(fù)荷預(yù)測(cè)結(jié)果。

(2) 采用人工搜索超參數(shù)的方法建立預(yù)測(cè)模型，通過(guò)兩組不同參數(shù)組合下AC-BiLSTM模型與單一結(jié)構(gòu)的CNN、BiLSTM模型進(jìn)行對(duì)比分析，AC-BiLSTM模型的RMSE、ME及MAPE的指標(biāo)值均為最小，表明所提出的AC-BiLSTM模型的預(yù)測(cè)準(zhǔn)確度最高。

(3) 采用隨機(jī)搜索算法尋找各模型最優(yōu)超參數(shù)建立預(yù)測(cè)模型，與機(jī)器學(xué)習(xí)算法隨機(jī)森林、XGBoost以及CNN、BiLSTM算法相比，所提出的AC-BiLSTM模型的超短期負(fù)荷預(yù)測(cè)效果最佳。

未來(lái)研究將會(huì)考慮節(jié)假日效應(yīng)、電價(jià)以及降雨量等因素更復(fù)雜環(huán)境中的超短期電力負(fù)荷預(yù)測(cè)問(wèn)題，并充分利用大數(shù)據(jù)優(yōu)勢(shì)深入挖掘負(fù)荷變化規(guī)律，進(jìn)一步提高超短期電力負(fù)荷預(yù)測(cè)精度。

[1] 寸馨, 錢仲文, 孫藝新, 等.基于“效益-精度”對(duì)沖的兩級(jí)電力市場(chǎng)負(fù)荷預(yù)測(cè)技術(shù)[J].中國(guó)電力, 2020, 53(10): 172-179.

CUN Xin, QIAN Zhongwen, SUN Yixin, et al.“Cost-accuracy” hedging based load forecasting technique on two-stage electricity market[J].Electric Power, 2020, 53(10): 172-179.

[2] 朱清智, 董澤, 馬寧.基于即時(shí)學(xué)習(xí)算法的短期負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(7): 92-98.

ZHU Qingzhi, DONG Ze, MA Ning.Forecasting of short-term power based on just-in-time learning[J].Power System Protection and Control, 2020, 48(7): 92-98.

[3] JIANG H, WU A, WANG B, et al.Industrial ultra-short- term load forecasting with data completion[J].IEEE Access, 2020, 8: 158928-158940.

[4] WANG Z, LI H, TANG Z, et al.User-level ultra-short- term load forecasting model based on optimal feature selection and Bahdanau attention mechanism[J].Journal of Circuits, Systems and Computers, 2021, 30(15).

[5] 楊正瓴, 田勇, 張廣濤, 等.相似日短期負(fù)荷預(yù)測(cè)的非線性理論基礎(chǔ)與改進(jìn)[J].電網(wǎng)技術(shù), 2006, 30(6): 63-66.

YANG Zhengling, TIAN Yong, ZHANG Guangtao, et al.Nonlinear theoretical foundation and improvement of similar days method for short term load forecasting[J].Power System Technology, 2006, 30(6): 63-66.

[6] SMYL S.A hybrid method of exponential smoothing and recurrent neural networks for time series forecasting[J].International Journal of Forecasting, 2020, 36(1): 75-85.

[7] 劉亞輝, 韓明軒, 郭俊岑, 等.基于密度聚類與ARIMA模型短期電力負(fù)荷預(yù)測(cè)[J].北京信息科技大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 34(5): 84-87.

LIU Yahui, HAN Mingxuan, GUO Juncen, et al.Short-term electric load forecasting based on DBSCAN-ARIMA method[J].Journal of Beijing Information Science & Technology University (Natural Science Edition), 2019, 34(5): 84-87.

[8] Kim Y, Son H G, Kim S.Short term electricity load forecasting for institutional buildings[J].Energy Reports, 2019, 5: 1270-1280.

[9] 陳振宇, 劉金波, 李晨, 等.基于LSTM與XGBoost組合模型的超短期電力負(fù)荷預(yù)測(cè)[J].電網(wǎng)技術(shù), 2018, 44(2): 614-620.

CHEN Zhenyu, LIU Jinbo, LI Chen, et al.Ultra short-term power load forecasting based on combined LSTM-XGBoost model[J].Power System Technology, 2018, 44(2): 614-620.

[10] 于昕妍.微電網(wǎng)超短期負(fù)荷預(yù)測(cè)研究[D].無(wú)錫: 江南大學(xué), 2018.

YU Xinyan.Research on ultra-short-term load prediction of micro-grid[D].Wuxi: Jiangnan University, 2018.

[11] 李焱, 賈雅君, 李磊, 等.基于隨機(jī)森林算法的短期電力負(fù)荷預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(21): 117-124.

LI Yan, JIA Yajun, LI Lei, et al.Short term power load forecasting based on a stochastic forest algorithm[J].Power System Protection and Control, 2020, 48(21): 117-124.

[12] 姜建, 劉海瓊, 李衡, 等.基于XGBoost的配電網(wǎng)線路峰值負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)保護(hù)與控制, 2021, 49(16): 119-127.

JIANG Jian, LIU Haiqiong, LI Heng, et al.Peak load forecasting method of distribution network lines based on XGBoost[J].Power System Protection and Control, 2021, 49(16): 119-127.

[13] 孫超, 呂奇, 朱思曈, 等.基于雙層XGBoost算法考慮多特征影響的超短期電力負(fù)荷預(yù)測(cè)[J].高電壓技術(shù), 2021, 47(8): 2885-2898.

SUN Chao, Lü Qi, ZHU Sitong, et al.Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features[J].High Voltage Engineering, 2021, 47(8): 2885-2898.

[14] 張諍杰.基于門循環(huán)單元神經(jīng)網(wǎng)絡(luò)的微電網(wǎng)日前電力負(fù)荷預(yù)測(cè)[D].徐州: 中國(guó)礦業(yè)大學(xué), 2020.

ZHANG Zhengjie.Day-ahead load forecasting of microgrid based on GRU network[D].Xuzhou: China University of Mining and Technology, 2020.

[15] Ciechulski T, Osowski S.High precision LSTM model for short-time load forecasting in power systems[J].Energies, 2021, 14(11).

[16] 陸繼翔, 張琪培, 楊志宏, 等.基于CNN-LSTM混合神經(jīng)網(wǎng)絡(luò)模型的短期負(fù)荷預(yù)測(cè)方法[J].電力系統(tǒng)自動(dòng)化, 2019, 43(8): 131-137.

LU Jixiang, ZHANG Qipei, YANG Zhihong, et al.Short-term load forecasting method based on CNN-LSTM hybrid neural network model[J].Automation of Electric Power Systems, 2019, 43(8): 131-137.

[17] Siami-Namini S, Tavakoli N, Namin A.A comparative analysis of forecasting financial time series using ARIMA, LSTM, and BILSTM[EB/OL].[2021-07-23].https://arxiv.org/pdf/1911.09512.pdf.

[18] 王裕鑫.基于CNN-BiLSTM算法的電力負(fù)荷預(yù)測(cè)方法研究[D].西安: 西安理工大學(xué), 2021.

WANG Yuxin.Research on the power load forecasting method based on CNN-BiLSTM[D].Xi’an: Xi’an University of Technology, 2021.

[19] Lin Z, Cheng L, Huang G.Electricity consumption prediction based on LSTM with attention mechanism[J].IEEJ Transactions on Electrical and Electronic Engineering, 2020, 15(4): 556-562.

[20] WU K, WU J, FENG L, et al.An attention based CNN-LSTM-BiLSTM model for short-term electric load forecasting in integrated energy system[J].International Transactions on Electrical Energy Systems, 2021, 31(1).

[21] 莊家懿, 楊國(guó)華, 鄭豪豐, 等.基于多模型融合的CNN-LSTM-XGBoost短期電力負(fù)荷預(yù)測(cè)方法[J].中國(guó)電力, 2021, 54(5): 46-55.

ZHUANG Jiayi, YANG Guohua, ZHENG Haofeng, et al.Short-term load forecasting method based on multi-model fusion using CNN-LSTM-XGBoost framework[J].Electric Power, 2021, 54(5): 46-55.

[22] LECUN Y, BOTTOU L, BENGIO Y, et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[23] Hochreiter S, Schmidhuber J.LSTM can solve hard long time lag problems[J].Advances in Neural Information Processing Systems, 1997, 9: 473-479.

[24] 彭華, 王文超, 朱永利, 等.基于LSTM神經(jīng)網(wǎng)絡(luò)的風(fēng)電場(chǎng)集電線路單相接地智能測(cè)距[J].電力系統(tǒng)保護(hù)與控制, 2021, 49(16): 60-66.

PENG Hua, WANG Wenchao, ZHU Yongli, et al.An intelligent single-phase grounding fault location for a wind farm collection line based on an LSTM neural network[J].Power System Protection and Control, 2021, 49(16): 60-66.

[25] Mnih V, Heess N, Graves A, et al.Recurrent models of visual attention[C] // Proceedings of the 27th International Conference on Neural Information Processing Systems, December 1-3, 2014, Montreal, Canada: 2204-2212.

[26] 謝謙, 董立紅, 厙向陽(yáng).基于Attention-GRU的短期電價(jià)預(yù)測(cè)[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(23): 154-160.

XIE Qian, DONG Lihong, SHE Xiangyang.Short-term electricity price forecasting based on Attention-GRU[J].Power System Protection and Control, 2020, 48(23): 154-160.

[27] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al.Dropout: a simple way to prevent neural networks from overfitting[J].The Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[28] Gergo B, Gabor N G B, Sandor K.Gefcom 2014-probabilistic electricity price forecasting[C] // 7th KES International Conference on Intelligent Decision Technologies (KES-IDT), June 17-19, 2015, Switzerland: 67-76.

[29] 趙倩, 黃景濤.基于EMD-SA-SVR的超短期風(fēng)電功率預(yù)測(cè)研究[J].電力系統(tǒng)保護(hù)與控制, 2020, 48(4): 89-96.

ZHAO Qian, HUANG Jingtao.On ultra-short-term wind power prediction based on EMD-SA-SVR[J].Power System Protection and Control, 2020, 48(4): 89-96.

[30] 崔佳豪, 畢利.基于混合神經(jīng)網(wǎng)絡(luò)的光伏電量預(yù)測(cè)模型的研究[J].電力系統(tǒng)保護(hù)與控制, 2021, 49(13): 142-149.

CUI Jiahao, BI Li.Research on photovoltaic power forecasting model based on hybrid neural network[J].Power System Protection and Control, 2021, 49(13): 142-149.

[31] 范海虹.基于螢火蟲算法的短期電力負(fù)荷預(yù)測(cè)方法[J].中國(guó)電力, 2021, 54(3): 141-148.

FAN Haihong.Short-term power load forecasting method based on glowworm swarm optimization algorithm[J].Electric Power, 2021, 54(3): 141-148.

[32] Bergstra J, Bengio Y.Random search for hyper-parameter optimization[J].Journal of Machine Learning Research, 2012, 13(2): 281-305.

Ultra-short-term power load forecasting based on CNN-BiLSTM-Attention

REN Jianji1, WEI Huihui1, ZOU Zhuolin2, HOU Tingting1, YUAN Yongliang3, SHEN Jiquan1, WANG Xiaomin1

(1.College of Computer Science and Technology, Henan Polytechnic University, Jiaozuo 454000, China; 2.HVDC Transmission Branch of XJ Group Co., Ltd., Xuchang 461000, China;3.School of Mechanical and Power Engineering, Henan Polytechnic University, Jiaozuo 454000, China)

Ultra-short-term power load forecasting is crucial for rapid response and real-time dispatch in a power system.Accurate load forecasting ensures the safety of the power system and improves electricity efficiency.To obtain accurate and reliable load forecasting results, a new ultra-short-term power load forecasting method based on CNN-BiLSTM-Attention (AC-BiLSTM) is proposed for the characteristics of nonlinear and time-series nature of grid load data.First, a convolutional neural network (CNN) and bidirectional long and short-term memory (BiLSTM) networks are used to extract the spatio-temporal features of the load data.The attention mechanism automatically assigns corresponding weights to BiLSTM to distinguish the importance of different time load sequences.These can effectively reduce the loss of historical information and highlight the information of key historical time points.Finally, the final load prediction results are output through the fully connected layer.Taking the real load data of a certain area as an example, the comparison between two experimental scenarios proves that the proposed method has high prediction accuracy and can provide a reliable basis for power system planning and stable operation.

load forecasting; CNN; BiLSTM; attention mechanism; power system

10.19783/j.cnki.pspc.211187

2021-08-31；

2021-11-26

任建吉(1982—)，男，博士，副教授，研究方向?yàn)榉植际接?jì)算、大數(shù)據(jù)分析；E-mail: renjianji@hpu.edu.cn

原永亮(1989—)，男，通信作者，博士，講師，研究方向?yàn)槎鄬W(xué)科協(xié)同優(yōu)化、群智能優(yōu)化算法。E-mail: yuanyongliang@hpu.edu.cn

This work is supported by the Science and Technology Planning Project of Henan Province (No.212102210226).

河南省科技攻關(guān)項(xiàng)目資助(212102210226)；河南理工大學(xué)博士基金項(xiàng)目資助(B2021-31)；河南省高等學(xué)校重點(diǎn)科研項(xiàng)目資助(22A520029)

(編輯 張愛琴)