基于CNN-BIGRU-ATTENTION的短期電力負(fù)荷預(yù)測(cè)

方 娜，余俊杰，李俊曉，萬(wàn) 暢

(1.湖北工業(yè)大學(xué)太陽(yáng)能高效利用及儲(chǔ)能運(yùn)行控制湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430068；2.湖北工業(yè)大學(xué)湖北省電網(wǎng)智能控制與裝備工程技術(shù)研究中心，湖北 武漢 430068)

1 引言

短期負(fù)荷預(yù)測(cè)是維持電力系統(tǒng)經(jīng)濟(jì)運(yùn)行以及實(shí)現(xiàn)安全穩(wěn)定控制不可或缺的基礎(chǔ)[1]，作為電力調(diào)度的重要環(huán)節(jié)之一，其結(jié)果直接影響決策部門的行為，預(yù)測(cè)偏差過(guò)大將導(dǎo)致能源浪費(fèi)和供需失衡，提高短期電力負(fù)荷預(yù)測(cè)的準(zhǔn)確性和預(yù)測(cè)模型的穩(wěn)定性尤為重要[2]。

電力負(fù)荷預(yù)測(cè)的模型大致可以分為四類：統(tǒng)計(jì)模型、基于知識(shí)的專家系統(tǒng)、混合模型和基于人工智能的模型[3]，其中統(tǒng)計(jì)模型和人工智能模型逐漸成為負(fù)荷預(yù)測(cè)的主流。傳統(tǒng)統(tǒng)計(jì)模型包括指數(shù)平滑法(Exponential Smoothing)[4]、自回歸移動(dòng)平均值(Auto Regressive Moving Average，ARMA)[5]和隱馬爾可夫模型(Hidden Markov Model，HMM)[6]等，通過(guò)分析數(shù)據(jù)之間的相關(guān)性進(jìn)行負(fù)荷預(yù)測(cè)，這些統(tǒng)計(jì)方法簡(jiǎn)單速度快，但存在局限性；另一類是基于人工智能的模型，包括人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network，ANN)[7]、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)[8]、長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)[9-10]和門控循環(huán)單元(Gated Recurrent Unit，GRU)[11]等，其中ANN具有自學(xué)習(xí)能力，可逼近任何非線性函數(shù)，但其無(wú)法學(xué)習(xí)序列數(shù)據(jù)相關(guān)性，需人為選擇時(shí)間特征，可能會(huì)導(dǎo)致預(yù)測(cè)結(jié)果不理想。LSTM網(wǎng)絡(luò)是一種特殊的RNN，相比ANN和傳統(tǒng)RNN能更準(zhǔn)確地學(xué)習(xí)時(shí)間序列中長(zhǎng)期依賴性關(guān)系，解決了需要人工提取時(shí)序特征的問(wèn)題，現(xiàn)階段已有一些基于LSTM網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)研究，但其存在收斂速度較慢的問(wèn)題。GRU在LSTM的基礎(chǔ)上進(jìn)行改進(jìn)，優(yōu)化神經(jīng)網(wǎng)絡(luò)，具有更快的收斂速度，并保持與LSTM接近的準(zhǔn)確率，十分適合處理時(shí)間序列數(shù)據(jù)。BIGRU[12]由雙向的GRU層構(gòu)成，將前后輸入同時(shí)兼顧，能夠充分提取數(shù)據(jù)的所有信息，在GRU的基礎(chǔ)上提升特征提取的準(zhǔn)確率。

因此為提高負(fù)荷預(yù)測(cè)精度，本文構(gòu)建了一種基于注意力(ATTENTION)機(jī)制[13-14]的卷積神經(jīng)網(wǎng)絡(luò)(CNN)[15-16]和BIGRU網(wǎng)絡(luò)的混合預(yù)測(cè)模型，簡(jiǎn)稱CNN-BIGRU-ATTENTION網(wǎng)絡(luò)混合模型。該模型整合了CNN、BIGRU和ATTENTION模塊的各自特點(diǎn)，通過(guò)負(fù)荷預(yù)測(cè)的先驗(yàn)知識(shí)，輸入負(fù)荷數(shù)據(jù)和電價(jià)數(shù)據(jù)，構(gòu)造連續(xù)特征圖；然后利用CNN提取特征圖中時(shí)序數(shù)據(jù)之間的潛在關(guān)系，將處理后的特征向量作為BIGRU網(wǎng)絡(luò)的輸入；最后結(jié)合ATTENTION機(jī)制，進(jìn)行動(dòng)態(tài)時(shí)序建模，完成短期電力負(fù)荷預(yù)測(cè)。與僅使用BIGRU網(wǎng)絡(luò)模型相比，CNN-BIGRU-ATTENTION混合模型中使用CNN模型提取出較為重要的特征，且在BIGRU模型后加上ATTENTION模塊，突出經(jīng)BIGRU分析后的重要時(shí)序特征，從而將模型中非重要特征的影響力削弱，解決了BIGRU模型未能較好區(qū)分時(shí)序特征重要程度的問(wèn)題，進(jìn)而提高了預(yù)測(cè)精度。

2 影響負(fù)荷預(yù)測(cè)的相關(guān)因素

傳統(tǒng)方法將短期負(fù)荷預(yù)測(cè)影響因素主要?dú)w納為三類：最近負(fù)荷或相似日負(fù)荷、氣象信息、日期類型。但除了這些，也不可忽視實(shí)時(shí)波動(dòng)的電價(jià)，用戶的用電行為會(huì)被電價(jià)的波動(dòng)影響。同時(shí)，歷史負(fù)荷因其具有一定的周期性和規(guī)律性，在預(yù)測(cè)當(dāng)前負(fù)荷值時(shí)，具有很好的參考價(jià)值。因此，本文選取電價(jià)及歷史負(fù)荷作為負(fù)荷預(yù)測(cè)的影響因素。

圖1是2016年丹麥西部?jī)扇盏呢?fù)荷和電價(jià)曲線，其中負(fù)荷與電價(jià)數(shù)值差異過(guò)大，為此將負(fù)荷數(shù)據(jù)通過(guò)標(biāo)準(zhǔn)化轉(zhuǎn)為與電價(jià)數(shù)據(jù)的同樣數(shù)量等級(jí)，具體方式如下：

1)用成倍縮小法即將該特征的所有取值都同時(shí)除以某個(gè)數(shù)η

(1)

本文負(fù)荷數(shù)據(jù)均為千位，因此將η取100。

2)計(jì)算特征的均值(mean)與標(biāo)準(zhǔn)差(std)。

3)特征的標(biāo)準(zhǔn)化

(2)

從圖1可以看出，電價(jià)和負(fù)荷走勢(shì)大致相似，隨著負(fù)荷增加，電價(jià)也隨之增長(zhǎng)；隨著負(fù)荷減少，電價(jià)也有減少的趨勢(shì)。由此可知，用戶在電價(jià)達(dá)到峰值時(shí)，會(huì)減少用電量，從而致使負(fù)荷減少；當(dāng)負(fù)荷達(dá)到低谷時(shí)，也會(huì)通過(guò)降低電價(jià)的方式鼓勵(lì)用戶增加用電量。因此，在電力市場(chǎng)中電價(jià)和負(fù)荷存在著相互影響的關(guān)系。

圖1 電價(jià)與負(fù)荷曲線

同時(shí)，預(yù)測(cè)效果的提高和處理效率的提升與采用合理的階數(shù)有關(guān)。由于輸入序列的長(zhǎng)短不能隨機(jī)選取，本文通過(guò)計(jì)算歷史負(fù)荷數(shù)據(jù)集的自相關(guān)系數(shù)來(lái)確定，歷史負(fù)荷數(shù)據(jù)為1小時(shí)取1負(fù)荷點(diǎn)。各階自相關(guān)系數(shù)(Autocorrelation Coefficient，AC)的大小可反映各滯后階狀態(tài)間的相關(guān)關(guān)系。AC越大，相關(guān)性越好；AC越小，相關(guān)性越差，其計(jì)算公式為

(3)

圖2是歷史負(fù)荷數(shù)據(jù)集自相關(guān)系數(shù)曲線圖，分別計(jì)算負(fù)荷序列滯后數(shù)為0階到500階的自相關(guān)系數(shù)?？煽闯鰯?shù)據(jù)集的自相關(guān)系數(shù)處于一種不斷震蕩的狀態(tài)，具有一定周期性，同時(shí)也可看出每段波形的波峰與波谷之間的相差滯后階數(shù)都十分接近，可知在這個(gè)滯后階數(shù)內(nèi)，序列之間的自相關(guān)系數(shù)較高。因此，為保證模型輸入序列的整體的相關(guān)性較高，提升預(yù)測(cè)效果和處理效率，將輸入序列設(shè)定在此間隔階數(shù)以內(nèi)。

圖2 歷史負(fù)荷數(shù)據(jù)集自相關(guān)系數(shù)曲線圖

3 CNN-BIGRU-ATTENTION混合模型

3.1 CNN模型

CNN模型主要由卷積層、池化層組成，文中根據(jù)序列長(zhǎng)短和序列中特征位置，采用了一維卷積(1D-CNN)，簡(jiǎn)稱Convd1。這種結(jié)構(gòu)網(wǎng)絡(luò)模型簡(jiǎn)單，可以減少權(quán)值數(shù)量。同時(shí)，可以直接將時(shí)間序列數(shù)據(jù)作為模型的輸入，因此特征提取和數(shù)據(jù)重構(gòu)的復(fù)雜程度會(huì)有效降低。本文通過(guò)此模型來(lái)學(xué)習(xí)時(shí)序序列的特征，挖掘輸入數(shù)據(jù)之間的關(guān)系并從中消除噪聲及不穩(wěn)定因素，最終將特征處理后傳入BIGRU網(wǎng)絡(luò)。

3.2 BIGRU模型

本文選擇的負(fù)荷影響因素為歷史數(shù)據(jù)和電價(jià)，這兩者之間互為關(guān)聯(lián)，且在同一時(shí)刻，歷史數(shù)據(jù)與電價(jià)對(duì)預(yù)測(cè)效果都有影響，同時(shí)BIGRU模型是由兩個(gè)GRU隱藏層共同組成的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，但這兩個(gè)隱藏層方向相反，在每一時(shí)刻都能接收到同一個(gè)輸入，因此為將特征向量提取的準(zhǔn)確率提高，充分分析歷史數(shù)據(jù)和電價(jià)，本文選擇BIGRU網(wǎng)絡(luò)模型，其示意圖如圖3所示。

圖3 BIGRU示意圖

BIGRU網(wǎng)絡(luò)由以下公式定義得出

(4)

(5)

(6)

3.3 ATTENTION機(jī)制

ATTENTION機(jī)制是通過(guò)對(duì)特征向量分配不同的權(quán)重，對(duì)重要特征給予足夠的關(guān)注，忽略無(wú)關(guān)信息，從而來(lái)突出關(guān)鍵特征。在CNN和BIGRU對(duì)輸入數(shù)據(jù)分別進(jìn)行特征提取和時(shí)序分析后，與之進(jìn)行結(jié)合，其示意圖如圖4所示。

圖4 ATTENTION機(jī)制示意圖

計(jì)算公式如下：

C=Tanh(ht)

(7)

?=Softmax(wT·C)

(8)

α=ht·?T

(9)

式中，ht為BIGRU層輸出，wT為權(quán)重矩陣，α為ATTENTION層的輸出，最后結(jié)果由全連接層映射，得到預(yù)測(cè)結(jié)果。

3.4 CNN-BIGRU-ATTENTION模型

CNN-BIGRU-ATTENTION模型如圖5所示，模型分三部分，第一部分為CNN用于挖掘數(shù)據(jù)特征和消除噪聲及不穩(wěn)定因素；第二部分為BIGRU，此網(wǎng)絡(luò)在GRU能捕獲時(shí)間序列長(zhǎng)短期之間的依賴關(guān)系且收斂快、預(yù)測(cè)精度高的基礎(chǔ)上，通過(guò)正反兩個(gè)方向?qū)μ卣飨蛄窟M(jìn)行提取，充分分析電價(jià)和負(fù)荷數(shù)據(jù)，進(jìn)一步提高特征提取的準(zhǔn)確率；第三部分為Attention機(jī)制，通過(guò)計(jì)算對(duì)BIGRU處理后的特征向量分配不同的權(quán)重，突出關(guān)鍵特征；最后由全連接層輸出最終預(yù)測(cè)結(jié)果。

圖5 CNN-BIGRU-ATTENTION模型結(jié)構(gòu)圖

設(shè)計(jì)2層的CNN，內(nèi)核大小均為4，第一層卷積核數(shù)目取64，補(bǔ)零策略為same，激活函數(shù)為指數(shù)線性單元(elu)，第二層卷積核數(shù)目取128，其余參數(shù)同上。選用最大值池化(MaxPooling，MP)，池化大小為2，步長(zhǎng)為1，把變長(zhǎng)的輸入整理成固定長(zhǎng)度的輸入，保證特征的位置與旋轉(zhuǎn)的不變性，同時(shí)也減少模型參數(shù)數(shù)量和過(guò)擬合問(wèn)題。

設(shè)置1層BIGRU能用較少的時(shí)間得到很好的效果，單元數(shù)設(shè)置為128，返回所有的隱藏狀態(tài)，再將其輸入Python語(yǔ)言編寫完成的Attention機(jī)制，進(jìn)行計(jì)算，通過(guò)分配不同權(quán)重，將其中重要特征突顯出來(lái)，最后通過(guò)全連接層(Dense)，單元數(shù)為64，激活函數(shù)為Tanh，輸出指定時(shí)間預(yù)測(cè)值。

通過(guò)上述數(shù)據(jù)組合方式，即在訓(xùn)練集中每n×2的輸入數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)一個(gè)點(diǎn)，通過(guò)調(diào)用上述構(gòu)建的模型預(yù)測(cè)對(duì)應(yīng)點(diǎn)負(fù)荷值大小，采用損失函數(shù)為均方誤差函數(shù)，用Adam優(yōu)化算法對(duì)模型參數(shù)進(jìn)行優(yōu)化，批次大小取512，訓(xùn)練輪數(shù)為200，進(jìn)而對(duì)模型整體進(jìn)行訓(xùn)練確定，最后在測(cè)試集中以同樣的數(shù)據(jù)組合方式通過(guò)訓(xùn)練后的模型得到預(yù)測(cè)值，通過(guò)誤差指標(biāo)評(píng)估模型。基于TensorFlow-GPU框架下設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，調(diào)用Keras中的函數(shù)式模型，根據(jù)上述具體參數(shù)編寫代碼，進(jìn)行仿真。

4 算例仿真及分析

數(shù)據(jù)集為2016年丹麥西部的電價(jià)與用電負(fù)荷，從2016年1月1日至2016年12月31日，一小時(shí)取1負(fù)荷點(diǎn)和電價(jià)，各8784條數(shù)據(jù)，取前90%作訓(xùn)練，后10%做測(cè)試，在訓(xùn)練集中取前n個(gè)點(diǎn)對(duì)應(yīng)第n+1的點(diǎn)，即[x1，x2，…，xn]對(duì)應(yīng)xn+1,[x2，x3，x4，…，xn+1]對(duì)應(yīng)xn+2，依次對(duì)訓(xùn)練集進(jìn)行分割，測(cè)試集也做同樣處理。數(shù)據(jù)部分特征如圖1所示，構(gòu)建的模型如圖5示。通過(guò)與BP模型，GRU模型，CNN-GRU模型，CNN-BIGRU模型和CNN-GRU-ATTENTION模型的仿真結(jié)果對(duì)比，驗(yàn)證本文提出的CNN-BIGRU-ATTENTION模型的預(yù)測(cè)效果。

4.1 數(shù)據(jù)與處理

CNN-BIGRU-ATTENTION模型的輸入數(shù)據(jù)采用歷史負(fù)荷與電價(jià)構(gòu)成的多維向量，歷史負(fù)荷與電價(jià)都是相互獨(dú)立的時(shí)間序列，為了表示這些影響負(fù)荷的特征信息，歷史負(fù)荷和電價(jià)在時(shí)間t1，t2，…，tn時(shí)兩兩串聯(lián)成向量，根據(jù)所取序列長(zhǎng)度n，將其組合成n×2的向量矩陣，形成一組全新的數(shù)據(jù)結(jié)構(gòu)，具體組合方式如圖6所示。

圖6 輸入數(shù)據(jù)結(jié)構(gòu)

由于負(fù)荷與電價(jià)數(shù)據(jù)大小差異過(guò)大，為便于模型的訓(xùn)練，均對(duì)其歸一化處理，方式如下

(10)

式中，x為原始值，xmax為極大值，xmin為極小值。

4.2 誤差指標(biāo)

平均絕對(duì)百分誤差和均方根誤差分別表示為MAPE和RMSE，來(lái)評(píng)估預(yù)測(cè)結(jié)果，公式如下

(11)

(12)

式中，yl為預(yù)測(cè)值，yi為實(shí)際值，n為樣本數(shù)量。

4.3 仿真結(jié)果分析及對(duì)比

4.3.1 CNN和BIGRU模型參數(shù)選取

根據(jù)本文提出的CNN-BIGRU-ATTENTION混合模型，利用2016年丹麥西部的電價(jià)與用電負(fù)荷數(shù)據(jù)進(jìn)行仿真。分別固定CNN和BIGRU參數(shù)，對(duì)CNN和BIGRU網(wǎng)絡(luò)層數(shù)的選取做出調(diào)整，通過(guò)MAPE的大小來(lái)判斷預(yù)測(cè)精度，仿真結(jié)果如表1、表2所示。從表中可以看出，適當(dāng)增加CNN和BIGRU層數(shù)可提高預(yù)測(cè)精度，發(fā)現(xiàn)CNN層數(shù)在超過(guò)2層和BIGRU層數(shù)超過(guò)1層時(shí)，出現(xiàn)了過(guò)擬合的情況。因此，本文將CNN層數(shù)定為2層，BIGRU層數(shù)定為1層。

表1 CNN層數(shù)調(diào)整結(jié)果

表2 BIGRU層數(shù)調(diào)整結(jié)果

4.3.2 仿真結(jié)果對(duì)比

本文使用同樣的數(shù)據(jù)集，運(yùn)用各種模型進(jìn)行仿真，計(jì)算一天及一個(gè)月的平均百分誤差和均方差，結(jié)果如表3所示。表3中C代表CNN，B代表BIGRU，G代表GRU，A代表ATTENTION。在所有模型中，CNN-BIGRU-ATTENTION模型在12月27日這一天中平均百分誤差和均方差最低，分別為1.62%和55.3MWh；在一個(gè)月里CNN-BIGRU-ATTENTION模型取得最好的預(yù)測(cè)效果，其平均百分誤差比CNN-GRU-ATTENTION模型降低了0.31個(gè)百分點(diǎn)，均方差也最低，為50.9MWh?？芍疚奶岢龅姆椒?，在精度指標(biāo)相較于其它方法均有明顯的提升，預(yù)測(cè)精度更高，也更穩(wěn)定。

表3 不同網(wǎng)絡(luò)模型的平均百分誤差和均方差

圖7為不同模型由同一測(cè)試集滾動(dòng)預(yù)測(cè)所得到兩天(2016年11月27日、2016年11月28日)的負(fù)荷預(yù)測(cè)結(jié)果，從表3可明顯看出BP模型、GRU模型在某些時(shí)間段與真實(shí)值數(shù)值偏離過(guò)大，CNN-GRU、CNN-BIGRU、CNN-GRU-ATTENTION與CNN-BIGRU-ATTENTION模型的預(yù)測(cè)效果較好，與真實(shí)值的重合度較高。

圖7 不同網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果對(duì)比

由圖8可明顯看出，在部分時(shí)段，CNN-BIGRU模型在結(jié)合ATTENTION機(jī)制后預(yù)測(cè)效果得到提升。由圖9可看出，將CNN-GRU-ATTENTION模型中GRU網(wǎng)絡(luò)替換為BIGRU后，波峰和波谷位置均能更好地?cái)M合真實(shí)曲線。

圖8 結(jié)合ATTENTION前后CNN-BIGRU模型預(yù)測(cè)結(jié)果對(duì)比

圖9 基于CNN-GRU-ATTENTION和CNN-BIGRU-ATTENTION模型預(yù)測(cè)結(jié)果對(duì)比

5 結(jié)束語(yǔ)

本文提出了一種基于CNN-BIGRU-ATTENTION混合模型的短期電力負(fù)荷預(yù)測(cè)方法。先利用CNN處理多維數(shù)據(jù)進(jìn)行特征提取，再通過(guò)BIGRU網(wǎng)絡(luò)分析時(shí)序數(shù)據(jù)，最后結(jié)合ATTENTION機(jī)制賦予不同權(quán)值，通過(guò)建模完成短期電力負(fù)荷預(yù)測(cè)。該模型特點(diǎn)如下：

1)按時(shí)間滑動(dòng)窗口構(gòu)造連續(xù)特征圖作為輸入，充分發(fā)揮CNN模型對(duì)潛在特征向量的提取優(yōu)勢(shì)，有效的挖掘數(shù)據(jù)中蘊(yùn)含的更多信息。

2)將CNN處理后的特征向量，作為BIGRU網(wǎng)絡(luò)模型的輸入，通過(guò)BIGRU，負(fù)荷數(shù)據(jù)的時(shí)序性和復(fù)雜非線性關(guān)系可被較好地分析。

3)結(jié)合ATTENTION機(jī)制，計(jì)算BIGRU處理后的特征向量，給予不同權(quán)值，突出關(guān)鍵特征，進(jìn)一步提高負(fù)荷預(yù)測(cè)精度。

4)CNN-BIGRU-ATTENTION網(wǎng)絡(luò)混合模型兼顧C(jī)NN模型和BIGRU網(wǎng)絡(luò)模型的特點(diǎn)，同時(shí)發(fā)揮了ATTENTION機(jī)制的作用。同傳統(tǒng)負(fù)荷預(yù)測(cè)方法相比，本文提出的CNN-BIGRU-ATTENTION網(wǎng)絡(luò)混合模型提高了短期負(fù)荷預(yù)測(cè)精度。