ISSA優(yōu)化Attention雙向LSTM的短期電力負(fù)荷預(yù)測(cè)

王金玉，金宏哲，王海生，張忠偉

（1.東北石油大學(xué)電氣信息工程學(xué)院，大慶 163000；2.慶新油田開發(fā)有限責(zé)任公司，大慶 163000）

電力負(fù)荷的準(zhǔn)確預(yù)測(cè)不但有助于電力系統(tǒng)的穩(wěn)定運(yùn)行，而且還能使資源得到有效利用，創(chuàng)造更多經(jīng)濟(jì)價(jià)值[1]。

傳統(tǒng)統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法是目前預(yù)測(cè)的兩類主要方法。聚類分析法[2]、主成分分析法[3]和指數(shù)平滑法[4]等是統(tǒng)計(jì)方法的典型代表。上述方法對(duì)已有數(shù)據(jù)的平穩(wěn)性要求很高，非線性影響較難反映。人工專家系統(tǒng)AES（artificial expert system）[5]和人工神經(jīng)網(wǎng)絡(luò)ANN（artificial neural network）[6]是機(jī)器語言學(xué)習(xí)方法的典型代表。雖然非線性問題能被機(jī)器語言學(xué)習(xí)方法很好地處理，但是專家系統(tǒng)不具備自學(xué)習(xí)的能力。支持向量機(jī)處理大規(guī)模數(shù)據(jù)耗時(shí)長(zhǎng)，而ANN能解決非線性問題且使預(yù)測(cè)精度略有提高。負(fù)荷序列具有非線性和動(dòng)態(tài)變化等特點(diǎn)[7]。人工獲得的特征會(huì)影響數(shù)據(jù)的連續(xù)性，構(gòu)造單獨(dú)網(wǎng)絡(luò)模型也會(huì)影響數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確性。

目前，深度學(xué)習(xí)在負(fù)荷預(yù)測(cè)領(lǐng)域的應(yīng)用已成為重要研究方向。典型方法有深度神經(jīng)網(wǎng)絡(luò)DNN（deep neural network）[8]、自編碼器和卷積神經(jīng)網(wǎng)絡(luò)CNN（convolutional neural network）[9]等。文獻(xiàn)[10-11]利用卷積神經(jīng)網(wǎng)絡(luò)獲取輸入樣本數(shù)據(jù)的特征和捕獲數(shù)據(jù)周期性，從而進(jìn)行數(shù)據(jù)預(yù)測(cè)，準(zhǔn)確率有所提高，但當(dāng)數(shù)據(jù)波動(dòng)比較大和不穩(wěn)定時(shí)，單一模型不容易較好地學(xué)習(xí)數(shù)據(jù)的變化。長(zhǎng)短期記憶LSTM（long short-term memory）不但能挖掘輸入變量之間的序列相關(guān)性，而且在比較復(fù)雜的序列預(yù)測(cè)方面也獲得比較不錯(cuò)的發(fā)展[12]，但當(dāng)輸入的序列較長(zhǎng)時(shí)，該網(wǎng)絡(luò)容易導(dǎo)致序列信息的丟失，使建模所用數(shù)據(jù)間結(jié)構(gòu)的信息出現(xiàn)問題，最終使模型預(yù)測(cè)準(zhǔn)確度受到影響[13]。Attention機(jī)制是數(shù)據(jù)資源分配制度中的一種特殊機(jī)制，通過輸入不同特征賦予相應(yīng)的權(quán)重[14]。

群體智能優(yōu)化算法的主要思想是搜索分布在一定范圍內(nèi)解空間的最優(yōu)解[15]。研究人員通過多種智能生物的群體行為，提出了大量的群體智能優(yōu)化算法，包含鯨魚優(yōu)化算法WOA（whale optimization algorithm）和麻雀搜索算法SSA（sparrow search algorithm）等[16]。其中，SSA于2020年被提出，具有實(shí)現(xiàn)簡(jiǎn)單、易于擴(kuò)充和自組織性強(qiáng)等優(yōu)點(diǎn)，因此越來越多的研究者開始關(guān)注SSA。但SSA在多目標(biāo)函數(shù)求最優(yōu)解的過程中，由于種群多樣性不夠豐富，易導(dǎo)致多維函數(shù)的最優(yōu)解精度差，而改進(jìn)麻雀搜索算法ISSA（improved sparrow search algorithm）利用反向?qū)W習(xí)策略，增加了種群目標(biāo)多樣性，通過對(duì)影響因子進(jìn)行調(diào)整，從而提高了ISSA求解精度。

本文提出一種含Attention的雙向LSTM（Bi-LSTM-AT）預(yù)測(cè)方法。該方法將歷史負(fù)荷數(shù)據(jù)作為輸入，通過建模學(xué)習(xí)特征內(nèi)部變化規(guī)律。LSTM隱含狀態(tài)的權(quán)重通過映射加權(quán)和學(xué)習(xí)參數(shù)矩陣賦予相應(yīng)的值。同時(shí)，利用ISSA實(shí)現(xiàn)Bi-LSTM-AT模型超參數(shù)的優(yōu)化選擇。與其他預(yù)測(cè)算法相比，本文提出的預(yù)測(cè)模型結(jié)果的平均百分比誤差、均方根誤差和平均絕對(duì)誤差均有所下降。

1 深度學(xué)習(xí)模型原理

1.1 Bi-LSTM原理結(jié)構(gòu)

LSTM模型屬于深度循環(huán)神經(jīng)網(wǎng)絡(luò)一種，具有輸入、輸出、遺忘和更新門。這些門的調(diào)節(jié)信息流動(dòng)，并維持隱藏狀態(tài)[17]，其結(jié)構(gòu)如圖1所示。

圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of LSTM network

將t時(shí)刻n個(gè)數(shù)作為變量輸入LSTM網(wǎng)絡(luò)中，預(yù)測(cè)t+1時(shí)刻的輸出。ht為時(shí)間序列的長(zhǎng)期記憶信息，st為序列的短期記憶信息。

LSTM在訓(xùn)練時(shí)，通常忽略歷史負(fù)荷數(shù)據(jù)的全局信息，并且由于數(shù)據(jù)樣本時(shí)間序列過長(zhǎng)而導(dǎo)致網(wǎng)絡(luò)遺忘較早學(xué)習(xí)的內(nèi)容。而Bi-LSTM網(wǎng)絡(luò)可以解決上述問題，其結(jié)構(gòu)如圖2所示，主體結(jié)構(gòu)由2個(gè)獨(dú)立的正反LSTM構(gòu)成，每次的輸出都有兩向LSTM網(wǎng)絡(luò)構(gòu)成。對(duì)樣本負(fù)荷數(shù)據(jù)進(jìn)行雙向訓(xùn)練，因此可有效地學(xué)習(xí)更多的時(shí)間序列樣本數(shù)據(jù)信息。

圖2 Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure Bi-LSTM network

1.2 Attention機(jī)制原理結(jié)構(gòu)

Attention是一種特殊概率分配的模式，關(guān)注信息的分配并且重視重要信息的影響，最終達(dá)到理想預(yù)測(cè)準(zhǔn)確率的目的，其機(jī)制結(jié)構(gòu)如圖3所示。

圖3 Attention機(jī)制結(jié)構(gòu)Fig.3 Structure of Attention mechanism

Bi-LSTM結(jié)合Attention機(jī)制，簡(jiǎn)稱Bi-LSTM-AT機(jī)制，能在長(zhǎng)時(shí)保留信息的基礎(chǔ)上，自主挖掘?qū)τ诜诸惼鸬疥P(guān)鍵作用的特征值，避免了樣本數(shù)據(jù)中復(fù)雜特征值的過多影響，其結(jié)構(gòu)如圖4所示。

圖4 Bi-LSTM-AT機(jī)制結(jié)構(gòu)Fig.4 Structure of Bi-LSTM-AT mechanism

輸入層將樣本數(shù)據(jù)輸送到模型中，通過嵌入層將每個(gè)樣本數(shù)據(jù)映射到低維空間。Bi-LSTM層獲取高級(jí)的特征值，然后通過注意力機(jī)制層生成權(quán)重向量。通過與向量矩陣相乘，確保每一次迭代中數(shù)據(jù)的特征合并為整體特征，最后通過輸出層將特征向量輸出。

1.3 改進(jìn)麻雀搜索算法

麻雀覓食過程可抽象為在偵查預(yù)警機(jī)制下發(fā)現(xiàn)者與加入者模型。在SSA中，模擬麻雀覓食過程獲得優(yōu)化解。按照各自規(guī)則分別進(jìn)行位置更新，規(guī)則為

在迭代尋優(yōu)的過程中，若意識(shí)到危險(xiǎn)麻雀占總數(shù)的10%～20%，則對(duì)全體麻雀影響為

式中：Q為[0，1]之間的隨機(jī)數(shù)；β為步長(zhǎng)控制參數(shù)；fi、fg和fw分別為當(dāng)前麻雀的適應(yīng)度、最佳適應(yīng)度和最差適應(yīng)度；ε為用于避免分母是0的一個(gè)常數(shù)。

SSA算法中種群分布不均勻會(huì)導(dǎo)致種群質(zhì)量不高，影響SSA的收斂速度，而ISSA采用反向?qū)W習(xí)策略解決了這一問題，同時(shí)利用動(dòng)態(tài)步長(zhǎng)調(diào)整策略可以提高算法尋優(yōu)的精度。ISSA算法流程如圖5示。

圖5 ISSA算法流程Fig.5 Flow chart of ISSA

算法簡(jiǎn)易流程如下。

步驟1 初始化，定義相關(guān)參數(shù)；

步驟2 將種群分為追隨者和生產(chǎn)者，隨機(jī)產(chǎn)生個(gè)人身份；

步驟3 根據(jù)目標(biāo)函數(shù)確定每個(gè)個(gè)體的適應(yīng)度，保存當(dāng)前最差和最佳位置；

步驟4 當(dāng)?shù)玫疆?dāng)前更新后的位置，如果當(dāng)前位置優(yōu)于原來位置，更新原有位置；

步驟5 計(jì)算當(dāng)前最佳目標(biāo)函數(shù)fmax，更新最優(yōu)個(gè)體和最優(yōu)值；

步驟6 輸出最佳適應(yīng)度和麻雀?jìng)€(gè)體。

2 基于ISSA優(yōu)化Bi-LSTM-Attention模型

2.1 預(yù)測(cè)模型敘述

短期電力負(fù)荷預(yù)測(cè)是電網(wǎng)規(guī)劃和決策的基礎(chǔ)。傳統(tǒng)的機(jī)器學(xué)習(xí)方法在處理時(shí)間序列時(shí)，一般從歷史數(shù)據(jù)中人為選取時(shí)間特征值，如選取同一時(shí)間負(fù)荷的數(shù)值作為特征值的方法。比如傳統(tǒng)的邏輯回歸LR（logistic regression）方法就是一種簡(jiǎn)單且應(yīng)用廣泛的分類模型，但是該種方法提取特征時(shí)會(huì)嚴(yán)重影響歷史負(fù)荷的時(shí)序性和包含的潛在規(guī)律。

LSTM緩解了訓(xùn)練過程中梯度消失或爆炸的問題，但是LSTM因序列過長(zhǎng)而導(dǎo)致信息的丟失，而雙向LSTM可以使該問題得到有效解決。注意力機(jī)制通過對(duì)輸入特征賦予不同的權(quán)重，使模型更容易捕獲序列中長(zhǎng)距離互相依賴的特征。但Bi-LSTM-AT模型在預(yù)測(cè)過程中，超參數(shù)的確認(rèn)是專家憑借經(jīng)驗(yàn)進(jìn)行設(shè)定的。本文采用粒子群優(yōu)化PSO（particle swarm optimization）和ISSA算法對(duì)Bi-LSTM-AT網(wǎng)絡(luò)進(jìn)行優(yōu)化，通過最優(yōu)適應(yīng)度對(duì)應(yīng)的4個(gè)超參數(shù)賦值給網(wǎng)絡(luò)，得到誤差較小迭代次數(shù)、學(xué)習(xí)率、第1隱含層和第2隱含層的4個(gè)超參數(shù)，解決了超參數(shù)難確定的問題，使最終負(fù)荷預(yù)測(cè)精度進(jìn)一步提高。同時(shí)將PSO優(yōu)化和ISSA優(yōu)化的網(wǎng)絡(luò)模型進(jìn)行對(duì)比分析，優(yōu)化得到不同超參，證明了ISSA優(yōu)化網(wǎng)絡(luò)模型超參的預(yù)測(cè)性能更好。

2.2 預(yù)測(cè)模型原理

傳統(tǒng)的統(tǒng)計(jì)方法在線性回歸預(yù)測(cè)方面具有算法簡(jiǎn)單和應(yīng)用廣泛的特點(diǎn)，但短期電力負(fù)荷預(yù)測(cè)的影響因素較多，如果單一的考慮歷史負(fù)荷數(shù)據(jù)的影響，傳統(tǒng)的統(tǒng)計(jì)方法很難達(dá)到科學(xué)性和廣泛性的預(yù)測(cè)效果。

本文在最小化Bi-LSTM-AT網(wǎng)絡(luò)基礎(chǔ)上，以均方差作為適應(yīng)度函數(shù)，分別通過PSO和ISSA算法尋優(yōu)得到一組該網(wǎng)絡(luò)的超參數(shù)，最終使得Bi-LSTMAT的預(yù)測(cè)值的誤差最小。

ISSA算法優(yōu)化Bi-LSTM-AT模型分為ISSA部分、Bi-LSTM-AT部分和數(shù)據(jù)部分。其中，Bi-LSTMAT部分根據(jù)ISSA傳入的參數(shù)進(jìn)行解碼，獲得各隱含層節(jié)點(diǎn)數(shù)、迭代次數(shù)和學(xué)習(xí)率，并且通過數(shù)據(jù)部分輸送的訓(xùn)練集進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練，最終對(duì)測(cè)試集樣本進(jìn)行預(yù)測(cè)，得到實(shí)際與期望輸出值的誤差均方差。同時(shí)將均方差作為適應(yīng)度輸送給ISSA部分。ISSA部分根據(jù)適應(yīng)度進(jìn)行發(fā)現(xiàn)者、跟隨者和警戒者的移動(dòng)操作，達(dá)到種群與全局最優(yōu)解的迭代更新。通過這種方法，可獲得最終優(yōu)化后的網(wǎng)絡(luò)模型超參數(shù)。ISSA優(yōu)化的整個(gè)流程如圖6所示。

圖6 ISSA優(yōu)化Bi-LSTM-AT流程Fig.6 Flow chart of Bi-LSTM-AT model optimized by ISSA

2.3 損失函數(shù)

本文在預(yù)測(cè)模型中，損失函數(shù)使用均方誤差函數(shù)，即

本文以短期電力負(fù)荷96節(jié)點(diǎn)即n=96預(yù)測(cè)為例，在LSTM網(wǎng)絡(luò)模型、Bi-LSTM-AT網(wǎng)絡(luò)模型和ISSA-Bi-LSTM-AT網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練與函數(shù)圖像預(yù)測(cè)，結(jié)果分別如圖7～圖9所示。

圖7 LSTM損失函數(shù)曲線Fig.7 Curve of LSTM loss function

圖8 Bi-LSTM-AT損失函數(shù)曲線Fig.8 Curve of Bi-LSTM-AT loss function

圖9 ISSA-Bi-LSTM-AT損失函數(shù)曲線Fig.9 Curve of ISSA-Bi-LSTM-AT loss function

3 算例分析

3.1 數(shù)據(jù)預(yù)處理及誤差指標(biāo)

本文選取中國(guó)某地區(qū)的全年短期電力負(fù)荷為數(shù)據(jù)樣本，其中包括季節(jié)因素、日期類型和96個(gè)時(shí)刻的負(fù)荷。以第n-1天的96個(gè)值與平均溫度、最高溫度、最低溫度、相對(duì)濕度和星期類型作為輸入，以第n天的96個(gè)時(shí)刻的負(fù)荷作為輸出，構(gòu)建101輸入96輸出的短期電力負(fù)荷預(yù)測(cè)模型。

將ISSA優(yōu)化的Bi-LSTM-AT模型與LR模型、BP模型、LSTM網(wǎng)絡(luò)模型、Bi-LSTM-AT網(wǎng)絡(luò)模型和PSO-Bi-LSTM-AT模型進(jìn)行對(duì)比實(shí)驗(yàn)。依據(jù)數(shù)據(jù)本身特點(diǎn)，將以上6種模型的輸入都為相同時(shí)間序列的數(shù)據(jù)，從而有效地驗(yàn)證所提方法的準(zhǔn)確性和有效性。

平均百分比誤差MAPE（mean absolute percentage error）表示為

均方根誤差RMSE（root mean squared error）表示為

平均絕對(duì)誤差MAE（mean absolute error）表示為

決定系數(shù)R2表示為

MAPE可以衡量預(yù)測(cè)結(jié)果的好壞，RMSE和MAE可以衡量預(yù)測(cè)精度的指標(biāo)。預(yù)測(cè)中，MAPE、RMSE和MAE越小，預(yù)測(cè)精度越高。R2用來判斷模型的好壞，其取值范圍為[0，1]。R2接近于0，表示預(yù)測(cè)模型預(yù)測(cè)結(jié)果很差；R2接近于1，表示模型預(yù)測(cè)結(jié)果很好。

3.2 基于ISSA-Bi-LSTM-AT預(yù)測(cè)結(jié)果

通過ISSA優(yōu)化得到的4個(gè)超參數(shù)如圖10～圖13所示。由圖10可見，適應(yīng)度這個(gè)超參數(shù)隨著算法的優(yōu)化而變化，最終穩(wěn)定為0.056。圖11表示學(xué)習(xí)效率曲線，迭代之后最終穩(wěn)定為0.009 3。由圖12和圖13可見，第1隱含層和第2隱含層節(jié)點(diǎn)數(shù)最終穩(wěn)定為67和84。

圖10 適應(yīng)度曲線Fig.10 Fitness curve

圖11 學(xué)習(xí)率曲線Fig.11 Curve of learning rate

圖12 第1隱含層曲線Fig.12 Curve of first hidden layer

圖13 第2隱含層曲線Fig.13 Curve of second hidden layer

本文選用2016年前364天數(shù)據(jù)的96個(gè)數(shù)作為訓(xùn)練集，2016年最后兩天負(fù)荷數(shù)據(jù)作為測(cè)試集，分別采用BP神經(jīng)網(wǎng)絡(luò)、LSTM模型、Bi-LSTM-AT模型和ISSA-LSTM-AT模型進(jìn)行負(fù)荷預(yù)測(cè)，最終預(yù)測(cè)曲線如圖14所示。由圖14可見，麻雀搜索算法優(yōu)化后的Bi-LSTM-AT網(wǎng)絡(luò)的短期電力負(fù)荷擬合度最高。

圖14 12月30、31日預(yù)測(cè)結(jié)果對(duì)比Fig.14 Comparison of prediction results on December 30 and 31

3.3 預(yù)測(cè)性能對(duì)比

為驗(yàn)證本模型的有效性，以LR預(yù)測(cè)方法、BP網(wǎng)絡(luò)、LSTM網(wǎng)絡(luò)、Bi-LSTM-AT網(wǎng)絡(luò)和ISSA-Bi-LSTM-AT網(wǎng)絡(luò)模型分別進(jìn)行時(shí)間序列負(fù)荷預(yù)測(cè)。測(cè)試集為2016年電力負(fù)荷最后一天和最后一周的數(shù)據(jù)，預(yù)測(cè)指標(biāo)為MAPE、RMSE、MAE和 R2，結(jié)果如表1所示。

表1 負(fù)荷預(yù)測(cè)精度結(jié)果Tab.1 Results of load prediction accuracy

由表1可分析出，上述6種方法的預(yù)測(cè)性能隨著預(yù)測(cè)時(shí)間的增加而逐漸提高。本文所提ISSABi-LSTM-AT預(yù)測(cè)方法提前一天預(yù)測(cè)的MAPE為0.45%、RMSE為 0.31%、MAE為 0.22%和 R2為0.998 5。誤差小于PSO優(yōu)化的Bi-LSTM-AT模型（MAPE為0.63%、RMSE為0.45%、MAE為0.31%和R2為0.998 4）。依據(jù)大數(shù)定律，樣本誤差個(gè)數(shù)n越大，分母越大，平均值越小，誤差越小，所以隨著預(yù)測(cè)天數(shù)的增加預(yù)測(cè)精度逐漸提高。與其他本文所應(yīng)用的預(yù)測(cè)模型相比，ISSA-Bi-LSTM-AT模型無論1 d還是7 d預(yù)測(cè)實(shí)驗(yàn)的預(yù)測(cè)結(jié)果更接近實(shí)際負(fù)荷，預(yù)測(cè)準(zhǔn)確率更高。

4 結(jié) 論

本文提出了一種基于ISSA優(yōu)化Bi-LSTM-AT的短期電力負(fù)荷預(yù)測(cè)模型，提高了負(fù)荷預(yù)測(cè)精度，得到結(jié)論如下：

（1）LSTM網(wǎng)絡(luò)是一種改進(jìn)的RNN，LSTM中的控制單元會(huì)對(duì)輸入信息進(jìn)行判斷，符合的會(huì)留下，不符合的會(huì)遺忘，因此在一定程度上解決了LSTM長(zhǎng)期依賴的問題。采用LSTM網(wǎng)絡(luò)模型進(jìn)行短期負(fù)荷預(yù)測(cè)，MAPE、RMSE和MAE誤差指標(biāo)均有所減小，證明了長(zhǎng)短期記憶網(wǎng)絡(luò)在序列預(yù)測(cè)領(lǐng)域有很大的應(yīng)用空間。

（2）在Bi-LSTM模型中，引入注意力機(jī)制，自主挖掘數(shù)據(jù)之間的關(guān)聯(lián)程度，并且獲得不同特征的貢獻(xiàn)比重程度。對(duì)特征權(quán)重進(jìn)行隨時(shí)的更改，從而提高樣本輸入值的短期電力負(fù)荷數(shù)據(jù)預(yù)測(cè)準(zhǔn)確度。

（3）Bi-LSTM-AT模型中，網(wǎng)絡(luò)超參數(shù)選擇困難。本文利用PSO算法和ISSA算法進(jìn)行優(yōu)化對(duì)比分析。以最小化Bi-LSTM-AT期望與實(shí)際輸出之間的均方差為適應(yīng)度函數(shù)，即找到一組網(wǎng)絡(luò)超參數(shù)，使得Bi-LSTM-Attention的誤差最小，且相比于LSTM預(yù)測(cè)模型和Bi-LSTM-AT預(yù)測(cè)模型的預(yù)測(cè)精度均有顯著提高。同時(shí)相對(duì)于PSO優(yōu)化的網(wǎng)絡(luò)模型，優(yōu)化得到不同超參數(shù)，ISSA-Bi-LSTM-AT的預(yù)測(cè)性能更好。

后續(xù)還需進(jìn)行ISSA算法和網(wǎng)絡(luò)模型的優(yōu)化，以提高損失函數(shù)訓(xùn)練集和測(cè)試集曲線的擬合度。