考慮特征重要性值波動(dòng)的MI-BILSTM 短期負(fù)荷預(yù)測(cè)

孫 輝，楊 帆，高正男，胡姝博，，王鐘輝，劉勁松

（1. 大連理工大學(xué)電子信息與電氣工程學(xué)部,遼寧省 大連市 116024；2. 國(guó)網(wǎng)遼寧省電力有限公司電力科學(xué)研究院,遼寧省 沈陽(yáng)市 110055；3. 國(guó)網(wǎng)遼寧省電力有限公司調(diào)度控制中心,遼寧省 沈陽(yáng)市 110004）

0 引言

短期負(fù)荷預(yù)測(cè)通過(guò)對(duì)數(shù)學(xué)、統(tǒng)計(jì)學(xué)等各種分析工具的運(yùn)用,探究歷史負(fù)荷之間的關(guān)系與規(guī)律,并對(duì)未來(lái)幾小時(shí)或幾天的負(fù)荷大小進(jìn)行推測(cè)［1］,以保障電力系統(tǒng)的安全運(yùn)行。近年來(lái),隨著儲(chǔ)能、新能源、電動(dòng)汽車接入電網(wǎng)的規(guī)模不斷增大,以及基于激勵(lì)、價(jià)格的需求側(cè)響應(yīng)模式的持續(xù)發(fā)展,短期負(fù)荷預(yù)測(cè)的復(fù)雜度明顯增加。同時(shí),在電力市場(chǎng)化改革不斷推進(jìn)的背景下,高效、實(shí)時(shí)的電力交易成為必需,這給短期負(fù)荷預(yù)測(cè)的精確性、快速性和可靠性提出了更高的要求。

圍繞著電力負(fù)荷數(shù)據(jù)強(qiáng)時(shí)序性和強(qiáng)非線性的特點(diǎn),國(guó)內(nèi)外學(xué)者持續(xù)不斷地開(kāi)展研究。目前,基于機(jī)器學(xué)習(xí)的短期負(fù)荷預(yù)測(cè)已經(jīng)成為相關(guān)領(lǐng)域研究和應(yīng)用的熱點(diǎn)之一。文獻(xiàn)［2-4］使用支持向量機(jī)進(jìn)行負(fù)荷預(yù)測(cè),文獻(xiàn)［5-7］采用了人工神經(jīng)網(wǎng)絡(luò)方法。上述方法能夠很好地解決非線性問(wèn)題。但是,以上方法的共同缺點(diǎn)在于對(duì)負(fù)荷的時(shí)序信息考慮不夠,需要手動(dòng)添加相關(guān)信息。近年來(lái),深度遞歸網(wǎng)絡(luò)（RNN）、長(zhǎng)短期記憶（LSTM）網(wǎng)絡(luò)（下文簡(jiǎn)稱LSTM）和門控循環(huán)單元（GRU）等憑借其特有的循環(huán)單元,能夠同時(shí)處理時(shí)序性和非線性問(wèn)題,使得深度學(xué)習(xí)模型在短期負(fù)荷預(yù)測(cè)中被廣泛應(yīng)用。文獻(xiàn)［8-9］基于LSTM 進(jìn)行短期負(fù)荷預(yù)測(cè),提高了預(yù)測(cè)精度；文獻(xiàn)［10-12］以GRU 為底層模型進(jìn)行負(fù)荷預(yù)測(cè),驗(yàn)證了其有效性；文獻(xiàn)［13］將孿生網(wǎng)絡(luò)、灰狼優(yōu)化算法和LSTM 結(jié)合進(jìn)行負(fù)荷預(yù)測(cè),在保證預(yù)測(cè)值精度的同時(shí),提高了算法的運(yùn)行效率；文獻(xiàn)［14-15］采用雙向長(zhǎng)短期記憶（BILSTM）網(wǎng)絡(luò)（下文簡(jiǎn)稱BILSTM）進(jìn)行負(fù)荷預(yù)測(cè),證明了相較于LSTM,BILSTM 對(duì)于連續(xù)時(shí)間序列具有更好的表達(dá)能力。為了防止參數(shù)過(guò)多影響訓(xùn)練效率［16］,文獻(xiàn)［8-15］中的模型采用權(quán)值共享結(jié)構(gòu)對(duì)電力負(fù)荷的時(shí)序信息進(jìn)行提取,文獻(xiàn)［17］首次對(duì)權(quán)值共享結(jié)構(gòu)的時(shí)不變性進(jìn)行討論,但目前的研究中尚未針對(duì)時(shí)不變性對(duì)負(fù)荷預(yù)測(cè)的影響進(jìn)行探究。

在使用深度學(xué)習(xí)模型進(jìn)行短期負(fù)荷預(yù)測(cè)前,需要選取影響負(fù)荷變化的因素作為輸入特征,包括氣象、日期和歷史負(fù)荷值等。輸入特征在不同時(shí)刻下對(duì)負(fù)荷變化的影響力不同,即其重要性值發(fā)生了波動(dòng)。例如,溫度在一天中的不同時(shí)刻對(duì)負(fù)荷變化的影響大小具有明顯差異［18］。而權(quán)值共享結(jié)構(gòu)的時(shí)不變性,使之不能動(dòng)態(tài)追蹤輸入特征的重要性值隨時(shí)間而產(chǎn)生的波動(dòng),進(jìn)而影響預(yù)測(cè)精度。因此,需要量度不同時(shí)刻下輸入特征的重要性,并進(jìn)行動(dòng)態(tài)修正,以提高預(yù)測(cè)精度。文獻(xiàn)［19-20］采用皮爾遜相關(guān)系數(shù)（PCC）法量度輸入特征的重要性,但PCC 只能反映線性相關(guān)性。 近年來(lái),互信息（mutual information,MI）法由于其非線性提取能力和自適應(yīng)性在量度特征重要性中被廣泛應(yīng)用［21-23］。但上述量度特征重要性的研究是進(jìn)行輸入特征選擇,未能將所選擇的輸入特征重要性值隨時(shí)間而發(fā)生的波動(dòng)考慮在內(nèi),無(wú)法補(bǔ)足權(quán)值共享結(jié)構(gòu)的缺陷。

為了追蹤輸入特征的重要性值隨時(shí)間出現(xiàn)的波動(dòng),進(jìn)一步提高預(yù)測(cè)精度,本文提出一種考慮特征重要性值波動(dòng)的MI 和BILSTM（下文簡(jiǎn)稱MIBILSTM）短期負(fù)荷預(yù)測(cè)方法。該方法先采用MI 法提取不同時(shí)刻下輸入特征的重要性值,形成重要性值波動(dòng)矩陣。接著,通過(guò)矩陣對(duì)原始輸入特征進(jìn)行動(dòng)態(tài)修正,使之內(nèi)部包含波動(dòng)信息。最后,將修正后的輸入特征代入BILSTM 中進(jìn)行短期負(fù)荷預(yù)測(cè),不僅保留了權(quán)值共享結(jié)構(gòu)在精簡(jiǎn)參數(shù)方面的優(yōu)勢(shì),并且彌補(bǔ)了其無(wú)法提取重要性值波動(dòng)的缺陷,提高了預(yù)測(cè)精度。

1 權(quán)值共享結(jié)構(gòu)分析及重要性值波動(dòng)矩陣提取

1.1 權(quán)值共享結(jié)構(gòu)分析

LSTM 預(yù)測(cè)結(jié)構(gòu)見(jiàn)圖1。采用LSTM 預(yù)測(cè)時(shí),對(duì)應(yīng)某一時(shí)刻t的輸出預(yù)測(cè)值ot,有z種不同種類的輸入特征序列it=[it,1,it,2,…,it,z]T,不同時(shí)刻的輸入序列保持相同的種類和結(jié)構(gòu),輸入特征序列所對(duì)應(yīng)的權(quán)值W=[w1,w2,…,wz]。例如,第1 類特征it,1對(duì)應(yīng)的權(quán)值為w1,第2 類特征it,2對(duì)應(yīng)的權(quán)值為w2,以此類推。特征所對(duì)應(yīng)的權(quán)值越大,說(shuō)明該特征對(duì)于最終的輸出負(fù)荷影響越大,即特征的重要性越大。但是由于LSTM 權(quán)值共享機(jī)制的時(shí)不變性,在不同時(shí)刻的輸入序列所對(duì)應(yīng)的權(quán)值W=[w1,w2,…,wz]保持不變,即認(rèn)為不同時(shí)刻下輸入特征具有同樣的重要性,換而言之,權(quán)值共享機(jī)制不能隨時(shí)間動(dòng)態(tài)追蹤輸入特征的重要性值波動(dòng),這會(huì)導(dǎo)致最終的預(yù)測(cè)精度下降。因此,事先提取出輸入特征的重要性值波動(dòng)信息,再代入模型中進(jìn)行預(yù)測(cè),就可以彌補(bǔ)權(quán)值共享結(jié)構(gòu)的不足,具體理論推導(dǎo)過(guò)程如附錄A 所示。其他含有權(quán)值共享結(jié)構(gòu)的深度學(xué)習(xí)模型分析與LSTM 類似,不再贅述。

圖1 LSTM 預(yù)測(cè)結(jié)構(gòu)Fig.1 Structure of LSTM forecasting

1.2 重要性值波動(dòng)矩陣

采用MI 法量度輸入特征的重要性,用提取到的MI 值表征輸入特征的重要性值,MI 值越大,說(shuō)明輸入特征與負(fù)荷之間的相關(guān)性越大,即重要性值越大。按照一天中采樣點(diǎn)的先后順序,依次提取輸入特征的重要性值,以時(shí)間維度為行,輸入特征種類為列,形成重要性值波動(dòng)矩陣。通過(guò)矩陣中具體數(shù)值的大小,反映輸入特征重要性值的時(shí)序波動(dòng)。

此外,日負(fù)荷場(chǎng)景受多種因素（日期特征、溫度、濕度等）影響,可以分為不同類型,其輸入特征的重要程度大小也表現(xiàn)出明顯的差異。例如,高溫場(chǎng)景下由于空調(diào)、電風(fēng)扇、冷氣機(jī)等降溫設(shè)備的使用,溫度的重要程度會(huì)明顯增大。因此,重要性值波動(dòng)矩陣的提取分為兩步:首先,采用高斯混合模型（Gaussian mixture model,GMM）聚類從原始數(shù)據(jù)庫(kù)中劃分出不同的日負(fù)荷場(chǎng)景；其次,針對(duì)劃分出的具體場(chǎng)景,分別提取輸入特征的重要性值波動(dòng)矩陣。

1.2.1 基于GMM 的日負(fù)荷場(chǎng)景聚類

GMM 聚類按照概率劃分成員,具有更加靈活的類簇形狀。GMM 聚類后生成的結(jié)果為一系列的概率值,樣本中的個(gè)體對(duì)應(yīng)不同的類別都有其對(duì)應(yīng)的概率,選取最大概率的所屬類別作為分類依據(jù)。采用期望最大化（expectation-maximization,EM）算法估計(jì)GMM 中單個(gè)高斯分布函數(shù)參數(shù)。EM 算法分成期望步和最大化步。

1）期望步:根據(jù)給定的初始值或前一步最大化步計(jì)算得出的3 組參數(shù),計(jì)算樣本xi由第j類別所生成的概率γj(xi),3 組參數(shù)如式（1）所示,計(jì)算公式見(jiàn)式（2）。

式中:αj、μj和Σj分別為第j個(gè)高斯分布的權(quán)重、均值和協(xié)方差；k為高斯分布的總個(gè)數(shù)；xi為日負(fù)荷場(chǎng)景劃分的輸入數(shù)據(jù)；n為xi的維度；D為日負(fù)荷數(shù)據(jù)庫(kù)中的總天數(shù)。

2）最大化步:根據(jù)最大似然估計(jì)對(duì)上述3 組參數(shù)α、μ和Σ進(jìn)行更新,如式（3）所示。

式中:α′j、μ′j和Σ′j分別為第j個(gè)高斯分布更新后的權(quán)重、均值和協(xié)方差。

循環(huán)進(jìn)行上述期望步和最大化步,直至參數(shù)收斂或似然函數(shù)收斂,得到日負(fù)荷場(chǎng)景聚類結(jié)果。GMM 聚類的超參數(shù)（最佳聚類數(shù)量）常采用貝葉斯信息準(zhǔn)則（Bayesian information criterion,BIC）確定［24］,選取最低BIC 值所對(duì)應(yīng)的聚類數(shù)量作為最優(yōu)值。BIC 值的計(jì)算公式和原理見(jiàn)附錄B。

關(guān)于選取表征日負(fù)荷場(chǎng)景劃分的輸入數(shù)據(jù)如下:

日期特征是影響日負(fù)荷場(chǎng)景劃分的顯著因素。因此,初次GMM 聚類以日期特征為輸入完成聚類。日期特征分為工作日、周末、法定節(jié)假日3 種不同的情況,按照one-hot 編碼形式對(duì)日期特征進(jìn)行編碼,即工作日為［1,0,0］,周末為［0,1,0］,法定節(jié)假日為［0,0,1］。當(dāng)周末與法定節(jié)假日重合時(shí),統(tǒng)一按照節(jié)假日處理,后續(xù)在節(jié)假日?qǐng)鼍跋逻M(jìn)行預(yù)測(cè)時(shí),加入“是否為周末”這一特征作為區(qū)分。將上述經(jīng)過(guò)編碼后的三維日期特征作為初次GMM 聚類的輸入,完成初次聚類,得到以日期特征為劃分的日負(fù)荷場(chǎng)景。

二次GMM 聚類以氣象特征作為輸入,對(duì)日負(fù)荷場(chǎng)景進(jìn)一步細(xì)分。氣象特征包括溫度、濕度、降水量等不同類型的數(shù)據(jù)。由于溫度是影響日負(fù)荷變化的顯著因素,選用一天中的最高溫度、最低溫度、平均溫度作為二次GMM 聚類的輸入,得到最終的日負(fù)荷場(chǎng)景劃分結(jié)果。

1.2.2 基于MI 提取重要性值波動(dòng)矩陣

MI 來(lái)自信息論中熵的概念,反映任意兩個(gè)隨機(jī)變量之間的相關(guān)性關(guān)系。用輸入特征和負(fù)荷之間的MI 值表征輸入特征的重要性值。

MI 值的計(jì)算公式為:式中:M(P,Q)為隨機(jī)變量P和Q之間的MI 值；pPQ(p,q)為隨機(jī)變量P和Q的聯(lián)合概率密度函數(shù),其中,p和q分別為P和Q中的元素；pP(p)為隨機(jī)變量P的邊緣概率密度函數(shù)；pQ(q)為隨機(jī)變量Q的邊緣概率密度函數(shù)。兩個(gè)變量間的相關(guān)性越強(qiáng),MI值越大,當(dāng)兩個(gè)變量相互獨(dú)立時(shí),MI 值為0。

重要性值波動(dòng)矩陣的具體提取步驟如下:

步驟1:確定輸出負(fù)荷數(shù)據(jù)集。根據(jù)上述日負(fù)荷場(chǎng)景劃分結(jié)果,將電力負(fù)荷數(shù)據(jù)集按照一天中的負(fù)荷采樣點(diǎn)個(gè)數(shù)分成n組,并將其作為輸出數(shù)據(jù)集O=[O1,O2,…,Ot,…,On],其中,Ot為t時(shí)刻的輸出負(fù)荷數(shù)據(jù)。

步驟2:確定輸入特征數(shù)據(jù)集。取與上述輸出負(fù)荷數(shù)據(jù)集相對(duì)應(yīng)的輸入特征矩陣I,即

其中,t時(shí)刻輸出Ot對(duì)應(yīng)的輸入特征It=[It,1,It,2,…,It,z]T。

步驟3:t時(shí)刻輸入特征的重要性值計(jì)算。計(jì)算t時(shí)刻輸入特征與輸出負(fù)荷的MI 值并進(jìn)行歸一化處理得Mt=[M(It,1,Ot),M(It,2,Ot),…,M(It,z,Ot)]T,用上述序列中值大小作為t時(shí)刻不同輸入特征的重要性值,如第1 類輸入特征在t時(shí)刻的重要性值為M(It,1,Ot)。

步驟4:重復(fù)計(jì)算步驟3。t從1 到n循環(huán)求解不同時(shí)刻下輸入特征的重要性值,當(dāng)t=n時(shí),求解完畢。得到隨時(shí)間變化的輸入特征的重要性值波動(dòng)矩陣M,即

M中包含了不同維度下輸入特征的重要性信息。通過(guò)橫向時(shí)間維度對(duì)比可以反映同類輸入特征在不同時(shí)刻下的重要性值波動(dòng),而縱向種類維度對(duì)比可以反映不同類型的輸入特征在同一時(shí)刻下的重要性差異。提取重要性值波動(dòng)矩陣的整體流程如附錄C 圖C1 所示。

2 基于MI-BILSTM 的短期負(fù)荷預(yù)測(cè)方法

2.1 BILSTM 模型

短期負(fù)荷預(yù)測(cè)中,當(dāng)前時(shí)刻的負(fù)荷值同時(shí)與歷史時(shí)刻的信息及未來(lái)時(shí)刻的信息相關(guān)聯(lián)。本文選用考慮雙向時(shí)刻信息的BILSTM 作為短期負(fù)荷預(yù)測(cè)的底層模型。基本LSTM 單元的結(jié)構(gòu)如附錄A 圖A1 所示,BILSTM 結(jié)構(gòu)如附錄D 圖D1 所示。

BILSTM 的計(jì)算公式如式（7）—式（9）所示。

2.2 MI-BILSTM 預(yù)測(cè)流程

基于MI-BILSTM 的短期負(fù)荷預(yù)測(cè)方法流程見(jiàn)圖2。

圖2 MI-BILSTM 預(yù)測(cè)流程圖Fig.2 Flow chart of MI-BILSTM forecasting

為了彌補(bǔ)BILSTM 模型權(quán)值共享結(jié)構(gòu)的時(shí)不變性,將1.2 節(jié)提取到的重要性值波動(dòng)矩陣M作為系數(shù)修正BILSTM 的輸入特征,如式（10）所示。式中:“°”表示兩個(gè)矩陣的哈達(dá)馬積,即兩矩陣對(duì)應(yīng)位置的元素分別相乘；I′為更新后的輸入特征矩陣。

原輸入特征矩陣I經(jīng)式（10）轉(zhuǎn)換為能反映重要性值波動(dòng)的輸入特征矩陣I′。將I′代入BILSTM 模型中進(jìn)行訓(xùn)練,使得BILSTM 模型可以動(dòng)態(tài)追蹤輸入特征的重要程度變化。

3 算例分析

3.1 數(shù)據(jù)預(yù)處理和BILSTM 輸入特征選取

選取中國(guó)某地區(qū)2012 年1 月1 日—2014 年6 月30 日的電力負(fù)荷數(shù)據(jù)庫(kù)和氣象數(shù)據(jù)庫(kù)進(jìn)行算例驗(yàn)證,電力負(fù)荷數(shù)據(jù)采集的時(shí)間間隔為15 min,一天采樣96 個(gè)點(diǎn),氣象數(shù)據(jù)庫(kù)為每天的平均溫度、最高溫度、最低溫度、相對(duì)濕度和降水量。采用式（11）對(duì)數(shù)據(jù)x進(jìn)行歸一化處理,將數(shù)據(jù)映射到［0,1］區(qū)間上。

式中:x′為歸一化后的數(shù)據(jù)；xmin和xmax分別為數(shù)據(jù)中的最小值和最大值。

針對(duì)聚類后劃分的不同數(shù)據(jù)庫(kù),建立相應(yīng)的MI-BILSTM 模型,模型的輸入特征數(shù)據(jù)分為氣象特征、日期特征和歷史負(fù)荷特征。在所有的日負(fù)荷場(chǎng)景下,氣象特征保持一致,包括最高溫度、最低溫度、平均溫度、相對(duì)濕度和降水量。

對(duì)日期特征而言,GMM 聚類已經(jīng)將不同日期特征下的日負(fù)荷場(chǎng)景劃分,所以日期特征中不需要區(qū)分工作日、周末、法定節(jié)假日的特征。但是當(dāng)兩種日期類型重疊或相鄰時(shí),負(fù)荷曲線會(huì)出現(xiàn)相互影響的情況。對(duì)于工作日而言,臨近休息日（周末、法定節(jié)假日）時(shí),負(fù)荷曲線會(huì)發(fā)生變化,例如后一天是休息日時(shí),當(dāng)天的負(fù)荷曲線在后半段會(huì)出現(xiàn)跌落；反之前一天是休息日時(shí),當(dāng)天負(fù)荷曲線在前半段會(huì)明顯較低,所以在工作日?qǐng)鼍爸屑尤搿笆欠駷樾菹⑷涨耙惶臁焙汀笆欠駷樾菹⑷蘸笠惶臁眱蓚€(gè)特征。如果休息日為周末,該特征取1；如果休息日為法定節(jié)假日,該特征取2；如果休息日是周末和法定節(jié)假日重疊,該特征取3；不是上述情況取0。對(duì)周末而言,主要是受法定節(jié)假日導(dǎo)致的調(diào)休影響,所以在周末場(chǎng)景下加入“是否為調(diào)休日”這一特征,如果該天調(diào)休,該特征取1,否則取0。由于初次聚類時(shí),將法定節(jié)假日和周末的重疊情況統(tǒng)一按照法定節(jié)假日處理,為了表示區(qū)分,在法定節(jié)假日?qǐng)鼍跋录尤搿笆欠駷橹苣边@一特征,如果是周末取1,否則取0。

歷史負(fù)荷特征的選取受短期負(fù)荷預(yù)測(cè)的類型影響,由于本文進(jìn)行的短期負(fù)荷預(yù)測(cè)類型為日前預(yù)測(cè),預(yù)測(cè)日當(dāng)天的負(fù)荷值默認(rèn)為未知狀態(tài),所以選取的歷史負(fù)荷特征只能從預(yù)測(cè)日之前的數(shù)據(jù)庫(kù)中選取。對(duì)工作日而言,選取同一場(chǎng)景下前一工作日對(duì)應(yīng)時(shí)刻的負(fù)荷值作為歷史負(fù)荷特征。在周末場(chǎng)景下,選取同一場(chǎng)景下前一相同星期日期對(duì)應(yīng)時(shí)刻的負(fù)荷值作為歷史負(fù)荷特征。不同的法定節(jié)假日下負(fù)荷曲線性質(zhì)不同,所以選取前一相同節(jié)假日對(duì)應(yīng)時(shí)刻的負(fù)荷值作為歷史負(fù)荷特征。最終,各日負(fù)荷場(chǎng)景下的輸入特征種類見(jiàn)附錄E 表E1。

3.2 重要性值波動(dòng)矩陣的提取與分析

3.2.1 日負(fù)荷場(chǎng)景聚類結(jié)果

根據(jù)日期特征和氣象特征,分別進(jìn)行初次GMM 聚類和二次GMM 聚類。其中,GMM 聚類的超參數(shù)（最佳聚類數(shù)量）采用BIC 確定［24］。按照日負(fù)荷場(chǎng)景數(shù)目S（S=2,3,…,10）,循環(huán)計(jì)算對(duì)應(yīng)的BIC 值,將BIC 值最小時(shí)對(duì)應(yīng)的日負(fù)荷場(chǎng)景數(shù)作為GMM 聚類的超參數(shù)。

初次GMM 聚類的BIC 值隨S逐次增大時(shí)發(fā)生的變化如附錄F 圖F1（a）所示。按照BIC,其BIC 值在S=3 時(shí)達(dá)到最小值,所以選擇3 作為最佳聚類數(shù)。經(jīng)初次聚類后從原始數(shù)據(jù)庫(kù)中劃分出3 類不同的日負(fù)荷場(chǎng)景,分別為576 d 的普通工作日?qǐng)鼍啊?28 d 的周末場(chǎng)景和108 d 的法定節(jié)假日?qǐng)鼍啊?/p>

溫度是影響負(fù)荷變化的顯著特征,因此,二次GMM 聚類的輸入特征為三維溫度特征:最高溫度、最低溫度、平均溫度。如附錄F 圖F1（b）、（c）、（d）所示,工作日?qǐng)鼍皠澐譃? 類,分別為工作日1（高溫）、工作日2（中溫）、工作日3（低溫）；周末劃分為2類,分別為周末1（高溫）、周末2（低溫）；法定節(jié)假日同樣劃分為2 類,分別為節(jié)假日1（高溫）、節(jié)假日2（低溫）。經(jīng)過(guò)2 次GMM 聚類后,劃分出的日負(fù)荷場(chǎng)景及其天數(shù)如表1 所示。

表1 日負(fù)荷場(chǎng)景的聚類結(jié)果Table 1 Clustering results of daily load scenarios

3.2.2 重要性值波動(dòng)矩陣的提取結(jié)果

使用MI 法分別提取上述日負(fù)荷場(chǎng)景下的輸入特征重要性值波動(dòng)矩陣。數(shù)據(jù)庫(kù)中一天的采樣點(diǎn)個(gè)數(shù)為96,按照附錄E 表E1 選取輸入特征,提取結(jié)果如圖3 所示。圖3 中,為方便表示,用A、B、C、D、E、F、G、H、I、J、K、L 分別表示最高溫度、最低溫度、平均溫度、相對(duì)濕度、降水量、是否為休息日后一天、是否為休息日前一天、前一工作日對(duì)應(yīng)時(shí)刻負(fù)荷值、是否為調(diào)休日、前一相同星期日期對(duì)應(yīng)時(shí)刻負(fù)荷值、是否為周末、前一相同節(jié)假日對(duì)應(yīng)時(shí)刻負(fù)荷值這12 種輸入特征。

由圖3 可以看出,在不同的日負(fù)荷場(chǎng)景下,輸入特征的重要性值波動(dòng)矩陣表現(xiàn)明顯不同,驗(yàn)證了提前進(jìn)行日負(fù)荷場(chǎng)景劃分的必要性。

圖3 輸入特征的重要性值波動(dòng)矩陣展示圖Fig.3 Illustration of fluctuant matrix for importance value of input feature

從時(shí)間維度上看,由于溫度往往通過(guò)影響人的行為來(lái)影響負(fù)荷的變化,所以溫度在中高溫度的場(chǎng)景下（工作日1、工作日2、周末1、節(jié)假日1）所表現(xiàn)出的重要性值往往隨著人一天中的生產(chǎn)活動(dòng)規(guī)律發(fā)生波動(dòng)。在一天的凌晨至上午,重要性值逐漸下降,隨著生產(chǎn)活動(dòng)的開(kāi)啟,重要性值逐漸增大至高峰,等到一天的下班時(shí)間,重要性值陡然下降,接著晚上用電負(fù)荷迎來(lái)高峰,溫度的重要性值也隨之升高。值得注意的是,由于負(fù)荷曲線具有在時(shí)序上連續(xù)的特點(diǎn),“是否為休息日后一天”在一天中的前幾個(gè)時(shí)刻重要性值較大,而“是否為休息日前一天”在一天中的后幾個(gè)時(shí)刻重要性值較大。歷史負(fù)荷特征的重要性值在一天中的所有時(shí)刻下幾乎都保持最大。除了上述有明顯規(guī)律的特征外,其他特征的重要性值在時(shí)序上也同樣表現(xiàn)出波動(dòng)特性。

作為對(duì)比,選擇經(jīng)典的PCC 法提取重要性值波動(dòng)矩陣,提取結(jié)果見(jiàn)附錄G 圖G1。由圖可知,在工作日2（中溫）、工作日3（低溫）場(chǎng)景下,PCC 法提取出的重要性值波動(dòng)矩陣幾乎一致,但中溫場(chǎng)景下溫度對(duì)負(fù)荷變化的影響大小應(yīng)該介于高溫場(chǎng)景和低溫場(chǎng)景之間,這說(shuō)明PCC 法應(yīng)用在中溫場(chǎng)景下具有一定的局限性；同樣在節(jié)假日1（高溫場(chǎng)景）的場(chǎng)景下,PCC 法的提取效果也不理想,沒(méi)有正確反映出高溫下溫度對(duì)負(fù)荷變化的影響。而MI 法相較于PCC法,在工作日2、節(jié)假日1 下,提取到了更多的非線性關(guān)系,這說(shuō)明MI 法在提取特征的重要性值波動(dòng)矩陣上有更好的適用性。

3.3 預(yù)測(cè)結(jié)果對(duì)比分析

本文選取的算例評(píng)價(jià)指標(biāo)為平均絕對(duì)百分比誤差（MAPE）和均方根誤差（RMSE）。經(jīng)過(guò)3.2.1 節(jié)的日負(fù)荷場(chǎng)景聚類,將原始數(shù)據(jù)庫(kù)聚類成7 類不同的日負(fù)荷場(chǎng)景,每一類數(shù)據(jù)庫(kù)數(shù)量按照9∶1 劃分出訓(xùn)練集和預(yù)測(cè)集,進(jìn)行連續(xù)日前預(yù)測(cè),訓(xùn)練集和測(cè)試集的具體劃分結(jié)果如附錄H 表H1 所示。將3.2.2 節(jié)MI 法提取到的輸入特征重要性值波動(dòng)矩陣作為系數(shù)按照式（10）對(duì)原始輸入特征進(jìn)行修正,修正后代入模型中完成訓(xùn)練和預(yù)測(cè)。

選 取 LSTM、BILSTM、MI-LSTM、PCCBILSTM、MI-BILSTM 這5 種不同的模型進(jìn)行對(duì)比。由于本文的主要工作在于提取重要性值波動(dòng)矩陣,并對(duì)原始的輸入特征進(jìn)行修正,所以文中在對(duì)比時(shí)應(yīng)該控制深度神經(jīng)網(wǎng)絡(luò)模型的相關(guān)參數(shù)不變,觀察原始輸入特征和修正完成后的特征代入模型進(jìn)行預(yù)測(cè)的精度變化。因此,LSTM 和MI-LSTM 模型的參數(shù)設(shè)置一致,BILSTM、PCC-BILSTM、MIBILSTM 模型的參數(shù)設(shè)置一致。 LSTM 和BILSTM 模型的超參數(shù)采用控制變量法［12,14］多次試驗(yàn)進(jìn)行模型調(diào)優(yōu)。記錄下不同日負(fù)荷場(chǎng)景下的MAPE 和RMSE。實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 全場(chǎng)景下不同模型預(yù)測(cè)結(jié)果比較Table 2 Comparison of prediction results for different models in whole scenarios

由表2 可知,LSTM 模型的平均預(yù)測(cè)精度在5 種模型中最低；BILSTM 模型由于可以考慮雙向信息,預(yù)測(cè)精度高于LSTM 模型；MI-LSTM 模型將輸入特征的重要性值波動(dòng)考慮在內(nèi),預(yù)測(cè)精度相較于LSTM 模型有了明顯的提高；PCC-BILSTM 模型在多個(gè)場(chǎng)景上的精度以及平均精度都優(yōu)于原BILSTM 模型,這表明采用PCC 法提取重要性波動(dòng)矩陣也具有一定的適用性。但在工作日2、節(jié)假日1場(chǎng)景下,預(yù)測(cè)精度反而有所下降,這是由于PCC 法線性提取的局限性,導(dǎo)致在工作日2 和節(jié)假日1 場(chǎng)景上提取到的波動(dòng)矩陣未能反映正確的重要性值波動(dòng)的特性,并因此導(dǎo)致精度下降；對(duì)于MI-BILSTM模型,其在7 種不同的日負(fù)荷場(chǎng)景下的預(yù)測(cè)精度都優(yōu)于其他模型,這說(shuō)明MI 法提取到的重要性值波動(dòng)矩陣相較于PCC 法對(duì)精度有更明顯的提升效果。

MI-BILSTM 模型在工作日1 至3 場(chǎng)景下的MAPE 分別為2.40%、3.12%、3.46%；在周末1 和2場(chǎng)景下的MAPE 分別4.82%、5.48%；在節(jié)假日1 和2場(chǎng)景下的MAPE 分別為7.98%、5.26%；在所有日負(fù)荷場(chǎng)景下的平均值為3.84%,相較于其他4 種模型的平均值分別提高了0.83%、0.59%、0.20%、0.36%。各場(chǎng)景下MI-BILSTM 模型的RMSE 依次為109.83、114.71、96.28、189.99、173.51、195.75、85.63 MW,平均值為129.99 MW,相較于其他4 種模型的平均值分別提高了27.31、17.6、8.84、12.13 MW。

不同模型結(jié)果對(duì)比如圖4 所示,由圖4 可知,MI-BILSTM 模型的預(yù)測(cè)精度在5 種模型中最高。在負(fù)荷曲線的波峰與波谷處,該模型不僅考慮了雙向信息流,還實(shí)現(xiàn)了輸入特征重要性值波動(dòng)的動(dòng)態(tài)追蹤,針對(duì)真實(shí)負(fù)荷曲線具有更好的擬合效果。

圖4 不同模型結(jié)果對(duì)比Fig.4 Result comparison of different models

為了探究重要性值的波動(dòng)大小與精度提升之間的關(guān)系,設(shè)計(jì)了相關(guān)的對(duì)比實(shí)驗(yàn),具體如附錄I 所示。由附錄I 可知,無(wú)論是不同場(chǎng)景下還是同一場(chǎng)景下,單純考慮重要性值波動(dòng)的大小與預(yù)測(cè)精度的提升之間均沒(méi)有明顯的正相關(guān)或負(fù)相關(guān)關(guān)系,這是因?yàn)樘卣鞯闹匾灾挡▌?dòng)對(duì)精度的影響是一個(gè)綜合性的影響,不僅每個(gè)特征的波動(dòng)對(duì)精度提升具有差異性,而且共同作用時(shí)還需要考慮疊加效應(yīng)。其次,是否考慮重要性值的波動(dòng)與精度提升之間有明顯的關(guān)系,當(dāng)考慮重要性值波動(dòng)時(shí),精度有明顯的提升,見(jiàn)表2。最后,使用不同方法提取重要性值波動(dòng)對(duì)精度提升的效果不同,能夠綜合提取線性和非線性關(guān)系的MI 法相較于只能提取出線性關(guān)系的PCC 法在提取重要性值波動(dòng)矩陣、提高預(yù)測(cè)精度方面具有更好的適用性。

4 結(jié)語(yǔ)

本文為了追蹤輸入特征的重要性值波動(dòng),進(jìn)一步提高預(yù)測(cè)精度,提出一種考慮特征重要性值波動(dòng)的MI-BILSTM 短期負(fù)荷預(yù)測(cè)方法。經(jīng)過(guò)實(shí)際算例驗(yàn)證,得出如下結(jié)論:

1）通過(guò)對(duì)LSTM 權(quán)值共享結(jié)構(gòu)的分析,發(fā)現(xiàn)含有循環(huán)單元的深度學(xué)習(xí)模型存在一定的局限性,具體表現(xiàn)在此類模型的權(quán)值不能隨時(shí)間變化,無(wú)法追蹤輸入特征的重要程度隨時(shí)間出現(xiàn)的波動(dòng)；

2）觀察輸入特征重要性值波動(dòng)矩陣的展示圖,驗(yàn)證了在短期負(fù)荷預(yù)測(cè)中輸入特征的重要程度會(huì)隨時(shí)間的推移發(fā)生波動(dòng)；

3）采用重要性值波動(dòng)矩陣修正輸入特征,在不增加BILSTM 模型參數(shù)的情況下,彌補(bǔ)了權(quán)值共享結(jié)構(gòu)存在的缺陷,提高了預(yù)測(cè)精度；

4）在多種日負(fù)荷場(chǎng)景下,文中所提出的預(yù)測(cè)方法都表現(xiàn)出了更高的預(yù)測(cè)精度。這說(shuō)明該方法不局限于特定場(chǎng)景,具備良好的自適應(yīng)性和穩(wěn)定性。

本文在構(gòu)建輸入特征時(shí),未能將影響負(fù)荷變化的市場(chǎng)因素考慮在內(nèi),后續(xù)工作會(huì)構(gòu)建更加豐富的輸入特征。此外,本文所提模型在周末、法定節(jié)假日?qǐng)鼍跋碌念A(yù)測(cè)精度較低,下一步將從輸入特征和模型兩方面入手,進(jìn)一步提高周末和法定節(jié)假日?qǐng)鼍跋碌念A(yù)測(cè)精度。

附錄見(jiàn)本刊網(wǎng)絡(luò)版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡(luò)全文。