EM算法優(yōu)化WDRNN短期負(fù)荷預(yù)測(cè)模型①

劉遠(yuǎn)龍，龔文杰，徐 超，張智晟

(1.青島供電公司，青島 266002;2.青島大學(xué)自動(dòng)化工程學(xué)院，青島 266071)

隨著現(xiàn)代電力系統(tǒng)的不斷發(fā)展，尤其是電力市場(chǎng)競(jìng)爭(zhēng)機(jī)制的引入，電力系統(tǒng)短期負(fù)荷預(yù)測(cè)STLF(short-term load forecasting)具有重要的理論意義和高的經(jīng)濟(jì)價(jià)值，提高預(yù)測(cè)精度符合當(dāng)前電力系統(tǒng)的實(shí)際需要。

基于BP算法的多層前饋神經(jīng)網(wǎng)絡(luò)FNN(feedforward neural networks)原理已在國(guó)內(nèi)外電力系統(tǒng)ST LF中得到廣泛的研究與應(yīng)用[1]。但應(yīng)指出，F(xiàn)NN本質(zhì)是屬于靜態(tài)非線性映射關(guān)系，它更適用于處理與時(shí)間無關(guān)的對(duì)象。電力系統(tǒng)負(fù)荷序列性質(zhì)屬于混沌時(shí)間序列[2～4]，是典型的非線性動(dòng)力學(xué)時(shí)間序列，需用動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行建模研究，動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)能更直接的反映系統(tǒng)的動(dòng)態(tài)特性。本文所提出的小波對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)WDRNN(wavelet diagonal recursive neural network)就屬于動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)的范疇。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法研究成為該領(lǐng)域的研究熱點(diǎn)，并取得了較為顯著的效果[5，6]。類電磁機(jī)制EM(electromagnetism-like mechanism)算法是由Birbil和Fang提出的一種新的全局優(yōu)化算法[7]。該算法具有全局優(yōu)化能力強(qiáng)，編程實(shí)現(xiàn)簡(jiǎn)單，收斂性好等優(yōu)點(diǎn)，其收斂性已得到理論證明[8]。EM 算法已被應(yīng)用于函數(shù)優(yōu)化[9]、流水車間調(diào)度[10]和車輛運(yùn)輸路線規(guī)劃[11]等問題的研究中，取得了較好的效果。但目前該算法在電力系統(tǒng)領(lǐng)域應(yīng)用還比較少。本文采用EM 算法訓(xùn)練WDRNN，通過實(shí)際地區(qū)電網(wǎng)的負(fù)荷的預(yù)測(cè)仿真和測(cè)試，證實(shí)所提出的基于EM算法的WDRNN模型能有效提高預(yù)測(cè)精度。

1 WDRNN預(yù)測(cè)模型構(gòu)造及數(shù)學(xué)描述

動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)即在神經(jīng)網(wǎng)絡(luò)NN(neural networks)內(nèi)部引入反饋使NN具有動(dòng)態(tài)性能，能更直接地反映系統(tǒng)的動(dòng)態(tài)特性，它是依賴NN內(nèi)部神經(jīng)元間狀態(tài)的反饋來描述動(dòng)態(tài)行為，即用較少的記憶單元來描述非線性系統(tǒng)的動(dòng)力學(xué)特性，無須存儲(chǔ)所有的輸入信息，且又能在網(wǎng)絡(luò)中反映出系統(tǒng)所有歷史信息對(duì)當(dāng)前系統(tǒng)響應(yīng)的影響。

對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)是一種特殊的動(dòng)態(tài)遞歸神經(jīng)網(wǎng)絡(luò)，它與FNN相同之處是都有輸入層、隱含層和輸出層;兩者的區(qū)別在于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的隱含單元具有自反饋。對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)映射和記憶功能正是通過遞歸神經(jīng)元在內(nèi)部的反饋回路捕捉系統(tǒng)的動(dòng)態(tài)特性來實(shí)現(xiàn)的[12，13]。本文提出的WDRNN模型(見圖1)是對(duì)常規(guī)對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)模型的改進(jìn)。

圖1中，m、l分別表示W(wǎng)DRNN模型的輸入層和隱含層節(jié)點(diǎn)個(gè)數(shù)，輸出層節(jié)點(diǎn)個(gè)數(shù)為1(單步預(yù)測(cè))。ui(k)表示第i個(gè)輸入節(jié)點(diǎn)在k時(shí)刻的輸入，WIH和WHO分別表示輸入層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)以及隱含層節(jié)點(diǎn)到輸出層節(jié)點(diǎn)之間的連接權(quán)重。WHH表示隱含層節(jié)點(diǎn)之間的連接權(quán)重，WHR表示隱含層節(jié)點(diǎn)自身的自反饋。若(k)表示隱含層第j個(gè)節(jié)點(diǎn)在k時(shí)刻的輸出，用(k)表示隱含層第j個(gè)神經(jīng)元在k時(shí)刻的內(nèi)部狀態(tài)，則可表述為

式中:fN為小波基函數(shù)，aj(k)和bj(k)分別為在k時(shí)刻小波基函數(shù)的伸縮因子和平移因子。小波基函數(shù)本文選用Morlet母小波基函數(shù)，可表示為

若用y(k)表示輸出層神經(jīng)元在k時(shí)刻的輸出，則可表述為

圖1 WDRNN預(yù)測(cè)模型結(jié)構(gòu)Fig.1 Structure of WDRNN forecasting model

2 EM算法及對(duì)WDRNN模型的優(yōu)化

EM算法是模擬電磁場(chǎng)中帶電粒子間的吸引與排斥機(jī)制，把每個(gè)搜索粒子類比成空間中的一個(gè)帶電粒子，每個(gè)粒子的電荷由待優(yōu)化的目標(biāo)函數(shù)的函數(shù)值決定。電荷值決定了該粒子對(duì)其他粒子的吸引或者排斥的強(qiáng)弱，目標(biāo)函數(shù)值越優(yōu)，吸引就越強(qiáng)。EM算法利用電荷為每個(gè)粒子下一步的移動(dòng)尋找方向，即通過計(jì)算其他粒子施加給當(dāng)前粒子的合力來確定這個(gè)方向。同電磁力的計(jì)算方式一樣，該合力是通過將來自其他粒子的力進(jìn)行矢量疊加而得到的。

圖2選取了3個(gè)粒子說明粒子間如何依據(jù)吸引與排斥機(jī)制進(jìn)行搜索。設(shè)粒子2表示的解優(yōu)于粒子1表示的解，而粒子3表示的解劣于粒子1表示的解，那么粒子2將對(duì)粒子1有一個(gè)吸引力F21，而粒子3將對(duì)粒子1有一個(gè)排斥力F31，這兩個(gè)力疊加得到的合力F1就將確定粒子1移動(dòng)的方向，這樣促使粒子向較優(yōu)的區(qū)域移動(dòng)。

圖2 粒子吸引與排斥機(jī)制示意Fig.2 Schematic diagram of attraction and repulsion mechanism for particles

2.1 EM算法優(yōu)化WDRNN流程

在負(fù)荷預(yù)測(cè)模型中，給定的預(yù)測(cè)訓(xùn)練樣本集用S={(Ui，Yi)|i=1，2，…，n}表示，其中Ui是輸入樣本，Yi是對(duì)應(yīng)的輸出樣本，n是預(yù)測(cè)樣本個(gè)數(shù)。

對(duì)WDRNN的連接權(quán)值(包括輸入層節(jié)點(diǎn)到隱含層節(jié)點(diǎn)之間的連接權(quán)重WIH、隱含層節(jié)點(diǎn)到輸出層節(jié)點(diǎn)之間的連接權(quán)重WHO、隱含層節(jié)點(diǎn)之間的連接權(quán)重 WHH、隱含層節(jié)點(diǎn)自身的自反饋WHR)，小波基函數(shù)的伸縮因子aj和平移因子bj，分別采用十進(jìn)制進(jìn)行編碼，構(gòu)成粒子。

EM 算法優(yōu)化WDRNN，主要由四個(gè)基本步驟組成，即初始化、局部搜索、計(jì)算合力以及移動(dòng)粒子。具體流程如圖3所示。

圖3 EM算法優(yōu)化WDRNN流程Fig.3 Flow chart of optimizing WDRNN by EM algorithm

2.2 初始化

初始化就是從已知可行域中隨機(jī)選取s個(gè)粒子X1，X2，…，Xi，…，Xs，計(jì)算每個(gè)粒子的目標(biāo)函數(shù)值 f(Xi)，并將目標(biāo)函數(shù)值最優(yōu)的粒子記為Xbest，表示當(dāng)前最優(yōu)粒子。

2.3 局部搜索

對(duì)于EM算法，局部搜索為種群的全局搜索提供了有效的局部信息，這使得算法既具有全局搜索能力，又具有局部區(qū)域精細(xì)搜索能力。本文局部搜索策略采用隨機(jī)線性搜索的方法[7]。簡(jiǎn)述如下。

對(duì)種群中粒子 Xi=(xi1，xi2，…，xij，…，xip)的各分量按照隨機(jī)步長(zhǎng)進(jìn)行一維搜索，用更優(yōu)的粒子替換當(dāng)前粒子，對(duì)第i個(gè)粒子第j個(gè)分量xij的搜索過程如下:

(1)均勻產(chǎn)生(0，1)之間的隨機(jī)數(shù)λ1和λ2，令yj=xij;

(2)若 λ1 ＜0.5，則 yj=xij-λ2(xij-lij);否則，yj=xij+λ2(uij-xij)。其中，lij表示第i個(gè)粒子第j個(gè)分量的下邊界，uij表示第i個(gè)粒子第j個(gè)分量的上邊界。

對(duì)第i個(gè)粒子的每個(gè)分量都進(jìn)行如上搜索，搜索完畢后，得到搜索后的粒子Y=(y1，y2，…，yj，…，yp)，求取其目標(biāo)函數(shù)值 f(Y)，若 f(Y)≤f(Xi)，則更新粒子，即Xi=Y，否則不更新粒子。

2.4 計(jì)算合力

EM算法中合力計(jì)算是對(duì)電磁場(chǎng)中吸引與排斥機(jī)制的模擬。通過計(jì)算合力，將粒子所獲得的局部信息與全局信息結(jié)合起來。由電磁理論中的疊加原理可知，一個(gè)粒子受到的其他粒子施加的電磁力與粒子之間的距離成反比，與它們所帶電荷量的乘積成正比。

1)計(jì)算粒子電荷量

計(jì)算合力前，應(yīng)先求取每個(gè)粒子所帶的電荷量，粒子的電荷量決定了自身所受吸引力或排斥力的大小，同時(shí)影響其他粒子所受吸引力或排斥力的大小。第i個(gè)粒子Xi的電荷量qi的計(jì)算式為

式中:s表示粒子的個(gè)數(shù);p表示粒子的維數(shù);f(Xi)表示第i個(gè)粒子的目標(biāo)函數(shù)值;f(Xbest)表示當(dāng)前最優(yōu)粒子的目標(biāo)函數(shù)值。通過式(5)可以看出，目標(biāo)函數(shù)值較優(yōu)的粒子電荷量較大，具有更強(qiáng)的吸引力或排斥力。

2)計(jì)算合力

電荷量計(jì)算完成后，模擬電磁理論中的庫侖定律，作用在第i個(gè)粒子上的合力Fi計(jì)算式為

根據(jù)式(6)，每?jī)蓚€(gè)粒子之間，目標(biāo)函數(shù)值較優(yōu)(即較小)的粒子將吸引另一個(gè)粒子;目標(biāo)函數(shù)值較劣(即較大)的粒子將排斥另一個(gè)粒子。由于當(dāng)前最優(yōu)粒子Xbest的目標(biāo)函數(shù)值最小，所以它充當(dāng)著一個(gè)絕對(duì)吸引的粒子，吸引著種群中的其他所有粒子。

2.5 移動(dòng)粒子

種群中的各粒子在合力的作用下移動(dòng)。第i個(gè)粒子在合力Fi的作用下，按式(7)移動(dòng)到新的位置，使粒子的位置得到更新。

式中:λ為0～1之間的隨機(jī)數(shù);V為一個(gè)向量，表示向上邊界或下邊界移動(dòng)的可行步長(zhǎng)。

3 實(shí)際地區(qū)網(wǎng)日負(fù)荷預(yù)測(cè)與誤差分析

3.1 仿真測(cè)試預(yù)測(cè)模型構(gòu)造的基本依據(jù)

采用相空間重構(gòu)理論[2]計(jì)算飽和嵌入維數(shù)m及延遲時(shí)間τ，重構(gòu)相空間，利用歐氏距離法求得預(yù)測(cè)相點(diǎn)的k個(gè)最近鄰相點(diǎn)，它們各對(duì)應(yīng)的m+1個(gè)分量組成該預(yù)測(cè)相點(diǎn)的k個(gè)訓(xùn)練樣本集，它是屬于動(dòng)態(tài)步進(jìn)跟蹤訓(xùn)練，即所求得預(yù)測(cè)值加入到下一個(gè)預(yù)測(cè)點(diǎn)相的動(dòng)態(tài)相軌跡中求得下一個(gè)預(yù)測(cè)相點(diǎn)的k個(gè)最近鄰相點(diǎn)。根據(jù)所求飽和嵌入維數(shù)m作為優(yōu)化遞歸神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的輸入層節(jié)點(diǎn)，輸出節(jié)點(diǎn)數(shù)為1。經(jīng)相空間重構(gòu)理論可以求得該地區(qū)電網(wǎng)負(fù)荷系統(tǒng)嵌入維數(shù)m=7，延遲時(shí)間τ=1 h。

本文通過模型1——基于BP算法的FNN預(yù)測(cè)模型、模型2——基于BP算法的DRNN預(yù)測(cè)模型、模型3——基于BP算法的WDRNN預(yù)測(cè)模型和模型4——基于EM算法的WDRNN預(yù)測(cè)模型四個(gè)預(yù)測(cè)模型在實(shí)際地區(qū)電網(wǎng)負(fù)荷系統(tǒng)中進(jìn)行仿真測(cè)試進(jìn)行比較。

模型1采用7-14-1結(jié)構(gòu)的FNN模型，模型2采用7-8-1結(jié)構(gòu)的DRNN模型，模型3采用7-8-1結(jié)構(gòu)的WDRNN模型。3個(gè)模型都采用BP算法進(jìn)行訓(xùn)練，在仿真過程中，最大允許誤差 。學(xué)習(xí)率和動(dòng)量因子分別取為0.10和0.90。模型4采用7-8-1結(jié)構(gòu)的WDRNN模型，采用EM算法對(duì)WDRNN模型進(jìn)行訓(xùn)練，粒子個(gè)數(shù)取200。

3.2 地區(qū)電網(wǎng)的4種模型日負(fù)荷預(yù)測(cè)仿真

用4種模型進(jìn)行小時(shí)/日負(fù)荷預(yù)測(cè)結(jié)果和誤差的比較，結(jié)果如圖4所示。

圖4 地區(qū)電網(wǎng)的4種預(yù)測(cè)模型的日負(fù)荷預(yù)測(cè)誤差和比較Fig.4 Daily load forecasting errors and comparison of four kinds of models in power network

通過地區(qū)電網(wǎng)負(fù)荷系統(tǒng)的4個(gè)模型的誤差性能綜合分析比較如表1所示。

表1 地區(qū)電網(wǎng)的4種預(yù)測(cè)模型誤差指標(biāo)比較Tab.1 Error index comparison of four forecasting models in power network

從表1可知，基于BP算法的FNN預(yù)測(cè)模型1的誤差性能最差，平均絕對(duì)誤差為3.553%，最大相對(duì)誤差為8.529%。預(yù)測(cè)模型2采用了DRNN預(yù)測(cè)模型，平均絕對(duì)誤差比預(yù)測(cè)模型1降低0.609%，最大相對(duì)誤差比預(yù)測(cè)模型1降低1.561%，這是因?yàn)轭A(yù)測(cè)模型1的FNN屬于靜態(tài)NN，無法體現(xiàn)負(fù)荷的動(dòng)態(tài)行為。而DRNN具有動(dòng)態(tài)性能。預(yù)測(cè)模型3采用WDRNN，與采用DRNN的預(yù)測(cè)模型2相比，平均絕對(duì)誤差降低1.055%，最大相對(duì)誤差降低2.203%，表明WDRNN比DRNN具有更強(qiáng)的動(dòng)態(tài)性能，對(duì)于預(yù)測(cè)精度的提高是有效的。預(yù)測(cè)模型4采用EM算法優(yōu)化WDRNN，與采用BP算法的預(yù)測(cè)模型3相比，平均絕對(duì)誤差降低0.443%，最大相對(duì)誤差降低1.64%，是4個(gè)模型中預(yù)測(cè)精度最好的?？梢?，EM算法全局優(yōu)化能力較強(qiáng)。

3.3 基于EM算法WDRNN預(yù)測(cè)模型的周預(yù)測(cè)誤差性能

為深入分析所提出的基于EM算法的WDRNN預(yù)測(cè)模型的性能，通過對(duì)某地區(qū)電網(wǎng)負(fù)荷系統(tǒng)進(jìn)行一周預(yù)測(cè)，預(yù)測(cè)結(jié)果見表2所示。

表2 地區(qū)電網(wǎng)一周的預(yù)測(cè)誤差Tab.2 Daily load forecasting errors for a week in power network%

從表2可看出，基于EM算法的WDRNN預(yù)測(cè)模型具有較好的預(yù)測(cè)性能和預(yù)測(cè)穩(wěn)定性。

4 結(jié)論

(1)小波對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)是對(duì)常規(guī)對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的改進(jìn)，改進(jìn)策略一是在隱含層神經(jīng)元之間增加了同層神經(jīng)元之間的相互連接，使隱含層單元之間存在相互信息交換，使模型動(dòng)態(tài)性能得到增強(qiáng)。改進(jìn)策略二是隱含層函數(shù)用小波函數(shù)取代傳統(tǒng)Sigmoid函數(shù)，通過伸縮因子和平移因子的引入，使模型具有較強(qiáng)的逼近能力和容錯(cuò)能力。

(2)EM算法作為一種新的全局優(yōu)化算法，具有全局優(yōu)化能力強(qiáng)，編程實(shí)現(xiàn)簡(jiǎn)單，收斂性好等優(yōu)點(diǎn)，可在電力系統(tǒng)其他領(lǐng)域推廣應(yīng)用。

(3)經(jīng)實(shí)際負(fù)荷系統(tǒng)預(yù)測(cè)仿真測(cè)試，獲得較滿意的預(yù)測(cè)精度，具有高的預(yù)測(cè)穩(wěn)定性和良好的適應(yīng)能力。

[1] Hippert H S，Pedreira C E，Souza R C.Neural networks for short-term load forecasting:A review and evaluation[J].IEEE Trans on Power Systems，2001，16(1):44-55.

[2] 李天云，劉自發(fā)(Li Tianyun，Liu Zifa).電力系統(tǒng)負(fù)荷的混沌特性及預(yù)測(cè)(The chaotic property of power load and its forecasting)[J].中國(guó)電機(jī)工程學(xué)報(bào)(Proceedings of the CSEE)，2000，20(11):36-40.

[3] 張智晟，馬龍，孫雅明(Zhang Zhisheng，Ma Long，Sun Yaming).混沌理論和支持向量機(jī)結(jié)合的負(fù)荷預(yù)測(cè)模型(Load forecasting model using chaos theory and support vector machine)[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)(Proceedings of the CSU-EPSA)，2008，20(6):31-35.

[4] 鄭永康，陳維榮，蔣剛，等(Zheng Yongkang，Chen Weirong，Jiang Gang，et al).基于混沌理論的短期負(fù)荷局域多步預(yù)測(cè)法(Local-region multi-steps load forecasting model based on chaotic theory)[J].電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)(Proceedings of the CSU-EPSA)，2007，19(4):76-79.

[5] Yu Xinghuo，Efe M O，Kaynak Okyay.A general backpropagation algorithm for feedforward neural networks learning[J].IEEE Trans on Neural Networks，2002，13(1):251-254.

[6] Lera G，Pinzolas M.Neighborhood based Levenberg-Marquardt algorithm for neural network training[J].IEEE Trans on Neural Networks，2002，13(5):1200-1203.

[7] Birbil S I，F(xiàn)ang Shu-Cherng.An electromagnetismlike mechanism for global optimization[J].Journal of Global Optimization，2003，25(3):263-282.

[8] 王曉娟，高亮，陳亞洲(Wang Xiaojuan，Gao Liang，Chen Yazhou).類電磁機(jī)制算法及其應(yīng)用(Electromagnetism-like mechanism with its application)[J].計(jì)算機(jī)應(yīng)用研究(Application Research of Computers)，2006，23(6):67-70.

[9] 韓麗霞，王宇平(Han Lixia，Wang Yuping).求解無約束優(yōu)化問題的類電磁機(jī)制算法(Electromagnetismlike mechanism algorithm for unconstrained optimization problem)[J].電子學(xué)報(bào)(Acta Electronica Sinica)，2009，37(3):664-668.

[10] Yuan Kun，Sauer N，Sauvey C.Application of EM algorithm to hybrid flow shop scheduling problems with a special blocking[C]∥IEEE Conference on E-merging Technologies and Factory Automation，Mallorca，Spain:2009.

[11] Wu Peitsang，Yang Kung-Jiuan，Huang Bau-Yuan.A revised EM-like mechanism for solving the vehicle routing problems[C]∥Second International Conference on Innovative Computing，Information and Control，Kumamoto ，Japan:2007.

[12] 段慧達(dá)，鄭德玲，劉聰(Duan Huida，Zheng Deling，Liu Cong).基于對(duì)角遞歸神經(jīng)網(wǎng)絡(luò)的建模及應(yīng)用(Modeling and application based on diagonal recurrent neural network)[J].北京科技大學(xué)學(xué)報(bào)(Journal of University of Science and Technology Beijing)，2004，26(1):103-105.

[13] Mu Yuqiang，Sheng Andong.Evolutionary diagonal recurrent neural network with improved hybrid EP-PSO algorithm and its identification application[J].International Journal of Innovative Computing，Information and Control，2009 ，5(6):1615-1624.