基于極限學習機的非平穩(wěn)下?lián)舯┝黠L速預測

鐘 旺,李春祥

(上海大學土木工程系,上海200444)

非平穩(wěn)脈動風速是一種具有非線性和非平穩(wěn)性的特殊序列信號,其中的非平穩(wěn)下?lián)舯┝黠L速是強非平穩(wěn)過程.盡管極限學習機(extreme learning machine,ELM)能夠較好地擬合風速的非線性部分,但風速非平穩(wěn)部分將對預測效果造成較大的影響,因此降低風速非平穩(wěn)性就顯得尤為重要[1].降低非平穩(wěn)性的主要方法有小波變換和經驗模態(tài)分解(empirical mode decomposition,EMD).EMD將復雜非平穩(wěn)性信號分解成不同頻率段的信號,從而降低序列的非平穩(wěn)性;集合經驗模態(tài)分解(ensemble empirical mode decomposition,EEMD)將白噪聲序列加入到原始序列,這樣盡可能地得到數據信號的真實形態(tài),然后再對數據信號進行EMD分解;快速集合經驗模態(tài)分解(fast ensemble EMD,FEEMD)是EEMD的快速實現(xiàn)形式.

目前,預測模型主要有時間序列模型、人工神經網絡(artif i cial neural network,ANN)模型、支持向量機(support vector machine,SVM)模型和最近的ELM.ELM是Huang等[2-3]于2004年提出的一種性能優(yōu)良的新型單隱層前饋神經網絡(single-hidden layer feed forward neural networks,SLFNs),其基本思想是訓練前設置合適的隱層節(jié)點數,在執(zhí)行過程中只需要輸入權值和為隱層偏置隨機賦值,整個過程無需迭代,一次性產生唯一的最優(yōu)解.與ANN相比,ELM顯著提高了網絡的泛化能力和學習速度,具有強非線性擬合能力.因此,當前國內外研究人員非常重視極限學習機的發(fā)展.鑒于ELM優(yōu)勢,本工作試圖建立基于ELM的非平穩(wěn)下?lián)舯┝黠L速預測算法.將EMD和FEEMD與基于粒子群優(yōu)化(particle swarm optimization,PSO)的最小二乘支持向量機(least squares support vector machines,LSSVM)進行混合,形成EMD-PSO-LSSVM和FEEMD-PSO-LSSVM混合模型算法.

1 非平穩(wěn)下?lián)舯┝髅}動風速的分解

1.1 經驗模態(tài)分解法

EMD是Huang等[4]于1998年提出的數據處理方法,將非平穩(wěn)信號按不同尺度的波動或趨勢逐級分解成若干個固有模態(tài)分量(intrinsic mode function,IMF).每個IMF需滿足2個條件:①數據集的極值點個數與穿0點個數相等或至多相差一個;②在任一點,由所有極大值點所形成包絡和由所有極小值點所形成包絡的均值等于0.

設U(t)為待分解的非平穩(wěn)風速樣本,先找出其所有極大、極小值,接著使用3次樣條函數擬合出上、下極值包絡線,計算出上、下包絡線的平均值m1(t).于是,去除均值后的第1分量為

第1次篩分所得分量h1(t)通常并不滿足IMF的要求,故將h1(t)作為新的待篩分序列,再進行k次篩分,直到h1k(t)滿足IMF的要求為止.于是,把h1k(t)當作IMF1,記為c1(t)=h1k(t).第1個IMF1[c1(t)]包含了非平穩(wěn)風速U(t)的最短周期分量,將c1(t)從U(t)中分離后的余量為

但是,r1(t)仍然包含較長周期分量,再將r1(t)作為新的待篩分序列,篩分得第2個IMF2[c2(t)];繼續(xù)進行這樣的篩分過程,直到余量變得很小為止.最終余量為

那么,非平穩(wěn)風速U(t)被分解成IMFs之和再加上最終余量:

1.2 快速集合經驗模態(tài)分解法

EMD常常出現(xiàn)模態(tài)混疊現(xiàn)象,造成IMF物理意義上的缺失.為此,Huang[5]通過將白噪聲加入待分解信號提出了EEMD.當將在整個時-頻空間分布一致的零均值白噪聲加到待分解信號時,不同時間尺度信號將自動分布到合適的參考尺度上,經多次平均噪聲將相互抵消,集成均值結果.與EMD相同,EEMD將非平穩(wěn)風速U(t)分解成IMFs之和再加上最終余量rn(t),即式(4).而FEEMD則是EEMD的快速實現(xiàn)方式,其原理與EEMD相同[6].

2 下?lián)舯┝髅}動風速智能預測模型

2.1 基于粒子群優(yōu)化最小二乘SVM的風速預測

Suykens[7]用誤差的二次平方來代替SVM的不敏感損失函數,將不等式約束轉變?yōu)榈仁郊s束,進而將求解二次規(guī)劃問題轉化成求解如下的線性方程組,即形成LSSVM:

式中,ω為權向量,b為偏置項,C為懲罰參數,ei∈R為誤差,ei∈Rl×l為誤差向量.為解決式(5)的優(yōu)化問題,構造Lagrange函數:

對式(6)求偏導,并根據最優(yōu)化理論中的KKT(Karush-Kuhn-Tucher)條件,得到如下方程組:

設 α =(α1,α2,···,αl)T,Q=(1,1,···,1)T,Y=(Y1,Y2,···,Yl)T,I 為單位矩陣. 聯(lián)立求解方程組,消去ω和ei,則式(7)的解為

于是得到LSSVM的回歸模型:

式中,K為核函數矩陣,其元素k(xi,xj)=ψ(xi)ψ(xj).本工作采用徑向基(radial basis function,RBF)核函數,其表達式為

采用PSO算法對LSSVM中的核參數進行優(yōu)化,形成基于粒子群優(yōu)化的最小二乘SVM(PSO-LSSVM).

2.2 基于極限學習機的風速預測

ELM是一種快速的單隱層前饋神經網絡訓練算法[8].針對訓練數據樣本(x,t),隱含層節(jié)點數為L、激發(fā)函數為g(x)的ELM模型輸出函數表達式為

式中,β =[βi1,βi2,···,βin]T為第 i隱層節(jié)點和輸出節(jié)點間的連接權向量;ω =[ωi1,ωi2,···,ωin]T為連接第i隱層節(jié)點和輸入節(jié)點的權重;bi為第i隱層節(jié)點的偏置;tj為第j個節(jié)點的輸出值,ωixj為ωi和xj的內積.激發(fā)函數g(x)可以為Sigmoid,Sine或Hardlim等.

式(11)的矩陣表達式可表示為

式中,H=式中,H為隱層輸出矩陣,其第i列表示為第i個隱層節(jié)點對應于輸入x1,x2,···,xN的第i個隱層神經元的輸出向量.

運用式(12),將數據樣本集映射到隱含層的特征空間中.設E(W)為ELM網絡輸出值與實際值之間的誤差平方和,問題的求解轉化為求解最優(yōu)權值W=(ω,b,β),使E(W)最小:

式中,εj=(εj1,εj2,···,εjm)T是第 j 個樣本的誤差.

當激發(fā)函數無限可微時,并不需要將網絡參數全部進行調整,輸入連接權值ω和隱含層節(jié)點偏置b在訓練時可以隨機選擇.當隱含層節(jié)點數目足夠多時,輸入權隨機取值,ELM可逼近任何連續(xù)函數.為使ELM具有較好的泛化能力,通常使L?N.因此,連接隱層和輸出節(jié)點的權值β可通過求解線性方程組Hβ=T的最小二乘解獲得,其解為式中,H+為輸出矩陣H的Moore-Penrose廣義逆矩陣.

至此,基于ELM風速預測算法的步驟如下:

(1)隨機賦值隱層節(jié)點和輸入節(jié)點的權重ωi、隱層節(jié)點偏置bi(i=1,2,···,L);

(2)計算隱含層輸出矩陣H=

(3)通過求解線性方程組(13)的最小二乘解計算輸出層權重β.

圖1給出了基于ELM和PSO-LSSVM的非平穩(wěn)下?lián)舯┝黠L速預測算法流程.

圖1 基于ELM和PSO-LSSVM的非平穩(wěn)下?lián)舯┝黠L速預測算法流程Fig.1 Flowchart of ELM and PSO-LSSVM based on non-stationary downburst wind velocity prediction algorithms

3 風速智能預測算法的數值驗證

3.1 非平穩(wěn)下?lián)舯┝黠L速模擬

下?lián)舯┝鳛槔妆┨鞖庵袕娏业南鲁翚饬髅土易矒舻孛?并由撞擊點向四周沿地表傳播的極具突發(fā)性和破壞性的一種高強風[9].運用時變自回歸滑動平均模型(auto-regressive moving average model,TARMA)[10-12]模擬m維非平穩(wěn)脈動風速的表達式為

式中,U(t)為非平穩(wěn)隨機過程向量,Ai(t)為回歸系數矩陣,B(t)為時變滑動回歸系數矩陣,p為自回歸階數,q為滑動回歸階數,X(t)是方差為1、正態(tài)分布的白噪聲序列.

TARMA模型p=4,q=1,模擬點位于沿下?lián)舯┝饕苿臃较蚯揖嚯x下?lián)舯┝骼妆┲行? 500 m處.下?lián)舯┝鞯钠骄L速模型采用Oseguera和Bowles模型;豎向分布模型采用Vicroy模型,其中豎向分布風速中最大風速Vmax=80 m/s,所處高度Zmax=67 m;風速場中某高度處徑向最大風速Vr,max=47 m/s,與下?lián)舯┝髦行乃骄嚯xrmax=1000 m,徑向長度比例系數Rr=700 m.雷暴強度隨時間變化的函數為

下?lián)舯┝髌揭扑俣萔0=8 m/s.當運用TARMA模型模擬時,上限截止頻率為2πrad,N=211,Δω =同時,考慮下?lián)舯┝髯陨硪苿?模擬時間間隔Δt=0.5 s,模擬時長為1 000 s,共2 000個樣本點.圖2給出了運用TARMA模型模擬出的高度在20 m處的非平穩(wěn)下?lián)舯┝髅}動風速結果.

圖2 運用TARMA模型模擬出的高度在20 m處的非平穩(wěn)下?lián)舯┝髅}動風速Fig.2 Non-stationary downburst f l uctuating wind velocity at 20 m height simulated by TARMA

3.2 預測算法數值驗證

ELM模型的隱層節(jié)點L=20,激發(fā)函數為Sigmoid;PSO-LSSVM采用RBF核函數,模型核參數2σ2∈[0.01,100],q=3,懲罰參數c∈[0.1,1 000].將非平穩(wěn)下?lián)舯┝髅}動風速的分解模型和預測模型兩兩組合,產生組合預測模型:EMD-ELM,EMD-PSO-LSSVM,FEEMD-ELM和FEEMD-PSO-LSSVM.

運用TARMA模型模擬出的1 000 s非平穩(wěn)下?lián)舯┝髅}動風速樣本是以0.5 s為時間單位,則樣本中有2 000個風速點.取前1 000個風速點(500 s)構成訓練集,后1 000個風速點(500 s)作為測試集.對1 000 s非平穩(wěn)下?lián)舯┝髅}動風速分別進行EMD和FEEMD分解,得到如圖3所示的結果,其中的Signal為原始(模擬)非平穩(wěn)風速,imf 1～8為分解后的固有模態(tài)函數,res為篩分后余量很小的剩余分量.在FEEMD分解時,白噪聲方差α取為0.25,噪聲組的數值取為100.當α取為0,噪聲組數值取為1時,FEEMD就轉化為EMD.

將IMFs進行相空間重構,選取時間延遲τ=1,嵌入維數m=10,于是產生的訓練集為990個10維向量,測試集為1 000個10維向量.使用上述4種組合預測模型對該非平穩(wěn)下?lián)舯┝髅}動風速樣本進行預測,將各個IMF分量的預測結果進行疊加,得到非平穩(wěn)下?lián)舯┝髅}動風速的預測結果.

圖3 非平穩(wěn)下?lián)舯┝髅}動風速的分解Fig.3 Decompositions of the non-stationary downburst f l uctuating wind velocity

圖4 基于ELM和PSO-LSSVM的預測風速與模擬風速比較Fig.4 Comparisons of predicted wind velocity using ELM and PSO-LSSVM with the simulated wind velocity

圖5 基于ELM和PSO-LSSVM預測風速與模擬風速自相關函數的對比Fig.5 Auto-correlation function comparisons of predicted wind velocity using ELM and PSO-LSSVM with the simulated wind velocity

圖6 基于ELM和PSO-LSSVM預測風速與模擬風速功率譜函數的對比Fig.6 Power spectral function comparisons of predicted wind velocity using ELM and PSOLSSVM with the simulated wind velocity

運用EMD-ELM,EMD-PSO-LSSVM,FEEMD-ELM和FEEMD-PSO-LSSVM預測模型對非平穩(wěn)下?lián)舯┝髅}動風速進行預測.圖4～6分別給出了預測與模擬的非平穩(wěn)下?lián)舯┝黠L速、自相關函數以及功率譜函數.由圖4～6可知,在非平穩(wěn)風速、自相關函數和功率譜3個方面,4種預測模型的預測結果均與TARMA模型的模擬值(原始值)較好地吻合,其中FEEMD-ELM的吻合度最高.

4 風速智能預測算法的預測性能

根據訓練集和測試集,分別計算了預測風速與模擬風速的平均絕對誤差(mean absolute error,MAE)、均方根誤差(root mean square error,RMSE)和相關系數(R),以比較這4種組合預測模型的預測精度.表1給出了4種預測模型對訓練集和測試(預測)集的預測性能指標.由表1可以看出,無論是對訓練集還是測試集,使用FEEMD分解的各IMF分量來進行預測,其精度均高于EMD;采用ELM預測模型進行預測的效果優(yōu)于PSO-LSSVM.顯然,采用FEEMD-ELM的預測精度是4種預測模型中最好的.綜上所述,EMD-ELM和FEEMD-ELM是非平穩(wěn)下?lián)舯┝黠L速預測的高精度算法.

表1 訓練集和測試集的預測性能指標Table 1 Prediction performance indexes for training and testing sets

表1中,平均誤差為目標值(原始樣本數據),^yn為預測值,N為預測樣本數;均方根誤差RMSE=相關系數R=

5 風速智能預測算法的計算速度

通過比較計算時間可以發(fā)現(xiàn),運用EMD對非平穩(wěn)下?lián)舯┝髅}動風速進行分解的耗時較短;由于EEMD需要向信號中添加白噪聲平滑脈沖干擾,因此耗時相對較長;FEEMD則有效改善了EEMD耗時較長的缺點,顯著提高了EEMD的分解速度.不過,相對于預測的耗時,脈動風速分解的耗時是可以忽略的.

更為重要的是,ELM預測模型的計算耗時約為28 s,而PSO-LSSVM預測模型的計算耗時則約為821 s,PSO-LSSVM耗時約為ELM的30倍.可見,EMD-ELM和FEEMD-ELM是非平穩(wěn)下?lián)舯┝黠L速預測的高速算法.

6 結束語

經訓練集和測試集非平穩(wěn)下?lián)舯┝髅}動風速時間序列、自相關函數和功率譜模擬值與預測值以及預測性能指標的比較后發(fā)現(xiàn),對于EMD-ELM和FEEMD-ELM算法,訓練集和測試集的預測精度均高于EMD-PSO-LSSVM和FEEMD-PSO-LSSVM算法.相對于PSO-LSSVM算法,ELM預測算法的參數選取更容易、簡單,在訓練過程中不需要調整輸入權值和偏置,訓練速度顯著提高;而且,該算法只需設定合適的隱層節(jié)點和激發(fā)函數便可以獲得唯一的最優(yōu)解,故EMD-ELM和FEEMD-ELM是非平穩(wěn)下?lián)舯┝黠L速預測的高精度、高計算速度的算法,其中FEEMD-ELM是更為優(yōu)秀的算法.

[1]張翌暉,王賀,胡志堅.基于集合經驗模態(tài)分解和改進極限學習機的短期風速組合預測[J].電力系統(tǒng)保護與控制,2014,42(10):29-34.

[2]HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:a new learning scheme of feedforward neural networks[C]//Proceedings of International Joint Conference on Neural Networks.2004:985-990.

[3]WANG D,HUANG G B.Protein sequence classif i cation using extreme learning machine[C]//Proceedings of International Joint Conference on Neural Networks.2005:1406-1411.

[4]HUANG N E,SHEN Z,LONG S R.The empirical mode decomposition and Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proc Roy Soc,1998,454(17):903-905.

[5]WU Z,HUANG N E.Ensemble empirical mode decomposition:a noise-assisted data analysis method[J].Advances in Adaptive Data Analysis,2009,1(1):1-41.

[6]WANG Y H,YEH C H.On the computational complexity of the empirical mode decomposition algorithm[J].Physica A,2014,1:159-167.

[7]SUYKENS J A K,VAN DEWALLE J.Least squares support vector machine classif i ers[J].Neural Processing Letters,1999,9:293-300.

[8]HUANG G B,ZHU Q Y,SIEW C K.Extreme learning machine:theory and application[J].Neurocomputing,2006,70(1/2/3):489-501.

[9]李錦華,吳春鵬,陳水生.下?lián)舯┝鞣瞧椒€(wěn)脈動風速數值模擬[J].振動與沖擊,2014,33(14):54-60.

[10]LI J H,LI C X,HE L,et al.Extended modulating functions for simulation of wind velocities with weak and strong nonstationarity[J].Renewable Energy,2015,5:384-397.

[11]何亮.基于時變ARMA的非平穩(wěn)風速模擬與預測[D].上海:上海大學,2015.

[12]李春祥,遲恩楠,何亮,等.基于時變ARMA和EMD-PSO-LSSVM算法的非平穩(wěn)下?lián)舯┝黠L速預測[J].振動與沖擊,2016,35(17):33-38.