基于混合蟻群和粒子群優(yōu)化LSSVM的脈動風(fēng)速預(yù)測

李春祥， 丁曉達(dá), 葉繼紅

(1.上海大學(xué) 土木工程系，上海 200072； 2.東南大學(xué) 混凝土與預(yù)應(yīng)力混凝土結(jié)構(gòu)教育部重點實驗室，南京 210018)

?

基于混合蟻群和粒子群優(yōu)化LSSVM的脈動風(fēng)速預(yù)測

李春祥1， 丁曉達(dá)1, 葉繼紅2

(1.上海大學(xué) 土木工程系，上海 200072； 2.東南大學(xué) 混凝土與預(yù)應(yīng)力混凝土結(jié)構(gòu)教育部重點實驗室，南京 210018)

為提高最小二乘支持向量機(jī)(LSSVM)對脈動風(fēng)速預(yù)測的精確性，提出了基于混合蟻群和粒子群優(yōu)化LSSVM的預(yù)測方法。對LSSVM參數(shù)進(jìn)行搜索尋優(yōu)，主要分為兩階段：第一階段，利用蟻群算法在參數(shù)空間進(jìn)行全局搜索，實現(xiàn)對LSSVM參數(shù)的初步尋優(yōu)；第二階段，利用蟻群算法獲得的尋優(yōu)結(jié)果初始化粒子群粒子位置，實行進(jìn)一步的粒子群搜索尋優(yōu)，獲得更為精確的LSSVM。運用基于混合蟻群和粒子群優(yōu)化的LSSVM對脈動風(fēng)速時程進(jìn)行預(yù)測，并與分別基于蟻群和粒子群優(yōu)化的LSSSVM預(yù)測結(jié)果進(jìn)行對比。數(shù)值分析表明，基于混合蟻群和粒子群優(yōu)化的LSSVM預(yù)測方法精度高、魯棒性強(qiáng)，具有工程應(yīng)用前景。

脈動風(fēng)速預(yù)測；最小二乘支持向量機(jī)；混合智能優(yōu)化；蟻群算法；粒子群算法

風(fēng)振時域計算分析，可以更全面地了解超高層建筑、大跨橋梁和空間結(jié)構(gòu)等的風(fēng)振響應(yīng)特性以及風(fēng)致振動控制的有效性。風(fēng)速通常分為平均風(fēng)速和脈動風(fēng)速，其中脈動風(fēng)速具有隨機(jī)特征，其周期較短，更接近結(jié)構(gòu)的自振周期，使結(jié)構(gòu)可能發(fā)生順風(fēng)向振動、橫風(fēng)向馳振、漩渦脫落、扭轉(zhuǎn)發(fā)散振動以及其它耦合振動的風(fēng)致隨機(jī)振動[1]。因此，掌握完整的脈動風(fēng)速時程資料，對結(jié)構(gòu)設(shè)計具有重要意義。而我們知道，實測、數(shù)值模擬與預(yù)測是建立脈動風(fēng)速數(shù)據(jù)庫的手段。

隨著信息科學(xué)和技術(shù)的迅速發(fā)展，基于智能優(yōu)化的LSSVM來預(yù)測脈動風(fēng)速已經(jīng)獲得很大的發(fā)展。智能優(yōu)化主要有蟻群算法、遺傳算法和粒子群算法等，這些優(yōu)化算法可以增強(qiáng)對LSSVM參數(shù)的尋優(yōu)能力。其中，粒子群算法因其運算速度快，計算能力強(qiáng)等優(yōu)點，獲得了廣泛的應(yīng)用。但是，粒子群算法容易過早收斂且搜索的精度較低，使得其開發(fā)能力受到很大的限制。最近幾年，許多研究者通過一些調(diào)整措施改善了粒子群算法的開發(fā)能力[2-4]。本文結(jié)合蟻群算法具有全局搜索能力強(qiáng)、搜索精度高的特點，通過蟻群和粒子群混合來改善粒子群算法的參數(shù)搜索能力，在保證運算速度的前提下，提高整個算法的參數(shù)尋優(yōu)效率，以獲得預(yù)測精度高、魯棒穩(wěn)定性強(qiáng)的LSSVM。接著，運用混合智能優(yōu)化的LSSVM對脈動風(fēng)速時程樣本進(jìn)行預(yù)測，并與分別基于蟻群和粒子群優(yōu)化的LSSSVM預(yù)測結(jié)果進(jìn)行對比。

1 最小二乘支持向量機(jī)

最小二乘支持向量機(jī)(LSSSVM)[5]將最小二乘線性理論引入到支持向量機(jī)(SVM)中，取代向量機(jī)利用傳統(tǒng)的二次規(guī)劃來解決函數(shù)估計問題，把傳統(tǒng)支持向量機(jī)中的不等式約束變?yōu)榈仁郊s束。基本原理是：對于一個訓(xùn)練樣本集D={(xi,yi)|i=1,2,…,N}，xi∈Rn，yi∈R，其中xi為輸入數(shù)據(jù)，yi為輸出數(shù)據(jù)，LSSSVM就是用一非線性映射φ(·)將樣本從原空間Rn映射到特征空間φ(xi)，將非線性回歸問題轉(zhuǎn)變成高維特征空間的線性回歸問題，在這個高維特征空間中，構(gòu)造最優(yōu)決策函數(shù)，最后反映射到原空間完成線性回歸。LSSSVM的線性回歸函數(shù)為：

y(x)=ωTφ(x)+b

(1)

式中：φ(·)非線性變換映射函數(shù)；ω為權(quán)向量；b為偏置量。

基于結(jié)構(gòu)風(fēng)險最小化原理，LSSSVM的目標(biāo)函數(shù)可描述為：

(2)

約束條件：yi=ωTφ(xi)+b+ei,i=1,2,…,N，其中，γ為正則化參數(shù)且γ>0；ei為誤差變量，b為偏差。在式(2)中引入拉格朗日函數(shù)，得式(3)：

L(ω,b,e,a)=

(3)

式中：αi為拉格朗日乘子，由KKT優(yōu)化條件可得，

(4)

進(jìn)一步消除式(4)中變量ω和e，得到矩陣方程：

(5)

式中:Ω=φ(xi)Tφ(xj)=K(xi,xj),i,j=1,2,…,N，K( )為核函數(shù);Y=[y1,y2,…,yN]T,P=[1,…1]T;α=[α1,α2,…,αN]T;I為單位矩陣。LSSVM的函數(shù)估計可表示為：

(6)

式中:a，b可應(yīng)用最小二乘法從方程式(5)中求得。

鑒于徑向基核函數(shù)結(jié)構(gòu)簡單、泛化能力強(qiáng)，構(gòu)造的LSSVM具有較強(qiáng)非線性預(yù)測能力。因此，本文選擇徑向基核函數(shù)作為LSSVM的核函數(shù)。徑向基核函數(shù)的數(shù)學(xué)表達(dá)式

(7)

式中:σ表示核函數(shù)寬度。

根據(jù)LSSVM理論知，影響其學(xué)習(xí)和泛化能力的主要是核函數(shù)參數(shù)σ和正則化參數(shù)γ。

2 混合蟻群和粒子群優(yōu)化算法原理

蟻群算法[6](ACO)是由意大利學(xué)者DORIGO和COLORNI受到自然界螞蟻群體間信息正反饋的啟發(fā)，通過模擬蟻群的覓食行為而提出的一種新型并行啟發(fā)式算法?？煽闯墒且环N基于解空間參數(shù)化概率分布模型(Parameterized Probabilistic Model)的全局搜索方法[7]。在基于模型的搜索算法框架中，可行解通過在一個解空間參數(shù)化概率分布模型上的搜索而產(chǎn)生，此模型的參數(shù)用以前產(chǎn)生的解來進(jìn)行更新，使得在新模型上的搜索能集中在高質(zhì)量解的搜索空間內(nèi)。其求解過程復(fù)雜度較大，迭代時間較長，容易出現(xiàn)停滯現(xiàn)象，但是其魯棒性強(qiáng)，具有較好的全局尋優(yōu)能力，易于與其它優(yōu)化算法結(jié)合。

粒子群算法(PSO)是由 KENNEDY等[8]提出的一種基于群體智能的優(yōu)化計算方法。該算法在對飛鳥集群行為觀察的基礎(chǔ)上，利用群體中的個體對信息的共享，實現(xiàn)整個群體從無序到有序的演化運動過程，從而獲取最優(yōu)解。粒子群算法概念和算法結(jié)構(gòu)簡單，迭代周期短，但往往需要更多的迭代次數(shù)才能找到最優(yōu)解。同時，粒子群算法容易陷入局部最優(yōu)，這使得粒子群算法的應(yīng)用受到很大限制。

因此，為了避免二者的缺點并實現(xiàn)優(yōu)勢互補(bǔ)集中，將蟻群和粒子群算法進(jìn)行混合，形成基于混合蟻群和粒子群的優(yōu)化方法(ACO+PSO)。ACO+PSO混合算法主要分為兩個階段：第一階段，采用蟻群算法進(jìn)行全局搜索，確定最優(yōu)解存在的區(qū)域；第二階段，利用蟻群算法得到的尋優(yōu)結(jié)果初始化粒子群算法，通過粒子群算法實現(xiàn)局部搜索，粒子群算法充分利用蟻群搜索得到的信息，又不依賴于梯度，在非凸空間的高效搜索，使得整個優(yōu)化算法的優(yōu)化效率和計算精度得到很大提高。為了保證第二階段粒子群算法的全局尋優(yōu)能力，用蟻群尋優(yōu)結(jié)果初始化的PSO粒子應(yīng)與其它的初始化粒子保持最大歐氏距離(Euclidean distance)[9]。

基于混合蟻群和粒子群的優(yōu)化算法步驟如下：① 初始化蟻群算法的相關(guān)參數(shù)，對需要優(yōu)化的參數(shù)進(jìn)行蟻群搜索尋優(yōu)。將滿足蟻群尋優(yōu)結(jié)果的螞蟻位置放入集合XACO。② 使用蟻群優(yōu)化算法得到的集合XACO初始化粒子群中NACO個粒子的初始位置，隨機(jī)選擇剩余粒子位置Xrnd,j(j=1,2,…,NPSO-NACO)。其中，NACO表示用蟻群算法得到的優(yōu)化解個數(shù)，NPSO表示粒子群中粒子個數(shù)。③ 用粒子群算法進(jìn)行進(jìn)一步的迭代尋優(yōu)，獲得更加精確的解。

3 基于混合蟻群和粒子群優(yōu)化(ACO+PSO)的LSSVM

基于混合蟻群和粒子群優(yōu)化的LSSVM流程圖如圖1所示?；诨旌舷伻汉土Ｗ尤簝?yōu)化的LSSVM流程如下：

圖1 基于混合蟻群和粒子群優(yōu)化的LSSVM流程圖Fig.1 Flowchart of hybridizing ant colony and particle swarm optimization based LSSVM

(1) 根據(jù)已知的脈動風(fēng)速樣本，建立訓(xùn)練集和測試集，并用下式進(jìn)行歸一化處理。

(8)

(2) 設(shè)置蟻群規(guī)NACO、最大迭代次數(shù)TACO、信息揮發(fā)系數(shù)ρ∈[0,1]以及信息素濃度Q；設(shè)置核函數(shù)參數(shù)σ和正則化參數(shù)γ的范圍，隨機(jī)產(chǎn)生一組參數(shù)序列(σ,γ)作為螞蟻的初始位置向量，建立LSSVM。

(3) 由訓(xùn)練集對LSSVM進(jìn)行訓(xùn)練學(xué)習(xí)，用式(9)計算每個螞蟻個體所在當(dāng)前位置的適應(yīng)度值，使用式(10)計算螞蟻當(dāng)前時刻所處位置j處的信息素濃度，適應(yīng)度值越小，信息素濃度越大。以均方差定義適應(yīng)度：

(9)

t時刻螞蟻所處位置j處的信息素濃度：

(10)

(4) 由每只螞蟻的信息素濃度大小，確定螞蟻適應(yīng)度值最小的位置。通過式(12)進(jìn)行信息素濃度的迭代更新，將滿足適應(yīng)度條件f≤fd(fd值大小根據(jù)驗算經(jīng)驗而定)的螞蟻位置向量(σ,γ)放入集合XACO，直至迭代結(jié)束。在迭代過程中，t時刻第k只螞蟻從解空間I中隨機(jī)選擇位置j的概率公式：

(11)

參數(shù)尋優(yōu)空間位置j處信息素濃度更新公式如下：

τj(t+m)=(1-ρ)τj(t)+Δτj(t)

(12)

式中：ρ(0<ρ<1)表示信息素?fù)]發(fā)系數(shù)；m為每次信息素迭代所需的時間。

(5) 設(shè)置粒子群的種群規(guī)模NPSO，最大迭代次數(shù)TPSO，加速度因子C1、C2，慣性權(quán)重ω等相關(guān)參數(shù)。將蟻群算法得到的XACO初始化粒子群NACO個粒子位置，并隨機(jī)選擇其他剩余粒子位置，保證XACO初始化的粒子位置與其他初始化粒子保持最大的歐氏距離。

(6) 用每個粒子位置向量進(jìn)行LSSVM訓(xùn)練，得到各粒子當(dāng)前位置的適應(yīng)度值，通過迭代確定各粒子個體極值pbest和最優(yōu)位置，粒子速度和位置更新公式見式(13)和(14)。

(13)

(14)

式中：Xit為粒子i在第t次迭代的位置，Vit為粒子i在第t次迭代時的速度；r1，r2為介于區(qū)間[0,1]的隨機(jī)數(shù)；c1，c2為加速度因子，在區(qū)間[0,2]取值，SHI等[10]提出：為保證c1r1和c2r2的平均期望為1，c1、c2的值應(yīng)取為2；ω為慣性權(quán)重。

(7) 將各粒子的個體極值pbest與群體最優(yōu)位置的適應(yīng)度值gbest比較，如果更優(yōu)，則將該粒子的最優(yōu)位置作為群體的最優(yōu)位置，該粒子的個體極值pbest作為群體極值gbest。檢查是否滿足迭代尋優(yōu)結(jié)束條件，若滿足則結(jié)束尋優(yōu)，求出最優(yōu)解(σ,γ)；否則返回步驟(3)。

(8)利用(7)中得到的最優(yōu)解(σ,γ)，建立優(yōu)化的LSSVM模型，對脈動風(fēng)速時程樣本進(jìn)行預(yù)測，得到預(yù)測的脈動風(fēng)速時程譜。

4 數(shù)值驗證

4.1 脈動風(fēng)速樣本預(yù)測思路

4.2 LSSVM參數(shù)的選取

對LSSVM核參數(shù)參數(shù)σ和正則化參數(shù)γ，令γ∈[10-1,103]，σ∈[10-1,102]；蟻群算法和粒子群算法的初始參數(shù)設(shè)置如表1所示。

表1 初始化蟻群、粒子群優(yōu)化算法參數(shù)

4.3 數(shù)值結(jié)果

選擇一座坐落于城市中心、高度為200 m的超高層建筑，采用自回歸(AR)算法，使用Davenport功率譜和指數(shù)風(fēng)剖面，沿建筑高度方向每隔10 m取一個模擬風(fēng)速點，只考慮高度方向的空間相關(guān)性，即Cx=Cy=0,Cz=10，生成了20點的脈動風(fēng)速時程樣本。其它相關(guān)參數(shù)如表2。

表2 AR法模擬脈動風(fēng)速時程的參數(shù)

為驗證預(yù)測算法在高度變化時的有效性和穩(wěn)定性，取50 m、100 m、150 m三個高度的脈動風(fēng)速時程，如圖2所示。圖3～5給出了脈動風(fēng)速功率譜和自、互相關(guān)函數(shù)模擬值與目標(biāo)值的比較，闡明了原始模擬數(shù)據(jù)的可靠性。取三個高度的250 s脈動風(fēng)速時程作為樣本，前200 s作為訓(xùn)練集，后50 s作為測試集，對三個預(yù)測算法的結(jié)果進(jìn)行比較分析，如圖6～8所示。進(jìn)一步，取500 s脈動風(fēng)速時程作為樣本，前400 s作為訓(xùn)練集，后100 s作為測試集，得到三個預(yù)測算法的預(yù)測結(jié)果誤差如圖9。

圖2 原始脈動風(fēng)速時程Fig.2 The original fluctuating wind velocity time-history series

圖3 功率譜的模擬值和目標(biāo)值Fig.3 Simulated and target values corresponding to the power spectrum

圖4 自相關(guān)函數(shù)的模擬值和目標(biāo)值Fig.4 Simulated and target values corresponding to the autocorrelation functions

圖5 互相關(guān)函數(shù)的模擬值和目標(biāo)值Fig.5 Simulated and target values corresponding to the cross-correlation functions

圖6 預(yù)測脈動風(fēng)速與實際脈動風(fēng)速對比Fig.6 Comparison of fluctuating wind velocity predicted by the three prediction algorithms with the actual fluctuating wind velocity

圖7 三種預(yù)測算法下相對誤差的對比Fig.7 Comparison of relative errors predicted by the three prediction algorithms

圖8 250 s三種預(yù)測算法下MAE和RMSE的對比Fig.8 Comparison of MAE and RMSE predicted by the three prediction algorithms in 250 s

圖9 500 s三種預(yù)測算法下MAE和RMSE的對比Fig.9Comparison of MAE and RMSE predicted by the three prediction algorithms in 500 s

圖6為三種預(yù)測算法下不同高度處預(yù)測脈動風(fēng)速與實際脈動風(fēng)速的對比，從圖中可看出，在脈動風(fēng)速呈近似線性變化和起伏較小的時間段，三種預(yù)測算法下的預(yù)測結(jié)果都比較貼近于實際的脈動風(fēng)速時程，而在脈動風(fēng)速的極值處，ACO+PSO-LSSVM的預(yù)測能力比ACO-LSSVM和PSO-LSSVM更接近于實際的脈動風(fēng)速值。脈動風(fēng)由風(fēng)的不規(guī)則性引起的，其強(qiáng)度隨時間隨機(jī)變化，波動幅度較大，短時間內(nèi)會產(chǎn)生風(fēng)速極大值和極小值，所以，ACO+PSO-LSSVM對脈動風(fēng)速極值處較好的預(yù)測能力具有重要意義。圖7為三種預(yù)測算法下不同高度處預(yù)測結(jié)果相對誤差的比較，從圖中可直觀看出，ACO+PSO-LSSVM預(yù)測結(jié)果的相對誤差更接近于零，基本控制在-0.25～+0.25之間，相比于ACO-LSSVM和PSO-LSSVM的預(yù)測結(jié)果，每個脈動風(fēng)速點的預(yù)測結(jié)果都更為精確，預(yù)測效果比較穩(wěn)定。圖8和圖9分別為50 m、100 m和150 m處三種預(yù)測算法下250 s樣本點和500 s樣本點脈動風(fēng)速預(yù)測結(jié)果的平均絕對誤差(MAE)和均方根誤差(RMSE)比較。從圖中可直觀看出，50 m、100 m和150 m處ACO+PSO-LSSVM對脈動風(fēng)速預(yù)測結(jié)果的平均絕對誤差(MAE)和均方根誤差(RMSE)較ACO-LSSVM、PSO-LSSVM的均有明顯的降低；而對于同一算法，不同高度處的誤差比較可以看出，隨著高度的增加，各評價指標(biāo)大體呈增大趨勢，但是相比于ACO-LSSVM和PSO-LSSVM，ACO+PSO-LSSVM預(yù)測結(jié)果的MAE和RMSE評價指標(biāo)變化幅度較小，數(shù)值更為穩(wěn)定。從圖8和9知，相比250 s樣本情況，在500s樣本情況下，三種預(yù)測算法預(yù)測結(jié)果的MAE和RMSE有所減小，預(yù)測效果更為精確；即隨著樣本數(shù)據(jù)的增大，預(yù)測精度更好。

5 結(jié) 論

本文提出了一種基于混合蟻群和粒子群優(yōu)化LSSVM的脈動風(fēng)速預(yù)測算法。主要結(jié)論為：

(1) 使用蟻群算法得到的優(yōu)化結(jié)果來初始化粒子群算法，可在獲得蟻群算法的全局尋優(yōu)能力和粒子群算法的局部尋優(yōu)能力的同時，而又避免了蟻群算法迭代周期長和粒子群算法易早熟的缺點。為了保證第二階段粒子群算法的全局尋優(yōu)能力，采用蟻群尋優(yōu)結(jié)果初始化的粒子位置應(yīng)與其它隨機(jī)產(chǎn)生的初始化粒子位置保持最大的歐氏距離(Euclidean distance)。

(2) 相比ACO-LSSVM和PSO-LSSVM，使用ACO+PSO-LSSVM預(yù)測算法得到的脈動風(fēng)速與實際脈動風(fēng)速更加吻合，減小了脈動風(fēng)速在極值點處的預(yù)測誤差，提高了對脈動風(fēng)速的預(yù)測能力。(3)通過三種算法平均絕對誤差(MAE)和均方根誤差(RMSE)的對比分析，驗證了ACO+PSO-LSSVM對脈動風(fēng)速的高預(yù)測性能。

[1] 黃本才. 結(jié)構(gòu)抗風(fēng)分析原理及應(yīng)用[M]. 上海：同濟(jì)大學(xué)出版社, 2008:51-59.

[2] SHI Y, LIU H, GAO L, et al. Cellular particle swarm optimization[J]. Information Sciences, 2011, 181: 4460-4493.

[3] NIKNAM T. An efficient hybrid evolutionary algorithm based on PSO and HBMO algorithms for multi-objective distribution feeder reconfiguration[J].Energy Conversion and Management, 2009, 50: 2074-2082.

[4] LI Xiaodong, YAO Xin. Cooperatively coevolving particle swarms for large scale optimization [J]. IEEE Transactions on Evolutionary Computation, 2012, 16(2): 210-224.

[5] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers [J]. Neural Processing, 1999, 9(3): 293-300.

[6] DORIGO M, STTZLE T. The ant colony optimization metaheuristic: algorithms, applications, and advances [M]. Kluwer Academic Publishers, 2002.

[7] ZLOCHIN M, BIRATTARI M, MEULEAU N, et al. Model-based search for combinatorial optimization [R]. Technical Report TR/IRIDIA/2001-15.

[8] KENNEDY J, EBERHART R C. Swarm intelligence [M]. Morgan Kaufman Publishers, 2002.

[9] SABER M A, SAEED S, EYSA S, et al. Hybridizing two-stage meta-heuristic optimization model with weighted least squares support vector machine for optimal shape of double-arch dams [J]. Applied Soft Computing, 2015, 27: 205-218.

[10] SHI Y, EBERHART R C. A modified particle swarm optimizer, in: Proceedings of IEEE International Conference on Evolutionary Computation[R]. IEEE Press, 1998.

[11] 張弦, 王宏力. 基于粒子群優(yōu)化的最小二乘支持向量機(jī)在時間序列預(yù)測中的應(yīng)用[J].中國機(jī)械工程,2011,22(21): 2572-2576. ZHANG Xian, WANG Hongli. The application of least squares support vector machine based on particle swarm optimization in the forecasting of time series[J]. China Mechanical Engineering, 2011, 22(21): 2572-2576.

Fluctuating wind velocity forecasting based on LSSVM with hybrid ACO & PSO

LI Chunxiang1, DING Xiaoda1, YE Jihong2

(1. Department of Civil Engineering, Shanghai University, Shanghai 200072, China;2. Key Laboratory of Concrete and Prestressed Concrete Structures of the Ministry of Education, Southeast University, Nanjing 210018, China)

In order to enhance the accuracy of least square support vector machines (LSSVMs) for fluctuating wind velocity prediction, the LSSVM with hybrid ant colony optimization (ACO) and particle swarm optimization(PSO) technique was proposed here. A two-stage meta-heuristic optimization framework was introduced to find the optimal parameters of LSSVM. In the first stage, the global search in the parameter space was accomplished using ACO to realize the preliminary optimization for parameters of LSSVM. In the second phase, the particle swarm’s particle positions were initialized with the first phase results and then the further optimization was implemented with PSO to acquire more accurate LSSVM. Employing this hybrid intelligent optimal LSSVM, the fluctuating wind velocity’s time histories were predicted and compared with those using LSSVM with ACO and LSSVM with PSO, respectively. The numerical results showed that the proposed method can promote the prediction accuracy and the robust of LSSVM, and has good engineering application prospects.

fluctuating wind velocity forecasting; least square support vector machine (LSSVM); hybrid intelligent optimization; ant colony optimization (ACO); particle swarm optimization (PSO)

國家自然科學(xué)基金(51378304)

2015-06-23 修改稿收到日期：2015-11-06

李春祥 男，博士，教授，博士生導(dǎo)師，1964年生

TU311

A

10.13465/j.cnki.jvs.2016.21.020