改進(jìn)鯨魚算法優(yōu)化混合核支持向量機(jī)在徑流預(yù)測(cè)中的應(yīng)用

周有榮，王 凱

(1.臨滄潤(rùn)汀水資源科技服務(wù)有限公司，云南 臨滄 677000；2.云南省水文水資源局臨滄分局云南，云南 臨滄 677000)

1 研究背景

徑流預(yù)測(cè)預(yù)報(bào)受氣候、下墊面條件等諸多因素的影響，傳統(tǒng)數(shù)理統(tǒng)計(jì)等方法難以獲得理想的預(yù)測(cè)精度。支持向量機(jī)(support vector machines，SVM)由于良好容錯(cuò)性、智能化和自學(xué)習(xí)等優(yōu)點(diǎn)，已在水文預(yù)測(cè)預(yù)報(bào)[1-3]及枯水期月徑流預(yù)測(cè)[4,5]中得到應(yīng)用。但在實(shí)際應(yīng)用中，SVM存在核函數(shù)等關(guān)鍵參數(shù)選取困難以及單一核函數(shù)制約SVM性能兩方面的不足。目前，除遺傳算法[3](GA)、粒子群優(yōu)化(PSO)算法[4]等常規(guī)智能算法用于SVM核函數(shù)等關(guān)鍵參數(shù)的選取外，灰狼優(yōu)化(GWO)算法[2]、入侵雜草優(yōu)化(IWO)算法[6]、布谷鳥搜索(CS)算法[7]等新型群體智能算法嘗試用于SVM關(guān)鍵參數(shù)的選取，并取得了較好的應(yīng)用效果。研究表明，除SVM關(guān)鍵參數(shù)選取外，選取合適的核函數(shù)是改善SVM預(yù)測(cè)效果的重要手段[8]，高斯核(gaussian kernel)函數(shù)屬典型的局部學(xué)習(xí)能力強(qiáng)而泛化能力弱的局部核函數(shù)[9]；多項(xiàng)式核(polynomial kernel)函數(shù)的優(yōu)缺點(diǎn)與高斯核函數(shù)相反，其屬典型的局部學(xué)習(xí)能力弱而泛化能力強(qiáng)的全局性核函數(shù)[10]。為提升SVM性能，國內(nèi)學(xué)者基于多項(xiàng)式全局核函數(shù)、高斯徑向基局部核函數(shù)構(gòu)建混合核SVM(hybrid kernel support vector machine,MSVM)，并將之用于金融時(shí)間序列分析[9]、磨礦粒度預(yù)測(cè)[12]、卷煙銷售量預(yù)測(cè)[13]等領(lǐng)域，取得較好的預(yù)測(cè)效果。目前，SVM用于水文預(yù)測(cè)預(yù)報(bào)的應(yīng)用研究中，90%以上均選用高斯核SVM，其預(yù)測(cè)精度尚有進(jìn)一步提升的空間[13]。

為進(jìn)一步提高水文預(yù)測(cè)預(yù)報(bào)精度，本文構(gòu)建基于多項(xiàng)式核與高斯核相融合的混合核支持向量機(jī)(MSVM)；針對(duì)基本鯨魚優(yōu)化算法(whale optimization algorithm，WOA)存在的易陷入局部極值、收斂速度慢等不足，提出基于拉普拉斯交叉算子改進(jìn)的拉普拉斯鯨魚優(yōu)化算法(laplace whale optimization algorithm，LXWOA)，利用LXWOA優(yōu)化MSVM關(guān)鍵參數(shù)和混合權(quán)重系數(shù)，提出LXWOA-MSVM徑流預(yù)測(cè)模型，并構(gòu)建高斯核LXWOA-GSVM、多項(xiàng)式核LXWOA-PSVM及LXWOA-BP作對(duì)比預(yù)測(cè)模型，以云南省清水江水文站枯水期1～4月月徑流預(yù)測(cè)為例進(jìn)行實(shí)例研究，旨在驗(yàn)證LXWOA-MSVM模型用于枯水期月徑流預(yù)測(cè)的可行性和有效性。

2 拉普拉斯鯨魚優(yōu)化算法

2.1 鯨魚優(yōu)化算法

鯨魚優(yōu)化算法(Whale Optimization Algorithm，WOA)是澳大利亞學(xué)者M(jìn)irjalili通過模擬鯨魚捕食行為而提出的一種新型智能算法。WOA 算法的位置更新行為主要分為：游走覓食、包圍收縮以及螺旋捕食這三種行為。參考文獻(xiàn)[14,15]，基本W(wǎng)OA算法3種捕食行為簡(jiǎn)述如下：

(1)游走覓食。WOA采用種群中的隨機(jī)個(gè)體位置來導(dǎo)航尋找食物，其利用式(1)更新鯨魚空間位置：

(1)

式中：X(j+1) 為第(j+1)次迭代鯨魚空間位置；X*(j)為當(dāng)前最佳鯨群空間位置；D=|CX*(j)-X(j)|表示個(gè)體X在位置更新前距離種群隨機(jī)個(gè)體X*的長(zhǎng)度；A和C是系數(shù)變量，其中A=2ar-a，C=2r，a=2-j/M，M最大迭代次數(shù)；r為[0,1]上的隨機(jī)數(shù)。

(2)包圍收縮。人工鯨魚在尋找到食物后，其利用式(2)更新鯨魚空間位置：

X(j+1)=Xrand-A|CXrand(j)-X|

式中：Xrand表示當(dāng)前種群中隨機(jī)一個(gè)鯨魚個(gè)體所在的空間位置。

(3)螺旋捕食。鯨魚以螺旋式的移動(dòng)方式向當(dāng)前最優(yōu)個(gè)體靠近，將螺旋式數(shù)學(xué)模型引入，利用式(3)更新鯨魚空間位置：

(3)

式中：D′ 表示第i頭鯨當(dāng)前位置和當(dāng)前最優(yōu)個(gè)體之間的距離；b表示對(duì)數(shù)螺旋形狀常數(shù)；l為[-1,1]之間的隨機(jī)數(shù)；p表示[0,1]上的隨機(jī)數(shù)。

2.2 拉普拉斯鯨魚優(yōu)化算法

WOA 具有較好的尋優(yōu)性能，但在解決復(fù)雜優(yōu)化問題時(shí)存在易陷入局部極值和收斂速度慢等不足。本文基于拉普拉斯交叉算子(LX)改進(jìn)WOA。LX采用拉普拉斯分布的密度函數(shù)系數(shù)代替算術(shù)交叉算子系數(shù)，假設(shè)在第j代的2個(gè)鯨魚個(gè)體X1和X2之間進(jìn)行交叉，則交叉后所產(chǎn)j+1代的2個(gè)新鯨魚個(gè)體表示為[16]：

(4)

拉普拉斯隨機(jī)分布數(shù)β由以下規(guī)則創(chuàng)建：

(5)

式中：s、q為拉普拉斯分布參數(shù)，s∈R是定位參數(shù)，q>0是尺度參數(shù)；u表示在[0,1]上均勻分布的隨機(jī)數(shù)。

3 LXWOA-MSVM預(yù)測(cè)模型

3.1 混合核支持向量機(jī)

SVM回歸用核函數(shù)將數(shù)據(jù)映射到高維特征空間，再在高維特征空間中進(jìn)行線性回歸，依據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)化最小化原則，將其學(xué)習(xí)過程轉(zhuǎn)換為凸優(yōu)化問題[1-7]，即：

(6)

最終回歸函數(shù)為：

(7)

為進(jìn)一步改善SVM預(yù)測(cè)效果，本文融合多項(xiàng)式核函數(shù)和高斯核函數(shù)優(yōu)點(diǎn)，基于libsvm工具箱構(gòu)造一種滿足Mercer條件的混合核函數(shù)，表達(dá)式為：

Kmin=ρKpoly+(1-ρ)KRBF

(8)

式中：Kpoly=[g(xxi)+1]3表示三次多項(xiàng)式核函數(shù)；KRBF=exp(-g‖x-xi‖2)，g>0，表示RBF核函數(shù)；ρ表示權(quán)重系數(shù)。

式(8)中，ρ值決定單一核函數(shù)在混合核函數(shù)中所占的比重，當(dāng)ρ>0.5時(shí)，多項(xiàng)式核函數(shù)占主導(dǎo)地位；ρ<0.5時(shí)，高斯核函數(shù)占主導(dǎo)地位[13]。

3.2 LXWOA-MSVM預(yù)測(cè)實(shí)現(xiàn)步驟

LXWOA優(yōu)化MSVM關(guān)鍵參數(shù)有懲罰因子C、核函數(shù)參數(shù)g、不敏感系數(shù)ε和權(quán)重系數(shù)ρ，其預(yù)測(cè)實(shí)現(xiàn)步驟可歸納如下：

Step1 確定訓(xùn)練、檢驗(yàn)樣本數(shù)量；設(shè)定懲罰因子C、核函數(shù)參數(shù)g、不敏感系數(shù)ε和權(quán)重系數(shù)ρ的搜尋范圍；利用式(9)對(duì)實(shí)例數(shù)據(jù)序列進(jìn)行歸一化處理。

(9)

Step2 選用平均相對(duì)誤差絕對(duì)值之和作為L(zhǎng)XWOA-MSVM適應(yīng)度函數(shù)：

(10)

Step3 設(shè)置LXWOA最大迭代次數(shù)M，群體數(shù)目N，對(duì)數(shù)螺旋形狀常數(shù)b=2，拉普拉斯分布參數(shù)s、q。令當(dāng)前迭代次數(shù)t=1，初始化鯨魚種群個(gè)體空間位置。

Step4 計(jì)算每個(gè)鯨群個(gè)體適應(yīng)度值，計(jì)算種群的適應(yīng)度，找到并記錄種群中的最優(yōu)個(gè)體位置X*。

Step5 迭代階段。若j≤M時(shí)，更新a、A、C、l和p；當(dāng)p<0.5時(shí)，若|A| <1，利用式(1)更新鯨群空間位置；若|A| ≥1，則從當(dāng)前群體中隨機(jī)確定鯨群位置Xrand，并利用式(2)更新鯨群空間位置；若p≥0.5時(shí)，利用式(3)更新當(dāng)前鯨群個(gè)體的空間位置。

Step6 交叉運(yùn)算。利用式(4)隨機(jī)選擇2個(gè)鯨魚個(gè)體X1和X2以之間進(jìn)行交叉，產(chǎn)生新的鯨魚個(gè)體。

Step7 計(jì)算更新后的鯨群個(gè)體適應(yīng)度值，若新鯨群個(gè)體適應(yīng)度優(yōu)于前代鯨群個(gè)體適應(yīng)度，則新鯨群個(gè)體位置替代原鯨群個(gè)體位置；否則保留原鯨群個(gè)體位置。

Step8 令t=t+1。判斷算法是否達(dá)到終止條件，若是，輸出最優(yōu)個(gè)體位置X*及其適應(yīng)度值算法結(jié)束；否則重復(fù)Step5～Step8。

Step9 利用LXWOA優(yōu)化獲得的最優(yōu)個(gè)體位置X*，即懲罰因子C、核函數(shù)參數(shù)g、不敏感系數(shù)ε和權(quán)重系數(shù)ρ代入LXWOA-MSVM模型進(jìn)行預(yù)測(cè)。

4 實(shí)例驗(yàn)證

(1)數(shù)據(jù)來源及分析。本文以云南省清水江水文站1971-2005年枯水期1-4月月徑流預(yù)測(cè)為例進(jìn)行驗(yàn)證分析。利用SPSS軟件分析清水江水文站1971-2004年上年度月徑流與次年度枯水期1-4月月徑流相關(guān)關(guān)系，結(jié)果見表1。

從表1來看，該站上年度8-12月月徑流與次年度1-4月月徑流存在較好的相關(guān)性(除次年4月與上年度3月相關(guān)性較差外)。本文分別選取表1中帶“**”的月均徑流量作為影響因子預(yù)測(cè)次年枯水期1～4月月均徑流量，并選取前24組實(shí)測(cè)月徑流作為訓(xùn)練樣本，后10組月徑流作為預(yù)測(cè)樣本。樣本歸一化處理見式(9)。

表1 上年度1-12月月均流量與次年1-4月月相關(guān)系數(shù)

(2)參數(shù)設(shè)置。LXWOA最大迭代次數(shù)M=200，群體數(shù)目N=50；待優(yōu)化參數(shù)搜索空間設(shè)置為： MSVM模型參數(shù)搜索范圍：懲罰因子C∈[2-10,210]、核函數(shù)參數(shù)g∈[2-10,210]、不敏感系數(shù)ε∈[2-10,210]、交叉驗(yàn)證參數(shù)V=5，變量維度D為4維，權(quán)重系數(shù)ρ搜索空間為[0,1]。BP模型網(wǎng)絡(luò)隱含層和輸出層傳遞函數(shù)均分別采用logsig和purelin，訓(xùn)練函數(shù)均采用trainlm，設(shè)定期望誤差為0.001, 最大訓(xùn)練輪回為100次，搜索空間∈[-1,1]。

(3)模型構(gòu)建及預(yù)測(cè)?；谏鲜龇治?，分別構(gòu)建LXWOA-MSVM、LXWOA-GSVM、LXWOA-PSVM和LXWOA-BP月徑流預(yù)測(cè)模型，選取平均相對(duì)誤差絕對(duì)值MRE、最大相對(duì)誤差絕對(duì)值MaxRE作為評(píng)估指標(biāo)評(píng)估各模型預(yù)測(cè)效果，見表2。并繪制圖1～圖4各月份擬合-預(yù)測(cè)相對(duì)誤差效果圖。

表2 實(shí)例枯水期1-4月月徑流訓(xùn)練、預(yù)測(cè)結(jié)果及其比較表 %

圖1 1月月徑流擬合-預(yù)測(cè)相對(duì)誤差效果圖

圖2 2月月徑流擬合-預(yù)測(cè)相對(duì)誤差效果圖

圖3 3月月徑流擬合-預(yù)測(cè)相對(duì)誤差效果圖

圖4 4月月徑流擬合-預(yù)測(cè)相對(duì)誤差效果圖

(4)優(yōu)化結(jié)果。經(jīng)優(yōu)化，確定LXWOA-MSVM預(yù)測(cè)模型枯水期1-4月關(guān)鍵參數(shù)和權(quán)重系數(shù)分別如下：1月，懲罰因子C=21.482 0、核函數(shù)參數(shù)g=2-2.763 4、不敏感系數(shù)ε=2-4.295 6和多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ=0.341 9；2月，懲罰因子C=22.250 2、核函數(shù)參數(shù)g=2-2.530 5、不敏感系數(shù)ε=2-4.558 5和多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ=0.526 7；3月，懲罰因子C=27.291 4、核函數(shù)參數(shù)g=2-3.253 5、不敏感系數(shù)ε=2-2.165 8和多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ=0.832 0；4月，懲罰因子C=29.048 7、核函數(shù)參數(shù)g=2-0.461 9、不敏感系數(shù)ε=2-2.343 6和多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ=0.564 6。

從表2及圖1～圖4可以得出以下結(jié)論：

(1)LXWOA-MSVM模型對(duì)實(shí)例1-4月月徑流預(yù)測(cè)的平均相對(duì)誤差絕對(duì)值分別為4.09%、3.32%、3.51%和5.64%，預(yù)測(cè)精度分別比LXWOA-GSVM模型提高了13.7%、27.0%、54.7%和36.3%；比LXWOA-PSVM模型提高了31.3%、40.3%、15.0%和16.8%；比LXWOA-BP模型提高了43.1%、60.8%、54.7%和54.8%。表明：①LXWOA能有效優(yōu)化MSVM模型的懲罰因子、核函數(shù)參數(shù)、不敏感損失系數(shù)和權(quán)重系數(shù)，優(yōu)化結(jié)果合理、可靠，優(yōu)化結(jié)果使LXWOA-MSVM模型獲得較好的預(yù)測(cè)精度和泛化能力；②LXWOA-MSVM模型能有效融合多項(xiàng)式核函數(shù)和高斯核函數(shù)二者優(yōu)點(diǎn)，彌補(bǔ)各自在實(shí)際應(yīng)用中的不足，有效改善SVM的預(yù)測(cè)精度和泛化能力。③LXWOA-MSVM模型用于枯水期月徑流預(yù)測(cè)的可行性和有效性，模型及方法可為水文預(yù)測(cè)預(yù)報(bào)及相關(guān)預(yù)測(cè)研究提供新的途徑和方法。

(2)LXWOA-MSVM模型具有較好的擬合-預(yù)測(cè)精度，其獲得的MRE和MaxRE均優(yōu)于LXWOA-GSVM、LXWOA-PSVM和LXWOA-BP 3種模型，尤其是對(duì)于2月、3月的預(yù)測(cè)精度為最高，其MRE分別達(dá)到了3.32%和3.51%。

(3)從LXWOA優(yōu)化MSVM獲得的多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ來看，1月的權(quán)重系數(shù)ρ=0.341 9，表明高斯核函數(shù)占主導(dǎo)地位；3月的權(quán)重系數(shù)ρ=0.832 0，表明多項(xiàng)式核函數(shù)占主導(dǎo)地位；2月和4月的多項(xiàng)式核函數(shù)權(quán)重系數(shù)ρ略大于0.5，表明多項(xiàng)式核函數(shù)、高斯核函數(shù)均占主導(dǎo)地位，但多項(xiàng)式核函數(shù)權(quán)重略大于高斯核函數(shù)。

(4)LXWOA-MSVM模型具有通用性，即LXWOA-MSVM模型適用于影響因子與預(yù)測(cè)因子之間滿足一定的相關(guān)性，且為多輸入、單輸出的預(yù)測(cè)實(shí)例。

(5)LXWOA-MSVM模型預(yù)測(cè)精度優(yōu)于LXWOA-GSVM模型和LXWOA-PSVM模型，遠(yuǎn)優(yōu)于LXWOA-BP模型。LXWOA-GSVM、LXWOA-PSVM模型的預(yù)測(cè)精度在伯仲之間。

5 結(jié) 語

分析了SVM用于水文預(yù)測(cè)預(yù)報(bào)中存在的不足，基于多項(xiàng)式核函數(shù)與高斯核函數(shù)構(gòu)造MSVM。針對(duì)基本W(wǎng)OA存在的收斂速度慢和易陷入局部最優(yōu)等不足，提出拉普拉斯鯨魚優(yōu)化算法(LXWOA)。利用LXWOA同時(shí)優(yōu)化MSVM關(guān)鍵參數(shù)和混合權(quán)重系數(shù)，提出LXWOA-MSVM徑流預(yù)測(cè)模型，并構(gòu)建LXWOA-GSVM、LXWOA-PSVM和LXWOA-BP 作對(duì)比模型，以云南省清水江水文站枯水期1-4月月徑流預(yù)測(cè)為例進(jìn)行實(shí)例研究。結(jié)果表明：LXWOA能有效優(yōu)化MSVM模型的懲罰因子等關(guān)鍵參數(shù)，獲得較好的預(yù)測(cè)效果；LXWOA-MSVM模型能有效融合多項(xiàng)式核函數(shù)和高斯核函數(shù)二者優(yōu)點(diǎn)，彌補(bǔ)各自在實(shí)際應(yīng)用中的不足，有效改善SVM的預(yù)測(cè)精度和泛化能力； LXWOA-MSVM模型用于枯水期月徑流預(yù)測(cè)的可行性和有效性，模型及方法可為水文預(yù)測(cè)預(yù)報(bào)及相關(guān)預(yù)測(cè)研究提供新的途徑和方法。