基于RFE 特征選擇的PSO-SVM 用電量預(yù)測算法

羅紅郊，馬曉琴，孫 妍，張華銘

（1.國網(wǎng)青海省電力公司信息通信公司，青海西寧 810000；2.北京清軟創(chuàng)新科技股份有限公司，北京 100085）

近年來，隨著新型電力系統(tǒng)建設(shè)進(jìn)程的加快，電力行業(yè)也開始逐步推進(jìn)企業(yè)數(shù)字化轉(zhuǎn)型。其中，計算機技術(shù)是賦能企業(yè)數(shù)字化轉(zhuǎn)型的重要途徑。在電力市場化改革背景下，新能源將逐漸占據(jù)主體地位。相較于傳統(tǒng)的火力發(fā)電，在新能源接入后電力供給側(cè)的波動性與隨機性將顯著提升，這便要求更準(zhǔn)確地對負(fù)荷大小進(jìn)行預(yù)測，從而把控用電量趨勢[1-3]。

隨著機器學(xué)習(xí)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network,ANN)、支持向量機(Support Vector Machine,SVM)、多元回歸(Multiple Regression Analysis,MRA)等多個數(shù)學(xué)模型已逐步應(yīng)用于電力系統(tǒng)的用電量預(yù)測中。但此類算法自身的訓(xùn)練及求解過程仍存在迭代效率低、容易陷入局部最優(yōu)等問題，會直接影響到模型的預(yù)測精度[4-5]。此外，由于影響用電量的因素較多，在進(jìn)行模型算法的特征選擇時無法全面顧及，這導(dǎo)致模型在訓(xùn)練時易產(chǎn)生維度缺陷，從而影響算法的性能發(fā)揮[6-7]?；谏鲜龇治?，該文一方面從影響用電量的因素出發(fā)，使用遞歸特征消除法(Recursive Feature Elimination,RFE)篩選用電量特征指標(biāo)，以提高機器學(xué)習(xí)算法的迭代效率；另一方面則對傳統(tǒng)支持向量機算法的訓(xùn)練方式加以優(yōu)化，引入改進(jìn)后的粒子群(Particle Swarm Optimization,PSO)算法來提升模型的預(yù)測精度。

1 理論分析

1.1 算法框架

支持向量機(SVM)是一種常見的基于統(tǒng)計學(xué)理論的機器學(xué)習(xí)算法，其在小樣本、高維度的非線性擬合問題上具有廣泛的應(yīng)用[8-13]。但傳統(tǒng)的SVM 算法在確定回歸參數(shù)時，通常基于計算機遍歷、人工選取等方法，從而影響了算法的使用效率及預(yù)測性能，因此需對其進(jìn)行優(yōu)化與改進(jìn)[14]。設(shè)規(guī)模為l的樣本集為{(xi,yi),i=1,2,…,l}，xi、yi分別是輸入值與其對應(yīng)的輸出值。設(shè)f(x)為以x為自變量的回歸估計函數(shù)：

式中，ε是不敏感損失函數(shù)。當(dāng)樣本落入以f(x)為中心且距離為2ε的區(qū)域時，記回歸損失為0；而當(dāng)樣本未落入該區(qū)域時，則模型對樣本進(jìn)行懲罰。SVM 算法通過構(gòu)造合適的f(x)，在ε盡可能較小的情況下，實現(xiàn)最少的樣本懲罰L。以線性的f(x)為例，可表示為：

此時，上述的優(yōu)化問題可轉(zhuǎn)化為：

通常在求解時，為提升模型的泛化性能，會引入松弛變量ξi、與懲罰系數(shù)C，此時式（3）可改寫為：

在求解式（4）時，引入拉格朗日乘子(Lagrange Multiplier)，此時根據(jù)：

1.2 基于PSO的算法優(yōu)化

根據(jù)上文所描述的基于傳統(tǒng)優(yōu)化方式SVM 算法中，C、ε等參數(shù)均會影響模型回歸的精度。因此，文中使用粒子群(PSO)算法來確定SVM 算法的參數(shù)[15-16]。該文粒子群算法中引入了自適應(yīng)調(diào)整機制和慣性權(quán)重機制，具體流程如圖1 所示。

圖1 基于PSO優(yōu)化的SVM算法流程

首先對于規(guī)模為m的種群，按照20%、30%、50%的比率劃分為A、B、C 三個子種群：

1）在A 種群內(nèi)部，變異策略為：

慣性權(quán)重的計算策略為：

2）在B 種群內(nèi)部，變異策略為：

慣性權(quán)重的計算策略為：

3）在C 種群內(nèi)部，變異策略為：

慣性權(quán)重的計算策略為：

2 方法實現(xiàn)

2.1 基于RFE的特征選擇策略

該文算法所設(shè)計的應(yīng)用場景主要用于居民用電量預(yù)測。經(jīng)過前期的數(shù)據(jù)清洗，已獲取某地區(qū)2017—2021年間342個小區(qū)每日的用電量數(shù)據(jù)，且數(shù)據(jù)采集的頻率為15 min/次。此外，還搜集并清洗了小區(qū)用戶規(guī)模、小區(qū)地理位置、臺區(qū)容量以及居民負(fù)荷等標(biāo)號為1-30 的不同類別數(shù)據(jù)，作為模型的輸入特征。

根據(jù)SVM 算法的特性，該模型對于低維數(shù)據(jù)的回歸具有更優(yōu)的泛化性能。因此，需從30 組特征中隨機選取一個作為PSO-SVM 模型的輸入。

該文在進(jìn)行特征選擇時，基于SVM 的遞歸特征消除特性(RFE)基本思路描述如下：對于目標(biāo)函數(shù)Lp，計算在1-30 個特征中的第i個特征Δwi被剔除時Lp的變化情況，即：

此時，能夠得到樣本集中每個特征的排序系數(shù)：

將采集的所有數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，消除數(shù)據(jù)量綱對模型預(yù)測的影響。

根據(jù)圖2 的計算結(jié)果可知，使用11 個指標(biāo)作為模型的特征輸入時，即可對模型精度產(chǎn)生97.99%的貢獻(xiàn)度，且PSO-SVM 能夠取得綜合最優(yōu)的性能。這11 個指標(biāo)及各自的貢獻(xiàn)度，如表1 所示。

表1 文中采用的指標(biāo)及貢獻(xiàn)度

圖2 RFE特征選擇計算結(jié)果

2.2 仿真結(jié)果

該文在計算機軟件環(huán)境下對改進(jìn)后的SVM、PSO算法性能進(jìn)行評估。具體環(huán)境參數(shù)如表2所示。

表2 算法仿真的軟硬件環(huán)境

首先評估文中對PSO 算法的改進(jìn)效果，使用標(biāo)準(zhǔn)測試函數(shù)進(jìn)行驗證。所選擇的測試函數(shù)為Schaffer’s F6 及Rosenbrock，其表達(dá)式分別如下：

其中，式（17）為二維函數(shù)，最優(yōu)目標(biāo)值為0；式（18）則是n維函數(shù)，取n=30，最優(yōu)目標(biāo)值為100。

在驗證時，采用標(biāo)準(zhǔn)的PSO 算法作為對比，PSO算法中的參數(shù)與文中改進(jìn)后特有參數(shù)的取值如表3所示。

表3 算法參數(shù)設(shè)置

對兩個函數(shù)分別進(jìn)行100 次迭代優(yōu)化，其結(jié)果如表4、5 所示。

表4 Schaffer’s F6的優(yōu)化結(jié)果

Schaffer’s F6和Rosenbrock分別為多峰函數(shù)和單峰函數(shù)。從表4 的結(jié)果可以看出，改進(jìn)后的PSO 算法將Schaffer’s F6 的達(dá)優(yōu)率提升了11%，平均迭代次數(shù)減少了661.78次，即降低67.36%；由表5可知，改進(jìn)后的PSO算法將Rosenbrock的達(dá)優(yōu)率提升了15.92%，平均迭代次數(shù)則降低了62.04%。綜合來看，改進(jìn)后的PSO 算法對單峰函數(shù)的優(yōu)化精度提升效果更為顯著，而對多峰函數(shù)的迭代效率優(yōu)化效果則更好。

表5 Rosenbrock的優(yōu)化結(jié)果

表6 給出了該文算法在用電量預(yù)測時的效果統(tǒng)計，其預(yù)測精度采用平均絕對誤差(Mean Absolute Error,MAE)和均方根誤差(Root Mean Square Error,RMSE)兩個指標(biāo)進(jìn)行評估。

表6 不同算法的預(yù)測指標(biāo)結(jié)果

從表中可以看出，采用PSO 進(jìn)行參數(shù)優(yōu)化的普通PSO-SVM 算法與使用傳統(tǒng)方式優(yōu)化的SVM 算法相比，MAE 與RMSE 分別提升了3.36%和2.06%，證明了粒子群算法在參數(shù)優(yōu)化時的作用。此外，該文算法相較于普通的PSO-SVM 算法，MAE 及RMSE 分別提升了5.79%和2.88%，說明該文算法在迭代效率與求解精度上均有顯著提升，這與上文的測試結(jié)果具有一致性。

3 結(jié)束語

該文使用SVM 算法的遞歸特征消除特性對用戶用電量預(yù)測的指標(biāo)進(jìn)行了篩選，提升了算法的訓(xùn)練效率。文中還對PSO 算法進(jìn)行了一定的改進(jìn)，且改進(jìn)后的PSO 算法收斂速度更快，預(yù)測精度更高。隨著新型電力系統(tǒng)建設(shè)進(jìn)程的加快，該文研究算法將在電力行業(yè)取得更為廣泛的應(yīng)用。