主成分分析和長(zhǎng)短期記憶網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)

吳定安，鐘建偉，王新磊，向家國(guó)，曾凡偉，胡 凱，陳 晨

（1.湖北民族大學(xué) 信息工程學(xué)院，湖北 恩施 445000；2.國(guó)網(wǎng)湖北省電力有限公司恩施供電公司，湖北 恩施 445000）

0 引 言

電力系統(tǒng)的穩(wěn)定運(yùn)行要求發(fā)電量和負(fù)荷的需求量實(shí)現(xiàn)供需動(dòng)態(tài)平衡，但電力負(fù)荷的非線性特征明顯且波動(dòng)隨機(jī)性較強(qiáng)，影響電力負(fù)荷消耗的因素多元，特別是氣象因素對(duì)負(fù)荷的影響。相關(guān)研究表明，用電負(fù)荷預(yù)測(cè)的誤差每增加1%，電力系統(tǒng)每年的運(yùn)行成本將增加數(shù)千萬(wàn)元[1]。因此需要探究電力負(fù)荷的變化規(guī)律，提高電力負(fù)荷的預(yù)測(cè)精度是目前迫切需要解決的問(wèn)題。

目前主流的電力負(fù)荷預(yù)測(cè)方法可以分為時(shí)間序列預(yù)測(cè)法和機(jī)器學(xué)習(xí)方法。其中時(shí)間序列預(yù)測(cè)法包含自回歸求和移動(dòng)法[2]、傅里葉展開(kāi)法[3]、卡爾曼濾波法[4]等；其原理是根據(jù)歷史負(fù)荷數(shù)據(jù)自身的時(shí)序性和自相關(guān)性進(jìn)行預(yù)測(cè)，該方法不需要考慮負(fù)荷的相關(guān)因素且計(jì)算速度快，預(yù)測(cè)方法較為簡(jiǎn)單，但時(shí)間序列預(yù)測(cè)法預(yù)測(cè)精度較低。機(jī)器學(xué)習(xí)方法對(duì)非線性數(shù)據(jù)擬合較強(qiáng)，隨著計(jì)算機(jī)技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)方法是目前使用較為廣泛的方法。文獻(xiàn)[5]和文獻(xiàn)[6]使用反向傳播神經(jīng)網(wǎng)絡(luò)，參數(shù)擬合能力較強(qiáng)，但是對(duì)時(shí)間序列數(shù)據(jù)不敏感，算法效率低。文獻(xiàn)[7]和文獻(xiàn)[8]使用支持向量機(jī)的方法建立預(yù)測(cè)模型，雖然得到的解是全局最優(yōu)，但在大規(guī)模數(shù)據(jù)樣本上計(jì)算速度慢，計(jì)算效率低下。

近幾年，隨著深度學(xué)習(xí)的發(fā)展和廣泛運(yùn)用，深度學(xué)習(xí)算法被運(yùn)用到電力負(fù)荷預(yù)測(cè)中。例如文獻(xiàn)[9]采用深度信念網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，雖然預(yù)測(cè)精度得到了提高，但仍未很好地利用負(fù)荷數(shù)據(jù)間的時(shí)間序列信息。深度學(xué)習(xí)中的長(zhǎng)短期記憶網(wǎng)絡(luò)算法卻可以高效利用數(shù)據(jù)間的時(shí)序信息，其泛化能力強(qiáng)，對(duì)較大和較小數(shù)據(jù)集都具有良好的學(xué)習(xí)能力，在處理非線性問(wèn)題時(shí)優(yōu)勢(shì)明顯。

本文對(duì)氣象因素進(jìn)行主成分分析（Principal Component Analysis, PCA），提出了基于PCA-LSTM電力負(fù)荷網(wǎng)絡(luò)模型，旨在提取利于提高預(yù)測(cè)精度的有效信息，去除氣象因素中的噪聲，然后將獲得的主成分和前一日的負(fù)荷數(shù)據(jù)輸入LSTM網(wǎng)絡(luò)中，不斷進(jìn)行電力負(fù)荷的滾動(dòng)預(yù)測(cè)。通過(guò)利用真實(shí)氣象因素?cái)?shù)據(jù)和負(fù)荷數(shù)據(jù)，驗(yàn)證了該方法的有效性和可行性。

1 主成分分析

負(fù)荷預(yù)測(cè)模型的輸入包括歷史負(fù)荷、歷史氣象。輸入特征間存在內(nèi)相關(guān)性。采用PCA對(duì)氣象數(shù)據(jù)進(jìn)行主成分分析，獲得的主成分可以代替原本的氣象數(shù)據(jù)，不僅可以保留之前數(shù)據(jù)的基本信息，還可以去除影響神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的噪聲[10]。

計(jì)算協(xié)方差矩陣的特征值λi及相應(yīng)的正交化單位特征向量ai，原變量第i個(gè)主成分Fi為：

確定主成分個(gè)數(shù)m，則方差貢獻(xiàn)率和累計(jì)方差貢獻(xiàn)率分別為：

計(jì)算主成分載荷系數(shù)l：

計(jì)算各影響因素在m個(gè)主成分上的得分：

累計(jì)方差貢獻(xiàn)率達(dá)到75%～90%時(shí)，對(duì)應(yīng)前m個(gè)主成分能夠包含原始負(fù)荷影響數(shù)據(jù)集中的大部分信息，因此主成分個(gè)數(shù)為m(m＜p)個(gè)。

2 長(zhǎng)短期記憶網(wǎng)絡(luò)

LSTM神經(jīng)網(wǎng)絡(luò)可有效避免傳統(tǒng)網(wǎng)絡(luò)中梯度消失與梯度爆炸的問(wèn)題。LSTM通過(guò)額外增加記憶單元，能夠記憶過(guò)去的信息，進(jìn)行長(zhǎng)時(shí)間存儲(chǔ)。LSTM的泛化能力強(qiáng)，對(duì)較大和較小數(shù)據(jù)集都具有良好的學(xué)習(xí)能力，在處理非線性問(wèn)題時(shí)優(yōu)勢(shì)明顯[11]。LSTM基本單元結(jié)構(gòu)如圖1所示。

圖1 LSTM基本單元結(jié)構(gòu)

遺忘門(mén)ft根據(jù)上一時(shí)刻的狀態(tài)Ct-1決定丟棄和保留的信息。輸入xt分別經(jīng)過(guò)σ和tanh決定要更新的數(shù)值并生成新的候選值，經(jīng)過(guò)更新運(yùn)算后的數(shù)值再與遺忘門(mén)ft一起更新單元狀態(tài)。更新后的單元狀態(tài)Ct經(jīng)tanh函數(shù)與輸出門(mén)ot運(yùn)算后輸出ht[12]。LSTM基本單元的狀態(tài)更新方程見(jiàn)式（7）～式（11）：

式中：xt和ht分別表示輸入向量和輸出向量；f、i、o分別表示遺忘門(mén)、輸入門(mén)和輸出門(mén)；Ct與Ct-1分別表示上一時(shí)刻與當(dāng)前單元狀態(tài)；ht-1與ht分別表示上一時(shí)刻與當(dāng)前隱藏層單元的輸出；σ表示sigmoid激活函數(shù)；tanh表示正切函數(shù)；W和b表示權(quán)重矩陣和偏差向量。

3 PCA-LSTM組合預(yù)測(cè)模型

3.1 模型結(jié)構(gòu)

本文提出的PCA-LSTM負(fù)荷預(yù)測(cè)模型首先將獲取的負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)進(jìn)行處理，然后通過(guò)PCA方法降維影響負(fù)荷的氣象數(shù)據(jù)，將降維后的氣象數(shù)據(jù)和負(fù)荷數(shù)據(jù)進(jìn)行歸一化處理。最后將歸一化數(shù)據(jù)構(gòu)造成數(shù)據(jù)集和測(cè)試集輸入LSTM網(wǎng)絡(luò)中進(jìn)行訓(xùn)練和預(yù)測(cè)。

PCA-LSTM預(yù)測(cè)模型由輸入層、隱藏層、輸出層、模型訓(xùn)練層和模型預(yù)測(cè)層組成。將訓(xùn)練集的數(shù)據(jù)輸入預(yù)測(cè)模型中，通過(guò)預(yù)測(cè)模型的不斷訓(xùn)練達(dá)到最大迭代次數(shù)，模型各參數(shù)達(dá)到最優(yōu)，此時(shí)模型預(yù)測(cè)效果最好；最后將測(cè)試集輸入訓(xùn)練好的模型中得到預(yù)測(cè)結(jié)果。PCA-LSTM預(yù)測(cè)流程如圖2所示。

圖2 基于PCA-LSTM的電力負(fù)荷預(yù)測(cè)建模流程

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

為評(píng)估本文提出模型的精確度，采用平均絕對(duì)百分比誤差（MAPE）、均方值誤差（RMSE）、絕對(duì)百分比誤差（APE）進(jìn)行評(píng)估。按照國(guó)家電網(wǎng)公司的規(guī)定：當(dāng)平均絕對(duì)百分比誤差低于5%時(shí)，表示預(yù)測(cè)方法符合實(shí)際應(yīng)用標(biāo)準(zhǔn)；平均絕對(duì)百分比誤差低于3%時(shí)，表示預(yù)測(cè)方法性能良好；平均絕對(duì)百分比誤差低于2%時(shí)，表示預(yù)測(cè)方法有效；平均絕對(duì)百分比誤差低于1%時(shí)，表示預(yù)測(cè)方法具有較高的應(yīng)用價(jià)值與精準(zhǔn)度[13]。

（1）均方值誤差（RMSE）

（2）平均絕對(duì)百分比誤差（MAPE）

（3）絕對(duì)百分比誤差（APE）

4 算例分析

4.1 實(shí)驗(yàn)環(huán)境配置

本 文 實(shí) 驗(yàn) 環(huán) 境 采 用 Intel（R）core（TM）i5-5200 CUP2.20-GHz處理器，8 GB內(nèi)存。選用python3.7作為編程語(yǔ)言，軟件構(gòu)架基于Tensorflow框架。

4.2 數(shù)據(jù)來(lái)源

為驗(yàn)證模型的精確性，選擇2016年電工數(shù)學(xué)建模競(jìng)賽負(fù)荷預(yù)測(cè)數(shù)據(jù)集，數(shù)據(jù)集包含某地區(qū)2012年1月1日到2015年1月10日總計(jì)1 106天的日負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)，氣象數(shù)據(jù)包括每日最高溫度、最低溫度、平均溫度、相對(duì)濕度和降雨量。

4.3 數(shù)據(jù)預(yù)處理

歷史負(fù)荷數(shù)據(jù)和氣象數(shù)據(jù)由于數(shù)據(jù)采集器故障、數(shù)據(jù)遺漏等問(wèn)題，存在異常值和缺失值，影響了模型的預(yù)測(cè)精度，因此需要對(duì)缺失值和異常值進(jìn)行相關(guān)處理。將異常值與缺失值均視為缺失值進(jìn)行處理，采用平均值法對(duì)缺失值進(jìn)行填充[14]。將數(shù)據(jù)集中前1 076個(gè)負(fù)荷數(shù)據(jù)作為訓(xùn)練集，將后30個(gè)數(shù)據(jù)作為測(cè)試集。

4.4 對(duì)氣象數(shù)據(jù)進(jìn)行主成分提取

對(duì)5個(gè)負(fù)荷影響因素（最高溫度、最低溫度、平均溫度、相對(duì)濕度、降雨量）進(jìn)行主成分分析，得到5個(gè)指標(biāo)變量[15]。5個(gè)指標(biāo)變量的協(xié)方差矩陣特征值見(jiàn)表1所列。

表1 5個(gè)變量的協(xié)方差矩陣特征值

通常當(dāng)累計(jì)方差貢獻(xiàn)率達(dá)到75%～90%時(shí)，對(duì)應(yīng)的前m個(gè)主成分就能夠包含原始負(fù)荷影響數(shù)據(jù)中的大部分信息。設(shè)定方差累計(jì)貢獻(xiàn)率的閾值為90%，由上表可知，前2個(gè)主成分已達(dá)到81.511%，后3個(gè)主成分可以作為噪聲不予考慮。因此用2個(gè)主成分代替原始?xì)庀髷?shù)據(jù)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

由于主成分分析后的2個(gè)主成分?jǐn)?shù)值波動(dòng)很大，不利于LSTM網(wǎng)絡(luò)的訓(xùn)練，因此對(duì)2個(gè)主成分進(jìn)行歸一化處理，將主成分?jǐn)?shù)值歸一化0到1之間，防止LSTM網(wǎng)絡(luò)中的激活函數(shù)出現(xiàn)飽和現(xiàn)象[16]。歸一化公式：

式中：ug為歸一化后的值；umin為數(shù)據(jù)集中的最小值；umax為數(shù)據(jù)集中的最大值；u為對(duì)應(yīng)數(shù)據(jù)集中的值。

4.5 預(yù)測(cè)結(jié)果對(duì)比

為驗(yàn)證本文所提預(yù)測(cè)模型的精確性，分別使用只有負(fù)荷作為輸入的單特征LSTM網(wǎng)絡(luò)模型；氣象因素和負(fù)荷作為輸入的多特征LSTM網(wǎng)絡(luò)模型；對(duì)氣象因素進(jìn)行主成分分析的LSTM網(wǎng)絡(luò)模型（PCA-LSTM）；氣象因素和負(fù)荷作為輸入的ANN網(wǎng)絡(luò)模型。同時(shí)使用MAPE、RMSE評(píng)價(jià)各模型的預(yù)測(cè)效果，各模型預(yù)測(cè)誤差對(duì)比見(jiàn)表2所列，實(shí)際和預(yù)測(cè)值及絕對(duì)百分比誤差見(jiàn)表3所列。

表2 4種模型的RMSE、MAPE對(duì)比

4種模型電力負(fù)荷預(yù)測(cè)的絕對(duì)百分比誤差對(duì)比如圖3所示，預(yù)測(cè)曲線與實(shí)際曲線對(duì)比如圖4所示。

RMSE、MAPE值越小，說(shuō)明該模型的預(yù)測(cè)效果越好。分析表2可知，單特征LSTM網(wǎng)絡(luò)模型的RMSE、MAPE值均為最大，說(shuō)明氣象因素對(duì)電力負(fù)荷的預(yù)測(cè)結(jié)果影響巨大，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)加入氣象因素作為輸入值，可以大大提高電力負(fù)荷的預(yù)測(cè)精度。將ANN神經(jīng)網(wǎng)絡(luò)模型和多特征LSTM網(wǎng)絡(luò)模型的RMSE、MAPE值進(jìn)行對(duì)比，可以發(fā)現(xiàn)多特征LSTM網(wǎng)絡(luò)模型優(yōu)于ANN神經(jīng)網(wǎng)絡(luò)模型，在時(shí)間序列數(shù)據(jù)中，LSTM網(wǎng)絡(luò)模型相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型更優(yōu)。將氣象因素進(jìn)行主成分分析并輸入LSTM網(wǎng)絡(luò)訓(xùn)練后，MAPE值相對(duì)ANN神經(jīng)網(wǎng)絡(luò)模型降低了1.929%，相對(duì)多特征LSTM網(wǎng)絡(luò)模型降低了1.756%。

結(jié)合表3，PCA-LSTM網(wǎng)絡(luò)模型的絕對(duì)百分比誤差均在1左右波動(dòng)，對(duì)測(cè)試集第22條數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，由于數(shù)據(jù)波動(dòng)較大，ANN神經(jīng)網(wǎng)絡(luò)模型、單特征LSTM網(wǎng)絡(luò)模型、多特征LSTM網(wǎng)絡(luò)模型、PCA-LSTM網(wǎng)絡(luò)模型的絕對(duì)百分比誤差分別為23.831，77，19.928，5.151。結(jié)合圖3可以得出，PCA-LSTM網(wǎng)絡(luò)模型在電力負(fù)荷預(yù)測(cè)優(yōu)越性和堅(jiān)挺性，特別是負(fù)荷數(shù)據(jù)產(chǎn)生巨大變化時(shí)依然可以較為準(zhǔn)確的預(yù)測(cè)負(fù)荷，該模型相對(duì)其他模型魯棒性較強(qiáng)。通過(guò)圖4可以看出，PCALSTM網(wǎng)絡(luò)模型的預(yù)測(cè)效果優(yōu)于其他預(yù)測(cè)模型。

圖3 4種模型的絕對(duì)百分比誤差對(duì)比圖

圖4 預(yù)測(cè)曲線與實(shí)際曲線對(duì)比圖

表3 實(shí)際和預(yù)測(cè)值及絕對(duì)百分比誤差

5 結(jié) 語(yǔ)

本文提出了一種基于PCA-LSTM網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)模型，采用PCA方法對(duì)每日氣象數(shù)據(jù)進(jìn)行數(shù)據(jù)降維，構(gòu)建LSTM網(wǎng)絡(luò)模型，通過(guò)對(duì)數(shù)據(jù)的仿真建模驗(yàn)證本文提出的PCALSTM，得到如下結(jié)論：

（1）通過(guò)單特征LSTM網(wǎng)絡(luò)、多特征LSTM網(wǎng)絡(luò)、PCA-LSTM網(wǎng)絡(luò)的對(duì)比可以發(fā)現(xiàn)，氣象因素對(duì)負(fù)荷預(yù)測(cè)的影響巨大，加入氣象因素的網(wǎng)絡(luò)可以提高其預(yù)測(cè)精度；通過(guò)對(duì)氣象因素降維不僅保留了數(shù)據(jù)的大部分信息，還去除了數(shù)據(jù)中的噪聲，提高了模型的預(yù)測(cè)精確度。

（2）LSTM網(wǎng)絡(luò)模型可以利用時(shí)間序列有效分析時(shí)序性數(shù)據(jù)中的隱含信息，通過(guò)PCA-LSTM網(wǎng)絡(luò)與ANN網(wǎng)絡(luò)的對(duì)比可知，提出的模型可以獲得更高的預(yù)測(cè)精度，應(yīng)用潛力更大。