一種基于深度學(xué)習(xí)的數(shù)據(jù)預(yù)測方法

文/陳建婷

1 引言

近年來，隨著人工智能的發(fā)展，更多的神經(jīng)網(wǎng)絡(luò)方法用于進(jìn)行數(shù)據(jù)預(yù)測。愈發(fā)成熟的算法所預(yù)測出的結(jié)果也越來越精準(zhǔn)。然而，多變量時間序列預(yù)測是一項艱巨的任務(wù)。以電力負(fù)荷預(yù)測為例，負(fù)載是復(fù)雜的并且具有多個季節(jié)性水平，給定小時的負(fù)載不僅取決于前一小時的負(fù)載，而且還取決于前一天同一小時的負(fù)載。其次，必須考慮許多重要的外生變量，特別是與天氣有關(guān)的變量。

多變量時序預(yù)測方法通常分為兩種，一種是基于時間序列模型的傳統(tǒng)方法，自回歸積分滑動平均模型是其中的典型代表。自回歸積分滑動平均模型的原則是探索序列和數(shù)據(jù)變化之間的規(guī)律和特點(diǎn)，而序列即為隨時間變化的隨機(jī)數(shù)列。該方法的利用了時間序列數(shù)據(jù)的時序性，但是缺點(diǎn)在于對非線性關(guān)系的預(yù)測準(zhǔn)確度較差。

另外一種是基于人工智能的方法。如使用簡單的神經(jīng)網(wǎng)絡(luò)方法，人工神經(jīng)網(wǎng)絡(luò)最初是受人類大腦處理信息方式啟發(fā)的數(shù)學(xué)工具。人工神經(jīng)網(wǎng)絡(luò)由神經(jīng)元所構(gòu)成，不同的輸入信息經(jīng)由神經(jīng)元處理，并發(fā)出響應(yīng)。隨著深度學(xué)習(xí)算法完善和發(fā)展，單一的基于神經(jīng)網(wǎng)絡(luò)的方法預(yù)測結(jié)果不夠精準(zhǔn)。

針對傳統(tǒng)方法所存在的缺陷，本文使用了一種基于長短期記憶神經(jīng)網(wǎng)絡(luò)的方法對多變量時序數(shù)據(jù)進(jìn)行預(yù)測。該方法的優(yōu)勢在于考慮到了多變量時序數(shù)據(jù)的時序性和非線性的特點(diǎn)。論文剩余部分將首先介紹循環(huán)神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)的原理，之后通過數(shù)據(jù)集的實驗，證明基于LSTM 的電力負(fù)荷預(yù)測方法精準(zhǔn)度高，穩(wěn)定性強(qiáng)。

2 LSTM神經(jīng)網(wǎng)絡(luò)模型

2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是人工神經(jīng)網(wǎng)絡(luò)的一種，RNN 的特點(diǎn)在于不同層之間的神經(jīng)元相互也建立權(quán)的連接，當(dāng)序列繼續(xù)推進(jìn)，之前隱藏層將對之后的隱藏層產(chǎn)生效果。如圖1所示，是一個RNN 的示意圖。

在圖1中，右側(cè)是計算時便于理解記憶而展開的結(jié)構(gòu)。簡單說，x 為輸入層，o 為輸出層，s 為隱含層，而t 指第幾次的計算。V，W，U分別為不同層的權(quán)重，其中計算第t 次的隱含層狀態(tài)時為St=f(U*Xt+W*St-1)，實現(xiàn)當(dāng)前輸入結(jié)果與之前的計算關(guān)聯(lián)的目的。

RNN 的缺陷是當(dāng)輸入數(shù)據(jù)的時間間隔逐漸變長的情況下，RNN 將失去學(xué)習(xí)較長時間之前數(shù)據(jù)的功能，此情況即是梯度消失。

2.2 LSTM模型

LSTM 模型是RNN 的一種改進(jìn)體，最早是由Juergen 提出的。經(jīng)典的LSTM 模型單元結(jié)構(gòu)如下：

如圖2所示，LSTM 的特征是在RNN 的結(jié)構(gòu)基礎(chǔ)上，將其每一層都增加了閥門節(jié)點(diǎn)。 閥門一共有三種類型：遺忘門，輸入門和輸出門。 可以開啟或關(guān)閉增加的閥門以確定每一層的輸出處的模型網(wǎng)絡(luò)的存儲器狀態(tài)的結(jié)果是否達(dá)到閾值，若超過閾值，將被增至到當(dāng)前層的計算中。 在圖2中，閥節(jié)點(diǎn)以sigmoid 函數(shù)計算網(wǎng)絡(luò)的狀態(tài)為輸入；若超過閾值，閥門輸出和當(dāng)前層的乘積被視為下一層的輸入；若結(jié)果未能超過閾值而選擇忘記輸出。在不同模型的每次反向傳播訓(xùn)練期間進(jìn)行不同層的權(quán)重更新。而某些修改（例如耦合輸入和遺忘門）簡化了LSTM，不會顯著損害性能。對參數(shù)交互的分析表明，可以獨(dú)立調(diào)整參數(shù)。 尤其是使用相當(dāng)小的網(wǎng)絡(luò)首先校準(zhǔn)學(xué)習(xí)速率，這樣做可以節(jié)省大量的實驗時間。

3 實驗結(jié)果

圖1：RNN 單元結(jié)構(gòu)圖

根據(jù)2014年全球能源預(yù)測競賽（GEFCom2014）給出的數(shù)據(jù)集，以2003年3月-2008年11月電力負(fù)荷數(shù)據(jù)作為訓(xùn)練集，以2008年12月的電力負(fù)荷數(shù)據(jù)作為測試集。

首先，將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，先把數(shù)據(jù)集中的電力負(fù)荷值除以1000，再計算數(shù)據(jù)集的平均值，最后用原值減去平均值。

在本次實驗中，將用均方誤差（MSE）和百分誤差（e）兩個參數(shù)來評判該方法的預(yù)測數(shù)據(jù)的準(zhǔn)確性。對比預(yù)測數(shù)據(jù)與真實數(shù)據(jù)的均方誤差，計算公式如下：

其中N 為預(yù)測結(jié)果總個數(shù)，yt為真實值，為預(yù)測值。根據(jù)實驗結(jié)果，最終測試集的MSE 是0.035。

如圖3所示為使用本文方法得到的電力負(fù)荷預(yù)測結(jié)果，預(yù)測值為橙色線，真實值為藍(lán)色線，可以看出預(yù)測值和真實值的差值較小。

比較真實值和預(yù)測值，采用百分誤差來衡量，公式如下：

圖3：基于LSTM 的預(yù)測結(jié)果

圖4：基于LSTM 方法的預(yù)測誤差

4 結(jié)論

多變量時序數(shù)據(jù)預(yù)測具有時序性和非線性的特點(diǎn)，本文使用的基于長短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測方法很好的利用了多變量時序數(shù)據(jù)的特點(diǎn)。從實驗中可以看出，使用本文方法預(yù)測出的數(shù)據(jù)精準(zhǔn)度較高，誤差率一直保持在較低的范圍內(nèi)，說明基于LSTM 的多變量時序預(yù)測方法穩(wěn)定性較強(qiáng)，具有實際意義。

更正

茲有李銳、馬軍、傅寧、張喆、曾令康同志發(fā)表在《電子技術(shù)與軟件工程》雜志2019年3月上半月刊通信技術(shù)欄目第18 頁中《激光鏈路對天地協(xié)同通信網(wǎng)絡(luò)系統(tǒng)性能影響》一文，此文章為國家電網(wǎng)公司科技項目《支撐全球能源互聯(lián)網(wǎng)的天地協(xié)同通信技術(shù)架構(gòu)研究》文章，項目編號：526806160036；

文章添加作者簡介：

李銳，大學(xué)本科學(xué)歷。中級工程師。研究方向為電力通信技術(shù)。

馬軍，大學(xué)本科學(xué)歷。中級工程師。研究方向為電力信息通信、北斗。

傅寧，碩士研究生。高級工程師。研究方向為電力信息通信、北斗。

張喆，碩士研究生。高級工程師。研究方向為電力通信技術(shù)。

曾令康，博士研究生。高級工程師。研究方向為電力通信技術(shù)。

《電子技術(shù)與軟件工程》編輯部

2019年3月