基于門控權(quán)重單元的多變量時(shí)間序列預(yù)測(cè)

張冬梅　李金平　李江　余想　宋凱旋

摘? ?要：多變量時(shí)間序列各變量間依賴性較強(qiáng)，數(shù)據(jù)變化趨勢(shì)不明顯，預(yù)測(cè)難度高. 傳統(tǒng)研究采用帶門控機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)及變體進(jìn)行預(yù)測(cè)，但序列間存在相互依賴關(guān)系，突變數(shù)據(jù)段建模預(yù)測(cè)不精確. 基于信息熵，本文提出一種新的改進(jìn)門控權(quán)重單元，利用信息熵技術(shù)量化數(shù)據(jù)序列的變化程度，動(dòng)態(tài)調(diào)整權(quán)重矩陣刻畫(huà)數(shù)據(jù)的變化趨勢(shì). 基于4個(gè)公開(kāi)數(shù)據(jù)集分別進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明新模型比傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)模型具有更好的預(yù)測(cè)性能.

關(guān)鍵詞：多變量時(shí)間序列;門控機(jī)制;循環(huán)神經(jīng)網(wǎng)絡(luò);門控權(quán)重單元;信息熵

中圖分類號(hào)：TP391 ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A

Multivariate Time Series Prediction Based on Gating Weight Unit

ZHANG Dongmei LI Jinping LI Jiang YU Xiang SONG Kaixuan

（1. School of Computer Science，China University of Geosciences，Wuhan 430074，China）

2. Information Center，Department of Natural Resources of Hubei Province，Wuhan 430071，China）

Abtract：There is strong dependence among the variables of multivariate time series，which makes the data trend unobvious and the prediction difficult. Traditionally，recurrent neural network with gating mechanisms and its variants are used for prediction. But the interdependence between sequences makes the prediction result of mutation data not accurate. Based on information entropy，a new modified gating weight unit is presented. The change degree of data is quantified by using information entropy to dynamically adjust the weight matrix and describe the trend of data. The experiment is conducted with four public data sets. The experimental results show that the proposed model has better prediction performance than the traditional recurrent neural network.

Key word：multivariate time series;gated mechanism;recurrent neural network;gating weight unit;information entropy

多變量時(shí)間序列預(yù)測(cè)根據(jù)歷史數(shù)據(jù)對(duì)未來(lái)進(jìn)行預(yù)測(cè)，是近年來(lái)研究的熱點(diǎn)問(wèn)題. 多變量序列間存在的相互依賴關(guān)系難以學(xué)習(xí)、特別是突變數(shù)據(jù)的變化趨勢(shì)挖掘困難，導(dǎo)致該類問(wèn)題的預(yù)測(cè)精度不高[1]. 早期研究主要是通過(guò)建立加權(quán)滑動(dòng)平均模型、差分整合移動(dòng)平均自回歸模型等模型進(jìn)行預(yù)測(cè)，簡(jiǎn)單直觀，但極易損失變量間的動(dòng)態(tài)依賴信息. 近年基于淺層機(jī)器學(xué)習(xí)的非參數(shù)模型是多變量時(shí)間序列預(yù)測(cè)問(wèn)題的主流方法，可有效克服序列非線性和變量依賴性強(qiáng)等問(wèn)題，如支持向量回歸（Support Vector Regression，SVR）、高斯過(guò)程回歸（Gaussian Process Regression，GPR）等具有更好的性能，但淺層機(jī)器學(xué)習(xí)方法易過(guò)擬合，影響預(yù)測(cè)精度[2].

早期網(wǎng)絡(luò)模型不能解決長(zhǎng)期依賴問(wèn)題，存在梯度消失和梯度爆炸現(xiàn)象[3-4].? 目前多利用深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）模型解決多變量時(shí)序預(yù)測(cè)問(wèn)題[5]. Graves在RNN單元中引入記憶單元和門控機(jī)制，提出長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）[6]，解決RNN的長(zhǎng)期依賴問(wèn)題. 目前對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò)的改進(jìn)多基于LSTM門控機(jī)制的擴(kuò)展，如Zhou等提出的最小門控單元（Minimal Gated Unit，MGU）[7]、Gers 等提出的窺視孔連接[8]、Cho等提出的門控循環(huán)單元（Gate Recurrent Unit，GRU）[9]、劉頡曦等提出的混合門單元[10]. 各類LSTM變體雖然對(duì)LSTM的結(jié)構(gòu)進(jìn)行了改進(jìn)優(yōu)化，但沒(méi)有根本解決門控組件難以學(xué)習(xí)突變數(shù)據(jù)變化趨勢(shì)的問(wèn)題，對(duì)變化劇烈的時(shí)序數(shù)據(jù)預(yù)測(cè)效果較差[11-12].

信息熵（Information Entropy）技術(shù)通過(guò)概率分布計(jì)算刻畫(huà)數(shù)據(jù)分布變化，Haghizadeh等使用信息熵度量災(zāi)害突發(fā)信息，在洪澇災(zāi)害預(yù)防方面取得較好效果[13].Naghibi等使用信息熵模型預(yù)測(cè)地下水變化趨勢(shì)[14].信息熵對(duì)數(shù)據(jù)變化敏感，可較好度量時(shí)序數(shù)據(jù)的變化程度. 針對(duì)非穩(wěn)態(tài)數(shù)據(jù)預(yù)測(cè)問(wèn)題，本文對(duì)網(wǎng)絡(luò)單元的門控機(jī)制進(jìn)行擴(kuò)展，提出一種新的E-LSTM單元（Entropy-LSTM，E-LSTM）. 與同類研究工作不同的是通過(guò)引入信息熵技術(shù)量化數(shù)據(jù)變化程度，設(shè)置兩個(gè)動(dòng)態(tài)調(diào)整權(quán)重矩陣代替?zhèn)鹘y(tǒng)遺忘門權(quán)重矩陣，刻畫(huà)數(shù)據(jù)變化趨勢(shì). 新單元通過(guò)信息熵動(dòng)態(tài)調(diào)整權(quán)重矩陣，克服了傳統(tǒng)LSTM單元難以挖掘突變數(shù)據(jù)段變化趨勢(shì)的問(wèn)題，有效提升了模型的預(yù)測(cè)精度.

本文主要貢獻(xiàn)有2個(gè)方面：

1）融合信息熵和循環(huán)神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行時(shí)序序列預(yù)測(cè);

2）引入信息熵動(dòng)態(tài)調(diào)整權(quán)重矩陣擴(kuò)展門控機(jī)制，對(duì)時(shí)序數(shù)據(jù)中的突變特征提出新的量化方法和技術(shù)，相較于傳統(tǒng)LSTM預(yù)測(cè)精度更高.

1? ?模? ?型

1.1? ?RNN預(yù)測(cè)模型

基于RNN時(shí)序預(yù)測(cè)模型框架，針對(duì)不同問(wèn)題模型中的RNN單元采用不同的改進(jìn)策略，如神經(jīng)網(wǎng)絡(luò)模型中的RNN-unit可以用簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)（Simple-Recurrent Neural Network，Simple-RNN）[15]、LSTM單元等進(jìn)行替換，整個(gè)RNN模型框架如圖1所示. t時(shí)刻隱藏單元RNN-unit接收網(wǎng)絡(luò)前一時(shí)刻的隱藏層輸出ht-1和當(dāng)前輸入層輸入的xt，按隱含層更新方法計(jì)算當(dāng)前時(shí)刻的最后一層隱藏層輸出yt+1.

1.2? ?Simple-RNN模型

1.3? ?LSTM模型

1.4? ?E-LSTM模型

研究表明LSTM內(nèi)部的門控組件在訓(xùn)練過(guò)程中隨機(jī)性較強(qiáng)，難以精確學(xué)習(xí)數(shù)據(jù)變化趨勢(shì)，導(dǎo)致存在突變的數(shù)據(jù)段預(yù)測(cè)效果較差.

信息熵通過(guò)概率描述事件分布衡量不同概率事件包含的信息量. E-LSTM通過(guò)在門控機(jī)制中加入與信息熵動(dòng)態(tài)關(guān)聯(lián)的權(quán)重矩陣，使網(wǎng)絡(luò)單元在調(diào)節(jié)權(quán)重參數(shù)時(shí)能自適應(yīng)動(dòng)態(tài)挖掘異常數(shù)據(jù)的變化程度特征.

1.4.1? ?信息熵

1.4.2? ?E-LSTM模型

1.4.3? ?E-LSTM模型反向傳播

2? ?實(shí)驗(yàn)與分析

本節(jié)結(jié)合4個(gè)多變量時(shí)序數(shù)據(jù)集評(píng)估新提出的E-LSTM模型，并將其性能與其他模型（Simple-RNN、LSTM、GRU）進(jìn)行比較，所有RNN模型均基于TensorFlow框架實(shí)現(xiàn).

2.1? ?度量指標(biāo)

2.2? ?數(shù)據(jù)說(shuō)明

實(shí)驗(yàn)使用的4個(gè)多變量時(shí)序數(shù)據(jù)集為3個(gè)股市數(shù)據(jù)集和1個(gè)空氣濕度指數(shù)預(yù)測(cè)數(shù)據(jù)集，劃分前60%為訓(xùn)練集，后40%為測(cè)試集.

股票數(shù)據(jù)集：3個(gè)股票公開(kāi)數(shù)據(jù)集收錄于Kaggle Datasets機(jī)器學(xué)習(xí)庫(kù)，分別記作“BAC”、“GS”、“C”. 每個(gè)數(shù)據(jù)集有2 517條記錄，包含5個(gè)有效特征（收盤價(jià)、開(kāi)盤價(jià)、最低價(jià)、最高價(jià)、成交量）.

空氣濕度指數(shù)預(yù)測(cè)數(shù)據(jù)集：收錄于UCI機(jī)器學(xué)習(xí)庫(kù)，主要記錄在雅典沿海地區(qū)的海面濕度數(shù)據(jù)，數(shù)據(jù)集記作“USV”. 該數(shù)據(jù)集有1 672條記錄，包含4個(gè)有效特征（設(shè)備號(hào)、濕度、溫度、報(bào)告時(shí)間）. 數(shù)據(jù)缺失時(shí)，選擇用對(duì)應(yīng)屬性平均值補(bǔ)齊.

2.3? ?參數(shù)調(diào)優(yōu)

選擇LSTM網(wǎng)絡(luò)作為基準(zhǔn)結(jié)構(gòu). 循環(huán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練均以小批量進(jìn)行，批次大小為128，所有模型訓(xùn)練2 000代. 構(gòu)建E-LSTM預(yù)測(cè)模型前，預(yù)先調(diào)整網(wǎng)絡(luò)模型的隱含層層數(shù)和各層神經(jīng)元數(shù)量. 其中隱含層層數(shù)的候選集為{1，2，3} ，神經(jīng)元數(shù)目候選集為{16，32，64，96，128}.

基準(zhǔn)結(jié)構(gòu)在設(shè)置超參數(shù)時(shí)采用“控制變量法”. 固定其他參數(shù)，從候選集{16，32，64，96，128}中依次選擇神經(jīng)元數(shù)目. 隨著隱含層神經(jīng)元數(shù)量的增加，模型預(yù)測(cè)性能逐步提升，并在神經(jīng)元數(shù)量為32或64時(shí)達(dá)到候選集參數(shù)的最高精度，當(dāng)神經(jīng)元數(shù)量超過(guò)64時(shí)會(huì)出現(xiàn)過(guò)擬合導(dǎo)致精度下降. 基準(zhǔn)模型不同神經(jīng)元節(jié)點(diǎn)數(shù)量的具體性能評(píng)價(jià)指標(biāo)如表1所示. 后續(xù)實(shí)驗(yàn)中，將隱含層神經(jīng)元的數(shù)量設(shè)置為64.

2.4? ?權(quán)重矩陣分析

為說(shuō)明E-LSTM模型兩個(gè)基于信息熵的權(quán)重矩陣的動(dòng)態(tài)調(diào)整效果，對(duì)訓(xùn)練過(guò)程中Wf1和Wf2的變化進(jìn)行實(shí)驗(yàn). 由于權(quán)重矩陣維度較高、不易衡量特征向量的變化趨勢(shì)，使用頻率直方圖描述訓(xùn)練過(guò)程中權(quán)重矩陣的變化，其中橫坐標(biāo)為權(quán)重矩陣Wf1和Wf2的取值，縱坐標(biāo)為權(quán)重矩陣值出現(xiàn)次數(shù). 以數(shù)據(jù)集“BAC”為例進(jìn)行實(shí)驗(yàn)，結(jié)果如圖6所示，圖6（a）與圖6（b），圖6（c）與圖6（d）分別為訓(xùn)練初期和結(jié)束訓(xùn)練時(shí)的Wf1和Wf2的頻率分布直方圖. 對(duì)比圖6（a）、圖6（c）發(fā)現(xiàn)Wf1早期部分權(quán)重值分布多集中于0，后期部分權(quán)重系數(shù)上升至1，這說(shuō)明Wf1捕獲到了數(shù)據(jù)的突變特征，改變了權(quán)重系數(shù). 對(duì)比圖6（b）、圖6（d）發(fā)現(xiàn)Wf2在訓(xùn)練過(guò)程中發(fā)生大幅度變化，0附近的權(quán)重參數(shù)頻率從4 000下降到3 000，0.5和-0.5附近的權(quán)重參數(shù)頻率顯著增加，說(shuō)明Wf2權(quán)重變化與數(shù)據(jù)變化趨勢(shì)相關(guān).

實(shí)驗(yàn)結(jié)果表明，基于信息熵的權(quán)重矩陣Wf1和Wf2在訓(xùn)練過(guò)程中能夠識(shí)別出數(shù)據(jù)的變化趨勢(shì)，并做相應(yīng)的權(quán)重調(diào)整.

2.5? ?時(shí)間分析

2.6? ?實(shí)驗(yàn)對(duì)比

根據(jù)調(diào)優(yōu)設(shè)置參數(shù)進(jìn)行訓(xùn)練，各模型在4個(gè)測(cè)試集上實(shí)驗(yàn)結(jié)果如表5所示. 其中加粗部分表示傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)（GRU，LSTM，Simple-RNN）的最優(yōu)效果，灰色背景表示添加E-LSTM后所有模型的最優(yōu)效果. 實(shí)驗(yàn)得到以下結(jié)論：

傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)方法中，Simple-RNN結(jié)構(gòu)簡(jiǎn)單，針對(duì)不同數(shù)據(jù)集效果差異大，數(shù)據(jù)集越復(fù)雜效果越差. LSTM和GRU兩者性能相當(dāng)且穩(wěn)定性均優(yōu)于Simple-RNN.

與傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)方法相比，本文提出的E-LSTM模型在4個(gè)數(shù)據(jù)集上的MAE、RMSE和MAPE指標(biāo)精度更高.

實(shí)驗(yàn)4個(gè)數(shù)據(jù)集預(yù)測(cè)部分曲線如圖8所示. 顯然E-LSTM模型預(yù)測(cè)結(jié)果在所有數(shù)據(jù)集上與真實(shí)值最接近，預(yù)測(cè)精度最高. 以數(shù)據(jù)集C為例，傳統(tǒng)方法（GRU，LSTM，Simple-RNN）在突變數(shù)據(jù)段處（圖8（b））的預(yù)測(cè)值與真實(shí)值誤差較大，由于基于信息熵的權(quán)重矩陣能夠更好地量化數(shù)據(jù)的變化趨勢(shì)，E-LSTM模型在數(shù)據(jù)變化段的預(yù)測(cè)值與真實(shí)值基本一致，預(yù)測(cè)效果更優(yōu).

3? ?結(jié)? ?論

本文提出一種基于信息熵改進(jìn)門控權(quán)重單元的時(shí)間序列預(yù)測(cè)方法，并與Simple-RNN、LSTM、GRU等傳統(tǒng)預(yù)測(cè)模型進(jìn)行對(duì)比分析. 研究證實(shí)E-LSTM可根據(jù)輸入數(shù)據(jù)的特征動(dòng)態(tài)調(diào)整新權(quán)重矩陣的權(quán)重系數(shù)，更好地刻畫(huà)數(shù)據(jù)的變化趨勢(shì)，實(shí)驗(yàn)結(jié)果表明，本文提出的E-LSTM模型對(duì)局部突變數(shù)據(jù)更為敏感，預(yù)測(cè)精度更高.

在后續(xù)的研究中將進(jìn)一步結(jié)合多重分形等技術(shù)改進(jìn)模型的門控權(quán)重，細(xì)粒度刻畫(huà)數(shù)據(jù)多尺度的變化趨勢(shì)，提升模型的預(yù)測(cè)效率.

參考文獻(xiàn)

[1]? ? BOX G， JENKINS G M， REINSEL G C，et al. Time series analysis：forecasting and control，5th edition[J]. Journal of the Operational Research Society，2015，22（2）：199—201.

[2]? ? BENGIO Y，LECUN Y. Scaling learning algorithms toward AI[M]//Large-Scale Kernel Machines.：The MIT Press，2007，34（5）：1-41.

[3]? ? BENGIO Y，SIMARD P，F(xiàn)RASCONI P. Learning long-term dependencies with gradient descent is difficult[J]. IEEE Transactions on Neural Networks，1994，5（2）：157—166.

[4]? ? TSIRONI E，BARROS P，WEBER C，et al. An analysis of convolutional long-short term memory recurrent neural networks for gesture recognition[J]. Neurocomputing，2017，268：78—86.

[5]? ? 許淼，劉宏飛，初凱. 基于AM-LSTM模型的共享單車時(shí)空需求預(yù)測(cè)[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2020，47（12）：77—85XU M，LIU H F，CHU K. Spatiotemporal demand prediction of bike-sharing based on AM-LSTM model [J]. Journal of Hunan University （Natural Sciences），2020，47（12）：77—85. （In Chinese）

[6]? ? GRAVES A. Long short-term memory[M]. Berlin：Springer，2012：1735—1780.

[7]? ? ZHOU G B，WU J X，ZHANG C L，et al. Minimal gated unit for recurrent neural networks[J]. Int Journal of Automation and Computing，2016，13 （3）：226—234.

[8]? ? GERS F A，SCHMIDHUBER J. Recurrent nets that time and count[C]//Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. NeuralComputing：New Challenges and Perspectives for the New Millennium. Como，Italy：IEEE，2000：189—194.

[9]? ? CHO K，VAN MERRIENBOER B，BAHDANAU D，et al. On the properties of neural machine translation：encoder-decoder approaches[C]//arXiv Preprint arXiv：1409.1259，2014.

[10]? 劉頡羲，陳松燦. 基于混合門單元的非平穩(wěn)時(shí)間序列預(yù)測(cè)[J]. 計(jì)算機(jī)研究與發(fā)展，2019，56（8）：1642—1651.LIU J X，CHEN S C. Non-stationary multivariate time series prediction with MIX gated unit[J]. Journal of Computer Research and Development，2019，56（8）：1642—1651. （In Chinese）

[11]? JOZEFOWICZ R，ZAREMBA W，SUTSKEVER I. An empirical exploration of recurrent network architectures[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille，F(xiàn)rance：JMLR，2015：2342-2350.

[12]? YANG Y. Hybrid method for short-term time series forecasting based on EEMD[J]. IEEE Access，2020，8：61915—61928.

[13]? HAGHIZADEH A，SIAHKAMARI S，HAGHIABI A H，et al. Forecasting flood-prone areas using Shannons entropy model[J]. Journal of Earth System Science，2017，126（3）：1—11.

[14]? NAGHIBI S A，POURGHASEMI H R，POURTAGHI Z S，et al. Groundwater qanat potential mapping using frequency ratio and Shannons entropy models in the Moghan watershed，Iran[J]. Earth Science Informatics，2015，8（1）：171—186.

[15]? JEFFREY L. ELMAN. Distributed representations，simple recurrent networks，and grammatical structure[J]. Machine Learning，1991，7（2/3）：195—225.