PCC-BiLSTM-GRU-Attention組合模型預(yù)測(cè)方法①

高凱悅,牟 莉,張英博

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,西安 710048)

多元時(shí)間序列是指以相同間隔按指定采樣率對(duì)某過程進(jìn)行采集的一組變量,且按時(shí)間先后順序排列. 在實(shí)際處理多元時(shí)間序列時(shí),需要分析各變量之間潛在的復(fù)雜關(guān)系和變化規(guī)律,才能對(duì)其做出有效預(yù)測(cè). 但現(xiàn)有方法常因?yàn)槎嘣獣r(shí)間序列復(fù)雜的變化規(guī)律難以捕捉,所以導(dǎo)致預(yù)測(cè)精度較低. 如何對(duì)其做出有效預(yù)測(cè),成為國內(nèi)外諸多學(xué)者關(guān)注的問題.

早期傳統(tǒng)多元時(shí)間序列預(yù)測(cè)方法主要采用灰色模型[1]、自回歸綜合移動(dòng)平均模型(ARMA)[2]、自回歸移動(dòng)平均模型(ARIMA)[3]等. 這些方法雖然結(jié)構(gòu)簡(jiǎn)單,但都屬于線性方法,不能較好反映時(shí)間序列中非線性因素的影響. 為了克服這一缺陷,人們將神經(jīng)網(wǎng)絡(luò)引入對(duì)多元時(shí)間的序列的預(yù)測(cè). 例如,Meng 等人[4]使用BP 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)股價(jià)走勢(shì)的預(yù)測(cè). 這種模型可以較好反映出多元時(shí)間序列中非線性因素對(duì)結(jié)果的影響,但無法聯(lián)系多元時(shí)序數(shù)據(jù)間的潛在的內(nèi)部關(guān)聯(lián). 鄧玉婧等人[5]采用了循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)實(shí)現(xiàn)了對(duì)航班客座率的預(yù)測(cè),證明了RNN 神經(jīng)網(wǎng)絡(luò)在時(shí)序預(yù)測(cè)方面的有效性,這種模型可以解決無法聯(lián)系多元時(shí)序數(shù)據(jù)關(guān)系的缺點(diǎn),但在預(yù)測(cè)較長序列時(shí)經(jīng)常會(huì)出現(xiàn)梯度爆炸的缺陷,使模型無法從訓(xùn)練數(shù)據(jù)中得到較高的學(xué)習(xí)效率. 廖志偉等人[6]使用LSTM 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)短期電煤價(jià)格預(yù)測(cè),這種模型在RNN 神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上增加了不同的門控單元來實(shí)現(xiàn)長期信息記憶功能,成功減緩了RNN 神經(jīng)網(wǎng)絡(luò)梯度爆炸問題. 周莽等人[7]使用GRU 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對(duì)短期電力負(fù)荷的預(yù)測(cè),這種模型是LSTM 模型的一種流行變體,不僅同樣可以克服RNN 模型梯度爆炸問題,其結(jié)構(gòu)較LSTM 模型還更為簡(jiǎn)易,更易訓(xùn)練. BiLSTM 神經(jīng)網(wǎng)絡(luò)作為近年來神經(jīng)網(wǎng)絡(luò)中的新型模型[8,9],它創(chuàng)新性地將一個(gè)正向LSTM模型和一個(gè)反向LSTM 模型相結(jié)合,實(shí)現(xiàn)了特征之間潛在關(guān)系的雙向挖掘. 與LSTM 相比,BiLSTM 模型在預(yù)測(cè)多元時(shí)序序列時(shí),其預(yù)測(cè)精度明顯提高. 江知航等人[10]使用BiLSTM 神經(jīng)網(wǎng)絡(luò)對(duì)棉花價(jià)格進(jìn)行了預(yù)測(cè),但沒有考慮多維特征與預(yù)測(cè)目標(biāo)的相關(guān)性以及無關(guān)特征對(duì)預(yù)測(cè)結(jié)果的影響,導(dǎo)致預(yù)測(cè)精度并未大幅提升. 陳宇韶等人[11]在預(yù)測(cè)股票價(jià)格前使用了PCC 相關(guān)系數(shù),在龐雜多維特征中分析出與預(yù)測(cè)目標(biāo)高度相關(guān)的特征,消除了無關(guān)特征對(duì)預(yù)測(cè)結(jié)果的影響,降低了模型復(fù)雜度的同時(shí)有效地改善了最終的預(yù)測(cè)效果.

基于以上,為了更有效地對(duì)多元時(shí)序序列進(jìn)行預(yù)測(cè),本文將PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法進(jìn)行了探討和驗(yàn)證. 具體來說,該方法首先利用PCC 相關(guān)系數(shù)對(duì)輸入特征進(jìn)行篩選,刪除無關(guān)變量,避免無關(guān)變量對(duì)結(jié)果精度的影響. 其次使用BiLSTM神經(jīng)網(wǎng)絡(luò)雙向獲取輸入特征之間潛在的關(guān)聯(lián)關(guān)系. 最后使用GRU 神經(jīng)網(wǎng)絡(luò)融合Attention 機(jī)制,進(jìn)一步深入學(xué)習(xí)雙向時(shí)序特征的變化規(guī)律,更精準(zhǔn)的捕獲關(guān)鍵時(shí)刻的信息以及非線性動(dòng)力系統(tǒng)的復(fù)雜變化規(guī)律. 為了驗(yàn)證此方法在多元時(shí)間序列中的預(yù)測(cè)效果,本文以股票價(jià)格預(yù)測(cè)[12–15]為實(shí)驗(yàn)場(chǎng)景,以各模型的平均絕對(duì)百分比誤差值和決定系數(shù)值作為衡量標(biāo)準(zhǔn)進(jìn)行對(duì)比實(shí)驗(yàn),驗(yàn)證結(jié)果表明,相比于其他5 種模型,PCC-BiLSTMGRU-Attention 組合模型的預(yù)測(cè)方法擬合程度更高,預(yù)測(cè)效果更好.

1 PCC-BiLSTM-GRU-Attention 組合預(yù)測(cè)模型

1.1 PCC 相關(guān)系數(shù)

根據(jù)文獻(xiàn)[16]可知,在預(yù)測(cè)多元時(shí)間序列前,建立初始化指標(biāo)體系后進(jìn)行相關(guān)性篩選可以有效減少的數(shù)據(jù)復(fù)雜度和無關(guān)變量對(duì)預(yù)測(cè)結(jié)果的影響. Cai 等人[17]根據(jù)PCC 相關(guān)系數(shù)計(jì)算出變量間的相關(guān)程度來刪除冗余變量. 因此本文選擇PCC 相關(guān)系數(shù)對(duì)實(shí)驗(yàn)進(jìn)行特征選擇,PCC 相關(guān)系數(shù)的公式為:

其中,rX,Y為變量X,Y的相關(guān)系數(shù),Xi為自變量,Yi為因變量. 變量的相關(guān)程度可由相關(guān)系數(shù)的絕對(duì)值表示,具體如表1 所示.

表1 相關(guān)程度

1.2 BiLSTM 神經(jīng)網(wǎng)絡(luò)

BiLSTM 神經(jīng)網(wǎng)絡(luò)由兩個(gè)LSTM 神經(jīng)網(wǎng)絡(luò)疊加組成[18]. LSTM 神經(jīng)網(wǎng)絡(luò)是另一種RNN 神經(jīng)網(wǎng)絡(luò),在處理時(shí)間序列方面具備顯著優(yōu)勢(shì)[19],它具有遺忘門、輸入門、輸出門和細(xì)胞狀態(tài)等部分,其結(jié)構(gòu)如圖1 所示.細(xì)胞狀態(tài)用來存儲(chǔ)和傳遞時(shí)序特征信息,3 種門結(jié)構(gòu)在訓(xùn)練過程中會(huì)學(xué)習(xí)如何去保存、遺忘和輸出時(shí)序特征信息[20]. 這種結(jié)構(gòu)使得在LSTM 神經(jīng)網(wǎng)絡(luò)中早期單元的特征信息一樣可以傳遞至后期單元的細(xì)胞狀態(tài)中,實(shí)現(xiàn)了LSTM 神經(jīng)網(wǎng)絡(luò)可長時(shí)間記憶特征信息的優(yōu)勢(shì).

圖1 LSTM 神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)圖

其中,Wf、Wi、Wc、Wo和bf、bi、bc、bo分別對(duì)應(yīng)各門結(jié)構(gòu)的權(quán)重矩陣與偏置,其運(yùn)行原理首先是遺忘門通過式(2)計(jì)算當(dāng)前細(xì)胞狀態(tài)需要遺忘的信息ft,然后輸入門通過式(3)計(jì)算當(dāng)前細(xì)胞狀態(tài)需要存放的信息it,并通過式(4)、式(5)在tanh 層中創(chuàng)建候選值加入到細(xì)胞狀態(tài)中并且將單元狀態(tài)從Ct?1更新為Ct,最后輸出門通過式(6)、式(7)計(jì)算出當(dāng)前LSTM 單元的輸出ht.

圖2 是BiLSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,它由一個(gè)前向LSTM 計(jì)算層一個(gè)為后向LSTM 計(jì)算層. 這種結(jié)構(gòu)可對(duì)時(shí)序序列關(guān)系進(jìn)行較長時(shí)間的雙向挖掘,提取雙向時(shí)序特征.

圖2 BiLSTM 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3 GRU 神經(jīng)網(wǎng)絡(luò)

GRU 神經(jīng)網(wǎng)絡(luò)對(duì)LSTM 內(nèi)部進(jìn)行了有效簡(jiǎn)化,引入了重置門、更新門的概念,這使其在保留原LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果的同時(shí)變得更易訓(xùn)練[21],其結(jié)構(gòu)如圖3 所示.

圖3 GRU 神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)圖

其中,Xt代表當(dāng)前時(shí)刻的輸入,ht?1代表上一時(shí)刻GRU 單元的隱藏狀態(tài),ht代表當(dāng)前GRU 單元計(jì)算出的隱藏狀態(tài),Wr、Wh、Wz和br、bh、bz為各門結(jié)構(gòu)對(duì)應(yīng)的權(quán)重矩陣和偏置,GRU 神經(jīng)網(wǎng)絡(luò)單元的運(yùn)行原理首先是通過式(8)計(jì)算出重置門的取值,再通過式(9)計(jì)算候選狀態(tài). 若重置門取值接近0,則候選值會(huì)選擇忽略前一個(gè)隱藏狀態(tài)的信息,這有效地使隱藏狀態(tài)具有丟棄不相關(guān)的特征信息的能力. 計(jì)算出候選值后,通過式(10)使更新門控制特征信息需要傳遞多少信息至當(dāng)前隱藏狀態(tài),實(shí)現(xiàn)了單元的長期記憶功能,最后通過式(11)計(jì)算出當(dāng)前隱藏狀態(tài)的最終值.

1.4 Attention 注意力機(jī)制

Attention 機(jī)制通過不同特征對(duì)于預(yù)測(cè)結(jié)果影響的大小來為神經(jīng)網(wǎng)絡(luò)中的隱藏單元賦予不同權(quán)重,使對(duì)預(yù)測(cè)結(jié)果有突出影響的因素獲得更高關(guān)注,為后續(xù)再次處理數(shù)據(jù)提供更好的參考[22–24],大大減少了對(duì)資源的消耗,提高了預(yù)測(cè)精度,其結(jié)構(gòu)具體如圖4 所示.

圖4 Attention 機(jī)制網(wǎng)絡(luò)結(jié)構(gòu)圖

其中,W、b為權(quán)重系數(shù)和偏置系數(shù),hi為GRU 神經(jīng)網(wǎng)絡(luò)中t時(shí)刻中輸出的第i個(gè)隱藏單元狀態(tài)值. Attention機(jī)制首先根據(jù)GRU 神經(jīng)網(wǎng)絡(luò)輸出每個(gè)隱層單元的值hi計(jì)算式(12)后得到每個(gè)隱層單元的得分ei,再通過式(13)對(duì)注意力得分值進(jìn)行歸一化,最終計(jì)算式(14)將歸一化后的得分值ai和隱層單元hi進(jìn)行加權(quán)求和得到t時(shí)刻這一時(shí)間步長內(nèi)的隱藏層狀態(tài)值ct.

1.5 PCC-BiLSTM-GRU-Attention 組合預(yù)測(cè)模型

PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法主要由6 個(gè)階段構(gòu)成,具體層級(jí)結(jié)構(gòu)如圖5 所示.

圖5 PCC-BiLSTM-GRU-Attention 組合模型預(yù)測(cè)方法的層級(jí)結(jié)構(gòu)

(1)PCC 相關(guān)系數(shù): 將原始數(shù)據(jù)中的自變量逐一與預(yù)測(cè)的因變量進(jìn)行PCC 相關(guān)性分析,刪除與因變量無關(guān)的特征,具體表示為:

其中,Xi表示某時(shí)刻中的第i天的輸入序列,xi為第i個(gè)特征值,N為未降維選優(yōu)時(shí)的總特征數(shù),n為降維后的總特征數(shù).p為某時(shí)刻第i天的預(yù)測(cè)值,未經(jīng)過篩選時(shí)Xi可表示為式(15),經(jīng)過PCC 相關(guān)性分析篩選出不相關(guān)的特征后,Xi可表示為式(16).

(2)輸入層: 將經(jīng)過特征值篩選后的特征以及因變量作為本文模型的輸入,在t時(shí)刻中的輸入序列具體為:

其中,Xt為t時(shí)刻的輸入序列,T為時(shí)間步數(shù).

(3)BiLSTM 層: 在前向?qū)又休斎胝騒t序列[X1,···,Xi,···,XT]T計(jì)算出該層第i個(gè)輸出的隱藏狀態(tài),在后向?qū)又休斎敕聪騒t序列[XT,···,Xi,···,X1]T計(jì)算出該層第i個(gè)輸出的隱藏狀態(tài):

其中,通過式(18)使用對(duì)應(yīng)t時(shí)刻的輸入序列Xt、第i–1 個(gè)輸入時(shí)間步的前向LSTM 層中的隱藏單元狀態(tài)以及第i–1 個(gè)輸入時(shí)間步的前向LSTM 層中的細(xì)胞狀態(tài),計(jì)算出在t時(shí)刻的前向LSTM 層中第i個(gè)輸出的隱藏狀態(tài). 通過式(19)使用對(duì)應(yīng)t時(shí)刻的輸入序列Xt、第i+1 個(gè)輸入時(shí)間步的后向LSTM 層中的隱藏單元狀態(tài)以及第i+1 個(gè)輸入時(shí)間步的后向LSTM層中的細(xì)胞狀態(tài)計(jì)算出在t時(shí)刻的后向LSTM 層中第i個(gè)輸出狀態(tài),通過式(20)計(jì)算出BiLSTM 層在t時(shí)刻的第i個(gè)隱藏單元狀態(tài)值,將式(21)中Ht最終作為t時(shí)刻上提取的雙向時(shí)序序列.

(4)GRU: 將BiLSTM 層中輸出的雙向時(shí)序序列Ht作為GRU 層的輸入序列進(jìn)行進(jìn)一步學(xué)習(xí):

其中,記hi為t時(shí)刻中第i個(gè)GRU 層的隱層狀態(tài),式(23)中ht為最終在t時(shí)刻上GRU 層的隱層狀態(tài).

(5)Attention 機(jī)制: 將GRU 層輸出的隱層狀態(tài)ht作為Attention 機(jī)制的輸入,每個(gè)隱層單元的得分ei、歸一化后得分ai和最終Attention 層輸出ct由式(12)–式(14)計(jì)算而來.

(6)輸出層: 選擇Sigmoid函數(shù)作為激活全連接層的函數(shù),輸出最終t時(shí)刻最終預(yù)測(cè)值,記作yt:

2 實(shí)驗(yàn)分析

2.1 數(shù)據(jù)來源

本文選取某銀行從2006 年1 月5 日至2019 年6 月5 日這一時(shí)段內(nèi)所有交易日的股指數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集. 采集數(shù)據(jù)主要包括: 開盤價(jià)、最高價(jià)、最低價(jià)、漲幅率、振幅率、總手?jǐn)?shù)、交易金額、換手率、成交次數(shù)和收盤價(jià),最終將股票收盤價(jià)作為目標(biāo)變量.此數(shù)據(jù)集大且全面,具有多元特性,在連續(xù)的時(shí)間序列上呈現(xiàn)一定的變化規(guī)律. 本文將數(shù)據(jù)集選取前80%的數(shù)據(jù)為訓(xùn)練集,后20%的數(shù)據(jù)為測(cè)試集.

2.2 數(shù)據(jù)預(yù)處理

本文對(duì)數(shù)據(jù)的預(yù)處理分為兩個(gè)步驟,歸一化和特征數(shù)據(jù)的降維選優(yōu):

(1)為了消除特征參數(shù)之間數(shù)值與單位的差異性,以對(duì)每個(gè)特征進(jìn)行同等對(duì)待,本文對(duì)原始特征數(shù)據(jù)進(jìn)行歸一化處理來提升預(yù)測(cè)精度,歸一化公式如下:

其中,min代表特征x在時(shí)序序列中的最小值,max代表在時(shí)序序列中的最大值.

(2)將歸一化后的特征數(shù)據(jù)進(jìn)行PCC 相關(guān)性分析.如表2 可以看出各特征與股票收盤價(jià)的PCC 相關(guān)程度,為了消除無關(guān)變量對(duì)模型預(yù)測(cè)帶來的噪聲影響,決定選取開盤價(jià)、最高價(jià)、最低價(jià)、總手?jǐn)?shù)、交易金額和成交次數(shù)這些具有相關(guān)性的因素作為神經(jīng)網(wǎng)絡(luò)輸入?yún)?shù),刪除無關(guān)因素來實(shí)現(xiàn)對(duì)特征數(shù)據(jù)的降維選優(yōu).

表2 不同特征與股票價(jià)格的相關(guān)系數(shù)

2.3 參數(shù)設(shè)置

基于本文提出方法訓(xùn)練中的優(yōu)化目標(biāo)為平均絕對(duì)百分比誤差MAPE最小化,即決定采用Adam 優(yōu)化算法對(duì)模型中的權(quán)重進(jìn)行迭代更新. 模型各參數(shù)選用經(jīng)驗(yàn)數(shù)據(jù)且通過多次實(shí)驗(yàn)進(jìn)行調(diào)整,最終確定BiLSTM神經(jīng)網(wǎng)絡(luò)層的隱層節(jié)點(diǎn)個(gè)數(shù)為64 個(gè),GRU 神經(jīng)網(wǎng)絡(luò)層的隱層節(jié)點(diǎn)個(gè)數(shù)為16 個(gè),迭代次數(shù)為100 次,batchsize 大小為64,滑動(dòng)窗口長度為5,學(xué)習(xí)率為0.01.

2.4 評(píng)價(jià)指標(biāo)

本文選用的評(píng)價(jià)指標(biāo)為平均絕對(duì)百分比誤差(MAPE)和決定系數(shù)(R2score)兩種指標(biāo)來評(píng)價(jià)模型的優(yōu)劣性,兩種指標(biāo)公式如下:

其中,n為樣本個(gè)數(shù),ytrue(i)為i時(shí)刻的實(shí)際值,ypre(i)為i時(shí)刻的預(yù)測(cè)值.MAPE的值代表預(yù)測(cè)值與真實(shí)值產(chǎn)生的誤差值與真實(shí)值之間的比例,當(dāng)比例越接近0%時(shí),表明預(yù)測(cè)誤差越小.R2score的值表示預(yù)測(cè)值曲線與真實(shí)值曲線的擬合優(yōu)度,當(dāng)R2score的值越接近1 時(shí)擬合優(yōu)度越好.

2.5 多模型對(duì)比

為了驗(yàn)證PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法的預(yù)測(cè)性能,將該方法與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU- Attention 等神經(jīng)網(wǎng)絡(luò)模型放在股票價(jià)格預(yù)測(cè)場(chǎng)景中進(jìn)行對(duì)比實(shí)驗(yàn),觀察不同模型對(duì)某銀行測(cè)試集的預(yù)測(cè)效果. 為了減少結(jié)果中的偶然因素對(duì)各神經(jīng)網(wǎng)絡(luò)精度的影響,本文對(duì)每種神經(jīng)網(wǎng)絡(luò)進(jìn)行了多次實(shí)驗(yàn),記錄下每種模型在測(cè)試集預(yù)測(cè)的最優(yōu)結(jié)果,實(shí)驗(yàn)結(jié)果如表3 所示.

表3 不同神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果對(duì)比

從表3 可觀察到,PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法在MAPE與決定系數(shù)兩種評(píng)估指標(biāo)上計(jì)算的結(jié)果均優(yōu)于其他神經(jīng)網(wǎng)絡(luò). 該方法的MAPE指標(biāo)為2.484%,與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU-Attention 等神經(jīng)網(wǎng)絡(luò)相比,其MAPE指標(biāo)分別下降了7.285%、5.462%、5.369%、2.216%、0.372%. 該方法的決定系數(shù)指標(biāo)為0.966,與BP、LSTM、GRU、BiLSTM-GRU、BiLSTM-GRU-Attention 等神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比后,決定系數(shù)分別提高了0.343、0.268、0.208、0.028、0.02,由此可見,實(shí)驗(yàn)的結(jié)果驗(yàn)證了PCCBiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法可以有效提高對(duì)多元時(shí)間序列的預(yù)測(cè). 此外,將PCC-BiLSTMGRU-Attention 組合模型的預(yù)測(cè)方法與BiLSTM-GRUAttention 神經(jīng)網(wǎng)絡(luò)模型相比較,MAPE指標(biāo)降低了0.372%,決定系數(shù)提高了0.02,證明了使用PCC 相關(guān)性系數(shù)剔除無關(guān)變量可有效減少其對(duì)預(yù)測(cè)精度的影響.將BiLSTM-GRU-Attention 神經(jīng)網(wǎng)絡(luò)模型與BiLSTMGRU 神經(jīng)網(wǎng)絡(luò)模型相比較,MAPE指標(biāo)降低了1.844%,決定系數(shù)提高了0.008,證明了Attention機(jī)制神經(jīng)網(wǎng)絡(luò)的加入能夠有效捕捉關(guān)鍵時(shí)刻的信息. 圖6 為PCCBiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法與其他模型的預(yù)測(cè)結(jié)果圖,可以看出該方法相較于其他模型預(yù)測(cè)的結(jié)果同真實(shí)值的波動(dòng)更為擬合.

圖6 不同模型預(yù)測(cè)結(jié)果圖

3 結(jié)論

本文將PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法進(jìn)行了探討和驗(yàn)證. 該方法首先利用PCC 相關(guān)系數(shù)將特征數(shù)據(jù)進(jìn)行篩選,刪除冗余無關(guān)特征對(duì)實(shí)驗(yàn)結(jié)果精度的影響,實(shí)現(xiàn)多元數(shù)據(jù)的降維選優(yōu). 其次選取BiLSTM 神經(jīng)網(wǎng)絡(luò)雙向?qū)W習(xí)時(shí)序序列的變化規(guī)律,再使用GRU 融合Attention 機(jī)制進(jìn)一步深度學(xué)習(xí)雙向時(shí)序特征的變化規(guī)律,同時(shí)更精準(zhǔn)的捕獲關(guān)鍵時(shí)刻的信息,最后通過全連接層輸出最后預(yù)測(cè)值. 本文結(jié)合PCC 相關(guān)系數(shù)、BiLSTM 神經(jīng)網(wǎng)絡(luò)、GRU 神經(jīng)網(wǎng)絡(luò)、Attention 機(jī)制進(jìn)一步提高了對(duì)多元時(shí)序序列的預(yù)測(cè)精度. 將該方法通過實(shí)驗(yàn)與BP、LSTM、GRU、BiLSTMGRU、BiLSTM-GRU-Attention 五種模型進(jìn)行對(duì)比,驗(yàn)證結(jié)果表明,PCC-BiLSTM-GRU-Attention 組合模型的預(yù)測(cè)方法在MAPE和決定系數(shù)兩種指標(biāo)上有顯著優(yōu)勢(shì),與真實(shí)值具有更高的擬合性,實(shí)際預(yù)測(cè)精度最佳.