基于CNN-BiLSTM-Attention的股價(jià)預(yù)測模型

汪夢園

（河北建筑工程學(xué)院信息工程學(xué)院，河北 張家口 075000）

0 引言

為了降低投資風(fēng)險(xiǎn)并獲得穩(wěn)定的投資回報(bào)，研究人員提出了許多預(yù)測方法，通常使用的一些預(yù)測方法包括統(tǒng)計(jì)學(xué)方法和深度學(xué)習(xí)的方法。統(tǒng)計(jì)學(xué)方法通過建立適當(dāng)?shù)臄?shù)學(xué)模型來擬合歷史時(shí)間趨勢曲線，例如何永沛提出一種ARMA[1]模型的改進(jìn)算法，提高模型精確度。該方法所依賴的數(shù)據(jù)較簡單，但是要求時(shí)序數(shù)據(jù)是穩(wěn)定的，不能很好地處理非線性數(shù)據(jù)。

而神經(jīng)網(wǎng)絡(luò)作為一個(gè)高度復(fù)雜的非線性系統(tǒng)，它在處理多影響因素、不穩(wěn)定的復(fù)雜非線性問題時(shí)具有一定的優(yōu)勢[2]。例如，季闊使用三層BP神經(jīng)網(wǎng)絡(luò)[3]對上證指數(shù)收盤價(jià)進(jìn)行實(shí)證分析，建立了一套更適應(yīng)于股票預(yù)測的網(wǎng)絡(luò)結(jié)構(gòu)。趙紅蕊等人[4]建立的LSTM-CNN-CBAM模型，在通混合模型中加入了CBAM 注意力機(jī)制，使模型自動(dòng)提取特征。但是在股票預(yù)測的過程中，神經(jīng)網(wǎng)絡(luò)難免出現(xiàn)損耗CPU、梯度消失或者梯度下降的問題。

該文將使用人民銀行股票數(shù)據(jù)進(jìn)行研究，并將研究結(jié)果與加入注意力機(jī)制的LSTM模型（LSTM-Attention）、卷積神經(jīng)網(wǎng)絡(luò)與雙向長短記憶神經(jīng)網(wǎng)絡(luò)混合模型（CNN-BiLSTM）、單獨(dú)的長短記憶神經(jīng)網(wǎng)絡(luò)模型（LSTM）進(jìn)行對比，得出CNNBiLSTM-Attention模型具有良好的效果。

1 CNN-BiLSTM-Attention預(yù)測模型

該文的總體思路如下：第一步，數(shù)據(jù)預(yù)處理。先將數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)缺失值、重復(fù)值的處理，然后進(jìn)行歸一化，處理完成后分為測試集與訓(xùn)練集。第二步，模型構(gòu)建。將訓(xùn)練集數(shù)據(jù)輸入CNN模型中，通過CNN的卷積層和池化層的構(gòu)建，用來特征提取，再經(jīng)過BiLSTM模型進(jìn)行序列預(yù)測，期間調(diào)整神經(jīng)網(wǎng)絡(luò)的層數(shù)、batch_size等模型參數(shù)。第三步，更新權(quán)重。使用注意力機(jī)制對提取到的特征增加權(quán)重值，更新權(quán)重。最后構(gòu)建CNN-BiLSTM-Attention模型，將測試集數(shù)據(jù)輸入，檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確率。整體架構(gòu)如圖1所示。

圖1 CNN-BiLSTM-Attention模型

1.1 數(shù)據(jù)預(yù)處理

由于獲取到的數(shù)據(jù)存在數(shù)據(jù)缺失和數(shù)據(jù)重復(fù)的問題，需要對數(shù)據(jù)進(jìn)行預(yù)處理。

針對缺失數(shù)據(jù)采取相鄰數(shù)據(jù)取平均值的方法進(jìn)行處理，對重復(fù)數(shù)據(jù)進(jìn)行刪除該樣本的操作，由于股票數(shù)據(jù)部分結(jié)果相差較大，因此在數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)模型之前需要對數(shù)據(jù)進(jìn)行歸一化處理，使用的是0-1歸一化，計(jì)算方式如公式（1）所示。

式中：x為原始樣本數(shù)據(jù)值；min為樣本數(shù)據(jù)中的最小值；max為樣本數(shù)據(jù)中的最大值。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積式神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）利用卷積算法操作的優(yōu)點(diǎn)，可以對原始數(shù)據(jù)進(jìn)行更高級和更抽象的表示。從上一級的卷積方法可以得知與時(shí)序數(shù)據(jù)在產(chǎn)生前后的關(guān)聯(lián)，從而可以運(yùn)用于CNN處理數(shù)據(jù)的相關(guān)特征。其基本結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層以及輸出層。

數(shù)據(jù)從輸入層進(jìn)入網(wǎng)絡(luò)結(jié)果，經(jīng)過卷積層輸出多個(gè)特征面，特征面中每個(gè)神經(jīng)元的取值都通過對應(yīng)卷積核計(jì)算得到，如公式（2）所示。

式中：輸入層為l-1層；Wsl-1為特征矩陣，有s個(gè)特征；輸出層為l；Ysjl為輸入數(shù)據(jù)；f為ReLU激活函數(shù)。然后再經(jīng)過池化層，進(jìn)行數(shù)據(jù)壓縮，壓縮結(jié)果為一維向量。池化層的輸出結(jié)果傳到全連接層，全連接層對之前卷積層的池化層所提取到的特征進(jìn)行整合，然后更新權(quán)值，實(shí)現(xiàn)反向傳播。

通過調(diào)整卷積核的大小，選擇最適合模型的參數(shù)。模型中設(shè)定卷積層中卷積核數(shù)量為64、大小為2×2，激活函數(shù)為ReLU函數(shù)；池化層的大小設(shè)置為1×1。

該文使用CNN對數(shù)據(jù)進(jìn)行高維、非線性地特征提取，將處理后相對穩(wěn)定的信息作為整體傳入 BiLSTM 網(wǎng)絡(luò)進(jìn)行預(yù)測。

1.3 雙向長短記憶神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）[5]可以解決有關(guān)時(shí)間序列的問題，它的每個(gè)層不僅要輸出下一層，而且輸出一個(gè)當(dāng)前層以及之前網(wǎng)絡(luò)結(jié)構(gòu)的細(xì)胞狀態(tài)。循環(huán)神經(jīng)網(wǎng)絡(luò)同樣也可以擴(kuò)展到具有較長周期的序列數(shù)據(jù)，并且大部分的循環(huán)神經(jīng)網(wǎng)絡(luò)可以處理不同序列長度的數(shù)據(jù)，由于RNN每次計(jì)算后的數(shù)據(jù)都會傳到下一個(gè)網(wǎng)絡(luò)層，當(dāng)序列過長時(shí)，計(jì)算梯度的相加過程就容易出現(xiàn)梯度消失或者梯度爆炸，因此在處理長序列問題時(shí)，需要保存之前的有用信息。

2005年，Graves提出使用完全的后向傳播方式訓(xùn)練 LSTM 模型[6]，使 LSTM 的訓(xùn)練結(jié)果準(zhǔn)確率更高，更能適應(yīng)長時(shí)間序列內(nèi)部的隱藏信息，當(dāng)有指定的窗口大小時(shí)，從經(jīng)驗(yàn)中學(xué)習(xí)以預(yù)測時(shí)間序列。另外，通過存儲單元將與時(shí)間相關(guān)的信息保留，可以解決梯度消失的問題。它可以應(yīng)用于學(xué)習(xí)翻譯語言、車流預(yù)測等前后信息關(guān)聯(lián)較大的問題中。

圖2為LSTM神經(jīng)網(wǎng)絡(luò)的細(xì)胞結(jié)構(gòu)圖，主要由遺忘門ft、輸入門it、輸出門Ot和細(xì)胞狀態(tài)4個(gè)部分組成，更新過程如圖2所示。

圖2 LSTM細(xì)胞結(jié)構(gòu)

更新過程如下。

通過遺忘門篩選需要過濾掉的上一個(gè)LSTM細(xì)胞的無用信息，如公式（3）所示。

式中：ft為遺忘門的輸出；σ為sigmoid函數(shù)，將輸出結(jié)果鎖定在0～1；Uf、Wf為權(quán)值矩陣；Xt為新輸入的信息；ht-1是上一個(gè)LSTM細(xì)胞結(jié)構(gòu)的輸出；bf為偏移量。

再經(jīng)過輸入門通過新輸入的數(shù)據(jù)和遺忘門過濾后的數(shù)據(jù)進(jìn)行下一個(gè)細(xì)胞的輸入，如公式（4）和公式（5）所示。

式中：it為新細(xì)胞需要保存的信息；為原始細(xì)胞狀態(tài)需要保留的信息；tanh為正切函數(shù)，可以將結(jié)果壓縮到-1～1；Ui、Wi、Uc、Wc為權(quán)值矩陣；bi、bc為偏移量，確定了新細(xì)胞需要保留的信息，在確定原始細(xì)胞的有用信息和新細(xì)胞的保留信息后，更新細(xì)胞狀態(tài)Ct如公式（6）所示。

最后輸出門輸出目前的信息如公式（7）和公式（8）所示。

式中：Uo、Wo為權(quán)值矩陣；bo為偏移量；ht為當(dāng)前細(xì)胞的輸出。

LSTM的細(xì)胞構(gòu)造，使LSTM歷史模型具備了更強(qiáng)的歷史信息篩選能力和時(shí)間順序?qū)W習(xí)能力，可合理利用輸入歷史數(shù)據(jù)信息，對過去時(shí)期的歷史數(shù)據(jù)信息形成長期記憶，從而規(guī)避了有效的歷史信息由于不斷輸入歷史數(shù)據(jù)的影響，而無法持久存儲的問題。

由于數(shù)據(jù)處理的過程取決于網(wǎng)絡(luò)連接的方向，因此對需要考慮未來數(shù)據(jù)對歷史數(shù)據(jù)的影響情況的事件，引入了雙向長短記憶神經(jīng)網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，BiLSTM）[7]，該模型可以同時(shí)引用歷史數(shù)據(jù)和未來數(shù)據(jù)對預(yù)測結(jié)果的影響。模型的展開結(jié)構(gòu)如圖3所示。

圖3 BiLSTM展開結(jié)構(gòu)

其中，x為輸入數(shù)據(jù)，y為神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果，數(shù)據(jù)從2個(gè)方向進(jìn)行輸入，并將結(jié)果保存到和中，經(jīng)過計(jì)算，數(shù)據(jù)輸出到輸出層Hi中，計(jì)算過程如公式（9）所示。

該雙向長短記憶神經(jīng)網(wǎng)絡(luò)優(yōu)化器選擇了Adam函數(shù)，batch_size為128，神經(jīng)元個(gè)數(shù)為64，學(xué)習(xí)率為0.001，在CNN和BiLSTM中激活函數(shù)使用Sigmoid函數(shù)，同時(shí)將模型中Dropout層設(shè)置為0.2，防止過擬合，提高模型的泛化性能。

1.4 注意力機(jī)制

由于長的時(shí)間序列中不可避免的多個(gè)特征對預(yù)測結(jié)果的影響不同，為了能夠評估每個(gè)特征對輸出結(jié)果的影響，引入注意力（Attention）機(jī)制[8]，它可以通過輸入與輸出的結(jié)果來對比不同特征的影響，對特征設(shè)置不同的權(quán)重。

該文將Attention機(jī)制引入BiLSTM模型，為所有的特征進(jìn)行加權(quán)評估，實(shí)現(xiàn)選擇性地使用輸入數(shù)據(jù)。

將經(jīng)過BiLSTM層計(jì)算后的數(shù)據(jù)ht輸入Attention層，經(jīng)過計(jì)算得到Attention層的輸出S，如公式（10）所示。

式中：αt為Attention層的權(quán)重，然后使用反向誤差傳播進(jìn)行參數(shù)調(diào)整。

2 試驗(yàn)及結(jié)果分析

2.1 試驗(yàn)數(shù)據(jù)簡介

神經(jīng)網(wǎng)絡(luò)的輸入項(xiàng)為與股票的交易密切相關(guān)的各項(xiàng)數(shù)據(jù)，輸出項(xiàng)為收盤價(jià)，目的是為了預(yù)測下一個(gè)交易日的收盤價(jià)。該文從tushare 官網(wǎng)下載試驗(yàn)數(shù)據(jù)，選取的是人民銀行美股（證券代碼為000001）從2005年1月1日到2021年10月4日的數(shù)據(jù)，其中80%作為訓(xùn)練集，20%作為測試集。數(shù)據(jù)集中包括開盤價(jià)（open）、收盤價(jià)（close）、最高價(jià)（high）、最低價(jià)（low）、昨日收盤價(jià)（pre-close）、漲跌額（amount）、漲跌幅（change）、換手率（rate）、成交量（volume）、成交金額（business）、成交量加權(quán)平均價(jià)（price）這些基礎(chǔ)交易數(shù)據(jù)。

2.2 評價(jià)指標(biāo)

該文選用試驗(yàn)選取MAE（平均絕對誤差）、MSE（均方誤差）和MAPE（平均絕對百分比誤差） 作為評價(jià)指標(biāo)[8]，具體計(jì)算過程如公式（11）～公式（13）所示。

平均絕對誤差如公式（11）所示。

均方誤差如公式（12）所示。

平方絕對百分比誤差如公式（13）所示。

式中：n為數(shù)據(jù)集樣本的數(shù)量；yi為樣本數(shù)據(jù)的真實(shí)值；yi為預(yù)測值。

2.3 時(shí)間序列步數(shù)設(shè)置

由于股票數(shù)據(jù)具有時(shí)間序列的特征，因此選用多大的窗口，對預(yù)測的準(zhǔn)確性有影響，該文選用窗口大小為n，滾動(dòng)窗口大小為1，選用了5次不同窗口長度的MAE比較，結(jié)果見表1。

表1可以得出窗口大小為5時(shí)，MAE數(shù)值較大，而步長選擇為15時(shí)，MAE的數(shù)值也比較大，而選擇步長為10時(shí)，平均絕對誤差值最小，因此選擇窗口大小的最優(yōu)選擇為10。

表1 不同滑動(dòng)窗口大小結(jié)果比較

2.4 不同方法的對比

為了驗(yàn)證模型的高準(zhǔn)確率，使用不同的算法進(jìn)行比較，比較結(jié)果見表2。

從表2可知，相較于LSTM混合模型的整體趨勢都較好一些，而新的混合模型CNNBiLSTM-Attention模型MSE為0.012864103，MAPE為0.01984150，比以往的模型有更高的可靠性。

表2 不同模型的預(yù)測結(jié)果對比

3 結(jié)論

該文針對神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)統(tǒng)計(jì)學(xué)方法的弊端，基于Python語言和PyTorch框架編寫代碼，提出了基于Attention的卷積神經(jīng)網(wǎng)絡(luò)和雙向長短記憶神經(jīng)網(wǎng)絡(luò)的混合模型，該模型使用CNN進(jìn)行特征提取，BiLSTM模型進(jìn)行預(yù)測，并加入了注意力機(jī)制，提高了預(yù)測的精度，能夠?qū)α炕灰滋峁┘夹g(shù)支持。