基于時空注意力機制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)的股指預(yù)測研究

楊 驀, 王 靜

(西北農(nóng)林科技大學(xué) 經(jīng)濟管理學(xué)院,陜西 楊陵 712100)

0 引言

對股票市場的準(zhǔn)確預(yù)測可以為投資者提供投資參考,提高金融市場的運行效率。然而,股票市場是一個復(fù)雜的、非線性的、有噪聲的、動態(tài)的系統(tǒng),因此很難對其進行準(zhǔn)確的預(yù)測。一方面,許多因素影響股票市場的價格,因此有必要解決外部屬性之間的相關(guān)性問題。另一方面,股票市場的內(nèi)部變化是不規(guī)則的,容易受到外部屬性的影響。特別是在進行長期預(yù)測時,外部影響會加劇股價的波動,因此很難提取股價隨時間變化的關(guān)系。然而,目前大多數(shù)方法只在股指的短期預(yù)測中取得良好的效果。在神經(jīng)網(wǎng)絡(luò)上分配注意力權(quán)重已經(jīng)出現(xiàn)在各種任務(wù)中,如文本翻譯、圖像識別等。主要原因是注意力機制可以自適應(yīng)地聚焦于特征的信息部分,減少不必要的特征,釋放運行內(nèi)存,從而提高擬合數(shù)據(jù)時的模型精度。

1 相關(guān)工作

傳統(tǒng)時間序列模型是最早被用于股票價格預(yù)測的一類模型,如DEVI等利用四家股票數(shù)據(jù)驗證了ARIMA模型的預(yù)測準(zhǔn)確性[1]。傳統(tǒng)計量經(jīng)濟學(xué)模型刻畫金融時間序列時假設(shè)具體的模型,但是高噪聲、非線性的動態(tài)金融時間序列數(shù)據(jù)不能通過參數(shù)方程來描述,導(dǎo)致了傳統(tǒng)時間序列模型的局限性。

機器學(xué)習(xí)模型為股市建模和預(yù)測提供了一種新的方法。淺層機器學(xué)習(xí)模型可以從大量訓(xùn)練樣本中學(xué)習(xí)統(tǒng)計規(guī)律。然而,在有限樣本和計算單元的情況下,淺層學(xué)習(xí)結(jié)構(gòu)對于復(fù)雜函數(shù)的表示能力是有限的。相反,深度學(xué)習(xí)可以通過構(gòu)建隱藏層多、訓(xùn)練數(shù)據(jù)量大的模型,實現(xiàn)復(fù)雜函數(shù)逼近、提高預(yù)測的精度,如RATHER等使用遞歸神經(jīng)網(wǎng)絡(luò)(RNN)預(yù)測六只股票回報率,并使用遺傳算法為模型生成最優(yōu)權(quán)重,得到了準(zhǔn)確的預(yù)測性能[2]。HOSEINZADE和 HARATIZADEH構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)CNN,預(yù)測S&P500、納斯達克等指數(shù)走勢,發(fā)現(xiàn)CNN的預(yù)測性能比基線算法有顯著提高[3]。ZULQARNAIN等使用門控遞歸單元(GRU)層捕捉長期信號相關(guān)性,在恒生指數(shù)HSI、德國DAX和S&P 500三個股票指數(shù)數(shù)據(jù)集上評估模型,發(fā)現(xiàn)基于GRU-CNN方法的預(yù)測準(zhǔn)確率最高[4]。

HOCHRITER提出的長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)是近年來最流行的模型之一,因為它可以通過門結(jié)構(gòu)緩解RNN造成的梯度消失和爆炸。近年來,許多基于LSTM的研究興起。FISCHER和KRAUSS驗證了LSTM在股指預(yù)測上相對于隨機森林模型、DNN等的更高精度[5]。雙向長短期記憶神經(jīng)網(wǎng)絡(luò)由兩個相反方向的LSTM模型組成,在大范圍時間序列數(shù)據(jù)學(xué)習(xí)中具有顯著優(yōu)勢。SIAMI等發(fā)現(xiàn)BiLSTM額外的數(shù)據(jù)訓(xùn)練過程提供了比標(biāo)準(zhǔn)LSTM更好的預(yù)測效果[6]。

特征選擇是指選擇原始輸入變量的子集,這些輸入變量通常是技術(shù)或基本指標(biāo)。由于所選擇的輸入子集可以更好地表示數(shù)據(jù)集的原始特征,因此使用其構(gòu)造模型可以提高準(zhǔn)確性和效率。主成分分析(PCA)是數(shù)據(jù)降維的有效方法之一。

注意力機制逐漸被應(yīng)用到時間序列預(yù)測中,因為這種方法可以學(xué)習(xí)動態(tài)的時空關(guān)系,并為屬性賦予不同的權(quán)重。其中,空間注意力權(quán)重是指屬性對預(yù)測結(jié)果的影響。CHEN等提出了空間注意力機制與BiLSTM相結(jié)合的混合模型,其中注意力機制對關(guān)鍵特征賦予更高的權(quán)重,從而獲得了較好的準(zhǔn)確性[7]。

此外,由于培訓(xùn)不穩(wěn)定和梯度消失問題,LSTM無法記住非常長期的相互依存關(guān)系。時間注意力機制可以緩解這一問題,該機制對神經(jīng)網(wǎng)絡(luò)模塊的隱藏狀態(tài)進行加權(quán),以確保動態(tài)地、選擇性地獲得所有時間相關(guān)性。SHIH等提出了基于時間模式的注意力機制,不僅可以在同一時間步長內(nèi),而且可以在多個時間步長內(nèi)學(xué)習(xí)變量之間的相互依賴關(guān)系[8]。

本文的主要貢獻包括以下幾個方面:首先,分析了基于注意力機制的時空關(guān)系,并將其應(yīng)用于股指收盤價的多步預(yù)測。其次,利用BiLSTM對股指進行預(yù)測,探究在LSTM的基礎(chǔ)上加入反向LSTM層對預(yù)測的效果。第三,提出了兩種基于注意力機制的BiLSTM模型,可以學(xué)習(xí)數(shù)據(jù)的時空關(guān)系,提高BiLSTM模型的性能。

2 理論框架

2.1 長短期記憶神經(jīng)網(wǎng)絡(luò)

長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM(long short term memory)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò),由Hochreiter和Schmidhuber提出。它在傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)上添加了記憶存儲(Cell)和門結(jié)構(gòu)(Gates),Cell(Ct)用于記錄神經(jīng)元狀態(tài),門可以實現(xiàn)選擇性地讓信息通過,主要通過一個sigmoid的神經(jīng)層和一個逐點相乘的操作來實現(xiàn)的。LSTM通過三個類似于過濾器的門結(jié)構(gòu)來實現(xiàn)信息的保護和控制:遺忘門(ft)決定從細(xì)胞狀態(tài)中丟棄的信息、輸入門(it)決定有多少新的信息加入到Cell中、輸出門(Ot)用過濾最終輸出信息。LSTM通過門結(jié)構(gòu)可以很好的表達輸入中的長期依賴的信息,有效緩解了梯度消失和梯度爆炸的問題。

2.2 雙向長短期記憶神經(jīng)網(wǎng)絡(luò)

在通常的時間序列處理中,LSTM往往會忽視未來的信息,雙向長短期記憶神經(jīng)網(wǎng)絡(luò)BiLSTM(Bi-directional long short term memory)在LSTM基礎(chǔ)上使用兩個單獨的隱藏層在正向和反向兩個方向上處理序列數(shù)據(jù),將兩個隱藏層連接到同一輸出層,將先前的信息和后來的信息都存儲為時間序列數(shù)據(jù)的當(dāng)前時間基礎(chǔ),因此理論上預(yù)測表現(xiàn)會比單向LSTM好。BiLSTM的隱藏層輸出包括前向隱藏層的激活輸出和后向隱藏層的激活輸出。

2.3 注意力機制

LSTM無法捕捉到不同時點和不同輸入特征對收盤價的不同貢獻。注意力機制是一種模擬人腦注意力機制的模型,它可以通過計算注意力概率分布,突出某個關(guān)鍵性輸入對于輸出的影響作用,在計算能力有限的情況下,將計算資源分配給更重要的任務(wù),對于傳統(tǒng)的模型具有很好的優(yōu)化作用。本文提出一種新穎的時空注意力機制,以捕獲股票市場上的動態(tài)時空相關(guān)性,它包含兩種注意力機制,即空間注意力機制和時間注意力機制。

2.3.1 空間注意力機制

在空間維度上,不同的輸入特征相互影響,并且相互影響是高度動態(tài)的,因此,本文使用空間注意力機制自適應(yīng)地捕獲空間維度上節(jié)點之間的動態(tài)相關(guān)性。該部分機制表示總和為1 的注意力權(quán)重的外部特征對收盤價的影響。對于每個時間步長t,權(quán)重用于衡量一個節(jié)點應(yīng)該在另一節(jié)點的狀態(tài)上集中多少注意力以預(yù)測其狀態(tài)計算未來的收盤價。

2.3.2 時間注意力機制

BiLSTM單元可以通過單元機制存儲時間信息,并通過門機制控制時間信息的增加或減少,從而保持長期依賴性。但是,通過門機制的時間信息會導(dǎo)致BiLSTM單元在每個時間窗口T中更改單元狀態(tài),與歷史的輸入相比,此最終狀態(tài)傾向于保留有關(guān)最新輸入的更多信息。在較短時序的預(yù)測中,該問題不會導(dǎo)致嚴(yán)重偏差。但是,對于較長的預(yù)測范圍,標(biāo)準(zhǔn)模型可能會低估較早狀態(tài)的影響,時間注意力機制用于了解每個時間窗口中這些隱藏狀態(tài)的影響。本文BiLSTM單位存儲時間信息,并且注意力機制用于測量這些不同細(xì)胞狀態(tài)對收盤價預(yù)測的重要性。

2.3.3 時空注意力機制

空間相關(guān)性通過空間注意力機制將注意力權(quán)重分配給原始屬性來表示,時間關(guān)系通過時間注意力機制通過將注意力權(quán)重分配給空間注意力中的隱藏狀態(tài)來表示,時空注意力機制同時結(jié)合了空間和時間相關(guān)性,使神經(jīng)網(wǎng)絡(luò)自動對有價值的信息給予更多關(guān)注。

2.4 評估指標(biāo)

為了全面評估所提出模型用于股票指數(shù)收盤價預(yù)測的有效性,本文將使用如下幾種評價指標(biāo)測評所提出的模型。平均絕對百分比誤差(MAPE)、均方根誤差(RMSE)和均值絕對誤差(MAE)用于定量評價模型的預(yù)測精度,MAPE,RMSE和MAE越小說明精度越高。為了進一步驗證模型的有效性,對股指的漲跌趨勢進行預(yù)測。本文使用預(yù)測分類準(zhǔn)確率對預(yù)測結(jié)果進行評價。

3 實證檢驗

3.1 數(shù)據(jù)來源及描述

為探究上述模型對于實際金融事件序列數(shù)據(jù)預(yù)測的適用性與有效性,本部分將基于注意力機制和BiLSTM神經(jīng)網(wǎng)絡(luò)的金融預(yù)測模型應(yīng)用于香港恒生股票指數(shù)(HSI)收盤價的預(yù)測,數(shù)據(jù)樣本選取區(qū)間為1986年12月31日—2020年8月3日。本文的響應(yīng)變量為恒生指數(shù)的日收盤價,影響指標(biāo)分為行情因子和技術(shù)因子,共29個指標(biāo),見表1。數(shù)據(jù)來源于銳思金融數(shù)據(jù)庫。

表1 香港恒生指數(shù)特征向量

3.2 總樣本區(qū)間及劃分

本文采用如下標(biāo)準(zhǔn)選取數(shù)據(jù)集:剔除日成交量為0的初期數(shù)據(jù),選取自日成交量數(shù)據(jù)存在至2020年8月3日的所有交易數(shù)據(jù)。為了觀察預(yù)測方法對股指短期、中期、長期的預(yù)測效果,本文分別對1日(次日),7日,30日,60日,120日的股指收盤價進行預(yù)測,其中,25%作為測試集,剩下數(shù)據(jù)中,15%為驗證集,其余數(shù)據(jù)為訓(xùn)練集。

3.3 數(shù)據(jù)歸一化

在使用模型對數(shù)據(jù)進行擬合之前,為了加快梯度下降速度、提高運算精度,本文先對數(shù)據(jù)進行歸一化處理,對原始數(shù)據(jù)進行線性處理,映射到[0,1]區(qū)間。

3.4 參數(shù)設(shè)置

本部分訓(xùn)練模型的運行環(huán)境如下:2.4GHz+四核+Intel Core i5+8 GB+2133 MHz LPDDR3。本文基于Python語言環(huán)境,以Tensorflow為深度學(xué)習(xí)框架進行模型的訓(xùn)練及預(yù)測,Python版本為3.7,Tensorflow版本為2.2.0。

首先,本文選取Adam作為優(yōu)化器。Adam算法集合了以下兩種隨機梯度下降擴展式的優(yōu)點,即:(1)適應(yīng)性梯度算法:為每一個參數(shù)保留一個學(xué)習(xí)率以提升在稀疏梯度上的性能。(2)均方根傳播:基于權(quán)重梯度最近量級的均值為每一個參數(shù)適應(yīng)性地保留學(xué)習(xí)率,這意味著該算法在非穩(wěn)態(tài)和非線性問題上有很有優(yōu)秀的性能。此外,Adam算法很容易實現(xiàn),并且有較高的運算效率和較低的內(nèi)存需求。

BiLSTM模型中有如下參數(shù)需要設(shè)置,即窗口T中的時間步數(shù):由于本文需要對模型的短期、中期、長期預(yù)測效果進行評估,本文選擇T∈{1,7,30,60,120},分別計算模型性能;每個注意力模塊中的隱藏層個數(shù),編碼器中的隱藏層個數(shù)m和解碼器中的隱藏層個數(shù)p:本文設(shè)置m=p∈{16,32,64,128,256},其中當(dāng)m=p=128時在驗證集上得到最佳性能以用于評估。

本文構(gòu)建的Spatial-Temporal-BiLSTM主體結(jié)構(gòu)如下:一個全連接層,一個空間注意力機制,一個BiLSTM遞歸層,一個時間注意力機制,一個BiLSTM層。為了防止模型過擬合,在每個訓(xùn)練批次中,通過Dropout按照一定的概率隨機使某些隱含層節(jié)點不工作。Hinton等發(fā)現(xiàn),輸入層為0.2的Dropout率適用于各種任務(wù),因此本文將Dropout率設(shè)置為0.2。

為剔除神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的隨機性,本文對每個模型進行10次訓(xùn)練,記錄結(jié)果并取均值以評價模型性能。

4 結(jié)果分析

本節(jié)用于對比六種基線模型和四種添加了注意力機制的模型在短、中、長期預(yù)測股票指數(shù)收盤價的表現(xiàn)。在基線模型中,支持向量回歸機(SVR),卷積神經(jīng)網(wǎng)絡(luò)(CNN),門控循環(huán)單元網(wǎng)絡(luò)(GRU),標(biāo)準(zhǔn)長短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM),雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(BiLSTM),結(jié)合主成分分析的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(PCA-BiLSTM),以及四個添加了注意力機制的模型:分別結(jié)合了空間注意力機制(Spatial-BiLSTM)和時間注意力機制(Temporal-BiLSTM)的雙向長短期記憶神經(jīng)網(wǎng)絡(luò),結(jié)合時空注意力機制的標(biāo)準(zhǔn)LSTM模型(Spatial-Temporal-LSTM),以及結(jié)合時空注意力機制的BiLSTM(Spatial-Temporal-BiLSTM)。

在進行模型評估指標(biāo)計算前,為了便于與原始數(shù)據(jù)進行比較,衡量模型性能,對預(yù)測結(jié)果進行反歸一化。表2展示了十種模型在不同時間步長中的預(yù)測表現(xiàn),本文選取T=7和T=60時的結(jié)果進行羅列。總體來看,淺層學(xué)習(xí)模型模型SVR在所有時間步長中表現(xiàn)都欠佳;深度學(xué)習(xí)模型CNN,GRU,LSTM表現(xiàn)均優(yōu)于淺層學(xué)習(xí)模型;BiLSTM模型由于在LSTM基礎(chǔ)上添加了一層反向結(jié)構(gòu),可以從歷史數(shù)據(jù)中捕獲空間特征和雙向時間依賴性,BiLSTM 精度高于LSTM,Spatial-Temporal-BiLSTM的精度也高于Spatial-Temporal-LSTM;此外,添加了注意力機制的模型總體上預(yù)測效果都要優(yōu)于沒有添加注意力機制的模型。

表2(a)和(b) 模型預(yù)測效果比較(T=7和T=60)

圖1和圖2分別為T=7和T=60時訓(xùn)練集損失和驗證集損失隨迭代次數(shù)的變化趨勢。在T=7時,時間注意力機制的作用不是很明顯,有時間注意力機制和沒有的訓(xùn)練集損失和驗證集損失都有逐漸降低趨勢。但是當(dāng)時間步長增加的時候,在T=60時,如果沒有時間注意力機制,運算時的驗證集損失反而會隨著迭代次數(shù)的增加而呈上升趨勢,而有時間注意力機制的模型,即使時間步長增加,驗證集損失也會隨著迭代次數(shù)增加而呈下降趨勢,且當(dāng)?shù)螖?shù)在50以后逐漸穩(wěn)定下降。說明在多步預(yù)測中,時間注意力機制可以捕捉數(shù)據(jù)之間的長期依賴性,因此隨著運算迭代次數(shù)的增加,模型在訓(xùn)練集和驗證集數(shù)據(jù)上的準(zhǔn)確度才會逐漸增加。

(a)包含時間注意力機制 (b)不包含注意力機制圖1 T=7時訓(xùn)練集損失函數(shù)和驗證集損失函數(shù)

(a)包含時間注意力機制 (b)不包含注意力機制圖2 T=60時訓(xùn)練集損失函數(shù)和驗證集損失函數(shù)

圖3中(a)和(b)分別為BiLSTM, Spatial-BiLSTM, Temporal-BiLSTM, Spatial-Temporal-BiLSTM和PCA-BiLSTM的RMSE和MAE隨著時間步長增加的變化圖。由于主成分分析方法作為比較有效的特征篩選方法,將其與空間注意力機制進行對比,可以評估本文特征篩選方法的有效性。注意力權(quán)重可視化不僅可以看到每個特征有多少注意力被關(guān)注和接收,還可以識別最重要的特征。對比PCA-BiLSTM和Spatial-BiLSTM,發(fā)現(xiàn)使用空間注意力機制篩選特征在任何時間步長都比用主成分分析降維達到更低的預(yù)測誤差,且當(dāng)T=1時,PCA-BiLSTM模型預(yù)測精度低于原始BiLSTM,原因可能是進行單步預(yù)測的時候,PCA會使輸入數(shù)據(jù)損失掉一部分有效信息,反而使原本模型的預(yù)測精度降低。而添加了空間注意力機制的模型,可以對輸入特征進行篩選和分析,更有效的提取輸入指標(biāo)的數(shù)據(jù)結(jié)構(gòu),并對重要變量進行更高的關(guān)注度,同時減少了在模型在訓(xùn)練非信息性特征時花費的不必要的計算時間從而降低了高計算成本以及過度擬合的風(fēng)險,因此在進行預(yù)測時可以達到更高的準(zhǔn)確率。

(a)不同模型MAE變化 (b)不同模型RMSE變化圖3 時間步長改變時有無注意力機制的BiLSTM模型性能比較

由圖3可知,隨著時間步長的增加,模型的預(yù)測精度均會降低,但是Temporal-BiLSTM隨著時間步長的增加,其預(yù)測誤差增加幅度不大,且當(dāng)T=60時,預(yù)測誤差相對于T=30有所下降,說明添加了時間注意力模塊的模型在預(yù)測長時間序列的時候有很大優(yōu)勢,而沒有時間注意力機制的模型,當(dāng)時間步長增加時,模型預(yù)測誤差會有較大程度的升高,預(yù)測精度會大幅度降低,說明時間注意力機制的確可以保持序列的長期依賴性,在長期預(yù)測時表現(xiàn)更優(yōu)。

概而言之,基于注意力的BiLSTM模型通過學(xué)習(xí)不同屬性和不同序列之間的時空關(guān)系,可以在股票指數(shù)序列預(yù)測中實現(xiàn)更好的性能,從而為該神經(jīng)網(wǎng)絡(luò)提供了良好的解釋性。

圖4(a)和(b)分別為T=7和T=60時的模型預(yù)測結(jié)果和真實收盤價的對比圖?？梢钥闯霎?dāng)時間步數(shù)變長時,所有模型的擬合誤差都會增大。

圖4(a) T=7時所有模型的預(yù)測價格和真實價格比較

圖4(b) T=60時所有模型的預(yù)測價格和真實價格比較

5 結(jié)論

本文研究了基于注意力機制的BiLSTM方法在短、中、長期香港恒生股票指數(shù)收盤價預(yù)測中的有效性。所提出的模型Spatial-Temporal-BiLSTM在幾乎所有時間步長的預(yù)測中均達到最佳結(jié)果。實驗結(jié)果證明了以下結(jié)論:(1)在其他條件相同的情況下,BiLSTM可以在任何時間步長達到比LSTM更優(yōu)的準(zhǔn)確率。(2)基于注意力機制的BiLSTM模型在股票指數(shù)的短、中、長期預(yù)測中均優(yōu)于所有基線方法,這是由于時空關(guān)系的清晰有效表示和學(xué)習(xí)能力所致。(3)Spatial-BiLSTM模型在股票指數(shù)預(yù)測中,準(zhǔn)確率高于結(jié)合了PCA-BiLSTM模型,表明空間注意力機制可以更有效地提取數(shù)據(jù)關(guān)系。(4)Temporal-BiLSTM模型在股票指數(shù)的長期預(yù)測中更準(zhǔn)確,這表明在長期預(yù)測中保持時間序列的長期依賴性很重要。