基于BiGRU-ETR混合模型的股票預(yù)測(cè)研究

王龍

關(guān)鍵詞：雙向門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)（BiGRU） ；極端隨機(jī)樹(shù)（ETR） ；Stacking集成思想；股價(jià)預(yù)測(cè)

0 引言

股票市場(chǎng)作為金融市場(chǎng)中的重要組成部分，從一定程度上能反映一個(gè)國(guó)家經(jīng)濟(jì)狀況的發(fā)展情況，可以說(shuō)是經(jīng)濟(jì)發(fā)展的晴雨表。因此對(duì)股票市場(chǎng)波動(dòng)趨勢(shì)的準(zhǔn)確把握便顯得尤為重要，越來(lái)越多的學(xué)者開(kāi)始研究如何利用模型對(duì)股票價(jià)格及其走勢(shì)進(jìn)行精準(zhǔn)的預(yù)測(cè)。胡聿文[1]以LSTM模型為基礎(chǔ)，通過(guò)主成分分析法對(duì)股票序列中的特征進(jìn)行篩選然后進(jìn)行預(yù)測(cè)得出比未篩選特征時(shí)更加精確的預(yù)測(cè)效果。孫麗麗等[2]以XGBoost模型為基礎(chǔ)，通過(guò)網(wǎng)格搜索算法對(duì)模型中包含的參數(shù)進(jìn)行優(yōu)化，最終優(yōu)化后的模型得出比參數(shù)優(yōu)化前更加優(yōu)秀的預(yù)測(cè)結(jié)果。李新堯[3]使用SSA算法對(duì)LSTM網(wǎng)絡(luò)中的超參數(shù)進(jìn)行尋優(yōu)后應(yīng)用于股票預(yù)測(cè)中取得了較好的預(yù)測(cè)效果。陳帥[4]將遺傳算法應(yīng)用到BP神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化上，在股票價(jià)格的預(yù)測(cè)中相比于基礎(chǔ)模型有了較大的提高。蒙懿[5]等人使用注意力機(jī)制對(duì)股票時(shí)間序列中的時(shí)間特征進(jìn)行提取，結(jié)合CNN-BiLSTM模型對(duì)股票進(jìn)行預(yù)測(cè)最終得出了優(yōu)秀的預(yù)測(cè)效果。李輝[6]等人將RF模型和LSTM模型進(jìn)行組合相比于基礎(chǔ)模型極大提高了股票時(shí)間序列的預(yù)測(cè)精度。Thomas 等[7]引入了長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM） 進(jìn)行股價(jià)預(yù)測(cè)分析，進(jìn)一步表明了LSTM在股價(jià)預(yù)測(cè)中能取得較好的結(jié)果。Chandar等[8]使用灰狼優(yōu)化算法GWO對(duì)ENN神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)進(jìn)行尋優(yōu)處理取得了較好的預(yù)測(cè)效果。Yu[9]等將局部線性嵌入降維算法（LLE） 應(yīng)用到股票價(jià)格影響因素的降維中，減小了特征的冗余度，然后再將降維后的數(shù)據(jù)運(yùn)用到BP神經(jīng)網(wǎng)絡(luò)中訓(xùn)練并預(yù)測(cè)，對(duì)股價(jià)序列實(shí)現(xiàn)了更高精確度的預(yù)測(cè)。Bose[10]等使用多元自適應(yīng)回歸樣條算法（MARS） 對(duì)股價(jià)特征數(shù)據(jù)進(jìn)行降維處理，然后通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明經(jīng)過(guò)MARS處理后的數(shù)據(jù)集代入模型會(huì)取得更加優(yōu)秀的預(yù)測(cè)效果。

基于Stacking集成思想，本文將善于處理時(shí)間序列數(shù)據(jù)的BiGRU模型以及處理復(fù)雜特征數(shù)據(jù)性能優(yōu)良的ETR模型結(jié)合起來(lái)，充分融合兩模型各自的優(yōu)勢(shì)，從而發(fā)揮混合集成模型BiGRU-ETR在處理具有長(zhǎng)記憶性和多特征特點(diǎn)的股票價(jià)格數(shù)據(jù)中的優(yōu)勢(shì)，進(jìn)而提高在股票預(yù)測(cè)中的穩(wěn)定性和預(yù)測(cè)精度。

1 實(shí)驗(yàn)方法理論

1.1 極端隨機(jī)樹(shù)模型

決策樹(shù)是一種遞歸構(gòu)建的單分類回歸器算法，是一種樹(shù)狀結(jié)構(gòu)的機(jī)器學(xué)習(xí)算法，通常被用于很多集成模型的基礎(chǔ)模型。一棵完整的決策樹(shù)由根節(jié)點(diǎn)、葉節(jié)點(diǎn)和內(nèi)部節(jié)點(diǎn)構(gòu)成，決策樹(shù)一般按照一定的分裂規(guī)則進(jìn)行結(jié)點(diǎn)的分裂，不同的分裂規(guī)則對(duì)應(yīng)不同的算法，目前最常用的是根據(jù)基尼系數(shù)進(jìn)行結(jié)點(diǎn)分裂的CART 決策樹(shù)。一棵決策樹(shù)的構(gòu)建過(guò)程包含諸多參數(shù)，像樹(shù)的深度，結(jié)點(diǎn)的特征數(shù)量等參數(shù)會(huì)對(duì)決策樹(shù)效果的好壞產(chǎn)生重要的影響。

極端隨機(jī)森林算法類似于隨機(jī)森林，都是由許多不同的決策樹(shù)并行構(gòu)成，屬于bagging集成算法的一種。與隨機(jī)森林算法不同的是，構(gòu)成極端隨機(jī)森林算法的每棵決策樹(shù)所使用的樣本為全部訓(xùn)練樣本，不進(jìn)行隨機(jī)抽樣，并且決策樹(shù)在進(jìn)行結(jié)點(diǎn)的分裂時(shí)隨機(jī)選取特征和特征閾值，采用隨機(jī)閾值進(jìn)行分裂。對(duì)于某棵決策樹(shù)而言，盡管使用的樣本均為全部訓(xùn)練樣本，但由于在結(jié)點(diǎn)分裂時(shí)的雙重隨機(jī)性，保證了構(gòu)成極端隨機(jī)森林的每棵決策樹(shù)均是不同的，相比于隨機(jī)森林而言模型的方差更小，泛化性更強(qiáng)。

1.2 BiGRU 的結(jié)構(gòu)和原理介紹

1.2.1 GRU 模型

門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)（Gated Recurrent Neural Net?work，GRU） 模型是為了更好地處理時(shí)序數(shù)據(jù)中的長(zhǎng)期依賴性而進(jìn)化出的一種更高級(jí)的循環(huán)神經(jīng)網(wǎng)絡(luò)（Re?current Neural Network， RNN） 。GRU模型相比于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM） ，通過(guò)減少門(mén)控制組件有效減少參數(shù)量，模型訓(xùn)練效率大幅提高。GRU模型通過(guò)門(mén)保留了時(shí)間序列的重要特征，緩解了[1] 循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN） 模型梯度消失問(wèn)題，在訓(xùn)練任務(wù)中保留了模型的記憶功能。

圖1為GRU模型單個(gè)神經(jīng)元結(jié)構(gòu)展開(kāi)圖，t 時(shí)刻的輸入值xt 和t - 1時(shí)刻的隱藏狀態(tài)ht - 1 共同構(gòu)成t 時(shí)刻神經(jīng)元的輸入值；輸出值由t 時(shí)刻隱藏狀態(tài)的輸出值yt和傳輸?shù)絫+1時(shí)刻的隱藏狀態(tài)ht所構(gòu)成。

其中，公式（1） 為更新門(mén)公式，公式（2） 為重置門(mén)公式，公式（3） 為候選隱藏狀態(tài)更新公式，公式（4） 為最終隱藏狀態(tài)更新公式，公式（5） 為輸出值公式。其中Wr、Wz、Wh?、Wo 分別為更新門(mén)、重置門(mén)、更新和輸出公式的權(quán)重，br、bz、bh 分別為更新門(mén)、重置門(mén)和候選隱藏狀態(tài)公式的偏置。

1.2.2 BiGRU 模型

公式（6） 為t 時(shí)刻神經(jīng)元前向隱藏層狀態(tài)更新公式，公式（7） 為t 時(shí)刻神經(jīng)元反向隱藏層狀態(tài)更新，公式（8） 為BiGRU模型t 時(shí)刻隱藏狀態(tài)加權(quán)更新公式。其中，Wt 表示t 時(shí)刻神經(jīng)元的前向隱藏狀態(tài)ht 的權(quán)值；Vt 分別表示t 時(shí)刻神經(jīng)元反向隱藏狀態(tài)ht 的權(quán)值；bt 是t時(shí)刻隱藏狀態(tài)的偏置。

1.3 網(wǎng)格尋優(yōu)算法（GS）

網(wǎng)格尋優(yōu)算法是一種枚舉尋優(yōu)算法，即在指定的參數(shù)范圍內(nèi)，按步長(zhǎng)依次調(diào)整參數(shù)，利用調(diào)整的參數(shù)訓(xùn)練學(xué)習(xí)器，從所有的參數(shù)中找到在驗(yàn)證集上精度最高的參數(shù)，這其實(shí)是一個(gè)訓(xùn)練和比較的過(guò)程，對(duì)影響模型性能優(yōu)劣的所有參數(shù)進(jìn)行迭代搜索，最終根據(jù)損失函數(shù)值的大小選出使損失函數(shù)最小的一組參數(shù)，也就是使模型性能達(dá)到最大的一組參數(shù)，參數(shù)范圍越大，算法運(yùn)行所需的時(shí)間也就越長(zhǎng)。

2 BiGRU-ETR 模型的構(gòu)建

2.1 特征選擇

本文在指標(biāo)體系的選擇上不僅包括開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、當(dāng)日收盤(pán)價(jià)、漲跌值、漲跌幅、成交量和成交額等8 種基本行情指標(biāo)，還納入了MA、MACD、MTM、BIAS等多達(dá)11種各類技術(shù)指標(biāo)。本文將次日收盤(pán)價(jià)的價(jià)格作為預(yù)測(cè)因變量。由于本文所構(gòu)建的指標(biāo)體系指標(biāo)眾多，為了消除無(wú)關(guān)指標(biāo)對(duì)預(yù)測(cè)效果的影響，本文選擇遞歸特征消除法對(duì)特征指標(biāo)集進(jìn)行最優(yōu)特征子集的篩選，依次剔除一個(gè)特征變量作為特征子集，然后在所有的特征子集中篩選出使驗(yàn)證集波動(dòng)最小的集合作為最優(yōu)特征集。最終得到的最優(yōu)特征集包括開(kāi)盤(pán)價(jià)、最高價(jià)、最低價(jià)、成交量、成交額、當(dāng)日收盤(pán)價(jià)、MACD、OBV、RSI、CSI、VR和ROC等12項(xiàng)特征指標(biāo)。

2.2 模型評(píng)價(jià)指標(biāo)

對(duì)于本文所提模型及其他對(duì)比模型，均采用擬合優(yōu)度R2、平均絕對(duì)誤差（MAE）以及均方根誤差（RMSE） 等三項(xiàng)指標(biāo)作為評(píng)判模型優(yōu)劣的標(biāo)準(zhǔn)。三項(xiàng)評(píng)價(jià)指標(biāo)的含義及公式如下所示：

擬合優(yōu)度R2又稱為決定系數(shù)，R2值的取值范圍為[0，1]，R2值越接近于1，說(shuō)明模型的擬合效果越好，自變量對(duì)因變量的解釋程度越高。如公式（9） 所示;

平均絕對(duì)誤差MAE用來(lái)衡量模型預(yù)測(cè)值與真實(shí)值之間的平均偏差，通過(guò)絕對(duì)值來(lái)計(jì)算以防止偏差值的正負(fù)抵消。MAE的值越小說(shuō)明真實(shí)值和預(yù)測(cè)值的偏差越小，模型的預(yù)測(cè)效果越好。如公式（10） 所示：

均方根誤差RMSE是在均方誤差MSE的基礎(chǔ)上開(kāi)方計(jì)算而來(lái)，MSE表示模型預(yù)測(cè)值和真實(shí)值誤差平方和的均值，能夠很好地評(píng)判模型預(yù)測(cè)效果的好壞。如公式（11） 所示：

2.3 模型構(gòu)建流程

為了驗(yàn)證本文所提混合模型在股票預(yù)測(cè)中的優(yōu)越性，本文選取了A股市場(chǎng)中具有代表性的股票指數(shù)以及個(gè)股中國(guó)平安作為實(shí)驗(yàn)對(duì)象，首先針對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗工作，去除異常數(shù)據(jù)以及補(bǔ)全缺失值，然后進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化處理減小量級(jí)差距過(guò)大對(duì)模型預(yù)測(cè)過(guò)程中產(chǎn)生的影響。對(duì)處理后的數(shù)據(jù)使用遞歸特征消除法進(jìn)行最優(yōu)特征子集的篩選，然后將篩選后的數(shù)據(jù)集合使用網(wǎng)格搜索法進(jìn)行最優(yōu)參數(shù)的選擇。將兩只股票數(shù)據(jù)集按照8：2的比例劃分為訓(xùn)練集和測(cè)試集，代入混合模型BiGRU-ETR以及其他對(duì)比模型進(jìn)行訓(xùn)練和預(yù)測(cè)，最后對(duì)各模型結(jié)果進(jìn)行對(duì)比分析以證實(shí)本文所提模型的優(yōu)越性。

3 實(shí)證分析

3.1 數(shù)據(jù)來(lái)源

本文所有數(shù)據(jù)均來(lái)源于網(wǎng)易財(cái)經(jīng)網(wǎng)站，實(shí)證過(guò)程選取了A股市場(chǎng)中的上證指數(shù)和中國(guó)平安兩只股票進(jìn)行研究，每只股票均選取自2015年1月1日至2022 年1月1日共7年間的數(shù)據(jù)集。

3.2 實(shí)驗(yàn)環(huán)境

本文所有實(shí)驗(yàn)均為Python語(yǔ)言編譯，運(yùn)行環(huán)境為Anaconda 編譯器，運(yùn)行設(shè)備為英特爾i7、3.3GHZ 頻率、4核心8線程的計(jì)算機(jī)。

3.3 參數(shù)優(yōu)化

本文使用網(wǎng)格搜索算法分別對(duì)涉及的基礎(chǔ)模型ETR和BIGRU進(jìn)行參數(shù)尋優(yōu)以提高模型的預(yù)測(cè)效果和穩(wěn)定性，參數(shù)優(yōu)化的結(jié)果如表1和表2所示。

3.4 上證指數(shù)

上證指數(shù)為上海證券交易所中最為顯著的大盤(pán)指數(shù)，可以反映上海證券交易所中所有股票的平均變動(dòng)趨勢(shì)，對(duì)于投資者決策具有重要的參考價(jià)值。上證指數(shù)各模型實(shí)證結(jié)果如表3所示，從評(píng)價(jià)指標(biāo)表中可以看出，本文所選基礎(chǔ)模型BiGRU相對(duì)于單向GRU 模型而言由于其雙向時(shí)間處理能力從而大幅提升了預(yù)測(cè)效果；本文所提混合模型BiGRU-ETR相對(duì)于基礎(chǔ)模型ETR在MAE值上獲得了14%的提升，相對(duì)于基礎(chǔ)模型BiGRU而言MAE值提升了18%；從效果擬合圖3可以看出，混合模型BiGRU-ETR在所有模型中的擬合效果最好，對(duì)于股價(jià)變化的跟隨能力最強(qiáng)，在股價(jià)轉(zhuǎn)折點(diǎn)的預(yù)測(cè)精度均顯著優(yōu)于其他對(duì)比模型。

3.5 中國(guó)平安

為了進(jìn)一步驗(yàn)證所提模型在股票預(yù)測(cè)中的泛化性和優(yōu)越性，本文又選取了A股市場(chǎng)中的個(gè)股中國(guó)平安進(jìn)行實(shí)驗(yàn)驗(yàn)證。中國(guó)平安各模型實(shí)證結(jié)果如表10 所示，從評(píng)價(jià)指標(biāo)表中可以看出，混合模型BiGRUETR的MAE值相較于基礎(chǔ)模型ETR和BiGRU而言分別提高了25.9%和18.3%；從擬合效果圖4中可以看出，混合模型BiGRU-ETR的擬合效果在所有模型中最優(yōu)，對(duì)股價(jià)波動(dòng)的跟隨能力最強(qiáng)。從而進(jìn)一步證實(shí)了本文所提混合模型的穩(wěn)定性和優(yōu)秀的預(yù)測(cè)性能。

4 結(jié)論

本文基于兩種基礎(chǔ)模型BiGRU和ETR提出了一種新的混合模型BiGRU-ETR，BiGRU模型的雙向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在處理股票價(jià)格時(shí)間序列上具有比單向GRU網(wǎng)絡(luò)更好的效果，同時(shí)ETR模型在處理股票價(jià)格序列中的大量特征方面具有較好的表現(xiàn)，因此考慮優(yōu)勢(shì)互補(bǔ)，將兩種模型集成為混合模型BiGRU-ETR，通過(guò)在上證指數(shù)和中國(guó)平安的兩只股票中進(jìn)行實(shí)驗(yàn)最終得出混合模型BiGRU-ETR在多特征的股票時(shí)間序列的預(yù)測(cè)中具有更優(yōu)秀的預(yù)測(cè)效果以及穩(wěn)健性，從而為投資者獲取收益或規(guī)避風(fēng)險(xiǎn)提供了有效的策略價(jià)值和參考意義。