基于Attention-LSTM深度學(xué)習(xí)方法的量化投資研究

摘要： 近年來(lái)隨著人工智能的不斷發(fā)展，相關(guān)深度學(xué)習(xí)技術(shù)也在量化投資中得以運(yùn)用。LSTM（long short term memory network）屬于深度學(xué)習(xí)模型之一，該模型在預(yù)測(cè)時(shí)間序列數(shù)據(jù)方面性能較優(yōu)，在此基礎(chǔ)之上本文引入Attention機(jī)制以提高其捕捉關(guān)鍵信息的能力，從而提升模型預(yù)測(cè)性能。本文采用Attention-LSTM方法構(gòu)建模型對(duì)上證50指數(shù)最高價(jià)漲跌趨勢(shì)進(jìn)行預(yù)測(cè)，結(jié)果顯示所構(gòu)建量化投資方法預(yù)測(cè)能力較優(yōu)，其正確率能達(dá)到63.42%，這表明深度學(xué)習(xí)模型的泛化能力較強(qiáng)以及預(yù)測(cè)準(zhǔn)確性較高，為拓寬深度學(xué)習(xí)應(yīng)用場(chǎng)景，深入應(yīng)用于量化投資領(lǐng)域提供了實(shí)踐經(jīng)驗(yàn)。

關(guān)鍵詞：LSTM;Attention;深度學(xué)習(xí);量化投資

深度學(xué)習(xí)模型是人工智能的重要實(shí)現(xiàn)手段，近年來(lái)受益于深度學(xué)習(xí)研究的不斷深入，人工智能實(shí)現(xiàn)了迅速發(fā)展，在圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域得以廣泛應(yīng)用。人工智能概念的興起也促使金融學(xué)者將目光轉(zhuǎn)向深度學(xué)習(xí)模型中，開(kāi)始探究其在量化投資領(lǐng)域的應(yīng)用。相關(guān)研究表明深度學(xué)習(xí)模型可以用于股價(jià)預(yù)測(cè)之中，識(shí)別出投資機(jī)會(huì)，從而在降低風(fēng)險(xiǎn)的同時(shí)獲得超額收益。深度學(xué)習(xí)在量化投資方面取得的優(yōu)秀表現(xiàn)，使得越來(lái)越多關(guān)于這方面的研究不斷涌現(xiàn)。

為了緊跟研究方向，本文選取了具有代表性的LSTM深度學(xué)習(xí)模型在量化投資方面進(jìn)行研究。LSTM是深度學(xué)習(xí)模型的一種，由于其較強(qiáng)的自學(xué)習(xí)能力，能夠充分挖掘金融數(shù)據(jù)中的有效信息，在預(yù)測(cè)時(shí)間序列數(shù)據(jù)方面具有很大優(yōu)勢(shì)，因此在量化投資領(lǐng)域中得以脫穎而出。本文將LSTM深度學(xué)習(xí)模型應(yīng)用于上證50指數(shù)的預(yù)測(cè)之中，實(shí)證結(jié)果驗(yàn)證了LSTM模型泛化能力較強(qiáng)，預(yù)測(cè)準(zhǔn)確性較高，為將深度學(xué)習(xí)技術(shù)拓寬應(yīng)用場(chǎng)景，廣泛應(yīng)用于各種時(shí)間序列預(yù)測(cè)提供了實(shí)踐經(jīng)驗(yàn)。此外，本文在LSTM模型基礎(chǔ)之上引入Attention 機(jī)制，進(jìn)一步捕捉重要時(shí)間點(diǎn)的局部特征，提高正確率。

本文通過(guò)實(shí)證研究得出LSTM深度學(xué)習(xí)模型擁有預(yù)測(cè)精度和穩(wěn)定性兩方面的優(yōu)勢(shì)，未來(lái)在金融預(yù)測(cè)等方向應(yīng)用前景廣闊。同時(shí)借助于大數(shù)據(jù)與Attention 機(jī)制的優(yōu)勢(shì)，可以將深度學(xué)習(xí)方法應(yīng)用于量化投資領(lǐng)域，依靠計(jì)算機(jī)識(shí)別投資機(jī)會(huì)，提升預(yù)測(cè)準(zhǔn)確性與投資效率，吸引國(guó)內(nèi)外投資者，推動(dòng)我國(guó)金融市場(chǎng)不斷完善與發(fā)展。

一、深度學(xué)習(xí)在量化投資領(lǐng)域的文獻(xiàn)綜述

近年來(lái)，隨著人工智能的發(fā)展，深度學(xué)習(xí)模型開(kāi)始脫穎而出，其中CNN、RNN、LSTM等深度學(xué)習(xí)模型應(yīng)用較為廣泛。由于金融數(shù)據(jù)具有非平穩(wěn)的特性，傳統(tǒng)的模型對(duì)其非線性部分的處理具有一定局限性，而深度學(xué)習(xí)擅于挖掘金融噪聲中的有效信息，正好補(bǔ)充了傳統(tǒng)模型的應(yīng)用缺陷，能在一定程度上降低投資風(fēng)險(xiǎn)并提高收益。例如，Xiong等（2015）基于LSTM模型預(yù)測(cè)S&P 500波動(dòng)率，發(fā)現(xiàn)LSTM能準(zhǔn)確預(yù)測(cè)信噪比較高的金融時(shí)間序列。Di Persio和Honchar（2016）對(duì)比了MLP、LSTM、CNN這三種模型在S&P500指數(shù)預(yù)測(cè)結(jié)果，研究表明CNN模型預(yù)測(cè)誤差最小。

在國(guó)內(nèi)研究方面，崔建福和李興緒（2004）對(duì)比了GARCH和深度學(xué)習(xí)模型模型在股價(jià)預(yù)測(cè)性能，研究表明兩者都不能用隨機(jī)游走模型來(lái)預(yù)測(cè)股票價(jià)格，經(jīng)過(guò)多次實(shí)驗(yàn)得出BP深度學(xué)習(xí)模型模型優(yōu)于GARCH（1，1）模型。張坤等（2009）提出一種混合模型改進(jìn)模型預(yù)測(cè)效果，該模型將灰度預(yù)測(cè)深度學(xué)習(xí)模型和小波深度學(xué)習(xí)模型相結(jié)合，改進(jìn)后的預(yù)測(cè)結(jié)果表明混合模型的預(yù)測(cè)效果好于采用單一方法的預(yù)測(cè)模型。肖著和潘中亮（2012） 基于LM算法的改進(jìn)算法建立了改進(jìn)的三層BP深度學(xué)習(xí)模型，解決了容易出現(xiàn)局部最優(yōu)的問(wèn)題，使模型具有更好的準(zhǔn)確性和穩(wěn)定性。

在深度學(xué)習(xí)領(lǐng)域中，LSTM由于其自學(xué)習(xí)能力，可以深入挖掘大量數(shù)據(jù)中的有效信息，提升預(yù)測(cè)精度。它創(chuàng)新地引入了門(mén)機(jī)制，解決了RNN梯度消失和梯度爆炸問(wèn)題，使其具有記憶能力，因此更適合預(yù)測(cè)金融時(shí)間序列。周凌寒（2018）從股市相關(guān)文本數(shù)據(jù)中提取出情感因子，并作為輸入特征應(yīng)用于LSTM模型，提升了模型預(yù)測(cè)效果。Shun Chen和Lei Ge （2019）、陳佳等（2019）這些學(xué)者均提出了改進(jìn)后的 LSTM模型，有效提升了模型的運(yùn)算速度與預(yù)測(cè)精度。李佳（2019）等比較了LSTM深度學(xué)習(xí)模型與其他模型在上證指數(shù)以及滬深300指數(shù)上的預(yù)測(cè)結(jié)果，得出的結(jié)論表明LSTM預(yù)測(cè)效果較優(yōu)，在股價(jià)預(yù)測(cè)問(wèn)題上具有較為廣闊的發(fā)展前景。

總之，國(guó)外已有大量文獻(xiàn)將深度學(xué)習(xí)應(yīng)用于股市預(yù)測(cè)中，包括融合各類(lèi)模型的混合算法，挖掘不同的預(yù)測(cè)指標(biāo)，以及預(yù)測(cè)前對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的算法。但是，LSTM作為一種新型的深度學(xué)習(xí)模型模型，以前主要應(yīng)用于圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域，在國(guó)內(nèi)金融市場(chǎng)預(yù)測(cè)應(yīng)用還不多，實(shí)證效果還有待于進(jìn)一步的檢驗(yàn)和驗(yàn)證，這也是本文主要研究目的。

二、基于Attention-LSTM模型的實(shí)證分析

3.1數(shù)據(jù)來(lái)源

運(yùn)用python中第三方庫(kù)tushare選取上證50來(lái)預(yù)測(cè)未來(lái)最高價(jià)。選取最高價(jià)是因?yàn)榉€(wěn)定性比收盤(pán)價(jià)更好，波動(dòng)性小，如圖1所示。選取時(shí)間段為從設(shè)立之日起至2020年5月22日的日行情數(shù)據(jù)。同時(shí)應(yīng)用talib庫(kù)計(jì)算技術(shù)指標(biāo)，包括sma、wma、momentum、slowk、slowd、rsi、macd、william、oscillator、cci，從而盡可能獲取更多的特征，用這10個(gè)技術(shù)指標(biāo)對(duì)股指進(jìn)行預(yù)測(cè)。最終數(shù)據(jù)特征數(shù)為10個(gè)。

3.2數(shù)據(jù)預(yù)處理

在缺失值處理中，計(jì)算技術(shù)指標(biāo)過(guò)程中產(chǎn)生了缺失值NaN，因?yàn)閿?shù)據(jù)集足夠大、缺少的特征值集中于前10日，這里選擇刪除整行來(lái)處理。本文是對(duì)上證50的漲跌趨勢(shì)進(jìn)行預(yù)測(cè)，需要事先進(jìn)行離散化處理，若當(dāng)日指標(biāo)相對(duì)于前一日上漲則記為1，下跌記為0。

3.3研究方法與過(guò)程

LSTM深度學(xué)習(xí)模型具有很強(qiáng)的自學(xué)習(xí)能力，可以更好地發(fā)現(xiàn)長(zhǎng)期依賴關(guān)系，對(duì)于股價(jià)這類(lèi)非平穩(wěn)、信噪比高的金融數(shù)據(jù)來(lái)說(shuō)具有很高的應(yīng)用價(jià)值。它創(chuàng)新地引入了門(mén)機(jī)制，包括輸入門(mén)、輸出門(mén)和遺忘門(mén)。其中，輸入門(mén)和輸出門(mén)用來(lái)接收和輸出參數(shù)，遺忘門(mén)決定了上一單元狀態(tài)的保存情況，此外還設(shè)置了一個(gè)記憶存儲(chǔ)機(jī)制Cell，用來(lái)記錄神經(jīng)元狀態(tài)。使用門(mén)來(lái)控制記憶的方式有效解決了RNN梯度消失和梯度爆炸問(wèn)題，使其具有記憶能力，因此更適合預(yù)測(cè)金融時(shí)間序列。

在訓(xùn)練方法與優(yōu)化器選擇上，本文采用Minibatch方法訓(xùn)練LSTM網(wǎng)絡(luò)，batch_size設(shè)置為128。本文目標(biāo)是預(yù)測(cè)股指未來(lái)最高價(jià)漲跌，即為二分類(lèi)，因此選categorical_crossentropy作為損失函數(shù)。優(yōu)化器方面，這里采用Adam優(yōu)化器進(jìn)行優(yōu)化訓(xùn)練并基于Keras框架進(jìn)行LSTM深度學(xué)習(xí)預(yù)測(cè)。在預(yù)測(cè)時(shí)間窗口選擇上，本文采用歷史40個(gè)交易日的數(shù)據(jù)信息對(duì)第二天指數(shù)最高價(jià)漲跌進(jìn)行預(yù)測(cè)。在輸入值選取上，本文采用10個(gè)技術(shù)指標(biāo)的離散型數(shù)據(jù)作為輸入，最終輸出得到次日最高價(jià)漲跌情況。本文將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集，其中前80%作為訓(xùn)練集，后20%作為預(yù)測(cè)集。設(shè)置validation_split=0.2，將訓(xùn)練集的后20%作為驗(yàn)證集，檢驗(yàn)?zāi)Ｐ偷姆夯芰?。LSTM輸入格式需要為三維，用前四十天數(shù)據(jù)預(yù)測(cè)第二天，輸入格式應(yīng)該轉(zhuǎn)換為（-1，40，10）。訓(xùn)練集、預(yù)測(cè)集的形式分別為X_train （3158， 40， 10），y_train （3158，2），X_test （749， 40， 10），y_test （749，2）。

此外，本文還引入了Attention機(jī)制，該機(jī)制又稱為注意力機(jī)制，能讓模型把注意力集中在重要信息上，而并抑制其它無(wú)用信息，能夠作用于任何序列模型中，在序列學(xué)習(xí)任務(wù)上具有巨大的提升作用。谷麗瓊和吳運(yùn)杰（2020）曾在GRU模型中引入Attention機(jī)制，在MAPE，RMSE，R2 score三個(gè)評(píng)價(jià)指標(biāo)中均取得了提升，表明注意力機(jī)制可以有效優(yōu)化預(yù)測(cè)模型，捕捉重要信息特征。

三、結(jié)語(yǔ)

本文通過(guò)構(gòu)建Attention-LSTM模型訓(xùn)練20次后得到的訓(xùn)練集loss為0.5785，acc為0.7169，驗(yàn)證集loss為0.6595，acc為0.6282，最終得到的上證50指數(shù)最高價(jià)預(yù)測(cè)正確率為63.42%，驗(yàn)證了LSTM模型在預(yù)測(cè)上的有效性。在未來(lái)的研究中，我們可以進(jìn)一步將CNN、GRU、ConvLSTM模型等進(jìn)行對(duì)比，比較分析各種深度學(xué)習(xí)模型的優(yōu)劣。此外，除了對(duì)離散型數(shù)據(jù)進(jìn)行預(yù)測(cè)外，還可以用連續(xù)型數(shù)據(jù)進(jìn)行研究預(yù)測(cè)。

綜上所述，本文利用Attention-LSTM模型在量化投資方面進(jìn)行研究，對(duì)上證指數(shù)的預(yù)測(cè)驗(yàn)證了LSTM深度學(xué)習(xí)模型泛化能力較強(qiáng)，預(yù)測(cè)準(zhǔn)確性較高，為將深度學(xué)習(xí)技術(shù)拓寬應(yīng)用場(chǎng)景，廣泛應(yīng)用于各種時(shí)間序列預(yù)測(cè)提供了實(shí)踐經(jīng)驗(yàn)。進(jìn)一步來(lái)說(shuō)，未來(lái)借助于大數(shù)據(jù)的優(yōu)勢(shì)，可以將深度學(xué)習(xí)方法應(yīng)用于量化投資領(lǐng)域，依靠計(jì)算機(jī)識(shí)別投資機(jī)會(huì)，提升預(yù)測(cè)準(zhǔn)確性與投資效率，吸引國(guó)內(nèi)外投資者，推動(dòng)我國(guó)金融市場(chǎng)不斷完善與發(fā)展。

參考文獻(xiàn)：

[1] Sun L， Najand M， Shen J.Stock return predictability and investor sentiment： A high-frequency perspective[J].Journal of Banking & Finance， 2016，73：147-164.

[2] Ballings M， Van den Poel D， Hespeels N， et al.Evaluating multiple classifiers for stock price direction prediction [J].Expert Systems with Applications， 2015，42（20）：7046-7056.

[3] A. Jayanth Balaji， D.S. Harish Ram， Binoy B. Nair. Applicability of Deep Learning Models for Stock Price Forecasting An Empirical Study on BANKEX Data[J]. Procedia Computer Science， 2018， 143.

[4] 周凌寒. ?基于 LSTM 和投資者情緒的股票行情預(yù)測(cè)研究[D].華中師范大學(xué)，2018.

[5] 宋剛， ?張?jiān)品澹??包芳勛， ?秦超. ?基于粒子群優(yōu)化 LSTM 的股票預(yù)測(cè)模型[J]. ?北京航空航天大學(xué)學(xué)報(bào)， 2019， 45（12）： 2533-2542.

[6] 潘水洋， ?劉俊瑋， ?王一鳴. ?基于深度學(xué)習(xí)模型的股票收益率預(yù)測(cè)研究[J]. ?浙江大學(xué)學(xué)報(bào)（理學(xué)版）， 2019， 46（05）： 550-555.

[7] 陳佳， ?劉冬雪， ?武大碩. ?基于特征選取與 LSTM 模型的股指預(yù)測(cè)方法研究[J]. ?計(jì)算機(jī)工程與應(yīng)用， 2019， 55（06）： 108-112.

[8] 李佳，黃之豪，陳冬蘭. ?基于 LSTM 等深度學(xué)習(xí)方法的股指預(yù)測(cè)研究[J/OL]. ?軟件導(dǎo)

刊：1-5.http：//kns.cnki.net/kcms/detail/42.1671.TP.20190624.1359.040.html.

[9] 谷麗瓊，吳運(yùn)杰，逄金輝.基于Attention機(jī)制的GRU股票預(yù)測(cè)模型[J/OL].系統(tǒng)工程：1-11[2020-08-05].http：//kns.cnki.net/kcms/detail/43.1115.N.20200805.1323.004.html.

[10] 喬若羽. ?基于深度學(xué)習(xí)模型的股票預(yù)測(cè)模型[J]. ?運(yùn)籌與管理， 2019， 28（10）： 132-140.

[11] 彭燕， ?劉宇紅， ?張榮芬. ?基于 LSTM 的股票價(jià)格預(yù)測(cè)建模與分析[J]. ?計(jì)算機(jī)工程與應(yīng)用， ?2019， 55（11）： 209-212.

[12] 楊青， ?王晨蔚. ?基于深度學(xué)習(xí) LSTM 深度學(xué)習(xí)模型的全球股票指數(shù)預(yù)測(cè)研究[J]. ?統(tǒng)計(jì)研究， ?2019， 36（03）： 65-77.

作者簡(jiǎn)介：唐成（1996-），男，漢族，江蘇高郵人。主要研究方向：金融工程。