基于多尺度特征和注意力的金融時(shí)序預(yù)測方法

詹 熙，潘志松，黎 維，張艷艷，白 瑋，王彩玲

中國人民解放軍陸軍工程大學(xué) 指揮控制工程學(xué)院，南京 210007

股票市場被認(rèn)為是一個(gè)國家或地區(qū)經(jīng)濟(jì)和金融活動(dòng)的晴雨表，研究股票預(yù)測可以引導(dǎo)投資者進(jìn)行有益的投資，這不僅可以為個(gè)人提供利潤，還能對(duì)國民經(jīng)濟(jì)的發(fā)展做出貢獻(xiàn)。然而，由于股票市場具有噪聲和波動(dòng)性的特點(diǎn)，準(zhǔn)確地預(yù)測股價(jià)漲跌通常被認(rèn)為是時(shí)間序列預(yù)測中最具挑戰(zhàn)性的問題之一[1]。

近年來，金融領(lǐng)域廣泛應(yīng)用機(jī)器學(xué)習(xí)模型進(jìn)行時(shí)間序列預(yù)測，支持向量回歸（support vector regression，SVR）[2]和人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）[3]在該領(lǐng)域取得了一定的效果。隨著計(jì)算能力的發(fā)展，深度學(xué)習(xí)（deep learning，DL）技術(shù)成為了許多問題的最流行的解決方法。隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺[4-5]、語音識(shí)別[6-7]、自然語言處理[8-9]等領(lǐng)域取得的巨大成功，將深度學(xué)習(xí)運(yùn)用在時(shí)間序列預(yù)測[10-11]等領(lǐng)域也逐漸受到關(guān)注。不像傳統(tǒng)的基于統(tǒng)計(jì)的模型只能建模數(shù)據(jù)中的線性關(guān)系，深度神經(jīng)網(wǎng)絡(luò)在映射復(fù)雜的非線性特征交互方面有著巨大的潛力[12]。在過去的十幾年里，計(jì)算能力的增加使得創(chuàng)建更深層次的模型成為可能。與淺層網(wǎng)絡(luò)相比，模型層次的加深能提高它們的學(xué)習(xí)能力。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法無需任何預(yù)先假設(shè)就能直接適應(yīng)數(shù)據(jù)，在處理只有少量統(tǒng)計(jì)信息的時(shí)間序列數(shù)據(jù)時(shí)具有顯著優(yōu)勢，因此，深度學(xué)習(xí)與金融的結(jié)合具有非常廣闊的前景。

長短時(shí)記憶（LSTM）網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是當(dāng)前最廣泛使用的深度學(xué)習(xí)技術(shù)，LSTM模型的特殊結(jié)構(gòu)設(shè)計(jì)使其可以有效地捕獲序列模式信息，CNN 模型的特性使可以過濾掉輸入數(shù)據(jù)中的噪聲，提取對(duì)最終預(yù)測有價(jià)值的特征。因此，利用這兩種深度學(xué)習(xí)技術(shù)優(yōu)點(diǎn)的時(shí)間序列模型可以提高金融時(shí)間序列的預(yù)測性能。已經(jīng)有研究表明，混合CNN 和LSTM 模型比單獨(dú)使用CNN和LSTM更好[13]，但缺點(diǎn)是隨著序列長度的增加，它們變得不再魯棒，因?yàn)長STM 難以捕捉長期依賴關(guān)系。金融時(shí)間序列預(yù)測面臨的另一個(gè)問題是，在動(dòng)態(tài)多變的環(huán)境下，當(dāng)前存在的方法所提取的特征尺度較為單一，而在金融市場中，股價(jià)既會(huì)受到短期波動(dòng)的影響，也會(huì)受到中期和長期趨勢的影響，因此，僅使用單時(shí)間尺度的特征進(jìn)行預(yù)測，會(huì)限制模型生成更加準(zhǔn)確的預(yù)測結(jié)果。

為了解決上述問題，提高金融時(shí)間序列的預(yù)測精度，本文提出了一種新的融合擴(kuò)張卷積網(wǎng)絡(luò)DCNN和帶注意力機(jī)制AT的基于長短期記憶網(wǎng)絡(luò)LSTM的混合模型DCNN_LSTM_AT，該模型通過DCNN 和LSTM 從多時(shí)間序列中提取多尺度特征，并在此基礎(chǔ)上使用注意力機(jī)制使模型聚焦于更重要的特征以提高預(yù)測精度。為了證明本文提出的DCNN_LSTM_AT模型的有效性，在來自國內(nèi)外的多個(gè)股指數(shù)據(jù)集和個(gè)股數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該模型能夠有效提取和利用來自金融時(shí)間序列不同尺度的信息，從而達(dá)到提高金融時(shí)間序列預(yù)測精度的目的。

1 相關(guān)工作

自回歸（auto-regression，AR）模型是由英國統(tǒng)計(jì)學(xué)家尤勒（Yule）提出的一個(gè)經(jīng)典的時(shí)間序列預(yù)測模型，其輸出值與歷史值以及隨機(jī)條件線性相關(guān)。后來，人們在這一經(jīng)典模型的基礎(chǔ)上，提出了其他改進(jìn)的AR模型，如移動(dòng)平均模型（moving average，MA）和自回歸移動(dòng)平均模型（auto-regression moving average，ARMA），雖然MA 和ARMA 模型有效地提高了在序列平穩(wěn)假設(shè)條件下模型的預(yù)測精度，但由于現(xiàn)實(shí)世界中存在的時(shí)間序列主要是非平穩(wěn)的，而上述模型不適用于非平穩(wěn)時(shí)間序列數(shù)據(jù)，因此Box 等人[14]提出了差分自回歸移動(dòng)平均模型（auto-regression integrated moving average，ARIMA）。ARIMA通過差分使時(shí)間序列數(shù)據(jù)變得平穩(wěn)，但差分運(yùn)算通常會(huì)放大時(shí)間序列數(shù)據(jù)中的高頻噪聲，從而影響預(yù)測精度，為了緩解這一缺陷，Peter 等人[15]基于ARIMA 提出了具有外部輸入的ARIMA 模型來處理時(shí)間序列數(shù)據(jù)，以達(dá)到提高時(shí)間序列預(yù)測精度的目的。

另一些流行的時(shí)間序列預(yù)測模型是基于神經(jīng)網(wǎng)絡(luò)的模型，根據(jù)通用逼近定理，神經(jīng)網(wǎng)絡(luò)可以以任意精度將任意波雷爾（Borel）可測函數(shù)從一個(gè)有限維空間逼近到另一個(gè)有限維空間[16]，因而神經(jīng)網(wǎng)絡(luò)模型在解決非線性問題方面具有很大的優(yōu)勢。Hamza?ebi 等人[17]提出了一種基于神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測方法，取得了比ARIMA 等模型更好的效果，但精度仍有待提高。Naduvil 等人[18]提出了一種ARIMA 模型與神經(jīng)網(wǎng)絡(luò)相結(jié)合的混合時(shí)間序列預(yù)測模型，該混合模型利用ARIMA 模型對(duì)線性數(shù)據(jù)的優(yōu)秀擬合能力和神經(jīng)網(wǎng)絡(luò)對(duì)非線性數(shù)據(jù)的優(yōu)秀擬合能力，使其在時(shí)間序列數(shù)據(jù)上獲得了較好的預(yù)測精度。

近年來，隨著計(jì)算能力的提升，深度模型逐漸被用于時(shí)間序列預(yù)測任務(wù)中，Connor等人[19]提出了遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN），它利用時(shí)間序列的歷史信息來預(yù)測未來的結(jié)果，但隨著序列的增長，其在訓(xùn)練的過程中會(huì)遇到梯度消失和爆炸的問題。Hochreiter等人[20]提出了一種改進(jìn)的RNN模型LSTM用于時(shí)間序列預(yù)測，通過多個(gè)門機(jī)制緩解梯度消失和爆炸問題，使其成為了時(shí)間序列預(yù)測中最常見的基礎(chǔ)模型之一。在此基礎(chǔ)上，Yan 等人[21]建立了基于LSTM 深度神經(jīng)網(wǎng)絡(luò)的金融市場時(shí)間序列高精度短期預(yù)測模型，并與神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)RNN 和改進(jìn)的LSTM 深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了比較，實(shí)驗(yàn)結(jié)果表明，LSTM 深度神經(jīng)網(wǎng)絡(luò)具有較高的預(yù)測精度，能夠有效預(yù)測股票市場的時(shí)間序列。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）最初是為計(jì)算機(jī)視覺任務(wù)而設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，CNN 使用卷積運(yùn)算從原始數(shù)據(jù)中提取有意義的特征，卷積運(yùn)算是一種滑動(dòng)濾波器，用于創(chuàng)建特征映射，旨在捕獲數(shù)據(jù)不同區(qū)域的重復(fù)模式，這種特征提取過程為CNN 提供了一種重要的特性，即失真不變性，這意味著無論特征在數(shù)據(jù)中的位置如何，都可以提取特征。這些特性使得CNN同樣適合處理時(shí)序數(shù)據(jù)。Shen等人[22]利用CNN對(duì)金融時(shí)間序列進(jìn)行預(yù)測，通過實(shí)驗(yàn)證明了CNN 也可以預(yù)測時(shí)間序列。Lu等人[23]結(jié)合CNN和LSTM提出了一種混合模型對(duì)金融時(shí)間序列進(jìn)行預(yù)測，相比于單個(gè)模型，其預(yù)測精度有一定的提升，但該方法主要提取時(shí)間序列中相對(duì)單一的尺度特征進(jìn)行預(yù)測，而在金融市場中，股價(jià)既會(huì)受到短期波動(dòng)的影響，也會(huì)受到中期和長期趨勢的影響，因此，僅使用單時(shí)間尺度的特征進(jìn)行預(yù)測，會(huì)限制模型生成更加準(zhǔn)確的預(yù)測結(jié)果。

與上述方法相比，本文所提方法不使用固定的時(shí)間間隔來建模時(shí)間序列，相反，該方法使用LSTM 和DCNN從時(shí)間序列中提取具有不同時(shí)間尺度的特征，并基于注意力機(jī)制使模型聚焦于重要特征，通過充分利用金融時(shí)間序列中的有效特征，達(dá)到提高模型的預(yù)測精度的目的。

2 DCNN_LSTM_AT模型原理

在具體的介紹DCNN_LSTM_AT模型之前，本文首先形式化地介紹所研究的股指收盤價(jià)預(yù)測問題，接著系統(tǒng)地介紹一下DCNN_LSTM_AT 模型，最后再介紹DCNN_LSTM_AT模型所包含的各個(gè)組成部分。

2.1 股市收盤價(jià)預(yù)測問題

2.2 DCNN_LSTM_AT模型總體框架

本文所提出的DCNN_LSTM_AT 模型如圖1 所示，從功能上，該模型可以分為兩部分：第一部分是擴(kuò)張卷積網(wǎng)DCNN 與LSTM 組成的Encoder，其功能在于提取時(shí)間序列不同尺度的信息；第二部分是基于LSTM和注意力機(jī)制AT的Decoder，其功能在于有效利用第一部分提取的信息進(jìn)行預(yù)測。從結(jié)構(gòu)上看，該模型可以分為三個(gè)部分：第一部分是擴(kuò)張卷積模塊；第二部分是LSTM編碼模塊；第三部分由注意力機(jī)制AT 和LSTM 解碼器構(gòu)成解碼模塊。

由圖1 可以看出，對(duì)于給定的序列數(shù)據(jù)x1,x2,…,xt-1,xt，其分別被輸入到基于DCNN 的編碼器和基于LSTM的編碼器中，提取來自原始時(shí)間序列數(shù)據(jù)不同時(shí)間尺度的隱藏特征H1 和H2，接著H1 和H2 被合并為H，以備后續(xù)基于注意力機(jī)制和LSTM 的解碼過程使用。接下來本文從結(jié)構(gòu)上詳細(xì)介紹DCNN_LSTM_AT模型。

圖1 DCNN_LSTM_AT模型的整體結(jié)構(gòu)圖Fig.1 Overall structure of DCNN_LSTM_AT model

2.3 DCNN_LSTM_AT模型組成

2.3.1 擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)模塊（DCNN）

DCNN模塊是由多個(gè)擴(kuò)張卷積網(wǎng)絡(luò)堆疊而成的，擴(kuò)張卷積是文獻(xiàn)[24]中提出的卷積模塊。有研究表明，在處理時(shí)間序列預(yù)測任務(wù)時(shí)，使用了池化操作的CNN 會(huì)降低預(yù)測的性能[25]，這是因?yàn)樵诔鼗僮鞯倪^程中，雖然擴(kuò)大了對(duì)于原始輸入序列數(shù)據(jù)的感受野，但與此同時(shí)也會(huì)導(dǎo)致相當(dāng)一部分特征的損失。而對(duì)于普通的CNN來說，倘若其不使用池化層，其想要達(dá)到感受野大小與使用了池化層的CNN 的相同，需要更多的卷積層或者擴(kuò)大卷積核，這樣勢必會(huì)造成計(jì)算負(fù)擔(dān)，同時(shí)前者也將更容易導(dǎo)致梯度消失或梯度爆炸等問題。因此為了能夠增加感受野的同時(shí)不損失信息，擴(kuò)張卷積是一個(gè)很好的選擇。擴(kuò)張卷積通過增加擴(kuò)張率來擴(kuò)大感受野，感受野隨著擴(kuò)張率的增加而增大的示意圖如圖2所示。

圖2 擴(kuò)張卷積在不同卷積率下的示意圖Fig.2 Schematic diagram of dilated convolution at different convolution rates

本文中使用的DCNN模塊的具體結(jié)構(gòu)如圖3所示，由圖3可以看出DCNN由K個(gè)殘差塊連接而成，其中每個(gè)殘差塊都包括了一個(gè)擴(kuò)張卷積層和一個(gè)1×1卷積層，在每個(gè)殘差塊中，加入了Batch Norm層，目的是為了加快模型的收斂速度，此外還使用了殘差連接和跳躍連接；在網(wǎng)絡(luò)構(gòu)建過程中，本文通過堆疊殘差塊和增加擴(kuò)張卷積的擴(kuò)張率使得模型逐漸擁有更大的感受野，其中對(duì)于第K個(gè)殘差塊而言，其擴(kuò)張率為2K-1，這樣每個(gè)殘差塊將能提取不同時(shí)間尺度的序列特征，圖3所示的模型最終將提取K條具有不同時(shí)間尺度的序列特征，最后合并成H1。

圖3 擴(kuò)張卷積網(wǎng)絡(luò)模塊的具體結(jié)構(gòu)圖Fig.3 Specific structure diagram of dilated convolutional network module

2.3.2 LSTM編碼模塊

與傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)相比，遞歸神經(jīng)網(wǎng)絡(luò)可以利用時(shí)間序列數(shù)據(jù)的歷史信息來構(gòu)造特殊的網(wǎng)絡(luò)結(jié)構(gòu)。RNN 能夠根據(jù)當(dāng)前和過去的輸入生成輸出數(shù)據(jù)。然而，當(dāng)使用梯度下降算法來訓(xùn)練RNN 網(wǎng)絡(luò)時(shí)，容易出現(xiàn)梯度消失或梯度爆炸現(xiàn)象[26]。序列越長，可能性越大，這使得很難對(duì)RNN 進(jìn)行長時(shí)間間隔的有效訓(xùn)練。為了解決這個(gè)問題，人們提出了遞歸神經(jīng)網(wǎng)絡(luò)的其他變體，以便容易地捕獲長期依賴性，如LSTM和GRU。

LSTM 是學(xué)習(xí)原始時(shí)間序列數(shù)據(jù)的長時(shí)間相關(guān)性特征的一種流行的RNN變體，LSTM的單元結(jié)構(gòu)如圖4所示。

圖4 LSTM Cell內(nèi)部結(jié)構(gòu)圖Fig.4 Internal structure diagram of LSTM Cell

LSTM 單元使用3 個(gè)門：遺忘門、輸入門和輸出門，來控制隱藏層存儲(chǔ)的歷史信息，LSTM 單元在時(shí)間點(diǎn)t的公式如下所示：

本文結(jié)合LSTM 對(duì)序列數(shù)據(jù)建模和捕獲長期依賴性的優(yōu)點(diǎn)，使用LSTM為基本單元構(gòu)成的編碼器提取輸入序列的整體特征。

2.3.3 注意力機(jī)制和LSTM解碼器構(gòu)成的解碼模塊

注意力機(jī)制是從認(rèn)知心理學(xué)中引入的一種模擬人腦注意的模型，從概念上講，注意力機(jī)制在原理上與人類的視覺注意機(jī)制非常相似，是一種從海量信息中快速鎖定關(guān)鍵信息，消除無用信息，更高效地完成任務(wù)的方法。如圖5所示，注意力機(jī)制主要通過計(jì)算輸入和目標(biāo)狀態(tài)之間的相似性來完成上述功能，相似度越高，當(dāng)前輸入的權(quán)重就越大。在圖5 中，Z是目標(biāo)狀態(tài)，ht是LSTM單元的隱藏狀態(tài)，at定義為每個(gè)輸出應(yīng)考慮多少輸入狀態(tài)的權(quán)重。Match是一個(gè)函數(shù)，用于計(jì)算向量Z和ht之間的相似性，Match可以使用任何理論上計(jì)算相似性的方法，例如余弦相似性，或矩陣變換at=ht*W*Z，或以ht作為輸入，at作為輸出的簡單神經(jīng)網(wǎng)絡(luò)。

圖5 注意力機(jī)制示意圖Fig.5 Schematic diagram of attention mechanism

具體的，本文所使用的注意力機(jī)制如圖1中的綠色區(qū)域所示，在本文所使用的注意力機(jī)制中，通過將擴(kuò)張卷積網(wǎng)絡(luò)模塊所提取的多尺度特征H1 同基于LSTM的編碼器所提取的整體特征H2 合并成H后，將H同基于LSTM 的解碼器第i個(gè)單元所輸出的第i條特征Si,i=1,2,…,k進(jìn)行乘積運(yùn)算得到重要性得分Score，接著對(duì)得到的Score 使用Softmax 函數(shù)進(jìn)行歸一化得到歸一化后的重要性權(quán)重α，然后令α與H相乘之后按列求和，再將得到的結(jié)果同Si合并，一同送入到全連接層中，最后輸出預(yù)測結(jié)果，上述過程的公式化描述如下所示：

其中，式（9）中的Concat代表合并操作，sum(αH,dim=1)代表對(duì)αH在維度1上進(jìn)行求和，式（10）中的σ、Wi和bi分別代表全連接層的激活函數(shù)、權(quán)重向量以及偏置值。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了評(píng)估所提模型的性能，本文分別在滬深300、標(biāo)普500 以及富時(shí)100 等指數(shù)數(shù)據(jù)集，以及茅臺(tái)、Apple 和中信銀行等國內(nèi)外上市公司的個(gè)股數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，其中股指數(shù)據(jù)集包含了截止到2021 年5 月10 日為止的2 500 個(gè)交易日的數(shù)據(jù)，個(gè)股數(shù)據(jù)集包含了截止到2021年5月28日為止的2 500個(gè)交易日的數(shù)據(jù)，此外，本文選取了開盤價(jià)、最高價(jià)、最低價(jià)、交易量和收盤價(jià)這5個(gè)指標(biāo)作為模型的輸入特征，并使用包含這5個(gè)特征的歷史數(shù)據(jù)來預(yù)測未來的收盤價(jià)。

3.2 數(shù)據(jù)處理

為了評(píng)估本文所提出的模型，將所有數(shù)據(jù)集分為訓(xùn)練集和測試集，其中訓(xùn)練集包含2 200個(gè)交易日的數(shù)據(jù)，測試集包含300 個(gè)交易日的數(shù)據(jù)。不同數(shù)據(jù)集劃分情況如表1所示。

表1 不同數(shù)據(jù)集中訓(xùn)練集和測試集的時(shí)間范圍Table 1 Time range of train and test sets in different datasets

需要說明的是，由于各個(gè)國家的節(jié)假日不相同，這會(huì)導(dǎo)致股市的開市時(shí)間不一致，因此相同數(shù)量交易日的間隔日期也不一樣。時(shí)間序列劃分被為訓(xùn)練集和測試集之后，將執(zhí)行以下預(yù)處理操作：首先，使用滑動(dòng)窗口法將時(shí)間序列分割為一個(gè)個(gè)的訓(xùn)練樣本以供模型訓(xùn)練，這個(gè)過程通過滑動(dòng)一個(gè)固定大小的窗口，滑動(dòng)窗移動(dòng)的過程中在每個(gè)位置產(chǎn)生一個(gè)輸入-輸出樣本；其次，使用MinMax歸一化法，將劃窗后訓(xùn)練集中的每個(gè)輸入-輸出樣本對(duì)的值映射到0 和1 之間，這樣有助于加快網(wǎng)絡(luò)的收斂速度。

如圖6展示了滑動(dòng)窗口確定輸入-輸出樣本的過程，這里取4作為輸出窗口的長度，也就是預(yù)測范圍，取5作為輸入窗口的長度，這樣截取下來的輸入輸出窗口對(duì)就成了一個(gè)帶標(biāo)簽的樣本對(duì)，輸出窗口中的值為標(biāo)簽，輸入窗口中的值為輸入特征。

圖6 樣本滑窗示意圖Fig.6 Schematic diagram of sample sliding window

3.3 評(píng)價(jià)指標(biāo)

本文使用了3 個(gè)評(píng)價(jià)指標(biāo)來評(píng)估本文所提出的模型，分別是平均絕對(duì)誤差（mean absolute error，MAE）和平均絕對(duì)百分比誤差（mean absolute percentage error，MAPE）和決定系數(shù)（coefficient of determination，R2），其中MAPE因其在尺度獨(dú)立性上的優(yōu)勢，是預(yù)測精度最廣泛使用的指標(biāo)之一[25]；MAE 是相對(duì)較經(jīng)典的一種度量指標(biāo)，該指標(biāo)對(duì)于預(yù)測的離群值比較敏感，能夠有效衡量模型的穩(wěn)定性；R2 反映了因變量的全部變異能通過回歸關(guān)系被自變量解釋的比例，是回歸任務(wù)中常見的一種評(píng)價(jià)指標(biāo)。上述3種指標(biāo)的公式如下所示：

3.4 實(shí)驗(yàn)結(jié)果與分析

DCNN_LSTM_AT 模型在訓(xùn)練過程中，batch_size、殘差塊的數(shù)量以及學(xué)習(xí)率分別被設(shè)置為64、8 以及0.001，本文選擇使用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化和均方誤差損失函數(shù)訓(xùn)練模型，均方誤差損失函數(shù)公式如下所示：

為了驗(yàn)證本文所提模型DCNN_LSTM_AT的性能，本文在滬深300、標(biāo)普500 以及富時(shí)100 等股指數(shù)據(jù)集和茅臺(tái)、Apple以及中信銀行等個(gè)股數(shù)據(jù)集上測試了DCNN_LSTM_AT模型，并與LSTM、ESN[27]、CNN、Transformer[28]、LSTNet[29]等基準(zhǔn)模型在上述6 個(gè)金融時(shí)間序列數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，其中LSTM、ESN、CNN等模型的參數(shù)設(shè)置參考了文獻(xiàn)[25]中總結(jié)的各個(gè)模型在相同數(shù)據(jù)集上表現(xiàn)最好的參數(shù)設(shè)置，Transformer 和LSTNet 模型的參數(shù)設(shè)置分別參考了文獻(xiàn)[28]和[29]中的設(shè)置，上述基準(zhǔn)模型的訓(xùn)練輪數(shù)、學(xué)習(xí)率等超參數(shù)的設(shè)置均與DCNN_LSTM_AT 模型的設(shè)置保持一致。各個(gè)模型的對(duì)比實(shí)驗(yàn)效果如圖7～12 所示，相關(guān)評(píng)價(jià)指標(biāo)的詳細(xì)結(jié)果見表2和表3所示。從預(yù)測效果的對(duì)比圖和評(píng)價(jià)指標(biāo)可以看出，本文所提模型DCNN_LSTM_AT 的表現(xiàn)在6個(gè)數(shù)據(jù)集中均超過了其他方法，整體上預(yù)測誤差最小、預(yù)測值與真實(shí)值最為接近，這表明本文所提方法有效提高了金融時(shí)間序列的預(yù)測精度，且DCNN_LSTM_AT模型在金融時(shí)間序列領(lǐng)域具有一定的可擴(kuò)展性。

表2 DCNN_LSTM_AT與其他基準(zhǔn)模型在股指數(shù)據(jù)集上的表現(xiàn)Table 2 Performance of DCNN_LSTM_AT and other benchmark models on stock index datasets

表3 DCNN_LSTM_AT與其他基準(zhǔn)模型在個(gè)股數(shù)據(jù)集上的表現(xiàn)Table 3 Performance of DCNN_LSTM_AT and other benchmark models on datasets of individual stocks

圖7 在滬深300數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.7 Experimental results on CSI 300 dataset

為了驗(yàn)證本文提出的模型DCNN_LSTM_AT 所使用的擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的有效性，本文構(gòu)造了LSTM_AT模型，與DCNN_LSTM_AT 模型的不同之處在于沒有使用DCNN 提取時(shí)間序列的多尺度特征；為了驗(yàn)證所提出模型使用的注意力機(jī)制的有效性，本文構(gòu)造了DCNN_LSTM模型，與DCNN_LSTM_AT的不同之處在于，其沒有使用注意力機(jī)制；為了驗(yàn)證本文所提出的使用不同卷積率的擴(kuò)張卷積的有效性，本文構(gòu)造了模型CNN_LSTM_AT，其與DCNN_LSTM_AT的不同之處在于其在每個(gè)殘差塊中使用了同一大小的卷積核。隨后本文分別比較了DCNN_LSTM_AT 與其他三個(gè)模型在滬深300、標(biāo)普500 以及富時(shí)100 股指數(shù)據(jù)集上的預(yù)測表現(xiàn)，在實(shí)驗(yàn)過程中，所有對(duì)比模型的超參數(shù)均與DCNN_LSTM_AT模型的設(shè)置保持一致，最終的實(shí)驗(yàn)結(jié)果如圖13～15所示。

圖8 在標(biāo)普500數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.8 Experimental results on S&P 500 dataset

圖9 在富時(shí)100數(shù)據(jù)集上的結(jié)果Fig.9 Experimental results on FTSE 100 dataset

圖10 在茅臺(tái)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.10 Experimental results on Maotai dataset

圖11 在Apple數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.11 Experimental results on Apple dataset

圖12 在中信銀行數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.12 Experimental results on CITIC Bank dataset

圖13 構(gòu)造模型在滬深300數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.13 Experimental results of constructed model on CSI 300 dataset

圖14 構(gòu)造模型在標(biāo)普500數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.14 Experimental results of constructed model on S&P 500 dataset

圖15 構(gòu)造模型在富時(shí)100數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.15 Experimental results of constructed model on FTSE 100 dataset

表4給出了上述4個(gè)模型在滬深300、標(biāo)普500以及富時(shí)100 等3 個(gè)股指數(shù)據(jù)集上評(píng)價(jià)指標(biāo)的詳細(xì)結(jié)果。根據(jù)實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)：相比于前文使用單一模型對(duì)時(shí)間序列進(jìn)行預(yù)測，混合的模型使用有效提高了模型的預(yù)測表現(xiàn)，這與前人的研究結(jié)論一致；相比于未使用擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的對(duì)比方法而言，擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)的使用的確有效提高了模型的預(yù)測表現(xiàn)；使用了注意力機(jī)制的模型較未使用注意力機(jī)制的模型擁有更高的預(yù)測精度，且提升效果較為明顯，這表明雖然使用擴(kuò)張卷積神經(jīng)網(wǎng)絡(luò)有利于提取多時(shí)間尺度的序列信息，但是其提取的信息有一定的冗余性，注意力機(jī)制的使用能讓模型去除冗余信息和提取有效信息，從而提高模型的預(yù)測精度。

表4 DCNN_LSTM_AT與本文構(gòu)造的基準(zhǔn)模型在股指數(shù)據(jù)集上的表現(xiàn)Table 4 Performance of DCNN_LSTM_AT and benchmark model constructed in this paper on stock index datasets

4 結(jié)論

為了提高金融時(shí)間序列的預(yù)測精度，本文設(shè)計(jì)了一種新的時(shí)間序列預(yù)測模型DCNN_LSTM_AT。該模型先通過使用基于擴(kuò)張卷積和LSTM 的編碼器提取原始序列數(shù)據(jù)中不同尺度的有效信息，再通過使用帶注意力機(jī)制的LSTM解碼器有效利用提取的信息進(jìn)行預(yù)測，從而達(dá)到提高模型的預(yù)測精度的目的，在多個(gè)股指數(shù)據(jù)集和個(gè)股數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該模型具有較好的預(yù)測精度和穩(wěn)定性。由于本文模型的輸入數(shù)據(jù)只考慮了歷史數(shù)據(jù)中的開盤價(jià)、收盤價(jià)、交易量、交易金額、最高價(jià)、最低價(jià)等特征，而金融市場的表現(xiàn)實(shí)際上會(huì)受到很多因素的影響，故本文模型的性能還有進(jìn)一步提升的空間。未來的工作將從這一方面入手，考慮將更多可能影響股票指數(shù)的影響因素如市場上股民的情緒、不同股市股指的表現(xiàn)，以及個(gè)股對(duì)應(yīng)企業(yè)的財(cái)務(wù)指標(biāo)等特征加入到模型的預(yù)測中，從而提高模型的精度。