張鴻洋 于沖沖
摘要:本文主要探討了深度學(xué)習(xí)算法LSTM的特點(diǎn)及對于處理有時(shí)間序列屬性數(shù)據(jù)的優(yōu)點(diǎn),并應(yīng)用于預(yù)測股票趨勢的研究。與傳統(tǒng)的預(yù)測股票的股價(jià),ikiRJ股票的收益率等最終通過回歸的方法得出股價(jià)的方法不同,本文采用的方法是把結(jié)果通過一個(gè)Sigmoid函數(shù)轉(zhuǎn)換成一個(gè)二分類問題,用以預(yù)測股票的上漲下跌的概率。主要通過選取相應(yīng)的股票的一些基本面及技術(shù)指標(biāo)統(tǒng)計(jì)量,并進(jìn)行標(biāo)準(zhǔn)化處理。得出股票預(yù)測概率矩陣,再通過Black-Litterman模型進(jìn)行投資資產(chǎn)配置。通過兩種方法結(jié)合能夠均衡收益率與風(fēng)險(xiǎn)的關(guān)系,在最小化風(fēng)險(xiǎn)的情況下,實(shí)現(xiàn)收益的最大化。
關(guān)鍵詞:LSTM;BL;算法原理
一、引言
預(yù)測股票的走勢與預(yù)測股票的價(jià)格指數(shù),由于涉及的各種不穩(wěn)定因素,是非常困難的。股票的投資者在買人或者賣出股票之前一般會有兩種類型的投資偏好。第一種是基本面分析方法,采用這種分析方法的投資者通過分析股票的內(nèi)在價(jià)值,公司效益,當(dāng)前主要經(jīng)濟(jì)的表現(xiàn)和國內(nèi)國際的政治環(huán)境等,決定是買入還是賣出。第二種投資偏好是技術(shù)分析,投資者通過研究統(tǒng)計(jì)市場活動,形成各種基于市場活動的統(tǒng)計(jì)指標(biāo),比如過去的價(jià)格,成交量,異同移動平均線(MACD),隨機(jī)指標(biāo)(KDJ)等。
目前大部分的量化手段是通過分析挖掘股市歷史數(shù)據(jù)以及各項(xiàng)技術(shù)指標(biāo),發(fā)現(xiàn)當(dāng)前階段股票市場的風(fēng)格及特點(diǎn)。由于股票市場作為復(fù)雜且時(shí)變的巨系統(tǒng),其價(jià)格波動往往表現(xiàn)為較強(qiáng)的非線性,因此如何從海量的市場數(shù)據(jù)中獲取有價(jià)值的信息為決策服務(wù)是一個(gè)難點(diǎn)。另外,市場走勢十分復(fù)雜且引發(fā)波動性原因各式各樣,政治事件,市場新聞,財(cái)務(wù)報(bào)表等因素均對股市有所影響,即使有這些指標(biāo),仍然很難預(yù)測股票走勢。
目前的價(jià)格股票預(yù)測方法主要是將數(shù)據(jù)特征提取和模型預(yù)測過程相結(jié)合來進(jìn)行研究。比如Xu等人采取改進(jìn)的經(jīng)驗(yàn)?zāi)B(tài)分解算法(EEMD)對股票時(shí)間序列進(jìn)行模態(tài)分解,并根據(jù)分解得到的模態(tài)信息成功預(yù)測市場價(jià)格趨勢;而Jonathan L.Ticknor則提出運(yùn)用基于貝葉斯正則化的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測金融市場的走勢行為,利用每日價(jià)格及相關(guān)的金融技術(shù)指標(biāo)作為特征來預(yù)測個(gè)股未來的收盤價(jià)。YangWendong,LouZhengzhen只因影響股市價(jià)格因素較多,提出以GA和SVM組合的方法進(jìn)行多因子分析,用分類的方法進(jìn)行股市預(yù)測。Mann將動態(tài)模態(tài)算法(DMD)用于證券市場這個(gè)高維非線性系統(tǒng)的信息提取上,并利用時(shí)空相干性結(jié)構(gòu)信息來表征系統(tǒng)動態(tài)特征,準(zhǔn)確的描述了市場價(jià)格變化和形態(tài)走勢;史文靜對股指期貨價(jià)格序列采用EMD算法得到IMF本征模函數(shù),并結(jié)合RBF神經(jīng)網(wǎng)絡(luò)對提取出高低頻IMF進(jìn)行建模來實(shí)現(xiàn)價(jià)格預(yù)測。王鈞、張鵬、袁帥使用上證A股50的歷史交易數(shù)據(jù)作為研究對象,對其進(jìn)行短期價(jià)格趨勢預(yù)測分析。依照交易數(shù)據(jù)各自特點(diǎn),選取遞歸神經(jīng)網(wǎng)絡(luò)(RNN)、長短時(shí)間記憶網(wǎng)絡(luò)(LSTM)和Seq2Seq及其優(yōu)化模型4種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),進(jìn)行驗(yàn)證比較。經(jīng)過實(shí)證研究,結(jié)合誤差指標(biāo)和交易績效等展示模型預(yù)測精度和預(yù)測效果,最后得出基于Seq2Seq的深度神經(jīng)網(wǎng)絡(luò)模型具有較好的預(yù)測精度。楊青、王晨蔚構(gòu)造了一個(gè)深層LSTM神經(jīng)網(wǎng)絡(luò)并將其應(yīng)用于全球30個(gè)股票指數(shù)三種不同期限的預(yù)測研究,并得出LSTM神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的泛化能力,且對比其他模型(SVR、MLP、ARIMA)具有更優(yōu)秀的預(yù)測精度Guosheng Hu,Yuxin Hu等人提出了一種新的投資決策策略,通過模仿人類交易員的行為,去編撰相應(yīng)算法,利用卷積自編碼器(CAE),利用深度學(xué)習(xí)以及股票的夏普比率等指標(biāo)進(jìn)行相應(yīng)測算。朱業(yè)春利用數(shù)只股票的日數(shù)據(jù),將信息賄補(bǔ)償方法與BL方法相結(jié)合,其主要創(chuàng)新點(diǎn)集中在得到綜合收益向量后的再次優(yōu)化部分,將傳統(tǒng)的效用函數(shù)增加了信息俯項(xiàng),替代方差來衡量風(fēng)險(xiǎn),將正負(fù)偏離用信息饋捕捉,從而得到新的下一期資產(chǎn)權(quán)重。
以上方式通常選取以統(tǒng)計(jì)學(xué)理論為基礎(chǔ)的時(shí)間序列分析方法和機(jī)器學(xué)習(xí)方法,所選特征也相對較為單一。即使基于風(fēng)險(xiǎn)收益權(quán)衡做股票預(yù)測時(shí),確不能有效結(jié)合股票本身的時(shí)間序列特性來做決定。而本文中將兩者有效結(jié)合一起,經(jīng)LSTM模型處理后,最后一層會把結(jié)果通過一個(gè)Sigmoid函數(shù)轉(zhuǎn)換成一個(gè)二分類問題,用以預(yù)測股票的上漲的概率,再通過Black-Litterman模型進(jìn)行投資資產(chǎn)配置。兩種方法結(jié)合能夠均衡收益率與風(fēng)險(xiǎn)的關(guān)系,在最小化避免風(fēng)險(xiǎn)的情況下,實(shí)現(xiàn)收益的最大化。
二、算法原理
(一)LSTM神經(jīng)網(wǎng)絡(luò)
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是目前較為流行的應(yīng)用于時(shí)間序列預(yù)測的神經(jīng)網(wǎng)絡(luò)模型。而傳統(tǒng)RNN模型容易產(chǎn)生梯度消失的問題,至于股票類長序列數(shù)據(jù),相對無能為力。而造成梯度消失的原因,本質(zhì)上是因?yàn)殡[藏層狀態(tài)h(t)的計(jì)算方式導(dǎo)致梯度被表示為連乘積的形式,而ISTM則可利用特定記憶單元緩解RNN梯度消失問題。
LSTM結(jié)構(gòu)主要由門和記憶單元組成,其中門結(jié)構(gòu)包含遺忘門、輸入門、輸出門三種,通過控制信息的增加與去除,實(shí)現(xiàn)記憶細(xì)胞的保持和更新。
其中遺忘門主要負(fù)責(zé)以一定的概率控制是否遺忘上一層的隱藏細(xì)胞狀態(tài),數(shù)學(xué)表達(dá)式為:
此圖要更結(jié)合實(shí)驗(yàn)特征來畫,輸入的特征時(shí)……
(二)Black-Litterman模型
Black-Littennan模型是高盛的Fisher Black和RobertLitterman在他們的工作發(fā)現(xiàn)的,是對馬科維茨的MPT模塑的一種改進(jìn)。其主要做法就是通過加入投資者自己的觀點(diǎn),并進(jìn)行量化且給予一定的置信度,通過條件概率的計(jì)算,在構(gòu)建收益的時(shí)候通過一定的方式對市場的隱含收益率與主觀預(yù)期收益進(jìn)行加權(quán)平均。
模型的主要公式如下;
s.t.風(fēng)險(xiǎn)約束,預(yù)算約束聲亡如約束,做空約束
重要參數(shù)解釋:
E[R]:新的加權(quán)后的收益向量(n*1列向量)
τ:比例系數(shù)(常數(shù))
P:涉及主觀看法資產(chǎn)矩陣(k*n矩陣)
Ω:看法置信度矩陣(K*K矩陣)
Π:隱含均衡收益率向量(N*1列向量)
Q:看法向量(K*1列向量)
具體步驟為:
(1)W每個(gè)資產(chǎn)的均衡權(quán)重
按照CAPM假設(shè),最優(yōu)的風(fēng)險(xiǎn)資產(chǎn)組合即為現(xiàn)有的整個(gè)市場,所以均衡權(quán)重應(yīng)該是按照現(xiàn)有的資產(chǎn)之間的總市值占比求得。
W是為了求初始的均衡收益,求均衡收益的方式有很多,比如CAPM估計(jì),歷史平均來計(jì)算等。
(2)∑資產(chǎn)之間的協(xié)方差矩陣
通過日度歷史數(shù)據(jù)計(jì)算得到,或用協(xié)方差矩陣進(jìn)行估計(jì)預(yù)測等,本文使用前者。
(3)δ風(fēng)險(xiǎn)厭惡系數(shù)
可以假設(shè),一般取值范圍為[1,3],也可以通過計(jì)算得到,計(jì)算公式是
(4)τ均衡收益方差的刻度值
通常取值比較小,在0.025~0.05之間。
假設(shè)認(rèn)為,先驗(yàn)分布均衡收益的方差是和實(shí)際收益率的方差成比例的,而B-L模型是將市場均衡收益和個(gè)人觀點(diǎn)整合到一起的,那么先驗(yàn)分布的均衡收益方差越大的話,其準(zhǔn)確率越低,所占的權(quán)重也就越小,個(gè)人觀點(diǎn)權(quán)重越大,所以τ也可以看成是觀點(diǎn)權(quán)重。
(5)用反向求解的方式計(jì)算得到先驗(yàn)的均衡收益
Π=δ*∑*ω(9)
(6)個(gè)人觀點(diǎn)模型化
觀點(diǎn)可以涉及單個(gè)資產(chǎn),也可以涉及多個(gè)資產(chǎn)乃至所有資產(chǎn)最后按照一定的規(guī)則將所有觀點(diǎn)構(gòu)建成矩陣P、Q和Ω。
考慮有K個(gè)觀點(diǎn)n個(gè)資產(chǎn)的例子,此時(shí),P就是k*n矩陣,每一行代表一個(gè)觀點(diǎn),Q為K*1矩陣,存放每個(gè)觀點(diǎn)的超額收益。Ω是k*k對角矩陣,對角線上的每一個(gè)元素代表該觀點(diǎn)的方差,與對該觀點(diǎn)的置信程度成反比,在學(xué)術(shù)界常用的公式是:
Ω=P (三)LSTM與BL模型的融合 首先,本文使用LSTM模型進(jìn)行股票預(yù)測,在我們實(shí)驗(yàn)中的LSTM模型中對于時(shí)間序列的定義取決于未來預(yù)測的需要的時(shí)間窗口的數(shù)據(jù)集的序列集合。在我們的實(shí)驗(yàn)中我們選取的是日K數(shù)據(jù),并且對于數(shù)據(jù)的選擇需要具有時(shí)間序列的學(xué)習(xí)功能,同對應(yīng)剔除具有未來函數(shù)作用的特征。這一點(diǎn)在模型的預(yù)測中非常重要,否則會發(fā)生嚴(yán)重的過擬合現(xiàn)象。具有時(shí)間學(xué)力學(xué)習(xí)功能的特征如:前一天的收盤價(jià),其中某一天的交易量等特征。同時(shí)為了讓模型具有更強(qiáng)的魯棒性,防止模型過擬合,對模型做了如下的優(yōu)化方法: 使用dropout:經(jīng)過多次實(shí)驗(yàn)測試,我們發(fā)現(xiàn)模型經(jīng)常會出現(xiàn)過擬合的現(xiàn)象。實(shí)際效果檢驗(yàn)發(fā)現(xiàn),使用dropout這一神經(jīng)網(wǎng)絡(luò)的正則化技術(shù),可以將隱藏層的一些參數(shù)按照概率p隨機(jī)置為0,能有效地防止模型過擬合。 在隱藏層中加入L1/L2正則項(xiàng):經(jīng)過多次實(shí)驗(yàn),單單使用dropout方法不能非常有效地防止模型過擬合。再加入L1/L2正則項(xiàng)能更加有效地解決模型過擬合問題。 對于訓(xùn)練數(shù)據(jù)需要進(jìn)行標(biāo)準(zhǔn)化處理:神經(jīng)網(wǎng)絡(luò)普遍是使用隨機(jī)梯度下降等方法來對損失函數(shù)進(jìn)行優(yōu)化的。在使用梯度下降法學(xué)習(xí)參數(shù)的時(shí)候,認(rèn)為不同特征對參數(shù)的影響程度是一樣的。因此,當(dāng)原始數(shù)據(jù)不同維度上的特征的尺度(單位)不一致時(shí),需要標(biāo)準(zhǔn)化步驟對數(shù)據(jù)進(jìn)行預(yù)處理。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程中,將數(shù)據(jù)標(biāo)準(zhǔn)化,能夠加速權(quán)重參數(shù)的收斂,且能夠避免當(dāng)數(shù)據(jù)的標(biāo)準(zhǔn)差非常大時(shí),反向梯度傳播導(dǎo)致的梯度爆炸或梯度消失等問題。 對于LSTM模型的Labe的確定,我們是根據(jù)收益率來進(jìn)行標(biāo)記時(shí)間序列的表現(xiàn)。收益率是通過比較序列的3天移動窗口的收盤價(jià)與當(dāng)前序列的最后一天的收盤價(jià)來進(jìn)行計(jì)算的。對于3天移動窗口的收盤價(jià)與當(dāng)前序列的最后一天相減再除以最后一天的收盤價(jià)。如若標(biāo)簽移動窗口收益率大于1%-5%,則標(biāo)記為1,否則標(biāo)記為0。對于1%-5%可根據(jù)回測的實(shí)際情況的資產(chǎn)組合收益進(jìn)行設(shè)定。 對于LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì),我們的模型主要包括一個(gè)單一的輸入層及5個(gè)LSTM隱層層,兩個(gè)dropout層和一個(gè)輸出層組成及最后一個(gè)激活函數(shù)層。其中最后一個(gè)LSTM的隱藏層需要加入L1正則項(xiàng)。最后的激活函數(shù)層是一個(gè)sigmoid激活函數(shù)用以將預(yù)測問題轉(zhuǎn)換成二分類問題。 LSTM模型的輸出結(jié)果,輸出結(jié)果為一個(gè)股票與概率的列表。將序列表的概率結(jié)果作為BL模型的輸入。 三、實(shí)驗(yàn) (一)模型指標(biāo)特征 在LSTM中,序列學(xué)習(xí)特性的選擇至關(guān)重要。股票數(shù)據(jù)至少有四種類型:(1)股票的歷史價(jià)格數(shù)據(jù)(如成交量、高點(diǎn)、低點(diǎn)、開盤價(jià)等);(2)由(1)計(jì)算得到的技術(shù)分析數(shù)據(jù)(如移動平均收斂/發(fā)散(MACD));(3)市場指數(shù)和/或其他有關(guān)股票的歷史價(jià)格數(shù)據(jù);(4)經(jīng)濟(jì)基本面(如國內(nèi)生產(chǎn)總值(GDP)、油價(jià)等)。我們的序列學(xué)習(xí)特性使用了第1和第3種類型的股票數(shù)據(jù),但沒有使用第3種類型的股票數(shù)據(jù),以避免共同創(chuàng)建陷阱,即類似機(jī)器學(xué)習(xí)中常提到的多重共線性。由于是短線操作因此也不包括第4種類型的數(shù)據(jù)。我們期望LSTM的序列學(xué)習(xí)能力能找到最優(yōu)的參數(shù)。在目前的研究中,一個(gè)時(shí)間序列長度取3天的數(shù)據(jù),每個(gè)日數(shù)據(jù)有36個(gè)特征。 針對一些技術(shù)指標(biāo),由于每個(gè)指標(biāo)計(jì)算的時(shí)間區(qū)間可能會導(dǎo)致不同的預(yù)測結(jié)果,因此針對參數(shù)選擇需要選擇多個(gè)自由度。具體參數(shù)的設(shè)置及參數(shù)的解釋如下所示。 (二)模型架構(gòu) 采用的LSTM架構(gòu)為一個(gè)9層結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò),其中第一層為32個(gè)LSTM神經(jīng)元,第二層為64個(gè)LSTM神經(jīng)元,第三層為防止過擬合的Dropout層,第四層為128個(gè)LSTM神經(jīng)元,第五層也為128個(gè)LSTM神經(jīng)元,第六層為64個(gè)個(gè)LSTM神經(jīng)元,第七層為一個(gè)Dropout層再次防止模型過擬合,第八層為一個(gè)輸出層一層的神經(jīng)元,第九層為一個(gè)Sigmoid激活函數(shù),用以將結(jié)果轉(zhuǎn)換成一個(gè)二分類問題。
(三)數(shù)據(jù)源
數(shù)據(jù)源為每只股票的上市直到今天為止的所有數(shù)據(jù)。為了防止特征與標(biāo)簽有線性關(guān)系,影響模型效果,在進(jìn)行訓(xùn)練的時(shí)候。會將最高價(jià),開盤價(jià),最低價(jià),收盤價(jià)特征剔除。
(四)結(jié)果
通過回測歷史數(shù)據(jù),模型的準(zhǔn)確率達(dá)到68%。
參考文獻(xiàn):
[1]Mengjia Xu,Pengjian Shang,Aijing Lin.Cross -corre-lation analysis of stock markets using EMD and EEMD[J].Physica A:Statistical Mechanics and its Applications,2016,442.
[2]Jonathan L.Ticknor.A Bayesian regularized artificialneural network for stock market forecasting[J].Expert SystemsWith Applications,2013,40(14).
[3]A multi-factor analysis model of quantitative invest-ment based on GA and SVM.
[4]Jordan Mann,J.Nathan Kutz.Dynamic mode decompo-sition for financial trading strategies[J].Quantitative Finance,2016,16(11).
[5]史文靜,高巖.EMD結(jié)合RBF神經(jīng)網(wǎng)絡(luò)新混合模型及股指期貨價(jià)格預(yù)測[J].經(jīng)濟(jì)數(shù)學(xué),2015,32(1):47-51.
[6]王鈞,張鵬,袁帥.基于股票預(yù)測的Seq2Seq RNN和LSTM模型比較[J].時(shí)代金融,2018(35):381-382+392.
[7]楊青,王晨蔚.基于深度學(xué)習(xí)LSTM神經(jīng)網(wǎng)絡(luò)的全球股票指數(shù)預(yù)測研究[J].統(tǒng)計(jì)研究,2019,36(3):65-77.
[8]Deep Stock Representation Learning:FromCandlestick Charts to Investment Decisions.
[9]J.B.Heaton,N.G.Polson,and Jan Hendrik Witte.Deeplearning for finance:deep portfolios.Applied Stochastic Modelsin Business and Industry,2016.
[10]朱業(yè)春,曹崇延.基于熵補(bǔ)償?shù)腂lack-Litterman模型的投資組合[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(bào),2015,45(12):1030-1035.
[11]Zhengyao Jiang and Dixing Xu.A DeepReinforcement Leaming Framework for the portfolio manage-ment,2017.
[12]He,Guangliang,Litterman,Robert.The Intuition Be-hind Black-Littermau Model Portfolios,2007.
[13]Steven L.Beach,Alexei G.Orlov.An application ofthe Black-Litterman model with EGARCH-M-derived viewsfor international portfolio management,2012.
[14]魏世振,尤晨,韓玉啟,陳傳明.基于信噪比的投資組合策略研究[J].系統(tǒng)理論與實(shí)踐2004.
[15]Hinton,G.E.,Srivastava,N.,Krizhevsky,A.,Sutskever,l and Salakhutdinov,R.R.,2012.Improving neuralnetworks by preventing co-adaptation of feature detectors.arXivpreprint arXiv:1207.0580.
作者簡介:
張鴻洋,對外經(jīng)貿(mào)大學(xué)統(tǒng)計(jì)學(xué)院在職人員高級課程研修班學(xué)員,北京;于沖沖,京東集團(tuán)反欺作研究員,北京。