變結(jié)構(gòu)時(shí)態(tài)神經(jīng)網(wǎng)絡(luò)模型在股票預(yù)測(cè)中的應(yīng)用

孟志青，朱涵琪

(浙江工業(yè)大學(xué) 管理學(xué)院，浙江 杭州 310023)

0 引 言

現(xiàn)實(shí)生活中存在大量非平穩(wěn)時(shí)序數(shù)據(jù)，用傳統(tǒng)的預(yù)測(cè)模型很難進(jìn)行準(zhǔn)確的預(yù)測(cè)，例如股票價(jià)格時(shí)間序列受復(fù)雜因素的影響，具有非線性和非平穩(wěn)性，很難預(yù)測(cè)股票價(jià)格變化。目前國(guó)內(nèi)外學(xué)者對(duì)股票時(shí)間序列提出了許多預(yù)測(cè)模型，其中典型方法有GARCH-M模型[1]、神經(jīng)網(wǎng)絡(luò)模型[2,3]、SVM[4]等。此外，在對(duì)數(shù)據(jù)進(jìn)行前期處理上，主要的方法集中在對(duì)研究變量本身以及相關(guān)變量的分析上。文獻(xiàn)[5]通過對(duì)輸入變量進(jìn)行主成分分析，避免了變量過多、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的問題。文獻(xiàn)[6]用粗糙集理論降低了股票價(jià)格趨勢(shì)的特征維數(shù)，簡(jiǎn)化了預(yù)測(cè)模型。文獻(xiàn)[7]、文獻(xiàn)[8]、文獻(xiàn)[9]運(yùn)用小波分析方法，對(duì)時(shí)間序列在預(yù)測(cè)前進(jìn)行處理，將時(shí)間序列分為低頻和高頻序列。當(dāng)數(shù)據(jù)呈現(xiàn)非線性和非平穩(wěn)性時(shí)，單一的預(yù)測(cè)模型很難發(fā)現(xiàn)含有時(shí)間的規(guī)律變化。例如股票市場(chǎng)數(shù)據(jù)包含時(shí)間屬性，幾乎無法發(fā)現(xiàn)隨時(shí)間變化且在不同狀態(tài)上相互聯(lián)系。另外，周期的選擇是股票市場(chǎng)預(yù)測(cè)的重要依據(jù)。特別是用小波分析與神經(jīng)網(wǎng)絡(luò)結(jié)合預(yù)測(cè)時(shí)[8,9]，經(jīng)小波變換進(jìn)行伸縮和平移運(yùn)算而產(chǎn)生的各頻率序列與原始數(shù)據(jù)相比發(fā)生了一定的變化，繼續(xù)采用固定的經(jīng)驗(yàn)分析周期和單一神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)測(cè)已不再適用。時(shí)態(tài)數(shù)據(jù)挖掘是通過數(shù)據(jù)在時(shí)間上的重新劃分發(fā)現(xiàn)非線性與非平穩(wěn)數(shù)據(jù)的內(nèi)在規(guī)律[10,11]，例如近似周期、近似關(guān)聯(lián)規(guī)則等。采用不同的時(shí)間粒度或時(shí)態(tài)型對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，會(huì)呈現(xiàn)出不一樣的變化規(guī)律。為了克服非線性和非平穩(wěn)數(shù)據(jù)難以發(fā)現(xiàn)有規(guī)律的知識(shí)，以及盲目選擇經(jīng)驗(yàn)周期帶來的不必要誤差，本文設(shè)計(jì)了一種變結(jié)構(gòu)時(shí)態(tài)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型用于解決股票價(jià)格的預(yù)測(cè)問題。

1 數(shù)據(jù)預(yù)處理

在對(duì)股票時(shí)間進(jìn)行預(yù)處理上，采用小波變換的方法，通過伸縮和平移等運(yùn)算，對(duì)信號(hào)進(jìn)行多尺度分析，可以由低頻到高頻逐步地觀察信號(hào)。小波分析理論與神經(jīng)網(wǎng)絡(luò)結(jié)合，可加強(qiáng)對(duì)高頻序列適應(yīng)能力，提高預(yù)測(cè)精確度。

一般小波變換可以分為連續(xù)小波變換和離散小波變換[12]。連續(xù)小波變換表示為：

本文通過采用以多分辨率分析為基礎(chǔ)的Mallat算法，實(shí)現(xiàn)離散小波變換。基本思想是設(shè)Hjf為能量有限信號(hào)在分辨率2j下的近似，則Hjf可以進(jìn)一步分解為在分辨率2j-1下的近似Hj-1f以及位于分辨率2j-1和2j之間的細(xì)節(jié)之和。將原始的時(shí)間序列被分為低頻部分和高頻部分，然后只對(duì)低頻部分進(jìn)一步分解，直到達(dá)到預(yù)設(shè)的分解層數(shù)。

2 時(shí)態(tài)數(shù)據(jù)轉(zhuǎn)化表示

在現(xiàn)實(shí)世界中，我們可以將時(shí)間與實(shí)數(shù)軸聯(lián)系起來，從而將實(shí)數(shù)軸上的點(diǎn)代表某一時(shí)刻，并對(duì)應(yīng)著點(diǎn)所在的實(shí)數(shù)，稱為絕對(duì)時(shí)刻。下面引入時(shí)態(tài)型定義。

定義1[10]設(shè)μ是從絕對(duì)時(shí)刻t到絕對(duì)時(shí)間的映射，即R→2R如果μ滿足下列性質(zhì)：①(非空性)t∈μ(t)；②(單調(diào)性) 若t1

則稱μ為時(shí)態(tài)型，μ(t)為μ的時(shí)態(tài)因子。由此可見時(shí)態(tài)型μ是對(duì)時(shí)間軸的一個(gè)劃分，每個(gè)時(shí)態(tài)因子是一個(gè)絕對(duì)時(shí)刻的集合。時(shí)態(tài)粒度、時(shí)態(tài)序等相關(guān)具體知識(shí)參見文獻(xiàn)[10]。

3 變結(jié)構(gòu)時(shí)態(tài)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

神經(jīng)網(wǎng)絡(luò)有多種結(jié)構(gòu)類型、靈活的學(xué)習(xí)算法和驗(yàn)證過程，在建模過程中不需要做一定的經(jīng)濟(jì)假設(shè)，它們可以獨(dú)立學(xué)習(xí)變量中固有的關(guān)系，這在證券投資和其它金融領(lǐng)域十分有用。本文采用的是根據(jù)時(shí)態(tài)模型改進(jìn)后的基于誤差逆?zhèn)鞑P算法的前饋神經(jīng)網(wǎng)絡(luò)。

設(shè)神經(jīng)網(wǎng)絡(luò)輸入層p個(gè)節(jié)點(diǎn)數(shù)(j=1,2,…,p)和隱層L個(gè)節(jié)點(diǎn)數(shù)(l=1,2,…,L)，輸出層M個(gè)節(jié)點(diǎn)數(shù)(k=1,2,…,M)。

初始化輸入層、隱層和輸出層神經(jīng)元之間的權(quán)值γjl,γlk，隱含層閾值α(α=(α1,…,αl,…,αL))，輸出層閾值β(β=(β1,…,βk,…,βM))，學(xué)習(xí)率η，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程如下。

步驟1 信號(hào)的向前傳播過程：

步驟2 信號(hào)的向前傳播過程：

由于節(jié)點(diǎn)數(shù)需要是整數(shù)，而PSO算法是一種處理連續(xù)變量的群體尋優(yōu)算法，在連續(xù)型PSO算法的位置更新過程中不能產(chǎn)生整數(shù)變量。因此，在初始化位置和更新位置的過程中需要對(duì)其進(jìn)行四舍五入，將得到的實(shí)數(shù)取到最近的整數(shù)。具體過程如下：

首先初始化粒子群：假設(shè)在一個(gè)D維的搜索空間中，種群有n個(gè)粒子：X=(X1,X2,…Xn)，其中第i個(gè)粒子表示為一個(gè)D維向量：Xi=(xi1,…,xid,…xiD)，代表著第i個(gè)粒子在D維搜索空間中的位置。

xid=popmin+round(rd(popmax-popmin)), [popmin,popmax]為xid的整數(shù)范圍，round(·)表示四舍五入，rd表示(0,1)之間的隨機(jī)數(shù)；初始化第i個(gè)粒子的速度：Vi=(vi1,…,vid,…,viD),vid的范圍為[vmin,vmax]。

輸入：某一高頻序列:

時(shí)態(tài)型μ

PSO算法種群數(shù)sizepop和迭代次數(shù)maxgen

分析周期最大值pmax， 最小值pmin

輸出節(jié)點(diǎn)數(shù)M

過程：

步驟2 初始化新的神經(jīng)網(wǎng)絡(luò)，包括權(quán)值和閾值的初始

化、學(xué)習(xí)率η、訓(xùn)練函數(shù)和傳遞函數(shù)的選取。

步驟3 將時(shí)態(tài)數(shù)據(jù)T″v帶入神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

步驟4 通過上一步，得到在初始神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下的訓(xùn)練誤差w，以此作為PSO尋優(yōu)算法的初始適應(yīng)度值。

步驟5

repeat：

(1)更新粒子速度和位置：得到新的輸入節(jié)點(diǎn)數(shù)p和隱層節(jié)點(diǎn)數(shù)L，p根據(jù)值將序列c″v轉(zhuǎn)化為新的時(shí)態(tài)數(shù)據(jù)T″v。

(2)根據(jù)上一步得到的p值和L值，初始化新的神經(jīng)網(wǎng)絡(luò)包括權(quán)值和閾值初始化、學(xué)習(xí)率η、訓(xùn)練函數(shù)和傳遞函數(shù)的選取。

(3)將時(shí)態(tài)數(shù)據(jù)T″v帶入上步確定的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，計(jì)算誤差w，得到新的粒子適應(yīng)度值。

(4)根據(jù)上步得到的粒子適應(yīng)度值更新個(gè)體極值和群體極值。

until 達(dá)到迭代次數(shù)

步驟6 得出最優(yōu)個(gè)體適應(yīng)度值對(duì)應(yīng)的粒子位置Xbest=(xbest1,xbest2)。

輸出：某一高頻序列c″v的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其中：xbest1=p(輸入節(jié)點(diǎn)數(shù))，xbest2=L(隱層節(jié)點(diǎn)數(shù))。

總體來看，變結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)時(shí)態(tài)數(shù)據(jù)預(yù)測(cè)模型實(shí)現(xiàn)過程如圖1所示(主算法)。

圖1 主算法流程

主算法的具體過程如下：

步驟2：

(1)選定經(jīng)驗(yàn)周期p、隱層節(jié)點(diǎn)數(shù)L，初始化神經(jīng)網(wǎng)絡(luò)，包括入節(jié)點(diǎn)數(shù)、隱層節(jié)點(diǎn)數(shù)、輸出節(jié)點(diǎn)數(shù)、權(quán)值和閾值初始化、學(xué)習(xí)率η、訓(xùn)練函數(shù)和傳遞函數(shù)的選取。

(3)將時(shí)態(tài)數(shù)據(jù)T′v帶入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

end for

步驟3：

利用子算法，得到c″v對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

end for

步驟2過程確定了較低頻序列集訓(xùn)練完成的各神經(jīng)網(wǎng)絡(luò)模型，步驟3過程確定了較高頻序列集訓(xùn)練完成的各神經(jīng)網(wǎng)絡(luò)模型。最后利用經(jīng)訓(xùn)練集確定好的神經(jīng)網(wǎng)絡(luò)模型，輸入轉(zhuǎn)化后的時(shí)態(tài)數(shù)據(jù)測(cè)試集，將各頻率序列對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出結(jié)果相加，得出最終預(yù)測(cè)值。

以上就是基于時(shí)態(tài)數(shù)據(jù)的變結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)建立過程。與傳統(tǒng)的BP網(wǎng)絡(luò)不同點(diǎn)主要在兩點(diǎn)，數(shù)據(jù)按時(shí)態(tài)因子進(jìn)入網(wǎng)絡(luò)學(xué)習(xí)，不同節(jié)點(diǎn)上采用不同時(shí)態(tài)數(shù)據(jù)學(xué)習(xí)，不同的輸入節(jié)點(diǎn)數(shù)和對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)不相同。

4 誤差分析

為了對(duì)模型的預(yù)測(cè)精確度進(jìn)行分析，選取以下參數(shù)作為預(yù)測(cè)模型的評(píng)價(jià)標(biāo)準(zhǔn)。

(1)平均絕對(duì)誤差(mean absolute error)

(2)均方根誤差(root mean square error)

(3)平均絕對(duì)相對(duì)誤差(mean absolute percent error)

5 實(shí) 驗(yàn)

實(shí)驗(yàn)環(huán)境:計(jì)算機(jī)處理器：Intel(R) Core(TM) i5-7200uCPU、內(nèi)存4 G、256 G固態(tài)硬盤、顯示芯片：NVIDIA GeForce 940MX、64 G操作系統(tǒng)，實(shí)驗(yàn)軟件MATLAB R2016a。

實(shí)驗(yàn)數(shù)據(jù)為：從同花順采集的2015.01.05-2018.12.18期間上證指數(shù)每日的收盤價(jià)。采用單步滾動(dòng)預(yù)測(cè),用前N日的股票收盤價(jià)作為輸入數(shù)據(jù),第N+1天的股票的收盤價(jià)作為輸出數(shù)據(jù)。2015.01.05-2018.11.20之間的交易日數(shù)據(jù)用來訓(xùn)練，對(duì)未來20天交易日的股票價(jià)格進(jìn)行預(yù)測(cè)。

圖2 原始序列小波分解與重構(gòu)結(jié)果

為了驗(yàn)證本文模型的有效性，將本模型與各頻率采用經(jīng)驗(yàn)周期為5的傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。其中兩種模型中對(duì)網(wǎng)絡(luò)權(quán)值和閾值優(yōu)化的方法保持一致：隱含層神經(jīng)傳遞函數(shù)為tansig函數(shù)，輸出層神經(jīng)元的傳遞函數(shù)為purelin函數(shù)，訓(xùn)練函數(shù)采用動(dòng)態(tài)自適應(yīng)學(xué)習(xí)率的梯度下降BP算法。當(dāng)目標(biāo)最小誤差小于0.01(用均方誤差MSE表示)時(shí)停止訓(xùn)練。

實(shí)驗(yàn)過程中，時(shí)態(tài)型μ選為天，低頻序列集的分析周期采用經(jīng)驗(yàn)分析周期5天，對(duì)應(yīng)的隱層節(jié)點(diǎn)數(shù)經(jīng)實(shí)驗(yàn)比較確定為7。高頻序列集中相關(guān)的參數(shù)為：種群粒子數(shù)目sizepop選為30，分析周期最小值pmin為5，最大值pmax為25，迭代次數(shù)maxgen經(jīng)多次實(shí)驗(yàn)后選為10，從圖3、圖4和圖5可以看出，當(dāng)超過10代之后，適應(yīng)度變化很小甚至不再改變，同時(shí)迭代次數(shù)越多，會(huì)增加不必要的運(yùn)行時(shí)間和空間。

圖3 d1序列參數(shù)尋優(yōu)

經(jīng)實(shí)驗(yàn)最終得到d1序列上參數(shù)尋優(yōu)的結(jié)果，如圖3所示。當(dāng)?shù)降?0代時(shí)，適應(yīng)度值達(dá)到最小，其對(duì)應(yīng)的最優(yōu)粒子位置Xbest=(xbest1,xbest2)為Xbest=(17,11)。由于xbest1表示的是輸入節(jié)點(diǎn)數(shù)，xbest2表示的是隱層節(jié)點(diǎn)數(shù)，那么得到d1序列上的分析周期選為17，隱層節(jié)點(diǎn)數(shù)選為11。

d2序列上參數(shù)尋優(yōu)的結(jié)果，如圖4所示。當(dāng)?shù)降?代時(shí)，適應(yīng)度值達(dá)到最小，其對(duì)應(yīng)的最優(yōu)粒子位置Xbest=(xbest1,xbest2)為Xbest=(20,6)。那么得到d2序列上的分析周期選為20，隱層節(jié)點(diǎn)數(shù)選為6。

圖4 d2序列參數(shù)尋優(yōu)

圖5 d3序列參數(shù)尋優(yōu)

d3序列上參數(shù)尋優(yōu)的結(jié)果，如圖5所示。當(dāng)?shù)降?代時(shí)，適應(yīng)度值達(dá)到最小，其對(duì)應(yīng)的最優(yōu)粒子位置Xbest=(xbest1,xbest2)為Xbest=(8，11)。那么得到d3序列上的分析周期選為8，隱層節(jié)點(diǎn)數(shù)選為11。

圖6 d1序列訓(xùn)練誤差

圖7 d2序列訓(xùn)練誤差

圖8 d3序列訓(xùn)練誤差

圖9 變結(jié)構(gòu)模型預(yù)測(cè)

進(jìn)一步將兩種模型進(jìn)行最終誤差分析，在MAE、MAPE和RMSE這3個(gè)指標(biāo)上本文模型比傳統(tǒng)模型均降低了50%-60%左右，比較結(jié)果見表1。

為了進(jìn)一步驗(yàn)證本文模型的適用性和有效性，另外選取了滬深300、中國(guó)石油、中國(guó)平安和興業(yè)銀行這4只股票，具體數(shù)據(jù)選取見表2。

將本文提出的模型，同時(shí)與傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型、SVM方法進(jìn)行比較。各模型和誤差分析結(jié)果見表3。從表3中可以看出，本文模型相比較于傳統(tǒng)BP網(wǎng)絡(luò)、SVM的預(yù)測(cè)誤差有明顯的降低，進(jìn)一步說明了將股票數(shù)據(jù)轉(zhuǎn)化為時(shí)態(tài)數(shù)據(jù)，建立變結(jié)構(gòu)模型的有效性。

圖10 傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)

表1 誤差分析比較

表2 實(shí)驗(yàn)股票數(shù)據(jù)

表3 4種股票預(yù)測(cè)結(jié)果

6 結(jié)束語(yǔ)

本文提出了一個(gè)變結(jié)構(gòu)時(shí)態(tài)神經(jīng)網(wǎng)絡(luò)模型，用于解決非線性和非平穩(wěn)數(shù)據(jù)預(yù)測(cè)問題。通過實(shí)驗(yàn)，使用上述模型對(duì)具有明顯時(shí)間屬性的股票價(jià)格進(jìn)行預(yù)測(cè)，將股票數(shù)據(jù)轉(zhuǎn)化為時(shí)態(tài)數(shù)據(jù)集，對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn)，以及對(duì)經(jīng)小波變換之后的各個(gè)分支序列建立變結(jié)構(gòu)時(shí)態(tài)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，可以有效地降低分支序列預(yù)測(cè)誤差，從而降低整體預(yù)測(cè)誤差，對(duì)股票類似的時(shí)間序列分析具有應(yīng)用價(jià)值。對(duì)于解決類似的非線性與非平穩(wěn)數(shù)據(jù)預(yù)測(cè)問題具有重要的意義。

此外股票市場(chǎng)信息是海量的，與股票價(jià)格相關(guān)的變量和技術(shù)指標(biāo)有很多，本文采用的是單變量分析，進(jìn)一步可以在本實(shí)驗(yàn)的基礎(chǔ)上采用多變量進(jìn)行綜合分析以提高預(yù)測(cè)效果。