基于強(qiáng)化學(xué)習(xí)的資產(chǎn)組合配置優(yōu)化

本文主要使用強(qiáng)化學(xué)習(xí)對(duì)三支股票進(jìn)行資產(chǎn)組合，并與傳統(tǒng)的投資組合理論進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，基于強(qiáng)化學(xué)習(xí)的方法，可以對(duì)資產(chǎn)進(jìn)行有效的配置，在特定的情況下優(yōu)于傳統(tǒng)的投資組合理論。

1.背景

強(qiáng)化學(xué)習(xí)是人工智能中最有趣的分支之一，在眾多的問題中已經(jīng)顯示出其力量，震驚世界，包括擊敗世界象棋冠軍，圍棋冠軍，甚至在游戲 DotA 2中勝出 [1]。使用強(qiáng)化學(xué)習(xí)進(jìn)行股票交易，一直被數(shù)據(jù)科學(xué)家認(rèn)為是一個(gè)“圣杯”。

使用機(jī)器學(xué)習(xí)進(jìn)行股票交易有多種方式。一種方法是使用預(yù)測(cè)模型對(duì)股價(jià)的波動(dòng)進(jìn)行建模，然后使用基于啟發(fā)式的機(jī)器人根據(jù)預(yù)測(cè)值進(jìn)行操作。另外一種方法是建造一個(gè)機(jī)器人，這個(gè)機(jī)器人可以直接根據(jù)股票的波動(dòng)進(jìn)行操作，包括買、賣、不操作。這是一種十分適合強(qiáng)化學(xué)習(xí)的環(huán)境，因?yàn)槲覀冎挥挟?dāng)交易結(jié)束的時(shí)候才知道我們操作的累積結(jié)果。

2.問題描述

我們可以將問題描述為：給定三支不同的股票的歷史數(shù)據(jù)，我們應(yīng)該如何將固定總量的資金分配到這些股票上，使得最終收益最大。隨著時(shí)間的改變，策略需要根據(jù)最新的信息重新構(gòu)建投資組合，做出最優(yōu)的分配。

我們的解決方案就是構(gòu)造出一個(gè)強(qiáng)化學(xué)習(xí)模型，然后智能體在每一個(gè)時(shí)刻根據(jù)每個(gè)股票的指標(biāo)值進(jìn)行資金分配。我們將基于強(qiáng)化學(xué)習(xí)的策略與馬科維茨 （Markowitz） 的有效邊界理論作對(duì)比——對(duì)于大部分的基金經(jīng)理都是使用馬科維茨的理論以及各種直覺做出資產(chǎn)配置的 [2]。

3.強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)的主要任務(wù)是設(shè)計(jì)出一個(gè)“智能體”，然后這個(gè)“智能體”不斷地與“環(huán)境”交互，通過系統(tǒng)性地試錯(cuò)，得出最終的“行動(dòng)方案”?！碍h(huán)境”可以是游戲，如象棋或者圍棋，也可以是更加具體的任務(wù)，如走出迷宮，或者拿到一個(gè)物品?！爸悄荏w”就是執(zhí)行動(dòng)作的機(jī)器人。

通過與環(huán)境交互，“智能體”將得到“獎(jiǎng)勵(lì)”。智能體不斷學(xué)習(xí)各種“行動(dòng)”，期望能從環(huán)境中得到更多的“獎(jiǎng)勵(lì)”。如果智能體得到的累積獎(jiǎng)勵(lì)超過一定的閾值，則我們認(rèn)為它已經(jīng)很好地適應(yīng)了環(huán)境。

我們將設(shè)計(jì)出一個(gè)智能體，使用某種策略與交易環(huán)境進(jìn)行交互，以達(dá)到最大的投資組合收益。對(duì)于我們的問題，就是要決定投資組合的維持比例，如：30%股票A，40%股票B，20%股票C，10%現(xiàn)金，然后智能體就會(huì)得到一個(gè)正的或者負(fù)的反饋。通過反復(fù)的嘗試，智能體將不斷迭代策略，直到得出在給定的環(huán)境狀態(tài)下的最佳行動(dòng)方案。

4.環(huán)境設(shè)置

為了模擬真實(shí)的交易環(huán)境，智能體可以與環(huán)境進(jìn)行以下的交互：

步驟 1：環(huán)境提供三支股票的當(dāng)前狀態(tài)的指標(biāo);

步驟 2： 智能體對(duì)環(huán)境做出一個(gè)動(dòng)作。這個(gè)動(dòng)作就是資產(chǎn)組合的分配。例如：10%現(xiàn)金，40%股票 1，35%股票 2，15%股票

步驟 3：環(huán)境狀態(tài)更改，前進(jìn)一個(gè)時(shí)刻點(diǎn)，返回新的狀態(tài)，并且得到之前資產(chǎn)組合的獎(jiǎng)勵(lì)。

步驟 1 到步驟 3 不斷重復(fù)直到一次實(shí)驗(yàn)的結(jié)束。每一步驟得到的獎(jiǎng)勵(lì)累積起來就是總的獎(jiǎng)勵(lì)。我們的目標(biāo)就是要最大化每次實(shí)驗(yàn)的總的獎(jiǎng)勵(lì)。

每次環(huán)境重置都會(huì)從全體數(shù)據(jù)庫中抽取出不同的片段。每次的環(huán)境都不相同，這能夠避免智能體記住了環(huán)境。更進(jìn)一步，智能體的訓(xùn)練和評(píng)價(jià)，都是在不同的環(huán)境下進(jìn)行的。因此，智能體從數(shù)據(jù)中的一部分中學(xué)習(xí)策略，從另一部分?jǐn)?shù)據(jù)中進(jìn)行評(píng)估。我們?cè)u(píng)價(jià)強(qiáng)化學(xué)習(xí)模型和馬科維茨模型都是使用相同的步驟。

5.馬科維茨有效邊界模型

馬科維茨的有效邊界模型是評(píng)價(jià)資產(chǎn)組合的風(fēng)險(xiǎn)與收益的框架模型。投資組合的收益是投資組合每一個(gè)時(shí)間點(diǎn)的收益的均值。風(fēng)險(xiǎn)是每日收益的標(biāo)準(zhǔn)差，用于評(píng)價(jià)股票的波動(dòng)率?；鸾?jīng)理根據(jù)每一種投資組合的風(fēng)險(xiǎn)與收益，畫出有效邊界然后做出決策。有效邊界上的每一個(gè)點(diǎn)都顯示了在給定風(fēng)險(xiǎn)組合的情況下得到的最高收益。在我們的實(shí)驗(yàn)中，我們?cè)O(shè)計(jì)了一種智能體，能根據(jù)之前 30 個(gè)時(shí)刻的投資組合表現(xiàn)，構(gòu)造出一個(gè)中等風(fēng)險(xiǎn)高收益的組合。

6.實(shí)驗(yàn)結(jié)果比較

對(duì)于強(qiáng)化學(xué)習(xí)，我們使用了未經(jīng)調(diào)優(yōu)的 Actor Critic 模型，運(yùn)行了 100 次的環(huán)境實(shí)驗(yàn)，平均收益為 +20%。對(duì)于馬科維茨模型，其實(shí)驗(yàn)結(jié)果為-1%。有效邊界模型的表現(xiàn)并不好，也許是因?yàn)槲覀兯暨x股票的高波動(dòng)性。當(dāng)所有的股票價(jià)格下降時(shí)，基于強(qiáng)化學(xué)習(xí)的模型會(huì)賣出股票增加手里的現(xiàn)金。并且，強(qiáng)化學(xué)習(xí)模型可以捉住每一次價(jià)格的波動(dòng)并利用起來。因此，基于強(qiáng)化學(xué)習(xí)的資產(chǎn)組合配置，其表現(xiàn)優(yōu)于傳統(tǒng)的馬科維茨模型。

參考文獻(xiàn)

[1] https：//www.geeksforgeeks.org/what-is-reinforcement-learning/

[2] https：//zhuanlan.zhihu.com/p/166163706

作者簡(jiǎn)介：羅曉牧（出生年月1980-），性別：男，廣東省廣州市（籍貫），現(xiàn)職稱：副教授，學(xué)歷：工科博士研究生畢業(yè)，研究方向：機(jī)器學(xué)習(xí)，無線傳感器網(wǎng)絡(luò)，生物信息獲取.廣州中醫(yī)藥大學(xué)醫(yī)學(xué)信息工程學(xué)院.