高階多元馬氏決策向量過(guò)程模型的定義

摘 要：馬氏決策向量過(guò)程是在決策時(shí)刻引入多元化決策來(lái)確定系統(tǒng)的狀態(tài)轉(zhuǎn)移概率的理論模型，本文在該模型的決策向量、聯(lián)合度和相合度等基本概念的基礎(chǔ)上，結(jié)合高階多元馬氏鏈的理論，給出高階多元馬氏決策向量過(guò)程模型。

關(guān)鍵詞：馬氏決策向量過(guò)程 高階多元馬氏鏈 高階多元馬氏決策向量過(guò)程模型

中圖分類號(hào)：O211.62 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1673-9795（2014）04（b）-0096-02

為了簡(jiǎn)化傳統(tǒng)高階馬氏鏈的計(jì)算過(guò)程，Raftery等[1～3]提出新的高階馬氏模型，即：，其中≥0和為非負(fù)定矩陣且滿足列向量元素之和等于1。Ching等[4～5]在此高階馬氏理論基礎(chǔ)上提出更一般化馬氏鏈，即多元馬爾可夫模型，其相關(guān)成果已廣泛應(yīng)用于基因工程、天氣預(yù)報(bào)和庫(kù)存管理等領(lǐng)域。然而在傳統(tǒng)馬氏決策過(guò)程（MDP）模型中存在著一個(gè)共同局限性，即在決策時(shí)刻只采取單個(gè)行動(dòng)來(lái)確定系統(tǒng)的狀態(tài)轉(zhuǎn)移概率。針對(duì)此極限性，文獻(xiàn)[6]在決策時(shí)刻引入了多元行動(dòng)來(lái)確定系統(tǒng)的狀態(tài)轉(zhuǎn)移概率，并通過(guò)運(yùn)用傳統(tǒng)MDP的基本理論以及結(jié)合多元行動(dòng)集、決策向量、相合度等新定義，提出了馬氏向量決策過(guò)程模型；文獻(xiàn)[7]則在馬氏決策向量過(guò)程模型的理論基礎(chǔ)上，研究了多元馬氏決策向量過(guò)程模型以及模型的參數(shù)估計(jì)法，并通過(guò)該模型確定了分類數(shù)據(jù)序列之間的關(guān)系。本文在以上的理論基礎(chǔ)上，對(duì)高階多元馬氏決策向量過(guò)程模型進(jìn)行初步性的研究，給出其基本概念。

1 基本概念[5]

定義1：設(shè)系統(tǒng)在時(shí)刻處于狀態(tài)可選擇的行動(dòng)集有：，，，；則稱為決策系統(tǒng)的行動(dòng)集族。

定義2稱： 為決策向量集，其中為一元決策集；中的元素稱為決策向量，記為。

定義3：當(dāng)系統(tǒng)在時(shí)刻采取決策向量時(shí)，若的分量未取的個(gè)數(shù)為，則稱的聯(lián)合度為，記為。

定義4：記，若系統(tǒng)在決策時(shí)刻采取決策向量有：

（1）

則稱為優(yōu)決策向量；否則稱為劣決策向量。

2 高階多元馬氏決策向量模型

本節(jié)內(nèi)容主要給出高階多元馬氏決策向量過(guò)程模型的定義。為了方便以下模型的描述，我們約定：系統(tǒng)于時(shí)刻采取決策向量，其狀態(tài)從下一步轉(zhuǎn)移到狀態(tài)的概率記，而不是傳統(tǒng)上的記法。于是，根據(jù)以上的決策向量、聯(lián)合度和相合度等基本概念可以給出高階多元馬氏決策向量過(guò)程模型的定義。

定義5：設(shè)表示第序列的狀態(tài)在系統(tǒng)于第階段采取決策向量條件下轉(zhuǎn)到第序列的狀態(tài)的轉(zhuǎn)移概率矩陣，其中，為第序列歷經(jīng)個(gè)階段后到達(dá)第階段狀態(tài)的概率分布，若存在（其中≥），使得 則稱為階元馬爾可夫決策向量過(guò)程模型。

除了隨機(jī)變量的高維化外，高階多元馬氏決策向量模型與傳統(tǒng)一元馬氏決策過(guò)程模型的最大區(qū)別在于各狀態(tài)間的轉(zhuǎn)移是否具有封閉性。由高階多元馬氏決策向量模型的定義，可知模型中序列的狀態(tài)不但可以在自身的狀態(tài)集之內(nèi)發(fā)生轉(zhuǎn)移，而且還可以轉(zhuǎn)移到其它序列的狀態(tài)。因此，其狀態(tài)轉(zhuǎn)移不具有封閉性，而一元馬氏決策過(guò)程模型的狀態(tài)轉(zhuǎn)移只能發(fā)生在自身的狀態(tài)集之內(nèi)，是封閉的。

若令，則可將階多元馬爾可夫模型寫(xiě)成矩陣的形式，即：

（2）

其中：

；分別表示狀態(tài)集所包含元素的個(gè)數(shù)和庫(kù)系統(tǒng)的階數(shù)，為單位矩陣；而當(dāng)時(shí)，

命題1：設(shè)表示第序列的狀態(tài)系統(tǒng)在采取決策向量條件下轉(zhuǎn)到第序列的狀態(tài)的轉(zhuǎn)移概率矩陣，則存在的估計(jì)量，使得依概率收斂于，即對(duì)任意，有。

證明：記表示于第階段系統(tǒng)在采取決策向量條件下由第種序列的需求狀態(tài)到第個(gè)種序列的需求狀態(tài)的轉(zhuǎn)移頻數(shù)矩陣，為系統(tǒng)在采取決策向量條件下第個(gè)種序列于階段從需求狀態(tài)轉(zhuǎn)移到第種序列的需求狀態(tài)的頻數(shù)，則.根據(jù)與關(guān)系，我們可得出的估計(jì)值，即：

，其中：

，再由大數(shù)定律可知，依概率收斂于，即。

參考文獻(xiàn)

[1] Raftery A E.A model for high-order Markov chains[J].Journal of the Royal Statistical Society.Series B （Methodological），1985，47（3）：528-539.

[2] Raftery A， Tavare S. Estimation and modelling repeated patterns in high order Markov chains with the mixture transition distribution model[J]. Applied Statistics，1994，43（1）：179-199.

[3] Berchtold A， Raftery A E. The mixture transition distribution model for high-order Markov chains and non-Gaussian time series[J].Statistical Science， 2002，17（3）：328-356.

[4] Ching W K， Fung E S，Ng M K. A multivariate Markov chain model for categorical data sequences and its applications in demand predictions[J]. IMA Journal of Management Mathematics， 2002，13（3）：187-199.

[5] Ching W K， Ng M K， Fung E S. Higher-order multivariate Markov chains and their applications[J].Linear Algebra and its Applications，2008，428（2）：492-507.

[6] 陳杰，朱全新，邢靈博.馬氏決策向量過(guò)程模型初步研究[J].河南師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，38（5）：38-40.

[7] 陳杰，邢靈博，張宗杰.多元馬氏決策向量過(guò)程模型及其參數(shù)估計(jì)[J].中國(guó)科教創(chuàng)新導(dǎo)刊，2013，19：74.