關于非齊次馬氏鏈的一個定理

孫飛躍，楊衛(wèi)國

（江蘇大學理學院，江蘇鎮(zhèn)江212013）

關于非齊次馬氏鏈的一個定理

孫飛躍，楊衛(wèi)國

（江蘇大學理學院，江蘇鎮(zhèn)江212013）

給出了Csiszar和K?rner關于獨立隨機變量序列的一個定理的一個推廣，該定理的推論是關于相對熵的，在統(tǒng)計假設檢驗及編碼理論中起著重要的作用.利用非齊次馬氏鏈的一個強大數(shù)定律將這個定理推廣到非齊次馬氏鏈上.

非齊次馬氏鏈；強大數(shù)定律；幾乎處處收斂

1　引言

馬氏鏈作為描述一類實際問題的數(shù)學模型，在經(jīng)濟學、計算科學、隨機服務系統(tǒng)等領域中具有重要地位.有關齊次馬氏鏈的研究已經(jīng)取得了豐碩且深刻的成果，例如：文獻［1］研究了任意齊次樹指標馬氏鏈場的一類Shannon-Mcmillan定理；文獻［2］應用齊次馬氏鏈定量評估教學效果.齊次馬氏鏈的研究已經(jīng)形成了較完整的理論體系，而關于非齊次馬氏鏈的極限性質(zhì)已有不少研究，例如：文獻［3］研究了可列非齊次馬氏鏈的強大數(shù)定律，文獻［4］研究了可列非齊次馬氏鏈泛函的強大數(shù)定律，文獻［5］研究了各種隨機變量和馬氏鏈的強偏差定理，但至今仍有待深入研究.本文首先給出Csiszar和K?rner在著名的《Information Theory》［6］中關于獨立隨機變量序列的一個極限定理，該定理的推論是關于相對熵的.而相對熵是信息論中的一個重要內(nèi)容，在統(tǒng)計假設檢驗及編碼理論中起著重要的作用，作者利用非齊次馬氏鏈的強大數(shù)定律將該定理推廣到非齊次馬氏鏈上.其結(jié)果是對文獻［6］中相關定理的推廣.

2　主要結(jié)果

設M1（x），M2（x），···是在字母集S=｛1，2，···，N｝上取值的一列正值函數(shù)，令

下面給出定理2.1的一個推論：

推論2.1設｛Xn，n≥1｝是在字母集S上取值的獨立隨機變量序列，設P和Q為兩個概率測度，p（·），q（·）為S上的兩個概率分布，設

在信息論中，推論1的右邊就是相對熵，也用D（p∥q）表示，相對熵是兩個概率分布p和q差異的一種度量.在信息論中及解決隨機選擇系統(tǒng)問題中有重要作用，不少作者通過引進相對熵得出了隨機選擇系統(tǒng)和任意隨機序列的若干強偏差和小偏差定理，解決了一系列實際問題［8-11］.

由定理2.1給出非齊次馬氏鏈上的一個定理.

定理2.2設｛Xn，n≥1｝是在S=｛1，2，···，N｝中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為

定理2.1是關于獨立隨機變量序列的極限定理，定理2.2將定理2.1的結(jié)論推廣到了非齊次馬氏鏈情形.

在證明本定理前首先給出幾個引理.

引理2.1［7］設｛ak，k≥1｝是一有界非負數(shù)列，M為其一個上界，δ為正數(shù)，Nn（δ）表示此數(shù)列前n項大于δ的項的個數(shù)，則

成立的充要條件是：?δ＞0

引理2.2設?（x）是區(qū)間［a，b］上的連續(xù)函數(shù)，｛ak，k≥1｝與｛bk，k≥1｝是區(qū)間［a，b］上的兩個數(shù)列，如果

引理2.3［7］設｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，fn（x，y）是定義在在S2上的二元函數(shù)，如果條件期望是幾乎處處一致有界的，即存在一個常數(shù)M＞0，使

引理2.4設｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，

引理2.5設｛Xn，n≥1｝是在S中取值的非齊次馬氏鏈，其初始分布和轉(zhuǎn)移矩陣列分別為（9）式和（10）式，

［1］方次軍，王康康.任意齊次樹指標馬氏鏈場的一類Shannon-Mcmillan定理［J］.數(shù)學的實踐與認識，2014，44（22）：223-231.

［2］陳裕宗.應用齊次馬氏鏈定量評估教學效果［J］.廈門水產(chǎn)學院學報，1990，12（1）：60-64.

［3］劉文，楊衛(wèi)國.可列非齊次馬氏鏈的若干極限定理［J］.應用數(shù)學學報，1992，15（4）：479-489.

［4］劉文，劉國欣，陳志剛.可列非齊次馬氏鏈泛函的一類強大數(shù)定律［J］.經(jīng)濟數(shù)學，1995，12（1）：1-8.

［5］王康康，楊衛(wèi)國.任意隨機序列關于廣義幾何分布的一類強偏差定理［J］.工程數(shù)學學報，2008，25（2）：239-244.

［6］Csiszar Imre，K?rner Janos.Information Theory：Coding Theorems for Discrete Memoryless Systems［M］.New York：Academic Press，1981.

［7］劉文，楊衛(wèi)國.關于非齊次馬氏信源的漸進均分割性［J］.應用概率統(tǒng)計，1997，13（4）：359-366.

［8］趙靜，魏杰，孫利民.樣本相對熵率與一類隨機選擇系統(tǒng)的強偏差定理［J］.河北工業(yè)大學學報，2005，34（2）：110-114.

［9］劉文，楊衛(wèi)國.關于Shnnon-McMillan定理的若干研究［J］.數(shù)學物理學報，1994，14（3）：337-345.

［10］范愛華.樣本相對熵與相依隨機序列的若干小偏差定理［J］.蘭州大學學報，2008，44（1）：128-131.

［11］Shannon C E.A mathematical theory of communication［J］.USA Bell Systematic Technical Journal，1948，27：1-13.

A theorem for nonhomogeneous Markov chains

Sun Feiyue，Yang Weiguo
（Faculty of Science，Jiangsu University，Zhenjiang212013，China）

The purpose of this paper is to give a generalization of a theorem about independent random variables that has been provided by Csiszar and K?rner.The corollary of this theorem is about relative entropy，which plays an important role in statistical hypothesis testing and coding theory.The theorem is generalized to the non-homogeneous Markov chains by using its strong law of large numbers.

non-homogeneous Markov chains，strong law of large numbers，a.e.convergence

O211.62

A

1008-5513（2015）06-0620-08

10.3969/j.issn.1008-5513.2015.06.010

2015-01-19.

國家自然科學基金（11071104）.

孫飛躍（1990-），碩士生，研究方向：馬氏鏈.

2010 MSC：60J05