Tsallis最大熵原理及其逆問題*

吳賢東， 汪加梅， 李婉晴

(安徽工業(yè)大學(xué) 數(shù)理科學(xué)與工程學(xué)院，安徽 馬鞍山 243032)

0 引 言

1948 年，為解決信息的量化度量問題，香農(nóng)提出了“信息熵” 的概念，也稱為香農(nóng)熵[1]。 一條信息的信息量大小和它的不確定性有直接的關(guān)系，因而香農(nóng)熵也是信息不確定性的一種度量。對(duì)于一個(gè)離散型隨機(jī)變量X取值{xi}的概率為P(X=xi)=pi,i=1,2,…,n，其香農(nóng)熵定義為

1988年，巴西物理學(xué)家C. Tsallis提出了Tsallis熵[2]：

Tsallis熵推廣了標(biāo)準(zhǔn)的統(tǒng)計(jì)力,Tsallis 熵和Shannon熵有如下聯(lián)系：

Tsallis熵在不規(guī)則且不完全混沌中有重要應(yīng)用。由于該熵不具有次可加性，因而Tsallis熵是非廣延的，隨之Tsallis非廣延統(tǒng)計(jì)學(xué)也被大批學(xué)者研究[3-4]。

Tsallis最大熵原理是在Jaynes最大熵原理[5]的基礎(chǔ)上發(fā)展而來的一種可以有效求解隨機(jī)變量概率分布的方法。 它就是根據(jù)已經(jīng)給出的約束條件求解出使Tsallis熵達(dá)到最大值的概率分布，例如正態(tài)分布可以利用數(shù)學(xué)期望和方差的條件，根據(jù)Tsallis熵最大自然地推出。 在劉成仕[6-7]發(fā)表的幾篇有關(guān)非對(duì)稱熵以及最大非對(duì)稱熵原理中，提出了一種新的概念——非對(duì)稱熵，它概括了玻爾茲曼熵和香農(nóng)熵的概念， 證明了最大非對(duì)稱熵原理，從最大非對(duì)稱熵原理推導(dǎo)出一些重要的分布規(guī)律。 基于Tsallis最大熵原理以及貝葉斯原理[8-9]，還可以研究統(tǒng)計(jì)學(xué)的問題。 為了解決最大熵方法的逆問題，王海虹等[10-11]提出貝葉斯參數(shù)估計(jì)的最大熵方法的逆問題，并且以泊松分布和指數(shù)分布為例給出證明,通過求解相應(yīng)的微分方程和變分方程，得到所需要的約束條件。 類似地，Tsallis最大熵的逆問題就是先給出一些具體的概率分布，然后再根據(jù)Tsallis最大熵方法求解出使Tsallis熵達(dá)到最大值的約束條件。

本文主要分為5個(gè)部分，第一部分為Tsallis最大熵原理的問題來源及背景簡(jiǎn)介；第二部分主要研究了離散形式和連續(xù)形式的Tsallis最大熵原理； 第三部分研究了在約束條件下的最大熵原理；第四部分研究了Tsallis最大熵原理的逆問題， 即給定一個(gè)具體的概率分布或密度函數(shù)，獲得使這個(gè)概率分布或密度函數(shù)達(dá)到Tsallis最大熵的約束條件，主要分別以二項(xiàng)分布和正態(tài)分布為例研究了離散情形和連續(xù)情形下的Tsallis熵原理的逆問題；第五部分為總結(jié)部分。

1 Tsallis最大熵原理

首先給出并證明離散形式的Tsallis最大熵原理.

為方便，采取如下記號(hào)：

顯然，expr(lnrx)=lnr(exprx)=x.

由Tsallis熵的定義知，離散情形下的Tsallis熵可以寫成如下形式：

將G對(duì)Pi求偏導(dǎo)，并令其為0，得到方程組：

i=1,2,…,n

下面給出并證明連續(xù)形式的Tsallis最大熵原理。

證明運(yùn)用拉格朗日乘子法構(gòu)造一個(gè)輔助泛函：

存在

2 約束條件下的Tsallis最大熵原理

下面研究在約束條件下的Tsallis最大熵原理. 首先，研究在約束條件下對(duì)于概率分布的Tsallis最大熵原理。

其中λ1和λ2滿足兩個(gè)約束條件:

證明運(yùn)用拉格朗日乘子法構(gòu)造一個(gè)輔助函數(shù)：

可以推出：

其中λ0和λi(1≤i≤m)滿足m+1個(gè)約束條件：

證明構(gòu)造輔助函數(shù)：

即最大熵分布為

其中λ0,λ1,…,λm是拉格朗日乘子。

下面分別研究在約束條件下對(duì)于密度函數(shù)的Tsallis最大熵原理。

其中λ1和λ2滿足兩個(gè)約束條件：

證明運(yùn)用拉格朗日乘子法構(gòu)造一個(gè)輔助泛函：

由δF=0，可以推出：

其中λ0和λi(1≤i≤m)滿足m+1個(gè)約束條件：

r=1,2,…,m

證明構(gòu)造輔助函數(shù)：

即最大熵分布為

其中λ0,λ1,…,λm是拉格朗日乘子。

3 Tsallis最大熵原理的逆問題

下面研究離散情形下Tsallis熵原理的逆問題(以二項(xiàng)分布為例)，即假定某約束條件下使二項(xiàng)分布的Tsallis熵達(dá)到最大值，反求約束條件。

若隨機(jī)變量滿足二項(xiàng)分布，則分布函數(shù)為

其中，i=1,2,…,n，0

證明應(yīng)用拉格朗日乘子法求解，首先構(gòu)造一個(gè)輔助函數(shù)：

由此可以得到：

將指定的二項(xiàng)分布代入，就可以得到：

可以進(jìn)一步假設(shè)：

(1)

將式(1)對(duì)i求和，則得到所要求的約束條件：

這個(gè)結(jié)果包含一個(gè)數(shù)學(xué)期望，即

因此，約束條件可以寫成：

其中離散型隨機(jī)變量X的取值為1,2,…,n。

下面研究連續(xù)情況下Tsallis最大熵原理的逆問題(以正態(tài)分布為例)。

其中，-∞0,σ>0。

證明應(yīng)用拉格朗日乘子法求解，首先構(gòu)造一個(gè)輔助函數(shù)：

由此可以得到：

將指定的正態(tài)分布的密度函數(shù)代入，就可以得到：

(2)

將式(2)對(duì)x進(jìn)行積分就可以得到要求的約束條件，即

這個(gè)結(jié)果有一個(gè)數(shù)學(xué)期望，即

因此，約束條件可以寫成：

4 總 結(jié)

貝葉斯的均勻假設(shè)并非總是合理的，因此尋求新的確定先驗(yàn)分布的方法有重要意義。 利用Tsallis最大熵原理是一個(gè)有價(jià)值的方向，而其逆問題也同樣有趣。用了二項(xiàng)分布和正態(tài)分布這兩個(gè)代表性的實(shí)例給出處理這類問題的方式，其他分布形式也可以用此方式做出。 其約束條件往往以隨機(jī)變量函數(shù)的數(shù)學(xué)期望形式出現(xiàn)，這符合最大熵原理的使用經(jīng)驗(yàn)。Tsallis最大熵原理的逆問題的解一般不是唯一的。