淺談信息論方法在概率論和統(tǒng)計學(xué)上的應(yīng)用

蔣瑞祥

（安徽省合肥市新華學(xué)院國際教育學(xué)院，安徽 合肥 230088）

引言

對于人們來說，信息利用價值非常巨大，直至1940年才逐漸開始將信息以一種科學(xué)概念進(jìn)行研究和分析，隨后才逐漸開始大規(guī)模的運(yùn)用科學(xué)信息。處在當(dāng)前信息化社會中，信息技術(shù)有著極快的發(fā)展及更新速度，面對數(shù)量龐大、類型眾多的信息，有效利用信息成為關(guān)鍵所在。當(dāng)前不同領(lǐng)域已經(jīng)將信息利用放在首要位置，而且伴隨著統(tǒng)計學(xué)、概率論的逐步發(fā)展，利用好信息論方法可以極大地推動社會的進(jìn)步。目前產(chǎn)業(yè)規(guī)模最大的就屬信息產(chǎn)業(yè)，要想不斷促進(jìn)社會經(jīng)濟(jì)的發(fā)展，就必須要充分發(fā)揮信息論方法在概率論及統(tǒng)計學(xué)方面的作用及優(yōu)勢。

一、信息論概念和分類

克勞德·艾爾伍·申農(nóng)將社會推動到信息化發(fā)展的時代，其構(gòu)建了信息論，被人們譽(yù)為數(shù)字時代之父[1]。在20世紀(jì)四十年代末期克勞德·申農(nóng)對聞名于世的《通信的數(shù)學(xué)原理》進(jìn)行了發(fā)表，隨著論文的發(fā)表人們開始進(jìn)入到現(xiàn)代信息論研究的浪潮中。

（一）定義

首先在克勞德·申農(nóng)看來，信息論的核心問題即為，一端對另一端選取信號的復(fù)現(xiàn)，包括近似復(fù)現(xiàn)以及精確化的復(fù)現(xiàn)；

其次，作為基礎(chǔ)科學(xué)理論，信息論探究的是信息本質(zhì)及其傳遞規(guī)律，屬于新興學(xué)科，能夠?qū)Υ鎯π畔?、計量信息、交換信息、接收信息和傳遞信息等內(nèi)容進(jìn)行分析[2]。

（二）分類

基于狹義信息論角度來看，針對通信系統(tǒng)下信息處理、傳遞的科學(xué)規(guī)律進(jìn)行研究時，需要借助統(tǒng)計學(xué)方法；

基于廣義信息論的角度來看，對于現(xiàn)實系統(tǒng)下有關(guān)信息運(yùn)用、信息處理識別和信息傳遞的共性科學(xué)規(guī)律，應(yīng)利用數(shù)學(xué)方法及相關(guān)科學(xué)方法進(jìn)行研究。

二、信息論方法在概率上的應(yīng)用

（一）二分度量法

（二）差異度量法

（三）集中度量法

當(dāng)前概率論中運(yùn)用極為廣泛的就是集中度量法，其在一般性描述概率問題的過程中，能夠?qū)Ω怕收摰奶骄窟M(jìn)行進(jìn)一步的延伸，然而信息論研究人員能夠簡便化的進(jìn)行分析。

基于信息論方法下，最初運(yùn)用過程中僅將其作為數(shù)學(xué)工具，然而當(dāng)前已經(jīng)發(fā)展為構(gòu)成信息論方法的系統(tǒng)內(nèi)容。目前，MaIton以一種更深層次的視角，詳細(xì)談久了集中度量法結(jié)果，證明了其運(yùn)用的高效性。

三、信息論在統(tǒng)計中的應(yīng)用

基于統(tǒng)計學(xué)領(lǐng)域，在運(yùn)用信息論方法的時候，通常都指的是統(tǒng)計下信息量的運(yùn)用狀況，也包括統(tǒng)計運(yùn)用下的碼結(jié)構(gòu)、編碼定理等。因為統(tǒng)計學(xué)涉及大量的研究內(nèi)容，而且呈現(xiàn)不斷復(fù)雜的趨勢，包括統(tǒng)計混合分布、非線性統(tǒng)計模型等，所以應(yīng)將基本度量設(shè)定成信息量，這樣才能有效解決統(tǒng)計學(xué)問題。