概率論與數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用淺析

劉垚

摘 要：概率論與數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用越來越普遍，本文在研究概率論與數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用問題時(shí)，注重把握信息論與數(shù)學(xué)理論二者的關(guān)聯(lián)性。同時(shí)，注重從概率論和數(shù)理統(tǒng)計(jì)角度出發(fā)，對(duì)信息論的基本特點(diǎn)進(jìn)行了分析和把握，將概率論與數(shù)理統(tǒng)計(jì)在信息論中進(jìn)行應(yīng)用，實(shí)現(xiàn)信息論的有效教學(xué)和學(xué)習(xí)目標(biāo)。

關(guān)鍵詞：概率論；數(shù)理統(tǒng)計(jì)；信息論

當(dāng)前，統(tǒng)計(jì)數(shù)學(xué)中對(duì)信息這一觀點(diǎn)進(jìn)行了闡述，將信息看作是一種信息量。隨著信息這一概念的提出，在隨后的研究中，學(xué)術(shù)界對(duì)信息的研究不斷加深，并在1948年人們對(duì)信息論的基本概念和內(nèi)涵進(jìn)行了表述，這為現(xiàn)代信息論的發(fā)展奠定了基礎(chǔ)。信息論的研究與概率論、數(shù)理統(tǒng)計(jì)學(xué)科有著密切的關(guān)聯(lián)性，數(shù)理統(tǒng)計(jì)和概率論是信息論研究的重要工具，這使信息論學(xué)習(xí)中，人們對(duì)概率論和數(shù)理統(tǒng)計(jì)問題予以了較高的關(guān)注度。研究概率論和數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用，有助于對(duì)信息論問題進(jìn)行更加深入、透徹的分析，從而使對(duì)信息論的理解變得更加明確。

1 信息的概念分析

信息科學(xué)主要從信息角度出發(fā)，以信息作為學(xué)科的研究對(duì)象，主要的研究?jī)?nèi)容為信息的運(yùn)動(dòng)規(guī)律和相關(guān)的應(yīng)用方法。在對(duì)信息論研究過程中，計(jì)算機(jī)技術(shù)是主要研究工具，從而實(shí)現(xiàn)對(duì)人類信息功能的拓展。信息論是一門新興的綜合性學(xué)科，其與概率論、數(shù)理統(tǒng)計(jì)有著密切的關(guān)聯(lián)性，在對(duì)信息論研究和學(xué)習(xí)的過程中，要注重從綜合角度出發(fā)，對(duì)問題予以更加深入的認(rèn)知。

從信息論的發(fā)展來看，人們對(duì)信息的研究起步較早，古時(shí)候的結(jié)繩記事、驛站等，是最簡(jiǎn)單最原始的信息傳遞；到了近現(xiàn)代，隨著電話技術(shù)、電報(bào)技術(shù)、網(wǎng)絡(luò)技術(shù)等的發(fā)展，人類進(jìn)行信息傳遞的方式發(fā)生了翻天覆地的變化，相關(guān)技術(shù)水平也得到了大幅度的提升。從信息論的發(fā)展情況來看，現(xiàn)代信息論出現(xiàn)之前，人們對(duì)信息論的理解局限于“信息傳遞”，信息也可以被看作是“消息”。但從現(xiàn)代信息論角度來看，信息和消息之間存在著一定的差異，消息更多地表現(xiàn)在符號(hào)、語言、圖像和文字信息等，這些信息可以被人的感官所獲知，可以看作是信息的載體。但從消息的本質(zhì)來看，其包含的東西較少，在人們獲知消息后，消息的量也被確定。而信息則不同，信息與消息相比，最大的特點(diǎn)表現(xiàn)在信息具有不確定的特征，這種不確定性使信息量變得模糊不定。例如在概率論中，比較典型的擲硬幣事件，對(duì)硬幣的正反面確定存在著一定的隨機(jī)性，實(shí)驗(yàn)完成后，人們才能夠?qū)τ矌抛罱K的情況予以把握。從這一角度來看，信息反映出了事件信息獲取過程中不確定量的減少量，這一減少量就是在隨機(jī)實(shí)驗(yàn)中獲取的信息量。

關(guān)于信息概念的確定，結(jié)合概率論的拋硬幣事件，可以對(duì)信息定義如下：信息是事物運(yùn)動(dòng)狀態(tài)或是存在方式的不確定性的描述。從這一角度來看，可以對(duì)信息理解為消除不確定性的東西，不確定性的變化情況，就是信息獲取的情況。從這一角度來看，信息論與概率論之間有著密切的關(guān)聯(lián)，并且從這一角度出發(fā)，有助于在研究信息論問題時(shí)，將概率論更好地引入。

2 通信系統(tǒng)的概率統(tǒng)計(jì)模型分析

在對(duì)通信系統(tǒng)的概率統(tǒng)計(jì)模型分析過程中，首先要注重對(duì)通信系統(tǒng)的基本要素予以把握，其包括了信源、信道、信宿、編碼、譯碼、噪聲等幾個(gè)部分。其中噪聲可能會(huì)對(duì)信道信息傳輸質(zhì)量產(chǎn)生不利影響，最終影響到信息的傳遞效果。在研究通信系統(tǒng)的概率統(tǒng)計(jì)模型過程中，關(guān)于其模型的表達(dá)如圖1所示：

從通信系統(tǒng)模型的組成來看，信源是模型的基礎(chǔ)部分，也是信息產(chǎn)生的來源。信源的產(chǎn)生具有一定的隨機(jī)性，在對(duì)信源問題的理解過程中，可以將其看作是一個(gè)隨機(jī)變量，并利用隨機(jī)變量對(duì)信源進(jìn)行描述。在對(duì)信源表示的過程中，假設(shè)信源的信息為隨機(jī)變量，將其記為：，信源發(fā)出的信息集合表示為：。信息源集合設(shè)置完成后，接下來需要考慮到隨機(jī)變量的分布情況。隨機(jī)變量分布對(duì)信息源有著較大的影響，對(duì)其表示為：，這樣一來，根據(jù)隨機(jī)變量以及信息源集合，信源可以用進(jìn)行描述。

在通信系統(tǒng)中，信道主要是指信息的傳輸通道，信道對(duì)信息傳遞有著較大的影響。當(dāng)信息源進(jìn)入信道后，可能受到噪聲的干擾，從而導(dǎo)致信息的流失或是信息傳輸受阻。從信道中的噪聲干擾情況來看，其具有一定的隨機(jī)性，輸入信號(hào)和輸出信號(hào)之間的函數(shù)關(guān)系并不確定。從信道的組成來看，當(dāng)輸入信號(hào)字母，輸出信號(hào)，信號(hào)轉(zhuǎn)移概率：。通信系統(tǒng)中，信源產(chǎn)生的信息會(huì)通過編碼將其轉(zhuǎn)化為信號(hào)，之后信號(hào)進(jìn)入到信道中進(jìn)行傳輸。信道輸出信號(hào)與轉(zhuǎn)移概率有著一定的關(guān)聯(lián)，在對(duì)信道進(jìn)行標(biāo)記過程中，利用：進(jìn)行標(biāo)記。

通過上文的分析來看，針對(duì)于信源和信道的傳輸概率進(jìn)行了概率統(tǒng)計(jì)模型的構(gòu)建，針對(duì)于這一情況，在對(duì)通信系統(tǒng)模型構(gòu)建過程中，其模型構(gòu)建如下：

在對(duì)通信系統(tǒng)問題研究過程中，借助于概率統(tǒng)計(jì)模型構(gòu)建，對(duì)通信系統(tǒng)信息傳輸問題進(jìn)行了解釋，并且為信息論問題的研究提供了相關(guān)基礎(chǔ)。

3 信息的度量分析

概率論與數(shù)理統(tǒng)計(jì)在信息論中的應(yīng)用，考慮到了現(xiàn)代信息論的隨機(jī)性問題，這使概率論在解釋信息傳輸問題方面，發(fā)揮了重要的作用。而從另一個(gè)方面來看，在進(jìn)行信息論研究過程中，信息量大小的確認(rèn)，是需要考慮到又一重要問題。從信息的本質(zhì)來看，其具有一定的可度量性。信息主要是對(duì)不確定性東西進(jìn)行消除，對(duì)不確定性進(jìn)行度量，可以實(shí)現(xiàn)對(duì)信息的度量。在對(duì)信息度量過程中，對(duì)離散隨機(jī)變量進(jìn)行了考慮，假設(shè)隨機(jī)變量為，其概率分布為：，這樣一來，在對(duì)隨機(jī)變量進(jìn)行確定的過程中，則從其概率分布函數(shù)角度出發(fā)。當(dāng)呈現(xiàn)出確定性分布特點(diǎn)的時(shí)候，不確定性為0；當(dāng)信息可能是等可能分布的時(shí)候，隨機(jī)變量取值變大，這也導(dǎo)致了信息不確定性變大。

可加性，利用可以對(duì)的函數(shù)形式進(jìn)行最終的確定。

在對(duì)函數(shù)不確定性進(jìn)行確定后，根據(jù)離散隨機(jī)變量的數(shù)值，對(duì)連續(xù)隨機(jī)變量進(jìn)行確定，這一過程中，假設(shè)連續(xù)隨機(jī)變量的概率密度為，則有：

在對(duì)連續(xù)函數(shù)數(shù)值計(jì)算過程中，考慮到了熵值的分布特點(diǎn)：

在對(duì)信息度量過程中，要注重對(duì)隨機(jī)變量的數(shù)值予以把握，從而對(duì)隨機(jī)變量的數(shù)值進(jìn)行確定，實(shí)現(xiàn)對(duì)信息的度量。

4最優(yōu)編碼問題

信息論的創(chuàng)始人C.E.Shannon在研究信息論問題時(shí)，將發(fā)射信息和接受信息作為通訊過程進(jìn)行研究，在這一過程中，主要考慮到了信息編碼問題。其對(duì)系統(tǒng)通訊的一般模型提出，對(duì)信息量的計(jì)算公式進(jìn)行了確定。在信息通訊系統(tǒng)中，如何對(duì)編碼問題進(jìn)行確定，成為其研究的一個(gè)重要內(nèi)容。在對(duì)最優(yōu)編碼問題解決過程中，概率論和數(shù)理統(tǒng)計(jì)的應(yīng)用，很好地解決了這一問題。通信系統(tǒng)中，通信的數(shù)量和質(zhì)量是通信考慮的兩個(gè)基本問題。在這一過程中，在信息傳輸過程中，以信號(hào)進(jìn)行傳輸，如何以最少的信號(hào)對(duì)信息進(jìn)行傳輸，關(guān)系到了系統(tǒng)傳輸?shù)男屎唾|(zhì)量。信息量的減少，可能導(dǎo)致信源信息受到一定的影響，導(dǎo)致信源的質(zhì)量有所下降。這一過程中，就需要做好最優(yōu)編碼，并加強(qiáng)信號(hào)對(duì)信源的干擾，使信源傳輸?shù)目煽啃缘玫礁玫靥嵘?。在?yīng)對(duì)信源干擾問題時(shí)，主要通過信源編碼、信道編碼的方式。信源進(jìn)行信號(hào)傳輸過程中，信源傳輸?shù)男盘?hào)具有一定的隨機(jī)性和不確定性，在對(duì)編碼方案確定過程中，要注意對(duì)效率的概率予以把握。關(guān)于概率論和數(shù)理統(tǒng)計(jì)在解決最優(yōu)編碼中的應(yīng)用，如下：

為信源，其中是其中一個(gè)變長(zhǎng)編碼，向量的長(zhǎng)度為，則有：

其為變長(zhǎng)編碼的平均碼長(zhǎng)。平均碼長(zhǎng)問題對(duì)概率問題進(jìn)行了考慮，其是消息出現(xiàn)的概率為權(quán)的加權(quán)平均。

此外，在對(duì)最優(yōu)編碼確定過程中，假設(shè)存在唯一的可譯長(zhǎng)碼，對(duì)其他可變長(zhǎng)碼都有：

在對(duì)最優(yōu)編碼確定過程中，根據(jù)概率論，主要應(yīng)用的有Huffman編碼，該編碼方法應(yīng)用過程中，主要步驟針對(duì)于Huffman進(jìn)行數(shù)據(jù)壓縮，對(duì)信源的概率分布情況予以考慮，從而對(duì)最優(yōu)編碼進(jìn)行確定。

5 結(jié)束語

綜上所述，現(xiàn)代信息論在應(yīng)用過程中，對(duì)于現(xiàn)代社會(huì)發(fā)展有著重要的影響。信息化社會(huì)中，信息的獲取、傳遞、處理、控制、利用，關(guān)系到了人們生活的各個(gè)方面。在對(duì)信息論應(yīng)用過程中，要注重對(duì)信息傳遞的效率和質(zhì)量予以把握，從而實(shí)現(xiàn)信息系統(tǒng)的最優(yōu)化。信息論在研究信息存儲(chǔ)、傳輸、處理方面，對(duì)于提升信息系統(tǒng)功能方面，發(fā)揮了重要的作用。在對(duì)信息論研究中，概率論和數(shù)理統(tǒng)計(jì)有助于提升研究的針對(duì)性，對(duì)信息論中存在的一系列問題做好有效地解釋。因此，在研究和學(xué)習(xí)信息論問題時(shí)，要注重對(duì)學(xué)科之間的相互作用予以把握，將概率論、數(shù)理統(tǒng)計(jì)學(xué)科知識(shí)與信息論進(jìn)行更加緊密地結(jié)合，從而使信息論的學(xué)習(xí)和認(rèn)知更加明確。

參考文獻(xiàn)

[1]徐金暐.現(xiàn)代信息論應(yīng)用與發(fā)展[J].電信快報(bào)，2017（05）：42-44.

[2]李志林，劉啟亮，高培超.地圖信息論：從狹義到廣義的發(fā)展回顧[J].測(cè)繪學(xué)報(bào)，2016，45（07）：757-767.

[3]王昶，王三秀.政府公信力的生成與流失——基于信息論視角的解讀[J].理論月刊，2016（02）：107-111.

[4]張秋聞，王曉.信息論與編碼教學(xué)模式的研究與探索[J].計(jì)算機(jī)教育，2015（12）：58-60+73.