信息及其度量計算研究

申海洋 李 林

(1. 巢湖學(xué)院機(jī)械與電子工程學(xué)院， 合肥 238000；2. 北京航空航天大學(xué)電子信息工程學(xué)院， 北京 100000)

信息及其度量計算研究

申海洋1李 林2

(1. 巢湖學(xué)院機(jī)械與電子工程學(xué)院， 合肥 238000；2. 北京航空航天大學(xué)電子信息工程學(xué)院， 北京 100000)

剖析了信息的本質(zhì)意義，通過“六月飛雪”和“寒冬飄雪”的案例對比，揭示了信息量大小和事件發(fā)生概率之間的內(nèi)在關(guān)系；通過統(tǒng)計平均的方法推導(dǎo)了平均信息量的計算公式，并以圖片內(nèi)容的多少推演了平均信息量的意義。

信息； 消息； 信息量

當(dāng)今社會，信息充斥著我們生活中的每一個角落。人們經(jīng)常將信息同信號、消息等詞匯混淆，對信息的內(nèi)涵很難有準(zhǔn)確的認(rèn)知。此外，我們也時常需要對信息的大小及信息量進(jìn)行表述。如何對信息量進(jìn)行計算、對信息量公式進(jìn)行理解是困擾很多學(xué)習(xí)者的一個難題。

本次研究以現(xiàn)實生活中書信、短信等為例，揭示了信號、消息和信息之間的內(nèi)在關(guān)系。通過天氣預(yù)報中的下雨概率和一組圖片的對比，揭示出信息量和概率之間的聯(lián)系，進(jìn)而驗證了信息量的定義公式；最后，通過2幅笑臉圖片的對比，給出了平均信息量的推導(dǎo)過程。

1 信息的內(nèi)涵

信息[1](Information)，它在信息科學(xué)中的準(zhǔn)確定義為消息中的有效內(nèi)容。那么什么是消息呢？消息是信息的外在表現(xiàn)形式，它可以是一段語言、一篇文字、一組數(shù)據(jù)或是一張圖片、一段視頻等等。日常生活中接觸到的消息的表現(xiàn)形式是多種多樣的，而接收消息的最終目的就是通過消息來獲取某些內(nèi)在的東西，這些內(nèi)在的東西就是消息中的有效內(nèi)容 —— 信息。

以信件為例 。信件是日常生活中常見的事物。當(dāng)我們收到一封信件的時候，就可以說收到了一個消息。在收到這份信的一瞬間我們并沒有立刻獲知信的內(nèi)容，也可以說沒有獲得新的信息。只有當(dāng)收信方打開信封閱讀信紙上的字后才能知道信的內(nèi)容，信紙上的字所表述的內(nèi)容就是我們所說的信息。

假設(shè)寫信人放錯了信紙，把胡亂畫了幾筆的草稿紙放入信封，那么收信方打開信封閱讀后其實沒有獲得任何有用的東西，也就意味著沒有獲得任何信息。

因此，只有消息中的有效內(nèi)容才是通信雙方所期盼的信息。隨著信息技術(shù)的發(fā)展，消息的表現(xiàn)形式日新月異，如QQ、微信、微博、手機(jī)短信等都是消息，而它們所蘊(yùn)含的內(nèi)容就是我們所說的信息。

2 信息量的計算分析

2.1 概率和信息量的聯(lián)系

天氣預(yù)報是人們在生產(chǎn)生活中經(jīng)常接觸到的事件。而在天氣預(yù)報中經(jīng)常有類似的描述方式“某某地方明天有50%的概率會下雨”。這樣的描述方式會使得相當(dāng)一部分人產(chǎn)生困惑。在人們的理解中明天只有下雨和不下雨這2種可能，而50%的概率會下雨這樣一半對一半的概率似乎沒有給人任何更多有用的信息。但是同樣是50%的下雨概率發(fā)生在多雨的南方地區(qū)和發(fā)生在西北干旱地區(qū)，顯然會給我們不一樣的感受。因此，事件發(fā)生概率的大小對人們獲取信息量多少的影響是真實存在的。

以圖1為例。圖1(a)反映的是一個真實的事件。在山西太原入夏以后的某天一位衣著單薄的大學(xué)生通宵上網(wǎng)，早晨離開網(wǎng)吧發(fā)現(xiàn)室外下了厚厚的一層雪。

圖1(b)采集于新年，寒冬里的第1場雪使市內(nèi)繁忙的交通堵塞。

圖1 下雪場景對比

當(dāng)這2幅圖片呈現(xiàn)在學(xué)生面前時，幾乎所有的目光都停留在圖1(a)上。為什么會有這樣的現(xiàn)象？大家知道寒冬飄雪是非常大概率和尋常的事情，發(fā)生后人們不會覺得意外；而“六月飛雪”卻是非常小概率的事件，一旦這樣小概率的事件發(fā)生后會帶給人們極大的震撼和意外，所以大家都把目光聚集在圖1(a)上。

所謂給人們的震撼或意外，其本質(zhì)是小概率事情發(fā)生后會給人們更多的信息量，而大概率的事情給人們帶來的信息量很少，百分之百會發(fā)生的事情不會給人們帶來一絲意外。比如告訴學(xué)生們國慶節(jié)會放假，不會有任何同學(xué)覺得意外和驚喜；相反，如果告訴同學(xué)們國慶節(jié)放假半個月，那么肯定會贏得歡呼。

由此可見，信息量的大小和發(fā)生概率之間有密切的關(guān)聯(lián)。小概率事情信息量大，大概率事件信息量小，概率為100%的事件信息量為0。

2.2 信息量的度量

通過分析可知，概率越小的事件發(fā)生后越讓人吃驚、意外，由此獲得的信息量就越大[2-3]。因而信息量和概率之間的關(guān)系是：(1) 概率小信息量大，概率大信息量??；(2) 概率為1時信息量為0，概率為0時信息量為無窮大；(3) 2個獨(dú)立事件構(gòu)成的消息，其信息量等于二者之和。

關(guān)于信息量與概率間的關(guān)系中的第3點(diǎn)的解釋。假設(shè)有2個事件：事件A，在安徽有彩民小瑞中了雙色球彩票，其中獎概率為PA；事件B，山西有彩民小鵬中了大樂透彩票，其中獎概率為PB；小瑞中獎和小鵬中獎這兩件事情之間本身是沒有任何聯(lián)系的，我們稱之為相互獨(dú)立的事件。若信息量I和概率P之間可以用公式I=f(P)來表述。那么，事件A的信息量IA=f(PA)，事件B的信息量IB=f(PB)。假設(shè)，事件A和事件B同時發(fā)生，記作事件A&B，那么事件A&B發(fā)生的概率PA&B=PA·PB；事件A&B的信息量IA&B=IA+IB[4]。

在自然科學(xué)中人們往往對輸入和輸出間的關(guān)系進(jìn)行統(tǒng)計，并找出其中的規(guī)律，然后通過分析規(guī)律來嘗試建立輸入和輸出之間的數(shù)學(xué)表達(dá)式。通過信息量和概率之間的關(guān)系論證后，發(fā)現(xiàn)信息量和概率之間滿足對數(shù)關(guān)系。在圖2中， 當(dāng)x在區(qū)間[0，1]內(nèi)時，y值隨著x的增大而遞減。當(dāng)x=0時，y無窮大；x=1時，y取值為0；且滿足y=-logax(a>1)。

圖2 對數(shù)函數(shù)曲線

此時：ya=-logaxa；yb=-logaxb

ya&b=-logaxa·xb=-logaxa-logaxb=ya+yb

由此可見，概率和信息量之間的計算關(guān)系可以由某些對數(shù)函數(shù)來表示。

1928年，R．V．L．哈特萊提出了信息定量化的初步設(shè)想，他將符號可能的取值個數(shù)M的對數(shù)定義為信息量，即I=log2M；1948年，香農(nóng)指出信號源給出的符號是隨機(jī)的，信號源的信息量應(yīng)是概率的函數(shù)，即I=-log2P。

因此，香農(nóng)對信息量的定義公式與我們對信息量計算的驗證過程一致。

某個事件X的發(fā)生概率為P(x)[5]，則接收X獲得的信息量I(x)為

2.3 平均信息量的計算

在數(shù)字信號中，其本質(zhì)是用多個不同的碼元符號組成的碼元序列來傳遞不同的信息。那么平均信息量是如何進(jìn)行計算的？我們通過如下例子來進(jìn)行推演論證。

假設(shè)有M種碼元，當(dāng)碼元序列的總數(shù)為n個時，總的信息量值I為多少？

可以將每種碼元的總數(shù)計算出來，然后乘以一個碼元的信息量，得到碼元序列中這種碼元總的信息量。利用同樣的方法分別將各種碼元的信息量進(jìn)行計算，最后進(jìn)行累加，得到總的信息量。

在得到碼元序列的總信息量I總后，用總的信息量除以總數(shù)n即得到平均信息量I平均：

以圖3的2張笑臉來說明平均信息量的現(xiàn)實意義。

圖3 2張相同尺寸的“笑臉”

圖3描述的是2張笑臉的圖片。2張圖尺寸相同，即像素點(diǎn)個數(shù)相同。圖3(a)是二進(jìn)制黑白圖片，圖3(b)是灰度圖片。對比發(fā)現(xiàn)，圖3(b)大小為54.6 KiB，圖3(a)大小為6.2 KiB。同樣尺寸的照片為什么會有如此之大的差別？其本質(zhì)就是2幅圖片的最小單位像素點(diǎn)的平均信息量不一樣。黑白圖片每個像素點(diǎn)的取值概率都是12，而灰度圖片的像素點(diǎn)的取某個值的概率要小于12，因此相比之下黑白圖片的單個像素的信息量低于灰度圖片，所以相同尺寸情況下灰度圖片圖3(b)的數(shù)據(jù)量大于圖3(a)圖片的。

3 結(jié) 語

指出了消息的多種表現(xiàn)形式，并結(jié)合生活中概率與信息量獲取間的關(guān)系，以實際生活中類似例子進(jìn)一步闡明了信息的概念；通過分層次地計算單個碼元信息量、某種碼元總信息量和所有碼元信息量，得到最終的平均信息量；最后，通過實例簡明地闡述了平均信息量的現(xiàn)實意義。

[1] 余重秀.信息及其度量[J].大學(xué)物理，1997，16(5)：28-31.

[2] 樊昌信，曹麗娜.通信原理[M].北京：國防工業(yè)出版社，2006：10-12.

[3] 曹麗娜.現(xiàn)代通信原理與技術(shù)[M].西安：西安電子科技大學(xué)出版社，2002：25-57.

[4] 沈希忠.信息論與編碼教學(xué)改革[J].中國科教創(chuàng)新導(dǎo)刊，2012(11)：186-187.

[5] 劉剛，郭漪.探究式教學(xué)在《信息論與編碼理論》課程的實踐與探索[J].Creative Education Studies，2015，3(2)：42.

Research on Information and Its Measurement

SHENHaiyang1LILin2

(1. College of Mechanical and Electronic Engineering, Chaohu University, Hefei 238000, China;2. College of Electronic Information Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100000, China)

Based on deep analysis of the meaning and nature of information, the internal relations between the size and the incident probability are revealed through comparison of "snow in June" and "winter snow" cases. The calculation formula of the average amount of information is deduced through the statistical average method. Mean value of information is also studied based on the volume of pictures.

information; message; information content

2016-10-08

合肥市軟科學(xué)研究項目“信息技術(shù)在環(huán)巢湖旅游產(chǎn)業(yè)中的應(yīng)用研究”(2015-13)

申海洋(1984 — )，男，碩士，助教，研究方向為信號處理。

TP751； G201

A

1673-1980(2017)01-0089-03