香農(nóng)：信息技術(shù)的鼻祖

2016年4月30日是Claude Elwood Shannon（克勞德·艾爾伍德·香農(nóng)）的100歲生日，他以數(shù)學(xué)為基礎(chǔ)研究信息論，現(xiàn)代計(jì)算機(jī)使用了他的比特和字節(jié)的定義。

事實(shí)上，Claude Elwood Shannon（香農(nóng)）沒有英國數(shù)學(xué)家Alan Turing（阿蘭·圖靈）和德國工程師Konrad Zuse（克蘭德·楚澤）在自然科學(xué)方面著名，美國人香農(nóng)是麻省理工學(xué)院的一名數(shù)學(xué)教授，當(dāng)時(shí)他比較孤僻，他喜歡一個(gè)人鉆進(jìn)一間屋子里鉆研電子修理，然而這對(duì)他的靈感產(chǎn)生了極其深遠(yuǎn)的影響。他最重要的論文是“A Mathematical Theory of Communication（通信的數(shù)學(xué)理論）”，該論文發(fā)表在1948年。在這篇論文中，香農(nóng)把通信的數(shù)學(xué)理論建立在概率論的基礎(chǔ)上，把通信的基本問題歸結(jié)為通信的一方能以一定的概率復(fù)現(xiàn)另一方發(fā)出的消息，并針對(duì)這一基本問題對(duì)信息作了定量描述。

令人驚奇的是，他的基本信息規(guī)則體系與熱力學(xué)規(guī)則有很大的相似性，即熵的概念。熵（entropy）指的是體系的混亂程度，它在控制論、概率論、數(shù)論、天體物理、生命科學(xué)等領(lǐng)域都有重要應(yīng)用，在不同的學(xué)科中也有引申出的更為具體的定義，是各領(lǐng)域十分重要的參量。在19世紀(jì)，奧地利物理學(xué)家Ludwig Boltzmann（路德維希·玻爾茲曼）已經(jīng)將熵定義為一種條件概率的度量方法，氣體遍布整個(gè)可用空間的可能性更高，也就是具有更高的熵。另一方面，香農(nóng)第一次將熵的概念引入到他的信息論中來，在他的通信數(shù)學(xué)模型中提出信息的度量問題，他得到了著名的計(jì)算信息熵的公式，計(jì)算出來的信息熵就以比特（bit）為單位。

比特是常用的一個(gè)信息量的度量單位，為信息量的最小單位，這也可以追溯到香農(nóng)的定義。比特?cái)?shù)越高，信息量越大。如果一個(gè)信息塊具有多出的比特?cái)?shù)，那么它就包含了一定數(shù)量的冗余，這引出了計(jì)算機(jī)領(lǐng)域中的一個(gè)應(yīng)用，即冗余校驗(yàn)，冗余校驗(yàn)主要用來檢測(cè)或校驗(yàn)數(shù)據(jù)傳輸或者保存在DVD上的數(shù)據(jù)可能出現(xiàn)的錯(cuò)誤。

香農(nóng)還在他熟悉的信息相關(guān)領(lǐng)域做了很多其他方面的基礎(chǔ)工作，并在數(shù)字技術(shù)領(lǐng)域開展了很多類似的工作——當(dāng)然也有另外的一些專家在為此做出努力。因此，計(jì)算機(jī)技術(shù)在20世紀(jì)50年代得以迅速發(fā)展。