“信息論基礎(chǔ)”實驗課程方案的設(shè)計

[摘 要] “信息論基礎(chǔ)”是信息與計算科學(xué)專業(yè)的必修課，5G通信理論的核心就是信息論的信道編碼理論。信息論是一門與最優(yōu)化方法、概率統(tǒng)計和隨機過程等密切相關(guān)的學(xué)科，既有很強的理論性，數(shù)學(xué)證明復(fù)雜，又有很強的應(yīng)用性，與通信技術(shù)聯(lián)系緊密，要求學(xué)生具備較高的數(shù)學(xué)思維能力和較強的編程實踐能力，對教師和學(xué)生都是一個挑戰(zhàn)。但若只有理論講授、定理證明等，又會枯燥無趣、難以理解。所以在理論講授的同時增加實驗課程，既能增加學(xué)生的學(xué)習(xí)興趣，又能加深對課堂講授知識的理解。實驗教學(xué)是該課程整個教學(xué)過程中不可或缺的重要組成部分，搞好實驗教學(xué)有助于提高教學(xué)質(zhì)量，加深學(xué)生對所學(xué)知識的理解。要激發(fā)學(xué)生對編程的興趣，學(xué)生在程序設(shè)計中， 提高了編程能力，設(shè)計的程序各有特色。通過學(xué)生的反饋意見可以看出，通過實驗課程能夠極大地調(diào)動學(xué)生的想象力，加深對理論知識的理解，提升學(xué)生的知識與技能。

[關(guān)鍵詞] 信息論;5G;實驗教學(xué)

[基金項目] 2019年度遼寧省教育廳項目“染色質(zhì)三維結(jié)構(gòu)預(yù)測中的數(shù)學(xué)方法研究”（JDL2019032）;2019年度大連交通大學(xué)研究生教改項目“數(shù)學(xué)+工科交叉學(xué)科建設(shè)”（2019-46）

[作者簡介] 劉立偉（1980—），男，博士，遼寧大連人，大連交通大學(xué)理學(xué)院副教授，主要從事數(shù)據(jù)挖掘、生物信息學(xué)研究。

[中圖分類號] G642.0? ?[文獻標(biāo)識碼] A? ?[文章編號] 1674-9324（2021）47-0126-04? ? [收稿日期] 2021-09-09

一、引言

“信息論基礎(chǔ)”是信息與計算科學(xué)、電子信息工程、通信工程等專業(yè)必修的專業(yè)基礎(chǔ)課程，主要內(nèi)容有：隨機變量與隨機過程的信息度量、數(shù)據(jù)壓縮與無失真信源編碼、數(shù)據(jù)可靠傳輸和信道編碼、限失真信源編碼和率失真函數(shù)[1]?！靶畔⒄摶A(chǔ)”本身是一門理論和實際緊密相連的課程，也是一門跨學(xué)科的重要課程，涉及數(shù)學(xué)、通信、計算機科學(xué)等學(xué)科領(lǐng)域，關(guān)于這門課程教育教學(xué)方法的探討已有很多[2-5]。

“信息論基礎(chǔ)”是一門既與高等數(shù)學(xué)、線性代數(shù)、最優(yōu)化方法、概率統(tǒng)計和隨機過程等數(shù)學(xué)課程密切相關(guān)，又與通信工程、計算機科學(xué)等實際應(yīng)用技術(shù)緊密聯(lián)系的課程。盡管“信息論基礎(chǔ)”課程在信息與計算機科學(xué)、電子信息、通信等專業(yè)中有著非常重要的地位，但是它的課程教學(xué)卻比較落后，學(xué)生普遍反映難學(xué)。它既有很強的理論性，數(shù)學(xué)證明復(fù)雜，又有很強的應(yīng)用性，與通信技術(shù)聯(lián)系緊密。這要求學(xué)生具備較高的數(shù)學(xué)思維能力和較強的編程實踐能力，這對教師和學(xué)生都是一個挑戰(zhàn)。

“信息論基礎(chǔ)”若只有理論講授、定理證明，必然會枯燥無味、難以理解;所以在理論講授的同時增加實驗課程，既能增加學(xué)生的學(xué)習(xí)興趣，又能加深對課堂講授知識的理解。學(xué)好“信息論基礎(chǔ)”這門課程，并將其學(xué)以致用，實驗的設(shè)計是一個非常重要的環(huán)節(jié)。實驗教學(xué)是“信息論基礎(chǔ)”課程非常重要的組成部分，搞好實驗教學(xué)，有助于提高教學(xué)質(zhì)量，鞏固學(xué)生對所學(xué)知識的理解[6，7]。不同于物理實驗，“信息論基礎(chǔ)”的實驗主要是通過計算機上機編程來實現(xiàn)信源編碼、信道編碼方案。

二、實驗教學(xué)方案

在進行課堂理論教學(xué)時，可以演示一些實驗結(jié)果，結(jié)合生活實例，培養(yǎng)學(xué)生的興趣，使學(xué)生對實驗教學(xué)知識點具有一定的了解，這樣等到學(xué)生動手實驗時就不會無所適從。選擇適用的實驗，學(xué)生通過實驗理解信息論的理論及其應(yīng)用，并提高編程能力。實驗課程的開設(shè)，是對課堂教學(xué)內(nèi)容的有益補充，特別能鍛煉學(xué)生嚴(yán)謹(jǐn)?shù)墓ぷ髯黠L(fēng)，提高學(xué)生的綜合分析和實際動手能力。

實驗教學(xué)方案設(shè)計思路：以信息論基礎(chǔ)核心內(nèi)容信息熵、信源編碼、信道編碼應(yīng)用為主要實驗課題，設(shè)計一系列實驗把信息論基礎(chǔ)眾多知識點串聯(lián)起來;依據(jù)信息熵、信源編碼、信道編碼的步驟安排實驗前后順序，進行完課堂教學(xué)馬上進行相應(yīng)的實驗教學(xué)。教師通過開發(fā)實驗課程講義、實驗指導(dǎo)書、微課、實驗平臺及教學(xué)大綱等，讓學(xué)生學(xué)會算法并將其加以應(yīng)用。教師對信息熵、信源編碼、信道編碼設(shè)計實驗，通過編程實驗，學(xué)生可以對信息熵、信源編碼、信道編碼進行模擬，教學(xué)相長。

（一）二進熵函數(shù)曲線繪制

人們常說這條消息所含信息很多，那條消息所含信息較少，那么信息如何度量？有人說用文字多少定義信息量，一部《史記》文言文和翻譯后的白話文所含信息是一樣的，但字?jǐn)?shù)差別很明顯，所以用文字多少定義信息量是不合適的。直到1948年，信息論之父香農(nóng)提出了信息熵的概念，用它來度量信息。信息熵是信息論研究的基礎(chǔ)。

二進熵函數(shù)曲線繪制的實驗步驟[8]是：（1）理解熵的計算公式;（2）由數(shù)據(jù)計算熵;（3）繪圖。通過二進熵函數(shù)曲線繪制的實驗，學(xué)生可以形象地理解信息熵的性質(zhì)，例如熵函數(shù)的單調(diào)性，熵在什么情況下最大、什么情況下最小等。通過實驗，學(xué)生能夠熟練地進行熵函數(shù)的計算。

（二）利用Huffman編譯碼實現(xiàn)數(shù)字圖像數(shù)據(jù)的壓縮

Huffman編碼是消除編碼冗余最常用的技術(shù)。它是一種可變長的前綴碼。1950年，Huffman在MIT學(xué)習(xí)。Robert Fano教授給學(xué)生布置了一個作業(yè)：找到最優(yōu)的二進制編碼。這個作業(yè)促使Huffman編碼的誕生。Huffman編碼是學(xué)生接觸的第一個信源編碼方法，也是非常重要的信源編碼方法。計算機算法大師高德納（Donald E.Knuth）曾說過，Huffman編譯碼是一個計算機科學(xué)和數(shù)據(jù)通信領(lǐng)域一直在使用的基本想法。由此可見Huffman編譯碼的應(yīng)用非常廣泛，像我們平時用的ZIP和RAR壓縮文件、聽歌的MP3、高清電視等，里面都用到Huffman編碼。當(dāng)對信源符號逐個編碼時，Huffman編碼能給出最短的平均碼長。Huffman編碼與人們的生活和工作緊密相連，被廣泛應(yīng)用到數(shù)字圖像處理等各個領(lǐng)域。這里設(shè)計Huffman編譯碼實現(xiàn)數(shù)字圖像數(shù)據(jù)的壓縮方案。

利用Huffman編譯碼的實驗步驟[8]是：（1）將數(shù)字圖像轉(zhuǎn)化成灰度符號文集;（2）用Huffman算法編寫壓縮程序并對上述文件進行壓縮;（3）編寫解壓縮程序以驗證壓縮程序是否正確;（4）統(tǒng)計計算數(shù)據(jù)壓縮率。算法以Matlab為主要編程工具[9]，當(dāng)然C（或C++）也可以。通過上機實驗完成數(shù)字圖像的壓縮與恢復(fù)，加強學(xué)生對Huffman編譯碼理解與應(yīng)用。進一步介紹Huffman編碼的發(fā)現(xiàn)過程，激發(fā)學(xué)生對科研的興趣。另外，圖像處理是當(dāng)前非常熱門的研究方向，教師可以進一步介紹常見的數(shù)字圖像處理技術(shù)及其他圖像編碼技術(shù)。學(xué)生學(xué)以致用，自然會對學(xué)習(xí)信息論產(chǎn)生濃厚興趣。

（三）利用LZW編碼實現(xiàn)生物序列數(shù)據(jù)的壓縮

LZ（Lempel-Ziv）算法是兩個猶太人J.Ziv和A.Lempel于1977年提出的，他們描述的算法被后人稱為LZ77算法。1984年，Terry Welch發(fā)表論文描述了他在Sperry研究中心的研究成果，實質(zhì)上是對LZ算法的一個改進，也就是后來非常有名的LZW算法。

應(yīng)用LZW算法可以對線性序列數(shù)據(jù)進行壓縮。在眾多的線性序列中，生物序列數(shù)據(jù)長度較長，數(shù)據(jù)量大，是典型的“大數(shù)據(jù)”。利用數(shù)據(jù)壓縮算法對生物序列數(shù)據(jù)進行壓縮是存儲和分析生物數(shù)據(jù)的重要手段。LZW編碼屬于通用編碼，它不像Huffman編碼需要概率等先驗知識，而是基于字典的壓縮算法。

利用LZW編碼的實驗步驟[8]是：（1）對生物序列數(shù)據(jù)進行預(yù)處理;（2）用LZW算法編寫壓縮（編碼）程序并對上述文件進行壓縮;（3）編寫解壓縮（譯碼）程序以驗證壓縮程序是否正確;（4）統(tǒng)計計算數(shù)據(jù)壓縮率。對生物序列的壓縮工作屬于生物信息學(xué)范疇。生物信息學(xué)是綜合利用數(shù)學(xué)、信息科學(xué)來揭示大量而復(fù)雜的生物數(shù)據(jù)所賦有的生物學(xué)奧秘。生物信息學(xué)的研究目標(biāo)是生物數(shù)據(jù)，使用的工具方法是數(shù)學(xué)、計算機，主要進行基于數(shù)學(xué)、信息科學(xué)基礎(chǔ)理論研究。通過上述實驗，學(xué)生不僅掌握了編碼技術(shù)，而且也對生物信息學(xué)這樣的交叉學(xué)科有所了解，開闊了眼界。

（四）限失真信源編碼

在一般的數(shù)字圖像、音頻、視頻信號中，即使有一定的誤差也并不影響人的視覺、聽覺感受;因此可以近似地還原消息，也就是允許一定的失真存在，這種情況下的編碼就可以采用限失真信源編碼。數(shù)字圖像的數(shù)據(jù)壓縮就可以采用限失真信源編碼。

應(yīng)用JPEG算法思想進行數(shù)字圖像壓縮的實驗步驟[8]是：（1）使用JPEG算法編寫程序，對圖像文件進行壓縮;（2）編寫解壓縮程序，計算圖像文件壓縮前后的大小;（3）使用不同參數(shù)，計算圖像文件壓縮前后的大小;（4）統(tǒng)計計算數(shù)據(jù)壓縮率。限失真信源編碼是信息論的一個難點，應(yīng)用也非常廣泛。雖然壓縮后圖像有些損失，但所損失的部分對理解原始圖像的影響很小，換來的卻是大得多的壓縮率。圖像文件畫質(zhì)沒有明顯下降，但文件的大小卻得到了明顯壓縮，有利于文件傳輸和存儲。通過上述實驗，學(xué)生實際感受了圖像壓縮的效果，對限失真信源編碼的應(yīng)用擁有了感性認(rèn)識，增強了進一步學(xué)習(xí)的動力。

（五）信道編碼

通信是要把信息從一方準(zhǔn)確可靠地傳送到另一方。因為移動通信過程中不可避免存在噪聲和干擾，信號在傳輸過程中會以一定概率出現(xiàn)差錯，所以對信道傳輸要使用糾檢錯編碼技術(shù)，來加強信號在信道傳輸時的抗干擾能力。信道編碼的核心基礎(chǔ)是糾錯編碼理論[ 10 ]，是在信息碼后面附加上一些監(jiān)督碼，以便在接收端發(fā)現(xiàn)和糾正誤碼。通過編程實現(xiàn)線性分組碼，線性分組碼的編碼由監(jiān)督矩陣和生成矩陣實現(xiàn)。線性分組碼解碼時，前幾位碼字可以直接解出來，因而編解碼器的設(shè)計較為簡單。

（n，k）線性分組碼編碼實驗步驟是：（1）對信源序列進行預(yù)處理，轉(zhuǎn)化為k列;（2）如果序列不能被k整除在后邊補0使其能被k整除;（3）將由（2）得到的序列與生成矩陣G相乘即得到編碼后的碼字。

信道編碼是當(dāng)今通信領(lǐng)域的核心問題，5G技術(shù)核心就是信道編碼領(lǐng)域的極化碼。華為用了10年時間將土耳其數(shù)學(xué)家的一篇論文，從理論變成了技術(shù)和標(biāo)準(zhǔn)，讓5G時代提前到來。這里介紹的線性分組碼編碼實驗雖然是比較簡單的信道編碼，但學(xué)生可以通過簡單問題觸類旁通，對信道編碼技術(shù)形成初步的概念，既加深了對課本知識的理解，又了解了現(xiàn)代前沿通信技術(shù)，增強學(xué)習(xí)和探究未知領(lǐng)域的動力。

三、結(jié)論

總之，學(xué)生通過對信息論問題的上機實驗，可以發(fā)現(xiàn)數(shù)學(xué)知識在解決具體問題中的作用，發(fā)揮數(shù)學(xué)系學(xué)生的專業(yè)優(yōu)勢，并借此激發(fā)數(shù)學(xué)系學(xué)生學(xué)習(xí)信息論基礎(chǔ)的興趣。學(xué)生可以通過對實驗結(jié)果的分析討論和教師的講解，加深對所學(xué)知識的認(rèn)識和理解，有效提高課堂學(xué)習(xí)效率。對理論的認(rèn)識也可以從表面的感性認(rèn)識上升到更加深刻的理性認(rèn)識。通過編程實驗，學(xué)生可以使用軟件分析處理實際數(shù)據(jù)，解決實際問題，拓寬了學(xué)生的視野。學(xué)生可以運用現(xiàn)實數(shù)據(jù)來驗證已有的理論，同時也可能會發(fā)現(xiàn)理論與實際的不同，從而找出現(xiàn)實與理論之間的差異并分析和討論其原因，引導(dǎo)學(xué)生正確理解和認(rèn)識所學(xué)理論。感興趣的學(xué)生還可以在教師的指導(dǎo)下針對自己發(fā)現(xiàn)的問題進行更進一步的研究。

針對我校信息與計算科學(xué)+軟件專業(yè)學(xué)生的專業(yè)復(fù)合特色，發(fā)揮他們軟件編程能力較強的優(yōu)勢，指導(dǎo)學(xué)生自主設(shè)計實驗項目和編寫實驗程序，從而激發(fā)學(xué)生的積極性和創(chuàng)造力，培養(yǎng)學(xué)生的自主研究和學(xué)習(xí)能力，為學(xué)生將來工作和進一步深造夯實了基礎(chǔ)。

參考文獻

[1]葉中行.信息論基礎(chǔ)[M].3版.北京：高等教育出版社，2020.

[2]車書玲，孫蓉，劉剛.《信息論基礎(chǔ)》慕課和翻轉(zhuǎn)課堂相結(jié)合的教學(xué)探索[J].教育現(xiàn)代化，2020，7（9）：46-48.

[3]楊凱新，林海濤，周媛媛，等.軍隊院?；旌鲜浇虒W(xué)模式的探索與實踐——以“信息論基礎(chǔ)”課程為例[J].教育教學(xué)論壇，2021（28）：92-95.

[4]高麗娟，代健美，陳龍.《信道編碼》課程教學(xué)方法研究[J].教育現(xiàn)代化，2019，6（44）：174-176+186.

[5]陳婧，賈世祥.信息論與編碼課堂教學(xué)方法探索[J].高教學(xué)刊，2020（28）：122-124.

[6]張正言，田雨波，張冰.MATLAB在“信息論與編碼”實驗教學(xué)中的應(yīng)用[J].實驗室科學(xué)，2010（13）：109-112.

[7]姜楠.“信息論”課程本科教學(xué)探索與實踐[J].計算機教育，2007（24）：52-54.

[8]沈世鎰，吳忠華.信息論基礎(chǔ)與應(yīng)用[M].北京：高等教育出版社，2004.

[9]傅玉青.信息論與編碼技術(shù)實驗仿真平臺設(shè)計[J].福建師大福清分校學(xué)報，2017（2）：19-22.

[10]高麗娟，代健美，陳龍.《信道編碼》課程教學(xué)方法研究[J].教育現(xiàn)代化，2019，6（44）：174-176+186.