信息論與應(yīng)用數(shù)學(xué)關(guān)聯(lián)教學(xué)法研究

劉宴濤 秦娜 朱向慶

摘? 要：信息論是電子信息工程和通信工程的專業(yè)課，以香農(nóng)信息論和編碼學(xué)為主要教學(xué)內(nèi)容?，F(xiàn)行的信息論教學(xué)凸顯出孤立封閉教學(xué)的問題，缺少與其他學(xué)科和課程的知識關(guān)聯(lián)，不利于拓展知識的廣度和深度。為此，提出一種信息論與應(yīng)用數(shù)學(xué)的關(guān)聯(lián)教學(xué)法，重點在于設(shè)計關(guān)聯(lián)案例，給出三個教學(xué)案例解釋關(guān)聯(lián)案例的設(shè)計過程。教學(xué)實踐證明該方法有助于學(xué)生理清學(xué)科知識的內(nèi)在聯(lián)系，建立立體化網(wǎng)狀知識體系。

關(guān)鍵詞：信息論;關(guān)聯(lián)教學(xué)法;應(yīng)用數(shù)學(xué);概率論;線性代數(shù);近世代數(shù)

中圖分類號：G642? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? 文章編號：2096-000X（2023）31-0115-04

Abstract： Information Theory is a specialty course for the majors of electronic information engineering and communication engineering. It takes classical Shannon information theory and coding as main contents. Present teaching activity of Information Theory exposed the problem of isolated closed teaching， which is deficient of knowledge correlation to other disciplines and courses， thence is lack of breadth and depth of knowledge. To solve this problem， this paper proposed a correlative teaching method for Information Theory and applied mathematics， which emphasized designing teaching cases. Three teaching cases are given to illustrate the designing procedure of correlative teaching. Teaching practices show that the method helps students figure out the inner connection of disciplines and knowledge， as well as build a solid mesh knowledge system.

Keywords： Information Theory; correlative teaching; applied mathematics; probability theory; linear algebra; modern algebra

信息論是通信工程、電子信息工程等相關(guān)專業(yè)的專業(yè)核心課，其重要性可以和信號與系統(tǒng)以及通信原理等課程相比擬。以通信工程專業(yè)為例，該專業(yè)是非常典型的工科專業(yè)，具有鮮明的理論與實踐相結(jié)合、硬件與軟件相結(jié)合的特點。圖1給出了該專業(yè)本科生培養(yǎng)的課程架構(gòu)和知識地圖，把本科階段所學(xué)的課程分為硬件課程、軟件課程和理論課程，從知識層次上看，下層課程是上層課程的基礎(chǔ)和先修課，對上層課程起到支撐作用。另外，通信專業(yè)本科生的就業(yè)方向大致可以分為硬件工程師、軟件工程師和系統(tǒng)工程師，三類人才在課程選取和修習(xí)上對圖1所示的課程各有側(cè)重。然而，無論是哪種人才培養(yǎng)方向和目標(biāo)，通信工程專業(yè)的學(xué)生都要打下堅實的理論基礎(chǔ)，尤其是應(yīng)用數(shù)學(xué)基礎(chǔ)。由圖1可見，高等數(shù)學(xué)、線性代數(shù)和概率論三門數(shù)學(xué)課對專業(yè)課的學(xué)習(xí)具有強(qiáng)支撐作用，學(xué)生在低年級如果沒有掌握基本的微積分計算和矩陣運(yùn)算，不理解概率的基本概念，那么在高年級將很難學(xué)習(xí)和透徹理解信號與系統(tǒng)、通信原理、信息論等專業(yè)課程的思想和精髓。因此，對于工科專業(yè)的本科教學(xué)應(yīng)該大力提倡專業(yè)知識和數(shù)學(xué)知識的關(guān)聯(lián)教學(xué)。

信息論在圖1中處于中間位置，對本科生知識體系的構(gòu)建起到承上啟下的作用，其地位和信號與系統(tǒng)及通信原理等課程同等重要。但是從課程特點上看，信息論比這些課程更抽象[1]，信號與系統(tǒng)、通信原理中涉及的概念或技術(shù)往往非常具體，比如波形和頻譜都是可觀測的，采樣、量化、調(diào)制和解調(diào)等技術(shù)也都很直觀和具象。從數(shù)學(xué)工具上看，微積分、線性代數(shù)和概率論中比較簡單的數(shù)學(xué)運(yùn)算對于學(xué)習(xí)和理解這些課程已經(jīng)足夠。然而，信息論中的概念往往非常抽象，比如至今尚無法給出對于“信息”的完美的或者公理化的定義，熵和互信息等都是看不見摸不著的抽象量。此外，信息論具有與應(yīng)用數(shù)學(xué)緊密結(jié)合的特點，比如漸進(jìn)等分割性的證明需要用到概率極限理論，信道編碼和網(wǎng)絡(luò)編碼又需要具備有限域等近世代數(shù)的數(shù)學(xué)基礎(chǔ)，這些都是本科生學(xué)得比較差甚至是沒有學(xué)習(xí)過的內(nèi)容，對有效地學(xué)習(xí)信息論構(gòu)成了巨大障礙。

盡管抽象難懂，但信息論對于信息技術(shù)相關(guān)學(xué)科和相關(guān)專業(yè)的知識體系的構(gòu)建卻是至關(guān)重要的。信息論是信息科學(xué)的奠基石，熵和信道容量等概念從認(rèn)識論的層面上幫助學(xué)生透過現(xiàn)象看本質(zhì)，揭示了信息的根本特征和通信的關(guān)鍵問題，信源編碼和信道編碼則從方法論的層面上幫助學(xué)生理解如何提高通信的有效性和可靠性，直接服務(wù)于工程應(yīng)用。因此，學(xué)習(xí)信息論，了解其基本概念和理論，建立信息論的思維和視角對于通信和電子信息等專業(yè)的學(xué)生和從業(yè)者是非常必要的。

一? 信息論的教學(xué)現(xiàn)狀分析

目前國內(nèi)高校的信息論課程有些開設(shè)在本科階段，有些開設(shè)在碩士研究生階段，課程和教材內(nèi)容大多是以經(jīng)典香農(nóng)信息論為主，也有一些涉及現(xiàn)代網(wǎng)絡(luò)信息論[1]。近年來，教學(xué)工作者一直對信息論課程進(jìn)行改革探索。陳燕[2]基于問題引導(dǎo)思路探討了信息論課程的混合教學(xué)方法和多維評價體系。劉建剛等[3]從5G移動通信的角度，探討了信息論與應(yīng)用數(shù)學(xué)課程的內(nèi)在聯(lián)系。黃英等[4]基于此課程探討了研究生教學(xué)中課程思政的可行路徑。孫兵等[5]以平均互信息量的知識點教學(xué)為例，幫助學(xué)生體會信息的涵義。龐宏[6]從該課程的內(nèi)容、方法、思政三方面論述了教學(xué)改革思路。楊樹偉[7]探索了如何在信息論課程中兼顧理論教學(xué)和提高學(xué)生動手實踐、解決問題的能力的思路。周蘿魚[8]提出了一種基于任務(wù)驅(qū)動的信息論與編碼的教學(xué)方法。陳婧等[9]針對此課程給出了關(guān)于教學(xué)內(nèi)容、方法、師資、考試的一攬子改革方案。車書玲等[10]探索了MOOC和翻轉(zhuǎn)課堂在信息論教學(xué)中的應(yīng)用。林愿等[11]基于CDIO（Conceive-Design-Inplement-Operate）理念對該課程合理選擇教學(xué)內(nèi)容，改進(jìn)教學(xué)方法，提出了改革思路。李如瑋等[12]針對信息論的課程特點在教學(xué)過程中引入OBE（Outcome Based Education）理念，采用基于問題的教學(xué)方法并在考核方式中引入過程性評價。

盡管上述研究對信息論教學(xué)從不同角度給予了改進(jìn)，但分析該課程的特點和教學(xué)現(xiàn)狀并結(jié)合教學(xué)實踐可以發(fā)現(xiàn)，信息論課程在教學(xué)大綱制訂和教學(xué)實施過程中仍然凸顯的問題是封閉孤立式教學(xué)，缺少與其他課程和知識的關(guān)聯(lián)教學(xué)。目前本科教育的現(xiàn)狀是各個專業(yè)之間、各門課程之間存在嚴(yán)重的藩籬，課程體系表現(xiàn)出明顯的“煙囪效應(yīng)”，即各門課程孤立封閉地按照本門課程的教學(xué)大綱進(jìn)行授課，課程之間存在嚴(yán)重的藩籬隔閡。

這一問題在信息論教學(xué)中尤其凸顯，現(xiàn)行的信息論教學(xué)只講授本課程的內(nèi)容，缺少與其他課程、理論、技術(shù)、行業(yè)的關(guān)聯(lián)。事實上，信息論是20世紀(jì)初隨著通信由模擬技術(shù)向數(shù)字技術(shù)轉(zhuǎn)變而建立的，在這個過程中隨著人們越來越從統(tǒng)計科學(xué)的視角看待通信工程，越來越應(yīng)用概率統(tǒng)計、隨機(jī)過程的方法建模和分析通信問題，需要建立一套關(guān)于信息的統(tǒng)計理論。在這個背景下，香農(nóng)應(yīng)用概率論的思想和方法構(gòu)建了信息論大廈。此外，信息論和編碼學(xué)與隨機(jī)過程、線性代數(shù)、近世代數(shù)等應(yīng)用數(shù)學(xué)分支有著千絲萬縷的聯(lián)系，無論是教學(xué)還是科研工作都不能把信息論和應(yīng)用數(shù)學(xué)割裂開來，也不應(yīng)該把信息論孤立封閉在自己的學(xué)科體系內(nèi)。高等教育好的教學(xué)內(nèi)容組織方式應(yīng)該是幫助學(xué)生建立一張立體化網(wǎng)狀的知識地圖，而不是各門課程孤立存在的“煙囪式”的知識體系。為此應(yīng)加強(qiáng)信息論與應(yīng)用數(shù)學(xué)的關(guān)聯(lián)教學(xué)，提高學(xué)生的綜合素質(zhì)。

二? 信息論與應(yīng)用數(shù)學(xué)的關(guān)聯(lián)教學(xué)法

信息論與應(yīng)用數(shù)學(xué)具有千絲萬縷的聯(lián)系，為了促進(jìn)兩者的交叉融合，拓展知識的廣度和深度，提高學(xué)生的綜合素質(zhì)，建立完善的知識體系，本文提出了一種信息論和應(yīng)用數(shù)學(xué)的關(guān)聯(lián)教學(xué)法，其主要內(nèi)容包括設(shè)計信息論與應(yīng)用數(shù)學(xué)的關(guān)聯(lián)案例，建立關(guān)聯(lián)案例集，進(jìn)行關(guān)聯(lián)教學(xué)。

首先，關(guān)聯(lián)教學(xué)法的核心是發(fā)掘和設(shè)計信息論和應(yīng)用數(shù)學(xué)之間的關(guān)聯(lián)案例。這需要授課教師具有豐富的教學(xué)經(jīng)驗和廣闊的專業(yè)知識，必須對專業(yè)知識體系非常熟悉，能找到關(guān)聯(lián)案例的切入點，并準(zhǔn)確洞悉學(xué)生的迷茫困惑所在。

其次，匯總關(guān)聯(lián)案例，建立關(guān)聯(lián)案例集，并對其進(jìn)行持續(xù)滾動更新。這是一項長期工作。教師應(yīng)該秉持發(fā)展的理念，在自己的教學(xué)和科研工作中發(fā)現(xiàn)和發(fā)掘新的案例，通過學(xué)生的理解程度和課堂反饋隨時優(yōu)化和更新老的案例。

最后，應(yīng)用關(guān)聯(lián)案例進(jìn)行實踐教學(xué)。教學(xué)形式可以非常靈活，不必拘泥于課堂教學(xué)，可以采用論壇、講座、培訓(xùn)班、頭腦風(fēng)暴和Case Study等多種靈活的教學(xué)方式，而且教學(xué)地點也不必限于教室，可以在實驗室、會議室甚至是草坪或餐廳，這種靈活甚至是松散的學(xué)習(xí)方式更能激發(fā)學(xué)生的發(fā)散思維和學(xué)習(xí)興趣，更適用于臨時性的、非系統(tǒng)教學(xué)的、以啟發(fā)興趣和發(fā)現(xiàn)問題為主要目的的學(xué)習(xí)。

為了解釋和演示關(guān)聯(lián)教學(xué)法的實施過程，下節(jié)將通過三個關(guān)聯(lián)案例來說明如何在信息論和應(yīng)用數(shù)學(xué)之間建立關(guān)聯(lián)。

三? 關(guān)聯(lián)案例

（一）? 信息論與概率論相關(guān)聯(lián)

在應(yīng)用數(shù)學(xué)的各個分支中，概率論與信息論具有天然的密切聯(lián)系，事實上香農(nóng)信息論就是建立在概率論基礎(chǔ)之上的，因此有必要在信息論教學(xué)過程中凸顯概率論元素。下面以離散熵的概念為例闡釋信息論與概率論的關(guān)聯(lián)。

在信息論中，離散信源被定義為如下離散隨機(jī)變量X，其取值個數(shù)可以有限或無限（即n=∞）

為了度量X蘊(yùn)含的信息量，首先定義X取某個具體取值（比如ai）的信息量如下

I（X=ai）=log

=-log[P（ai）]。

上式中對數(shù)如果取以2為底，則信息量的單位為bit（比特）。上式取P（ai）的倒數(shù)是符合直觀感覺的，即事件發(fā)生的概率越小，其蘊(yùn)含的信息量越大;上式取對數(shù)的原因在于信息對概率要滿足可加性，即兩個獨立事件ai和aj同時發(fā)生所蘊(yùn)含的信息量I（ai∩aj）應(yīng)該等于這兩個事件各自信息量的和I（ai）+I（aj），即

I（ai∩aj）=log

=log

=log

+log

=I（ai）+I（aj）。

進(jìn)一步，信源X的信息量被定義為a1到an的信息量的統(tǒng)計平均值（數(shù)學(xué)期望），把這個值稱為信源X的離散熵，記為H（X），即

H（X）=E[I（X=ai）]=-P（ai）logP（ai）。

可見，作為信息論核心概念的熵正是應(yīng)用概率的方法定義和度量的。不僅如此，信息論中還存在大量與概率論的關(guān)聯(lián)，比如漸進(jìn)等分割性與大數(shù)定律、信道矩陣與條件概率、譯碼準(zhǔn)則與平均錯誤概率，等等。教學(xué)過程中突出這些關(guān)聯(lián)能夠幫助學(xué)生尋根溯源，構(gòu)建立體化網(wǎng)狀的知識體系。

（二）? 信息論與線性代數(shù)相關(guān)聯(lián)

編碼學(xué)是信息論的重要組成部分，包括信源編碼、信道編碼和密碼在內(nèi)的各種編碼都離不開線性代數(shù)計算。

圖2示意了（n，k）線性分組碼的編譯碼流程，編碼是將一個k比特的二進(jìn)制信息序列u一一映射為一個n比特的碼序列v，v也被稱為許用碼字。這個映射過程是通過下式矩陣乘積完成的，其中G表示線性分組碼的生成矩陣。

v經(jīng)過信道傳輸后，在接收端收到一個n比特的碼序列r，由于噪聲的影響，接收碼字r和發(fā)送碼字v可能相同也可能不同，后者表示傳輸過程出現(xiàn)了錯誤。譯碼是將接收到的n比特碼序列r還原成信源發(fā)送的k比特序列u，此過程需要通過下式矩陣乘積計算伴隨式s，H表示線性分組碼的校驗矩陣。

譯碼器通過s來判斷傳輸過程是否發(fā)生了錯誤，如果s=0則表示沒有錯誤，即r=v，根據(jù)u和v的一一映射即可還原u;如果s≠0則表示出現(xiàn)了錯誤，即r≠v，此時需要通過概率計算估計與r最接近的v。

可見，信道編譯碼的核心是生成矩陣G和校驗矩陣H，是通過線性代數(shù)中矩陣運(yùn)算完成的。通過信息論與線性代數(shù)相關(guān)聯(lián)有助于幫助學(xué)生理解編碼的本質(zhì)屬性。

（三）? 信息論與近世代數(shù)相關(guān)聯(lián)

進(jìn)一步，編碼學(xué)的理論基礎(chǔ)是近世代數(shù)，尤其是有限域，這是一種建立在有限集合上能進(jìn)行加減乘除四則運(yùn)算的完備的代數(shù)系統(tǒng)。具體定義（有限域）：非空有限集合F中，定義了兩種代數(shù)運(yùn)算加法“+”和乘法“·”，如果滿足

1）F關(guān)于加法構(gòu)成交換群，其加法單位元記為0。

2）F中非零元素關(guān)于乘法構(gòu)成交換群，其乘法單位元記為1。

3）乘法對于加法分配律成立，即對于?a，b，c∈F，滿足

a·（b+c）=a·b+a·c，

（b+c）·a=b·a+c·a，

則稱集合F關(guān)于代數(shù)運(yùn)算“+”和“·”構(gòu)成一個有限域。任意元素a在加法下的逆元記作（-a），在乘法下的逆元記作（a-1）。

作為有限域的例子，{0，1，2，3，4，5，6}關(guān)于模7加和模7乘構(gòu)成有限域，加法表和乘法表如圖3所示，記該域為GF（7）。

推而廣之，對于任意的素數(shù)p，{0，1，…，p}關(guān)于模p加和模p乘都構(gòu)成有限域GF（p）。其中最有代表性的就是{0，1}關(guān)于模2加和模2乘構(gòu)成有限域GF（2），如圖4所示。這是數(shù)字通信的基礎(chǔ)。把信息論與有限域相關(guān)聯(lián)有助于幫助學(xué)生理解編碼學(xué)的數(shù)學(xué)基礎(chǔ)。

四? 結(jié)束語

現(xiàn)行的本科教育體系存在明顯的藩籬效應(yīng)，各個專業(yè)、各門課程只是孤立封閉地講授本專業(yè)、本課程的知識，缺少學(xué)科、專業(yè)和課程之間的交叉、融合、關(guān)聯(lián)。針對此問題，本文以信息論課程為例，探討了如何在信息論和應(yīng)用數(shù)學(xué)之間設(shè)計關(guān)聯(lián)案例進(jìn)行關(guān)聯(lián)教學(xué)。通過三個關(guān)聯(lián)案例演示了關(guān)聯(lián)教學(xué)法的思想和實施過程。教學(xué)實踐證明，關(guān)聯(lián)教學(xué)法有助于在學(xué)科之間、專業(yè)之間、課程之間形成助力，幫助學(xué)生理解知識的內(nèi)在聯(lián)系，知其然亦知其所以然，突破課程之間的藩籬，在學(xué)科之間、專業(yè)之間融會貫通，最終構(gòu)建立體化網(wǎng)狀的知識體系。

參考文獻(xiàn)：

[1] 劉宴濤，王雪冰，秦娜.信息論-經(jīng)典與現(xiàn)代[M].北京：電子工業(yè)出版社，2019.

[2] 陳燕.基于問題引導(dǎo)式的信息論與編碼課程“線上+線下”混合式教學(xué)探索[J].高教學(xué)刊，2022，8（24）：132-135.

[3] 劉建剛，胡桔洲.面向5G網(wǎng)絡(luò)的信息論與編碼課程教學(xué)探討[J].計算機(jī)時代，2019（11）：102-105.

[4] 黃英，雷菁，劉嚴(yán)，等.工科研究生課程思政改革實踐探索研究——以“信息論與編碼”課程為例[J].工業(yè)和信息化教育，2022（9）：53-56.

[5] 孫兵，李建楠，李景文，等.平均互信息量的案例式教學(xué)方法研究[J].電氣電子教學(xué)學(xué)報，2022，44（4）：78-81.

[6] 龐宏.信息論與編碼課程教學(xué)改革[J].西部素質(zhì)教育，2022，8（12）：128-130.

[7] 楊樹偉.信息論與編碼技術(shù)課程教學(xué)研究[J].濰坊學(xué)院學(xué)報，2022，22（2）：107-110.

[8] 周蘿魚.任務(wù)驅(qū)動下的信息論與編碼課程的教學(xué)實踐[J].大學(xué)教育，2018（9）：1028-110.

[9] 陳婧，鄒海林，張玉玲，等.信息論與編碼課程教學(xué)改革的探討與實踐[J].大學(xué)教育，2018（9）：99-101.

[10] 車書玲，孫蓉，劉剛.《信息論基礎(chǔ)》慕課和翻轉(zhuǎn)課堂相結(jié)合的教學(xué)探索[J].教育現(xiàn)代化，2020，7（9）：46-48.

[11] 林愿，周細(xì)鳳.基于CDIO理念的“信息論與編碼”課程的改革與實踐[J].科教文匯，2016（11）：54-55.

[12] 李如瑋，趙德群，黎海濤.本科生“信息論基礎(chǔ)”課程建設(shè)與教學(xué)改革探索[J].教育現(xiàn)代化，2019，6（82）：94-95.

基金項目：2023年度廣東省教育科學(xué)規(guī)劃課題（高等教育專項）“新工科電子信息類專業(yè)的關(guān)聯(lián)教學(xué)研究”（2023GXJK486）;2021年度廣東省本科高校高等教育教學(xué)改革項目“面向工程認(rèn)證的網(wǎng)絡(luò)信息工程相關(guān)新工科專業(yè)的應(yīng)用數(shù)學(xué)教育研究”（粵教高函[2021]29號）;2021年度廣東省高等學(xué)校教學(xué)管理學(xué)會課程思政建設(shè)項目“信息理論與編碼”（粵高校教管學(xué)會[2022]1號）;2022年度廣東省高等教育學(xué)會實驗室管理專業(yè)委員會基金項目“粗細(xì)顆粒度相結(jié)合的《計算機(jī)網(wǎng)絡(luò)》實驗教學(xué)方法”（GDJ20220290）;2020年度廣東省課程思政示范課堂項目“物聯(lián)網(wǎng)技術(shù)（傳感器網(wǎng)絡(luò)）”（粵教高函[2021]4號）;2022年度廣東省自然科學(xué)基金面上項目“基于網(wǎng)絡(luò)信息論的均勻分?jǐn)?shù)網(wǎng)絡(luò)容量域研究”（2022A1515011345）;2021年度廣東省普通高校特色創(chuàng)新項目“基于網(wǎng)絡(luò)編碼的云存儲編碼研究”（2021KTSCX124）;2023年度梅州市自組網(wǎng)與云計算工程技術(shù)研究中心（2023GC03）;2022年度梅州市社會發(fā)展科技計劃項目“基于OPNET的森林火險監(jiān)防傳感網(wǎng)和災(zāi)害救助應(yīng)急通信網(wǎng)仿真研究”（2022B110）;2022年度嘉應(yīng)學(xué)院課程思政示范課程項目“物聯(lián)網(wǎng)技術(shù)”（嘉院教[2022]48號）;2020年度嘉應(yīng)學(xué)院高等教育教學(xué)改革項目“網(wǎng)絡(luò)信息工程相關(guān)新工科專業(yè)的應(yīng)用數(shù)學(xué)教育研究”（JYJG20200102）;2022年度嘉應(yīng)學(xué)院高等教育教學(xué)改革項目“面向工程認(rèn)證的計算機(jī)網(wǎng)絡(luò)實驗教學(xué)體系”（JYJG2022222）;2021年度嘉應(yīng)學(xué)院質(zhì)量工程項目“計算機(jī)網(wǎng)絡(luò)”（嘉院教[2021]20號）;2023年嘉應(yīng)學(xué)院科研項目“基于OPNET的移動自組網(wǎng)MAC協(xié)議研究”（2023KJY020）

第一作者簡介：劉宴濤（1975-），男，漢族，吉林蛟河人，博士，副教授，碩士研究生導(dǎo)師。研究方向為網(wǎng)絡(luò)通信、網(wǎng)絡(luò)信息論、物聯(lián)網(wǎng)、云計算等。

*通信作者：秦娜（1982-），女，漢族，遼寧葫蘆島人，博士，助理實驗師。研究方向為教育技術(shù)學(xué)、計算機(jī)網(wǎng)絡(luò)等。