媒體認知中的人工智能技術(shù)教學(xué)方法探究

楊毅+鐘嫻+周天宇+喬飛+王生進

摘 要：媒體與認知是清華大學(xué)電子信息學(xué)科在課程體系改革過程中提出的一門重要必修課程。隨著人工智能技術(shù)的快速發(fā)展，將其引入信息專業(yè)本科生教學(xué)具有很重要的科研及教學(xué)意義。文章介紹媒體與認知課程中的人工智能教學(xué)及配套實驗平臺、人工智能內(nèi)容的實驗內(nèi)容及平臺并提供更多關(guān)于人類認知和媒體表達的知識，配合人工智能學(xué)科發(fā)展的要求。

關(guān)鍵詞：人工智能；媒體與認知；RealSense平臺；深度學(xué)習(xí)

文章編號：1672-5913（2017）07-0155-04

中圖分類號：G642

1 背 景

電子信息科學(xué)與技術(shù)是以物理和數(shù)學(xué)為基礎(chǔ)，研究通過電學(xué)形式表達和操控信息的基本規(guī)律以及運用這些基本規(guī)律實現(xiàn)各種電子系統(tǒng)的方法。在進入電子時代和信息社會的今天，電子信息科學(xué)技術(shù)已滲透各個領(lǐng)域。隨著電子信息技術(shù)日新月異，電子信息教學(xué)領(lǐng)域也面臨著全新的挑戰(zhàn)，需要培養(yǎng)具有全方位視野和超強能力的新一代工程師及領(lǐng)導(dǎo)者。本著這一目標(biāo)，清華大學(xué)電子系自2008年開始著手進行課程改革，通過改革課程體系將原有課程重新整合，從學(xué)科范式的角度整理出電子工程本科教育的知識體系結(jié)構(gòu)，從而梳理出新的本科課程體系，形成電子信息領(lǐng)域?qū)W科地圖[1-2]。

2016年AlphaGo戰(zhàn)勝李世石的事實，讓人工智能技術(shù)再一次向世人展示了自己的潛力。人工智能無論在傳統(tǒng)的制造加工行業(yè)，還是在新興的互聯(lián)網(wǎng)行業(yè)，都成為國內(nèi)外各大企業(yè)爭相研究開發(fā)的目標(biāo)，在學(xué)術(shù)界也是如此。2016年底，Gartner全球峰會發(fā)布2017十大技術(shù)趨勢報告[3]，預(yù)測2017年十大技術(shù)趨勢：人工智能與機器學(xué)習(xí)、智能應(yīng)用、智能事物、虛擬和增強現(xiàn)實、數(shù)字化雙生、區(qū)塊鏈和已分配分類賬、對話式系統(tǒng)、格網(wǎng)應(yīng)用和服務(wù)架構(gòu)、數(shù)字化技術(shù)平臺、自適應(yīng)安全架構(gòu)。Gartner預(yù)計2017年全球?qū)⒂谐^60%的大型企業(yè)開始采用人工智能技術(shù)。

在2016年開設(shè)的媒體與認知課程內(nèi)容中，我們參考國內(nèi)外諸多名校相關(guān)課程的理論及項目內(nèi)容，結(jié)合電子工程系在該領(lǐng)域研究的基礎(chǔ)優(yōu)勢和創(chuàng)新性成果，建設(shè)了一套媒體認知人工智能技術(shù)教學(xué)課程內(nèi)容及平臺，以期學(xué)生獲得人工智能技術(shù)中深度學(xué)習(xí)技術(shù)的基礎(chǔ)理論和開發(fā)能力。課程通過提供人工智能技術(shù)領(lǐng)域高層次專業(yè)人才必需的基本技能、專業(yè)知識及思維方式，力爭培養(yǎng)具有國際一流科研創(chuàng)新能力的人工智能方向的專業(yè)技術(shù)人才。

2 人工智能技術(shù)教學(xué)內(nèi)容

美國MIT大學(xué)的Statistical Learning Theory and Applications課程[4]，致力于從統(tǒng)計學(xué)習(xí)和正則化理論的角度介紹機器學(xué)習(xí)的基礎(chǔ)和最新進展。除了經(jīng)典的機器學(xué)習(xí)方法，如支持向量機、流形學(xué)習(xí)、有監(jiān)督學(xué)習(xí)等之外，還重點介紹深度學(xué)習(xí)計算的理論框架并要求學(xué)生以項目形式給出基于機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的解決方案。

美國CMU大學(xué)的Deep Learning課程[5]通過一系列研討會和課程實驗介紹深度學(xué)習(xí)這一主題，涵蓋深度學(xué)習(xí)的基礎(chǔ)知識和基礎(chǔ)理論及應(yīng)用領(lǐng)域，以及大量數(shù)據(jù)學(xué)習(xí)的最新問題。通過若干實驗題目，學(xué)生可以對深度神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用加深理解。

美國Stanford大學(xué)的Deep Learning for Natural Language Processing課程[6]深入介紹應(yīng)用于自然語言理解的深度學(xué)習(xí)前沿研究，討論包括循環(huán)神經(jīng)網(wǎng)絡(luò)、長短期記憶模型、遞歸神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等非常新穎的模型。通過上機實驗，學(xué)生將學(xué)習(xí)使用神經(jīng)網(wǎng)絡(luò)工作的技巧來解決實際問題，包括實施、訓(xùn)練、調(diào)試、可視化和提出自己的神經(jīng)網(wǎng)絡(luò)模型，最終的實驗項目涉及復(fù)雜的循環(huán)神經(jīng)網(wǎng)絡(luò)并將應(yīng)用于大規(guī)模自然語言理解的問題。

媒體認知課程參考了上述著名課程的理論內(nèi)容和項目特色。我們結(jié)合電子工程系在人工智能領(lǐng)域研究的基礎(chǔ)、優(yōu)勢和創(chuàng)新性成果，設(shè)計開發(fā)了一套以人工智能技術(shù)為基礎(chǔ)的前沿探索型媒體認知教學(xué)課程內(nèi)容及實驗平臺，試圖構(gòu)建具有國際水準(zhǔn)的人工智能技術(shù)教學(xué)課程內(nèi)容。

3 深度學(xué)習(xí)技術(shù)發(fā)展概況

傳統(tǒng)的人工智能系統(tǒng)一般采用機器學(xué)習(xí)技術(shù)，這類技術(shù)在處理原始形式的自然數(shù)據(jù)的能力上受到限制，一般困難集中在如何將原始數(shù)據(jù)變換為合適的內(nèi)部表示或特征向量。深度學(xué)習(xí)（deep learning）近年來受到人工智能行業(yè)的廣泛關(guān)注，是一種表征學(xué)習(xí)（representation-learning）方法，由于擁有可以逼近任意非線性函數(shù)的特性，深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）及其衍生的各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有能力取代傳統(tǒng)模型，在語音、圖像、文本、視頻等各種媒體的內(nèi)容識別系統(tǒng)中發(fā)揮作用。

著名的人工智能科學(xué)家Yann LeCun于2015年在Nature上發(fā)表文章[7]指出，深度學(xué)習(xí)允許多個處理層組成的計算模型學(xué)習(xí)如何表征具有多級抽象層面的數(shù)據(jù)。這些方法已經(jīng)大大提高語音識別、視覺識別、目標(biāo)檢測以及諸如藥物發(fā)現(xiàn)、基因?qū)W等許多領(lǐng)域的最新技術(shù)水平。深度學(xué)習(xí)通過使用反向傳播算法發(fā)現(xiàn)大數(shù)據(jù)集中的復(fù)雜結(jié)構(gòu)，以指示機器如何改變其內(nèi)部參數(shù)，這些內(nèi)部參數(shù)是從深度神經(jīng)網(wǎng)絡(luò)上一層的表示中計算每層中的表示。深度卷積網(wǎng)絡(luò)在處理圖像、視頻、語音和音頻方面帶來突破性的進展，而遞歸網(wǎng)絡(luò)則對文本、語音等順序數(shù)據(jù)提供解決方案。

遞歸網(wǎng)絡(luò)可被視作較深的前饋網(wǎng)絡(luò)，其中所有層共享相同的權(quán)重。遞歸網(wǎng)絡(luò)的問題在于難以在長期的時間內(nèi)學(xué)習(xí)并存儲信息。為了解決這一問題，長短期記憶（long short-term memory，LSTM）模型網(wǎng)絡(luò)被提出，主要特點在于其存儲器單元在下一個加權(quán)值為1的時間段內(nèi)與自身連接，因此能夠在復(fù)制自身狀態(tài)的同時累加外部信號，此外這種自我連接被另一個單元通過學(xué)習(xí)決定何時清除此類信息。長短期記憶模型被證明在語音識別和機器翻譯應(yīng)用系統(tǒng)中比傳統(tǒng)的遞歸網(wǎng)絡(luò)更加有效。

4 基于深度學(xué)習(xí)的語音識別教學(xué)項目

在對上述課程及配套項目進行詳細研究的基礎(chǔ)上，結(jié)合現(xiàn)有科研及平臺，我們構(gòu)建了一種基于深度學(xué)習(xí)的連續(xù)語音識別項目平臺，包括兩個主要項目：深度神經(jīng)網(wǎng)絡(luò)語音識別項目及長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識別項目。

4.1 深度神經(jīng)網(wǎng)絡(luò)語音識別項目

典型的深度神經(jīng)網(wǎng)絡(luò)語音識別模型[8-9]核心是對聲學(xué)特征進行多層變換，并將特征提取和聲學(xué)建模在同一網(wǎng)絡(luò)中進行優(yōu)化。神經(jīng)網(wǎng)絡(luò)可以通過非線性激活函數(shù)來擬合任何非線性函數(shù)，可以使用神經(jīng)網(wǎng)絡(luò)取代原有聲學(xué)模型中的高斯混合模型，用來計算每一幀的特征與每個音素的相似程度。深度神經(jīng)網(wǎng)絡(luò)原理的結(jié)構(gòu)示意圖如圖1所示。

圖1代表了一個擁有3個隱含層的深度神經(jīng)網(wǎng)絡(luò)。相鄰兩層中，每層的每一個節(jié)點都與另外一層的所有節(jié)點單向連接。數(shù)據(jù)由輸入層輸入，逐層向下一層傳播。對于節(jié)點間的連接權(quán)重，采用BP算法。BP算法對于給定的輸入輸出訓(xùn)練數(shù)據(jù)，首先通過正向傳播由輸入得到輸出，之后通過實際輸出與理論上的正確輸出之差得到殘差，并由輸出層向輸入層根據(jù)激活函數(shù)與連接權(quán)重反向傳播殘差，計算出每一個節(jié)點與理想值之間的殘差，最后根據(jù)每個節(jié)點的殘差修正節(jié)點間連接的權(quán)重，通過對權(quán)重的調(diào)整實現(xiàn)訓(xùn)練，從而更加靠近理論輸出結(jié)果。

將DNN實際利用到語音識別的聲學(xué)模型時，其結(jié)構(gòu)示意圖如圖2所示。深度神經(jīng)網(wǎng)絡(luò)的輸入層輸入從每一幀音頻中提取出的特征，通過網(wǎng)絡(luò)的正向傳播，在輸出層輸出當(dāng)前幀對應(yīng)不同音素的相似程度，從而作為HMM的發(fā)射概率進行語音識別?？紤]到DNN沒有記憶特性，而語音信號即使是在音素層級上，其前后也有相當(dāng)大的聯(lián)系。為了提高DNN在處理前后高度關(guān)聯(lián)的語音信號中的表現(xiàn)，一般選擇同時將當(dāng)前幀的前后部分幀作為網(wǎng)絡(luò)的輸入，從而提高對當(dāng)前幀識別的正確率。

4.2 長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)語音識別項目

長短期記憶模型應(yīng)用于語音識別中聲學(xué)模型的思路和深度神經(jīng)網(wǎng)絡(luò)類似[10-11]，取代高斯混合模型用于計算輸入幀與各音素的匹配程度。原理為首先根據(jù)輸入門判斷輸入的數(shù)據(jù)可以進入記憶細胞的比例，同時遺忘門決定記憶細胞遺忘的比例；之后由記憶細胞殘存的記憶部分和新輸入的部分求和，作為記憶細胞的新記憶值；將新的記憶值根據(jù)輸出門的控制得到記憶細胞的輸出，并通過遞歸投影層降維，降維之后的結(jié)果一方面作為3個控制門的反饋，另一方面作為網(wǎng)絡(luò)的輸出；非遞歸投影層則僅僅作為最終輸出的補充，而不會影響控制門。將長短期記憶模型實際利用到語音識別的聲學(xué)模型時，其結(jié)構(gòu)示意圖如圖3所示。

與深度神經(jīng)網(wǎng)絡(luò)不同，長短期記憶模型遞歸神經(jīng)網(wǎng)絡(luò)因為有記憶特性，所以不需要額外的多幀輸入，只需要輸入當(dāng)前幀。然而，考慮到語音前后的關(guān)聯(lián)性，一般會將輸入的語音幀進行時間偏移，使得對t時刻幀的特征計算得到的輸出結(jié)果是基于已知未來部分幀的特征之后進行的，從而提高準(zhǔn)確度。

5 結(jié) 語

我們主要介紹了媒體與認知課程中的深度學(xué)習(xí)教學(xué)項目“基于深度學(xué)習(xí)的語音識別教學(xué)項目”，在現(xiàn)有開發(fā)平臺的基礎(chǔ)上引入多種深度學(xué)習(xí)算法并對其進行比較，使得學(xué)生掌握了目前主流的深度學(xué)習(xí)算法核心技術(shù)及應(yīng)用方法。學(xué)生反饋表明，通過該部分教學(xué)內(nèi)容，學(xué)生對深度學(xué)習(xí)技術(shù)加深了了解，調(diào)動了研究積極性，大部分學(xué)生對深度學(xué)習(xí)方向的前景十分樂觀。將這些內(nèi)容與媒體認知教學(xué)課程結(jié)合并為學(xué)生提供研究平臺，使得學(xué)生開闊了科研視野，進一步為培養(yǎng)學(xué)術(shù)興趣、明確科研方向和堅定科研信念提供輔助和支撐，最終達到培養(yǎng)具備國際領(lǐng)先研究水平、同時具有突出創(chuàng)新實踐能力和持續(xù)探索精神的高素質(zhì)人才的目的。下一步，我們將基于該深度學(xué)習(xí)項目平臺進一步開展研究探索，提高深度學(xué)習(xí)的實時性和魯棒性。

參考文獻：

[1] 清華大學(xué)電子工程系[EB/OL]. [2017-02-01]. http：//www.ee.tsinghua.edu.cn/.

[2] 楊毅， 徐淑正， 喬飛， 等. 媒體認知實驗教學(xué)改革研究與探索[J]. 計算機教育， 2015 （9）： 107-109.

[3] 搜狐科技. Gartner最新2017十大戰(zhàn)略技術(shù)趨勢： 以智能為中心實現(xiàn)萬物互聯(lián)[EB/OL]. （2016-11-09）[2017-02-01]. http：//it.sohu.com/20161109/n472678047.shtml.

[4] 9.520/6.860： Statistical learning theory and applications， fall 2016[EB/OL]. [2017-02-01]. http：//www.mit.edu/～9.520/fall16/.

[5] Deep Learning[EB/OL]. [2017-02-01]. http：//deeplearning.cs.cmu.edu/.

[6] Deep learning for natural language processing[EB/OL]. [2017-02-01]. http：//cs224d.stanford.edu/.

[7] LeCun Y， Bengio Y， Hinton G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[8] Hinton G E， Osindero S， Teh Y W. A fast learning algorithm for deep belief nets[J]. Neural computation， 2006， 18（7）： 1527-1554.

[9] Graves A， Mohamed A， Hinton G. Speech recognition with deep recurrent neural networks[C]//2013 IEEE International Conference on Acoustics， Speech and Signal（ICASSP）.Washington D C： IEEE， 2013： 6645-6649.

[10] Sak H， Senior A W， Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//15th Annual Conference of the International Speech Communication Association. Singapore： IEEE， 2014： 338-342.

[11] Botvinick M M， Plaut D C. Short-term memory for serial order： A recurrent neural network model[J]. Psychological review， 2006， 113（2）： 201.

（編輯：宋文婷）