深度學(xué)習(xí)的實(shí)現(xiàn)與發(fā)展

騫宇澄++劉昭策

摘 要感知器相關(guān)概念是Frank Rosenblatt提出的人工神經(jīng)網(wǎng)絡(luò)的基本理論框架。在感知器的理論前提下，結(jié)合反向傳播等算法，機(jī)器學(xué)習(xí)達(dá)到了有監(jiān)督的淺層學(xué)習(xí)水平。過去的三十年里，得益于計(jì)算機(jī)性能的提高和Geoffrey Hinton，Yann LeCun等研究者的貢獻(xiàn)，深度神經(jīng)網(wǎng)絡(luò)所涉及的幾種學(xué)習(xí)思想和技術(shù)如卷積神經(jīng)網(wǎng)絡(luò)、受限玻爾茲曼機(jī)、自動編碼器等大幅度提高了機(jī)器的學(xué)習(xí)效率。如今，深度學(xué)習(xí)的研究成果已經(jīng)成功應(yīng)用在語言識別、目標(biāo)識別、神經(jīng)語言程序?qū)W、人工智能等領(lǐng)域，具有巨大的發(fā)展?jié)摿蜕鐣r值。深度學(xué)習(xí)有向無監(jiān)督的學(xué)習(xí)和復(fù)雜數(shù)據(jù)模型分析等方面發(fā)展的趨勢。

【關(guān)鍵詞】深度學(xué)習(xí) 機(jī)器學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) 反向傳播算法 玻爾茲曼機(jī)

1 前言

深度學(xué)習(xí)（Deep Learning）[1]是建立在計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)理論和機(jī)器學(xué)習(xí)理論上的系統(tǒng)科學(xué)，它使用建立在復(fù)雜的機(jī)器結(jié)構(gòu)上的多處理層，結(jié)合非線性轉(zhuǎn)換方法算法，對高層復(fù)雜數(shù)據(jù)模型進(jìn)行抽象。

如今深度學(xué)習(xí)的研究成果已成功應(yīng)用于語音識別、模式識別、目標(biāo)識別、自然語言編程、人機(jī)對弈、人工智能[2]、智慧城市等領(lǐng)域。1997年IBM公司研發(fā)的人機(jī)對弈系統(tǒng)“深藍(lán)”（Deep Blue）擊敗國際象棋世界冠軍卡斯帕羅夫（Garry Kasparov）[3]，從此深度學(xué)習(xí)和人工智能開始進(jìn)入人們的視野。2011年，該公司的“華生”（Watson）超級電腦在綜藝節(jié)目“危險(xiǎn)邊緣”（Jeopardy）中戰(zhàn)勝最高獎金得主和連勝紀(jì)錄保持者，再一次引發(fā)社會對機(jī)器智能的關(guān)注。2016年，在被認(rèn)為是計(jì)算機(jī)無法勝任的中國圍棋的棋牌游戲中，Google“DeepMind”公司研發(fā)的“AlphaGo”成功擊敗世界著名圍棋選手李世石，在領(lǐng)域內(nèi)引起了軒然大波?？梢娚疃葘W(xué)習(xí)科學(xué)離人類社會并不遙遠(yuǎn)。

2 深度學(xué)習(xí)的基礎(chǔ)和實(shí)現(xiàn)

在深度學(xué)習(xí)科學(xué)誕生和發(fā)展的60年歷程中，不斷有更加先進(jìn)的學(xué)習(xí)模式和算法被使用。后文的業(yè)界調(diào)研綜述中所介紹的3種學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)如今已經(jīng)被廣泛使用或演化，這些研究成果都有著劃時代的意義，對深度學(xué)習(xí)發(fā)展產(chǎn)生了深遠(yuǎn)的影響。

2.1 深度學(xué)習(xí)的思想基礎(chǔ)-誤差逆?zhèn)鞑ニ惴ǎ˙P算法）

BP神經(jīng)網(wǎng)絡(luò)（如圖1）是1986年Rumelhart和McClelland[4]等人提出的，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，它存儲大量映射模式關(guān)系，無需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通過反向傳播調(diào)試網(wǎng)絡(luò)的權(quán)值和閾值，使得其誤差平方和最小。

通過數(shù)學(xué)推導(dǎo)，得出誤差逆?zhèn)鞑ニ惴ǖ闹饕攸c(diǎn)是：連接權(quán)重與學(xué)習(xí)模式誤差成比例變化。

BP網(wǎng)絡(luò)所提供的BP算法，有著一定的非線性映射能力、多層前饋網(wǎng)的泛化能力和樣本容錯能力。但是由于其學(xué)習(xí)速率是固定的，網(wǎng)絡(luò)的收斂速度很慢，對于復(fù)雜問題難以高效解決。其次，BP算法可以使權(quán)值收斂到某個值，但是不能保證其為誤差平面的最小值，因?yàn)樘荻认陆捣椒ㄋ蟮氖蔷植孔钚≈怠Ｍ瑫r，隱含層和單元選擇沒有固定的要求，因此會產(chǎn)生一定的冗余。

2.2 圖像處理領(lǐng)域的里程碑-卷積神經(jīng)網(wǎng)絡(luò)

20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時發(fā)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)可以降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，進(jìn)而提出了卷積神經(jīng)網(wǎng)絡(luò)的概念。由于其避免了對圖像的前期預(yù)處理，可以直接輸入原始圖像，CNN已經(jīng)成為神經(jīng)網(wǎng)絡(luò)的標(biāo)志性代表之一。

CNN的基本結(jié)構(gòu)[5]有多種解釋，本文的介紹包括兩層：其一為特征提取層，神經(jīng)元的輸入層與前一層的局部連接域相連從而提取特征，提取完畢之后每個特征也會相互確立穩(wěn)定的關(guān)系。其二是特征映射層，計(jì)算層由特征映射層組成，每個特征映射是一個平面，平面上所有神經(jīng)元共享權(quán)值。共享權(quán)值的思想也是CNN的獨(dú)特之處。這種雙層特征提取結(jié)構(gòu)有效提高了特征的分辨率。

CNN的首個實(shí)現(xiàn)是日本科學(xué)家K.Fukushima于1980年提出的“新識別機(jī)”，之后Alexander和Taylor提出的“改進(jìn)認(rèn)知機(jī)”避免了耗時的誤差反向傳播，進(jìn)一步提升了CNN的實(shí)用價值。

2.3 深度神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)基礎(chǔ)-玻爾茲曼機(jī)和受限玻爾茲曼機(jī)

如圖2，玻爾茲曼機(jī)[6]是Hinton和Sejnowski提出的隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò)，也可以看做是隨機(jī)的Hopfield網(wǎng)絡(luò)，因樣本分布遵循玻爾茲曼分布而命名為BM。

如圖3，RBM是一個雙向概率圖模型，只有可見層節(jié)點(diǎn)與隱層節(jié)點(diǎn)之間有連接權(quán)，可見層節(jié)點(diǎn)與可見層節(jié)點(diǎn)與隱層節(jié)點(diǎn)之間沒有連接權(quán)。

可見RBM的結(jié)構(gòu)比BM的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)更簡單，因?yàn)楦鲗觾?nèi)部神經(jīng)元之間沒有連接，很大程度上提高了網(wǎng)絡(luò)訓(xùn)練與學(xué)習(xí)的效率。RBM結(jié)構(gòu)相比BM顯得簡單，因此在構(gòu)造深度置信網(wǎng)絡(luò)（DBN）時都是先構(gòu)造出RBM，再將某些RBM堆棧起來得到DBN。

3 發(fā)展趨勢和挑戰(zhàn)

3.1 數(shù)據(jù)的表示和模型的選擇還有進(jìn)步空間

毋庸置疑，數(shù)據(jù)是機(jī)器學(xué)習(xí)的基本要素，也是神經(jīng)輸入網(wǎng)進(jìn)行反饋的源頭。數(shù)據(jù)的表示和建模對深度學(xué)習(xí)的性能有著很大的影響。目前關(guān)于數(shù)據(jù)表示，有局部表示、分布表示和稀疏分布表示。那么是否有新的表示思路來更新數(shù)據(jù)模型，如加入不同的稀疏懲罰對RBM和EA訓(xùn)練進(jìn)行改進(jìn)。在能量函數(shù)方面，如果不增加隱藏單元的數(shù)量，只利用非參數(shù)形式的能量函數(shù)，是否能擴(kuò)充RBM的容量。這些都是需要進(jìn)一步研究的問題。

在學(xué)習(xí)模型上，除了CNN、DBN和EA等成型的網(wǎng)絡(luò)之外，是否還存在其他的訓(xùn)練學(xué)習(xí)模型。為了挖掘DBN的優(yōu)勢，結(jié)合其結(jié)構(gòu)特點(diǎn)，可以提出新穎的學(xué)習(xí)模型。比如參考基因網(wǎng)絡(luò)、人體免疫網(wǎng)絡(luò)、社會人際網(wǎng)絡(luò)等等。

3.2 特征提取方法是算法設(shè)計(jì)的核心

高斯伯努利模型是特征模型的范例，除此之外是否還有其他成功的模型可以用來提取數(shù)據(jù)特征。未來的特征算法研究將主要集中在自適應(yīng)的特征提取和自動編碼機(jī)制等方面。在提取特征的邏輯層方面，除了樹結(jié)構(gòu)和圖結(jié)構(gòu)，還有哪些泛化結(jié)構(gòu)可以高效抓取特征進(jìn)行分析和傳遞。盡管當(dāng)前普遍的預(yù)訓(xùn)練和判別微調(diào)方法對許多語言識別上都有不錯的效果，但在某些語言識別中卻不盡如人意。特征提取算法仍然需要進(jìn)一步地改進(jìn)和提升，以應(yīng)對大數(shù)據(jù)的沖擊，排除信息安全方面的隱患。

3.3 學(xué)習(xí)可控性是安全性的前提

學(xué)習(xí)可控性是機(jī)器學(xué)習(xí)需要關(guān)注的一個問題，即到底賦予機(jī)器多少權(quán)限和思維能力。在機(jī)器學(xué)習(xí)的研究階段，研究者始終在尋求一種賦予機(jī)器思維的能力，而基本上并不關(guān)心這些思維訓(xùn)練之間的互相作用。在阿西莫夫的著名科幻小說《我，機(jī)器人》（“I，Robot”）[7]中，阿西莫夫定義了機(jī)器人必須遵守的三大法則，由于機(jī)器的邏輯思維能力有限，接受的數(shù)據(jù)信息也有限，難以根據(jù)不同的情況做出更加人性化的決策。在小說和電影的結(jié)尾，機(jī)器人的學(xué)習(xí)能力超越了人類的預(yù)料，其陷入了一個“為了保護(hù)人類而傷害人類”的思維黑洞。這個結(jié)局很好地體現(xiàn)了機(jī)器學(xué)習(xí)的最大隱患—“學(xué)習(xí)失控”。雖然如今的機(jī)器學(xué)習(xí)水平無法達(dá)到這樣的程度，但是這樣的設(shè)想也不是沒有道理和科學(xué)依據(jù)的。在機(jī)器學(xué)習(xí)科學(xué)研究的初期，研究者必須考慮這樣的因素，摒棄互相沖突和矛盾的思維模型，并且始終控制機(jī)器的學(xué)習(xí)延展力。

4 結(jié)束語

本文系統(tǒng)介紹了深度學(xué)習(xí)（Deep Learning）領(lǐng)域的相關(guān)信息。結(jié)合計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的相關(guān)概念，得出了“深度學(xué)習(xí)是建立在深度結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)上的復(fù)雜思維模式機(jī)器學(xué)習(xí)”的認(rèn)識。

本文著重介紹了深度學(xué)習(xí)的3種重要的方法：BP算法、卷積神經(jīng)網(wǎng)絡(luò)、玻爾茲曼機(jī)和受限玻爾茲曼機(jī)，之后又對深度學(xué)習(xí)的發(fā)展趨勢和挑戰(zhàn)進(jìn)行了說明。為了方便讀者閱讀本文，筆者附上深度學(xué)習(xí)的發(fā)展歷程圖（如圖4），僅供參考。

參考文獻(xiàn)

[1]S.Haykin.神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)[M].申富饒，徐燁，鄭俊等，譯.第三版.北京：機(jī)械工業(yè)出版社，2011.

[2]M.Negnevitsky.人工智能：智能系統(tǒng)指南[M].第三版.北京：機(jī)械工業(yè)出版社，2011.

[3]吳軍.浪潮之巔（上）[M].第二版.北京：人民郵電出版社，2014：15-38.

[4]E.Rumelhart，L.McClelland.Paralleldistributedprocessing[M].BradfordBook，1987.

[5]Y.LeCun.LeNet-5，convolutional neural networks [M].Retrieved，2013.

[6]Ackley，David H and Hinton，Geoffrey and Sejnowski，Terrence J.A learning algorithm for Boltzmann machines，Cognitive science（EI sevier）9（01）：140-170.

[7]阿西莫夫.我，機(jī)器人（第二版）[M].北京：科學(xué)普及出版社，1983.

作者簡介

騫宇澄（1996-），男，陜西省西安市人。成都市雙流區(qū)四川大學(xué)軟件工程專業(yè)，本科生。研究方向?yàn)闄C(jī)器學(xué)習(xí)。

劉昭策（1996-），男，山西省運(yùn)城市人。成都市雙流區(qū)四川大學(xué)軟件工程專業(yè)，本科生。

作者單位

四川大學(xué) 四川省成都市 610207