深度學(xué)習(xí)發(fā)展綜述*

侯宇青陽 全吉成 王宏偉

(中國人民解放軍空軍航空大學(xué) 長(zhǎng)春 130000)

深度學(xué)習(xí)發(fā)展綜述*

侯宇青陽 全吉成 王宏偉

(中國人民解放軍空軍航空大學(xué) 長(zhǎng)春 130000)

鑒于深度學(xué)習(xí)的研究和應(yīng)用價(jià)值及在學(xué)術(shù)和工業(yè)領(lǐng)域中的重要地位,對(duì)目前有代表性的主流的深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行介紹,概述了深度學(xué)習(xí)當(dāng)前發(fā)展?fàn)顟B(tài),綜述了深度學(xué)習(xí)發(fā)展方向。首先介紹了深度學(xué)習(xí)的歷史沿革,根據(jù)應(yīng)用研究對(duì)四種主要深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行介紹,然后從網(wǎng)絡(luò)性能提升、網(wǎng)絡(luò)體系發(fā)展、新學(xué)習(xí)模式探索、深度強(qiáng)化學(xué)習(xí)、可視化理論研究五個(gè)方面總結(jié)了目前深度學(xué)習(xí)的發(fā)展?fàn)顟B(tài),最后提出下一步深度學(xué)習(xí)發(fā)展展望?？梢钥吹?深度學(xué)習(xí)在不同領(lǐng)域都有廣泛的應(yīng)用,而且具有明顯的優(yōu)勢(shì),但也存在需要進(jìn)一步深入探索的問題,如提高深度學(xué)習(xí)的智能性、提高無標(biāo)簽數(shù)據(jù)的利用率等。

深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); 半監(jiān)督學(xué)習(xí); 深度強(qiáng)化學(xué)習(xí); 人工智能

Class Number TP18

1 引言

2006年,深度學(xué)習(xí)泰斗Hinton[1]提出無監(jiān)督深度置信網(wǎng)絡(luò)的訓(xùn)練方法,2013年深度學(xué)習(xí)位列10大突破性科技之首,到2016年3月,AlphaGO[2]打敗人類圍棋大師。這十年間深度學(xué)習(xí)不斷發(fā)展創(chuàng)新,研究?jī)r(jià)值和應(yīng)用潛力不斷被挖掘發(fā)現(xiàn)。近年來深度學(xué)習(xí)取得驚人進(jìn)展,從模型、算法,到大規(guī)模的應(yīng)用都取得了令人矚目的成果。深度學(xué)習(xí)的出現(xiàn)是機(jī)器學(xué)習(xí)的一次重要革命,是人工智能發(fā)展巨大推力。人工智能是終極目標(biāo),機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種分支,深度學(xué)習(xí)隸屬于人工神經(jīng)網(wǎng)絡(luò)體系,人工神經(jīng)網(wǎng)絡(luò)是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法,相比于基于人工規(guī)則的專家系統(tǒng),表現(xiàn)優(yōu)異。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是一種淺層機(jī)器學(xué)習(xí),深度學(xué)習(xí)是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)發(fā)展下的新一代神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)是通過建立、模擬人腦的信息處理神經(jīng)結(jié)構(gòu)來實(shí)現(xiàn)對(duì)外部輸入的數(shù)據(jù)進(jìn)行從低級(jí)到高級(jí)的特征提取,從而能夠使機(jī)器理解學(xué)習(xí)數(shù)據(jù),獲得信息[3]。

本文主要對(duì)深度學(xué)習(xí)的發(fā)展進(jìn)行總結(jié),介紹現(xiàn)有理論應(yīng)用成果以及未來的發(fā)展方向。

2 深度學(xué)習(xí)歷史沿革

萌芽期:從BP算法[4]的發(fā)明(1970s～1980s)到2006年期間;BP算法使得神經(jīng)網(wǎng)絡(luò)訓(xùn)練簡(jiǎn)單可行。這段期間因?yàn)樯窠?jīng)網(wǎng)絡(luò)模型存在的一系列問題被主流的計(jì)算機(jī)視覺和學(xué)術(shù)界所拋棄,只有少數(shù)科學(xué)家仍堅(jiān)持研究。存在的問題主要有: 1) 數(shù)據(jù)獲取的問題。學(xué)者們?cè)噲D利用有監(jiān)督的方式訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),但是缺少大量有標(biāo)簽的數(shù)據(jù),沒有足夠的樣本導(dǎo)致無法擬合復(fù)雜網(wǎng)絡(luò)模型的參數(shù),容易出現(xiàn)過擬合,與當(dāng)時(shí)比較流行的淺層學(xué)習(xí)方法,如隨機(jī)森林、支持向量機(jī)等,相比,效果不理想,沒有受到關(guān)注。 2) 局部極值問題。訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí),由于存在非凸優(yōu)化問題的搜索域中充斥著大量不好的局部極值,使得梯度下降法效果并不好。 3) 梯度彌散問題。這是使得深度神經(jīng)網(wǎng)絡(luò)發(fā)展緩慢的主要因素。隨著網(wǎng)絡(luò)的深度增加,反向傳播的梯度的幅度值會(huì)急劇地減小,使得其更新變化非常緩慢,不能對(duì)樣本進(jìn)行有效的學(xué)習(xí)。這種問題被稱為“梯度彌散”。 4) 硬件條件不足。由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,包括反向傳播過程以及大量樣本數(shù)據(jù)的學(xué)習(xí)壓力,對(duì)計(jì)算機(jī)硬件提出很高的要求。隨之內(nèi)存容量擴(kuò)大、GPU并行計(jì)算的發(fā)展,為深度學(xué)習(xí)發(fā)展提供了契機(jī)。 5) 淺層學(xué)習(xí)方法大放異彩。隨機(jī)森林、支持向量機(jī)、多層感知機(jī)算法等的發(fā)展迅速,并在實(shí)踐中取得很好的效果,也使得深度神經(jīng)網(wǎng)絡(luò)受到冷落。

迅速發(fā)展期(2006年～2012年):主要以深度無監(jiān)督學(xué)習(xí)為主的研究階段。從2006年Hinton提出“深度學(xué)習(xí)”概念和深度學(xué)習(xí)的訓(xùn)練方法之后揭開了深度學(xué)習(xí)發(fā)展的帷幕;

爆發(fā)期(2012年至今):2012年Hilton團(tuán)隊(duì)的Alexnet模型[5]在imagenet競(jìng)賽中取得驚人成績(jī)?，F(xiàn)在各大互聯(lián)網(wǎng)公司紛紛開始成立研究部門進(jìn)行深度學(xué)習(xí)工程化的研究,以谷歌、微軟、百度為代表,將深度學(xué)習(xí)廣泛應(yīng)用在語音識(shí)別、圖像檢索、翻譯等領(lǐng)域,取得了非凡的實(shí)際效果。

3 經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)

經(jīng)過10年的發(fā)展歷程,深度學(xué)習(xí)在圖像處理、語音識(shí)別、文本處理等多領(lǐng)域得到了廣泛應(yīng)用。以卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、棧式自編碼網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)為核心的深度學(xué)習(xí)模型體系逐漸形成。下面對(duì)經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行介紹。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(Convolution Nerual Net,CNNs)通過結(jié)合局部感知區(qū)域、共享權(quán)重、空間或時(shí)間上的池化降采樣三大特點(diǎn)來充分利用數(shù)據(jù)本身包含的局部性等特征,優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),并且保證一定程度上的位移的不變性[6]。它的權(quán)值共享網(wǎng)結(jié)構(gòu)相似于生物神經(jīng)網(wǎng)絡(luò),降低了網(wǎng)絡(luò)模型的復(fù)雜度,減少了權(quán)值的數(shù)量。因?yàn)檫@樣的結(jié)構(gòu)特點(diǎn)使其尤其適合大圖像數(shù)據(jù)的機(jī)器學(xué)習(xí),可以使數(shù)量龐大的圖像識(shí)別問題不斷降維。CNNs的主要結(jié)構(gòu)包括卷積部分和全連接部分。卷積部分包括卷積層、激活層、下采樣層,通過卷積部分的疊加提取特征;全連接部分連接特征提取和輸出計(jì)算損失和完成識(shí)別分類等功能。

CNNs是第一個(gè)真正成功地采用多層層次結(jié)構(gòu)網(wǎng)絡(luò)的具有魯棒性的深度學(xué)習(xí)方法。CNNs適應(yīng)性強(qiáng),善于挖掘數(shù)據(jù)局部特征,使得CNNs已經(jīng)成為眾多科學(xué)領(lǐng)域的研究熱點(diǎn)之一,在模式識(shí)別中的各個(gè)領(lǐng)域得到應(yīng)用并取得了很好的結(jié)果。隨著海量標(biāo)記數(shù)據(jù)和GPU并行計(jì)算的發(fā)展,使得卷積神經(jīng)網(wǎng)絡(luò)研究大放異彩。

3.2 深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)的基本結(jié)構(gòu)單元是受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)。受限玻爾玆曼機(jī)通過學(xué)習(xí)數(shù)據(jù)的概率密度分布提取抽象特征。深度置信網(wǎng)絡(luò)通過RBM的疊加,逐層學(xué)習(xí)數(shù)據(jù)概率分布,即提取多種概率特征。DBN訓(xùn)練過程分為無監(jiān)督訓(xùn)練階段和微調(diào)階段。無監(jiān)督貪婪逐層訓(xùn)練方法獲得各層的條件概率分布,微調(diào)階段包括利用帶標(biāo)簽數(shù)據(jù)和BP算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。DBN具有高靈活性,容易拓展,不僅在圖像處理、語音識(shí)別領(lǐng)域網(wǎng)絡(luò)預(yù)訓(xùn)練中應(yīng)用廣泛,也是構(gòu)建新型深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)基礎(chǔ)。

3.3 棧式自編碼網(wǎng)絡(luò)[8～9]

棧式自編碼網(wǎng)絡(luò)的基本單元是自編碼器(Auto-encoder,AE)。自編碼器包括編碼層和解碼層,通過編碼-解碼的方式復(fù)現(xiàn)輸入信號(hào)。堆棧式自編碼網(wǎng)絡(luò)是累加自編碼器,通過無監(jiān)督貪婪逐層訓(xùn)練得到每層自編碼器的權(quán)重,在每一層得到了關(guān)于輸入數(shù)據(jù)的另一種表達(dá)形式,這些不同的表示就是特征,在原有的特征基礎(chǔ)上加入自動(dòng)學(xué)習(xí)到的特征可以提高學(xué)習(xí)能力,是深度神經(jīng)網(wǎng)絡(luò)預(yù)訓(xùn)練的重要方法之一。

3.4 遞歸神經(jīng)網(wǎng)絡(luò)

上述幾種模型,隱層之間彼此獨(dú)立,逐層的提取特征,但這樣的連接方式忽略了數(shù)據(jù)間的關(guān)聯(lián)性。遞歸神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)上一層的信息進(jìn)行記憶,添加到當(dāng)前層的計(jì)算輸出中,在結(jié)構(gòu)中體現(xiàn)為隱層間有節(jié)點(diǎn)相連。遞歸神經(jīng)網(wǎng)絡(luò)是非常強(qiáng)大的動(dòng)態(tài)系統(tǒng),通常用于描述動(dòng)態(tài)時(shí)間行為序列,使?fàn)顟B(tài)數(shù)據(jù)在網(wǎng)絡(luò)中循環(huán)傳遞,它更擅長(zhǎng)語音文本信息[10],一次處理一個(gè)輸入序列元素每個(gè)節(jié)點(diǎn)同時(shí)包括過去時(shí)刻序列元素的歷史信息,一般采用時(shí)間反傳(backpropagation through time,BPTT)訓(xùn)練算法來解決非長(zhǎng)時(shí)依賴問題。

4 深度學(xué)習(xí)現(xiàn)階段研究進(jìn)展

4.1 改進(jìn)網(wǎng)絡(luò)訓(xùn)練技巧,提升網(wǎng)絡(luò)實(shí)用性能

機(jī)器學(xué)習(xí)通過準(zhǔn)確率和損失值衡量一個(gè)學(xué)習(xí)網(wǎng)絡(luò)的好壞,深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的目標(biāo)就是高準(zhǔn)確率和低損失率。經(jīng)過大量實(shí)驗(yàn)研究,針對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練也有技巧和方法來提升算法性能,增強(qiáng)魯棒性。

4.1.1 數(shù)據(jù)提升和Dropout[11]——解決過擬合

過擬合是指訓(xùn)練樣本不足時(shí),一個(gè)模型從中學(xué)習(xí)到的不能推廣到新數(shù)據(jù)的問題。數(shù)據(jù)提升和Dropout其本質(zhì)都是隨機(jī)打亂數(shù)據(jù)的相關(guān)性。數(shù)據(jù)提升是指對(duì)有限的樣本數(shù)據(jù)隨機(jī)變化,生成新樣本,同時(shí)保證數(shù)據(jù)彼此間相似性低,有利于抑制過擬合,使模型泛化能力更好。Dropout通過設(shè)置Dropout參數(shù)值,來抑制一定比例神經(jīng)元活性,使其輸出為0,可以視為一種模型平均,把每個(gè)批次的訓(xùn)練過程中,隨機(jī)忽略的隱層節(jié)點(diǎn)不同,生成的不同模型平均。這樣權(quán)值的更新不再依賴于有固定關(guān)系隱含節(jié)點(diǎn)的共同作用,有效阻止過擬合現(xiàn)象。

4.1.2 參數(shù)調(diào)優(yōu)(fine-tune)

對(duì)于一個(gè)已知的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu),如何提升網(wǎng)絡(luò)的性能,是我們研究的重點(diǎn)。從理論結(jié)構(gòu)到實(shí)際應(yīng)用需要不斷地調(diào)整參數(shù),即參數(shù)調(diào)優(yōu)。不同的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)適合于不同的實(shí)際應(yīng)用,除了結(jié)構(gòu)固有的優(yōu)點(diǎn),還可以通過改變反向傳播算法和激活函數(shù)來提升網(wǎng)絡(luò)性能。常用的反向傳播算法有:隨機(jī)梯度下降法(Stochastic Gradient Descend,SGD)、自適應(yīng)梯度下降方法(AdaGrad)等。激活函數(shù)常用的有tanh、sigmoid、ReLU等。ReLU函數(shù)的應(yīng)用是對(duì)深度學(xué)習(xí)應(yīng)用發(fā)展的推進(jìn),對(duì)于人大腦皮層的工作過程研究,處理信息時(shí)有大量神經(jīng)元處于抑制狀態(tài),只有少數(shù)的神經(jīng)元激活工作,是非常高效的。這與ReLU的原理不謀而合,稀疏連接也是表達(dá)了這一生理結(jié)構(gòu)。在訓(xùn)練過程中確實(shí)提升網(wǎng)絡(luò)的效率和性能。

4.2 深度學(xué)習(xí)網(wǎng)絡(luò)體系發(fā)展

4.2.1 卷積神經(jīng)網(wǎng)絡(luò)體系

卷積神經(jīng)網(wǎng)絡(luò)是發(fā)展最為深入的深度學(xué)習(xí)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)更適合解決圖像領(lǐng)域問題。通過對(duì)其結(jié)構(gòu)的不斷研究和改進(jìn),形成了一系列網(wǎng)絡(luò)模型,在廣泛實(shí)際應(yīng)用中取得成功。

一方面創(chuàng)造性的提出增加跳躍連接結(jié)構(gòu),克服深度訓(xùn)練難題,增加網(wǎng)絡(luò)深度。深度學(xué)習(xí)的學(xué)習(xí)能力通過深度得以提高,但是深度的增加不僅帶來參數(shù)激增數(shù)據(jù)量增大,而且造成訓(xùn)練過程中反向傳播困難。突破深度限制是未來深度學(xué)習(xí)發(fā)展的必然趨勢(shì)。現(xiàn)階段網(wǎng)絡(luò)深度研究進(jìn)展見表1。

表1 深度學(xué)習(xí)網(wǎng)絡(luò)深度研究進(jìn)展

網(wǎng)絡(luò)結(jié)構(gòu)加深提升準(zhǔn)確率,驗(yàn)證了深度學(xué)習(xí)網(wǎng)絡(luò)的深度價(jià)值和潛力。

另一方面改變卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),典型的包括全卷積網(wǎng)絡(luò)[15](Fully Convolutional Networks,FCN)。FCN去掉網(wǎng)絡(luò)中的全連接層,全部利用卷積結(jié)構(gòu)進(jìn)行處理數(shù)據(jù),使圖像級(jí)理解上升為像素級(jí)理解。全連接結(jié)構(gòu)參數(shù)占主要部分,且運(yùn)算耗時(shí),全卷積網(wǎng)絡(luò)可以滿足實(shí)時(shí)性要求,目前涌現(xiàn)一大批基于FCN的泛,例如邊緣檢測(cè)、視覺跟蹤、圖像分割等。

4.2.2 棧式自編碼網(wǎng)絡(luò)體系

基于自編碼的深度學(xué)習(xí)體系也在不斷豐富,常用的有稀疏自編碼網(wǎng)絡(luò)(sparse Autoencoder)、降噪自編碼網(wǎng)絡(luò)[16](denoising auto-encoders,DAEs)和收縮自編碼網(wǎng)絡(luò)[17](contractive auto-encoders,CAEs)。稀疏自編碼器通過稀疏限制,即控制神經(jīng)元大多數(shù)時(shí)間處于抑制狀態(tài),來對(duì)無標(biāo)記數(shù)據(jù)學(xué)習(xí),得到的特征往往優(yōu)于數(shù)據(jù)的原始表達(dá),在實(shí)際應(yīng)用中取得更好的結(jié)果;降噪自編碼器通過在原始數(shù)據(jù)加入隨機(jī)噪音來使網(wǎng)絡(luò)學(xué)習(xí)添加了噪聲的數(shù)據(jù)以提高學(xué)習(xí)能力;收縮自編碼網(wǎng)絡(luò)通過在損失函數(shù)加入懲罰項(xiàng),增強(qiáng)了特征學(xué)習(xí)的魯棒性。

4.2.3 遞歸神經(jīng)網(wǎng)絡(luò)體系

RNN網(wǎng)絡(luò)重視反饋?zhàn)饔?并儲(chǔ)存當(dāng)前狀態(tài)和過去狀態(tài)的連接,適用于文本、語言等時(shí)間序列特征明顯的數(shù)據(jù)處理。針對(duì)傳統(tǒng)RNN網(wǎng)絡(luò)存在問題,提出長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)[18](long short-term memory,LSTM)適用于處理和預(yù)測(cè)時(shí)間序列中間隔和延遲非常長(zhǎng)的問題,在預(yù)測(cè)文本和語音識(shí)別中表現(xiàn)優(yōu)異;GRU模型是LSTM模型的改進(jìn),在實(shí)際應(yīng)用中,更具有競(jìng)爭(zhēng)力,性能更穩(wěn)定。

4.3 構(gòu)建學(xué)習(xí)新模式——半監(jiān)督深度學(xué)習(xí)

機(jī)器學(xué)習(xí)最常見的就是監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),無論淺層學(xué)習(xí)還是深層學(xué)習(xí)。無監(jiān)督學(xué)習(xí)主要用于網(wǎng)絡(luò)模型的預(yù)訓(xùn)練,監(jiān)督學(xué)習(xí)用于提高網(wǎng)絡(luò)學(xué)習(xí)能力。通過對(duì)人類的學(xué)習(xí)過程進(jìn)行研究,對(duì)于一種形體事物的認(rèn)知學(xué)習(xí),是少量帶標(biāo)簽數(shù)據(jù)學(xué)習(xí),結(jié)合大量無標(biāo)簽的圖像進(jìn)一步學(xué)習(xí)。而現(xiàn)有的無監(jiān)督+監(jiān)督學(xué)習(xí)是不符合人類的學(xué)習(xí)習(xí)慣。在此基礎(chǔ)上,提出半監(jiān)督學(xué)習(xí)的方法,不是簡(jiǎn)單的無監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)的疊加,而是將兩者的網(wǎng)絡(luò)結(jié)構(gòu)相融合。主要有階梯網(wǎng)絡(luò)[19](Ladder Network)、判別深度置信網(wǎng)、卷積深度網(wǎng)絡(luò)。下面以階梯網(wǎng)絡(luò)為例介紹半監(jiān)督學(xué)習(xí)模式:利用現(xiàn)有監(jiān)督學(xué)習(xí)網(wǎng)絡(luò),如MLP或CNN,融合以降噪自編碼的無監(jiān)督學(xué)習(xí)算法。對(duì)于局部學(xué)習(xí)所得到的學(xué)習(xí)結(jié)果具有可擴(kuò)展性,次模型在每一層都有具體學(xué)習(xí)目標(biāo),對(duì)更大深度的神經(jīng)網(wǎng)絡(luò)是有效的。跳躍網(wǎng)絡(luò)和基于層的非監(jiān)督學(xué)習(xí)的目標(biāo)函數(shù)有效的把自動(dòng)編碼轉(zhuǎn)化為了級(jí)聯(lián)的隱形變量模型,這種模型適合用于半監(jiān)督學(xué)習(xí),經(jīng)過實(shí)驗(yàn)訓(xùn)練在現(xiàn)有數(shù)據(jù)集均取得最好結(jié)果。半監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)提供了廣闊的研究空間,在學(xué)習(xí)模式有更多創(chuàng)新。

4.4 深度強(qiáng)化學(xué)習(xí)——跨領(lǐng)域融合的人工智能決策算法

高級(jí)人工智能領(lǐng)域中,感知能力和決策能力都是衡量智能水平的重要指標(biāo)。強(qiáng)化學(xué)習(xí)能夠直接輸入高維感知以做出決策控制智能體(agent),但需要依賴人工提取特征;深度學(xué)習(xí)具有強(qiáng)感知能力,但缺乏一定的決策能力。因此,將兩者結(jié)合,優(yōu)勢(shì)互補(bǔ),達(dá)到合作共贏的效果。深度強(qiáng)化學(xué)習(xí)是一種更接近人類思維方式的人工智能方法。2013年[20]深智團(tuán)隊(duì)提出的深度Q網(wǎng)絡(luò)(deep Q network,DQN),是將卷積神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)結(jié)合,并集成經(jīng)驗(yàn)回放技術(shù)實(shí)現(xiàn)的,實(shí)現(xiàn)了端對(duì)端的學(xué)習(xí)控制。深度Q網(wǎng)絡(luò)是深度強(qiáng)化學(xué)習(xí)領(lǐng)域的具開創(chuàng)性意義的工作。2014年[21]Guo等提出將蒙特卡羅樹搜索與深度Q網(wǎng)絡(luò)結(jié)合,實(shí)現(xiàn)了Atari游戲的實(shí)時(shí)處理,游戲表現(xiàn)也普遍高于原始DQN網(wǎng)絡(luò)。深度強(qiáng)化學(xué)習(xí)具有很強(qiáng)的時(shí)間依賴性,遞歸神經(jīng)網(wǎng)絡(luò)適合處理與時(shí)間序列相關(guān)的問題,因此強(qiáng)化學(xué)習(xí)與遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)合也是深度強(qiáng)化學(xué)習(xí)的主要形式。2015年[22]Hausknecht等結(jié)合LSTM提出了深度遞歸Q網(wǎng)絡(luò)(DRQN),在缺失若干幀的數(shù)據(jù)中也取得很好的實(shí)驗(yàn)結(jié)果,魯棒性更好。2016年,深智團(tuán)隊(duì)提出了基于DRL的計(jì)算機(jī)圍棋程序——初奕號(hào),成為深度強(qiáng)化學(xué)習(xí)的典型應(yīng)用。深度強(qiáng)化學(xué)習(xí)在游戲、智能駕駛、機(jī)器人、智能制造等領(lǐng)域還有待深入研究。

4.5 基于可視化的理論研究

深度學(xué)習(xí)的成功背后缺乏深入理論研究的支撐。深度學(xué)習(xí)的學(xué)習(xí)過程是端對(duì)端的“黑箱”操作過程,對(duì)于隱層的學(xué)習(xí)過程,學(xué)習(xí)效果都無法監(jiān)控和評(píng)估,網(wǎng)絡(luò)模型出現(xiàn)問題主要還是通過調(diào)節(jié)外部參數(shù)來試探性的解決,這樣的學(xué)習(xí)模式,對(duì)于理解和提升網(wǎng)絡(luò)性能是不利的,雖然深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)模擬大腦皮層推斷分析數(shù)據(jù)的復(fù)雜層狀網(wǎng)絡(luò)結(jié)構(gòu),但對(duì)于其學(xué)習(xí)的本質(zhì)還是未知的。為了研究深度學(xué)習(xí)的學(xué)習(xí)本質(zhì),2013年[23]提出可視化理解卷積神經(jīng)網(wǎng)絡(luò)。通過可視化顯示每一隱層學(xué)到的特征,然后調(diào)整網(wǎng)絡(luò)提高精度?？梢暬椒▽?duì)于深入理解網(wǎng)絡(luò)具有重要意義,主要有以下幾種方法:可視化激活層、可視化權(quán)重、圖像檢索最大化激活神經(jīng)元、用t-SNE嵌入代碼等。

5 深度學(xué)習(xí)發(fā)展展望

雖然深度學(xué)習(xí)在應(yīng)用中取得了很多成績(jī),但是仍存在很多局限:理論研究缺乏、無監(jiān)督學(xué)習(xí)能力弱、缺少邏輯推理和記憶能力等。

深度學(xué)習(xí)的研究多是基于實(shí)驗(yàn)訓(xùn)練進(jìn)行的,但是對(duì)其內(nèi)部原理,學(xué)習(xí)本質(zhì)研究很少?，F(xiàn)在的研究多是在網(wǎng)絡(luò)架構(gòu)、參數(shù)選擇等方面,而且深度學(xué)習(xí)得到的結(jié)果使局部最優(yōu)解,并不是全局最優(yōu)解,還有進(jìn)一步提升空間,也需要更加完備深入的理論支撐其發(fā)展。

目前主流應(yīng)用還是以監(jiān)督學(xué)習(xí)為主的,但在實(shí)際生活中,無標(biāo)簽未知的數(shù)據(jù)占主體,所以更應(yīng)該應(yīng)用可以發(fā)現(xiàn)事物內(nèi)在關(guān)系的無監(jiān)督學(xué)習(xí),但無監(jiān)督學(xué)習(xí)未取得突破性的成果,未來還有更廣闊的發(fā)展空間。

深度學(xué)習(xí)是人工智能發(fā)展的巨大推力,但是深度學(xué)習(xí)現(xiàn)階段更側(cè)重于處理數(shù)據(jù),在智能方向發(fā)展較少,如記憶能力和邏輯推理能力,在面對(duì)復(fù)雜現(xiàn)實(shí)任務(wù)時(shí),預(yù)測(cè)和存儲(chǔ)包含信息序列的內(nèi)容是必要的,這也將成為未來深度學(xué)習(xí)的一個(gè)研究方向。

深度學(xué)習(xí)對(duì)未來社會(huì)發(fā)展仍將具有重要意義,需要不斷深入研究,多方向多角度更全面的開發(fā)深度學(xué)習(xí)的潛在價(jià)值。

[1] HINTON G E, SALAKHUTDINOV R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science,2006,313(5786):504-507.

[2] SILVER D, HUANG A, MADDISON C, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature,2016,529(7587):484-489.

[3] 尹寶才,王文通,王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報(bào),2015,1:48-59.

[4] Rumelhart D, Hinton G, Williams R. Learning representations by back-propagating errors[J]. Nature,1986,323(6088):533-536.

[5] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Advances in Neural Information Processing Systems. Lake Tahoe: MIT Press,2012:1097-1105.

[6] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]//ar Xiv preprint. 2015. ar Xiv:1409.1556[cs.CV].

[7] MOHAMED A, DAHL G E, HINTON G. Acoustic modeling using deep belief networks[J]. IEEE Transactions on Audio, Speech, and Language Processing,2012,20(1):14-22.

[8] FENG X, ZHANG Y, GLASS J. Speech feature denoising and dereverberation via deep autoencoders for noisy reverberant speech recognition[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Florence: IEEE,2014:1759-763.

[9] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]. The Journal of Machine Learning Research,2010,11(11):3371-3408.

[10] GRAVERS A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver: IEEE,2013:6645-6649.

[11] Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting[J]. Journal of Machine Learning Research,2014,15:1929-1958.

[12] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE,1998,86(11):2278-2324.

[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for largescale image recognition[EB/OL]//ar Xiv preprint. 2015. ar Xiv:1409.1556[cs.CV].

[14] HE K M, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE,2016.

[15] Justin Johnson, Andrej Karpathy, Li Fei-Fei. DenseCap: Fully Convolutional Localization Networks for Dense Captioning[DB/OL]. http://cs.stanford.edu/people/karpathy/densecap.pdf.

[16] VINCENT P, LAROCHELLE H, BENGIO Y, et al. Extracting and composing robust features with denoising autoencoders[C]//Proceedings of the 25th International Conference on Machine Learning. Helsinki: ACM,2008:1096-1103.

[17] RIFAI S, VINCENT P, MULLER X, et al. Contractive auto-encoders: Explicit invariance during feature extraction[C]//Pro-ceedings of the 28th International Conference on Machine Learning. Bellevue: ACM,2011:833-840.

[18] GRAVERS A, MOHAMED A, HINTON G. Speech recognition with deep recurrent neural networks[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Vancouver: IEEE,2013:6645-6649.

[19] Rasmus, Antti, Valpola, et al. Tapani. Semi-supervised learning with ladder network. ar Xiv preprint ar Xiv:1507.02672,2015.

[20] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing atari with deep reinforcement learning[C]//Proceedings of the NIPS Workshop on Deep Learning. Lake Tahoe: MIT Press,2013.

[21] GUO X, SINGH S, LEE H, et al. Deep learning for real-time Atari game play using offline Monte-Carlo tree search planning[C]//Advances in Neural Information Processing Systems. Montreal: MIT Press,2014:3338-3346.

[22] MNIH V, KAVUKCUOGLU K, SILVER D, et al. Human-level control through deep reinforcement learning[J]. Nature,2015,518(7540):529-533.

[23] Matthew D Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks[J]. ar Xiv:1311.2901,2013.

[24] HINTON G E. To Recognize Shapes, First Learn to Generate Images[C]//Computational Neuro science: Theoretical Insights into Brain Function. Elsevier,2006-10-26.

[25] Yann Lecun, Yoshua Bengio, Geoffrey Hinton. Deep Learning[J]. Nature,2015,521:436-444.

[26] 郭麗麗,丁世飛.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)科學(xué),2015,5:28-33.

[27] 余凱,賈磊,陳雨強(qiáng),等.深度學(xué)習(xí)的昨天、今天和明天[J].計(jì)算機(jī)研究與發(fā)展,2013,9:1799-1804.

[28] Geoffrey Hinton. Where do features come from?[J]. Cognitive Science,38(6):1078-1101.

[29] Andrej Karpathy, Li Fei-Fei. Deep Visual-Semantic Alignments for Generating Image Descriptions[DB/OL]. http://cs.stanford.edu/people/karpathy/cvpr2015.pdf.

[30] Geofrrey Hinton, Oriol Vinyals, Jeff Dean. Distilling the Knowledge in a Neural Network[DB/OL]. http://www.cs.toronto.edu/～hinton/absps/distillation.pdf.

[31] ABDEL-HAMID O, MOHAMED A, JIANG H, et al. Convolutional neural networks for speech recognition[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing,2014,22(10):1533-1545.

[32] 趙冬斌,邵坤,朱圓恒,等.深度強(qiáng)化學(xué)習(xí)綜述:兼論計(jì)算機(jī)圍棋的發(fā)展[J].控制理論與應(yīng)用,2016,6:701-717.

[33] CARLSON B A, CLEMENTS M A. A projection-based likelihood measure for speech recognition in noise[J]. IEEE Transactions on Speech and Audio Processing,1994,2(1):97-102.

[34] OUYANG W, ZENG X, WANG X. Learning mutual visibility relationship for pedestrian detection with a deep model[J]. International Journal of Computer Vision, 2016, DOI: 10.1007/s11263-016-0890-9.

[35] PINHEIRO P, COLLOBERT R. Recurrent convolutional neural networks for scene labeling[C]//Proceedings of the 31nd International Conference on Machine Learning. Beijing: ACM,2014:82-90.

Review of Deep Learning Development

HOU Yuqingyang QUAN Jicheng WANG Hongwei

(The Aviation University of Airforce, Changchun 130000)

Considering deep learning’s value of researching and applying and the importance in academic and industry area, this paper reviews the main stream deep learning network models and gives theirs introduction. First, the history of deep learning is introduced. According to applying research, four deep learning network of the main streams are introduced. Second, the developing state of current deep learning is summarizedfrom five aspects which are network performance improvement, net system development, the new learning model to explore, deep reinforce learning and visualization theory research. Last, development prospect of deep learning comes up. Although deep learning outperform other methods abviously in different fields, there are still some issues needed to be solved, such as intelligence of deep learning improvement, raising the utilization ratio of data without labels.

deep learning, convolution neural network, semi-supervised learning, deep reinforce learning, artificial intelligence

2016年10月8日,

2016年11月29日

侯宇青陽,女,碩士研究生,研究方向:控制科學(xué)與工程、圖像處理、模式識(shí)別。全吉成,男,博士研究生,研究方向:圖像處理,人工智能。王宏偉,男,博士研究生,研究方向:圖像處理,人工智能,虛擬現(xiàn)實(shí)。

TP18

10.3969/j.issn.1672-9730.2017.04.002