幾種神經(jīng)網(wǎng)絡(luò)經(jīng)典模型綜述①

黃東瑞 毛克彪 郭中華 徐樂園 胡澤民 趙 瑞

(*寧夏大學(xué)物理與電子電氣工程學(xué)院 銀川 750021)

(**中國農(nóng)業(yè)科學(xué)院農(nóng)業(yè)資源與農(nóng)業(yè)區(qū)劃研究所 北京 100081)

0 引言

深度學(xué)習(xí)是機器學(xué)習(xí)的重要分支,近年來受到眾多行業(yè)的普遍關(guān)注。如今,深度學(xué)習(xí)已經(jīng)在圖像分類、自然語言識別、語音識別、語義分割等多個領(lǐng)域得到廣泛的應(yīng)用并且產(chǎn)生了令人滿意的效果,甚至在某些方面的表現(xiàn)已經(jīng)超過人類。深度學(xué)習(xí)之所以能夠發(fā)揮如此強大的作用,與數(shù)據(jù)的海量增長、硬件算力的不斷提升、算法的持續(xù)更新是密不可分的。

神經(jīng)網(wǎng)絡(luò)模型作為深度學(xué)習(xí)的重要載體為深度學(xué)習(xí)的快速發(fā)展提供了良好的條件。人工神經(jīng)網(wǎng)絡(luò)受到動物神經(jīng)網(wǎng)絡(luò)系統(tǒng)的啟發(fā)可對大量數(shù)據(jù)進行線性學(xué)習(xí),而后引入激活函數(shù)增強其非線性表達能力,進而結(jié)合反向傳播算法使其對圖像、語音等數(shù)據(jù)具有強大的學(xué)習(xí)能力。隨著數(shù)字化網(wǎng)絡(luò)化進程的不斷加快,圖像、語音、文字等數(shù)據(jù)量的爆發(fā)式增長為人工神經(jīng)網(wǎng)絡(luò)提供了海量的可學(xué)習(xí)數(shù)據(jù)。中央處理器(central processing unit,CPU)、圖形處理器(graphics processing unit,GPU)、時間處理單元(time processing unit,TPU)、現(xiàn)場可編程門陣列(field-programble gate array,FPGA)等硬件設(shè)備計算能力的快速增長使得神經(jīng)網(wǎng)絡(luò)模型可實現(xiàn)對大量數(shù)據(jù)的高效計算。隨機梯度下降(stochastic gradient descent,SGD)、Momentum、自適應(yīng)梯度下降(adaptive gradient descent,AdaGrad)、均方根傳播(root mean square propagation,RMSProp)等算法的不斷涌現(xiàn)使得神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)出更加優(yōu)異的性能。因此,神經(jīng)網(wǎng)絡(luò)模型逐漸可以解決現(xiàn)實世界中許多復(fù)雜的問題,更靠近真正意義上的人工智能。

現(xiàn)有深度學(xué)習(xí)綜述文獻多是以單個神經(jīng)網(wǎng)絡(luò)或單一領(lǐng)域進行綜述,對深度學(xué)習(xí)領(lǐng)域的其他經(jīng)典模型、應(yīng)用領(lǐng)域少有提及。由于神經(jīng)網(wǎng)絡(luò)經(jīng)典模型是大量變體模型的基礎(chǔ),因此本綜述對神經(jīng)網(wǎng)絡(luò)經(jīng)典模型進行較為全面、詳盡的闡述并梳理出了各經(jīng)典模型的內(nèi)在聯(lián)系,旨在為初入深度學(xué)習(xí)領(lǐng)域的研究人員了解神經(jīng)網(wǎng)絡(luò)經(jīng)典模型提供一條高效的路徑。

1 發(fā)展概述

1943 年,MP 模型[1]被首次提出,表明對人工神經(jīng)網(wǎng)絡(luò)的研究正式拉開序幕。1949 年,具有重大歷史意義的無監(jiān)督學(xué)習(xí)方法——赫布(Hebb)規(guī)則的提出,成為發(fā)展神經(jīng)網(wǎng)絡(luò)研究的堅實基礎(chǔ)。20 世紀50 年代末,一種類似于人類學(xué)習(xí)過程的算法——感知器的產(chǎn)生對人工神經(jīng)網(wǎng)絡(luò)的發(fā)展具有無可替代的重大意義。1958 年,最簡單的雙層人工神經(jīng)網(wǎng)絡(luò)被正式提出。但在1969 年,人們發(fā)現(xiàn)感知器(Perceptron)無法解決非線性分類問題。因此從20 世紀70年代開始的近20 年里,人工神經(jīng)網(wǎng)絡(luò)的研究幾乎未取得任何實質(zhì)性進展,使其進入了第1 個低谷期(圖1)。

圖1 深度學(xué)習(xí)發(fā)展歷程

1982 年,一種具有存儲功能的循環(huán)神經(jīng)網(wǎng)絡(luò)——Hopfield 神經(jīng)網(wǎng)絡(luò)[2]被首次提出,但其易陷入局部極小點的問題一直未得到很好的解決,因此該網(wǎng)絡(luò)并未受到足夠的重視。直到1986 年,反向傳播(back propagation,BP)算法[3]的提出使得線性不可分問題得到了有效的緩解,學(xué)術(shù)界再度對人工神經(jīng)網(wǎng)絡(luò)產(chǎn)生極大的興趣。但受當(dāng)時硬件算力水平的影響,梯度消失問題會隨神經(jīng)網(wǎng)絡(luò)規(guī)模的增大而產(chǎn)生,嚴重影響了BP 算法的發(fā)展。另外20 世紀90 年代中期,人們提出了一類與人工神經(jīng)網(wǎng)絡(luò)原理截然不同的算法——淺層機器學(xué)習(xí),使得機器學(xué)習(xí)問題得到了較好的解決。因此對深度學(xué)習(xí)的研究再一次陷入低谷。

2006 年,深度學(xué)習(xí)[4]的概念被正式提出,人們通過無監(jiān)督學(xué)習(xí)正向傳播與有監(jiān)督學(xué)習(xí)反向傳播相結(jié)合的策略有效地緩解了梯度消失問題。學(xué)術(shù)界和工業(yè)界對深度學(xué)習(xí)方法的提出反應(yīng)非常劇烈,先是以眾多世界知名高校為首的科研團隊對其進行研究,隨后許多企業(yè)也在深度學(xué)習(xí)領(lǐng)域進行了部署。2012 年,神經(jīng)網(wǎng)絡(luò)模型AlexNet[5]在ImageNet 競賽(ILSVRC)中以錯誤率15%的佳績一舉奪得該年度冠軍。其中,ReLU 激活函數(shù)和GPU 的使用分別在緩解梯度消失問題和提高硬件算力問題上起到了重要作用。2016 年,在李世石和AlphaGo[6]的比賽中,李世石以1 ∶4 不敵AlphaGo,并且AlphaGo 又在后來的多場人機圍棋比賽中完勝人類對手,深度學(xué)習(xí)一時間備受關(guān)注。2017 年,AlphaGo Zero[7]被提出,并以100 ∶0 完勝此前的AlphaGo。同年,深度學(xué)習(xí)在無人駕駛、藝術(shù)、醫(yī)療、金融等領(lǐng)域得到了廣泛的應(yīng)用。

2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)是前饋神經(jīng)網(wǎng)絡(luò)的一類特殊模型,也是深度學(xué)習(xí)算法中使用較為廣泛的一類神經(jīng)網(wǎng)絡(luò)模型[8],如圖2 所示。此類神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享[9]特點是受到動物視覺神經(jīng)網(wǎng)絡(luò)系統(tǒng)的啟發(fā)而產(chǎn)生的,有效增強了模型的魯棒性,降低了網(wǎng)絡(luò)的計算復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理、語音分析和圖像識別等領(lǐng)域使用十分廣泛并且取得了顯著的成果。

圖2 卷積神經(jīng)網(wǎng)絡(luò)示意圖

2.1 模型介紹

卷積神經(jīng)網(wǎng)絡(luò)中的“卷積”一詞是由LeCun 等人[10]在對其網(wǎng)絡(luò)結(jié)構(gòu)進行介紹時提出的。為識別手寫體數(shù)字,LeCun 等人[10]于1998 年開發(fā)了名為LeNet-5 的卷積神經(jīng)網(wǎng)絡(luò)。卷積層+池化層+卷積層+池化層+全連接層+全連接層+輸出層是LeNet-5 的網(wǎng)絡(luò)結(jié)構(gòu),LeNet-5 網(wǎng)絡(luò)規(guī)模并不大,但是全連接層、卷積層、池化層等基本模塊是后續(xù)各類卷積神經(jīng)網(wǎng)絡(luò)的重要組成部件,其網(wǎng)絡(luò)結(jié)構(gòu)的排列方式也對后來的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)產(chǎn)生了一定的影響。

2.2 原理分析

在全連接神經(jīng)網(wǎng)絡(luò)中,若第k層有Mk個神經(jīng)元,第k-1 層有Mk-1個神經(jīng)元,則連接邊有Mk×Mk-1個,即權(quán)值矩陣包括Mk×Mk-1個元素。當(dāng)Mk和Mk-1都很大時,權(quán)值矩陣的元素數(shù)量劇增,網(wǎng)絡(luò)訓(xùn)練的效率驟然降低。若采用卷積來代替全連接,第l層的凈輸入z(l)主要為第l-1 層輸出值a(l-1)和卷積核w(l)∈RK的卷積,即:

其中卷積核w(l)∈RK為可學(xué)習(xí)的權(quán)值向量,b(l)∈R 為可學(xué)習(xí)的偏置。卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點有:局部連接和權(quán)值共享方法有效降低了權(quán)值矩陣所含元素數(shù)量,同時卷積核在提取數(shù)據(jù)信息時受數(shù)據(jù)位置平移的影響明顯減小,使得網(wǎng)絡(luò)的泛化能力顯著增強;池化運算進一步降低網(wǎng)絡(luò)參數(shù)量,在減少網(wǎng)絡(luò)計算量的同時更降低了輸入數(shù)據(jù)位置變化對網(wǎng)絡(luò)的影響,有效提升了網(wǎng)絡(luò)的魯棒性;相較于傳統(tǒng)機器學(xué)習(xí),該網(wǎng)絡(luò)無需進行復(fù)雜的特征工程,并且網(wǎng)絡(luò)的輸入數(shù)據(jù)可以是高維的。

2.3 網(wǎng)絡(luò)訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)通常是由輸入層、卷積層、激活層、池化層、全連接層、輸出層組合而成。整個網(wǎng)絡(luò)的運行過程為:原始數(shù)據(jù)由輸入層輸入網(wǎng)絡(luò),卷積層提取輸入數(shù)據(jù)特征得到特征圖,池化層對其進行池化采樣,實現(xiàn)了對特征圖的降維操作。特征圖經(jīng)由激活函數(shù)映射,為網(wǎng)絡(luò)引入非線性特征,增強網(wǎng)絡(luò)的表達能力。全連接層采用線性特征映射進行信息匯總,匯總信息通過輸出層輸出結(jié)果,用于解決分類、回歸等機器學(xué)習(xí)問題。前向傳播和反向傳播是一般卷積神經(jīng)網(wǎng)絡(luò)的2 個訓(xùn)練階段。具體訓(xùn)練過程如圖3所示。

圖3 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程圖

卷積神經(jīng)網(wǎng)絡(luò)的一般訓(xùn)練過程為:(1)初始化網(wǎng)絡(luò)參數(shù);(2)輸入數(shù)據(jù)由隱藏層處理后,經(jīng)前向傳播得到輸出值;(3)得到實際值和輸出值的差值;(4)在差值大于閾值時,求得網(wǎng)絡(luò)各參數(shù)對于總誤差的梯度,并參考梯度的大小對相應(yīng)參數(shù)進行調(diào)整;(5)返回步驟(2)繼續(xù)訓(xùn)練,直到差值不大于閾值時,網(wǎng)絡(luò)訓(xùn)練過程結(jié)束。

2.4 模型改進

卷積神經(jīng)網(wǎng)絡(luò)也有其不足之處:輸入數(shù)據(jù)的尺寸必須一致,否則將難以進行訓(xùn)練;該網(wǎng)絡(luò)無記憶、存儲功能,對視頻、語音、文本等序列數(shù)據(jù)處理能力較差;當(dāng)網(wǎng)絡(luò)的規(guī)模不斷增大時模型極易發(fā)生梯度消失等問題。當(dāng)然,隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,不斷涌現(xiàn)出諸多優(yōu)秀的改進模型。AlexNet 于2012 年所提出的網(wǎng)絡(luò)架構(gòu),如圖4 所示。該模型在ILSVRC-2012 大賽圖像分類任務(wù)中,以前5 錯誤率15.3%的優(yōu)異成績奪得冠軍,并且遠超錯誤率為26.2%的第2 名。該模型的成功應(yīng)用使人們對CNN 乃至深度學(xué)習(xí)產(chǎn)生了強烈的興趣。

圖4 AlexNet 結(jié)構(gòu)示意圖

該網(wǎng)絡(luò)架構(gòu)比LeNet-5 略復(fù)雜一些,有5 個卷積層和3 個全連接層,在第1、2、5 個卷積層有最大池化層緊隨其后,用來降低輸入數(shù)據(jù)維度、提高模型魯棒性。使用ReLU 激活函數(shù)進一步增強了網(wǎng)絡(luò)非線性表達能力,有效加快了網(wǎng)絡(luò)訓(xùn)練速度、抑制梯度消失問題。在硬件上使用2 塊GTX580 GPU 大幅提升了網(wǎng)絡(luò)的計算速度。該項研究還提出了一系列行之有效的神經(jīng)網(wǎng)絡(luò)編寫技巧,例如提出了局部響應(yīng)歸一化來提高網(wǎng)絡(luò)準確率增強模型的泛化能力、采用了數(shù)據(jù)增強方法顯著擴充數(shù)據(jù)集、使用了Dropout[11]打破神經(jīng)元間的聯(lián)合依賴性來共同抑制網(wǎng)絡(luò)過擬合。相比于LeNet-5,其準確率得到了進一步提升。除了AlexNet 還有ZFNet(Zeiler&Fergus network)[12]、VGG (visual geometry group)[13]、GoogLeNet[14]、殘差網(wǎng)絡(luò)(residual network,Res-Net)[15]等改進模型。相關(guān)內(nèi)容如表1 所示,其模型詳細內(nèi)容可參考文獻[16]。

表1 卷積神經(jīng)網(wǎng)絡(luò)改進模型對照表

3 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)是遞歸神經(jīng)網(wǎng)絡(luò)中的一類特殊模型,該模型節(jié)點均采用鏈式連接,而且沿著序列的演進方向進行遞歸。該網(wǎng)絡(luò)的記憶功能可有效地將歷史信息與當(dāng)前信息進行綜合處理。一般神經(jīng)網(wǎng)絡(luò)都是同時對輸入數(shù)據(jù)進行處理的,無法高效地處理具有序列特征的數(shù)據(jù)。RNN 網(wǎng)絡(luò)結(jié)構(gòu)非常適合處理序列數(shù)據(jù),可從序列輸入數(shù)據(jù)中提取出有效的特征信息。RNN 在時序分析、自然語言處理、機器翻譯以及語音識別等領(lǐng)域都有著非凡的表現(xiàn)。

3.1 模型介紹

為解決語音處理問題,Elman[17]于1990 年開發(fā)了Elman神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)也是首個全連接循環(huán)神經(jīng)網(wǎng)絡(luò)。為使Elman 神經(jīng)網(wǎng)絡(luò)具有記憶功能,該網(wǎng)絡(luò)在隱藏層中多增加了一個延時模塊——承接層。該網(wǎng)絡(luò)顯著的特點是具有局部記憶功能和局部反饋連接。Elman 神經(jīng)網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)發(fā)展提供了一個良好的基礎(chǔ),后來又開發(fā)出了長短期記憶網(wǎng)絡(luò)(long short-term memory network,LSTM)、門控循環(huán)單元(gated recurrent unit,GRU)等優(yōu)秀的改進模型。

循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖如圖5 所示,右側(cè)是左側(cè)的展開圖。循環(huán)神經(jīng)網(wǎng)絡(luò)是序列從左到右的一個過程,可看作是循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展模式。I代表輸入值,t是當(dāng)前時刻,t-1 是上一時刻,t+1 是下一時刻。O代表輸出值。這表明隱藏層的值Ht綜合了當(dāng)前的輸入值It和前一時刻隱藏層狀態(tài)Ht-1的信息。

圖5 循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖

3.2 原理分析

簡單循環(huán)神經(jīng)網(wǎng)絡(luò)在時刻t的更新公式為

其中zt為隱藏層的凈輸入,U∈RD×D為狀態(tài)-狀態(tài)權(quán)值矩陣,w∈RD×M為狀態(tài)-輸入權(quán)值矩陣,b∈RD為偏置向量,f(·) 是非線性激活函數(shù)。式(2)和式(3)也經(jīng)常直接寫為

循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)點為:理論上不限制序列輸入數(shù)據(jù)長度;模型形狀具有很好的穩(wěn)定性;計算考慮了歷史信息,具有記憶功能;權(quán)值隨時間共享。

3.3 網(wǎng)絡(luò)訓(xùn)練

循環(huán)神經(jīng)網(wǎng)絡(luò)一般包括輸入層、隱藏層、承接層和輸出層。整個網(wǎng)絡(luò)的運行過程為:序列數(shù)據(jù)由輸入層傳入網(wǎng)絡(luò),隱藏層對數(shù)據(jù)進行信息提取、降維、非線性映射等操作,所獲得信息由承接層將其進行延時操作與下一時刻的輸入值共同輸入網(wǎng)絡(luò)參與下一時刻數(shù)據(jù)處理,沿序列演進方向如此往復(fù)行進。輸出層輸出的信息必將是當(dāng)前時刻和之前所有歷史輸入值的綜合信息,從而使循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶功能。前向傳播和隨時間反向傳播是一般循環(huán)神經(jīng)網(wǎng)絡(luò)的2 個訓(xùn)練階段。循環(huán)神經(jīng)網(wǎng)絡(luò)的一般訓(xùn)練過程為:(1)初始化網(wǎng)絡(luò)參數(shù);(2)輸入數(shù)據(jù)由隱藏層處理后,經(jīng)前向傳播得到輸出值,同時將輸出值傳入承接層與下一時刻數(shù)據(jù)再次輸入網(wǎng)絡(luò)進行數(shù)據(jù)處理,沿序列演進方向如此往復(fù)行進;(3)計算輸出值與實際值之間的差值;(4)當(dāng)誤差大于閾值時,求得網(wǎng)絡(luò)各參數(shù)對于總誤差的梯度,并參考梯度的大小對各個參數(shù)進行調(diào)整;(5)返回步驟(2)繼續(xù)訓(xùn)練,直到誤差不大于閾值時,網(wǎng)絡(luò)訓(xùn)練過程結(jié)束。

3.4 模型改進

循環(huán)神經(jīng)網(wǎng)絡(luò)也有其不足之處:計算速度慢;難以獲取長期歷史信息;無法考慮當(dāng)前狀態(tài)與未來輸入信息之間的聯(lián)系;易出現(xiàn)梯度消失等問題。隨著循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展,研究人員開發(fā)出大量優(yōu)秀的改良模型。LSTM 首先是由Hochreiter 和Schmidhuber[18]于1997 年提出的網(wǎng)絡(luò)構(gòu)架,后經(jīng)Graves 改良與推廣,如今已被廣泛的應(yīng)用于語音識別、機器翻譯等領(lǐng)域。由于其引入“門”的概念,使其擁有優(yōu)異的序列數(shù)據(jù)學(xué)習(xí)能力,為后續(xù)RNN 模型改進提供了明確的方向。其模型結(jié)構(gòu)如圖6 所示。

圖6 LSTM 結(jié)構(gòu)示意圖

相較于之前的RNN 網(wǎng)絡(luò)結(jié)構(gòu),該模型由遺忘門+輸入門+輸出門的門控單元組合而成。該網(wǎng)絡(luò)結(jié)構(gòu)理論上可處理任意長序列數(shù)據(jù),可遺忘無效信息實現(xiàn)上下文有效信息存儲和更新,進而使長短期記憶有機結(jié)合,有效緩解了長期依賴、梯度消失等問題。除了LSTM 還有深度門限LSTM[19]、簡單循環(huán)單元(simple recurrent unit,SRU)[20]、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(bidirectional recurrent neural network,BRNN)[21]、GRU[22]、GRU-D(GRU with decay)[23]等改進模型。相關(guān)內(nèi)容如表2 所示,其模型詳細內(nèi)容可參考文獻[24]。

表2 循環(huán)神經(jīng)網(wǎng)絡(luò)改進模型對照表

4 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(generative adversarial network,GAN)在結(jié)構(gòu)上采用隱性對抗來替代數(shù)學(xué)上的顯性表示,并且該網(wǎng)絡(luò)模型訓(xùn)練的可收斂性在數(shù)學(xué)上已經(jīng)得到了一定程度證明,模型結(jié)構(gòu)如圖7 所示。近年來,該神經(jīng)網(wǎng)絡(luò)已成為無監(jiān)督學(xué)習(xí)中最具前景的方法之一。GAN 可在不設(shè)置任何前提條件的情況下生成real-like 樣本,有效擺脫了神經(jīng)網(wǎng)絡(luò)模型對有監(jiān)督學(xué)習(xí)方式的依賴,降低了模型訓(xùn)練成本。GAN 最直接的應(yīng)用是數(shù)據(jù)生成,同時在圖像翻譯、視頻生成和自然語言處理等領(lǐng)域都有應(yīng)用。

4.1 模型介紹

Goodfellow 等人[25]于2014 年開發(fā)出了以對抗方式進行模型訓(xùn)練的神經(jīng)網(wǎng)絡(luò)新框架——GAN。在整個訓(xùn)練過程中可以對捕獲數(shù)據(jù)分布的生成器G和判斷數(shù)據(jù)是否為真的判別器D 進行訓(xùn)練。訓(xùn)練好的GAN 模型包含性能良好的生成器和判別器,因此使得人工神經(jīng)網(wǎng)絡(luò)具有了創(chuàng)造能力。GAN 為后續(xù)許多優(yōu)異的改進網(wǎng)絡(luò)模型打下了堅實的基礎(chǔ),為深度學(xué)習(xí)的發(fā)展做出了重大貢獻。

4.2 原理分析

GAN 網(wǎng)絡(luò)模型可以由CNN、RNN 等人工神經(jīng)網(wǎng)絡(luò)中的一種或多種共同組成,實現(xiàn)相應(yīng)功能即可。判別器D 本質(zhì)上是一種二分類的分類器,其目標是對輸入樣本x進行分類并形成真實樣本分布Pr(x)和生成樣本分布Pθ(x)。若用y=1 代表來自真實樣本,用y=0 代表來自生成樣本。判別器D(x;φ)的判斷輸入樣本x屬于真實樣本的分布概率為

則輸入樣本x屬于生成樣本的分布概率為

其中θ和φ分別是生成器和判別器的參數(shù)。生成對抗網(wǎng)絡(luò)的優(yōu)點有:(1)無需大量有標簽訓(xùn)練樣本,降低訓(xùn)練成本;(2)訓(xùn)練時無需推斷隱變量;(3)生成器可用于機器創(chuàng)作;(4)判別器可用于機器分類。

4.3 網(wǎng)絡(luò)訓(xùn)練

生成器G 將真實樣本中的元素與隨機噪聲進行組合,生成盡可能逼近真實數(shù)據(jù)的假樣本來欺騙判別器D。判別器D 通過對輸入樣本真?zhèn)蔚呐袛嘟Y(jié)果來優(yōu)化網(wǎng)絡(luò)模型。若判別器D 能夠準確判斷出輸入樣本的真?zhèn)?則需要調(diào)節(jié)生成器G 參數(shù)使其盡可能生成仿真度更高的假樣本;若判別器D 總是難以準確判斷出輸入樣本的真?zhèn)?則需要調(diào)整判別器D 參數(shù)使其盡可能做出準確的判斷。這樣判別器D和生成器G 之間就會形成一種相互對抗。其最為理想的結(jié)果是判別器D 已經(jīng)無法判斷真?zhèn)?此時即可產(chǎn)生一個可以用于機器創(chuàng)作的高質(zhì)量生成器和一個可以用于機器分類的高水平分類器。生成對抗網(wǎng)絡(luò)的2 個訓(xùn)練階段分別為:判別器訓(xùn)練階段和生成器訓(xùn)練階段。該網(wǎng)絡(luò)的一般訓(xùn)練過程為:(1)初始化各網(wǎng)絡(luò)模型的參數(shù);(2)分別從真實樣本集和生成樣本集中取出相同數(shù)量的n個樣本,鎖定生成器G 參數(shù)先對判別器D 進行k次訓(xùn)練,根據(jù)相應(yīng)誤差梯度對判別器D 各參數(shù)進行調(diào)節(jié);(3)判別器D 進行k次訓(xùn)練結(jié)束之后,再對生成器G 進行一次更新,根據(jù)相應(yīng)誤差梯度對生成器G 各參數(shù)進行更新;(4)經(jīng)過若干輪更新迭代后,若可使判別器D 的判斷概率達到0.5,即無法區(qū)分輸入樣本的真?zhèn)?方可停止訓(xùn)練。

4.4 模型改進

生成對抗網(wǎng)絡(luò)也有其缺點:對文本等離散數(shù)據(jù)的處理效果不佳;對于較大的圖片不太可控;存在訓(xùn)練不穩(wěn)定、模式崩潰、梯度消失等問題。近年來,不斷有優(yōu)秀的改進模型被提出。條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial network,CGAN)是由Mirza 和Osindero[26]于2014 年提出的網(wǎng)絡(luò)模型。該模型以其優(yōu)異的性能在圖像生成、圖像修復(fù)等領(lǐng)域得到相關(guān)人員的廣泛關(guān)注與好評。該模型也為GAN 的改進提供了一個很好的思路。其模型結(jié)構(gòu)如圖8 所示。

圖8 CGAN 結(jié)構(gòu)示意圖

該模型的主要改進不是在網(wǎng)絡(luò)結(jié)構(gòu)上,而是額外增加了輔助信息作為輸入數(shù)據(jù)的一部分,通過附加參數(shù)與潛在空間影響生成數(shù)據(jù),進而對整個網(wǎng)絡(luò)起到約束的作用,同時有效緩解較大圖片不太可控問題、控制該模型的生成效果。除了CGAN 之外還有深度卷積對抗生成網(wǎng)絡(luò)(deep convolutional generative adversarial network,DCGAN)[27]、雙向生成對抗網(wǎng)絡(luò)(bidirectional generative adversarial network,BiGAN)[28]、Wasserstein生成對抗網(wǎng)絡(luò)(Wasserstein generative adversarial network,WGAN)[29]、梯度懲罰Wasserstein 生成對抗網(wǎng)絡(luò)(Wasserstein generative adversarial network with gradient penalty,WGAN-GP)[30]、邊界平衡生成對抗網(wǎng)絡(luò)(boundary equilibrium generative adversarial network,BEGAN)[31]、輔助分類生成對抗網(wǎng)絡(luò)(auxiliary classifier generative adversarial network,ACGAN)[32]等改進模型。相關(guān)內(nèi)容如表3 所示,其模型詳細內(nèi)容可參考文獻[33]。

表3 生成對抗網(wǎng)絡(luò)改進模型對照表

5 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)(graph neural network,GNN)是在圖結(jié)構(gòu)數(shù)據(jù)處理方面具有絕對優(yōu)勢的一類人工神經(jīng)網(wǎng)絡(luò)模型,其主要的任務(wù)是提取圖結(jié)構(gòu)數(shù)據(jù)中的特征和發(fā)掘其模式,可完成例如聚類、預(yù)測、生成、分割、分類等具體任務(wù)[34]。GNN 把實際問題看作圖中節(jié)點間的連接和信息傳遞,對節(jié)點間的依賴性進行建模,有效實現(xiàn)了對真實世界中非歐式結(jié)構(gòu)數(shù)據(jù)更好的處理。GNN 在軌跡預(yù)測、圖像處理、藥物醫(yī)學(xué)、交通流量、物理化學(xué)和自然語言處理等領(lǐng)域有非凡的表現(xiàn)。除此以外,在網(wǎng)絡(luò)圖分析、知識圖譜與知識庫、信息檢索等領(lǐng)域也有應(yīng)用。

5.1 模型介紹

GNN 是Gori 等人[35]在2005 年首次提出的,其本質(zhì)是用RNN 對節(jié)點進行特征映射和節(jié)點聚合的方式對圖結(jié)構(gòu)數(shù)據(jù)進行處理。GNN 的主體框架由RNN 組成,圖結(jié)構(gòu)數(shù)據(jù)中表示每個節(jié)點的向量式都可由其自身、相鄰節(jié)點和相鄰邊的狀態(tài)通過特征映射后獲得,然后在訓(xùn)練過程中采用反向傳播算法對整個網(wǎng)絡(luò)模型進行優(yōu)化。隨著圖結(jié)構(gòu)數(shù)據(jù)處理需求的不斷增加,傳統(tǒng)算法有很大局限性,而GNN 以其可直接對圖結(jié)構(gòu)數(shù)據(jù)進行處理的特性受到研究人員的普遍關(guān)注。

5.2 原理分析

假設(shè)任意一個圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點集合為v,邊集合為ε,可將此圖表示為G(v,ε)。兩節(jié)點間的依賴關(guān)系可用相應(yīng)邊進行表示,各邊為有向邊還是無向邊可根據(jù)圖所表達的實際情況做出判斷。用一組神經(jīng)元來表示節(jié)點v的狀態(tài)H(v),用節(jié)點v的輸入特征x(v) 來表示初始狀態(tài)。各節(jié)點在綜合相鄰節(jié)點和相鄰邊的消息后,對自身狀態(tài)進行更新。

其中N(v) 表示節(jié)點v的相鄰節(jié)點集合表示在第t時刻節(jié)點v收到的信息,e(u,v) 為對應(yīng)邊上的特征。圖神經(jīng)網(wǎng)絡(luò)的優(yōu)點:可處理結(jié)構(gòu)極其不規(guī)則的非歐幾里得空間數(shù)據(jù);能夠高效地利用樣本實例之間的結(jié)構(gòu)性特征;是認知智能發(fā)展強有力的推理方法。

5.3 網(wǎng)絡(luò)訓(xùn)練

一般的圖神經(jīng)網(wǎng)絡(luò)包括節(jié)點、邊、圖。節(jié)點級任務(wù)為預(yù)測每個節(jié)點的類型;邊級任務(wù)為預(yù)測每個邊的屬性;圖級任務(wù)為預(yù)測整個圖的屬性。給定一個圖,首先將節(jié)點轉(zhuǎn)化為遞歸單元,對所有節(jié)點執(zhí)行n次鄰域聚合;將邊轉(zhuǎn)化為前饋神經(jīng)網(wǎng)絡(luò)進行消息傳遞;對所有節(jié)點的嵌入向量求和來表示圖形的屬性。該網(wǎng)絡(luò)的2 個訓(xùn)練階段分別為前向傳遞階段和反向傳播階段。一般訓(xùn)練過程為:(1)初始化網(wǎng)絡(luò)的參數(shù);(2)輸入數(shù)據(jù)經(jīng)由連接邊前向傳播對所有節(jié)點執(zhí)行n次鄰域聚合得到輸出值;(3)計算輸出值與實際值之間誤差;(4)在誤差大于閾值時,求得網(wǎng)絡(luò)總誤差對各參數(shù)的梯度,并參考梯度大小對相應(yīng)參數(shù)進行調(diào)整;(5)返回第(2)步繼續(xù)訓(xùn)練,直到誤差不大于閾值時,網(wǎng)絡(luò)訓(xùn)練過程結(jié)束。

5.4 模型改進

圖神經(jīng)網(wǎng)絡(luò)的缺點為更新不動點隱藏狀態(tài)低效、原始GNN 無法有效處理邊緣信息等問題。隨著圖神經(jīng)網(wǎng)絡(luò)的發(fā)展,改進模型不斷涌現(xiàn)。分層圖神經(jīng)網(wǎng)絡(luò)(layered graph neural network,LGNN) 是Bandinelli 等人[36]于2010 年提出的網(wǎng)絡(luò)模型,在相關(guān)領(lǐng)域中該模型取得了良好的應(yīng)用效果。該模型為圖神經(jīng)網(wǎng)絡(luò)搭建深層結(jié)構(gòu)提供一條行之有效的途徑,其模型結(jié)構(gòu)如圖9 所示。

圖9 LGNN 結(jié)構(gòu)示意圖

該模型在結(jié)構(gòu)上采用逐層級聯(lián)的方式,并將原始數(shù)據(jù)與上一層輸出數(shù)據(jù)共同作為下一層輸入信息進行處理。該模型使用漸進式學(xué)習(xí)方法,有效緩解長期依賴問題。除了LGNN 外,還有圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional neural network,GCNN)[37]、門控圖神經(jīng)網(wǎng)絡(luò)(gated graph sequence neural network,GGS-NN)[38]、圖注意力網(wǎng)絡(luò)[39]、圖自編碼器[40]、圖生成對抗網(wǎng)絡(luò)(graph generative adversarial network,GraphGAN)[41]、圖分割神經(jīng)網(wǎng)絡(luò)(graph partition neural network,GPNN)[42]、動態(tài)圖神經(jīng)網(wǎng)絡(luò)(dynamic graph neural network,DGNN)[43]、時空圖網(wǎng)絡(luò)[44]等改進模型。相關(guān)內(nèi)容如表4 所示,其模型詳細內(nèi)容可參考文獻[45]。

表4 圖神經(jīng)網(wǎng)絡(luò)改進模型對照表

6 結(jié)論

本文主要對4 種常用神經(jīng)網(wǎng)絡(luò)經(jīng)典模型分別從模型介紹、原理分析、網(wǎng)絡(luò)訓(xùn)練、模型改進4 個方面進行了全面而具體的闡述。每一個經(jīng)典模型的誕生在技術(shù)手段上都給傳統(tǒng)領(lǐng)域帶來了巨大的變化,而改進模型又進行了技術(shù)改良,更有針對性地解決了具體問題,更好地適應(yīng)具體任務(wù),在實際應(yīng)用中發(fā)揮出更大的作用。當(dāng)然,也產(chǎn)生了許多新型的應(yīng)用領(lǐng)域。這些專屬于深度學(xué)習(xí)的領(lǐng)域為人類拓寬了視野、拓展了思維。

卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)分別在空間尺度和時間尺度為深度學(xué)習(xí)的發(fā)展在數(shù)學(xué)原理、模型結(jié)構(gòu)、優(yōu)化方法等方面奠定了堅實基礎(chǔ)。生成對抗網(wǎng)絡(luò)的出現(xiàn)為深度學(xué)習(xí)提供了一個有別于此前的思路:讓模型在相互對抗中得以訓(xùn)練提高。而圖神經(jīng)網(wǎng)絡(luò)是將深度學(xué)習(xí)的適用范圍從人為規(guī)則的歐式數(shù)據(jù)擴展到自然的不規(guī)則的非歐氏數(shù)據(jù),使得深度學(xué)習(xí)進一步貼近人類真實世界。因此,對神經(jīng)網(wǎng)絡(luò)經(jīng)典模型的全面了解更有利于把握深度學(xué)習(xí)的脈絡(luò),也為研究、應(yīng)用深度學(xué)習(xí)提供了較為清晰的指引。

神經(jīng)網(wǎng)絡(luò)隱藏層涉及大量超參數(shù)設(shè)置,往往需要研究人員耐心且認真地調(diào)試。更值得注意的是,隱藏層的設(shè)計目前并沒有一套成熟而可靠的規(guī)則,幾乎都是憑借調(diào)試人員的經(jīng)驗進行的,因此未在本文中重點介紹。深度學(xué)習(xí)的內(nèi)容及其豐富,無法做到面面俱到,涉及到具體領(lǐng)域時,還需進行更加深入和細膩的學(xué)習(xí)。原理部分只能從最簡單的數(shù)學(xué)推導(dǎo)加以說明,不能完全對神經(jīng)網(wǎng)絡(luò)的運行機制進行合理的解釋,這也是深度學(xué)習(xí)無法在一些特殊領(lǐng)域、特殊場景中使用的主要原因?？山忉屝砸恢笔巧疃葘W(xué)習(xí)領(lǐng)域的研究熱點。

近年來研究人員對卷積神經(jīng)網(wǎng)絡(luò)展開了全面而深入的研究,其發(fā)展方向主要包括增加網(wǎng)絡(luò)模型的深度來達到改善準確率的目的、減少網(wǎng)絡(luò)模型參數(shù)數(shù)量來降低訓(xùn)練成本。循環(huán)神經(jīng)網(wǎng)絡(luò)的未來發(fā)展可從網(wǎng)絡(luò)結(jié)構(gòu)的探究、混合神經(jīng)網(wǎng)絡(luò)的構(gòu)建、加速計算和更新變體等角度進行深入探討。生成對抗網(wǎng)絡(luò)與人類對于深度學(xué)習(xí)的追求最為相符,即可實現(xiàn)機器大腦通過自主學(xué)習(xí)完全替代甚至超越人類。GAN的未來發(fā)展可從理論探索、內(nèi)部機理透明化、規(guī)范評價標準、領(lǐng)域擴展、圖像生成質(zhì)量與多樣性等方面進行深入研究。圖神經(jīng)網(wǎng)絡(luò)的發(fā)展可從優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)、增強網(wǎng)絡(luò)可解釋性、豐富數(shù)據(jù)結(jié)構(gòu)等方面進行研究。

知識蒸餾是將復(fù)雜高效的教師模型所獲得的知識遷移到簡單輕量化的學(xué)生模型上,以實現(xiàn)神經(jīng)網(wǎng)絡(luò)在低算力、少資源的設(shè)備上良好運行的目的,使得深度學(xué)習(xí)可以應(yīng)用在邊緣設(shè)備上,因此對知識蒸餾的進一步研究具有十分重要的意義。由于深度學(xué)習(xí)隱式的表達數(shù)據(jù)背后的潛在特征,參數(shù)動輒幾百上千萬甚至更多,目前仍沒有完備的數(shù)學(xué)理論對模型的優(yōu)化做指導(dǎo),使得模型優(yōu)化只能通過大量數(shù)據(jù)訓(xùn)練來實現(xiàn)。對深度學(xué)習(xí)內(nèi)部原理的研究是進一步發(fā)展深度學(xué)習(xí)的關(guān)鍵問題。通常情況下,提高模型精度往往通過增加模型規(guī)模和訓(xùn)練時長來實現(xiàn),需要消耗大量時間和資源。模型規(guī)模、訓(xùn)練時長、模型精度的平衡問題亟待解決。