深度學(xué)習(xí)

袁冰清，張 杰，王巖松

（國(guó)家無(wú)線電監(jiān)測(cè)中心上海監(jiān)測(cè)站，上海 201419）

深度學(xué)習(xí)（Deep learning），也稱為深度結(jié)構(gòu)學(xué)習(xí)（Deep Structured Learning）或者是深度機(jī)器學(xué)習(xí)（Deep Machine Learning），是一類算法的集合，是機(jī)器學(xué)習(xí)的一個(gè)分支。如今，深度學(xué)習(xí)在算法領(lǐng)域可謂是大紅大紫，不只是互聯(lián)網(wǎng)、人工智能，生活中的各大領(lǐng)域都能反映出深度學(xué)習(xí)引領(lǐng)的巨大變革，如目前最先進(jìn)的語(yǔ)音識(shí)別、視覺(jué)對(duì)象識(shí)別等領(lǐng)域。本文先從深度學(xué)習(xí)中涉及到的一些概念去理解深度學(xué)習(xí)，最后主要介紹目前在圖片識(shí)別和語(yǔ)言處理中應(yīng)用最廣泛的兩大類深度學(xué)習(xí)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。

1 表示學(xué)習(xí)

人工智能（AI）系統(tǒng)需要具備自己獲取知識(shí)的能力，即從原始數(shù)據(jù)中提取模式的能力，這種能力就稱為機(jī)器學(xué)習(xí)（Machine Learning）。傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)在以原始形式處理自然數(shù)據(jù)能力方面是有限的。表示學(xué)習(xí)[1]（Representation Learning）是允許機(jī)器自適應(yīng)原始數(shù)據(jù)并且自動(dòng)發(fā)現(xiàn)這些可以檢測(cè)或者分類的表現(xiàn)形式的一系列方法。深度學(xué)習(xí)就是具有多級(jí)表示的表示學(xué)習(xí)方法，獲得更高層次、更抽象的表示層次[2]。事實(shí)證明，深度學(xué)習(xí)非常善于發(fā)現(xiàn)高維度數(shù)據(jù)中的復(fù)雜結(jié)構(gòu)，除了在圖片識(shí)別與語(yǔ)音識(shí)別方面取得重要成就之外，深度學(xué)習(xí)在自然語(yǔ)言多任務(wù)理解方面也有顯著的成果，尤其是在主題分類、情感分析及語(yǔ)言翻譯等方面。

2 監(jiān)督學(xué)習(xí)

機(jī)器學(xué)習(xí)的主要形式就是監(jiān)督學(xué)習(xí)（Supervised learning），不管是深度還是非深度。從訓(xùn)練集中學(xué)到或建立一個(gè)模式，并依此模式推測(cè)新的實(shí)例，訓(xùn)練集就是由相對(duì)應(yīng)的輸入和預(yù)期輸出組成。實(shí)際輸出與所期望的輸出之間的誤差，我們定義為目標(biāo)函數(shù)，機(jī)器可以修改內(nèi)部的權(quán)重去減少誤差。在一些典型的深度學(xué)習(xí)系統(tǒng)中，可能有數(shù)百萬(wàn)計(jì)的可調(diào)權(quán)重，以及數(shù)百萬(wàn)計(jì)的標(biāo)簽樣本去訓(xùn)練機(jī)器。為了正確調(diào)整權(quán)重向量，學(xué)習(xí)算法計(jì)算一個(gè)梯度矢量，對(duì)于每個(gè)權(quán)重而言，每次增加一個(gè)微小的量時(shí)，誤差就會(huì)相應(yīng)地增加或者減少一定的量，然后權(quán)重向量就向梯度矢量相反的方向調(diào)整來(lái)適應(yīng)梯度向量。實(shí)際中，大家最常用的一種稱為隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）的算法[3]。對(duì)于很多樣本，計(jì)算輸出誤差，計(jì)算樣本的平均梯度，相應(yīng)地去調(diào)整權(quán)重。這個(gè)過(guò)程重復(fù)多次，直到目標(biāo)函數(shù)的平均值減小。在訓(xùn)練之后，系統(tǒng)的性能就用一系列不同的被稱為測(cè)試集的樣本來(lái)測(cè)量，這也是測(cè)試機(jī)器的泛化能力-檢驗(yàn)對(duì)于在訓(xùn)練期間沒(méi)見(jiàn)過(guò)的輸入產(chǎn)生合理答案的能力。

深度學(xué)習(xí)架構(gòu)都是簡(jiǎn)單模型的多層堆疊[1]，所有的或者大部分模塊都是需要學(xué)習(xí)，其中許多都是非線性的輸入-輸出映射。在堆疊中的每個(gè)模塊轉(zhuǎn)變輸入以增大特征的選擇性和不變性。對(duì)于一個(gè)非線性多層網(wǎng)絡(luò)來(lái)說(shuō)，比如深度是5-20層的深度，系統(tǒng)就可以進(jìn)行非常復(fù)雜的功能，對(duì)于細(xì)節(jié)的輸入就非常敏感了，比如可以區(qū)分長(zhǎng)得很像的薩摩耶和白狼，但也可以對(duì)不相關(guān)的變量如：背景、姿勢(shì)、燈光和周?chē)奈矬w就不敏感了。

深度學(xué)習(xí)當(dāng)前應(yīng)用最廣泛，效果最佳的就在計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別領(lǐng)域。而在計(jì)算機(jī)視覺(jué)方面，卷積神經(jīng)網(wǎng)絡(luò)就是典型范例。卷積神經(jīng)網(wǎng)絡(luò)是一種特殊類型的深度前饋網(wǎng)絡(luò)，更易于訓(xùn)練，并且比全接連的神經(jīng)網(wǎng)絡(luò)的泛化性能更好[4]。

3 卷積神經(jīng)網(wǎng)絡(luò)與圖像識(shí)別

卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Networks，CNN）被設(shè)計(jì)用來(lái)處理多維數(shù)組數(shù)據(jù)的，比如一個(gè)包含三個(gè)顏色通道的彩色圖片。很多數(shù)據(jù)形態(tài)都是多維數(shù)組形式：1D用來(lái)表示信號(hào)和序列如語(yǔ)音，2D用來(lái)表示圖像，3D用來(lái)表示視頻或者由聲音的圖像。下面我們用彩色圖像中某一個(gè)顏色通道來(lái)說(shuō)明理解卷積神經(jīng)網(wǎng)絡(luò)的過(guò)程。如下圖所示：實(shí)際上卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，其中基本運(yùn)算包含：卷積運(yùn)算、池化運(yùn)算、全連接運(yùn)算和識(shí)別運(yùn)算[5]。

圖1 卷積神經(jīng)網(wǎng)絡(luò)原理過(guò)程

圖片的原始數(shù)據(jù)就是像素矩陣，每個(gè)像素點(diǎn)里都存儲(chǔ)著圖像的信息。我們?cè)俣x一個(gè)卷積核（相當(dāng)于權(quán)重），用來(lái)從圖像中提取一定的特征。卷積核與數(shù)字矩陣對(duì)應(yīng)位置相乘再相加，得到卷積層輸出結(jié)果。卷積核的取值在沒(méi)有以往學(xué)習(xí)的經(jīng)驗(yàn)下，可由函數(shù)隨機(jī)生成，再逐步調(diào)整。當(dāng)所有的像素點(diǎn)都至少被覆蓋一次后，就可以產(chǎn)生一個(gè)卷積層的輸出。機(jī)器一開(kāi)始并不知道要識(shí)別的部分有什么特征，但是用過(guò)與不同的卷積核作用后得到的輸出值，相互比較來(lái)判斷哪個(gè)卷積核最能表現(xiàn)該圖片的特征。卷積層的輸出值越高，就說(shuō)明匹配程度就越高，越能表現(xiàn)該圖片的特征。即卷積層就是通過(guò)不斷地改變卷積核，來(lái)確定能初步表征圖片特征的有用的卷積核是哪些，再得到與相應(yīng)的卷積核相乘后的輸出矩陣。池化層的輸入就是卷積層輸出的原始數(shù)據(jù)與相應(yīng)的卷積核相乘后的輸出矩陣。那池化層的目的：為了減少訓(xùn)練參數(shù)的數(shù)量，降低卷積層輸出的特征向量的維度，減小過(guò)擬合現(xiàn)象，只保留最有用的圖片信息，減少噪聲的傳遞。最常見(jiàn)的兩種池化層的形式：最大池化-選取指定區(qū)域內(nèi)最大的一個(gè)數(shù)來(lái)代表正片區(qū)域；均值池化-選取指定區(qū)域內(nèi)數(shù)值的平均值來(lái)代表整片區(qū)域。卷積和池化層的工作就是提前特征，并減少原始圖像帶來(lái)的參數(shù)，然而為了生成最終的輸出，我們需要應(yīng)用全連接層來(lái)生成一個(gè)等于我們需要的類的數(shù)量的分類器。全連接層的工作原理跟一般的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)很類似，我們需要把池化成輸出的張量重新切割成向量，乘上權(quán)重矩陣，加上偏置值，然后對(duì)其使用RELU激活函數(shù)，用梯度下降法優(yōu)化參數(shù)即可。卷積神經(jīng)網(wǎng)絡(luò)在卷積運(yùn)算和池化運(yùn)算中就通過(guò)三個(gè)核心想法來(lái)改進(jìn)學(xué)習(xí)效率及體現(xiàn)自然信號(hào)的屬性：稀疏交互、權(quán)值共享及等變表示。

自從21世紀(jì)初以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)就被成功地應(yīng)用在檢測(cè)、分隔和物體識(shí)別及圖像的各個(gè)領(lǐng)域方面。這些應(yīng)用都是使用了大量的有標(biāo)簽的數(shù)據(jù)，比如交通信號(hào)識(shí)別，生物信息分割，面部特征探測(cè)，自然圖像中的文字，行人和人的身體部分探測(cè)。卷積神經(jīng)網(wǎng)絡(luò)當(dāng)前最成功的應(yīng)用就是人臉識(shí)別。

4 循環(huán)神經(jīng)網(wǎng)絡(luò)和語(yǔ)言處理

當(dāng)處理序列信息的任務(wù)，如理解一句話的意思時(shí)，孤立地理解這句話的每個(gè)詞是不夠的[6]，我們需要處理這些詞連接起來(lái)的整個(gè)序列，即前面的輸入跟后面的輸入是有關(guān)系的，這時(shí)候我們就需要用到深度學(xué)習(xí)領(lǐng)域中一類非常重要的神經(jīng)網(wǎng)絡(luò)-循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。

圖2 循環(huán)神經(jīng)網(wǎng)絡(luò)展開(kāi)結(jié)構(gòu)圖

循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如上圖[1]所示，跟普通的全連接神經(jīng)網(wǎng)絡(luò)相比，多了一層循環(huán)層，按時(shí)間序列展開(kāi)來(lái)看，就是當(dāng)前隱藏層的輸出值不僅與當(dāng)前的輸入值有關(guān)，還取決于上一次隱藏層的值。循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法是BP算法的變體，BPTT（Back Propagation Trough Time）。但是在實(shí)踐中，RNN在訓(xùn)練中很容易發(fā)生梯度爆炸和梯度消失，導(dǎo)致梯度不能在較長(zhǎng)序列中一直傳遞下去，因此RNNs不能很好地處理較長(zhǎng)序列的問(wèn)題。比如在語(yǔ)言文字識(shí)別中，在長(zhǎng)語(yǔ)句“I grew up in France…I speak fluent French”中去預(yù)測(cè)最后的French，那么模型會(huì)推薦一種語(yǔ)言的名稱，但是具體到哪一種語(yǔ)言時(shí)就需要用到很遠(yuǎn)之前的文字France，這時(shí)候RNN可能不能夠?qū)W到前面的知識(shí)。為了解決長(zhǎng)距離的依賴問(wèn)題，通常使用一種改進(jìn)之后的循環(huán)神經(jīng)網(wǎng)絡(luò)：長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Long Short Term Memory Network，LSTM）及其變體：GRU（Gated Recurrent Unit）。

LSTM的思路非常簡(jiǎn)單，原始的RNN的隱藏層只有一個(gè)狀態(tài)，即h，它對(duì)短期的輸入非常敏感，我們?cè)谠黾右粋€(gè)狀態(tài)C，讓她來(lái)保持長(zhǎng)期的狀態(tài)，新增加的狀態(tài)c，成為單元狀態(tài)（cell state），按時(shí)間序列展開(kāi)如圖3所示[7]：

圖3 LSTM的單元狀態(tài)展開(kāi)圖

在當(dāng)前t時(shí)刻，LSTM的輸出有兩個(gè)，當(dāng)前時(shí)刻LSTM輸出值ht、和當(dāng)前時(shí)刻單元狀態(tài)ct，輸出值ht不僅跟當(dāng)前的輸入Xt有關(guān)，還跟上一層的輸出ht-1、ct-1有關(guān)。因此LSTM的關(guān)鍵就是怎樣控制長(zhǎng)期狀態(tài)C，而長(zhǎng)期控制狀態(tài)是通過(guò)三個(gè)門(mén)（實(shí)際上是一層全連接層）來(lái)控制的，分別是遺忘門(mén)、輸入門(mén)和輸出門(mén)。GRU作為L(zhǎng)STM的一種變體，將遺忘門(mén)跟輸入門(mén)合并為一個(gè)單一的更新門(mén)，同樣混合了單元狀態(tài)和隱藏狀態(tài)，最終的模型比標(biāo)準(zhǔn)的模型要簡(jiǎn)單，是也是非常流行的變體。

但是往往在語(yǔ)言識(shí)別中，同樣的一句話有不同的意義，比如兩個(gè)外語(yǔ)學(xué)院的學(xué)生，一種意思是兩個(gè)外語(yǔ)學(xué)院的/學(xué)生，另一種意思是兩個(gè)/外語(yǔ)學(xué)院的學(xué)生。這時(shí)候，把句子看成是詞的序列輸入是不夠的，必須按照樹(shù)結(jié)構(gòu)去處理信息，而不是序列，這就是遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN），跟循環(huán)神經(jīng)網(wǎng)絡(luò)的縮寫(xiě)一樣，看以看成是循環(huán)神經(jīng)網(wǎng)絡(luò)更一般的形式，它可以處理樹(shù)、圖這樣的遞歸結(jié)構(gòu)。遞歸神經(jīng)網(wǎng)絡(luò)可以把樹(shù)/圖結(jié)構(gòu)信息編碼為一個(gè)向量，也就是把信息映射到一個(gè)語(yǔ)義空間中，通過(guò)編碼后向量的距離來(lái)代表句子意義的相近問(wèn)題如圖4所示[8]。所以說(shuō)遞歸神經(jīng)網(wǎng)絡(luò)是一種表示學(xué)習(xí)，可以將詞、句、段、篇按照他們的語(yǔ)義映射到同一向量空間中，把組合的信息表示為一個(gè)個(gè)有意義的向量。但是因?yàn)檫f歸神經(jīng)網(wǎng)絡(luò)的輸入必須把每個(gè)句子標(biāo)注為語(yǔ)法解析樹(shù)的形式，需要花費(fèi)很大的精力，因此在實(shí)際應(yīng)用中反而不太流行。

圖4 遞歸神經(jīng)網(wǎng)絡(luò)中語(yǔ)義解析

5 深度學(xué)習(xí)的展望

人類視覺(jué)是一個(gè)智能的，基于特定方式的利用小或大分辨率的視網(wǎng)膜中央窩與周?chē)h(huán)繞區(qū)域?qū)饩€采集成像的活躍的過(guò)程。我們期望未來(lái)的機(jī)器視覺(jué)進(jìn)展是來(lái)自于端到端的訓(xùn)練系統(tǒng)，并將卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合起來(lái)，采用增強(qiáng)學(xué)習(xí)來(lái)決定走向。結(jié)合深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)的系統(tǒng)還處于起步階段，但是他們已經(jīng)超越來(lái)在分類任務(wù)中超過(guò)了被動(dòng)視覺(jué)系統(tǒng)，并在學(xué)習(xí)操作視頻游戲中產(chǎn)生了令人印象深刻的效果。

自然語(yǔ)言理解是深度學(xué)習(xí)的另一個(gè)領(lǐng)域，有望在未來(lái)幾年內(nèi)產(chǎn)生巨大的影響。我們希望使用RNN 的系統(tǒng)能夠理解句子或者整個(gè)文檔，當(dāng)他們學(xué)習(xí)有選擇性地學(xué)習(xí)了某時(shí)刻部分加入的策略。

總之，人工智能將取得重大的進(jìn)展，通過(guò)將表現(xiàn)學(xué)習(xí)與復(fù)雜推理學(xué)習(xí)結(jié)合起來(lái)。盡管深度學(xué)習(xí)和段時(shí)間了，我們?nèi)孕枰ㄟ^(guò)操作大量向量的新范式來(lái)取代基于規(guī)則的字符表達(dá)式操作。