深度學(xué)習(xí)技術(shù)應(yīng)用現(xiàn)狀分析與發(fā)展趨勢研究

羅 榮，王 亮，肖玉杰

（海軍研究院，北京 100161）

0 引 言

近年來，深度學(xué)習(xí)（Deep Learning）逐漸成為人工智能領(lǐng)域的研究熱點和主流發(fā)展方向[1]。深度學(xué)習(xí)是利用多個處理層組成的計算模型，學(xué)習(xí)具有多個抽象層次的數(shù)據(jù)表示的機器學(xué)習(xí)技術(shù)。深度學(xué)習(xí)代表了機器學(xué)習(xí)和人工智能研究的主要發(fā)展方向，為機器學(xué)習(xí)和計算機視覺等領(lǐng)域帶來了革命性的進步。1986 年，反向傳播（Back Propagation）算法奠定了人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）中網(wǎng)絡(luò)連接系數(shù)的優(yōu)化基礎(chǔ)[2]。經(jīng)過近20 年的發(fā)展，Hinton 于2006 年設(shè)計出深度信念網(wǎng)絡(luò)并革命性地提出深度學(xué)習(xí)的概念，從此深度學(xué)習(xí)幾乎成為了人工智能技術(shù)的代名詞。各種具有獨特神經(jīng)處理單元和復(fù)雜層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)不斷涌現(xiàn)，如卷積神經(jīng)網(wǎng)絡(luò)[3]、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）[4]、生成對抗網(wǎng)絡(luò)[5]等，深度學(xué)習(xí)技術(shù)不停提高著各應(yīng)用領(lǐng)域內(nèi)人工智能技術(shù)性能的極限。本文首先從監(jiān)督深度學(xué)習(xí)、非監(jiān)督深度學(xué)習(xí)和增強深度學(xué)習(xí)的經(jīng)典機器學(xué)習(xí)分類出發(fā)，結(jié)合具體領(lǐng)域應(yīng)用，對近年來提出的有代表性的深度神經(jīng)網(wǎng)絡(luò)技術(shù)進行綜述，分析其發(fā)展現(xiàn)狀，然后在此基礎(chǔ)上總結(jié)深度學(xué)習(xí)技術(shù)面臨的瓶頸問題與挑戰(zhàn)，最后展望深度學(xué)習(xí)未來發(fā)展趨勢。

1 深度學(xué)習(xí)技術(shù)的發(fā)展現(xiàn)狀

與淺層機器學(xué)習(xí)技術(shù)類似，根據(jù)網(wǎng)絡(luò)模型參數(shù)確定的方法，深度學(xué)習(xí)技術(shù)可分為監(jiān)督學(xué)習(xí)技術(shù)、非監(jiān)督學(xué)習(xí)技術(shù)和增強學(xué)習(xí)技術(shù)三類。其中，監(jiān)督深度學(xué)習(xí)技術(shù)中網(wǎng)絡(luò)模型參數(shù)是利用帶標(biāo)注的訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)進行訓(xùn)練而得到的，非監(jiān)督深度學(xué)習(xí)技術(shù)中網(wǎng)絡(luò)模型參數(shù)的確定則無需帶標(biāo)注的訓(xùn)練數(shù)據(jù)，增強深度學(xué)習(xí)技術(shù)中網(wǎng)絡(luò)模型參數(shù)是利用特定評分策略對網(wǎng)絡(luò)輸出進行評分后確定的。在三類技術(shù)中，根據(jù)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點和應(yīng)用領(lǐng)域的不同，又可進行更細致的劃分。深度學(xué)習(xí)技術(shù)的典型應(yīng)用領(lǐng)域包括計算機視覺、自然語言處理和博弈。近年來，相當(dāng)多有影響力的深度神經(jīng)網(wǎng)絡(luò)均是針對特定應(yīng)用領(lǐng)域進行設(shè)計的，描述其技術(shù)特點不能脫離其應(yīng)用領(lǐng)域。

1.1 監(jiān)督深度學(xué)習(xí)技術(shù)

監(jiān)督深度學(xué)習(xí)技術(shù)主要包括多層感知器、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)等。多層感知器技術(shù)是早期神經(jīng)網(wǎng)絡(luò)研究的基礎(chǔ)性成果，也是衡量深度神經(jīng)網(wǎng)絡(luò)性能的對比參照基礎(chǔ)；卷積神經(jīng)網(wǎng)絡(luò)包括分類網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)、分割網(wǎng)絡(luò)、跟蹤網(wǎng)絡(luò)和輕量化網(wǎng)絡(luò)；循環(huán)神經(jīng)網(wǎng)絡(luò)主要包括長時短期記憶（Long Short-Term Memory）網(wǎng)絡(luò)和門限循環(huán)單元（Gated Recurrent Unit）網(wǎng)絡(luò)。

卷積神經(jīng)網(wǎng)絡(luò)中，具有代表性的常用網(wǎng)絡(luò)包 括LeNet、AlexNet、GoogleNet、VGGNet、ResNet 和CapsNets 等[6]。卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用在計算機視覺領(lǐng)域，根據(jù)具體用途，可分為檢測卷積神經(jīng)網(wǎng)絡(luò)、分割卷積神經(jīng)網(wǎng)絡(luò)、跟蹤卷積神經(jīng)網(wǎng)絡(luò)和輕量化卷積神經(jīng)網(wǎng)絡(luò)等。檢測卷積神經(jīng)網(wǎng)絡(luò)的作用是從圖像中發(fā)現(xiàn)感興趣的目標(biāo)，具有代表性的檢測卷積神經(jīng)網(wǎng)絡(luò)則主要包括RCNN 系列、YOLO 系列、SSD 系列、RFCN 系列、FPN系列、RetinaNet系列、Anchorfree 系列等[7]。分割卷積神經(jīng)網(wǎng)絡(luò)的功能是將圖像分割為滿足特定要求的區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)的分割通常是語義級的。常用的分割卷積神經(jīng)網(wǎng)絡(luò)包括FCN、DeepLab 系列分割算法、PSPNet、Mask R-CNN、LinkNet 和PANet 等[8]。跟蹤卷積神經(jīng)網(wǎng)絡(luò)的功能是在視頻等連續(xù)拍攝的圖像中定位跟蹤目標(biāo)，常用的跟蹤卷積神經(jīng)網(wǎng)絡(luò)包括HCF、TCNN、MDNet、GOTURN、孿生網(wǎng)絡(luò)系列算法（SiameseNet、SiameRPN、RASNet、SiameRPN++和SiamDW 等）、ADNet 等[9]。

為了適應(yīng)移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用環(huán)境，深度卷積神經(jīng)網(wǎng)絡(luò)需要在各種嵌入式系統(tǒng)上實時運行，輕量化卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)運而生。常用的輕量化卷積神經(jīng)網(wǎng)絡(luò)包括MobileNets 系列網(wǎng)絡(luò)（MobileNet v1、MobileNet v2）、ShuffleNets系列網(wǎng)絡(luò)（ShuffleNets v1、ShuffleNets v2）和XceptionNet 等。

一般情況下，卷積神經(jīng)網(wǎng)絡(luò)均屬于前饋神經(jīng)網(wǎng)絡(luò)，信息按神經(jīng)元在網(wǎng)絡(luò)中層次由淺至深地進行處理，而層次較淺的神經(jīng)元參數(shù)不會受到層次較深的神經(jīng)元輸出的控制，即網(wǎng)絡(luò)沒有記憶，因此通常不適用于序列學(xué)習(xí)。循環(huán)神經(jīng)網(wǎng)絡(luò)引入了深層神經(jīng)元輸出到淺層神經(jīng)元輸入和狀態(tài)的控制機制，使網(wǎng)絡(luò)具有記憶功能，更適用于序列學(xué)習(xí)。由于絕大部分經(jīng)典自然語言處理任務(wù)均屬于序列學(xué)習(xí)的范疇，因此，循環(huán)神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域取得了廣泛的應(yīng)用。經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò)主要包括長時短期記憶網(wǎng)絡(luò)系列（LSTM、Bi-Directional LSTM、Stack LSTM 等）和門限循環(huán)單元網(wǎng)絡(luò)（Gated Recurrent Unit）。

1.2 非監(jiān)督深度學(xué)習(xí)技術(shù)

非監(jiān)督深度學(xué)習(xí)技術(shù)主要包括玻爾茲曼機、自編碼器和生成對抗網(wǎng)絡(luò)等。雖然可以使用監(jiān)督學(xué)習(xí)的方式訓(xùn)練網(wǎng)絡(luò)，但受限玻爾茲曼機通常被視為一種早期經(jīng)典的深度非監(jiān)督學(xué)習(xí)技術(shù)。自編碼器能夠通過無監(jiān)督學(xué)習(xí)，生成輸入數(shù)據(jù)低維表示，可用于數(shù)據(jù)的去噪、降維和特征表示等任務(wù)。自編碼器一般均是采用編碼器-譯碼器結(jié)構(gòu)，實現(xiàn)自監(jiān)督學(xué)習(xí)，主要包括VAE、Stacked Denoising AE 和Transforming AE 等技術(shù)。生成對抗網(wǎng)絡(luò)是近年來非監(jiān)督深度學(xué)習(xí)技術(shù)的研究熱點之一，主要包括GAN、CGAN、WGAN、EBGAN、infoGAN、BigGAN 和SimGAN 等。生成對抗網(wǎng)絡(luò)的主要思想是利用生成模型和分辨模型之間的競爭關(guān)系，在網(wǎng)絡(luò)損失度量中包含利于一個模型而不利于另一模型的部分，訓(xùn)練過程使生成模型輸出將輸入噪聲信號盡可能逼近信息輸入，而同時提高分辨模型分類與生成模型信息輸出與輸入的正確性，從而達到網(wǎng)絡(luò)整體性能的優(yōu)化。

1.3 增強深度學(xué)習(xí)技術(shù)

增強深度學(xué)習(xí)技術(shù)主要包括Q 學(xué)習(xí)和策略梯度學(xué)習(xí)。Q 學(xué)習(xí)的核心思想是利用深度神經(jīng)網(wǎng)絡(luò)，逼近貝爾曼方程描述的遞歸約束關(guān)系。Q 學(xué)習(xí)算法一般采用估計、決策和更新的迭代過程，經(jīng)典的估計方法有蒙特卡洛樹搜索算法、動態(tài)規(guī)劃算法等，基本的Q 學(xué)習(xí)方法有DQN、Double DQN、Prioritized DQN 和DRQN 等。策略梯度學(xué)習(xí)的基本方法是利用深度神經(jīng)網(wǎng)絡(luò)，實現(xiàn)策略的參數(shù)化，并通過梯度優(yōu)化控制參數(shù)權(quán)重，選擇較好的行為實現(xiàn)策略，常用的策略梯度有有限差分策略梯度、蒙特卡洛策略梯度、Actor-Critic 策略梯度等，主要的策略梯度學(xué)習(xí)方法有REINFORCE、TRPO、DGP、DDGP 等。

2 深度學(xué)習(xí)技術(shù)的瓶頸問題

深度學(xué)習(xí)技術(shù)在計算機視覺、自然語言處理和復(fù)雜博弈領(lǐng)域均取得了突破性的研究成果。但隨著深度學(xué)習(xí)理論的進一步深入發(fā)展和應(yīng)用領(lǐng)域的不斷拓展，深度學(xué)習(xí)技術(shù)自身存在的一系列瓶頸問題也逐漸顯現(xiàn)出來，成為了制約深度學(xué)習(xí)技術(shù)進一步突破的主要問題。深度學(xué)習(xí)技術(shù)的主要瓶頸問題有：

（1）可解釋性問題。深度神經(jīng)網(wǎng)絡(luò)一般包含多個隱藏層，運算單元的數(shù)量十分龐大，網(wǎng)絡(luò)參數(shù)更是數(shù)不勝數(shù)，對參數(shù)的選取和運算單元的輸出常常無法解釋；新的深度神經(jīng)網(wǎng)絡(luò)還引入了各種復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，進一步加劇了可解釋性問題的嚴重性。可解釋性問題是深度神經(jīng)網(wǎng)絡(luò)深入發(fā)展的主要瓶頸問題之一，有理論將網(wǎng)絡(luò)視為決策樹結(jié)構(gòu)，但過于復(fù)雜的結(jié)構(gòu)超出了人類容易理解和分析優(yōu)化的能力范疇。

（2）網(wǎng)絡(luò)最優(yōu)化的問題。目前的深度神經(jīng)網(wǎng)絡(luò)主要依靠對指定的損失函數(shù)執(zhí)行反向傳播算法實現(xiàn)網(wǎng)絡(luò)參數(shù)優(yōu)化，該算法僅能針對特定的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)按梯度的優(yōu)化計算。由于實際學(xué)習(xí)問題往往沒有梯度最優(yōu)解，算法不能保證網(wǎng)絡(luò)參數(shù)的選擇實現(xiàn)了全局最優(yōu)化。此外，網(wǎng)絡(luò)結(jié)構(gòu)預(yù)先確定，也限制了處理復(fù)雜學(xué)習(xí)問題時的性能；如將網(wǎng)絡(luò)結(jié)構(gòu)也作為可優(yōu)化選項，則僅有部分搜索理論提供了參考性結(jié)果。深度神經(jīng)網(wǎng)絡(luò)的整體優(yōu)化是限制深度學(xué)習(xí)技術(shù)取得突破的另一主要瓶頸問題。

（3）數(shù)據(jù)稀缺性問題。目前的監(jiān)督深度學(xué)習(xí)技術(shù)需要應(yīng)用領(lǐng)域有大量的標(biāo)注數(shù)據(jù)，才能訓(xùn)練網(wǎng)絡(luò)參數(shù)，衡量學(xué)習(xí)性能；非監(jiān)督深度學(xué)習(xí)技術(shù)尚處于發(fā)展的起步階段，雖然在諸如風(fēng)格遷移、目標(biāo)跟蹤、詞嵌入等領(lǐng)域有所突破，很多經(jīng)典的監(jiān)督機器學(xué)習(xí)場景任務(wù)尚不能使用非監(jiān)督深度學(xué)習(xí)技術(shù)實現(xiàn)。為克服數(shù)據(jù)稀缺性問題，深度遷移學(xué)習(xí)、小樣本深度學(xué)習(xí)技術(shù)已經(jīng)成為了目前的研究熱點，但距離根本性解決數(shù)據(jù)稀缺性問題尚有一段距離。

（4）實現(xiàn)復(fù)雜度問題。相對大部分已經(jīng)取得廣泛應(yīng)用的淺層機器學(xué)習(xí)技術(shù)而言，深度神經(jīng)網(wǎng)絡(luò)需要的運算復(fù)雜度高、存儲量大、運算時間長，雖然在應(yīng)用中不需要訓(xùn)練網(wǎng)絡(luò)，但仍難于在各種低成本終端中應(yīng)用。雖然已有相關(guān)輕量化深度神經(jīng)網(wǎng)絡(luò)研究技術(shù)出現(xiàn)，但距離全面解決深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜度問題尚有一定的差距。

3 深度學(xué)習(xí)技術(shù)的發(fā)展趨勢

為解決目前主流監(jiān)督深度學(xué)習(xí)技術(shù)所需訓(xùn)練數(shù)據(jù)量大、訓(xùn)練標(biāo)注難于獲取、無法確定深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的問題，元學(xué)習(xí)、深度遷移學(xué)習(xí)、小樣本深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索、圖神經(jīng)網(wǎng)絡(luò)等逐漸成為了監(jiān)督深度學(xué)習(xí)技術(shù)發(fā)展的新方向。元學(xué)習(xí)（Meta Learning），也稱為“學(xué)會學(xué)習(xí)”（Learning to learn），是一系列深度學(xué)習(xí)新技術(shù)的統(tǒng)稱，其主要的目標(biāo)是利用以往的知識經(jīng)驗指導(dǎo)新任務(wù)的學(xué)習(xí)，使神經(jīng)網(wǎng)絡(luò)具有學(xué)會學(xué)習(xí)的能力。元學(xué)習(xí)的主要技術(shù)包括記憶存儲（Memory）方法、梯度預(yù)測方法、注意力機制、借鑒LSTM 的門控更新方法、面向增強學(xué)習(xí)的方法、綜合監(jiān)督學(xué)習(xí)與增強學(xué)習(xí)的基礎(chǔ)模型構(gòu)建方法、預(yù)測損失的方法等。深度遷移學(xué)習(xí)是遷移學(xué)習(xí)與深度學(xué)習(xí)交叉融合的新技術(shù)，其基本思想是在目標(biāo)域數(shù)據(jù)缺乏標(biāo)注的情況下，利用源數(shù)據(jù)域的標(biāo)注數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，并結(jié)合源數(shù)據(jù)域與目標(biāo)數(shù)據(jù)域的數(shù)據(jù)分布的相似性，將在源數(shù)據(jù)域訓(xùn)練所得的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整并應(yīng)用于目標(biāo)數(shù)據(jù)域；深度遷移學(xué)習(xí)也可以在目標(biāo)數(shù)據(jù)域存在部分標(biāo)注的情況，算法的目標(biāo)是分類性能優(yōu)于直接在目標(biāo)數(shù)據(jù)域進行分類所能獲得的分類性能。小樣本深度學(xué)習(xí)（Few Shot Learning）是一系列使用少量數(shù)據(jù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的算法的通稱，包括零樣本學(xué)習(xí)（Zero Shot Learning）、單樣本學(xué)習(xí)（One Shot Learning）等均屬于小樣本學(xué)習(xí)的范疇，小樣本學(xué)習(xí)經(jīng)常借鑒元學(xué)習(xí)、遷移學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)等新的學(xué)習(xí)方法。常用的小樣本學(xué)習(xí)方法包括基于網(wǎng)絡(luò)參數(shù)微調(diào)（Finetune）的方法、基于度量的方法、基于孿生網(wǎng)絡(luò)的方法、匹配網(wǎng)絡(luò)方法、原型網(wǎng)絡(luò)（Prototype Network）方法、借鑒圖神經(jīng)網(wǎng)絡(luò)方法、借鑒元學(xué)習(xí)的方法、模型無關(guān)自適應(yīng)方法等。神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索（Neural ANAS）是在特定的網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)搜索空間中，制定某些搜索策略，并利用評價預(yù)估方式，搜索優(yōu)秀的深度神經(jīng)網(wǎng)絡(luò)構(gòu)架的方法；神經(jīng)網(wǎng)絡(luò)的搜索空間一般包括多層、多分枝和重復(fù)性子結(jié)構(gòu)，常用的搜索策略則可基于梯度規(guī)則、強化學(xué)習(xí)規(guī)則或進化算法規(guī)則等進行制定，而評價預(yù)估的結(jié)果往往利用反饋的方式指導(dǎo)進一步的搜索過程。圖神經(jīng)網(wǎng)絡(luò)在對圖形中節(jié)點間的依賴關(guān)系進行建模，相關(guān)算法在圖分析研究領(lǐng)域取得了一系列進展；經(jīng)典的圖神經(jīng)網(wǎng)絡(luò)利用圖實現(xiàn)領(lǐng)域數(shù)據(jù)關(guān)系建模，并利用已知類別的節(jié)點以及圖中節(jié)點間的關(guān)系，推導(dǎo)未知類別節(jié)點的類別信息，常用的圖神經(jīng)網(wǎng)絡(luò)分析方法包括隨機游走的方法和聚合表示的方法等。

4 結(jié) 語

經(jīng)過多年發(fā)展，人們提出了非常多的深度神經(jīng)網(wǎng)絡(luò)，主要包括卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、玻爾茲曼機、自編碼器和生成對抗網(wǎng)絡(luò)等，使深度學(xué)習(xí)理論進一步深入發(fā)展，應(yīng)用領(lǐng)域不斷拓展。隨著深度學(xué)習(xí)技術(shù)的不斷應(yīng)用，其面臨的問題也逐漸顯現(xiàn)出來，這些問題包括可解釋性、網(wǎng)絡(luò)最優(yōu)化、數(shù)據(jù)稀缺性以及實現(xiàn)復(fù)雜度等。為了解決這些問題，人們又發(fā)展出元學(xué)習(xí)、深度遷移學(xué)習(xí)、小樣本深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)構(gòu)架搜索、圖神經(jīng)網(wǎng)絡(luò)等新方法，未來人工智能技術(shù)發(fā)展必然會在現(xiàn)有研究成果上更進一步。