卷積神經網絡發(fā)展

周 楠，歐陽鑫玉

（遼寧科技大學 電子與信息工程學院，遼寧 鞍山 114051）

卷積神經網絡（Convolutional neural networks，CNN）與傳統識別方法相比，具有識別速度快、分類準確度高、所需特征少、可以自訓練等優(yōu)點，已被廣泛應用于計算機視覺、智能控制、模式識別和信號處理等領域，并在圖像目標識別、自然語言處理、語音信號識別等方面取得了極大的成功，成為深度學習的代表算法之一［1-2］，推動著人工智能的快速發(fā)展。

1 卷積神經網絡的發(fā)展階段

1.1 萌芽階段

卷積神經網絡的雛形最早出現于1962年，Hubel和Wiesel［3］對貓大腦中的視覺進行系統研究，整理了貓腦中各個神經元的電活動，首次提出感受野的概念，激發(fā)人們對神經網絡進一步思考，并在圖像識別等領域引入感受野的思想，促進了神經網絡的快速發(fā)展。1980年，Fukushima等［4］提出一個神經網絡結構，該結構包含卷積層和池化層，并給出神經認知機（Neocognitron）算法。這是CNN中卷積層和池化層的設計來源。

1.2 發(fā)展階段

在此基礎上，Lecun等［5］于1998年提出LeNet-5網絡，構建基于梯度的反向傳播（Back propagation，BP）算法對網絡進行訓練，采用有監(jiān)督的方法，形成卷積神經網絡的雛形。LeNet-5使用兩個卷積層和兩個全連接層，首次提出“卷積”的概念。自此以后，卷積神經網絡吸引了學術界的廣泛關注。LeNet-5在物體檢測、人臉識別、目標檢測、語音識別等方面逐漸開始被應用。但在一般的任務中，LeNet-5不如k-近鄰（k-nearest neighbor，KNN）、支持向量機（Support vector machine，SVM）等算法應用廣泛，發(fā)展緩慢，處于學術邊緣。

2006年，Hinton等［6］提出一種具有多層神經元的深度置信網絡（Deep belief networks，DBN），它是一種生成模型，通過訓練各個神經元的權重，生成訓練數據，訓練效果特別好，大大提高了神經網絡的魯棒性。

1.3 快速發(fā)展階段

在2012年的Imagenet圖像識別大賽中，Hinton組提出深層結構的AlexNet［7］，引入Dropout方法。與LeNet-5網絡相比，AlexNet的網絡更深，將識別錯誤率從25%降低到15%。特別是AlexNet使用圖形處理器（Graphics processing unit，GPU）運算，促進了圖像識別領域的發(fā)展。

2013年，Zeiler等［8］提出ZFNet，獲得ILSVRC（Imagenet large scale visual recognition challenge）冠軍。ZFNet采用反卷積技術對CNN進行可視化分析，使用更小的卷積核，保留更多的特征，加強了CNN的分層抽象學習的能力。

2015年，He等［9］提出ResNet算法，在Top-5上的錯誤率僅為3.75%，緩解梯度消失問題。之后，He等優(yōu)化Fast R-CNN［10］和Mask R-CNN［11］等算法，在識別大量信息的基礎上，還能完成目標檢測、實例分割等任務，使圖像識別技術迅猛發(fā)展。

此后，新的卷積神經網絡不斷產生。如VGGNet（Visual geometry group network）［12］和Goog-LeNet［13］等卷積神經網絡具有良好的識別效果。2016年以后，殘差注意力網絡（Residual attention network）［14］、Xception［15］、MobileNet［16］、Mobile-NetV2［17］和Efficient Net［18］等網絡在識別精度、運行速度、網絡輕量性和適用范圍等方面，較之前的網絡又有進一步提升。

2 卷積神經網絡結構

卷積神經網絡包含4種核心模塊。

2.1 卷積層

卷積是一種提取圖像特征的有效方法。用卷積核按照設定好的步長在特征圖上滑動，遍歷所有像素點。

卷積層是卷積神經網絡的核心層，包含大量的計算。在處理高維度圖像輸入時，無法讓每個神經元均與所有神經元一一連接，只能讓每個神經元進行局部連接，這種連接的空間大小稱為神經元的感受野。為了控制參數的數量，需要用到權值共享。權值共享使用同一個卷積核卷積整個圖像，參數量大大減少。

卷積層參數包含卷積核（filter）、步長（stride）和填充（padding）。為了防止邊緣信息丟失，可采取填充方法多次計算邊緣，使得卷積之后圖片跟原來一樣大。

2.2 池化

在卷積神經網絡中，需要大量的圖片輸入到網絡中進行訓練。為了減輕網絡負擔，在為圖片保留顯著特征基礎上，降低特征維度，則必須進行池化。池化利用圖片的下采樣不變性減少像素信息，只保留圖片重要信息，且變小后仍能看出所表達的內容。池化后的圖片大大提高了網絡計算效率。池化的方法有多種，如最大池化、均值池化等，而最大值池化是卷積神經網絡中常用的方法。池化過程如圖1所示。

圖1 池化過程Fig.1 Pooling process

采用2×2的池化核，步長為2，使用全0填充。均值池化是將每一個2×2區(qū)域中的平均值作為輸出結果；最大池化是將2×2區(qū)域中的最大值作為輸出結果，從而找到圖像特征。池化操作容易丟失圖片信息，需要增加網絡深度解決。

2.3 激活函數

卷積神經網絡提取到的圖像特征是線性的，非線性變換可以增加模型表達能力。激活函數可以對提取到的特征進行非線性變換，起到特征組合的作用。

早期卷積神經網絡主要采用Sigmoid函數或tanh函數。隨著網絡的擴展以及數據的增多，近幾年ReLU（Rectified linear unit）在多層神經網絡中應用較為廣泛。ReLU的改進型函數，如Leaky-ReLU、P-ReLU、R-ReLU等也在使用。除此之外，ELU（Exponential linear units）函數、MaxOut函數等也經常被使用。

常用的Sigmoid函數的表達式為

tanh函數的表達式為

ReLU函數表達式為

上述三種常用函數的圖像如圖2所示。Sigmoid函數存在梯度彌散，且函數不是關于原點對稱，計算指數函數比較耗時，在反向傳播時，易出現梯度消失，無法完成深層網絡的訓練。tanh函數原點對稱，計算指數函數速度快，但仍存在梯度彌散問題。ReLU函數解決部分梯度彌散問題，收斂速度更快，但在x取負數時，部分神經元死亡且不會復活。Leaky-ReLU函數解決了神經死亡問題。

2.4 全連接層

全連接層是卷積神經網絡的分類器，通常位于網絡的最后。卷積操作可以實現全連接層。矩陣向量乘積是全連接網絡的核心操作，即

式中：x是全連接層的輸入；W為權重；b為偏置。

圖2 三種激活函數的圖像Fig.2 Images of three activation functions

全連接層的每個節(jié)點都需要和上一層每個節(jié)點彼此相接，學習模型參數，進行特征擬合，把前一層的輸出特征綜合起來，故該層的權值參數在網絡中最多。參數過多，導致網絡運算速度降低，所以近年來常用全局平均池化（Global average pooling，GAP）來替換全連接層，很大程度上加快了網絡的運行速度。全連接層結構如圖3所示。在池化后輸出的20個12×12的圖像，經過全連接層變成1×100向量，實現預測分類功能。

圖3 全連接層示意圖Fig.3 Schematic diagram of full connection layer

3 幾種經典的卷積神經網絡

3.1 LeNet

LeNet即LeNet-5，是公認最早的卷積神經網絡之一，是很多神經網絡架構的基礎，其網絡結構如圖4所示。LeNet-5共有7層網絡，每層都包含可訓練參數；每層都有多個特征圖（Feature Map），每個特征圖輸入的特征通過卷積濾波器進行提取，每個特征圖有多個神經元。卷積層的局部連接和權重共享，卷積層的參數較少。

圖4 LeNet-5網絡結構Fig.4 Lenet-5 network structure

LeNet-5是一種用于手寫體字符識別的非常高效的卷積神經網絡。Ahranjany等［19］提出一種將卷積神經網絡與梯度下降訓練算法相結合的手寫波斯語/阿拉伯語數字識別方法，識別率達到99.17%；如果剔除10%的“難識別”樣本，識別率達到99.98%。Liu等［20］改進LeNet-5的卷積神經網絡模型，應用于脫機手寫英文字符識別，對每一層的神經元數量和某些層之間的連接方式進行特殊設置，在UNIPEN的小寫和大寫數據集上進行測試，對大寫和小寫的識別率分別為93.7%和90.2%。Ying等［21］在LeNet-5上提出一種新的激活函數——整流指數單元（Rectified exponential units，REU），該函數輸出的均值接近0，改進了ReLU函數中神經元假死現象，使激活函數的選擇更加多樣化。Liu等［22］利用LeNet-5檢測診斷制造設備中的內圈磨損、外圈磨損和軸承滾子磨損等故障，在電機軸承數據集上進行驗證，提高了診斷精度，收斂速度更快。傳統的表情識別方法通常只利用一個或幾個特征處理正面人臉圖像，導致有用信息丟失嚴重，對噪聲和人臉姿態(tài)過于敏感。Ma等［23］將LeNet-5和SVM（Support vector machine，SVM）結合，在MTFL數據庫和GENKI-4K數據庫上的識別準確率分別達到87.81%和86.80%。

LeNet-5網絡的缺點有：（1）網絡規(guī)模較小，在大量數據集上表現不盡人意；（2）容易過擬合；（3）神經網絡計算復雜。

3.2 AlexNet

2012年，AlexNet在ILSVRC中奪得冠軍，Top-5測試的誤差率為15.3%，但是第二名誤差率卻達到26.2%。

AlexNet網絡結構類似于LeNet，均采用先卷積后進行全連接的方式。但AlexNet更為復雜。AlexNet有6.5萬個神經元，600萬個參數，5層卷積，3層全連接網絡，輸出層是有1 000通道的softmax函數。AlexNet的網絡結構如圖5所示。

圖5 AlexNet的網絡結構Fig.5 AlexNet network structure

呂鴻蒙等［24］在2017年把增強的AlexNet應用在阿爾茨海默病的早期診斷中，取得較好的測試效果。張雪芹等［25］將AlexNet網絡模型進行優(yōu)化處理，應用于206類植物圖像識別，識別精度達到86.7%。Liu等［26］在AlexNet的基礎上設計一個殘差網絡，在煙霧識別上精度達到98.56%。

AlexNet的優(yōu)點：（1）AlexNet將Sigmoid激活函數改為ReLU激活函數，使得運算更加簡單，更易訓練；（2）AlexNet采用丟棄法控制全連接層的模型復雜度；（3）AlexNet將局部響應歸一化處理（Local response normalization，LRN）后加在激活函數ReLU的后面，大大增加網絡的泛化能力，提高訓練準確度；（4）使用兩塊GPU進行計算，運算效率大大提高；（5）使用Dropout方法防止過擬合。

3.3 VGGNet

VGGNet是2014年由牛津大學Visual Geometry Group與Google DeepMind公司共同研發(fā)的深度卷積神經網絡，獲得2014年ILSVRC比賽的亞軍和定位項目的冠軍，在Top5上的錯誤率僅為7.5%。VGGNet探索了卷積神經網絡的深度和其性能之間的關系。VGGNet在整個網絡中全部采用3×3的卷積核和2×2的池化核，通過加深網絡結構來提升性能。網絡結構如圖6所示。

圖6 VGGNet網絡結構Fig.6 VGGNet network structure

Liu等［27］提出一種基于VGGNet算法的神經網絡學習方案，層和不重要的通道可以自動生成。相比AlexNet網絡，VGGNet模型尺寸是AlexNet網絡1/20，計算機操作是AlexNet網絡1/5，減少運行時內存，不需要高性能的硬件支持。Sun等［28］提出一種基于VGGNet網絡模型的深度學習智能調制識別算法，提高數字信號在低信噪比下的識別性能。Yang［29］改進VGGNet算法，提出一種名為MicroFace的人臉識別方法，減少對高性能計算機的依賴，識別率達到了96%，具有良好的識別性能和很高的實用性。

VGGNet優(yōu)點：（1）AlexNet采用3×3的池化核，而VGGNet全部采用2×2的池化核和多個較小卷積核，AlexNet更有利于增加網絡的擬合或表達能力；（2）為了提取更多信息，VGGNet采用多通道，網絡第一層通道數為64，后面逐層翻倍，至512個通道；（3）由于卷積層可替代全連接層，故網絡可以適應不同尺寸的圖片，增加了通用性，但由于VGGNet使用3個全連接層，使得計算機資源耗費嚴重；（4）VGGNet在增加網絡深度方面起著舉足輕重的作用。

3.4 GoogLeNet

GoogLeNet在2014年的ILSVRC比賽中奪得冠軍。GoogLeNet是基于Inception模塊的深度神經網絡模型。經過兩年的不斷改進，逐漸形成了Inception V2、Inception V3、Inception V4等版本。GoogleNet有500萬個參數，是2012年的AlexNet參數的1/12，且準確度更高。GoogLeNet增加網絡的深度和寬度，網絡深度達到22層（不包括池化層和輸入層），但沒有增加計算代價。GoogLeNet模塊結構如圖7所示。

圖7 GoogLeNet模塊結構圖Fig.7 Diagram of GoogLeNet module structure

Zhong等［30］基于GoogLeNet網絡提出單一和集合HCCR-GoogLeNet模型，在手寫漢字識別上達到了新的技術水平。HCCR-GoogLeNet有19層，只涉及到726萬個參數，在離線HCCR競爭數據集上的識別準確率分別為96.35%和96.74%，超過以往的最佳成績。Zhu等［31］利用改進的GoogLeNet進行極端天氣識別，在ILSVRC-2012數據集上進行實驗，與原始GoogLeNet相比，該方法的識別正確率從94.74%提高到95.46%，在CPU和GPU上識別速度快1.39倍和2.44倍。Li等［32］提出一種基于深度卷積生成對抗網絡（Unsupervised representation learning with deep convolutional generative adversarial networks，DCGAN）和 改 進 的GoogLeNet脫機手寫漢字識別方法，能夠修復和識別被遮擋的字符，在擴展的CASIA-HWDB1.1數據集測試效果很好。

GoogLeNet的優(yōu)點：（1）網絡架構的改變，充分提升網絡內部資源的利用率；（2）將網絡深度改為22層，在增加網絡深度和寬度的基礎上，未增加計算代價；（3）采用平均池化（average pooling）代替全連接層，將準確率提升0.6%；（4）網絡增加2個softmax用作輔助分類器，減少梯度消失問題。

3.5 ResNet

ResNet于2015年發(fā)布，獲得ILSVRC比賽的冠軍，取得5項第一。ResNet解決了深度卷積神經網絡模型訓練難的問題。

一般來說，深度學習表達能力的增強需要更多的參數和網絡層數，所以從AlexNet的7層網絡到VGGNet的16層乃至19層，直到GoogLeNet的22層網絡。但網絡層數的增加會導致網絡收斂慢，分類性能和準確率并不能明顯提升。為了解決這些問題，ResNet使用152層的網絡結構，并采用跳躍結構，使Top 5錯誤率僅為3.57%。

ResNet結構如圖8所示。在網絡結構中，采用捷徑連接（shortcut connections），把輸入a直接傳到最后的輸出作為初始結果，輸出結果為S(a)=K(a)+a，當K(a)=0時，S(a)=a。故ResNet學習目標從S(a)變?yōu)镾(a)-a，殘差K(a)=S(a)-a。因此，殘差結果逼近于0成為后面的訓練目標，且隨著網絡加深，準確率不再下降。

圖8 ResNet網絡結構Fig.8 ResNet network structure

Lu等［33］提出深耦合ResNet模型，稱為DCR（Deep coupled ResNet），用于低分辨率的人臉識別，性能明顯優(yōu)于現有技術水平。Wen等［34］提出一種新的TCNN（Transfer convolutional neural network）方法，該方法結合遷移學習，在電機軸承數據集和自吸離心泵數據集上預測精度均優(yōu)于其他傳統方法與深度學習模型。

ResNet與VGGNet相比，復雜度降低，參數減少，深度更深，一定程度上減少梯度彌散或梯度爆炸問題的發(fā)生；更利于優(yōu)化，能有效解決深度網絡退化問題。

4 結論

本文梳理了卷積神經網絡的發(fā)展歷程，介紹卷積神經網絡的三個階段。對卷積神經網絡的結構進行總結，介紹卷積層、池化層、常見激活函數的優(yōu)缺點和全連接層。闡述了幾個經典的、具有代表性的卷積神經網絡（LeNet，AlexNet，VGGNet，GoogLeNet，ResNet）的發(fā)展和演變。

隨著人工智能的發(fā)展，人機交互的需要，卷積神經網絡有著不可替代的優(yōu)勢，但也需要不斷改進：繼續(xù)增加網絡的自學習能力，使網絡更易搭建和解決實際問題；網絡層數的增加會導致訓練速度降低；在數據不足的情況下，增加網絡學習準確率等。隨著CNN對于目標檢測技術日趨成熟，向無人駕駛、教育、醫(yī)療和智能家居等領域迅速邁進。CNN研究還有很多關鍵問題需要解決，通過努力，定會將CNN的發(fā)展提升新的高度。