卷積神經(jīng)網(wǎng)絡(luò)綜述

劉健 袁謙 吳廣 喻曉

摘 要： 卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一種經(jīng)典而廣泛應(yīng)用的結(jié)構(gòu)，克服了過去人工智能中被認(rèn)為難以解決的一些問題。卷積神經(jīng)網(wǎng)絡(luò)的局部連接、權(quán)值共享及下采樣操作等特性使之可以有效地降低網(wǎng)絡(luò)的復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)目，使模型對平移、扭曲、縮放具有一定程度的不變性，并具有強(qiáng)魯棒性和容錯能力，也易于訓(xùn)練和優(yōu)化。文章介紹了卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，開源工具，及在圖像分類領(lǐng)域中的一些應(yīng)用，給出了卷積神經(jīng)待解決的問題及展望。

關(guān)鍵詞： 深度學(xué)習(xí)； 卷積神經(jīng)網(wǎng)絡(luò)； 網(wǎng)絡(luò)結(jié)構(gòu)； 訓(xùn)練方法

中圖分類號：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2018）11-19-04

Abstract： As a classical kind of widely used network structure in deep learning，convolutional neural networks has successfully solved some problems which were considered difficult to solve in artificial intelligence in the past. The characteristics such as local connections， shared weights，under-sampling etc. can reduce the complexity of networks and the number of training parameters， and can also make the model creating invariance to translation， distortion and zoom and having strong robustness and fault tolerance. So it is easy to train and optimize its network structure. This paper introduces the training methods， open source tools of convolutional neural networks and its applications in the field of image classification， the problems and prospects of the convolutional neural network to be solved are given also.

Key words： deep learning； convolutional neural networks； network structure； training method

0 引言

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）是對生物神經(jīng)網(wǎng)絡(luò)的一種近似模擬，是由大量神經(jīng)元通過相互連接而構(gòu)成的自適應(yīng)非線性動態(tài)網(wǎng)絡(luò)系統(tǒng)。1943年，心理學(xué)家McCulloch和數(shù)理邏輯學(xué)家Pitts提出了第一個神經(jīng)元數(shù)學(xué)模型，稱為MP模型[1]。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時代。60年代，Rosenblatt[2]在MP模型基礎(chǔ)上提出了單層感知器模型，但是單層感知器網(wǎng)絡(luò)模型不能夠處理線性不可分問題。直到1986年，Rumelhart[3]等人提出了BP算法解決了單層感知器不能解決的問題，掀起了神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)中的研究熱潮。神經(jīng)網(wǎng)絡(luò)中的大量參數(shù)，容易發(fā)生局部最優(yōu)、過擬合、訓(xùn)練時間長的缺陷。2006 年，Hinton[4]等在《Science》上提出了深度學(xué)習(xí)，這篇文章的兩個主要觀點(diǎn)是：①多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)到的數(shù)據(jù)更能反映數(shù)據(jù)的本質(zhì)特征，有利于可視化或分類；②深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過逐層無監(jiān)督訓(xùn)練有效克服。Bengio系統(tǒng)地介紹了深度學(xué)習(xí)所包含的網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)方法。目前，常用的深度學(xué)習(xí)模型有深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN）[5-6]、層疊自動去噪編碼機(jī)（Stacked Denoising Autoencoders，SDA）[7-8]、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional neural network，CNN）[9-10]等。

1 CNN概述

神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層，如圖1所示。

卷積神經(jīng)網(wǎng)絡(luò)是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)，卷積結(jié)構(gòu)可以減少深層網(wǎng)絡(luò)占用的內(nèi)存量，也可以減少網(wǎng)絡(luò)的參數(shù)個數(shù)，緩解模型的過擬合問題。卷積神經(jīng)網(wǎng)絡(luò)中隱藏層是重要組成部分。經(jīng)典的CNN由輸入層、卷積層、下采樣層（也稱池化層）、全連接層及輸出層組成。典型的LeNet-5[9]是經(jīng)典的CNN結(jié)構(gòu)，如圖2所示。卷積層和下采樣層一般會取若干個，采用卷積層和下采樣層交替設(shè)置，即一個卷積層連接一個下采樣層，下采樣層后再連接一個卷積層，依此類推。由于卷積層中輸出特征面的每個神經(jīng)元與其輸入進(jìn)行局部連接，并通過對應(yīng)的連接權(quán)值與局部輸入進(jìn)行加權(quán)求和再加上偏置值，得到該神經(jīng)元輸入值，該過程等同于卷積過程，CNN也由此而得名[9]。

1.1 卷積層

卷積核是卷積層的重要組成部分。特征提取器是卷積核的本質(zhì)，其主要作用是自動提取輸入信號的深層信息。卷積層由多個特征面組成，每個特征面由多個神經(jīng)元組成，它的每一個神經(jīng)元通過卷積核與上一層特征面的局部區(qū)域相連。上一層的特征圖被一個可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過一個激活函數(shù)，就可以得到輸出特征圖。每個輸出特征圖可以組合卷積多個特征圖的值[11]：

其中，ulj稱為卷積層l的第j個通道的凈激活，它通過對前一層輸出特征圖xil-1進(jìn)行卷積求和與偏置后得到，xlj是卷積層l的第j個通道的輸出。f（·）稱為激活函數(shù)，通?？墒褂胹igmoid和tanh等函數(shù)。Mj表示用于計算ulj的輸入特征圖子集，kjij是卷積核矩陣，blj是對卷積后特征圖的偏置。對于一個輸出特征圖xlj，每個輸入特征圖xil-1對應(yīng)的卷積核kjij可能不同，“*”是卷積符號。

影響CNN性能有3個因素：層數(shù)、特征面的數(shù)目及網(wǎng)絡(luò)組織。使用9種結(jié)構(gòu)的CNN進(jìn)行中文手寫體識別實(shí)驗(yàn)，通過統(tǒng)計測試結(jié)果得到具有較小卷積核的CNN結(jié)構(gòu)的一些結(jié)論：①增加網(wǎng)絡(luò)的深度能夠提升準(zhǔn)確率；②增加特征面的數(shù)目也可以提升準(zhǔn)確率；③增加一個卷積層比增加一個全連接層更能獲得一個更高的準(zhǔn)確率。Bengio等人[12]指出深度網(wǎng)絡(luò)結(jié)構(gòu)具有兩個優(yōu)點(diǎn)：①可以促進(jìn)特征的重復(fù)利用；②能夠獲取高層表達(dá)中更抽象的特征，由于更抽象的概念可根據(jù)抽象性更弱的概念來構(gòu)造，因此深度結(jié)構(gòu)能夠獲取更抽象的表達(dá)。He等人[13]探討了在限定計算復(fù)雜度和時間上如何平衡CNN網(wǎng)絡(luò)結(jié)構(gòu)中深度、特征面數(shù)目、卷積核大小等因素的問題。該文獻(xiàn)首先研究了深度與卷積核大小間的關(guān)系，通過實(shí)驗(yàn)結(jié)果表明網(wǎng)絡(luò)深度比卷積核大小更重要；當(dāng)時間復(fù)雜度大致相同時，具有更小卷積核且深度更深的CNN結(jié)構(gòu)，比具有更大卷積核同時深度更淺的CNN結(jié)構(gòu)能夠獲得更好的實(shí)驗(yàn)結(jié)果。其次，該文獻(xiàn)也研究了網(wǎng)絡(luò)深度和特征面數(shù)目間的關(guān)系，實(shí)驗(yàn)結(jié)果表明，深度越深，網(wǎng)絡(luò)性能越好；然而隨著深度的增加，網(wǎng)絡(luò)性能也逐漸達(dá)到飽和。此外，該文獻(xiàn)還通過固定網(wǎng)絡(luò)深度研究了特征面數(shù)目和卷積核大小間的關(guān)系，通過實(shí)驗(yàn)對比發(fā)現(xiàn)特征面數(shù)目和卷積核大小的優(yōu)先級差不多，其發(fā)揮的作用均沒有網(wǎng)絡(luò)深度大。

1.2 下采樣層

下采樣層用來實(shí)現(xiàn)對特征圖的采樣處理，在減少數(shù)據(jù)量的同時保留有用的信息，使CNN具有抗畸變的能力。下采樣層將每個輸入特征圖通過下面的公式下采樣輸出特征圖：

其中，ulj稱為下采樣層l的第j通道的凈激活，它由前一層輸出特征圖xil-1進(jìn)行下采樣加權(quán)、偏置后得到，β是下采樣層的權(quán)重系數(shù)，blj是下采樣層的偏置項(xiàng)。符號down（·）表示下采樣函數(shù)，它通過對輸入特征圖xjl-1通過滑動窗口方法劃分為多個不重疊的n×n圖像塊，然后對每個圖像塊內(nèi)的像素求和、求均值或最大值，于是輸出圖像在兩個維度上都縮小了n倍。

下采樣層旨在通過降低特征面的分辨率來獲得具有空間不變性的特征。下采樣層起到二次提取特征的作用，它的每個神經(jīng)元對局部接受域進(jìn)行采樣操作。常用的方法有最大下采樣即取局部接受域中值最大的點(diǎn)、均值下采樣即對局部接受域中的所有值求均值、隨機(jī)下采樣[14-15]。

1.3 全連接層

全連接層一般位于網(wǎng)絡(luò)尾端，對前面逐層變換和映射提取的特征進(jìn)行回歸分類等處理。將所有二維圖像的特征圖拼接為一維特征作為全連接網(wǎng)絡(luò)的輸入。全連接層l的輸出可通過對輸入加權(quán)求和并通過激活函數(shù)的響應(yīng)得到：

其中，ul稱為全連接層l的凈激活，它由前一層輸出特征圖xl-1進(jìn)行加權(quán)和偏置后得到的。wl是全連接網(wǎng)絡(luò)的權(quán)重系數(shù)，bl是全連接層l的偏置項(xiàng)。

為了提升CNN網(wǎng)絡(luò)性能，全連接層每個神經(jīng)元的激勵函數(shù)一般采用ReLU函數(shù)[16]。最后一層全連接層的輸出值被傳遞給一個輸出層，可以采用softmax邏輯回歸進(jìn)行分類，該層也可稱為softmax層。

2 CNN訓(xùn)練方法及開源工具

2.1 訓(xùn)練方法

神經(jīng)網(wǎng)絡(luò)用于模式識別的主流是有監(jiān)督訓(xùn)練[17]，無監(jiān)督訓(xùn)練更多的是用于聚類分析。對于有監(jiān)督訓(xùn)練，根據(jù)同類樣本在空間的分布及不同類樣本之間的分離程度找一種適當(dāng)?shù)目臻g劃分方法，使得不同類樣本分別位于不同的區(qū)域內(nèi)。

卷積網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確的數(shù)學(xué)表達(dá)式，只要用已知的模式對卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有輸入輸出對之間的映射能力。卷積網(wǎng)絡(luò)通過BP算法進(jìn)行有監(jiān)督訓(xùn)練。在開始訓(xùn)練前，采用一些不同的小隨機(jī)數(shù)對網(wǎng)絡(luò)中的所有的權(quán)值和偏置值進(jìn)行初始化，“小隨機(jī)數(shù)”用來保證網(wǎng)絡(luò)不會因權(quán)值過大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失??；“不同”用來保證網(wǎng)絡(luò)可以正常地學(xué)習(xí)。隨機(jī)初始化的權(quán)值和偏置值的范圍可為[-0.5，0.5]或者[-1，1]（或者是其他合適的區(qū)間）[18]。

在實(shí)際應(yīng)用中，無標(biāo)注的數(shù)據(jù)遠(yuǎn)多于有標(biāo)注的數(shù)據(jù)，同時對數(shù)據(jù)進(jìn)行人工標(biāo)注也需要耗費(fèi)較大的人力。但是為了使有監(jiān)督CNN得到充分的訓(xùn)練并獲得較好的泛化能力，又需要大量有標(biāo)注的訓(xùn)練樣本，這一定程度上制約了CNN在實(shí)際中的應(yīng)用。

2.2 開源工具

深度學(xué)習(xí)能夠廣泛應(yīng)用于眾多研究領(lǐng)域，離不開許多優(yōu)秀的開源深度學(xué)習(xí)仿真工具。目前常用的深度學(xué)習(xí)仿真工具有Caffe[19]、Torch、Theano[20]、以及TensorFlow等。

Caffe是一個基于C++語言且關(guān)于CNN相關(guān)算法的架構(gòu)。Caffe可以在CPU及GPU上運(yùn)行，它支持MATLAB和Python接口。Caffe提供了一個完整的工具包，用于訓(xùn)練、測試、微調(diào)及部署模型。Caffe允許用戶對新數(shù)據(jù)格式、網(wǎng)絡(luò)層和損失函數(shù)進(jìn)行拓展；它的運(yùn)行速度也很快，但是靈活性較差。

Torch是一個支持機(jī)器學(xué)習(xí)算法的科學(xué)計算框架。它是采用Lua腳本語言和C語言編寫的。Torch為設(shè)計和訓(xùn)練機(jī)器學(xué)習(xí)模型提供了一個靈活的環(huán)境，它還可支持iOS、Android等嵌入式平臺，但Torch沒有Python接口。

Theano是一個允許用戶定義、優(yōu)化并評價數(shù)學(xué)表達(dá)式的Python庫。提供了NumPy的大部分功能，可在GPU上運(yùn)行。此外，Theano能夠自動求微分，它尤其適用于基于梯度的方法。Theano能夠很容易且高效地實(shí)現(xiàn)遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。然而Theano的編譯過程很慢，導(dǎo)入Theano也需要消耗時間。

TensorFlow是Google開源的一款深度學(xué)習(xí)框架，可以在CPU和GPU上運(yùn)行，支持C++和Python編程語言，因此可以在不同的計算機(jī)上自由運(yùn)行代碼，程序比Theano編譯時間短。TensorFlow不僅支持深度學(xué)習(xí)，還有支持強(qiáng)化學(xué)習(xí)和其他算法的工具。TensorFlow的計算圖是純Python的，因此速度較慢。

3 CNN應(yīng)用

近年來，CNN已被廣泛應(yīng)用于圖像處理領(lǐng)域中。Krizhevsky等人[21]第1次將CNN用于LSVRC-12競賽中，通過加深CNN模型的深度并采用ReLU+dropout技術(shù)，取得了當(dāng)時最好的分類結(jié)果（該網(wǎng)絡(luò)結(jié)構(gòu)也被稱為AlexNet）。相比于AlexNet，Szegedy等人[22]大大增加了CNN的深度，提出了一個超過20層的CNN結(jié)構(gòu)（稱為GoogleNet）。在GoogleNet結(jié)構(gòu)中采用了3種類型的卷積操作，該結(jié)構(gòu)的主要特點(diǎn)是提升了計算資源的利用率，它的參數(shù)比文獻(xiàn)[21]少了12倍，而且GoogleNet的準(zhǔn)確率更高，在LSVRC-14中獲得了圖像分類“指定數(shù)據(jù)”組的第1名。Simonyan等人[23]在其發(fā)表的文章中探討了“深度”對于CNN網(wǎng)絡(luò)的重要性。該文通過在現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)中不斷增加具有3×3卷積核的卷積層來增加網(wǎng)絡(luò)的深度，實(shí)驗(yàn)表明，當(dāng)權(quán)值層數(shù)達(dá)到16～19時，模型的性能能夠得到有效提升（也稱為VGG模型）。 VGG與GoogLeNet的深度都比較深，所以網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，訓(xùn)練時間長，而且VGG還需要多次微調(diào)網(wǎng)絡(luò)的參數(shù)。

4 總結(jié)

CNN通過權(quán)值共享減少了需要訓(xùn)練的權(quán)值個數(shù)、降低了網(wǎng)絡(luò)的計算復(fù)雜度，同時通過下采樣操作使得網(wǎng)絡(luò)對輸入的局部變換具有一定的不變性，提升了網(wǎng)絡(luò)的泛化能力。卷積神經(jīng)網(wǎng)絡(luò)雖然在一些數(shù)據(jù)上取得了成功，仍有許多工作需要進(jìn)一步去做：①很難確定CNN使用哪種網(wǎng)絡(luò)結(jié)構(gòu)，使用多少層，每一層使用多少個神經(jīng)元才是合適的；②訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集的分布不一樣，則CNN很難獲得一個好的識別結(jié)果；③如何針對更大規(guī)模數(shù)據(jù)、更深結(jié)構(gòu)網(wǎng)絡(luò)設(shè)計高效的數(shù)值優(yōu)化、并行計算方法和平臺。

總之，CNN雖然還有許多有待解決的問題，但是這并不影響今后它在模式識別與人工智能等領(lǐng)域中的發(fā)展與應(yīng)用，它在未來很長的一段時間內(nèi)仍然會是人們研究的一個熱點(diǎn)。

參考文獻(xiàn)（References）：

[1] McCulloch W S，Pitts W. A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics，1943.5（4）：115-133

[2] Rosenblatt F. Principles of Neurodinamics： Preceptron and Theory of Brain Mechanisms. Washington，USA：Spartan Books，1962.

[3] Rumelhart D E， Hinton G， Williams R J. Learning representations by back-propagating errors. Nature，1986.323（6088）：533-536

[4] Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science，2006.313（5786）：504-507

[5] Hinton G，Osindero S，Teh Y-W. A fast learning algorithm for deep belief nets. Neural Computation，2006.18（7）：1527-1554

[6] Salakhutdinov R，Hinton G. Deep Boltzmann machines.Journal of Machine Learning Research-Proceedings Track，2009.9（1）：448-455

[7] Vincent P，Larochelle H，Bengio Y，et al. Extracting and composing robust features with denoising autoencoders//Proceedings of the 25th international Conference on Machine Learning.Helsinki，F(xiàn)inland，2008：1096-1103

[8] Vincent P，Larochelle H，Bengio Y，et al. Stacked denoising autoencoders：Learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research，2010.11（12）：3371-3408

[9] LeCun Y，Bottou L，Bengio Y，et al. Gradient-base learning applied to document recognition. Proceedings of the IEEE，1998.86（11）：2278-2324

[10] LeCun Y，Boser B，Denker J S，et al. Backpropagation applied to handwritten zip code recognition. Neural Compution，1989.11（4）：541-551

[11] Bouvrie J. Notes On Convolutional Neural Networks，MIT CBCL Tech Report，Cambridge，MA，2006.

[12] Bengio Y，Courville A，Vincent P. Representation learning：A review and new perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence，2013.35（8）：1798-1828

[13] He Kai-Ming，Sun Jian. Convolutional neural networks at constrained time cost//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：5353-5360

[14] Boureau Y-L， Roux N L， Bach F， et al. Ask the locals：Multi-way local pooling for image recognition//Proceedings of the 2011 International Conference on Computer Vision. Barcelona，Spain，2011：2651-2658

[15] Zeiler M D，F(xiàn)ergus R. Stochastic pooling for regularization of deep convolutional neural networks. arXiv：1301. 3557v1，2013.

[16] O'Shea K，Nash R. An introduction to convolutional neural networks. arXiv：1511. 08458v2，2015.

[17] Bengio Y. Learning deep architectures for AI.Foundations and Trends in Machine Learning，2009.2（1）：1-127

[18] Fausett L. Fundamentals of Neural Networks：Architec-tures， Algorithms， and Applications. London：Prentice-Hall，1994.

[19] Jia Yang-Qing，Shelhamer E，Donahue J，et al. Caffe：Convolutional architecture for fast feature embedding//Proceedings of the ACM International Conference on Multimedia. Orlando，USA，2014：675-678

[20] Al-Rfou R，Alain G，Almahairi A，et al. Theano：A python framework for fast computation of mathematical expressions. arXiv：1605. 02688v1，2016.

[21] Krizhevsky A， SutskeverⅡ， Hinton G. Imagenet classification with deep convolutional neural networks//Proceedings of the Advances in Neural Information Processing Systems. Lake Tahoe，USA，2012：1097-1105

[22] Szegedy C，Liu Wei，Jia Yang-Qing，et al. Going deeper with convolutions//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Boston，USA，2015：1-9

[23] Simonyan K，Zisserman A. Very deep convolutional networks for large-scale image recognition. arXiv：1409.1556v6，2014.