基于交叉熵的CNN交通標(biāo)志識別方法研究

陳玉婷 張鳳瑜

摘要：為了彌補經(jīng)典LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型在交通標(biāo)志識別中易發(fā)生過擬合的不足，克服其識別準(zhǔn)確率與訓(xùn)練效率較低的缺點，采用GTSRB德國交通標(biāo)志數(shù)據(jù)集，并對數(shù)據(jù)集進行擴充，使訓(xùn)練集數(shù)量達到6 312 649張，同時對經(jīng)典LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型在激活函數(shù)、池化策略、隨機丟棄及網(wǎng)絡(luò)結(jié)構(gòu)等方面進行改進，使用基于交叉熵的梯度下降算法對模型的誤差反向傳播過程進行優(yōu)化。實驗結(jié)果表明，改進后的模型較改進前在識別準(zhǔn)確率與訓(xùn)練效率上都有所提高，識別準(zhǔn)確率最高可達97.04%。因此，基于交叉熵的卷積神經(jīng)網(wǎng)絡(luò)不僅能夠提高模型的交通標(biāo)志識別準(zhǔn)確率，有效防止過擬合，還能夠提升網(wǎng)絡(luò)訓(xùn)練效率。

關(guān)鍵詞：交通標(biāo)志識別;卷積神經(jīng)網(wǎng)絡(luò);交叉熵

Research on CNN Traffic Sign Recognition Method Based on Cross Entropy

CHEN Yu?ting，?ZHANG Feng?yu

（School of Information Science & Technology， Northeast Normal University， Changchun 130117，China）

Abstract：In order to make up for the shortcomings of the classic LeNet?5 convolution neural network model in traffic sign recognition and overcome the shortcomings of the recognition accuracy and low training efficiency， the data set of GTSRB German traffic sign is used and the data set is expanded to make the number of training setup to 6 312 649. The classical LeNet?5 convolution neural network model is improved in the aspects of activation function， pooling strategy， random discarding and network structure， and the algorithm of gradient descent based on cross entropy is used to optimize the error back propagation process of the model. Through the related experiments， the improved model has improved the recognition accuracy and training efficiency compared with the improvement， and the recognition accuracy reaches 97.04%. The convolution neural network based on cross entropy can not only improve the recognition accuracy of traffic signs recognition， effectively prevent overfitting， but also improve the training efficiency of the network.

Key Words：traffic sign recognition;convolution neural network;cross entropy

0?引言

近年來，智能交通決策系統(tǒng)得到了迅速發(fā)展，其能夠識別交通標(biāo)志信息并作出下一步?jīng)Q策，從而輔助甚至代替駕駛員駕駛，減輕駕駛員的駕駛壓力，同時可對駕駛員的違規(guī)駕駛行為作出提醒，進而減少交通事故發(fā)生[1]。交通標(biāo)志在道路交通中扮演著重要角色，其能夠直接指導(dǎo)駕駛員在行車過程中的行為。目前，汽車上普遍安裝了行車記錄儀，可以通過其采集道路交通信息，獲取交通標(biāo)志，并進一步識別出交通標(biāo)志的所屬種類。隨著城市的發(fā)展，道路交通安全設(shè)施日趨完善，交通標(biāo)志的種類也日益豐富[2]，因此對交通標(biāo)志識別的泛化能力也有著較高要求。

隨著機器學(xué)習(xí)、深度學(xué)習(xí)[3]等人工智能技術(shù)的不斷發(fā)展與應(yīng)用，在很多方面都取得了較好的應(yīng)用效果，也有越來越多學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)算法引入到識別問題中。交通標(biāo)志識別系統(tǒng)涉及多個領(lǐng)域[4]，如模式識別、圖像處理、人工智能等，其識別過程一般包括檢測與識別兩部分。檢測過程一般利用交通標(biāo)志的色彩、形狀等特征，檢測出包含交通標(biāo)志符號的區(qū)域，然后通過相關(guān)技術(shù)判斷是否為感興趣區(qū)域[5];識別過程是先對感興趣區(qū)域進行預(yù)處理，如圖像歸一化，然后提取圖像特征并判斷是否為交通標(biāo)志，以及所屬的交通標(biāo)志類別[6]，進而識別出交通標(biāo)志。本文側(cè)重于研究交通標(biāo)志的識別過程。目前，卷積神經(jīng)網(wǎng)絡(luò)在交通標(biāo)志識別方面存在著一些不足，如訓(xùn)練過程冗長、識別準(zhǔn)確率較低、網(wǎng)絡(luò)容易產(chǎn)生過擬合現(xiàn)象、網(wǎng)絡(luò)泛化能力不足等。因此，本文旨在利用淺層次卷積神經(jīng)網(wǎng)絡(luò)，達到縮短訓(xùn)練過程、提升網(wǎng)絡(luò)識別準(zhǔn)確率的目的。

1?卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）是在20世紀(jì)80年代后期發(fā)展起來的，在過去幾年中，有關(guān)卷積神經(jīng)網(wǎng)絡(luò)的論文數(shù)量呈爆炸式增長，也取得了相當(dāng)多的研究成果。卷積神經(jīng)網(wǎng)絡(luò)主要應(yīng)用于以下幾個方面：①圖像、視頻中的對象識別。如Facebook中的好友面孔標(biāo)記、Snapchat中給圖像添加濾鏡等;②自然語言處理方面。如谷歌助理、亞馬遜Alexa語音識別等;③游戲方面?！癆lphaGo”在圍棋領(lǐng)域首次戰(zhàn)勝了人類的世界冠軍。與神經(jīng)網(wǎng)絡(luò)的研究相同，CNN的靈感來源于自然界，特別是人腦中的視覺皮層。視覺皮層中的神經(jīng)元集中在圖像不同大小的斑塊上，從而在不同層次獲得信息，如果計算機可以利用該方式工作，即可能擁有類似大腦的識別圖像能力[7]。

卷積神經(jīng)網(wǎng)絡(luò)的輸入為原始圖像[8]，通過各層之間直接的信息處理與傳遞達到分類目的。圖1為卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)。

卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要分為3部分：卷積、池化與全連接網(wǎng)絡(luò)。

輸入為原始圖像，之后為卷積層（Convolution Layer），它是卷積神經(jīng)網(wǎng)絡(luò)特有結(jié)構(gòu)，卷積層需使用激活函數(shù)加入非線性因素，因為線性模型的表達能力不夠[9]。在卷積神經(jīng)網(wǎng)絡(luò)的一個卷積層中，一個神經(jīng)元只與相鄰層部分神經(jīng)元連接，包含若干個特征平面（Feature Map），同一特征平面中的神經(jīng)元共享同一權(quán)值，這里權(quán)值是指卷積核[10]。卷積核的初始化形式一般是隨機的，在網(wǎng)絡(luò)模型的不斷訓(xùn)練過程中學(xué)習(xí)到恰當(dāng)?shù)臋?quán)值。共享權(quán)值是卷積神經(jīng)網(wǎng)絡(luò)的特點，其優(yōu)點是減少了網(wǎng)絡(luò)層與層之間的連接，從而減少了網(wǎng)絡(luò)參數(shù)數(shù)量，同時也降低了出現(xiàn)過擬合的風(fēng)險[11]。

在卷積層之后是池化層（Pooling Layer），池化也稱為子采樣，根據(jù)特定規(guī)則進行池化以降低特征平面維度，可有效防止過擬合問題。池化層也是卷積神經(jīng)網(wǎng)絡(luò)的特有結(jié)構(gòu)，但其沒有激活函數(shù)。卷積層與池化層的組合在卷積神經(jīng)網(wǎng)絡(luò)中可出現(xiàn)多次，迭代次數(shù)根據(jù)具體應(yīng)用場景與模型需要進行確定[12]，卷積與子采樣簡化了模型復(fù)雜度[13]。

在若干卷積層與池化層組合之后是全連接層，全連接層的每一節(jié)點都與上一層的所有節(jié)點相連，用來將之前提取到的特征綜合起來進行分類輸出，在整個網(wǎng)絡(luò)中起到“分類器”的作用。

2?基于交叉熵的CNN網(wǎng)絡(luò)模型構(gòu)建及優(yōu)化

2.1?模型構(gòu)建

LeNet-5卷積神經(jīng)網(wǎng)模型已在手寫字體識別方面取得了很好的應(yīng)用效果[14]，但該網(wǎng)絡(luò)模型在交通標(biāo)志識別問題中的分類效果仍不夠理想。因此，本文對經(jīng)典的LeNet-5模型進行改進，對其網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)設(shè)置等部分進行調(diào)整，主要改進方法有如下幾種：

（1）采用sigmoid激活函數(shù)。該函數(shù)可以將輸出結(jié)果映射到（0，1）區(qū)間，計算導(dǎo)數(shù)也非常方便。

（2）全連接層加入隨機丟棄。將LeNet-5模型中最后一層卷積層定義為全連接層，網(wǎng)絡(luò)的全連接層數(shù)為兩層，并在全連接層加入隨機丟棄。隨機丟棄的使用不僅能夠減少網(wǎng)絡(luò)參數(shù)數(shù)量，還能提升網(wǎng)絡(luò)訓(xùn)練準(zhǔn)確率。

（3）最后一層為softmax層。softmax回歸可用于多分類問題，其可將結(jié)果映射到（0，1）區(qū)間內(nèi)，并將輸出結(jié)果轉(zhuǎn)化為概率問題。

因此，本文在原有LeNet-5神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上改進了網(wǎng)絡(luò)模型結(jié)構(gòu)，改進后的網(wǎng)絡(luò)模型架構(gòu)如圖2所示。?其中，部分網(wǎng)絡(luò)參數(shù)設(shè)置如下：

（1）池化策略。在池化層中，常用池化策略有最大值采樣[15]、均值采樣與隨機采樣3種。根據(jù)相關(guān)理論，均值采樣能夠保留更多背景信息，而最大值采樣能更多地保留紋理信息，隨機采樣介于兩者之間，在平均意義上與均值采樣相似，在局部意義上與最大值采樣近似[16]。由于交通標(biāo)志識別問題側(cè)重于對交通標(biāo)志本身的識別，而忽略了背景因素，所以本文采用最大值采樣方法進行池化。

（2）權(quán)重初始化。在開始訓(xùn)練網(wǎng)絡(luò)之前，網(wǎng)絡(luò)中的權(quán)重等參數(shù)是不確定的，需要根據(jù)實際訓(xùn)練情況初始化參數(shù)。在訓(xùn)練過程中，通常希望網(wǎng)絡(luò)能夠盡快收斂，而且輸出結(jié)果能夠具有較高準(zhǔn)確率。因此，需要控制權(quán)重參數(shù)初始值范圍，使網(wǎng)絡(luò)輸出結(jié)果能夠盡量控制在希望的范圍內(nèi)。本文權(quán)重初始化使用標(biāo)準(zhǔn)正態(tài)分布，以均值為0、方差為1進行隨機初始化，生成截斷正態(tài)分布的隨機數(shù)。截斷分布是在標(biāo)準(zhǔn)正態(tài)分布基礎(chǔ)上對其加以限制，從而使生成的數(shù)據(jù)在一定范圍內(nèi)[17]。標(biāo)準(zhǔn)正態(tài)分布生成的數(shù)據(jù)范圍為負無窮到正無窮，但截斷式正態(tài)分布生成的數(shù)據(jù)在均值-2倍方差與均值+2倍方差范圍內(nèi)。隨機產(chǎn)生的值不能偏離平均值的2個標(biāo)準(zhǔn)差范圍，如果超出則將其舍棄并重新獲取。偏置使用常量初始化函數(shù)，設(shè)置為0。

（3）Dropout隨機丟棄。在一批數(shù)據(jù)迭代時，每次更新參數(shù)前，隨機從全連接層中暫時去掉一部分隱藏層神經(jīng)元。Dropout隨機丟棄并不是將這些神經(jīng)元永久性刪除，以后不再使用，而是在下一批數(shù)據(jù)迭代前，模型恢復(fù)成最初的全連接模型，然后隨機去掉部分隱藏層神經(jīng)元，迭代更新權(quán)值W與偏置值b，但是隨機去掉部分隱藏層后的殘缺全連接層與之前的殘缺全連接層是不同的。本文中所使用的Dropout值為0.5，Dropout能夠在一定程度上減少計算量，提升網(wǎng)絡(luò)識別率。

2.2?模型優(yōu)化

在理想情況下，人們通常希望神經(jīng)網(wǎng)絡(luò)能夠快速從錯誤中學(xué)習(xí)，以獲得更好結(jié)果，但在實踐過程中效果往往不如人意。當(dāng)使用二次代價函數(shù)作為損失函數(shù)時，其函數(shù)可表示為?C=（y-a）2?2?，F(xiàn)假設(shè)神經(jīng)元輸入為a，訓(xùn)練輸入為x=1，目標(biāo)輸出為y=0。如果使用權(quán)重及偏置表達該損失函數(shù)，有a=σ（z）。σ（）表示激活函數(shù)，其中z=wx+b，則將x、y帶入后，權(quán)重與偏置的偏導(dǎo)數(shù)為：

從以上公式可以看出，權(quán)重與偏置的偏導(dǎo)數(shù)只與σ′（z）函數(shù)有關(guān)。

交叉熵可以在神經(jīng)網(wǎng)絡(luò)的反向傳播過程中作為損失函數(shù)，在網(wǎng)絡(luò)權(quán)重更新中起到一定作用。用p表示樣本真實標(biāo)記分布，q表示網(wǎng)絡(luò)模型訓(xùn)練后預(yù)測標(biāo)記的分布，交叉熵損失函數(shù)用來衡量p與q?的相似性。交叉熵損失函數(shù)還能避免sigmoid在梯度下降過程中出現(xiàn)學(xué)習(xí)速率降低的問題。Sigmoid函數(shù)圖像如圖3所示。

由圖3可以看出，圖像兩端sigmoid函數(shù)的曲線趨于水平，也即是說在激活函數(shù)?σ（z）的值等于1或0時，σ′（z）的值會很小，從而導(dǎo)致Cw與Cw的值也非常小，所以學(xué)習(xí)速率緩慢[18]。因此，本文引入交叉熵代價函數(shù)。

假設(shè)需要訓(xùn)練一個網(wǎng)絡(luò)，網(wǎng)絡(luò)輸入為x?1，x?2，…，其對應(yīng)權(quán)重為w?1，w?2，…，偏置值為b，則神經(jīng)元輸出為a=σ（z），其中z=∑?jw?jx?j+b是輸入的帶權(quán)和，則該網(wǎng)絡(luò)的交叉熵代價函數(shù)可定義為：

其中，n為訓(xùn)練數(shù)據(jù)總數(shù)，對所有輸入樣本x進行求和，y為標(biāo)簽真實值（目標(biāo)輸出），則w權(quán)重參數(shù)梯度為：

其中，σ（z）-y表示輸出值與真實值之間的誤差，σ′（z）=σ（z）（1-σ（z）），則在w權(quán)重參數(shù)的梯度公式中，σ′（z）被消除。所以，當(dāng)σ（z）-y的值越大，誤差則越大，梯度值也越大，權(quán)重參數(shù)w調(diào)整則會越快，因此訓(xùn)練速度也會更快。同理，計算偏置值b的梯度為：

因此，將二次代價函數(shù)更換為交叉熵損失函數(shù)，可避免因?σ′（z）?飽和帶來的學(xué)習(xí)率下降問題，從而提升學(xué)習(xí)效率。

3?實驗與分析

3.1?實驗設(shè)計

實驗分為兩個階段：網(wǎng)絡(luò)訓(xùn)練階段與網(wǎng)絡(luò)測試階段。訓(xùn)練階段將樣本批量輸入到網(wǎng)絡(luò)中，通過向前學(xué)習(xí)與誤差反向傳播對網(wǎng)絡(luò)權(quán)重等參數(shù)進行訓(xùn)練，以獲得更好的網(wǎng)絡(luò)模型;測試階段將測試樣本輸入到訓(xùn)練好的網(wǎng)絡(luò)中，測試網(wǎng)絡(luò)訓(xùn)練效果，整體流程如圖4所示。

3.2?GTSRB德國交通標(biāo)志數(shù)據(jù)集

本文使用GTSRB德國交通標(biāo)志數(shù)據(jù)集進行訓(xùn)練，GTSRB是2011年國際神經(jīng)網(wǎng)絡(luò)聯(lián)合會議（IJCNN）舉辦的多級單一圖像分類挑戰(zhàn)賽中使用的數(shù)據(jù)集，為會議上公布的旨在為各類交通標(biāo)志分類算法提供公開比較平臺的一個交通標(biāo)志數(shù)據(jù)庫[19]。GTSRB專注于分類問題，數(shù)據(jù)集中的圖像大多沒有背景，因而比較適合本文的研究方向。GTSRB數(shù)據(jù)庫中的交通標(biāo)志圖像全部從自然場景中采集得到，共有43類標(biāo)志，其中訓(xùn)練集有39 209幅圖像，測試集有12 630幅圖像，合計共51 839幅圖像[20]，訓(xùn)練集與測試集比例大致為4∶1。

為了豐富訓(xùn)練數(shù)據(jù)集，提升網(wǎng)絡(luò)泛化能力與識別準(zhǔn)確率，對原有數(shù)據(jù)集進行擴充。擴充采用圖像旋轉(zhuǎn)與平移兩種變換組合方式，變換后圖像大小不變，空缺部分用黑色填充。將旋轉(zhuǎn)角度控制在[-10°，10°]范圍內(nèi)，負數(shù)表示逆時針旋轉(zhuǎn)，正數(shù)表示順時針旋轉(zhuǎn)，每旋轉(zhuǎn)1°定義一張新圖像;將平移控制在2個像素之內(nèi)，分別在上、下、左、右4個方向進行平移，每平移一個像素定義一張新圖像。在生成數(shù)據(jù)集時，將旋轉(zhuǎn)與平移進行組合變換（旋轉(zhuǎn)+平移）生成新圖像，圖像變換效果如圖5所示。

圖5（a）為原始圖像，經(jīng)過向下平移2像素并順時針旋轉(zhuǎn)10°變換為圖5（b）。因此，通過旋轉(zhuǎn)與平移的組合變換，原數(shù)據(jù)集中的一張圖像可演變出（10*2）*（2*4）=160張圖像。經(jīng)過圖像變換，將訓(xùn)練樣本集擴充為39 209*160=6 273 440張圖像，再與原GTSRB數(shù)據(jù)訓(xùn)練集構(gòu)成新的訓(xùn)練集，共6 273 440+39 209=6 312 649張圖像。

3.3?結(jié)果對比

3.3.1?基于交叉熵的梯度下降算法優(yōu)化前后對比

將網(wǎng)絡(luò)損失函數(shù)的最小值設(shè)為0，將網(wǎng)絡(luò)迭代次數(shù)設(shè)置為13 000次，目的在于排除網(wǎng)絡(luò)到達誤差閾值內(nèi)而提前結(jié)束訓(xùn)練的情況，以便于觀察損失函數(shù)在迭代次數(shù)增加時損失值的變化情況。

首先，使用傳統(tǒng)的平方差函數(shù)作為訓(xùn)練損失函數(shù)，在訓(xùn)練過程中，每迭代500次測試一次網(wǎng)絡(luò)的loss值與識別準(zhǔn)確率。輸出使用平方差代價函數(shù)時，網(wǎng)絡(luò)loss值與準(zhǔn)確率變化情況如圖6所示。

從圖6（a）中的loss值變化情況可以看出，網(wǎng)絡(luò)在第11 000次迭代以前的loss值不斷發(fā)生變化。其中，在4 000次內(nèi)迭代時，loss值迅速下降，網(wǎng)絡(luò)收斂速度較快，在4 000～11 000次迭代時，網(wǎng)絡(luò)收斂減慢，但loss值也在下降;大約在11 000次后，loss值趨于零且網(wǎng)絡(luò)收斂。同時，網(wǎng)絡(luò)識別準(zhǔn)確率的變化幅度也很小，使用平方差函數(shù)的網(wǎng)絡(luò)經(jīng)過訓(xùn)練，在13 000次迭代內(nèi)達到的最高準(zhǔn)確率為96.61%。

將平方差函數(shù)換成交叉熵，測試在sigmoid激活函數(shù)下該優(yōu)化策略對網(wǎng)絡(luò)的影響。使用基于交叉熵的梯度下降算法，網(wǎng)絡(luò)loss值與準(zhǔn)確率變化情況如圖7所示。

從圖7（a）中可看出，基于交叉熵的梯度下降算法在2 000～2 500次迭代前，loss值下降迅速;在2 500～10 000次迭代時loss值也在下降，網(wǎng)絡(luò)收斂趨于緩慢;在10 000次迭代后loss值趨于零，網(wǎng)絡(luò)收斂。使用基于交叉熵的梯度下降算法的網(wǎng)絡(luò)經(jīng)過訓(xùn)練，最高識別準(zhǔn)確率達97.04%。

基于交叉熵的梯度下降算法使網(wǎng)絡(luò)誤差值增大，從而增大了梯度。參數(shù)w調(diào)整得越快，訓(xùn)練速度也越快。改進的梯度下降算法較改進前能夠使網(wǎng)絡(luò)提前收斂，如果在訓(xùn)練中設(shè)置一定誤差閾值，訓(xùn)練迭代次數(shù)將會更少。實驗表明，基于交叉熵的梯度下降算法能夠使網(wǎng)絡(luò)收斂加快。

3.3.2?網(wǎng)絡(luò)改進前后對比

由圖8可知，在13 000次迭代內(nèi)，LeNet-5模型對擴充后的GTSRB交通標(biāo)志數(shù)據(jù)集的識別準(zhǔn)確率相對較低，最高識別率為93.73%。隨著迭代次數(shù)增加，在訓(xùn)練到12 000次左右達到最高識別率。本文改進后的模型在10 000～11 000次迭代之間收斂，且最高識別率為97.04%，說明改進后的模型能夠提升識別準(zhǔn)確率。相比于改進前的LeNet-5模型，其對擴充后的GTSRB數(shù)據(jù)集識別準(zhǔn)確率提升了3.31%，并且能夠加快網(wǎng)絡(luò)訓(xùn)練速度，使網(wǎng)絡(luò)提前收斂，表明改進后的模型增強了網(wǎng)絡(luò)識別能力。

4?結(jié)語

本文在經(jīng)典LeNet-5模型基礎(chǔ)上，使用基于交叉熵的卷積神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了一種高性能的交通標(biāo)志識別算法。通過在德國交通標(biāo)志數(shù)據(jù)集上進行實驗，實驗結(jié)果表明，改進后的模型相比于原模型具有更高的識別率，提高了網(wǎng)絡(luò)泛化能力，有效減少了過擬合現(xiàn)象，同時降低了網(wǎng)絡(luò)迭代次數(shù)，提升了訓(xùn)練效率，改進后模型的識別準(zhǔn)確率最高可達97.04%。通過對基于交叉熵的卷積神經(jīng)網(wǎng)絡(luò)在交通標(biāo)志識別方面的研究發(fā)現(xiàn)，在本文構(gòu)建的模型中使用交叉熵作為損失函數(shù)，能夠使網(wǎng)絡(luò)提前收斂，并且在一定程度上提升了識別準(zhǔn)確率。在今后的研究中，可以使用更深層次的網(wǎng)絡(luò)進行研究，深層次網(wǎng)絡(luò)對圖像特征的表達能力更強，并能進一步提升識別準(zhǔn)確率，但深層網(wǎng)絡(luò)意味著更多的網(wǎng)絡(luò)參數(shù)，訓(xùn)練時間也將更長，因此可以考慮使用交叉熵作為損失函數(shù)，進一步研究其對訓(xùn)練速度的提升效果。

參考文獻：

[1]?畢建彬.道路交通事故的人因分析與駕駛員可靠性研究[D].北京：北京交通大學(xué)，2012.

[2]?王昔鵬.復(fù)雜場景下的交通標(biāo)志識別技術(shù)研究[D].合肥：合肥工業(yè)大學(xué)，2017.

[3]?劉建偉，劉媛，羅雄麟.深度學(xué)習(xí)研究進展[J].計算機應(yīng)用研究，2014，31（7）：1921?1942.

[4]?齊飛.交通標(biāo)志識別技術(shù)研究[D].北京：北京交通大學(xué)，2013.

[5]?榮慕華.道路交通標(biāo)志識別研究現(xiàn)狀[J].群文天地，2012（2）：273.

[6]?秦飛.交通標(biāo)志實時檢測與識別技術(shù)研究[D].重慶：重慶大學(xué)，2011.

[7]?吳正文.卷積神經(jīng)網(wǎng)絡(luò)在圖像分類中的應(yīng)用研究[D].成都：電子科技大學(xué)，2015.

[8]?李彥冬，郝宗波，雷航.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計算機應(yīng)用，2016，36（9）：2508?2515，2565.

[9]?張雪洪，杭曉敏，胡洪波.計算機在生命科學(xué)中的應(yīng)用[M].上海：上海交通大學(xué)出版社，2003.

[10]?宋光慧.基于遷移學(xué)習(xí)與深度卷積特征的圖像標(biāo)注方法研究[D].杭州：浙江大學(xué)，2017.

[11]?方寧，周宇，葉慶衛(wèi)，等.基于無監(jiān)督學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的振動信號模態(tài)參數(shù)識別[J].計算機應(yīng)用，2017，37（3）：786?790，822.

[12]?姜伶俏.基于卷積神經(jīng)網(wǎng)絡(luò)的盲車牌識別算法研究[D].大連：大連海事大學(xué)，2017.

[13]?CSDN博客.卷積神經(jīng)網(wǎng)絡(luò)[EB/OL].http：∥m.blog.csdn.net/article/details？ id=52644511.

[14]?張慶輝，萬晨霞.卷積神經(jīng)網(wǎng)絡(luò)綜述[J].中原工學(xué)院學(xué)報，2017，28（3）：82?86，90.

[15]?JI S W， XU W， YANG M， et al. 3D convolutional neural networks for human action recognition[J]. Pattern Analysis and Machine Intelligence. IEEE Transctions on， 2013，35（1）：221?232.

[16]?彭勁璋.面向交通標(biāo)志識別的卷積神經(jīng)網(wǎng)絡(luò)研究[D].北京：北京交通大學(xué)，2017.

[17]?CSDN博客.采用TensorFlow的截斷式正態(tài)分布生成數(shù)據(jù)[EB/OL].http：∥blog.csdn.net/weixin_40271376/article/details/79488267.

[18]?CSDN博客.關(guān)于神經(jīng)網(wǎng)絡(luò)中的代價函數(shù)——交叉熵的由來[EB/OL].http：∥blog.csdn.net/yqljxr/article/details/52075053？ _t_t_t=0.13459043968053863.

[19]?范延軍.基于機器視覺的先進輔助駕駛系統(tǒng)關(guān)鍵技術(shù)研究[D].南京：東南大學(xué)，2016.

[20]?唐睢睢.交通標(biāo)志識別算法研究[D].北京：北京交通大學(xué)，2014.