基于深度殘差網(wǎng)絡(luò)和GRU的SqueezeNet模型的交通路標(biāo)識別 *

霍愛清,張文樂,李浩平

(西安石油大學(xué)電子工程學(xué)院,陜西 西安 710065)

1 引言

交通路標(biāo)識別是無人駕駛技術(shù)中重要的組成部分，傳統(tǒng)的識別方法有模板匹配[1]、特征提取結(jié)合分類器[2]等。傳統(tǒng)方法的圖像特征是由人工設(shè)計(jì)的，此過程不僅花費(fèi)大量時間，而且識別準(zhǔn)確率不高[3,4]。隨著卷積神經(jīng)網(wǎng)絡(luò)CNN(Convolutional Neural Network)的發(fā)展，越來越多的分類問題能夠得到很好的解決，由于CNN能夠自動提取圖像的特征，避免了前期人為對圖像進(jìn)行預(yù)處理帶來的誤差，識別的準(zhǔn)確率有很大提高[5,6]。文獻(xiàn)[7]改進(jìn)了LeNet-5模型，加入Inception模塊[8]增加了網(wǎng)絡(luò)寬度，減少了網(wǎng)絡(luò)參數(shù)量，識別準(zhǔn)確率達(dá)到了98.5%。文獻(xiàn)[9]改進(jìn)了AlexNet模型[10]，增加了網(wǎng)絡(luò)層數(shù)，雖然大幅度減少了參數(shù)量，但識別準(zhǔn)確率只有96.87%。文獻(xiàn)[11]提出的CNN-Squeeze利用CNN對K-means方法聚類后的圖像進(jìn)行特征提取，再通過Squeeze進(jìn)行二次特征提取，識別準(zhǔn)確率達(dá)到了98.58%，但每個周期的訓(xùn)練時間為150 s。文獻(xiàn)[12]提出了基于多尺度的CNN模型，雖然該模型的識別率高達(dá)99.2%，但其訓(xùn)練時間超過了7 h。文獻(xiàn)[13]是基于VGG16模型進(jìn)行特征提取，但網(wǎng)絡(luò)深度比較深，大大增加了參數(shù)量。文獻(xiàn)[14,15]分別提出使用不同大小的卷積核進(jìn)行特征提取的方法和采用深層卷積神經(jīng)網(wǎng)絡(luò)Deep CNNs進(jìn)行特征提取，雖然準(zhǔn)確率都比較高，但增加了網(wǎng)絡(luò)寬度，訓(xùn)練時間也隨之增加。文獻(xiàn)[16]通過將不同層輸出的特征圖進(jìn)行融合輸出，縮小了網(wǎng)絡(luò)規(guī)模。

目前對交通路標(biāo)識別，要么構(gòu)建復(fù)雜的模型來獲得高的準(zhǔn)確率，要么為了提高效率，忽略了準(zhǔn)確率。針對這些問題，本文構(gòu)建了SqueezeNet-IR-GRU(SqueezeNet Improvement of Residual and Gated Recurrent Unit)模型，主要工作有：

(1)采用輕量級SqueezeNet作為基礎(chǔ)模型進(jìn)行改進(jìn)，SqueezeNet模型相對來說網(wǎng)絡(luò)結(jié)構(gòu)簡單，參數(shù)量少。

(2)將激活函數(shù)ReLU用ELU函數(shù)代替，避免網(wǎng)絡(luò)梯度消失，提高學(xué)習(xí)效率。

(3)對原始的殘差網(wǎng)絡(luò)進(jìn)行改進(jìn)，能夠很大程度減少參數(shù)量，縮減訓(xùn)練時間。

(4)結(jié)合GRU神經(jīng)網(wǎng)絡(luò)能夠記憶過去有用的信息，保證模型的穩(wěn)定性。

實(shí)驗(yàn)表明，本文所提模型可以采用較淺的網(wǎng)絡(luò)結(jié)構(gòu)，用較少的訓(xùn)練時間，達(dá)到較高的準(zhǔn)確率。

2 SqueezeNet模型

SqueezeNet是由Iandola等人借鑒Inception模塊提出的。Fire Module是SqueezeNet最主要的部分，其包括2個部分：Squeeze層和Expand層，圖1所示為Fire Module的結(jié)構(gòu)圖。Squeeze層采用1×1的卷積核對輸入的特征圖進(jìn)行降維處理，以減少參數(shù)量。降維后的特征圖分別經(jīng)過Expand層的1×1和3×3卷積核進(jìn)行升維，讓網(wǎng)絡(luò)具有寬度，再將Expand層卷積后的特征圖串聯(lián)起來。由于SqueezeNet的參數(shù)量少，故計(jì)算效率得以提高。

Figure 1 Structure of Fire Module圖1 Fire Module的結(jié)構(gòu)圖

其中，模型輸入維度為M×N×S(M是圖像高度，N是圖像寬度，S是圖像通道數(shù))，kernel是卷積核，s1是Squeeze層中1×1的卷積核數(shù)量，e1、e3分別是Expand層中1×1和3×3的卷積核數(shù)量。圖1中s1

3 SqueezeNet-IR-GRU網(wǎng)絡(luò)模型

在圖像識別過程中，為了獲得更好的性能而不斷地增加模型的網(wǎng)絡(luò)層次，模型也會變得越來越復(fù)雜，其相關(guān)的參數(shù)量也會變多，在訓(xùn)練時，運(yùn)算量增大，從而影響網(wǎng)絡(luò)的訓(xùn)練時間。為此本文對輕量級網(wǎng)絡(luò)進(jìn)行改進(jìn)，將深度殘差網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)與SqueezeNet進(jìn)行融合構(gòu)建了SqueezeNet-IR-GRU模型，該模型在很大程度上可以減少參數(shù)量，縮短訓(xùn)練時間，并提高網(wǎng)絡(luò)運(yùn)行的穩(wěn)定性和識別的準(zhǔn)確率。圖2所示為SqueezeNet-IR-GRU模型結(jié)構(gòu)圖。

Figure 2 Structure of SqueezeNet-IR-GRU model 圖2 SqueezeNet-IR-GRU模型結(jié)構(gòu)圖

其中，Input是輸入層，輸入為48×48×3的RGB圖像，F(xiàn)irei(i=2,3,6,7,10,11)是Fire Module結(jié)構(gòu)， ①、②、③為結(jié)構(gòu)相同的卷積處理環(huán)節(jié)，④為GRU網(wǎng)絡(luò)環(huán)節(jié)，F(xiàn)C為全連接層，Softmax為分類器。

經(jīng)過圖2中的卷積層Conv1，得到96個48×48的Feature map，再經(jīng)過最大池化層Maxpool1，輸出96個24×24的Feature Map。Maxpool1的輸出分3路，一路直接作為Fire2的輸入；一路與Fire2的輸出相加作為Fire3的輸入；還有一路與Conv4和Fire3的輸出相加作為Conv5的輸入，這樣經(jīng)過①處理得到96個24×24的Feature Map。圖2中的②、③的處理過程與①類似，為了獲得更多的有效特征，②、③中卷積核的數(shù)量依次為256和384,③最后的輸出為384個6×6大小的特征圖。將③的輸出經(jīng)過平均池化Avgpool,取其區(qū)域的平均值作為輸出，得到384個3×3的Feature Map。④中的GRU為GRU神經(jīng)網(wǎng)絡(luò)，先將輸入的384個3×3的特征圖經(jīng)內(nèi)部Reshape(重設(shè))為3×1152大小，就可得到3個1152維的特征向量，然后將3個特征向量依次輸入到2個GRU中，在GRU中進(jìn)行降維處理，每個GRU得到3×128的特征向量，為了得到豐富的記憶信息，將2個GUR分支的輸出特征向量拼接(Concat)得到6×256的特征向量，再經(jīng)過FC(全連接層)和Softmax層，最終得到43個概率值，取其中最大的概率值作為輸出。

在圖2中,每次卷積之后都有個批量歸一化處理算法BN(Batch Normalization)[17]，因?yàn)樵谟?xùn)練時，每層輸入數(shù)據(jù)的分布和學(xué)習(xí)率不一樣，對網(wǎng)絡(luò)的訓(xùn)練速度有很大影響。BN可將每層的數(shù)據(jù)都轉(zhuǎn)化為均值為0、標(biāo)準(zhǔn)差為1的分布，這樣能夠加速網(wǎng)絡(luò)收斂，提高訓(xùn)練效果，防止過擬合和梯度消失。

3.1 激活函數(shù)

本文用ELU函數(shù)替換ReLU函數(shù)，由于ELU函數(shù)添加了一個非零輸出，可以防止導(dǎo)數(shù)收斂為零，在一定程度上緩解了網(wǎng)絡(luò)的梯度消失，避免了ReLU的死區(qū)出現(xiàn)，提高了學(xué)習(xí)效率。

3.2 深度殘差網(wǎng)絡(luò)

深度殘差網(wǎng)絡(luò)是由He等人[18]在2016年提出的。圖3所示為殘差網(wǎng)絡(luò)結(jié)構(gòu)。其中，x是輸入，H(x)是輸出，F(xiàn)(x)是殘差映射函數(shù)。

Figure 3 Structure of residual network 圖3 殘差網(wǎng)絡(luò)結(jié)構(gòu)

隨著網(wǎng)絡(luò)層數(shù)的增加，訓(xùn)練結(jié)果并不會隨之變得更好，反而可能會使梯度消失的現(xiàn)象越明顯。要解決這個問題就要在網(wǎng)絡(luò)模型上添加一個恒等映射Identity，使得網(wǎng)絡(luò)隨深度增加而不退化。即可得到函數(shù)H(x)=F(x)+x，但優(yōu)化H(x)是比較困難的，所以將其轉(zhuǎn)化為學(xué)習(xí)殘差函數(shù)F(x)=H(x)-x。只要F(x)=0，就能得到恒等映射H(x)=x,即可使用網(wǎng)絡(luò)學(xué)習(xí)到新的特征。本文將這一思想引入到SqueezeNet模型中。

圖4a所示為原始的殘差網(wǎng)絡(luò)結(jié)構(gòu)，本文對其進(jìn)行改進(jìn)，將最初的輸入經(jīng)過Fire Module處理后與輸入疊加，疊加后的數(shù)據(jù)再經(jīng)過一次Fire Module處理后與最初的輸入進(jìn)行疊加，相比于原始的殘差網(wǎng)絡(luò)，這樣大大減少了參數(shù)量，縮減了訓(xùn)練時間。圖4b所示為改進(jìn)的殘差網(wǎng)絡(luò)結(jié)構(gòu)。

Figure 4 Structure of of original and improved residual networks圖4 原始的和改進(jìn)的殘差網(wǎng)絡(luò)結(jié)構(gòu)

3.3 GRU神經(jīng)網(wǎng)絡(luò)

GRU神經(jīng)網(wǎng)絡(luò)是LSTM[19]的簡化和改進(jìn)，圖5所示為GRU神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖。GRU只包含更新門zt和重置門rt2個門結(jié)構(gòu)。zt決定ht中包含ht-1的信息量，當(dāng)zt=1時，就將ht-1的全部信息傳遞給ht;當(dāng)zt=0時,就將當(dāng)前新的記憶信息傳遞給ht。rt決定ht-1時刻的信息對當(dāng)前新的記憶信息的重要性,rt值越大，傳遞到當(dāng)前新的記憶中的ht-1時刻的信息就越多。改進(jìn)的SqueezeNet-IR-GRU模型正是利用這一特性，將SqueezeNet的最后一個Fire Module用GRU神經(jīng)網(wǎng)絡(luò)替換，可以保證訓(xùn)練的穩(wěn)定性。圖2中的環(huán)節(jié)④就包含了GRU神經(jīng)網(wǎng)絡(luò)。

Figure 5 Structure of GRU network 圖5 GRU網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文模型的有效性，本節(jié)進(jìn)行準(zhǔn)確率、精準(zhǔn)率和召回率對比實(shí)驗(yàn)，并對實(shí)驗(yàn)結(jié)果進(jìn)行分析。

4.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的硬件配置：英偉達(dá)GTX 1060 6 GB顯卡、Intel i5-8500 CPU@3 GHz×6,16 GB內(nèi)存的臺式機(jī)，程序運(yùn)行平臺：在Linux操作系統(tǒng)上基于Keras框架[20]搭建網(wǎng)絡(luò)模型、利用sublime編輯器和Python語言編寫程序，CUDA9.0和cudnn7.05進(jìn)行加速處理。

4.2 GTSRB數(shù)據(jù)集

GTSRB數(shù)據(jù)集包含43類交通路標(biāo)，總共有51 839幅圖像，大小從15×15像素到250×250像素不等，其交通路標(biāo)可分為3大類，即指示類(Mandatory)、禁止(Prohibitory)和警告(Danger)。訓(xùn)練時分為訓(xùn)練集34 799幅、驗(yàn)證集4 410幅和測試集12 630幅。該數(shù)據(jù)集包含了在不同的天氣、不同的運(yùn)動狀態(tài)、不同的光照強(qiáng)度以及路標(biāo)牌損壞等情況下的圖像。由于數(shù)據(jù)分布不平衡，就有可能會出現(xiàn)過擬合的現(xiàn)象，在訓(xùn)練時本文通過數(shù)據(jù)增強(qiáng)來解決此問題。數(shù)據(jù)增強(qiáng)[21]就是在現(xiàn)有的訓(xùn)練樣本基礎(chǔ)上生成更多的訓(xùn)練數(shù)據(jù)，將原圖片通過旋轉(zhuǎn)、平移、隨機(jī)縮放、上下水平翻轉(zhuǎn)等方式來增加圖像的樣本。由于圖像大小不一致，所以在輸入前將圖像統(tǒng)一設(shè)置為48×48像素。

4.3 實(shí)驗(yàn)與結(jié)果分析

本文構(gòu)建的SqueezeNet-IR-GRU模型是基于SqueezeNet網(wǎng)絡(luò)、結(jié)合改進(jìn)的殘差網(wǎng)絡(luò)和GRU的神經(jīng)網(wǎng)絡(luò)，在原始SqueezeNet基礎(chǔ)上減少了網(wǎng)絡(luò)層次，并和文獻(xiàn)[13 - 16]的網(wǎng)絡(luò)模型進(jìn)行了比較。所有模型運(yùn)行均采用相同的參數(shù)：學(xué)習(xí)率使用指數(shù)衰減法，初始學(xué)習(xí)率為0.01，衰減率為0.95，沖量Momentum為0.9，訓(xùn)練的batchsize為256，epoch為30，相當(dāng)于7 680次迭代，準(zhǔn)確率取后6個周期平均值。

4.3.1 準(zhǔn)確率實(shí)驗(yàn)

不同模型的網(wǎng)絡(luò)層數(shù)、參數(shù)量、運(yùn)行的平均時間以及準(zhǔn)確率對比如表1所示，實(shí)驗(yàn)結(jié)果對比如圖6所示。

從表1可以看出，本文提出的SqueezeNet-IR-GRU模型的準(zhǔn)確率雖然沒有文獻(xiàn)[15]模型的高，但訓(xùn)練時間比該模型快了一倍多，文獻(xiàn)[15]模型通過結(jié)合Inception模塊和深度殘差網(wǎng)絡(luò)來加寬網(wǎng)絡(luò)的寬度，獲取不同的特征圖，但也使得參數(shù)量較大；文獻(xiàn)[16]模型融合了不同尺度大小的特征，雖然模型規(guī)模小，但參數(shù)量、訓(xùn)練時間以及準(zhǔn)確率都不及本文模型的；雖然VGG16模型[14]準(zhǔn)確率達(dá)到98.78%，但是參數(shù)量卻是最多；文獻(xiàn)[14]模型通過多特征融合的方法來增加網(wǎng)絡(luò)寬度，雖然參數(shù)量較少、模型規(guī)模小，但準(zhǔn)確率卻不如本文模型和文獻(xiàn)[15]的。從圖6可知，本文模型的穩(wěn)定性最好，文獻(xiàn)[13 - 15]模型的準(zhǔn)確率都有上下波動的現(xiàn)象，雖然文獻(xiàn)[16]模型的準(zhǔn)確率沒有波動，但其收斂比較慢。經(jīng)實(shí)驗(yàn)比較，本文提出的模型在參數(shù)量、運(yùn)行時間、收斂性和穩(wěn)定性上都優(yōu)于其他幾種模型，有效地提高了識別的準(zhǔn)確率和穩(wěn)定性。

Table 1 Comparison of improved model with other models on GTSRB dataset

Figure 6 Results of each model on GTSRB dataset圖6 各模型在GTSRB數(shù)據(jù)集上運(yùn)行結(jié)果

4.3.2 精準(zhǔn)率和召回率實(shí)驗(yàn)

為了衡量模型對圖像的分類能力，可通過精準(zhǔn)率P(Precision)和召回率R(Recall)實(shí)驗(yàn)進(jìn)行對比。精準(zhǔn)率就是分類器判定為正例中真正正例的比率，召回率就是被正確判定為正例占總正例的比率。如果對交通路標(biāo)中的Mandatory類別進(jìn)行精準(zhǔn)率和召回率計(jì)算，那么Mandatory就作為正例，Prohibitory類別和Danger類別就作為負(fù)例，其他兩類計(jì)算，也如此。精準(zhǔn)率和召回率公式分別如式(1)和式(2)所示：

(1)

(2)

其中，TP為真正正例圖像數(shù)；FN為正例預(yù)測為負(fù)例圖像數(shù)；FP為負(fù)例預(yù)測為正例圖像數(shù)。

表2所示為上述5個模型在GTSRB公開數(shù)據(jù)集的測試集上進(jìn)行精準(zhǔn)率和召回率實(shí)驗(yàn)對比的結(jié)果。

Table 2 Precision and recall of each model

從表2中可以看出，本文模型在精準(zhǔn)率上明顯優(yōu)于其他網(wǎng)絡(luò)模型，由于文獻(xiàn)[16]模型結(jié)構(gòu)最簡單，所以精準(zhǔn)率比較低。在召回率方面，本文模型在Mandatory類別上比VGG16高出了8.62%，Prohibitory類別上比Proposed CNN高出5.87%，Danger類別上比Proposed CNN高出5.75%，使用較小的網(wǎng)絡(luò)結(jié)構(gòu)和較少的參數(shù)達(dá)到了和文獻(xiàn)[15]模型差不多的效果。實(shí)驗(yàn)表明，本文模型能夠準(zhǔn)確識別交通路標(biāo)。

4.4 CIFIR-10數(shù)據(jù)集

IFIR[22]數(shù)據(jù)集包含CIFIR-10和IFIR-100。CIFIR-10總共有60 000幅圖像，其中50 000幅訓(xùn)練集圖像和10 000幅測試集圖像，總共10類，都是32×32像素大小的彩色圖像。本文通過在CIFIR-10數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)來驗(yàn)證本文模型的可行性。CIFIR-10的運(yùn)行結(jié)果如圖7所示。

Figure 7 Results of each model on CIFIR-10 dataset圖7 各模型在CIFIR-10數(shù)據(jù)集上運(yùn)行結(jié)果

從圖7可以看出，本文模型法的準(zhǔn)確率是相對最高的，因?yàn)镃IFIR-10數(shù)據(jù)集圖像的分辨率相對較低，使得訓(xùn)練的收斂慢，圖像的噪聲多，所以準(zhǔn)確率會出現(xiàn)上下波動現(xiàn)象，但本文模型相比于其他模型還是比較穩(wěn)定，收斂速度相對較快。從表3可以看出，本文模型在運(yùn)行時間上也都少于其他模型。所以經(jīng)實(shí)驗(yàn)表明，本文模型在其他數(shù)據(jù)集上也是具有可行性的。

5 結(jié)束語

針對交通路標(biāo)識別時由于網(wǎng)絡(luò)層數(shù)增加而出現(xiàn)的識別效率降低和參數(shù)量增多的問題，本文提出一種結(jié)合改進(jìn)殘差和GRU神經(jīng)網(wǎng)絡(luò)的SqueezeNet-IR-GRU模型，既降低了復(fù)雜度，又提高了準(zhǔn)確率。在GTSRB和CIFIR-10數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，本文提出的模型相比于其他網(wǎng)絡(luò)模型，提高了對交通路標(biāo)的識別準(zhǔn)確率，縮短了訓(xùn)練時間，同時模型運(yùn)行時收斂快，穩(wěn)定性好。本文雖然在準(zhǔn)確性和參數(shù)量上做了進(jìn)一步的優(yōu)化，但還不能完全適用于對參數(shù)量有很高要求的移動設(shè)備，這也是未來進(jìn)一步研究的方向。