深層卷積神經(jīng)網(wǎng)絡(luò)在車標(biāo)分類上的應(yīng)用

張素雯，張永輝

(海南大學(xué) 信息科學(xué)技術(shù)學(xué)院 海南 ?？?570228；南海海洋資源利用國家重點(diǎn)實(shí)驗(yàn)室，海南 海口 570228 )

深層卷積神經(jīng)網(wǎng)絡(luò)在車標(biāo)分類上的應(yīng)用

張素雯，張永輝

(海南大學(xué) 信息科學(xué)技術(shù)學(xué)院 海南 海口 570228；
南海海洋資源利用國家重點(diǎn)實(shí)驗(yàn)室，海南 海口 570228 )

在目標(biāo)不夠清晰的視頻中采集車標(biāo)樣本，通過加噪的方式擴(kuò)充了樣本量，設(shè)計(jì)3層卷積神經(jīng)網(wǎng)絡(luò)，尋求合適的參數(shù)，從訓(xùn)練樣本中提取特征，充分利用了訓(xùn)練樣本提供的信息進(jìn)行模型訓(xùn)練和分類.實(shí)驗(yàn)結(jié)果證明該方法在光照變化和噪聲污染的情況下仍能保持較高的準(zhǔn)確率，能適應(yīng)惡劣環(huán)境，在自有數(shù)據(jù)集上分類準(zhǔn)確率高達(dá)99.06%.

視頻監(jiān)控； 深度學(xué)習(xí)； 深層卷積神經(jīng)網(wǎng)絡(luò)； 車標(biāo)識別

在現(xiàn)代智能交通監(jiān)控中，目標(biāo)的識別涉及許多多分類問題，如車牌字符識別、車標(biāo)識別等，這些分類問題也是準(zhǔn)確獲取車輛信息和輔助交通管理的關(guān)鍵，筆者以車標(biāo)分類為例對這種多分類問題進(jìn)行了研究.

車標(biāo)分類多利用機(jī)器學(xué)習(xí)的方法[1-5].在機(jī)器學(xué)習(xí)的方法中分為人工選定特征和利用神經(jīng)網(wǎng)絡(luò)自動提取特征2個大類.在人工選定特征和分類器的方法中，常被用到的特征有方向梯度直方圖( Histogram of Oriented Gradient，HOG)、尺度不變特征轉(zhuǎn)換(Scale-Invariant Feature Transform ，SIFT)和隨機(jī)稀疏矩陣(Statistical Random Sparse Distribution, SRSD).文獻(xiàn)[1]對車標(biāo)圖像提取梯度直方圖特征值，用支持向量機(jī)(Support Vector Machine，SVM)訓(xùn)練分類器，實(shí)現(xiàn)一對一的方式對車標(biāo)進(jìn)行多分類，平均準(zhǔn)確率為92.59%.文獻(xiàn)[2]通過改進(jìn)SIFT特征使車標(biāo)分類準(zhǔn)確率為97%.文獻(xiàn)[3]利用統(tǒng)計(jì)學(xué)的隨機(jī)分布稀疏(SRSD)特征來表示車標(biāo)，并利用多尺度掃描同時對車標(biāo)進(jìn)行定位和識別，整體準(zhǔn)確率可達(dá)97.21%.雖然人工選取特征的方法已經(jīng)有了相對較高的準(zhǔn)確率，但是基于卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network ,CNN)的方法普遍能夠達(dá)到更高的準(zhǔn)確率.文獻(xiàn)[4]采用2層卷積神經(jīng)網(wǎng)絡(luò)對車標(biāo)進(jìn)行分類，引入預(yù)訓(xùn)練的概念來提高訓(xùn)練速率和準(zhǔn)確率.文獻(xiàn)[5-6]先通過卷積神經(jīng)網(wǎng)絡(luò)對車標(biāo)進(jìn)行初次分類，再利用SVM分類器進(jìn)行二次校準(zhǔn)，從而達(dá)到較高的準(zhǔn)確率.文獻(xiàn)[7]采用2層CNN網(wǎng)絡(luò)并將第一層和第二層特征聯(lián)合起來，最后得到的特征復(fù)雜.文獻(xiàn)[8]只采用2層網(wǎng)絡(luò)結(jié)構(gòu)而無其他輔助操作，與復(fù)雜操作相比，效果不理想.利用傳統(tǒng)分類器的方法需要人工選取特征，特征的選擇至關(guān)重要，卷積神經(jīng)網(wǎng)絡(luò)分類不需人工選擇特征且準(zhǔn)確率更高，但步驟普遍復(fù)雜，2層網(wǎng)絡(luò)結(jié)構(gòu)需要輔助其他操作才能達(dá)到較高準(zhǔn)確率.

綜上所述，卷積神經(jīng)網(wǎng)絡(luò)分類方法不需要人工選擇特征，相較于傳統(tǒng)分類方法有較大優(yōu)勢，但利用2層網(wǎng)絡(luò)想要達(dá)到較高準(zhǔn)確率需要有輔助操作，且對樣本圖片數(shù)量和質(zhì)量要求高，不能適應(yīng)惡劣環(huán)境.針對2層CNN網(wǎng)絡(luò)需要輔助操作才能達(dá)到較高準(zhǔn)確率的問題，筆者采用深層卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車標(biāo)識別，此網(wǎng)絡(luò)結(jié)構(gòu)使得從輸入數(shù)據(jù)中獲得的特征更加鮮明，有效提高了準(zhǔn)確率，在自有的質(zhì)量較差的樣本上分類準(zhǔn)確率高達(dá)99.06%.

1 卷積神經(jīng)網(wǎng)絡(luò)

在機(jī)器深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)(CNN)是一種前饋人工神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元之間的連接模式是受動物視覺皮層組織啟發(fā).動物皮質(zhì)的單個神經(jīng)元的分布方式使其能夠?qū)χ丿B的平鋪視野區(qū)域做出響應(yīng)，此響應(yīng)方式可以在數(shù)學(xué)上通過卷積運(yùn)算來描述[9].卷積神經(jīng)網(wǎng)絡(luò)作為一種多層感知機(jī)，在機(jī)器學(xué)習(xí)、圖像和視頻識別領(lǐng)域有著廣泛的應(yīng)用.

由于CNN的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在訓(xùn)練模型時，不用人工提取特征，而是自動隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí).卷積網(wǎng)絡(luò)中同一特征映射面上的神經(jīng)元共享權(quán)值，從而使網(wǎng)絡(luò)自由參數(shù)的個數(shù)減少，降低了網(wǎng)絡(luò)的復(fù)雜性，使得網(wǎng)絡(luò)可以并行學(xué)習(xí)，是卷積網(wǎng)絡(luò)區(qū)別于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢.

CNN是一種有監(jiān)督學(xué)習(xí)方法[10]，采用反向傳播的方法進(jìn)行訓(xùn)練 .在一個卷積層中，前層的特征映射圖先與卷積核進(jìn)行運(yùn)算，然后經(jīng)過激活函數(shù)得到特征映射圖作為輸出.每個輸出圖由許多個圖的卷積結(jié)果組合而成，計(jì)算公式

其中，f表示激活函數(shù)，*表示卷積操作，bn,j表示第n層Xn,j中特征映射圖所加的偏置值，Wn,j表示卷積圖Xn,j的權(quán)值，M表示特征映射圖Xn,j的集合.

通過反傳的殘差來進(jìn)行參數(shù)調(diào)節(jié)過程便是CNN的學(xué)習(xí)過程，其中殘差的表示方法

其中,η表示 CNN 訓(xùn)練設(shè)定的學(xué)習(xí)速率.

網(wǎng)絡(luò)訓(xùn)練的最終目標(biāo)是使最后得到的誤差函數(shù)的值盡可能的小，通過反向傳播的誤差來調(diào)整權(quán)值矩陣的過程是循環(huán)進(jìn)行的，直到殘差最小，此時傳播函數(shù)收斂.

2 深層卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及應(yīng)用

CNN應(yīng)用中，一般認(rèn)為人對外界的認(rèn)知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，距離較遠(yuǎn)的像素相關(guān)性則較弱.因此，從底層開始只對圖片局部進(jìn)行感知，然后在更高層將局部的信息綜合起來就得到了全局的信息[11].文獻(xiàn)[11]提出了一個反卷積的方法，對比每一層卷積神經(jīng)網(wǎng)絡(luò)反卷積的圖片可看出，從網(wǎng)絡(luò)最底層開始，每一層提取的特征從基礎(chǔ)的邊緣開始不斷上升到突出的特征，也就是說底層提取的特征通常比頂層提取的特征簡單，越是到頂層，越能將圖片獨(dú)特的特征凸顯出來.

在對樣本圖片進(jìn)行特征提取之前，需要對圖片進(jìn)行灰度化和歸一化處理.在網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)一定的情況下，輸入到神經(jīng)網(wǎng)絡(luò)的圖片越小，提取到的特征維度越小，需要的時間也會相對少，但圖片被壓縮后會丟失部分信息，從而對分類準(zhǔn)確率有所影響，考慮到樣本圖片的大小約為38×38像素，故將樣本圖片歸一化到38×38像素，設(shè)計(jì)深層CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

每層網(wǎng)絡(luò)都包括了卷積層、激活層、歸一化層和下采樣層，用ReLU作為激活函數(shù)來加速收斂，避免梯度消失.圖1中的矩形方塊表示訓(xùn)練過程中提取的特征，特征圖的大小和數(shù)量已在圖1中標(biāo)出，線條箭頭表示網(wǎng)絡(luò)的走向.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 車標(biāo)樣本選擇及模型訓(xùn)練 選取國內(nèi)常見的十大品牌車標(biāo)作為實(shí)驗(yàn)對象：尼桑、奧迪、奔馳、本田、別克、大眾、豐田、馬自達(dá)、五菱和雪鐵龍.首先從交通監(jiān)測視頻中截取車標(biāo)訓(xùn)練和測試的樣本，然后對截取的原始樣本做加噪處理，得到更多的樣本，并且使得分類器更能適應(yīng)惡劣環(huán)境.3列圖片分別為從視頻中獲得的原圖、改變亮度之后的圖片、加噪點(diǎn)之后的圖片(如圖2所示).在實(shí)際視頻監(jiān)控中，攝像頭距離被監(jiān)測的車輛較遠(yuǎn)，且鏡頭中的車輛是運(yùn)動的.因此，來自于真實(shí)視頻中的車標(biāo)樣本原圖已經(jīng)不清晰，經(jīng)過加噪后樣本更加模糊.

圖2 模型訓(xùn)練所用部分車標(biāo)樣本

除了車標(biāo)樣本之外，還加入了非車標(biāo)樣本作為第十一類訓(xùn)練樣本，部分非車標(biāo)樣本如圖3所示.

圖3 模型訓(xùn)練所用部分非車標(biāo)樣本

在訓(xùn)練模型之前，先對樣本進(jìn)行預(yù)處理，即將樣本灰度化并歸一化到38×38像素，再輸入到深層 CNN進(jìn)行訓(xùn)練，訓(xùn)練樣本每類2 500張，測試樣本每類600張.

3.2 分類結(jié)果與分析 根據(jù)現(xiàn)有的基于車牌位置的方法定位車標(biāo)用于分類訓(xùn)練和測試.利用深層CNN訓(xùn)練的模型對測試集進(jìn)行測試，測試集中11 類車標(biāo)每類各 600 張，共6 600張，具體結(jié)果如表1所示.

由實(shí)驗(yàn)結(jié)果可得，將車標(biāo)和非車標(biāo)共11類樣本作為輸入，經(jīng)過網(wǎng)絡(luò)分類后，每類車標(biāo)和非車標(biāo)樣本的檢測準(zhǔn)確率都在98.00%以上，最高達(dá)到99.67%，輸出結(jié)果的平均準(zhǔn)確率為99.06%，實(shí)驗(yàn)結(jié)果較為理想.

為了驗(yàn)證深層網(wǎng)絡(luò)的優(yōu)越性，筆者還將文獻(xiàn)[8]中2層網(wǎng)絡(luò)的方法應(yīng)用在本文樣本上，得到分類的平均準(zhǔn)確率為97.54%.對比可知，本文分類方法有較高的準(zhǔn)確率，能夠適應(yīng)圖片模糊、噪聲復(fù)雜和光照較弱的現(xiàn)實(shí)場景并且有效剔除錯誤定位的車標(biāo).

表1 自有樣本分類結(jié)果對照表

4 小 結(jié)

采用3層卷積神經(jīng)網(wǎng)絡(luò)，從訓(xùn)練樣本中提取特征，利用了原始數(shù)據(jù)提供的信息進(jìn)行車標(biāo)分類.實(shí)驗(yàn)結(jié)果表明，對于圖片模糊、噪聲復(fù)雜和光照較弱的現(xiàn)實(shí)場景，該深層網(wǎng)絡(luò)具有99.06%準(zhǔn)確率，且能夠適應(yīng)惡劣環(huán)境，可以有效地剔除錯誤定位的車標(biāo).與2層網(wǎng)絡(luò)的對比中可以發(fā)現(xiàn)，本文3層深度網(wǎng)絡(luò)能夠獲得更高的準(zhǔn)確率，可為實(shí)際應(yīng)用提供更加準(zhǔn)確的輔助交通管理方法技術(shù).

[1] Llorca D F, Arroyo R, Sotelo M A. Vehicle logo recognition in traffic images using HOG features and SVM: proceedings of the 16th International IEEE Conference on Intelligent Transportation Systems (ITSC 2013), Hague, October 6-9, 2013[C]. [S.l.]:IEEE, 2013.

[2] Psyllos A P, Anagnostopoulos C N E, Kayafas E. Vehicle logo recognition using a sift-based enhanced matching scheme[J]. IEEE transactions on intelligent transportation systems, 2010, 11(2): 322-328.

[3] Peng H, Wang X, Wang H, et al. Recognition of low-resolution logos in vehicle images based on statistical random sparse distribution[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(2): 681-691.

[4] Hugng Y, Wu R, Sun Y, et al. Vehicle logo recognition system based on convolutional neural networks with a pretraining strategy[J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4): 1 951-1 960.

[5] Thubsaeng W, Kawewong A, Patanukhom K. Vehicle logo detection using convolutional neural network and pyramid of histogram of oriented gradients: proceedings of the 11th International Joint Conference on Computer Science and Software Engineering (JCSSE), Si Racha, May 14-16, 2014[C].[S.l.]:IEEE, 2014.

[6] 彭博，臧笛.基于深度學(xué)習(xí)的車標(biāo)識別方法研究[J].計(jì)算機(jī)科學(xué), 2015, 42(4):268-273．

[7] 張力，張洞明，鄭宏.基于聯(lián)合層特征的卷積神經(jīng)網(wǎng)絡(luò)在車標(biāo)識別中的應(yīng)用[J]．計(jì)算機(jī)應(yīng)用，2016，36(2):444-448.

[8] 孫曄，吳銳文. 基于卷積神經(jīng)網(wǎng)絡(luò)的車標(biāo)識別[J].現(xiàn)代計(jì)算機(jī):專業(yè)版, 2015(11):86-89.

[9] Lecun Y. LeNet-5, convolutional neural networks [EB/OL]. [2016-10-05]. http://yann.lecun.com/exdb/lenet.

[10] Bouvrie J. Notes on convolutional neural networks [EB/OL]. [2016-10-05]. http://cogprints.org/5869/1/cnn_tutorial.pdf.．

[11] Zeiler M D, Fergus R. Visualizing and understanding convolutional networks: proceedings of 13th European Conference on Computer Vision, ECCV 2014, Zurich, September 6-12,2014[C].[S.l.]: Springer Verlag, 2014.

[12]Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks [J].Advances in neural information processing systems. 2012, 25(2):1 097-1 105.

Application of Deep Convolution Neural Network for Vehicle-logo Classification

Zhang Suwen, Zhang Yonghui

(College of Information Science and Technology, Hainan University,Haikou 570228,China；State Key Laboratory of Marine Resource Utilization in the South China Sea, Hainan University, Haikou 570228, China)

In the report, some vehicle-logo samples were collected from the video which is not clear enough, and the amount of the sample was expanded by adding noise to the samples. A three layer convolution neural network was designed to find the suitable parameter and extract the characteristics from the training samples. The information from the training samples was used for the model training and classification. The results indicated that under the condition of illumination change and noise pollution, the accuracy of the method was still high, and the accuracy rate of classification was as high as 99.06% on its own dataset.

video surveillance; deep learning; Convolutional Neural Network (CNN); vehicle-logo recognition

2016-12-23

海南省應(yīng)用技術(shù)開發(fā)項(xiàng)目(ZDXM2015103)

張素雯(1989-)，女，湖北隨州人，海南大學(xué)2014級碩士研究生，研究方向：多媒體信息處理，E-mail: suwenzhang361@163.com

張永輝(1974-)，男，山東寧津人，教授，博士，研究方向：智能檢測技術(shù)、數(shù)字信號處理，E-mail: 45146989@qq.com

1004-1729(2017)02-0119-05

TP 391.4

A DOl：10.15886/j.cnki.hdxbzkb.2017.0021