基于卷積神經(jīng)網(wǎng)絡(luò)的汽車型號(hào)識(shí)別

陳淑君 周永霞 方勇軍

1(中國(guó)計(jì)量學(xué)院信息工程學(xué)院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

基于卷積神經(jīng)網(wǎng)絡(luò)的汽車型號(hào)識(shí)別

陳淑君1周永霞1方勇軍2

1(中國(guó)計(jì)量學(xué)院信息工程學(xué)院 浙江 杭州 310018)2(杭州吾思智能科技有限公司 浙江 杭州 310018)

利用汽車的前視圖像，提出一種基于深度學(xué)習(xí)的汽車型號(hào)識(shí)別方案。首先用Adaboost算法的級(jí)聯(lián)檢測(cè)器檢測(cè)出汽車的車頭感興趣區(qū)域。然后針對(duì)該感興趣區(qū)域，設(shè)計(jì)相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行汽車型號(hào)識(shí)別。實(shí)驗(yàn)分別對(duì)比了當(dāng)前流行的手工設(shè)計(jì)特征(SIFT、HOG和LBP特征)用SVM及ELM分類器的識(shí)別效果。實(shí)驗(yàn)結(jié)果顯示，基于深度學(xué)習(xí)的方法識(shí)別率顯著高于傳統(tǒng)機(jī)器學(xué)習(xí)方法，表現(xiàn)出卓越的性能。

深度學(xué)習(xí) 卷積神經(jīng)網(wǎng)絡(luò) Adaboost LBP SVM 車輛識(shí)別

0 引 言

隨著經(jīng)濟(jì)的快速發(fā)展，汽車的數(shù)量急劇增多，關(guān)于車輛的交通事故、違法犯罪等問(wèn)題也越發(fā)嚴(yán)重，人們對(duì)于車輛的智能化管理需求越發(fā)迫切。車輛識(shí)別對(duì)智能交通和車輛的智能化管理有著重要的作用，一直是當(dāng)前計(jì)算機(jī)研究的熱點(diǎn)。車輛的識(shí)別研究，包括車牌號(hào)識(shí)別、車標(biāo)識(shí)別、汽車具體型號(hào)識(shí)別等。當(dāng)前，車牌號(hào)的識(shí)別技術(shù)已較為成熟，且已廣泛投入應(yīng)用，但車牌號(hào)只能提供車輛的部分信息，在套牌、假牌、車牌遮擋、不掛牌等情況下，車輛身份就不明了，所以需要更完備的信息對(duì)車輛進(jìn)行有效管理。而汽車具體型號(hào)是車輛的一個(gè)重要信息，尤其對(duì)打擊涉車犯罪案有著重要的作用。大多數(shù)的車輛盜搶主要針對(duì)中高檔轎車，其具體型號(hào)信息的獲取是破案的重要依據(jù)。當(dāng)前關(guān)于車輛具體型號(hào)的識(shí)別研究并不多。文獻(xiàn)[1]中作者用GRM模板匹配方法對(duì)包含15種車型的前拍車輛圖像數(shù)據(jù)庫(kù)進(jìn)行類型識(shí)別。文獻(xiàn)[2]中用一種改進(jìn)的2DPCA方法提取特征，再用最小距離分類器進(jìn)行分類，提高了算法效率。文獻(xiàn)[3]中作者提取車輛的HOG特征，采用Adaboost算法定位出“車臉”，然后用支持向量機(jī)的方法實(shí)現(xiàn)分類。這些經(jīng)典的識(shí)別技術(shù)主流都是手工設(shè)計(jì)的特征提取加分類器的兩段式方法。而最近幾年，深度學(xué)習(xí)迅速崛起，在各個(gè)領(lǐng)域都有了突破性的進(jìn)步，幾乎掀起了一場(chǎng)方法革命。

本文將深度學(xué)習(xí)的方法應(yīng)用到車輛型號(hào)的識(shí)別領(lǐng)域，設(shè)計(jì)了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)汽車的具體型號(hào)識(shí)別。

1 基于Adaboost的車頭感興趣區(qū)域檢測(cè)

基于圖像的車輛研究，一般用車尾圖像或前視圖像。車尾和前視圖像各有其優(yōu)勢(shì)，車尾圖像包含了車輛的廠家，排氣量等信息，但車尾圖像對(duì)圖像質(zhì)量，分辨率等要求較高。而前視圖像獲取較為容易，其車頭外形特征也較為明顯。本文用前視圖像進(jìn)行汽車型號(hào)識(shí)別。相比于傳統(tǒng)的用手工設(shè)計(jì)特征再用分類器進(jìn)行識(shí)別的方法，本文直接用圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別。由于用整張前視圖像進(jìn)行識(shí)別，計(jì)算量大，且車窗內(nèi)的人物等場(chǎng)景會(huì)對(duì)識(shí)別造成干擾，而車輛前視圖像信息主要集中在車牌、車標(biāo)、車柵欄、車燈等車頭部分。所以本文選取這些區(qū)域(即車輪以上、車燈及其以下區(qū)域)作為車頭感興趣區(qū)域，進(jìn)行型號(hào)識(shí)別。

本文采取經(jīng)典的Adaboost算法[4]進(jìn)行汽車的車頭感興趣區(qū)域檢測(cè)。Adaboost算法是基礎(chǔ)boost算法的一種改進(jìn)優(yōu)化。其通過(guò)集成多個(gè)弱分類器，并進(jìn)行適應(yīng)性調(diào)整，從而獲得一個(gè)強(qiáng)分類器。檢測(cè)所用的圖像特征，我們分別實(shí)現(xiàn)了Haar特征和LBP特征。Haar特征是圖像的矩形特征，其對(duì)于近似剛性、具有紋理、具有塊狀特征的事物有較好的表達(dá)效果。LBP是一種可有效表示紋理的特征，廣泛應(yīng)用在當(dāng)前的圖像紋理表示上。

用Adaboost算法訓(xùn)練得到模型后，然后用滑動(dòng)窗口進(jìn)行感興趣區(qū)域檢測(cè)，當(dāng)檢測(cè)出的目標(biāo)區(qū)域重疊面積較大時(shí)，用非最大值抑制方法，選取面積最大的區(qū)域作為多個(gè)重疊區(qū)域的唯一檢測(cè)結(jié)果。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的汽車型號(hào)識(shí)別

2.1 卷積神經(jīng)網(wǎng)絡(luò)CNN

CNN是深度學(xué)習(xí)中的一種重要方法，尤其在圖像領(lǐng)域表現(xiàn)出了出色的性能。CNN大量使用于1990年[5],但其發(fā)展并不順利。隨著支持向量機(jī)的崛起，漸漸消失在人們的視野中。相應(yīng)地，各種手工設(shè)計(jì)的特征SIFT、HOG、LBP等也活躍在各個(gè)領(lǐng)域。直到2012年Krizhevsky[6]在ImageNet大型視覺(jué)識(shí)別挑戰(zhàn)中用卷積神經(jīng)網(wǎng)絡(luò)模型大幅度的提高了圖像的分類精度，重新燃起了人們對(duì)CNN的興趣。短短幾年的發(fā)展，CNN在圖像分類[6-9]、人臉識(shí)別[10-11]、物體檢測(cè)[9,12-14]等領(lǐng)域都有了突破性進(jìn)步。CNN與傳統(tǒng)的方法不同，其不需要手工設(shè)計(jì)特征，自然集成了低、中、高層的特征表示，是一種端到端的層級(jí)特征學(xué)習(xí)分類器。

2.2 網(wǎng)絡(luò)的設(shè)計(jì)

由于車頭感興趣區(qū)域與人臉具有較高的相似性，都是由一些塊狀的部件組成。而人臉識(shí)別一直是計(jì)算機(jī)學(xué)者們的重點(diǎn)研究領(lǐng)域，其發(fā)展十分迅速。因此，我們借鑒人臉識(shí)別的相關(guān)研究成果。

本文主要是借鑒文獻(xiàn)[11-12]中的DEEPID同時(shí)用識(shí)別信號(hào)和驗(yàn)證信號(hào)進(jìn)行監(jiān)督學(xué)習(xí)的人臉識(shí)別思想。其中，識(shí)別的監(jiān)督信號(hào)用交叉熵表示，驗(yàn)證的監(jiān)督信號(hào)用兩張感興趣區(qū)域特征的L2范數(shù)距離表示。

由于我們收集的車輛數(shù)據(jù)庫(kù)不大，不宜設(shè)計(jì)太過(guò)復(fù)雜的網(wǎng)絡(luò)模型，不然容易過(guò)擬合。我們?cè)O(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，包含4層卷積層(其前三層跟隨最大池化層)加一層全連接層，然后用softmax進(jìn)行分類。并且前三層分別增加一個(gè)全連接層，以添加識(shí)別信號(hào)和驗(yàn)證信號(hào)進(jìn)行監(jiān)督訓(xùn)練。我們嘗試了多種卷積核和提取的特征維度，其最后設(shè)計(jì)的模型如圖1所示。我們?cè)O(shè)計(jì)輸入圖像為47×95的彩色圖像，卷積層每層分別提取128張?zhí)卣鲌D，最終全連接層提取512維的特征。

圖1 CNN結(jié)構(gòu)圖

2.3 結(jié)合傳統(tǒng)分類器的識(shí)別

如圖1中的模型結(jié)構(gòu)所示，CNN在不同層上由低到高地分別提取了不同層次的特征。我們提取出該模型結(jié)構(gòu)的最后一層全連接層的特征，即512維的高層特征，作為感興趣區(qū)域的特征。然后結(jié)合當(dāng)前流行的分類器進(jìn)行分類，以提高識(shí)別效果。

3 實(shí)驗(yàn)結(jié)果和分析

3.1 車頭感興趣區(qū)域檢測(cè)的結(jié)果

作者手動(dòng)剪裁了3 950張車頭感興趣區(qū)域圖像作為正樣本，其平面內(nèi)傾斜和非平面內(nèi)傾斜角度均小于45度。而負(fù)樣本分成三部分。1)網(wǎng)上收集的2 000張包含各個(gè)不同場(chǎng)景且不包含該感興趣區(qū)域的圖像；2)作者從正樣本中手動(dòng)截取的1 000張與車頭感興趣區(qū)域區(qū)域的IoU(Intersect-ion-over-Union)大于0.1且小于0.3的部分(如車燈、車牌等)3)2 000張從正樣本中截取的非感興趣區(qū)域，如車窗、道路等。

分別設(shè)計(jì)了基于Haar和LBP的16層級(jí)聯(lián)檢測(cè)器。每層選取3 357張正樣本，10 000張負(fù)樣本(可在一張負(fù)樣本中截取不同區(qū)域作為負(fù)樣本)進(jìn)行訓(xùn)練。在VS2013和opencv平臺(tái)下實(shí)現(xiàn)。在Intel(R) Core(TM) i5-4467的處理器和8 GB內(nèi)存的機(jī)子上訓(xùn)練，用于存儲(chǔ)預(yù)先計(jì)算的特征值和特征索引緩存大小皆設(shè)為2 GB。其中基于Haar特征的模型需要訓(xùn)練兩個(gè)星期左右，而用LBP特征只需要訓(xùn)練一天左右即可得到模型。

得到模型后，分別用5 000張圖像測(cè)試結(jié)果，評(píng)價(jià)其性能。當(dāng)IoU大于50%時(shí)則認(rèn)為檢測(cè)正確。其實(shí)驗(yàn)結(jié)果如表1所示。

表1 車頭感興趣區(qū)域檢測(cè)結(jié)果

可發(fā)現(xiàn)，LBP特征能更好地表征出車頭感興趣區(qū)域的特征，對(duì)其檢測(cè)性能較佳。其檢測(cè)結(jié)果如圖2所示。

圖2 檢測(cè)結(jié)果

為更好地分析該算法的性能，我們分別對(duì)感興趣區(qū)域被部分遮擋和在不同光照條件下的情況(如圖3所示)進(jìn)行了更詳細(xì)的測(cè)試。

圖3 不同遮擋和光照條件

實(shí)驗(yàn)發(fā)現(xiàn)，該算法對(duì)光照的適應(yīng)性良好，在不同光照條件下，基本都可成功檢測(cè)出車頭感興趣區(qū)域。在遮擋性問(wèn)題上，當(dāng)遮擋面積較小時(shí)可檢測(cè)成功，隨著遮擋面積的增大，檢測(cè)失敗。說(shuō)明其對(duì)遮擋性也有一定的適應(yīng)性。

3.2 汽車型號(hào)識(shí)別結(jié)果

本文收集了41種常見(jiàn)車型的前視圖像，每種車型包含20到50張圖像。為了保證算法的魯棒性，允許車頭感興趣區(qū)域被小部分遮擋(行人、樹(shù)枝、車輛等遮擋)，允許不同的光照條件，包含白天和夜間圖像，車輛平面內(nèi)和非平面內(nèi)傾斜角度允許45度內(nèi)的變化。其部分樣本如圖4所示。用上文中描述的基于LBP的Adaboost方法檢測(cè)車頭感興趣區(qū)域，其檢測(cè)率為96.67%。然后用深度學(xué)習(xí)的方法對(duì)車頭感興趣區(qū)域進(jìn)行汽車型號(hào)的識(shí)別。

圖4 車型庫(kù)部分樣本

我們收集的樣本圖片有限，且不同類別的樣本數(shù)量不一，我們隨機(jī)選取樣本圖片(尤其是樣本數(shù)量較少的類別)，通過(guò)增加噪聲或隨機(jī)改變圖像的某個(gè)顏色分量的值增加樣本數(shù)量，同時(shí)保證數(shù)據(jù)分布較為平衡。最后對(duì)每個(gè)樣本生成其水平鏡像圖像，增加一倍數(shù)據(jù)量。

本課題在Linux操作系統(tǒng)下的Caffe上進(jìn)行實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)。Caffe是一個(gè)強(qiáng)大的深度學(xué)習(xí)免費(fèi)開(kāi)源的框架，其大大減少了人們實(shí)現(xiàn)深度學(xué)習(xí)算法的工作量。

我們用隨機(jī)梯度下降法在GPU上進(jìn)行訓(xùn)練。結(jié)合現(xiàn)有研究和多次實(shí)驗(yàn)結(jié)果，我們選取基礎(chǔ)學(xué)習(xí)速率為0.01，權(quán)重衰減為0.000 5，動(dòng)量為0.9，其識(shí)別效果較佳。

最后，我們提取出CNN模型最后一層全連接層的特征，結(jié)合傳統(tǒng)的分類器進(jìn)行識(shí)別。我們發(fā)現(xiàn)，將最后一層特征用支持向量機(jī)(SVM)進(jìn)行分類，其識(shí)別率提升了兩個(gè)百分比。

為了更好地體現(xiàn)CNN的算法性能，本文將其與傳統(tǒng)的機(jī)器學(xué)習(xí)方法進(jìn)行對(duì)比。實(shí)驗(yàn)實(shí)現(xiàn)了當(dāng)前流行的手工設(shè)計(jì)特征(SIFT、HOG、LBP)用流行的SVM和ELM分類器識(shí)別的方法。同時(shí)，也對(duì)比實(shí)現(xiàn)了數(shù)據(jù)未進(jìn)行擴(kuò)增時(shí)的識(shí)別效果。實(shí)驗(yàn)結(jié)果如表2所示。

表2 汽車型號(hào)識(shí)別結(jié)果對(duì)比表

實(shí)驗(yàn)結(jié)果顯示：1) 相比傳統(tǒng)手工設(shè)計(jì)特征加上分類器的識(shí)別方法，卷積神經(jīng)網(wǎng)絡(luò)的方法表現(xiàn)出了卓越的性能。2) 對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，數(shù)據(jù)量增大，其識(shí)別率有了明顯的提升，驗(yàn)證了其對(duì)于大量數(shù)據(jù)的需求。結(jié)合現(xiàn)有的研究，我們可以相信，隨著汽車數(shù)據(jù)庫(kù)的增大，其識(shí)別率也將會(huì)有一定程度的提升。3) 用卷積神經(jīng)網(wǎng)絡(luò)提取特征，再結(jié)合傳統(tǒng)的分類器進(jìn)行分類，是一個(gè)較好的研究方向，有較大的發(fā)展空間。

4 結(jié) 語(yǔ)

本文提出了一種基于深度學(xué)習(xí)的汽車型號(hào)識(shí)別方法。首先用Adaboost級(jí)聯(lián)算法檢測(cè)出車輛的車頭感興趣區(qū)域，然后針對(duì)該區(qū)域，設(shè)計(jì)了相應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行型號(hào)識(shí)別。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，相比于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，卷積神經(jīng)網(wǎng)絡(luò)在識(shí)別率上表現(xiàn)出了卓越的性能。并且提取卷積神經(jīng)網(wǎng)絡(luò)最后一層全連接層的特征用SVM分類器進(jìn)行分類，發(fā)現(xiàn)其識(shí)別率有了提升，可達(dá)到96.5%左右。且當(dāng)前研究的主要瓶頸在于汽車型號(hào)數(shù)據(jù)庫(kù)的大小，相信隨著數(shù)據(jù)庫(kù)的增大，將會(huì)有更理想的識(shí)別效果。

本文的工作和成果對(duì)汽車識(shí)別領(lǐng)域的研究和應(yīng)用都有一定的作用。

[1] 唐紅強(qiáng). 基于GRM模板匹配算法的車型和車系識(shí)別[D]. 電子科技大學(xué), 2014.

[2] 燕磬, 楊安平, 陳凌宇. 一種改進(jìn)的2DPCA車臉識(shí)別方法[J]. 現(xiàn)代電子技術(shù), 2014(8):123-125.

[3] 賈曉. 套牌車輛的車型識(shí)別與檢索技術(shù)研究[D]. 大連海事大學(xué), 2016.

[4] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518 vol.1.

[5] Lecun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11):2278-2324.

[6] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012:1097-1105.

[7] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2015:1-9.

[8] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J].Computer Science, 2014.

[9] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[J]. Computer Science, 2015.

[10] Sun Y, Wang X, Tang X. Deep learning face representation by joint identification-verification[J]. Advances in Neural Information Processing Systems, 2014, 27:1988-1996.

[11] Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust[C]//Computer Vision and Pattern Recognition. IEEE, 2015.

[12] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Computer Science, 2014:580-587.

[13] Girshick R. Fast R-CNN[C]//IEEE International Conference on Computer Vision. IEEE, 2015:1440-1448.

[14] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017,39(6):1137-1149.

VEHICLEMODELRECOGNITIONBASEDONCONVOLUTIONALNEURALNETWORK

Chen Shujun1Zhou Yongxia1Fang Yongjun2

1(CollegeofInformationEngineering,ChinaJiliangUniversity,Hangzhou310018,Zhejiang,China)2(HangzhouWusiIntelligentScienceandTechnologyCo.Ltd.,Hangzhou310018,Zhejiang,China)

Using the front view of the vehicle, we propose an algorithm for vehicle model recognition based on deep learning. First, the vehicle face region was detected by using the cascade detector of Adaboost algorithm. Then, a convolution neural network was designed to identify the region. Moreover, we compared the recognition effects of SVM, ELM classifier and popular manual design features (SIFT, HOG and LBP) respectively. The experimental results show that the recognition rate of the deep learning is significantly higher than the traditional machine learning method. Deep learning demonstrates excellent performance.

Deep learning Convolution neural network Adaboost LBP SVM Vehicle identification

2016-11-09。陳淑君，碩士生，主研領(lǐng)域：計(jì)算機(jī)視覺(jué)。周永霞，副教授。方勇軍，工程師。

TP3

A

10.3969/j.issn.1000-386x.2017.11.042