用于車輛識別的深度學(xué)習(xí)模型的優(yōu)化

劉澤康，孫華志，姜麗芬，馬春梅

（天津師范大學(xué)計算機與信息工程學(xué)院，天津300387）

隨著日常生活中汽車數(shù)量的增多，單純依靠人工識別已經(jīng)無法滿足需求，所以需要利用計算機識別代替人工.傳統(tǒng)的車輛識別方法一般可以分為3類：幀間差分法[1]、背景差分法[2]以及光流法[3].傳統(tǒng)方法雖然針對不同問題提出了有效的解決辦法，但是由于模型結(jié)構(gòu)簡單、訓(xùn)練不充分等問題，依然存在實時檢測性差或過于依賴外部環(huán)境等缺陷[4-6].近些年用于車輛識別的深度學(xué)習(xí)理論迅速發(fā)展.文獻[7]結(jié)合手工特征和深度玻爾茲曼機方法，將方向梯度直方圖等3種手工設(shè)計的特征作為輸入，并通過學(xué)習(xí)融合各特征的優(yōu)點，以提高識別精度.文獻[8]在深度置信網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，交替使用有監(jiān)督和無監(jiān)督過程訓(xùn)練，有效解決了梯度消失問題.文獻[9]將提取的25種基線特征和局部紋理特征融合，進行棧式自編碼器訓(xùn)練，簡化了網(wǎng)絡(luò)結(jié)構(gòu)，提高了識別精度.卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為深度學(xué)習(xí)理論的一個重要分支，在車輛識別方面有著突出的貢獻.文獻[10]在CNN的基礎(chǔ)上使用Adaboost算法訓(xùn)練多個不同的弱分類器，再將弱分類器聯(lián)合起來進行車輛識別.文獻[11]通過對遮擋物進行處理，再利用卷積神經(jīng)網(wǎng)絡(luò)，提高了有物體遮擋的汽車的識別精度.文獻[12]將基于卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測用于正面碰撞預(yù)警.文獻[13]通過反復(fù)堆疊3×3的小型卷積核和2×2的最大池化層構(gòu)建了16層的卷積神經(jīng)網(wǎng)絡(luò)（VGG16）.文獻[14]通過使用1×1、3×3、5× 5的卷積核尺寸對輸入數(shù)據(jù)進行卷積，再將3個卷積的輸出結(jié)果組合起來構(gòu)成模型（GoogLeNet）.雖然以上方法有較高的識別精度，但其對于深度學(xué)習(xí)網(wǎng)絡(luò)的改造大多是通過加深模型層數(shù)的方法實現(xiàn)的，而網(wǎng)絡(luò)層數(shù)和網(wǎng)絡(luò)參數(shù)的增加，會導(dǎo)致模型計算開銷大、響應(yīng)時間慢，并且對硬件要求較高，所以這些方法不易于運用到現(xiàn)實中的車輛識別中.本文通過參數(shù)優(yōu)化的方法，使模型以較小的網(wǎng)絡(luò)層數(shù)在短時間內(nèi)達到理想的精度.另外，本文選取真實拍攝場景中車輛的大小進行建模，針對真實拍攝場景車輛尺寸較小的問題，采用復(fù)制邊界的方法降低卷積過程中的信息損失，在特定的分辨率下對比分析了不同大小的卷積核對車輛識別精度的影響.利用公開數(shù)據(jù)集ImageNet和PKUVD進行實驗，結(jié)果表明，用于車輛識別的最佳卷積核尺寸分別為5×5、4×4、3×3，優(yōu)化后的模型識別精度可達99.74%，優(yōu)于CNN+Adaboost的97.02%和GoogLeNet-lite的99.35%.

1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

1.1 基于原邊界保留的卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)模型包括各網(wǎng)絡(luò)層的構(gòu)建以及各網(wǎng)絡(luò)層參數(shù)的訓(xùn)練.本文卷積神經(jīng)網(wǎng)絡(luò)由5部分構(gòu)成，分別為輸入層、卷積層、池化層、全連接層和Softmax分類器.輸入層輸入像素大小為m×n的圖像.卷積層的計算公式為

其中：al為第l卷積層的輸出；f（·）為卷積層的激活函數(shù)，wl為卷積核，*代表卷積操作，bl為卷積層的偏置參數(shù).在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中，圖像通過卷積層后尺寸會減小.為盡量保留圖像中的像素點，卷積層采用保留原邊界像素的方法，即在圖像邊界補零，使得圖像卷積后輸出的圖像尺寸與原圖像尺寸保持一致.池化層選用最大池化，最大池化的公式為

其中：xl為池化層的輸出；g（·）為次抽樣層的激活函數(shù)， down（·）為次抽樣函數(shù)， βl為池化層權(quán)重， bl為池化層的偏置函數(shù).池化層選擇下采樣框中像素值最大的像素點進行下采樣，提取主要特征，進而簡化網(wǎng)絡(luò)復(fù)雜度.全連接層連接所有特征圖共同做出決策，得到特征向量.全連接層得到的特征向量放入Softmax分類器中進行二分類.圖1為大小64×64的圖像通過3×3的卷積核進行卷積的過程.

圖1 卷積神經(jīng)網(wǎng)絡(luò)搭建過程Fig.1 Construction process of CNN

卷積神經(jīng)網(wǎng)絡(luò)通過訓(xùn)練自動更新權(quán)重和偏置值，網(wǎng)絡(luò)參數(shù)訓(xùn)練分為2個階段：正向傳播階段輸入圖像，經(jīng)過各層過濾，最后由分類器輸出分類結(jié)果；反向訓(xùn)練階段由分類器輸出結(jié)果計算出誤差值，反向傳播訓(xùn)練各層參數(shù).

1.2 圖像預(yù)處理

由于卷積神經(jīng)網(wǎng)絡(luò)要求輸入層輸入圖像的大小要保持一致，而通過攝像頭等方式采集到的樣本大小不一致.所以利用多相位圖像插值（Lanczos）算法進行圖像預(yù)處理，通過縮放尺寸計算新的像素點，在將圖像縮放到目標大小的基礎(chǔ)上，盡量保留原圖像的特征.

設(shè)f（i，j）為縮放前像素點，g（u，v）為縮放后像素點，首先計算縮放前后像素點移動距離（x，y）.其中：x=（u × Win）/Wout， y=（v × Hin）/Hout； Win和 Wout分別為縮放前后的圖像寬度，Hin和Hout分別為縮放前后的圖像高度.則輸出點 g（u，v）可由下式得出

其中：Hout（i，j）為原像素點進行縱向移動后的像素點，LanczosN（x）為濾波函數(shù).圖2為大小4×4范圍內(nèi)進行的Lanczos算法縮放示意圖.

圖2 預(yù)處理示意圖Fig.2 Preprocessing diagram

圖2中，水平相位值PH0=1+x，PH1=x，PH2=1-x，PH3=2-x，垂直相位值 PV0=1+y，PV1=y，PV2=1-y，PV3=2-y.根據(jù)上述關(guān)系式可得到8個相位值，從而實現(xiàn)多相位濾波.原圖像與經(jīng)過縮放后的圖像示例見圖3，圖3（a）為像素值 300 × 240的原圖像， 圖3（b）為縮放后像素值64×64的圖像.

圖3 圖像縮放對比Fig.3 Comparison of image zoom

2 樣本庫建立

卷積神經(jīng)網(wǎng)絡(luò)屬于深度神經(jīng)網(wǎng)絡(luò)，需要大量的訓(xùn)練集進行訓(xùn)練，本文使用斯坦福大學(xué)的ImageNet數(shù)據(jù)庫和北京大學(xué)的PKU-VD[15]數(shù)據(jù)庫，從中選取了8 588張車輛圖像以及11 375張背景圖像作為樣本庫.其中訓(xùn)練集樣本占總數(shù)的80%，測試集樣本占20%.

2.1 樣本標記

將樣本中的非車輛圖像和車輛圖像分別用“0”和“1”標記.為防止過擬合導(dǎo)致檢測框?qū)⒑熊囕v一部分的背景圖像認定為汽車，本文將設(shè)置只包含車輛一部分的圖像為非車輛圖像.訓(xùn)練集和測試集中樣本具體標記見表1.

表1 樣本標簽統(tǒng)計Tab.1 Sample label statistics

2.2 樣本裁剪

由于收集到的樣本圖像像素大小不同，因此需要將樣本裁剪成大小一致的圖像.按照1.2節(jié)的Lanczos算法將所有樣本圖像統(tǒng)一裁剪為像素64×64的圖像作為輸入，裁剪后的部分圖像如圖4所示.

圖4 部分裁剪后圖像Fig.4 Partial cropped images

3 實驗結(jié)果分析

3.1 默認參數(shù)設(shè)置

本文選取5層卷積神經(jīng)網(wǎng)絡(luò).第1層為輸入層，輸入大小為64×64的裁剪后圖像.中間3層為卷積層，卷積層的卷積核大小按默認設(shè)置，然后依次從第1個卷積層逐層改變卷積核大小，分別采用2×2、3×3、4×4、5×5大小的卷積核進行實驗，3個卷積層分別使用32、64、128個卷積核提取特征.全連接層設(shè)置500個卷積核進行全連接.之后將輸出的向量放入Softmax分類器進行分類.另外，本文選擇對數(shù)損失函數(shù)用作多分類，此函數(shù)為與Softmax分類器相對應(yīng)的損失函數(shù)，主要使用極大似然估計的方式.學(xué)習(xí)速率設(shè)置為0.001，并且使用隨機梯度下降的算法作為優(yōu)化器.

3.2 實驗結(jié)果對比

輸入層輸入經(jīng)過預(yù)處理后的64×64 RGB圖像，進行卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練.首先固定第2層和第3層卷積網(wǎng)絡(luò)卷積核大小為默認的3×3，第1層卷積網(wǎng)絡(luò)分別使用 2×2、3×3、4×4、5×5大小的卷積核進行實驗，結(jié)果見圖5.

圖5 第1層卷積網(wǎng)絡(luò)實驗結(jié)果Fig.5 Experiment results of the first convolutional layer

由圖5可以看出，卷積核大小為2×2、3×3的神經(jīng)網(wǎng)絡(luò)收斂速度較慢，卷積核大小為4×4的神經(jīng)網(wǎng)絡(luò)收斂速度在前期略高于卷積核大小為5×5的.由于圖5給出的是全部100次訓(xùn)練的測試結(jié)果，隨著訓(xùn)練次數(shù)的增加，不同卷積核網(wǎng)絡(luò)的識別精度曲線幾乎重合，為了更準確地觀察識別精度，截取訓(xùn)練次數(shù)為90至100的精度識別曲線，見圖6.

由圖6可見，當訓(xùn)練次數(shù)較大時，使用5×5大小卷積核的神經(jīng)網(wǎng)絡(luò)的整體識別精度高于其他3種尺寸卷積核的網(wǎng)絡(luò).因此，第1層卷積網(wǎng)絡(luò)最佳的卷積核尺寸為5×5.

圖6 第1層卷積網(wǎng)絡(luò)實驗部分結(jié)果Fig.6 Partial experiment results of the first convolutional layer

下面固定第1層卷積網(wǎng)絡(luò)卷積核大小為5×5，固定第3層卷積核大小為默認的3×3，第2層卷積網(wǎng)絡(luò)分別使用 2×2、3×3、4×4、5×5大小的卷積核進行實驗，結(jié)果見圖7.

圖7 第2層卷積網(wǎng)絡(luò)實驗結(jié)果Fig.7 Experiment results of the second convolutional layer

由圖7可以看出，卷積核大小為5×5的神經(jīng)網(wǎng)絡(luò)收斂速度快于其他3種尺寸卷積核的網(wǎng)絡(luò).這是由于在訓(xùn)練次數(shù)較少的情況下，尺寸較大的卷積核對于圖像像素點的計算更充分，可以使得淺層特征得到充分提取，所以在圖像像素損失不大的情況下可以更快達到較高的精度.但是，隨著訓(xùn)練次數(shù)的增加，各尺寸卷積核網(wǎng)絡(luò)的識別精度趨近相同.同樣截取訓(xùn)練次數(shù)為90至100的精度識別曲線，見圖8.

圖8 第2層卷積網(wǎng)絡(luò)實驗部分結(jié)果Fig.8 Partial experiment results of the second convolutional layer

由圖8可見，訓(xùn)練次數(shù)較大時，卷積核大小為4×4的網(wǎng)絡(luò)的識別精度整體高于其他3種卷積核的網(wǎng)絡(luò).這是由于經(jīng)過長時間的訓(xùn)練，隨著網(wǎng)絡(luò)層數(shù)的加深，特征圖尺寸變小，較大尺寸的卷積核會造成特征信息的丟失，而較小尺寸的卷積核又不足以充分提取特征信息.綜合考慮收斂速度和識別精度，第2層卷積網(wǎng)絡(luò)最佳的卷積核尺寸為4×4.

固定第1層卷積網(wǎng)絡(luò)卷積核大小為5×5，第2層卷積網(wǎng)絡(luò)卷積核大小為4×4，第3層卷積網(wǎng)絡(luò)分別使用2×2、3×3、4×4、5×5大小的卷積核進行實驗，結(jié)果見圖9.

圖9 第3層卷積網(wǎng)絡(luò)實驗結(jié)果Fig.9 Experiment results of the third convolutional layer

由圖9可見，各尺寸卷積核的網(wǎng)絡(luò)收斂速度大致相同，甚至使用較小卷積核（2×2）的網(wǎng)絡(luò)收斂速度要稍快于其他較大卷積核的網(wǎng)絡(luò).這是由于深層特征圖尺寸較小，較大的卷積核不能充分提取車輛的細節(jié)特征，導(dǎo)致其收斂速度變慢.截取訓(xùn)練次數(shù)為90至100的精度識別曲線，見圖10.

圖10 第3層卷積網(wǎng)絡(luò)實驗部分結(jié)果Fig.10 Partial experiment results of the third convolutional layer

由圖10結(jié)果可以看出，訓(xùn)練次數(shù)較大時，卷積核大小為3×3的網(wǎng)絡(luò)效果最好.這是由于深層特征圖尺寸較小，較大的卷積核會造成特征細節(jié)的丟失，較小的卷積核又不足以提取車輛特征.因此第3層卷積網(wǎng)絡(luò)最佳的卷積核尺寸為3×3.

根據(jù)以上實驗結(jié)果，分別選取3層卷積網(wǎng)絡(luò)卷積核尺寸為5×5、4×4、3×3，搭建卷積神經(jīng)網(wǎng)絡(luò)模型并進行訓(xùn)練.將車輛圖像輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，車輛圖像經(jīng)過（卷積層+池化層）處理，得到特征提取圖，部分特征提取圖見圖11.

圖11 特征提取圖Fig.11 Feature extraction map

為驗證本文方法的有效性，選取車輛識別精度較高的 CNN+Adaboost[10]、VGG16[13]以及 GoogLeNet-lite[14]與本文方法進行對比實驗，實驗數(shù)據(jù)均采用第3節(jié)構(gòu)建的數(shù)據(jù)集，對比結(jié)果如表2所示.

表2 不同算法實驗結(jié)果對比Tab.2 Comparison of different algorithms

由表2可以看出，本文優(yōu)化后模型的最終識別精度可以達到99.74%，高于CNN+Adaboost的97.02%和GoogLeNet的99.35%.另外，優(yōu)化后模型的F-measure達到99.70%，也高于CNN+Adaboost的99.51%和GoogLeNet的99.36%.由于VGG16的模型結(jié)構(gòu)復(fù)雜，一定程度上減小了卷積核大小對于模型識別的影響.所以，VGG16模型的最終識別精度為99.82%，雖然略高于本文優(yōu)化后的模型，但是其識別時間遠遠大于本文方法，而且本文方法的識別時間在4種方法中是最優(yōu)的.綜合實驗結(jié)果各指標，本文方法更適用于現(xiàn)實場景的車輛檢測.

4 結(jié)語

本文根據(jù)真實場景車輛大小進行建模，針對真實場景中車輛圖像較小的問題，使用復(fù)制邊緣像素進行填充的方法，減小了卷積造成信息丟失的影響，采取控制變量的方法對網(wǎng)絡(luò)參數(shù)設(shè)置進行了優(yōu)化實驗，通過實驗找到了各網(wǎng)絡(luò)層的最優(yōu)參數(shù)設(shè)置，并與目前的高精度方法進行實驗對比，結(jié)果表明本文方法的識別性能較好.