基于多尺度特征和嵌套級(jí)聯(lián)Adaboost的車(chē)輛檢測(cè)*

康珮珮， 于鳳芹， 陳 瑩

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122)

0 引 言

傳統(tǒng)的車(chē)輛檢測(cè)方法，如感應(yīng)線圈檢測(cè)、紅外檢測(cè)、雷達(dá)檢測(cè)等，因成本較高、維護(hù)不便等問(wèn)題已不能適應(yīng)當(dāng)前智能交通的發(fā)展?；谝曨l圖像的車(chē)輛檢測(cè)方法[1～5]已成為當(dāng)今的研究熱點(diǎn)。

在基于視頻圖像的車(chē)輛檢測(cè)方法中，Viola P和Jones M[6]提出的基于特征和級(jí)聯(lián)Adaboost分類(lèi)器的檢測(cè)框架應(yīng)用廣泛。在特征方面，文獻(xiàn)[2]提取Haar-like特征表示車(chē)輛圖像，Haar-like特征較為簡(jiǎn)單但對(duì)車(chē)輛的描述性較差，導(dǎo)致檢測(cè)率較低。為提高準(zhǔn)確率，文獻(xiàn)[3]提取了Haar-like和方向梯度直方圖(histogram of oriented gradient，HOG)兩種特征描述車(chē)輛，取得了較好的檢測(cè)效果。文獻(xiàn)[4]提取了多尺度局部二值模式(local binary pattern，LBP)特征，與單一尺度LBP特征相比包含更多的有用信息，檢測(cè)率有所提高。綜上，多尺度特征包含更多有用信息，多種特征對(duì)圖像的描述性更好。在分類(lèi)器方面，文獻(xiàn)[2,3]構(gòu)建了Discrete Adaboost分類(lèi)器進(jìn)行車(chē)輛檢測(cè)，但Discrete Adaboost分類(lèi)器對(duì)非典型的正樣本權(quán)值調(diào)整過(guò)高導(dǎo)致分類(lèi)器效率下降。文獻(xiàn)[4]使用的Gentle Adaboost分類(lèi)器則通過(guò)修改錯(cuò)誤樣本權(quán)重調(diào)整的方法來(lái)提高分類(lèi)器效率，使得訓(xùn)練和檢測(cè)效率均高于Discrete Adaboost。為了進(jìn)一步提高檢測(cè)率和檢測(cè)速度，文獻(xiàn)[2～4]使用了級(jí)聯(lián)形式Adaboost分類(lèi)器。文獻(xiàn)[7]的嵌套級(jí)聯(lián)形式Adaboost分類(lèi)器因相鄰層間有關(guān)聯(lián)使得分類(lèi)器效率更高。

為快速且準(zhǔn)確地進(jìn)行車(chē)輛檢測(cè)，本文提出了一種基于多尺度特征和嵌套級(jí)聯(lián)Gentle Adaboost分類(lèi)器的車(chē)輛檢測(cè)算法。首先為了快速得到描述性更好的特征，分別使用積分直方圖和積分圖像加速提取多尺度HOG和多尺度多塊局部二進(jìn)制(multi-block LBP，MB-LBP)特征；然后分別使用生成分類(lèi)器和多分支樹(shù)構(gòu)建基于兩種特征的兩種弱分類(lèi)器，并組合成Gentle Adaboost分類(lèi)器；最后對(duì)Gentle Adaboost分類(lèi)器采用嵌套級(jí)聯(lián)結(jié)構(gòu)，在級(jí)聯(lián)的前幾層使用基于HOG特征的弱分類(lèi)器排除大部分背景區(qū)域，后幾層使用基于MB-LBP特征的弱分類(lèi)器排除與車(chē)輛相似區(qū)域。仿真結(jié)果表明：該算法的檢測(cè)速度,檢測(cè)精度和召回率均優(yōu)于其他車(chē)輛檢測(cè)算法。

1 多尺度特征提取及其加速

圖像中的有用信息往往分布在不同尺度，單一尺度下提取的特征包含的有用信息相對(duì)較少，因此本文在多個(gè)尺度下提取HOG特征和MB-LBP特征，使提取的特征更好地描述圖像。但是多尺度的引入增加了計(jì)算復(fù)雜度，本文分別使用積分直方圖和積分圖像對(duì)兩種特征的提取過(guò)程進(jìn)行加速。

1.1 多尺度HOG特征提取及其加速

HOG是一種圖像特征描述算子[8]，用描述目標(biāo)的輪廓信息。本文在4個(gè)尺度下提取梯度方向直方圖。用不同尺寸的窗口遍歷圖像，將圖像分割為若干個(gè)有重疊的不同尺寸圖像塊(block)，block的尺寸有4種：2×2,4×4,8×8,16×16;統(tǒng)計(jì)每個(gè)block的梯度方向直方圖，每個(gè)直方圖 可定義為hi(xi,yi,si)，其中(xi,yi)為直方圖i的空間位置,si為尺度，取值集合為{2，4，8，16}，si=2時(shí)，block的尺寸即為2×2;將不同尺寸下block的梯度方向直方圖組合在一起，即得到了多尺度HOG特征。

為了提高多尺度HOG特征的提取速度，本文首先計(jì)算積分直方圖[9]，并將其作為輸入圖像的中間表示，然后使用積分直方圖快速計(jì)算每個(gè)block的HOG特征?；叶葓D像的積分直方圖定義為

H(x,y,b)=H(x-1,y,b)+H(x,y-1,b)-

H(x-1,y-1,b)+Q(f(x,y))

(1)

(2)

式中b=1,2,…,9，為梯度方向二進(jìn)制(bin)的值；(x,y)為灰度圖像中像素點(diǎn)坐標(biāo)；Q(x,y)為像素點(diǎn)(x,y)所對(duì)應(yīng)的梯度方向，若梯度方向?yàn)閎，則Q(f(x,y))的值等于像素點(diǎn)的梯度幅值;否則,等于0。獲得積分直方圖后，利用式(3)得到block區(qū)域T(x-,y-,x+,y+)的梯度方向直方圖

h(T,b)=H(x+,y+,b)-H(x-,y+,b)-

H(x+,y-,b)+H(x-,y-,b)

(3)

式中 (x-,y-),(x+,y+)分別為T(mén)的左上角和右下角像素點(diǎn)的坐標(biāo)。與傳統(tǒng)直方圖的計(jì)算不同，積分直方圖未重復(fù)計(jì)算每個(gè)可能區(qū)域的直方圖，大幅提高了計(jì)算速度。在計(jì)算一個(gè)block的梯度方向直方圖時(shí)，只需4×9個(gè)像素點(diǎn)，進(jìn)行3×9次加減法運(yùn)算，時(shí)間復(fù)雜度為O(1)。

1.2 多尺度MB-LBP特征提取及其加速

MB-LBP[10]使用LBP算子對(duì)矩形區(qū)域編碼，用于描述目標(biāo)的紋理信息。MB-LBP通過(guò)比較中心子塊的平均強(qiáng)度gc和周?chē)?個(gè)矩形鄰域的平均強(qiáng)度{g1,…,gn}得到，其值定義為

(4)

為了快速計(jì)算多尺度MB-LBP特征，本文使用積分圖像計(jì)算每個(gè)block的MB-LBP特征。積分圖像中的任意一點(diǎn)(x,y)的值等于從圖像的左上角到該點(diǎn)所構(gòu)成的矩形區(qū)域內(nèi)所有點(diǎn)的灰度值之和，即

(5)

任意子區(qū)域R中所有像素點(diǎn)的灰度值之和可通過(guò)式(6)得到

ii(R)=I(x+,y+)-I(x-,y+)-I(x+,y-)+

I(x-,y-)

(6)

式中 (x-,y-),(x+,y+)分別為R的左上角和右下角像素點(diǎn)的坐標(biāo)。通過(guò)引入積分圖像，在求block的MB-LBP特征時(shí)，只需進(jìn)行3×9次加減法和9次除法運(yùn)算，即可得到block中9個(gè)子區(qū)域的平均像素值，進(jìn)行比較即可得到MB-LBP特征，大幅提高了計(jì)算速度。

2 嵌套級(jí)聯(lián)Gentle Adaboost分類(lèi)器

2.1 Gentle Adaboost分類(lèi)器

Gentle Adaboost是從訓(xùn)練集中訓(xùn)練不同的弱分類(lèi)器，然后集合弱分類(lèi)器，構(gòu)成一個(gè)更強(qiáng)的最終分類(lèi)器(強(qiáng)分類(lèi)器)。為提高Gentle Adaboost算法的性能，本文使用生成分類(lèi)器和多分支樹(shù)定義了2種弱分類(lèi)器，分別對(duì)應(yīng)2種特征：多尺度HOG特征和多尺度MB-LBP特征。

2.1.1 基于多尺度HOG特征的弱分類(lèi)器

對(duì)于HOG特征空間，本文構(gòu)建了一個(gè)基于車(chē)輛模型的生成分類(lèi)器[3]。使用訓(xùn)練集中正樣本的均值直方圖作為模型

(7)

式中P為訓(xùn)練集中正樣本的個(gè)數(shù)。生成分類(lèi)器用于計(jì)算輸入圖像的直方圖hi與模型mi之間的距離。弱分類(lèi)器gHOG定義為

(8)

式中α1,α2為[-1,+1]之間的小數(shù)，代表分類(lèi)結(jié)果的置信度，理想情況下|α1|=|α2|=1表示分類(lèi)完全正確，+1表示車(chē)輛，-1表示非車(chē)輛；d(hi,mi)為直方圖hi與模型mi之間的巴氏距離;θi為對(duì)于特征i在巴氏距離上的最優(yōu)閾值。

2.1.2 基于多尺度MB-LBP特征的弱分類(lèi)器

由MB-LBP提取過(guò)程可知，其特征值只是表示二值字符串的一個(gè)符號(hào)，即其不具有可度量性。因此，針對(duì)MB-LBP特征空間，本文使用多分枝回歸樹(shù)設(shè)計(jì)弱分類(lèi)器[10]。多分枝樹(shù)共有256個(gè)分枝，每一個(gè)分枝對(duì)應(yīng)一個(gè)特定的離散值(即MB-LBP特征值)。第j個(gè)MB-LBP特征對(duì)應(yīng)的弱分類(lèi)器可表示為

(9)

式中k和al為通過(guò)學(xué)習(xí)得到的回歸參數(shù)；fkj為MB-LBP特征向量fj的第k個(gè)特征值;al,l=0,…,255為分類(lèi)結(jié)果的置信度。每個(gè)弱分類(lèi)器對(duì)應(yīng)一個(gè)單一的特征。在檢測(cè)階段，對(duì)于一個(gè)特定的MB-LBP特征，可以通過(guò)多分枝樹(shù)快速得到相應(yīng)的回歸值。

2.2 嵌套級(jí)聯(lián)Gentle Adaboost分類(lèi)器

嵌套級(jí)聯(lián)Gentle Adaboost分類(lèi)器由一些集成(嵌套)層組成，每一層包含一個(gè)Gentle Adaboost分類(lèi)器。嵌套級(jí)聯(lián)分類(lèi)器的每一層不僅是級(jí)聯(lián)分類(lèi)器的一個(gè)獨(dú)立結(jié)點(diǎn)，同時(shí)也是下一層的一個(gè)組成部分。假設(shè)嵌套級(jí)聯(lián)分類(lèi)器為C，包含K層，嵌套級(jí)聯(lián)分類(lèi)器可定義為

(10)

(11)

(12)

3 算法實(shí)現(xiàn)步驟

基于多尺度特征和嵌套級(jí)聯(lián)Gentle Adaboost的車(chē)輛檢測(cè)流程如圖1所示。

圖1 基于多尺度特征和嵌套級(jí)聯(lián)Gentle Adaboost的車(chē)輛檢測(cè)流程

4 仿真實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境為Intel Core i5—3470處理器、4 GB內(nèi)存的硬件環(huán)境，以及Windows7,MATLAB R2012a軟件環(huán)境。實(shí)驗(yàn)選取BIT車(chē)輛數(shù)據(jù)集[11]和伊利諾伊大學(xué)厄巴納—香檳分校(UIUC)車(chē)輛數(shù)據(jù)集[12]分別進(jìn)行訓(xùn)練和檢測(cè)。BIT數(shù)據(jù)集包含一些復(fù)雜環(huán)境下的圖像，如背景的干擾、光照的變化，以及車(chē)輛顏色的不同，圖像大小為1 600×1 200，本文首先使用雙三次插值方法將圖像采樣到400×300，然后隨機(jī)選取其中的5 000張圖像進(jìn)行訓(xùn)練，2 800張圖像(共2 890輛車(chē))進(jìn)行測(cè)試，訓(xùn)練時(shí)的負(fù)樣本是收集的5 000張非車(chē)輛圖像。UIUC數(shù)據(jù)集是標(biāo)準(zhǔn)化的車(chē)輛數(shù)據(jù)集，包含1 050張訓(xùn)練圖像(其中550張是車(chē)輛圖像，500張是非車(chē)輛圖像)和278張測(cè)試圖像(共339輛車(chē))，所有的車(chē)輛圖像都是經(jīng)灰度化的車(chē)輛側(cè)面圖像，具有不同的分辨率，有部分遮擋現(xiàn)象，車(chē)輛和背景對(duì)比度低，并且背景比較復(fù)雜。

本文使用精度P(Precision)、召回率R(Recall-rate)以及每幅圖像的平均檢測(cè)時(shí)間t作為評(píng)價(jià)指標(biāo)。為驗(yàn)證本文算法的有效性，分別與文獻(xiàn)[2～4]中的算法在BIT和UIUC數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1和表2。

表1 本文算法與其他算法在BIT數(shù)據(jù)集上的比較

表2 本文算法與其他算法在UIUC數(shù)據(jù)集上的比較

由表1和表2可以看出，本文算法的檢測(cè)精度和召回率均高于其他3種算法，且檢測(cè)速度更快。在BIT數(shù)據(jù)集上，本文算法的檢測(cè)精度和召回率分別達(dá)到了93.8 %和94.2 %，平均檢測(cè)耗時(shí)分別占文獻(xiàn)[2～4]中算法的76.0 %，51.4 %，67.9 %。在UIUC數(shù)據(jù)集上，本文算法的檢測(cè)精度和召回率分別為91.8 %和89.1 %，平均檢測(cè)耗時(shí)分別占文獻(xiàn)[2～4]中算法的61.5 %，38.1 %，53.3 %。基本達(dá)到了實(shí)時(shí)性要求。本文算法在BIT數(shù)據(jù)集上的效果表現(xiàn)較好，這是由于BIT數(shù)據(jù)集中的車(chē)輛圖像相對(duì)清晰，且背景較為單一。而UIUC數(shù)據(jù)集中的車(chē)輛圖像背景比較復(fù)雜，因此，檢測(cè)精度和召回率相對(duì)較低。

圖2為本文算法在BIT數(shù)據(jù)集和UIUC數(shù)據(jù)集上的部分檢測(cè)結(jié)果。由圖2(a)可以看出，本文算法在光照良好和光照較暗的環(huán)境下可以有效檢測(cè)出車(chē)輛，較好地應(yīng)對(duì)了光照變化。由圖2(b)可以看出，本文算法在復(fù)雜環(huán)境中仍表現(xiàn)出了較好的檢測(cè)結(jié)果，有效應(yīng)對(duì)了背景干擾。

圖2 本文算法的部分檢測(cè)結(jié)果

5 結(jié)束語(yǔ)

提出了一種基于多尺度特征和嵌套級(jí)聯(lián)Gentle Adaboost的車(chē)輛檢測(cè)算法。為了快速得到更多有用信息，提取了多尺度HOG和多尺度MB-LBP兩種特征，并分別使用積分直方圖和積分圖像進(jìn)行加速?；?種特征為Gentle Adaboost構(gòu)建了2種弱分類(lèi)器，并對(duì)Gentle Adaboost采用嵌套級(jí)聯(lián)結(jié)構(gòu)，進(jìn)一步提高了檢測(cè)率和檢測(cè)速度。實(shí)驗(yàn)結(jié)果表明：本文算法相較于其他車(chē)輛檢測(cè)算法，具有較高的檢測(cè)精度和召回率，且檢測(cè)速度較快，基本滿足實(shí)時(shí)性要求。

參考文獻(xiàn):

[1] 繆小冬,李舜酩,沈 峘,等.路面車(chē)輛的視覺(jué)檢測(cè)方法[J].傳感器與微系統(tǒng),2010,29(2):5-8,12.

[2] Tang Y,Xu Y C,Zhang C Z.Robust vehicle detection based on cascade classifier in traffic surveillance system[J].The Open Automation and Control Systems Journal,2014 (6):349-354.

[3] Negri P,Clady X,Hanif S M,et al.A cascade of boosted generative and discriminative classifiers for vehicle detection[J].EURASIP Journal on Advances in Signal Processing,2008,2008:1-12.

[4] Kovacic K,Ivanjko E,Jelusic N.Measurement of road traffic parameters based on multi-vehicle tracking[C]∥Proceedings of the Croatian Computer Vision Workshop,2015:3-8.

[5] 朱 勇,付彥君.基于多特征融合的車(chē)輛檢測(cè)算法[J].傳感器與微系統(tǒng),2009,28(8):110-112.

[6] Viola P,Jones M.Rapid object detection using a boosted cascade of simple features[C]∥IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2001:511-518.

[7] Verschae R.Object detection using nested cascades of boosted classifiers:A learning framework and its extension to the multi-class case[D].Chile:Universidad de Chile,2010:25-29.

[8] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2005:886-893.

[9] Porikli F.Integral histogram:A fast way to extract histograms in Cartesian spaces[C]∥IEEE Conference on Computer Vision and Pattern Recognition (CVPR),2005:829-836.

[10] Zhang L,Chu R,Xiang S,et al.Face detection based on multi-block lbp representation[C]∥Lecture Notes in Computer Science,2007:11-18.

[11] Dong Z,Jia Y D.Vehicle type classification using distributions of structural and appearance-based features[C]∥Proceedings of the 20th IEEE International Conference on Image Processing(ICIP),2013:4321-4324.

[12] Agarwal S,Awan A,Roth D.Learning to detect objects in images via a sparse,part-based representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(11):1475-1490.