一種Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法研究

一種Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法研究

董天陽(yáng)，阮體洪，吳佳敏，范菁

(浙江工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，浙江 杭州 310023)

摘要：由于前向和后向車(chē)輛的表觀特征不同，單純使用主流的HOG或者Haar-like特征來(lái)識(shí)別車(chē)輛會(huì)存在對(duì)某一方向行駛的車(chē)輛識(shí)別率低或者誤識(shí)率高的問(wèn)題.針對(duì)上述問(wèn)題，提出了一種Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法.在訓(xùn)練階段，對(duì)前后向車(chē)輛分別采用Haar-like和HOG特征來(lái)提取車(chē)輛特征，引入反饋式的AdaBoost算法訓(xùn)練車(chē)輛分類(lèi)器，提高車(chē)輛識(shí)別的速度以及準(zhǔn)確率；在識(shí)別階段，根據(jù)車(chē)輛運(yùn)行狀態(tài)確定前后向車(chē)輛，再利用對(duì)應(yīng)的車(chē)輛分類(lèi)器進(jìn)行多尺度遍歷識(shí)別.在不同光照強(qiáng)度的高速公路視頻中進(jìn)行車(chē)輛識(shí)別實(shí)驗(yàn)，前后車(chē)輛的平均識(shí)別率達(dá)到93%，誤識(shí)別為9%.

關(guān)鍵詞：特征結(jié)合；前后向車(chē)輛識(shí)別；HOG；Haar-like；AdaBoost

收稿日期：2015-04-02

基金項(xiàng)目：浙江省重大科技專(zhuān)項(xiàng)項(xiàng)目(2013C01112,2012C01SA160034)；杭州市重大科技創(chuàng)新專(zhuān)項(xiàng)(20132011A16)

作者簡(jiǎn)介：董天陽(yáng)(1977—)，男，浙江東陽(yáng)人，副教授，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)和虛擬現(xiàn)實(shí)，E-mail:dty@zjut.edu.cn.

中圖分類(lèi)號(hào)：391.4

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1006-4303(2015)05-0503-05

Abstract:Since apparent characteristics of forward and backward moving vehicle are different, only using HOG or Haar-like features to recognize vehicle will result in lower recognition rate or higher error rate in one direction. This paper presents a vehicle recognition method based on Haar-like and HOG feature combination in order to improve the recognition rate. During training phase, the Haar-like for the frontward vehicle and HOG for the backward vehicle are used to extract vehicle features respectively. The feedback AdaBoost algorithm is used to train vehicle classification. In recognition phase, the direction of vehicle is judged by the vehicle moving status and corresponding vehicle classification is used to traverse and identify vehicle in multiscale. The vehicle identification experiment is tested in the highway video at different light intensities.. The average recognition rate reaches 93% and error rate is 9%.

Keywords:characteristic combination; frontward and backward vehicle recognition; HOG; Haar-like; AdaBoost

Vehicle recognition method based on Haar-like and HOG

feature combination in traffic video

DONG Tianyang, RUAN Tihong, WU Jiamin, FAN Jing

(College of Computer Science and Technology, Zhejiang University of Technology, Hangzhou 310023, China)

基于特征信息的車(chē)輛識(shí)別，是結(jié)合機(jī)器學(xué)習(xí)理論的車(chē)輛識(shí)別，就是通過(guò)對(duì)車(chē)輛目標(biāo)大量樣本的學(xué)習(xí)獲取針對(duì)車(chē)輛目標(biāo)的分類(lèi)器，從而使用分類(lèi)器可以在圖像或視頻中識(shí)別出目標(biāo)，所以選取合適的車(chē)輛表觀特征是關(guān)鍵.近年來(lái)，車(chē)輛特征從單一的邊緣和對(duì)稱(chēng)性等特征向更具魯棒性的車(chē)輛特征集轉(zhuǎn)變.在車(chē)輛特征集中，方向梯度直方圖(HOG)特征和Haar-like特征是車(chē)輛識(shí)別中主流的兩種特征[1]，其次局部二值模式(LBP)特征也有不錯(cuò)的表現(xiàn).其中HOG特征聯(lián)合SVM分類(lèi)器來(lái)實(shí)現(xiàn)車(chē)輛識(shí)別[2]，HOG特征表現(xiàn)出良好的識(shí)別性能，但是計(jì)算復(fù)雜度高.CHANG等[3]利用Haar特征和AdaBoost分類(lèi)器從側(cè)面識(shí)別車(chē)輛的前輪和后輪，也有學(xué)者分別采用車(chē)載的前置和后置攝像頭拍攝，提取車(chē)尾和車(chē)頭的Haar-like特征來(lái)識(shí)別車(chē)輛[4-5].Chang等[6]提出了一種利用級(jí)聯(lián)Adaboost分類(lèi)器進(jìn)行車(chē)輛檢測(cè)的方法，WANG等[7]采用了對(duì)LBP特征進(jìn)行統(tǒng)計(jì)的方法進(jìn)行車(chē)輛識(shí)別取得了較好的效果.然而針對(duì)高速公路的固定攝像機(jī)采集的視頻，僅僅用LBP特征或Haar-like特征來(lái)識(shí)別前后向車(chē)輛，存在后向車(chē)輛的識(shí)別率較低的問(wèn)題；而用HOG特征來(lái)識(shí)別前向車(chē)輛，存在前向車(chē)輛誤識(shí)率較高的問(wèn)題.

在分析前向和后向車(chē)輛特征的基礎(chǔ)上，借鑒類(lèi)Haar特征結(jié)合AdaBoost分類(lèi)在人臉檢測(cè)中的成功應(yīng)用[8-9]，提出了一種Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法，以解決前向車(chē)輛和后向車(chē)輛的表觀特征不同帶來(lái)的識(shí)別率較低或誤識(shí)率較高的問(wèn)題.為了驗(yàn)證該方法的有效性，在不同光照強(qiáng)度的高速公路視頻中進(jìn)行了車(chē)輛識(shí)別實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該方法能實(shí)現(xiàn)高速公路前后向車(chē)輛的快速和有效識(shí)別.

1Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法

1.1算法結(jié)構(gòu)

Haar-like和HOG特征結(jié)合的交通視頻車(chē)輛識(shí)別方法分為離線訓(xùn)練和在線識(shí)別兩個(gè)過(guò)程.

在離線訓(xùn)練過(guò)程中，首先對(duì)所有訓(xùn)練的車(chē)輛圖像正負(fù)樣本進(jìn)行灰度化和圖像歸一化(尺度為20×20 pixel)；接著分別對(duì)前向和后向車(chē)輛正樣本圖像進(jìn)行遍歷，提取前向車(chē)輛的Haar-like特征和后向車(chē)輛的HOG特征；然后用提取到的所有特征信息訓(xùn)練每一級(jí)的分類(lèi)器，最終得到前向車(chē)輛AdaBoost分類(lèi)器和后向車(chē)輛AdaBoost分類(lèi)器.

在線識(shí)別過(guò)程中，首先根據(jù)車(chē)輛的行駛狀態(tài)(利用運(yùn)動(dòng)檢測(cè)方法確定運(yùn)動(dòng)區(qū)域，根據(jù)運(yùn)動(dòng)區(qū)域的面積變化來(lái)判斷車(chē)輛遠(yuǎn)離或者靠近攝像頭)判斷是前向還是后向車(chē)輛(來(lái)選定相應(yīng)的車(chē)輛分類(lèi)器)；接著采用不同尺度窗口并行遍歷待識(shí)別圖像，將車(chē)輛候選區(qū)中的特征輸入到級(jí)聯(lián)分類(lèi)器中來(lái)識(shí)別.如果該候選區(qū)內(nèi)的所有特征通過(guò)所有級(jí)的分類(lèi)器，則認(rèn)為該區(qū)域?yàn)檐?chē)輛的位置所在；最后通過(guò)所有級(jí)分類(lèi)器的候選區(qū)進(jìn)行合并，確定車(chē)輛的最終位置和尺寸.為了進(jìn)一步提高分類(lèi)器的識(shí)別率，提出了一種基于反饋式的AdaBoost訓(xùn)練算法，即把在線識(shí)別過(guò)程中誤識(shí)別的樣本加入到負(fù)樣本中，迭代訓(xùn)練來(lái)提高識(shí)別率.算法的流程如圖1所示.

1.2特征提取

1.2.1Haar-like特征

Haar-like特征是一種簡(jiǎn)單的矩陣特征，最先由VIOLA等在人臉識(shí)別系統(tǒng)中使用.矩陣特征是用來(lái)描述圖像像素灰度值在相鄰區(qū)域內(nèi)總和的差，能夠良好地體現(xiàn)目標(biāo)局部特征的灰度變化[10].為了加快Haar-like特征計(jì)算的速度，將積分圖的思想用于特征計(jì)算.后來(lái)，在上述基礎(chǔ)上，許慶等[11]提出了擴(kuò)展的Haar-like特征.該特征采用了水平、垂直、水平旋轉(zhuǎn)45度、垂直旋轉(zhuǎn)45度等作為特征，并針對(duì)45度旋轉(zhuǎn)的矩陣提出了快速計(jì)算方法，在滿足速度不受影響的情況下，系統(tǒng)的識(shí)別性能得到了明顯改善[11].因此，筆者采用擴(kuò)展的Haar-like特征來(lái)提取車(chē)輛特征.

1.2.2HOG特征及誤識(shí)別分析

HOG特征是計(jì)算局部圖像梯度的方向信息的統(tǒng)計(jì)值，將直方圖作為特征向量.HOG特征在各種不同的計(jì)算機(jī)視覺(jué)的任務(wù)(包括車(chē)輛識(shí)別)中表現(xiàn)出良好的識(shí)別性能.法國(guó)國(guó)家計(jì)算機(jī)技術(shù)和控制研究所(INRIA)的研究員Navneet Dalal和Bill Triggs在2005年的CVPR會(huì)議上首次發(fā)表了描述HOG特征的論文，用于行人檢測(cè)[12].

HOG特征計(jì)算的詳細(xì)流程如下:

1) 將交通圖像進(jìn)行灰度化處理，并將灰度圖看成x，y，z構(gòu)成的三維圖像.

2) 利用Gamma方法對(duì)灰度圖進(jìn)行校正和歸一化.

3) 遍歷圖像中的每個(gè)像素，計(jì)算其像素對(duì)應(yīng)的梯度大小和方向.

4) 將圖像劃分成小的細(xì)胞單元cell(一般取6×6pixel/cell)，并對(duì)梯度直方圖的每個(gè)cell進(jìn)行統(tǒng)計(jì)，就得到每個(gè)cell的特征向量.

5) 將一個(gè)block(一般取3×3個(gè)cell/block)中所有cell的特征向量串聯(lián)起來(lái)，并對(duì)梯度強(qiáng)度做歸一化處理，就得到了該block的HOG特征向量.

6) 將所有的block的HOG特征向量組合起來(lái)，就得到該交通圖像的HOG特征向量，即基于HOG特征的分類(lèi)器.

表1　HOG特征在不同前車(chē)視頻中誤識(shí)別分析

在車(chē)輛識(shí)別中，HOG特征表現(xiàn)出良好的性能，幾乎能夠識(shí)別出視頻中所有的車(chē)輛(即召回率很高)，但前向車(chē)輛識(shí)別中仍然存在較多的誤識(shí)別.從表1可以看出：同一視頻誤識(shí)別的圖像逆變換后得到的圖像和真正車(chē)輛逆變換后的圖像很接近，當(dāng)用該HOG特征進(jìn)行識(shí)別時(shí)，就會(huì)出現(xiàn)誤識(shí)別；同時(shí)，兩者HOG特征的可視化結(jié)果也極其相似的，因此HOG特征本身存在局限性.

1.3AdaBoost級(jí)聯(lián)分類(lèi)器

AdaBoost訓(xùn)練出來(lái)的強(qiáng)分類(lèi)器只能對(duì)特征明顯的物體加以分類(lèi)，但耗時(shí)較長(zhǎng).由于有些簡(jiǎn)單的特征就能排除大量的負(fù)子窗口，而用更復(fù)雜的特征來(lái)識(shí)別較難分辨的子窗口.根據(jù)“先重后輕”的想法，VIOLA等[10]提出了級(jí)聯(lián)分類(lèi)器方法，去除大部分負(fù)樣本，提高了識(shí)別速度.級(jí)聯(lián)的結(jié)構(gòu)體現(xiàn)在圖像中絕大多數(shù)識(shí)別的子窗口不是目標(biāo)，所以級(jí)聯(lián)在早期就盡可能地將負(fù)子窗口都丟棄.基于特征的車(chē)輛識(shí)別的目的是用盡可能少的時(shí)間將非車(chē)輛的大部分子窗口去除掉，因此級(jí)聯(lián)的AdaBoost的分類(lèi)器很適用于車(chē)輛識(shí)別的過(guò)程.

AdaBoost(Adaptive boosting)算法[13]是Schapire等在1996年提出的，該算法的核心思想是對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類(lèi)器，再根據(jù)不同弱分類(lèi)器的分類(lèi)錯(cuò)誤情況，賦予不同的權(quán)重，最后將帶權(quán)重的弱分類(lèi)線性組合形成強(qiáng)分類(lèi)器.

AdaBoost算法的詳細(xì)步驟如下：

1) 依據(jù)樣本分布Dt，對(duì)訓(xùn)練集合S進(jìn)行有放回的抽樣產(chǎn)生新的訓(xùn)練集合St，并在此訓(xùn)練集合上訓(xùn)練弱分類(lèi)器ht，對(duì)訓(xùn)練集合S所有樣本分類(lèi)，確定本輪的分類(lèi)器ht，弱分類(lèi)器存在誤差εt可表示為

εt=Pri～Di[ht(xi)≠yi]

(1)

(2)

其中Zt為正規(guī)因子，用來(lái)確?！苅Dt+1(i)=1.

2) 重復(fù)迭代步驟2的過(guò)程T次，最終的強(qiáng)分類(lèi)器的輸出為

(3)

每次用一個(gè)特征，訓(xùn)練得到T個(gè)弱分類(lèi)器，將這些弱分類(lèi)器按權(quán)值線性組合得到最終的強(qiáng)分類(lèi)器，其中權(quán)值與訓(xùn)練錯(cuò)誤成反比關(guān)系.

2實(shí)驗(yàn)與結(jié)果分析

目前，實(shí)驗(yàn)收集了1 200張車(chē)輛圖片作為正樣本和4 800張非車(chē)輛圖片作為負(fù)樣本構(gòu)建成車(chē)輛圖片數(shù)據(jù)庫(kù).其中正樣本我們只考慮車(chē)輛的前向和后向，所以在不同光照強(qiáng)度下選取樣本圖片，且只是車(chē)頭和車(chē)尾圖片，不考慮其他側(cè)面，如圖2所示.為了增加負(fù)樣本的針對(duì)性，除了不含車(chē)輛的負(fù)樣本圖片外，特別考慮加入了高速公路中的背景圖片以及與交通場(chǎng)景相關(guān)圖片，如圖3所示.

圖2　前后向車(chē)輛正樣本 Fig.2　The positive samples of front and rear vehicle

圖3　車(chē)輛負(fù)樣本 Fig.3　The negative samples of vehicle

在我們構(gòu)建的車(chē)輛特征樣本訓(xùn)練數(shù)據(jù)庫(kù)上，采用Visual Studio 2010和OpenCV2.4.6庫(kù)進(jìn)行編程，驗(yàn)證算法的有效性.實(shí)驗(yàn)中分別提取前后向車(chē)輛的HOG，Haar-like，LBP[14]特征來(lái)檢測(cè)車(chē)輛，并與筆者方法的檢測(cè)結(jié)果進(jìn)行比較.對(duì)是否存在明顯陰影、是否是前向車(chē)輛或后向車(chē)輛，共4種不同情況下的視頻進(jìn)行車(chē)輛識(shí)別實(shí)驗(yàn).其中4個(gè)視頻依次為HighwayI(存在大量陰影，前向車(chē)輛，共440幀，有103輛車(chē))，HighwayII(存在少量陰影，前向車(chē)輛，共1 700幀，有32輛車(chē))，VideoI(亮度較暗，后向車(chē)輛，共500幀，有51輛車(chē))，VideoII(亮度較強(qiáng)，既有前向車(chē)輛，又有后向車(chē)輛，共750幀，有50輛車(chē))，分辨率都是320×240.

表2是在4個(gè)視頻下識(shí)別結(jié)果的例圖，從表2可以直觀地看出：在前向車(chē)輛識(shí)別中，Haar-like和LBP車(chē)輛特征的識(shí)別效果較好，且速度較快；HOG車(chē)輛特征存在相對(duì)較多的誤識(shí)別.而后向車(chē)輛識(shí)別中，HOG車(chē)輛特征的識(shí)別結(jié)果明顯優(yōu)于Haar-like和LBP車(chē)輛特征，在不同的光照強(qiáng)度下都有不錯(cuò)的識(shí)別效果，但速度較慢；而LBP和Haar-like車(chē)輛特征存在大量漏檢.因此，筆者方法在不同場(chǎng)景下依然保持良好的識(shí)別效果.

表2　不同場(chǎng)景下車(chē)輛識(shí)別結(jié)果比較

從圖4時(shí)間消耗上分析：在相同圖像分辨率(320×240)的情況下，在不同的交通視頻中，車(chē)輛特征識(shí)別的時(shí)間基本保持一致；而HOG特征識(shí)別的平均時(shí)間為63 ms/frame明顯高于LBP的34 ms/frame和Haar-like的32 ms/frame，而筆者方法的平均時(shí)間為46 ms/frame.

圖4　車(chē)輛識(shí)別中時(shí)間消耗的比較 Fig.4　The Compare of time consumption of the vehicle recognition

從表3的識(shí)別性能分析可以看出：筆者方法的平均識(shí)別率與利用HOG特征進(jìn)行車(chē)輛識(shí)別的結(jié)果很接近，但是平均誤識(shí)率比HOG特征低近10%；從圖4的時(shí)間消耗來(lái)看：筆者方法的平均時(shí)間比HOG特征少20 ms.綜合考慮來(lái)說(shuō)，筆者提出的Haar-like和HOG特征結(jié)合的前后向車(chē)輛識(shí)別方法比Haar-like，HOG和LBP特征的前后車(chē)輛識(shí)別方法更有效.

表3　不同特征在前后向車(chē)輛識(shí)別性能分析

3結(jié)論

對(duì)前后車(chē)輛的不同表觀特征進(jìn)行研究，提出了一種Haar-like和HOG特征結(jié)合的前后向車(chē)輛識(shí)別方法.在訓(xùn)練階段，在訓(xùn)練數(shù)據(jù)庫(kù)上分別提取前向車(chē)輛Haar-like特征和后向車(chē)輛HOG特征，引用反饋式AdaBoost算法訓(xùn)練得到相應(yīng)分類(lèi)器；在識(shí)別階段，依據(jù)車(chē)輛的行駛狀態(tài)(即遠(yuǎn)離或者靠近攝像頭)判斷是前向還是后向車(chē)輛，再選用相應(yīng)的分類(lèi)器來(lái)進(jìn)行車(chē)輛識(shí)別.在不同光照強(qiáng)度的高速公路視頻上實(shí)驗(yàn)，從時(shí)間消耗、識(shí)別率和誤識(shí)率上綜合分析，證明了提出的方法的有效性.

參考文獻(xiàn)：

[1]SIVARAMAN S, TRIVEDI M M. Looking at vehicles on the road: a survey of vision-based vehicle detection, tracking, and behavior analysis[J]. IEEE Transactions on Intelligent Transportation Systems,2013,14(4):1773-1795.

[2]SIVARAMAN S, TRIVEDI M M. Active learning for on-road vehicle detection: a comparative study[J]. Machine Vision and Applications,2014,25(3):599-611.

[3]CHANG W C, CHO C W. Real-time side vehicle tracking using parts-based boosting[C]// IEEE International Conference on System, Man, and Cybernetic. Singapore: IEEE,2008:3370-3375.

[4]LIU W, WEN X, DUAN B, et al. Rear vehicle detection and tracking for lane change assist[C]//IEEE Intelligent Vehicles Symposium. Istanbul, Turkey: IEEE,2007:252-257.

[5]SIVARAMAN S, TRIVEDI M M. A general active-learning framework for on-road vehicle recognition and tracking[J]. IEEE Transactions on Intelligent Transportation Systems,2010,11(2):267-276.

[6]CHANG Wenchuang, CHO Chihwei. Online boosting for vehicle detection[J]. Institute of Electrical and Electronics Engineers,2010,40(3):892-902.

[7]WANG C C R, LIEN J J J. Automatic vehicle detection using local features-a statistical approach[J]. IEEE Transactions on Intelligent Transportation Systems,2008(1):83-96.

[8]VIOLA P, JONES M. Robust real-time face detection[J]. International Journal of Computer Vision,2004,57(2):137-154.

[9]LIENHART R, MAYDT J. An extended set of Haar-like features for rapid object detection[C]//The IEEE International Conference on Image Processing. New York: University of Texas Press,2002:900-903.

[10]VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C] //Conference on Computer Vision and Pattern Recognition. Kauai, HI: IEEE Computer Society,2001:511-518.

[11]許慶,高峰,徐國(guó)艷.基于Haar特征的前車(chē)識(shí)別算法[J].汽車(chē)工程,2013,35(4):381-384.

[12]李星,郭曉松,郭君斌.基于HOG特征和SVM的前向車(chē)輛識(shí)別方法[J].計(jì)算機(jī)科學(xué),2013,40(11A):329-332.

[13]RAHIM N A, PAULRAJ M P, ADOM A H. Adaptive boosting with SVM classifier for moving vehicle classification[J]. Procedia Engineering,2013,53(7):411-419.

[14]楊先鳳,楊燕.一種基于HOG-LBP的高效車(chē)輛檢測(cè)方法[J].計(jì)算機(jī)工程,2014,40(9):210-214.

(責(zé)任編輯：劉巖)