基于高斯混合模型和AdaBoost的夜間車輛檢測

陳 艷，嚴 騰，宋俊芳，宋煥生

(1.長安大學 信息工程學院，西安 710064； 2.長安大學 外國語學院，西安 710064； 3.西藏民族大學 信息工程學院，陜西 咸陽 712082)(*通信作者電子郵箱373433788@qq.com)

0 引言

智能交通監(jiān)控系統(tǒng)需構建一個準確、高效的交通信息采集系統(tǒng)，而夜間車輛檢測是交通信息采集系統(tǒng)中不可或缺的組成部分，可為車型分類、交通事件檢測、交通流調(diào)查等提供有效信息。近年來國內(nèi)外諸多研究對車輛檢測開展了深入的探索，建立了基于環(huán)形線圈、雷達[1-4]和機器視覺的車輛檢測方法?；诃h(huán)形線圈的檢測精度高、檢測簡單但靈活性差、功能單一，基于雷達的檢測雖不受天氣光照的影響但維護復雜，基于機器視覺的檢測方法具有豐富的信息含量且成本代價低，因此基于機器視覺的車輛檢測方法應用最為廣泛。

針對視頻車輛檢測的特征，基于機器視覺的車輛檢測方法一般分為基于背景模型的檢測、基于顏色亮度模型的檢測和基于幾何特征模型的檢測?；诒尘澳Ｐ偷能囕v檢測主要是通過背景差、幀差、混合高斯模型或ViBE(Video indexing and Browsing Environment)算法等全局圖像檢測車輛。Yang等[5]采用基于邊緣的背景差分法和基于區(qū)域的背景差分法，利用支持向量機(Support Vector Machine, SVM)進行車輛檢測分類。Zhang等[6]采用三幀圖像差分法檢測車輛，通過深度卷積神經(jīng)網(wǎng)絡識別車輛類型。Basri等[7]提出通過調(diào)整交通擁擠下檢測的感興趣區(qū)域，采用優(yōu)化后的高斯混合模型(Gaussian Mixture Model, GMM)檢測車輛，從而實現(xiàn)對車輛的計數(shù)分析。Wei等[8]利用ViBE背景模型提取背景，根據(jù)形態(tài)學圖像處理方法檢測運動車輛。St-Charles等[9]根據(jù)像素的空間特征，采用基于像素級的反饋環(huán)路的非參數(shù)模型，自適應背景更新檢測車輛。于萬霞等[10]提出在YCbCr(Luminance,Chrominance-blue,Chrominance-r)顏色空間上的背景差分方法，根據(jù)迭代處理確定提取背景的閾值。上述方法由于車輛遮擋和陰影等復雜因素的影響，導致背景提取不穩(wěn)定，存在“鬼影”目標等問題，誤檢率高?；陬伾Ｐ蜋z測主要包括在RGB(Red-Green-Blue)、HSV(Hue-Saturation-Value)、YCbCr顏色空間中利用局部車燈的顏色分量來檢測車輛。劉勃等[11]提出在RGB圖像中搜索R顏色特征，結合車尾燈的運動信息檢測跟蹤車輛。O’Malley等[12]采用適合于HSV空間的紅色閾值檢測車尾燈，利用顏色互相關對稱性確定車尾燈對。Swamy等[13]利用顏色空間模型，根據(jù)每個像素的顏色和亮度畸變檢測車輛前景圖像。由于夜間光線較暗和車尾轉向燈等的影響，攝像機捕捉的車輛顏色信息不夠準確，導致上述方法在檢測顏色特征定位車燈時誤差偏大。針對這兩種方法，基于幾何特征的檢測是通過局部車燈部件的形狀信息、對稱特性等，初步確定車燈區(qū)域，利用車燈進一步檢測車輛。Wang等[14]通過提取車燈信息，根據(jù)車燈的特征利用AdaBoost(Adaptive Boosting)分類器檢測車輛。Juric等[15]通過粒子濾波器檢測車燈，根據(jù)車燈的局部特征配對分類車燈，從而實現(xiàn)車輛的跟蹤。歐志芳等[16]采用閾值法分割明亮塊，通過車燈對的面積比、互相關值和長寬比的D-S(Dempster-Shafer)證據(jù)理論檢測車輛。以上方法都是在二維交通場景下提取車燈信息，但因攝像機的透視關系，車燈圖像存在尺度變換和幾何形變，導致提取的車燈信息不準確，因此本文在Wang等[14]的方法上提出在逆投影圖下提取車燈真實信息，根據(jù)車燈真實的空間幾何關系，構建車燈對的高斯混合模型，初步檢測車輛，設置逆投影圖車輛樣本，利用AdaBoost分類器進一步檢測車輛，實現(xiàn)對夜間車輛的快速準確檢測。

1 基于GMM和AdaBoost的夜間車輛檢測

1.1 逆投影

智能交通監(jiān)控系統(tǒng)采用固定單目攝像機拍攝視頻圖像，此視頻圖像是三維空間場景到二維平面圖像的投影。因攝像機的透視關系，二維圖像與真實三維場景物體存在巨大的差距，存在尺度變換和幾何形變。本文將利用三維逆投影圖恢復車頭燈對的三維空間幾何信息，通過對二維的車輛圖像序列進行標定，形成三維重建圖像，得到逆投影圖像序列。該圖像序列中車頭燈對具有幾何不變形，其位置、大小與真實車頭燈對的位置、大小一一對應，從而為準確檢測車頭燈對提供基礎。

首先在已標定的交通場景中預先確定一個逆投影面，設計的逆投影面依照夜間待檢測的車前燈對的特征及空間位置確定。依不同的場景可設置平行于路面、垂直于路面或者與路面成一定角度的逆投影面，本文需實現(xiàn)對車頭燈對的檢測，因此在三維交通道路視頻中設計垂直于路面而平行于車輛正面與車頭燈對相貼合的逆投影面。

逆投影面按1 cm×1 cm的分辨率分割成若干網(wǎng)格，每個網(wǎng)格由對應的每個像素表示，由這些像素構成的圖則為逆投影圖。其逆投影圖構建過程如圖1所示，假設A表示設置的與垂直于路面的逆投影面，其中：g為逆投影面上的一個網(wǎng)格，p表示逆投影面A上的g網(wǎng)格投影到二維圖像上的像素點，gp表示在逆投影圖上與網(wǎng)格g對應的像素點，則逆投影就是將二維圖像像素點p映射到逆投影圖像素點gp的過程。逆投影圖中每個像素點復制了逆投影面每個網(wǎng)格的信息，則每個像素點的信息就是逆投影面上每個網(wǎng)格的信息。因逆投影面上每個網(wǎng)格包含了對應三維空間中真實大小尺寸的網(wǎng)格信息，則逆投影圖的二維圖像上每個像素點同樣代表了三維空間中真實大小尺寸的網(wǎng)格信息。

圖1 逆投影構建過程

1.2 圖像預處理

在夜間交通視頻圖像中，由于光線太弱，利用車頭燈的顯著特征粗定位車輛。根據(jù)在夜間車頭燈像素值相對于鄰域內(nèi)其他像素是最大的，采用搜索窗原理尋找逆投影圖像的局部極大值，粗定位車頭燈對的區(qū)域。設置搜索窗的高度和寬度大小為5，其中定位的區(qū)域不僅包括車頭燈對的位置，也包括亮度值比較大的車燈反光區(qū)域或其他干擾的非車燈區(qū)域。

當初步確定車頭燈對的區(qū)域后，利用漫水填充算法進一步標記車頭燈對的位置。設置漫水填充算法的起始點為圖像局部極大值點，選擇8鄰域固定像素填充掩碼方式，設置當前觀察像素與鄰域像素的上下限為[40,100]。

1.3 構造車燈對的高斯混合模型

根據(jù)車輛的車頭燈對的空間幾何先驗知識可知，車頭燈具有一些明顯的特征，如車燈的高度、寬度、車燈對水平間距和垂直間距、面積相似度等。在2D圖像檢測中因為攝像機的成像原理，使得這些易于表述的空間幾何特征在圖像中發(fā)生尺度和形狀變化，本文在逆投影圖像下利用上述真實局部空間幾何特征檢測車燈。

根據(jù)逆投影比例關系，計算車燈在逆投影圖下的相對車燈寬度W和長度L。本文對車輛視頻中采集的車輛樣本進行統(tǒng)計，設置寬度上下限為Tw1和Tw2，高度上下限為Tl1和Tl2，若檢測到的車燈寬度和高度滿足Tw1

車燈面積A為：

A=W*L

(1)

面積比為：

Aradio=As/Ab

(2)

根據(jù)車輛局部幾何特征可知，實際車輛的兩個車頭燈對具有相同的面積A，利用逆投影圖恢復的目標形狀，通過先驗知識中車燈對的面積比Aradio趨于1的條件，剔除無法滿足的偽區(qū)域。

但是在實驗中存在并排相鄰兩輛車的車燈被誤配對的現(xiàn)象。為了解決此問題，考慮車輛生產(chǎn)的通用性和普適性，規(guī)格尺寸大小集中在一定的范圍之內(nèi)，則設左右車燈對的中心坐標分別為(xl,yl)，(xr,yr)，車燈對的水平間距為Xdiff，垂直間距為Ydiff，車燈對相對于道路面的高度H，則車燈對之間的空間關系表達式如下：

Xdiff=|xr-xl|

(3)

Ydiff=|yr-yl|

(4)

(5)

對采集到的大量車燈對樣本分析可知車燈對特征變量Xdiff、Ydiff和H落在范圍內(nèi)樣本數(shù)最多，落在范圍邊界的樣本數(shù)較少，從數(shù)學角度分析，車燈對的每個空間特征關系分布符合高斯分布，則車燈對特征的空間變量分布概率模型呈現(xiàn)為高斯混合模型。由于車燈準直間距在真實場景中相差較小，為了建模簡單，本文忽略不計。根據(jù)對車輛視頻中采集的車燈對樣本的空間特征變量Xdiff和H進行統(tǒng)計概率Pr建模，其結果如圖2所示。

圖2 車燈對樣本的特征變量空間關系建模

其中得到的車燈對高斯概率模型為ψ，檢測到車燈對特征的空間變量為D={Xdiff,H}，則表示檢測到的車燈對特征變量符合構建的高級混合模型的概率，稱為模型ψ時D的似然度，則檢測車燈對符合同一輛車的公式為：

P(D|Ψ)>T

(6)

根據(jù)設置的閾值T，當檢測的車燈對的概率大于閾值時，則左右車燈對為同一輛車，進而解決車燈對誤匹配的問題。

1.4 基于AdaBoost的車燈分類器檢測

AdaBoost分類器是對同一個訓練樣本集訓練不同的弱分類器，通過集合弱分類器構造一個強分類器。因AdaBoost分類器不需要任何關于弱分類器的先驗知識[17]，為了進一步剔除車燈影子、地面反射等的干擾，本文選用逆投影車輛樣本，在逆投影圖像下采用局部二值特征(Local Binary Pattern，LBP)的AdaBoost分類器分類車燈樣本，其具體實現(xiàn)步驟[18-19]如下。

步驟1 給定車燈訓練樣本集{(x1,y1),(x2,y2),…,(xm,ym)}，其中m為車燈樣本數(shù)，xi為訓練樣本，yi為樣本標識，yi∈{0,1}，1表示正樣本，即包含車前燈對的樣本，0表示負樣本，即不包含車前燈對的樣本，其中正樣本個數(shù)為P，負樣本個數(shù)為N，則m=P+N。

步驟2 初始化正負樣本xi的權重。

(7)

步驟3 設置弱分類器的個數(shù)為T。

1)權重歸一化：

(8)

2)對于LBP特征譜的統(tǒng)計直方圖特征f，訓練每個弱分類器cf，計算該特征的弱分類器的加權錯誤率：

(9)

選取擁有最小錯誤率εf的弱分類器cf加入到強分類器中。

3)重新更新調(diào)整樣本權重：

(10)

其中：βt=εt/(1-εt)。

若樣本xi被正確分類，則θi=0；否則θi=1。

步驟4 最強分類器為：

(11)

其中：αt=log (1/βt)。

2 實驗結果分析

為了驗證本文提出的基于AdaBoost的夜間逆投影車輛檢測方法的性能，進行了測試。圖3(a)中白色線框為在交通視頻中設置的逆投影面大小。當車輛駛入逆投影面區(qū)域與逆投影面貼合時，根據(jù)投影關系計算出逆投影圖，利用局部像素極大值和漫水填充算法粗定位車燈區(qū)域，根據(jù)車燈對的長寬、相似度和車燈對的空間關系的高斯混合模型等知識初步檢測車燈對，在圖3(b)中矩形框表示在逆投影圖像下定位的車燈區(qū)域，圖3(c)中矩形框為根據(jù)車燈對的先驗知識構造的高斯混合模型正確檢測到的車臉位置，圖3(d)為因地面反光的影響，錯誤的將車燈影子檢測為車輛的錯誤目標。

夜間中車燈檢測經(jīng)常會遇到影子干擾問題，尤其在雨雪天氣下由于路面積水會引起車燈的反射，產(chǎn)生的鏡像影子會使車燈的檢測造成誤判，因此為了消除路燈、交通信號燈、地面積水反光造成的鏡像影子等影響，采用高速公路交通場景下車輛視頻，分割出夜間逆投影車輛圖像和非車輛圖像，正樣本圖像尺寸為24 pixels×24 pixels，訓練個數(shù)為1 092，負樣本圖像尺寸大于正樣本尺寸，訓練個數(shù)為2 024。正樣本為逆投影圖像下包括含有車頭燈對的車臉圖像，負樣本包括車燈影子、路燈、交通信號燈等圖像，圖4為在雨天下根據(jù)正負樣本在地面積水引起的反射的情況下正確檢測到車輛的結果。

在上海華夏路段、西安二環(huán)路段和重慶某高速路段3個場景中對本文逆投影下的基于AdaBoost的夜間車輛檢測進行測試。由表1可知，與文獻[14]中D-S證據(jù)理論相比，檢測率提高了2.03%，漏檢率降低了17.83%，誤檢率降低了47.51%；與文獻[16]中原始圖像下的AdaBoost方法相比，檢測率提高了1.931%，漏檢率降低了7.58%，誤檢率降低了27.61%。文獻[14]和[16]是在二維場景中獲取車燈的信息，本文是通過三維逆投影圖像獲得真實車燈對的幾何信息，構建高斯混合模型，采用了含有車燈影子、地面反光、路燈等的負樣本，剔除了干擾因素的影響，因此檢測率高，誤檢率低，滿足了交通場景檢測的準確性和可靠性的要求。

圖3 初步檢測車燈

圖4 雨天下的檢測結果

Tab. 1 Test results of vehicle detection

本文的方法是根據(jù)先驗知識構造的車燈對的高斯混合模型初步檢測車輛區(qū)域，當存在著無車燈、單車燈、車燈對面積相差太大或車燈粘連在一起的時候，無法根據(jù)先驗知識和構造的高斯混合模型匹配車燈對，進而無法檢測到車臉對象，因此出現(xiàn)漏檢的情況，因此本文下一步需對此類情況進行分析解決。

3 結語

因攝像機的透視關系，根據(jù)二維交通場景下的車燈存在尺度變換和幾何形變，本文提出根據(jù)逆透視映射關系構建三維逆投影圖像，在逆投影圖像下采用局部極大值和漫水填充算法粗定位車燈區(qū)域，利用車頭燈對的長寬、幾何相似度和構建的車燈對的空間關系高斯混合模型，匹配車頭燈對，獲到包含車臉的逆投影圖檢測區(qū)域，最后設置逆投影車輛樣本，利用AdaBoost算法分類檢測車輛。本文采用逆投影車輛樣本，降低了因攝像機透視變形的影響，使車輛樣本更接近真實車輛圖形，通過構建的高斯混合模型解決了車輛并排誤檢測的問題。實驗結果表明，本文采用的方法提高了檢測的精度，降低了誤檢率，解決了車燈影、地面反光等干擾因素的影響，滿足了交通場景中車輛檢測的精度要求。

References)

[1] 靳璐，付夢印，王美玲，等.基于視覺和毫米波雷達的車輛檢測[J].紅外與毫米波學報,2014,33(5):465-471.(JIN L, FU M Y, WANG M L, et al. Vehicle detection based on vision and millimeter wave radar [J]. Journal of Infrared and Millimeter Waves, 2014, 33(5): 465-471.)

[2] WANG X, XU L, SUN H, et al. On-road vehicle detection and tracking using MMW radar and monovision fusion [J]. IEEE Transactions on Intelligent Transportation Systems, 2016, 17(7): 2075-2084.

[3] BURLET J, DALLA F M. Robust and efficient multi-object detection and tracking for vehicle perception systems using radar and camera sensor fusion [C]// Proceedings of the 2012 International Conference on Road Transport Information and Control. Stevenage, UK: IET, 2012: 1-6.

[4] PAGE D, OWIRKA G, NICHOLS H, et al. Detection and tracking of moving vehicles with Gotcha radar systems [J]. IEEE Aerospace & Electronic Systems Magazine, 2014, 29(1): 50-60.

[5] YANG C, DAI Z J. Vehicle-classification based on edge extraction and background difference [C]// Proceedings of the 4th International Conference on Measuring Technology and Mechatronics Automation. Clausthal-Zellerfeld: Trans Tech Publications, 2012: 1109-1113.

[6] ZHANG W, CHEN L, GONG W, et al. An integrated approach for vehicle detection and type recognition [C]// Proceedings of the 2015 IEEE 12th International Conference on Ubiquitous Intelligence and Computing, 2015 IEEE 12th International Conference on Autonomic and Trusted Computing and 2015 IEEE 15th International Conference on Scalable Computing and Communications and Its Associated Workshops. Piscataway, NJ: IEEE, 2015: 798-801.

[7] BASRI, INDRABAYU, ACHMAD A. Gaussian mixture models optimization for counting the numbers of vehicle by adjusting the region of interest under heavy traffic condition [C]// Proceedings of the 16th International Seminar on Intelligent Technology and Its Applications. Piscataway, NJ: IEEE, 2015: 245-250.

[8] WEI P, LU X, TANG T, et al. A highway vehicle detection method based on the improved visual background extractor [C]// Proceedings of the 12th International Conference on Fuzzy Systems and Knowledge Discovery. Piscataway, NJ: IEEE, 2016:1519-1524.

[9] ST-CHARLES P L, BILODEAU G A, BERGEVIN R. Flexible background subtraction with self-balanced local sensitivity [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2014: 414-419.

[10] 于萬霞,杜太行.基于彩色空間的背景幀差法視頻車輛檢測[J].計算機仿真,2010,27(1):285-287.(YU W X, DU T H. Video based vehicle detection based on background difference in color space [J]. Computer Simulation, 2010, 27(1): 285-287.)

[11] 劉勃,周荷琴,魏銘旭.基于顏色和運動信息的夜間車輛檢測方法[J].中國圖象圖形學報,2005,10(2):187-191.(LIU B, ZHOU H Q, WEN M X. Vehicle detection at night using color and motion information [J]. Journal of Image and Graphics, 2005, 10(2): 187-191.)

[12] O’MALLEY R, JONES E, GLAVIN M. Rear-lamp vehicle detection and tracking in low-exposure color video for night conditions [J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(2): 453-462.

[13] SWAMY G N, SRILEKHA S. Vehicle detection and counting based on color space model [C]// Proceedings of the 2015 International Conference on Communications and Signal Processing. Piscataway, NJ: IEEE, 2015: 447-450.

[14] WANG W, SHEN C, ZHANG J, et al. A two-layer night-time vehicle detector [C]// Proceedings of the 2009 International Conference on Digital Image Computing: Techniques and Applications. Piscataway, NJ: IEEE, 2009: 162-167.

[15] JURIC D, LONCARIC S. A method for on-road night-time vehicle headlight detection and tracking [C]// Proceedings of the 2014 International Conference on Connected Vehicles and Expo. Piscataway, NJ: IEEE, 2014: 655-660.

[16] 歐志芳,安吉堯,周芳麗.利用D-S證據(jù)理論的夜間車輛檢測[J].計算機應用研究,2012,25(5):1943-1946.(OU Z F, AN J Y, ZHOU F L. Night-time vehicle detection using D-S evidence theory [J]. Application Research of Computers, 2012, 25(5): 1943-1946.)

[17] ALEFS B, SCHREIBER D. Accurate speed measurement from vehicle trajectories using AdaBoost detection and robust template tracking [C]// Proceedings of the 10th International IEEE Conference on Intelligent Transportation Systems. Piscataway, NJ: IEEE, 2007: 405-412.

[18] ZHU J, ZOU H, ROSSET S, et al. Multi-class AdaBoost [J]. Statistics & Its Interface, 2009, 2(3): 349-360.

[19] YAN G, YU M, YU Y, et al. Real-time vehicle detection using histograms of oriented gradients and AdaBoost classification [J]. Optik—International Journal for Light and Electron Optics, 2016, 127(19): 7941-7951.

This work is partially supported by the National Natural Science Foundation of China (61572083).

CHENYan, born in 1989, Ph. D. candidate, engineer. Her research interests include image processing, intelligent transportation.

YANTeng, born in 1992, M. S. candidate. His research interests include intelligent transportation.

SONGJunfang, born in 1984, Ph. D. candidate. Her research interests include image processing.

SONGHuansheng, born in 1964, Ph. D., professor. His research interests include image processing, artificial intelligence.