基于視頻的行人車輛檢測與分類

楊 陽,唐慧明,2

(1.浙江大學(xué)信息與通信工程研究所,杭州310027;2.浙江省綜合信息網(wǎng)技術(shù)重點實驗室,杭州310027)

其中,β為相互作用系數(shù);c表示領(lǐng)域Ni的子群;C表示子群集合;fNi表示像素點i周圍點的映射關(guān)系。式(3)的作用在于計算周圍像素點的映射與i點映射的相似性。

在傳統(tǒng)混合高斯模型中,運動檢測過程等同于求取后驗概率p(xi/f(i))最大值的問題。對后驗進(jìn)行濾波:

基于視頻的行人車輛檢測與分類

楊 陽1,唐慧明1,2

(1.浙江大學(xué)信息與通信工程研究所,杭州310027;2.浙江省綜合信息網(wǎng)技術(shù)重點實驗室,杭州310027)

針對傳統(tǒng)智能監(jiān)控中行人車輛檢測與分類算法存在目標(biāo)分割不完整、分類準(zhǔn)確率低等問題,提出一種基于視頻的行人車輛檢測與分類算法。利用領(lǐng)域信息動態(tài)調(diào)整置信區(qū)間構(gòu)造混合高斯模型,采用卡爾曼濾波預(yù)測目標(biāo)下一幀的位置。通過自適應(yīng)EM聚類方法提取目標(biāo)長寬比和面積作為特征,將目標(biāo)分為行人和車輛。在模型估計過程中假設(shè)相鄰幀目標(biāo)做勻速直線運動,推導(dǎo)出目標(biāo)面積變化滿足線性關(guān)系,并對目標(biāo)跟蹤和分類進(jìn)行修正,進(jìn)一步提高檢測準(zhǔn)確性。實驗結(jié)果表明,該算法的人車檢測準(zhǔn)確率達(dá)到90%以上,分類準(zhǔn)確率達(dá)到80%以上。

行人車輛檢測;智能監(jiān)控;運動目標(biāo)檢測;目標(biāo)跟蹤;目標(biāo)分類;模型估計

1 概述

智能監(jiān)控系統(tǒng)［1］可不在人為干預(yù)情況下對攝像機記錄的視頻序列進(jìn)行分析,并且對其中的行人和車輛等目標(biāo)進(jìn)行檢測和分類,從而實現(xiàn)視頻信息檢索。目前常用的行人車輛檢測分類方法可以分為:基于監(jiān)督學(xué)習(xí)的方法和基于運動分割的方法。

基于監(jiān)督學(xué)習(xí)的方法需要預(yù)先對分類器進(jìn)行訓(xùn)練,例如,文獻(xiàn)［2］提取行人的HoG特征放入SVM分類器進(jìn)行訓(xùn)練,類似的有Harr特征與Adabost［3］算法,這類方法的優(yōu)點在于準(zhǔn)確度高、攝像機晃動影響小,但是缺點在于時間復(fù)雜度大,而且需要事先進(jìn)行訓(xùn)練,場景變換后需要重新訓(xùn)練。

基于運動分割的方法要求攝像機固定,對運動的物體進(jìn)行檢測分類。例如,文獻(xiàn)［4］通過幀差法檢測運動物體,提取運動物體長寬比作為特征進(jìn)行分類,然后利用跟蹤將目標(biāo)在每一幀獲得的分類結(jié)果進(jìn)行統(tǒng)計,最終輸出統(tǒng)計結(jié)果的總數(shù)。然而,由于采用固定閾值進(jìn)行目標(biāo)分類,缺乏自主學(xué)習(xí)能力,因此對應(yīng)用場景有嚴(yán)格限制。文獻(xiàn)［5］對上述方法進(jìn)行了改進(jìn),對運動目標(biāo)的特征進(jìn)行聚類,形成樹分類器,能夠得到較好的結(jié)果,然而該算法也存在過訓(xùn)練、收斂速度慢的問題。

本文針對靜止場景的視頻序列,提出一種基于運動分割的視頻內(nèi)容檢索算法,以提高檢測和分類的準(zhǔn)確性。

2 行人車輛檢測與分類原理

本文算法主要包括4個部分:運動目標(biāo)檢測,目標(biāo)跟蹤,目標(biāo)分類和模型估計,如圖1所示。

圖1 行人車輛檢測與分類算法流程

2.1 運動目標(biāo)檢測

運動目標(biāo)檢測作為視頻分析的最初階段,其結(jié)果好壞直接影響后期處理的準(zhǔn)確性。一個好的檢測算法需要能夠處理光線亮度的變化、動態(tài)背景、前景目標(biāo)與背景相近等問題。文獻(xiàn)［6］提出混合高斯模型來解決動態(tài)背景的問題,但是像素點之間是獨立關(guān)系,沒有利用到鄰域信息。文獻(xiàn)［7］采用無參數(shù)窗函數(shù)估計,得到的概率模型更貼近實際,但時間復(fù)雜度高。文獻(xiàn)［8］采用單高斯模型與馬爾科夫隨機場(Markov Random Fields,MRF)融合對運動目標(biāo)檢測進(jìn)行改進(jìn),能夠得到更加完整的前景,但是仍然存在噪聲抑制差的缺點［9］。

本文利用鄰域信息構(gòu)建一個濾波函數(shù),得到一種混合高斯模型(Gaussian Mixture Model,GMM)的改進(jìn)算法。

假設(shè)像素點i當(dāng)前的灰度值為x(i),x(i)隱含的映射關(guān)系為f(i)(前景和若干個背景)。假定f(i)條件下,灰度值x(i)滿足高斯分布,即:

其中,μj為高斯分布j的均值;∑j為j的方差。

定義像素點i所在鄰域Ni范圍內(nèi)的濾波函數(shù)為:

其中,Z為歸一化常數(shù);E(f(i))為勢能函數(shù),定義如下:

其中,β為相互作用系數(shù);c表示領(lǐng)域Ni的子群;C表示子群集合;fNi表示像素點i周圍點的映射關(guān)系。式(3)的作用在于計算周圍像素點的映射與i點映射的相似性。

在傳統(tǒng)混合高斯模型中,運動檢測過程等同于求取后驗概率p(xi/f(i))最大值的問題。對后驗進(jìn)行濾波:

將式(1)、式(2)代入式(5)中得到:

如果直接計算式(6)的最大值,則計算過于繁瑣,實際中采用判斷是否落入置信區(qū)間進(jìn)行近似,得到:

其中,N為置信度,取值2～3。已知傳統(tǒng)混合高斯模型的匹配公式為:

對比式(7)、式(8)可以看出,改進(jìn)算法在傳統(tǒng)混合高斯模型基礎(chǔ)上對置信度進(jìn)行了修正,利用鄰域信息動態(tài)地增加或減少匹配該模型的概率。

2.2 目標(biāo)跟蹤

為得到更準(zhǔn)確的行人和車輛分類結(jié)果,需要跟蹤目標(biāo)從出現(xiàn)到消失的所有狀態(tài),從而聯(lián)合各幀信息提高分類正確率。常見的目標(biāo)跟蹤算法有:幀間匹配［10］,卡爾曼濾波［11］,粒子濾波,Camshift以及Estembling Tracking［12］等。

本文采用卡爾曼濾波預(yù)測目標(biāo)下一幀位置,同時提取目標(biāo)的顏色直方圖作為幀間匹配特征［13］。因為在運動目標(biāo)檢測階段可以得到每一個目標(biāo)的掩膜,所以跟蹤時不需要在原始圖像中進(jìn)行搜索,只需在前景圖中進(jìn)行目標(biāo)匹配,這樣做可以大大節(jié)省跟蹤時間。然而,如果目標(biāo)之間出現(xiàn)遮擋情況,則運動目標(biāo)檢測會將其判斷為一個目標(biāo),導(dǎo)致上述方法失效。如果目標(biāo)之間存在遮擋的情況,本文采用Camshift算法。

2.3 目標(biāo)分類

目標(biāo)分類旨在自動判定目標(biāo)所屬類別,實現(xiàn)過程包含2個步驟:特征提取和分類判斷［14］。本文選取目標(biāo)長寬比和面積作為特征,將目標(biāo)分為行人和車輛。采用一種自適應(yīng)EM［15］聚類方法,實現(xiàn)步驟如下:

(1)將圖像劃分為若干個1 616的區(qū)域,每一個區(qū)域分別記錄覆蓋該區(qū)域的行人和車輛的信息,包括面積均值、面積方差以及樣本數(shù)量,并假設(shè)該區(qū)域內(nèi)的行人和車輛目標(biāo)面積滿足高斯分布。

(2)EM初始化階段:采用一個固定長寬比閾值來判定行人和車輛,例如height/width＞1表示行人,否則為車輛,相應(yīng)地記錄行人和車輛的面積平均值。

(3)EM估計階段:對于每一個區(qū)域,當(dāng)有新目標(biāo)進(jìn)入時,計算目標(biāo)面積值所匹配的高斯分布,從而得出分類結(jié)果,相應(yīng)地更新該類的參數(shù)。

通過上述步驟,隨著樣本數(shù)量的增加,高斯分布的參數(shù)逐漸收斂［11］,分類效果逐漸改善。

2.4 模型估計

模型估計是對歷史信息的一種統(tǒng)計應(yīng)用,要求假設(shè)能夠逼近實際情況。在相鄰幀,由于運動時間很短、位移較小,本文假設(shè)目標(biāo)做勻速直線運動,可以證明其面積變化呈線性關(guān)系。

設(shè)(X,Y,Z)和(X′,Y′,Z′)分別表示第k幀和第k+1幀時刻目標(biāo)的世界坐標(biāo)位置。目標(biāo)的平移、旋轉(zhuǎn)運動可以用式(9)表示:

忽略目標(biāo)的深度信息,假設(shè)目標(biāo)為一平面,即:

如果運動目標(biāo)與攝像機的距離遠(yuǎn)大于目標(biāo)本身的深度,即為正投影模型,則存在如下近似關(guān)系:

將式(11)代入式(9)、式(10)得到:

分別取第k幀和第k+1幀時目標(biāo)矩形框的左側(cè)上下頂點:

因為存在x1=x2,x′1=x′2的關(guān)系,將其代入式(12)和式(13)中得到,矩形高度滿足h′=a2·h。同理,矩形寬度滿足w′=a1·w。所以,矩形框面積為S′=kS,呈線性關(guān)系。

利用上述結(jié)論,可以對目標(biāo)分類和目標(biāo)跟蹤進(jìn)行修正。目標(biāo)分類階段圖像特定區(qū)域存在特征樣本少或者收斂速度慢的問題,由于相鄰區(qū)域面積滿足比例變化,因此可以利用周圍塊的平均值代替當(dāng)前塊。目標(biāo)跟蹤階段,由于目標(biāo)面積變化滿足線性條件,因此可以增加目標(biāo)面積作為卡爾曼濾波器的狀態(tài)量,從而改善跟蹤的準(zhǔn)確性。

3 實驗結(jié)果與分析

實驗在PETS2006視頻庫以及真實采集的監(jiān)控視頻上進(jìn)行,以下介紹各階段的實驗結(jié)果。

3.1 運動目標(biāo)檢測實驗結(jié)果

圖2展示了本文方法與文獻(xiàn)［5-7］方法的實驗對比結(jié)果。

圖2 運動目標(biāo)檢測結(jié)果

由圖2可知,與混合高斯模型相比,本文方法運動目標(biāo)分割更加完整、噪聲影響更小。對比其他常用的運動檢測方法,針對不同的室內(nèi)室外場景,本文方法都能得到較好效果。

表1統(tǒng)計了圖2中3個不同場景下,高斯混合模型和本文方法的平均錯誤率,可以看出虛警率和漏警率都有明顯的下降。其中,虛警率和漏警率的定義如下:

虛警率=背景點被誤檢為前景的數(shù)量/檢測為前景的總數(shù)

漏警率=被遺漏的前景點數(shù)量/真實前景點的總數(shù)

表1 運動檢測錯誤率 %

3.2 目標(biāo)分類實驗結(jié)果

圖3展示了目標(biāo)分類的一幀結(jié)果,即使存在遮擋情況,仍然能夠得到準(zhǔn)確的分類。表2為視頻中車輛從出現(xiàn)到消失過程中,每一幀分類結(jié)果的統(tǒng)計圖,可以看出分類準(zhǔn)確度在80%以上。

圖3 人車分類結(jié)果

表2 人車分類結(jié)果的統(tǒng)計

3.3 模型估計實驗結(jié)果

圖4展示了一個做勻速直線運動的行人,面積隨時間的變化關(guān)系?？梢钥闯雒娣e值可以近似擬合為線性,從而證明本文假設(shè)貼近實際情況。

圖4 目標(biāo)面積變化

4 結(jié)束語

本文提出一種行人車輛檢測算法,通過運動目標(biāo)檢測、目標(biāo)跟蹤、目標(biāo)分類和模型估計等步驟實現(xiàn)。利用該算法能夠準(zhǔn)確地檢索出監(jiān)控視頻中特定目標(biāo)的信息。與傳統(tǒng)算法相比,優(yōu)勢在于能夠大幅提高準(zhǔn)確度,并且由于采用自適應(yīng)學(xué)習(xí)與分類方法,應(yīng)用場景更加廣泛。在今后工作中,將通過統(tǒng)計目標(biāo)在圖像上各區(qū)域的特征信息對場景進(jìn)行建模,估計圖像深度,自動學(xué)習(xí)場景參數(shù)。

［1］ 劉治紅,駱云志.智能視頻監(jiān)控技術(shù)及其在安防領(lǐng)域的應(yīng)用［J］.兵工自動化,2009,28(4):75-78.

［2］ Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection［C］//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press,2005:25-28.

［3］ Viola P,Jones M,Snow D.Detecting Pedestrians Using Patterns of Motion and Appearance［J］.International Journal of Computer Vision,2005,63(2):153-161.

［4］ Lipton A J.Moving Target Classification and Tracking from Real-time Video［C］//Proceedings of the 4th IEEE Workshop on Applications of Computer Vision.Princeton, USA:IEEE Press,1998:8-14.

［5］ Stauffer C.Learning Patterns of Activity Using Real-time Tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intellignece,2000,22(8):747-757.

［6］ Stauffer C,GrimsonW E L.AdaptiveBackground Mixture Models for Real-time Tracking ［C］// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Computer Society,1999:2246-2257.

［7］ Elgammal A,Harwood D R.Background and Foreground Modeling Using Nonparametric Kernel Density Estimation for Visual Surveillance［J］.Proceedings of the IEEE, 2002,90(7):1151-1163.

［8］ Kertesz C.Texture-based Foreground Detection［J］.International Journalof SignalProcessing ofImage Processing and Pattern Recognition,2011,4(4):51-61.

［9］ Geman S,Geman D.Stochastic Relaxation Gibbs Distributions and the Bayesian Restoration of Images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,1984,6(6):721-741.

［10］ Surendra G,Osama M.Detection and Classification of Vehicles ［J］.IEEE Transactions on Intelligent Transportation Systems,2002,3(1):37-47.

［11］ Kalman R E.A New Approach to Linear Filtering and Prediction Problems［J］.Journal of Basic Engineering, 1960,82(10):35-45.

［12］ Avidan S.Ensemble Tracking［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(2): 261-267.

［13］ 劉 亞,艾海舟,徐光佑.一種基于背景模型的運動目標(biāo)檢測與跟蹤算法［J］.信息與控制,2002,31(4): 315-319.

［14］ 萬 纓,韓 毅,盧漢清.運動目標(biāo)檢測算法的探討［J］.計算機仿真,2006,23(10):221-226.

［15］ Dempster A P,LairdN M,RubinD B.Maximum Likelihood from Incomplete Data via the EM Algorithm［J］.Journal of the Royal Statistical Society,1977,l39(1): 1-38.

編輯 陸燕菲

Pedestrian-vehicle Detection and Classification Based on Video

YANG Yang1,TANG Huiming1,2
(1.Institute of Information and Communication Engineering,Zhejiang University,Hangzhou 310027,China;
2.Zhejiang Provincial Key Laboratory of Information Network Technology,Hangzhou 310027,China)

Aiming at the problem of incomplete target segmentation and low classification accuracy of traditional pedestrian-vehicle detection and classification algorithm in intelligent monitoring,this paper presents a pedestrian-vehicle detection and classification algorithm based on video.The algorithm dynamically adjusts confidence intervals for constructing Gaussian mixture model using neighborhood information,and uses the Kalman filter to predict the position of the target in the next frame.It extracts the target aspect ratio and area through adaptive EM clustering as a feature,then divides target into pedestrians and vehicles.Assume that target makes the uniform linear motion in adjacent frame and derive the target area to meet the linear relationship change.Thus target tracking and classification can be modified to improve the detection accuracy in the end.Experimental result show that the algorithm detection rate is over 90% and classification rate is over 80%.

pedestrian-vehicle detection;intelligent surveillance;motion object detection;objcet tracking;object classification;model estimation

1000-3428(2014)11-0135-04

A

TP391

10.3969/j.issn.1000-3428.2014.11.027

國家科技重大專項基金資助項目(2010ZX03004-003-01);中央高?；究蒲袠I(yè)務(wù)費專項基金資助項目(2012FZA5008)。

楊 陽(1988-),男,碩士研究生,主研方向:視頻圖像處理,智能監(jiān)控;唐慧明,副教授。

2013-12-18

2014-01-10E-mail:thm@zju.edu.cn

中文引用格式:楊 陽,唐慧明.基于視頻的行人車輛檢測與分類［J］.計算機工程,2014,40(11):135-138.

英文引用格式:Yang Yang,Tang Huiming.Pedestrian-vehicle Detection and Classification Based on Video［J］.Computer Engineering,2014,40(11):135-138.