基于視頻的行人運動軌跡再現(xiàn)與過街行為表達(dá)

江 晟 王殿海，2 陳永恒 孫 迪

(1吉林大學(xué)交通學(xué)院，長春 130022)

(2浙江大學(xué)建筑工程學(xué)院，杭州 310058)

基于視頻的行人運動軌跡再現(xiàn)與過街行為表達(dá)

江 晟1王殿海1，2陳永恒1孫 迪1

(1吉林大學(xué)交通學(xué)院，長春 130022)

(2浙江大學(xué)建筑工程學(xué)院，杭州 310058)

針對行人運動軌跡再現(xiàn)及表達(dá)的問題，結(jié)合視頻檢測技術(shù)，提出一種結(jié)合時空上下文信息的行人運動特征提取和軌跡跟蹤算法，并在視頻標(biāo)定計算中引入中心偏移量，改進(jìn)了共線模型中不考慮鏡頭畸變的缺點，提高了標(biāo)定精度.利用該算法對實際視頻進(jìn)行處理，獲取多組行人運動參數(shù)和軌跡曲線，再將該算法提取的數(shù)據(jù)與共線標(biāo)定方法的計算數(shù)據(jù)及人工調(diào)查得到的真實數(shù)據(jù)進(jìn)行對比，驗證所提算法的準(zhǔn)確性.最后定量分析了幾種行人過街行為，對過街行為相應(yīng)的軌跡特征狀態(tài)進(jìn)行了表達(dá)，為行人交通組織和控制提供支持.

智能交通;視頻檢測;行人行為;軌跡再現(xiàn);特征表達(dá)

行人交通作為短距離出行的主要交通方式，其運動行為的研究與表達(dá)對保障交通暢通和行人安全具有重要意義.目前，國內(nèi)外對行人行為的研究與表達(dá)取得了一定的進(jìn)展，但信息采集仍以人工調(diào)查或人工觀測為主［1］，如 Bernhoft等［2］對城市內(nèi)70歲及以上的老年行人通過問卷方式調(diào)查研究行人行為和表現(xiàn)的差異;Zhou等［3］提出了一個受年齡、性別和一致性趨勢影響的中國行人行為分析調(diào)查方案，對中國行人行為進(jìn)行研究;裴玉龍等［4］對多地的行人進(jìn)行了人工調(diào)查和觀測，利用調(diào)查和觀測的結(jié)果對行人過街行為進(jìn)行了較好表達(dá).上述研究都基于人工調(diào)查的結(jié)果，雖然能夠反映一定的行人行為特性，但難以表征行人運動的實時特征，具有局限性.而針對視頻的行人行為和狀態(tài)識別研究，國內(nèi)外都做過有益的嘗試，如Daamen等［5-6］提出了基于Kalman濾波的行人運動預(yù)測跟蹤方法，獲取行人信息，并對微觀行為進(jìn)行了一定的表達(dá).國內(nèi)王阿琴等［7］利用子圖像方法結(jié)合Meanshift算子實現(xiàn)了行人的跟蹤;胡宏宇等［8］采用視頻檢測技術(shù)對行人行為進(jìn)行了初步表達(dá)，但其表達(dá)的特征仍局限在像素特征的定性分析上;邵春福等［9-10］在對人進(jìn)行跟蹤的基礎(chǔ)上，利用共線方程對軌跡進(jìn)行了標(biāo)定還原，但標(biāo)定算法由于不考慮鏡頭畸變等問題，跟蹤效果存在一定誤差;此外，劉軒也對基于圖像處理的行人疏散等運動微觀行為特征進(jìn)行了實驗研究［11］，取得了一定的成果.

本文利用時空上下文獲取行人邊緣信息并作為跟蹤特征，再結(jié)合Kalman濾波對行人進(jìn)行檢測和跟蹤，之后在獲取行人軌跡的基礎(chǔ)上，對現(xiàn)有的共線標(biāo)定模型進(jìn)行改進(jìn).再利用考慮圖像中心偏移的行人軌跡標(biāo)定算法對真實視頻進(jìn)行檢測并與共線標(biāo)定進(jìn)行對比，最后對行人過街行為進(jìn)行定量分析和表達(dá).

1 基于時空上下文信息的Kalman濾波跟蹤算法

為了準(zhǔn)確檢測和跟蹤行人軌跡，需要對行人特征進(jìn)行有效的提取.本文利用時空上下文信息PT，S，對行人輪廓進(jìn)行提取.首先通過歷史信息對圖像區(qū)域進(jìn)行定義，區(qū)分背景和前景文本，再對當(dāng)前圖像進(jìn)行邊緣檢測，并利用空間相關(guān)性進(jìn)行分割，得到多個時空分布的文本Pm，n，再判斷與歷史文本的相關(guān)性ω.若Pm，n僅與一個空間文本區(qū)域強相關(guān)，則可以判定它的性質(zhì)為該空間文本的性質(zhì);若Pm，n與多個空間文本區(qū)域相關(guān)，則判斷與各個文本之間的關(guān)聯(lián)度，再利用最小歐式距離和前景邊緣圖像點數(shù)目判斷關(guān)聯(lián)性;若Pm，n不屬于任何文本，則檢測該文本是否是新出現(xiàn)的物體或是誤差，并利用時間信息判斷其屬性，即

在獲取前景輪廓特征的基礎(chǔ)上，利用Kalman濾波器算法對該特征進(jìn)行跟蹤，建立的狀態(tài)和觀測方程為

式中，ak為系統(tǒng)狀態(tài)的n×1維狀態(tài)向量;bk為觀測到的系統(tǒng)狀態(tài)的m×1 維向量;φk，k－1為從tk－1時刻到tk時刻的n×n維狀態(tài)轉(zhuǎn)移矩陣;Ik為tk時刻m×n維觀測矩陣;Dk－1為tk－1時刻隨機干擾的n×1維隨機向量;Fk為tk時刻m×1維觀測噪聲向量.此時設(shè)動態(tài)噪聲Dk－1和觀測噪聲Fk為兩兩互不相關(guān)的零均值的正態(tài)白噪聲序列.當(dāng)系統(tǒng)確定時，φk，k－1和 Ik已知，則 Dk－1和 Fk滿足一定假設(shè)也已知.設(shè)Gk為k的協(xié)方差陣，G'k為ak和k的誤差協(xié)方差陣，Qk為動態(tài)噪聲Dk的協(xié)方差矩陣，Hk為觀測噪聲Fk的協(xié)方差矩陣.

之后根據(jù)狀態(tài)和觀測方程進(jìn)一步建立Kalman濾波器算法.在t0時刻，用ak均值向量初始化0，并求G0;在tk時刻，其系統(tǒng)狀態(tài)預(yù)測方程為

式中為增益系數(shù)矩陣，有ZkIk)G'k.再利用上下文時空信息，獲知圖像運動方向和速度，通過濾出不可能出現(xiàn)的位置，根據(jù)已經(jīng)出現(xiàn)的歷史位置預(yù)測出運動目標(biāo)在下一幅圖像中可能出現(xiàn)的位置.最后根據(jù)前期已經(jīng)提取出的前景輪廓進(jìn)行相似比對，通過二維搜索得到與預(yù)測位置點所屬輪廓相關(guān)性最大的前景輪廓，從而實現(xiàn)行人跟蹤，并提取特征軌跡.

2 考慮圖像中心偏移的行人軌跡標(biāo)定算法

完成軌跡提取和跟蹤后，需要將圖像上的軌跡特征轉(zhuǎn)化為真實運動軌跡特征.在常規(guī)的共線條件方程式中由于不考慮鏡頭失真的情況，真實世界坐標(biāo)(X，Y，Z)和圖像坐標(biāo)(x，y)位于一條直線上，其基本原理公式為

式中，l1～l11為相機所在位置、焦距、攝影角度等相關(guān)參數(shù).對于行人運動軌跡的標(biāo)定僅需要其特征點在路面上的坐標(biāo)，即只要把路面在三維空間的平面表達(dá)式給出，求出這條對應(yīng)直線與路面的交點，就可對軌跡進(jìn)行表達(dá).因此，式(4)中Z即確定的道路所在的平面，在此其為常數(shù)，則式(4)可轉(zhuǎn)化為

可將不考慮畸變的共線方程轉(zhuǎn)化為

式中，α0～α2，β0～ β2，r1～ γ2都可以通過之前的參數(shù)求取.但在實際中，圖像中心點o(xc，yc)與世界坐標(biāo)中心點在圖像上的投影o'(xrc，yrc)由于鏡頭畸變并不重合，如圖1所示.

圖1 成像系統(tǒng)圖

若直接采用共線方程進(jìn)行標(biāo)定則誤差較大，本文在共線方程基礎(chǔ)上引入偏移量，對該方程進(jìn)行了修正，畸變后的圖像坐標(biāo)為

式中，x，y為共線方程求得的圖像坐標(biāo);f(x)，ε(y)為偏移修正方程.考慮到中心偏移量是由多個像素的偏移元qx，qy疊加而形成的，因此有

再將式(7)和式(8)代入式(6)，有

考慮到圖像中心與真實中心在圖像上投影的偏移量為 Δx，Δy，可得

將式(11)代入式(9)得

這樣就將不考慮偏移的共線方程轉(zhuǎn)化為考慮中心偏移問題的標(biāo)定方程，且標(biāo)定方法同共線方程類似，只需要在像平面上找到已知世界坐標(biāo)對應(yīng)的4個角點和1個中心點就能求解出相應(yīng)的參數(shù).

3 軌跡標(biāo)定還原及特征表達(dá)對比實驗

為驗證本文標(biāo)定算法的準(zhǔn)確性，對長春市某人行道區(qū)域進(jìn)行了前期測量，再用本文算法及共線方程對區(qū)域進(jìn)行標(biāo)定并與真實特征點進(jìn)行對比，如圖2所示.將利用2種方法獲取的特征點與真實世界的特征點位置進(jìn)行對比，從圖2可以直觀看出，本文算法所得到的區(qū)域分割線與各條人行橫道線均較接近，而共線標(biāo)定算法則存在不規(guī)則的偏移，其誤差如表1所示.

圖2 標(biāo)定效果對比圖

表1 標(biāo)定誤差對比 m

由圖2和表1可看出，本文提出的標(biāo)定還原算法對于特征點位置的提取相對于真實位置誤差較小，精度高于共線方程，可以較好地對運動軌跡進(jìn)行標(biāo)定和還原.之后，本文對實際拍攝的交通視頻進(jìn)行了處理，利用前景行人的特征信息對125組行人軌跡進(jìn)行了提取和跟蹤，部分軌跡的跟蹤效果如圖3所示.

圖3 軌跡跟蹤圖

在軌跡跟蹤的基礎(chǔ)上，利用本文提出的考慮圖像中心偏移的行人軌跡標(biāo)定算法對行人運動軌跡進(jìn)行了標(biāo)定，標(biāo)定區(qū)域及效果如圖4所示.

圖4 軌跡標(biāo)定圖

通過標(biāo)定算法，可將行人運動軌跡在真實世界坐標(biāo)下進(jìn)行表達(dá)，并從其中選取8組行人過街軌跡進(jìn)行分析，對應(yīng)的軌跡曲線見圖5.再利用本文算法提取行人過街平均速度，并將獲取的速度分布曲線與人工調(diào)查的分布曲線進(jìn)行對比，結(jié)果如圖6所示.

由圖6可看出本文算法計算得到的速度與調(diào)查的速度相似，誤差很小，能夠表征行人過街的速度特性，可為行人過街速度的研究提供幫助.再將本文提取的行人運動軌跡進(jìn)行歸納和分類，并進(jìn)行對比和分析表達(dá)，如圖7所示.

圖5 真實軌跡還原圖

圖6 標(biāo)定速度與調(diào)查速度對比圖

圖7 軌跡特征分類表達(dá)圖

通過分析對比上述從視頻中提取的正常過街和過街中等待曲線，可看出正常過街軌跡點不重疊，在本文中，通過街道的軌跡點數(shù)在25～35之間，平均速度為1.38 m/s;而等待的軌跡其軌跡點會有重疊部分，軌跡點數(shù)多在45以上，且平均速度小于1 m/s.

4 結(jié)語

本文提出的軌跡提取跟蹤及標(biāo)定算法，為行人運動行為狀態(tài)表達(dá)與特性分析方法提供了有效的支持.在此基礎(chǔ)上，又對行人速度及行人運動軌跡曲線進(jìn)行了研究，驗證了本文算法對速度提取的準(zhǔn)確性.并對真實場景中的行人過街狀態(tài)進(jìn)行了歸納和分類，對正常通過行為及通過中等待行為分別進(jìn)行了研究.但行人行為存在多樣性，因此對于行人運動行為的表達(dá)需要進(jìn)一步深入分析.

［1］孫智勇，葛書芳，榮建，等.行人交通的數(shù)據(jù)采集方法研究［J］.北京工業(yè)大學(xué)學(xué)報，2006，32(6):530-533.

Sun Zhiyong，Ge Shufang，Rong Jian，et al.Study on pedestrian traffic data collection［J］.Journal of Beijing University of Technology，2006，32(6):530-533.(in Chinese)

［2］ Bernhoft I M，Carstensen G.Preferences and behavior of pedestrians and cyclists by age and gender［J］.Transportation Research Part F，2008，11(2):83-95.

［3］ Zhou R G，Horrey W J，Yu R F.The effect of conformity on pedestrians'road-crossing intentions in China:an application of the theory of planned behaviour［J］.Accident Analysis and Prevention，2009，41(3):491-497.

［4］裴玉龍，馮樹民.城市行人過街速度研究［J］.公路交通科技，2006，23(9):104-107.

Pei Yulong，F(xiàn)eng Shumin.Research on design speed of urban pedestrian crossing［J］.Journal of Highway and Transportation Research and Development，2006，23(9):104-107.(in Chinese)

［5］ Hoogendoorn S P，Daamen W，Bovy P H L.Extracting microscopic pedestrian characteristics from video data［C/CD］//TransportationResearchBoardAnnual Meeting.Washington DC:National Academy Press，2003.

［6］Daamen W，Hoogendoorn S P，Bovy P H L.First-order pedestrian traffic flow theory［C/CD］//Transportation Research Board Annual Meeting.Washington DC:National Academy Press，2005.

［7］王阿琴，楊萬扣，孫長銀.基于子圖像的尺度自適應(yīng)mean shift目標(biāo)跟蹤［J］.東南大學(xué)學(xué)報:自然科學(xué)版，2010，40(增刊1):131-135.

Wang Aqin， Yang Wankou， Sun Changyin. Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(Sup 1):131-135.(in Chinese)

［8］胡宏宇，王殿海，孫迪.基于視頻跟蹤方法的行人過街狀態(tài)表達(dá)與分析［J］.交通信息與安全，2009，27(3):43-47.

Hu Hongyu，Wang Dianhai，Sun Di.Representation and analysis of pedestrian crossing states based on video tracking［J］.Journal of Transport Information and Safety，2009，27(3):43-47.(in Chinese)

［9］邵春福，李娟，趙熠，等.行人交通的視頻檢測方法綜述［J］.交通運輸系統(tǒng)工程與信息，2008，8(4):23-29.

Shao Chunfu，Li Juan，Zhao Yi，et al.Review of pedestrian traffic data collection method based on video image processing［J］.Journal of Transportation Systems Engineering and Information Technology，2008，8(4):23-29.(in Chinese)

［10］沈濤.基于視頻檢測的行人交通參數(shù)提取技術(shù)研究［D］.北京:北京交通大學(xué)交通運輸學(xué)院，2011.

［11］劉軒.基于圖像處理的行人運動微觀行為特征實驗研究［D］.合肥:中國科學(xué)技術(shù)大學(xué)安全技術(shù)及工程學(xué)院，2009.

Pedestrian movement trajectory reappearance and crossing feature expression based on video processing

Jiang Sheng1Wang Dianhai1，2Chen Yongheng1Sun Di1

(1College of Transportation，Jilin University，Changchun 130022，China)
(2College of Civil Engineering and Architecture，Zhejiang University，Hangzhou 310058，China)

According to the trajectory reappearance and feature expression of pedestrian movement，based on video processing，a pedestrian feature extraction and tracking algorithm combining with temporal and spatial context information is proposed.Then the center offset is introduced into the calibration to overcome the shortcomings of the collinear model which does not consider the lens distortion，thus the calibration precision is improved.This algorithm is used to obtain some groups of pedestrian movement parameters and trajectory curve on real video processing.Then the data extracted by this algorithm is compared with both the data calculated through the collinear calibration method and the real data from artificial investigation，in order to verify the accuracy of this algorithm.Finally，several pedestrian crossing behaviors are quantitatively analyzed and the corresponding feature statuses are expressed，which can support the organization and control of pedestrian traffic.

intelligent transportation;video detection;pedestrian behavior;trajectory reappearance;feature expression

TP391;U121

A

1001－0505(2012)06-1233-05

10.3969/j.issn.1001 －0505.2012.06.038

2012-03-16.

江晟(1985—)，男，博士生;陳永恒(聯(lián)系人)，男，博士，副教授，cyhjlu@yahoo.cn.

國家自然科學(xué)基金資助項目(51108208)、中國博士后科學(xué)基金面上資助項目(20110491307)、吉林大學(xué)科學(xué)前沿與交叉學(xué)科創(chuàng)新資助項目(201103146).

江晟，王殿海，陳永恒，等.基于視頻的行人運動軌跡再現(xiàn)與過街行為表達(dá)［J］.東南大學(xué)學(xué)報:自然科學(xué)版，2012，42(6):1233-1237.［doi:10.3969/j.issn.1001 －0505.2012.06.038］