基于運動軌跡分量的行人徘徊行為檢測研究

趙衛(wèi)峰，黃 沄

(重慶郵電大學(xué) 資產(chǎn)管理處，重慶 400065)

基于運動軌跡分量的行人徘徊行為檢測研究

趙衛(wèi)峰，黃 沄

(重慶郵電大學(xué) 資產(chǎn)管理處，重慶 400065)

針對傳統(tǒng)的目標(biāo)徘徊檢測方法在實時性和準(zhǔn)確性等方面的不足，提出了一種基于目標(biāo)軌跡分量曲線的行人徘徊檢測算法。首先，采用基于幀差法的背景模板建模方法來建立初始背景。然后，用改進的結(jié)合背景差分的三幀差分法檢測前景目標(biāo)，通過Mean-shift算法對前景目標(biāo)進行跟蹤。最后，將得到的運動軌跡做正交分解，根據(jù)目標(biāo)運動軌跡的X軸、Y軸分量曲線來對徘徊行為進行識別。實驗表明，該方法能夠?qū)追N典型的徘徊行為進行實時、精確判斷，同時可以檢測出其他復(fù)雜的徘徊行為，有較好的實時性和準(zhǔn)確率。

背景建模；Mean-shift；徘徊檢測；運動軌跡

隨著科學(xué)技術(shù)的快速發(fā)展，智能視頻監(jiān)控中的視頻分析技術(shù)以其無需人為干預(yù)的情況下能夠自動對監(jiān)控場景的視頻序列進行實時分析、定位、跟蹤和識別目標(biāo)等優(yōu)勢，引起了人們越來越多的關(guān)注，并成為智能視覺系統(tǒng)中的一個研究熱點。徘徊行為檢測視頻監(jiān)控的一項重要內(nèi)容，它反映行人目標(biāo)彷徨、矛盾的心理過程，是一種常見的視頻分析技術(shù)[1-2]。徘徊行為表現(xiàn)為目標(biāo)在某區(qū)域內(nèi)反復(fù)的往返或無規(guī)則的運動，是種復(fù)雜的行為模式[3]。傳統(tǒng)的徘徊檢測方法利用目標(biāo)在警戒區(qū)域內(nèi)的逗留時間、運動軌跡等特點來對其進行判定。文獻[4]中提出一種基于目標(biāo)在監(jiān)控區(qū)內(nèi)總移動距離和滯留時間的徘徊檢測方法，目標(biāo)移動的距離和滯留時間之和超過預(yù)設(shè)值即被判為發(fā)生徘徊行為，該方法對于殘疾人和老人等行動緩慢的人群會出現(xiàn)誤檢。文獻[5]中采用運動目標(biāo)軌跡各點的斜率對徘徊行為進行檢測，通過將坐標(biāo)點的斜率轉(zhuǎn)化為角度值，根據(jù)夾角的增減次數(shù)和閾值的比較來判定徘徊行為，該方法僅對水平拍攝的場景適用。文獻[6]中使用目標(biāo)在警戒區(qū)域內(nèi)運動軌跡的轉(zhuǎn)角差、距離和時間來綜合判斷徘徊行為，但該方法易因目標(biāo)進入?yún)^(qū)域后長時間靜止而造成漏檢。鑒于上述方法的不足，本文提出了一種基于目標(biāo)運動軌跡分量的徘徊行為檢測算法。該方法根據(jù)目標(biāo)軌跡的坐標(biāo)軸分量曲線是否發(fā)生異常來判斷徘徊行為，適用于多種角度拍攝場景，且具有較好的準(zhǔn)確性和實時性。

1 初始背景建模

目前主要的建模方法有碼本法、高斯法、中值法和均值法等。碼本法[7]采用量化的方法針對每一幀圖像構(gòu)建一個碼本模型，能夠建立可靠的背景模型，但其時間復(fù)雜度高，無法滿足實時處理的要求。核密度估計無參背景建模方法[8]在樣本充分時能夠很好地適應(yīng)場景變化，可處理多模態(tài)情況，但計算比較復(fù)雜，占用內(nèi)存多；混合高斯模型方法[9]通過為圖像中的每個像素點建立多個高斯模型來建立背景圖像，該方法對環(huán)境的自適應(yīng)能力較強，但算法時間復(fù)雜度高，模型參數(shù)的選取對其檢測效果影響較大，提取的背影會有“鬼影”或“拖影”現(xiàn)象，導(dǎo)致檢測目標(biāo)不準(zhǔn)確。本文針對以上方法的不足采用一種基于幀差法的二值化背景模板建模算法，通過對場景圖像序列進行訓(xùn)練來提取背景特征，并利用背景特征建立模型表示初始背景。其具體步驟如下：

1)初始化二值化背景模版M、計數(shù)器T和背景圖像S的灰度值；

3)若Dn-k(x,y)中相應(yīng)像素點的灰度值H(x,y)

4)對二值化背景模版M進行遍歷，用計數(shù)器T來記錄背景模版M中狀態(tài)為0的像素點的數(shù)量；

5)當(dāng)計數(shù)器T

圖1顯示了背景模板法建立起始背景圖像的過程。該算法可以在復(fù)雜場景下快速有效地建立背景，對比高斯法、碼本法和中值法具有明顯的優(yōu)勢。由于本文主要針對智能視頻監(jiān)控中運動人體的徘徊行為進行研究，監(jiān)控場景中人體的運動速度相對比較緩慢，反映到時間差較小的相鄰兩幀圖像中時，運動目標(biāo)會出現(xiàn)較大部分的重合，影響初始化背景模型的建立。因此，根據(jù)監(jiān)控場景內(nèi)的實際情況，在步驟2)中選用間隔為50幀的幀差法，灰度閾值th0為5。有效抑制了噪聲等因素的干擾，彌補了中值濾波和高斯法建模的不足。

圖1 背景建模過程

2 目標(biāo)檢測和跟蹤

運動目標(biāo)檢測處于整個智能視頻監(jiān)控系統(tǒng)的底層，是實現(xiàn)徘徊行為智能化分析的前提。它是指通過利用圖像處理技術(shù)將感興趣的前景目標(biāo)區(qū)域從所拍攝的視頻場景圖像中分離出來，該階段檢測效果的好壞直接影響后續(xù)徘徊行為的識別。前景目標(biāo)的提取通常易受光照、相機抖動等外界環(huán)境因素影響，易造成“誤檢”和“漏檢”的現(xiàn)象，因此采用一種可靠有效的目標(biāo)檢測算法十分重要。本文通過對傳統(tǒng)的背景差分法和幀間差分法[10]進行實驗分析，采用一種改進的結(jié)合背景差分和三幀差分的檢測算法對運動區(qū)域進行提取，并將提取的運動區(qū)域結(jié)果進行二值化處理得到運動前景輪廓，最后采用Mean-shift算法實現(xiàn)運動目標(biāo)的跟蹤。

2.1 運動目標(biāo)的檢測

針對運動目標(biāo)檢測中單一使用背景減差法或幀間差分法的不足，本文采用三幀差法和背景減差法相結(jié)合的檢測方法。具體的算法思想：首先，從視頻圖像序列中獲取連續(xù)3幀圖像，對其做3幀差分運算得到待檢前景目標(biāo)圖像，同時，取上述連續(xù)3幀圖像的中間幀與背景圖像做差分得到背景差分圖像，最后，將待檢前景目標(biāo)圖像與背景差分圖像做邏輯運算提取出前景目標(biāo)。該運動目標(biāo)檢測算法的步驟如下：

1)取當(dāng)前幀圖像Ii(x,y)和背景圖像S(x,y)做差分運算，并對獲取背景差分圖像做閾值化處理(th2為設(shè)定閾值)，得到二值化圖像Di(x,y)，從而提取出待檢測的前景目標(biāo)像素點，如式(1)所示

(1)

2)在視頻序列中取連續(xù)的3幀圖像Ii-1(x,y)，Ii(x,y)，Ii+1(x,y)，對相鄰幀做兩兩差分運算，將得到的兩幅差分圖像G1(x,y)和G2(x,y)進行閾值化后做適當(dāng)?shù)男螒B(tài)學(xué)處理，通過對處理后的兩差分圖像做“與”運算，得到三幀差分結(jié)果圖像G(x,y)，如式(2)～式(4)所示

(2)

(3)

(4)

3)將三幀差分結(jié)果圖像G(x,y)與背景差分圖像Di(x,y)做邏輯“或”運算，得到目標(biāo)圖像Wi(x,y)，進而提取出前景目標(biāo)，如式(5)所示

(5)

圖2顯示了三幀差分法與背景減差法相結(jié)合的方法對場景內(nèi)運動目標(biāo)進行檢測的過程。從圖中可以看出該算法能夠獲得較好的檢測效果，不但克服了單獨使用背景減除法對光線變化自適應(yīng)能力差的問題，還彌補了幀間差分法容易造成前景目標(biāo)空洞的缺陷，加之采用多幀的聯(lián)合判斷有效地抑制了噪聲、抖動等外界因素帶來的影響，進一步提升了場景中運動目標(biāo)檢測的有效性。

圖2 目標(biāo)檢測效果圖

2.2 運動目標(biāo)的跟蹤

運動目標(biāo)跟蹤是指利用相鄰幀間目標(biāo)的特征匹配來確定其在當(dāng)前幀中的位置，即在視頻序列的不同幀中搜索同一目標(biāo)位置的過程。本文在搜尋最佳匹配目標(biāo)特征時采用 Mean-shift算法。對于n維歐式空間X中的有限集合A，在x∈X處的Mean-shift表達式如式(6)

(6)

對于給定一個初始點x，核函數(shù)G(xi)，權(quán)重函數(shù)w(xi)，容許誤差δ，式(6)中第一項記為mh,G(x)，則其可表示為式(7)的形式

(7)

3 徘徊行為分析

3.1 徘徊行為的定義和判定

徘徊行為是運動人體在一個地方停留超過一段時間或者運動軌跡出現(xiàn)異常[12-13]。由于人體的運動行為有隨機性，想要準(zhǔn)確判定徘徊行為是一個相當(dāng)復(fù)雜的過程。大多數(shù)研究者根據(jù)運動目標(biāo)在警戒區(qū)域內(nèi)逗留時間、運動軌跡的長度和方向信息進行判定。本文采用軌跡分析法通過運動目標(biāo)在防區(qū)內(nèi)運動軌跡的X軸、Y軸的分量隨時間的變化曲線對徘徊行為進行判定。

3.2 正常行為的軌跡分析

在正常情況下行人的運動軌跡是一條沿主方向斜率變化比較穩(wěn)定的貫穿防區(qū)的一條曲線。根據(jù)曲線的正交分解法可以將運動目標(biāo)在防區(qū)內(nèi)軌跡分解為X軸分量和Y軸分量。

圖3顯示了運動軌跡分量映射到幀數(shù)-分量值坐標(biāo)平面中軌跡曲線的變化。圖3a為行人正常從警戒區(qū)域穿過時，目標(biāo)軌跡在X軸的分量持續(xù)上升，Y軸分量在150～200之間平穩(wěn)變化。圖3c為2個目標(biāo)同時穿越且方向不同的情況，可以看出目標(biāo)1軌跡的X軸分量持續(xù)增加，Y軸分量雖出現(xiàn)一個值跳變，但整體變化不大；目標(biāo)2中X軸分量持續(xù)減少，Y軸分量變化平穩(wěn)，未出現(xiàn)某個坐標(biāo)軸分量類似正弦波振蕩的情況。經(jīng)研究分析發(fā)現(xiàn)目標(biāo)正常穿越時的軌跡分量曲線變化為2條軌跡分量曲線均未出現(xiàn)正弦波式的振蕩波形。

3.3 徘徊行為的軌跡分析

根據(jù)對大量徘徊行為的視頻數(shù)據(jù)進行分析后發(fā)現(xiàn)，當(dāng)運動目標(biāo)發(fā)生徘徊行為時，它的運動軌跡分解后在X軸或Y軸分量曲線上會出現(xiàn)多個波峰和波谷，對應(yīng)的分量軌跡曲線隨著幀數(shù)的增加出現(xiàn)振蕩的現(xiàn)象，同時其在一定區(qū)域內(nèi)的軌跡長度明顯高于正常穿越的情況。

1)徘徊行為軌跡分類

通過對日常徘徊行為的分析，本文將近似橢圓運動軌跡、反復(fù)做往返運動軌跡、無規(guī)則的折線運動軌跡和S形曲線運動軌跡四種典型徘徊行為的運動軌跡，采用正交分解法分解并映射到分量值與幀數(shù)組成的平面坐標(biāo)系中，通過對徘徊行為軌跡曲線的分析，可將徘徊行為歸為單坐標(biāo)軸軌跡分量曲線異常和雙坐標(biāo)軸軌跡分量曲線異常兩類。

(1)單坐標(biāo)軸軌跡分量曲線異常

當(dāng)目標(biāo)在監(jiān)控區(qū)域內(nèi)出現(xiàn)反復(fù)往返或S型運動時，將其軌跡進行分解并映射到分量值—幀數(shù)坐標(biāo)平面中，其中一條軌跡坐標(biāo)軸分量曲線會出現(xiàn)振蕩，而另一條軌跡坐標(biāo)軸分量曲線會緩慢地增加或減少，此種曲線異常往往發(fā)生在水平拍攝的視頻場景中，在這種拍攝方式下只需通過一條軌跡分量曲線即可判定行人是否存在徘徊行為。

圖3 目標(biāo)正常運動軌跡分量曲線和對應(yīng)實景圖

(2)雙坐標(biāo)軸軌跡分量曲線異常

當(dāng)目標(biāo)在防區(qū)內(nèi)出現(xiàn)近似橢圓或無規(guī)則折線運動時，其運動軌跡被分解并映射到分量值—幀數(shù)坐標(biāo)平面后，2條軌跡分量坐標(biāo)軸曲線均出現(xiàn)振蕩現(xiàn)象，或1個軌跡坐標(biāo)軸分量曲線出現(xiàn)振蕩，1個坐標(biāo)軸軌跡曲線發(fā)生不規(guī)則的變化，且振蕩曲線中存在多個波峰和波谷，同時相鄰波峰和波谷間會出現(xiàn)較大的落差，此類曲線異常通常發(fā)生在垂直或傾斜向下角度拍攝的視頻場景中。

2)徘徊行為的判定

目標(biāo)貫穿整個防區(qū)的運動軌跡滿足在分量坐標(biāo)軸投影平面中2條軌跡分量曲線均未出現(xiàn)正弦波式振蕩。當(dāng)軌跡的分量坐標(biāo)軸曲線出現(xiàn)單曲線或雙曲線異常時，若某條異常曲線中波峰和波谷數(shù)量Tk≥Tr(Tr=3)，則認(rèn)為運動目標(biāo)發(fā)生了徘徊行為。其中波峰和波谷的判定為：波峰和波谷在有限區(qū)間內(nèi)分別對應(yīng)局部曲線的極大值點和極小值點，當(dāng)相鄰波峰與波谷的落差Δh>Th(Th=30)時，則認(rèn)為該波峰或波谷為真正極值點，Tk=Tk+1，否則該波峰或波谷為虛假極值點，Tk不變。

4 實驗結(jié)果和分析

本文采用在校園拍攝視頻自建的實驗數(shù)據(jù)庫和中科院自動化所CASIA行為分析數(shù)據(jù)庫作為測試對象，并從水平和俯視兩種角度進行驗證。

圖4為水平角度拍攝的行人徘徊行為，由于視頻水平拍攝，所以在二維平面運動目標(biāo)的縱坐標(biāo)不會出現(xiàn)較大變化。如圖4a可以看出行人軌跡的Y軸分量曲線變化相對比較平穩(wěn)，X軸分量曲線出現(xiàn)4個波峰和3個波谷，且相鄰波峰與波谷間的落差Δh>Th，屬于單坐標(biāo)軸分量曲線異常。

圖4 水平拍攝下的單目標(biāo)徘徊

圖5為選自中科院自動化所CASIA視頻集的一段俯視拍攝的徘徊行為視頻，俯視拍攝下目標(biāo)運動軌跡的X軸、Y軸分量曲線在平面坐標(biāo)系中都可能出現(xiàn)大幅度變化(如振蕩)。如圖5a所示，運動目標(biāo)的X軸分量曲線中出現(xiàn)3個波峰和3個波谷，同時Y軸也出現(xiàn)了大幅度的增減情況，屬于雙坐標(biāo)軸分量曲線異常。

圖5 俯視拍攝下的單目標(biāo)徘徊

圖6為監(jiān)控場景內(nèi)同時存在正常穿越和徘徊行為的情況。圖6a、圖6b、圖6c分別顯示了目標(biāo)在監(jiān)控區(qū)域內(nèi)的運動情況以及發(fā)生徘徊行為后目標(biāo)的變化。從圖6d中的目標(biāo)軌跡分量曲線可以看出，2個目標(biāo)Y軸軌跡分量曲線變化平穩(wěn)(由于采用水平拍攝方式，Y軸軌跡分量曲線不會出現(xiàn)大幅度波動)，目標(biāo)1軌跡的X軸分量曲線雖然存在振蕩現(xiàn)象，但波峰和波谷數(shù)(Tk=2)

圖6 多目標(biāo)場景的徘徊行為

表1為在校園內(nèi)采用水平和俯視兩種視角拍攝的各40組徘徊行為視頻的檢測結(jié)果，從表中可以看出文中所提算法可以有效地檢測出場景內(nèi)的徘徊行為。目標(biāo)在三維空間內(nèi)的運動投影到二維平面內(nèi)，主要通過水平和垂直兩個方向上的幅值變化來反映。對比兩種視角的拍攝方式，傾斜視角拍攝更易檢測出徘徊行為，水平視角受目標(biāo)距離遠(yuǎn)近的影響較大，且目標(biāo)在相對相機垂直方向上產(chǎn)生的位移變化反映到二維平面內(nèi)變化不明顯，易造成漏檢。

表1 徘徊行為檢測結(jié)果

視頻數(shù)量拍攝視角正確檢出誤檢漏檢檢出率/%40水平36149040傾斜381295

5 結(jié)論

本文創(chuàng)新點在于針對傳統(tǒng)的視頻監(jiān)控運動目標(biāo)的徘徊檢測算法的不足，提出了一種基于運動目標(biāo)軌跡分量曲線的徘徊行為檢測算法。同時在目標(biāo)檢測部分采用了改進的融合三幀差法和背景差分法的算法來提取前景目標(biāo)，克服了光照變化對背景減除法的影響，消除幀間差分法帶來的“雙影”和“空洞”。在徘徊行為判定中根據(jù)相機拍攝角度的不同，通過對目標(biāo)軌跡分量曲線的分析分別提出相應(yīng)的徘徊行為判定方法。實驗證明，該方法能夠?qū)崟r、準(zhǔn)確的識別出徘徊行為，在一定程度上提高了徘徊行為檢測的準(zhǔn)確率和效率，更好地滿足了目標(biāo)徘徊行為在智能視頻監(jiān)控領(lǐng)域研究的應(yīng)用。

[1] SHIANG H P，SCHAAR M. Information constrained resource allocation in multicamera wireless surveillance networks[J].IEEE Trans. Circuits and Systems for Video Technology，2010，20(4)：505-517.

[2] WU D，CI S，LUO H，et al. Video surveillance over wireless sensor and actuator networks using active cameras[J].IEEE Trans. Automatic Control，2011，56(10)：2467-2472.

[3] CALDERARA S，PRATI A，CUCCHIARA R. Mixtures of von mises distributions for people trajectory shape analysis[J].IEEE Trans. Circuits and Systems for Video Technology，2011，21(4)：457-471.

[4] 張起貴. 基于視頻序列的徘徊檢測跟蹤算法的研究與實現(xiàn)[D].太原：太原理工大學(xué)，2011.

[5] 孫紅星，王嘉藝，劉大鵬. 基于運動軌跡的徘徊檢測[J].遼寧科技大學(xué)學(xué)報，2014，37(4)：387-392.

[6] 董坤. 視頻監(jiān)控中運動人體檢測與異常行為分析研究[D].南京：南京郵電大學(xué)，2013.

[7] ZHANG Jun，DAI Kexue，LI Guohui. HSV color-space and code-book model based moving objects detection[J].Systems Engineering and Electronics，2008，30(3)：423-427.

[8] 張志付. 基于背景減除法的運動檢測算法研究[D].上海：上海交通大學(xué)，2008.

[9] LEE D S，HULL J，EROL B. A Bayesian framework for Gaussian mixture background modeling[C]//Proc. IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2003：973-976.

[10] BARNICH O，DRIIGENBROECK M. ViBe：A universal background subtraction algorithm for video sequence[J].IEEE Trans. Image Processing，2011，20(6)：1709-1724.

[11] CHEN Kun，F(xiàn)U Songyin，SONG Kangkang，et al. A Mean-shift based imbedded computer vision system design for real time target tracking[C]//Proc. 7th International Conference on Computer Science Education.[S.l.]：IEEE Press，2012：1298-1303.

[12] BIRD N D，MASOUD O，PAPANIKOLOPOULOS N P，et al. Detection of loitering individuals in public transportation areas[J].IEEE Trans. Intelligent Transportation Systems，2005，6(2)：167-177.

[13] ELHAMOD M，LEVINE M D. Automated real-time detection of potentially suspicious behavior in public transport areas[J].IEEE Trans.Intelligent Transportation Systems，2013，14(2)：688-699.

蘋果推出全新Apple TV 配觸屏遙控支持Siri助手

9月10日，蘋果召開2015年度新品發(fā)布會，正式發(fā)布全新Apple TV，擁有兩個版本，32 Gbyte版本售價149美元，64 Gbyte售價199美元。

新版Apple TV外觀和前序產(chǎn)品保持一致，支持Siri語音操控，且Siri可以跨iTunes，Hulu，Netflix等應(yīng)用進行內(nèi)容搜索，同時還可以通過隨機附帶的觸控版遙控器進行操控。這個遙控器在體驗上較之前有了很大的提升，除了語音功能以外，更多操作只要用手機在觸摸板上滑動即可，現(xiàn)場體驗相當(dāng)流暢。

另外，Apple TV還適配了基于iOS定制的客廳操作系統(tǒng)tvOS和UI界面，主打卡片式圖標(biāo)，白色背景正式取代原有的黑色背景，風(fēng)格更加清新簡約。配置方面，新Apple TV搭載64位A8芯片，支持藍牙4.0、IEEE 802.11ac WiFi MIMO、紅外接收器，后置電源接口、HDMI接口和以太網(wǎng)口。遙控器支持藍牙4.0，配備音量控制鍵、內(nèi)置加速器和陀螺儀，單次充電續(xù)航時間可以達到3個月。

據(jù)了解，新Apple TV將于10月份在全球80個國家開售，年底將覆蓋至100個國家。

Wandering Behavior Detection Based on Pedestrian Trajectory Component

ZHAO Weifeng, HUANG Yun

(AssetManagementDepartment,ChongqingUniversityofPostsandTelecommunications,Chongqing400065,China)

Traditional target hovering detection methods have many limits and shortages in real-time and accuracy. In this paper, a hovering detection algorithm based on the curve of pedestrian target trajectory component is proposed. Firstly, the initial background is established with background subtraction template modeling method. Secondly, the moving targets are detected by the improved combined with background difference of three frame difference, then according to Mean-shift algorithm for tracking of moving targets. Finally, the moving objects trajectories orthogonal decomposition, according to the trajectory of the X, Y axis component curve to identify the wander behavior. The experiment results show that this method can judge several typical hovering behavior accurately and in real-time, also can detect other complex wandering behavior, and it has better real-time performance and veracity.

background modeling; Mean-shift; hovering detection; motion trajectory

重慶市自然科學(xué)基金項目(cstc2012jjA40008)

TN911.73; TP391.41

A

10.16280/j.videoe.2015.19.024

趙衛(wèi)峰(1982— )，工程師，主要研究方向為計算機視覺、目標(biāo)異常行為分析；

2015-02-08

【本文獻信息】趙衛(wèi)峰，黃沄.基于運動軌跡分量的行人徘徊行為檢測研究[J].電視技術(shù),2015，39(19).

黃 沄(1981— )，工程師，主要研究方向為計算機視覺、運動檢測與目標(biāo)跟蹤。

責(zé)任編輯：任健男