一種基于時(shí)空興趣點(diǎn)和光流法的行人檢測方法

王明輝，余 強(qiáng)

(西華大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院，四川 成都 610039)

行人檢測是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)有趣的研究方向。對于行人檢測，現(xiàn)有的序列圖像運(yùn)動(dòng)檢測方法有3種：背景差分法、光流法和圖像差分法。背景差分法在背景變化不大或者背景簡單的情況下，是一種有效的方法，但是在背景變化大或者背景復(fù)制的情況下，就需要進(jìn)行大量的背景更新，則不是很有效。圖像差分法是直接通過求取前后2幀或者3幀的逐個(gè)像素點(diǎn)的灰度差，進(jìn)而通過閾值提取出目標(biāo)。其缺點(diǎn)是在照明條件變化劇烈的場景下，會(huì)產(chǎn)生誤判，并且由于計(jì)算速度的關(guān)系，可能產(chǎn)生”鬼影”(需要去除)。光流法的原理是通過計(jì)算，形成一個(gè)圖像的速度矢量場，當(dāng)有物體運(yùn)動(dòng)時(shí)，根據(jù)運(yùn)動(dòng)物體形成的速度矢量與周圍的速度矢量的不同，從而識(shí)別出運(yùn)動(dòng)物體。其優(yōu)點(diǎn)是光流不僅僅攜帶了運(yùn)動(dòng)物體的運(yùn)動(dòng)信息，而且還攜帶了有關(guān)物體三維結(jié)構(gòu)的豐富信息，能夠在對場景信息知道較少的情況下，檢測出運(yùn)動(dòng)目標(biāo)；其缺點(diǎn)是要進(jìn)行大量的光流計(jì)算，在具體應(yīng)用中準(zhǔn)確率較差。

為解決經(jīng)典光流法(即先用幀差法)在應(yīng)用中準(zhǔn)確率不高的問題，本文提出一種時(shí)空興趣點(diǎn)的目標(biāo)檢測方法。首先提取圖像序列的時(shí)空興趣點(diǎn)，然后通過時(shí)空興趣點(diǎn)求得到檢測區(qū)域，最后計(jì)算檢測區(qū)域的光流。這不僅簡化了光流的計(jì)算量，而且能提高運(yùn)動(dòng)檢測的準(zhǔn)確率。

1 理論基礎(chǔ)

1.1 幀間差法原理

幀間差法是目前最常用的目標(biāo)檢測方法，通過前后2幀比較，將有差異的點(diǎn)集判定為目標(biāo)。它的基本思想是將當(dāng)前圖像與事先存儲(chǔ)或者實(shí)時(shí)得到的背景圖像相減，差值大于一定閾值的像素點(diǎn)就被認(rèn)為是運(yùn)動(dòng)目標(biāo)上的點(diǎn)，否則被認(rèn)為是背景點(diǎn)。具體的算法如下。

設(shè)Ft(Y,Cr,Cb)表示t時(shí)刻的圖像幀，Bt(Y,Cr,Cb)為已知前1幀的圖像。差分圖像

Dt(Y,Cr,Cb)=Ft(Y,Cr,Cb)-Bt(Y,Cr,Cb)

(1)

設(shè)分割閾值為Th，并對Dt(Y,Cr,Cb)二值化

(2)

由式(2)即可得前景目標(biāo)。這種方法得到的前景對于動(dòng)態(tài)場景的變化，如光照和外來無關(guān)事件的干擾等特別敏感。為此，本文使用時(shí)空興趣點(diǎn)算法。

1.2時(shí)空興趣點(diǎn)原理

時(shí)空興趣點(diǎn)是一種新的運(yùn)動(dòng)表示方法。文獻(xiàn)[1]將Harris角點(diǎn)檢測的思想擴(kuò)展到時(shí)空域，得到一種檢測時(shí)空興趣點(diǎn)的方法，并基于此表示時(shí)空運(yùn)動(dòng)事件。

首先進(jìn)行尺度變換，將視頻變化表示為尺度空間

L(x,y;σ1;τ1)=G(x,y;σ1;τ1)*I

(3)

式中：σ1是空間域的尺度；τ1是時(shí)間域的尺度；G是高斯核函數(shù)，為

(4)

根據(jù)時(shí)空域中的方法，定義時(shí)空角點(diǎn)函數(shù)

(5)

按照泰勒公式展開，可以得到矩陣

(6)

也可以得到Harris角點(diǎn)算子在時(shí)空域的表達(dá)形式，即對M求行列式det(M)和求軌跡ktrace3(M)，有

R=det(M)-ktrace3(M)=λ1λ2λ3-k(λ1+λ2+λ3)

(7)

式中：R為對應(yīng)的局部最大值，即視頻中對應(yīng)的極值點(diǎn)；λ1、λ2、λ3為矩陣的3個(gè)特征值。

1.3 光流法原理

光流是一種有效的運(yùn)動(dòng)表示方式，通常以圖像亮度模式的運(yùn)動(dòng)進(jìn)行定義。下面給出光流場的基本方程及改進(jìn)方法。

設(shè)t時(shí)刻圖像點(diǎn)M(x,y)的灰度值為P(x,y,t)，經(jīng)過Δt后,點(diǎn)運(yùn)動(dòng)到(x+Δx,y+Δy),對應(yīng)的灰度值也變?yōu)镻(x+Δx,y+Δy,t+Δt),設(shè)灰度沒有發(fā)生改變，就有

P(x+Δx,y+Δy,t+Δt)=P(x,y,t)

(8)

將式(8)左邊用泰勒公式展開，經(jīng)過簡化和略去二次項(xiàng)，得到

(9)

在實(shí)際場景中，光流場基本方程的灰度不變假設(shè)往往不能成立，造成的原因可能有遮擋和光線變化等，只有當(dāng)灰度變化較大時(shí)，基本方程才能成立；因此，可以通過一些方法產(chǎn)生較大的灰度差。幀差光流法通過求幀差得到灰度差，而時(shí)空興趣點(diǎn)光流法通過時(shí)空興趣點(diǎn)與非興趣點(diǎn)的比較，得到灰度差。改進(jìn)后的光流場方程為

(10)

當(dāng)然，后來人們在基本光流場方程的基礎(chǔ)上提出了許多計(jì)算方法和約束條件[2-6]，而本文用傳統(tǒng)的微分方法實(shí)現(xiàn)光流計(jì)算。

1.4 時(shí)空興趣點(diǎn)和光流法的檢測

幀間光流法由于采用幀間差分的辦法，對于環(huán)境的依賴性比較大，經(jīng)常因?yàn)榍昂?幀的環(huán)境變化，產(chǎn)生了許多實(shí)際可以不用進(jìn)行光流計(jì)算的點(diǎn)，加大了光流的計(jì)算量，同時(shí)也產(chǎn)生了一些因?yàn)榄h(huán)境變化引起的點(diǎn)，提高了誤檢率；然而本文首先通過時(shí)空興趣點(diǎn)法提取一些點(diǎn)集，而不進(jìn)行整幀運(yùn)算，減少了計(jì)算量，然后通過2個(gè)一維Gabor濾波器，濾掉一些因?yàn)榄h(huán)境變化引起的點(diǎn)，使剩余的點(diǎn)能比較準(zhǔn)確地描述運(yùn)動(dòng)物體，最后再使用光流法進(jìn)行行人檢測，提高了準(zhǔn)確率。

2 本文算法原理及實(shí)現(xiàn)

本文算法的總流程圖如圖1所示。

圖1 本文算法總流程框圖

2.1 提取時(shí)空興趣點(diǎn)

時(shí)空興趣點(diǎn)的檢測，從本質(zhì)上來說就是通過對圖像中每個(gè)像素點(diǎn)或者位置進(jìn)行強(qiáng)度函數(shù)的極大值濾波，得到興趣點(diǎn)，從而用局部信息來表示全局信息。為克服經(jīng)典檢測方法強(qiáng)度函數(shù)在空間域上變化不敏感，檢測速度慢的缺點(diǎn)，本文使用了1對正交的Gabor濾波器對時(shí)間域進(jìn)行濾波，使用高斯濾波器[2]對空間域進(jìn)行濾波。

首先進(jìn)行空間域?yàn)V波，將視頻序列每幀的每個(gè)點(diǎn)使用亮度f(x,y)表示，然后用空間的高斯核函數(shù)g(x,y,σ2)對每個(gè)點(diǎn)進(jìn)行過濾，得到過濾后的圖像亮度函數(shù)L(x,y,σ2)，為

L(x,y,σ2)=g(x,y,σ2)*f(x,y)

其中

(11)

然后對過濾后的圖像采用1對正交Gabor濾波器進(jìn)行時(shí)間域?yàn)V波，即對圖像分別sin濾波和cos濾波后，再求平方和。最后計(jì)算出每個(gè)點(diǎn)的強(qiáng)度，為

R(t,ω,τ)=(I*f*hev)2+(I*f*hod)2

(12)

其中

hev(t,ω,τ)=-cos(2πtω)e-t2/τ2

(13)

hod(t,ω,τ)=-sin(2πtω)e-t2/τ2

(14)

式中：τ表示濾波器的時(shí)域尺度；R表示像素點(diǎn)的強(qiáng)度；參數(shù)ω與Gabor窗口大小有關(guān)。計(jì)算視頻序列f的每點(diǎn)的R值，然后選定窗口大小對R進(jìn)行極大值濾波，就可以得到時(shí)空興趣點(diǎn)的位置。圖2是在ω=0.625、τ2=6.25、δ2= 5、極大值濾波窗口大小為5 的條件下對實(shí)際拍攝場景下的75、550和750幀的興趣點(diǎn)集的檢測結(jié)果和幀差法的檢測效果圖。

視頻序列1 幀差法結(jié)果1 對應(yīng)的興趣點(diǎn)集1

視頻序列2 幀差法結(jié)果2 對應(yīng)的興趣點(diǎn)集2

視頻序列3 幀差法結(jié)果3 對應(yīng)的興趣點(diǎn)集3

圖2 原視頻序列、幀差法結(jié)果和對應(yīng)的興趣點(diǎn)集

2.2 目標(biāo)區(qū)域圖像的分割

運(yùn)動(dòng)目標(biāo)區(qū)域的提取是將興趣點(diǎn)集組成固定大小的模型與預(yù)定的閾值范圍模型進(jìn)行比較，屬于模型像素的像素點(diǎn)即為目標(biāo)圖像。設(shè)Di(x,y)為檢測出的興趣點(diǎn)，pi(Y,Cr,Cb)為輸入興趣點(diǎn)集合組成的模型。按式(15)計(jì)算即可提出運(yùn)動(dòng)目標(biāo)。

(15)

其中，min、max為模型最大、最小的矩形范圍。

本文對2.1節(jié)過濾后的興趣點(diǎn)集合，求最大外接矩形，然后與給定的閾值進(jìn)行比較，得到檢測區(qū)域[7]。圖3是視頻序列的第75幀、第550幀和第750幀的檢測區(qū)域圖。

視頻序列1 對應(yīng)的區(qū)域1

視頻序列2 對應(yīng)的區(qū)域2

視頻序列3 對應(yīng)的區(qū)域3

3 實(shí)驗(yàn)結(jié)果與分析

為檢驗(yàn)測試方法的效果，本文實(shí)際拍攝了一段宿舍門口行人進(jìn)出的視頻并利用本文描述的方法對給定感興趣區(qū)域內(nèi)經(jīng)過的行人進(jìn)行實(shí)時(shí)統(tǒng)計(jì)。實(shí)驗(yàn)中，實(shí)際進(jìn)入人數(shù)為30，出去人數(shù)為27。視頻中每幀的圖像大小為720×576。實(shí)驗(yàn)平臺(tái)為Visual C++2008和Opencv2.0。圖4為最終的檢測結(jié)果。

圖4 幀差光流和本文算法對應(yīng)實(shí)驗(yàn)結(jié)果

為定量比較2種算法的性能差異，使用綜合評(píng)價(jià)指標(biāo)F測度衡量算法的檢測性能。計(jì)算公式為

(16)

式中：IN表示在實(shí)驗(yàn)中實(shí)際檢測到的進(jìn)入行人個(gè)數(shù)；IN1表示在實(shí)驗(yàn)中正確的進(jìn)入行人個(gè)數(shù)；OUT表示在實(shí)驗(yàn)中實(shí)際檢測到的出去行人個(gè)數(shù)；OUT1表示在實(shí)驗(yàn)中正確的出去行人個(gè)數(shù)。表1給出了2種算法的準(zhǔn)確率。由表可知：光線的變化和樹木的稍微搖動(dòng)，對檢測的準(zhǔn)確度有一定的影響；本文算法的檢測準(zhǔn)確率比傳統(tǒng)幀差法的檢測準(zhǔn)確率高。

表1 2種算法的準(zhǔn)確率比較

影響本文方法準(zhǔn)確率的分析如下：發(fā)生多檢的原因是由于在計(jì)算區(qū)域內(nèi)，對于區(qū)域內(nèi)的統(tǒng)計(jì)，是間隔25幀進(jìn)行統(tǒng)計(jì)的，這就意味當(dāng)有人在這25幀時(shí)間內(nèi)長期呆在給定區(qū)域中，就會(huì)誤判為多個(gè)人；出現(xiàn)少檢的原因在于視頻中個(gè)別人的移動(dòng)，滿足了區(qū)域分割假設(shè)，如2個(gè)人光流方向和大小基本相近，認(rèn)為是1個(gè)人。

4 結(jié)束語

本文提出了一種基于光流法的行人檢測方法。該方法繼承了光流法的特點(diǎn)，同時(shí)采用時(shí)空興趣點(diǎn)減少了需要計(jì)算光流的點(diǎn)，提高了檢測準(zhǔn)確率。本方法可以移植到DSP中，用來提高實(shí)時(shí)性，對于較為復(fù)雜的場景下具有不錯(cuò)的魯棒性；但本方法仍存在一些不足，如對于行人跟蹤和統(tǒng)計(jì)方法上較為簡單，影響了準(zhǔn)確性。在實(shí)時(shí)性要求不是很高的時(shí)候，可以考慮用時(shí)空興趣點(diǎn)加上HOG特征進(jìn)行跟蹤，這樣準(zhǔn)確性上可能要高些。對于采取更好的跟蹤方法來提高檢測的準(zhǔn)確率和將算法應(yīng)用于實(shí)際的硬件中是下一步工作的任務(wù)。

[1]Laptev I. On Space-Time Interest Point[J]. International Journal of Computer Vision,2005,64(2/3):107-123.

[2] Dollar P, Rabaud V, Cottrell G, et al.Behavior Recognition Via Sparse Spatio-Temporal Features[C]//Visual Surveillance and Performance Evaluation of Tracking and Surveillange,2nd Joint IEEE International Workshop.[S.l.]:IEEE Press，2005:65-72.

[3] 戴斌，方宇強(qiáng)，孫振平，等.基于光流技術(shù)的運(yùn)動(dòng)目標(biāo)檢測和跟蹤方法研究[J].科技導(dǎo)報(bào)，2009,27(12)：55-61.

[4] 田崢,徐威,楊志邦，等.智能監(jiān)控系統(tǒng)中的運(yùn)動(dòng)目標(biāo)檢測算法[J].計(jì)算機(jī)工程,2011,37(4):1-3.

[5] Song Xuehua,Chen Jingzhu. A Robust Moving Objects Detects Detection Based on Improved Gaussian Mixture Model[C]//Proceedings of International Conference on Artificial Intelligence.[S.l.]:IEEE Press,2010：568-572..

[6] Guo Zhang,Yang Li. A New Approach toward Object-based Change Detection[J].Science China Technological Sciences，2010,53:105-110.

[7] Rodriguez M D, Ahmed J, Shah M.Action Mach: A Spatio-temporal Maximum Average Correlation Height Filter for Action Recognition[C] //Proceedings of CVPR .[S.l.]:[s.n.] ,2008 :1-8.