王家鵬 張著洪
摘 要:針對智能監(jiān)控中行人異常行為檢測難的問題,研究反映行人的局部、全局特征的特征信息和探討異常行為檢測的方法。首先,通過設(shè)計和利用輪廓特征、局部檢測頻率、運(yùn)動速度特征量與輪廓變化曲線模型,獲得行為檢測的特征模型,進(jìn)而借助特征信息融合和利用模板庫獲得異常行為檢測算法。比較性的實驗結(jié)果顯示,該算法能有效識別行人的異常行為。
關(guān)鍵詞:行人;行為檢測;特征提??;異常識別;智能監(jiān)控
中圖分類號:TP391.413
文獻(xiàn)標(biāo)識碼: A
隨著公共安全保障措施力度的加大,智能監(jiān)控將成為監(jiān)測區(qū)域安全狀況的重要手段,也將成為計算機(jī)視覺領(lǐng)域的研究熱點。行人異常識別作為智能監(jiān)控的核心內(nèi)容之一,旨在通過視頻序列中人體行為特征識別可疑事件、不規(guī)則與不常見行為
[1-3]?,F(xiàn)有研究集中在探討單一行人或人群的監(jiān)測模型、運(yùn)動軌跡和特征量,并據(jù)此判別行人是否存在異常。已有方法大致包括兩種類型,即模型法[4-7]和特征向量法[8-11]。模型法是一種基于視頻序列中行人的運(yùn)行信息建立數(shù)學(xué)模型來反映行人的行為特性。特征向量法是通過設(shè)計反映行人在行走過程人體動作變化的特征向量,并借此檢測行人的異常狀況。
這兩種類型的異常檢測方法在特定條件下有一定的價值,但它們涉及的人體行為特征信息較少,且極少利用圖像的全局信息、圖像序列之間的相關(guān)性和人體動作的連貫性,導(dǎo)致在復(fù)雜場景下的異常檢測效果不理想。基于此,本文設(shè)計刻畫人體形狀、分類像素子、質(zhì)心位置、體型等變化的特征模型,并結(jié)合Hu矩特征模型建立特征向量模型,進(jìn)而基于此模型設(shè)計分類算法,獲得行人異常檢測算法。
1 特征向量模型
人體行為通常涉及走、跑、跳、蹲下、揮手、邊揮手邊跳、單腳跳、側(cè)走這八種行為,圖1僅給出走、跑、跳、蹲下四種動作行為; 圖中每幅子圖代表相應(yīng)動作視頻序列。本文力求設(shè)計較為準(zhǔn)確刻畫這些行為特征的特征向量模型,其包含Hu矩、輪廓、質(zhì)心、速度、體形這五種類別特征。
由表1可知,走和跳兩種行為對應(yīng)的7 個Hu矩特征量構(gòu)成的向量存在較大差異。但當(dāng)行人的動作行為較相似時,比如跑、跳和單腳跳,對應(yīng)的特征向量較相似,表明單純以Hu矩特征向量識別行人的動作行為會導(dǎo)致不同程度的誤判現(xiàn)象。為此,需引入其它特征量進(jìn)一步刻畫行人動作的細(xì)節(jié)行為。
2)輪廓特征模型
當(dāng)行人的運(yùn)動行為發(fā)生變化時,如從跑動轉(zhuǎn)變?yōu)樾凶?,則人體輪廓將發(fā)生根本性變化,如圖2所示。
輪廓特征是識別人體行為的重要標(biāo)志,可通過輪廓的質(zhì)心到輪廓線上各點的距離刻畫,即
在此,N表示輪廓線上像素點個數(shù),(xi,yi)表示該輪廓線上第i個點的坐標(biāo),(xc,yc)表示輪廓線的質(zhì)心。以上文中8種人體運(yùn)動行為為例,每種情形取4幀非連續(xù)圖,并利用上式計算Sd值,如表2所示。
由表2可知,對于同一種行為的不同視頻幀,如跑、側(cè)走等行為的輪廓特征變化微小,此與相應(yīng)行為相吻合,但對于蹲下、邊揮邊跳等行為,輪廓特征量變化較為明顯。由此可知,輪廓特征量可用于反映人體輪廓變化狀況。
3) 局部檢測頻率模型
形狀和輪廓特征尚未考慮人體的局部特征信息,因而不能刻畫不同行為在輪廓存在相似情形下的差異性,如圖3所示。該圖中行人涉及兩種形狀且輪廓較為相似(跑、單腳跳)。因此,此兩動作的形狀和輪廓特征量偏差較小,但行為差異較大。通過仔細(xì)分析,獲知跑和單腳跳使得人體在最小內(nèi)接矩形中像素點的分布有較大差異,為此,引入概率分布模型呈現(xiàn)行人的體型變化,即假定行人的內(nèi)接矩形P的大小為M×N,將其等分為四等分,得到的區(qū)域為A1,…, A4。用Pi表示第i個區(qū)域內(nèi)像素不為0的像素點數(shù)在矩形P中所占比例, 于是行人的人體局部頻率模型為(P1,…,P4)。
以圖3為例, 人體的局部頻率分布如表3所示。經(jīng)由該表,盡管跑和單腳跳在形狀和輪廓方面存在相似性,但它們產(chǎn)生的局部頻率分布存在明顯差異,因此可用(P1,…,P4)度量人體形態(tài)的局部特征。
4)速度與輪廓變化曲線
行走速度是刻畫行人行走快慢的重要標(biāo)志。當(dāng)行人在某區(qū)域徘徊時,其速度變化較小,反之則偏大。在此,用v表示行人運(yùn)動的速度特征量,
式中,(xc,yc)表示當(dāng)前幀行人輪廓的質(zhì)心坐標(biāo),(xl,yl)表示當(dāng)前幀之前第l幀輪廓的質(zhì)心坐標(biāo),Δt是間隔時間。另外,人體輪廓變化量C可用輪廓的內(nèi)接矩形的高與寬的比值進(jìn)行刻畫,以圖1中各類型行為的視頻序列為例,獲得C的變化曲線,如圖4所示。
由圖4可知,行人行走正常情形下,人體輪廓變化量C呈現(xiàn)周期性的變化,而行走異常時,C的變化不具周期性。圖4(a)、(b)、(f)、(h)表明,盡管相應(yīng)的動作行為使C呈現(xiàn)周期性變化, 但幅值的差異較大, 此與實際情況相吻合。其它情形不使C的變化曲線具有周期性。由此,人體輪廓變化量C可用于檢測行人的異常行為。
綜上,本文在Hu矩特征量基礎(chǔ)上,獲得反映行人行為特征的特征向量模型:
2 行人異常行為檢測算法
行人異常行為檢測算法是依據(jù)以上行人行為特征向量模型、行人運(yùn)動標(biāo)準(zhǔn)圖像庫、歐式距離、閾值判斷進(jìn)行設(shè)計的。在此,需通過圖像預(yù)處理將標(biāo)準(zhǔn)圖像庫中每幅圖包含的目標(biāo)進(jìn)行提取,建立模板庫,并給每種模板賦予正?;虍惓?biāo)簽。異常行為檢測算法描述如下:
該算法與一般基于行人特征的異常行為檢測算法相比,從多個方面考慮異常情形出現(xiàn)的可能性,利用行人運(yùn)動是否具有周期性、速度變化直接進(jìn)行異常判斷。當(dāng)行人的運(yùn)動不具有周期性時,利用行人的運(yùn)動速度、速度增量、特征向量和特征向量庫進(jìn)一步判定是否異常,此有助于提高異常行為檢測的準(zhǔn)確率。
3 實驗與分析
本實驗在配置為CPU / 3.3 GHz、RAM / 2.98GB的WindowXP上Visual C++ 6.0環(huán)境下進(jìn)行。選取Hu矩法[12]、文獻(xiàn)[10]、[11]中算法參與本文算法比較。樣本集為10人完成的90段視頻序列構(gòu)成的標(biāo)準(zhǔn)Weizman公共數(shù)據(jù)庫,其中訓(xùn)練集為此10人中隨機(jī)選取7人完成的9種行為產(chǎn)生的視頻序列集,包括彎腰、邊揮手邊跳、跳、揮手、走、跑、側(cè)走、單腳跳及原地跳,樣本集中其它樣本構(gòu)成測試集。本文設(shè)定走和跑為正常行為,其它情形均為異常行為。實驗結(jié)果如表4所示。
經(jīng)由表4獲知,與其它算法相比,本文算法在行人的行為準(zhǔn)確識別率方面有明顯優(yōu)勢,它獲得正常、異常情形下的準(zhǔn)確識別率依次為91.7%和93.5%,而其它算法的正常、異常識別準(zhǔn)確率均低于90%。Hu矩法雖然能夠刻畫行人的形狀變化,但對于相似行為不能很好分辨,故單純利用Hu矩將導(dǎo)致異常識別效果較差;文獻(xiàn)[10]和[11]將Hu矩和行人紋理、輪廓特征結(jié)合,能夠刻畫人體的變化細(xì)節(jié),獲得的識別效果比Hu矩法的效果要好;本文方法將反映全局、局部特征的多種特征量有效融合,獲得的算法的誤判率較低,此有助于異常行為的檢測。
4 結(jié)論
針對智能監(jiān)控中行人異常識別的準(zhǔn)確率低、魯棒性差的問題,在Hu矩特征模型基礎(chǔ)上,綜合考慮運(yùn)動目標(biāo)的局部和全局信息,設(shè)計輪廓特征、局部檢測頻率、速度與輪廓變化曲線模型,并基于此,獲得行人運(yùn)動異常行為檢測算法。比較性的實驗結(jié)果顯示,本文的方法將多種特征信息融合,可有效進(jìn)行異常行為檢測,而其它參與比較的方法因考慮的特征信息過少,導(dǎo)致異常行為的誤判率過高。
參考文獻(xiàn):
[1]Lavee G, Khan L, Thuraisingham B. A Framework for a Video Analysis Tool for Suspicious Event Detection[J]. Multimedia Tools & Applications, 2007, 35(1):109-123.
[2]Zhang Y, Zhang X J, Liu Z J. Irregularbehavior recognition based on two types of treading tracks under particular scenes [C]//International Conference on Knowledge Science, Engineering and Management. Berlin: Springer-Verlag, 2007:508-513.
[3]Wiliem A, Madasu V, Boles W, et al. Detectinguncommon trajectories [C]//Digital Image Computing: Techniques and Applications. IEEE Computer Society, 2008: 398-404.
[4]Kwak S. Detection of dominant flow and abnormal events in surveillance video [J]. Optical Engineering, 2011, 50(31):27202-27202.
[5]Kim J, Grauman K. Observe locally, infer globally: A space-time MRF for detecting abnormal activities with incremental updates [C]//Computer sion and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009: 2921-2928.
[6]Thida M, Eng H L, Dorothy M, et al. Learning video manifold for segmenting crowd events and abnormality detection [C]//Asian Conference on Computer Vision. Berlin: Springer-Verlag, 2010: 439-449.
[7]Zhou Y, Yan S, Huang T S. Detecting anomaly in videos from trajectory similarity analysis [C]//IEEE International Conference on Multimedia and Expo. IEEE, 2007: 1087-1090.
[8]Chen C, Shao Y, Bi X. Detection ofanomalous crowd behavior based on the acceleration feature [J]. IEEE Sensors Journal, 2015, 15(12): 7252- 7261.
[9]李俊峰, 張飛燕. 基于局部時空特征方向加權(quán)的人體行為識別[J]. 中國圖象圖形學(xué)報, 2015, 20(3):320-331.
[10]王向東, 張麗紅. 基于Hu矩和紋理特征結(jié)合的人體異常行為識別[J]. 計算機(jī)測量與控制, 2017, 25(4):179-181.
[11]趙海勇, 賈保先. 基于輪廓特征的人體行為識別[J]. 計算機(jī)科學(xué), 2013, 40(2):1547-1551.
[12]Hu, M.K. Visualpattern recognition by moment invariants. IRE Transaction of Information Theory IT-8 [J]. Information Theory Ire Transactions on, 1962, 8(2):179-187.
(責(zé)任編輯:曾 晶)