基于行為減法的視頻異常檢測(cè)研究

袁麗雁

（南京郵電大學(xué) 自動(dòng)化學(xué)院 江蘇南京）

0 引言

當(dāng)今社會(huì)，視頻攝像網(wǎng)絡(luò)無處不在。攝像視頻能提供良好的時(shí)空分辨率、長(zhǎng)捕捉范圍、寬視場(chǎng)、低延遲。因此，大規(guī)模的攝像網(wǎng)絡(luò)可以提供普遍、寬領(lǐng)域的檢測(cè)。目前，面對(duì)海量的視頻監(jiān)控?cái)?shù)據(jù)，智能地處理視頻序列是非常必要的。例如在視頻監(jiān)控、安全防護(hù)領(lǐng)域，銀行、商店、停車場(chǎng)等處廣泛應(yīng)用的攝像機(jī)，通常只是在異常情況發(fā)生后，通過視頻回放查找可疑人員，無法實(shí)時(shí)報(bào)警。若能對(duì)視頻中人體行為自動(dòng)進(jìn)行識(shí)別，則可以在事件發(fā)生時(shí)就給出提示，避免損失產(chǎn)生。

如圖1所示[1]，傳統(tǒng)的異常檢測(cè)研究的算法，需要先進(jìn)行目標(biāo)提取、目標(biāo)跟蹤等，然后在檢測(cè)階段，通過行為建模和異常檢測(cè)，那些不符合已建模型的事件即被認(rèn)為是異常的。該類方法的不足之處是當(dāng)背景環(huán)境條件很復(fù)雜時(shí)，目標(biāo)提取和跟蹤變得異常困難，且要對(duì)每個(gè)物體進(jìn)行跟蹤，相應(yīng)的計(jì)算機(jī)內(nèi)存量也大。因此，本文的方法就先進(jìn)行行為建模和異常檢測(cè)，在后續(xù)處理階段，需要的話，再進(jìn)行目標(biāo)識(shí)別和跟蹤等。這樣一來，不但減少了所需要的計(jì)算機(jī)內(nèi)存量，對(duì)目標(biāo)的識(shí)別和跟蹤的準(zhǔn)確性也增大了。

圖1 異常檢測(cè)傳統(tǒng)方法與改進(jìn)方法比較

所列，一些方法采用了該種新的思路形式[2-3]。 但是這些方法都將每個(gè)像素點(diǎn)作為獨(dú)立的單位進(jìn)行處理，忽視了各像素點(diǎn)之間的時(shí)空相關(guān)性。而這些時(shí)空相關(guān)性在消除檢測(cè)誤差、提高檢測(cè)精確度方面有著相當(dāng)重要的作用。本文提出的方法，就很好地利用了視頻幀中各像素點(diǎn)的時(shí)空相關(guān)性。取定每個(gè)像素點(diǎn)的時(shí)空共生矩陣，經(jīng)選取的函數(shù)計(jì)算該矩陣中像素的共生值。通過與初始化階段獲取的每一個(gè)像素點(diǎn)的閾值進(jìn)行比較，判斷該點(diǎn)是否為異常。雖然該方法思路簡(jiǎn)單，但是其實(shí)驗(yàn)性能表現(xiàn)良好。

1 動(dòng)態(tài)檢測(cè)

我們采用的動(dòng)態(tài)檢測(cè)的方法是建立在灰度值視頻幀序列基礎(chǔ)上的，當(dāng)為彩色視頻時(shí)，在程序中首先將它轉(zhuǎn)換為黑白圖像。令為視頻序列當(dāng)中的一幀，每一幀的大小為k代表離散時(shí)間，。對(duì)于異常檢測(cè)，需要進(jìn)行的第一步便是視頻動(dòng)態(tài)特征提取。許多方法可以用來提取視頻動(dòng)態(tài)特征[4-5]，本文中采取的方法是簡(jiǎn)單的背景減除法。該方法當(dāng)背景變換不頻繁，前景不復(fù)雜時(shí)效果良好。當(dāng)然，也可以采用文獻(xiàn)[4-5]中的動(dòng)態(tài)特征提取的方法，但是這些方法都增加了計(jì)算復(fù)雜度。

背景減除法將視頻中的當(dāng)前圖像與背景圖像相減。背景圖像的獲取方式有許多種，我們采用直方圖統(tǒng)計(jì)方法直接從檢測(cè)視頻中提取背景圖片。圖2(b)所示，就是高速公路監(jiān)視視頻上運(yùn)用直方圖統(tǒng)計(jì)方法獲得的背景圖片。

圖2 基于直方圖統(tǒng)計(jì)法提取的背景

當(dāng)然，為消除不同時(shí)間段光線強(qiáng)度對(duì)背景的影響，可以采取以下方法簡(jiǎn)單地進(jìn)行背景更新：

通常，ρ的取值范圍在 0.001～0.01 之間。

經(jīng)過二值化操作后，動(dòng)態(tài)特征提取結(jié)果是對(duì)應(yīng)每一幀，產(chǎn)生了動(dòng)態(tài)標(biāo)簽，1代表該像素點(diǎn)是前景，0代表該像素點(diǎn)是背景,如圖2(c)所示。相較于靜態(tài)事件，異常事件的發(fā)生往往是動(dòng)態(tài)的，因此，我們往往忽略靜態(tài)像素點(diǎn)，而更加關(guān)注于動(dòng)態(tài)像素點(diǎn)，后續(xù)的動(dòng)態(tài)監(jiān)測(cè)正是建立在該動(dòng)態(tài)標(biāo)簽基礎(chǔ)上的。

2 異常檢測(cè)

異常檢測(cè)方法先用訓(xùn)練視頻建立正常事件模型[6]，訓(xùn)練視頻被認(rèn)為不包含異常事件，然后在檢測(cè)階段建立檢測(cè)視頻的事件模型，計(jì)算這些模型與正常事件模型的偏差值，當(dāng)偏差值的絕對(duì)值大于閾值時(shí)，即認(rèn)為該事件是異常的。正常事件建模時(shí)所采用的特征值，既可以有物體位置、速度等獨(dú)立特征，又可以有與其他物體的相對(duì)位置、與背景環(huán)境的相互關(guān)系等。基于這種分類方法，視頻異常事件的檢測(cè)方法就可以分為3個(gè)等級(jí)了[7]：點(diǎn)異常檢測(cè)，序列異常檢測(cè)，共生異常檢測(cè)。我們提出的方法就是建在第3種分類方法上的。

2.1 共生模型

設(shè)想如下情景：在高速公路上有一輛汽車在行駛，當(dāng)汽車在地點(diǎn)A出現(xiàn)之后，過了一段時(shí)間，該汽車也一定會(huì)在B地點(diǎn)出現(xiàn)。這時(shí)，可以說，A、B兩處發(fā)生的事件是相關(guān)的，只是經(jīng)過了一段時(shí)間的延遲。通過觀察現(xiàn)實(shí)世界，不難發(fā)現(xiàn)，物理世界中發(fā)生的事件在一定程度上都是彼此相關(guān)的[8]，這就啟發(fā)我們?cè)谶M(jìn)行視頻異常事件檢測(cè)時(shí)提供了一個(gè)很好的設(shè)計(jì)思路。

如圖3所示，我們規(guī)定時(shí)刻t的幀中像素點(diǎn)的時(shí)空關(guān)系模型是以s＝ (→,t)為矩形底面中心點(diǎn)的Ms，該模型中Q＜Q0，R＜R0，T＜＜T0，T0代表的是視頻長(zhǎng)度。假設(shè)有個(gè)像素點(diǎn)，τ(t-T,t)，要是r和s兩者都是活躍的，即運(yùn)動(dòng)標(biāo)簽Xs=1并且Xr=1，我們就說這兩個(gè)像素點(diǎn)是共生的。這樣一來，對(duì)于Ms中的每一個(gè)像素點(diǎn)r≠s，都可以判定該像素點(diǎn)與s是不是共生的。

圖3 三維像素點(diǎn)時(shí)空模型

2.2 事件模型

共生模型是基于兩個(gè)像素點(diǎn)的，我們的事件模型就是建立在該共生模型上的。事件模型：我們感興趣的是為每個(gè)像素點(diǎn)建立正常事件概率模型PN(Os) ：

N代表Ms中像素點(diǎn)的個(gè)數(shù)，這樣就能保證我們的事件概率PN(Os)取值范圍在[0, 1]之間。參數(shù)αrs代表系數(shù)，可以簡(jiǎn)單地令它為常數(shù)，也可以是s點(diǎn)和r點(diǎn)之間的歐式距離，或是其他形式。采用何種方式對(duì)于我們的事件模型來說并無不同，只是提高了事件異常檢測(cè)的性能。δ(Xr,Xs)當(dāng)且僅當(dāng)Xs=1，Xr=1。分析該模型，可以得出當(dāng)Xs=0，PN(Os)，這樣就簡(jiǎn)化了我們建立的事件模型，當(dāng)視頻幀中存在大量靜態(tài)像素點(diǎn)時(shí)，可以大大加快運(yùn)算速度。

2.3 閾值比較

我們的閾值建立在正常事件概率模型基礎(chǔ)上，每個(gè)像素點(diǎn)的閾值并不是常量，而是可以根據(jù)具體的檢測(cè)環(huán)境的不同而自動(dòng)改變。簡(jiǎn)單的說，就是在系統(tǒng)訓(xùn)練階段，利用被認(rèn)為是不包含任何異常事件的訓(xùn)練視頻，計(jì)算各像素點(diǎn)閾值：

T1是訓(xùn)練視頻長(zhǎng)度。

確認(rèn)了閾值之后，在檢測(cè)階段，若：

則我們認(rèn)為該點(diǎn)異常，動(dòng)態(tài)標(biāo)簽保持不變，否則令動(dòng)態(tài)標(biāo)簽Xs=0。

3 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)仿真環(huán)節(jié)，選定T為10個(gè)視頻幀長(zhǎng)度，R,Q為30個(gè)像素點(diǎn)。采用Forward-backward MHI[9]方法，對(duì)檢測(cè)到的異常物體進(jìn)行簡(jiǎn)單定位與確認(rèn)。介于檢測(cè)視頻只包含車輛，預(yù)先可以知道車輛大小的平均體積，所以當(dāng)異常團(tuán)塊體積大小不足平均體積一半時(shí)，則認(rèn)為該異常不成立。實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 異常檢測(cè)和結(jié)果確認(rèn)

比較圖3(b)和圖3(c)可以發(fā)現(xiàn)。對(duì)應(yīng)于3(c)中右上角處異常檢測(cè)階段產(chǎn)生的噪聲，通過物體定位，應(yīng)用簡(jiǎn)單的原理，即可以進(jìn)行很好的確認(rèn)，排除干擾。

4 結(jié)論

提出了一種直接在像素點(diǎn)級(jí)別上進(jìn)行視頻異常檢測(cè)的無監(jiān)督機(jī)器學(xué)習(xí)方法。與傳統(tǒng)的視頻異常檢測(cè)方法相比，該方法不需要先對(duì)目標(biāo)進(jìn)行標(biāo)簽、識(shí)別、歸類和跟蹤，因此，需要的計(jì)算量和內(nèi)存消耗較少，實(shí)時(shí)性良好。該算法充分考慮到了物理世界中事件發(fā)生的時(shí)空相關(guān)性，不是針對(duì)某一種場(chǎng)景，而是可以根據(jù)訓(xùn)練階段的不同視頻，應(yīng)用到不同的環(huán)境和異常事件檢測(cè)當(dāng)中。

在以后的研究工作中，我們可以在物體定位的基礎(chǔ)上，只對(duì)有異常行為的物體進(jìn)行跟蹤分析?，F(xiàn)階段，采用的視頻是單攝像頭視頻，下一階段，對(duì)多攝像頭視頻的研究也是一個(gè)重點(diǎn)方向。

參考文獻(xiàn)

[1]Venkatesh Saligrama,Janusz Konrad,Pierre-Marc Jodoin.Video Anomaly Identification-A statistical approach[J].IEEE Signal Processing magzine, SEP.2010.

[2]A. Adam, E. Rivlin, I. Shimshoni,D. Reinitz.Robust realtimeunusual event detection using multiple fixed-location monitors[J].IEEE PAMI,2008,30(3):555-560.

[3]P.-M. Jodoin, J.Konrad,V. Saligrama.Modeling backgroundactivity for behavior subtraction[J].In proc. of IEEE ICDSC, 2008.

[4]J.McHugh,J.Konrad,V.Saligrama,P.-M.Jodoin.Foreground-adaptivebackground subtraction[J]. IEEE Signal Process.Lett.,2009,16(5):390-393.

[5]A.Elgammal,R.Duraiswami,D.Harwood,L.Davis.Background and foreground modeling using nonparametric kernel density for visual surveillance[J].Proc IEEE, 2002,90(7):1151-1163.

[6]Christoffer Brax,Lars Niklasson,Martin Smedberg.Finding behavioural anomalies in public areas using video surveillance data[R].Information Fusion,2008 11th International Conference on June 30 2008-July 3 2008:1-8.

[7]Fan Jiang, Junsong Yuan, Sotirios A. Tsaftaris,Aggelos K. Katsaggelos. Anomaly video event detection using spatiotemporal context[J].Computer Vision and Image Understanding115 (2011) :323-333.

[8]Y.Benezeth,P.-M.Jodoin,V.Saligrama,and C.Rosenberger.Abnormal events detection based on spatio-temporal co-occurrences[J].in Proc.IEEE Conf.Computer Vision Pattern Recognition,2009:2458-2465.

[9]Zhanzheng Yin,Robert Collins.Moving Object Localization in Thermal Imagery by Forwardbackward MHI[J].in Computer Vision and Pattern Recognition Workshop, 17-22 June 2006:133-133.

E-mail:yuanliyan123@163.com