基于雙流結(jié)構(gòu)的異常行為檢測模型

王梓舟 周新志 嚴 華

(四川大學電子信息學院 四川 成都 610065)

0 引 言

監(jiān)控系統(tǒng)提供著不間斷的監(jiān)控視頻，如此龐大的視頻數(shù)據(jù)使用人工進行處理是效率低下并且困難的。所以自動的視頻異常行為檢測在近幾年越來越多地得到學術界和工業(yè)界的關注。

在早期的工作中，研究人員通常使用人工設計特征來表征人體或者人群的行為。Laptev[1]提出了時空興趣點的方法，其實質(zhì)是將Harris角點從二維拓展到了三維。Mabrouk等[2]在時空興趣點的基礎上融合光流特征提出DiMOLIF描述子用以檢測視頻中的暴力行為。Mehran等[3]提出了社會力模型用以檢測群體的異常行為。Zheng等[4]使用基于軌跡特征方法檢測全局的異常行為。Wang等[5]使用基于光流特征的協(xié)方差矩陣進行異常行為的檢測。這類方法所使用的特征通常需要經(jīng)過提前的設計，且檢測精確度仍需提高。

隨著卷積神經(jīng)網(wǎng)絡的興起，研究者也將其應用在視頻異常行為檢測問題上。人工特征由此轉(zhuǎn)向深度網(wǎng)絡特征。由于異常行為數(shù)據(jù)集規(guī)模較小，比較難以訓練一個復雜的網(wǎng)絡，部分工作嘗試直接使用經(jīng)典的深度網(wǎng)絡結(jié)構(gòu)解決問題，如Sabokrou等[6]利用在ImageNet上預訓練好的AlexNet網(wǎng)絡,而AlexNet并非專門針對異常行為問題而設計，所以還存在一定的局限性。另一種思路則是采用結(jié)構(gòu)簡單的網(wǎng)絡進行訓練，如Sun等[7]設計了一種兩層的卷積網(wǎng)絡提取輸入圖像特征，再利用OC-SVM(One-class SVM)對特征進行分類。

還有一種針對數(shù)據(jù)集規(guī)模較小問題的常見方法為自編碼器(Auto-Encoder，AE)網(wǎng)絡。Hasan等[8]使用二維Conv-AE的重建誤差來判斷異常行為的發(fā)生與否。Ribeiro等[9]嘗試在2D AE中融合光流以及圖像邊緣特征。2D AE由于維度上的局限性，并不能很好地獲得時域上的信息。為了更好地利用視頻時域信息，Chong等[10]、Wang等[11]使用加入Conv-LSTM層的二維卷積AE，LSTM層的加入能夠改善2D AE對時域特征提取的性能。Zhao等[12]提出了一種3D AE網(wǎng)絡結(jié)構(gòu)用以檢測人群和交通中的異常行為。Yan等[13]嘗試在2D AE中使用傳統(tǒng)光流特征作為輸入。取得了一定的進展，但仍有發(fā)展空間。此外，Ravanbakhsh等[14]也初步嘗試在異常行為問題上使用GAN網(wǎng)絡，并在特定數(shù)據(jù)集取得了不錯的成效。

為進一步解決視頻時域信息獲取和利用的問題，本文設計一種雙流網(wǎng)絡結(jié)構(gòu)，分別為網(wǎng)絡分支以及時域分支。網(wǎng)絡分支為3D自編碼器，負責提取輸入視頻的時空特征；時域分支負責對輸入視頻的光流特征進行處理，提供額外運動信息，并使用改進的策略更好地與網(wǎng)絡分支的重建結(jié)果進行融合。最終使用融合后的重建結(jié)果計算重建誤差作為異常行為判斷的依據(jù)。

此外，目前大部分工作所使用的像素級別評價指標來自Mahadevan等[15]的工作，該像素指標還存在一定的不足。針對這個情況，本文提出一種改進的像素指標。

1 整體框架

1.1 整體流程

整個模型的流程如圖1所示。包含有兩個分支：網(wǎng)絡分支和時域分支。網(wǎng)絡分支使用一個3D自編碼器，提取連續(xù)視頻幀的時空域特征，并重建輸入，由于自編碼器僅使用正常樣本進行訓練，理論上對異常區(qū)域具有更高的重建誤差。時域分支得到具有背景的光流結(jié)果。最終將兩個分支的結(jié)果融合得到模型的最終輸出，計算最終的重建誤差，得到規(guī)律性得分并判斷是否發(fā)生異常。

圖1 模型整體流程

1.2 3D自編碼結(jié)構(gòu)

網(wǎng)絡分支使用一個3D自編碼器，輸入為連續(xù)N幀灰度視頻圖片堆疊形成的一個視頻塊。由于訓練一個深度網(wǎng)絡需要大量的訓練數(shù)據(jù)。異常行為檢測數(shù)據(jù)集中的訓練樣本數(shù)量通常都不夠充足。受Zhao等[12]的啟發(fā)，我們在其網(wǎng)絡的基礎上進行了調(diào)整。編碼層和解碼層改為3層，并更改了3層及后續(xù)層的通道數(shù)，去掉了額外的網(wǎng)絡分支結(jié)構(gòu)。其余參數(shù)與原文保持一致。網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 網(wǎng)絡分支結(jié)構(gòu)

1.3 時域分支

時域分支主要利用經(jīng)典的光流特征。通過計算連續(xù)兩幀中對應像素點在x、y方向上的位移值，可得到兩個大小與原圖片相等的二維浮點值矩陣，每一點的值表征了該點在這兩幀中的運動情況，值越大，代表運動幅度越大?？煽醋魇且环N時域特征，包含了豐富的運動信息。為了能將光流特征更好地應用到自編碼器的方法中，還對其設計進行了如下的處理。

1.3.1絕對值處理

考慮到大部分情況下，物體正、反的運動方向并不作為異常行為判定的條件，而光流特征中，正方向運動的像素點具有正值，反之為負。為排除數(shù)值正負帶來的影響，保留單純的運動幅值信息，本文對視頻中每一幀的x、y兩個方向的光流結(jié)果都進行了絕對值處理，再按照式(1)將其歸一化到[0,255]區(qū)間。

(1)

在分別得到x、y方向的結(jié)果后，將兩者相加，為了防止像素點值超過255。再次對結(jié)果使用式(1)進行歸一化。

1.3.2背景融合處理

光流幀的背景是黑色的。將這樣的光流幀與原視頻幀計算重建誤差時，會引入額外的偏差，對結(jié)果造成負面影響。所以在融合光流和網(wǎng)絡重建結(jié)果之前，先對光流幀進行背景融合，計算公式為式(2)，得到帶背景的光流幀(Optical Flow with Background,OFB)。

令It為視頻序列中第t幀，It+1為視頻序列中第t+1幀，通過它們計算得到的光流幀為dt，與It對應，那么：

(2)

式中：x、y分別表示像素點在二維光流中的橫縱坐標；n是設定的閾值。OFBt是進行了背景融合的第t幀光流幀，為二維矩陣。

圖3是光流幀以及融合背景的光流幀OFB的結(jié)果。左邊第一列為原視頻中的幀，第二列為歸一化后的光流幀，第三列為融合背景的OFB結(jié)果。最后將連續(xù)的T幀OFB堆疊為一個體，稱為OFBC(OFB Cubic)。與網(wǎng)絡分支的重建結(jié)果進行融合。

(a) UCSD Ped1數(shù)據(jù)集

(b) UCSD Ped2數(shù)據(jù)集

(c) Avenue數(shù)據(jù)集圖3 三個數(shù)據(jù)集光流幀和OFB的結(jié)果

1.4 規(guī)律性得分計算

在模型訓練完成后，可以得到每一組輸入堆疊視頻幀的重建結(jié)果，按照一定的比例融合網(wǎng)絡分支的重建結(jié)果和時域分支結(jié)果。模型的重建誤差由式(3)計算。

(3)

式中：e(t)是第t幀的重建誤差；I(t)是輸入視頻中第t幀；fw是3D自編碼器訓練得到的權重函數(shù)；OFBC是堆疊的OFB幀；a、b是取值范圍屬于[0,1]的融合因子，兩者之和為1，其大小表征了網(wǎng)絡分支結(jié)果和時域分支結(jié)果在最終結(jié)果中的影響。

在得到重建誤差之后，規(guī)律性得分Sr(t)可以表示為：

Sr(t)=1-Sa(t)

(4)

(5)

式中：Sa(t)是視頻序列中第t幀的規(guī)范化異常得分；min(e(t))和max(e(t))分別代表整個視頻序列中最小和最大的重建誤差e(t)值。

2 實 驗

2.1 數(shù)據(jù)集

本文在三個經(jīng)典的異常行為檢測數(shù)據(jù)集上評估本文的方法：Avenue、UCSD Ped1、Ped2。

UCSD數(shù)據(jù)集[15]包含兩個子集Ped1和Ped2，分別對應兩個不同的場景。訓練視頻僅包含正常行為，每個測試視頻中至少有一個異常行為。Avenue[16]所有的訓練視頻短片僅包含正常行為——行人正常行走，而每個測試視頻中包括奔跑、拋擲、閑逛等異常行為。

2.2 模型的訓練

網(wǎng)絡分支的輸入為連續(xù)16幀堆疊形成的視頻塊，采用朝后堆疊的方式。對于在堆疊過程中，超出最大幀編號的幀，本文使用視頻序列的最后一幀替代。網(wǎng)絡以最小化重建誤差為訓練方向。Batch Size設置為8。

針對UCSD數(shù)據(jù)集，本文使用Ped1和Ped2的訓練數(shù)據(jù)共同訓練一個網(wǎng)絡；針對Avenue，本文僅使用了Avenue的訓練數(shù)據(jù)來訓練網(wǎng)絡。

時域分支只需要輸入光流結(jié)果，不需要額外的訓練。本文使用Liu[17]提供的源碼，在MATLAB中計算光流，所有參數(shù)均設定為源碼中的默認值。OFBC同樣采用朝后堆疊的形式，與原始視頻幀的堆疊相同。

2.3 分支結(jié)果的融合

1.4節(jié)中，融合因子a、b的大小無法預先確定，不同的組合會產(chǎn)生不同的結(jié)果。在實驗中通過枚舉的方式搜尋效果最好的組合。在[0,1]區(qū)間，a按照步長0.05從0逐漸增加到1，b等于1-a。

2.4 結(jié)果和分析

本文從定性和定量兩個角度進行評估。定性分析主要通過計算重建誤差圖來展示異常行為檢測的效果。定量分析則通過使用不同的閾值求得多組對應的真陽性率(True Positive Rate,TPR)和假陽性率(False Positive Rate,FPR)，繪制ROC曲線，計算曲線下面積(Area Under Curve,AUC)以及等誤差率(Equal Error Rate,EER)。AUC越接近1，EER越接近0，代表效果越好。

2.4.1重建誤差結(jié)果分析

圖4中展示了在三個數(shù)據(jù)集上，2D AE、網(wǎng)絡分支、雙分支融合結(jié)果的重建誤差對比，重建誤差使用灰度圖進行展示。為了使結(jié)果具有可比性，2D AE使用的與網(wǎng)絡分支完全相同的輸入以及相同的網(wǎng)絡結(jié)構(gòu)——僅將網(wǎng)絡分支3D AE中的卷積操作、池化操作從三維更改為二維。圖中左邊一列是原始幀，包含至少一個異常行為，由實線框標記,正常行為由虛線框標記，第二列是2D AE的重建誤差，第三列展示的是網(wǎng)絡分支的重建誤差，最后一列展示的是雙分支融合結(jié)果的重建誤差。顏色越暗代表此處重建誤差越低，而越亮則代表重建誤差越高。異常行為區(qū)域重建誤差越大，正常行為區(qū)域重建誤差越小代表檢測效果越好。

(a) UCSD Ped1數(shù)據(jù)集

(b) UCSD Ped2數(shù)據(jù)集

(c) Avenue數(shù)據(jù)集圖4 重建誤差結(jié)果對比

從圖4中前三列結(jié)果可以看到，無論是正常行為還是異常行為，2D AE都具有較大的重建誤差，在圖4第一、第二行中尤其明顯。這表明二維操作并不能很好地對視頻中的正常和異常行為進行區(qū)分。一個可能的原因是，二維卷積操作難以獲取時域上的信息，輸入視頻塊中的時域信息反而影響了2D AE提取物體空域特征的能力，導致行人等難以被重建。相比于2D AE，雖然3D AE對異常行為的重建誤差有所減小，但正常行為的重建誤差也得到了有效的降低。

時域分支所采用的OFB能夠更突出整個視頻中運動幅度相對較大的區(qū)域，對正常行為和異常行為在速度指標上進一步區(qū)分，達到增加異常行為重建誤差的效果；通過在光流結(jié)果中引入原始幀背景，一定程度修正自編碼器對背景、站立的行人等正常區(qū)域的重建結(jié)果——減少它們的重建誤差。因此能夠提高異常區(qū)域和正常區(qū)域的區(qū)分度。在圖4中最后一列，展示了雙分支融合后與原始視頻幀的誤差。可以看到相比于前兩列的結(jié)果，時域分支的加入確實進一步提升了區(qū)分度。

2.4.2幀級別結(jié)果分析

時域分支提取的主要是視頻中的時域運動特征。網(wǎng)絡分支通過3D卷積操作，能同時獲取物體在空域形態(tài)上的特征以及部分時域上的運動信息。因此兩個分支融合后，時域分支能夠向網(wǎng)絡分支提供額外的運動信息，而網(wǎng)絡分支能夠為時域分支提供一定的空域信息，達到兩個分支互相補充提升檢測效果的目的。

本文分別測算了三個數(shù)據(jù)集上網(wǎng)絡分支的ROC曲線、時域分支的ROC曲線、兩個分支融合后的ROC曲線。結(jié)果如圖5所示。融合的結(jié)果(點橫線)比網(wǎng)絡分支(實線)以及時域分支(短橫線)的AUC值都要更高，說明兩個分支融合確實產(chǎn)生了互補的效果。另外圖5中直接融合普通光流(點線)情況下的曲線下面積AUC結(jié)果低于50%。這說明使用OFB的方法在提供運動信息的同時，能夠避免像普通光流一樣對檢測結(jié)果產(chǎn)生負面影響。相比于普通光流，使用OFB的時域分支是一種更適合與自編碼器結(jié)合的方法。

(a) UCSD Ped1

(b) UCSD Ped2

(c) Avenue圖5 三個數(shù)據(jù)集上的ROC曲線結(jié)果對比

本文與一些方法在Ped1、Ped2、Avenue上進行了結(jié)果的對比，結(jié)果展示在表1中。

表1 幀級別AUC和EER結(jié)果對比(%)

續(xù)表1

在Ped1上，本文有最高的AUC；在Ped2中，僅有文獻[13]的AUC結(jié)果略高于本文，高0.7百分點，EER上本文與其并列為最低，為15.5%。而在Avenue數(shù)據(jù)集上，本文有最高的AUC 82%以及最低的EER 24.8%。表1中3D AE指只使用網(wǎng)絡分支，2D AE則是將網(wǎng)絡分支的卷積、池化操作更改為二維，本文方法則是將網(wǎng)絡分支與時域分支進行了融合。3D AE分支的結(jié)果在三個數(shù)據(jù)集上都優(yōu)于2D AE結(jié)果，而加入時域分支后，能與網(wǎng)絡分支互補，進一步整個提升模型的結(jié)果。

2.4.3像素級別結(jié)果分析

目前大部分工作的像素級別評價指標按照Mahadevan等[15]所提出的為標準。其定義如下：當40%及以上的異常像素被算法正確標記，則認為當前幀被正確檢測為異常。

在這種標準下有兩個不足之處：

(1) Mahadevan等提出以40%為判斷閾值，但并未說明設置為40%的依據(jù)。

(2) 某些情況下算法正確檢測出了40%以上的異常區(qū)域像素的同時，也誤標記了其他正常區(qū)域，會簡單認定為正確定位出異常(True Positive)，而沒有將正常區(qū)域被誤判納入考慮。如圖6所示，圖中異常的小汽車被正確標記，但正常行人也被誤標。

圖6 異常區(qū)域正確標出、正常區(qū)域誤標的情況

針對這兩點，本文提出一種改進的像素級別檢測指標。對模型輸出結(jié)果中所有像素點逐個進行異常與否判斷，像素值大于閾值的像素點，判定為異常，小于閾值的則判定為正常。再將結(jié)果與Ground Truth進行比較。設置多組閾值，繪制ROC曲線，得到AUC以及EER。AUC越接近1、EER越接近0代表效果越好。

使用改進的指標不再需要經(jīng)驗性地設置40%這樣的取值，且即使出現(xiàn)了圖6中的情況，被誤標的正常像素個數(shù)最終會影響ROC曲線結(jié)果。

在這種像素指標下，本文在UCSD上的結(jié)果如表2所示。由于光流結(jié)果具有一定的前景提取能力，所以加入時域分支能夠提升整個模型的異常定位能力。從圖4最后一列的結(jié)果以及表2中的結(jié)果均可以看出模型對異常行為具有一定的定位能力。

表2 UCSD數(shù)據(jù)集上的像素級別AUC和EER(%)

3 結(jié) 語

為更好地利用視頻異常行為檢測中視頻的時域信息，本文提出一個雙流分支網(wǎng)絡結(jié)構(gòu)用來提取視頻的特征并進行異常行為檢測，并從定性和定量的角度進行了對照，證明雙分支的網(wǎng)絡結(jié)構(gòu)能夠更好地利用視頻的時域信息，互為補充，提升整體的檢測精確度。此外，提出一種改進的像素評價指標，能夠一定程度彌補之前像素指標的不足。未來的工作主要是進一步提升模型在各個數(shù)據(jù)集上幀級別和像素級別的檢測精度。同時提升模型的實時性。