基于耦合隱馬爾可夫模型的異常交互行為識別

林國余 柏 云 張為公

(1東南大學儀器科學與工程學院,南京 210096)

(2東南大學蘇州研究院,蘇州 215123)

人體行為識別已經(jīng)成為智能視頻監(jiān)控中的一個重要研究方向.近年來,國內(nèi)外研究者對于單人步態(tài)和行為已展開深入研究,可識別出標準姿勢、常規(guī)動作和簡單的危險行為.人與人之間的交互行為如打架、搶劫、尾隨等也是人的行為識別中的一個重要組成部分.隨著機器視覺的發(fā)展,以動態(tài)貝葉斯網(wǎng)絡和隱馬爾科夫模型(hidden Markov models,HMM)[1-4]為代表的基于統(tǒng)計模型的交互行為識別方法日益受到重視.如Oliver等[1]采用耦合隱馬爾可夫模型 (coupled HMM,CHMM)實現(xiàn)了對太極拳過程中人雙手動作的識別;杜友田等[2]對交互動作進行分層分解,將其看成一個多模態(tài)的多元隨機過程,并采用耦合層級連續(xù)性狀態(tài)的動態(tài)貝葉斯網(wǎng)進行統(tǒng)計建模;Xiang等[3]提出了一種多連接的HMM來識別混亂場景中的多目標交互事件;朱旭東等[4]提出一種新穎的主題HMM實現(xiàn)自然分組視頻中的人體行為識別.

由于HMM能夠提供動態(tài)時間規(guī)整,因此可用于描述物體在時間域上的運動模式,并可進行動態(tài)行為建模和分析.HMM及其改進算法已經(jīng)成為時間序列建模的常用方法之一.在交互行為中,每個目標在某一時刻的運動狀態(tài)不僅依賴于自身在前一時刻的狀態(tài),同時也取決于另一目標在前一時刻的狀態(tài),HMM的結(jié)構(gòu)卻不能體現(xiàn)出這種相互的關系.另一方面,隨著目標人數(shù)的增長,觀察序列的長度、HMM中狀態(tài)的數(shù)目和參數(shù)都會迅速增長,從而增加了參數(shù)估計的復雜程度.CHMM是由 Brand等[5]提出的一種用于描述2個或多個相互關聯(lián)(條件概率依賴)的隨機過程統(tǒng)計特性的概率模型,它可以看成是通過在多個 HMM 狀態(tài)序列之間引入耦合條件概率而得到的一種多HMM鏈模型,可用于對2個相互關聯(lián)的隨機過程進行建模和分類,因此適合用來學習和描述多個數(shù)據(jù)之間的交互作用.目前CHMM已經(jīng)在字符識別、語音識別、行為分析以及故障診斷等領域取得很好的識別效果[6-9].因此,本文提出一種基于CHMM的異常交互行為檢測方法,通過與基于HMM方法的對比,表明利用CHMM檢測兩人之間的交互行為更加簡單高效.

1 CHMM模型

圖1 耦合隱馬爾可夫模型

CHMM可以用每條鏈的參數(shù)和鏈之間的耦合關系參數(shù)來共同表示[10]:

λ={N(0),π(0),A(0),B(0),N(1),π(1),

A(1),B(1),A(0,1),A(1,0)}

由于CHMM是HMM的一種衍生模型,因此可借鑒HMM中的向前、向后算法和Baum-Welch算法來解決CHMM中的模型參數(shù)估計和概率估算問題.

1) 估算問題

(1)

2) 學習問題

(2)

其中,1≤i,m≤N(0),1≤j,n≤N(1).在此基礎上,將新參數(shù)代入進行迭代計算,如此反復,直至參數(shù)收斂.如果估算概率滿足以下條件,則終止計算:

(3)

2 交互行為特征

如何從視頻序列中提取出能夠合理表示行為特征的數(shù)據(jù)對交互行為識別的準確性有重要的影響.現(xiàn)有監(jiān)控攝像機的監(jiān)控場景往往較大,受分辨率限制,視頻中人體的肢體細節(jié)特征表現(xiàn)不明顯,難以構(gòu)建人體模型.考慮到打斗、搶劫這2類異常交互行為發(fā)生時,運動激烈,運動特征差異較大,同時由于人體是非剛性的,人的體態(tài)形狀應能很好地描述當前的行為細節(jié).因此本文直接以視頻圖像中的運動信息和形態(tài)信息作為特征,不僅充分表現(xiàn)了人體行為特征,而且有效避免了計算的復雜性.本文一共選取了5個運動特征和1個形態(tài)特征.5個運動特征如下:

通過計算感興趣區(qū)域內(nèi)的光流特征,并對光流特征進行統(tǒng)計得到目標光流特征的加權(quán)方向直方圖[12],最后計算出運動方向和速度幅值.

(4)

(5)

(6)

(7)

5) 2人之間的運動方向角度差

(8)

(9)

(10)

式中,矩陣每一列代表某一幀中HOG特征向量經(jīng)過降維后能夠反映目標95%以上特征的100個特征值.

3 基于CHMM的異常交互行為識別

3.1 算法流程

基于CHMM異常交互行為識別的核心在于構(gòu)建CHMM模型,其流程如圖2所示.圖2(a)描述了模型的離線訓練過程,首先提取出訓練樣本中感興趣的運動特征和形態(tài)特征,構(gòu)成訓練數(shù)據(jù),通過離線訓練構(gòu)建各種不同類型的異常行為模型.圖2(b)描述了利用訓練好的模型進行異常交互行為判別的流程,將提取出的目標特征代入到不同異常行為模型中計算概率值,進而判斷是否屬于相應的異常交互行為.

圖2 基于CHMM異常交互行為檢測的訓練和識別流程

(11)

式中,β1和β2分別表示運動特征模型和形態(tài)特征模型的權(quán)重,其計算公式為

(12)

(13)

概率值P(o|λ)大于閾值T時,則認為該行為屬于異常行為.假設訓練過程中參數(shù)收斂時模型λ1的概率值為P1,模型λ2的概率值為P2,則閾值T可按下式計算:

T=(β1P1+β2P2)×1.25

(14)

3.2 參數(shù)選擇

表1 CHMM參數(shù)選擇

綜合特征訓練的實際情況,最終確定實驗中表示異常交互行為的CHMM狀態(tài)數(shù)目設置為8,混合高斯元數(shù)也設置為8.

3.3 實驗結(jié)果

實驗中的視頻選自中國科學院自動化研究所的行為分析數(shù)據(jù)庫CASIA和CAVIAR數(shù)據(jù)庫、IVIPC數(shù)據(jù)庫、SDHA數(shù)據(jù)庫以及作者在校園環(huán)境中拍攝的視頻數(shù)據(jù),主要包括打斗、搶劫、握手、并行等交互行為.圖3為相關視頻的截圖.

模型訓練時將打斗和搶劫歸納為異常交互行為,并從30個打斗視頻、20個搶劫視頻中采集了運動特征和形態(tài)特征組成數(shù)據(jù)集,對不同數(shù)據(jù)集分別進行訓練得到模型λ1和λ2、每個CHMM的初始狀態(tài)概率π、狀態(tài)轉(zhuǎn)移概率矩陣以及每一條鏈中的觀察值概率函數(shù)的參數(shù)值.根據(jù)模型訓練最終收斂時的對數(shù)似然值和式(14)可以得到閾值T為-94.

根據(jù)式(4)和(12)的融合決策方式計算幾種典型行為在模型下的概率值,分別為打斗行為F1和F2,搶奪行為F3和F4,并行F5,握手F6,計算結(jié)果見表2.從表中可看出,打斗、搶劫這2種行為的概率值大于閾值,被判斷為異常行為,并行和握手行為的概率值小于閾值,被判斷為正常行為.

表2 幾類行為的對數(shù)似然值

表3為實驗獲得的識別率,其中打斗、搶劫行為識別率較高,而2人握手的行為由于過程中人的面積變化率、長寬比變化率等都有較大的變化,因此被誤檢為異常行為的概率較高.

表3 基于CHMM的異常行為識別準確率

表4 基于HMM的異常行為識別準確率

4 結(jié)語

由于CHMM中每個隨機過程狀態(tài)之間存在的相互依賴關系恰好可以反映2人之間的交互影響狀態(tài),因此本文提出一種基于CHMM的少人異常行為識別算法,其識別準確率要優(yōu)于HMM.然而,利用CHMM對多人之間的多種復雜交互動作進行識別還有待研究,一方面需要在特征選取和模型建立方面進行改進,另一方面要對CHMM結(jié)構(gòu)進行改進優(yōu)化,比如增加隱馬爾科夫鏈路以及改進模型學習方法等,這些將在后續(xù)工作中進一步展開.

圖3 各種數(shù)據(jù)庫中的打斗、搶劫、握手、并行等視頻

)

[1] Oliver N M, Rosario B, Pentland A P. A Bayesian computer vision system for modeling human interactions [J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2000,22(8): 831-843.

[2] 杜友田, 陳峰, 徐文立. 基于多層動態(tài)貝葉斯網(wǎng)絡的人的行為多尺度分析及識別方法[J].自動化學報, 2009, 35(3): 225-227.

Du Youtian, Chen Feng, Xu Wenli. Approach to human activity multi-scale analysis and recognition based on multi-layer dynamic Bayesian network [J].ActaAutomaticaSinica, 2009,35(3): 225-227. (in Chinese)

[3] Xiang Tao, Gong Shaogang. Beyond tracking: modeling activity and understanding behavior [J].ComputerVision, 2006,67(1): 21-51.

[4] 朱旭東, 劉志鏡. 基于主題隱馬爾科夫模型的人體異常行為識別[J]. 計算機科學, 2012, 39(3): 251-255, 275.

Zhu Xudong, Liu Zhijing. Human abnormal behavior recognition based on topic hidden Markov model[J].ComputerScience, 2012,39(3): 251-255, 275. (in Chinese)

[5] Brand M, Oliver N, Pentland A. Coupled hidden Markov models for complex action recognition [C]//ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Juan, PR, USA, 1997: 994-999.

[6] Che Hao, Tao Jianhua, Pan Shifeng. Letter-to-sound conversion using coupled hidden Markov models for lexicon compression[C]//Proceedingsofthe2012InternationalConferenceonSpeechDatabaseandAssessments. Macau, China, 2012: 141-144.

[7] Luo Ronghua, Min Huaqing, Xu Yonghui, et al. Coupled hidden semi-Markov conditional random fields based context model for semantic map building[C]//ProceedingsofInternationalConferenceonMachineLearningandCybernetics. Xi’an, China, 2012: 785-791.

[8] Alippi C, Ntalampiras S, Roveri M. A cognitive fault diagnosis system for distributed sensor networks [J].IEEETransactionsonNeuralNetworksandLearningSystems, 2013,24(8): 1213-1226.

[9] Cao Longbing, Ou Yuming, Yu P S. Coupled behavior analysis with applications [J].IEEETransactionsonKnowledgeandDataEngineering, 2012,24(8): 1378-1392.

[10] 任海兵. 非特定人自然的人體動作識別[D]. 北京: 清華大學計算機科學與技術(shù)系, 2003.

[11] 王建東. 基于視頻圖像的人體異常行為識別技術(shù)研究[D]. 重慶: 重慶大學通信工程學院, 2009.

[12] 杜鑒豪, 許力. 基于區(qū)域光流特征的異常行為檢測[J]. 浙江大學學報：工學版, 2011, 45(7): 1161-1166.

Du Jianhao, Xu Li. Abnormal behavior detection based on regional optical flow [J].JournalofZhejiangUniversity:EngineeringScience, 2011,45(7): 1161-1166. (in Chinese)

[13] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition. San Diego, CA,USA, 2005,1: 886-893.