群體異常行為識別技術(shù)研究

中國電子科技集團(tuán)公司電子科學(xué)研究院 陳 誠

隨著社會經(jīng)濟(jì)的不斷發(fā)展，信息化技術(shù)越來越成熟，信息的動態(tài)性、多源性、開放性等特點促使人們之間的聯(lián)系越來越緊密，群體性活動和事件也日益增多，增加了群體事故的發(fā)生，例如人群滯留、聚集等。目前中國正處于快速發(fā)展的關(guān)鍵時期，頻發(fā)的群體事件為社會穩(wěn)定和公共安全帶來了新的風(fēng)險和挑戰(zhàn)，是對社會治理能力的進(jìn)一步考驗，因此需要對群體的異常行為識別技術(shù)進(jìn)行研究。相比于個體異常行為，群體異常行為具有規(guī)?；⒁讛U(kuò)散、多模式的特點，其形成機(jī)理更復(fù)雜，影響后果更嚴(yán)重，傳統(tǒng)方法難以識別和預(yù)測，因此亟需借助大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)，對群體異常行為進(jìn)行分析建模，實現(xiàn)群體異常行為的智能識別和發(fā)現(xiàn)，加強(qiáng)對群體行為的理解和異常行為的檢測能力，提高群體異常行為識別的準(zhǔn)確性和時效性。

隨著群體異常行為的識別逐漸成為各行業(yè)領(lǐng)域的關(guān)注焦點，它已經(jīng)在多個領(lǐng)域得到了研究應(yīng)用，如公共安全領(lǐng)域、交通管理領(lǐng)域、網(wǎng)絡(luò)輿情領(lǐng)域等，也取得了很多研究成果。本文對群體異常行為識別技術(shù)進(jìn)行了概述，基于已有研究和成果，首次提出了群體異常行為識別的標(biāo)準(zhǔn)建模思路，并分別從行為類別、使用技術(shù)和應(yīng)用領(lǐng)域等多個方面詳細(xì)介紹了群體異常行為識別，最后對群體異常行為識別常用數(shù)據(jù)集進(jìn)行了歸納并對全文作了總結(jié)。

1 群體異常行為識別建模

整體來說，對群體異常行為識別的建模方法可以分為三大類。第一類是微觀建模法。這類方法將群體行為理解為個體行為的集合，通過對各個個體行為的特征（如方向、速度等）分別進(jìn)行提取分析，再對所組成的群體行為進(jìn)行融合分析，從而識別整個群體的異常行為。但群體中往往存在遮擋等情況，增加了個體行為理解的難度，因此在微觀建模法中，容易造成個體行為分析的偏差，從而影響群體異常行為識別準(zhǔn)確性。第二類是宏觀建模法。這類方法將群體作為一個有機(jī)整體進(jìn)行建模分析，通過對整個群體的行為特征進(jìn)行提取分析，進(jìn)而識別出群體的異常行為。但該方法忽略了個體之間的相互作用和關(guān)聯(lián)關(guān)系，難以捕捉到個體間的細(xì)微差別，因此影響群體異常行為的理解和判斷。第三類是混合建模法，該方法結(jié)合了微觀和宏觀兩種建模方法，讓兩者優(yōu)勢互補(bǔ)，平衡各自的缺點，得到一種綜合的建模方法。

目前，對于群體異常行為識別還沒有相關(guān)研究給出一個統(tǒng)一的、標(biāo)準(zhǔn)的建模思路。如圖1所示，本文在已有研究和成果的基礎(chǔ)上，給出了一個通用的群體異常行為識別建模思路，通?？煞譃橐韵聨讉€步驟：

圖1 群體異常行為識別建模思路

（1）原始數(shù)據(jù)輸入。將視頻監(jiān)控數(shù)據(jù)、通信網(wǎng)絡(luò)數(shù)據(jù)、移動互聯(lián)網(wǎng)數(shù)據(jù)、公共交通數(shù)據(jù)、景點閘機(jī)數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)等多源數(shù)據(jù)作為模型輸入。

（2）提取特征信息?；诮y(tǒng)計學(xué)方法、機(jī)器學(xué)習(xí)方法等從原始數(shù)據(jù)中提取出特征信息，并建立特征表示模型。

（3）群體發(fā)現(xiàn)和群體特征表示。基于個體的特征表示模型，通過分析個體間的特征相似性或關(guān)聯(lián)性，挖掘出群體組織，并建立各個群體的特征表示。

（4）行為識別。行為識別過程可以看作行為分類過程，利用帶標(biāo)簽的行為特征數(shù)據(jù)訓(xùn)練分類器，根據(jù)標(biāo)簽粒度可將行為分為正常行為或異常行為兩大類，也可進(jìn)一步分為細(xì)粒度的具體的某一類正常行為或異常行為。

（5）異常行為檢測。利用已經(jīng)訓(xùn)練好的分類模型，對測試數(shù)據(jù)進(jìn)行自動分類，并輸出異常群體信息及其相應(yīng)異常行為類別。

2 群體異常行為識別技術(shù)

本文分別從異常行為類別、常見識別技術(shù)和應(yīng)用領(lǐng)域等三個方面對群體異常行為識別技術(shù)研究進(jìn)行歸納總結(jié)。

2.1 群體異常行為類型

不同研究對群體異常行為有不同的分類方法。有研究根據(jù)應(yīng)用場景和實現(xiàn)技術(shù)不同，將群體異常行為分為非法闖入、滯留、混入、人員密集等四類；有研究根據(jù)人群運動模式將群體異常行為分為滯留、奔跑、匯聚、散開等四類。

綜合考慮群體異常行為的研究領(lǐng)域和應(yīng)用場景，本文將群體異常行為分為以下七大類：

（1）人群聚集。指多人從任意方向往某一指定區(qū)域或位置點匯聚的行為。該類異常行為識別過程主要關(guān)注人群運動方向和人群密度兩個方面，通常在公共安全、交通管理、區(qū)域防護(hù)等領(lǐng)域研究比較多。

（2）人群滯留。給定時間段內(nèi)，在特定區(qū)域里三人以上的長時間停留行為。該類異常行為的識別主要應(yīng)用在公共安全和區(qū)域防護(hù)等領(lǐng)域。

（3）混入。這類異常行為是指非法人員跟隨合法人員混入特定區(qū)域的行為，其識別技術(shù)通常應(yīng)用于區(qū)域防護(hù)和公共安全等領(lǐng)域。

（4）四散奔跑。指多人從聚集位置朝四周突然奔跑、散開的行為。這類異常行為的識別主要可以用于公共安全和區(qū)域防護(hù)領(lǐng)域。

（5）非法闖入（潛入）。通常是指非法闖入或無人時間段（如夜間）偷偷潛入限制進(jìn)入或禁止進(jìn)入?yún)^(qū)域的行為。這類異常行為識別研究可用于交通管理、區(qū)域防護(hù)和公共安全等領(lǐng)域。

（6）異常社交。該類異常行為識別主要應(yīng)用在社交媒體、網(wǎng)絡(luò)輿情等領(lǐng)域，主要指社交網(wǎng)絡(luò)上，多人之間的異常關(guān)注、發(fā)帖、點贊、轉(zhuǎn)發(fā)等異常行為。

（7）異常共現(xiàn)。主要指特殊群體在敏感時間段內(nèi)的同行、同宿等異常共現(xiàn)行為，同行包括飛機(jī)、火車、出租車等所有公共交通工具的同行行為。這類異常行為的識別主要應(yīng)用于公共安全、交通管理等領(lǐng)域。

2.2 異常行為識別技術(shù)

本文將常見的群體異常行為識別技術(shù)主要分為以下幾類：

（1）基于聚類或分類的識別技術(shù)

此類識別技術(shù)基于行為特征之間的相似性對群體行為進(jìn)行劃分。對于無標(biāo)簽數(shù)據(jù)，可通過無監(jiān)督的聚類方法，如k-means聚類、層次聚類等，將群體行為自動聚類為正常行為和異常行為；對于有標(biāo)簽數(shù)據(jù)，則利用有監(jiān)督的分類方法，如支持向量機(jī)（SVM）、KNN、神經(jīng)網(wǎng)絡(luò)等，識別群體的異常行為和正常行為。有研究采用張量形式表示群體在每幀中的行為，利用多路非線性特征映射分解張量核，最后通過張量核孿生支持向量機(jī)實現(xiàn)視頻中的群體行為分類和識別。

（2）基于能量的識別技術(shù)

這類技術(shù)通過群體活動產(chǎn)生的能量值是否超過一定閾值來識別是否為異常行為。目前，常用的能量方法包括群體動能、方向勢能、距離勢能、KOD（kinetic orientation distance）能量、玻耳茲曼熵以及群體熵等。有研究根據(jù)群體的運動劇烈程度、群體運動方向一致性和群體中個體的相對位置來定義、計算群體動能、方向勢能和距離勢能，并構(gòu)建群體行為高層KOD能量特征，最后通過隱馬爾可夫模型實現(xiàn)群體異常行為檢測及類型識別。

（3）基于主題模型的識別技術(shù)

這類技術(shù)將群體行為類別當(dāng)作主題，通過主題模型從一系列行為特征數(shù)據(jù)中發(fā)現(xiàn)潛在的主題信息，來對群體異常行為進(jìn)行識別。常見的主題模型有概率潛在語義分析（PLSA）模型、潛在狄利克雷（LDA）模型等。有研究利用三層局部因果關(guān)系編碼群體行為，采用自我因果關(guān)系，雙人因果關(guān)系，群體因果關(guān)系分別描述個人層級、雙人層級、群體層級的運動特征，并結(jié)合外觀特征來描述群體行為，最后采用PLSA主題模型進(jìn)行群體行為識別。

（4）基于詞包的識別技術(shù)

詞包模型在計算機(jī)視覺領(lǐng)域應(yīng)用廣泛?；谠~包的識別技術(shù)主要包括群體行為特征檢測、特征表示、碼本生成和行為識別四個步驟。有研究根據(jù)人群視頻的多種社會屬性構(gòu)造加權(quán)社會力圖，并將圖分割成多個粒子組來表示群體視頻中相似的運動模式，然后通過對所有局部粒子群進(jìn)行聚類，構(gòu)造碼本，最后利用LDA模型檢測群體異常行為；有研究通過整合靜態(tài)和動態(tài)對象信息，將群體行為表示為一個詞包，以確定群體行為的異常。

（5）基于深度神經(jīng)網(wǎng)絡(luò)的識別技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，該類識別技術(shù)引起了學(xué)術(shù)界的廣泛關(guān)注，主要通過抽取群體行為特征的深層描述對群體行為進(jìn)行分類、識別。常見的深度神經(jīng)網(wǎng)絡(luò)方法包括多層前饋神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短期記憶網(wǎng)絡(luò)（LSTM）等。有研究結(jié)合靜態(tài)的場景特征和動態(tài)的群體運動特征構(gòu)建高層語義CNN模型，從而提高群體異常行為的識別率；有研究利用雙流卷積網(wǎng)絡(luò)的空間流網(wǎng)絡(luò)和時間流網(wǎng)絡(luò)獲取群體行為深層特征，并通過遷移學(xué)習(xí)獲得融合的時空特征進(jìn)行群益行為識別。

各類識別技術(shù)都有自己的優(yōu)勢和劣勢，其適用范圍和領(lǐng)域也不盡相同。本文總結(jié)了上述五類群體異常行為識別技術(shù)的優(yōu)缺點，如表1所示。

表1 群體異常行為識別技術(shù)優(yōu)缺點

2.3 應(yīng)用場景

根據(jù)所應(yīng)用的數(shù)據(jù)，群體異常行為識別的應(yīng)用場景主要分為基于視頻監(jiān)控、關(guān)系網(wǎng)絡(luò)和內(nèi)容三大類。其中，基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景又可以分為虛擬空間關(guān)系網(wǎng)絡(luò)和實體空間關(guān)系網(wǎng)絡(luò)。目前，國內(nèi)外研究最多的是基于視頻監(jiān)控的群體異常行為識別。

（1）基于視頻監(jiān)控的應(yīng)用場景

視頻監(jiān)控應(yīng)用場景下，關(guān)于群體異常行為識別研究主要集中在群體異常行為特征提取、人群密度估計、多目標(biāo)檢測與跟蹤、群體行為理解、群體路徑分析等熱點問題上。但現(xiàn)階段視頻監(jiān)控應(yīng)用場景下，群體異常行為識別仍面臨著諸多困難和挑戰(zhàn)，如人群中個體相互遮擋、復(fù)雜背景、運動速度多變、運動方向多變、攝像視角多變、光照變化等，這導(dǎo)致大多數(shù)技術(shù)、算法很難兼顧識別精度和魯棒性。此外，視頻監(jiān)控場景下的群體異常識別技術(shù)其預(yù)知性較弱，通常只能識別當(dāng)下正在發(fā)生或即將發(fā)生的群體異常行為，不適用于對預(yù)測預(yù)警有較高時效要求的情況。

（2）基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景

基于關(guān)系網(wǎng)絡(luò)的應(yīng)用場景又分為虛擬空間關(guān)系網(wǎng)絡(luò)（即微博、twitter等社交網(wǎng)絡(luò)）和實體空間關(guān)系網(wǎng)絡(luò)（即通過同行、同宿、同事等實體空間關(guān)系構(gòu)建的網(wǎng)絡(luò)）兩種場景。該場景下的研究熱點主要包括關(guān)系網(wǎng)絡(luò)構(gòu)建、群體識別（社團(tuán)挖掘）、群體行為特征建模、異常行為識別等，其中這里的異常行為主要指異常社交行為和異常共現(xiàn)行為，如社交網(wǎng)絡(luò)上的異常轉(zhuǎn)發(fā)和關(guān)注、同出行、同宿等異常行為?；陉P(guān)系網(wǎng)絡(luò)應(yīng)用場景下的群體異常行為識別技術(shù)在網(wǎng)絡(luò)輿情、網(wǎng)絡(luò)安全和公共安全等領(lǐng)域研究較多，能在萌芽、串聯(lián)和組織階段就發(fā)現(xiàn)群體異常，實現(xiàn)預(yù)測預(yù)警，有較好的應(yīng)用前景。

（3）基于內(nèi)容的應(yīng)用場景

現(xiàn)實世界中經(jīng)常面臨沒有實時監(jiān)控數(shù)據(jù)或很難找出個體間直接關(guān)聯(lián)關(guān)系的情況，因此基于內(nèi)容的群體異常行為識別技術(shù)引起了研究者們的關(guān)注。例如，通過個體的言論信息、互聯(lián)網(wǎng)瀏覽記錄、移動軌跡信息等建立用戶行為表征模型，然后利用表征模型之間的相似性或相關(guān)性識別出群體和群體行為規(guī)律，再進(jìn)行群體的異常行為檢測。目前，基于內(nèi)容的應(yīng)用場景下群體異常行為識別研究相對較少，還需進(jìn)一步研究。

3 常用數(shù)據(jù)集

目前對于群體異常行為識別的研究大多是基于視頻監(jiān)控的，因此視頻監(jiān)控方面的可利用數(shù)據(jù)集較多，基于關(guān)系網(wǎng)絡(luò)和內(nèi)容的相關(guān)數(shù)據(jù)集還比較少，主要包括：PETS數(shù)據(jù)集、UMN（University of Minnesota）數(shù)據(jù)集、CAD（collective activity dataset）數(shù)據(jù)集等。本文根據(jù)數(shù)據(jù)集的獲取方式將數(shù)據(jù)集分為了公開數(shù)據(jù)集、構(gòu)造數(shù)據(jù)集和未公開數(shù)據(jù)集。

3.1 公開數(shù)據(jù)集

（1）UMN（University of Minnesota）數(shù)據(jù)集

UMN數(shù)據(jù)集是明尼蘇達(dá)大學(xué)創(chuàng)建的專門用于群體異常行為檢測的視頻數(shù)據(jù)集，由Lawn、Indoor和Plaza三個不同場景下的11個視頻數(shù)據(jù)組成，共有7739幀圖像，其分辨率為240×320，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為主要為人群四散奔逃。

（2）PETS數(shù)據(jù)集

PETS數(shù)據(jù)集是雷丁大學(xué)創(chuàng)建的數(shù)據(jù)集，包含park場景多種視角下的4個視頻，共15200幀圖像，分辨率為768×576，幀率為每秒25幀。視頻中群體的正常行為是行走或閑逛，異常行為包括群體聚集、突然奔跑等異常行為。

（3）BEHAVE數(shù)據(jù)集

BEHAVE數(shù)據(jù)集包括不同場景下的4段視頻，幀頻為25，圖像分辨率為640×480，記錄了10類群體行為，包括InGroup、Approach、Meet、WalkTogether、Split、Ignore、Chase、Fight、RunTogether、Following，每一類行為由2-5人完成。

（4）CAD（collective activity dataset）數(shù)據(jù)集

CAD1數(shù)據(jù)集包含了5種不同的群體行為：crossing、waiting、walking、talking、queueing。該數(shù)據(jù)集中每段視頻都含個體行為、雙人交互行為和群體行為；CAD2數(shù)據(jù)集共有74個視頻片段，在CAD1數(shù)據(jù)集的基礎(chǔ)上增加了兩種類別，同時刪除了walking類別，因此共包含6種群體行為：crossing、waiting、talking、queueing、dancing、jogging，每一類群體行為由3-7人完成。

（5）Geolife數(shù)據(jù)集

Geolife數(shù)據(jù)集收集了182名志愿者在五年間的GPS軌跡數(shù)據(jù)（2007.4-2012.8），共包含17621條軌跡，總里程1292951km，總時長50176h，每條軌跡包含時間戳，經(jīng)緯度和海拔。該公開數(shù)據(jù)集適用于基于內(nèi)容的群體異常行為分析。

（6）hetrec2011-lastfm-2k數(shù)據(jù)集

hetrec2011-lastfm-2k數(shù)據(jù)集是一個社交網(wǎng)絡(luò)數(shù)據(jù)集，來源于Last.fm在線音樂網(wǎng)站，包括社交關(guān)系數(shù)據(jù)、用戶的音樂標(biāo)簽數(shù)據(jù)、音樂家收聽情況數(shù)據(jù)和用戶朋友對數(shù)據(jù)等。該公開數(shù)據(jù)集適用于基于關(guān)系網(wǎng)絡(luò)的群體異常行為分析。

3.2 構(gòu)造數(shù)據(jù)集

這類數(shù)據(jù)集主要是視頻監(jiān)控方面的數(shù)據(jù)，通過從網(wǎng)絡(luò)視頻、電影等資源中截取合適的視頻片段來構(gòu)造數(shù)據(jù)集。例如，有研究通過收集的網(wǎng)絡(luò)視頻構(gòu)建實驗數(shù)據(jù)集，共21段視頻圖片，包含3種群體行為：gathering、fighting、running，每一類群體行為由2-5人完成；有研究從電影中截取視頻來構(gòu)造數(shù)據(jù)集，包括兩個場景下的fighting視頻，共8個視頻片段，每個視頻片段含有260幀由2-5人完成的群體目標(biāo)圖像。

3.3 未公開數(shù)據(jù)集

這類數(shù)據(jù)集主要包括自攝視頻數(shù)據(jù)、自采集（爬取）的互聯(lián)網(wǎng)數(shù)據(jù)、第三方機(jī)構(gòu)或單位有限提供的業(yè)務(wù)數(shù)據(jù)等。例如，有研究利用某市1075個酒后駕駛?cè)说男詣e、年齡、居住情況、教育程度、婚姻狀況等數(shù)據(jù)來分析交通管理領(lǐng)域的異常群體及其行為；有研究通過河南省某地區(qū)抽樣1000戶居民的用電行為數(shù)據(jù)來識別群體用電異常行為；有研究基于自攝視頻數(shù)據(jù)集研究群體異常行為，通過在學(xué)校某處教學(xué)樓下的封閉廣場上，拍攝了3個不同的鏡頭，視頻中正常行為包括散步、駐足、向前走動等，異常行為分別是四散、群毆、加速跑動，自攝視頻的分辨率為320×240。

結(jié)論：本文分別從群體異常行為識別的標(biāo)準(zhǔn)建模思路、異常行為類型、常見技術(shù)、應(yīng)用領(lǐng)域和常用數(shù)據(jù)集等幾個方面對群體異常行為識別技術(shù)進(jìn)行了概述。雖然目前群體異常行為識別技術(shù)在國內(nèi)外已經(jīng)取得了許多研究成果，但是主要集中在視頻監(jiān)控領(lǐng)域，對于社交網(wǎng)絡(luò)、開放環(huán)境等場景下的研究較少，并且沒有建立合理規(guī)范的群體異常行為識別理論模型，未來需對這些方向進(jìn)一步探索。