融合注意力增強的視頻異常行為檢測方法

摘 要：針對視頻中行人摔倒、扭打等異常行為難以準(zhǔn)確建模的問題，文中提出了一種基于視頻幀間和幀內(nèi)數(shù)據(jù)分析，融合注意力增強的異常行為檢測方法。采用對比分析策略，依據(jù)目標(biāo)檢測、跟蹤、人體姿態(tài)估計方法獲取視頻中目標(biāo)的行為軌跡和人體關(guān)鍵點數(shù)據(jù)，構(gòu)建特征屬性集合。使用注意力機制增強或抑制部分特征信號，再利用非監(jiān)督學(xué)習(xí)方法判別視頻異常行為，實現(xiàn)視頻中不同異常行為檢測。實驗結(jié)果表明，融合注意力增強之后異常檢測的準(zhǔn)確率有明顯提升，可有效檢測出視頻中的異常行人。

關(guān)鍵詞：特征集合；注意力機制；異常檢測；視頻監(jiān)控；姿態(tài)估計；人體關(guān)鍵點

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）06-00-06

0 引 言

視頻監(jiān)控系統(tǒng)已遍布于不同場所，雖然可以記錄各類場景數(shù)據(jù)，但對場景中異常事件的判別和提示還遠(yuǎn)遠(yuǎn)達(dá)不到智能化水平。異常行為的發(fā)生往往是難以預(yù)料的，甚至是無法察覺的，因此異常行為的識別和檢測技術(shù)已經(jīng)成為智能安防、醫(yī)療保健、交通管理等領(lǐng)域的重要研究課題[1]。視頻異常通常認(rèn)為是發(fā)生了不尋常的表觀特征、運動特征或者在不尋常的地點或時間發(fā)生的運動特征。

視頻異常判別常常為場景條件依賴。人們也常常研究基于某個場景下的一些異常判別問題。于俊俊等人[2]利用光流法預(yù)測特征點位置，提出一種基于金字塔LK光流法的電梯內(nèi)異常行為檢測方法。Ramachandra等人[3]利用孿生網(wǎng)絡(luò)訓(xùn)練距離度量函數(shù)，通過測試數(shù)據(jù)與參照數(shù)據(jù)之間的距離得到最終的異常得分。通過利用歷史圖像幀的檢測結(jié)果，祝文斌等人[4]提出了一種新的方法，可以有效補充當(dāng)前檢測幀中的信息。WU C等人[5]提出了一種基于機器學(xué)習(xí)算法的檢測框架，對校內(nèi)學(xué)生異常行為進(jìn)行先驗性定義，但其手動參數(shù)也多，不利于自訓(xùn)練。文峰等人[6]提出了基于姿態(tài)特征的異常檢測方法，通過聚類標(biāo)記異常行為，使用SVM完成室內(nèi)場景下人體的異常分類。Chaoqin Huang等人的團(tuán)隊[7]提出一種少樣本異常檢測框架，從多個任務(wù)模型中提煉出一種有效的共享通用模型，將其推廣到新的異常檢測任務(wù)。Jhih-Ciang Wu等人[8]提出一個無監(jiān)督的通用模型，利用實例感知注意力來強調(diào)定位異常的焦點區(qū)域。Mariana-Iuliana Georgescu等人[9]通過自監(jiān)督和多任務(wù)學(xué)習(xí)實現(xiàn)視頻中的異常事件檢測。程媛等[10]提出地鐵場景下的群體異常行為檢測模型。邢天祎等[11]在變分自編碼器基礎(chǔ)上，提出了一種基于預(yù)測的空時對抗變分自編碼器視頻異常檢測模型。陳辛等[12]提出了一種改進(jìn)ORB光流算法，根據(jù)運動能量的變化對異常行為進(jìn)行檢測和判斷。張紅民[13]提出了一種全局自注意力與卷積特征共享的自編碼器異常行為檢測模型。

深度學(xué)習(xí)的興起給異常行為檢測提供了新思路、新方法，而數(shù)據(jù)驅(qū)動的性能主要受到視頻異常事件樣本數(shù)過少的影響，要在保證精度和速度的基礎(chǔ)上更有效實現(xiàn)檢測，還有很多困難，主要體現(xiàn)在以下幾個方面：

（1）不同場景下異常行為復(fù)雜多變，很難直接定義。

（2）人體運動的非剛性決定了異常檢測的復(fù)雜程度，很難準(zhǔn)確找到對異常檢測起關(guān)鍵作用的肢體部件和行為特征。

（3）深度學(xué)習(xí)計算常常需要較多的計算機資源。

這些特點都影響視頻異常檢測方法在監(jiān)控設(shè)備上的部署應(yīng)用，難以提升監(jiān)控設(shè)備智能化整體水平。

試圖找到異常行為更一般化界定及判別的方法，對視頻內(nèi)容的主體，即人的行為進(jìn)行自動分析。YOLO目標(biāo)檢測算法采用從上到下的網(wǎng)絡(luò)結(jié)構(gòu)，檢測結(jié)果通過單次檢測就能得到，因此檢測速度較快。目標(biāo)追蹤以Tracking-by-Dection策略為基礎(chǔ)，利用目標(biāo)檢測結(jié)果對目標(biāo)進(jìn)行追蹤。行人的行為數(shù)據(jù)通過Alphapose姿態(tài)估計算法獲得。

分析幀內(nèi)和幀間數(shù)據(jù)，將視頻幀內(nèi)多人人體關(guān)鍵點信息作橫向?qū)Ρ?，計算不同行人關(guān)鍵數(shù)據(jù)的離群因子，判斷當(dāng)前幀中出現(xiàn)的異常行人。同時對視頻中的人物進(jìn)行跟蹤，縱向?qū)Ρ刃腥瞬煌瑤g特征變化，以解決異常事件定義與特定場景的依賴性問題。不同應(yīng)用場景下，對異常行為判別的側(cè)重點往往存在較大差異，提出融合注意力增強的人體異常行為檢測方法，適當(dāng)提取、選擇數(shù)據(jù)特征及異常行為判別方法，作特征增強或抑制，執(zhí)行不同任務(wù)的異常行為判別，以提升異常預(yù)警方法的準(zhǔn)確率和適用性。

1 異常行為的一般化描述

在日常監(jiān)控應(yīng)用場景中，行人行為的驟然變化雖然容易識別但卻很難給出準(zhǔn)確定義?！爱惓！蓖ǔＲ馕兜氖桥c別人對比“不同”且發(fā)生“概率較小”，因此，從廣義層面、相對的角度描述異常行為問題。以場景中的“人”為主要參照對象，通過跟蹤、分析目標(biāo)行人行為軌跡，判別行人相對于自身行為狀態(tài)的異常，出現(xiàn)突變的行為被認(rèn)定為異常行為?；蛘邔τ谌巳壕奂犬惓Ｅ袆e，當(dāng)前視頻幀相對其他時間段視頻幀存在異常，即基于視頻幀間數(shù)據(jù)的行為異常判別。通過對比視頻幀內(nèi)多人行為數(shù)據(jù)，目標(biāo)行人相對于其他行人的行為狀態(tài)的異常，即基于視頻幀內(nèi)數(shù)據(jù)判別行為異常。通過從視頻目標(biāo)行人幀間行為軌跡縱向比較、幀內(nèi)多人數(shù)據(jù)橫向?qū)Ρ葍煞矫嫒胧?，以實現(xiàn)異常行為檢測。

1.1 幀間異常行為建模

固定場所的監(jiān)控攝像頭采集的視頻背景常常是固定的，針對不同幀的幀間數(shù)據(jù)，常態(tài)化、大概率出現(xiàn)的幀數(shù)據(jù)信息可以被認(rèn)定為正常，否則可能為異常行為。通過目標(biāo)跟蹤可以統(tǒng)計視頻中行人的動態(tài)數(shù)據(jù)，如質(zhì)心坐標(biāo)center、行人總數(shù)sum_persons、密度density_persons、行人檢測框交并比iou_overlap、肢體交疊持續(xù)時長duration_overlap等數(shù)據(jù)，對于視頻中出現(xiàn)的因光照、遮擋等不確定因素造成的數(shù)據(jù)誤差可剔除，減少因無關(guān)因素導(dǎo)致的數(shù)據(jù)誤差。以正常數(shù)據(jù)信息為基準(zhǔn)，通過對比分析無監(jiān)督分類，可判別行人摔倒、人群聚集、人群打斗等異常事件?；趲g數(shù)據(jù)異常行為檢測框架如圖1所示。

利用人體質(zhì)心位置移動特點、速度變化、形體寬高比例的內(nèi)在關(guān)系可對幀間行人摔倒進(jìn)行異常檢測。在目標(biāo)區(qū)域中想要快速定位行人所處位置，其質(zhì)心是最基本的特征。

利用人體關(guān)鍵點坐標(biāo)計算得出人體質(zhì)心點，避免使用人體最小外接矩形獲取人體質(zhì)心點，解決因人體檢測不準(zhǔn)確獲取的人體質(zhì)心點不準(zhǔn)確問題。運用目標(biāo)檢測法來識別和標(biāo)定視頻中的行人，當(dāng)行人的運動狀態(tài)或行為動作發(fā)生變化時，所標(biāo)定的矩形框的寬度和高度也會相應(yīng)改變，寬高比的定義如下：

（1）

式中：AR為人體檢測框的寬高比。外接矩形可描述行人的總體形態(tài)、輪廓。一般情況下，統(tǒng)計目標(biāo)行人外接矩形寬高比的幀間變化，結(jié)合判定規(guī)則，可對行人出現(xiàn)某些異常行為狀態(tài)進(jìn)行準(zhǔn)確判定。

在進(jìn)行幀間視頻行人扭打異常檢測時，行人檢測框交并比是判斷異常的重要指標(biāo)，其計算公式如下所示：

（2）

式中：A和B表示視頻中不同的人體檢測框。

1.2 幀內(nèi)異常行為建模

幀內(nèi)數(shù)據(jù)中行人的跟蹤框及關(guān)鍵點對分析行為特征起重要作用。人體的關(guān)鍵節(jié)點中分為剛體部分和非剛體部分[14]，不同部件對行為動作的貢獻(xiàn)程度不同。顯然，人體的肢體部件（非剛體部分）比身體的軀干和頭部（剛體部分）偏移量更大，因此，人體非剛體部分對異常行為檢測的重要程度更大。采用目前準(zhǔn)確度較好的區(qū)域多人姿態(tài)估計AlphaPose網(wǎng)絡(luò)模型[15]獲取視頻中人體的關(guān)鍵點信息，可提取人體的17個

關(guān)鍵點，0到16分別為：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髖、右髖、左膝、右膝、左腳、右腳，如圖2所示，其中白色框內(nèi)標(biāo)注為非剛體部分。以人體不同部位的關(guān)鍵點標(biāo)號0，1，2，...，16構(gòu)建集合，記為關(guān)鍵點集合{0，1，2，...，16}。

為區(qū)分人體剛體部分和非剛體部分對人體姿態(tài)貢獻(xiàn)的不同，依據(jù)關(guān)鍵點距離人體質(zhì)心半徑環(huán)狀分布，將人體不同位置的關(guān)鍵點劃分為多個子集合。Head={0，1，2，3，4}，Trunk={5，6，11，12}，Limbs_in={7，8，13，14}，Limbs_outer={9，10，15，16}。Head集合為頭部關(guān)鍵點子集，Trunk為軀干關(guān)鍵點子集，Limbs_in為四肢關(guān)鍵點內(nèi)環(huán)子集，Limbs_outer為四肢關(guān)鍵點外環(huán)子集。進(jìn)行人體動作分析時，一般認(rèn)為關(guān)鍵點子集Head、Trunk所在區(qū)域為人體的剛體部分。

針對不同部件對應(yīng)關(guān)鍵節(jié)點子集合，提出融合注意力機制的視頻異常檢測模型。注意力機制的作用是幫助找到感興趣的目標(biāo)區(qū)域，通過注意力模塊對人體關(guān)鍵點特征重新分配權(quán)重，從而突出人體行為中有價值的部分而抑制無關(guān)部分，使得異常檢測聚焦于人體關(guān)鍵點的感興趣目標(biāo)區(qū)域，以實現(xiàn)異常檢測的準(zhǔn)確性。對不同的關(guān)鍵點子集施以不同的權(quán)重，構(gòu)造人體關(guān)鍵點的特征描述集合，如式（3）：

（3）

式中：ω1，ω2，ω3，ω4為權(quán)重值，按遞增值設(shè)置。

2 行人行為數(shù)據(jù)獲取、特征提取和增強

使用AlphaPose人體姿態(tài)估計算法獲取人體關(guān)鍵點信息，在此基礎(chǔ)上加入目標(biāo)跟蹤算法，將視頻中每個人物的ID號與關(guān)鍵點信息相匹配，可實時獲取視頻中每一幀人物ID對應(yīng)的關(guān)鍵點信息。視頻中不同位置行人與監(jiān)控設(shè)備之間的距離、不同設(shè)備獲取視頻的像素問題等因素，都會影響對人體不同部位屬性的關(guān)鍵點數(shù)據(jù)值。因此，依據(jù)人體質(zhì)心點坐標(biāo)，將世界坐標(biāo)系下坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)，獲得視頻中所有人物關(guān)鍵點信息相對于自身質(zhì)心點的偏移量，消除人體屬性值之間的量綱影響。在視頻幀內(nèi)和視頻幀間，通過特征選擇以及特征增強對不同特征屬性執(zhí)行不同處理，最后針對不同的異常行為，依據(jù)相應(yīng)的判別規(guī)則對視頻中行人異常行為進(jìn)行標(biāo)記。視頻異常行為判別模型體系結(jié)構(gòu)如圖3所示。

2.1 人體局部坐標(biāo)系下的特征提取

對于人體關(guān)鍵點數(shù)據(jù)進(jìn)行特征工程處理時，常包括數(shù)據(jù)預(yù)處理、特征選擇、特征增強以及維度壓縮等步驟。視頻中行人位置、距離、角度以及視頻分辨率往往各不相同，對不同行人的數(shù)據(jù)作歸一化處理，使數(shù)據(jù)具有可比性。建立單個行人的人體局部坐標(biāo)系，以質(zhì)心為原點構(gòu)建局部坐標(biāo)系示意圖，如圖4所示。將人體姿態(tài)估計獲得的世界坐標(biāo)系下的坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)。

獲取人體質(zhì)心坐標(biāo)。取人體左、右髖關(guān)節(jié)連線的中點作為骨盆中心坐標(biāo)，然后取人體左、右肩關(guān)節(jié)連線的中點作為脖子坐標(biāo)，取脖子與骨盆中心的中點作為人體的質(zhì)心坐標(biāo)（xc， yc）。在世界坐標(biāo)系下，設(shè)人體所有關(guān)鍵點信息為Pi={（xi， yi）|i=0， 1， ...， 16}，則質(zhì)心橫坐標(biāo)xc和縱坐標(biāo)yc的計算公式

如下：

（4）

（5）

式中：i表示關(guān)鍵點標(biāo)號；n=4為關(guān)鍵點個數(shù)。對每個關(guān)鍵點（xi， yi）計算相對質(zhì)心（xc， yc）的位置坐標(biāo)，將世界坐標(biāo)轉(zhuǎn)化為局部坐標(biāo)，規(guī)定向上為y軸正方向，因此所有關(guān)鍵點局部坐標(biāo)系下的坐標(biāo)為（xi-xc， yc-yi）。局部坐標(biāo)系下，對人體坐標(biāo)進(jìn)行標(biāo)準(zhǔn)化處理。假設(shè)人體局部坐標(biāo)為（rl， sl），經(jīng)過標(biāo)準(zhǔn)化后的坐標(biāo)為（r， s），則（rl， sl）到（r， s）的映射關(guān)系如式（6）

所示：

（6）

式中：width和height為視頻中檢測到的每個行人檢測框的寬度和高度。

2.2 基于注意力機制的特征信號增強

注意力機制源于人類視覺機制研究，用于關(guān)注視頻圖像中對判斷有利的信息，而忽略不相關(guān)的部分[16]，對于提取特征、分類判別可起到有效的提高作用。對人體行為進(jìn)行特征統(tǒng)計，構(gòu)建經(jīng)過處理后的人體行為特征屬性集合attribute_set{image_id，keypoints，box，idx，center，local，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}。

image_id為視頻幀的id號，keypoints為關(guān)鍵點數(shù)據(jù)向量，長度為3m，包含位置信息和檢測置信度信息，格式為：“x1， y1， c1， x2， y2， c2， ...”，m為行人可檢測出的關(guān)鍵點總數(shù)量，單個人體姿態(tài)關(guān)鍵點最多可檢測出17個，keypoints特征向量長度最多為51。Box的格式為[x，y，width，height]，x、y為人體檢測框左上角坐標(biāo)，width、height為人體檢測框的寬和高。idx為人體跟蹤后行人分配的ID號。Center為世界坐標(biāo)系下的人體質(zhì)心坐標(biāo)。Local為局部坐標(biāo)系下的關(guān)鍵點坐標(biāo)，格式為[x1， y1， x2， y2， ...]，共有17對。localLimbs_in為局部坐標(biāo)系下，四肢關(guān)鍵點內(nèi)環(huán)子集坐標(biāo)。localLimbs_outer為局部坐標(biāo)系下，四肢關(guān)鍵點外環(huán)子集坐標(biāo)。sum_person為行人總數(shù)，即視頻中檢測出的行人總數(shù)。

density_person為行人密度，計算該視頻中每個人與其他人員的歐式距離，以該基準(zhǔn)人員為圓心，統(tǒng)計一定距離內(nèi)的人數(shù)即為行人密度，以行人檢測框高度均值作為距離度量標(biāo)尺。iou_overlap為行人檢測框交并比，通過計算得出。speedLimbs_outer為局部坐標(biāo)系下，外環(huán)關(guān)鍵點子集移動速度絕對值的平均值。duration_overlap為行人肢體交疊持續(xù)時長，以視頻幀為單位，交疊時間越長，幀數(shù)越多。

在進(jìn)行幀間異常檢測時，選取特征向量{image_id，box，idx，center，sum_person，density_person，iou_overlap，duration_overlap，speedLimbs_outer}作為判斷依據(jù)。執(zhí)行不同的異常行為判別任務(wù)時，將注意力切換到不同的特征子集。進(jìn)行行人跌倒檢測時，選擇特征子集{image_id，box，idx，center}；進(jìn)行人群聚集性檢測時，將注意力切換到特征子集{sum_person，density_person，center}；在進(jìn)行行人扭打行為判別時，以特征子集{iou_overlap，duration_overlap，speedLimbs_outer}作為檢測依據(jù)；在進(jìn)行幀內(nèi)異常檢測時，選取特征向量{image_id，idx，local}作為檢測依據(jù)。表1給出了不同異常判別任務(wù)的特征注意力分配列表。

通過行人特征提取、特征注意力引導(dǎo)檢測方法判別行人異常。在依據(jù)幀間或幀內(nèi)數(shù)據(jù)作異常檢測時，注意力機制的作用并不完全相同。處理幀間異常時，注意力機制主要進(jìn)行特征切換，執(zhí)行不同異常檢測任務(wù)，提高方法的適用性和準(zhǔn)確性。幀內(nèi)異常檢測主要針對幀內(nèi)不同行人的行為作橫向?qū)Ρ龋ㄟ^注意力機制將關(guān)注的重點集中到人體肢體部件的非剛體部分，實現(xiàn)特征增強，提高不同類別區(qū)分度。表中√表示將注意力分配到對應(yīng)的特征屬性上。

別方法

3.1 異常行為判別的產(chǎn)生式規(guī)則

依據(jù)幀間數(shù)據(jù)作行人異常行為檢測時，關(guān)注不同的特征向量，可對指定異常行為做判別。當(dāng)目標(biāo)檢測區(qū)域有行人跌倒時，發(fā)生變化最明顯的是行人檢測框的寬度和高度，矩形框的寬高比會驟然變大，同時行人的質(zhì)心移動速度也會發(fā)生突然改變。統(tǒng)計正常情況下行人檢測框的寬高比R和速度V，從而確定寬高比參考區(qū)間Th_r=α·R和速度參考區(qū)間Th_v=β·V。當(dāng)視頻場景中出現(xiàn)扭打異常時，行人檢測框非剛體交疊面積較大且有時間延續(xù)，同時，非剛體外環(huán)關(guān)鍵點移動平均速度會產(chǎn)生較大變化。因此，通過對歷史視頻幀的統(tǒng)計確定人體檢測框交并比閾值Th_iou、交疊持續(xù)時間閾值Th_frame以及外環(huán)關(guān)鍵點速度區(qū)間Th_speed=γ·speedLimbs_outer，從而判定扭打異常。上述式中，α，β，γ為安全容許參數(shù)。正常情況下，以每個人為圓心，單位距離內(nèi)行人總數(shù)應(yīng)不大于限制閾值NUM_persons，否則，可判定當(dāng)前場景出現(xiàn)聚集性行為。定義產(chǎn)生式規(guī)則集合F{f1， f2， f3}來區(qū)分正常和異常行為，其中f1、f2和f3分別表示不同異常行為的判別規(guī)則。產(chǎn)生式規(guī)則公式如下：

（7）

（8）

（9）

式（7）～式（9）中：0和1分別表示視頻中正常行為和異常行為。式中各區(qū)間通過使用等長滑動窗口來確定。

3.2 幀內(nèi)異常行為判別的局部離群因子算法

異常數(shù)據(jù)點通常是數(shù)據(jù)點集合中的離群點，因此人體異常行為判別可以看作是對離群點的檢測。局部離群因子檢測方法（Local Outlier Factor，LOF）是一種基于密度的方法，核心思想是異常與否取決于局部環(huán)境。采用LOF算法分別計算每個數(shù)據(jù)點的局部可達(dá)密度和離群因子，因子值越大，表示離群程度越高，否則離群程度越低。統(tǒng)計不同視頻樣本，設(shè)置離群因子閾值，判定視頻中行人狀態(tài)。算法計算過程

如下：

（1）首先計算每個點的第k距離鄰域內(nèi)各點的第k可達(dá)距離：

（10）

式中：dk（o）為點o的第k距離；d（o， p）為點o到點p的距離。

（2）對經(jīng)過注意力機制融合增強后的特征信號，計算每個點的局部第k可達(dá)密度：

（11）

式中：Nk（p）為p點的第k距離鄰域。

（3）計算每個行人關(guān)鍵點信息的第k局部離群因子：

（12）

（4）根據(jù)離群因子設(shè)定閾值執(zhí)行判斷。當(dāng)離群因子大于給定閾值時，判別該行人有異常行為，否則認(rèn)定為正常。

4 實驗與分析

使用Auenue和FallDataset數(shù)據(jù)集測試文中模型的有效性。正常行為被定義為行人在地鐵口方向上平行行走，異常行為包括行人投擲物品、快速奔跑、意外摔倒以及推動自行車等。實驗數(shù)據(jù)樣本幀數(shù)不同，樣本平均幀數(shù)為300幀，總幀數(shù)為30 337幀，分別基于幀間、幀內(nèi)視頻數(shù)據(jù)作對比分析，判別行人異常行為。

4.1 依據(jù)幀間數(shù)據(jù)的檢測實驗結(jié)果

依據(jù)幀間數(shù)據(jù)特征注意力機制，按等長滑動窗口取歷史幀數(shù)據(jù)做分析，根據(jù)視頻長度確定滑動窗口大小為30。正常情況下，行人檢測框?qū)捀弑葏^(qū)間Th_r=α·R，α∈（0.5，1.3），速度區(qū)間Th_v=β·V，β∈（0.8，1.2），檢測框交并比閾值Th_iou為0.3，交疊持續(xù)時間閾值Th_frame為20，外環(huán)關(guān)鍵點速度區(qū)間Th_speed=γ·speedLimbs_outer，γ∈（0.8，1.2）。計算當(dāng)前滑動窗口內(nèi)各個指標(biāo)平均值，以確定式中α，β，γ的值，得到其安全容許范圍，算法對參數(shù)大小并不敏感。結(jié)合產(chǎn)生式規(guī)則f1、f2，測試視頻的結(jié)果如圖5所示，圖5（a）為正常行走檢測結(jié)果，圖5（b）、圖5（c）為摔倒異常檢測結(jié)果，圖5（d）為扭打異常。圖中ID號后為檢測結(jié)果，正常用“normal”標(biāo)記，異常用紅色“abnormal”標(biāo)記。

利用FallDataset數(shù)據(jù)集和搜集的視頻數(shù)據(jù)做幀間異常行為檢測。文獻(xiàn)[17]采用靜態(tài)和動態(tài)檢測方法檢測視頻中的行人跌倒異常，文中方法與文獻(xiàn)[17]對比，算法性能的多項指標(biāo)見表2所列。

4.2 依據(jù)幀內(nèi)數(shù)據(jù)的實驗結(jié)果

研究幀內(nèi)多人共存的視頻異常行為判別問題，將人體非剛體關(guān)鍵點子集Limbs_in和Limbs_outer信號做增強，人體關(guān)鍵點的特征描述集合為F={ω1·Head， ω2·Trunk， ω3·Limbs_in， ω4·Limbs_outer}，考慮到人體不同部位關(guān)鍵點對行為貢獻(xiàn)程度不同，按照肢體關(guān)鍵點距離質(zhì)心點位置的外周遠(yuǎn)近不同設(shè)置不同的權(quán)重，經(jīng)多次試驗測試，將權(quán)重值ω1，ω2，ω3，ω4按遞增值設(shè)置為0，1，2，3后，幀內(nèi)異常行為檢測效果較好，然后采用LOF方法。Auenue數(shù)據(jù)集上幀內(nèi)異常檢測結(jié)果如圖6所示。圖中用不同顏色的矩形框區(qū)分不同的人物，正常用白色normal表示，否則用紅色abnormal表示。

在幀內(nèi)異常檢測過程中，使用注意力機制和未使用注意力機制檢測視頻中行人異常行為效果和異常分?jǐn)?shù)，如圖7所示。未添加注意力的ID-6、ID-7號行人離群因子（outlier）均為1以上，為離群點，因此state為abnormal，均被判定為異常。添加注意力機制之后只有ID-6號行人離群因子（outlier）超過1，因此被判定為異常，降低了誤檢率。

分析注意力機制對異常檢測準(zhǔn)確率的影響，使用Avenue數(shù)據(jù)集中295幀和FallDataset數(shù)據(jù)集中303幀視頻，分別測試其準(zhǔn)確率：

Accuracy=（TP+TN）/（TP+FP+TN+FN）" " " " " " " "（13）

式中：TP為真正例（True Position）；FP為假正例（False Position）；FN為假反例（False Negative）；TN為真反例 （True Negative）。準(zhǔn)確率表示正確識別正常和異常行為幀數(shù)占總幀數(shù)的比例。有注意力機制和無注意力機制的實驗結(jié)果見表3所列，可以看出，引入注意力機制可以有效提高異常檢測的準(zhǔn)確率。

本次實驗做的是短視頻異常檢測分析，當(dāng)檢測長視頻時，可以根據(jù)關(guān)鍵幀抽取長視頻的視頻片段，劃分歷史幀窗口，再做基于幀間數(shù)據(jù)的統(tǒng)計分析。文中行人的正常狀態(tài)特征數(shù)據(jù)區(qū)間是根據(jù)現(xiàn)有數(shù)據(jù)集統(tǒng)計得到，實際應(yīng)用過程中，可設(shè)置和調(diào)整安全系數(shù)，以提供不同級別的安全預(yù)警。行人再識別不是文章研究的重點，實驗中假設(shè)為理想情況，認(rèn)為能夠準(zhǔn)確跟蹤到每個行人，沒有目標(biāo)丟失。

5 結(jié) 語

目前的異常判別方法很難廣泛部署于監(jiān)控攝像系統(tǒng)，文中針對視頻中的異常行為，從廣義、相對角度研究問題，提出一個通用框架，利用產(chǎn)生式規(guī)則方法良好的解釋性，融合注意力增強策略，進(jìn)行視頻異常行為判別。文中方法可面向不同檢測任務(wù)進(jìn)行視頻幀內(nèi)和幀間數(shù)據(jù)多種異常行為分析。利用特征注意力機制，將不同特征子集賦予不同的權(quán)重。使用離群異常因子標(biāo)記行人的離群程度，實現(xiàn)行人異常行為判斷。文中方法思路簡單，易于在監(jiān)控系統(tǒng)終端硬件上部署，此舉將對提升異常檢測的智能化水平提供有力支持。

參考文獻(xiàn)

[1]張曉平，紀(jì)佳慧，王力，等. 基于視頻的人體異常行為識別與檢測方法綜述[J].控制與決策，2022，37（1）：14-27.

[2]于俊俊，朱立軍. 基于金字塔LK光流法的電梯內(nèi)異常行為檢測[J].物聯(lián)網(wǎng)技術(shù)，2022，12（6）：27-30.

[3] RAMACHANDRA B，JONES M，VATSAVAI R. Learning a distance function with a Siamese network to localize anomalies in videos [C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020：2598-2607.

[4]祝文斌，苑晶，朱書豪，等. 低光照場景下基于序列增強的移動機器人人體檢測與姿態(tài)識別[J].機器人，2022，44（3）：299-309.

[5] WU C，CHENG Z. A novel detection framework for detecting abnormal human behavior [J]. Mathematical problems in engineering，2020：1-9.

[6]文峰，劉飛，黃海新. 室內(nèi)場景下人體行為異常檢測方法研究[J].沈陽理工大學(xué)學(xué)報，2022，41（2）：20-25.

[7] HUANG C，GUAN H，JIANG A，et al. Registration based few-shot anomaly detection [C]// European Conference on Computer Vision. Cham：Springer Nature Switzerland，2022：303-319.

[8] WU J C，CHEN D J，F(xiàn)UH C S，et al. Learning unsupervised metaformer for anomaly detection [C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021：4369-4378.

[9] GEORGESCU M I，BARBALAU A，IONESCU R T，et al. Anomaly detection in video via self-supervised and multi-task learning [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021：12742-12752.

[10]程媛，吳帆，張寧，等. 地鐵應(yīng)用場景中半監(jiān)督群體異常行為檢測模型[J].城市軌道交通研究，2023，26（5）：17-22.

[11]邢天祎，郭茂祖，陳加棟，等. 基于空時對抗變分自編碼器的人群異常行為檢測[J].智能系統(tǒng)學(xué)報，2023，18（5）：994-1004.

[12]陳辛，楊江濤，許新云. 基于光流法優(yōu)化的人群異常行為檢測研究[J].現(xiàn)代電子技術(shù)，2023，46（12）：168-174.

[13]張紅民，房曉冰，莊旭. 融合注意力機制的自編碼器視頻人體異常行為檢測模型[J].激光雜志，2023，44（2）：69-75.

[14] XU J，ZHAO R，ZHU F，et al. Attention-aware compositional network for person re-identification [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：2119-2128.

[15] FANG H S，XIE S，TAI Y W，et al. Rmpe：Regional multi-person pose estimation [C]// Proceedings of the IEEE International Conference on Computer Vision. 2017：2334-2343.

[16]譚龍，高昂. 感受野特征增強的SSD目標(biāo)檢測算法[J].計算機研究與發(fā)展，2020，63（9）：149-155.

[17]劉舒婷. 基于視頻監(jiān)控的室內(nèi)場所異常檢測[D].大連：大連交通大學(xué)，2018.

基金項目：遼寧省自然科學(xué)基金機器人學(xué)國家重點實驗室聯(lián)合開放基金（2022-KF-12-08）；遼寧省教育廳高等學(xué)?；究蒲许椖浚↙JKZ0267）