基于深度學(xué)習(xí)的行人異常行為檢測

摘 要：行人異常行為分析是智能安防領(lǐng)域的研究熱點(diǎn)，但是傳統(tǒng)方法存在計(jì)算復(fù)雜度高和數(shù)據(jù)利用率低的缺點(diǎn)，難以滿足實(shí)際場景需求。本文采用貪心算法提取視頻圖像中的人體關(guān)鍵點(diǎn)，并結(jié)合親和度對比規(guī)則獲得人體骨架圖特征參量，輸入Inception v3深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，創(chuàng)建行人異常行為判決模型。同時改進(jìn)Inception v3模型輸出層，以適應(yīng)行人異常行為識別任務(wù)，并引入人臉識別功能。試驗(yàn)結(jié)果顯示，基于深度學(xué)習(xí)的行人異常行為識別具有更高的準(zhǔn)確率和更快的計(jì)算速度。該方法為提升行人異常行為識別精度提供了有效解決方案，有望在實(shí)際安防場景中發(fā)揮重要作用。

關(guān)鍵詞：深度學(xué)習(xí)；人體動作識別；人臉識別

中圖分類號：TP 183 " 文獻(xiàn)標(biāo)志碼：A

為了保障公共場所的安全，通常需要在各處安裝監(jiān)控攝像頭。然而，這些攝像頭需要人工管理，可能會導(dǎo)致監(jiān)控不到位。為了解決該問題，行人異常行為識別技術(shù)利用計(jì)算機(jī)視覺分析視頻或圖像數(shù)據(jù)檢測異常行為，并通過預(yù)警系統(tǒng)及時采取措施，可以有效預(yù)防意外事件。該技術(shù)可識別街頭斗毆、老人摔倒和可疑人員徘徊等異常行為，特別適用于銀行或珠寶店等特定場景。現(xiàn)有算法包括基于視覺特征、基于物體軌跡和基于深度學(xué)習(xí)的方法[1-5]。

然而，基于視覺特征的方法的設(shè)計(jì)和計(jì)算較復(fù)雜，難以反映行為特性?；谝曈X特征和物體軌跡的方法對圖像要求較高，當(dāng)圖像中的人被遮擋時，其跟蹤性能會明顯下降，導(dǎo)致異常檢測結(jié)果的正確率下降。相比之下，基于深度學(xué)習(xí)的異常行為檢測方法能夠有效表示行為特性，準(zhǔn)確率更高，計(jì)算復(fù)雜性更低，原因是深度學(xué)習(xí)方法可以利用多層非線性變換，從原始圖像中學(xué)習(xí)和挖掘復(fù)雜的非線性行為特征表示。與基于人工特征的異常檢測相比，由深度學(xué)習(xí)得到的特征是計(jì)算機(jī)自適應(yīng)選擇的特征，具有更強(qiáng)的分類能力。

1 流程設(shè)計(jì)

基于深度學(xué)習(xí)的行人異常行為識別主要包括預(yù)處理、特征提取、深度學(xué)習(xí)訓(xùn)練、深度學(xué)習(xí)測試、人臉識別和邏輯判斷等流程，如圖1所示。

首先，對監(jiān)控視頻進(jìn)行視頻分幀和灰度化預(yù)處理等操作。其次，分別提取人體關(guān)鍵點(diǎn)，并進(jìn)行關(guān)鍵點(diǎn)分類和連接，定位人臉、提取其特征并保存于人臉庫，獲取人體骨架圖和人臉特征數(shù)據(jù)。再次，搭建深度學(xué)習(xí)模型，并用部分人體骨架圖進(jìn)行訓(xùn)練。訓(xùn)練完成后，將剩余人體骨架圖輸入深度學(xué)習(xí)模型，進(jìn)行人體異常行為識別測試，獲取行人異常行為等級。同時，逐一比較提取的人臉特征與人臉庫中的特征，評估人臉出現(xiàn)的頻率，得出行人異常行為等級。最后，綜合2個異常行為等級，得出最異常行為評估結(jié)果，進(jìn)行邏輯判斷，并輸出相應(yīng)結(jié)果。

2 特征提取

2.1 人體關(guān)鍵點(diǎn)特征提取

人體關(guān)鍵點(diǎn)檢測又稱為人體姿態(tài)估計(jì)，是計(jì)算機(jī)視覺中的基礎(chǔ)任務(wù)，是人體動作識別、行為分析和人機(jī)交互等的前置任務(wù)。組合15～18個關(guān)鍵節(jié)點(diǎn)即可表示動作，例如揮拳、踢腿和行走等。因此，本文采用貪心算法提取人體關(guān)鍵點(diǎn)來描述行為動作。貪心算法是一種自下而上的方法。傳統(tǒng)的姿態(tài)估計(jì)采用自上而下的人體關(guān)鍵點(diǎn)提取算法，即先檢測每個人，再提取其關(guān)鍵點(diǎn)。該方法對單人關(guān)鍵點(diǎn)的提取效果較好，但是當(dāng)處理多人時，速度會隨人數(shù)增加而下降，也可能將接近的人誤合并為一個，影響結(jié)果準(zhǔn)確性，因此在復(fù)雜場景下表現(xiàn)不佳。相比之下，OpenPose[6]采用的貪心算法能夠先檢測所有人的關(guān)鍵點(diǎn)，再得到完整的人體骨架，提高了準(zhǔn)確性，減少了計(jì)算時間。該方法具有較好的魯棒性，適用于單人和多人，即使部分人被遮擋也能定位關(guān)鍵點(diǎn)位置。

OpenPose框架如圖2所示。OpenPose由2個并行分支組成，一個分支用于人體關(guān)鍵點(diǎn)提取，另一個分支用于人體部位親和度計(jì)算。首先，對圖像進(jìn)行特征提取，得到人體關(guān)節(jié)的特征數(shù)據(jù)。其次，將這些特征一起輸入分支網(wǎng)絡(luò)。分支網(wǎng)絡(luò)均包括t個階段，能夠進(jìn)行細(xì)化處理，并對特征圖進(jìn)行特征結(jié)合處理，其中ρ和φ表示卷積神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練過程中，每個階段均生成損失，以避免梯度消失問題。在預(yù)測過程中，僅使用最后一層的輸出。

因此，本文使用OpenPose模型進(jìn)行人體關(guān)鍵點(diǎn)預(yù)測和人體部位親和度計(jì)算。這些關(guān)鍵點(diǎn)包括鼻子、頸部、右肩、右肘、右腕、左肩、左肘、左腕、右腰、右膝、右踝、左腰、左膝、左踝、右眼、左眼、右耳以及左耳。將OpenPose預(yù)測的人體關(guān)鍵點(diǎn)置信圖中置信度大的區(qū)域放大，從該區(qū)域中查找置信度最大的點(diǎn)，將其作為人體關(guān)鍵點(diǎn)，分別如圖3（a）、圖3（b）所示。

由于OpenPose預(yù)測的是不同人的所有人體關(guān)鍵點(diǎn)，因此在得到所有人的關(guān)鍵點(diǎn)后，需要將其進(jìn)行分類，為關(guān)鍵點(diǎn)連接做準(zhǔn)備。所謂人體關(guān)鍵點(diǎn)分類就是將人體關(guān)鍵點(diǎn)以不同的人為單位進(jìn)行歸類，其核心思想是將2個候選關(guān)鍵點(diǎn)組中的任意2個候選關(guān)鍵點(diǎn)進(jìn)行組合，進(jìn)而從2個關(guān)鍵點(diǎn)間取10個點(diǎn)，再計(jì)算10個點(diǎn)的向量，并與OpenPose計(jì)算的人體部位親和度進(jìn)行比較，如圖3（c）所示。如果10個點(diǎn)的向量與OpenPose輸出的人體部位親和度方向具有一定的符合度，那么可以證明是有效的組合。將有效組合保存到同一矩陣中，這些組合包括頸部-右腰、右腰-右膝、右膝-右踝、頸部-左腰、左腰-左膝、左膝-左踝、頸部-右肩、右肩-右肘、右肘-右腕、頸部-左肩、左肩-左肘、左肘-左腕、鼻子-頸部、右眼-鼻子、左眼-鼻子、右耳-右眼以及左耳-左眼，以此順序在純黑色背景中進(jìn)行連接。值得注意的是，如果人體關(guān)鍵點(diǎn)組合中缺失某個人體關(guān)鍵點(diǎn)，就不進(jìn)行與該點(diǎn)相關(guān)的連接。待全部關(guān)鍵點(diǎn)連接完畢后，將其以圖片的形式保存為人體骨架圖，如圖4所示。

2.2 人臉特征提取

進(jìn)行人臉特征提取需要先進(jìn)行人臉定位。本文將視頻分幀獲得的圖片進(jìn)行了灰度化處理，以消除膚色對人臉檢測的干擾。再采用OpenCV庫中基于haar特征的快速人臉檢測分類器對人臉進(jìn)行檢測，將定位得到的人臉單獨(dú)截取并保存為人臉圖片，如圖5（a）所示。得到人臉圖片后，由于人距離攝像頭的距離不同，因此截取的人臉可能大小不一，會影響特征提取結(jié)果?？梢栽趯θ四槇D片進(jìn)行特征提取前，先對人臉圖片進(jìn)行縮放處理，以消除由人臉大小不同導(dǎo)致的誤差，如圖5（b）所示。對人臉圖片進(jìn)行縮放后，再使用Dlib庫提取68個人臉特征，例如臉龐輪廓、眼睛、眉毛、鼻子和嘴巴等，如圖5（c）所示。

對人臉68個特征點(diǎn)進(jìn)行定位后，使用深度殘差網(wǎng)絡(luò)，將68個人臉信息特征點(diǎn)提取成一個128維的向量空間，并保存到人臉庫中，用于人臉對比。在該向量空間上，同一個人臉的距離更接近，不同人臉的距離更遠(yuǎn)，使用歐式距離進(jìn)行表示。臉部特征越相似，獲得的值就越小，即可認(rèn)為二者為同一個人；反之，二者為不同的2個人，如公式（1）所示。

（1）

式中：x1，y1，…，z1為數(shù)據(jù)庫中的人臉特征；x2，y2，…，z2為定位的人臉特征。

根據(jù)多次調(diào)試，將閾值定義為0.5，如果得到的結(jié)果大于閾值，那么證明不是同一個人，反之則是同一個人。該人臉識別結(jié)果可以用于檢測人臉出現(xiàn)頻率。

將獲得的人體骨架圖分為訓(xùn)練集和測試集2個部分，為訓(xùn)練集中的數(shù)據(jù)手工添加標(biāo)簽，進(jìn)而導(dǎo)入模型進(jìn)行深度學(xué)習(xí)訓(xùn)練。訓(xùn)練過程如圖6所示。

試驗(yàn)證明，經(jīng)過1000次迭代后，訓(xùn)練準(zhǔn)確率為97%，交叉熵為0.14，使用測試集測試的準(zhǔn)確率為80.5%。

3 行人異常行為識別

將人體關(guān)鍵點(diǎn)圖導(dǎo)入訓(xùn)練好的深度學(xué)習(xí)模型，得到分類結(jié)果和所占比例。多次調(diào)試后，將異常行為閾值設(shè)置為0.55。如果分類結(jié)果為異常且所占比例超過閾值，將異常等級增加2級。同時，將監(jiān)控視頻分幀得到的圖片進(jìn)行人臉特征檢測，得到人臉128維向量空間，與人臉庫中所有人的128維向量空間進(jìn)行歐式距離度量，以判斷該人出現(xiàn)次數(shù)。如果出現(xiàn)次數(shù)超過20%，那么將異常等級增加1級；如果超過35%，那么將異常等級增加2級。最后對異常等級進(jìn)行邏輯判決，如果異常等級為0，那么說明行人無異常行為；否則，行人存在異常行為，并輸出異常行為等級。

4 結(jié)語

本文采用貪心算法提取視頻圖像中的人體關(guān)鍵點(diǎn)，并基于人體部位親和度對比規(guī)則進(jìn)行分類和連接，從而獲得人體骨架圖特征參量。這些特征被輸入Inception v3深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，以創(chuàng)建行人異常行為判決模型。此外，本文改進(jìn)了Inception v3模型的輸出層，使其更適用于行人異常行為的識別任務(wù)。為提升異常行為識別精度，本文引入了人臉識別功能。采用Haar特征提取算法定位視頻圖像中的人臉，并利用Dlib庫精確定位人臉的68個特征點(diǎn)。將這些特征點(diǎn)輸入深度殘差網(wǎng)絡(luò)人臉識別模型中，生成表示人臉特征的128維向量空間，用于建立人臉庫和后續(xù)的人臉識別任務(wù)。試驗(yàn)結(jié)果顯示，與傳統(tǒng)的基于人工特征的方法相比，基于深度學(xué)習(xí)的行人異常行為識別具有更高的識別率和更快的計(jì)算速度。

參考文獻(xiàn)

[1]趙榮泳，韋炳宇，朱文杰，等.公共場所行人異常行為識別方法綜述[J].中國安全科學(xué)學(xué)報，2024，34（2）：83-93.

[2]胡瑗，夏利民，王嘉.基于軌跡分析的行人異常行為識別[J].計(jì)算機(jī)工程與科學(xué)，2017（11）：88-93.

[3]秦彬鑫，路紅，邱春，等.一種基于運(yùn)動分析的行人異常行為檢測[J].電訊技術(shù)，2022，62（4）：457-465.

[4]熊文靜，袁蒙蒙.基于機(jī)器視覺的行人異常行為檢測方法[J].信息與電腦（理論版），2023，35（6）：117-119.

[5]邱鵬，鄧秀慧，霍瑛.復(fù)雜環(huán)境中一種基于深度學(xué)習(xí)的異常檢測方法[J].科學(xué)技術(shù)與工程，2018，18（10）：231-234.

[6]CAO Z，HIDALGO G，SIMON T，et al.OpenPose：Realtime

multi-person 2D pose estimation using part affinity fields[J].IEEE

Transactions on pattern analysis and machine intelligence，2021，43（1）：172-186.

通信作者：金康（1994—），男，湖北荊州市人，本科，武昌首義學(xué)院專任教師，研究方向?yàn)槿斯ぶ悄?計(jì)算機(jī)視覺。

電子郵箱：jinkang@wsyu.edu.cn。