基于YOLOv4改進(jìn)算法的人群異常行為檢測研究

施新凱，張雅麗，李御瑾，趙佳鑫

（中國人民公安大學(xué)信息網(wǎng)絡(luò)安全學(xué)院，北京 100038）

0 引言

隨著經(jīng)濟(jì)文化的快速發(fā)展，人們的社會活動也與日俱增，交通出行站點、大型活動現(xiàn)場以及大型商場等公共場所會出現(xiàn)人群聚集的情況，人群聚集往往可能出現(xiàn)矛盾糾紛事件，主要包括打架斗毆、非法縱火、打砸公物等。利用智能視頻異常檢測技術(shù)能夠?qū)θ巳寒惓Ｐ袨檫M(jìn)行檢測并預(yù)警，可以減少群體性非法事件的惡化，保障群眾的生命財產(chǎn)安全。

Afiq 等將異常檢測分為基于高斯混合模型、隱馬爾可夫模型、光流法和時空技術(shù)等傳統(tǒng)方法。傳統(tǒng)的異常行為檢測方法在區(qū)域選擇及特征提取方面需要人工參與較多，客觀性不足且多數(shù)異常場景較為單一，滿足不了當(dāng)今人群異常事件檢測的精度和速度要求?；谏疃葘W(xué)習(xí)的人群異常事件檢測更有利于特征提取和場景遷移。彭月平等利用三維卷積神經(jīng)網(wǎng)絡(luò)（C3D）提取HOG 時空特征，提高了對人群行為的表征能力。胡學(xué)敏等將視頻幀劃分為大小相同且互不重疊的子區(qū)域以實現(xiàn)異常人群定位，然后將子區(qū)域輸入改進(jìn)的C3D 模型提取行為特征并輸出正異常分類概率。羅凡波等將視頻分割成多個子區(qū)域，并基于YOLOv3算法檢測異常行為的誘因，然后利用光流法獲取人群的平均動能判斷人群是否出現(xiàn)異常。熊饒饒等提出一種新的綜合光流直方圖特征描述人群行為，采用SVM 作為分類器，并利用網(wǎng)格遍歷搜索法結(jié)合交叉驗證法獲取最佳參數(shù)對分類器訓(xùn)練。李萌等提出一種相互作用力直方圖（HOIF）用來描述運動信息特征，將其與顯著性信息特征相融合送入支持向量機（SVM）進(jìn)行學(xué)習(xí)訓(xùn)練，從而對人群事件進(jìn)行分類。張娓娓等提出一種改進(jìn)的C3DRF 檢測方案，在保證對異常行為分類精度的同時，顯著提升了訓(xùn)練效率。

但當(dāng)前人群異常事件檢測研究存在不足，主要因為異常行為在不同場景下定義不同，難以泛化；異常事件發(fā)生概率低導(dǎo)致正負(fù)樣本不均衡，難以學(xué)習(xí)足夠的異常行為特征；異常檢測實時性差，無法滿足當(dāng)前視頻目標(biāo)追蹤的需求。隨著深度學(xué)習(xí)在目標(biāo)檢測領(lǐng)域的快速應(yīng)用，用目標(biāo)檢測的方式檢測人群中的異常目標(biāo)，檢測準(zhǔn)確率以及實時性可滿足對監(jiān)控視頻數(shù)據(jù)處理的要求。其中，YOLOv4算法在目標(biāo)檢測領(lǐng)域已經(jīng)較為成熟，其檢測準(zhǔn)確率及檢測速率均優(yōu) 于SSD、YOLOv3、Faster-RCNN。目前，有關(guān)YOLOv4改進(jìn)算法的研究中，主要改進(jìn)思路是提高網(wǎng)絡(luò)的特征提取能力，從而提升模型的MAP 值。陳夢濤等通過在原主干網(wǎng)路中嵌入新型注意力機制CA 模塊，提升了網(wǎng)絡(luò)對小目標(biāo)的特征提取能力?？祹浀忍岢隽嗽赮OLOv4 主干網(wǎng)中加入混合空洞卷積，提高了網(wǎng)絡(luò)對行人特征的提取能力。

本文針對YOLOv4算法的主要改進(jìn)方法是在主干網(wǎng)絡(luò)區(qū)域增加兩層卷積模塊，為深層的網(wǎng)絡(luò)傳遞更多的位置信息，且采用移動指數(shù)平均值（EMA）更新網(wǎng)絡(luò)參數(shù)來優(yōu)化訓(xùn)練模型；然后用Mixup 代替YOLOv4 中的Mosica 數(shù)據(jù)增強的方法，以便增大訓(xùn)練的數(shù)據(jù)集；最后改進(jìn)YOLOv4的特征融合結(jié)構(gòu)（PAN），從而在特征融合時傳遞更多的語義信息。

1 YOLOv4改進(jìn)算法

1.1 改進(jìn)Mixup替代Moscia函數(shù)

YOLOv4算法使用的是Moscia 數(shù)據(jù)增強的方法，在理論上與CutMix 有一定的相似性，Cut-Mix 是將兩張圖片進(jìn)行拼接，Moscia 是每次讀取四張圖片進(jìn)行縮放、翻轉(zhuǎn)、合并成一張圖片對其檢測，如圖1所示。

圖1 YOLOv4采用的Moscia數(shù)據(jù)增強方法

為增大訓(xùn)練的數(shù)據(jù)集、提升算法的魯棒性，本文采用Mixup 替代Moscia 數(shù)據(jù)增強函數(shù)。但Mixup 函數(shù)采用的是Beta 分布函數(shù)，Beta 分布函數(shù)原理是直接對圖像進(jìn)行疊加，對圖像語義特征進(jìn)行融合，而這樣圖像并不能展現(xiàn)原圖像中豐富的語義信息。因此本文在其基礎(chǔ)上對Mixup函數(shù)圖像融合的方式進(jìn)行了一定的修改，采用0.2～0.8的均勻分布來選取圖像融合的系數(shù)，可以讓原來的圖像特征表達(dá)得更加豐富，效果如圖2所示。

圖2 Mixup改進(jìn)版圖像增強效果

1.2 主干特征提取網(wǎng)絡(luò)改進(jìn)

本文借鑒Resnet 殘差網(wǎng)絡(luò)的思想，加深網(wǎng)絡(luò)長度為深層網(wǎng)絡(luò)傳遞更多的位置信息。但如果在淺層的網(wǎng)絡(luò)結(jié)構(gòu)中增加更多的卷積結(jié)構(gòu)會導(dǎo)致整體網(wǎng)絡(luò)難以訓(xùn)練，且沒有明顯的效果提升；如果在深層網(wǎng)絡(luò)添加卷積結(jié)構(gòu)會導(dǎo)致整體網(wǎng)絡(luò)參數(shù)增長比較大，進(jìn)而引起模型檢測速度的大幅度降低。于是在Darknet53 的基礎(chǔ)上，在如圖3 所示的主干網(wǎng)絡(luò)區(qū)域增加兩層卷積模塊，主干特征提取網(wǎng)絡(luò)的參數(shù)量增長較少，檢測速度幾乎沒有下降。

圖3 主干特征提取網(wǎng)絡(luò)上增加兩個卷積模塊

1.3 EMA更新網(wǎng)絡(luò)參數(shù)

為提高模型的測試指標(biāo)并增加其魯棒性，本文提出使用指數(shù)移動平均值（EMA）更新網(wǎng)絡(luò)參數(shù)。EMA 是用來估計變量的局部均值，從而使得時刻變量的數(shù)值不只是取決當(dāng)前時刻的數(shù)據(jù)，而是對時刻附近進(jìn)行加權(quán)平均，使得更新得到的數(shù)值變得更加平滑，不會受到某次異常數(shù)據(jù)的影響，提升模型的魯棒性。原EMA 算法如公式（1）所示。

式中v表示第次更新的所有參數(shù)移動平均數(shù)，表示權(quán)重參數(shù)，θ表示在第次更新得到的所有權(quán)重參數(shù)。YOLOv4沒有采用動態(tài)的系數(shù)來更新網(wǎng)絡(luò)的權(quán)重，在此基礎(chǔ)上對引入的EMA 算法做出相應(yīng)的改進(jìn)，本文的改進(jìn)點主要是對模型每個epoch 訓(xùn)練得到的參數(shù)進(jìn)行指數(shù)平均加權(quán)計算。算法如公式（2）所示。

式中等號右邊的N是第次模型訓(xùn)練得到的結(jié)果，左邊的N是加權(quán)計算得到的結(jié)果，N- 1是第-1 次模型加權(quán)計算得到結(jié)果，是一個占比參數(shù)。由于訓(xùn)練后期模型準(zhǔn)確率逐漸提升，得到的模型參數(shù)準(zhǔn)確性較高，因此訓(xùn)練后期N- 1需降低占比參數(shù)值，訓(xùn)練初始階段需調(diào)高占比參數(shù)值。本實驗主要將模型訓(xùn)練分為四個階段，第一階段設(shè)置為0.9950，第二階段設(shè)置為0.9970，第三階段設(shè)置為0.9990，第四段設(shè)置為0.9998，實驗結(jié)果表明測試指標(biāo)和魯棒性高于原模型。

1.4 改進(jìn)PAN結(jié)構(gòu)

YOLOv4算法采用的是在FPN 的結(jié)構(gòu)上改進(jìn)的PAN 結(jié)構(gòu)，F(xiàn)PN 結(jié)構(gòu)是指自頂向下將特征提取網(wǎng)絡(luò)結(jié)構(gòu)中的高層特征與低層特征進(jìn)行融合得到的特征圖，PAN 結(jié)構(gòu)是指自底向上將低層特征與高層特征融合得到的特征圖。使用FPN+PAN 的特征融合方式相比較YOLOv3 中的FPN有著更高的語義信息，結(jié)構(gòu)如圖4所示。

圖4 YOLOv4采用的PAN結(jié)構(gòu)

為使模型融合特征效果得到進(jìn)一步的提升，借鑒FSSD采用一種新的結(jié)構(gòu)，采用的方式是將特征提取網(wǎng)絡(luò)中高層特征進(jìn)行上采樣再將這些特征進(jìn)行結(jié)合，再次使用FPN+PAN 的結(jié)構(gòu)對這些特征進(jìn)行特征融合，可以在特征融合時傳遞更多的位置信息和語義信息。改進(jìn)后的PAN結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)版的PAN結(jié)構(gòu)

2 實驗及結(jié)果分析

2.1 實驗環(huán)境及數(shù)據(jù)集

本實驗是在Ubuntu 18.0 操作系統(tǒng)的服務(wù)器上進(jìn)行編程實驗。GPU 使用的是英偉達(dá)2060，使用CUDNN 進(jìn)行GPU 加速。采用的數(shù)據(jù)集是從互聯(lián)網(wǎng)上搜集的持刀、縱火、煙霧圖片數(shù)據(jù)集。

2.2 YOLOv4算法改進(jìn)實驗

通過將搜集的持刀、縱火、煙霧的圖片數(shù)據(jù)進(jìn)行過濾，獲得火焰數(shù)據(jù)集樣本圖片357張圖片，持刀的數(shù)據(jù)集樣本圖片398張，煙霧的數(shù)據(jù)集樣本圖片1865 張，將數(shù)據(jù)集通過labellmg 對圖片進(jìn)行標(biāo)注，在訓(xùn)練模型的過程中，其中的參數(shù)設(shè)置如表1所示。

表1 YOLOv4改進(jìn)算法模型訓(xùn)練參數(shù)

將改進(jìn)版YOLOv4 算法與YOLOv4 算法訓(xùn)練的模型進(jìn)行目標(biāo)檢測，其對比效果如圖6所示。

圖6 檢測效果對比實驗

其中fire、smoke、knife 三種類別的圖像檢測準(zhǔn)確率均有提升，在圖（a）中原版YOLOv4 算法檢測knife類別時產(chǎn)生誤檢，而在圖（b）中改進(jìn)后的YOLOv4 算法能對knife 類別正確檢測。實驗結(jié)果表明改進(jìn)后算法檢測結(jié)果的置信度高于原版YOLOv4算法，改進(jìn)后的算法魯棒性更高。

2.3 實驗結(jié)果分析

本實驗主要從三個評價指標(biāo)來評價該訓(xùn)練模型，分別是： 平均精度均值（mean average precision，MAP）、召回率（recall）、每秒檢測圖片的幀數(shù)（frames per second，F(xiàn)PS），其中需引入準(zhǔn)確率（precision）。算法如公式（3）、（4）所示：

T表示預(yù)測到的正樣本的正確數(shù)量，F表示預(yù)測到的正樣本的不正確數(shù)量，F表示預(yù)測到的負(fù)樣本的不正確數(shù)量。曲線圍成的面積就是某一個類別的值，其中值是對所有類別的值進(jìn)行求平均得到的。值越大，則表示該模型識別目標(biāo)的精度越高。結(jié)果如圖7、圖8所示。

圖7 原YOLOv4算法的MAP值

圖8 改進(jìn)版YOLOv4算法的MAP值

為進(jìn)一步驗證本文改進(jìn)的YOLOv4算法的魯棒性，將原YOLOv4 算法、EMA 改進(jìn)網(wǎng)絡(luò)參數(shù)（YOLOv4_ema）算法、本文改進(jìn)算法三個算法在此數(shù)據(jù)集上進(jìn)行驗證實驗。測試平均精度均值（）、每秒檢測圖片的幀數(shù)（FPS）值，如表2所示。

表2 YOLOv4改進(jìn)算法對比結(jié)果

對比實驗數(shù)據(jù)可知，本文改進(jìn)版YOLOv4算法有更高的檢測平均精度均值，值為81.41%，原 版YOLOv4 的值 為76.43%，YOLOv4_ema 的值為78.18%。實驗表明，改進(jìn)版YOLOv4模型的檢測準(zhǔn)確率更高，且魯棒性更強，同時在處理視頻的速度上，改進(jìn)過的YOLOv4 算法FPS 略低于原版算法，但可以滿足對監(jiān)控視頻進(jìn)行實時檢測的需求。

3 結(jié)語

本文提出了基于YOLOv4改進(jìn)算法的人群異常行為檢測方法，實驗結(jié)果顯示改進(jìn)版的YOLOv4 算法在本數(shù)據(jù)集上訓(xùn)練模型得到的較原版算法提升了近5%，其中fire、smoke、knife的檢測準(zhǔn)確率較原版算法分別提升了4.64%、7.61%、2.68%；在處理視頻的速度上，改進(jìn)版YOLOv4 算法的FPS 略低于原版算法，但可以滿足對監(jiān)控視頻進(jìn)行實時檢測的需求。