基于Yolo和GOTURN的景區(qū)游客翻越行為識別

周巧瑜，曹 揚，詹瑾瑜，江 維，李 響，楊 瑞

(1.電子科技大學 信息與軟件工程學院，四川 成都 610054;2.中電科大數(shù)據(jù)研究院有限公司，貴州 貴陽 550022;3.提升政府治理能力大數(shù)據(jù)應用技術國家工程實驗室，貴州 貴陽 550022)

0 引 言

近年來隨著經(jīng)濟的快速發(fā)展，人民生活水平逐漸提高，旅游市場逐漸興起，景區(qū)監(jiān)管制度逐漸完善，在旅游景區(qū)中經(jīng)常會有很多危險行為和違規(guī)行為發(fā)生，也有一些關于游客違規(guī)行為事件的相關新聞報道。2020年11月19日，四川黃龍景區(qū)游客翻越欄桿踩踏萬年五彩池，違反了景區(qū)規(guī)定，破壞了自然景觀。2020年12月12日，國外一名女子在景區(qū)翻越欄桿擺姿勢拍照，從80米高的觀景臺跌落身亡。這些報道顯示了翻越行為對社會治安造成的不良影響，暴露出景區(qū)監(jiān)管制度的不完善。

人工通過實時監(jiān)控視頻進行特定行為識別，不僅耗費了大量人力資源，而且效率也偏低，同時，隨著應用場景的多樣性變化，特定行為識別技術受到了限制。為使特定行為識別技術發(fā)揮最大的作用，人們開始把目標轉向機器學習，應用機器學習方法對人體進行特定行為識別實現(xiàn)快速識別并且識別率較高的效果。然而，由于傳統(tǒng)機器學習方法對于翻越行為有一定的局限性，且實時性不夠高，因此，如何對特定的行為進行識別且能夠達到較高的實時性和準確率，是一個亟需解決的問題。

在視頻圖像領域中運用深度學習方法進行行為識別的技術已經(jīng)較為成熟。Karen等人提出一個時空雙流網(wǎng)絡結構(two-stream CNN)，它運用基于卷積網(wǎng)絡的時間和空間識別流得到運動信息。最后經(jīng)過Softmax后，做分類分數(shù)的融合得到行為分類。Wang Limin等人提出了一個基于視頻的動作識別框架的時間段網(wǎng)絡(TSN)，它結合了一個稀疏時間采樣策略和視頻級監(jiān)督，使用整個動作視頻的高效學習提高了動作識別的準確率。Song Sijie等人提出了一個端到端空間和節(jié)奏注意模型的人體動作識別骨架數(shù)據(jù)和一種正則化的交叉熵損失來驅動模型學習過程，并相應地制定聯(lián)合訓練策略。Du等人利用在大規(guī)模監(jiān)督視頻數(shù)據(jù)集上訓練的深度三維卷積網(wǎng)絡(3D ConvNets)進行時空特征學習，同時證明了使用線性分類器的C3D特征可以在不同的視頻分析基準上優(yōu)于或接近之前最好的方法。Diba等人提出了一種視頻卷積網(wǎng)絡名為時域3D ConvNet (T3D)及其新的時域層時域過渡層(TTL)，引入了一種新的時間層來模擬可變時間卷積核深度。Yang等人提出了一種時間保持卷積(TPC)網(wǎng)絡，在每幀動作預測和分段級時間動作定位上取得了顯著改善。Mabrouk等人綜述了行為表示的特征提取和描述相關技術，對視頻監(jiān)控系統(tǒng)的行為表示和行為建模方面進行了研究，給出了行為建模的分類方法和框架。

上述使用深度學習方法進行的行為識別主要是針對多種常規(guī)行為進行識別，缺少對于特定且不常見行為的識別，下面是針對不同場景對于翻越行為進行檢測并識別的方法。Yu等人設計了一種基于塊的隱馬爾可夫訓練方法組成翻越行為識別系統(tǒng)，通過2SS算法計算人體星形骨架特征，并通過該特征訓練一個HMM模型，將視頻中人體的動作分為行走、攀爬、跨越、下降四種狀態(tài)。當攀爬、跨越、下降三種狀態(tài)連續(xù)出現(xiàn)的時候，就判定發(fā)生了翻越行為，該方法是一種新型的翻越行為識別方法。類似地，Yu等人利用時間序列表示的隱馬爾可夫模型(HMM)技術進行識別，在包含步行和攀爬等混合動作的圖像序列上的實驗結果證明了所提方法的有效性。之后，Yu等人又提出了效果更好的VSS算法。

基于以上提到的翻越行為識別方法，張?zhí)┑热颂岢隽艘环N視頻監(jiān)控中人員翻越行為檢測算法。該算法通過訓練前景判斷分類器與頭部檢測分類器Adaboost來實現(xiàn)目標檢測，將混合高斯模型法得到的運動前景區(qū)域與KLT算法得到的特征點的運動信息結合起來，得到了一個僅使用灰度圖像作為輸入，能夠一定程度上適應目標形變及遮擋的，魯棒性強、實時性強的跟蹤算法，最后基于先驗知識對跟蹤軌跡進行分析，得到最終是否發(fā)生翻越行為的結果。

由于此方法針對性較強，準確率較高，因此文中采用該過程進行翻越行為的判定，但該方法使用的Adaboost頭肩檢測方法在實際應用中標注的人物邊界框大小固定不變，無法適應人物大小，并且檢測速率過慢，有時人物過小則無法檢測到目標人物，既無法達到實時性，也不能更準確地得到人物框坐標，存在極大的缺陷。

該文提出了一種基于Yolo和GOTURN的景區(qū)游客翻越行為識別方法，通過繪制與人物大小相同的邊界框，克服了傳統(tǒng)目標檢測方法中實時性不高以及邊界框大小固定的缺點；采用Yolo目標檢測網(wǎng)絡進行圖像特征類別預測，采用GOTURN網(wǎng)絡進行目標跟蹤；最后通過先驗知識的方法快速運用欄桿與軌跡點集合的相對位置關系來判定是否為翻越行為，若是翻越行為則輸出翻越標簽并發(fā)起警告，最終達到93.7%的準確率。

1 系統(tǒng)模型架構

該文提出了一種基于Yolo和GOTURN的景區(qū)游客翻越行為識別方法，解決了旅游景區(qū)場景下的翻越行為識別問題，系統(tǒng)模塊如圖1所示。

由圖1可知，系統(tǒng)主要分為輸入層、視頻分割層、模型處理層和輸出層，在模型處理層中分為Yolo模塊、GOTURN模塊、軌跡分析模塊。

圖1 系統(tǒng)模塊

2 基于Yolo和GOTURN的景區(qū)游客翻越行為識別方法

該文采用視頻分割、目標檢測、目標跟蹤、軌跡分析的步驟對翻越行為進行分析與識別。其中目標檢測部分通過Yolo方法進行人員目標檢測，再通過GOTURN方法實現(xiàn)目標跟蹤，最后根據(jù)軌跡集合與欄桿線的相對位置關系運用先驗知識判定是否為翻越行為。

2.1 視頻分割方法

該步驟主要是對視頻數(shù)據(jù)進行處理：篩選和分割，篩選出有翻越欄桿的行為及在欄桿附近其他行為的視頻，并將視頻分割為視頻幀的圖片。

一般來說，視頻分割方法主要分為基于時域的視頻對象分割方法、基于運動的視頻對象分割方法、交互式視頻對象分割方法。該文主要應用交互式分割方法，該方法主要是通過圖形界面對視頻圖像進行初始分割，然后對后續(xù)幀利用基于運動和空間的信息進行分割。

2.2 Yolo目標檢測方法

Yolo方法是One-stage方法之一，它基于一個單獨的End-to-end網(wǎng)絡，將物體檢測作為回歸問題求解，完成從原始圖像的輸入到物體位置和類別的輸出。該方法比一般Two-stage方法在速度上快很多，整個檢測網(wǎng)絡管道簡單。測試證明，Yolo對于背景圖像的誤檢率低于Two-stage中Fast R-CNN方法誤檢率的一半。因此，該文采用此方法進行目標檢測。

Yolo檢測網(wǎng)絡包括24個卷積層和2個全連接層，Yolo網(wǎng)絡借鑒了GoogLeNet分類網(wǎng)絡結構。不同的是，Yolo使用1×1卷積層+3×3卷積層的簡單替代。Yolo全連接層將輸入圖像分成

S

×

S

個格子，每個格子負責檢測‘落入’該格子的物體，

S

表示單元格數(shù)量，如

S

=7時，

S

×

S

表示把圖像劃分成7×7個單元格。若某個物體的中心位置坐標落入到某個格子，那么這個格子就負責檢測出這個物體。每個格子輸出

B

個邊界框信息，以及

C

個物體屬于某種類別的概率信息。邊界框信息包含5個數(shù)據(jù)值，分別是

x

,

y

,

w

,

h

和confiden-ce。其中

x

和

y

是指當前格子預測得到的物體邊界框的中心位置的坐標，

w

和

h

是邊界框的寬度和高度。注意：在實際訓練過程中，

w

和

h

的值使用圖像的寬度和高度進行歸一化到[0,1]區(qū)間；

x

和

y

是邊界框中心位置相對于當前格子位置的偏移值，并且被歸一化到[0,1]。confidence反映當前邊界框是否包含物體以及物體位置的準確性，計算方式如下：confidence=

P

(object)×IOU

(1)

其中，若邊界框包含物體，則

P

(object)=1；否則

P

(object)=0。IOU(intersection over union)為預測邊界框。Yolo使用均方和誤差作為loss函數(shù)來優(yōu)化模型參數(shù)，即Yolo檢測網(wǎng)絡輸出的

S

×

S

×(5

B

+

C

)維向量與真實圖像對應該向量的均方和誤差：

(2)

其中，coordError、iouError、classError分別表示預測值與真實值之間的坐標誤差、IOU誤差和分類誤差。

該文通過Yolo目標檢測網(wǎng)絡對視頻分割得到的視頻幀進行檢測。具體而言，Yolo網(wǎng)絡包括三個部分：Backbone部分、Neck部分、Head部分，如圖2所示。

圖2 Yolo模型結構

通過Backbone將輸入視頻幀通過CSPResNext50神經(jīng)網(wǎng)絡聚合并形成圖像特征，以實現(xiàn)圖像特征提??；通過Neck部分將圖像特征運用SPP-block和PANet組合并傳遞圖像特征到預測層；通過Head部分對圖像特征進行預測，生成邊界框并預測類別，若預測類別為‘person’則進入下一步的目標跟蹤，否則繼續(xù)檢測下一個視頻幀，直到找到該預測類別。

2.3 GOTURN目標跟蹤方法

GOTURN方法是一種離線學習神經(jīng)網(wǎng)絡的方法，該方法訓練一組帶標簽的訓練視頻和圖像，但不需要任何類級別的標簽或關于被跟蹤對象類型的信息。同時，該方法建立了一個新的跟蹤框架，在這個框架中，外觀和動作之間的關系以一種通用的方式離線學習。

GOTURN網(wǎng)絡的卷積層采用的是5層結構，該結構參照了CaffeNet里面的結構，其中激勵函數(shù)都采用了Relu，部分卷積層后面添加了池化層，而全連接層是由3層組成，每層4 096個節(jié)點，各層之間采用Dropout和Relu激勵函數(shù)，以防過擬合和梯度消失。將上一幀的目標和當前幀的搜索區(qū)域同時經(jīng)過CNN的卷積層，然后將卷積層的輸出通過全連接層，用于回歸當前幀目標的位置。

(3)

(4)

其中，Δ

x

和Δ

y

都可以用均值為0的拉普拉斯分布建模。同樣，跟蹤器模型的大小也會發(fā)生變化。

ω

=

ω

·

γ

(5)

h

=

h

·

γ

(6)

其中，

γ

和

γ

由均值為1的拉普拉斯分布模擬。通過交叉驗證，本實驗最終選定的分布參數(shù)為：

(7)

另外，軌跡點由每一幀邊界框組成，其公式如下：

(8)

然后，每個視頻幀中的軌跡由tra,組成，公式如下：

trajectory={tra,,tra,,…,tra,}

(9)

文中給出了軌跡坐標識別算法，如算法1所示。

算法1：軌跡坐標識別。

輸入：視頻地址

v

，初始邊界框坐標(

c

,

c

)1.設置參數(shù):Δ,

γ

,

b

,

b

2.初始化trajectory=list

3.Do each frame

4. for frame in

v

7.trajectory←{tra,,…}

8. end for

9. end Do

輸出:軌跡坐標trajectory

在該方法中，將邊界框、預測類別為人、當前視頻幀傳遞到GOTURN網(wǎng)絡進行目標跟蹤。首先，從當前幀向GOTURN網(wǎng)絡輸入邊界框坐標，將當前視頻幀和邊界框進行裁剪得到帶目標的中心區(qū)域，然后，將得到的上一幀目標和當前幀的搜索區(qū)域同時經(jīng)過CNN的卷積層，然后回歸當前幀目標的邊界框位置，并繪制當前幀坐標框中心點作為軌跡點，輸出軌跡坐標。

2.4 軌跡分析方法

在上一步的目標跟蹤過程中，對處理的每一幀視頻都會得到一個跟蹤軌跡。首先，去除太短或太長的軌跡。然后，確定軌跡是否與標記的軌線位置的線段相交。另外，軌跡的最高點應在軌跡的中間，也就是說，軌跡的中間點高于坐標系中的起始點和終點。軌跡的最高點和最低點滿足以下條件：

(10)

其中,

c

,

c

分別表示該軌跡點的橫坐標和縱坐標，

A

,

A

分別表示橫縱坐標平均值。軌跡點滿足以下條件：

A

(,)<50

%

×trajectory

(11)

其中，trajectory表示軌跡點集合。軌跡的高度

H

和寬度

L

滿足以下條件：

(12)

其中，angle表示軌跡線與欄桿線之間的夾角。

以上條件作為條件1。

另外，距離

D

的起始點和終點之間的軌跡滿足以下條件：

(13)

(14)

上面的條件分別表示為條件2和條件3，如果滿足上述3個條件則判定該軌跡是翻越行為。

該文給出了翻越行為的判定算法，如算法2所示。

算法2：翻越行為判定。

輸入:軌跡坐標trajectory，欄桿坐標line

1.設置參數(shù):閾值

M

，最大檢測數(shù)量

N

2.初始化 str(label)

3.Do list←trajectory

4. fortra,in trajectory

5. if條件1, then

6. if條件2 or條件3, then

7.label ← ‘crossing’

8. end if

9. end if

10. end for

11. end Do

輸出: 標簽label

3 實驗分析

3.1 實驗設置

文中實驗的硬件環(huán)境：CPU為Intel i7 9700K，內存為16G RDD4，GPU為兩塊Nvidia RTX 2080ti，運行環(huán)境為Linux操作系統(tǒng)(Ubuntu 16.04.6)。編程語言為Python3.7。神經(jīng)網(wǎng)絡由Pycaffe框架搭建，并使用Django作為后端框架。

3.2 數(shù)據(jù)集構建

3.2.1 目標跟蹤模型數(shù)據(jù)集構建

由于在GOTURN模型中的分類標簽較多，為使模型更適用于本實驗，增加了部分有翻越行為的視頻數(shù)據(jù)并刪除了部分不符合監(jiān)控場景的視頻數(shù)據(jù)。另外，由于原始數(shù)據(jù)集中的視頻序列過少，該文采用數(shù)據(jù)增強方法(隨機裁剪、翻轉、鏡像等)增加視頻序列。

實驗的目標跟蹤任務采用整理后的ALOV300數(shù)據(jù)集的1 575個視頻序列與ILSVRC2014數(shù)據(jù)集的134 821張靜態(tài)圖片數(shù)據(jù)進行訓練。其中在ALOV300數(shù)據(jù)集中每個視頻大約每五幀都標記了被跟蹤對象的位置，這些視頻通常很短，從幾秒鐘到幾分鐘不等。本實驗將這些視頻中的1 281個作為訓練集，294個作為驗證集，在選擇超參數(shù)之后，使用整個訓練集(訓練+驗證)來訓練該模型，另外，測試集由來自VOT 2014年跟蹤挑戰(zhàn)的175個視頻組成。

3.2.2 軌跡分析方法數(shù)據(jù)構建

由于在公開數(shù)據(jù)集中缺少翻越行為相關視頻，本實驗使用自行模擬監(jiān)控場景拍攝的翻越行為視頻數(shù)據(jù)。

在整個翻越行為識別過程中，為檢測在不同監(jiān)控場景下對該行為識別的準確性，運用4個場景對該行為進行檢測，如圖3所示，由上到下分別為場景1、場景2、場景3、場景4。場景1有7個視頻數(shù)據(jù)，場景2、3、4分別有6個視頻數(shù)據(jù)，合計有25個視頻數(shù)據(jù)，其中每個場景有1個走路行為，其余都為翻越行為。同樣地，該文采用數(shù)據(jù)增強方法增加視頻序列，合計175個視頻數(shù)據(jù)，如表1所示。

圖3 場景展示圖

表1 各視頻場景下視頻數(shù)量

3.3 性能評估

3.3.1 目標檢測模型評估與分析

將文中方法與文獻[11]提出的Adaboost目標檢測方法進行比較，選取表1中的175個視頻數(shù)據(jù)，當檢測方法能夠完整描繪人物邊界框則視為檢測準確，以平均幀率FPS和準確率Accuracy(表示描繪出完整人物邊界框)作為評價指標。

表2 Yolo模型性能評估

由表2可知，Yolo方法相較于Adaboost方法在FPS上更高，實時性更好，準確率上也高出近43%。在實際測試中，由圖4可知，Adaboost方法描繪的人物邊界框大小不可改變，實用性較差，而Yolo方法描繪的邊界框貼近人物實際大小，能更好地適用于后續(xù)的跟蹤部分。

圖4 Adaboost方法(上)與Yolo方法(下)實測圖

相較于文獻[11]提出的方法，該文在目標檢測中使用實時性和準確率更高的Yolo方法，而不使用前景判斷分類器與頭部檢測分類器Adaboost相結合的方式，簡化了目標檢測的步驟，提高了實時性與人物邊界框的準確率。

3.3.2 目標跟蹤模型評估與分析

圖5為該模型在Iteration=200 000次時的loss函數(shù)的變化。由圖5可知，當?shù)?0 000到60 000之間，loss值有顯著波動趨勢，之后，隨著迭代次數(shù)的增多，呈現(xiàn)梯度下降趨勢，損失值穩(wěn)定在30左右。

圖5 GOTURN目標跟蹤模型的損失變化

表3 GOTURN模型性能評估 %

該模型采用Overall errors、Accuracy errors以及Robustness errors來評估模型性能。由表3可見，“僅訓練視頻”比“僅訓練圖像”時模型的誤差率更低，并且，通過同時訓練圖像和視頻的方式，該跟蹤器學會了在不同條件下跟蹤各種移動對象，實現(xiàn)了性能最大化。

3.3.3 軌跡分析方法評估與分析

由于實驗標簽為二分類任務，第一種分類表示預測值與真實值不同(識別失敗)，第二種分類表示預測值與真實值相同(識別成功)，因此該方法采用Accuracy來度量軌跡方法的性能。

表4 軌跡分析方法性能評估

由表4可知，在4種場景下，該方法基本都能夠實現(xiàn)對翻越行為的精確判定，在場景1和場景3各有1次錯誤識別，出現(xiàn)該錯誤識別可能是由于拍攝的視頻中鏡頭有抖動，導致軌跡分析中軌跡點不準確?？偟膩碚f，該方法達到了93.7%的準確率，能夠實現(xiàn)對各種旅游景區(qū)場景中的翻越行為識別。

將文中方法與現(xiàn)有方法相比較，使用準確率(Accuracy)指標評估模型性能，如圖6所示。

圖6 翻越行為識別不同模型比較

在使用軌跡分析方法數(shù)據(jù)的情況下，提出的基于Yolo和GOTURN方法的準確率達到93.71%。將2SS+HMM方法作為基線，則混合高斯+KLT方法比基線高出近3%，這表明該方法比基線更有效，而文中方法比混合高斯+KLT方法高出近1%，能更快速、更準確地定位人物框，從而更有效地完成翻越行為識別任務。

4 結束語

隨著旅游市場的快速發(fā)展，景區(qū)監(jiān)管制度不斷完善，對于各種違規(guī)行為和危險行為的識別變得越來越重要，通過對這類行為進行識別并提出預警已成為社會關注點之一。該文提出了基于Yolo和GOTURN的景區(qū)游客翻越行為識別方法，主要通過視頻分割方法得到每一幀視頻，然后通過Yolo目標檢測方法得到視頻幀中的人員坐標，再通過GOTURN目標跟蹤方法得到軌跡點集合，最后通過軌跡分析得到“crossing”或“no”標簽，以形成完整的翻越行為識別過程。實驗表明，提出的基于Yolo和GOTURN的景區(qū)游客翻越行為識別方法應用到監(jiān)控場景下可以達到93.7%的準確率。另外，在旅游景區(qū)實時監(jiān)控場景下的單一行為識別任務中，還可以通過人員與邊界線之間的相對位置關系判定其他行為，例如湖邊的落水行為，這些還有待進一步研究。