基于時空雙分支網(wǎng)絡(luò)的行為檢測與識別技術(shù)研究

潘 丹，林靈婷，翁凌雯，李 棋，常 堯

（1.國網(wǎng)福建信通公司，福建 福州 350013；2.安徽南瑞繼遠(yuǎn)電網(wǎng)技術(shù)有限公司，安徽合肥 230601）

隨著科學(xué)技術(shù)的不斷發(fā)展，智能攝像頭已被廣泛應(yīng)用于交通、醫(yī)療、安保等各個領(lǐng)域[1]，由此產(chǎn)生的圖像數(shù)據(jù)也隨之呈指數(shù)級增長。而對于海量視頻數(shù)據(jù)的及時、高效處理成為了當(dāng)前的熱點(diǎn)研究方向。尤其是在安防領(lǐng)域的異常行為檢測方面，其時效性與準(zhǔn)確性均有較高要求[2]。

人體行為識別技術(shù)通常包括特征提取及特征理解識別兩部分。其中特征提取是識別準(zhǔn)確率的關(guān)鍵，如基于人工特征與基于深度學(xué)習(xí)（Deep Learning）的方法[3-4]。前者具有復(fù)雜度較低、易于實(shí)現(xiàn)的優(yōu)點(diǎn)，但其識別精度和魯棒性較差[5]。而基于深度學(xué)習(xí)方法的行為表達(dá)能力不受所提取特征的限制，因而具有較好的適應(yīng)性及準(zhǔn)確性[6]。但現(xiàn)有方法相對較為繁雜，低復(fù)雜度和準(zhǔn)確性通常無法兼顧[7]。

為此，該文提出了一種基于時空雙分支網(wǎng)絡(luò)的行為檢測與識別方案，用于電廠/工區(qū)監(jiān)控視頻的人臉識別與違章安全行為的檢測。

1 時空特征提取網(wǎng)絡(luò)

在時空特征提取網(wǎng)絡(luò)中，利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）獲取圖像的空間域特征，同時基于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）提取圖像的時域特征，如此能夠更好地獲得圖像的時空特征，便于后期的行為檢測與分類[8-9]。

1.1 CNN的空間特征提取網(wǎng)絡(luò)

CNN 模仿人類視覺神經(jīng)結(jié)構(gòu)，通過卷積層與池化層提取信息特征，其模型結(jié)構(gòu)如圖1 所示。

圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)

其中，卷積層是提取圖像特征的過程。其將圖像特定部分抽象到特定的層中，可看作是一個壓縮過程，能夠有效地減少參數(shù)量。池化層作用于每個輸入的卷積層特征并能夠?qū)ζ溥M(jìn)行有效地縮減，通常包括最大池化（Max-Pooling）、平均池化（Mean-Pooling）等方法。而該網(wǎng)絡(luò)采用最大池化，通過卷積過程中創(chuàng)建的特征最大值減小數(shù)據(jù)尺寸。

此外，在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中，首先通過網(wǎng)絡(luò)的前向傳播獲得張量x，其計(jì)算如下：

式中，x是張量，l是圖層，ReLU 是校正線性單元激活函數(shù)，*表示卷積運(yùn)算，b是偏置量，ω是權(quán)重。

然后通過均方誤差（Mean Square Error，MSE）計(jì)算損失函數(shù)L，為：

式中，n為網(wǎng)絡(luò)的總輸出個數(shù)，代表f(x)為網(wǎng)絡(luò)輸出值，y為真實(shí)值。

最后，使用優(yōu)化算法更新網(wǎng)絡(luò)的權(quán)值。通常而言，通過構(gòu)建深層網(wǎng)絡(luò)來提取更深層次的特征信息，可獲得更準(zhǔn)確的特征表達(dá)[10]。

1.2 RNN的時域特征提取網(wǎng)絡(luò)

RNN 是一種人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），其通過內(nèi)部循環(huán)結(jié)構(gòu)將過去的學(xué)習(xí)以權(quán)重形式反映在當(dāng)前的學(xué)習(xí)中，能夠解決現(xiàn)有連續(xù)、重復(fù)及順序數(shù)據(jù)學(xué)習(xí)的局限性，適用于處理時間序列問題，該網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示[11-13]。

圖2 RNN網(wǎng)絡(luò)結(jié)構(gòu)

RNN 結(jié)構(gòu)的數(shù)學(xué)表達(dá)如下：

式中，W1、W2、W3分別是上一時刻和此時刻的隱藏層權(quán)重、輸入層與隱藏層間權(quán)重、輸出層與隱藏層間的權(quán)重。ht是t時刻隱藏層的輸入，Y是網(wǎng)絡(luò)輸出值，δ、σ分別是激活函數(shù)，b1、b2均是偏置量。

2 提出的行為檢測與識別框架

在基于時空雙分支網(wǎng)絡(luò)的行為檢測與識別網(wǎng)絡(luò)中，首先，通過時空雙分支網(wǎng)絡(luò)獲取視頻流中的行為特征。然后，利用Softmax 函數(shù)進(jìn)行行為分類。整體網(wǎng)絡(luò)架構(gòu)，如圖3 所示。

圖3 提出的行為檢測與識別網(wǎng)絡(luò)架構(gòu)

為了解決高幀率及高通道數(shù)與計(jì)算量間的問題，采用雙分支形式設(shè)計(jì)時空特征提取網(wǎng)絡(luò)。其中，一個分支輸入的是低幀率的視頻數(shù)據(jù)，在該分支上能夠盡可能多地提取空間信息；而另一個分支輸入的是高幀率的視頻數(shù)據(jù)，雖然數(shù)據(jù)量較多，但該分支側(cè)重于獲取高時間分辨率下快速變化的運(yùn)動，通道數(shù)較少。

2.1 特征融合

為保證雙分支網(wǎng)絡(luò)能夠端到端地進(jìn)行訓(xùn)練，所提網(wǎng)絡(luò)采用橫向連接的方式融合兩個分支的特征[14]。當(dāng)兩個分支進(jìn)行融合時，若每個分支的時間幀數(shù)相等，則容易進(jìn)行特征融合，但顯然高幀率分支與低幀率分支中時間幀數(shù)不同，因此需將其時間域維度調(diào)整至相同后再進(jìn)行融合[15-16]。所提網(wǎng)絡(luò)利用將高幀率分支特征壓入低幀率分支且進(jìn)行橫向連接融合的方式，如圖4 所示。

圖4 橫向連接融合方式架構(gòu)

換言之，在對應(yīng)的時間幀上將兩個分支中的特征通道進(jìn)行串聯(lián)疊加，即可保證信息的完整性。

通常而言，雙分支結(jié)構(gòu)在融合調(diào)整通道數(shù)時使用1×1 的卷積。但當(dāng)通道數(shù)增加時，該方式產(chǎn)生的參數(shù)量會大幅增加，因此采用分組卷積的方式以降低計(jì)算量。但由于通道分組是在1×1 卷積進(jìn)行時將所在小組內(nèi)的通道加以融合，會造成不同小組內(nèi)的信息無法流通，從而不利于最終的行為識別。為此，引入通道混合的思想，將原先所劃分的小組再適當(dāng)劃分成更小的子組，子組間相互混合，并在此基礎(chǔ)上進(jìn)行分組卷積，如此便可更好地融合高幀率分支與低幀率分支中的圖像特征。

2.2 行為識別與分類

基于時空雙分支網(wǎng)絡(luò)提取圖像特征后，利用Softmax 函數(shù)計(jì)算出各種行為識別的分類得分，最終將得分加權(quán)求和以得到融合分?jǐn)?shù)并預(yù)測行為標(biāo)簽。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)的原始數(shù)據(jù)來源于某電廠的監(jiān)控視頻數(shù)據(jù)，其中包含20 個攝像頭采集的視頻信息及20 000張目標(biāo)圖像。針對電廠的特殊場景，行為檢測的關(guān)鍵在于糾察安全隱患，因此涉及的行為主要包括四種：跨越圍欄、穿越警戒線、起吊物下停留和高空拋物。此外，基于Python 深度學(xué)習(xí)框架進(jìn)行實(shí)驗(yàn)，CNN 及RNN 的權(quán)值共享，且迭代次數(shù)為1 500 次。

3.1 行為分類結(jié)果

為了論證時空雙分支網(wǎng)絡(luò)的性能，將其與傳統(tǒng)的時空特征提取網(wǎng)絡(luò)進(jìn)行對比。電廠內(nèi)人員各種行為的識別準(zhǔn)確率，如圖5 所示。

圖5 行為識別結(jié)果

從圖中可以看出，起吊物下停留的識別結(jié)果較好，由于在進(jìn)行跨越、穿越、拋物等動作時，上肢及身體擺動的幅度較大，因此不易識別。而所提的時空雙分支網(wǎng)絡(luò)具有更高的準(zhǔn)確率，以高空拋物為例，其準(zhǔn)確率約為93%，較傳統(tǒng)的時空特征提取網(wǎng)絡(luò)提高了9%左右。由于時空雙分支網(wǎng)絡(luò)利用混合組卷積及橫向連接，充分融合了圖像的空域特征與時域特征，且全面考慮了高頻及低頻圖像的特征，故識別效果更優(yōu)。

3.2 與其他技術(shù)的對比分析

時空雙分支網(wǎng)絡(luò)能夠有效提取圖像特征，將其應(yīng)用于電廠內(nèi)人員的行為檢測，與文獻(xiàn)[2]、文獻(xiàn)[4]、文獻(xiàn)[6]得到的識別準(zhǔn)確率對比如圖6 所示。

圖6 不同技術(shù)的行為識別準(zhǔn)確率

從圖6 可以看出，相比于其他技術(shù)，該文技術(shù)的行為識別準(zhǔn)確率最高，大約為94%，且收斂速度最快。這是由于其采用時空雙分支網(wǎng)絡(luò)來提取圖像特征，并利用Softmax函數(shù)進(jìn)行行為分類，能夠較大程度保證分類的準(zhǔn)確率。文獻(xiàn)[2]利用Faster R-CNN 網(wǎng)絡(luò)以及文獻(xiàn)[6]利用隱馬爾可夫模型進(jìn)行行為檢測，二者均采用單一識別技術(shù)，故得到的準(zhǔn)確率低于所提技術(shù)。而文獻(xiàn)[4]利用專家知識設(shè)計(jì)行為檢測技術(shù)，受主觀因素的影響較大，因此整體識別準(zhǔn)確率低于90%。

4 結(jié)束語

隨著電廠智能化水平的提升，各種視頻監(jiān)控?cái)?shù)據(jù)劇增，如何高效地識別人員行為、保障運(yùn)行安全成為了亟待解決地問題。為此，該文采用時空雙分支網(wǎng)絡(luò)技術(shù)展開了基于視頻信息的行為檢測與識別方案研究。首先，利用時空雙分支網(wǎng)絡(luò)獲取到行為圖像的特征，然后，將其輸入Softmax 函數(shù)進(jìn)行分類，從而得到了人員的行為類型。以某電廠的真實(shí)視頻數(shù)據(jù)集為樣本進(jìn)行的實(shí)驗(yàn)測試結(jié)果表明，時空雙分支網(wǎng)絡(luò)對于動態(tài)行為的識別準(zhǔn)確率更高，提高了大約9%，而且該文所提技術(shù)方案的識別準(zhǔn)確率高達(dá)94%，具有良好的工程應(yīng)用價(jià)值。

雖然該文技術(shù)能夠在理想的情況下獲得較高的識別準(zhǔn)確率，但并未考慮存在遮擋等情況。因此，在接下來的研究中將重點(diǎn)關(guān)注遮擋等特殊情況，以提高行為檢測技術(shù)的魯棒性。