基于UNet3+生成對(duì)抗網(wǎng)絡(luò)的視頻異常檢測(cè)

陳景霞，林文濤，龍旻翔，張鵬偉

(陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021)

0 引 言

傳統(tǒng)視頻異常檢測(cè)[1]采用手工特征提取方法，雖然檢測(cè)效果較好，但是計(jì)算成本高。與傳統(tǒng)方法相比，基于深度學(xué)習(xí)的視頻異常檢測(cè)方法具有更好的準(zhǔn)確性、魯棒性和運(yùn)行速度[2]。

為了緩解視頻中正異常事件不均衡[3]，以及有監(jiān)督訓(xùn)練所需視頻標(biāo)注工作量過(guò)大等問(wèn)題，目前大部分研究集中在弱監(jiān)督[4]、半監(jiān)督[5]和無(wú)監(jiān)督[6]方向進(jìn)行。在訓(xùn)練模型時(shí)只采用正常行為的視頻數(shù)據(jù)，旨在學(xué)習(xí)正常情況下的行為變化以及緩解樣本事件不平衡的問(wèn)題。在測(cè)試時(shí)如果出現(xiàn)與正常行為不符的事件，則生成的數(shù)據(jù)會(huì)與原測(cè)試數(shù)據(jù)產(chǎn)生較大誤差，由此判斷產(chǎn)生異常。

基于生成對(duì)抗網(wǎng)絡(luò)和自編碼器結(jié)構(gòu)的檢測(cè)方法不斷被提出[2]，通過(guò)提取視頻幀空間特征或時(shí)間特征學(xué)習(xí)視頻中的行為變化。

本文就不同場(chǎng)景下多尺度特征提取不完全等問(wèn)題，提出兩種生成對(duì)抗網(wǎng)絡(luò)方法。一種是將UNet3+[7]嵌入生成對(duì)抗網(wǎng)絡(luò)中學(xué)習(xí)全局信息，捕獲簡(jiǎn)單場(chǎng)景下更深層次小尺度特征信息(簡(jiǎn)稱U3P2)。另一種是將UNet++[8]引入生成對(duì)抗網(wǎng)絡(luò)，學(xué)習(xí)復(fù)雜場(chǎng)景下大尺度特征信息(簡(jiǎn)稱UP3)。

1 相關(guān)工作

現(xiàn)階段的視頻異常檢測(cè)研究主要采用深度學(xué)習(xí)方法，并以視頻幀重構(gòu)和未來(lái)幀預(yù)測(cè)兩類方法為主。

基于重構(gòu)的視頻異常檢測(cè)通過(guò)訓(xùn)練正常視頻數(shù)據(jù)來(lái)獲得正常數(shù)據(jù)的分布表示[9]，而異常行為出現(xiàn)時(shí)會(huì)有不同的分布，帶來(lái)較大的重構(gòu)誤差。Gong等[10]為了減輕重構(gòu)異常的漏檢問(wèn)題，引入內(nèi)存模塊，提出內(nèi)存增強(qiáng)自編碼器模型(MemAE)。Chu等[11]結(jié)合時(shí)空特征，提出了一種使用稀疏編碼和深度學(xué)習(xí)表示的檢測(cè)方法。Ganokratanaa等[12]提出深度殘差時(shí)空轉(zhuǎn)換網(wǎng)絡(luò)(DR-STN)，提高了生成器合成的圖像質(zhì)量。Wang等[13]引入基于邊緣的潛在損失，迫使產(chǎn)生更大的重建誤差，加強(qiáng)正異常幀的差距。

在基于預(yù)測(cè)的視頻異常檢測(cè)方面，Liu等[14]提出將分割模型UNet(U-shaped network)用于視頻異常檢測(cè)方法，通過(guò)生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks，GANs)和其獲取語(yǔ)義信息的能力預(yù)測(cè)未來(lái)幀進(jìn)行異常判別，并采用光流模型學(xué)習(xí)幀的運(yùn)動(dòng)變化，取得較好的檢測(cè)結(jié)果。Dong等[15]提出雙鑒別器生成對(duì)抗網(wǎng)絡(luò)(CT-D2GAN)進(jìn)行異常檢測(cè)，同樣基于UNet分割模型生成異常幀。Li等[16]提出一種基于注意力的多實(shí)例框架和幀預(yù)測(cè)框架，在預(yù)測(cè)框架內(nèi)引入內(nèi)存尋址模型。Chang等[17]提出一種帶有時(shí)空分離的卷積自動(dòng)編碼器結(jié)構(gòu)，采用RGB差值模擬光流運(yùn)動(dòng)，并在空間重構(gòu)最后一幀。

上述基于生成對(duì)抗網(wǎng)絡(luò)的研究[14-17]均采用UNet分割模型作為其網(wǎng)絡(luò)的生成器模型，雖然這些方法取得一定成果，但依然存在模型檢測(cè)效果低、場(chǎng)景適用性不高、多尺度特征提取不完全等問(wèn)題。此外，基礎(chǔ)的UNet無(wú)法學(xué)習(xí)長(zhǎng)距離依賴性[18]，存在不能有效捕捉目標(biāo)對(duì)象中多尺度特征等問(wèn)題。

UNet3+[7]和UNet++[8]均是針對(duì)多尺度特征提取且具有高性能的圖像分割模型。本文也是受分割模型在視頻異常檢測(cè)應(yīng)用[14]的啟發(fā)，將兩種性能較優(yōu)且能緩解上述問(wèn)題的圖像分割模型應(yīng)用于生成對(duì)抗網(wǎng)絡(luò)中進(jìn)行視頻異常檢測(cè)。

2 方 法

本文根據(jù)視頻中內(nèi)容的拍攝角度分為近景和遠(yuǎn)景，其中近景主要是人物行為及背景距離拍攝設(shè)備較近的場(chǎng)景，歸屬于簡(jiǎn)單場(chǎng)景；遠(yuǎn)景是距離拍攝設(shè)備較遠(yuǎn)的場(chǎng)景，如監(jiān)控視頻等，歸屬于復(fù)雜場(chǎng)景。

針對(duì)不同場(chǎng)景下，使用簡(jiǎn)單的卷積自編碼器網(wǎng)絡(luò)特征提取能力有限[19]，為此本文提出兩種異常檢測(cè)方法。其檢測(cè)整體流程如圖1所示。

圖1 異常檢測(cè)結(jié)構(gòu)

首先，疊加融合并歸一化連續(xù)的視頻幀，再通過(guò)編碼器對(duì)輸入數(shù)據(jù)提取小尺度特征。然后在簡(jiǎn)單場(chǎng)景下，解碼器對(duì)編碼特征通過(guò)反卷積進(jìn)行上采樣，使用U3P2網(wǎng)絡(luò)中的全尺度跳躍連接融合不同層次的特征圖，通過(guò)添加的雙卷積更全面地提取視頻幀的空間特征，在提升檢測(cè)效果的同時(shí)也減少了模型的參數(shù)量。在復(fù)雜場(chǎng)景下，使用UP3網(wǎng)絡(luò)并在其密集跳躍連接中引入更多的卷積來(lái)提取更加豐富的語(yǔ)義特征，從而提升模型對(duì)大尺度特征的提取能力。另外，所提兩種方法均采用光流模型來(lái)更好地提取視頻幀間運(yùn)動(dòng)信息。最后通過(guò)生成對(duì)抗網(wǎng)絡(luò)獲得預(yù)測(cè)幀，并計(jì)算預(yù)測(cè)幀與真實(shí)幀的差值，進(jìn)而判斷視頻中的異常情況。

2.1 基于UNet3+的視頻異常檢測(cè)方法

針對(duì)現(xiàn)有方法在遠(yuǎn)景視頻中小尺度行為特征提取不準(zhǔn)確、參數(shù)量大的問(wèn)題，本文提出基于UNet3+的視頻異常檢測(cè)方法(U3P2)，在提高檢測(cè)效果的同時(shí)，降低模型的參數(shù)量。

2.1.1 生成模塊

U3P2框架主要結(jié)構(gòu)如圖2所示。本文采用改進(jìn)的UNet3+[7]作為網(wǎng)絡(luò)生成器，整體采用四層自編碼器結(jié)構(gòu)并將3×3大小的64個(gè)卷積核的卷積塊作為第一層。

圖2 U3P2方法結(jié)構(gòu)

下采樣階段，每層輸入將經(jīng)過(guò)雙卷積、LeakyRelu激活函數(shù)，提取各個(gè)層次特征數(shù)據(jù)。上采樣階段，由于雙線性插值方法會(huì)丟掉部分特征信息，為了更好還原特征圖，解碼器部分采用反卷積的方式對(duì)拼接后特征進(jìn)行上采樣操作，公式計(jì)算如下

(1)

為了捕獲更多細(xì)粒度和粗粒度的語(yǔ)義信息，采用全尺度跳躍連接方式，將上采樣過(guò)程中每個(gè)卷積層的卷積核個(gè)數(shù)固定，使其與第一層卷積核數(shù)量相同，從而每一層能融合來(lái)自低、同、高層次的特征圖。在拼接全尺度特征圖時(shí)，使用連續(xù)的雙卷積以及LeakyRelu激活函數(shù)作為連接時(shí)的卷積塊，以此提高對(duì)特征的提取能力，其計(jì)算公式如下

(2)

2.1.2 U3P2

當(dāng)生成器的編碼層采用M特征數(shù)，編碼器N層時(shí)，其中UNet3+模型參數(shù)量計(jì)算如下

(3)

式中：DF代表卷積核大小，d(·) 代表節(jié)點(diǎn)深度。

(4)

式中：G代表生成器，[I1，…It-1]代表連續(xù)的視頻幀。

最后采用全卷積網(wǎng)絡(luò)鑒別器，通過(guò)卷積感受野判斷每個(gè)區(qū)域，最后根據(jù)加權(quán)結(jié)果判斷預(yù)測(cè)幀是否與原圖接近。由判別器判別真假，以預(yù)測(cè)幀和真實(shí)幀的差值作為異常分?jǐn)?shù)。

2.2 基于UNet++的視頻異常檢測(cè)方法

針對(duì)現(xiàn)有方法在近景視頻中大尺度行為特征提取不準(zhǔn)確、準(zhǔn)確度不高等問(wèn)題，本文提出基于UNet++的視頻異常檢測(cè)方法(UP3)。

UP3框架主要結(jié)構(gòu)如圖3所示。本文使用改進(jìn)的UNet++[8]作為近景視頻檢測(cè)網(wǎng)絡(luò)的生成器模型。模型整體采用五層結(jié)構(gòu)，并引入密集的跳躍連接，在跳躍連接路徑中使用雙卷積卷積塊，其卷積的輸入來(lái)自同層前一個(gè)或多個(gè)卷積層的輸出和下一層低密度卷積的輸出相融合，以此減少編碼器和解碼器子網(wǎng)絡(luò)的特征圖之間的語(yǔ)義差距，通過(guò)抓取不同層次的特征，來(lái)捕獲更大感受野的區(qū)域特征，獲得更加豐富的語(yǔ)義信息。

圖3 UP3方法生成器結(jié)構(gòu)

在解碼器階段也采用反卷積對(duì)特征圖進(jìn)行上采樣，每個(gè)卷積結(jié)點(diǎn)的計(jì)算公式如下

(5)

式中：i代表沿編碼器下采樣層索引，j代表沿跳躍連接的密集卷積層，Xi，j表示當(dāng)前節(jié)點(diǎn)，C(·) 代表卷積以及激活函數(shù)計(jì)算，[·]代表級(jí)聯(lián)層，U(·) 代表上采樣層。

其輸入與上節(jié)相同，選取連續(xù)t-1幀在通道維度上融合疊加，再輸入改進(jìn)的生成器模型預(yù)測(cè)下一幀。采用相同的損失函數(shù)學(xué)習(xí)外觀特征，并送到光流模型和全卷積網(wǎng)絡(luò)判別器中，結(jié)合足夠的對(duì)抗迭代以及損失約束，讓模型在時(shí)空維度上提取更多特征信息，學(xué)習(xí)正常行為的變化。

其中模型的參數(shù)計(jì)算如下

(6)

式中：DF代表卷積核大小，d(·) 代表節(jié)點(diǎn)深度。

2.3 損失約束

為了加強(qiáng)對(duì)抗網(wǎng)絡(luò)對(duì)視頻幀的預(yù)測(cè)能力，引入4種損失約束[14]。

2.3.1 強(qiáng)度損失

(7)

2.3.2 梯度損失

為了更好保證預(yù)測(cè)幀的清晰度，引入梯度損失Lgd，其定義如下

(8)

式中：i，j代表視頻幀的空間索引。

2.3.3 光流損失

為了加強(qiáng)學(xué)習(xí)運(yùn)動(dòng)信息，本文引入運(yùn)動(dòng)損失約束，在時(shí)間上對(duì)其約束，其損失函數(shù)表示如下

(9)

2.3.4 對(duì)抗損失約束

生成對(duì)抗網(wǎng)絡(luò)已被證明在視頻生成中的可行性[2]。通常網(wǎng)絡(luò)包含一個(gè)生成器G和一個(gè)判別器D，本文將采用UNet3+或UNet++作為生成器G，使用全卷積網(wǎng)絡(luò)作為判別器D。

訓(xùn)練生成網(wǎng)絡(luò)目的是為了使生成器G學(xué)習(xí)正常事件行為特征，從而輸出與正常事件真實(shí)幀更加接近的預(yù)測(cè)幀，具體表示如下

(10)

(11)

2.3.5 目標(biāo)損失函數(shù)

結(jié)合前幾節(jié)提到強(qiáng)度損失、梯度損失、光流損失以及對(duì)抗損失，最終目標(biāo)損失函數(shù)如下所示

(12)

式中：λint、λgd、λol和λadv為各個(gè)損失部分的權(quán)重參數(shù)。

2.4 異常評(píng)判標(biāo)準(zhǔn)

假設(shè)異常事件是不可預(yù)測(cè)，因此在訓(xùn)練時(shí)均采用正常數(shù)據(jù)訓(xùn)練，預(yù)測(cè)幀的結(jié)果也只會(huì)更加接近真實(shí)幀，將預(yù)測(cè)幀與真實(shí)幀間的差異作為異常分?jǐn)?shù)的判斷。當(dāng)出現(xiàn)真實(shí)異常情況時(shí)，預(yù)測(cè)幀和真實(shí)幀必會(huì)產(chǎn)生差異，若差異較小，則視為正常情況。峰值信噪比(peak signal to noise ratio，PSNR)是一種評(píng)估圖像質(zhì)量的有效方法[14]，表達(dá)為

(13)

式中：在t幀時(shí)的PSNR值越高表示其預(yù)測(cè)幀生成質(zhì)量越好，更加接近真實(shí)幀，代表行為正常，反之異常。同時(shí)每個(gè)視頻的所有幀的PSNR也將歸一化到[0，1]，具體計(jì)算每幀分?jǐn)?shù)的公式如下

(14)

最終根據(jù)S(t) 結(jié)果判斷預(yù)測(cè)幀是否異常。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

為了有效開(kāi)展實(shí)驗(yàn)，本文提出的兩種模型使用TensorFlow框架和NVIDIA GeForce GTX3090 GPU，在兩個(gè)公開(kāi)數(shù)據(jù)集[18]CUHK Avenue和UCSD Pedestrian 2(Ped2)進(jìn)行實(shí)驗(yàn)驗(yàn)證。數(shù)據(jù)集具體內(nèi)容如下：

(1)CUHK Avenue數(shù)據(jù)集：包含16個(gè)訓(xùn)練視頻和21個(gè)測(cè)試視頻，場(chǎng)景是校園大道且每幀為RGB圖像，每幀的尺寸為640×360，采取固定角度錄制的監(jiān)控視頻，其中存在行人跑錯(cuò)方向、快速的奔跑、物品散落等47個(gè)異常事件。

(2)UCSD Ped2數(shù)據(jù)集：包含16個(gè)訓(xùn)練視頻和12個(gè)測(cè)試視頻，場(chǎng)景是行人與攝像頭拍攝方向平行的區(qū)域，每幀的尺寸為360×240，其中存在騎自行車(chē)、玩滑板、汽車(chē)等12個(gè)異常事件。

以上兩個(gè)數(shù)據(jù)集在訓(xùn)練時(shí)均采用只包含正常事件的訓(xùn)練視頻，在測(cè)試時(shí)會(huì)存在異常事件的測(cè)試視頻，異常數(shù)據(jù)部分展示如圖4所示。

圖4 異常數(shù)據(jù)部分展示

3.2 評(píng)價(jià)指標(biāo)

為了方便實(shí)驗(yàn)對(duì)比，本文與Liu等[14]采用相同的評(píng)價(jià)指標(biāo)AUC，作為視頻異常檢測(cè)的評(píng)價(jià)指標(biāo)。

AUC(area under curve)是接收者操作特征曲線(receiver operating characteristic curve，ROC)下的面積。視頻異常檢測(cè)標(biāo)準(zhǔn)方式一般分為幀級(jí)和視頻級(jí)，本次實(shí)驗(yàn)在幀級(jí)進(jìn)行操作，根據(jù)AUC指標(biāo)評(píng)估模型對(duì)異常檢測(cè)效果的好壞，當(dāng)ROC曲線面積越大時(shí)，則AUC分?jǐn)?shù)越高，模型檢測(cè)效果越好。

3.3 實(shí)驗(yàn)結(jié)果分析

本文采用連續(xù)5幀作為網(wǎng)絡(luò)輸入，輸入每幀大小固定256×256。其中連續(xù)的前4幀用于預(yù)測(cè)最后一幀。方法均使用光流模型學(xué)習(xí)在時(shí)間維度的運(yùn)動(dòng)特征，并引入不同損失約束使其學(xué)習(xí)外觀特征，最終以預(yù)測(cè)幀和真實(shí)幀的差值計(jì)算異常分?jǐn)?shù)。

3.3.1 不同算法性能對(duì)比

為了驗(yàn)證本文模型的有效性，將與現(xiàn)有的視頻異常檢測(cè)研究在幀級(jí)的AUC指標(biāo)進(jìn)行對(duì)比，方法分為基于重構(gòu)和基于預(yù)測(cè)兩種，具體對(duì)比結(jié)果見(jiàn)表1，模型的參數(shù)量對(duì)比見(jiàn)表2。本文提出的UP3在Avenue數(shù)據(jù)集上AUC達(dá)到了85.8%，U3P2在Ped2數(shù)據(jù)集上AUC達(dá)到96.0%。所提方法分別是兩種數(shù)據(jù)集的最優(yōu)結(jié)果，驗(yàn)證了本文提出的視頻異常檢測(cè)方法的有效性以及兩種圖像分割模型的可應(yīng)用性。

表1 幀級(jí)檢測(cè)性能比較AUC/%

表2 計(jì)算成本對(duì)比

U3P2在Avenue數(shù)據(jù)集的檢測(cè)效果雖低于UP3模型方法，但在Ped2數(shù)據(jù)集上取得最好結(jié)果，較于基準(zhǔn)方法[14]提升0.6%，較于方法UP3提升0.3%。結(jié)合表2，方法U3P2在提升異常檢測(cè)效果的同時(shí)，也帶來(lái)了更少參數(shù)量，并與其它算法的性能保持持平甚至優(yōu)于其它算法，降低了視頻異常檢測(cè)模型的復(fù)雜度。Ped2數(shù)據(jù)集是更接近現(xiàn)實(shí)監(jiān)控的黑白視頻，視頻中的行為特征較為細(xì)小。通過(guò)全尺度跳躍連接結(jié)構(gòu)，將不同尺度的特征圖進(jìn)行拼接，能更有效獲取視頻幀中多尺度特征的語(yǔ)義信息，該方法更適用在遠(yuǎn)景監(jiān)控的場(chǎng)景下。在Avenue數(shù)據(jù)集中效果與近年其它方法相差不多，其原因可能是，方法還未能將多個(gè)局部信息聯(lián)系，對(duì)大尺度行為特征提取欠缺，由于該數(shù)據(jù)集中人物行為變化較大，因此對(duì)人物行為檢測(cè)效果略低一些。

UP3在Avenue數(shù)據(jù)集檢測(cè)效果較于基準(zhǔn)方法[14]提升0.9%，取得最優(yōu)結(jié)果。UP3采用深度卷積以及密集跳躍連接提取特征信息，針對(duì)近景視頻中的人物行為特征，該方法相比U3P2能關(guān)注較大的感受野區(qū)域特征信息，較好檢測(cè)視頻中存在的大尺度行為特征，卻也存在大量參數(shù)的使用。對(duì)于遠(yuǎn)景數(shù)據(jù)檢測(cè)效果略低的原因，可能是UP3未能處理更小感受野的局部信息。

MemAE[10]雖然用記憶模塊存儲(chǔ)正常行為特征，但沒(méi)有考慮時(shí)間維度的行為變化，當(dāng)記憶模塊空間設(shè)置越大時(shí)，也會(huì)帶來(lái)更多的參數(shù)量。SCG-SF[11]雖然考慮到時(shí)空特征信息，但對(duì)視頻中的多尺度特征提取能力不足，檢測(cè)結(jié)果相比其它幾種方法略低。CT-D2GAN[15]方法采用雙鑒別器生成對(duì)抗網(wǎng)絡(luò)，效果就基線方法相比，提升并不明顯，說(shuō)明網(wǎng)絡(luò)的疊加使用并不能提升特征的提取，而本文所提方法能更有效提取多尺度特征，提高檢測(cè)能力。

相比于重構(gòu)的模型[10，11，20]，基于預(yù)測(cè)的模型[14，15]檢測(cè)效果更好。說(shuō)明本文的預(yù)測(cè)模型可以有效提取連續(xù)視頻幀的時(shí)空特征信息，也證實(shí)UNet++和UNet3+圖像分割模型在視頻異常檢測(cè)領(lǐng)域的適用性。

3.3.2 結(jié)果可視化

為了更好驗(yàn)證模型的有效性，將U3P2模型預(yù)測(cè)結(jié)果可視化展示，如圖5所示。

圖5 預(yù)測(cè)結(jié)果可視化

在正常行為中，預(yù)測(cè)幀與真實(shí)幀接近；出現(xiàn)異常時(shí)，將生成較為模糊的異常行為，如圖5左下角的自行車(chē)為生成的模糊異常行為。

本文所提模型在訓(xùn)練時(shí)實(shí)時(shí)計(jì)算并記錄了每個(gè)預(yù)測(cè)幀的PNSR值。當(dāng)圖像生成質(zhì)量越高時(shí)，PSNR值越大，反之越小。在視頻異常檢測(cè)領(lǐng)域根據(jù)PSNR值的變化可以更加直觀判斷模型檢測(cè)的效果，在U3P2模型實(shí)驗(yàn)的PSNR值結(jié)果展示如圖6所示。

圖6 PSNR值結(jié)果可視化

選取Ped2數(shù)據(jù)集中第二個(gè)測(cè)試片段作為PSNR值變化分析。從圖中看到正常行為的PSNR值變化不大，僅在[0，1]范圍發(fā)生波動(dòng)，而在后幾幀中PSNR值快速下降，是由于出現(xiàn)訓(xùn)練中突然未出現(xiàn)的騎自行車(chē)現(xiàn)象，該現(xiàn)象被判定為異常，后幾幀的值趨于低值穩(wěn)定是因?yàn)樵诤竺娴钠沃幸恢贝嬖隍T自行車(chē)的行為，即一直存在異常行為。由此也證實(shí)了本文所提方法確實(shí)能有效分辨視頻片段中的正常行為和異常行為。

3.3.3 驗(yàn)證實(shí)驗(yàn)

為了確定網(wǎng)絡(luò)層數(shù)的不同對(duì)視頻異常檢測(cè)效果的影響，就本文提出的兩種方法，分別以四層結(jié)構(gòu)和五層結(jié)構(gòu)且采用相同的參數(shù)在Ped2數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。最終幀級(jí)AUC(%)結(jié)果以及參數(shù)量在表3和表4中展示，損失函數(shù)對(duì)模型的影響在表5展示。

表3 不同層數(shù)對(duì)結(jié)果的影響

表4 不同層數(shù)對(duì)參數(shù)量的影響

表5 不同損失函數(shù)在Ped2數(shù)據(jù)集中的AUC值

其中，四層網(wǎng)絡(luò)均采用特征數(shù)為64、128、256和512的結(jié)構(gòu)，而五層網(wǎng)絡(luò)均采用特征數(shù)為32、64、128、256和512的結(jié)構(gòu)。通過(guò)表3和表4發(fā)現(xiàn)四層U3P2的結(jié)果優(yōu)于五層的結(jié)果，其原因在于四層時(shí)使用的參數(shù)量更多；五層的UP3的結(jié)果優(yōu)于四層的結(jié)果，也表明在參數(shù)量多的情況下預(yù)測(cè)效果更好。而U3P2在四層時(shí)的參數(shù)多，源于其全尺度跳躍連接結(jié)構(gòu)，其上采樣的每層卷積核數(shù)量與下采樣第一層卷積核數(shù)量相同。當(dāng)采用四層結(jié)構(gòu)且第一層數(shù)量為64，則上采樣的每一層特征數(shù)為64×4，而五層設(shè)置第一層數(shù)量為32，則上采樣的每一層特征數(shù)為32×5，五層的特征數(shù)低于四層，因此該模型在四層時(shí)效果更好；針對(duì)不同層數(shù)的UP3的預(yù)測(cè)方法，由于減少一層32特征數(shù)的卷積層，只帶來(lái)少量參數(shù)減少，因此不同層數(shù)的檢測(cè)結(jié)果接近。

表5顯示4種損失約束對(duì)方法U3P2在Ped2數(shù)據(jù)集上的影響。表中結(jié)果顯示，光流損失引入后達(dá)到96.0%，較未引入時(shí)提高至少1%，說(shuō)明光流能有效提升方法在時(shí)間維度的特征提取能力。隨著損失約束的添加，AUC值明顯提升，因此驗(yàn)證了加入不同的損失約束會(huì)影響方法的檢測(cè)性能，引入更多的約束條件可能會(huì)提升AUC。

4 結(jié)束語(yǔ)

針對(duì)現(xiàn)有研究方法存在不同場(chǎng)景下多尺度特征提取不完全等問(wèn)題，本文提出兩種方法。

U3P2能夠在少量參數(shù)的情況下提取更多的空間特征信息。結(jié)合光流以及其它損失函數(shù)能在時(shí)空維度準(zhǔn)確提取特征。在Avenue數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到85.0%，在Ped2數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到96.0%，適用在簡(jiǎn)單場(chǎng)景中檢測(cè)小尺度行為特征。

UP3采用深度卷積和密集跳躍連接，關(guān)注更大范圍的感受野，能更好提取視頻幀復(fù)雜語(yǔ)義特征信息。在Avenue數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到85.8%，在Ped2數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到95.7%，適用于檢測(cè)更加復(fù)雜場(chǎng)景下的異常情況。

未來(lái)的視頻異常檢測(cè)研究主要從優(yōu)化算法的時(shí)空特征提取能力、減少模型的參數(shù)量、關(guān)聯(lián)前后景的行為變化3個(gè)方面展開(kāi)。