• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于UNet3+生成對(duì)抗網(wǎng)絡(luò)的視頻異常檢測(cè)

    2024-03-21 01:48:42陳景霞林文濤龍旻翔張鵬偉
    關(guān)鍵詞:尺度損失卷積

    陳景霞,林文濤,龍旻翔,張鵬偉

    (陜西科技大學(xué) 電子信息與人工智能學(xué)院,陜西 西安 710021)

    0 引 言

    傳統(tǒng)視頻異常檢測(cè)[1]采用手工特征提取方法,雖然檢測(cè)效果較好,但是計(jì)算成本高。與傳統(tǒng)方法相比,基于深度學(xué)習(xí)的視頻異常檢測(cè)方法具有更好的準(zhǔn)確性、魯棒性和運(yùn)行速度[2]。

    為了緩解視頻中正異常事件不均衡[3],以及有監(jiān)督訓(xùn)練所需視頻標(biāo)注工作量過(guò)大等問(wèn)題,目前大部分研究集中在弱監(jiān)督[4]、半監(jiān)督[5]和無(wú)監(jiān)督[6]方向進(jìn)行。在訓(xùn)練模型時(shí)只采用正常行為的視頻數(shù)據(jù),旨在學(xué)習(xí)正常情況下的行為變化以及緩解樣本事件不平衡的問(wèn)題。在測(cè)試時(shí)如果出現(xiàn)與正常行為不符的事件,則生成的數(shù)據(jù)會(huì)與原測(cè)試數(shù)據(jù)產(chǎn)生較大誤差,由此判斷產(chǎn)生異常。

    基于生成對(duì)抗網(wǎng)絡(luò)和自編碼器結(jié)構(gòu)的檢測(cè)方法不斷被提出[2],通過(guò)提取視頻幀空間特征或時(shí)間特征學(xué)習(xí)視頻中的行為變化。

    本文就不同場(chǎng)景下多尺度特征提取不完全等問(wèn)題,提出兩種生成對(duì)抗網(wǎng)絡(luò)方法。一種是將UNet3+[7]嵌入生成對(duì)抗網(wǎng)絡(luò)中學(xué)習(xí)全局信息,捕獲簡(jiǎn)單場(chǎng)景下更深層次小尺度特征信息(簡(jiǎn)稱U3P2)。另一種是將UNet++[8]引入生成對(duì)抗網(wǎng)絡(luò),學(xué)習(xí)復(fù)雜場(chǎng)景下大尺度特征信息(簡(jiǎn)稱UP3)。

    1 相關(guān)工作

    現(xiàn)階段的視頻異常檢測(cè)研究主要采用深度學(xué)習(xí)方法,并以視頻幀重構(gòu)和未來(lái)幀預(yù)測(cè)兩類方法為主。

    基于重構(gòu)的視頻異常檢測(cè)通過(guò)訓(xùn)練正常視頻數(shù)據(jù)來(lái)獲得正常數(shù)據(jù)的分布表示[9],而異常行為出現(xiàn)時(shí)會(huì)有不同的分布,帶來(lái)較大的重構(gòu)誤差。Gong等[10]為了減輕重構(gòu)異常的漏檢問(wèn)題,引入內(nèi)存模塊,提出內(nèi)存增強(qiáng)自編碼器模型(MemAE)。Chu等[11]結(jié)合時(shí)空特征,提出了一種使用稀疏編碼和深度學(xué)習(xí)表示的檢測(cè)方法。Ganokratanaa等[12]提出深度殘差時(shí)空轉(zhuǎn)換網(wǎng)絡(luò)(DR-STN),提高了生成器合成的圖像質(zhì)量。Wang等[13]引入基于邊緣的潛在損失,迫使產(chǎn)生更大的重建誤差,加強(qiáng)正異常幀的差距。

    在基于預(yù)測(cè)的視頻異常檢測(cè)方面,Liu等[14]提出將分割模型UNet(U-shaped network)用于視頻異常檢測(cè)方法,通過(guò)生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GANs)和其獲取語(yǔ)義信息的能力預(yù)測(cè)未來(lái)幀進(jìn)行異常判別,并采用光流模型學(xué)習(xí)幀的運(yùn)動(dòng)變化,取得較好的檢測(cè)結(jié)果。Dong等[15]提出雙鑒別器生成對(duì)抗網(wǎng)絡(luò)(CT-D2GAN)進(jìn)行異常檢測(cè),同樣基于UNet分割模型生成異常幀。Li等[16]提出一種基于注意力的多實(shí)例框架和幀預(yù)測(cè)框架,在預(yù)測(cè)框架內(nèi)引入內(nèi)存尋址模型。Chang等[17]提出一種帶有時(shí)空分離的卷積自動(dòng)編碼器結(jié)構(gòu),采用RGB差值模擬光流運(yùn)動(dòng),并在空間重構(gòu)最后一幀。

    上述基于生成對(duì)抗網(wǎng)絡(luò)的研究[14-17]均采用UNet分割模型作為其網(wǎng)絡(luò)的生成器模型,雖然這些方法取得一定成果,但依然存在模型檢測(cè)效果低、場(chǎng)景適用性不高、多尺度特征提取不完全等問(wèn)題。此外,基礎(chǔ)的UNet無(wú)法學(xué)習(xí)長(zhǎng)距離依賴性[18],存在不能有效捕捉目標(biāo)對(duì)象中多尺度特征等問(wèn)題。

    UNet3+[7]和UNet++[8]均是針對(duì)多尺度特征提取且具有高性能的圖像分割模型。本文也是受分割模型在視頻異常檢測(cè)應(yīng)用[14]的啟發(fā),將兩種性能較優(yōu)且能緩解上述問(wèn)題的圖像分割模型應(yīng)用于生成對(duì)抗網(wǎng)絡(luò)中進(jìn)行視頻異常檢測(cè)。

    2 方 法

    本文根據(jù)視頻中內(nèi)容的拍攝角度分為近景和遠(yuǎn)景,其中近景主要是人物行為及背景距離拍攝設(shè)備較近的場(chǎng)景,歸屬于簡(jiǎn)單場(chǎng)景;遠(yuǎn)景是距離拍攝設(shè)備較遠(yuǎn)的場(chǎng)景,如監(jiān)控視頻等,歸屬于復(fù)雜場(chǎng)景。

    針對(duì)不同場(chǎng)景下,使用簡(jiǎn)單的卷積自編碼器網(wǎng)絡(luò)特征提取能力有限[19],為此本文提出兩種異常檢測(cè)方法。其檢測(cè)整體流程如圖1所示。

    圖1 異常檢測(cè)結(jié)構(gòu)

    首先,疊加融合并歸一化連續(xù)的視頻幀,再通過(guò)編碼器對(duì)輸入數(shù)據(jù)提取小尺度特征。然后在簡(jiǎn)單場(chǎng)景下,解碼器對(duì)編碼特征通過(guò)反卷積進(jìn)行上采樣,使用U3P2網(wǎng)絡(luò)中的全尺度跳躍連接融合不同層次的特征圖,通過(guò)添加的雙卷積更全面地提取視頻幀的空間特征,在提升檢測(cè)效果的同時(shí)也減少了模型的參數(shù)量。在復(fù)雜場(chǎng)景下,使用UP3網(wǎng)絡(luò)并在其密集跳躍連接中引入更多的卷積來(lái)提取更加豐富的語(yǔ)義特征,從而提升模型對(duì)大尺度特征的提取能力。另外,所提兩種方法均采用光流模型來(lái)更好地提取視頻幀間運(yùn)動(dòng)信息。最后通過(guò)生成對(duì)抗網(wǎng)絡(luò)獲得預(yù)測(cè)幀,并計(jì)算預(yù)測(cè)幀與真實(shí)幀的差值,進(jìn)而判斷視頻中的異常情況。

    2.1 基于UNet3+的視頻異常檢測(cè)方法

    針對(duì)現(xiàn)有方法在遠(yuǎn)景視頻中小尺度行為特征提取不準(zhǔn)確、參數(shù)量大的問(wèn)題,本文提出基于UNet3+的視頻異常檢測(cè)方法(U3P2),在提高檢測(cè)效果的同時(shí),降低模型的參數(shù)量。

    2.1.1 生成模塊

    U3P2框架主要結(jié)構(gòu)如圖2所示。本文采用改進(jìn)的UNet3+[7]作為網(wǎng)絡(luò)生成器,整體采用四層自編碼器結(jié)構(gòu)并將3×3大小的64個(gè)卷積核的卷積塊作為第一層。

    圖2 U3P2方法結(jié)構(gòu)

    下采樣階段,每層輸入將經(jīng)過(guò)雙卷積、LeakyRelu激活函數(shù),提取各個(gè)層次特征數(shù)據(jù)。上采樣階段,由于雙線性插值方法會(huì)丟掉部分特征信息,為了更好還原特征圖,解碼器部分采用反卷積的方式對(duì)拼接后特征進(jìn)行上采樣操作,公式計(jì)算如下

    (1)

    為了捕獲更多細(xì)粒度和粗粒度的語(yǔ)義信息,采用全尺度跳躍連接方式,將上采樣過(guò)程中每個(gè)卷積層的卷積核個(gè)數(shù)固定,使其與第一層卷積核數(shù)量相同,從而每一層能融合來(lái)自低、同、高層次的特征圖。在拼接全尺度特征圖時(shí),使用連續(xù)的雙卷積以及LeakyRelu激活函數(shù)作為連接時(shí)的卷積塊,以此提高對(duì)特征的提取能力,其計(jì)算公式如下

    (2)

    2.1.2 U3P2

    當(dāng)生成器的編碼層采用M特征數(shù),編碼器N層時(shí),其中UNet3+模型參數(shù)量計(jì)算如下

    (3)

    式中:DF代表卷積核大小,d(·) 代表節(jié)點(diǎn)深度。

    (4)

    式中:G代表生成器,[I1,…It-1]代表連續(xù)的視頻幀。

    最后采用全卷積網(wǎng)絡(luò)鑒別器,通過(guò)卷積感受野判斷每個(gè)區(qū)域,最后根據(jù)加權(quán)結(jié)果判斷預(yù)測(cè)幀是否與原圖接近。由判別器判別真假,以預(yù)測(cè)幀和真實(shí)幀的差值作為異常分?jǐn)?shù)。

    2.2 基于UNet++的視頻異常檢測(cè)方法

    針對(duì)現(xiàn)有方法在近景視頻中大尺度行為特征提取不準(zhǔn)確、準(zhǔn)確度不高等問(wèn)題,本文提出基于UNet++的視頻異常檢測(cè)方法(UP3)。

    UP3框架主要結(jié)構(gòu)如圖3所示。本文使用改進(jìn)的UNet++[8]作為近景視頻檢測(cè)網(wǎng)絡(luò)的生成器模型。模型整體采用五層結(jié)構(gòu),并引入密集的跳躍連接,在跳躍連接路徑中使用雙卷積卷積塊,其卷積的輸入來(lái)自同層前一個(gè)或多個(gè)卷積層的輸出和下一層低密度卷積的輸出相融合,以此減少編碼器和解碼器子網(wǎng)絡(luò)的特征圖之間的語(yǔ)義差距,通過(guò)抓取不同層次的特征,來(lái)捕獲更大感受野的區(qū)域特征,獲得更加豐富的語(yǔ)義信息。

    圖3 UP3方法生成器結(jié)構(gòu)

    在解碼器階段也采用反卷積對(duì)特征圖進(jìn)行上采樣,每個(gè)卷積結(jié)點(diǎn)的計(jì)算公式如下

    (5)

    式中:i代表沿編碼器下采樣層索引,j代表沿跳躍連接的密集卷積層,Xi,j表示當(dāng)前節(jié)點(diǎn),C(·) 代表卷積以及激活函數(shù)計(jì)算,[·]代表級(jí)聯(lián)層,U(·) 代表上采樣層。

    其輸入與上節(jié)相同,選取連續(xù)t-1幀在通道維度上融合疊加,再輸入改進(jìn)的生成器模型預(yù)測(cè)下一幀。采用相同的損失函數(shù)學(xué)習(xí)外觀特征,并送到光流模型和全卷積網(wǎng)絡(luò)判別器中,結(jié)合足夠的對(duì)抗迭代以及損失約束,讓模型在時(shí)空維度上提取更多特征信息,學(xué)習(xí)正常行為的變化。

    其中模型的參數(shù)計(jì)算如下

    (6)

    式中:DF代表卷積核大小,d(·) 代表節(jié)點(diǎn)深度。

    2.3 損失約束

    為了加強(qiáng)對(duì)抗網(wǎng)絡(luò)對(duì)視頻幀的預(yù)測(cè)能力,引入4種損失約束[14]。

    2.3.1 強(qiáng)度損失

    (7)

    2.3.2 梯度損失

    為了更好保證預(yù)測(cè)幀的清晰度,引入梯度損失Lgd,其定義如下

    (8)

    式中:i,j代表視頻幀的空間索引。

    2.3.3 光流損失

    為了加強(qiáng)學(xué)習(xí)運(yùn)動(dòng)信息,本文引入運(yùn)動(dòng)損失約束,在時(shí)間上對(duì)其約束,其損失函數(shù)表示如下

    (9)

    2.3.4 對(duì)抗損失約束

    生成對(duì)抗網(wǎng)絡(luò)已被證明在視頻生成中的可行性[2]。通常網(wǎng)絡(luò)包含一個(gè)生成器G和一個(gè)判別器D,本文將采用UNet3+或UNet++作為生成器G,使用全卷積網(wǎng)絡(luò)作為判別器D。

    訓(xùn)練生成網(wǎng)絡(luò)目的是為了使生成器G學(xué)習(xí)正常事件行為特征,從而輸出與正常事件真實(shí)幀更加接近的預(yù)測(cè)幀,具體表示如下

    (10)

    (11)

    2.3.5 目標(biāo)損失函數(shù)

    結(jié)合前幾節(jié)提到強(qiáng)度損失、梯度損失、光流損失以及對(duì)抗損失,最終目標(biāo)損失函數(shù)如下所示

    (12)

    式中:λint、λgd、λol和λadv為各個(gè)損失部分的權(quán)重參數(shù)。

    2.4 異常評(píng)判標(biāo)準(zhǔn)

    假設(shè)異常事件是不可預(yù)測(cè),因此在訓(xùn)練時(shí)均采用正常數(shù)據(jù)訓(xùn)練,預(yù)測(cè)幀的結(jié)果也只會(huì)更加接近真實(shí)幀,將預(yù)測(cè)幀與真實(shí)幀間的差異作為異常分?jǐn)?shù)的判斷。當(dāng)出現(xiàn)真實(shí)異常情況時(shí),預(yù)測(cè)幀和真實(shí)幀必會(huì)產(chǎn)生差異,若差異較小,則視為正常情況。峰值信噪比(peak signal to noise ratio,PSNR)是一種評(píng)估圖像質(zhì)量的有效方法[14],表達(dá)為

    (13)

    式中:在t幀時(shí)的PSNR值越高表示其預(yù)測(cè)幀生成質(zhì)量越好,更加接近真實(shí)幀,代表行為正常,反之異常。同時(shí)每個(gè)視頻的所有幀的PSNR也將歸一化到[0,1],具體計(jì)算每幀分?jǐn)?shù)的公式如下

    (14)

    最終根據(jù)S(t) 結(jié)果判斷預(yù)測(cè)幀是否異常。

    3 實(shí)驗(yàn)結(jié)果及分析

    3.1 數(shù)據(jù)集

    為了有效開(kāi)展實(shí)驗(yàn),本文提出的兩種模型使用TensorFlow框架和NVIDIA GeForce GTX3090 GPU,在兩個(gè)公開(kāi)數(shù)據(jù)集[18]CUHK Avenue和UCSD Pedestrian 2(Ped2)進(jìn)行實(shí)驗(yàn)驗(yàn)證。數(shù)據(jù)集具體內(nèi)容如下:

    (1)CUHK Avenue數(shù)據(jù)集:包含16個(gè)訓(xùn)練視頻和21個(gè)測(cè)試視頻,場(chǎng)景是校園大道且每幀為RGB圖像,每幀的尺寸為640×360,采取固定角度錄制的監(jiān)控視頻,其中存在行人跑錯(cuò)方向、快速的奔跑、物品散落等47個(gè)異常事件。

    (2)UCSD Ped2數(shù)據(jù)集:包含16個(gè)訓(xùn)練視頻和12個(gè)測(cè)試視頻,場(chǎng)景是行人與攝像頭拍攝方向平行的區(qū)域,每幀的尺寸為360×240,其中存在騎自行車(chē)、玩滑板、汽車(chē)等12個(gè)異常事件。

    以上兩個(gè)數(shù)據(jù)集在訓(xùn)練時(shí)均采用只包含正常事件的訓(xùn)練視頻,在測(cè)試時(shí)會(huì)存在異常事件的測(cè)試視頻,異常數(shù)據(jù)部分展示如圖4所示。

    圖4 異常數(shù)據(jù)部分展示

    3.2 評(píng)價(jià)指標(biāo)

    為了方便實(shí)驗(yàn)對(duì)比,本文與Liu等[14]采用相同的評(píng)價(jià)指標(biāo)AUC,作為視頻異常檢測(cè)的評(píng)價(jià)指標(biāo)。

    AUC(area under curve)是接收者操作特征曲線(receiver operating characteristic curve,ROC)下的面積。視頻異常檢測(cè)標(biāo)準(zhǔn)方式一般分為幀級(jí)和視頻級(jí),本次實(shí)驗(yàn)在幀級(jí)進(jìn)行操作,根據(jù)AUC指標(biāo)評(píng)估模型對(duì)異常檢測(cè)效果的好壞,當(dāng)ROC曲線面積越大時(shí),則AUC分?jǐn)?shù)越高,模型檢測(cè)效果越好。

    3.3 實(shí)驗(yàn)結(jié)果分析

    本文采用連續(xù)5幀作為網(wǎng)絡(luò)輸入,輸入每幀大小固定256×256。其中連續(xù)的前4幀用于預(yù)測(cè)最后一幀。方法均使用光流模型學(xué)習(xí)在時(shí)間維度的運(yùn)動(dòng)特征,并引入不同損失約束使其學(xué)習(xí)外觀特征,最終以預(yù)測(cè)幀和真實(shí)幀的差值計(jì)算異常分?jǐn)?shù)。

    3.3.1 不同算法性能對(duì)比

    為了驗(yàn)證本文模型的有效性,將與現(xiàn)有的視頻異常檢測(cè)研究在幀級(jí)的AUC指標(biāo)進(jìn)行對(duì)比,方法分為基于重構(gòu)和基于預(yù)測(cè)兩種,具體對(duì)比結(jié)果見(jiàn)表1,模型的參數(shù)量對(duì)比見(jiàn)表2。本文提出的UP3在Avenue數(shù)據(jù)集上AUC達(dá)到了85.8%,U3P2在Ped2數(shù)據(jù)集上AUC達(dá)到96.0%。所提方法分別是兩種數(shù)據(jù)集的最優(yōu)結(jié)果,驗(yàn)證了本文提出的視頻異常檢測(cè)方法的有效性以及兩種圖像分割模型的可應(yīng)用性。

    表1 幀級(jí)檢測(cè)性能比較AUC/%

    表2 計(jì)算成本對(duì)比

    U3P2在Avenue數(shù)據(jù)集的檢測(cè)效果雖低于UP3模型方法,但在Ped2數(shù)據(jù)集上取得最好結(jié)果,較于基準(zhǔn)方法[14]提升0.6%,較于方法UP3提升0.3%。結(jié)合表2,方法U3P2在提升異常檢測(cè)效果的同時(shí),也帶來(lái)了更少參數(shù)量,并與其它算法的性能保持持平甚至優(yōu)于其它算法,降低了視頻異常檢測(cè)模型的復(fù)雜度。Ped2數(shù)據(jù)集是更接近現(xiàn)實(shí)監(jiān)控的黑白視頻,視頻中的行為特征較為細(xì)小。通過(guò)全尺度跳躍連接結(jié)構(gòu),將不同尺度的特征圖進(jìn)行拼接,能更有效獲取視頻幀中多尺度特征的語(yǔ)義信息,該方法更適用在遠(yuǎn)景監(jiān)控的場(chǎng)景下。在Avenue數(shù)據(jù)集中效果與近年其它方法相差不多,其原因可能是,方法還未能將多個(gè)局部信息聯(lián)系,對(duì)大尺度行為特征提取欠缺,由于該數(shù)據(jù)集中人物行為變化較大,因此對(duì)人物行為檢測(cè)效果略低一些。

    UP3在Avenue數(shù)據(jù)集檢測(cè)效果較于基準(zhǔn)方法[14]提升0.9%,取得最優(yōu)結(jié)果。UP3采用深度卷積以及密集跳躍連接提取特征信息,針對(duì)近景視頻中的人物行為特征,該方法相比U3P2能關(guān)注較大的感受野區(qū)域特征信息,較好檢測(cè)視頻中存在的大尺度行為特征,卻也存在大量參數(shù)的使用。對(duì)于遠(yuǎn)景數(shù)據(jù)檢測(cè)效果略低的原因,可能是UP3未能處理更小感受野的局部信息。

    MemAE[10]雖然用記憶模塊存儲(chǔ)正常行為特征,但沒(méi)有考慮時(shí)間維度的行為變化,當(dāng)記憶模塊空間設(shè)置越大時(shí),也會(huì)帶來(lái)更多的參數(shù)量。SCG-SF[11]雖然考慮到時(shí)空特征信息,但對(duì)視頻中的多尺度特征提取能力不足,檢測(cè)結(jié)果相比其它幾種方法略低。CT-D2GAN[15]方法采用雙鑒別器生成對(duì)抗網(wǎng)絡(luò),效果就基線方法相比,提升并不明顯,說(shuō)明網(wǎng)絡(luò)的疊加使用并不能提升特征的提取,而本文所提方法能更有效提取多尺度特征,提高檢測(cè)能力。

    相比于重構(gòu)的模型[10,11,20],基于預(yù)測(cè)的模型[14,15]檢測(cè)效果更好。說(shuō)明本文的預(yù)測(cè)模型可以有效提取連續(xù)視頻幀的時(shí)空特征信息,也證實(shí)UNet++和UNet3+圖像分割模型在視頻異常檢測(cè)領(lǐng)域的適用性。

    3.3.2 結(jié)果可視化

    為了更好驗(yàn)證模型的有效性,將U3P2模型預(yù)測(cè)結(jié)果可視化展示,如圖5所示。

    圖5 預(yù)測(cè)結(jié)果可視化

    在正常行為中,預(yù)測(cè)幀與真實(shí)幀接近;出現(xiàn)異常時(shí),將生成較為模糊的異常行為,如圖5左下角的自行車(chē)為生成的模糊異常行為。

    本文所提模型在訓(xùn)練時(shí)實(shí)時(shí)計(jì)算并記錄了每個(gè)預(yù)測(cè)幀的PNSR值。當(dāng)圖像生成質(zhì)量越高時(shí),PSNR值越大,反之越小。在視頻異常檢測(cè)領(lǐng)域根據(jù)PSNR值的變化可以更加直觀判斷模型檢測(cè)的效果,在U3P2模型實(shí)驗(yàn)的PSNR值結(jié)果展示如圖6所示。

    圖6 PSNR值結(jié)果可視化

    選取Ped2數(shù)據(jù)集中第二個(gè)測(cè)試片段作為PSNR值變化分析。從圖中看到正常行為的PSNR值變化不大,僅在[0,1]范圍發(fā)生波動(dòng),而在后幾幀中PSNR值快速下降,是由于出現(xiàn)訓(xùn)練中突然未出現(xiàn)的騎自行車(chē)現(xiàn)象,該現(xiàn)象被判定為異常,后幾幀的值趨于低值穩(wěn)定是因?yàn)樵诤竺娴钠沃幸恢贝嬖隍T自行車(chē)的行為,即一直存在異常行為。由此也證實(shí)了本文所提方法確實(shí)能有效分辨視頻片段中的正常行為和異常行為。

    3.3.3 驗(yàn)證實(shí)驗(yàn)

    為了確定網(wǎng)絡(luò)層數(shù)的不同對(duì)視頻異常檢測(cè)效果的影響,就本文提出的兩種方法,分別以四層結(jié)構(gòu)和五層結(jié)構(gòu)且采用相同的參數(shù)在Ped2數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比。最終幀級(jí)AUC(%)結(jié)果以及參數(shù)量在表3和表4中展示,損失函數(shù)對(duì)模型的影響在表5展示。

    表3 不同層數(shù)對(duì)結(jié)果的影響

    表4 不同層數(shù)對(duì)參數(shù)量的影響

    表5 不同損失函數(shù)在Ped2數(shù)據(jù)集中的AUC值

    其中,四層網(wǎng)絡(luò)均采用特征數(shù)為64、128、256和512的結(jié)構(gòu),而五層網(wǎng)絡(luò)均采用特征數(shù)為32、64、128、256和512的結(jié)構(gòu)。通過(guò)表3和表4發(fā)現(xiàn)四層U3P2的結(jié)果優(yōu)于五層的結(jié)果,其原因在于四層時(shí)使用的參數(shù)量更多;五層的UP3的結(jié)果優(yōu)于四層的結(jié)果,也表明在參數(shù)量多的情況下預(yù)測(cè)效果更好。而U3P2在四層時(shí)的參數(shù)多,源于其全尺度跳躍連接結(jié)構(gòu),其上采樣的每層卷積核數(shù)量與下采樣第一層卷積核數(shù)量相同。當(dāng)采用四層結(jié)構(gòu)且第一層數(shù)量為64,則上采樣的每一層特征數(shù)為64×4,而五層設(shè)置第一層數(shù)量為32,則上采樣的每一層特征數(shù)為32×5,五層的特征數(shù)低于四層,因此該模型在四層時(shí)效果更好;針對(duì)不同層數(shù)的UP3的預(yù)測(cè)方法,由于減少一層32特征數(shù)的卷積層,只帶來(lái)少量參數(shù)減少,因此不同層數(shù)的檢測(cè)結(jié)果接近。

    表5顯示4種損失約束對(duì)方法U3P2在Ped2數(shù)據(jù)集上的影響。表中結(jié)果顯示,光流損失引入后達(dá)到96.0%,較未引入時(shí)提高至少1%,說(shuō)明光流能有效提升方法在時(shí)間維度的特征提取能力。隨著損失約束的添加,AUC值明顯提升,因此驗(yàn)證了加入不同的損失約束會(huì)影響方法的檢測(cè)性能,引入更多的約束條件可能會(huì)提升AUC。

    4 結(jié)束語(yǔ)

    針對(duì)現(xiàn)有研究方法存在不同場(chǎng)景下多尺度特征提取不完全等問(wèn)題,本文提出兩種方法。

    U3P2能夠在少量參數(shù)的情況下提取更多的空間特征信息。結(jié)合光流以及其它損失函數(shù)能在時(shí)空維度準(zhǔn)確提取特征。在Avenue數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到85.0%,在Ped2數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到96.0%,適用在簡(jiǎn)單場(chǎng)景中檢測(cè)小尺度行為特征。

    UP3采用深度卷積和密集跳躍連接,關(guān)注更大范圍的感受野,能更好提取視頻幀復(fù)雜語(yǔ)義特征信息。在Avenue數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到85.8%,在Ped2數(shù)據(jù)集檢測(cè)結(jié)果達(dá)到95.7%,適用于檢測(cè)更加復(fù)雜場(chǎng)景下的異常情況。

    未來(lái)的視頻異常檢測(cè)研究主要從優(yōu)化算法的時(shí)空特征提取能力、減少模型的參數(shù)量、關(guān)聯(lián)前后景的行為變化3個(gè)方面展開(kāi)。

    猜你喜歡
    尺度損失卷積
    少問(wèn)一句,損失千金
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    胖胖損失了多少元
    財(cái)產(chǎn)的五大尺度和五重應(yīng)對(duì)
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    玉米抽穗前倒伏怎么辦?怎么減少損失?
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    宇宙的尺度
    太空探索(2016年5期)2016-07-12 15:17:55
    一般自由碰撞的最大動(dòng)能損失
    9
    仁布县| 宝应县| 蓝田县| 湘阴县| 金寨县| 当雄县| 吉安县| 子洲县| 阳谷县| 凤阳县| 会同县| 新丰县| 蓝山县| 渑池县| 汶上县| 龙江县| 宜春市| 遵义县| 桃园市| 北流市| 清流县| 库尔勒市| 定兴县| 乐山市| 富源县| 古浪县| 临夏市| 台中市| 中宁县| 和硕县| 志丹县| 拉萨市| 扎囊县| 涟源市| 庄浪县| 金堂县| 南平市| 大宁县| 沿河| 钟山县| 区。|