• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合低秩分解與多流融合的行為識(shí)別方法

    2022-08-29 09:55:20黃思翔高陳強(qiáng)
    關(guān)鍵詞:光流集上時(shí)域

    黃思翔,高陳強(qiáng),陳 旭,趙 悅,楊 烽

    (1.重慶郵電大學(xué) 通信與信息工程學(xué)院,重慶 400065; 2.信號(hào)與信息處理重慶市重點(diǎn)實(shí)驗(yàn)室,重慶 400065)

    0 引 言

    行為識(shí)別任務(wù)旨在讓計(jì)算機(jī)識(shí)別出視頻中發(fā)生的感興趣的行為類別,在智能監(jiān)控、自動(dòng)駕駛、視頻推薦與娛樂(lè)等領(lǐng)域有廣泛的應(yīng)用[1]。然而,由于視頻行為的多樣性和場(chǎng)景的復(fù)雜性,行為識(shí)別任務(wù)在實(shí)際應(yīng)用中依舊存在較大的挑戰(zhàn)。

    近年來(lái),深度學(xué)習(xí)在行為識(shí)別任務(wù)中發(fā)揮著越來(lái)越重要的作用。在先前的研究中[2-11],研究者們大多聚焦于對(duì)網(wǎng)絡(luò)模型結(jié)構(gòu)進(jìn)行修改[2-4,6-8],或者使用更大規(guī)模的視頻數(shù)據(jù)集進(jìn)行模型預(yù)訓(xùn)練[3-5,9-11],從而讓模型能夠提取魯棒性更強(qiáng)的特征以提升行為識(shí)別精度。這些方法的輸入模態(tài)一般僅為原始視頻,通過(guò)計(jì)算輸入視頻直方圖特征或者用二維、三維卷積提取視頻特征,并對(duì)獲取的特征進(jìn)行分類。雙流模型[12]被提出后,通過(guò)大量的實(shí)驗(yàn)[2-4,13-14],驗(yàn)證了視頻光流信息與RGB流信息進(jìn)行融合后能進(jìn)一步提高模型的行為識(shí)別準(zhǔn)確率。然而,在獲取視頻光流信息時(shí),由于僅參考了相鄰兩幀圖像之間的像素運(yùn)動(dòng),模型只能提取采樣片段的局部時(shí)域信息,忽略了整個(gè)視頻的全局時(shí)域信息的學(xué)習(xí),這導(dǎo)致模型對(duì)視頻行為類別的判別并不可靠。

    對(duì)于場(chǎng)景固定的數(shù)據(jù)集[15-18],運(yùn)動(dòng)區(qū)域相對(duì)原圖所占比例較少,穩(wěn)定不變的區(qū)域較多。因此,原始視頻可以粗略地看成是由大部分穩(wěn)定的區(qū)域與少部分變化的運(yùn)動(dòng)信息組合而成。穩(wěn)定的區(qū)域在整個(gè)視頻中是不變或者近似不變的,該區(qū)域視頻可以近似地用少量甚至一幀圖像來(lái)代替。對(duì)于視頻的運(yùn)動(dòng)部分,運(yùn)動(dòng)信息通常只占視頻中的小部分。因此,可以認(rèn)為運(yùn)動(dòng)部分對(duì)應(yīng)的視頻矩陣為稀疏矩陣,能夠借助低秩分解來(lái)提取整個(gè)視頻的全局時(shí)域信息。

    為了更好地利用視頻全局時(shí)域信息,本文先把原始視頻進(jìn)行低秩分解為低秩流和稀疏流兩部分。低秩流包含視頻中比較穩(wěn)定的內(nèi)容,稀疏流包含視頻中運(yùn)動(dòng)信息,且這種信息具有全局性。把包含全局運(yùn)動(dòng)信息的稀疏流、包含局部運(yùn)動(dòng)信息的光流和RGB流分別輸入3D CNN網(wǎng)絡(luò),并進(jìn)行后期融合。模型在后期融合中聚合了光流和稀疏流兩個(gè)不同尺度的時(shí)域運(yùn)動(dòng)信息與豐富的空域信息,多流融合的結(jié)果相較于僅融合單個(gè)尺度的時(shí)域信息與空域信息更可靠。

    1 相關(guān)工作

    近年來(lái),深度學(xué)習(xí)方法在圖像識(shí)別領(lǐng)域取得了巨大的成功[19-25],許多研究者開(kāi)始將深度學(xué)習(xí)方法應(yīng)用于行為識(shí)別領(lǐng)域[5,12,22-23]。

    行為識(shí)別的難點(diǎn)是如何提高模型的時(shí)域建模能力,現(xiàn)有方法通常遵循兩種思路來(lái)提高時(shí)域建模能力。

    1)基于二維卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的方法。文獻(xiàn)[12]提出了雙流CNN,將單幀圖像和多幀光流堆疊分別送入CNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練,并將其預(yù)測(cè)結(jié)果進(jìn)行融合。這種方法能夠有效地提升模型的識(shí)別準(zhǔn)確率,證實(shí)了光流與RGB流的雙流融合能夠有效提升識(shí)別準(zhǔn)確率。雖然該方法以引入光流模態(tài)來(lái)引入相鄰幀的時(shí)域信息,但是模型只獲取了短時(shí)運(yùn)動(dòng)信息,無(wú)法對(duì)長(zhǎng)時(shí)運(yùn)動(dòng)信息進(jìn)行有效建模。文獻(xiàn)[24-25]針對(duì)雙流融合中只能處理短時(shí)運(yùn)動(dòng)而對(duì)長(zhǎng)時(shí)運(yùn)動(dòng)的時(shí)間結(jié)構(gòu)無(wú)法有效捕捉的問(wèn)題,提出了時(shí)域分割網(wǎng)絡(luò)(temporal segment network, TSN)。TSN采用稀疏時(shí)間采樣策略,擴(kuò)大了對(duì)原始視頻的時(shí)域感受野,從而提高時(shí)域建模能力,但其比雙流融合僅獲得了較多的局部運(yùn)動(dòng)信息。文獻(xiàn)[5]在分析了3D卷積相對(duì)于2D卷積的優(yōu)勢(shì)后,提出將3D卷積拆分為一個(gè)2D空間卷積與一個(gè)1D時(shí)間卷積的串聯(lián)形式,構(gòu)成新的時(shí)空卷積塊R(2+1)D,極大地提升了模型的實(shí)時(shí)性且保證了模型的精度。

    2)基于文獻(xiàn)[2]的3D CNN行為識(shí)別方法。該方法使用更適合學(xué)習(xí)時(shí)空特征的3D卷積替換了原本的2D卷積,文獻(xiàn)[3,13]分別針對(duì)3D卷積中參數(shù)過(guò)多而數(shù)據(jù)集較小的問(wèn)題提出了P3D和T3D網(wǎng)絡(luò),借鑒ImageNet網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練權(quán)重遷移,將對(duì)應(yīng)2D CNN的預(yù)訓(xùn)練權(quán)重向3D網(wǎng)絡(luò)遷移。這表明,圖像識(shí)別領(lǐng)域中模型在ImageNet數(shù)據(jù)集上進(jìn)行的預(yù)訓(xùn)練可以很好地應(yīng)用到其他領(lǐng)域。文獻(xiàn)[4]提出了大規(guī)模的Kinetice數(shù)據(jù)集,并根據(jù)基于2D卷積的LSTM模型、3D卷積與雙流CNN的優(yōu)缺點(diǎn),設(shè)計(jì)了一種基于3D卷積的雙流I3D(two-stream inflated 3D convNets)模型,表明在大數(shù)據(jù)集上預(yù)訓(xùn)練的3D網(wǎng)絡(luò)能夠在小數(shù)據(jù)集上大幅度提升精度。

    上述方法都是擴(kuò)大時(shí)域感受野來(lái)提升模型的精度,模型所得到的數(shù)據(jù)仍為局部運(yùn)動(dòng)信息,忽視了全局運(yùn)動(dòng)信息的顯示提取。針對(duì)此問(wèn)題,本文通過(guò)低秩分解從RGB流中顯式地提取動(dòng)態(tài)的全局運(yùn)動(dòng)成分與精致的紋理,有效地提升所提取特征的區(qū)分度,從而提升模型精度。

    2 低秩分解基礎(chǔ)

    本文采用加速近端梯度算法(accelerated proximal gradient, APG)[26]來(lái)進(jìn)行低秩分解,APG算法進(jìn)行低秩分解是求解最優(yōu)化問(wèn)題,表示為

    (1)

    求解(1)式為NP難問(wèn)題,需要通過(guò)凸松弛轉(zhuǎn)化為新的最優(yōu)化問(wèn)題,表示為

    (2)

    3 本文方法

    本文提出的基于低秩分解與雙流融合的行為識(shí)別方法如圖1所示。第1步,將原始視頻進(jìn)行光流提取與低秩分解,由于當(dāng)前的低秩分解算法不能直接處理三維視頻數(shù)據(jù),需要對(duì)原始視頻先進(jìn)行二維轉(zhuǎn)化、低秩分解、三維還原,得到對(duì)應(yīng)的低秩視頻與稀疏視頻;第2步,將原始視頻以及提取得到的稀疏視頻、光流視頻分別通過(guò)對(duì)應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)處理得到對(duì)應(yīng)的各行為概率;第3步,對(duì)3個(gè)模態(tài)的各行為概率進(jìn)行后融合,得到最終預(yù)測(cè)結(jié)果。

    圖1 本文提出的基于低秩分解與雙流融合的行為識(shí)別方法

    3.1 基于低秩模型的視頻全局運(yùn)動(dòng)信息提取

    本文需要對(duì)視頻的穩(wěn)定區(qū)域與運(yùn)動(dòng)區(qū)域進(jìn)行顯式提取得到低秩流、稀疏流。低秩分解算法目前已經(jīng)比較成熟,因此,本文直接使用經(jīng)典的加速近端梯度算法[26-28]來(lái)進(jìn)行低秩分解。

    在現(xiàn)有的視頻數(shù)據(jù)集[15-16]中,運(yùn)動(dòng)視頻往往是由大部分的穩(wěn)定區(qū)域與少部分的變化運(yùn)動(dòng)信息組合而成,可以借助低秩分解進(jìn)行分離,即將原始視頻數(shù)據(jù)矩陣HRGB分解為低秩流矩陣HA與稀疏流矩陣HE之和,表示為

    HRGB=HA+HE

    (3)

    (3)式中,HRGB、HA、HE均為三維矩陣。傳統(tǒng)的低秩分解算法通常只對(duì)二維矩陣進(jìn)行低秩分解得到一個(gè)二維低秩矩陣與二維稀疏矩陣。然而,視頻數(shù)據(jù)為三維矩陣,無(wú)法直接套用傳統(tǒng)的低秩分解算法。本文對(duì)視頻數(shù)據(jù)進(jìn)行適當(dāng)轉(zhuǎn)化,使其轉(zhuǎn)變?yōu)閭鹘y(tǒng)低秩分解算法所匹配的二維矩陣后再進(jìn)行低秩分解。視頻數(shù)據(jù)低秩分解的預(yù)處理方法如圖2所示。首先,對(duì)三維結(jié)構(gòu)進(jìn)行轉(zhuǎn)化;然后,對(duì)二維結(jié)構(gòu)進(jìn)行低秩分解,得到低秩部分與稀疏部分;最后,將低秩部分與稀疏部分按轉(zhuǎn)化方法的逆過(guò)程還原為三維結(jié)構(gòu)。

    圖2 視頻數(shù)據(jù)低秩分解的預(yù)處理方法

    (4)

    視頻數(shù)據(jù)的三維矩陣HRGB,經(jīng)過(guò)上述操作以后轉(zhuǎn)化為一個(gè)t×n×m的二維矩陣D,表示為

    D=[C1,C2,…,Ct]

    (5)

    (6)

    (7)

    (8)

    同理有

    (9)

    將得到的A、E還原為HA、HE。

    從上述過(guò)程可以得到,在進(jìn)行低秩分解時(shí),整個(gè)視頻的時(shí)域信息被整合為一個(gè)二維矩陣,每一幀的運(yùn)動(dòng)信息均包含了整個(gè)視頻的時(shí)域信息。因此,其比光流包含更加豐富的時(shí)域信息。

    3.2 卷積神經(jīng)網(wǎng)絡(luò)模型

    為了驗(yàn)證本文方法的有效性與泛化性,選用雙流I3D[4]、C3D[2]、R(2+1)D[5]、TSM[29]4個(gè)卷積神經(jīng)網(wǎng)絡(luò)作為驗(yàn)證模型。

    I3D模型網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。I3D的輸入為一段長(zhǎng)度為64幀、單幀圖像大小為224×224的視頻段,其損失函數(shù)使用分類中常用的交叉熵,定義為

    圖3 I3D網(wǎng)絡(luò)結(jié)構(gòu)

    (10)

    (10)式中:yi為第i類的真實(shí)概率;pi為第i類的預(yù)測(cè)概率;C為類別數(shù)。雙流I3D網(wǎng)絡(luò)借鑒了ImageNet中的Inception-v1網(wǎng)絡(luò)[29],經(jīng)證實(shí),在Kinetics[4]大數(shù)據(jù)集上預(yù)訓(xùn)練過(guò)的I3D模型在UCF101和HMDB51上能取得很高的識(shí)別準(zhǔn)確率。不過(guò),此預(yù)訓(xùn)練模型是在對(duì)應(yīng)模態(tài)(即RGB和光流數(shù)據(jù))上進(jìn)行的,缺少低秩、稀疏部分在大規(guī)模數(shù)據(jù)集上的預(yù)訓(xùn)練模型,而直接加載對(duì)應(yīng)模態(tài)預(yù)訓(xùn)練模型會(huì)因?yàn)槟B(tài)信息不匹配而造成實(shí)驗(yàn)結(jié)果不夠好。因此,為了保證對(duì)比實(shí)驗(yàn)的公平性,本文所有實(shí)驗(yàn)在訓(xùn)練時(shí)不加載任何的預(yù)訓(xùn)練模型,所有的模態(tài)采用I3D單獨(dú)訓(xùn)練一個(gè)模型直至在對(duì)應(yīng)模態(tài)上收斂,并融合所有模態(tài)的測(cè)試集結(jié)果作為最終結(jié)果。

    C3D模型是在2D CNN上將2D卷積核擴(kuò)展為3D卷積核得到的模型,3D卷積擁有更加強(qiáng)大的時(shí)域建模能力,在行為識(shí)別上相對(duì)2D卷積表現(xiàn)更好。C3D有8個(gè)卷積層、5個(gè)全連接層以及2個(gè)全連接層,并且卷積核的大小為3×3×3,其損失函數(shù)為交叉熵。

    R(2+1)D模型是將3D卷積用一個(gè)2D空間卷積和1D時(shí)間卷積串聯(lián)代替,總體結(jié)構(gòu)與R3D結(jié)構(gòu)相似,不同之處是R(2+1)D在塊與塊的連接中有更多的ReLU(rectified linear unit)激活層。R(2+1)D使用了和R3D相同的參數(shù)量卻獲得了兩倍的非線性參數(shù),損失函數(shù)為交叉熵。

    TSM[29]模型提出將用于時(shí)域建模的時(shí)間轉(zhuǎn)移模塊聚合時(shí)域特征,保證在二維卷積模型的結(jié)構(gòu)不被破壞的前提下聚合到豐富的時(shí)域信息[30]。TSM保證了整體網(wǎng)絡(luò)的輕量級(jí)并取得了較好的識(shí)別效果,損失函數(shù)為交叉熵。

    本文參考文獻(xiàn)[27]的模型設(shè)置對(duì)C3D網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行同樣的改進(jìn)。在每一個(gè)卷積層后加上了批歸一化層,這樣可以幫助模型在訓(xùn)練過(guò)程中抑制過(guò)擬合。

    3.3 后融合

    本文方法采用的融合方式為后融合,對(duì)所有支路的預(yù)測(cè)結(jié)果進(jìn)行融合,將每個(gè)模態(tài)所預(yù)測(cè)的每個(gè)行為類別的分?jǐn)?shù)進(jìn)行加權(quán)平均得到最終每個(gè)行為類別預(yù)測(cè)概率,取最高的加權(quán)平均概率行為作為最終的行為識(shí)別結(jié)果,表示為

    (11)

    4 實(shí)驗(yàn)與分析

    4.1 實(shí)驗(yàn)數(shù)據(jù)集

    本文在行為識(shí)別中使用最經(jīng)典且常用的UCF101[15]、HMDB51[16]以及紅外視頻行為識(shí)別InfAR[31]數(shù)據(jù)集。

    UCF101數(shù)據(jù)集是從YouTube收集,具有101個(gè)操作類別的真實(shí)行為視頻行為識(shí)別數(shù)據(jù)集。憑借來(lái)自101個(gè)行為類別的13 320個(gè)視頻,UCF101在行為方面提供了良好的行為多樣性,并且在相機(jī)運(yùn)動(dòng)、物體外觀和姿勢(shì)、物體比例、視點(diǎn)、雜亂背景、照明條件等方面存在較大的變化,它是迄今為止仍具有一定挑戰(zhàn)性的數(shù)據(jù)集。

    HMDB51數(shù)據(jù)集在電影中剪輯而得,有小部分?jǐn)?shù)據(jù)來(lái)源于Prelinger檔案庫(kù)、YouTube和Google視頻。數(shù)據(jù)集包含了6 849個(gè)剪輯視頻,共劃分為51個(gè)行為類別,每個(gè)行為類別至少包含101個(gè)剪輯視頻。

    InfAR數(shù)據(jù)集是由40多名不同的志愿者在多個(gè)不同場(chǎng)景下采集的紅外視頻行為識(shí)別數(shù)據(jù)集。數(shù)據(jù)集包含了12個(gè)行為,每個(gè)行為類別包含50個(gè)視頻,總共600個(gè)視頻。

    4.2 實(shí)驗(yàn)細(xì)節(jié)

    本文先在UCF101與HMDB51兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試,對(duì)數(shù)據(jù)集的劃分參考文獻(xiàn)[2,5-6,30]。在未加說(shuō)明的情況下,本文實(shí)驗(yàn)中所有模態(tài)的訓(xùn)練過(guò)程均不加載任何的預(yù)訓(xùn)練模型。I3D訓(xùn)練使用標(biāo)準(zhǔn)的SGD優(yōu)化算法,其動(dòng)量設(shè)置為0.9,權(quán)重衰減因子10-7,均使用2張2080Ti顯卡,學(xué)習(xí)率在60輪和100輪衰減至10%。C3D與R(2+1)D訓(xùn)練均使用標(biāo)準(zhǔn)的SGD優(yōu)化器算法,其動(dòng)量設(shè)置為0.9,權(quán)重衰減因子為5×10-4,訓(xùn)練使用1張2080Ti顯卡,學(xué)習(xí)率每10輪衰減一半,初始學(xué)習(xí)率為0.001。所有模型均在UCF101或HMDB51上訓(xùn)練120輪,初始學(xué)習(xí)率為0.001。

    在I3D的訓(xùn)練過(guò)程中,本文使用隨機(jī)裁剪的方式,在視頻幀上隨機(jī)裁剪出224×224的區(qū)域。對(duì)視頻幀的長(zhǎng)或者寬小于256的視頻,在保證視頻長(zhǎng)寬比不變的基礎(chǔ)上將長(zhǎng)和寬的最小值擴(kuò)展到256,然后隨機(jī)裁剪一塊224×224的區(qū)域。在時(shí)域上,隨機(jī)選擇足夠早的起始幀,以保證能夠取到所需的幀數(shù)。對(duì)于幀數(shù)不足64的視頻,循環(huán)視頻直到視頻達(dá)到64幀。在訓(xùn)練過(guò)程中,隨機(jī)對(duì)視頻進(jìn)行左右翻轉(zhuǎn)。在測(cè)試過(guò)程中,對(duì)所有視頻均在中心裁剪出224×224的圖像塊,并將整個(gè)視頻進(jìn)行8幀的等間隔采樣,將所有采樣數(shù)據(jù)的預(yù)測(cè)結(jié)果取平均后作為最終的預(yù)測(cè)結(jié)果,并據(jù)此計(jì)算各項(xiàng)指標(biāo)。在C3D與R(2+1)D的訓(xùn)練過(guò)程中,先將原始的視頻按照4幀的等間隔采樣,并將采樣的幀縮放到128×171。每次隨機(jī)從采樣幀選取16幀后隨機(jī)裁剪一塊112×112的區(qū)域,在訓(xùn)練過(guò)程中隨機(jī)進(jìn)行左右翻轉(zhuǎn)。測(cè)試時(shí),保證選取的幀為中心裁剪以及對(duì)整個(gè)采樣的數(shù)據(jù)進(jìn)行12幀等間隔采樣,取平均后作為最終的預(yù)測(cè)結(jié)果。在TSM訓(xùn)練過(guò)程中,對(duì)整個(gè)視頻采樣8幀,其余參數(shù)參考TSM的默認(rèn)訓(xùn)練配置。

    在InfAR數(shù)據(jù)集上本文采用I3D進(jìn)行訓(xùn)練,其訓(xùn)練參數(shù)與UCF101、HMDB51數(shù)據(jù)集訓(xùn)練參數(shù)一致。用TV-L1算法[28]計(jì)算光流,用APG算法[26]對(duì)原始視頻進(jìn)行低秩分解,得到低秩部分與稀疏部分。

    表1所示為I3D、C3D、R(2+1)D、TSM方法在UCF101與HMDB51數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。從表1可得,稀疏流對(duì)RGB流的全局時(shí)域信息進(jìn)行提取,在單流識(shí)別、雙流融合和多流融合的實(shí)驗(yàn)中,也能明顯地提升模型的行為識(shí)別準(zhǔn)確率。

    表1 各種方法的實(shí)驗(yàn)結(jié)果

    4.3 實(shí)驗(yàn)結(jié)果與分析

    單流識(shí)別實(shí)驗(yàn)中,與RGB流相比,稀疏流在UCF101數(shù)據(jù)集上準(zhǔn)確率平均提升了6.97%(其中I3D上提升5.37%,C3D上提升8.22%,R(2+1)D上提升10.66%,TSM上提升3.65%);在HMDB51數(shù)據(jù)集上平均提升6.24%(I3D上提升8.24%,C3D上提升5.75%,R(2+1)D上提升8.56%,TSM上提升2.42%)。這表明稀疏流所提供的全局時(shí)域信息更有利于模型對(duì)視頻運(yùn)動(dòng)特征的提取。

    在雙流融合實(shí)驗(yàn)中,稀疏流和RGB流進(jìn)行融合后,最優(yōu)結(jié)果得到了提升,在UCF101數(shù)據(jù)集上準(zhǔn)確率平均提升4.44%(I3D上提升3.12%,C3D上提升2.88%,R(2+1)D上提升7.66%,TSM上提升4.10%);在HMDB51數(shù)據(jù)集上平均提升3.45%(I3D上提升3.79%, C3D上提升3.66%,R(2+1)D上提升3.21%,TSM上提升3.13%)。這表明稀疏流所提供的全局時(shí)域信息能夠很好地與RGB流所提供的空間信息互補(bǔ)。在稀疏流與光流進(jìn)行雙流融合后,最優(yōu)結(jié)果得到了進(jìn)一步提升,在UCF101數(shù)據(jù)集上準(zhǔn)確率平均提升5.57%(I3D上提升1.69%,C3D上提升8.01%,R(2+1)D上提升5.32%,TSM上提升7.27%);在HMDB51數(shù)據(jù)集上準(zhǔn)確率平均提升6.29%(I3D上提升4.57%,C3D上提升8.89%,R(2+1)D上提升8.75%,TSM上提升2.94%)。本文所有雙流融合實(shí)驗(yàn)都取得了最佳的識(shí)別效果。

    光流、RGB流與稀疏流進(jìn)行三流融合,效果超過(guò)了本文所有的雙流融合方法,達(dá)到了最佳分類精度。相對(duì)于原始RGB流與光流融合,本文方法在UCF101數(shù)據(jù)集的識(shí)別精度比I3D提升了0.64%,比C3D提升了3.47%,比R(2+1)D提升了4.39%,比TSM提升了0.43%;而在HMDB51數(shù)據(jù)集上,比I3D提升了3.07%,比 C3D提升了4.06%,比R(2+1)D提升了7.32%,比TSM上提升4.38%。這進(jìn)一步說(shuō)明,稀疏部分提供的時(shí)域全局運(yùn)動(dòng)信息是有助于模型提升識(shí)別精度的。

    本文在InfAR數(shù)據(jù)集上補(bǔ)充了多流融合的對(duì)比實(shí)驗(yàn),其結(jié)果如表2所示。由表2可以看出,本文方法在多流融合方法中具有較大優(yōu)勢(shì),超過(guò)了其他多流融合方法,達(dá)到最佳精度。

    表2 InfAR數(shù)據(jù)集的多流融合實(shí)驗(yàn)結(jié)果

    5 總結(jié)與展望

    本文通過(guò)分析行為數(shù)據(jù)中運(yùn)動(dòng)信息的本質(zhì),將原始視頻分為穩(wěn)定區(qū)域與運(yùn)動(dòng)區(qū)域,并且通過(guò)低秩分解將這兩個(gè)區(qū)域分離,得到涵蓋了全時(shí)域的稀疏運(yùn)動(dòng)信息,用神經(jīng)網(wǎng)絡(luò)驗(yàn)證了稀疏運(yùn)動(dòng)信息讓模型提取的特征具有更高的特征識(shí)別度。實(shí)驗(yàn)表明,低秩分解對(duì)RGB流中的運(yùn)動(dòng)信息進(jìn)行提取后,其稀疏表示能夠極大提升模型的識(shí)別精度,與原始RGB或者光流有很好的融合效果,并在三流融合后顯著提升效果。

    猜你喜歡
    光流集上時(shí)域
    利用掩膜和單應(yīng)矩陣提高LK光流追蹤效果
    Cookie-Cutter集上的Gibbs測(cè)度
    鏈完備偏序集上廣義向量均衡問(wèn)題解映射的保序性
    基于時(shí)域信號(hào)的三電平逆變器復(fù)合故障診斷
    基于物理學(xué)的改善粒子圖像測(cè)速穩(wěn)健光流方法研究
    復(fù)扇形指標(biāo)集上的分布混沌
    基于極大似然準(zhǔn)則與滾動(dòng)時(shí)域估計(jì)的自適應(yīng)UKF算法
    基于時(shí)域逆濾波的寬帶脈沖聲生成技術(shù)
    基于時(shí)域波形特征的輸電線雷擊識(shí)別
    融合光流速度場(chǎng)與背景差分的自適應(yīng)背景更新方法
    在线永久观看黄色视频| 九九久久精品国产亚洲av麻豆 | 99热6这里只有精品| 日本撒尿小便嘘嘘汇集6| 国产精品永久免费网站| 亚洲国产精品合色在线| 97人妻精品一区二区三区麻豆| 久久精品影院6| 亚洲精品久久国产高清桃花| 又爽又黄无遮挡网站| 一级毛片女人18水好多| 免费av不卡在线播放| 午夜福利高清视频| 九九热线精品视视频播放| a在线观看视频网站| 法律面前人人平等表现在哪些方面| 亚洲专区字幕在线| 久久人人精品亚洲av| 色综合站精品国产| 久久99热这里只有精品18| 国产黄色小视频在线观看| 国产麻豆成人av免费视频| 午夜久久久久精精品| 淫妇啪啪啪对白视频| 人妻久久中文字幕网| 国产99白浆流出| 欧美日本亚洲视频在线播放| 婷婷六月久久综合丁香| 女生性感内裤真人,穿戴方法视频| 国产成人精品久久二区二区91| 毛片女人毛片| 亚洲成a人片在线一区二区| 精品久久久久久成人av| 国产精品野战在线观看| 变态另类成人亚洲欧美熟女| 久久久久久人人人人人| 久久人人精品亚洲av| 国产成人福利小说| 亚洲av熟女| tocl精华| 午夜福利成人在线免费观看| 亚洲一区高清亚洲精品| 欧美色欧美亚洲另类二区| 一卡2卡三卡四卡精品乱码亚洲| 成年女人毛片免费观看观看9| 欧美中文综合在线视频| 最新美女视频免费是黄的| 亚洲 欧美一区二区三区| 99热精品在线国产| 成人精品一区二区免费| 国产精品99久久久久久久久| 免费无遮挡裸体视频| 国产精品98久久久久久宅男小说| 欧美日韩综合久久久久久 | 国产极品精品免费视频能看的| 一区福利在线观看| 免费搜索国产男女视频| 国内久久婷婷六月综合欲色啪| 无限看片的www在线观看| 久久精品91蜜桃| 国产精品一及| 99在线视频只有这里精品首页| 淫妇啪啪啪对白视频| 欧美日韩黄片免| 国产高清视频在线观看网站| 国产成人aa在线观看| 99国产精品99久久久久| 一级a爱片免费观看的视频| 51午夜福利影视在线观看| 欧美成人免费av一区二区三区| 欧美精品啪啪一区二区三区| 免费电影在线观看免费观看| 99精品久久久久人妻精品| 国产探花在线观看一区二区| 亚洲精品在线观看二区| 久久久久久久精品吃奶| 熟女少妇亚洲综合色aaa.| 免费无遮挡裸体视频| 久久精品国产亚洲av香蕉五月| 在线观看午夜福利视频| 看片在线看免费视频| 伊人久久大香线蕉亚洲五| 成人特级av手机在线观看| 亚洲欧美激情综合另类| 手机成人av网站| 久久精品国产亚洲av香蕉五月| 亚洲国产欧美人成| 久久久久久九九精品二区国产| 熟女人妻精品中文字幕| 性色avwww在线观看| 久久精品国产99精品国产亚洲性色| 国产精品亚洲av一区麻豆| 毛片女人毛片| 99热6这里只有精品| 日韩高清综合在线| 久久天躁狠狠躁夜夜2o2o| e午夜精品久久久久久久| xxx96com| 精品国产亚洲在线| 国内精品美女久久久久久| 男人舔女人的私密视频| 国产真人三级小视频在线观看| 亚洲人成网站在线播放欧美日韩| 亚洲中文字幕日韩| 精品电影一区二区在线| 麻豆久久精品国产亚洲av| 午夜福利欧美成人| 国产亚洲欧美在线一区二区| 久久亚洲真实| 精品久久久久久成人av| 成人一区二区视频在线观看| 欧美日本视频| 动漫黄色视频在线观看| 亚洲一区二区三区不卡视频| 激情在线观看视频在线高清| 亚洲中文日韩欧美视频| 国产高清videossex| 国产欧美日韩精品一区二区| 国产毛片a区久久久久| 国产黄片美女视频| 国产精品综合久久久久久久免费| 国产成+人综合+亚洲专区| 真人做人爱边吃奶动态| 亚洲成人免费电影在线观看| 日本熟妇午夜| 亚洲专区国产一区二区| 99久久久亚洲精品蜜臀av| 每晚都被弄得嗷嗷叫到高潮| 在线观看一区二区三区| 国产成人精品无人区| 亚洲国产欧美一区二区综合| 久99久视频精品免费| 久久久久久久久免费视频了| 国产午夜精品论理片| 午夜成年电影在线免费观看| 99久久精品一区二区三区| 国产午夜福利久久久久久| 每晚都被弄得嗷嗷叫到高潮| 熟妇人妻久久中文字幕3abv| 免费无遮挡裸体视频| 一个人看的www免费观看视频| 日韩免费av在线播放| 人人妻人人澡欧美一区二区| 亚洲熟妇中文字幕五十中出| 亚洲九九香蕉| 欧美性猛交╳xxx乱大交人| av女优亚洲男人天堂 | 精品久久久久久久人妻蜜臀av| 我的老师免费观看完整版| 午夜视频精品福利| 色哟哟哟哟哟哟| avwww免费| 国产欧美日韩精品亚洲av| 噜噜噜噜噜久久久久久91| 99久久无色码亚洲精品果冻| 精品一区二区三区视频在线 | 国产麻豆成人av免费视频| 老司机在亚洲福利影院| 男人舔女人的私密视频| 久久精品综合一区二区三区| 亚洲精品久久国产高清桃花| 国产单亲对白刺激| 日本熟妇午夜| 欧美日本亚洲视频在线播放| 国产精品自产拍在线观看55亚洲| 麻豆国产av国片精品| 国产伦精品一区二区三区四那| 日韩人妻高清精品专区| 天堂√8在线中文| 午夜激情欧美在线| 欧洲精品卡2卡3卡4卡5卡区| 麻豆成人av在线观看| 亚洲,欧美精品.| 别揉我奶头~嗯~啊~动态视频| 精品国内亚洲2022精品成人| 日韩人妻高清精品专区| 免费大片18禁| 精品无人区乱码1区二区| 老司机深夜福利视频在线观看| 丁香欧美五月| 国模一区二区三区四区视频 | 亚洲电影在线观看av| 日韩欧美一区二区三区在线观看| 搡老妇女老女人老熟妇| 国产69精品久久久久777片 | 日韩欧美免费精品| 狂野欧美白嫩少妇大欣赏| 九色国产91popny在线| 国产精品98久久久久久宅男小说| 日韩成人在线观看一区二区三区| 身体一侧抽搐| 欧美另类亚洲清纯唯美| 成人性生交大片免费视频hd| 国产97色在线日韩免费| 成人18禁在线播放| 国产精品久久久久久久电影 | 香蕉av资源在线| 午夜福利在线观看吧| 特大巨黑吊av在线直播| 国产熟女xx| 每晚都被弄得嗷嗷叫到高潮| 长腿黑丝高跟| 精品熟女少妇八av免费久了| 窝窝影院91人妻| 男人舔女人的私密视频| 久久精品国产清高在天天线| 美女黄网站色视频| 男女下面进入的视频免费午夜| 叶爱在线成人免费视频播放| 亚洲第一欧美日韩一区二区三区| 99热这里只有精品一区 | 亚洲精品色激情综合| 国产成人影院久久av| xxx96com| 国产高潮美女av| 久久人人精品亚洲av| 2021天堂中文幕一二区在线观| 少妇丰满av| a级毛片a级免费在线| 欧美日韩福利视频一区二区| 亚洲第一电影网av| 亚洲国产精品合色在线| 国产一区在线观看成人免费| 91在线精品国自产拍蜜月 | 国产av麻豆久久久久久久| 国产极品精品免费视频能看的| 国产精品香港三级国产av潘金莲| 欧美日韩乱码在线| 高清毛片免费观看视频网站| 黄色丝袜av网址大全| 亚洲中文字幕日韩| 少妇丰满av| 日日干狠狠操夜夜爽| 国产精品永久免费网站| 日韩欧美在线乱码| 不卡一级毛片| 人人妻人人澡欧美一区二区| 香蕉丝袜av| 色尼玛亚洲综合影院| 亚洲精品一卡2卡三卡4卡5卡| 99久久精品热视频| 日韩成人在线观看一区二区三区| 精品久久久久久,| 噜噜噜噜噜久久久久久91| 可以在线观看的亚洲视频| 欧美一级a爱片免费观看看| av在线蜜桃| 香蕉av资源在线| 久久久精品欧美日韩精品| 一级作爱视频免费观看| 国产淫片久久久久久久久 | 久久人人精品亚洲av| 久久亚洲精品不卡| 一二三四社区在线视频社区8| 非洲黑人性xxxx精品又粗又长| 中文资源天堂在线| 丁香欧美五月| 一区福利在线观看| 丰满的人妻完整版| 亚洲aⅴ乱码一区二区在线播放| 成年女人毛片免费观看观看9| 黑人欧美特级aaaaaa片| 女人高潮潮喷娇喘18禁视频| 男人舔女人下体高潮全视频| 日韩高清综合在线| 成年女人毛片免费观看观看9| www日本在线高清视频| 99热只有精品国产| 美女cb高潮喷水在线观看 | 久久99热这里只有精品18| 啪啪无遮挡十八禁网站| 一卡2卡三卡四卡精品乱码亚洲| 999久久久精品免费观看国产| 国产男靠女视频免费网站| АⅤ资源中文在线天堂| 亚洲精品久久国产高清桃花| 免费一级毛片在线播放高清视频| 欧美日本亚洲视频在线播放| 叶爱在线成人免费视频播放| 免费在线观看亚洲国产| 黄色丝袜av网址大全| 久久精品91蜜桃| av在线天堂中文字幕| 欧美一级毛片孕妇| 国产亚洲精品久久久久久毛片| www日本黄色视频网| 色精品久久人妻99蜜桃| 婷婷丁香在线五月| 色综合婷婷激情| 男女下面进入的视频免费午夜| 日本精品一区二区三区蜜桃| 黄片大片在线免费观看| 在线国产一区二区在线| 亚洲欧美日韩无卡精品| 天堂动漫精品| 狠狠狠狠99中文字幕| 在线观看免费午夜福利视频| 亚洲avbb在线观看| 看免费av毛片| 日韩精品中文字幕看吧| 国产精品久久久久久精品电影| www.www免费av| 丁香六月欧美| 午夜影院日韩av| 欧美日韩乱码在线| av黄色大香蕉| 久久国产精品影院| 美女高潮喷水抽搐中文字幕| 亚洲色图 男人天堂 中文字幕| 精品久久久久久久人妻蜜臀av| 国产精品久久久久久亚洲av鲁大| 极品教师在线免费播放| 精品久久久久久成人av| 99视频精品全部免费 在线 | 精品久久久久久久久久免费视频| 老熟妇仑乱视频hdxx| 一个人免费在线观看的高清视频| 精品久久蜜臀av无| 激情在线观看视频在线高清| 国产高清视频在线观看网站| 国产精品美女特级片免费视频播放器 | 丁香六月欧美| 久久久水蜜桃国产精品网| 久久久久精品国产欧美久久久| 亚洲国产看品久久| www.精华液| 丁香欧美五月| 成人亚洲精品av一区二区| 91av网一区二区| 两人在一起打扑克的视频| 日韩精品青青久久久久久| 精品一区二区三区视频在线 | 亚洲国产欧洲综合997久久,| 两个人看的免费小视频| 男女床上黄色一级片免费看| 免费观看精品视频网站| 亚洲精品国产精品久久久不卡| 日本一本二区三区精品| 亚洲精品色激情综合| 一本精品99久久精品77| 日韩欧美三级三区| 国产精品一区二区免费欧美| 国产欧美日韩精品亚洲av| 亚洲人成网站高清观看| 波多野结衣高清作品| 亚洲天堂国产精品一区在线| 国产精品一及| 91老司机精品| 天堂√8在线中文| 免费观看精品视频网站| 亚洲国产欧美人成| 人人妻人人看人人澡| 亚洲av日韩精品久久久久久密| 一级毛片精品| 久久久久久久午夜电影| 黑人操中国人逼视频| 九九热线精品视视频播放| 亚洲av中文字字幕乱码综合| 90打野战视频偷拍视频| 欧美日韩国产亚洲二区| 一夜夜www| 不卡av一区二区三区| 搡老妇女老女人老熟妇| 国产精品一区二区三区四区免费观看 | 一个人观看的视频www高清免费观看 | 五月伊人婷婷丁香| 蜜桃久久精品国产亚洲av| 国产一区二区在线观看日韩 | 国内精品久久久久精免费| 99热只有精品国产| 99热精品在线国产| 综合色av麻豆| 国产伦一二天堂av在线观看| 日本a在线网址| 在线十欧美十亚洲十日本专区| 黄频高清免费视频| 亚洲av五月六月丁香网| 国产精品久久视频播放| 成年女人看的毛片在线观看| 国产淫片久久久久久久久 | 18禁裸乳无遮挡免费网站照片| 手机成人av网站| 欧美黑人巨大hd| 国产精品98久久久久久宅男小说| 十八禁人妻一区二区| 日本黄色视频三级网站网址| 精品熟女少妇八av免费久了| av天堂在线播放| 两人在一起打扑克的视频| 久久久国产欧美日韩av| 精品久久蜜臀av无| 久久这里只有精品中国| 色尼玛亚洲综合影院| 久久精品国产亚洲av香蕉五月| 99久久成人亚洲精品观看| 国产精品久久久人人做人人爽| 99久久成人亚洲精品观看| 国产精品,欧美在线| 亚洲人成网站高清观看| 琪琪午夜伦伦电影理论片6080| 午夜日韩欧美国产| 日本a在线网址| 白带黄色成豆腐渣| 男插女下体视频免费在线播放| 午夜福利在线观看免费完整高清在 | 岛国视频午夜一区免费看| 午夜精品一区二区三区免费看| 亚洲熟妇熟女久久| 中文字幕高清在线视频| 性色av乱码一区二区三区2| www日本在线高清视频| 亚洲国产欧美一区二区综合| 亚洲电影在线观看av| 久9热在线精品视频| 好男人电影高清在线观看| 中文字幕精品亚洲无线码一区| 国产三级在线视频| 老司机福利观看| 国产免费av片在线观看野外av| 九色国产91popny在线| АⅤ资源中文在线天堂| 在线观看舔阴道视频| 日本a在线网址| 一个人看的www免费观看视频| 国产成人影院久久av| 老汉色∧v一级毛片| 久99久视频精品免费| 国产av在哪里看| 亚洲第一欧美日韩一区二区三区| 他把我摸到了高潮在线观看| 中文字幕久久专区| av在线天堂中文字幕| 成人高潮视频无遮挡免费网站| 男女视频在线观看网站免费| 精品一区二区三区视频在线观看免费| 午夜精品久久久久久毛片777| 欧美又色又爽又黄视频| 91久久精品国产一区二区成人 | 一区二区三区激情视频| 黄色片一级片一级黄色片| 午夜免费成人在线视频| 99热这里只有精品一区 | www.精华液| 日韩欧美三级三区| 在线国产一区二区在线| cao死你这个sao货| 国产极品精品免费视频能看的| 国产精品美女特级片免费视频播放器 | 两性夫妻黄色片| 日本免费一区二区三区高清不卡| 女人被狂操c到高潮| 在线观看一区二区三区| 国产v大片淫在线免费观看| 亚洲乱码一区二区免费版| 亚洲人与动物交配视频| 999久久久精品免费观看国产| 天天躁日日操中文字幕| 在线国产一区二区在线| 亚洲真实伦在线观看| av女优亚洲男人天堂 | 一个人观看的视频www高清免费观看 | 啦啦啦韩国在线观看视频| 午夜a级毛片| 成人性生交大片免费视频hd| 精品福利观看| 观看美女的网站| 国产熟女xx| 天天添夜夜摸| 人妻丰满熟妇av一区二区三区| 宅男免费午夜| www.熟女人妻精品国产| 最新中文字幕久久久久 | 激情在线观看视频在线高清| 偷拍熟女少妇极品色| 亚洲av片天天在线观看| 国产三级黄色录像| 欧美一级a爱片免费观看看| 99热只有精品国产| 久久热在线av| 午夜免费观看网址| 国产av一区在线观看免费| av欧美777| 99久久综合精品五月天人人| 美女免费视频网站| 国产v大片淫在线免费观看| 国产成人系列免费观看| 国产成人欧美在线观看| 免费看a级黄色片| 成人av在线播放网站| 国产三级在线视频| 国产人伦9x9x在线观看| 琪琪午夜伦伦电影理论片6080| 少妇熟女aⅴ在线视频| 嫁个100分男人电影在线观看| 18禁观看日本| 亚洲男人的天堂狠狠| 久久精品影院6| 国产免费男女视频| 国产亚洲精品久久久com| 波多野结衣高清无吗| 午夜福利成人在线免费观看| 老汉色av国产亚洲站长工具| 又黄又粗又硬又大视频| a在线观看视频网站| 波多野结衣高清无吗| 日韩欧美在线二视频| 哪里可以看免费的av片| 99国产精品一区二区三区| 禁无遮挡网站| 亚洲欧美日韩无卡精品| 国产精品一区二区免费欧美| 精品国产乱码久久久久久男人| 欧美日韩综合久久久久久 | 悠悠久久av| 国产97色在线日韩免费| 日韩欧美三级三区| 国产伦在线观看视频一区| 久久久久国内视频| 国产av在哪里看| 亚洲欧洲精品一区二区精品久久久| 欧美性猛交黑人性爽| 婷婷亚洲欧美| 亚洲人成电影免费在线| 啦啦啦免费观看视频1| 国内精品久久久久精免费| 国产黄色小视频在线观看| 成年女人看的毛片在线观看| 又爽又黄无遮挡网站| 美女高潮喷水抽搐中文字幕| 搞女人的毛片| 久久午夜亚洲精品久久| 成人三级黄色视频| 久久久精品大字幕| 国产伦人伦偷精品视频| 我的老师免费观看完整版| 欧美一级毛片孕妇| 日韩三级视频一区二区三区| 国产毛片a区久久久久| 欧美日韩一级在线毛片| 久久亚洲精品不卡| 人人妻人人看人人澡| 免费看十八禁软件| 精品人妻1区二区| 亚洲精品乱码久久久v下载方式 | 国产黄a三级三级三级人| 久久久久久久久中文| 精品免费久久久久久久清纯| netflix在线观看网站| 天天添夜夜摸| 国产亚洲精品一区二区www| 色综合亚洲欧美另类图片| 久久久久精品国产欧美久久久| 久久久成人免费电影| 中文在线观看免费www的网站| 精品国产美女av久久久久小说| 欧洲精品卡2卡3卡4卡5卡区| 日本 av在线| 黄色丝袜av网址大全| 欧美黄色片欧美黄色片| 国产探花在线观看一区二区| 精品久久久久久久毛片微露脸| 久久久久免费精品人妻一区二区| 午夜亚洲福利在线播放| 国产黄片美女视频| 国产精品久久视频播放| 国产高清视频在线观看网站| 日韩大尺度精品在线看网址| 国内揄拍国产精品人妻在线| 青草久久国产| 成年女人看的毛片在线观看| 亚洲色图 男人天堂 中文字幕| 变态另类成人亚洲欧美熟女| 最近最新免费中文字幕在线| 成人欧美大片| 亚洲性夜色夜夜综合| 日本熟妇午夜| 欧美成人一区二区免费高清观看 | a在线观看视频网站| 老汉色∧v一级毛片| 中文字幕精品亚洲无线码一区| 亚洲成人精品中文字幕电影| 欧美另类亚洲清纯唯美| 丰满人妻一区二区三区视频av | www.精华液| 88av欧美| 91在线观看av| 免费人成视频x8x8入口观看| 国产亚洲精品久久久久久毛片| 在线观看日韩欧美| 久久久国产欧美日韩av| 国产精品 欧美亚洲| 亚洲av成人av| 一本综合久久免费| 色精品久久人妻99蜜桃| 1000部很黄的大片| 久久久久性生活片| 精品国产三级普通话版| 精品一区二区三区av网在线观看| 久久久国产精品麻豆| 国产乱人伦免费视频| 成人性生交大片免费视频hd| 色在线成人网| 国产高清videossex| 午夜亚洲福利在线播放| 男人舔女人的私密视频| 观看免费一级毛片| 欧美在线一区亚洲| 亚洲真实伦在线观看| 啦啦啦观看免费观看视频高清| 最近最新免费中文字幕在线| 日韩成人在线观看一区二区三区| 国产伦精品一区二区三区四那| 久久久久九九精品影院| 亚洲国产看品久久| 韩国av一区二区三区四区|