輕量化卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識(shí)別

王紅茹, 苑浩然

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院, 哈爾濱 150001)

步態(tài)特征是一種重要的人體生物特征,基于步態(tài)特征的識(shí)別技術(shù)與傳統(tǒng)的生物識(shí)別技術(shù)如虹膜識(shí)別,指紋識(shí)別,面部識(shí)別[1]等相比具有識(shí)別距離遠(yuǎn)、對(duì)分辨率要求較低、以及無(wú)需目標(biāo)配合等優(yōu)勢(shì).近些年來(lái),基于視頻序列的步態(tài)識(shí)別技術(shù)相繼被提出,因?yàn)橐曨l序列中可以包含整個(gè)行走過(guò)程中的全部信息.基于上述兩種問(wèn)題,本文提出利用目標(biāo)的步態(tài)視頻序列合成步態(tài)能量圖作為識(shí)別載體,基于深層卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行特征提取與分類的步態(tài)識(shí)別方法.步態(tài)視頻序列中包含目標(biāo)整個(gè)行走過(guò)程中的全部信息,步態(tài)能量圖(Gait energy image, GEI)[2]是將一個(gè)步態(tài)周期內(nèi)的步態(tài)圖像加權(quán)平均得到的.GEI充分利用了步態(tài)序列之間的連續(xù)性和動(dòng)態(tài)性,同時(shí)減少了輸入計(jì)算量,提高了特征提取效率.利用多組標(biāo)記好身份的GEI組成數(shù)據(jù)集,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks,CNNs)[3]提取出訓(xùn)練集中的高級(jí)步態(tài)特征,根據(jù)這些特征找到與待測(cè)目標(biāo)最為相似的身份標(biāo)簽是最高效的步態(tài)識(shí)別方法.

卷積神經(jīng)網(wǎng)絡(luò)算法在圖像分類領(lǐng)域有著卓越的表現(xiàn),卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多層卷積操作提取出圖像中的高級(jí)特征,并通過(guò)反向傳播算法不斷更新卷積核中的參數(shù)完成對(duì)數(shù)據(jù)集中不同對(duì)象的特征的學(xué)習(xí)[4].相比于傳統(tǒng)圖像分類算法深度學(xué)習(xí)技術(shù)可以將特征提取與識(shí)別分類相結(jié)合,提高算法的應(yīng)用效率.Yan[5]等首先提出將步態(tài)能量圖與CNN 結(jié)合的步態(tài)識(shí)別算法,該方法可以提取步態(tài)能量圖中的非線性高級(jí)特征, 并引入多任務(wù)學(xué)習(xí)模型，極大的優(yōu)化了步態(tài)識(shí)別算法性能.但受網(wǎng)絡(luò)層數(shù)限制,對(duì)有遮擋條件下的識(shí)別效果有限.Li[6]等提出一種基于深度學(xué)習(xí) VGG-19 網(wǎng)絡(luò)的識(shí)別方法,這是一種深層的卷積神經(jīng)網(wǎng)絡(luò)模型.步態(tài)序列經(jīng)過(guò)周期檢測(cè)后直接送入 VGG 網(wǎng)絡(luò)進(jìn)行特征提取, 最后利用聯(lián)合貝葉斯進(jìn)行步態(tài)識(shí)別,該方法提高了對(duì)遮擋條件下的識(shí)別準(zhǔn)確率.

為了解決跨視角下的步態(tài)識(shí)別問(wèn)題,Tan[7]等提出將GEI 送入使用雙通道卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練匹配模型, 兩個(gè)通道共享參數(shù),通過(guò)比對(duì)探針(Probe)與圖庫(kù)(Gallery)中不同視角下的特征相似度達(dá)到匹配步態(tài)特征來(lái)識(shí)別人的身份的目的. 提高了應(yīng)對(duì)視角改變后識(shí)別的魯棒性.Wolf[8]等利用3D卷積神經(jīng)網(wǎng)絡(luò),充分利用步態(tài)序列中的時(shí)空特性,提高跨視角識(shí)別能力.Cao[9]等在步態(tài)識(shí)別中加入了嚴(yán)謹(jǐn)?shù)臅r(shí)序維度特征,使用MGP(Multilayer Global Pipeline)模塊融合不同卷積層的輸出信息,增加模型感受野.

上述研究者所提出的算法在特定的數(shù)據(jù)集上都達(dá)到了理想的識(shí)別效果,證明步態(tài)能量圖與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的高效性.同時(shí)利用卷積神經(jīng)網(wǎng)絡(luò)的步態(tài)識(shí)別算法存在著統(tǒng)一的弊端，如隨著模型的復(fù)雜化造成的運(yùn)算量增加,難以部署在嵌入式設(shè)備上.

對(duì)于模型輕量化的設(shè)計(jì)主要方法有：減少計(jì)算量,減少訓(xùn)練參數(shù),降低實(shí)際運(yùn)行時(shí)間以及簡(jiǎn)化底層實(shí)現(xiàn)方式四個(gè)方面.研究者相繼提出了深度可分離卷積, 分組卷積, 可調(diào)超參數(shù)降低空間分辨率和減少通道數(shù), 新的激活函數(shù)等方法[10], 并針對(duì)一些現(xiàn)有的結(jié)構(gòu)的實(shí)際運(yùn)行過(guò)程作了分析, 提出了架構(gòu)設(shè)計(jì)原則,并根據(jù)這些原則來(lái)重新設(shè)計(jì)模型.

模型修剪(pruning connections)是通過(guò)將神經(jīng)元間不必要的鏈接剪除[11]以縮減參數(shù)達(dá)到壓縮模型的目的.量化模型(Model quantization)將具有代表性的權(quán)值和激活函數(shù)做量化處理[12],有利于模型的壓縮和提高訓(xùn)練速度.知識(shí)蒸餾(Knowledge dis-tillation)利用大模型來(lái)教小模型,提高了小模型的性能.這些方法一定程度上解決了深度學(xué)習(xí)模型的輕量化問(wèn)題,但對(duì)模型的性能并沒(méi)有提高.

網(wǎng)絡(luò)層數(shù)的加深雖然可以提高的特征空間的豐富性,卻稀釋了有效的特征信息導(dǎo)致識(shí)別效果反而下降等問(wèn)題.此外,目前現(xiàn)有的步態(tài)數(shù)據(jù)集多為小樣本數(shù)據(jù)集,在訓(xùn)練過(guò)程中容易產(chǎn)生過(guò)擬合的情況.本文針對(duì)以上問(wèn)題分別做出卷積過(guò)程和模型結(jié)構(gòu)上的優(yōu)化,實(shí)現(xiàn)了網(wǎng)絡(luò)模型輕量化,有效地提高了模型的復(fù)雜條件下識(shí)別能力.

1 本文方法

本文從目標(biāo)的行走視頻中通過(guò)一系列圖像處理的方式得到目標(biāo)的步態(tài)能量圖,并根據(jù)一定比例劃分出訓(xùn)練集和測(cè)試集.對(duì)新的L-ResNet-50模型進(jìn)行優(yōu)化訓(xùn)練,直至模型收斂,再利用測(cè)試集驗(yàn)證模型的識(shí)別效果,整體的算法框架如圖1所示.

圖1 基于L-ResNet-50的步態(tài)識(shí)別算法框架Figure 1 Gait recognition algorithm framework based on L-ResNet-50

1.1 模型泛步態(tài)能量圖的提取

首先使用上文提到的步態(tài)能量圖作為卷積神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)對(duì)象.合成GEI圖像首先是從原始視頻中利用背景消減法提取出步態(tài)目標(biāo).再對(duì)提取出的目標(biāo)做一系列形態(tài)學(xué)的處理,生成理想的目標(biāo)剪影圖像.通常采用步態(tài)周期來(lái)表示步態(tài)能量,步態(tài)能量可以反映人體步行過(guò)程中的步態(tài)靜態(tài)信息和動(dòng)態(tài)信息.根據(jù)每個(gè)像素點(diǎn)在同一位置出現(xiàn)的頻率設(shè)置相應(yīng)的像素值,反應(yīng)人體行走過(guò)程中的能量信息.合成GEI公式如下：

(1)

其中：N代表一個(gè)步態(tài)周期內(nèi)的所有圖像,It是一張步態(tài)圖像,t則代表幀數(shù).由GEI組成訓(xùn)練集和測(cè)試集如圖2所示.

圖2 由步態(tài)能量圖組成的訓(xùn)練集和測(cè)試集Figure 2 GEI samples of training and test set

1.2 輕量化處理

通過(guò)對(duì)CNN的特征圖可視化操作本文發(fā)現(xiàn),一個(gè)卷積層生成的特征圖中存在大量的相似特征圖.圖3是一張步態(tài)能量圖在卷積操作后一組的輸出示例,這組特征圖中存在彼此相似的情況.如這些相似的特征圖之間存在誤差允許內(nèi)的相關(guān)性,便可以利用簡(jiǎn)單的操作從一部分基礎(chǔ)的特征圖中變換而來(lái).相比于復(fù)雜的卷積過(guò)程這些簡(jiǎn)單的操作并不需要占用大量計(jì)算資源,在反向傳播算法中也只需要更新生成基礎(chǔ)特征圖的卷積核參數(shù),以此縮小訓(xùn)練參數(shù)規(guī)模.

圖3 ResNet-50的第一卷積層獲得的部分特征圖Figure 3 Output of partial feature graph of ResNet-50

根據(jù)上述理論,本文設(shè)計(jì)一種新的輕量化的卷積方法,同樣將卷積過(guò)程分為兩部分：第一部分為傳統(tǒng)的卷積操作,但是只生成部分基礎(chǔ)特征圖；第二部分是利用這些基礎(chǔ)的特征圖通過(guò)線性變換派生出冗余的特征圖.該操作將一個(gè)傳統(tǒng)卷積過(guò)程分為這兩部分的具體步驟如圖4所示.

圖4 輕量化操作的基本結(jié)構(gòu)Figure 4 Lightweight residual module

進(jìn)一步分析輕量化操作對(duì)模型參數(shù)量的影響.假設(shè)我們?cè)谝痪矸e層中原本輸出為c個(gè)通道的特征圖,而新的輕量化操作只需要生成 個(gè)基礎(chǔ)特征圖,剩下的特征圖由(s-1)組簡(jiǎn)單的線性操作完成.則原卷積層與輕量級(jí)處理后的卷積層參數(shù)比R如式(2)所示：

(2)

其中：⊕代表將兩部分特征圖相加的操作；s-1則代表不需要訓(xùn)練的參數(shù)部分.理論上這一卷積層在輕量化處理后需訓(xùn)練的參數(shù)量縮小了約s倍.

1.3 注意力機(jī)制模塊

近些年來(lái)注意力機(jī)制被廣泛的應(yīng)用于CNN算法當(dāng)中,SENet[13]作為一種基于注意力機(jī)制的深度學(xué)習(xí)模型是當(dāng)年ImageNet比賽的冠軍.它主要由Squeeze部分和Excitation部分組合而成,具體結(jié)構(gòu)如圖5所示.

圖5 SENet的基本工作原理Figure 5 Basic working principles of SENet

Squeeze(壓縮)部分,原始特征圖的維度為H*W*C,C是通道數(shù).壓縮過(guò)程是把H*W*C壓縮為1*1*C,相當(dāng)于把H*W變成一個(gè)一維的序列,實(shí)際操作中一般是用global average pooling實(shí)現(xiàn)該目的.H*W壓縮成一維后,這一維參數(shù)獲得了之前H*W全局的視野,感受區(qū)域更廣.Excitation(激發(fā))部分,在得到Squeeze的1*1*C的表示后,加入一個(gè)FC全連接層(Fully Connected),對(duì)每個(gè)通道的重要性進(jìn)行預(yù)測(cè),得到不同channel的重要性大小后再作用激勵(lì)到之前的feature map的對(duì)應(yīng)channel上.

將SENet的思想設(shè)計(jì)成SEmodule,插入到輕量化網(wǎng)絡(luò)的關(guān)鍵輸入節(jié)點(diǎn),成為輕量化模塊的基礎(chǔ)特征圖的選擇機(jī)制,提高了關(guān)鍵特征的利用率并保證這些特征不會(huì)隨著模型深度的增加而被稀釋.

1.4 線性操作

為了實(shí)現(xiàn)對(duì)基礎(chǔ)特征圖的再卷積,本文使用深度可分離卷積[14]中的Depthwise卷積操作.Depthwise convolution的一個(gè)卷積核只負(fù)責(zé)一個(gè)通道,一個(gè)通道只被一個(gè)卷積核卷積,具體操作如圖6所示.

圖6 使用Depthwise卷積生成冗余特征圖Figure 6 Specific Depthwise of the lightweight module

利用再卷積操作使派生出的特征圖更接近原始的特征圖,有效保留特征圖中的步態(tài)信息.Depthwise卷積核中的參數(shù)只需要完整訓(xùn)練一次,當(dāng)模型收斂后凍結(jié)卷積核中的參數(shù),成為模型的固定參數(shù)反復(fù)使用.

2 輕量模型搭建

2.1 輕量化模塊優(yōu)化

由于輕量化模塊使用的是利用簡(jiǎn)單的線性操作來(lái)生成冗余的特征圖,深層次特征圖的失真情況不可避免.本文引入殘差網(wǎng)絡(luò)[15](ResNet)的架構(gòu)思想,在每個(gè)輕量化模塊中引入一條“捷徑”,通過(guò)恒等映射的方式將上一層輸出的信息傳輸?shù)胶竺娴膶又?保護(hù)了初始信息的完整性,改善了深層卷積時(shí)的特征圖失真問(wèn)題.通過(guò)優(yōu)化輕量級(jí)模塊的最終結(jié)構(gòu)如圖7所示.

圖7 輕量級(jí)模塊的結(jié)構(gòu)示意圖Figure 7 Structure diagram of a lightweight module

2.2 輕量化卷積神經(jīng)網(wǎng)絡(luò)模型

利用優(yōu)化后的輕量化模塊,通過(guò)堆疊的方式組建成深層的卷積神經(jīng)網(wǎng)絡(luò).同樣是效仿ResNet-50的框架結(jié)構(gòu),用輕量化模塊代替原來(lái)的殘差塊.第一層為標(biāo)準(zhǔn)的卷積操作生成16個(gè)通道的特征圖,后續(xù)使用輕量化模塊串聯(lián)的方式擴(kuò)展通道數(shù).最后利用全局平均池和卷積層將特征圖轉(zhuǎn)換為全連接層以進(jìn)行分類識(shí)別.由此組合成的輕量化ResNet模型本文稱為L(zhǎng)-ResNet(Light ResNet)的基本設(shè)計(jì)如表1.

表1 輕量化網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

3 實(shí)驗(yàn)部分

本文使用新模塊構(gòu)建的L-ResNet模型在主流的步態(tài)數(shù)據(jù)集上完成實(shí)驗(yàn),檢驗(yàn)?zāi)Ｐ筒煌瑮l件下的識(shí)別效果.

3.1 數(shù)據(jù)準(zhǔn)備

實(shí)驗(yàn)基于中科院CASIA-B[16]數(shù)據(jù)集,該數(shù)據(jù)集包含124個(gè)人步態(tài)序列,每個(gè)人物下有10組行走序列：6組正常情況(nm),2組穿著大衣情況(cl)以及兩組背包情況(bg).每種情況下又包含了11種不同的視角下的步態(tài)序列(0°,18°,36°,…,180°).為了驗(yàn)證模型的泛化能力,使用大阪大學(xué)的OU-ISIR[17]步態(tài)數(shù)據(jù)庫(kù)檢驗(yàn)測(cè)試效果.選取數(shù)據(jù)庫(kù)中50個(gè)身份的四個(gè)視角下正常行走的步態(tài)視頻合成步態(tài)能量圖,每個(gè)身份合成四張,其中：兩張作為訓(xùn)練集,兩外兩張用于測(cè)試.

3.2 實(shí)驗(yàn)結(jié)果

3.2.1 比例參數(shù)性能驗(yàn)證

收集了正常行走條件下三種不同的基礎(chǔ)特征圖與冗余特征圖的比例下的實(shí)驗(yàn)數(shù)據(jù)(s=1,s=2,s=3),包括識(shí)別率,需訓(xùn)練參數(shù)量和浮點(diǎn)運(yùn)算量.模型的參數(shù)計(jì)算與浮點(diǎn)運(yùn)算量計(jì)算公式如式(3)、(4)所示.Param代表參數(shù)數(shù)量,FLOPs代表浮點(diǎn)運(yùn)算量,每種計(jì)算量均分為卷積層(conv)和全連接層(fc)大小兩部分.實(shí)驗(yàn)結(jié)果與原始的ResNe-50模型在這三個(gè)維度進(jìn)行了對(duì)比試驗(yàn).對(duì)比結(jié)果如表2所示.

paramconv=(kw*kh*cin)*cout+cout

paramfc=(nm*nout)+nout

(3)

FLOPsconv=[(kw*kh*cin)*cout+cout]*H*W

FLOPsfc=(nin*nout)+nout

(4)

表2 三種不同比例與原始ResNet-50模型比對(duì)

根據(jù)表2分析,當(dāng)基礎(chǔ)特征圖與冗余特征圖的比例為1∶1時(shí)( =1)識(shí)別效果最好,超過(guò)了原始的ResNet網(wǎng)絡(luò),參數(shù)量與浮點(diǎn)計(jì)算量縮減幅度接近50%.而當(dāng) 繼續(xù)增大,模型的參數(shù)量會(huì)繼續(xù)大幅度縮減,識(shí)別效果卻不理想,分析原因可能是基礎(chǔ)特征圖過(guò)少造成的特征圖失真.綜上所述s=1時(shí),模型的識(shí)別效果最為理想,超過(guò)原始模型且參數(shù)量較小.在相同超參數(shù)的情況下模型所需要的訓(xùn)練時(shí)間更短,而在loss曲線的收斂效果上新的輕量級(jí)網(wǎng)絡(luò)優(yōu)于傳統(tǒng)的ResNet-50網(wǎng)絡(luò),圖8為L(zhǎng)-ResNet模型在訓(xùn)練和測(cè)試時(shí)的損失函數(shù)曲線.

圖8 兩種網(wǎng)絡(luò)的loss曲線Figure 8 Loss function

3.2.2 比例參數(shù)性能驗(yàn)證

該部分實(shí)驗(yàn)分別驗(yàn)證了模型對(duì)遮擋條件下和跨視角條件下的步態(tài)識(shí)別能力.驗(yàn)證有遮擋條件下的識(shí)別效果時(shí)訓(xùn)練集選取124組步態(tài)能量圖,測(cè)試集分為攜帶挎包的能量圖以及穿著大衣的能量圖,測(cè)試兩種情況下的識(shí)別率；驗(yàn)證跨視角條件下的識(shí)別效果則是選取100個(gè)步態(tài)目標(biāo)的所有步態(tài)能量圖組成訓(xùn)練集,剩余24個(gè)目標(biāo)每個(gè)角度下選取四張正常行走能量圖作為模板圖像集,剩余的24組能量圖組合成測(cè)試集.跨視角測(cè)試中會(huì)生成121個(gè)識(shí)別結(jié)果,平均識(shí)別率是這121個(gè)結(jié)果的平均值.表3為正常行走條件時(shí)的跨視角識(shí)別率,表4攜帶背包條件下的跨視角識(shí)別率,表5為穿著大衣條件下的跨視角識(shí)別率.

3.3 模型泛化實(shí)驗(yàn)

本節(jié)利用OU-ISIR[17]步態(tài)數(shù)據(jù)集檢驗(yàn)該模型的泛化能力.選取數(shù)據(jù)集中50個(gè)步態(tài)目標(biāo),每個(gè)目標(biāo)包含四個(gè)不同的視角(55°,65°,75°,85°),將標(biāo)記好的GEI隨機(jī)分為五組,每次實(shí)驗(yàn)保持一組用來(lái)測(cè)試,其余四組用來(lái)訓(xùn)練網(wǎng)絡(luò).最終的平均識(shí)別率如表6所示.實(shí)驗(yàn)結(jié)果表明新的輕量化模型對(duì)不同數(shù)據(jù)集的泛化能力非常出色.

表3 正常行走跨視角識(shí)別率

表4 攜帶背包條件下行走跨視角識(shí)別率

表5 穿著大衣行走條件下跨視角識(shí)別率

表6 在OU-ISIR步態(tài)數(shù)據(jù)集上獲得的跨視角識(shí)別結(jié)果

4 結(jié) 語(yǔ)

本文提出了一種使用注意力機(jī)制選取主要的提出步態(tài)特征圖,再利用無(wú)需訓(xùn)練的簡(jiǎn)單線性操作生成冗余特征圖的思想搭建了新型的輕量化深層卷積神經(jīng)網(wǎng)絡(luò)模型.該模型有效提高了復(fù)雜條件下步態(tài)識(shí)別效果,同時(shí)減少了模型參數(shù)量,使得本文方法可以在普通的嵌入式設(shè)備上應(yīng)用.