結(jié)合整體和局部特征的步態(tài)識(shí)別方法*

張 智，常超偉，王 雷，劉 博

（1.河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，河北 保定 071000；2.河北省農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，河北 保定 071000；3.北方自動(dòng)控制技術(shù)研究所，太原 030006）

0 引言

作為身份識(shí)別的重要生物特征之一，步態(tài)信息與其他特征（如人臉、指紋和虹膜）相比，其不需待識(shí)別主體的配合且具有一定的抗偽裝性，因此，基于步態(tài)信息的行人重識(shí)別技術(shù)在視頻監(jiān)控、調(diào)查取證、敵我識(shí)別等場(chǎng)景中有著廣泛應(yīng)用［1］。

然而，步態(tài)識(shí)別算法的性能易受到以下因素的干擾：1）穿戴條件不同，例如攜帶背包或者穿著大衣；2）角度變化，表現(xiàn)為跨視角下的步態(tài)一致性判斷；3）遮擋變化，例如來(lái)自建筑物或其他行人的遮擋；4）背景復(fù)雜，例如實(shí)際場(chǎng)景中光照強(qiáng)度的變化或者背景與人很難區(qū)分。以上4 個(gè)主要因素使得基于步態(tài)進(jìn)行身份識(shí)別的任務(wù)變得困難。

為了解決上述問(wèn)題，研究者將深度學(xué)習(xí)方法應(yīng)用到了步態(tài)識(shí)別領(lǐng)域。例如，YU S 等提出GEINet將所有的步態(tài)模板轉(zhuǎn)換到側(cè)面視角下進(jìn)行識(shí)別［2］。近年來(lái)的方法假設(shè)每個(gè)輪廓圖都包含了其位置信息，不需要單獨(dú)對(duì)時(shí)間線索進(jìn)行建模。比如，GaitSet假設(shè)步態(tài)輪廓順序并不是一個(gè)必要因素，從而直接學(xué)習(xí)步態(tài)的集合表示［3］。以步態(tài)的集合表示為基礎(chǔ)，HOU S 等提出了步態(tài)橫向網(wǎng)絡(luò)，該網(wǎng)絡(luò)將不同階段提取到的整體特征進(jìn)行橫向連接來(lái)增強(qiáng)步態(tài)表示［4］。GaitPart 通過(guò)將步態(tài)特征圖先切塊再卷積來(lái)獲得局部特征，并提出了微動(dòng)作捕捉模塊用來(lái)提取步態(tài)周期的短期特征［5］。

綜合近幾年的研究，將步態(tài)數(shù)據(jù)視為一個(gè)無(wú)序集合，對(duì)高層特征圖的集合維度進(jìn)行池化提取特征的方法具有很高的準(zhǔn)確性。然而，以往方法只提取步態(tài)整體特征，會(huì)導(dǎo)致對(duì)步態(tài)的細(xì)節(jié)不夠重視。同樣只提取步態(tài)局部特征，會(huì)忽略局部區(qū)域之間的關(guān)系。針對(duì)上述問(wèn)題，本文提出了一種整體與局部特征相結(jié)合的雙分支（Two Branch）步態(tài)集合特征學(xué)習(xí)網(wǎng)絡(luò)，命名為GaitTB。在CASIA-B 步態(tài)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果表明，該方法在跨視角問(wèn)題上的Rank-1 識(shí)別準(zhǔn)確率相比主流方法得到有效提升。

1 模型算法

本文提出的GaitTB 模型如圖1 所示，模型以無(wú)序的步態(tài)輪廓集合作為輸入，經(jīng)過(guò)整體和局部?jī)蓚€(gè)分支網(wǎng)絡(luò)提取不同空間尺度的步態(tài)特征，然后將提取出的特征經(jīng)過(guò)混合水平金字塔映射（mixed horizontal pyramid mapping，MHPM），結(jié)合成一個(gè)完整步態(tài)表示，最后使用三元組和交叉熵聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練。測(cè)試時(shí)通過(guò)計(jì)算查詢(xún)樣本（probe）與庫(kù)樣本（gallary）的歐氏距離來(lái)識(shí)別行人身份。

圖1 GaitTB 網(wǎng)絡(luò)結(jié)構(gòu)框圖Fig.1 GaitTB network structure block diagram

1.1 問(wèn)題描述

其中，fi是第i 個(gè)人的步態(tài)表示；G 代表整體分支網(wǎng)絡(luò)；L 代表局部分支網(wǎng)絡(luò)；表示特征級(jí)聯(lián)操作；函數(shù)S 是排列不相關(guān)函數(shù)，將幀特征聚合成集合特征。函數(shù)M 將學(xué)習(xí)到的步態(tài)特征映射到判別空間，這將通過(guò)第1.5 節(jié)的操作實(shí)現(xiàn)。

1.2 整體分支

如圖1 所示，整體分支網(wǎng)絡(luò)是將步態(tài)集合輸入網(wǎng)絡(luò)，經(jīng)過(guò)Block1 和Block2 操作，提取出圖像整體特征，最后經(jīng)過(guò)集合池化（set pooling，SP）操作聚合為整體集合特征。

由于SP 操作目的是壓縮一組步態(tài)幀特征為集合特征，所以應(yīng)該選取一個(gè)與集合內(nèi)元素排序不相關(guān)的集合函數(shù)。根據(jù)文獻(xiàn)［3］的集合函數(shù)對(duì)比實(shí)驗(yàn)，GaitTB 所采用的SP 公式為：

1.3 局部分支

在步態(tài)識(shí)別任務(wù)中，由于人體各部位有明顯差異，所以模型引入局部特征分支可以促使網(wǎng)絡(luò)關(guān)注特征圖不同部位的局部信息。局部分支分為兩個(gè)階段進(jìn)行特征提取，每個(gè)階段都使用了局部卷積操作。局部卷積首先是將特征圖水平分割成p 塊，然后對(duì)這些塊進(jìn)行卷積得到局部特征，最后將其重新合并到一起，當(dāng)p=8 時(shí)，本文采用的局部卷積如圖2所示。局部卷積可以讓下一層神經(jīng)元的感受野變窄，這就使得深度神經(jīng)網(wǎng)絡(luò)中頂層神經(jīng)元仍能夠獲取輸入圖中對(duì)應(yīng)部位的更多細(xì)節(jié)。

圖2 局部卷積操作和感受野展示圖Fig.2 Schematic diagram of local convolution operation and receptive field

1.4 雙分支網(wǎng)絡(luò)參數(shù)

雙分支網(wǎng)絡(luò)采用以卷積層、LeakyReLU 激活函數(shù)和池化層為基礎(chǔ)模塊的疊加結(jié)構(gòu)，具體參數(shù)如表1 所示。

表1 網(wǎng)絡(luò)參數(shù)設(shè)置Table 1 Settings of network parameters

1.5 混合水平金字塔映射

MHPM 模塊的結(jié)構(gòu)如圖3 所示，將兩個(gè)分支網(wǎng)絡(luò)提取到的整體和局部特征圖進(jìn)行水平裁剪，假設(shè)MHPM 具有S 個(gè)不同的尺度，則每個(gè)分支的特征圖在高度上依次被裁剪成條，其中，

圖3 混合水平金字塔映射Fig.3 Diagram of mixed horizontal pyramid mapping

1.6 網(wǎng)絡(luò)訓(xùn)練

GaitTB 使用三元組損失函數(shù)（triplet loss）和交叉熵?fù)p失函數(shù)（cross entropy loss）聯(lián)合訓(xùn)練網(wǎng)絡(luò)。雖然基于度量學(xué)習(xí)的網(wǎng)絡(luò)可以使用三元組損失函數(shù)對(duì)樣本進(jìn)行區(qū)分，但是三元組的選取可能會(huì)導(dǎo)致數(shù)據(jù)分布不平衡，使得訓(xùn)練不穩(wěn)定，模型很難收斂。結(jié)合交叉熵?fù)p失函數(shù)可以對(duì)數(shù)據(jù)分布有很強(qiáng)的約束性，并且加快了訓(xùn)練過(guò)程的收斂速度。

三元組損失函數(shù)的主要目標(biāo)是最小化類(lèi)內(nèi)距離，最大化類(lèi)間距離。三元組損失函數(shù)的公式為：

其中，a 表示錨樣本（anchor）；p 表示正樣本（positive）；n 表示負(fù)樣本（negative）；N 表示三元組的數(shù)量。ya、yn、yp分別表示三元組中樣本的類(lèi)標(biāo)簽，da，p和da，n分別表示正樣本對(duì)和負(fù)樣本對(duì)的歐式距離；α 表示margin。

為了使用交叉熵?fù)p失函數(shù)，GaitTB 增加了一個(gè)由BN 層和全連接層組成的模塊。其中，BN 層用來(lái)對(duì)MHPM 獲得的特征進(jìn)行歸一化，有助于穩(wěn)定網(wǎng)絡(luò)的訓(xùn)練過(guò)程，全連接層用來(lái)做分類(lèi)。GaitTB 使用的交叉熵?fù)p失函數(shù)如下：

其中，T 表示訓(xùn)練集的類(lèi)別數(shù)量；mi表示類(lèi)別為t 的真實(shí)概率。假設(shè)樣本的類(lèi)別為t，那么它屬于第t 類(lèi)的真實(shí)概率為1，其他類(lèi)的概率為0；qt表示預(yù)測(cè)類(lèi)別屬于t 的預(yù)測(cè)概率。

聯(lián)合后的模型總損失函數(shù)為：

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集

中科院發(fā)布的CASIA-B 數(shù)據(jù)集［6］是目前步態(tài)識(shí)別的標(biāo)準(zhǔn)數(shù)據(jù)集，其包含124 個(gè)人（31 名女性和93 名男性），每個(gè)人分為6 個(gè)正常步行序列（nm-01，nm-02，nm-03，nm-04，nm-05，nm-06）、2 個(gè)攜包步行序列（bg-01，bg-02）、2 個(gè)穿大衣步行序列（cl-01，cl-02）。而且每個(gè)步行序列又分為11 個(gè)視角（0°，18°，36°，54°，72°，90°，108°，126°，144°，162 °，180 °）。因此，CASIA-B 數(shù)據(jù)集一共包括124×（6+2+2）×11=113 640 個(gè)步態(tài)序列。該數(shù)據(jù)集樣例如圖4 所示，上半部分展示了同一個(gè)人的0°～180°的不同視角，下半部分展示了同一個(gè)人的3 種不同穿戴條件，分別是正常條件、穿大衣條件和攜帶物品條件。

圖4 CASIA-B 數(shù)據(jù)集原始圖像Fig.4 Raw images of CASIA-B dataset

2.2 實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)環(huán)境設(shè)置

模型訓(xùn)練的批大小為8×16×30，即隨機(jī)選取8 個(gè)不同的人，每個(gè)人隨機(jī)選取不同穿戴條件及視角下的16 個(gè)步態(tài)序列，然后從每個(gè)步態(tài)序列中隨機(jī)選擇30 幀圖像構(gòu)成一個(gè)步態(tài)集合。每幅步態(tài)圖像要縮放為64×64 大小，并進(jìn)一步裁剪為64×44大小以適配直立行走的步態(tài)。模型采用SGD 優(yōu)化器，初始學(xué)習(xí)率設(shè)為10-1，每隔10 000 次迭代學(xué)習(xí)率衰減為原來(lái)的10-1，30 000 次迭代后衰減到1×10-1后保持不變。此外，在三元組損失函數(shù)的超參設(shè)置中，margin 設(shè)置為0.2，用于控制三元組樣本對(duì)的類(lèi)內(nèi)和類(lèi)間距離，兩個(gè)損失函數(shù)的平衡系數(shù)β 設(shè)置為0.1。程序一共迭代了40 000 次。

本文實(shí)驗(yàn)軟件環(huán)境使用的是Ubuntu 20.04.3，Python 版本為3.8.8，Pytorch 版本為1.9.1，Cuda 版本為11.2。硬件環(huán)境使用的GPU 是2 塊NVIDIA GeForce RTX 2080Ti，CPU 型號(hào)為Intel（R）Core（TM）i9-9900X，內(nèi)存為64GB。

2.3 實(shí)驗(yàn)結(jié)果與分析

CASIA-B 數(shù)據(jù)集不存在官方規(guī)定的訓(xùn)練集和測(cè)試集，當(dāng)前文獻(xiàn)中流行的3 種數(shù)據(jù)集劃分方式如表2 所示。

表2 數(shù)據(jù)集劃分（人）Table 2 Dataset partition（person）

本模型使用了表2 中CASIA-B 數(shù)據(jù)集的3 種劃分方式，每種方式下均采用正常步行狀態(tài)的前4個(gè)序列（nm-01，nm-02，nm-03，nm-04）作為查詢(xún)樣本集，剩余的6 個(gè)序列（nm-05，nm-06，bg-01，bg-02，cl-01，cl-02）作為庫(kù)樣本集。

下頁(yè)表3 展示了在CASIA-B 數(shù)據(jù)集上GaitTB與主流方法的對(duì)比結(jié)果。所有結(jié)果均在11 個(gè)視角中取平均值，并且不包括相同視角，比如90°查詢(xún)樣本的準(zhǔn)確率指的是除了90°以外的10 個(gè)視角的準(zhǔn)確率平均值。由表3 可知，GaitTB 與GaitSet 相比，ST劃分方式下BG 條件的準(zhǔn)確率提升了8.9%，MT 劃分方式下CL 條件的準(zhǔn)確率提升了8.3%，LT 劃分方式下CL 條件的準(zhǔn)確率提升了7.7%。可以看出，GaitTB在BG 和CL 步行條件下，效果提升較為顯著，原因如下：

表3 在CASIA-B 數(shù)據(jù)集的3 種樣本劃分設(shè)置下，平均Rank-1 準(zhǔn)確率，不包括相同視角的情況（%）Table3 AverageRank-1 accuracyunderthreesamplesplitsettingson theCASIA-B dataset，Excludingthecaseofthesameangleofview（%）

1）BG 和CL 步行條件下，由于攜帶物品和穿大衣會(huì)使身形發(fā)生變化以及對(duì)身體有部分遮擋，影響識(shí)別精度。而局部分支水平分割特征圖再卷積的操作會(huì)限制頂層神經(jīng)元感受野，使其更關(guān)注步態(tài)輸入的腿部和手臂這些局部細(xì)節(jié)特征。

2）GaitTB 使用了整體和局部?jī)蓚€(gè)特征分支，整體分支關(guān)注輸入的整個(gè)特征圖，忽略了具有判別性的局部細(xì)節(jié)。局部分支雖更關(guān)注局部細(xì)節(jié)，但忽略了局部之間的關(guān)系。MHPM 通過(guò)混合兩種分支特征以獲得更加適應(yīng)步態(tài)問(wèn)題的完整表示。

如下頁(yè)表4 所示，GaitTB 在沒(méi)有使用交叉熵?fù)p失函數(shù)時(shí)，由于不需要引入BN 層和全連接層，所以參數(shù)量甚至小于GaitSet，但是平均準(zhǔn)確率仍然要比GaitSet 高，驗(yàn)證了模型結(jié)構(gòu)的有效性和優(yōu)越性。GaitTB 使用兩個(gè)損失函數(shù)聯(lián)合訓(xùn)練網(wǎng)絡(luò)后，在NM條件、BG 條件、CL 條件下平均識(shí)別準(zhǔn)確率提升了0.5%，0.9%，1.8%。這是因?yàn)橐虢徊骒負(fù)p失函數(shù)會(huì)進(jìn)一步限制數(shù)據(jù)的分布，讓同一類(lèi)內(nèi)的樣本更加相似，從而提高了模型的識(shí)別能力。

表4 LT 劃分方式下，GaitTB 和GaitSet 在平均準(zhǔn)確率和模型參數(shù)量的對(duì)比Table 4 In the LT division mode，the comparison of the average accuracy and model parameters between GaitTB and GaitSet（%）Model

2.4 對(duì)比實(shí)驗(yàn)

GaitTB 模型采用將特征圖先分塊再卷積的方式來(lái)提取步態(tài)局部特征，為了選取效果最佳的分塊數(shù)量，設(shè)置了如表5 所示的6 組實(shí)驗(yàn)。每次實(shí)驗(yàn)只改變每階段分塊數(shù)量，其他因素不變，并且使用三元組和交叉熵?fù)p失函數(shù)聯(lián)合訓(xùn)練網(wǎng)絡(luò)。

表5 LT 劃分方式下，不同分塊數(shù)量實(shí)驗(yàn)結(jié)果（%）Table 5 Under the LT division method，the experimental results of different number of blocks（%）

由表5 可知，隨著分塊數(shù)量的增加，模型的平均識(shí)別準(zhǔn)確率先增大后減小，當(dāng)兩個(gè)階段的分塊數(shù)量為8 時(shí)，可達(dá)到最高的準(zhǔn)確率，所以GaitTB 局部分支選取的分塊數(shù)量為8。當(dāng)局部分支兩個(gè)階段分塊數(shù)量設(shè)置為1，即沒(méi)有進(jìn)行局部卷積操作時(shí)，其在NM 條件和BG 條件下的準(zhǔn)確率均小于每階段都分塊的準(zhǔn)確率，證明了使用局部卷積的有效性。分塊過(guò)于細(xì)致，會(huì)使部分語(yǔ)義特征丟失，導(dǎo)致每塊無(wú)法準(zhǔn)確描述人體的局部信息，所以后面模型準(zhǔn)確率不升反降。

3 結(jié)論

為了充分利用步態(tài)的整體和局部信息，本文提出了GaitTB 網(wǎng)絡(luò)，該網(wǎng)絡(luò)以步態(tài)輪廓圖作為輸入，將二分支網(wǎng)絡(luò)分別提取的整體和局部特征結(jié)合成一個(gè)更具判別性的步態(tài)表示，最后使用三元組和交叉熵聯(lián)合損失函數(shù)優(yōu)化網(wǎng)絡(luò)。CASIA-B 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，GaitTB 的平均Rank-1 準(zhǔn)確率高于其他主流方法，驗(yàn)證了網(wǎng)絡(luò)的有效性。

目前模型僅在CASIA-B 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。未來(lái)將增加開(kāi)放環(huán)境下數(shù)據(jù)集［10］的實(shí)驗(yàn)，期望得到更通用、更穩(wěn)健的步態(tài)表示。