一種基于平均步態(tài)能量圖的身份識別算法

張前進1，陳祥濤2，卜文紹1

?

一種基于平均步態(tài)能量圖的身份識別算法

張前進，陳祥濤，卜文紹

（1．河南科技大學(xué)電子信息工程學(xué)院，河南洛陽 471003；2．河南科技大學(xué)現(xiàn)代教育技術(shù)與信息中心，河南洛陽 471003）

提出一種基于步態(tài)能量圖(GEI)的嵌入式隱馬爾可夫模型(e-HMM)身份識別方法。首先通過預(yù)處理提取出運動人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動距離統(tǒng)計出步態(tài)周期，得到平均步態(tài)能量圖。對能量圖的各區(qū)域進行分析，利用二維離散余弦變換(2D-DCT)將能量圖觀測塊轉(zhuǎn)化為觀測向量，實現(xiàn)嵌入式隱馬爾可夫模型的訓(xùn)練和身份識別。最后在USF和CASIA步態(tài)數(shù)據(jù)庫上對所提出的算法進行實驗。實驗表明該方法具有較好的識別性能，是一種有效的步態(tài)識別方法。

計算機應(yīng)用；生物特征識別；嵌入式隱馬爾可夫模型；步態(tài)能量圖

步態(tài)識別是一種新型的生物特征識別技術(shù)。所謂步態(tài)識別主要是指通過每個人獨特的行走姿勢來識別人的身份。區(qū)別于人臉識別、指紋識別、虹膜識別等識別技術(shù)，步態(tài)識別作為一種生物特征具有以下幾個特點：易于觀察、難于偽裝、對系統(tǒng)分辨率要求低、遠距離識別等。因此，步態(tài)識別是一種理想的非侵犯性生物識別技術(shù)。

近年來國內(nèi)外對于步態(tài)識別的研究已經(jīng)取得了不少成果。Sarkar等人提出了步態(tài)識別的基線算法。首先半自動地跟蹤行人，提取剪影；然后進行步態(tài)周期的探測，將整個探測序列分為個子序列，每個子序列的長度為所探測到的步態(tài)周期長度；利用模板匹配的方法得到訓(xùn)練子集和測試子集之間的相似度。Han等將一個步態(tài)序列中所有輪廓圖的平均值稱為步態(tài)能量圖，進行特征提取，研究表明該方法對低質(zhì)量的步態(tài)輪廓圖具有較強的適應(yīng)性。Wang等提出了一種人體輪廓解環(huán)繞提取距離信號的步態(tài)識別算法，建立了一個20人的步態(tài)數(shù)據(jù)庫進行實驗，取得了較好的效果。趙國英等提出了基于反射對稱的步態(tài)識別方法，利用關(guān)鍵幀的反射對稱作為步態(tài)特征識別測試序列。反射對稱隱含表示了人體行走時胳膊和身體的擺動習慣。顧磊等運用多區(qū)域側(cè)影面積的方法識別身份，將視頻序列中檢測出的步態(tài)側(cè)影劃分為5個子區(qū)域，提取每個子區(qū)域中的側(cè)影面積并計算步態(tài)序列中面積的變化特征，來構(gòu)成描述步態(tài)序列的特征向量。馬勤勇等提出了基于瞬時步態(tài)能量圖的遠距離身份識別，根據(jù)步態(tài)序列中一個關(guān)鍵時刻的所有側(cè)面輪廓圖的平均值構(gòu)成一個平均瞬時圖，計算出所有關(guān)鍵時刻側(cè)面輪廓圖相對應(yīng)于瞬時步態(tài)能量圖的偏移累計圖像，與步態(tài)能量圖共同作為描述一個對象的特征向量。

HMM在語音識別的應(yīng)用中已取得較大成功，近年來被引入到人臉檢測、表情識別和步態(tài)識別。文獻[7]利用基本型HMM對步態(tài)序列進行身份識別，Kale認為步態(tài)周期可以被看作一個雙重隨即過程，其中隱過程被表達為站姿之間的轉(zhuǎn)移，而可觀察量是在某個特定站姿下所對應(yīng)的圖像。本文引入一種更具強健性的e-HMM對平均步態(tài)能量圖進行身份識別。首先對序列預(yù)處理提取出運動人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動距離統(tǒng)計出步態(tài)的周期，得到平均步態(tài)能量圖。然后對能量圖的各區(qū)域進行分析，利用二維離散余弦變換將能量圖觀測塊轉(zhuǎn)化為觀測向量，實現(xiàn)e-HMM的訓(xùn)練和身份識別。最后在USF和CASIA步態(tài)數(shù)據(jù)庫上對所提出的算法進行實驗。實驗表明該方法具有較好的識別性能。

1 預(yù)處理技術(shù)

1.1 步態(tài)檢測與跟蹤

預(yù)處理階段需要對運動目標進行提取。常用的方法有背景減除法、時間差分法、光流法等，本文采用背景減除方法。中值法是一種非線性平滑技術(shù)，它將每一像素點的灰度值設(shè)置為該點某鄰域窗口內(nèi)的所有像素點灰度值的中值。中值法從圖像序列中恢復(fù)出背景圖像，將輸入的連續(xù)幀圖像像素值的中間值作為背景圖像的像素值。令代表一個包含幀圖像的序列，則背景圖像可表達為

亮度變化通過當前圖像和背景圖像的差分來獲得，有時由于亮度變化太低而難以從噪聲中將運動目標完全地提取出來，本文使用間接執(zhí)行差分操作。

圖1 預(yù)處理后的圖像

對上面步驟處理后的圖像進行邊緣跟蹤，求得人體圖像的輪廓。用復(fù)數(shù)形式表示為

確定行人內(nèi)在運動的一個重要線索是人體輪廓形狀隨時間的變化。為了減小計算的復(fù)雜度，將二維輪廓形狀變化轉(zhuǎn)換為一維距離信號來表達步態(tài)運動的時空變化模式。側(cè)重腰部以下人體下肢的運動變化，選擇最低邊緣點作為參考點，從下向上將輪廓邊界展開為相同縱坐標的最左和最右兩點和的距離。

從人體側(cè)面輪廓圖像序列可以看出，步態(tài)數(shù)據(jù)是準周期性的時變數(shù)據(jù)。人體側(cè)面的下肢輪廓寬度會經(jīng)過一個周期性的變化，即有一個從最大到最小又到最大的變化過程，此處利用兩條腿的輪廓寬度變化來進行周期性分析。另采用輪廓分析步態(tài)時，從輪廓中無法區(qū)分左右腿。兩腿的寬度隨著幀序號的變化如圖2所示，對應(yīng)的。

圖2 步態(tài)周期性分析

步態(tài)的周期在文中定義為連續(xù)出現(xiàn)兩個波峰或波谷的時間段。取不同的值輪廓對應(yīng)的寬度是有變化，但這個變化并不影響步態(tài)的準周期性，即取不同的值輪廓寬度的幅值變化，其準周期性不變。

1.2 平均步態(tài)能量圖

經(jīng)過上面的步驟，人體輪廓已經(jīng)從步態(tài)序列中被提取出來。GEI是一種用輪廓構(gòu)造的時空步態(tài)表征方法。按照文獻[2]的方法構(gòu)造出人體序列中每一個步態(tài)周期的能量圖，再計算序列中完整周期步態(tài)能量圖的平均圖像。

假設(shè)對象的步態(tài)序列中有個完整的步態(tài)周期，第個步態(tài)周期的步態(tài)能量圖表示為，則該步態(tài)序列的平均步態(tài)能量圖（見圖3）為

2 基于GEI的e-HMM身份識別

2.1 e-HMM概述

典型的HMM是一維結(jié)構(gòu)，可以用于分析一維隨機信號。如果將HMM結(jié)構(gòu)中的每一個隱狀態(tài)內(nèi)嵌入一個HMM，該模型即為e-HMM，其中外部HMM的隱狀態(tài)稱為超狀態(tài)，內(nèi)部HMM的隱狀態(tài)稱為嵌入態(tài)。如圖4所示，身份識別的e-HMM——33666模型。垂直方向上的主HMM為超狀態(tài)，每個垂直分區(qū)包含一個子狀態(tài)。所以e-HMM由垂直方向的主HMM和水平方向嵌入的多組子HMM組成，主HMM中每個狀態(tài)由一個子HMM構(gòu)成。

圖4 身份識別的e-HMM——33666模型

（1）超狀態(tài)參數(shù)

（2）子狀態(tài)參數(shù)

2.2 e-HMM的模型訓(xùn)練

e-HMM訓(xùn)練的目的就是利用一組訓(xùn)練樣本確定其優(yōu)化參數(shù)。身份識別是利用雙向嵌入式Viterbi算法計算所有訓(xùn)練模型產(chǎn)生觀察向量的概率，尋求最大匹配概率。圖5為整個系統(tǒng)的訓(xùn)練和識別流程框圖。

圖5 e-HMM的訓(xùn)練和識別框圖

訓(xùn)練流程框圖的具體描述如下：

Step 1 根據(jù)e-HMM的結(jié)構(gòu)特性對圖像數(shù)據(jù)進行整體分割。首先根據(jù)從上至下的超狀態(tài)個數(shù)將觀測向量分為個部分，然后再根據(jù)每個超態(tài)中所含的狀態(tài)數(shù)將每個部分再細分為個部分。

Step 2 對模型參數(shù)進行初始化，利用雙重嵌入式Viterbi算法分割狀態(tài)序列。在HMM模型中，Viterbi算法是為解決已知模型和觀測序列的條件下，從所有可能的隱狀態(tài)序列中找出一個隱狀態(tài)序列，使該觀測序列的概率最大。雙層Viterbi算法分別從水平與垂直兩方向進行Viterbi操作。對數(shù)運算不僅可以處理數(shù)字精度問題，并可將乘積運算簡化為加法運算，且運算可逆，所以用代替。若變量和分別表示第行所處超狀態(tài)和觀測序列，則為第行超狀態(tài)時觀測向量概率對數(shù)的最大值，即。

Step 3 模型參數(shù)重新估算采用分段K均值(Segmental K-means)方法。該方法效果等同雙重嵌入式Baum-Welch算法，且處理速度快，同時可以避免Baum-Welch算法的溢出問題。Segmental K-means模型參數(shù)估計如以下公式所示

Step 4 如果重新估算參數(shù)使得Viterbi分割似然值收斂，則迭代結(jié)束，訓(xùn)練完成；否則重復(fù)Step 2。

2.3 基于GEI的e-HMM身份識別

根據(jù)圖5所示的e-HMM訓(xùn)練和識別框圖。選用原始的平均步態(tài)能量圖像的像素點直接轉(zhuǎn)化為向量，則觀測向量維數(shù)太大、運算量大。故本文采用2D-DCT來提取能量圖的特征數(shù)據(jù)。把分割后的每一個平均步態(tài)能量圖像塊提取的2D-DCT系數(shù)作為e-HMM的觀察向量。根據(jù)2D-DCT的壓縮性，其低頻部分系數(shù)代表了圖像的大部分信息，能有效地表示圖像特征，并在一定程度上降低維數(shù)，所以本文以低頻部分的2D-DCT系數(shù)作為e-HMM的觀察向量。接著計算該能量圖的觀察值向量與步態(tài)數(shù)據(jù)庫中訓(xùn)練e-HMM的相似率。相似率反映了待識別人的能量圖觀察值向量與步態(tài)數(shù)據(jù)庫中訓(xùn)練模型的相似程度。根據(jù)模式識別中最近鄰算法原理，如果能量圖庫中共有個人，未知人是，則中的值應(yīng)該為最大，即為識別的結(jié)果。

3 實驗結(jié)果與分析

3.1 CASIA步態(tài)數(shù)據(jù)庫實驗分析

首先用CASIA步態(tài)數(shù)據(jù)庫來評估所提出的步態(tài)識別算法。該數(shù)據(jù)庫有124個人組成，每個人的序列是從0°到180°之間，以18°遞增的11個不同視角。數(shù)據(jù)庫中的每個人有10個行走序列，其中有6個正常的行走序列（定義為Set A），2個挎包的序列（定義為Set B），2個穿大衣的序列（定義為Set C）。把每一個人Set A中的前3個序列作為訓(xùn)練子集（定義為Set A1），剩下的作為測試子集（定義為Set A2）。Set B和Set C的前一個序列作為訓(xùn)練子集（（定義為Set B1）和（定義為Set C1）），剩下一個序列作為測試子集（（定義為Set B2）和（定義為Set C2））。

本文選用庫中的20個人進行實驗，序列的視角均為90°的正側(cè)面視角。實驗中選用最近鄰法（每個序列被分類到離它最近的鄰居所屬的類中）進行身份識別；并采用留一校驗法(leave-one-out cross validation)測試，實驗結(jié)果如圖6所示。從實驗結(jié)果可以看出，實驗A的實驗效果好于實驗B和C。這是由于Set A集合中人行走時相對Set B和Set C集合的圖像實際信息維數(shù)較小，2D-DCT變換后的低頻系數(shù)更能有效地表征其圖像特征。Set B和Set C集合相對Set A集合來說，圖像較復(fù)雜，2D-DCT變換后低頻部分系數(shù)雖然代表了圖像的大部分信息，相比Set A集合在降維的同時丟失了較多的圖像特征信息。

圖6 90°視角實驗結(jié)果

3.2 USF步態(tài)數(shù)據(jù)庫實驗分析

接著用USF步態(tài)數(shù)據(jù)庫來評估所提出來的步態(tài)識別算法。參考文獻[1]的方法，將USF數(shù)據(jù)庫中的數(shù)據(jù)分為多個不同的組。用于訓(xùn)練的已知對象被劃分為一組，包括122個對象的行走圖像序列。用于測試的對象共有12組，依次稱作A-L，包括這些對象在其它狀態(tài)下的行走圖像序列。實驗選擇基線算法、MSCT&SST算法、GEI算法與本文算法進行比較?；€算法是與USF步態(tài)數(shù)據(jù)庫同時提出的一個有代表性算法；MSCT&SST算法是結(jié)合靜態(tài)與運動模板的方法；GEI算法是近幾年步態(tài)識別研究中的經(jīng)典算法。表1中列出了本文算法與3個典型算法在USF步態(tài)數(shù)據(jù)庫上的識別率。Rank是在人臉識別和步態(tài)識別中常用的識別參數(shù)，表示算法計算出來的與待識別對象最相似的前個對象中包含真實對象的比率。

表1 本文算法與另外3種算法在USF上識別率(%)

從表1中可以看出，本文算法的平均識別率對于第Ⅱ類對象均高于其它3種算法。在第Ⅰ類中，本文算法明顯好于基線算法，略低于GEI和MSCT&SST的算法。在第Ⅲ類中，除了在MSCT&SST算法的Rank 5情況識別率略微有些降低，其它對象的識別率都有較大的提高。總體來看，本文算法在總體的性能上好于其它3種方法。

4 結(jié) 論

本文提出一種基于步態(tài)能量圖的e-HMM身份識別方法。對序列預(yù)處理提取出運動人體的側(cè)面輪廓，根據(jù)步態(tài)下肢的擺動距離統(tǒng)計出步態(tài)周期，得到平均步態(tài)能量圖。然后對能量圖的各區(qū)域進行分析，利用2D-DCT將能量圖觀測塊轉(zhuǎn)化為觀測向量，實現(xiàn)e-HMM的訓(xùn)練和身份識別。在USF和CASIA步態(tài)數(shù)據(jù)庫上對所提出算法的進行實驗，結(jié)果表明該方法是一種有效的步態(tài)識別方法。

[1] Sarkar S, Phillip S P Jonathon, Liu Z,et al.The human D gait challenge p roblem: data sets, performance, and analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.

[2] Han J, Bhanu B. Individual recognition using gait energy image [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2006, 10(2): 316-322.

[3] Wang Liang, Tan Tieniu, Hu Weiming, et al. Automatic gait recognition based on statistical shape models [J]. IEEE Trans on Image Processing, 2003, 12(9): 1120-1130.

[4] 趙國英, 向世明, 李 華. 基于反射對稱的步態(tài)序列識別[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報, 2005, 17(10): 2239-2244.

[5] 顧 磊, 吳慧中, 肖 亮. 一種基于多區(qū)域側(cè)影面積的步態(tài)識別算法[J]. 模式識別與人工智能, 2008, 21(5): 658-663.

[6] 馬勤勇, 王申康, 聶棟棟, 等. 基于瞬時步態(tài)能量圖的遠距離身份識別[J]. 電子學(xué)報, 2007, (35)11: 2078-2082.

[7] Kale A, Sundaresan A, Rajagopalan A N, et al. Identification of humans using gait [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1163-1173.

[8] Kuno Y, et al. Automated detection of human for visual surveillance system [C]//Proceedings of International Conference on Pattern Recognition, Vienna, 1996: 865-869.

[9] 鄭芳穎, 趙杰煜. 基于改進型嵌入式隱馬爾科可夫模型的表情識別方法[J]. 模式識別與人工智能, 2008, 21(6): 836-842.

[10] Kuo S S, Agazzi O E. Keyword spotting in poorly printed documents using pseudo 2D hidden markov models [J]. IEEE Trans on PAMI, 1994, 16(8): 842-848.

[11] Rabiner L R. A tutorial on hidden Markov models and selected applications in speech recognition [C]//Proceedings of the IEEE, 1989: 257-286.

[12] Anil K Jain, Robert P W Duin, Mao J ianchang, et al. Statistical pattern recognition: a review [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(1): 4-37.

[13] Lam THW, Lee RST, Zhang D. Human gait recognition by the fusion of motion and static spatio-temporal templates [J]. Pattern Recognition, 2007, 40(9): 2563-2573.

A Human Recognition Scheme Based on Mean Gait Energy Image

ZHANG Qian-jin, CHEN Xiang-tao, BU Wen-shao

( 1. School of Electronics and Information Engineering, Henan University of Science and Technology, Luoyang Henan 471003, China; 2. Modern Education Technology and Information Center, Henan University of Science and Technology, Luoyang Henan 471003, China )

An embedded hidden Markov model(e-HMM) human recognition scheme based on gait energy image(GEI) is proposed. First a preprocess technique is used to segment the moving silhouette from the walking figure. The algorithm obtains the gait quasi-periodicity through analyzing the width information of the lower limbs’ gait contour edge, and the mean GEI is calculated from gait periodic. It makes use of an optimized set of observation vectors obtained from the two dimensional discrete cosine transform(2D-DCT) coefficients of the mean GEI regions. The e-HMM is trained and used for the gait recognition. The proposed algorithm is evaluated on USF and CASIA Gait Database. The experimental result shows that the proposed approach is valid and has encouraging recognition performance.

computer application;biometrics recognition; embedded hidden Markov models; gait energy image

TP 391

A

1003-0158(2011)01-0039-06

2009-07-20

河南省重點科技攻關(guān)資助項目（082102240086）

張前進（1979-），男，河南開封人，講師，碩士，主要研究方向為生物特征識別。