基于關(guān)鍵幀的人體行為識別方法

成 勛，常 飛，吳志杰

1.中國工程物理研究院 研究生部，四川 綿陽 621900

2.中國工程物理研究院 計算機(jī)應(yīng)用研究所，四川 綿陽 621900

3.中國工程物理研究院 紀(jì)委監(jiān)察局，四川 綿陽 621900

基于關(guān)鍵幀的人體行為識別方法

成 勛1，常 飛2，吳志杰3

1.中國工程物理研究院 研究生部，四川 綿陽 621900

2.中國工程物理研究院 計算機(jī)應(yīng)用研究所，四川 綿陽 621900

3.中國工程物理研究院 紀(jì)委監(jiān)察局，四川 綿陽 621900

1 引言

由于基于視頻流的人體行為識別在智能安防，人機(jī)交互，虛擬現(xiàn)實，視頻標(biāo)注等領(lǐng)域有著重要的應(yīng)用價值，成為了近些年計算機(jī)視覺中的熱點研究方向[1]。從運(yùn)動序列中提取合適的特征描述人體運(yùn)動狀態(tài)是人體行為識別的關(guān)鍵問題。根據(jù)行為識別基于的特征不同可以將識別法分為四類：（1）基于人體輪廓形狀的識別，包括平面幾何下的二維輪廓[2]和時空狀態(tài)下的三維輪廓[3]；（2）基于幾何描述的識別方法[4]，該方法將人體表示為多個骨骼模型鏈接而成，通過剛體部分的運(yùn)動和相對關(guān)系描述人體運(yùn)動，從而實現(xiàn)人體行為識別；（3）基于運(yùn)動信息的行為識別，該方法采用運(yùn)動場模型如光流[5]提取人體運(yùn)動信息；（4）基于時空特征點的行為識別，例如人體的局部信息包括角點信息[6]和時空興趣點信息[7]來描述人體運(yùn)動狀態(tài)。由于圖像質(zhì)量，分辨率，背景是否固定不變，應(yīng)用的實時性等因素影響，不同的方法有不同的應(yīng)用場景。

近些年，基于視頻流的前景分割和目標(biāo)提取等相關(guān)技術(shù)逐漸成熟，在較多的場景下完整準(zhǔn)確地提取運(yùn)動的人體剪影成為了可能，因此基于剪影的人體行為識別有著較為廣泛的應(yīng)用。印等[8]針對Radon變換對縮放敏感的問題，采用改進(jìn)的Radon變換提取運(yùn)動人體區(qū)域最小外接矩形的Radon變換特征，并采用隱馬爾可夫模型進(jìn)行行為識別。Abdelkader等[9]則采用一種平方根的方法對人體輪廓進(jìn)行描述，通過將人體姿態(tài)看著閉合曲線形狀空間中的一點，將行為識別轉(zhuǎn)化為形狀空間中動態(tài)軌跡匹配問題，并且采用模板匹配法和隱馬爾可夫模型實現(xiàn)了人體行為識別。

本文提出了一種基于人體輪廓的行為識別方法，主要包括行為描述與行為識別兩個方面。對于行為描述采用基于弧長的方向函數(shù)對人體輪廓進(jìn)行描述，該描述方法具有較高的魯棒性和縮放不變性。行為識別包括訓(xùn)練與識別兩個階段。為了提高識別的準(zhǔn)確性和實時性，提取樣本的關(guān)鍵幀，通過關(guān)鍵幀實現(xiàn)行為識別。主要過程如下：首先采用背景差分法得到人體剪影，經(jīng)過預(yù)處理得到光滑人體輪廓，并且通過對人體外接矩形寬高比曲線的分析提取關(guān)鍵幀。然后采用基于弧長的方向函數(shù)對人體輪廓進(jìn)行描述，并且通過微分流形中兩點間的測地線距離對相似度進(jìn)行度量。最后通過聚類算法得到人體姿態(tài)模板，實現(xiàn)了人體行為識別。

2 關(guān)鍵幀檢測

關(guān)鍵幀提取是指從原始視頻序列中提取出能夠反映視頻內(nèi)容的少數(shù)幾幀圖像。通過視頻中的關(guān)鍵幀代表該視頻能夠極大地減少視頻處理的計算復(fù)雜度，是視頻分析和基于內(nèi)容檢索的重要步驟。關(guān)鍵幀的選取需要具有代表性，能夠反映視頻的序列的主要內(nèi)容并且需要根據(jù)內(nèi)容的變化程度確定關(guān)鍵幀的數(shù)目，通常內(nèi)容變化大的視頻需要更多的關(guān)鍵幀表示。對于一些簡單的人體行為，通過視頻序列中的少量幾幀關(guān)鍵圖像就可以進(jìn)行有效的識別。

首先采用背景消減法提取運(yùn)動的人體目標(biāo)，獲取人體剪影的二值圖像序列。然后計算人體輪廓的外接矩形的寬度w(i)與高度h(i)比（簡稱寬高比），并且繪制該比值隨時間變化的曲線圖，設(shè)在視頻序列中t時刻，人體輪廓的外接矩形的寬度為w(t)，高度為h(t)，人體輪廓的寬高比計算：

對于一些近似周期性的行為，如CASIA單人行為數(shù)據(jù)庫中的步行、奔跑、彎腰走等，人體外界矩形的寬高比隨時間呈現(xiàn)周期性變化，定義在一個周期內(nèi)，寬高比函數(shù)的極值點對應(yīng)的幀為關(guān)鍵幀。對于非周期性行為，如跌倒，定義寬高比函數(shù)的全局極值點對應(yīng)的幀為關(guān)鍵幀。由于運(yùn)動姿態(tài)本身以及噪音的干擾等原因，在相鄰的數(shù)幀內(nèi)可能出現(xiàn)多個小的峰值，為了準(zhǔn)確地獲取關(guān)鍵幀需要對寬高比曲線進(jìn)行平滑。采用滑動平均的方法對曲線進(jìn)行平滑。設(shè)滑動平均函數(shù)為h(c，wl)，其中，c為待平滑的數(shù)據(jù)，wl為平滑窗口的長度。令為平滑后的寬高比

對于人體的移動行為，如步行、跑步、跳躍等，注意到人體外接輪廓的寬高比的極小值對應(yīng)的人體姿態(tài)往往代表的是人體直立狀態(tài)，包含可以識別的特征十分少，而對于寬高比的極大值對應(yīng)的人體姿態(tài)往往是人體肢體展開最大時對應(yīng)的人體姿態(tài)，包含了較多的可供識別的行為特征，因此，取極值序列中的極大值對應(yīng)的幀作為行為識別的關(guān)鍵幀，忽略極小值。

通過背景剪除法得到的二值剪影圖像具有噪音，空洞以及非連通區(qū)域等干擾，為了準(zhǔn)確地提取人體的外接輪廓采用文獻(xiàn)[10]提供的方法對其進(jìn)行預(yù)處理，并且通過邊界的離散傅里葉變換得到光滑的人體輪廓曲線。圖1為 Weismann數(shù)據(jù)庫中檢測到的部分關(guān)鍵幀，經(jīng)過預(yù)處理后的示意圖。

圖1 Weismann數(shù)據(jù)庫中檢測到的行為關(guān)鍵幀

3 人體形狀描述與相似性度量

文獻(xiàn)[11]采用一種關(guān)于弧長的方向函數(shù)和曲率函數(shù)對二維平面上的閉合曲線進(jìn)行描述，并且通過構(gòu)造基于方向函數(shù)和曲率函數(shù)的形狀空間，將平面上簡單閉合曲線嵌入到無限維微分流形中，每一條曲線都可以看成是該流形上的一個點。并且在該微分流形上定義黎曼度量，通過流形上兩點間的測地線距離定義形狀間的相似度。本文引入其相關(guān)方法對人體輪廓進(jìn)行描述。

上一章中得到表征人體行為的關(guān)鍵幀以及人體姿態(tài)的光滑閉合曲線。首先采用文獻(xiàn)[12]中的方法對該曲線進(jìn)行等間距采樣，采樣點總數(shù)為N。然后，計算每一個采樣點的切線方向θi，θi∈[0，2π]，i=1，2，…，N，該方向定義為切線與坐標(biāo)軸的X軸的正方向的夾角，如圖2所示。

由中國造紙協(xié)會生活用紙專業(yè)委員會承辦的《生活用紙》雜志,自1993年創(chuàng)刊以來，經(jīng)過20多年的不斷努力和改進(jìn)，已成為生活用紙及相關(guān)行業(yè)從業(yè)人員的重要信息來源和參考資料。

圖2 人體輪廓的切線方向

由于人體輪廓通常處于直立狀態(tài)，不需要考慮人體形狀的旋轉(zhuǎn)性，不妨選取一個固定點作為采樣點的起始點，定義該點為距離坐標(biāo)軸原點最近的點。于是由采樣點的切線方向構(gòu)成的序列(θ1，θ2，…，θN)唯一表示了二維平面中的一條閉合曲線。圖3為人體輪廓剪影與其相對應(yīng)的方向函數(shù)表示。

注意到θi，i=1，2，…，N為曲線關(guān)于弧長的方向函數(shù)θ(s)的一個子集，其滿足下面約束：

圖3 人體輪廓的方向函數(shù)表示

尋找N維流形上兩點θ1和θ2之間的測地線是十分困難的，通常通過離散的數(shù)值計算的方法，構(gòu)建一條近似最短路徑作為測地線。Klassen等[11]采用了一種打靶法尋找到了一條近似的測地線，該方法的基本思想是：首先計算形狀θ1處的切平面，選取該平面上的一條切向量f使得連接θ1和θ2兩點間的曲線能量最小，然后通過指數(shù)映射將向量指向的一點映射到Cc中得到點θ1′，在該點處尋找下一個切向量，直到將θ1和θ2用分段曲線連接起來，該連線近似為測地線。Srivastava等人[13]通過一種路徑拉直的方法找到了一條局部最短距離的測地線：首先任意構(gòu)建一條曲線連接形狀空間中的兩個點，然后逐步拉直這條曲線，使之不斷接近測地線。由于前一種方法容易陷入局部最短路徑，選擇第二種方法計算人體輪廓間相似性。定義θ1和θ2之間的測地線距離的負(fù)值為兩者間的相似度。

4 訓(xùn)練關(guān)鍵幀模板與行為識別

行為識別整體過程分為模板訓(xùn)練與模板匹配兩個階段。在訓(xùn)練階段，對于每一類行為的訓(xùn)練樣本首先提取其關(guān)鍵幀，并對關(guān)鍵幀進(jìn)行聚類得到具有代表性的姿態(tài)模板。選擇訓(xùn)練數(shù)據(jù)中的同一類型的多個行為實例，采用AP（Affinity Propagation）聚類算法[14]獲取該類行為的關(guān)鍵幀模板。AP算法通過數(shù)據(jù)點之間的信息傳播來尋找代表點，將每一個數(shù)據(jù)點看做網(wǎng)絡(luò)中的一個節(jié)點，節(jié)點之間迭代地傳遞實值信息，直到穩(wěn)定的聚類出現(xiàn)。算法的輸入為樣本間的相似度矩陣，相比k均值聚類算法和模糊聚類算法，不需要事先人工定義聚類數(shù)目。

通過對關(guān)鍵幀進(jìn)行聚類，得到每一類動作的幾個具有代表性的關(guān)鍵幀模板。在識別階段，提取測試樣本的關(guān)鍵幀與訓(xùn)練階段得到的模板進(jìn)行匹配。設(shè)數(shù)據(jù)庫中的行為類型總數(shù)為N，行為分別表示為A1，A2，…，AN。在行為識別過程中，首先提取測試數(shù)據(jù)的關(guān)鍵幀{C1，C2，…，Ck}。

若k=1，提取該幀中的人體姿態(tài)，與每一種行為的姿態(tài)模板進(jìn)行比較，計算其相似度，取與其相似度最大的模板所屬的行為類別作為識別結(jié)果。

其中，C表示測試數(shù)據(jù)，表示行為An的關(guān)鍵幀模板集合，表示C與集合中所有數(shù)據(jù)的相似度最大值。

若k＞1，計算加權(quán)相似度，每一個關(guān)鍵幀的權(quán)值為1/k。

5 實驗結(jié)果與分析

分別采用Weismann人體行為數(shù)據(jù)庫以及CASIA單人行為數(shù)據(jù)庫進(jìn)行測試。其中Weismann數(shù)據(jù)庫共包含了90個視頻，視頻中包含10個自然動作，分別由9名實驗人員完成。視頻的分辨率為180像素×144像素，速率為50 frame/s。CASIA單人行為數(shù)據(jù)庫分辨率為320×240，速率為25 frame/s，包含八種行為，分別為行走、奔跑、彎腰走、跳行、下蹲、暈倒、徘徊和砸車，每種行為由24實驗人員在3個不同視角（平視、斜視、俯視）下分別完成4次。選取CASIA單人行為數(shù)據(jù)庫中在平視視角下的行走、奔跑、彎腰走、跳行、下蹲、暈倒這六種行為進(jìn)行測試。

在前景檢測階段文中采用的是Barnich等人提供的Vibe算法[15]。對人體剪影的四連通邊界的點集表示進(jìn)行離散傅里葉變換，采用描繪子中的10%的數(shù)據(jù)對人體輪廓進(jìn)行重構(gòu)得到平滑的人體輪廓。對每一個人體輪廓等間距進(jìn)行采樣，采樣點個數(shù)為100。

對于周期行為如步行、奔跑等每個周期內(nèi)的視頻片段作為測試樣本。測試過程中采用的是留一交叉驗證法（Leave-One-Out Cross-Validation），即每一輪驗證選取一個個體的所有動作作為測試數(shù)據(jù)，其余個體的所有動作作為訓(xùn)練數(shù)據(jù)，輪流對每一個個體進(jìn)行測試。測試結(jié)果如圖4和圖5所示。對比近些年較為流行的基于剪影的行為識別方法，本文提出的方法的平均識別率比部分文獻(xiàn)中提出的方法略高，如表1和表2所示。

圖4 Weismann數(shù)據(jù)庫行為識別混淆矩陣（%）

圖5 CASIA單人行為數(shù)據(jù)庫行為識別混淆矩陣（%）

表1 Weismann數(shù)據(jù)庫不同方法的識別率比較 （%）

表2 CASIA數(shù)據(jù)庫不同方法的識別率比較 （%）

對于Weismann數(shù)據(jù)庫，相似的行為易造成誤判，如單腳跳越和向前蹦跳，步行與跑步等行為，其原因是采用背景減除法提取的人體剪影包含噪音，不同實驗者實施同一種行為具有較大的差異以及一些不同的類型行為本身具有很大相似性。對于CASIA數(shù)據(jù)庫取得了較高的平均識別率，主要由于下蹲和暈倒以及彎腰走這類行為的人體輪廓特征十分明顯，較容易識別。而步行、奔跑和跳行這三類行為容易混淆。

6 結(jié)論

文中采用基于弧長的方向函數(shù)對人體輪廓進(jìn)行描述，并且通過微分流形中兩點間的測地線距離對相似度進(jìn)行度量，為了提高識別的實時性，結(jié)合關(guān)鍵幀檢測的方法實現(xiàn)了人體行為識別。實驗證明，該方法具有較高的識別率。

[1]Ronald P.A survey on vision-based human action recognition[J].Image and Vision Computing，2010，28（6）：976-990.

[2]Kellokumpu V，Pietikainen M，Heikkila J.Human activity recognition using sequences of postures[C]//IAPR Conf Machine Vision Applications，2005.

[3]黃飛躍，徐光祐.視角無關(guān)的動作識別[J].軟件學(xué)報，2008，19（7）.

[4]Green R D，Guan Ling.Quantifying and recognizing human movement patterns from monocular video images——part I：a new framework for modeling human motion[J].IEEE Trans on Circuits and Systems for Video Technology，2004，14（2）.

[5]Efros A，Berg A，Mori G，et al.Recognizing action at a distance[C]//Proc Int’l Conf Computer Vision，2003：726-733.

[6]Harris C，Stephens M.A combined corner and edge detector[C]// Alvey Vision Conference，1988：147-152.

[7]Laptev I.On space-time interest points[J].Int’l J Computer Vision，2005，64（2/3）：107-123.

[8]印勇，張晶，王建東.人體行為識別的改進(jìn)Radon變換方法[J].計算機(jī)工程與應(yīng)用，2012，48（11）：196-200.

[9]Abdelkader M F，Abd-Almageed W，Srivastava A，et al.Silhouette-based gesture and action recognition via modeling trajectories on Riemannian shape manifolds[J].Computer Vision and Image Understanding，2011，115：439-455.

[10]張軍.基于視頻的運(yùn)動人體異常行為分析識別研究[D].西安：西安電子科技大學(xué)，2009.

[11]Klassen E，Srivastava A，Mio W，et al.Analysis of planar shapes using geodesic paths on shape spaces[J].IEEE Trans on Pattern Anal Mach Intell，2004，26（4）.

[12]趙宇，陳雁秋.曲線描述的一種方法：夾角鏈碼[J].軟件學(xué)報，2004，15（2）.

[13]Srivastava A，Klassen E，Joshi S H，et al.Shape analysis of elastic curves in euclidean spaces[J].IEEE Trans on Pattern Anal Machine Intell，2011，33.

[14]Frey B J，Dueck D.Clustering by passing messages between data points[J].Science，2007，315（5814）：972-976.

[15]Olivier B，Marc V D.Vibe：a universal background subtraction for video sequences[J].IEEE Transactions on Image Processing，2011，20（6）.

[16]Chen Yan，Wu Qiang，He Xiangjian.Human action recognition by Radon transform[C]//Proceedings of IEEE International Conference on Data Mining Workshops，Pisa，2008：862-868.

[17]趙海勇，劉志鏡，張浩.基于輪廓特征的人體行為識別[J].光電子·激光，2010，21（10）.

[18]Oikonomopoulos A，Pantic M，Patras I.Sparse B-spline polynomial descriptors for human activity recognition[J].Image and Vision Computing，2009，27（12）：1814-1825.

[19]Ikizler N，Duygulu P.Histogram of oriented rectangles：a new pose descriptor for human action recognition[J].Image and Vision Computing，2009，27（10）：1515-1526.

[20]Zhang Hao，Liu Zhijin，Zhao Haiyong，et al.Recognizing human activities by key frame in video sequences[J].Journal of Software，2010，5（8）：818-825.

CHENG Xun1,CHANG Fei2,WU Zhijie3

1.Graduate Division of China Academy of Engineering Physics,Mianyang,Sichuan 621900,China
2.Institute of Computer Science and Application of China Academy of Engineering Physics,Mianyang,Sichuan 621900,China
3.Commission for Discipline Inspection and Supervision Bureau of China Academy of Engineering Physics,Mianyang,Sichuan 621900,China

This paper addresses an approach which uses the direction function on the arc length to describe the body shape and the geodesic distance between any two points in the shape spaces to measure the similarity of shapes.It extracts key frames in the video sequence and recognizes the human action based on the template matching approach.The experimental results on the CASIA single behavior database and the Weismann database show that the method has a high recognition rate.

action recognition;key-frame detection;similarity measure

提出了一種基于關(guān)鍵幀的人體行為識別方法。利用關(guān)于弧長的方向函數(shù)對人體形狀進(jìn)行描述以及通過形狀空間中兩點間的測地線距離對形狀間的相似性進(jìn)行度量，提取視頻序列中的關(guān)鍵幀，通過模板匹配的方法實現(xiàn)對行為的識別。對CASIA單人行為數(shù)據(jù)庫和Weismann數(shù)據(jù)庫進(jìn)行測試，實驗結(jié)果表明該方法具有較高的識別率。

行為識別；關(guān)鍵幀檢測；相似性度量

A

TP391.41

10.3778/j.issn.1002-8331.1301-0189

CHENG Xun,CHANG Fei,WU Zhijie.Human behavior recognition based on key frame.Computer Engineering and Applications,2013,49（18）：134-137.

國家自然科學(xué)基金（No.11176056）。

成勛（1987—），男，碩士，研究領(lǐng)域為視頻分析與識別；常飛（1986—），男，工程師，研究領(lǐng)域為軟件工程；吳志杰（1961—），男，研究員，研究領(lǐng)域為軟件工程與視頻分析。E-mail：chengxuntk@126.com

2013-01-18

2013-03-04

1002-8331（2013）18-0134-04

CNKI出版日期：2013-04-11 http://www.cnki.net/kcms/detail/11.2127.TP.20130411.1555.001.html