視頻中人體行為的慢特征提取算法

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20150609.1548.001.html

視頻中人體行為的慢特征提取算法

陳婷婷1，2，阮秋琦1，安高云1

(1.北京交通大學(xué) 信息科學(xué)研究所,北京100044；2.北京交通大學(xué) 現(xiàn)代信息科學(xué)和網(wǎng)絡(luò)技術(shù)北京市重點實驗室，北京100044)

摘要：從復(fù)雜的人體行為中提取出重要的有區(qū)分力的特征是進行人體行為分析的關(guān)鍵。目前經(jīng)典的特征分析方法大多是線性的特征分析技術(shù)，對于非線性處理會導(dǎo)致錯誤的結(jié)果，為此，提出了一種慢特征提取方法。首先，利用幀間差分法獲取幀差圖像序列，對選定的初始幀進行特征點檢測；然后，利用光流法對特征點進行跟蹤，收集訓(xùn)練立方體；最后，利用收集的訓(xùn)練立方體進行慢特征函數(shù)的機器學(xué)習(xí)，提取出慢特征并進行特征表示。實驗中提取每種行為的慢特征進行對比，結(jié)果顯示提取的慢特征隨時間變化非常緩慢，并且在不同行為之間具有很強的區(qū)分力，表明該方法能夠有效提取出人體行為的慢特征。

關(guān)鍵詞：人體行為；訓(xùn)練立方體；慢特征函數(shù)；慢特征；幀間差分法

DOI:10.3969/j.issn.1673-4785.201407002

中圖分類號：TP391 文獻標志碼：A

收稿日期：2014-07-02. 網(wǎng)絡(luò)出版日期：2015-06-09.

基金項目：國家“973”計劃項目 (2012CB316304)；國家自然科學(xué)基金資助項目(61172128)；教育部創(chuàng)新團隊發(fā)展計劃項目(IRT201206).

作者簡介：

中文引用格式：陳婷婷，阮秋琦，安高云. 視頻中人體行為的慢特征提取算法[J]. 智能系統(tǒng)學(xué)報, 2015, 10(3): 381-386.

英文引用格式：CHEN Tingting, RUAN Qiuqi, AN Gaoyun. Slow feature extraction algorithm of human actions in video[J]. CAAI Transactions on Intelligent Systems, 2015, 10(3): 381-386.

Slow feature extraction algorithm of human actions in video

CHEN Tingting1,2, RUAN Qiuqi1, AN Gaoyun1

(1. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China; 2. Beijing Key Laboratory of Advanced Information Science and Network Technology, Beijing Jiaotong University, Beijing 100044, China )

Abstract：Extracting important and distinguishable features from complex human actions is the key for human actions analysis. In recent years, classical feature analysis methods are mostly linear feature analysis technologies, which result in error results for non-linear processing. This paper proposes a method of extracting slow features. First, the image sequence of frame difference was obtained by the difference between the consecutive frames and some feature points of selected beginning frame were detected. Next, the feature points were tracked by optical flow method and the training cuboids were collected. Finally, the slow feature functions were learned with the collected training cuboids, then the slow features could be extracted and represented. In the experiment, slow features of each action were extracted and compared with each other. The results show that the extracted slow features vary slowly with time and action interclass has good discrimination, which suggests that this method can extract slow features from human actions effectively.

Keywords：human action; training cuboids; slow feature function; slow feature; frame difference

通信作者：陳婷婷. E-mail: nuan8feng@126.com.

近年來，隨著社會復(fù)雜度的增大和人口密集度的增加，異常事件和突發(fā)事件也隨之迅速增多，因此安防監(jiān)控被提上了日程，成為人們關(guān)注的焦點。越來越多大規(guī)模的視頻監(jiān)控系統(tǒng)被建立，面對海量涌現(xiàn)的視頻數(shù)據(jù)，加上工作人員精力有限，不可能時刻監(jiān)控視頻中發(fā)生的事件，因此如何去自動獲取分析其中包含的內(nèi)容成為一個亟待解決的問題。視頻中大部分內(nèi)容是人的行為活動，要讓計算機理解視頻中的人在什么場景做什么，并用自然語言表述出來，具有很重要的學(xué)術(shù)和應(yīng)用價值。因此人體行為分析成為研究的熱點。人體行為分析的一個關(guān)鍵點是從復(fù)雜的人體行為中提取重要的有區(qū)分力特征。目前已經(jīng)有一些經(jīng)典的特征分析方法，如主成分分析(PCA)、獨立成分分析(ICA)等[1-3]。但是這些方法都是線性的特征分析技術(shù)，對于非線性處理也許會導(dǎo)致錯誤的結(jié)果。為了處理非線性系統(tǒng)，提出了一些改進的方法，如基于核的主成分分析(KPCA)?；诤说闹鞒煞址治鍪紫扔葿. Scholkopf等[4]提出，在高維特征空間中使用核函數(shù)計算主成分，這個高維特征空間和輸入空間是非線性相關(guān)的。

最近，一種新的數(shù)據(jù)特征分析方法，即慢特征分析(slow feature analysis, SFA)[5]被提出。慢特征分析的主要目的是從輸入信號中提取最佳的緩慢變化的特征作為信號的不變表示。隨時間變化的信號的不變特征對于很多模式分類任務(wù)非常有用，并且慢特征分析已經(jīng)被成功應(yīng)用于姿勢識別和圖像特征提取等一些領(lǐng)域[6-12]。Zhang等[13]把慢特征分析應(yīng)用于人體行為識別，并取得了很好的效果?；诼卣鞣治瞿軌蛱崛≥斎胄盘柕牟蛔兞啃畔?，并且具有平移、旋轉(zhuǎn)、縮放、光照等不變性，具有方向選擇性和邊緣方向選擇性的特點，因此本文提出了視頻中人體行為的慢特征提取方法。

1慢特征分析(SFA)原理

慢特征是利用慢特征分析(SFA)方法從輸入信號中獲取的能夠表征信號發(fā)生源某些固有屬性的特征。慢特征能夠表征輸入信號的不變量信息，對于數(shù)據(jù)分析和模式識別都有非常重要的作用。慢特征的有效提取是后續(xù)行為分析的基礎(chǔ)，起著關(guān)鍵性的作用。

1.1SFA的數(shù)學(xué)描述

對于每一個j∈{1,2,...,J}，

(1)

(2)

(3)

(4)

1.2 SFA算法具體實現(xiàn)步驟

慢特征分析算法實質(zhì)上是一個學(xué)習(xí)問題，也即變分法的最優(yōu)化問題，一般來講很難解決。然而對于輸入輸出函數(shù)元素gj被限定為有限個非線性函數(shù)的線性組合，問題就大大簡化了。在這個限定下，解決最優(yōu)化問題的算法如下。

即式(2)中的限制條件被滿足。方程(4)中，

式(1)中的目標函數(shù)：

由線性代數(shù)可知，能夠使上式取得最小值的權(quán)值向量wj對應(yīng)于式(5)一般特征值問題的特征向量，此時式(3)中的限制條件也被滿足。

AW=BWΛ

(5)

式中：W是特征向量矩陣，Λ是由特征值λ1,λ2,...,λN組成的對角矩陣。

2)非線性變換可以視為非線性空間的線性變換[5]。函數(shù)h(x)的非線性擴展定義為

(6)

慢特征函數(shù)通過以下步驟獲得。

a)使用非線性函數(shù)h(x)對原始信號進行擴展，并把h(x)歸一化，使其均值為0，即z:=h(x)-h0,其中h0=〈h(x)〉t，歸一化使條件(2)有效。本文使用二次擴展，即h(x)=(x1,x2,...,xI,x1x1,x1x2,...,xIxI)。

(7)

這些慢特征函數(shù)能夠滿足約束條件(2)~(4)，而且能使式(1)中的目標函數(shù)最小。

1.3 改進的慢特征分析算法(D-SFA)

(8)

且滿足以下條件：

(9)

(10)

(11)

式中：ωcj是第c類第j個慢特征函數(shù)的權(quán)值向量，γ是權(quán)衡參數(shù)。

2視頻中人體行為的慢特征提取

本文提出的視頻中人體行為慢特征的提取主要包括3個部分：收集訓(xùn)練立方體、D-SFA算法提取慢特征和構(gòu)建ASD特征表示。

2.1收集訓(xùn)練立方體

收集訓(xùn)練立方體是由視頻圖像序列構(gòu)建出原始輸入信號x(t)的一種方法。首先對原始視頻進行處理，得到幀差圖像序列。以選定的某一幀圖像作為初始幀，檢測其特征點[14]，然后使用光流法對特征點進行跟蹤[15-16]，從而得到視頻中所有特征點對應(yīng)的軌跡集合。對于軌跡集合中的每條軌跡，提取其中各個軌跡點w×w鄰域內(nèi)的像素值，形成一系列的像素塊，考慮到時間信息，通過Δt個相繼幀對每個點的像素塊序列進行整合，本文取Δt=3。進一步對所有的特征點進行整合后得到訓(xùn)練立方體，即構(gòu)建出了輸入向量x(t)。圖1給出了訓(xùn)練立方體的獲取過程。

圖1　訓(xùn)練立方體的獲取過程 Fig. 1　The process of obtaining training cuboids

2.2D-SFA算法提取慢特征

慢特征分析方法是實現(xiàn)提取慢特征任務(wù)而提出的一種學(xué)習(xí)算法。SFA算法是一種非監(jiān)督學(xué)習(xí)算法，它在人體行為視頻中提取慢特征的思想是：不同種類的行為視頻收集到的訓(xùn)練立方體混合在一起用于慢特征函數(shù)的機器學(xué)習(xí)，然后用學(xué)習(xí)出來的慢特征函數(shù)提取出慢特征。由于不能編碼有監(jiān)督信息，所以提取出來的慢特征在行為間沒有很好的區(qū)分力。D-SFA算法在學(xué)習(xí)過程中引入了監(jiān)督信息，其在人體行為視頻中提取慢特征的思想是：對于每一類行為收集到的訓(xùn)練立方體分別用于慢特征函數(shù)的學(xué)習(xí)，這樣學(xué)習(xí)出的慢特征函數(shù)具有行為類間的區(qū)分力，即對類內(nèi)行為具有選擇性。

2.3ASD特征表示

由于慢特征分析能夠使均方導(dǎo)數(shù)最小，所以1個立方體對相應(yīng)慢特征函數(shù)的擬合度可以通過變換立方體的平方導(dǎo)數(shù)來衡量[13]。如果值很小，則說明這個立方體和慢特征函數(shù)擬合得很好。對于第i個立方體Ci和第j個慢特征函數(shù)，定義平方導(dǎo)數(shù)：

(12)

式中：L表示特征點跟蹤的幀數(shù)，Δt表示每個時間點累計的相繼幀的個數(shù)，?表示變換操作，本文取L=15，Δt=3。

然后把平方導(dǎo)數(shù)在所有的立方體上進行累加，從而形成ASD特征為

(13)

式中：N表示1個行為視頻中收集的立方體的個數(shù)，Vi=(vi,1,vi,2,...,vi,K)T，K表示慢特征函數(shù)的個數(shù)。

3實驗結(jié)果及分析

3.1數(shù)據(jù)庫介紹

本文選用魏茨曼科學(xué)院行為識別數(shù)據(jù)庫(Weizmann human action database)進行慢特征的提取實驗，用于驗證慢特征分析方法在人體行為視頻中提取慢特征的有效性。該數(shù)據(jù)庫包含10種單人行為，包括彎腰、奔跑、單腳跳、雙腳跳、原地跳、揮手跳、側(cè)行、行走、單臂揮舞和雙臂揮舞。每種行為分別由9位不同的人完成。圖2給出了每類行為的圖像樣本。

圖2　Weizmann人體行為數(shù)據(jù)庫樣圖 Fig. 2　Sample images of each type of action in the Weizmann database

3.2實驗結(jié)果及分析

為了驗證慢特征分析方法在人體行為視頻中提取慢特征的有效性，使用3.1介紹的數(shù)據(jù)庫進行實驗。實驗分別從SFA和D-SFA對不同行為提取慢特征的效果對比和使用D-SFA計算出的ASD特征的模值對比2個方面，說明慢特征分析方法能夠有效提取慢特征，且D-SFA較之SFA效果更好。圖3和4為2種算法提取的慢特征隨時間的變化圖對比，

圖3中使用SFA算法對不同的行為進行慢特征的提取?？梢钥闯霾煌袨榈穆卣麟S時間的變化具有相似性，區(qū)分力比較小。這是因為SFA算法是一種非監(jiān)督式學(xué)習(xí)算法，不能編碼任何監(jiān)督信息，其慢特征函數(shù)是由所有行為混合在一起進行機器學(xué)習(xí)得到的，因此慢特征函數(shù)被不同行為所共有，降低了行為間的區(qū)分力。

圖3　SFA算法提取的慢特征隨時間變化 Fig. 3　 The diagram of slow features extracted by SFA vary with time

圖4中使用D-SFA算法進行慢特征的提取。圖中包含10×10個子圖，其中坐標為(i,j)的子圖表示第j類行為經(jīng)第i類行為的慢特征函數(shù)變換得到的慢特征隨時間的變化圖?？梢钥闯鰧蔷€上的圖隨時間基本不變，這說明D-SFA算法具有行為類間的選擇性，每種行為訓(xùn)練出的慢特征函數(shù)能使該行為變慢，而使其他行為變化相對較快。這是因為D-SFA算法是對每一類行為都進行機器學(xué)習(xí)，分別得到對應(yīng)的慢特征函數(shù)，因此提取出的慢特征具有很好的區(qū)分力。

表1是D-SFA算法計算出來的不同類行為的ASD特征的模值．該表是由10×10個單元構(gòu)成，第(i,j)個單元表示第j類行為的立方體經(jīng)第i類行為的慢特征函數(shù)變換后計算出來的ASD特征的模值。由表中數(shù)據(jù)可知，第j列中，第(j,j)個單元中的數(shù)據(jù)比該列其他數(shù)據(jù)都要小得多。這說明D-SFA算法學(xué)習(xí)出的慢特征函數(shù)只能使該類行為的ASD特征值變慢，因此行為類間具有很好的區(qū)分力。

圖4　D-SFA算法提取的慢特征隨時間變化 Fig. 4　The diagram of slow features extracted by D-SFA vary with time

4結(jié)束語

本文提出了視頻中人體行為的慢特征提取方法，首先收集訓(xùn)練立方體，然后分別用SFA算法和D-SFA算法進行慢特征函數(shù)的機器學(xué)習(xí)，經(jīng)慢特征函數(shù)變換后得到慢特征，并進一步構(gòu)建ASD特征。實驗結(jié)果表明D-SFA算法能更有效地提取出人體行為的慢特征。由于特征點跟蹤的過程中，少量特征點在后續(xù)幀中會出現(xiàn)漂移現(xiàn)象，對后面的處理會產(chǎn)生一定的影響，今后將進一步研究以取得更好的效果。

參考文獻:

[1]VENKATASUBRAMANIAN V, RENGASWAMY R, KAVURI S N, et al. A review of process fault detection and diagnosis: Part III: process history based methods[J]. Computers & Chemical Engineering, 2003, 27(3): 327-346.

[2]CHERRY G A, QIN S J. Multiblock principal component analysis based on a combined index for semiconductor fault detection and diagnosis[J]. IEEE Transactions on Semiconductor Manufacturing, 2006, 19(2): 159-172.

[3]DUNIA R, QIN S J. Joint diagnosis of process and sensor faults using principal component analysis[J]. Control Engineering Practice, 1998, 6(4): 457-469.

[4]SCH?LKPOF B, SMOLA A, MüLLER K R. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998, 10(5): 1299-1319.

[5]WISKOTT L, SEINOWSKI T L. Slow feature analysis: unsupervised learning of invariances [J]. Neural Computation, 2002, 14(4): 715-770.

[6]BERKES P, WISKOTT L. Slow feature analysis yields a rich repertoire of complex cell properties[J]. Journal of Vision, 2005, 5(6): 579-602.

[7]XIA Qi, GAO Jianbin, XU Chunxiang. A new watermarking algorithm based on slowly feature analysis[C]//International Conference on Apperceiving Computing and Intelligence Analysis. Chengdu, China, 2008: 70-72.

[8]GAO Jianbin, LI Jianping, XIA Qi. Slowly feature analysis of Gabor feature for face recognition[C]//2008 International Conference on Apperceiving Computing and Intelligence Analysis. Chengdu, China, 2008: 177-180.

[9]HUANG Yaping, ZHAO Jiali, TIAN Mei, et al. Slow feature discriminant analysis and its application on handwritten digit recognition [C]//International Joint Conference on Neural Networks. Atlanta, USA, 2009: 1294-1297.

[10]MA Kuijun, TAO Qing, WANG Jue. Nonlinear blind source separation using slow feature analysis with random features[C]//2010 20th International Conference on Pattern Recognition. Istanbul, Turkey, 2010: 830-833.

[11]KüHNL T, KUMMERT F, FRITSCH J. Monocular road segmentation using slow feature analysis[C]//2011 IEEE Intelligent Vehicles Symposium (IV). Baden-Baden, Germany, 2011: 800-806.

[12]DENG Xiaogang, TIAN Xuemin, HU Xiangyang. Nonlinear process fault diagnosis based on slow feature analysis[C]//2012 10th World Congress on Intelligent Control and Automation. Beijing, China, 2012: 3152-3156.

[13]ZHANG Zhang, TAO Dacheng. Slow feature analysis for human action recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(3): 436-450.

[14]王麗輝, 袁保宗. 三維散亂點云模型的特征點檢測[J]. 信號處理, 2011, 27(6): 932-938.

WANG Lihui, YUAN Baozong. Feature point detection for 3D scattered point cloud model[J]. Signal Processing, 2011, 27(6): 932-938.

[15]馬龍, 王魯平, 陳小天, 等. 噪聲環(huán)境下光流場估計方法[J]. 信號處理, 2012, 28(1): 87-91.

MA Long, WANG Luping, CHEN Xiaotian, et al. Determining optical flow field in the presence of noise[J]. Signal Processing, 2012, 28(1): 87-91.

[16]江志軍, 易華蓉. 一種基于圖像金字塔光流的特征跟蹤方法[J]. 武漢大學(xué)學(xué)報:信息科學(xué)版, 2007, 32(8): 680-683.

JIANG Zhijun, YI Huarong. An image pyramid-based feature detection and tracking algorithm[J]. Geomatics and Information Science of Wuhan University, 2007, 32(8): 680-683.

陳婷婷，女，1987年生，碩士研究生，主要研究方向為人體行為分析。

阮秋琦，男，1944年生，教授，博士生導(dǎo)師，主要研究方向為數(shù)字圖像處理、計算機視覺。曾多次獲得省部級科技進步獎，發(fā)表學(xué)術(shù)論文350余篇，出版專著4部。

安高云，男，1980年生，副教授，主要研究方向為圖像處理、人臉識別、統(tǒng)計模式識別。