基于AdaBoost算法特征提取的人體動(dòng)作識(shí)別方法

姬曉飛，周 路，李一波

(沈陽(yáng)航空航天大學(xué)自動(dòng)化學(xué)院，沈陽(yáng)110136)

基于視覺(jué)的人體運(yùn)動(dòng)分析在智能視頻監(jiān)控、高級(jí)人機(jī)交互、虛擬現(xiàn)實(shí)和基于內(nèi)容的視頻檢索分析等方面有著廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價(jià)值，已經(jīng)成為計(jì)算機(jī)領(lǐng)域中備受關(guān)注的研究方向之一［1］。

目前存在多種運(yùn)動(dòng)特征表示的方法，如基于人體側(cè)影和輪廓［2］的靜態(tài)特征表示、基于光流和運(yùn)動(dòng)軌跡［3］的動(dòng)態(tài)特征表示、基于時(shí)空體數(shù)據(jù)的時(shí)空特征［4－5］表示等等。其中基于時(shí)空體數(shù)據(jù)的時(shí)空特征中最常用的是基于時(shí)空興趣點(diǎn)的特征，其對(duì)噪聲、遮擋等影響具有較強(qiáng)的魯棒性，對(duì)于相機(jī)運(yùn)動(dòng)和低分辨率的視頻輸入等更具適應(yīng)性，因此應(yīng)用較廣。但基于興趣點(diǎn)的原始特征往往維數(shù)過(guò)高，影響識(shí)別速度。因此大量的研究工作著力于如何在不降低識(shí)別率的基礎(chǔ)上，合理降低特征維數(shù)。文獻(xiàn)［5］提出了一種基于興趣點(diǎn)的靜態(tài)、動(dòng)態(tài)、時(shí)空特征的表示方法。該方法首先提取運(yùn)動(dòng)序列的興趣點(diǎn)特征，并在訓(xùn)練樣本特征空間中利用K－means聚類(lèi)的方法構(gòu)造時(shí)空碼本分類(lèi)器，然后將測(cè)試樣本的所有興趣點(diǎn)特征表示為基于時(shí)空碼本的統(tǒng)計(jì)直方圖用于分類(lèi)識(shí)別。此類(lèi)方法證明了基于興趣點(diǎn)時(shí)空特征(3D SIFT)的優(yōu)越性，利用K－means聚類(lèi)的方法對(duì)原始特征進(jìn)行聚類(lèi)，生成碼本來(lái)降低特征空間的維數(shù)，減少識(shí)別的復(fù)雜度。但聚類(lèi)初始參數(shù)和聚類(lèi)的維數(shù)只能憑經(jīng)驗(yàn)確定，很難得到一個(gè)準(zhǔn)確的值，聚類(lèi)參數(shù)的選取對(duì)識(shí)別結(jié)果的影響較大。文獻(xiàn)［6］提出利用改進(jìn)的方法檢測(cè)時(shí)空興趣點(diǎn)并提取3D SIFT描述子特征，然后在單幀和所有幀之間分別進(jìn)行主成分分析降維的處理。這種方法成功的解決了大多數(shù)興趣點(diǎn)描述子維數(shù)過(guò)高的問(wèn)題，但是用于識(shí)別過(guò)程的訓(xùn)練樣本數(shù)量還是相當(dāng)大的，導(dǎo)致后續(xù)的基于最近鄰的識(shí)別仍要花費(fèi)大量的時(shí)間。文獻(xiàn)［7］提出將視頻序列分割成許多個(gè)子塊，同時(shí)提取每個(gè)子塊的3D SIFT特征，然后統(tǒng)計(jì)一個(gè)視頻序列的所有子塊特征作為視頻序列的原始特征，最后用AdaBoost算法對(duì)原始特征進(jìn)行提取，篩選出少量的對(duì)識(shí)別最有意義的特征。這種方法通過(guò)AdaBoost算法在大量的樣本特征中選取有效的樣本數(shù)據(jù)用于識(shí)別，能夠減少識(shí)別過(guò)程的計(jì)算量，提高了識(shí)別的速度。但是該方法在獲取原始特征之前需要對(duì)視頻數(shù)據(jù)做復(fù)雜的預(yù)處理，這將大大影響算法的應(yīng)用。

針對(duì)以上存在的問(wèn)題，本文提出將經(jīng)過(guò)降維處理的基于時(shí)空興趣點(diǎn)3D SIFT描述子特征與AdaBoost算法進(jìn)行特征提取的方法相結(jié)合。先后通過(guò)特征降維和特征提取兩個(gè)層次的特征處理，力圖得到一個(gè)低維的少量的訓(xùn)練樣本空間，在保證較好識(shí)別率的基礎(chǔ)上，提高識(shí)別的速度，達(dá)到實(shí)時(shí)性檢測(cè)的目的。具體的實(shí)現(xiàn)過(guò)程，如圖1所示。首先，用3D SIFT描述子對(duì)檢測(cè)出的時(shí)空興趣點(diǎn)進(jìn)行表示，并在橫向和縱向上分別對(duì)特征數(shù)據(jù)進(jìn)行降維處理，初步從減少特征維數(shù)的角度減少識(shí)別過(guò)程的計(jì)算量。接下來(lái)運(yùn)用AdaBoost［7］算法對(duì)降維后的訓(xùn)練視頻序列的特征數(shù)據(jù)進(jìn)行進(jìn)一步提取，提取出關(guān)鍵的訓(xùn)練樣本數(shù)據(jù)，這樣很大程度上減少了應(yīng)用在識(shí)別階段的樣本數(shù)，進(jìn)一步提高識(shí)別速度。最后，選取了對(duì)于少量的訓(xùn)練樣本能夠達(dá)到快速識(shí)別的最近鄰分類(lèi)器，將未經(jīng)過(guò)Ada-Boost提取的測(cè)試序列樣本數(shù)據(jù)，與提取出的關(guān)鍵訓(xùn)練樣本數(shù)據(jù)做距離，識(shí)別出測(cè)試樣本的類(lèi)別，結(jié)果表明在保證一定識(shí)別率的基礎(chǔ)上，識(shí)別的速度大幅度提高，驗(yàn)證了所提方法的有效性。

圖1 基于AdaBoost算法特征提取的人體動(dòng)作識(shí)別過(guò)程

1 原始特征表示

1.1 興趣點(diǎn)檢測(cè)及3D SIFT描述子

為了克服Dollar［8］興趣點(diǎn)檢測(cè)方法存在的易受人體陰影和背景噪聲影響從而檢測(cè)出偽興趣點(diǎn)的現(xiàn)象，本文運(yùn)用改進(jìn)的興趣點(diǎn)檢測(cè)方法［9］，使用不同方向的濾波模板獲得時(shí)間和空間維上的聯(lián)合濾波響應(yīng)，檢測(cè)出更準(zhǔn)確的時(shí)空興趣點(diǎn)，并采用文獻(xiàn)［6］的方法計(jì)算3D SIFT描述子特征表征人體動(dòng)作的視頻序列。

1.2 特征數(shù)據(jù)的降維

上面得到的數(shù)據(jù)中，表示每幀圖像信息的數(shù)據(jù)量是很大的，大量的特征數(shù)據(jù)將會(huì)增加識(shí)別過(guò)程的計(jì)算量。本文對(duì)得到的3D SIFT描述子特征進(jìn)行降維處理［6］，初步的減少計(jì)算復(fù)雜度。具體的方法如下:

(1)縱向降維:即單幀圖像的降維，將每幀的N×256大小的數(shù)據(jù)初步降到1×256，將單幀中所有興趣點(diǎn)的3D SIFT描述子主成分都聚集在一起，構(gòu)成的單一向量如圖2中(a)所示。

(2)橫向降維:將視頻序列中的每幀圖像對(duì)應(yīng)的特征按(1)降維，得到整個(gè)視頻的特征數(shù)據(jù)M×256(M為此動(dòng)作的所有視頻幀數(shù))再進(jìn)行橫向的降維處理到M×50，如圖2(b)、(c)所示。最終對(duì)于每個(gè)視頻序列采用M×50維的時(shí)空特征進(jìn)行表示。

圖2 特征數(shù)據(jù)的降維過(guò)程

2 AdaBoost算法對(duì)原始特征提取

上一節(jié)中已經(jīng)將3D SIFT表示的特征數(shù)據(jù)進(jìn)行了維數(shù)上的減少，這里再利用AdaBoost算法進(jìn)行關(guān)鍵幀的提取，得到少量的可分性高的低維訓(xùn)練樣本數(shù)據(jù)。

傳統(tǒng)的AdaBoost算法［10］作為一種高精度的分類(lèi)方法，本文將傳統(tǒng)的AdaBoost算法［10］加以改進(jìn)，最終不是實(shí)現(xiàn)強(qiáng)分類(lèi)器的構(gòu)造，而是在眾多的樣本中根據(jù)每個(gè)樣本被賦予的權(quán)值大小提取出關(guān)鍵的特征數(shù)據(jù)具體的方法如下:

總的訓(xùn)練樣本集:(x1，y1)，…(xi，yi)，…(xN，yN)，yi∈{1，－1};xi為樣本數(shù)據(jù)，yi為樣本標(biāo)記;

(2)迭代過(guò)程(循環(huán) t=1，2，…，T):

i.在N個(gè)訓(xùn)練樣本中，隨機(jī)選取一部分樣本數(shù)據(jù)作為已知樣本，使用最近鄰分類(lèi)器作為弱分類(lèi)器，將每個(gè)訓(xùn)練樣本得到一個(gè)假設(shè)ht(xi)∈{1，－1}，并計(jì)算樣本錯(cuò)誤率εt=PDi(ht(xi)≠yi);(第t次循環(huán)中，分類(lèi)錯(cuò)誤樣本對(duì)應(yīng)的取值PDt)

ii.計(jì)算弱分類(lèi)器的權(quán)值:

iii.更新訓(xùn)練樣本的權(quán)值:

(3)選取權(quán)值小的特征數(shù)據(jù)。

由于傳統(tǒng)的AdaBoost算法只能處理兩類(lèi)動(dòng)作識(shí)別問(wèn)題，所以本文中使用1對(duì)多的方法，將N個(gè)訓(xùn)練樣本中要提取的動(dòng)作類(lèi)別標(biāo)記為1，其他所有類(lèi)別標(biāo)記為－1，在每次的迭代中，隨機(jī)選擇部分訓(xùn)練樣本作為標(biāo)記樣本，使用最近鄰分類(lèi)器作為弱分類(lèi)器，進(jìn)而訓(xùn)練樣本中的每個(gè)特征數(shù)據(jù)都有一個(gè)假設(shè)，根據(jù)每個(gè)樣本中特征數(shù)據(jù)分類(lèi)的正確率和所有樣本的所有特征數(shù)據(jù)的準(zhǔn)確率，更新每個(gè)樣本特征的權(quán)值分布，依照每個(gè)樣本特征數(shù)據(jù)擁有權(quán)值的大小，選取擁有權(quán)值小的特征數(shù)據(jù)，作為最終的訓(xùn)練樣本。重復(fù)以上的操作就可以實(shí)現(xiàn)多類(lèi)動(dòng)作訓(xùn)練樣本的提取。

3 分類(lèi)器設(shè)計(jì)

本文使用的最近鄰分類(lèi)器在處理小數(shù)量的訓(xùn)練樣本的情況下，實(shí)現(xiàn)簡(jiǎn)單，且識(shí)別速度較快。具體的方法如下:

(2)通過(guò)投票的方式，統(tǒng)計(jì)每個(gè)測(cè)試視頻序列中占票數(shù)最多的類(lèi)別即為該動(dòng)作的識(shí)別結(jié)果。

4 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

4.1 數(shù)據(jù)庫(kù)介紹

實(shí)驗(yàn)過(guò)程選取了人體動(dòng)作識(shí)別數(shù)據(jù)庫(kù)中應(yīng)用最廣泛的KTH數(shù)據(jù)庫(kù)來(lái)驗(yàn)證本文所提出方法的有效性。該數(shù)據(jù)庫(kù)包括6類(lèi)行為(walking，jogging，running，boxing，hand waving，hand clapping)，分別在四個(gè)場(chǎng)景下由25個(gè)不同的人執(zhí)行，一共有599段視頻，背景相對(duì)靜止，除了鏡頭的拉近拉遠(yuǎn)，攝像機(jī)的運(yùn)動(dòng)比較輕微。如圖3所示:

圖3 KTH數(shù)據(jù)庫(kù)中的不同場(chǎng)景下的不同人的視頻幀圖像

4.2 實(shí)驗(yàn)及結(jié)果分析

首先，提取數(shù)據(jù)庫(kù)中視頻的原始特征，即每個(gè)視頻可以用M×50維的特征進(jìn)行表示(M為每個(gè)視頻圖像的幀數(shù)。然后采用AdaBoost算法對(duì)原始特征進(jìn)行提取，為每個(gè)視頻序列提取出最易于識(shí)別的30幀圖像的特征數(shù)據(jù)(30×50維數(shù)據(jù))進(jìn)行表示。實(shí)驗(yàn)過(guò)程采用留一法，每次提取一類(lèi)動(dòng)作，進(jìn)行6次提取。依次循環(huán)，將每個(gè)動(dòng)作都將作為測(cè)試樣本進(jìn)行測(cè)試，并統(tǒng)計(jì)識(shí)別結(jié)果。使用最近鄰的分類(lèi)方法進(jìn)行分類(lèi)。

表1為原始特征與本文所提特征使用留一法在最近鄰分類(lèi)器下的識(shí)別結(jié)果比較。

表1 特征提取前后的識(shí)別效果比較

從表1中的識(shí)別率可以看到，本文方法得到了較高的識(shí)別率。使用AdaBoost算法對(duì)原始特征進(jìn)行篩選相比沒(méi)經(jīng)過(guò)篩選之前的特征識(shí)別率有略微的降低，但是每個(gè)視頻幀圖像的識(shí)別處理時(shí)間卻有顯著的減少，在內(nèi)存2 GB和CPU 3.0G Hz的電腦上應(yīng)用matlab2009b版本測(cè)試，處理一幀數(shù)據(jù)僅僅用了0.004 6 s。經(jīng)過(guò)AdaBoost算法對(duì)原始特征進(jìn)行處理后，訓(xùn)練樣本的數(shù)量顯著減少，相應(yīng)的測(cè)試樣本與訓(xùn)練樣本比對(duì)的時(shí)間也縮短，因此大大的提高了識(shí)別的速度。

表2是本文方法與近期相關(guān)方法基于KTH數(shù)據(jù)上的識(shí)別結(jié)果比較，可以看出文獻(xiàn)［11－12］都選取了基于興趣點(diǎn)的描述子特征與其它特征相結(jié)合的表示方法，且使用基于詞袋和支持向量機(jī)結(jié)合的方式，識(shí)別率均低于本文提出的方法。主要原因是構(gòu)造詞袋過(guò)程中的不確定因素影響了識(shí)別率。文獻(xiàn)［7］同樣用AdaBoost算法進(jìn)行特征提取和采用最近鄰方法用于識(shí)別，不同之處在于文獻(xiàn)［7］提取視頻序列的全局3D SIFT特征，沒(méi)有經(jīng)過(guò)降維處理，最終在原始特征中提取200個(gè)易識(shí)別的特征，作為最終的特征數(shù)據(jù)。顯然本文的方法擁有的樣本數(shù)據(jù)的個(gè)數(shù)更少、維數(shù)更低，且識(shí)別結(jié)果優(yōu)于文獻(xiàn)［7］。通過(guò)比較可以看出，本文的方法擁有較高的識(shí)別率的同時(shí)能夠達(dá)到快速識(shí)別，進(jìn)一步證明本文方法的有效性。

表2 不同方法對(duì)應(yīng)的識(shí)別率

5 總結(jié)

本文提出了用AdaBoost算法在表征運(yùn)動(dòng)信息的大量原始特征數(shù)據(jù)中提取出有效特征數(shù)據(jù)的方法，先后使用PCA和AdaBoost算法，分別對(duì)視頻序列基于興趣點(diǎn)的3D SIFT特征進(jìn)行初步的降維及進(jìn)一步的提取，得到低維數(shù)的易于識(shí)別的少量訓(xùn)練樣本特征數(shù)據(jù)，從而在保證識(shí)別率的同時(shí)達(dá)到快速識(shí)別。實(shí)驗(yàn)證明本文的方法在KTH數(shù)據(jù)庫(kù)上得到了93.5%的識(shí)別率，識(shí)別速度達(dá)到0.0046秒/幀，充分的證明了該算法的有效性和可行性。目前本文使用的特征單一、并且視頻數(shù)據(jù)庫(kù)相對(duì)簡(jiǎn)單，接下來(lái)的工作是研究合理的特征融合方法，并在現(xiàn)實(shí)場(chǎng)景的環(huán)境下對(duì)算法進(jìn)行測(cè)試。

［1］王亮，胡衛(wèi)明，譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述［J］.計(jì)算機(jī)學(xué)報(bào)，2002，25(3):225 －237.

［2］阮濤濤，姚明海，瞿心昱，等.基于視覺(jué)的人體運(yùn)動(dòng)分析綜述［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2011，20(2):245 －254.

［3］郭利，姬曉飛，李平，等.基于混合特征的人體動(dòng)作識(shí)別改進(jìn)算法［J］.計(jì)算機(jī)應(yīng)用研究，2013，30(2):601－604.

［4］凌志剛，趙春暉，梁彥，等.基于視覺(jué)的人行為理解綜述［J］.計(jì)算機(jī)應(yīng)用研究，2008，25(9):2570－2578.

［5］雷慶，李紹滋.動(dòng)作識(shí)別中局部時(shí)空特征的運(yùn)動(dòng)表示方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(34):7－10.

［6］姬曉飛，吳倩倩，李一波.改進(jìn)時(shí)空特征的人體異常行為檢測(cè)方法研究［J］.沈陽(yáng)航空航天大學(xué)學(xué)報(bào)，2013，30(5):42 －46.

［7］Li Liu，Ling Shao，Peter Rockett.Human action recognition based on boosted feature selection and naive bayesnearest-neighbor classification［J］.Signal Processing，2013，93(6):1521 －1530.

［8］Dollor P，Rabaud V，Cottrell G，et al.Behavior recognition via sparse spatio－temporal features［C］//Visual and Performance Evaluation of Tracking and Surveillance，2005:65 －72.

［9］Bregonzio M，Gong S，Xiang T.Recognising action as clouds of space－ time interest points［C］//Computer Vision and Pattern Recognition，2009:1948 －1955.

［10］宋靜.SVM 與 AdaBoost算法的應(yīng)用研究［D］.大連:大連海事大學(xué)，2011.

［11］Kishore K.Reddy·Mubarak Shah.Recognizing 50 human action categories of web videos［J］.Machine Vision and Applications，2013，24:971 －981

［12］Laptev I，Marszalek M，Schmid C，et al.Learning realistic human actions from movies［J］.Computer Vision and Pattern Recognition，2008:1 －8.