基于傅里葉-隱馬爾科夫模型的人體行為識(shí)別方法研究

胡煒

（延安大學(xué)體育學(xué)院，陜西延安716000）

人類歷史文明悠久，不斷發(fā)展，創(chuàng)造了文明，在推動(dòng)社會(huì)進(jìn)步的過程中，由于自身能力有限和對(duì)生產(chǎn)效率的追求，創(chuàng)造了許多機(jī)器輔助工作，促進(jìn)人類社會(huì)的發(fā)展。在計(jì)算機(jī)研究領(lǐng)域，當(dāng)前主動(dòng)識(shí)別和判斷外界信息功能成為熱點(diǎn)，通過計(jì)算機(jī)自動(dòng)甚至主動(dòng)識(shí)別，滿足人類的信息服務(wù)需求，實(shí)現(xiàn)計(jì)算機(jī)視覺領(lǐng)域的轉(zhuǎn)變。從“觀察人”到“理解人”的轉(zhuǎn)變是一個(gè)活躍的研究主題，通過計(jì)算機(jī)視覺技術(shù)，從圖像序列中，對(duì)人進(jìn)行檢測(cè)、跟蹤和識(shí)別，理解和描述人的行為，擺脫傳統(tǒng)人機(jī)交互的方式，進(jìn)一步發(fā)展相關(guān)技術(shù)，使計(jì)算機(jī)能夠進(jìn)行自動(dòng)分析，獲取人體信息，實(shí)現(xiàn)計(jì)算機(jī)系統(tǒng)的人性化和智能化，促進(jìn)計(jì)算機(jī)系統(tǒng)的發(fā)展。以視覺為基礎(chǔ)的人體行為分析，逐漸受到人們的關(guān)注。人體運(yùn)動(dòng)視覺分析的最終目的，是使計(jì)算機(jī)像人一樣，能夠觀察和理解世界。但計(jì)算機(jī)很難準(zhǔn)確提取軌跡特征，本文以傅里葉-隱馬爾科夫模型為基礎(chǔ)，探究人體行為識(shí)別方法。

1 運(yùn)動(dòng)目標(biāo)檢測(cè)

在序列圖像中，從背景圖像提取變化區(qū)域，采用背景減除法分割運(yùn)動(dòng)目標(biāo)，就是運(yùn)動(dòng)目標(biāo)檢測(cè)的主要目的。背景圖像和當(dāng)前幀圖像相減，差值高于某一閥值，運(yùn)功目標(biāo)中就會(huì)出現(xiàn)像素。在研究中，背景建模利用高斯建模的方式。受各種因素的影響，運(yùn)功區(qū)域內(nèi)部有小縫隙，二值圖像有小部分噪聲，需要特殊處理消除噪聲區(qū)域，提高圖像效果，使圖像符合實(shí)際人體輪廓，提高信息的真實(shí)性。

采用形態(tài)學(xué)可以消除噪聲。開運(yùn)算、閉運(yùn)算、膨脹、腐蝕等都是形態(tài)學(xué)的基本運(yùn)算。

2 人體行為圖像識(shí)別

2.1 提取圖像特征

獲取人體行為二值圖像輪廓是人體行為序列圖像識(shí)別的基礎(chǔ)。首先要了解傅里葉理論，為方便計(jì)算，采用輪廓圖像中心距，了解變換后特征，轉(zhuǎn)化特征向量序列，方便圖像的提取。識(shí)別人體的行為，主要采用隱馬爾可夫模型（HMM）分類器。以傅里葉-隱馬爾科模型為基礎(chǔ)，探究人體行為識(shí)別方法。首先提取圖像特征，然后進(jìn)行矢量量化，接著進(jìn)行分類識(shí)別。傳統(tǒng)的傅里葉描述子要進(jìn)行一維序列轉(zhuǎn)化，將XY平面的輪廓曲線，轉(zhuǎn)化成UV復(fù)平面，成為一維序列。有序點(diǎn)集為（xi，yi），一維序列為zi=xi+jyi，i=1，2，…，N。輪廓像素?cái)?shù)為N。對(duì)zi取離散傅里葉變換得到：。

傳統(tǒng)的傅里葉變化法在計(jì)算中，有不同的采樣點(diǎn)數(shù)目，并且采集間隔小，復(fù)數(shù)運(yùn)算多，運(yùn)算量很大。因此，以中心距為基礎(chǔ)，進(jìn)行傅里葉變換運(yùn)動(dòng)，對(duì)人體的行為特征進(jìn)行描述，可以避免復(fù)數(shù)運(yùn)算。采樣方法采用等間隔的長度，保證相互比較的圖像中，輪廓點(diǎn)數(shù)相同，采樣圖像的輪廓。將人體的邊界輪廓線分成N等份，N通常為2的平方，本次研究中N為128。假設(shè)人體輪廓坐標(biāo)（xi，yi），i=1，2，……，N，為輪廓像素點(diǎn)數(shù)，輪廓重心坐標(biāo)（xe，ye），其中xe=同時(shí)。

從人體輪廓上的任意一點(diǎn)到中心的距離是ri，ri=，所有的距離構(gòu)成的特征矢量是R=（r1，r2，…，rN）。R的傅里葉變換公式為：

2.2 矢量量化

提取圖像輪廓后，進(jìn)行矢量量化，開始數(shù)據(jù)計(jì)算，然后根據(jù)隱馬爾可夫模型進(jìn)行分類。在矢量量化中，符號(hào)序列為特征向量序列轉(zhuǎn)化。采用K均值聚類算法，聚類行為特征向量的序列，并編號(hào)，將人體行為序列，轉(zhuǎn)化成符號(hào)序列，進(jìn)行計(jì)算機(jī)的有效識(shí)別。

2.3 隱馬爾科目模型

在人體行為識(shí)別中，采用無跨越左右型的隱馬爾科夫模型。改進(jìn)傳統(tǒng)的隱馬爾可夫模型，減少計(jì)算的復(fù)雜度，提高人體行為的識(shí)別率。模型的拓?fù)浣Y(jié)構(gòu)如圖1所示。

圖1 HMM模型拓?fù)浣Y(jié)構(gòu)圖

確定HMM模型的初始參數(shù)十分重要，初始參數(shù)直接影響識(shí)別結(jié)果。描述本模型采用參數(shù)λ=（π，A，B），A是狀態(tài)的轉(zhuǎn)移矩陣，B是狀態(tài)輸出概況矩陣，π是初始狀態(tài)的概率分布矩陣。根據(jù)無跨越左右型HMM的結(jié)構(gòu)特性，設(shè)置的初始狀態(tài)概率矩陣為：

矩陣A中，每一行的總和是1，在數(shù)值計(jì)算中假設(shè)a11=a12，a22=a23，…。

離散模型中每個(gè)狀態(tài)都有M個(gè)輸出概率，M是每類行為的碼本大小。N行，M列的狀態(tài)輸出矩陣為B，B初始參數(shù)為。碼本大小為M，bj(k)為在B矩陣中，第j行的k列的元素。訓(xùn)練模型參數(shù)采用使用已知的人體行為觀察值序列，確定初始模型。采用Baum-Welch算法的方式，進(jìn)行參數(shù)訓(xùn)練，訓(xùn)練每一個(gè)HMM模型。由于數(shù)據(jù)庫比較小，采用固定訓(xùn)練次數(shù)。識(shí)別人體行為，輸入觀察符號(hào)序列O，O=v1v2……vT，其中T表示時(shí)間長度。在隱馬爾可夫模型中，輸入待識(shí)別的觀察符號(hào)輸，計(jì)算輸出概率，采用前向算法進(jìn)行計(jì)算。最終識(shí)別樣本的所屬類別，是最大概率對(duì)應(yīng)的HMM的行為。

3 試驗(yàn)結(jié)果

人體行為識(shí)別模型，采用背景減除法計(jì)算二值圖像序列，獲得人體輪廓，如下圖，圖2是當(dāng)前幀的圖像，圖3是前景目標(biāo)，圖4是根據(jù)順序獲得的輪廓數(shù)據(jù)重構(gòu)人體的輪廓圖。傅里葉變換后，振幅和能量是正相關(guān)，振幅越大，能量越高。經(jīng)過傅里葉變換，通過中心距構(gòu)成特征的矢量R，結(jié)果顯示，低頻部分是大部分能量聚集地區(qū)，通過30維低頻分量，就可以對(duì)人體行為的大體形狀進(jìn)行描述。

圖2 當(dāng)前幀

圖3 前景目標(biāo)

圖4 輪廓圖

檢驗(yàn)采用N=4，M=10的HMM模型，檢測(cè)不同不同行為，跑、彎腰、做和蹲、走。布置簡單的背景，測(cè)試人體行為的視頻序列，每種行為分別執(zhí)行四次，采集視頻序列長度為50幀到100幀。將所有數(shù)據(jù)分成4種類型，每種類型有10個(gè)人執(zhí)行，10個(gè)人分別對(duì)5種行為執(zhí)行一次。兩類數(shù)據(jù)作為測(cè)試，兩類數(shù)據(jù)作為訓(xùn)練。測(cè)試每種模型對(duì)未知行為序列的識(shí)別情況，訓(xùn)練每種行為的HMM模型。設(shè)置每種行為碼本為10，矢量量化特征向量總標(biāo)號(hào)50。根據(jù)向前法計(jì)算行為模型的序列概率，概率最大所對(duì)應(yīng)的模型，作為待識(shí)別行為的所屬類型，所有行為被識(shí)別情況如下表。平均94%的行為都可以被正確分類，也有小部分行為分類錯(cuò)誤。

表1 待識(shí)別行為的分類情況

4 應(yīng)用分析

人體形狀可以通過運(yùn)動(dòng)進(jìn)行人體檢測(cè)，獲得圖像。但是需要采用定量或者定性分析，判別運(yùn)動(dòng)的人體行為。人體行為識(shí)別的關(guān)鍵是人體形狀特征的描述，通過良好的特征提取，就能提高人體行為識(shí)別的效果。傅里葉描述子是傅里葉變換后的系數(shù)，是對(duì)物體邊緣曲線信號(hào)的頻域空間分析，對(duì)封閉的物體形狀邊緣曲線進(jìn)行傅里葉變換。離散傅里葉變換是可逆變換，不會(huì)有信息的增減。以傅里葉描述子為基礎(chǔ)，提取運(yùn)動(dòng)人體的輪廓線，需要利用當(dāng)前圖像和背景圖像的差分和二值化，對(duì)人體區(qū)域進(jìn)行檢測(cè)。經(jīng)過形態(tài)學(xué)處理，獲取純粹的物體圖像。然后利用邊緣跟蹤算法，提取運(yùn)動(dòng)人體的輪廓。人的行為是許多靜態(tài)姿態(tài)組成，依據(jù)八鄰域邊緣跟蹤方法提取輪廓屬于二維形狀，轉(zhuǎn)成一維能夠降低識(shí)別的復(fù)雜性。傅里葉描述子將圖像轉(zhuǎn)特征，變換為一維的特征向量，通過一維轉(zhuǎn)換，方便輪廓的獲取，而且頻譜頻率主要集中在低頻區(qū)域，在實(shí)際計(jì)算中，傅里葉變換后的能量，只需要集中記錄低頻部分序列，在30維低頻分量，就可以描述人體輪廓大致信息。傳統(tǒng)的傅里葉變換方法，需要大量的復(fù)數(shù)運(yùn)算，計(jì)算麻煩，需要耗費(fèi)較多時(shí)間，本次采用中心距的變換方法，描述人體的行為特征，可以避免復(fù)數(shù)運(yùn)算。在刻畫人體輪廓結(jié)構(gòu)，以及動(dòng)態(tài)信息中，傅里葉描述子能夠有效壓縮數(shù)據(jù)。傅里葉描述的低頻部分，決定輪廓的大體形狀，高頻部分基本上決定輪廓的細(xì)節(jié)，高頻部分對(duì)匹配的作用不大，甚至增加計(jì)算量。

隱馬爾可夫模型是一種統(tǒng)計(jì)模型，由馬爾科夫鏈發(fā)展而來，適用于動(dòng)態(tài)過程的時(shí)間序列建模，應(yīng)用廣泛，具有堅(jiān)實(shí)的數(shù)學(xué)理論基礎(chǔ)，。隱馬爾可夫模型能夠表示觀察值和狀態(tài)間的概率依賴關(guān)系，以及狀態(tài)間的概率轉(zhuǎn)化關(guān)系，是良好的描述現(xiàn)實(shí)問題的工具，引入隱馬爾可夫模型，進(jìn)行人體識(shí)別，有利于提高識(shí)別概率。馬爾科夫過程描述的是重要的隨機(jī)過程，在馬爾科夫鏈模型中，觀察值和狀態(tài)一一對(duì)應(yīng)。隱馬爾可夫模型并不是一一對(duì)應(yīng)，不能直接看到狀態(tài)，只能看到觀察值，需要得知觀察值在狀態(tài)中的初始概率、分布情況、狀態(tài)轉(zhuǎn)移概率矩陣，才能得到實(shí)際的狀態(tài)序列。在實(shí)際應(yīng)用中，一個(gè)對(duì)象控制的二層序列模型如果能夠被一個(gè)可見狀態(tài)受隱狀態(tài)描述，就能采用隱馬爾可夫模型的方式，根據(jù)可見序列分類識(shí)別隱序列。要在實(shí)踐中成功運(yùn)用隱馬爾可夫模型，需要解決估值問題、解碼問題和學(xué)習(xí)問題。當(dāng)前，隱馬爾可夫模型已經(jīng)應(yīng)用多種領(lǐng)域中，比如圖像、語言識(shí)別、手寫字識(shí)別、通訊盲平衡中等，人體行為識(shí)別領(lǐng)域是其新的應(yīng)用領(lǐng)域。在體育運(yùn)動(dòng)中，尤其是體育競賽、體育教學(xué)等活動(dòng)中，通常需要人體行為識(shí)別，更好地判斷體育中人體的行為，或者更好地引導(dǎo)教學(xué)，利用傅里葉-隱馬爾科夫模型建立人體行為識(shí)別方式，都能夠滿足體育活動(dòng)的需要。

5 結(jié)束語

文中基于傅里葉-隱馬爾可夫模型，建立人體行為識(shí)別系統(tǒng)，識(shí)別性能良好，通過傅里葉描述子，提取人體輪廓特征，分析人體行為的形狀特征，與隱馬爾可夫模型相結(jié)合，進(jìn)行人體行為分類識(shí)別，實(shí)驗(yàn)人體行為識(shí)別過程，證明該模型的有效性。本次研究從特定角度提取了人體行為的部分特征，對(duì)于多角度、多特征相融合的人體行為分析，需要進(jìn)一步研究特征提取方法，設(shè)計(jì)更好的動(dòng)態(tài)模式識(shí)別分類器。

參考文獻(xiàn)：

[1]楚國玉，姜瑛，趙宏.基于隱馬爾科夫模型的移動(dòng)應(yīng)用端行為模式識(shí)別[J].價(jià)值工程，2016，35（19）:173-175.

[2]尹坤陽，潘偉，謝立東，等.一種基于深度學(xué)習(xí)的人體交互行為分層識(shí)別方法[J].廈門大學(xué)學(xué)報(bào)：自然版，2016，55（3）:413-419.

[3]李思岑.基于高階隱馬爾科夫模型的人體行為識(shí)別研究[D].成都：西華大學(xué)，2016.

[4]王忠民，曹洪江，范琳.一種基于卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的人體行為識(shí)別方法[J].計(jì)算機(jī)科學(xué)，2016，43（s2）:56-58.

[5]楚國玉，姜瑛，趙宏.基于隱馬爾科夫模型的移動(dòng)應(yīng)用端行為模式識(shí)別[J].價(jià)值工程，2016，35（19）:173-175.

[6]唐超，王文劍，李偉，等.基于多學(xué)習(xí)器協(xié)同訓(xùn)練模型的人體行為識(shí)別方法[J].軟件學(xué)報(bào)，2015，26（11）:2939-2950.

[7]姜楓，張麗紅.基于隨機(jī)Dropout卷積神經(jīng)網(wǎng)絡(luò)的人體行為識(shí)別方法研究[J].測(cè)試技術(shù)學(xué)報(bào)，2016，30（1）:17-22.

[8]張偉.智能空間下基于非視覺傳感器數(shù)據(jù)的人體行為識(shí)別方法研究[D].濟(jì)南：山東大學(xué)，2015.

[9]孫巖.基于隱馬爾可夫模型的動(dòng)作識(shí)別的研究與實(shí)現(xiàn)[D].沈陽：沈陽航空航天大學(xué)，2015.

[10]瞿濤，鄧德祥，劉慧，等.多層獨(dú)立子空間分析時(shí)空特征的人體行為識(shí)別方法[J].武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2016，41（4）:468-474.

[11]趙欣，周海英.一種結(jié)合深度信息的人體行為識(shí)別方法[J].科學(xué)技術(shù)與工程，2017（1）:244-249.

[12]王忠民，屈肅.一種極速學(xué)習(xí)機(jī)人體行為識(shí)別模型遷移方法[J].西安郵電大學(xué)學(xué)報(bào)，2015，20（1）:49-54.

[13]吳冬梅，謝金壯，王靜.基于多特征融合的人體行為識(shí)別[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32（11）:171-175.

[14]張愛輝，孫克輝.PCRM的改進(jìn)及其在人體行為識(shí)別中的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì)，2016，37（9）:2515-2519.

[15]茍濤.基于可穿戴式三軸加速度傳感器的人體行為識(shí)別[J].自動(dòng)化應(yīng)用，2015（12）:61-62.

[16]王魯昆，唐功友，張健，等.連續(xù)時(shí)變自編碼機(jī)在人體行為識(shí)別中的應(yīng)用[J].上海交通大學(xué)學(xué)報(bào)，2016，50（7）:1065-1070.