基于關(guān)鍵點(diǎn)提取的人體活動(dòng)識(shí)別

郭華峰,向長(zhǎng)城，宋禮文，陳世強(qiáng)

(1.湖北民族大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，湖北 恩施 445000；2.湖北民族大學(xué) 智能科學(xué)與工程學(xué)院，湖北 恩施 445000；3.湖北民族大學(xué) 新材料成型及裝備技術(shù)產(chǎn)學(xué)研中心，湖北 恩施 445000)

隨著人體活動(dòng)研究的不斷發(fā)展，人體活動(dòng)識(shí)別已經(jīng)成為醫(yī)學(xué)工程的重點(diǎn)研究領(lǐng)域.人體活動(dòng)識(shí)別作為一種與面部、指紋等識(shí)別類似的研究領(lǐng)域，具有固定性強(qiáng)和受環(huán)境影響小等特點(diǎn).其中使用加速度傳感器數(shù)據(jù)，可以在用戶的日常行走時(shí)進(jìn)行活動(dòng)識(shí)別，不需要用戶過(guò)多的配合，提高了用戶的滿意度.

近年來(lái)，許多國(guó)內(nèi)外研究人員使用加速度傳感器開(kāi)展人體活動(dòng)識(shí)別研究，取得了令人振奮的成果.使用可穿戴式傳感器數(shù)據(jù)，基于隱馬爾科夫模型(hidden Markov model，HMM)來(lái)構(gòu)建活動(dòng)識(shí)別系統(tǒng)的有監(jiān)督建模方法已被廣泛應(yīng)用[1-3].目前，基于智能手機(jī)傳感器的人體識(shí)別研究已取得一定的成果[4-7]，且被適時(shí)應(yīng)用到對(duì)人體的識(shí)別當(dāng)中去.Trabelsi等[8-9]使用改進(jìn)的HMM算法，對(duì)提取的傳感器數(shù)據(jù)進(jìn)行活動(dòng)的識(shí)別與分割，其活動(dòng)識(shí)別準(zhǔn)確率分別達(dá)到了91.4%、90.3%.Akiduki等[10]提出了基于奇異值分解的加速度數(shù)據(jù)識(shí)別算法，對(duì)穿戴在人體不同位置(右小腿、左大腿、背部下側(cè)和左前臂)傳感器采集的加速度數(shù)據(jù)進(jìn)行聚類識(shí)別和方差分析.Wang等[11]使用自適應(yīng)隱馬爾科夫模型，基于Cox回歸分析的漸近算法進(jìn)行人體活動(dòng)識(shí)別，在其選用的步態(tài)數(shù)據(jù)集上平均識(shí)別準(zhǔn)確率達(dá)到90.7%.Preece等[12]對(duì)采集的人體加速度信號(hào)進(jìn)行識(shí)別時(shí)采用提取加速度的特征(均值、方差、傳感器任意軸的相關(guān)系數(shù)等)，其分類準(zhǔn)確率達(dá)到95%.張向剛等[13]針對(duì)人體走路時(shí)的步態(tài)數(shù)據(jù)，以HMM為基礎(chǔ)，利用特征訓(xùn)練對(duì)人體活動(dòng)開(kāi)展識(shí)別，得到了很好的識(shí)別效果.劉斌等[14]針對(duì)三維加速度傳感器信息，使用4種典型的統(tǒng)計(jì)學(xué)方法建模，分別對(duì)不同的人體行為活動(dòng)(如站立、行走、跑動(dòng)、坐下等)進(jìn)行識(shí)別.Tao等[15]提出一種基于微機(jī)電系統(tǒng)(micro electro mechanical system，MEMS)慣性傳感器信息綜合判別的人體運(yùn)動(dòng)模式識(shí)別算法，對(duì)站立、跑動(dòng)、速走、慢走、上樓、下樓6種活動(dòng)方式開(kāi)展識(shí)別研究.Zhang等[16]對(duì)采集加速度數(shù)據(jù)的特征點(diǎn)稀疏聚類表示步態(tài)識(shí)別，其準(zhǔn)確率達(dá)到95.8%.

對(duì)上述工作分析后發(fā)現(xiàn)，在關(guān)于加速度數(shù)據(jù)進(jìn)行人體活動(dòng)識(shí)別過(guò)程中，長(zhǎng)時(shí)間跨度的活動(dòng)方式如走、跑、靜坐等日常動(dòng)作已經(jīng)達(dá)到了非常好的識(shí)別率.但要實(shí)現(xiàn)快速識(shí)別及實(shí)時(shí)檢測(cè)，依然存在一些值得關(guān)注的問(wèn)題，如不同活動(dòng)之間的快速轉(zhuǎn)換識(shí)別、模型復(fù)雜度過(guò)高、動(dòng)態(tài)活動(dòng)與靜態(tài)活動(dòng)混合識(shí)別模糊等，這些都是實(shí)現(xiàn)人體活動(dòng)識(shí)別必須要處理的重要問(wèn)題.

針對(duì)以上問(wèn)題，對(duì)數(shù)據(jù)集上的人體活動(dòng)數(shù)據(jù)進(jìn)行關(guān)鍵點(diǎn)(key point)[17]抽樣處理.關(guān)鍵點(diǎn)作為時(shí)態(tài)信號(hào)的一種特征，可以用來(lái)刻畫原始時(shí)間序列的全局特征，進(jìn)而用關(guān)鍵點(diǎn)組成的序列來(lái)近似表示原始時(shí)間序列.為檢驗(yàn)在關(guān)鍵點(diǎn)條件下的有效性，提出混合隱馬爾科夫回歸模型[18]開(kāi)展活動(dòng)識(shí)別，該模型將活動(dòng)識(shí)別問(wèn)題轉(zhuǎn)化為多維時(shí)間序列的活動(dòng)聯(lián)合分割問(wèn)題，每段分割都與一個(gè)活動(dòng)相關(guān)聯(lián)，可以實(shí)現(xiàn)對(duì)活動(dòng)區(qū)域的定位分割.理論分析和實(shí)驗(yàn)表明，提出的方法在長(zhǎng)時(shí)間跨度、采集固定和特定著裝的前提下，仍可以實(shí)現(xiàn)對(duì)人體行為活動(dòng)的準(zhǔn)確識(shí)別.

1 關(guān)鍵點(diǎn)描述

由于人體活動(dòng)的連續(xù)性及時(shí)間的持續(xù)性，傳感器數(shù)據(jù)采集過(guò)程中會(huì)產(chǎn)生大量的時(shí)間序列數(shù)據(jù)，會(huì)導(dǎo)致數(shù)據(jù)對(duì)時(shí)間跨度的依賴過(guò)大.活動(dòng)信號(hào)關(guān)鍵點(diǎn)提取算法可以降低算法模型的時(shí)間復(fù)雜度，同時(shí)保留三維信號(hào)的時(shí)域特征，根據(jù)相應(yīng)的關(guān)聯(lián)規(guī)則來(lái)檢測(cè)關(guān)鍵點(diǎn)，通過(guò)分段檢測(cè)方法來(lái)提取符合規(guī)則的關(guān)鍵點(diǎn).在一段時(shí)間序列內(nèi)，若存在關(guān)鍵點(diǎn)，則在該點(diǎn)兩端的時(shí)間序列呈現(xiàn)出不同的變化趨勢(shì).如圖1中時(shí)間序列所展示，點(diǎn)A左側(cè)呈現(xiàn)上升趨勢(shì)，右側(cè)呈現(xiàn)下降趨勢(shì)，定義為極值點(diǎn)，反之亦然；點(diǎn)B左側(cè)為上升趨勢(shì)，右側(cè)趨于平緩，定義為轉(zhuǎn)折點(diǎn)，反之亦然.總結(jié)這兩種方式出現(xiàn)的點(diǎn)集合為關(guān)鍵點(diǎn)集合.

圖1 兩類不同關(guān)鍵點(diǎn)Fig.1 Two different types of key points

加速度數(shù)據(jù)序列是三維時(shí)間序列，其中每個(gè)維度都表現(xiàn)為時(shí)間序列信號(hào)，因此通過(guò)提出的MHMRM模型將活動(dòng)識(shí)別問(wèn)題表述為時(shí)間序列的分割問(wèn)題.將提取關(guān)鍵點(diǎn)后的數(shù)據(jù)劃分為時(shí)間序列后，為更好地對(duì)實(shí)驗(yàn)結(jié)果作出評(píng)價(jià)，對(duì)提取關(guān)鍵點(diǎn)后生成的訓(xùn)練集數(shù)據(jù)進(jìn)行活動(dòng)的標(biāo)記.

2 算法分析與描述

2.1 模型介紹

(1)

其中zi是一個(gè)離散隱狀態(tài)變量，與某一活動(dòng)相對(duì)應(yīng).βzi=(βzi,0,…,βzi,p)T是p維多項(xiàng)式回歸模型系數(shù)，其中σzi是相應(yīng)的標(biāo)準(zhǔn)差，εi是一個(gè)滿足標(biāo)準(zhǔn)高斯分布的附加噪聲.

假設(shè)MHMRM模型每個(gè)時(shí)間序列點(diǎn)xi下對(duì)應(yīng)的觀測(cè)值為xi=(xi1,xi2,…,xim)，由以下回歸模型生成:

(2)

xij為時(shí)刻i的第j個(gè)觀察向量.每個(gè)時(shí)間序列xi來(lái)自k個(gè)混合集群活動(dòng)，k對(duì)應(yīng)活動(dòng)的數(shù)量，使用權(quán)重(π1,…,πK)來(lái)衡量選擇每個(gè)活動(dòng)的比例.xi的條件混合概率為

(3)

其中，πk=p(zi=k)滿足π1+…πk=1.βk是第k個(gè)多項(xiàng)式回歸模型的(p+1)階系數(shù)，t是m×(p+1)階矩陣.

2.2 參數(shù)估計(jì)

對(duì)完全數(shù)據(jù)[xi,zi]=[(xi1,zi1),…,(xin,zin)]開(kāi)展參數(shù)學(xué)習(xí)過(guò)程，需要對(duì)模型參數(shù)進(jìn)行初始化處理.對(duì)狀態(tài)轉(zhuǎn)移矩陣的先驗(yàn)進(jìn)行初始化如下:πk=p(zi1=k|π,t1),

(4)

滿足πk≥0且∑kπk=1，然后對(duì)t=2,…,n對(duì)應(yīng)的剩余值根據(jù)以下轉(zhuǎn)移概率遞歸方式生成:

Mlr=p(zi,q=l|zi,q-1=r,M),

(5)

(6)

對(duì)收集到的訓(xùn)練集開(kāi)展參數(shù)估計(jì)θ=(π,β,M,σ)，使用EM算法解決參數(shù)估計(jì)問(wèn)題，這個(gè)問(wèn)題可分為兩步.

1) 期望估計(jì).所提出的模型的完整數(shù)據(jù)概率密度為

p(X,Z;θ)=p(Z;π,M)p(X|Z;θ),

其中X=(x1,…,xn)，Z=(z1,…,zn)，可以得到完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)為

(7)

完全數(shù)據(jù)對(duì)數(shù)似然函數(shù).其相應(yīng)期望值:Q(θ,θ(i))=Ε(L(θ)|X,t;θ(i)).

進(jìn)一步計(jì)算可以得到:

(8)

2) 最大化估計(jì).對(duì)上述式(7)最大化，對(duì)于生成每個(gè)參數(shù)的更新規(guī)則，如下所示.

先驗(yàn)概率πk更新規(guī)則:

(9)

(10)

(11)

(12)

經(jīng)過(guò)EM算法得到參數(shù)θ后，使用維特比算法(Viterbi algorithm)來(lái)估計(jì)相應(yīng)的狀態(tài)序列.該算法在給定相應(yīng)的參數(shù)θ以及觀察序列X=(x1,x2,…,xn)，尋找最有可能的狀態(tài)序列Z=(z1,z2,…,zn).

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集分析

設(shè)計(jì)了不同的混合活動(dòng)，包括3種靜態(tài)活動(dòng) (坐、躺、站立)和5種動(dòng)態(tài)活動(dòng)(慢跑、上樓、下樓、步行、跳).這些活動(dòng)模擬現(xiàn)實(shí)生活環(huán)境中身體動(dòng)作.表1給出了參與采樣過(guò)程的8名受試者的詳細(xì)信息(每個(gè)參與者執(zhí)行8項(xiàng)活動(dòng)),圖2給出了傳感器位置設(shè)置示例.

表1 采樣人員信息分配Tab.1 Sampling personnel information assignment

圖2 手機(jī)傳感器位置Fig.2 Mobile phone sensor location

樣本數(shù)據(jù)中提取的片段長(zhǎng)度并不相同，因?yàn)樗谢顒?dòng)采集的數(shù)據(jù)都是不同受試者模仿現(xiàn)實(shí)活動(dòng).為了使不同活動(dòng)和主題的維度保持一致，所有訓(xùn)練集不同維度都需要調(diào)整為具有相同長(zhǎng)度的數(shù)據(jù)集.因此，對(duì)數(shù)據(jù)進(jìn)行重采樣，以便不同數(shù)據(jù)集下各維度樣本保持一樣的長(zhǎng)度.

3.2 模擬訓(xùn)練和實(shí)驗(yàn)結(jié)果分析

算法使用Matlab R2020b來(lái)執(zhí)行算法程序，使用配備Windows 64位系統(tǒng)、Intel Core i7-7700HQ(頻率為2.8 GHz)和16 GB內(nèi)存的PC機(jī).對(duì)于人體活動(dòng)分割，提出算法的性能基于采集過(guò)程中活動(dòng)狀態(tài)標(biāo)簽相對(duì)于真實(shí)標(biāo)簽被正確預(yù)測(cè)的數(shù)量來(lái)衡量.使用準(zhǔn)確率(accuracy)、召回率(recall)、精確率(precision)以分段方式來(lái)評(píng)估所提方法的性能.

(13)

(14)

(15)

TP為步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)的時(shí)間，預(yù)測(cè)為步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間；TN為非步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間，預(yù)測(cè)為非步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間；FP為非步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間，預(yù)測(cè)為步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間；FN為步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間，預(yù)測(cè)為非步態(tài)項(xiàng)轉(zhuǎn)換持續(xù)時(shí)間.

針對(duì)原始加速度信號(hào)的人體活動(dòng)分割，選取兩組數(shù)據(jù)集驗(yàn)證方法的有效性、可行性.表2描述了兩組不同長(zhǎng)度的活動(dòng)采樣集合.

表2 采樣信息Tab.2 Sampling information

圖3給出了兩組混合活動(dòng)的識(shí)別分割結(jié)果和后驗(yàn)概率，可見(jiàn)算法對(duì)不同靜態(tài)和動(dòng)態(tài)活動(dòng)分割識(shí)別結(jié)果符合預(yù)期目標(biāo).盡管在動(dòng)態(tài)活動(dòng)和過(guò)渡區(qū)域之間存在一定的混淆，例如S2和D5之間的過(guò)渡區(qū)域沒(méi)有給定相應(yīng)的劃分區(qū)域，這是由于在活動(dòng)轉(zhuǎn)換過(guò)程中采集到的活動(dòng)趨勢(shì)與不同動(dòng)態(tài)活動(dòng)呈現(xiàn)的時(shí)間序列相似，圖3(b)中這種現(xiàn)象最為明顯.其次，由于動(dòng)態(tài)活動(dòng)之間的轉(zhuǎn)換，人體動(dòng)作幅度過(guò)大會(huì)導(dǎo)致動(dòng)作的驟變，從而不出現(xiàn)過(guò)渡區(qū)域，例如步行和慢跑之間存在活動(dòng)的驟變，但不影響整體的分割識(shí)別效果.

(a) 數(shù)據(jù)集1算法分割識(shí)別結(jié)果 (b)數(shù)據(jù)集2算法分割識(shí)別結(jié)果圖3 活動(dòng)驗(yàn)證示例Fig.3 Examples of activity verification

表3顯示了算法對(duì)不同混合活動(dòng)的識(shí)別結(jié)果.對(duì)比算法在不同混合活動(dòng)之間的分割識(shí)別，兩種不同活動(dòng)之間存在一定長(zhǎng)度的過(guò)渡區(qū)間，過(guò)渡時(shí)間較長(zhǎng)的區(qū)域分割會(huì)出現(xiàn)一定的混淆，但分割識(shí)別結(jié)果是有效的.可以看出，MHMRM方法對(duì)8種活動(dòng)的平均準(zhǔn)確率均達(dá)到了90%以上，對(duì)靜態(tài)活動(dòng)的分割識(shí)別性能尤為理想.觀察不同測(cè)試集之間的混淆,發(fā)生在不同動(dòng)態(tài)活動(dòng)過(guò)渡之間的混淆最為明顯,導(dǎo)致這種現(xiàn)象出現(xiàn)的原因是傳感器采集數(shù)據(jù)時(shí)動(dòng)態(tài)活動(dòng)轉(zhuǎn)換中會(huì)出現(xiàn)不同程度的抖動(dòng),使得觀察方向的加速度數(shù)值變化較小,從而導(dǎo)致行為活動(dòng)分割的誤差較大.

表3 不同混合活動(dòng)的評(píng)價(jià)結(jié)果Tab.3 Evaluation results of different mixed activities

為驗(yàn)證算法的分類識(shí)別性能,選取傳統(tǒng)的機(jī)器學(xué)習(xí)算法及其他性能優(yōu)異的算法開(kāi)展對(duì)比.文獻(xiàn)[8]為一種經(jīng)典的隱馬爾科夫回歸(multiple regression hidden Markov model，MRHMM)分割方法，文獻(xiàn)[9]是一種利用Logistic過(guò)程輸出信號(hào)的隱過(guò)程人體活動(dòng)識(shí)別算法(multiple regression model with a hidden logistic process，MRHLP)。除此之外，分別利用了其他3種標(biāo)準(zhǔn)的分類方法開(kāi)展活動(dòng)對(duì)比，包括HMM、支持向量機(jī)(support vector machine，SVM)、樸素貝葉斯分類器(naive Bayes).如圖4所示，給出了6種算法對(duì)8種活動(dòng)的分割識(shí)別結(jié)果，可見(jiàn)本文算法對(duì)靜態(tài)活動(dòng)和動(dòng)態(tài)活動(dòng)的平均準(zhǔn)確度都在90%以上，高于其他幾種成熟的人體活動(dòng)識(shí)別算法，證明了提出算法擁有較高的實(shí)效性.

圖4 不同算法準(zhǔn)確率對(duì)比Fig.4 Comparison of accuracy rates of different algorithms

4 結(jié)論

提出了一種便捷、快速的人體活動(dòng)識(shí)別解決方案,用于對(duì)不同個(gè)體的關(guān)鍵點(diǎn)信號(hào)進(jìn)行活動(dòng)識(shí)別.針對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)中時(shí)間復(fù)雜度高、訓(xùn)練時(shí)間長(zhǎng)以及分類識(shí)別性能不佳等問(wèn)題,設(shè)計(jì)了混合隱馬爾科夫回歸模型.該模型對(duì)不同個(gè)體的狀態(tài)信息進(jìn)行分類,在保證良好的分類識(shí)別準(zhǔn)確率的前提下大幅降低了模型的復(fù)雜度.與其他成熟的機(jī)器學(xué)習(xí)活動(dòng)識(shí)別方法比較,所提出算法在活動(dòng)識(shí)別實(shí)時(shí)性的前提下,能夠分別對(duì)靜態(tài)活動(dòng)與動(dòng)態(tài)活動(dòng)進(jìn)行檢測(cè),使得對(duì)活動(dòng)的區(qū)分更加細(xì)化,進(jìn)一步提高人體活動(dòng)識(shí)別的效果.在未來(lái)工作中可以對(duì)算法迭代時(shí)的先驗(yàn)分布開(kāi)展處理,提高人體活動(dòng)識(shí)別的效率.