基于關(guān)鍵幀的上肢運動評價方法研究

毛堃 吳小敏

摘 要：Kinect V2能夠?qū)θ梭w上肢的骨骼實現(xiàn)穩(wěn)定且準(zhǔn)確的識別，因此，許多學(xué)者都將其應(yīng)用于上肢運動康復(fù)的評價領(lǐng)域。為提高Kinect V2對于上肢運動的匹配速率，提出了一種基于關(guān)鍵幀的快速評價方法。通過提取整個動作序列中骨骼點的三維坐標(biāo)極值，并記錄對應(yīng)的幀ID，從而生成新的骨骼序列，最終采用動態(tài)時間規(guī)整（DTW）對動作進(jìn)行匹配。為驗證該評價方法的有效性，對健康的志愿者進(jìn)行了試驗，試驗結(jié)果表明，該方法具有較高的匹配效率。

關(guān)鍵詞：Kinect V2;上肢康復(fù);關(guān)鍵幀;動態(tài)時間規(guī)整（DTW）

0 引言

隨著傳感器技術(shù)和數(shù)據(jù)分析技術(shù)的飛速發(fā)展，智能運動評價系統(tǒng)已經(jīng)得到了廣泛應(yīng)用，其在康復(fù)領(lǐng)域的應(yīng)用價值也得到了學(xué)者們的廣泛認(rèn)可。近年來，國內(nèi)外各研究機(jī)構(gòu)和學(xué)者針對康復(fù)運動研制了各種智能評價系統(tǒng)，對于上肢康復(fù)運動數(shù)據(jù)的采集方式目前主要有兩大類，一類是以加速度傳感器為代表的慣性傳感器，另一類則是以Kinect為代表的視覺傳感器[1]。

Kinect由于其在人體骨骼識別方面優(yōu)越的性能以及無須額外佩戴的便捷性，在許多學(xué)者關(guān)于康復(fù)訓(xùn)練和康復(fù)評價的研究中得到應(yīng)用。白敬等人[2]提出了一種基于工作空間測量的居家腦卒中患者上肢偏癱康復(fù)訓(xùn)練評估系統(tǒng)，實現(xiàn)患者居家康復(fù)訓(xùn)練與評估。該系統(tǒng)通過Kinect V1對患者上肢的運動數(shù)據(jù)進(jìn)行采集，計算出對應(yīng)的水平角和高度角，從而分析出對應(yīng)的患者上肢可到達(dá)的工作空間相對表面積，并基于DTW算法計算患者上肢的水平角和高度角與標(biāo)準(zhǔn)動作之間的距離，但是并沒有針對關(guān)節(jié)角度計算出的距離做進(jìn)一步評價準(zhǔn)確性的對比研究。Scano[3]基于Kinect V2對上肢運動的關(guān)節(jié)角度進(jìn)行識別，并對完成特定動作時的最大角度值進(jìn)行方差分析，從而實現(xiàn)對患者康復(fù)運動狀態(tài)的評價。李志成等人[4]開發(fā)出面向患者的個性化上肢訓(xùn)練系統(tǒng)，該系統(tǒng)通過Kinect采集運動數(shù)據(jù)，利用xml存儲康復(fù)訓(xùn)練方案與虛擬場景，實現(xiàn)了個性化的主動式上肢康復(fù)訓(xùn)練。北京工業(yè)大學(xué)的李俊[5]設(shè)計了基于Kinect的上肢康復(fù)訓(xùn)練系統(tǒng)，搭建了基于B/S架構(gòu)的數(shù)據(jù)管理系統(tǒng)網(wǎng)站，可在Web端對康復(fù)數(shù)據(jù)進(jìn)行查看和操作，并通過添加閾值限定條件對傳統(tǒng)的DTW算法進(jìn)行改進(jìn)，從而降低計算量。

雖然上述學(xué)者實現(xiàn)了將Kinect應(yīng)用于上肢康復(fù)運動評價，并具有較好的匹配精度，但是在匹配效率上仍然有很大的提升空間。因此，本文提出了基于關(guān)鍵幀的匹配方法，從而在保證原有匹配精度水平的前提下，能夠獲得較好的匹配速度。

1 關(guān)鍵幀的提取

關(guān)鍵幀的提取是指從整個運動視頻序列中提取最關(guān)鍵的視頻幀，利用這些關(guān)鍵幀與標(biāo)準(zhǔn)模版進(jìn)行匹配，從而達(dá)到快速評價的目的。為了能夠降低關(guān)鍵幀提取的難度，本文提出一種基于極大值和極小值的關(guān)鍵幀提取方法，整個關(guān)鍵幀提取的具體流程圖如圖1所示。

1.1? ? 骨骼點坐標(biāo)獲取

Kinect V2是一種集合了彩色攝像頭、深度攝像頭和紅外傳感器的融合式體感傳感器，其能夠?qū)崿F(xiàn)對于傳感器前0.5～4.5 m距離的人體的穩(wěn)定識別和跟蹤，最多可同時支持識別6個人，每個人的識別信息包括人體的25個骨骼點。其中，對于單側(cè)上肢可以識別出肩膀、肘部、腕部、手部、大拇指和指尖。

對于本文所研究的上肢運動，只需要提取上肢骨骼數(shù)據(jù)點。Kinect V2的骨骼數(shù)據(jù)輸出形式是每秒30幀，因此，為了使數(shù)據(jù)具有唯一性，必須對每一幀的數(shù)據(jù)進(jìn)行幀ID的編號。每一個骨骼點的坐標(biāo)數(shù)據(jù)又可以分為X軸、Y軸和Z軸3個軸的坐標(biāo)值，其中X軸方向是以傳感器中心點為坐標(biāo)原點，相對傳感器向左;Y軸方向是坐標(biāo)原點向上;Z軸方向則是坐標(biāo)原點向前。通過對骨骼幀函數(shù)的調(diào)用，就可實現(xiàn)骨骼點三維坐標(biāo)的讀取。

1.2? ? 極大值和極小值的獲取

通過Kinect V2實時采集上肢的肘關(guān)節(jié)和腕關(guān)節(jié)的三維坐標(biāo)X、Y、Z，在采集的同時，通過定義極大值數(shù)組和極小值數(shù)組來緩存對應(yīng)肘關(guān)節(jié)和腕關(guān)節(jié)的X、Y、Z坐標(biāo)數(shù)據(jù)和對應(yīng)的幀ID。在采集到新的一幀骨骼數(shù)據(jù)時，將新的數(shù)據(jù)與緩存數(shù)據(jù)進(jìn)行數(shù)值的比較。如果新的數(shù)據(jù)更大，則更新對應(yīng)的極大值;如果新的數(shù)據(jù)更小，則更新對應(yīng)的極小值，從而對X、Y、Z坐標(biāo)值進(jìn)行排序，并記錄對應(yīng)的極大值和極小值所在的幀ID。

在采集動作結(jié)束后，基于上述緩存的幀ID和幀數(shù)據(jù)重新生成新的骨骼運動序列。接著，將新序列與模版進(jìn)行DTW匹配，最終實現(xiàn)運動數(shù)據(jù)與模版數(shù)據(jù)的快速匹配評價。

2 試驗研究

本次試驗的平臺為基于Kinect V2的人體上肢動作識別系統(tǒng)，本系統(tǒng)的數(shù)據(jù)顯示界面如圖2所示。

2.1? ? 試驗平臺簡介

為了更直觀地觀察骨骼點的識別情況，可通過按鈕實現(xiàn)視頻流與骨骼數(shù)據(jù)的疊加顯示;此外，還加入了肘關(guān)節(jié)、肩關(guān)節(jié)和腕關(guān)節(jié)的角度實時顯示。

在數(shù)據(jù)呈現(xiàn)方面，增加了骨骼數(shù)據(jù)顯示界面，通過手動輸入對應(yīng)的志愿者ID，以表格形式輸出顯示運動數(shù)據(jù)，除了骨骼點的坐標(biāo)數(shù)據(jù)外，還包括試驗日期、試驗時間、試驗次數(shù)ID以及試驗幀數(shù)ID，從而使得整個數(shù)據(jù)庫的每一條數(shù)據(jù)可以唯一溯源。

2.2? ? 試驗及結(jié)果分析

試驗對象為一名健康的志愿者，男性，年齡19歲，身高176 mm，上肢關(guān)節(jié)都能正常運動。試驗的動作為“右手觸碰鼻子”，具體的試驗步驟如下：

首先，演示者以3 s勻速完成該動作，并保存骨骼數(shù)據(jù);接著，志愿者采用3種不同的方式完成“右手觸碰鼻子”這一動作。

動作一：在對標(biāo)準(zhǔn)動作要求并不知情的前提下，完成觸碰鼻子的動作;

動作二：在得知部分動作要領(lǐng)的情況下，完成觸碰鼻子的動作;

動作三：在志愿者得知全部動作要領(lǐng)后，完成觸碰鼻子的動作。