基于Kinect的上肢主動康復訓練運動意圖識別

胡玉舸，陶慶，2，孟慶豐，來全寶

（1.新疆大學機械工程學院，新疆 烏魯木齊 830047；2.新疆大學機械工程博士后研究中心，新疆 烏魯木齊 830047）

1 引言

隨著社會老齡化的加快，現有醫(yī)療資源以及專業(yè)人員的匱乏，康復外骨骼機器人應運而生。研究表明，主動積極的康復訓練更有利于偏癱患者的神經通道重建以及功能恢復。這要求康復外骨骼機器人跟隨患者的肢體意圖進行控制，達到所思即所動的效果。人體運動意圖的準確識別成為了研究重點。

現有研究中的人體運動意圖的獲取主要有基于生物感知信號和物理交互信號兩種方式。常用的生物信號有腦電信號（Electroencephalogram，EEG）和肌電信號（Electromyography，EMG）。2014年足球賽，巴西開幕上的外骨骼機器人[1]，即經過分析癱瘓少年的EEG信號，獲取其運動意圖，從而控制外骨骼輔助行走。文獻[2]將以往的腦電圖源成像（ESI）技術擴展到解碼手/手腕操作上，對右手的四種復雜運動想象：屈伸、伸展、外旋和內旋進行了精確的分類。而日本著名的混合輔助義肢（HAL）通過采集并分析處理表面肌電信號，根據研究表面肌電信號強度和關節(jié)力矩大小的映射關系，提取信息預測運動步態(tài)。文獻[3]設計了一種肌電控制模式的分類算法，將用戶的運動意圖映射到輪椅的七個不同的運動指令上，從而實現了電動輪椅的智能控制功能。文獻[4]提出了一種基于短時傅里葉變換的短時傅里葉變換排序（ST?FT?ranking）的新方法，考慮并覆蓋了運動模式中，sEMG與多個肌肉之間的關系信息，進行了有效的運動模式識別。腦電信號最大的優(yōu)勢在于，只要大腦功能正常，它不用考慮肢體的殘疾程度。但是EEG信號具有更大的隨機性，并且對于采集過程要求嚴格。相對于腦電信號，sEMG的信噪比較優(yōu)，但由于貼敷身體，易受皮膚表面情況影響。

物理交互類通常是利用傳感器，固定在待測物體上，從而獲取所需位置信息或運動學信息。文獻[5]使用力矩傳感器，獲得人體下肢運動意圖，并經過延遲彌補，將處理后的信號導入外骨骼康復機器人中。文獻[6]使用三軸加速度計，檢測大腿肌肉上的多通道MMG（Mechanomyography）信號，對6 種膝關節(jié)運動狀態(tài)進行識別。文獻[7]利用肌周傳感器（Muscle Circumference Sensor，MCS）和測壓元件（load cells）計算期望運動意圖力。然后根據這些力，用阻尼最小二乘法計算了期望運動。相對而言，物理交互類在實際中應用較多，但具有一點的遲滯性。

上述方法各有優(yōu)劣，實際操作中也會根據各自的特點，綜合使用。但患者會和采集設備有著直接或間接的接觸，康復運動自由度受限，特別是在主動式的康復訓練運動中，不利于培養(yǎng)患者的積極性。體感交互技術的出現，為患者的非接觸式信息的提取提供了可能。文獻[8]運用Kinect，來獲取健肢運動軌跡，鏡像控制康復機器人工作。文獻[9]經過Kinect，獲取人體下肢運動意圖，實現了一種主動式伴舞康復機器人。欲基于Kinect，試圖做一些探尋與研究，減少主動康復訓練中對患者的運動限制，培養(yǎng)患者的主動積極性。

在患者的主動康復訓練中，運用Kinect獲得人體上肢關鍵骨骼點的原始坐標信息。結合運動方程，進行卡爾曼濾波，對數據進行濾波保證其精準性時，還可以改善設備采集過程中存在的滯后性。為了控制康復機器人的運動，提取濾波處理后的坐標信息，換算成人體肢體的運動關節(jié)角度，描述人體的運動狀態(tài)情況，獲取人體上肢運動意圖。

2 基于Kinect的人體上肢運動意圖獲取

2.1 Kinect體感交互技術

不同于傳統(tǒng)的人機交互，Kinect的主要優(yōu)勢在于遠程控制，不需要鼠標和鍵盤的控制。目前市場上的Kinect產品共有兩個版本，與一代相比，Kinect2.0的彩色圖像分辨率可以實現1920×1080，大幅度提高，如圖1所示。在骨骼關節(jié)點獲取中，Kinect2.0可得到25個Joint。最佳測試距離為（0.5～4.5）m，水平角度最大值是70°，垂直60°。利用Kinect2.0，通過visual studio 的c#語言編程，將它的骨骼圖像疊加到彩色圖像上，如圖2所示。

圖1 Kinect2.0Fig.1 Kinect2.0

圖2 Kinect信息采集頁面Fig.2 Kinect Information Collection Page

2.2 基于卡爾曼濾波的軌跡預測

通過卡爾曼濾波器，結合運動方程，對Kinect采集的三維空間關節(jié)點坐標進行濾波，以及意圖預測，便于后續(xù)數據應用。假設實驗人員做變加速運動，設加速度為a，由系統(tǒng)高斯白噪聲ω提供［10］。建立運動方程如下：

由于測量過程中同樣存在噪音ν，假設測量到的位置為sZ，則：

卡爾曼濾波器根據測量值和預測值的結合，進行工作，式如下：

其中，系統(tǒng)控制變量Ut一般取0值，Wt和Vt分別是系統(tǒng)的過程噪音以及測量噪音，兩種噪音的協方差分別是Q和R。編程測試時，Q可以先取較小值，再慢慢往大值調整，R相反。

取Δt=1，根據式（1）、式（2）代入得出：

式中：A—系統(tǒng)狀態(tài)參數；B—系統(tǒng)控制量參數；H—測量參數。

2.3 人體上肢運動意圖的獲取

在主動康復訓練中，為了將Kinect數據用于后續(xù)康復，提取卡爾曼濾波處理后的坐標信息，計算人體肢體關節(jié)的運動關節(jié)角度，描述人體運動狀態(tài)。在忽略較小誤差可行的基礎前提下，建立的上肢簡化模型，如圖3所示。主要研究肩部的外展/內收α，前屈/后伸β以及肘部的屈/伸θ三種上肢常見運動。其中，S（SpineShoulder）、SL（ShoulderLeft）、SR（ShoulderRight）、EL（El?bowLeft）、ER（ElbowRight）、WL（WristLeft）、WR（WristRight）和S′（SpineMid）為上肢主要活動關節(jié)點。向量n→是人體冠狀面的法向量，點EL沿著法向量n→在冠狀面上的投影為EL'。

圖3 人體上肢簡化模型Fig.3 Simplified Model of Human Upper Limb

根據模型，很容易得到：

研究以左臂為例，模型為了直觀，肘部角度標注在右臂。所以左臂肘部角度公式為：

3 實驗與結果

3.1 實驗安排

這里研究主要驗證卡爾曼濾波在數據處理中的濾波以及預測效果。

（1）將Kinect采集的數據直接處理。

（2）把所采集到的數據經過卡爾曼濾波后，再進行相同處理。最后，將兩種數據進行對比。

主要設計了兩種分別針對肩關節(jié)或肘關節(jié)的實驗：實驗1，主要針對肩關節(jié)運動，試驗人員站在Kinect前方1m左右處，左臂平行于左肩，垂直于軀干，置于左前方135°左右，正常速度向下收于身體左側。實驗2，肘關節(jié)主要運動，左臂平行于左肩，垂直于軀干，置于左側180°左右，上臂保持穩(wěn)定，小臂正常速度向內收大約135°。

3.2 實驗結果處理與分析

將Kinect中采集的原始坐標數據，輸入到MATLAB中，一種直接進行運動狀態(tài)轉化，一種進行濾波處理后，再進行運動狀態(tài)轉換。最后，在兩種數據中提取出上肢關鍵骨骼點信息，經過MATLAB處理，顯示出運動軌跡，構造數學模型，如圖4所示。

圖4 肩關節(jié)的外展/內收運動Fig.4 Abduction/Adduction of Shoulder Joint

由圖4～圖6可以看出，卡爾曼濾波處理后的數據相對早于原始數據，可以有效改善信息采集過程中所造成的滯后性。圖4和圖5中，由于手臂貼合身體時，不會嚴格地平行于人體軀干，所以運動角度不會趨于0，由圖中所示，大概在10°左右。

圖5 肩關節(jié)的前屈/后伸運動Fig.5 Forward/Backward Movement of Shoulder Joint

圖6 肘關節(jié)運動信息Fig.6 Elbow Motion Information

圖4～圖6中，運動開始采集時，兩種數據相差甚大，故在以后的研究中，會選擇舍去大概10幀左右的數據，讓康復機器只接收不執(zhí)行該部分數據。三幅圖中的其它運動拐點，為動作轉換時刻，能夠看出通過卡爾曼濾波的數據變化更為圓滑平緩，更要滿足運動需求。

4 總結

Kinect 價錢親民，性能良好，易操作，并且屬于非接觸式采集，不需要添加輔助設備與標志。雖然精度方面不如Vicon 等光能捕捉系統(tǒng)，但經眾多試驗證明，可以滿足實驗需求。經過微軟體感設備Kinect，（1）運用visual studio 的語言編程，將它的骨骼圖像疊加到彩色圖像上，直觀清晰，獲取人體上肢原始關節(jié)坐標數據；（2）結合運動方程，進行卡爾曼濾波，確保數據的實時性以及準確性，以便后續(xù)應用；（3）根據上肢簡化模型，計算上肢關節(jié)角度，運用MATLAB轉換為數據模型，顯示運動意圖。

結果表明Kinect是可以獲取人體上肢運動意圖的，滿足實驗需求，是可靠且可行的。這為以后的研究應用做好了技術準備。