基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練控制方法

徐國政　朱吉鴿

摘要 現(xiàn)有基于Kinect構(gòu)建的康復(fù)訓(xùn)練系統(tǒng)，大多以患者自行開展主動康復(fù)訓(xùn)練為主，未能充分利用康復(fù)醫(yī)師的臨床經(jīng)驗(yàn)且很少用于機(jī)器人輔助康復(fù)訓(xùn)練系統(tǒng)，具有一定的局限.針對此問題，提出一種基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練方法.首先，開展基于Kinect的上肢骨骼點(diǎn)跟蹤與逆運(yùn)動學(xué)計(jì)算;其次，基于Linux/QT及Kinect設(shè)計(jì)三維虛擬康復(fù)訓(xùn)練環(huán)境;再次，在康復(fù)醫(yī)師示教訓(xùn)練任務(wù)并通過Kinect獲取示教任務(wù)參考軌跡基礎(chǔ)上，根據(jù)訓(xùn)練過程中Kinect實(shí)時捕獲的患肢運(yùn)動位置反饋，設(shè)計(jì)基于模糊推理的機(jī)器人輔助被動康復(fù)訓(xùn)練控制器;最后，基于Kinect及Barrett 公司4自由度WAMTM康復(fù)機(jī)器人構(gòu)建試驗(yàn)統(tǒng)平臺，對方法有效性進(jìn)行試驗(yàn)驗(yàn)證.實(shí)驗(yàn)結(jié)果表明，所提方法能有效利用醫(yī)師的臨床康復(fù)經(jīng)驗(yàn)，并使機(jī)器人較平穩(wěn)地牽引受試者上肢沿示教任務(wù)軌跡進(jìn)行訓(xùn)練，較好地實(shí)現(xiàn)了“醫(yī)師—機(jī)器人—患者”之間的人機(jī)協(xié)同康復(fù)訓(xùn)練.

關(guān)鍵詞 康復(fù)機(jī)器人;Kinect;被動訓(xùn)練;虛擬環(huán)境;任務(wù)示教;軌跡跟蹤

中圖分類號 TP242

文獻(xiàn)標(biāo)志碼 A

0 引言

偏癱初期患者病患部位肌張力增大，關(guān)節(jié)活動受限.為緩解肌痙攣并防止肌肉軟組織硬化，患者偏癱后必須盡快進(jìn)行關(guān)節(jié)被動牽引訓(xùn)練.康復(fù)機(jī)器人技術(shù)是近年來發(fā)展起來的一種新的運(yùn)動神經(jīng)康復(fù)治療技術(shù)[1].在機(jī)器人輔助患肢進(jìn)行關(guān)節(jié)被動訓(xùn)練過程中，主要是由機(jī)器人在控制器作用下平穩(wěn)地牽引患肢沿事先規(guī)劃的運(yùn)動軌跡進(jìn)行康復(fù)訓(xùn)練[2].

研究表明，基于虛擬現(xiàn)實(shí)交互的機(jī)器人輔助康復(fù)訓(xùn)練方法，因其具有高度的逼真感和臨場感，極大地提高了康復(fù)訓(xùn)練過程中患者的積極性和主動參與意識[3].近年來基于虛擬現(xiàn)實(shí)交互的機(jī)器人康復(fù)訓(xùn)練方法大多采用力/觸覺反饋設(shè)備[3-4]或運(yùn)動傳感器[5]等來獲取訓(xùn)練過程中的沉浸感.上述方法因交互設(shè)備價格昂貴或傳感器穿戴不便，限制了其臨床應(yīng)用推廣.此外，在機(jī)器人輔助康復(fù)訓(xùn)練過程中，實(shí)時獲取患者運(yùn)動位置信息，不僅可以實(shí)時評價患者康復(fù)訓(xùn)練效果，還可以據(jù)此設(shè)計(jì)位置反饋式康復(fù)訓(xùn)練控制器，以使康復(fù)機(jī)器人提供的牽引能更好地適應(yīng)患者病情變化.現(xiàn)階段臨床大多采用尺子及量角器等傳統(tǒng)量具進(jìn)行測定[6]，此方法只能在康復(fù)訓(xùn)練結(jié)束前后進(jìn)行，不具備實(shí)時性，而且只能測定受試者具有較大變化的位置信息.

基于Kinect的體感交互，是近年來發(fā)展起來的一種新的無需借助任何控制設(shè)備、可直接使用肢體動作與數(shù)字設(shè)備及虛擬環(huán)境進(jìn)行交互的技術(shù)，解決了現(xiàn)有虛擬交互過程中需要使用或佩戴復(fù)雜力觸覺交互及運(yùn)動捕捉設(shè)備的局限，且能夠?qū)崟r跟蹤和捕捉運(yùn)動過程中肢體的運(yùn)動位置[7].文獻(xiàn)[8]運(yùn)用Kinect測量帕金森患者康復(fù)過程中肢體的運(yùn)動時間和位置，通過與標(biāo)準(zhǔn)Vicon動作捕捉系統(tǒng)比較，驗(yàn)證了Kinect用于肢體運(yùn)動時間和位置測量的準(zhǔn)確性.文獻(xiàn)[9]基于Kinect構(gòu)建了一套居家康復(fù)訓(xùn)練系統(tǒng)，通過Kinect來捕獲訓(xùn)練中患者的運(yùn)動位置信息，以實(shí)時評估患者的康復(fù)訓(xùn)練效果.上述基于Kinect構(gòu)建的康復(fù)訓(xùn)練系統(tǒng)，大多以患者自行開展主動康復(fù)訓(xùn)練為主，且較少用于康復(fù)機(jī)器人訓(xùn)練系統(tǒng).

為充分發(fā)揮康復(fù)醫(yī)師、機(jī)器人及Kinect體感交互技術(shù)在中風(fēng)患者康復(fù)訓(xùn)練過程中的作用，本文提出了一種基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練方法.首先，基于Kinect進(jìn)行上肢骨骼點(diǎn)跟蹤及逆運(yùn)動學(xué)計(jì)算;其次，基于Kinect與Linux/QT設(shè)計(jì)三維虛擬康復(fù)訓(xùn)練環(huán)境;再次，基于Kinect獲取康復(fù)醫(yī)師示教訓(xùn)練任務(wù)參考軌跡及患肢實(shí)時運(yùn)動位置，設(shè)計(jì)基于模糊邏輯的被動康復(fù)訓(xùn)練控制器;最后，基于Kinect及Barrett WAM柔順機(jī)械臂構(gòu)建機(jī)器人輔助康復(fù)訓(xùn)練系統(tǒng)，驗(yàn)證方法有效性.

1 方法

1.1 基于Kinect的上肢骨骼點(diǎn)跟蹤與逆運(yùn)動學(xué)計(jì)算

基于Kinect的上肢骨骼跟蹤，是通過Kinect傳感器實(shí)時捕獲的人體深度圖像并根據(jù)圖1所示骨骼跟蹤算法流程來實(shí)現(xiàn)的.首先通過Kinect獲取的深度圖像檢測人體軀干，然后根據(jù)用戶校準(zhǔn)姿勢（PSI）對人體姿態(tài)進(jìn)行標(biāo)定，待標(biāo)定完成后即可對人體進(jìn)行骨骼跟蹤并實(shí)時計(jì)算各骨骼點(diǎn)數(shù)據(jù).

Kinect捕獲到的上肢骨骼點(diǎn)坐標(biāo)經(jīng)過濾波后，需進(jìn)一步根據(jù)濾波后的捕獲坐標(biāo)計(jì)算人體上肢逆運(yùn)動學(xué)，以得到人體上肢運(yùn)動時各關(guān)節(jié)的運(yùn)動角度.為完成上肢逆運(yùn)動學(xué)計(jì)算，建立如圖2所示坐標(biāo)系，計(jì)算過程如下：

首先，基于人體軀干建立參考坐標(biāo)系Rt，該坐標(biāo)系yt軸在人體冠狀面內(nèi)與冠狀軸平行，zt軸在人體矢狀面內(nèi)與叉乘積yt×tSr平行，xt軸在人體橫截面內(nèi)與叉乘積zt×yt平行：

其中Sl與Sr分別為左右肩關(guān)節(jié)在世界坐標(biāo)系的位置矢量.

其次，將軀干參考坐標(biāo)系Rt平移至左肩關(guān)節(jié)Sl處，建立左肩參考坐標(biāo)系R0，并基于R0在左肩和左肘處分別進(jìn)一步建立左肩坐標(biāo)系（R1，R2）及左肘坐標(biāo)系R3，其中R2由R0經(jīng)兩次旋轉(zhuǎn)得到：

最后，分別計(jì)算肩關(guān)節(jié)繞冠狀軸運(yùn)動的屈伸角q1、繞矢狀軸運(yùn)動的外展內(nèi)收角q2、肩關(guān)節(jié)內(nèi)外旋轉(zhuǎn)角q3及肘關(guān)節(jié)屈伸角q4：

其中：0xEl、0yEl、0zEl是左肘關(guān)節(jié)基于坐標(biāo)系R0的坐標(biāo)值;2xWl與2zWl分別為左腕關(guān)節(jié)Wl基于坐標(biāo)系R2的坐標(biāo)值;dSE、dEW、dSW分別為肩肘、肘腕及肩腕關(guān)節(jié)之間的肢體長度.

在基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練過程中，受試者在虛擬康復(fù)訓(xùn)練環(huán)境里進(jìn)行桌面污漬擦拭動作（康復(fù)醫(yī)師示教康復(fù)訓(xùn)練任務(wù)，中風(fēng)患者在機(jī)器人牽引下實(shí)現(xiàn)被動擦拭訓(xùn)練），Kinect傳感器捕獲受試者手部腕關(guān)節(jié)三維空間坐標(biāo)，并與虛擬環(huán)境中方塊的位置坐標(biāo)進(jìn)行轉(zhuǎn)換，進(jìn)而實(shí)現(xiàn)受試者控制方塊抹布對污漬的擦拭示教與訓(xùn)練.

1.3 基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練控制方法

圖4所示為基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練控制系統(tǒng)框圖.在機(jī)器人輔助上肢被動康復(fù)訓(xùn)練過程中，首先，康復(fù)醫(yī)師在事先設(shè)計(jì)好的虛擬康復(fù)訓(xùn)練環(huán)境中，根據(jù)受試者上肢病情特征示教桌面污漬擦拭動作，同時運(yùn)用Kinect傳感器捕獲康復(fù)醫(yī)師在桌面污漬擦拭過程中肩與肘關(guān)節(jié)的運(yùn)動位置，構(gòu)建桌面污漬擦拭康復(fù)訓(xùn)練動作參考軌跡;其次，根據(jù)康復(fù)醫(yī)師示教得到的訓(xùn)練動作參考軌跡，設(shè)計(jì)康復(fù)機(jī)器人被動訓(xùn)練控制器，使機(jī)器人平穩(wěn)地牽引受試者上肢沿既定參考軌跡進(jìn)行康復(fù)訓(xùn)練;最后，在機(jī)器人牽引受試者進(jìn)行關(guān)節(jié)協(xié)調(diào)被動訓(xùn)練過程中，運(yùn)用Kinect傳感器捕獲受試者肩、肘關(guān)節(jié)實(shí)際運(yùn)動位置，并與康復(fù)醫(yī)師示教參考軌跡進(jìn)行比較，同時反饋軌跡跟蹤誤差至被動訓(xùn)練控制器.

在基于Kinect的機(jī)器人輔助被動康復(fù)訓(xùn)練過程中，為使機(jī)器人能平穩(wěn)地牽引受試者上肢沿示教任務(wù)軌跡進(jìn)行訓(xùn)練，本文在傳統(tǒng)PID位置控制基礎(chǔ)上，結(jié)合模糊推理構(gòu)建了機(jī)器人輔助被動康復(fù)訓(xùn)練控制器，如圖5所示.該控制器主要由“醫(yī)師桌面污漬擦拭示教參考軌跡生成”、“模糊PID調(diào)節(jié)器”、“實(shí)時運(yùn)動位置反饋”和“重力補(bǔ)償”4個模塊組成.“醫(yī)師桌面污漬擦拭示教參考軌跡生成”模塊主要是二次處理基于Kinect獲取的醫(yī)師示教任務(wù)參考軌跡，此處采用過路徑點(diǎn)的拋物線過渡線性插值[10]方法進(jìn)行平滑處理.“模糊PID調(diào)節(jié)器”模塊分別為比例、積分和微分系數(shù)設(shè)計(jì)了獨(dú)立的模糊調(diào)節(jié)器.在控制器設(shè)計(jì)過程中，選擇關(guān)節(jié)位置跟蹤誤差θe及其誤差變化θec作為模糊控制器輸入，比例、積分和微分增益變化ΔKP、ΔKI和ΔKD作為相應(yīng)調(diào)節(jié)器輸出.“實(shí)時運(yùn)動位置反饋”模塊主要實(shí)時反饋機(jī)器人牽引被動訓(xùn)練過程中受試者的關(guān)節(jié)實(shí)際位置.“重力補(bǔ)償”模塊主要是用來對機(jī)器人本體、附在機(jī)器人末端的受試者上肢進(jìn)行重力補(bǔ)償.圖6—7給出了模糊推理控制器輸入和輸出隸屬度函數(shù)分布.

經(jīng)過模糊化推理運(yùn)算和重力補(bǔ)償后，機(jī)器人關(guān)節(jié)驅(qū)動力矩可表示為

其中，KP，KI，KD，KP，KI及KD分別為傳統(tǒng)PID控制器增益及相應(yīng)的模糊調(diào)節(jié)器增益輸出，M為機(jī)器人連桿及患肢質(zhì)量和，g和Gscale分別為重力加速度和補(bǔ)償系數(shù).

2 實(shí)驗(yàn)裝置

基于Kinect和Barrett公司W(wǎng)AMTMARM柔順機(jī)械臂構(gòu)建的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練系統(tǒng)，如圖8所示.該系統(tǒng)主要由Kinect深度傳感器、Barrett公司4自由度柔順機(jī)械臂WAMTM、球形輔助操縱裝置及基于Linux/QT與Kinect構(gòu)建的三維虛擬康復(fù)訓(xùn)練環(huán)境組成.在基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練系統(tǒng)中，深度傳感器Kinect用來捕獲受試者肩、肘及腕部關(guān)節(jié)運(yùn)動位置，主要由紅外發(fā)射器、RGB攝像頭及紅外攝像頭組成.WAMTM是一款高性能、可反饋驅(qū)動的靈巧型機(jī)械臂，主要有4自由度和7自由度2種配置，該機(jī)器人系統(tǒng)具有基于Ubuntu Linux及Xenomai實(shí)時模塊開發(fā)的高度開放軟件，用戶可以在此平臺上進(jìn)行高級控制算法的實(shí)驗(yàn)驗(yàn)證[11].基于Linux/QT與Kinect開發(fā)的“桌面污漬擦拭”虛擬康復(fù)訓(xùn)練環(huán)境（詳見1.2節(jié)），除用來獲取康復(fù)醫(yī)師的示教訓(xùn)練任務(wù)參考軌跡外，主要用于機(jī)器人輔助上肢被動康復(fù)訓(xùn)練過程中受試者與虛擬康復(fù)訓(xùn)練任務(wù)的實(shí)時交互.

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提基于Kinect的機(jī)器人輔助上肢被動康復(fù)訓(xùn)練方法的有效性及臨床適用性，選取1例健康受試者，分別在人體水平面和矢狀面內(nèi)規(guī)劃桌面污漬擦拭動作，以驗(yàn)證機(jī)器人在被動訓(xùn)練控制器作用下，牽引受試者沿康復(fù)醫(yī)師示教軌跡進(jìn)行訓(xùn)練時肩、肘關(guān)節(jié)的軌跡跟蹤性能.水平和矢狀面內(nèi)桌面污漬擦拭訓(xùn)練時傳統(tǒng)PID控制器比例、積分及微分增益分別設(shè)置為KP=625水平/715（矢狀）、KI=35水平/15（矢狀）及KD=12水平/15（矢狀）.模糊PID調(diào)節(jié)器增益變化范圍設(shè)置如圖7所示.考慮患肢訓(xùn)練安全及WAM機(jī)器人鋼繩承載能力，機(jī)器人末端運(yùn)行最大速度、各關(guān)節(jié)電機(jī)最大絕對輸出力矩分別設(shè)置為1.2 rad/s和8 191.

根據(jù)康復(fù)醫(yī)師示教的桌面污漬擦拭任務(wù)，圖9—10分別給出了在水平和矢狀面內(nèi)進(jìn)行機(jī)器人牽引被動訓(xùn)練時受試者肩、肘關(guān)節(jié)的軌跡跟蹤曲線及機(jī)器人相應(yīng)關(guān)節(jié)的力矩變化.分析水平和矢狀面內(nèi)關(guān)節(jié)運(yùn)動位置控制（圖9a、9b與圖10a、10b）和機(jī)器人力矩變化（圖9c與圖10c）結(jié)果可知：

首先，基于Kinect獲取的康復(fù)醫(yī)師示教任務(wù)軌跡經(jīng)插值平滑處理后（過路徑點(diǎn)的拋物線過渡線性插值），能較好地應(yīng)用于機(jī)器人輔助被動康復(fù)訓(xùn)練.

其次，在機(jī)器人牽引受試者進(jìn)行桌面污漬擦拭被動訓(xùn)練過程中，模糊與傳統(tǒng)PID位置控制器雖不同程度地存在跟蹤誤差，但未出現(xiàn)明突變或顯偏離的軌跡跟蹤，二者均能較好地控制機(jī)器人牽引受試者進(jìn)行關(guān)節(jié)被動跟蹤訓(xùn)練.

再次，傳統(tǒng)PID位置控制器雖能跟蹤醫(yī)師示教參考軌跡變化趨勢，但與模糊PID位置控制器跟蹤性能相比，明顯具有較大的跟蹤誤差;二者軌跡跟蹤誤差計(jì)算結(jié)果表明（單位：（°）），在水平面內(nèi)，傳統(tǒng)PID控制器作用下肩、肘關(guān)節(jié)的跟蹤誤差均值分別為4.21±5.12與3.05±2.01，相應(yīng)地，模糊PID控制器對肩、肘關(guān)節(jié)的跟蹤誤差均值分別為1.18±2.14與1.58±0.74;在矢狀面內(nèi)，傳統(tǒng)PID位置控制器對肩、肘關(guān)節(jié)的跟蹤誤差均值分別為2.63±2.41與0.58±1.45，模糊PID控制器作用下肩、肘關(guān)節(jié)的跟蹤誤差均值分別為0.87±1.01與0.45±1.76.根據(jù)跟蹤誤差計(jì)算結(jié)果可知，矢狀面內(nèi)進(jìn)行桌面污漬擦拭訓(xùn)練的軌跡跟蹤誤差要小于水平面內(nèi)的相應(yīng)誤差.

最后，從各自關(guān)節(jié)力矩變化情況可以看出，由于受試者肢體肌力的影響，傳統(tǒng)PID控制方法同模糊PID控制方法相比，前者在控制機(jī)器人牽引受試者進(jìn)行被動跟蹤過程中存在一定的顫動和較大的力矩超調(diào)，而后者均能保持較平穩(wěn)的力矩控制.