基于Kinect 體感器的康復(fù)機械手臂系統(tǒng)算法設(shè)計與實現(xiàn)

楊文璐，李唯杰

（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

醫(yī)學(xué)理論和臨床醫(yī)學(xué)證明,除了手術(shù)治療和藥物治療外,科學(xué)的康復(fù)訓(xùn)練對中風(fēng)偏癱患者的肢體運動控制功能的康復(fù)起著重要的作用[l—3]。科學(xué)康復(fù)訓(xùn)練可以恢復(fù)患者部分或者全部的運動控制功能[4]。

傳統(tǒng)的康復(fù)型機械手臂能夠幫助中風(fēng)患者進行被動康復(fù)訓(xùn)練，但也存在如下不足：首先，訓(xùn)練師需要手動鍵入控制參數(shù)，無法使用直觀的自身動作進行機械手臂的操控；其次，傳統(tǒng)康復(fù)型機械手臂雖然可以實現(xiàn)前屈、后伸、外展、內(nèi)收、上舉以及旋轉(zhuǎn)等簡單動作[5]，但訓(xùn)練動作模式固定，運動軌跡單一，無法完成非常規(guī)動作的訓(xùn)練；最后，傳統(tǒng)機械臂分步動作銜接時機械停頓感強，患者使用體驗差。

本系統(tǒng)的創(chuàng)新之處有：現(xiàn)有Kinect體感器的研究中，缺乏運用到康復(fù)型機械手臂的案例，并且缺乏對速度控制的分析論述[6]；本系統(tǒng)Kinect體感器控制的康復(fù)型機械臂除轉(zhuǎn)動角度控制外，通過輸入信息與反饋信息比較的方法，獲得轉(zhuǎn)動角速度控制參數(shù)，使機械手臂平滑運動，有效降低機械停頓感，使患者在使用時更加舒適自然；可控制機械手臂完成非常規(guī)動作，多自由度動作的同時協(xié)調(diào)運動，提高患者康復(fù)效果。

1 康復(fù)型機械手臂與Kinect體感器

康復(fù)機械臂結(jié)構(gòu)圖如圖1所示。此機械臂共有3個旋轉(zhuǎn)自由度，實現(xiàn)肩關(guān)節(jié)上下旋轉(zhuǎn)、前后旋轉(zhuǎn)和肘關(guān)節(jié)屈伸旋轉(zhuǎn)，并且可以模仿人體手臂的運動，此特點區(qū)別于其他類型的工程機械臂[7-8]。

圖1 三自由度康復(fù)型機械手臂結(jié)構(gòu)圖Fig.1 Three degrees of freedom rehabilitation

分析機械手臂的機械結(jié)構(gòu)與電子系統(tǒng)，可以得到以下機械臂性質(zhì)：機械手臂自由度1轉(zhuǎn)動角度范圍為90度，自由度2的轉(zhuǎn)動角度范圍為180度，自由度3轉(zhuǎn)動角度范圍為100度。腕關(guān)節(jié)，肘關(guān)節(jié)，肩關(guān)節(jié)三點所確定的平面必須與身體所在平面垂直。

如圖2所示，Kinect體感器是微軟公司推出的體感外設(shè)，可以實現(xiàn)實時的運動捕捉、麥克風(fēng)輸入等功能[9]。人們可以站在Kinect體感器前通過自己的肢體動作與計算機進行交互[10-11]。Kinect獲得視頻信息后，在空間中識別出人體,并將取得的三維空間中的深度圖像信息，轉(zhuǎn)換為骨骼數(shù)據(jù)信息。其中所利用的骨架追蹤技術(shù)是Kinect的核心技術(shù)。這個技術(shù)可以實時捕捉人體的動作[12]。

圖2 Kinect體感器外觀圖Fig.2 Appearance of Kinect

2 各自由度轉(zhuǎn)動角度及角速度控制算法

2.1 各自由度轉(zhuǎn)動角度控制算法

通過肘關(guān)節(jié)的一個自由度，肩關(guān)節(jié)的兩個自由度可以實現(xiàn)基本的機械手臂運動。首先進行零點位置的標(biāo)定，設(shè)定每個自由度轉(zhuǎn)動的中間位置為零點。根據(jù)人體手臂各個關(guān)節(jié)運動特點確定各自由度轉(zhuǎn)動范圍，自由度1轉(zhuǎn)動范圍為[-45,45]度，自由度2轉(zhuǎn)動范圍為[-90,90]度，自由度3轉(zhuǎn)動范圍為[-50,50]度。

2.1.1 肩關(guān)節(jié)（自由度1和自由度2）轉(zhuǎn)動角度控制算法

如圖3所示，首先建立坐標(biāo)系。自由度1的轉(zhuǎn)動角度與深度方向（Z方向）無關(guān)。因此確定自由度1的轉(zhuǎn)動角度參數(shù)只與平面XOY有關(guān)，即該自由度只控制手臂在身體所在平面上進行運動。大臂與Y軸之間夾角的正切值等于肘、肩兩個關(guān)節(jié)的橫坐標(biāo)差值與縱坐標(biāo)差值的比。考慮調(diào)整零點位置，得到自由度1的轉(zhuǎn)動角度控制算法為：

自由度2（如圖4所示）控制肩關(guān)節(jié)帶動的大臂在垂直于身體的平面進行運動。該運動過程中肘關(guān)節(jié)的運動軌跡為以肩關(guān)節(jié)為圓心，大臂為半徑所畫出的圓。因此得到自由度2轉(zhuǎn)動角度具體控制算法為：

圖3 自由度1轉(zhuǎn)動角度示意圖Fig.3 Degree of freedom 1 rotation angle

圖4 自由度2轉(zhuǎn)動角度示意圖Fig.4 Degree of freedom 2 rotation angle

2.1.2 肘關(guān)節(jié)（自由度3）轉(zhuǎn)動角度控制算法

自由度3（如圖5所示）控制肘關(guān)節(jié)的展開與收攏，展開的最大位置為肩、肘和腕關(guān)節(jié)三點在同一直線上 （即180度）。收攏時的極限位置為大臂與小臂的夾角為80度。利用三維坐標(biāo)系獲得空間中大臂與小臂之間的夾角，得到肘關(guān)節(jié)夾角與機械手臂控制參數(shù)之間的數(shù)值關(guān)系為先反轉(zhuǎn)再平移。通過此關(guān)系得到該自由度角度控制算法如下：

圖5 自由度3轉(zhuǎn)動角度示意圖Fig.5 Degree of freedom 3 rotation angle

2.2 各自由度轉(zhuǎn)動角速度控制算法

選取合適的速度控制參數(shù)是消除機械系統(tǒng)運動機械感，使機械手臂平滑運動的重要因素。速度參數(shù)變化明顯時，機械系統(tǒng)運動將會出現(xiàn)急停急起的現(xiàn)象。這些動作不符合人體手臂運動的規(guī)律。由于本實驗采用的機械手臂由于機械系統(tǒng)的限制，可以執(zhí)行的最大速度為每秒30度。因此在考慮轉(zhuǎn)動角速度的控制算法中，將著重考慮以上因素。

考慮到角速度參數(shù)需要滿足以下條件：準(zhǔn)確有效控制機械手臂模仿人體手臂運動；應(yīng)避免機械手臂運動急停急起的現(xiàn)象。為了解決上述問題，本系統(tǒng)提出一種新的速度控制方法，將體感器采集到人體手臂關(guān)節(jié)位置信息與機械手臂當(dāng)前位置信息進行比較，以兩者的位移差確定當(dāng)前角速度，體感器捕捉到的人體關(guān)節(jié)位置信息與機械手臂反饋的位置信息之差與轉(zhuǎn)動角速度控制參數(shù)的大小應(yīng)成正比。自由度1控制大臂在身體側(cè)方運動，考慮到康復(fù)病人實際使用情況，其運動速度范圍在每秒20度以內(nèi)。自由度2和3的最大角速度不超過每秒30度。算法示意圖如圖6所示。具體算法為：

式中γ為發(fā)送給機械手臂的自由度轉(zhuǎn)動角度值與機械手臂反饋的當(dāng)前角度值之差，由于已知機械手臂運動的目標(biāo)位置，因此無需再給速度參數(shù)定義方向。

圖6 轉(zhuǎn)動角速度控制算法示意圖Fig.6 Rotation angular velocity control

如圖7所示，圖中依次為自由度1、2和3在機械臂實際使用過程中的1 851個速度參數(shù)數(shù)據(jù)。該圖表明該角速度算法下得到的角速度參數(shù)變化范圍小，所有參數(shù)均落在機械手臂可以識別執(zhí)行的角速度范圍內(nèi)，均為有效數(shù)據(jù)。

3 系統(tǒng)實現(xiàn)

基于Kinect的康復(fù)機械手臂控制系統(tǒng)整體分為兩個部分，體感器端與機械手臂控制端，通過SOCKET通信技術(shù)實現(xiàn)兩者通信。利用體感器獲取彩色圖像、深度圖像以及骨骼圖像，得到右肩，右肘，右腕的三維坐標(biāo)，通過控制算法得到機械系統(tǒng)轉(zhuǎn)動角度與轉(zhuǎn)動角速度的控制參數(shù)，最終執(zhí)行機械手臂運動。

圖7 各自由度角速度數(shù)據(jù)Fig.7 Rotation angular velocity data

如圖8所示，軟件用戶界面與實驗場景需要考慮到訓(xùn)練師在操作上簡易方便，患者在使用上安全可靠，將用戶界面盡可能簡潔化，機械手臂設(shè)置了限位器的裝置，保護患者的手臂不會被機械傷害。

圖8 用戶界面與實驗場景圖Fig.8 User interface and test site

4 實驗結(jié)果及分析

4.1 實驗過程記錄

為了分析本系統(tǒng)的準(zhǔn)確性，進行了下述試驗。本實驗對以下6組動作：大臂側(cè)方向運動，大臂前后運動，肘關(guān)節(jié)收攏與展開，大臂的側(cè)向運動伴隨肘關(guān)節(jié)運動，大臂前后運動伴隨肘關(guān)節(jié)運動以及3個自由度同時運動分別進行測試。每組動作隨機根據(jù)不同的幅度以及速度分別進行100次測試。測試結(jié)果如表1所示，表中的失敗表示機械手臂未能完成訓(xùn)練動作的次數(shù)；基本完成表示機械手臂完成動作，但存在機械的停頓感；完成良好表示機械臂流暢準(zhǔn)確的完成訓(xùn)練動作。

表1 機械臂運動準(zhǔn)確性統(tǒng)計Tab.1 The accuracy statistics of mechanical arm motion

4.2 實驗結(jié)果分析

從實驗結(jié)果中可以得到，該系統(tǒng)能對絕大部分的常用訓(xùn)練動作進行識別，并能準(zhǔn)確控制機械臂進行動作的模仿。其中對自由度1和3的控制較為良好。對自由度2（即手臂前后運動）的控制方法有待提高。當(dāng)手臂前后擺動，超過肩關(guān)節(jié)位置時，系統(tǒng)往往不能進行有效的識別和控制。在今后的研究中，將結(jié)合機械臂的性能對其進一步研究。

5 結(jié)束語

文中介紹了利用Kinect體感器采集訓(xùn)練師手臂信息，得到康復(fù)型機械手臂的控制參數(shù)，幫助訓(xùn)練師操控康復(fù)機械臂對中風(fēng)患者進行上肢康復(fù)訓(xùn)練。其中主要論述了機械手臂各自由度轉(zhuǎn)動角度以及轉(zhuǎn)動角速度的控制算法。應(yīng)用合適的角速度控制算法，減少機械臂在運動時的停頓感，使得機械臂在運動時準(zhǔn)確平滑流暢，有效提高患者的使用舒適度與康復(fù)效果。該系統(tǒng)在下一步的研究中，將會圍繞進一步的動作準(zhǔn)確性和動作的實時性來展開，減少機械系統(tǒng)的延時。最終使該系統(tǒng)更好的服務(wù)于醫(yī)療康復(fù)事業(yè)。

[1]?？×?孫波.運動再學(xué)習(xí)對偏癱患者上肢功能恢復(fù)的影響[J].現(xiàn)代康復(fù),2000,14(5):654-655.CHANG Jun-ling,SUN Bo.Effect of motor relearning training on upper extremity function in hemiplegia patients[J].Modern Rehabilitation,2000,14(5):654-655.

[2]繆鴻石.中樞神經(jīng)系統(tǒng)（CNS）損傷后功能恢復(fù)的理論(六)[J].中國康復(fù)理論與實踐,1997,3(3):98-105.MIAO Hong-shi.The theory of rehabilitation after injury of the Central Nervous System(CNS)(6)[J].Chinese Journal of Rehabilitation Theory and Practice,1997,3(3):98-105.

[3]李大年.缺血性腦血管病治療進展[J].山東醫(yī)藥,2000,40(1):35-42.LI Da-nian.The recent advances in the treatment of ischemic cerebrovascular disease [J].Shandong Medical Journal,2000,40(1):35-42.

[4]黃東鋒,毛玉瑢,徐光青,等.重癥監(jiān)護室中風(fēng)患者早期康復(fù)治療的價值[J].中華物理醫(yī)學(xué)與康復(fù)雜志,2001,23(6):328-329.HUANG Dong-feng,MAO Yu-rong,XU Guang-qing,et al.Value of early rehabilitation on severe stroke patients in Intensive Care Unit(ICU)[J].Chinese Journal of Physical Medicine and Rehabilitation,2001,23(6):328—329.

[5]車仁煒,呂廣明,孫立寧.五自由度康復(fù)機械手臂的設(shè)計[J].機械設(shè)計,2005,22(4):18—21.CHE Ren-wei,LV Guang-ming,SUN Li-ning.The design of the five degrees of freedom mechanical rehabilitation arm[J].Journal of Machine Design.2005,22(4):18—21.

[6]林海波,梅為林,張毅,等.基于Kinect骨骼信息的機械手臂體感交互系統(tǒng)的設(shè)計與實現(xiàn) [J].計算機應(yīng)用與軟件.2013，30（2）：157-160.LIN Hai-bo,MEI Wei-lin,ZHANG Yi,et al.Design and Implementation of Robot arm somatosensory interaction based on KINECT skeletal information[J].Computer Application and Software,2013,30(2):157-160.

[7]鐘琮瑋.仿人型乒乓球機械手運動學(xué)及動力學(xué)控制方法研究[D].杭州：浙江大學(xué).控制理論與控制工程，2011.

[8]洪熠.基于氣動人工肌肉仿人機械手臂肩關(guān)節(jié)的運動控制[D].上海：上海交通大學(xué)，2009.

[9]ZHANG Zhen-you.Microsoft Kinect Sensor and Its Effect[J].MultiMedia,IEEE.Feb，2012:4-10.

[10]淦創(chuàng).基于3D體感技術(shù)的動態(tài)手勢識別[J].光電技術(shù)應(yīng)用,2012,27(4):55-58.Gan Chuang.Dynamic Gesture Recognition Based on 3D Kinect[J].Electro-Optic Technology Application,2012,27(4):55-58.

[11]邵雋,馬娜.淺談基于Kinect的應(yīng)用程序開發(fā)[J].計算機光盤軟件與應(yīng)用,2012(8):173,179-180.SHAO Juan,MA Na.Introduction to Application Development Based on Kinect[J].Computer CD Software and Applications,2012(8):173,179-180.

[12]余濤,葉金永,邵菲杰,等.Kinect核心技術(shù)之骨架追蹤技術(shù)[J].數(shù)字技術(shù)與應(yīng)用,2012(10):115.YU Tao,YE Jin-yong,SHAO Fei-jie,et al.Skeleton tracking technology,the core technology of Kinect[J].Digital Technology and Application,2012(10):115.