Kinect在上肢康復(fù)機(jī)器人運(yùn)動(dòng)控制中的應(yīng)用

袁 濤， 劉志輝， 舒 暢， 王生澤

(東華大學(xué) 機(jī)械工程學(xué)院， 上海 201620)

當(dāng)前，隨著我國(guó)老齡化程度不斷加劇，腦血管病已成為影響我國(guó)老年人身體健康的主要疾病，尤其是在腦卒中偏癱后，患者的肢體運(yùn)動(dòng)受損，往往需要通過(guò)康復(fù)訓(xùn)練對(duì)腦部損傷部位進(jìn)行刺激并防止患肢的肌肉發(fā)生萎縮，以達(dá)到康復(fù)目的。傳統(tǒng)康復(fù)手段主要依賴(lài)于康復(fù)醫(yī)師與患者一對(duì)一進(jìn)行徒手訓(xùn)練，不僅效率低，而且缺少可以量化的客觀評(píng)價(jià)方法，不利于對(duì)康復(fù)效果進(jìn)行深入研究。為了解決這些問(wèn)題，康復(fù)機(jī)器人及技術(shù)應(yīng)運(yùn)而生。國(guó)外發(fā)達(dá)國(guó)家在這一領(lǐng)域的研究已處于領(lǐng)先水平，如美國(guó)麻省理工學(xué)院的MIT-MANUS機(jī)器人、斯坦福大學(xué)的MIME機(jī)器人以及瑞士皇家理工學(xué)院的ARMin機(jī)器人等，從早期的末端牽引式機(jī)器人升級(jí)到外骨骼式的多自由度機(jī)器人。國(guó)內(nèi)在這一領(lǐng)域的研究起步較晚，較早從事相關(guān)研究的清華大學(xué)開(kāi)發(fā)出了2自由度的末端牽引式上肢康復(fù)機(jī)器人；哈爾濱工業(yè)大學(xué)較早地開(kāi)展了外骨骼式康復(fù)機(jī)器人的研究，開(kāi)發(fā)出了5自由度上肢康復(fù)機(jī)器人系統(tǒng)[1-2]；東華大學(xué)開(kāi)發(fā)了6自由度上肢康復(fù)機(jī)器人，該機(jī)器人使用了氣動(dòng)驅(qū)動(dòng)與鋼絲繩柔性傳動(dòng)[3]。

如今，康復(fù)機(jī)器人已經(jīng)是服務(wù)型機(jī)器人中的重要分支，對(duì)其運(yùn)動(dòng)控制模式的研究已成為一個(gè)很重要的研究?jī)?nèi)容。目前已有的控制模式大多基于讀取控制程序中的固有康復(fù)運(yùn)動(dòng)數(shù)據(jù)或直接通過(guò)康復(fù)機(jī)器人上的傳感器讀取患者正常肢運(yùn)動(dòng)數(shù)據(jù)來(lái)帶動(dòng)患肢進(jìn)行隨動(dòng)模式治療，前者因缺少可定制性而難以滿(mǎn)足康復(fù)治療的個(gè)性化需求，后者雖然在一定程度上滿(mǎn)足了對(duì)康復(fù)運(yùn)動(dòng)的定制需求，但是對(duì)患者自身提出了較高要求，局限性很大。本文基于Kinect體感攝像頭構(gòu)建了一套康復(fù)運(yùn)動(dòng)信息數(shù)據(jù)采集方案，可離線(xiàn)或在線(xiàn)導(dǎo)引上肢康復(fù)機(jī)器人運(yùn)動(dòng)控制。

本文以實(shí)驗(yàn)室內(nèi)的上肢康復(fù)機(jī)器人為對(duì)象，通過(guò)Kinect捕捉人體上肢關(guān)節(jié)數(shù)據(jù)，并采用Unity軟件平臺(tái)對(duì)數(shù)據(jù)進(jìn)行處理與顯示，設(shè)計(jì)了Unity與LabVIEW平臺(tái)的通信接口，并分析了該方法與傳統(tǒng)傳感器技術(shù)之間的差別。

1 主動(dòng)臂帶動(dòng)從動(dòng)臂控制方法的改進(jìn)

本文以目前實(shí)驗(yàn)室內(nèi)的6自由度上肢康復(fù)機(jī)器人為基礎(chǔ)[3]，其康復(fù)訓(xùn)練機(jī)械臂采用氣壓驅(qū)動(dòng)，實(shí)現(xiàn)了肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)處6個(gè)自由度的控制。通過(guò)在健康肢側(cè)機(jī)器人主動(dòng)臂上安裝旋轉(zhuǎn)式電位器，經(jīng)由CompactRIO平臺(tái)的輸入模塊接收電位器數(shù)據(jù)，再通過(guò)上位機(jī)LabVIEW程序處理后由CompactRIO平臺(tái)輸出模塊對(duì)患肢側(cè)機(jī)器人從動(dòng)臂的控制氣缸傳達(dá)指令。主動(dòng)臂控制從動(dòng)臂流程如圖1所示。

圖1 主動(dòng)臂控制從動(dòng)臂流程示意圖Fig.1 Flowchart of master-slave control mode

在主動(dòng)臂控制從動(dòng)臂模式下可以實(shí)現(xiàn)患者以健康肢帶動(dòng)患肢運(yùn)動(dòng)達(dá)到康復(fù)訓(xùn)練，但是對(duì)患者健康肢有較高要求，并且由于兩側(cè)機(jī)械臂活動(dòng)空間存在交集，導(dǎo)致單側(cè)機(jī)械臂的活動(dòng)范圍受限。此外，由于患者肢體有機(jī)械臂外骨骼覆蓋，在康復(fù)治療過(guò)程中，康復(fù)醫(yī)師難以直接對(duì)康復(fù)運(yùn)動(dòng)軌跡進(jìn)行調(diào)整，不便于康復(fù)醫(yī)師對(duì)患者治療方案的靈活定制。

綜上所述，本文嘗試引入Kinect對(duì)主動(dòng)臂的位移傳感器進(jìn)行替代。Kinect是由微軟公司發(fā)布的一款體感攝像頭，是近年來(lái)體感設(shè)備的大眾化產(chǎn)品，包含有一個(gè)紅外線(xiàn)發(fā)射器與攝像頭、彩色攝像機(jī)及尺寸深度傳感器，能以30幀/s的速率進(jìn)行采樣，檢測(cè)范圍為1～4 m，2.0版本的輸入延遲可控制在100 ms以?xún)?nèi)。Kinect最早用于體感游戲的開(kāi)發(fā)，之后由于官方的SDK開(kāi)發(fā)工具包的發(fā)布，使得開(kāi)發(fā)人員可以利用PC對(duì)其功能進(jìn)行二次開(kāi)發(fā)，極大地拓展了應(yīng)用范圍。同時(shí)由于Kinect定位于普通消費(fèi)級(jí)產(chǎn)品，連同Windows適配器在內(nèi)整套售價(jià)在200美元左右，可有效降低系統(tǒng)構(gòu)建成本。因此，Kinect相當(dāng)符合康復(fù)機(jī)器人的應(yīng)用場(chǎng)景[4]。

本文通過(guò)體感攝像頭可直接捕捉醫(yī)師或醫(yī)師指導(dǎo)的康復(fù)訓(xùn)練標(biāo)準(zhǔn)手臂動(dòng)作，由Unity收集處理后與LabVIEW上位機(jī)程序進(jìn)行通信。目前已經(jīng)實(shí)現(xiàn)了對(duì)肩、肘兩部分4個(gè)自由度的運(yùn)動(dòng)數(shù)據(jù)處理與運(yùn)動(dòng)控制，并將所采集的運(yùn)動(dòng)信息數(shù)據(jù)與傳統(tǒng)旋轉(zhuǎn)電位器方案測(cè)取的運(yùn)動(dòng)信息數(shù)據(jù)進(jìn)行了對(duì)比分析，驗(yàn)證了該方案的可行性。

2 數(shù)據(jù)采集與通信功能的實(shí)現(xiàn)

2.1 利用Adobe Fuse生成虛擬人物模型并導(dǎo)入U(xiǎn)nity

為了將采集到的人物姿態(tài)數(shù)據(jù)具象地由圖像表示出來(lái)，本研究在Unity中導(dǎo)入一個(gè)人物模型用于顯示手臂姿態(tài)，由于該虛擬形象更加注重光照與紋理處理而對(duì)其幾何的精確度要求并不高，所以選擇直接利用Adobe Fuse軟件來(lái)生成模型，格式為FBX。使用Adobe Fuse能夠在數(shù)分鐘內(nèi)創(chuàng)建一個(gè)3D角色模型，提供諸多自定義屬性，并可輸出多種格式，兼容3D MAX、MAYA、Unity等三維軟件，同時(shí)還能為該模型生成骨骼關(guān)節(jié)點(diǎn)。本文僅取用左肢關(guān)節(jié)點(diǎn)，具體關(guān)節(jié)層級(jí)關(guān)系如圖2所示，整個(gè)左肢為串聯(lián)結(jié)構(gòu)，由上臂、前臂、手及肩、肘、腕3個(gè)關(guān)節(jié)構(gòu)成。Kinect在采集上肢數(shù)據(jù)時(shí)，以肩、肘、腕3個(gè)關(guān)節(jié)點(diǎn)為數(shù)據(jù)測(cè)點(diǎn)，可給出各關(guān)節(jié)點(diǎn)的空間位置坐標(biāo)并驅(qū)動(dòng)模型。

圖2 左肢關(guān)節(jié)層級(jí)關(guān)系Fig.2 Left-limb joint relationship

為了能夠驅(qū)動(dòng)該模型運(yùn)動(dòng)，在將模型導(dǎo)入至Unity后需要在軟件內(nèi)對(duì)其創(chuàng)建Avatar，并將模型的骨骼關(guān)節(jié)點(diǎn)與Avatar中節(jié)點(diǎn)進(jìn)行綁定，結(jié)果如圖3所示。

圖3 Avatar與骨骼關(guān)節(jié)點(diǎn)綁定關(guān)系Fig.3 Binding relationship between Avatar and bone joints

2.2 Kinect體感攝像頭與Unity的連接

Kinect到目前為止已經(jīng)發(fā)布了第二代，Kinect 2.0相比1.0版本將圖像分辨率由640像素×480像素大幅度提升至1 920像素×1 080像素，對(duì)骨骼關(guān)節(jié)點(diǎn)數(shù)據(jù)的采集精度也更高，更重要的是官方發(fā)布了最新的Kinect for Windows SDK 軟件開(kāi)發(fā)工具包2.0版本，并且提供了官方的Unity插件Unity Pro packages，通過(guò)該插件可直接在Unity中調(diào)用Kinect API，快速地獲取骨骼關(guān)節(jié)數(shù)據(jù)并綁定至人物模型上，相比以往的開(kāi)發(fā)流程大幅度地降低了開(kāi)發(fā)難度。

在導(dǎo)入U(xiǎn)nity Pro packages后，即可在創(chuàng)建的腳本內(nèi)調(diào)用KinectSDK相應(yīng)接口，使用KinectManager.Instance.GetJointPosition()命令來(lái)獲取對(duì)應(yīng)關(guān)節(jié)點(diǎn)的數(shù)據(jù)，通過(guò)計(jì)算處理后，使用transform.rotation()命令來(lái)對(duì)Avatar進(jìn)行驅(qū)動(dòng)，與之綁定的人物虛擬模型也會(huì)做出相應(yīng)的動(dòng)作在屏幕上進(jìn)行顯示。再由從Kinect獲取的各關(guān)節(jié)點(diǎn)原始數(shù)據(jù)計(jì)算得到所需的4個(gè)自由度對(duì)應(yīng)的角度數(shù)據(jù)，即以肩部為原點(diǎn)、豎直方向?yàn)閦軸、人物正前方為x軸建立坐標(biāo)軸后上臂繞3個(gè)軸的旋轉(zhuǎn)角以及上臂與前臂的夾角，用來(lái)傳遞給LabVIEW程序。

2.3 Unity與機(jī)器人控制系統(tǒng)的通信

運(yùn)動(dòng)數(shù)據(jù)由Kinect攝像頭采集并經(jīng)由Unity處理后，還需要發(fā)送給康復(fù)機(jī)器人的控制系統(tǒng)用于驅(qū)動(dòng)機(jī)械臂的運(yùn)動(dòng)。目前，康復(fù)機(jī)器人的控制方法多種多樣，例如可編程邏輯控制器(PLC)、ARM微處理器和運(yùn)動(dòng)控制卡等，考慮到采集方案的兼容性需求、系統(tǒng)鏈接的便利性以及數(shù)據(jù)交換性能要求，本文采用數(shù)據(jù)庫(kù)為中介來(lái)傳遞運(yùn)動(dòng)數(shù)據(jù)。目前主流的控制方法均支持對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)，故保證了兼容性。由于Unity基于mono環(huán)境，考慮到兼容性以及輕量化，選擇SQLite作為數(shù)據(jù)庫(kù)平臺(tái)，經(jīng)測(cè)試后發(fā)現(xiàn)該平臺(tái)滿(mǎn)足本文方案所需的性能要求，在持續(xù)更新數(shù)據(jù)庫(kù)數(shù)據(jù)時(shí)不會(huì)產(chǎn)生擁塞。

在Unity中使用SQLite以動(dòng)態(tài)鏈接庫(kù)的形式實(shí)現(xiàn)，將相應(yīng)Mono.Data.Sqlite.dll文件導(dǎo)入U(xiǎn)nity工程后，即可在腳本內(nèi)構(gòu)造數(shù)據(jù)庫(kù)鏈接并打開(kāi)數(shù)據(jù)庫(kù)對(duì)其進(jìn)行更新操作。本文中上肢康復(fù)機(jī)器人的控制系統(tǒng)是基于CompactRIO與LabVIEW平臺(tái)的，以LabVIEW訪問(wèn)數(shù)據(jù)庫(kù)為例，先將SQLite的訪問(wèn)讀取操作封裝在使用VC++編寫(xiě)的動(dòng)態(tài)鏈接庫(kù)中，通過(guò)LabVIEW對(duì)動(dòng)態(tài)鏈接庫(kù)進(jìn)行調(diào)用來(lái)執(zhí)行數(shù)據(jù)的讀取，其彼此之間的通信模式如圖4所示。

圖4 通信模式圖
Fig.4 Diagram of communication mode

3 試驗(yàn)與分析

數(shù)據(jù)采集過(guò)程與系統(tǒng)結(jié)構(gòu)如圖5和6所示，其中圖5中左下圖中人物模型由Adobe Fuse生成?？祻?fù)機(jī)器人主動(dòng)臂動(dòng)作由人體手臂驅(qū)動(dòng)，在機(jī)器人主動(dòng)臂運(yùn)動(dòng)信號(hào)由電位傳感器采集的同時(shí)，人體手臂運(yùn)動(dòng)信號(hào)由Kinect采集，然后匯總到兩通道LabVIEW程序中進(jìn)行處理。

圖5 數(shù)據(jù)采集過(guò)程Fig.5 Data collection process

圖6 試驗(yàn)系統(tǒng)結(jié)構(gòu)示意圖Fig.6 Diagram of experimental system structure

將采集到的旋轉(zhuǎn)電位器和Kinect輸出波形與手臂運(yùn)動(dòng)時(shí)肘部夾角變化的理想波形進(jìn)行對(duì)比，如圖7所示。信號(hào)采集部位為肘部，所做動(dòng)作為前臂往復(fù)擺動(dòng)。實(shí)線(xiàn)波形為采集自Kinect的數(shù)據(jù)信號(hào)，根據(jù)采集到的肩、肘、腕3個(gè)關(guān)節(jié)的坐標(biāo)數(shù)據(jù)計(jì)算得到肘部夾角，以角度值進(jìn)行輸出；短劃線(xiàn)波形為旋轉(zhuǎn)電位值的電壓波形數(shù)據(jù)；虛線(xiàn)波形為前臂往復(fù)運(yùn)動(dòng)時(shí)肘部夾角變化的理想波形。電壓與旋轉(zhuǎn)角度滿(mǎn)足線(xiàn)性關(guān)系，在試驗(yàn)前已經(jīng)對(duì)電壓與旋轉(zhuǎn)角度值進(jìn)行了標(biāo)定，手臂伸直狀態(tài)對(duì)應(yīng)0°位置。兩路信號(hào)在上升段與下降段的誤差平均值為10.6%。由于旋轉(zhuǎn)電位器安裝在機(jī)械臂上，在波谷對(duì)應(yīng)的位置會(huì)受到執(zhí)行機(jī)構(gòu)換向的影響，而Kinect不依賴(lài)于機(jī)械臂，因此兩者的信號(hào)在波谷處吻合度偏低，但Kinect的輸出波形更符合理想波形?？梢?jiàn)，使用Kinect替代原先電位傳感器方案簡(jiǎn)捷可行。

圖7 Kinect、旋轉(zhuǎn)電位器輸出波形與理想波形對(duì)比Fig.7 Waveform comparison between Kinect/ rotary potentiometer and ideal situation

4 結(jié) 語(yǔ)

本文應(yīng)用Kinect體感攝像頭和Unity平臺(tái)構(gòu)建了一種上肢運(yùn)動(dòng)數(shù)據(jù)采集系統(tǒng)，并且實(shí)現(xiàn)了該系統(tǒng)與上肢康復(fù)機(jī)器人上位機(jī)LabVIEW程序的數(shù)據(jù)傳輸。將該系統(tǒng)與原有傳感器數(shù)據(jù)采集方案進(jìn)行對(duì)比分析，證實(shí)本文方案簡(jiǎn)捷可行。本系統(tǒng)與傳統(tǒng)的康復(fù)機(jī)器人控制模式相比具有以下優(yōu)點(diǎn)：

(1) 該采集系統(tǒng)構(gòu)建成本低廉，性能參數(shù)滿(mǎn)足康復(fù)機(jī)器人需求，便于普及；

(2) 可以離線(xiàn)進(jìn)行康復(fù)訓(xùn)練運(yùn)動(dòng)數(shù)據(jù)的采集，整個(gè)采集過(guò)程不必依賴(lài)于康復(fù)機(jī)器人的機(jī)械結(jié)構(gòu)，也無(wú)需在康復(fù)機(jī)器人上設(shè)計(jì)動(dòng)作采集系統(tǒng)，有助于降低康復(fù)機(jī)器人的成本；

(3) 能夠更加有效地從醫(yī)師或者健康肢體上采集康復(fù)動(dòng)作進(jìn)行錄制保存，不再受限于一臺(tái)機(jī)器人只能搭乘一人的硬件限制，可以做到訓(xùn)練過(guò)程中的醫(yī)患實(shí)時(shí)交流修正，保存的動(dòng)作方案文件可以在患肢康復(fù)狀態(tài)相似的同一型號(hào)康復(fù)機(jī)器人之間進(jìn)行分發(fā)，累積評(píng)價(jià)數(shù)據(jù)為康復(fù)治療的科學(xué)研究提供大數(shù)據(jù)支持。