基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)的設(shè)計(jì)①

肖　陽(yáng)，徐秀林，翟　藝，安美君

?

基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)的設(shè)計(jì)①

肖陽(yáng)，徐秀林，翟藝，安美君

[摘要]目的設(shè)計(jì)一種基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)。方法利用5DT Data Glove 5 Ultra、Visual Studio 2010集成開發(fā)環(huán)境及DirectX 9.0開發(fā)組件，并基于MFC編程框架集成系統(tǒng)。結(jié)果和結(jié)論系統(tǒng)實(shí)現(xiàn)對(duì)患者手指功能狀態(tài)評(píng)估、手勢(shì)動(dòng)作識(shí)別及三維環(huán)境虛擬訓(xùn)練，能夠指導(dǎo)患者進(jìn)行主動(dòng)訓(xùn)練。

[關(guān)鍵詞]手功能；手指；康復(fù)；評(píng)估；訓(xùn)練；虛擬現(xiàn)實(shí)

[本文著錄格式]肖陽(yáng)，徐秀林，翟藝，等.基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)的設(shè)計(jì)[J].中國(guó)康復(fù)理論與實(shí)踐,2016,22(3):341-344.

CITED AS:Xiao Y,Xu XL,Zhai Y,et al.Develepment of hand function rehabilitation evaluation and training system based on virtual reality technology[J].Zhongguo Kangfu Lilun Yu Shijian,2016,22(3):341-344.

腦卒中是導(dǎo)致患者永久殘疾的主要原因之一[1]，嚴(yán)重影響患者的生活質(zhì)量，增加家庭和社會(huì)的負(fù)擔(dān)[2]，必須依靠長(zhǎng)期康復(fù)才能逐漸恢復(fù)[3]。面對(duì)每年大量增加的腦卒中幸存者[4]，傳統(tǒng)“一對(duì)一”的康復(fù)模式已無(wú)法滿足社會(huì)的需求。隨著計(jì)算機(jī)網(wǎng)絡(luò)信息技術(shù)的發(fā)展，多種康復(fù)平臺(tái)應(yīng)運(yùn)而生；康復(fù)訓(xùn)練方式從患者被動(dòng)地簡(jiǎn)單訓(xùn)練到促進(jìn)患者積極主動(dòng)投入到訓(xùn)練中[5-6]。

手不僅能完成復(fù)雜運(yùn)動(dòng)，還具有精細(xì)感覺功能[7]。腦卒中患者手功能缺陷主要表現(xiàn)為屈曲攣縮，握持、側(cè)捏、對(duì)掌、對(duì)指等功能喪失[8]。目前針對(duì)手功能的康復(fù)訓(xùn)練仍以傳統(tǒng)的物理療法為主[9-11]，患者被動(dòng)參與，訓(xùn)練過(guò)程枯燥乏味，難以取得理想的康復(fù)效果。

研究表明，采用虛擬環(huán)境的訓(xùn)練模式可以有效提高患者主動(dòng)參與積極性，從而達(dá)到良好的康復(fù)效果[12]。虛擬現(xiàn)實(shí)技術(shù)因其具有交互、想象和沉浸三大特征[13]，利用虛擬環(huán)境與現(xiàn)實(shí)的交互，給人以強(qiáng)烈的感官刺激[14-16]，可以極大提高患者主動(dòng)訓(xùn)練的興趣。

伊利諾伊大學(xué)于2014年開發(fā)的手功能康復(fù)訓(xùn)練設(shè)備[17]，主要由氣動(dòng)手套PneuGlove、數(shù)據(jù)采集與傳輸PC機(jī)和虛擬訓(xùn)練軟件組成，實(shí)現(xiàn)3D虛擬屋的呈現(xiàn)，但設(shè)備缺乏康復(fù)評(píng)估功能。芝加哥康復(fù)研究中心設(shè)計(jì)一種虛擬鍵盤系統(tǒng)(Virtual Keypad System-AVK)[18]，實(shí)現(xiàn)對(duì)三維手指的模擬仿真以及針對(duì)每個(gè)手指的虛擬鋼琴鍵訓(xùn)練，可以對(duì)患者康復(fù)程度進(jìn)行初步評(píng)估。國(guó)內(nèi)東南大學(xué)研發(fā)的手指康復(fù)訓(xùn)練輔助裝置[19]，能實(shí)現(xiàn)單個(gè)手指康復(fù)訓(xùn)練，但無(wú)法對(duì)手指運(yùn)動(dòng)的協(xié)調(diào)性進(jìn)行訓(xùn)練，且康復(fù)過(guò)程相對(duì)單調(diào)。

本研究設(shè)計(jì)一種基于虛擬現(xiàn)實(shí)技術(shù)的手功能康復(fù)評(píng)估訓(xùn)練系統(tǒng)。該系統(tǒng)基于虛擬現(xiàn)實(shí)技術(shù)，實(shí)現(xiàn)對(duì)三維虛擬物體的運(yùn)動(dòng)控制，包括手指功能評(píng)估、手勢(shì)動(dòng)作識(shí)別等模塊，以期提高康復(fù)效率。

1系統(tǒng)設(shè)計(jì)

系統(tǒng)由三部分組成：數(shù)據(jù)傳輸設(shè)備、計(jì)算機(jī)、用戶(User Interface,UI)系統(tǒng)軟件。系統(tǒng)軟件部分包括手指功能評(píng)估模塊、手勢(shì)動(dòng)作識(shí)別模塊、三維虛擬訓(xùn)練模塊。系統(tǒng)總體框架如圖1。

圖1　系統(tǒng)框架圖

數(shù)據(jù)傳輸設(shè)備采用5DT公司生產(chǎn)系列數(shù)據(jù)手套中的5DT Data Glove 5 Ultra[20-21]。5DT Data Glove 5 Ultra內(nèi)含有5個(gè)光纖傳感器，分布于5個(gè)手指；利用傳感器的彎曲曲率并進(jìn)行歸一化處理模擬手指的屈曲角度(近指關(guān)節(jié)屈曲角度)。最高采樣頻率200 Hz。封裝數(shù)據(jù)采集的API函數(shù)接口，提供二次開發(fā)平臺(tái)。

系統(tǒng)軟件的設(shè)計(jì)利用Visual Studio 2010集成開發(fā)環(huán)境，VC++編程語(yǔ)言，Office 2010組件中的Access數(shù)據(jù)庫(kù)，DirectX 9.0開發(fā)組件。

2軟件的設(shè)計(jì)與實(shí)現(xiàn)

UI系統(tǒng)軟件部分主要包括手指功能評(píng)估、手勢(shì)動(dòng)作識(shí)別、三維虛擬訓(xùn)練三大功能模塊。

2.1手指功能評(píng)估模塊

該模塊采集5DT Data Glove 5 Ultra數(shù)據(jù)手套上5個(gè)手指的數(shù)據(jù)，實(shí)現(xiàn)手指運(yùn)動(dòng)曲線圖的動(dòng)態(tài)顯示和數(shù)據(jù)回放；根據(jù)數(shù)據(jù)手套中光纖傳感器的彎曲曲率，對(duì)手指屈曲角度進(jìn)行歸一化線性擬合，并計(jì)算每個(gè)手指的最大屈曲角度及平均屈曲角度。

其中K表示曲率，Δs表示弧長(zhǎng)，Δ?表示弧兩端點(diǎn)的夾角。

Xi表示傳感器輸出值，rawval表示傳感器當(dāng)前值，rawmax表示傳感器最大值，rawmin表示傳感器最小值，100表示近指關(guān)節(jié)的最大屈曲角度(拇指為90)。

數(shù)據(jù)采集頻率為100 Hz，主要調(diào)用數(shù)據(jù)手套的接口函數(shù)(API)，主要包括：fdGlove *fdOpen(char *pPort)、int fdScanUSB(unsigend short *aPID,int &nNumMax)、int fdClose(fdGlove *pFG)、float fdGet-SensorScaled(fdGlove *pFG,int nSensor)，將采集到的數(shù)據(jù)動(dòng)態(tài)顯示到對(duì)應(yīng)的功能區(qū)內(nèi)。

手指運(yùn)動(dòng)曲線圖繪制的采樣頻率為10 Hz，實(shí)現(xiàn)方式為自定義類CGraphView，包括數(shù)據(jù)的填充LoadGraphyData(DataBuff&dataShow)、顯示DrawG-raphy(CDC* pDC,CRect rectCoord)、刷新DrawCoordinate(CDC* pDC,CRect rectCoord)等。手套的數(shù)據(jù)及手指運(yùn)動(dòng)軌跡的動(dòng)態(tài)顯示圖如圖2，左邊曲線顯示手指運(yùn)動(dòng)軌跡，右邊數(shù)據(jù)顯示手套傳感器數(shù)據(jù)。

數(shù)據(jù)回放主要是對(duì)采集的數(shù)據(jù)重新進(jìn)行動(dòng)態(tài)繪圖，為其分配內(nèi)儲(chǔ)空間，并進(jìn)行讀取回放，便于醫(yī)生與患者及時(shí)查看。評(píng)估結(jié)果的查看模塊主要是計(jì)算5個(gè)手指的最大屈曲角度和平均屈曲角度，使醫(yī)生能夠?qū)颊呤种傅那斐潭冗M(jìn)行初步了解，并以此為依據(jù)設(shè)置后續(xù)訓(xùn)練的強(qiáng)度。數(shù)據(jù)回放與結(jié)果查看如圖3，左邊曲線顯示運(yùn)動(dòng)軌跡的回放，右邊數(shù)據(jù)顯示五指屈曲角度最大值和平均值。

2.2手勢(shì)動(dòng)作識(shí)別模塊

該模塊根據(jù)Brunnstrom六級(jí)評(píng)價(jià)法[22]設(shè)計(jì)6種手勢(shì)：握拳、拇指伸展、食指伸展、雙指伸展、對(duì)指、五指平伸。患者需要根據(jù)計(jì)算機(jī)屏幕上隨機(jī)出現(xiàn)的手勢(shì)提示進(jìn)行相應(yīng)的動(dòng)作；患者若能在規(guī)定時(shí)間內(nèi)完成對(duì)應(yīng)的手勢(shì)，系統(tǒng)提示成功；反之失敗。

系統(tǒng)通過(guò)API接口接收姿態(tài)數(shù)據(jù)，每隔1 s對(duì)傳入的數(shù)據(jù)進(jìn)行判斷，根據(jù)30 s內(nèi)患者完成該手勢(shì)的次數(shù)判斷此次手勢(shì)動(dòng)作是否完成。設(shè)計(jì)有30 s倒計(jì)時(shí)以提醒患者對(duì)時(shí)間的把握。

訓(xùn)練結(jié)果查看模塊對(duì)患者每種手勢(shì)的完成情況進(jìn)行總結(jié)。結(jié)果查看如圖4，左側(cè)顯示當(dāng)前手勢(shì)動(dòng)作完成情況，右邊數(shù)據(jù)顯示每種手勢(shì)的完成次數(shù)。

圖2　手指功能評(píng)估模塊：數(shù)據(jù)及手指運(yùn)動(dòng)軌跡

圖3　手指功能評(píng)估模塊：數(shù)據(jù)回放

圖4　手勢(shì)動(dòng)作識(shí)別模塊

2.3三維虛擬訓(xùn)練模塊

該模塊主要訓(xùn)練患者五指屈伸功能，根據(jù)五指的運(yùn)動(dòng)姿態(tài)控制虛擬人物的運(yùn)動(dòng)方向。

三維虛擬訓(xùn)練模塊主要包括地形、人物、天空等虛擬場(chǎng)景的渲染(分別自定義三個(gè)類：CD3DMap、CSkinMesh、CSkyBox)，利用DirectX 9.0開發(fā)組件實(shí)現(xiàn)三維虛擬場(chǎng)景。

采集五指同步運(yùn)動(dòng)的數(shù)據(jù)，得到手指屈伸運(yùn)動(dòng)姿態(tài)，以此控制虛擬人物的運(yùn)動(dòng)方向。當(dāng)五指的彎曲度之和>2.5時(shí)(五指處于深度屈曲狀態(tài))，虛擬人的運(yùn)動(dòng)方向?yàn)樽螅?2.5時(shí)(五指處于放松至平伸狀態(tài))，運(yùn)動(dòng)方向?yàn)橛摇?/p>

虛擬人物采用3ds Max建模軟件進(jìn)行三維建模，并保存為.X文件，然后由系統(tǒng)進(jìn)行調(diào)用控制。三維渲染的流程圖如圖5。

圖5　三維虛擬渲染流程圖

3結(jié)論與展望

本系統(tǒng)實(shí)現(xiàn)了對(duì)腦卒中患者手指功能的康復(fù)評(píng)估及訓(xùn)練，可以為患者手部康復(fù)訓(xùn)練提供有效指導(dǎo)。系統(tǒng)具有如下特點(diǎn)：①所有模塊均需患者主動(dòng)參與，體現(xiàn)提高患者主動(dòng)參與的設(shè)計(jì)初衷；②手指功能評(píng)估模塊可以使患者對(duì)自己手指功能狀態(tài)的實(shí)時(shí)了解；③手勢(shì)動(dòng)作識(shí)別模塊根據(jù)系統(tǒng)設(shè)計(jì)的手勢(shì)，可以了解患者整體手運(yùn)動(dòng)狀態(tài)；④三維虛擬訓(xùn)練模塊以現(xiàn)實(shí)環(huán)境中的手動(dòng)作控制虛擬環(huán)境中的人物運(yùn)動(dòng)，增強(qiáng)患者主動(dòng)訓(xùn)練的積極性。

由于手部結(jié)構(gòu)的復(fù)雜性和精細(xì)性[23-24]，設(shè)計(jì)精確的康復(fù)評(píng)價(jià)機(jī)制，對(duì)患者手部的各項(xiàng)功能(各關(guān)節(jié)的屈伸，手指的對(duì)指、側(cè)捏等)進(jìn)行測(cè)試和定量評(píng)定，依然是手功能康復(fù)的難點(diǎn)和熱點(diǎn)。隨著計(jì)算機(jī)技術(shù)的發(fā)展，利用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)對(duì)手語(yǔ)的識(shí)別[25-26]，以改善聽障人士的學(xué)習(xí)生活條件，也是康復(fù)領(lǐng)域的發(fā)展方向之一。

[參考文獻(xiàn)]

[1]楊啟志,曹電鋒,趙金海.上肢康復(fù)機(jī)器人的研究現(xiàn)狀的分析[J].機(jī)器人,2013,35(5):630-640.

[2]彭錦繡,王粵湘,張衍,等.城鎮(zhèn)老年人生活狀況及健康需求的調(diào)查研究[J].廣西中醫(yī)學(xué)院學(xué)報(bào),2011,14(1):122-124.

[3]盧正秋.腦卒中患者社區(qū)康復(fù)的療效觀察[D].大連:大連醫(yī)科大學(xué),2012.

[4]翟藝,徐秀林.基于虛擬現(xiàn)實(shí)技術(shù)的上肢康復(fù)訓(xùn)練系統(tǒng)發(fā)展現(xiàn)狀[J].中國(guó)康復(fù)理論與實(shí)踐,2014,20(10):908-910.

[5]Krebs HI,Krams M,Agrafiotis DK,et al.Robotic measurement of arm movements after stroke establishes biomarkers of motor recovery[J].Stroke,2014,45(1):200-204.

[6]Cho S,Ku J,Cho YK,et al.Development of virtual reality proprioceptive rehabilitation system for stroke patients[J].Comput Methods Programs Biomed,2014,113(1):258-265.

[7]薛慧琴,烏蘭圖雅.AM-1000A神經(jīng)功能重建儀治療正中神經(jīng)損傷后手部感覺功能康復(fù)療效的觀察[J].內(nèi)蒙古醫(yī)科大學(xué)學(xué)報(bào),2013,35(s2):551-552.

[8]邢科新.手功能康復(fù)機(jī)器人系統(tǒng)若干關(guān)鍵技術(shù)研究[D].武漢:華中科技大學(xué),2010.

[9]由麗,饒江,劉莉,等.作業(yè)療法改善腦卒中后偏側(cè)感覺障礙及手功能的效果[J].中國(guó)康復(fù)理論與實(shí)踐,2012,18(7):638-639.

[10]王維,馬躍文,楊巍.鏡像療法對(duì)腦卒中偏癱患者上肢功能和手功能的影響[J].大連醫(yī)科大學(xué)學(xué)報(bào),2013,35(6):600-602.

[11]李芳華,劉靖,劉艷,等.運(yùn)動(dòng)針灸療法對(duì)偏癱患者手功能障礙恢復(fù)的臨床觀察[J].針灸臨床雜志,2012,28(8):36-37.

[12]Levanon Y.The advantages and disadvantages of using high technology in hand rehabilitation[J].J Hand Ther,2013,26(2):179-183.

[13]肖喜玲,楊朝輝,黃劍,等.基于虛擬現(xiàn)實(shí)技術(shù)手功能康復(fù)訓(xùn)練系統(tǒng)的設(shè)計(jì)及臨床應(yīng)用[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2014,29(6):537-541.

[14]王宏圖.虛擬現(xiàn)實(shí)技術(shù)在腦卒中運(yùn)動(dòng)康復(fù)中的應(yīng)用現(xiàn)狀[J].中國(guó)康復(fù)理論與實(shí)踐,2014,20(10):911-915.

[15]梁明,竇祖林,王清輝,等.虛擬現(xiàn)實(shí)技術(shù)在腦卒中患者偏癱上肢功能康復(fù)中的應(yīng)用[J].中國(guó)康復(fù)醫(yī)學(xué)雜志,2012,28(2):114-118.

[16]Saposnik G,Levin M.Virtual reality in stroke rehabilitation:a meta-analysis and implications for clinicians[J].Stroke,2011,42(5):1380-1386.

[17]Tsoupikova D,Stoykov NS,Corrigan M,et al.Virtual immersion for post-stroke hand rehabilitation therapy[J].Ann Biomed Eng,2015,43(2):467-477.

[18]Thielbar KO,Lord TJ,Fischer HC,et al.Training finger individuation with a mechatronic-virtual reality system leads to improved fine motor control post-stroke[J].J Neuroeng Rehabil,2014,11:171

[19]張金龍,黃劍,楊朝暉,等.結(jié)合捏力采集與虛擬現(xiàn)實(shí)技術(shù)的手指康復(fù)系統(tǒng)[C].廣州:中國(guó)自動(dòng)化學(xué)會(huì)中南六省(區(qū))2010年第28屆年會(huì),2010:227-230.

[20]5DT.5DT公司官方網(wǎng)站[OL].(2014-05-12).[2015-08-01].http://www.5dt.com.

[21]5DT.5DT-VR產(chǎn)品介紹[EB/OL].(2014-05-12).[2015-08-01].http://www.5dt.com/?page_id=115.

[22]紀(jì)樹榮.康復(fù)醫(yī)學(xué)[M].北京:高等教育出版社,2004:156-158.

[23]周春臨,張紅健,李芳,等.多功能手指關(guān)節(jié)康復(fù)儀的設(shè)計(jì)[J].制造業(yè)自動(dòng)化,2011,33(14):148-150.

[24]王鵬,付宜利,王樹國(guó),等.創(chuàng)傷手指康復(fù)外骨骼手系統(tǒng)的設(shè)計(jì)[J].光學(xué)精密工程,2010,18(1):108-117.

[25]王凱.基于OpenCV的手語(yǔ)識(shí)別研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2012.

[26]王海鵬.基于視覺的手語(yǔ)識(shí)別技術(shù)研究與實(shí)現(xiàn)[D].成都:西南交通大學(xué),2014.

·康復(fù)護(hù)理·

Develepment of Hand Function Rehabilitation Evaluation and Training System Based on Virtual Reality Technology

XIAO Yang,XU Xiu-lin,ZHAI Yi,AN Mei-jun
School of Medical Instrument and Food Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China

Correspondence to XU Xiu-lin.E-mail:xxlin100@163.com

Abstract:Objective To develop a system for hand function evaluation and training based on virtual reality.Methods 5DT Data Glove 5 Ultra,Visual Studio 2010 were integrated as the development environment and DirectX 9.0 as components,and the system was developed based on the MFC programming framework.Results and Conclusion The system can assess the fingers function,recognise gestures and can be used as a 3D environment for virtual training,which may guide the patients to take the training actively.

Key words:hand function;fingers;rehabilitation;evaluation;training;virtual reality

(收稿日期：2015-09-12修回日期：2016-01-07)

作者簡(jiǎn)介：作者單位：上海理工大學(xué)醫(yī)療器械與食品學(xué)院，上海市200093。肖陽(yáng)(1991-)，男，漢族，江蘇泰州市人，碩士研究生，主要研究方向：精密醫(yī)療器械。通訊作者：徐秀林，女，教授。E-mail:xxlin100@163.com。

基金項(xiàng)目：上海市科技支撐計(jì)劃項(xiàng)目(No.14441905100)。

DOI:10.3969/j.issn.1006-9771.2016.03.023

[中圖分類號(hào)]R496

[文獻(xiàn)標(biāo)識(shí)碼]A

[文章編號(hào)]1006-9771(2016)03-0341-04