基于Kinect的頸部康復(fù)訓(xùn)練系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

鄭傳欽

摘要

為幫助頸部受傷患者在社區(qū)家庭環(huán)境中有效地進(jìn)行頸部康復(fù)訓(xùn)練，本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于Kinect的頸部康復(fù)訓(xùn)練系統(tǒng)系統(tǒng)通過(guò)Kinect體感設(shè)備捕獲到人體的頭部、頸部、肩部等骨骼關(guān)節(jié)點(diǎn)的位置信息，跟蹤人體的動(dòng)作，將動(dòng)作與標(biāo)準(zhǔn)康復(fù)動(dòng)作進(jìn)行匹配，進(jìn)而判斷動(dòng)作是否正確和達(dá)標(biāo)同時(shí)，系統(tǒng)可以調(diào)整訓(xùn)練難度，以適應(yīng)不同使用者的需求.系統(tǒng)能夠有效地幫助患者進(jìn)行頸部康復(fù)訓(xùn)練，具有較好的應(yīng)用價(jià)值。通過(guò)人機(jī)交互實(shí)現(xiàn)對(duì)患者康復(fù)過(guò)程的指導(dǎo)。

【關(guān)鍵詞】Kinect 體感 康復(fù) 頸部

1 引言

在眾多領(lǐng)域中，體感技術(shù)應(yīng)用到醫(yī)療康復(fù)上的研究尤為熱門(mén)，其中大部分的應(yīng)用都使用微軟的Kinect作為系統(tǒng)的輸入設(shè)備。并且在2015年，美國(guó)食品藥品監(jiān)督管理局FDA（Foodand Drug Administration）批準(zhǔn)了使用Kinect幫助患者進(jìn)行物理治療。Kinect在醫(yī)療康復(fù)領(lǐng)域的應(yīng)用主要分為兩類(lèi)，一類(lèi)是對(duì)于認(rèn)知障礙的康復(fù)，另一類(lèi)是對(duì)運(yùn)動(dòng)障礙的康復(fù)。

本文基于Kinect與Unity3D開(kāi)發(fā)了一套頸部康復(fù)訓(xùn)練系統(tǒng)，系統(tǒng)的界面使用Unity3D進(jìn)行繪制，系統(tǒng)的功能使用Kinect體感設(shè)備以及Kinect for Windows SDK進(jìn)行開(kāi)發(fā)。該系統(tǒng)能夠幫助患者進(jìn)行頸部的康復(fù)訓(xùn)練，同時(shí)具有調(diào)節(jié)訓(xùn)練難度以及記錄訓(xùn)練進(jìn)度的功能。并且通過(guò)Unity3D的繪制，該系統(tǒng)具有友好的交互界面，給用戶帶來(lái)良好的視覺(jué)體驗(yàn)。

2 Kinect原理簡(jiǎn)介

2.1 Kinect的硬件組成

從硬件層面看，Kinect主要由三個(gè)攝像頭和四個(gè)麥克風(fēng)以及其他一些框架和外殼組成。其主要的傳感工作都由攝像頭和麥克風(fēng)完成。其中，三個(gè)攝像頭分別為彩色攝像頭、紅外投影機(jī)和深度攝像頭。彩色攝像頭的作用就是獲取彩色圖像，再將彩色圖像傳輸給計(jì)算機(jī)，在顯示器中顯式出來(lái)，給使用者最直觀的視覺(jué)反饋。紅外投影機(jī)的作用是主動(dòng)投射近紅外光譜，光譜照射到距攝像平面不同距離的物體會(huì)產(chǎn)生不同的散斑，這些散班可以被深度攝像頭捕獲，從而可以根據(jù)散斑特征的不同判斷出物體距離攝像平面的距離。四個(gè)麥克風(fēng)組成四元線性麥克風(fēng)陣列，通過(guò)麥克風(fēng)陣列可以捕獲到環(huán)境中的聲音，同時(shí)具有過(guò)濾背景噪聲的功能，以及協(xié)助攝像頭確定人體所在的位置。

2.2 Kinect的深度圖成像原理

深度數(shù)據(jù)和骨骼數(shù)據(jù)是Kinect的精髓所在，深度數(shù)據(jù)的獲取主要是靠紅外投影機(jī)和深度攝像頭完成。首先由紅外投影機(jī)向前方投射近紅外光譜，近紅外光譜照射到物體上會(huì)形成具有一定特性的散斑。之后由深度攝像頭捕獲所形成的散斑，根據(jù)散斑的特性判斷物體距攝像平面的距離，將該距離保存到一個(gè)矩陣中，這樣就生成了深度圖。將生成的深度圖傳輸?shù)接?jì)算機(jī)，再由計(jì)算機(jī)進(jìn)行后續(xù)的處理。

2.3 Kinect的骨骼圖像成像原理

在獲取到深度圖之后，就要從深度圖中提取人體的骨骼信息。Kinect采用機(jī)器學(xué)習(xí)的方法從深度圖中提取出人體的框架并且識(shí)別出人體的各個(gè)部位。之后再提取20個(gè)關(guān)節(jié)點(diǎn)，形成一幅骨骼圖像。為了減少環(huán)境噪聲對(duì)骨骼圖像的干擾，Kinect中還采用了低通濾波技術(shù)對(duì)骨骼信息進(jìn)行濾波，以提高識(shí)別的準(zhǔn)確度。

3 本文所設(shè)計(jì)系統(tǒng)的框架

本文使用Kinect V1和unity3D進(jìn)行結(jié)合，設(shè)計(jì)了一套頸部康復(fù)訓(xùn)練系統(tǒng)，為患者提供有效地康復(fù)訓(xùn)練。本系統(tǒng)由界面設(shè)計(jì)和功能設(shè)計(jì)兩部分組成，下面分別對(duì)這兩個(gè)部分進(jìn)行詳述。

3.1 界面設(shè)計(jì)框架

本系統(tǒng)的界面部分由Unity3D進(jìn)行繪制，Unity3D是一款3D游戲開(kāi)發(fā)軟件，能夠高效地創(chuàng)建3D場(chǎng)景，建立實(shí)時(shí)三維動(dòng)畫(huà)等內(nèi)容。本系統(tǒng)的界面部分主要分為歡迎界面、主界面、設(shè)置界面和訓(xùn)練界面四部分。

3.2 功能設(shè)計(jì)框架

本系統(tǒng)使用C#作為主要編程語(yǔ)言，使用Kinect for Windows SDK和Kinect withMicrosoft-SDK unity package開(kāi)發(fā)工具輔助完成功能的實(shí)現(xiàn)，具有執(zhí)行效率高、兼容性強(qiáng)、安全機(jī)制完善等優(yōu)點(diǎn)。

3.2.1 初始化設(shè)備模塊

該模塊的主要功能是初始化Kinect設(shè)備，使其做好工作前的準(zhǔn)備。這一部分主要分為五步，首先要獲取設(shè)備對(duì)象，接著對(duì)所獲取的對(duì)象和參數(shù)以及工作模式進(jìn)行參數(shù)設(shè)置，之后啟動(dòng)彩色數(shù)據(jù)流、深度數(shù)據(jù)流和音頻數(shù)據(jù)流，最后進(jìn)行事件的注冊(cè)。經(jīng)過(guò)這五步之后就完成了對(duì)設(shè)備的初始化，設(shè)備就開(kāi)始獲取數(shù)據(jù)和處理數(shù)據(jù)。

3.2.2 鼠標(biāo)控制模塊

該模塊的主要功能是獲取右手的位置，從而間接的控制屏幕中的鼠標(biāo)移動(dòng)，同時(shí)可以通過(guò)握拳動(dòng)作控制鼠標(biāo)的單擊操作。首先要從獲取到的深度圖中提取出右手關(guān)節(jié)點(diǎn)的坐標(biāo)，接著跟蹤右手關(guān)節(jié)點(diǎn)的移動(dòng)和動(dòng)作，獲取到移動(dòng)的路線，之后使用低通濾波器對(duì)移動(dòng)的路線進(jìn)行濾波，去除路線中的噪聲和誤判，最后將得到的移動(dòng)路線映射到屏幕中的鼠標(biāo)上，使鼠標(biāo)進(jìn)行相應(yīng)的移動(dòng)和操作。

3.2.3 界面響應(yīng)模塊

該模塊的主要功能是響應(yīng)鼠標(biāo)的點(diǎn)擊事件，從而實(shí)現(xiàn)相應(yīng)的功能以及在不同的界面間切換。當(dāng)鼠標(biāo)點(diǎn)擊界面上的某個(gè)按鈕時(shí)，就會(huì)觸發(fā)該按鈕所對(duì)應(yīng)的點(diǎn)擊事件，系統(tǒng)就會(huì)執(zhí)行該事件中的程序，實(shí)現(xiàn)相應(yīng)的功能。

3.2.4 頸部訓(xùn)練模塊

該模塊是整個(gè)系統(tǒng)最核心的模塊，該模塊的主要功能是提示使用者進(jìn)行訓(xùn)練的動(dòng)作，并判斷使用者的動(dòng)作是否達(dá)標(biāo)，同時(shí)在頁(yè)面中顯示使用者身體區(qū)域的彩色圖像。首先通過(guò)聲音和圖片信息提示使用者應(yīng)該做什么動(dòng)作，之后根據(jù)獲取到的深度圖提取人體的頭部、頸部和肩部的關(guān)節(jié)點(diǎn)坐標(biāo)，接著由這些關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算出頭部和頸部所在直線與左右肩部所在直線之間的夾角，再根據(jù)計(jì)算的角度和頸部的運(yùn)動(dòng)軌跡判斷使用者的動(dòng)作是否正確以及是否達(dá)標(biāo)。如果達(dá)標(biāo)則通過(guò)聲音和圖片提示達(dá)標(biāo)，如果不達(dá)標(biāo)則一直重復(fù)這個(gè)過(guò)程直到動(dòng)作達(dá)標(biāo)。當(dāng)一個(gè)動(dòng)作達(dá)標(biāo)之后會(huì)開(kāi)始下一個(gè)動(dòng)作的提示。

4 實(shí)驗(yàn)和分析

為了驗(yàn)證本文所設(shè)計(jì)的頸部康復(fù)訓(xùn)練系統(tǒng)是否對(duì)于不同的使用者均能夠正常工作，本實(shí)驗(yàn)選取了10位測(cè)試人員（5位男性，5位女性）對(duì)本系統(tǒng)進(jìn)行了測(cè)試，分別讓每測(cè)試人員進(jìn)行系統(tǒng)的操作和訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，所有測(cè)試人員均能夠被系統(tǒng)所識(shí)別，并能夠操作系統(tǒng)和進(jìn)行訓(xùn)練。

5 結(jié)語(yǔ)

本文設(shè)計(jì)了一套基于Kinect的頸部康復(fù)訓(xùn)練系統(tǒng)，該系統(tǒng)的硬件部分由Kinect v2體感設(shè)備和計(jì)算機(jī)組成，軟件的界面部分由Unity 3D進(jìn)行繪制。該系統(tǒng)能夠滿足患者進(jìn)行頸部康復(fù)訓(xùn)練的需求，并且可以根據(jù)康復(fù)的進(jìn)度進(jìn)行訓(xùn)練難度的設(shè)置。由于本系統(tǒng)的軟件部分采用模塊化的設(shè)計(jì)思想，因此在未來(lái)的研發(fā)過(guò)程中，還可以針對(duì)肢體訓(xùn)練的模塊進(jìn)行開(kāi)發(fā)，并加入到系統(tǒng)中。

參考文獻(xiàn)

[1]Zhang Zhengyou.Microsoft KinectSensor and Its Effect[M].[S.1.]：IEEEComputer Society Press，2012.

[2]Etienne E Y.Wavi Xtion[M].[S.1.]：TurbsPublishing，2012.

[3]丁晨，王君澤，瞿暢等.Kinect體感交互技術(shù)及其在醫(yī)療康復(fù)領(lǐng)域的應(yīng)用[J].中國(guó)康復(fù)理論與實(shí)踐，2013（02）：136-138.

[4]韓崢，劉華平，黃文炳等.基于Kinect的機(jī)械臂目標(biāo)抓取[J].智能系統(tǒng)學(xué)報(bào)，2013（02）：149-155.

[5]劉鑫，許華榮，胡占義.基于GPU和Kinect的快速物體重建[J].自動(dòng)化學(xué)報(bào)，2012，38（08）：1288-1297.