基于LeapMotion手勢識別的認(rèn)知訓(xùn)練系統(tǒng)的設(shè)計和實現(xiàn)

李楊韜，禹東川，靳來鵬，宋文凱，劉金雙

（東南大學(xué) 兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點實驗室，江蘇 南京　210096）

基于LeapMotion手勢識別的認(rèn)知訓(xùn)練系統(tǒng)的設(shè)計和實現(xiàn)

李楊韜，禹東川，靳來鵬，宋文凱，劉金雙

（東南大學(xué) 兒童發(fā)展與學(xué)習(xí)科學(xué)教育部重點實驗室，江蘇 南京210096）

針對當(dāng)前兒童認(rèn)知訓(xùn)練系統(tǒng)缺乏自然的人機交互手段的缺陷，設(shè)計實現(xiàn)了一種高精度自然人機交互的認(rèn)知訓(xùn)練系統(tǒng)。詳細(xì)介紹了系統(tǒng)的實現(xiàn)，設(shè)計了模仿類等認(rèn)知訓(xùn)練任務(wù)，使用LeapMotion設(shè)備獲得手部實時數(shù)據(jù)，并對其進行計算處理后獲得手部動作，利用Unity3D開發(fā)3D任務(wù)場景客戶端，增加用戶臨場感。系統(tǒng)實現(xiàn)了訓(xùn)練場景自然的人機交互，展示了自然人機交互在兒童發(fā)展，虛擬現(xiàn)實，醫(yī)療，健康等領(lǐng)域的美好應(yīng)用前景。

人機交互；LeapMotion；認(rèn)知訓(xùn)練；手勢識別

在兒童發(fā)展中，認(rèn)知訓(xùn)練已被證明是一種重要的提升兒童認(rèn)知能力的訓(xùn)練方式［1］。進行認(rèn)知訓(xùn)練的方式有很多，近年來，認(rèn)知訓(xùn)練交互方式出現(xiàn)了諸如基于平板，電子卡片，姿態(tài)控制等新興交互方式［2］。自然、高效的人機交互以輔助兒童認(rèn)知發(fā)展已經(jīng)成為一個熱門的研究方向［3］。目前，國內(nèi)外已有姿態(tài)交互方式進行認(rèn)知訓(xùn)練的嘗試，如基于kinect動作識別的認(rèn)知訓(xùn)練系統(tǒng)已取得了一定進展［4］，但其識別精度為4 cm［5］，無法實現(xiàn)對精細(xì)動作的識別。鑒于此，本文借助新興的LeapMotion高精度體感識別傳感器 （識別精度達0.01 mm［6］），研制了一套面向兒童的認(rèn)知訓(xùn)練系統(tǒng)，并采用了3D虛擬場景設(shè)計技術(shù)［7］，增加用戶的臨場感，以達到良好的認(rèn)知訓(xùn)練效果。

1　系統(tǒng)分析與設(shè)計

1.1系統(tǒng)需求分析

基于LeapMotion手勢識別的認(rèn)知訓(xùn)練系統(tǒng)需完成用戶各手勢的準(zhǔn)確識別，并在此基礎(chǔ)上完成認(rèn)知訓(xùn)練任務(wù)場景交互等功能。同時，為了達到良好的自然人機交互效果，需要設(shè)計并實現(xiàn)生動逼真的3D訓(xùn)練場景，并在此基礎(chǔ)上完成用戶管理，數(shù)據(jù)分析與管理等網(wǎng)絡(luò)化服務(wù)，以幫助用戶進行訓(xùn)練成效的評估。系統(tǒng)需求如圖1所示。

圖1　系統(tǒng)需求

1.1.1手勢識別

使用LeapMotion輔助設(shè)備進行手勢識別。需要識別兒童民間游戲中使用到的常用手勢，做到交互自然。利用分類算法進行手勢分類。

1.1.2認(rèn)知訓(xùn)練任務(wù)

認(rèn)知訓(xùn)練常見的訓(xùn)練任務(wù)有模仿類訓(xùn)練任務(wù)，抑制類訓(xùn)練任務(wù)，粗大動作類訓(xùn)練任務(wù)，精細(xì)動作類訓(xùn)練任務(wù)等［8，9］。需要實現(xiàn)以上幾類訓(xùn)練任務(wù)的訓(xùn)練場景。

1.1.33D交互場景

使用3D引擎完成角色動作，需要實現(xiàn)角色移動，旋轉(zhuǎn)，跳躍等。以及完成場景搭建與切換。

1.1.4網(wǎng)絡(luò)數(shù)據(jù)分析與管理

此模塊主要運行在服務(wù)端，用于統(tǒng)計用戶訓(xùn)練數(shù)據(jù)，展示效果。并管理各用戶訓(xùn)練數(shù)據(jù)，提供分析的接口。

1.1.5用戶管理

為保證數(shù)據(jù)的安全性和用戶的數(shù)據(jù)獨立性，需要采用先注冊再登錄的模式，才能進入系統(tǒng)進行訓(xùn)練。

1.2系統(tǒng)架構(gòu)

認(rèn)知訓(xùn)練系統(tǒng)使用手勢識別設(shè)備作為交互的底層支持，用戶通過自然的手勢交互完成與認(rèn)知訓(xùn)練任務(wù)場景的互動，通過模仿，抑制訓(xùn)練等方式提高用戶認(rèn)知能力，同時記錄用戶數(shù)據(jù)，放于云端，以便用戶查詢。本系統(tǒng)客戶端使用Unity3D開發(fā)3D任務(wù)場景，使用戶更好地融入場景中。系統(tǒng)使用C/S模式，服務(wù)端使用Node.js與MongoDB開發(fā)。系統(tǒng)的架構(gòu)如圖2所示。

圖2　系統(tǒng)架構(gòu)

2　系統(tǒng)實現(xiàn)

2.1客戶端

本系統(tǒng)前端為桌面客戶端程序，桌面客戶端主要運行有手勢識別模塊，訓(xùn)練任務(wù)場景模塊以及歷史結(jié)果查詢模塊。

2.1.1手勢識別模塊

LeapMotion提供手部各個關(guān)節(jié)的單位方向向量［10-11］，以手掌中心為坐標(biāo)原點建立坐標(biāo)系，將各方向向量進行坐標(biāo)變換統(tǒng)一到此坐標(biāo)系下的向量后，進行夾角計算。蜷縮度是以單根手指各骨關(guān)節(jié)之間的夾角組成的向量來表達，除大拇指外其余4根手指有3個關(guān)節(jié)，大拇指有2個關(guān)節(jié)，通過計算骨于骨之間的夾角得到彎曲程度，一只手的蜷縮度是由14個值組成的向量。通過收集20位被試的手勢蜷縮度信息，使用線性判別分析（Linear Discriminant Analysis LDA）［12］線性分類器進行數(shù)據(jù)分類，從而完成手勢識別工作。

其中w為計算得到的LDA投影向量［13］，xi為訓(xùn)練樣本，計算得到該類樣本的分類情況cith對所有分類值進行算術(shù)平均，再以平均值間的一半距離作為分類閾值，最終得到手勢分類閾值如下所示：

其中，cjth為第j類手勢下的樣本分類平均值，Cjth為同一分類的分類閾值。通過計算，以“剪刀石頭布”民間兒童游戲常用手勢為例，得到表1所示的分類效果。

表1　民間兒童游戲手勢閾值

在實際應(yīng)用時，將獲得的實時數(shù)據(jù)與投影向量相乘，將得到的值與表1的閾值進行比較。由于分類器已經(jīng)得到，所以手勢數(shù)據(jù)的計算不需要經(jīng)過復(fù)雜的運算，直接通過編寫好的分類器進行輸入，手勢識別的實時性良好。

2.1.2訓(xùn)練任務(wù)場景設(shè)計及實現(xiàn)

認(rèn)知訓(xùn)練任務(wù)是整個系統(tǒng)的核心?？傮w來說，訓(xùn)練任務(wù)場景設(shè)計一要符合認(rèn)知任務(wù)的需要，二要具有一定的趣味性，三要交互的無障礙性，要將兒童精力更多的集中到場景中，而不是無關(guān)的操作過程［14-15］。文中以模仿類任務(wù)來具體闡述認(rèn)知訓(xùn)練任務(wù)的設(shè)計思路。模仿作為兒童認(rèn)知發(fā)展的重要手段，通過模仿，兒童不僅可以學(xué)會各種技能，更好地了解他周圍的世界，獲得許多認(rèn)知經(jīng)驗，還可以在模仿的過程中得到許多愉悅的情緒感受［16］。任務(wù)場景交互手勢選用具有娛樂性的民間兒童游戲［17］中的常用手勢。以民間兒童游戲“剪刀石頭布”為例，將其用到的三種手勢作為模仿的基本手勢，并進行多個數(shù)量的組合，從而得到多個場景交互手段，再通過3D虛擬場景，增強兒童的場景沉浸感。模仿類任務(wù)第一關(guān)要求兒童按照提示出示單個相關(guān)手勢，第二關(guān)要求兒童按順序出示2次相關(guān)手勢，第三關(guān)依此類推。初始游戲場景內(nèi)會有一個虛擬交互角色，游戲開始后在屏幕左上角會出現(xiàn)游戲提示手勢，以示意兒童模仿該手勢，完成“剪刀石頭布”游戲。在此期間系統(tǒng)會不斷捕捉用戶手勢，記錄捕捉到的手勢，當(dāng)捕捉到正確的手勢后，系統(tǒng)播放提示音，同時虛擬交互角色給出相應(yīng)語音和動作反饋，當(dāng)兒童完成一關(guān)任務(wù)后，系統(tǒng)將本關(guān)手勢識別正確率提交到后端，以記錄該次任務(wù)成績。客戶端主要使用Unity3D進行場景及程序設(shè)計，利用Unity3D引擎完成一些常見的物體運動。進入場景，在無任何用戶輸入的情況下，虛擬角色進行隨機循環(huán)走動，通過對移動向量的計算，再對角色轉(zhuǎn)角進行插值，使角色轉(zhuǎn)動過程平滑，可以逐步移動到指定位置。以一場景中虛擬海豚為例，在Unity3D引擎中設(shè)計好8個布置于海洋場景內(nèi)部固定的不可見的游動點，海豚初始于其中隨機一點，下一個移動點為除上一點外的7個點中的隨機一個點，如此循環(huán)，海豚在海洋內(nèi)進行隨機巡游。海豚表演采用類似手法，在場景中布置好表演的點位，當(dāng)手勢識別結(jié)果正確后，海豚會移動到此點位，并根據(jù)表演性質(zhì)不斷改變海豚坐標(biāo)，以完成一次海豚表演。

2.2服務(wù)端

由于服務(wù)端都是提供網(wǎng)絡(luò)服務(wù)，又由于Node.js采用事件驅(qū)動、異步編程，為網(wǎng)絡(luò)服務(wù)而設(shè)計［18］，Node.js輕量高效，開發(fā)便捷。所以服務(wù)端主要是使用Node.js編寫，使用express框架，并編寫URL路由處理模塊。數(shù)據(jù)庫使用Mongodb，運行于Linux系統(tǒng)。服務(wù)端主要實現(xiàn)2個模塊，用戶驗證，數(shù)據(jù)管理。都以JSON接口方式提供服務(wù)，對于所設(shè)計的接口，在實現(xiàn)時需要注意水平權(quán)限問題。

2.2.1Web層

由于Node.js是以異步方式編程，為了達到類似同步編程效果，引入Async庫進行異步流程控制。Web層主要提供如表2所示的主要Web接口。

表2　主要Web接口

2.2.2業(yè)務(wù)邏輯層

業(yè)務(wù)邏輯層作為系統(tǒng)中間層，利用數(shù)據(jù)接入層提供的數(shù)據(jù)，計算用戶使用系統(tǒng)的頻率，并進行用戶歷史數(shù)據(jù)分析等，以供上層各請求調(diào)用。

2.2.3數(shù)據(jù)接入層

由于MongoDB屬于非關(guān)系型數(shù)據(jù)庫，且提供了面向文檔的存儲，所以其操作起來比較簡單和容易。利用npm引入Mongoose，MongoDB Node.js Driver，對 mongodb中的 User，Score等集合編寫增刪改查等數(shù)據(jù)訪問層接口以供上層訪問，分別提供用戶信息，積分信息的數(shù)據(jù)接入服務(wù)。

3　系統(tǒng)運行

文中主要研究了LeapMotion手勢識別在認(rèn)知訓(xùn)練系統(tǒng)上的應(yīng)用，為了驗證系統(tǒng)的可行性和運行效果，先進行LeapMotion手勢識別正確率測試。由30位被試進行手勢正確率測試，每位被試按照系統(tǒng)提示出示表1中各手勢，每類手勢共隨機出現(xiàn)5次，最終統(tǒng)計手勢識別正確率如表3所示。

表3　手勢識別正確率

由此可見，系統(tǒng)手勢識別正確率較高，可用于自然人機交互的需要。系統(tǒng)在實際應(yīng)用中，采用Unity3D作為3D呈現(xiàn)引擎，場景畫面運行流暢，手勢響應(yīng)及時準(zhǔn)確，采用Node.js后端，系統(tǒng)數(shù)據(jù)傳輸穩(wěn)定，效果十分優(yōu)異。圖3所示為某用戶按照場景畫面左上角提示于LeapMotion設(shè)備上方做出 “剪刀”手勢，圖4所示為某用戶模仿類任務(wù)的訓(xùn)練情況。

圖3　手勢訓(xùn)練任務(wù)

圖4　訓(xùn)練結(jié)果呈現(xiàn)

4　結(jié)束語

文中介紹了基于 LeapMotion手勢識別的認(rèn)知訓(xùn)練系統(tǒng)，利用3D游戲形式增加了任務(wù)臨場感，并將云服務(wù)與認(rèn)知訓(xùn)練有效結(jié)合，提供了更便捷、更有效的訓(xùn)練手段，為認(rèn)知訓(xùn)練系統(tǒng)設(shè)計提供了思路。認(rèn)知訓(xùn)練作為一種重要的提升兒童認(rèn)知能力的訓(xùn)練方式，會對兒童智力、學(xué)習(xí)、推理、創(chuàng)造力等高級認(rèn)知活動的發(fā)展產(chǎn)生影響，通過相應(yīng)的認(rèn)知訓(xùn)練任務(wù)，兒童在智力水平等方面可以得到有效的提高，特別是對患有孤獨癥譜系障礙的兒童的認(rèn)知訓(xùn)練具有借鑒價值和實用價值。

［1］Belleville S.Cognitive training for persons with mild cognitive impairment［J］.International Psychogeriatrics，2008，20（1）：57-66.

［2］Abikoff H.Cognitive training in ADHD children：Less to it than meets the eye［J］.Journal of learning Disabilities，1991，24（4）：205-209.

［3］D'Amico G，Del Bimbo A，Dini F，et al.Natural Human-Computer Interaction［M］.Multimedia Interaction and Intelligent User Interfaces.Springer London，2010：85-106.

［4］張毅，張爍，羅元，等.基于Kinect深度圖像信息的手勢軌跡識別及應(yīng)用［J］.計算機應(yīng)用研究，2012，29（9）：3547-3550.

［5］黃健.基于Kinect系統(tǒng)運動采集的康復(fù)訓(xùn)練平臺的研究與設(shè)計［D］.成都：電子科技大學(xué)，2013.

［6］Guna J，Jakus G，Pogaanik M，et al.An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking［J］.Sensors，2014，14（2）：3702-3720.

［7］Wang S，Mao Z，Zeng C，et al.A new method of virtual reality based on Unity3D［C］.Geoinformatics，2010 18th International Conference on.IEEE，2010：1-5.

［8］王君，陳天勇.抑制控制與高級認(rèn)知功能的關(guān)系［J］.心理科學(xué)進展，2012，20（11）：1768-1778.

［9］Ulrich D A.Test of gross motor development-2［J］.Austin：Prod-Ed，2000.

［10］Hodson H.Leap motion hacks show potential of new gesture tech［J］.New Scientist，2013，218（29）：21.

［11］Khademi M，MousaviHondori H，McKenzie A，et al.Freehand interaction with leap motion controller for stroke rehabilitation［C］.CHI'14 Extended Abstracts on Human Factors in Computing Systems.ACM，2014：1663-1668.

［12］Ye J，Janardan R，Li Q.Two-dimensional linear discriminant analysis［C］.Advances in neural information processing systems，2004：1569-1576.

［13］Scholkopft B，Mullert K R.Fisher discriminant analysis with kernels［J］.Neural networks for signal processing IX，1999，（1）：1.

［14］Sharma R，Pavlovic V，Huang T S.Toward multimodal humancomputer interface［J］.Proceedings of the IEEE，1998，86（5）：853-869.

［15］RautaraySS，AgrawalA.Visionbasedhandgesture recognition for human computer interaction：a survey［J］. Artificial Intelligence Review，2015，43（1）：1-54.

［16］賈湘柳.模仿的認(rèn)知基礎(chǔ)及其對外語教學(xué)的啟示［J］.衡陽師范學(xué)院學(xué)報，2006，27（4）：158-161.

［17］邱學(xué)青.論民間兒童游戲的教育價值［J］.教育導(dǎo)刊，1997：2.

［18］Kovatsch M，Lanter M，Duquennoy S.Actinium：A restful runtime container for scriptable internet of things applications［C］//Internet of Things（IOT），2012 3rd International Conference on theIEEE，2012：135-142.

The design and implement of cognitive training system based on leapMotion gesture recognition

LI Yang-tao，YU Dong-chuan，JIN Lai-peng，SONG Wen-kai，LIU Jin-shuang
（China Key Laboratory of Ministry of Education，Child Development Learning Science，Southeast University，Nanjing 210096，China）

Aiming at the defects of natural Human-Computer interaction in the current children's cognitive training system，a kind of cognitive training system with high accuracy and natural Human-Computer interaction is designed and realized.This paper introduces the implementation of the training system，designs cognitive training tasks such as mitation taskand so on. Using the LeapMotion device to obtain the real-time data，the system can get the hand action after the calculation.Meanwhile，the 3D client is developed by Unity3D whick aims at enhancing user's presence.The system has realized the natural Human-Computer interaction in the training scene，and has demonstrated the good application prospect in the field of virtual reality，medical treatment，health and other fields.

human-computer interaction；leapMotion；cognitive training；gesture recognition

TN02

A

1674－6236（2016）09-0012-03

2015-12-16稿件編號：201512182

國家自然科學(xué)基金項目（61273224）

李楊韜（1990—），男，貴州凱里人，碩士研究生。研究方向：人機交互、手勢識別。