自然交互環(huán)境訓練自閉癥兒童動作和認知能力

蔡蘇 楊陽 常婷 朱高俠

【摘 要】自然交互技術支持以真實的肢體動作與系統(tǒng)進行交互，建立真實世界與虛擬世界的聯(lián)系，在增強現(xiàn)實（AR）技術為基礎的虛實融合學習環(huán)境創(chuàng)造更為自然的交互體驗。本文介紹了北京師范大學“VR/AR+教育”實驗室基于手勢識別設備的自然交互系列游戲對自閉癥兒童的干預研究，闡述了自然交互技術與增強現(xiàn)實相結合的環(huán)境在教育中發(fā)揮的作用。在未來，仍需要教育工作者、技術專家等多方人員的共同參與研究自然交互與教育更好的融合應用。

【關鍵詞】自然交互；特殊教育；自閉癥

【中圖分類號】G434 【文獻標識碼】A

【論文編號】1671-7384（2018）07、08-0150-03

自然交互技術

人機自然交互技術，簡稱自然交互（Human-Computer Nature Interaction，HCNI；或Human-Machine Nature Interaction，HMNI），指代用手勢或其他肢體動作作為輸入來控制一個系統(tǒng)的各種各樣的交互方式[1]。新媒體聯(lián)盟（New Media Consortium， NMC）2011年～2016年發(fā)布的《地平線報告》中指出，以自然交互技術為內(nèi)核的姿勢計算、可穿戴設備、自帶設備、增強現(xiàn)實等技術已經(jīng)成為教育信息技術的新興技術[2]。姿勢計算領域算法的更新為自然交互的實現(xiàn)提供了后臺基礎，提高了對自然交互動作的識別精度和準確度。可穿戴設備和自帶設備是自然交互得以實現(xiàn)的媒介，諸如Microsoft Kinect和Leap Motion這樣低成本實現(xiàn)媒介的推出極大地促進了自然交互技術的推廣[3]。

自然交互教育應用的案例

Pio Alfredo Di tore等人認為將日常行為定義為操作行為，將對知識概念的認知過程轉化為動作過程，自然交互技術即會為教育提供強大的工具[4]。Seoul Cyber Univ開發(fā)了一個運用Leap Motion幫助孩子學習蜜蜂跳舞的系統(tǒng)，孩子可以通過這個游戲增進對蜜蜂交流方式的理解[5]。JF Martinsanjose等人開發(fā)了基于Kinect的歷史學習平面系統(tǒng)和3D系統(tǒng)。他們發(fā)現(xiàn)自然交互的使用可以有效培養(yǎng)學生的學習動機并且提高學習效果，其中3D系統(tǒng)能更大程度上激發(fā)學習動機并且促進深度學習的發(fā)生，讓學生對知識有更好的理解和領會，并且學生反饋自然交互技術的操作比傳統(tǒng)交互更易掌握[6]。

近年來，國內(nèi)也涌現(xiàn)了一系列使用自然交互技術優(yōu)化教學過程的案例。王文淵開發(fā)出了一套基于Kinect體感式兵兵球教學課件，對上海市某小學的乒乓球課進行了調查、教學與測驗，寓教于樂，激發(fā)了學生的學習興趣，提高了學生的乒乓球技術[7]。蔡蘇等人開發(fā)的基于Kinect的增強現(xiàn)實磁場學習系統(tǒng)幫助初中生進行物理實驗，有效提高了學生的學習熱情和學習成效[8]。華子荀設計的基于Leap Motion的數(shù)字電視節(jié)目提高了學生的學習質量、學習積極性[9]。蔡蘇、朱高俠等人運用Leap Motion幫助自閉癥兒童進行康復訓練，提高了自閉癥兒童的精細動作水平和認知水平[10]。

自然交互應用于自閉癥兒童教育實證案例

自閉癥也被稱為孤獨癥，是一種廣泛性發(fā)育障礙。自閉癥兒童普遍具有精細動作障礙和認知障礙。在對自閉癥兒童的訓練中，教師需要承擔引導訓練、安排流程、提供反饋、記錄數(shù)據(jù)等大量工作，而且有些使用的訓練物品在真實環(huán)境中難以收集和制作?；诖?，我們設計了基于Leap Motion的自然交互系列游戲。游戲分為三關，關卡難度逐漸增加；在第一關中，用戶需要對顏色進行匹配，將紅、綠、藍三種顏色的球分別放入對應的容器里；在第二關中，用戶需要將草莓、山楂、蘋果分別插到對應的木棍上（木棍較細，動作要求更精細）；在第三關中，給用戶一串由不同顏色小熊串成的飾物，要求用戶串成相同序列的飾物。游戲的正反饋為自閉癥兒童能理解和接收的笑臉，為了不打擊其積極性，用戶做錯的情況下，也不提供負反饋。用戶操作如圖1所示。

三名來自北京一所特殊教育學校的兒童使用該游戲進行了訓練，他們分別在第7天、第12天、第10天達到游戲正確率100%的訓練要求。在訓練前后，研究者使用《自閉癥兒童精細動作評估表》和《自閉癥兒童認知評估表》對他們的精細動作和認知進行了評估，結果如圖2所示。該結果說明，基于自然交互的游戲干預是可行的，并且對提高自閉癥患者的精細動作水平、認知水平是有幫助的。根據(jù)對三名兒童的教師和家長的訪談，研究者認為基于自然交互的游戲也有利于提高自閉癥兒童的三維空間感知能力，減少其特殊行為，提高其注意力。

總結

自然交互技術的應用能夠有效提高自閉癥兒童精細動作水平和認知水平。自然交互技術支持以真實的身體動作與虛擬世界中的物體進行互動，可以促進增強現(xiàn)實技術環(huán)境下真實世界和虛擬對象的融合。將自然交互技術運用到學習環(huán)境的構建中，可以支持教師和學生以自然的動作與學習空間進行互動，促進學習者認知、動作技能和情感的發(fā)展。將自然交互融入學習環(huán)境，創(chuàng)造更為智能的學習空間，需要相關的技術設計、開發(fā)人員，教學設計人員和更多教育領域的一線教師以及學科專家共同參與，打造更為虛實融合的學習情境。

注：本文受北京市教育科學“十三五”規(guī)劃青年專項課題“增強現(xiàn)實游戲在自閉癥兒童生活技能習得的應用及影響研究”（編號：CCHA16120）資助

參考文獻

O'HARA K， HARPER R， MENTIS H， et al. On the naturalness of touchless： Putting the “；interaction”； back into NUI [J]. ACM Transactions on Computer-Human Interaction， 2013， 20（1）： 526-536.

李玲，胡衛(wèi)星，趙苗苗，et al. 手勢計算技術教學應用的現(xiàn)狀及問題分析[J]. 現(xiàn)代教育技術，2016，26（1）： 34-38.

PESCARIN S， PIETRONI E， RESCIC L， et al. NICH： A preliminary theoretical study on natural interaction applied to cultural heritage contexts； proceedings of the Digital Heritage International Congress， F， 2013 [C].

TORE P D T A P D， DISCEPOLO T， DI T S. Natural User Interfacesas a powerful tool forcourseware design inPhysical Education [J]. Journal of E-Learning and Knowledge Society， 2013， 9（2）： 105-114.

CHO O H. Development of serious game for kids using Leap Motion based on honey bee dance； proceedings of the Games and Graphics and， F， 2014 [C].

MARTINSANJOSE J F， JUAN M C， MOLLá R， et al. Advanced displays and natural user interfaces to support learning [J]. Interactive Learning Environments， 2015， 1-18.

王文淵. 體感技術課件在小學乒乓球教學中的運用研究[D]. 上海師范大學，2014.

CAI S， CHIANG F-K， SUN Y， et al. Applications of augmented reality-based natural interactive learning in magnetic field instruction [J]. Interactive Learning Environments， 2017，25（6）： 778-791.

華子荀. Leap Motion支持下教育電視節(jié)目提高學生學習質量和效果的研究[J]. 教育信息技術，2015（5）： 60-63+45.

CAI S， ZHU G， WU Y-T， et al. A case study of gesture-based games in enhancing the fine motor skills and recognition of children with autism [J]. Interactive Learning Environments， 2018， 1-14.