特殊教育人機交互數(shù)字化學習資源開發(fā)
——以特需學生肢體康復訓練場景為例

胡玉敏 郝 雷 劉 亮

《“十四五”特殊教育發(fā)展提升行動計劃》中強調，要鼓勵有條件的地方充分應用互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、虛擬現(xiàn)實和人工智能等新技術，推進特殊教育智慧校園、智慧課堂建設?！赌暇┦小笆奈濉碧厥饨逃l(fā)展提升行動計劃》在第二次重點任務“將深化融合教育，著力提高教育質量”中，提出要推進信息技術與特殊教育深度融合。上述技術發(fā)展趨勢和政府特殊教育政策指導，均要求教育信息化資源建設將工作重點投向新技術融合實際應用需求，持續(xù)提升數(shù)字化信息化學習資源的建設水平和覆蓋范圍。

一、學習資源開發(fā)的可行性分析

特殊教育肢體康復訓練場景中，因學生個體能力水平差異對訓練方法、過程及效果具有較大影響，從而導致特需學生的粗大肢體康復訓練具有相當大的實施難度，康復效果和實施效率不盡理想。因此，開發(fā)團隊在特殊教育學生的粗大肢體康復訓練場景中，嘗試采用基于計算機視覺和AR 人機交互等技術支持的數(shù)字化訓練學習資源，對學生訓練狀態(tài)進行實時、客觀、定量評估，根據(jù)學生水平自動適配學習方案，并通過人機交互界面對學生進行引導干預，助力解決特殊教育學生粗大肢體康復訓練的實際問題。

二、適切的技術方案與應用場景研究

資源使用范圍為特需兒童（腦癱后遺癥、孤獨癥、多動癥等）的個別化身體康復鍛煉、感統(tǒng)及功能康復、注意力訓練和簡單認知學習的融合及特殊教育場景。資源內容選取符合《培智學校義務教育課程標準（2016 版）》的知識點，通過繪本故事構建虛擬情境，以角色動作進行代入式互動操作。

（一）虛擬場景角色扮演交互應用場景

《過生日》是一款虛擬界面的情境體驗類粗大肢體康復訓練資源軟件。軟件設置的小紅帽為小豬過生日的虛擬情景，通過到野外采蘑菇、摘草莓和釣魚三個小任務的故事情境，實現(xiàn)數(shù)字、方位、大小、顏色等認知學習功能，同時通過下蹲、采摘、掄臂等動作進行粗大肢體康復訓練。軟件適合特殊或融合教育學習用途，操作步驟如下：

在軟件主界面，教師點擊鼠標選擇教學或游戲模式，教學模式中帶有操作動作語音提示，游戲模式由學生根據(jù)任務指令自主完成訓練。然后用鼠標點擊關卡圖標進入相應的訓練場景。在采蘑菇練習場景，學生面對電腦屏幕，左右移動身體控制屏幕上小紅帽玩偶左右移動。當小紅帽移動到蘑菇面前時，學生完成下蹲動作一次，控制屏幕上小紅帽下蹲采集一個蘑菇。學生重復左右移動，蘑菇定位配合身體下蹲動作若干次，直至采集完三個蘑菇，完成該練習場景。在摘草莓練習場景，類似采蘑菇場景，學生左右移動身體移動到草莓面前，蹲下采集草莓。相比采蘑菇場景，該場景增加了下蹲練習的難度，學生需要保持深蹲狀態(tài)一段時間，等待屏幕中的草莓變大后可以摘取，采集完三個草莓后完成練習。在釣魚場景，學生可以用任意一側手臂做掄臂甩竿動作后，身體下蹲觸發(fā)屏幕魚竿甩出，學生保持下蹲等待魚線旁的圓形進度條走完一圈后，魚上鉤。學生重復正確動作順序釣完三條魚完成練習。

在上述訓練關卡中，下蹲動作的保持時間可以由教師根據(jù)學生水平在軟件設置界面內設定，由此來適配學生不同的水平。另外，學生每次訓練的數(shù)據(jù)指標，例如下蹲次數(shù)和維持時間、場景練習時長等參數(shù)，也可以上傳到云平臺上的學生訓練數(shù)據(jù)庫，保留訓練日志，用于對學生練習歷史的回溯分析。在學生日常的訓練實施中，軟件通過云平臺的數(shù)據(jù)庫查詢學生歷史數(shù)據(jù)，由此設定當前動作訓練的難度，使得軟件具有自動適配學生水平的功能。

（二）實景視頻和虛擬道具融合的增強現(xiàn)實（AR）交互應用場景

《瘋狂地鼠》是一款粗大肢體康復訓練資源軟件。軟件采用增強現(xiàn)實界面和體感人機交互技術，創(chuàng)設練習情境，引導學生通過揮手抬腿等動作練習肢體力量和腦體協(xié)調能力，測評學生練習數(shù)據(jù)。

學生面對電腦屏幕站立在操作空間內，可以通過電腦屏幕觀看自己的動作視頻。地鼠從界面周邊6 個管道內隨機出現(xiàn)，當有地鼠出現(xiàn)的時候，學生揮手或踢腳擊中地鼠可以得分。地鼠出沒的位置和時間間隔，可以依據(jù)學生操作水平自動調整。每次練習后，學生訓練數(shù)據(jù)上傳到云端數(shù)據(jù)庫。學生下一次開始訓練時，軟件獲取上次訓練的歷史數(shù)據(jù)，獲得學生四肢水平的基線數(shù)據(jù)。如果學生基線數(shù)據(jù)顯示其上肢命中率高，則軟件設定地鼠從下肢位置出現(xiàn)的概率高，以便促進學生在本次練習中側重下肢動作練習。

（三）實景人物摳圖融合虛擬場景的混合現(xiàn)實交互體驗應用場景

《海底星空》學習資源采用混合現(xiàn)實界面和體感人機交互技術，學生面對電腦屏幕站立在操作空間內，可以通過電腦屏幕觀察自己身體在視頻中被摳圖后與資源情境背景融合，形成混合現(xiàn)實界面效果。學生在天空背景中與星星交互，在海底背景中與海洋生物進行互動，不僅可以學習星空海洋知識，還可以鍛煉方位感和反應能力、跳躍能力。軟件適用于特需兒童全身動作練習和培智學習等場景。

進入星空場景后，屏幕出現(xiàn)黃色星星時，學生移動身體，揮動手臂去觸碰星星得分。進入海底場景后，屏幕出現(xiàn)貝殼時，學生移動身體或彎腰，揮動手臂去抓貝殼。當出現(xiàn)鯊魚時，學生需要跳躍或蹲下躲避。

三、學習資源應用成效研究

（一）學生的成效

一是增強學習體驗。計算機視覺和AR 界面等技術可以為特殊教育學生創(chuàng)造更加生動、直觀的學習體驗，從而提高學習興趣和參與度，也有助于他們更好地理解和掌握知識。二是幫助康復訓練。系列資源通過虛擬場景和互動體驗來提供更加安全、便捷的康復訓練方式，同時還可以提高康復訓練的效果和效率，提升學生的學習自主性。三是幫助認知障礙學生。認知障礙學生在學習過程中可能會遇到一些障礙，如記憶力不足、注意力不集中等。系列資源提供更加直觀、清晰的信息展示和反饋，幫助學生更好地理解情境和反復練習。四是提供個性化學習。往期訓練的測評數(shù)據(jù)檔案輔助實現(xiàn)對學生水平的追蹤，從而為新的訓練提供了基線信息，便于根據(jù)學生能力動態(tài)調整資源使用難度，使得訓練更加具有針對性。系列資源根據(jù)學生的動作水平提供個性化的練習難度，從而更好地滿足他們的學習需求。

（二）教師的成效

一是提高教學參與度。通過技術與內容的融合，學生在虛擬世界中進行互動、體驗和探索，使他們的學習更加投入，從而顯著提升課堂參與度。二是提高教學效率。該系列資源可以幫助教師更快地獲取學生的學習情況和反饋信息，進而更好地調整和優(yōu)化教學策略和方法，提高教學效率。三是提升教師專業(yè)能力。使用計算機視覺和增強現(xiàn)實技術需要教師具備一定的技術能力和創(chuàng)新精神，因此，這些技術的應用可以幫助特殊教育學校教師不斷提升自己的專業(yè)能力和素質水平，進而提高教學質量和學生滿意度。

四、針對真實課堂的改進措施

開發(fā)團隊利用系列資源，通過“開發(fā)—試用—改進—再試用—再改進”的實驗流程，在南京市4 所特殊教育試點校開展了為期3 個月應用實驗。結果表明，特殊教育學生對使用該系列資源普遍持積極態(tài)度，愿意嘗試使用資源，課堂活躍度顯著上升，并對資源練習具有持續(xù)的興趣。教師反映，由于資源調動了學生的能動性、積極性，課堂勞動強度有所降低，并且可以借鑒學生水平測評數(shù)據(jù)，有效提升了課堂訓練效率。

不難看出，運用計算機視覺動作識別技術和增強現(xiàn)實AR 人機交互界面技術的特殊教育粗大肢體康復訓練學習資源，為特殊教育學生的康復訓練創(chuàng)設了一種安全便利的沉浸式游戲化互動環(huán)境。

當然，和其他新技術一樣，教師普遍在這類教學活動的設計上缺乏經驗，修正并形成固定可操作的教學模式可能會需要一個較長的探索過程。為達到較好的效果，教師亟須進行專項培訓、典型課例與可供參考的教學方案。因此，開發(fā)團隊將加強對其在相關訓練場景的專業(yè)度提升，在未來繼續(xù)深入開展此類資源在特殊教育領域的深度和廣度研究。