基于Hololens的書法實踐課程設(shè)計

張越　趙露

摘要：本文利用unity3d引擎，實現(xiàn)手勢、語音、凝視等交互，讓使用者在“枯燥”的書法實踐中體驗到科技感，提高對國學(xué)類傳統(tǒng)技藝的興趣。此實踐還可應(yīng)用于其他科目的教學(xué)設(shè)計中。

關(guān)鍵詞：Hololens;混合現(xiàn)實;MR教育;書法實踐

中圖分類號：TP391.9 文獻標(biāo)識碼：A 文章編號：1007-9416（2019）02-0130-02

0 引言

近年來，HTC、Oculus（現(xiàn)已被Facebook收購）等互聯(lián)網(wǎng)巨頭公司先后發(fā)布基于增強現(xiàn)實技術(shù)、虛擬現(xiàn)實技術(shù)的系列產(chǎn)品，引發(fā)了醫(yī)療、教育、游戲等傳統(tǒng)領(lǐng)域與高新科技技術(shù)交叉應(yīng)用的新浪潮?！盎旌犀F(xiàn)實技術(shù)”試圖將人與虛擬世界和現(xiàn)實世界三者同時聯(lián)結(jié)起來[1]，使用者會在不同的角度獲得沉浸式的深度交互。微軟公司生產(chǎn)的Hololens是目前技術(shù)較為成熟的可穿戴式頭盔?；谠撛O(shè)備的前沿應(yīng)用大多投入于醫(yī)療、軍事等領(lǐng)域。技術(shù)受限及高額預(yù)算使其普及度大大降低。將其應(yīng)用于教育方面的開發(fā)與實踐探索，在國內(nèi)尚屬起步階段[2]。

1 實踐特點

書法，作為我國極為重要的優(yōu)良傳統(tǒng)文化，它的教育意義可以說是毋庸置疑[3]。如何在課堂上實現(xiàn)書法教學(xué)，讓學(xué)生通過書法感受到中國古代文化的博大精深，并得到思想與意識的陶冶？這一話題始終存在，但可實現(xiàn)的解決方案卻受限于地點、教資、學(xué)生可支配時間等各項因素。書法在實踐前期是極其枯燥的，并且無法在較短的時間內(nèi)得到書寫水平的迅速提高。由此導(dǎo)致了青少年過早的興趣缺失，轉(zhuǎn)而投入其他課外領(lǐng)域。而基于混合現(xiàn)實情景下的書法教學(xué)會使高新科技與傳統(tǒng)國學(xué)擦出火花。使用者將沉浸式感受電子教學(xué)，并在觸手可得的區(qū)域進行書法練習(xí)。這種教學(xué)模式可以避免學(xué)生的消極態(tài)度，并降低了來往于培訓(xùn)機構(gòu)、學(xué)校場地的時間成本。

2 前期開發(fā)準(zhǔn)備

2.1 計算機開發(fā)環(huán)境

硬件配置：64位Windows10專業(yè)版，16GB內(nèi)存，4核CPU，微軟Hololens可穿戴頭盔。

編譯環(huán)境：Visual Studio2017， Unity 5.6.3p2。

2.2 注意事項

在BIOS中進行設(shè)置，確保PC機虛擬化（virtualization），并啟用 Hyper-V。安裝VS2017時添加Win10 SDK（10.0.14393.0）組件。將PC機與Hololens更改為開發(fā)者模式，并確保兩者的網(wǎng)絡(luò)連接所屬同一局域網(wǎng)。

3 內(nèi)容設(shè)計

3.1 npc引導(dǎo)

利用3dsMax建模書童人物，當(dāng)使用者進入應(yīng)用后，播放開場提示。手勢對準(zhǔn)npc張合后，其產(chǎn)生高亮狀態(tài)，說明進入學(xué)習(xí)模式。人物四周設(shè)置附加功能的UI面板，通過凝視射線進入/移出區(qū)域控制UI面板顯示。在進入書寫動畫主面板前，npc將一直存在，“陪伴”使用者熟悉使用流程。

3.2 書寫動畫控制及附加功能

書寫動畫控制：用戶語音“Show Me The Detail”，卷軸顯示并啟動書法學(xué)習(xí)模式。扇形模型顯示進度。加載完成后顯示主面板，字體動畫主面板如圖1所示。此處包含凝視功能，實現(xiàn)移至某一字體小面板，其自動更改顏色以提示用戶的實現(xiàn)實況。

用戶可選擇上下頁切換以及返回功能。手勢控制打開每個面板，對單個字體進行選中后，主面板自動進行隱藏。根據(jù)用戶手冊，可查詢每個字體動畫播放的語音。以戈字為例，若用戶語音說出“The First Video”，即可打開動畫播放界面。并以手勢控制字體的動畫的關(guān)閉。

附加功能：

（1）唐詩朗誦 增設(shè)真人朗讀功能，下同。若使用者選取《中秋月二首》，用戶語音說出：“Ask the moon”。其他詩詞對應(yīng)參見手冊，后臺根據(jù)語音自動切換音頻。

（2）小故事 此處選取柳公權(quán)的故事進行四部分節(jié)選，語音控制為“The First One”，剩下的為second，third，fourth，后臺可自動切換音頻。

包含上述兩項的附加功能面板如圖2所示。

4 核心算法

4.1 空間定位

增加空間映射讓Hololens掃描并讀取空間網(wǎng)格數(shù)據(jù)。在可移動物體上 放置TapToPlace腳本，使用Raycast視線檢測，實時對其進行定位，選中時顯示空間網(wǎng)格，反之隱藏網(wǎng)格，優(yōu)化用戶體驗。建立一個空物體綁定用來管理全息空間的物體錨點，優(yōu)化物體反應(yīng)速度。

4.2 語音

首先打開microphone權(quán)限，使用關(guān)鍵詞管理器keyword Manager組件定義語音內(nèi)容并實現(xiàn)具體函數(shù)。如調(diào)用字體書法主面板，即使用ShowPlane（）方法，將npc綁定的object設(shè)置為false，字體面板綁定的object設(shè)置為true。

4.3 凝視

凝視（Gaze）可以幫助我們確定視線的具體位置，其具體意義可類比為pc端的光標(biāo)。相機位置為起始點，raycast射線“擊中”綁定碰撞體的物體后，產(chǎn)生不同反應(yīng)，此處為腳本具體實現(xiàn)。

4.4 手勢交互

Hololens提供的底層API獲取手的位置、速度、姿態(tài)（開張合、平移）信息。如平移操作：在三維坐標(biāo)系環(huán)境中，獲取用戶手勢的起始和終止位置，對相應(yīng)物體添加平移remove（）腳本，根據(jù)rotate的在x、y、z軸移動的不同角度與時間進行相關(guān)運算來控制其平移事件，其他交互動作根據(jù)不同腳本實現(xiàn)。

5 結(jié)語

本文探索的基于Hololens的書法實踐課程，以微軟混合現(xiàn)實頭戴設(shè)備為用戶體驗終端，在配置好windows環(huán)境后，成功實現(xiàn)pc端與設(shè)備端的連接。再利用unity引擎實現(xiàn)具體功能腳本。該項目可使佩戴者在任意的地點觀看書法視頻字體教學(xué)，并可根據(jù)習(xí)慣調(diào)整位置再進行寫字練習(xí)。后續(xù)將著重于開發(fā)字體展示效果及補充其他國學(xué)類相關(guān)內(nèi)容。

參考文獻

[1] 陳寶權(quán)，秦學(xué)英.混合現(xiàn)實中的虛實融合與人機智能交融[J].中國科學(xué)：信息科學(xué)，2016，46（12）：1737-1747.

[2] 畢盈盈.混合現(xiàn)實技術(shù)在數(shù)字化產(chǎn)品展示設(shè)計中的應(yīng)用[D].中國美術(shù)學(xué)院，2012.

[3] 曲詔菁彥.中小學(xué)美術(shù)課書法教學(xué)研究[D].魯東大學(xué)，2018.

Design of Calligraphy Practice Course Based on Hololens

ZHANG Yue，ZHAO Lu

（Chongqing University of Posts and Telecommunications，Chongqing? 400065）

Abstract：This article uses the unity3d engine to realize gestures， voices， gaze and other interactions， allowing users to experience the sense of science and technology in the "boring" calligraphy practice and improve their interest in traditional Chinese art. This practice can also be applied to instructional design in other subjects.

Key words：Hololens; mixed reality;MR education;calligraphy practice