基于AR技術(shù)的全息玩具兒童古詩(shī)詞移動(dòng)應(yīng)用系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

陳幗鸞 高劉杰

摘要：隨著科技的發(fā)展，AR增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)融入到當(dāng)下的教育中。本系統(tǒng)是基于MergeCube全息玩具的兒童古詩(shī)詞教育系統(tǒng)，用戶將應(yīng)用安裝到移動(dòng)設(shè)備端，通過(guò)掃描Merge Cube全息玩具，能夠在移動(dòng)設(shè)備中把原來(lái)的全息玩具變成不同詩(shī)詞對(duì)應(yīng)的AR立體場(chǎng)景及動(dòng)畫，旋轉(zhuǎn)全息玩具即旋轉(zhuǎn)全息的立體場(chǎng)景，并能與之交互，并能實(shí)現(xiàn)錄像，拍照，語(yǔ)音召喚等多種功能。

關(guān)鍵詞：AR技術(shù);MergeCube全息玩具;Unity3D;古詩(shī)詞

中圖分類號(hào)：TS958.02 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2020）02-0177-02

中國(guó)家庭非常重視孩子的教育，并且對(duì)兒童學(xué)前教育的重視程度日益加深。但傳統(tǒng)的教育形式多為枯燥無(wú)味，難以讓孩子提起興趣。隨著計(jì)算機(jī)技術(shù)的發(fā)展，傳統(tǒng)的教育體系開始煥發(fā)出新的活力，未來(lái)的教育系統(tǒng)是與計(jì)算機(jī)科技、大數(shù)據(jù)技術(shù)、網(wǎng)絡(luò)技術(shù)等整合起來(lái)的一個(gè)完整的系統(tǒng)。[1]AR技術(shù)仿真和交互的特性，能將抽象、難懂的知識(shí)以更生動(dòng)、全面、直觀的方式呈現(xiàn)，用沉浸式體驗(yàn)增強(qiáng)用戶的代入感。這些增強(qiáng)現(xiàn)實(shí)的元素所產(chǎn)生的可視化效果，能夠大大加強(qiáng)學(xué)生對(duì)抽象概念和不可見(jiàn)現(xiàn)象的感知。在兒童學(xué)習(xí)詩(shī)歌領(lǐng)域，將傳統(tǒng)教育與AR技術(shù)相結(jié)合，在提升兒童認(rèn)知能力的同時(shí)，又能賦予教育過(guò)程的創(chuàng)新性與娛樂(lè)性，實(shí)現(xiàn)寓教于樂(lè)的效果。[2]

本系統(tǒng)基于MergeCube全息玩具，采用Unity3D作為主要開發(fā)引擎，利用3dmax為三維建模工具，搭配MergeVR提供的SDK，進(jìn)行二次開發(fā)實(shí)現(xiàn)基本增強(qiáng)現(xiàn)實(shí)效果。系統(tǒng)基本能實(shí)現(xiàn)增強(qiáng)顯示功能，搭配VR眼鏡更能實(shí)現(xiàn)虛擬顯示效果。另外具備UI交互，聲音系統(tǒng)，動(dòng)畫系統(tǒng)等詩(shī)詞學(xué)習(xí)交互特色功能。

1 Merge Cube全息玩具

Merge Cube是MergeVR公司的其中一款產(chǎn)品，AR全息玩具。MergeCube是一個(gè)邊長(zhǎng)為7cm的正方體，和一個(gè)標(biāo)準(zhǔn)魔方大小幾乎一致，它的表面帶有凸起花紋，花紋被漆成銀色（如圖1所示）。它必須搭配移動(dòng)應(yīng)用才能產(chǎn)生AR或VR效果。只要在移動(dòng)端安裝相應(yīng)的應(yīng)用，攝像頭對(duì)準(zhǔn)MergeCube，就會(huì)在移動(dòng)端屏幕呈現(xiàn)AR或VR效果，三維模型呈現(xiàn)在移動(dòng)端從而取代真實(shí)的MergeCube。

MergeVR公司為廣大開發(fā)者提供Merge對(duì)應(yīng)的SDK，供廣大開發(fā)者開發(fā)應(yīng)用使用，SDK可以放在Unity3D引擎上進(jìn)行二次開發(fā)。Merge Cube是利用Vuforia的跟蹤識(shí)別技術(shù)，對(duì)立方體的穩(wěn)定識(shí)別特性從而設(shè)計(jì)的立方體。該SDK包括了Unity和Vuforia的對(duì)接功能，立方體表面識(shí)別數(shù)據(jù)庫(kù)，還有VR/AR功能，實(shí)現(xiàn)了VR、VR兩種模式的切換，當(dāng)把移動(dòng)設(shè)備放置在VR眼鏡中時(shí)，能夠?qū)崿F(xiàn)VR效果，并通過(guò)準(zhǔn)心瞄準(zhǔn)及觸摸板進(jìn)行交互。AR功能則只需要移動(dòng)端設(shè)備和識(shí)別物，用手指觸碰移動(dòng)設(shè)備屏幕即可交互。該SDK還實(shí)現(xiàn)了拍照錄像功能。而且該SDK可以兼容開發(fā)IOS或Android版本的應(yīng)用，為廣大開發(fā)者提供便利。目前有很多基于MergeCube全息玩具應(yīng)用，例如：“MergeThings”、“The Body”等等。本文所開發(fā)的系統(tǒng)也是通過(guò)該SDK進(jìn)行二次開發(fā)的兒童古詩(shī)詞學(xué)習(xí)應(yīng)用。

2 三維建模技術(shù)（法線翻轉(zhuǎn)）

由于AR識(shí)別物體是一個(gè)正方體，為了讓用戶產(chǎn)生神奇的視覺(jué)效果，我們對(duì)場(chǎng)景的建模都是以等比例的大小相同的立方體場(chǎng)景，需要根據(jù)不同的古詩(shī)詞場(chǎng)景進(jìn)行設(shè)計(jì)。并且為了做到景但是在真實(shí)使用中，立方體肯定是要旋轉(zhuǎn)的，為了更好的實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的震撼效果，我們使用了3dmax中的法線翻轉(zhuǎn)技術(shù)。通過(guò)對(duì)模型進(jìn)行法線翻轉(zhuǎn)操作后，我們可以看到正方體空間內(nèi)部場(chǎng)景以及直接對(duì)內(nèi)部場(chǎng)景的模型進(jìn)行操作。法線翻轉(zhuǎn)，可以讓我們既可以看到立方體其中兩～三個(gè)表面的背景貼圖，當(dāng)旋轉(zhuǎn)物體一定的角度時(shí)，該表面貼圖就是變透明，從而讓我們看得到立方體內(nèi)部的模型（如圖2所示）。實(shí)現(xiàn)了手握或旋轉(zhuǎn)立方體等于手握或旋轉(zhuǎn)不同立方體場(chǎng)景的視覺(jué)效果。

3 Unity3D實(shí)現(xiàn)交互功能

利用Unity3D的功能組件來(lái)實(shí)現(xiàn)相應(yīng)的功能開發(fā)。

（1）UGUI用于實(shí)現(xiàn)界面的UI，例如朗誦詩(shī)詞、譯文功能以及顯示詩(shī)詞內(nèi)容及譯文內(nèi)容。UI設(shè)計(jì)盡量簡(jiǎn)單清晰，使用世界坐標(biāo)的UI，合理分布在場(chǎng)景中，并且做到當(dāng)用戶移動(dòng)圖片時(shí)，UI隨之調(diào)整位置及角度。[3]每次UI觸發(fā)后等待5秒才能重新觸發(fā)，只要重新觸發(fā)，上次的聲音或動(dòng)畫就會(huì)結(jié)束，避免出現(xiàn)重復(fù)交錯(cuò)的聲音或動(dòng)畫。

（2）用圓形準(zhǔn)心做為交互的觸發(fā)器，當(dāng)準(zhǔn)心移到可交互的對(duì)象時(shí)，準(zhǔn)心會(huì)有填充，填充結(jié)束，交互觸發(fā)。這是利用Unity3D中的射線碰撞機(jī)制實(shí)現(xiàn)的，只要在可觸發(fā)的GameObject上面掛上碰撞體組件，通過(guò)腳本進(jìn)行從Camera發(fā)射射線進(jìn)行碰撞檢測(cè)即可實(shí)現(xiàn)該功能?？紤]到用戶一只手既要握住MergeCube全息玩具，另一只手握住移動(dòng)設(shè)備。此時(shí)，如果做成觸碰移動(dòng)設(shè)備進(jìn)行交互是有損用戶體驗(yàn)的。因此利用圓形準(zhǔn)心來(lái)觸發(fā)交互，會(huì)增加應(yīng)用的合理性和用戶體驗(yàn)。

（3）動(dòng)畫交互功能。利用Unity的Mecanim的TimeLine動(dòng)畫系統(tǒng)，根據(jù)每首詩(shī)詞對(duì)應(yīng)的故事情節(jié)在Animator Controller里面設(shè)計(jì)動(dòng)畫播放的狀態(tài)及觸發(fā)條件，再通過(guò)腳本進(jìn)行邏輯控制，從而根據(jù)故事情節(jié)安排觸發(fā)對(duì)應(yīng)的交互動(dòng)畫，增加學(xué)習(xí)系統(tǒng)的學(xué)習(xí)性和趣味性（如圖3所示）。

（4）系統(tǒng)引入了dataset動(dòng)態(tài)加載技術(shù)及Assetbundle動(dòng)態(tài)加載技術(shù)，改進(jìn)了存儲(chǔ)優(yōu)化問(wèn)題，從而使應(yīng)用更流暢，用戶體驗(yàn)更好。

4 結(jié)語(yǔ)

基于MergeCube全息玩具的AR功能特性，開發(fā)的兒童古詩(shī)詞應(yīng)用系統(tǒng)，顛覆了傳統(tǒng)的學(xué)習(xí)教育模式，是一種全新的集學(xué)習(xí)、娛樂(lè)于一體的學(xué)習(xí)教具應(yīng)用。本應(yīng)用開發(fā)技術(shù)具有遷移性，可以開發(fā)除兒童教育類外，還對(duì)工業(yè)、制造業(yè)、汽車業(yè)等眾多領(lǐng)域的應(yīng)用提供了新的思路。

參考文獻(xiàn)

[1] 汪騰浪，田元.基于AR技術(shù)的教育產(chǎn)品的開發(fā)研究[J].軟件導(dǎo)刊，2017，16（6）：82-84.

[2] 李婷婷，王相海.基于AR-VR混合技術(shù)的兒童智力開發(fā)系統(tǒng)研究[J].計(jì)算機(jī)工程與應(yīng)用.2019（12）：8.

[3] 陳幗鸞，劉建翰，高劉杰.基于AR增強(qiáng)現(xiàn)實(shí)的古詩(shī)詞兒童教育系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].科技視界，2018，12（35）：6-7.

Design and Implementation of? Children's Poems Mobile Application Based on Augmented Reality

CHEN Guo-luan，GAO Liu-jie

（School of? Information Engineering， Zhongshan Polytechnic， Zhongshan? Guangdong? 528400）

Abstract：With the development of science and technology，Augmented reality has been integrated into today's education.This system is a application of Childrens Poems based on augmented reality.Download and launch Cube apps on your smartphone or tablet.Point your device at the Cube.Watch the Cube transform into a virtual object you can hold.The rotating MergeCube is the rotating three-dimensional scene. You can interact with it，and make Video recording， taking photos， voice calling and other functions come true.

Key words：Augmented Reality;MergeCube;Unity3D;childrens poems