AR識字輔助教學(xué)系統(tǒng)的開發(fā)與應(yīng)用

郝鳳濤 翟紅英 馬思佳

摘? 要：AR技術(shù)與語言學(xué)習(xí)的融合已經(jīng)成為當(dāng)前的一個研究熱點。該文針對傳統(tǒng)紙面識字書的局限性，通過運用增強現(xiàn)實技術(shù)與多媒體技術(shù)相結(jié)合，完成了基于AR技術(shù)的識字輔助教學(xué)系統(tǒng)的設(shè)計開發(fā)，實現(xiàn)了對紙面識字書的虛擬效果。從立體實物形象、漢字形象、漢字發(fā)音3個方面學(xué)習(xí)漢字，打破了傳統(tǒng)識字書的單一性和乏味性，彌補了傳統(tǒng)識字書的不足，使學(xué)習(xí)漢字變得生動起來，提高了幼兒學(xué)習(xí)興趣。

關(guān)鍵詞：AR技術(shù)? 識字? ?輔助教學(xué)? 系統(tǒng)開發(fā)

中圖分類號：G431? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標(biāo)識碼：A文章編號：1672-3791（2021）05（b）-0036-04

Abstract： AR technology and language learning has become a research hotspot. In view of the limitations of the traditional paper literacy book for children， through the combination of augmented reality technology and multimedia technology， this paper completes the design and development of literacy assistant teaching system based on AR technology， and realizes the virtual effect of paper literacy book. Learning Chinese characters from three aspects of three-dimensional physical image， Chinese character image and Chinese character pronunciation breaks the monotony and boredom of traditional literacy books， makes up for the shortcomings of traditional literacy books， makes learning Chinese characters vivid， and improves children's interest in learning.

Key Words： AR technology; Literacy; Assisted Instruction; System development

1? 研究背景

隨著AR增強現(xiàn)實發(fā)展的不斷成熟，AR增強現(xiàn)實+教育是未來熱門的一個領(lǐng)域。AR在教育領(lǐng)域中的應(yīng)用源于AR技術(shù)擁有探究式的教育理念，可以從表現(xiàn)形式上吸引小朋友加入到教學(xué)中，增加學(xué)生們的學(xué)習(xí)興趣，從而通過交互的方式進一步探索和研究更深層次的內(nèi)容，使教學(xué)更加逼真、直觀，實現(xiàn)多元化教學(xué)。AR技術(shù)作為一種教學(xué)手段融入傳統(tǒng)教育將開拓出教育領(lǐng)域的新活力。

2017年9月，全國小學(xué)推行了教育部統(tǒng)編的新版語文教材，要先從認字開始，之后再學(xué)拼音，遵循漢字構(gòu)形的原理，以形析義。在課堂上，學(xué)生面對教材中的文字和圖片等言語符號時，仍需要具備較強的遷移學(xué)習(xí)能力，才能將抽象的符號信息與現(xiàn)實經(jīng)驗聯(lián)系起來。因此，傳統(tǒng)識字教學(xué)方式很難讓學(xué)生達到音形義統(tǒng)一的水平[1]。

通過研究幼兒的心理發(fā)展特點可知：幼兒的記憶以不隨意的形象記憶為主，記憶內(nèi)容和效果很大程度上依賴于記憶對象的外部特征和幼兒對事物的興趣。凡是直觀的、形象的、具體鮮明的事物容易引起幼兒的無意識記憶，而抽象的字詞很難被記住。能激起幼兒強烈情緒體驗的事物易被幼兒記住并且能保持很長時間。AR技術(shù)恰恰具有直觀、形象、鮮明性的特點，將AR技術(shù)有效地應(yīng)用于幼兒學(xué)習(xí)認知過程，必將會彌補傳統(tǒng)教學(xué)的劣勢，能夠改善幼兒學(xué)習(xí)記憶效果。

2? 文獻綜述

通過在CNKI、萬方等國內(nèi)數(shù)據(jù)庫檢索“識字教學(xué)”“AR識字”“AR+教育”等關(guān)鍵詞，研究發(fā)現(xiàn)已有不少學(xué)者對幼兒AR語言學(xué)習(xí)資源的教學(xué)有效性進行了研究。在理論研究與實踐層面，劉瀟等研究者應(yīng)用增強現(xiàn)實技術(shù)助力幼兒漢字學(xué)習(xí)的效果及策略，通過實驗和訪談對AR技術(shù)助力幼兒漢字學(xué)習(xí)的有效性進行了驗證;喻春陽等學(xué)者比較了增強現(xiàn)實與傳統(tǒng)方式在幼兒英語識詞效果的差異，發(fā)現(xiàn)采用AR教學(xué)方式相對于傳統(tǒng)教學(xué)方式在幼兒識記單詞的平均個數(shù)上更有優(yōu)勢，識字的遺忘周期和混淆周期均較長。在AR系統(tǒng)設(shè)計與開發(fā)層面，國內(nèi)也有學(xué)者嘗試開發(fā)了AR互動軟件作為教學(xué)輔助工具，嘗試改變傳統(tǒng)的學(xué)習(xí)方式，例如：2017年，武漢大學(xué)國際教育學(xué)院的曾丹、吉暉開發(fā)了一款基于AR的混合式漢語聽說教學(xué)軟件，可以在課堂上為學(xué)生提供AR漢語學(xué)習(xí)資源;2020年高曉曉等研究者基于移動終端的AR技術(shù)開發(fā)，通過手持式顯示設(shè)備呈現(xiàn)信息，完成了AR識字教學(xué)輔助小學(xué)語文識字輔助教學(xué)App的設(shè)計與開發(fā)，等等，AR技術(shù)已經(jīng)在語文教學(xué)識字環(huán)節(jié)發(fā)揮了重要作用。

綜上所述，目前已有的AR識字輔助系統(tǒng)對硬件設(shè)備的依賴性較強，不方便教師課堂教學(xué)推廣應(yīng)用，因此應(yīng)采用3D建模軟件所呈現(xiàn)三維立體圖形的方式，通過計算機處理的虛擬立體模型疊加在真實場景上，并借助電子設(shè)備的顯示，將虛實信息融合為一體，從而實現(xiàn)虛擬立體景象的教學(xué)效果，該輔助系統(tǒng)方便教師在有多媒體的教室中進行應(yīng)用。

3? AR識字輔助教學(xué)系統(tǒng)的開發(fā)

3.1 設(shè)計意圖

目前增強現(xiàn)實技術(shù)被廣泛應(yīng)用到了教育領(lǐng)域，尤其是在幼兒教育方面影響是巨大的。增強現(xiàn)實技術(shù)具備的立體感不僅可以吸引幼兒的注意力，為幼兒提供逼真的情景學(xué)習(xí)環(huán)境，調(diào)動幼兒的探索和求知欲，而且可以提高孩子對現(xiàn)實的理解能力，讓孩子能更加主動并且清晰地感受和認知生活環(huán)境，增強學(xué)習(xí)能力[2]。

3.2 總體功能

考慮到兒童的特點和小學(xué)語文課程教學(xué)的需要，從注意力吸引、認知、理解、記憶鞏固4個環(huán)節(jié)研發(fā)設(shè)計識字輔助教學(xué)系統(tǒng)，開發(fā)過程中力求軟件的簡潔、明快，便于操作。對于軟件界面設(shè)計簡單，功能菜單中分別開設(shè)了普通模塊、AR模塊，功能模塊具體見圖1，該軟件輔助語文課程中教師講授生字的教學(xué)環(huán)節(jié)，幫助學(xué)生快速理解記憶新字詞。軟件中的普通模式，將漢字的學(xué)習(xí)設(shè)置為不同的主題，可以任選一個主題進行學(xué)習(xí)，通過漢字的發(fā)音、組詞示例、筆畫順序的動畫演示，提升學(xué)習(xí)效果。軟件的AR模式，呈現(xiàn)漢字的動物立體模型，使對漢字的認知由抽象變具體，同時具備漢字的中文發(fā)音、英文發(fā)音、筆畫順序的動畫演示。

3.3 開發(fā)流程

參考AR系統(tǒng)的一般開發(fā)過程，結(jié)合小學(xué)語文實際教學(xué)環(huán)節(jié)的設(shè)置和需求，設(shè)計開發(fā)AR識字輔助教學(xué)系統(tǒng)分為4個階段，流程見圖2。

3.3.1 需求分析階段

根據(jù)小學(xué)一年級語文課堂的教學(xué)需要，對新漢字教學(xué)內(nèi)容和教學(xué)環(huán)節(jié)進行分析，探求AR技術(shù)在教學(xué)方面最佳的表現(xiàn)方法。形成若干模塊和單元。

3.3.2 整體設(shè)計階段

根據(jù)需求分析的結(jié)果，對增強現(xiàn)實輔助教學(xué)系統(tǒng)的結(jié)構(gòu)進行整體設(shè)計，包括三維模型、交互平臺以及其他多媒體素材等進行設(shè)計。

3.3.3 開發(fā)實現(xiàn)階段

這個階段主要完成編輯制作圖形、聲音素材、選擇開發(fā)工具、3D建模、交互程序?qū)崿F(xiàn)等環(huán)節(jié)，是整個開發(fā)環(huán)節(jié)最重要的階段，是對前面工作的整合，也是對前一階段的工作進行調(diào)整和反饋[3]。

3.3.4 測試階段

這一階段針對整個系統(tǒng)進行調(diào)試，針對需求分析進行測試，完成設(shè)計目標(biāo)。

3.4 設(shè)計實現(xiàn)

3.4.1 平臺的選擇

該文采用Unity 3D的插件Vuforia完成AR識字電子書的制作。識別部分是基于Android平臺開發(fā)，發(fā)布在Android的客戶端上，在Android手機及平板下載安裝App軟件后，便可直接使用。

3.4.2 識別圖的繪制及制作

識別圖制作主要是通過Photoshop軟件進行繪制，需要分別制作正反兩面。下面以豬的識別圖的制作為例，具體來說明制作的步驟與方法。

（1）新建像素為900×900，分辨率為72的文檔，開始繪制動物簡筆畫，把豬的樣子通過簡筆畫的形式描繪出來，具體見圖3。

（2）繪制識別圖的背景，在剛才新建的文檔中，利用圓角矩形工具和油漆桶工具，繪制出識別圖背景，利用魔術(shù)棒工具提取得到事先準(zhǔn)備好的簡易動物造型，放在識別圖背景圖的外圍，具體見圖4。將第一步畫好的豬的簡筆畫合成在識別圖背景上，保存為JPG格式圖像文件，這樣識別圖的正面就制作完成了。用同樣的方法，完成識別背景圖的背面制作，具體見圖5。

3.4.3 模型建立

動物模型利用網(wǎng)絡(luò)上已有資源，具體見圖6，但是這種模型并不能夠直接用于Unity 3ds，在此借助3ds Max軟件導(dǎo)出適用于Unity 3D格式的文件，存放在模型文件夾中作為備用。通過3dsMax進行三維建模和紋理、模型渲染、模型動畫等實現(xiàn)手段為虛擬現(xiàn)實增強技術(shù)提供形象逼真的動物模型，同時增強該應(yīng)用的互動感。

3.4.4 筆順動畫的制作

png格式的好處是支持間隔漸進顯示，而且是一種無損耗的圖像格式，對.png格式的圖片進行切分、導(dǎo)入等操作，都不會影響圖像質(zhì)量。將查找到的素材和收集的筆順動畫，存放在筆順動畫版文件夾中，以作備用。

3.4.5 錄制聲音

Unity 3D支持MP3聲音格式，通過手機錄制的聲音不能滿足需要，采用貍窩格式轉(zhuǎn)化器進行轉(zhuǎn)換。

3.4.6 動態(tài)圖形顯示技術(shù)

針對應(yīng)用當(dāng)中文字筆畫的動畫效果的實現(xiàn)，由于Unity軟件本身不提供具備實現(xiàn)這種效果的控件，所以采用一種折中的實現(xiàn)方案，使用Unity提供的圖片顯示控件，通過腳本代碼控制按順序規(guī)則讀取本地筆畫圖片，然后作為Unity的圖片顯示控件內(nèi)容，按順序連續(xù)不間斷顯示圖片來達到文字筆畫的動畫效果[4]。

3.4.7 進行代碼編寫

進入char_detail.cs的代碼編寫界面，將圖片存放在resources文件夾中，并存放在anim數(shù)組中，通過讀取命名來調(diào)取圖片，核心代碼具體見圖7。

在圖7中，int index = （int）（Time.frameCount * _mSpeed） % animCount表示根據(jù)當(dāng)前實時的系統(tǒng)時間計算當(dāng)前圖形控件需要顯示的圖片內(nèi)容所處的位;anim[index]表示根據(jù)計算的位置取到圖片資源對象，GUI.DrawTexture表示將圖片內(nèi)容繪制到界面，new Rect（wide3，height3，width，width）表示設(shè)置圖片顯示的位置和寬高。

3.4.8 功能實現(xiàn)

在AR模式中，識別圖正面的功能實現(xiàn)效果，背面的功能實現(xiàn)效果，具體內(nèi)容見圖8、圖9。

3.4.9 普通模式

漢字是中國文化的一大瑰寶，很多漢字都是由象形字演化過來的，但并不是所有漢字都能與實物產(chǎn)生形象化的聯(lián)系，所以設(shè)計了一個普通模式[5]。對于那些不能用立體模型形象化的漢字，將它們收錄在普通模式中，這些字雖然不如用立體模型形象化漢字能吸引幼兒的注意力，但是通過反復(fù)的觀看與學(xué)習(xí)，加深印象，可以為以后漢字學(xué)習(xí)打下堅實的基礎(chǔ)。識字系統(tǒng)的普通模式中，主要是進行主題式學(xué)習(xí)，幼兒可以通過選擇不同的主題來進行漢字的學(xué)習(xí)。以“全”字學(xué)習(xí)為例，具體見圖10。

4? AR識字輔助教學(xué)系統(tǒng)的應(yīng)用

AR識字輔助教學(xué)系統(tǒng)將文字和實物圖片結(jié)合，通過AR技術(shù)呈現(xiàn)3D立體圖像，并在該圖像上直接體現(xiàn)教學(xué)目標(biāo)漢字，同時實現(xiàn)圖像與小學(xué)生進行簡單的互動。利用AR技術(shù)的特色，在愉悅新奇的互動體驗中教小學(xué)生認識漢字及其中英文發(fā)音，寓教于樂。為深入研究AR技術(shù)在兒童教育領(lǐng)域中應(yīng)用的可行性和效果，驗證AR技術(shù)對小學(xué)語文教學(xué)的實效，在海淀第三小學(xué)一年級語文課堂識字環(huán)節(jié)教學(xué)過程中進行了運用并進行了對比研究。兩個班近70名小學(xué)生在語文課識字環(huán)節(jié)中，一個班的識字教學(xué)環(huán)節(jié)采用AR識字輔助教學(xué)系統(tǒng)進行，另一個班的識字教學(xué)環(huán)節(jié)采取傳統(tǒng)板書教學(xué)進行對比研究[6]。從學(xué)習(xí)注意力、初記重復(fù)次數(shù)、混淆率、遺忘率等方面進行了比較，實踐證明采用AR識字系統(tǒng)進行教學(xué)的課堂效果更好，更受學(xué)生歡迎。

5? 結(jié)語

AR技術(shù)的新奇感、直觀性、互動性、娛樂性是幼兒教育很好的一種手段，AR識字輔助教學(xué)系統(tǒng)應(yīng)用在小學(xué)語文識字教學(xué)環(huán)節(jié)中，學(xué)生學(xué)習(xí)的積極性和愉悅情緒得到了顯著提升，學(xué)生更加愿意參與到教學(xué)環(huán)節(jié)中去。筆者開發(fā)的識字輔助系統(tǒng)是根據(jù)《幼兒園教育指導(dǎo)綱要》編寫幼兒入學(xué)必識的常用字要求進行內(nèi)容設(shè)定的，課堂教學(xué)實踐證明：在識字效率和初識重復(fù)次數(shù)上，采用AR識字輔助教學(xué)系統(tǒng)教學(xué)有著明顯優(yōu)勢，結(jié)合圖像和實物情景記憶，啟發(fā)學(xué)生的聯(lián)想記憶，使記憶更持久不易遺忘。

參考文獻

[1] 高曉曉，魏本宏，倪清，等.AR識字教學(xué)輔助APP的設(shè)計與開發(fā)研究[J].教育現(xiàn)代化，2020，7（35）：9-13.

[2] 劉瀟，王志軍，李芬，等.增強現(xiàn)實技術(shù)助力幼兒漢字學(xué)習(xí)的效果及策略研究[J].中國教育信息化，2019（2）：13-18.

[3] 鄭紫涵.多媒體技術(shù)在對外漢語字理教學(xué)中的應(yīng)用研究[D].西安石油大學(xué)，2018.

[4] 高偉，王昱霖，郭瑾.國外虛擬現(xiàn)實與增強現(xiàn)實技術(shù)教育研究熱點及啟示[J].開放學(xué)習(xí)研究，2020，25（2）：47-54，62.

[5] 鐘偉儀.借助電子白板改進識字教學(xué)的實踐研究[D].廣州大學(xué)，2018.

[6] 朱必熙，卓皓.AR技術(shù)在幼兒教育領(lǐng)域中的應(yīng)用——以幼兒識字為例[J].陜西學(xué)前師范學(xué)院學(xué)報，2018，34（4）：63-66.