增強現(xiàn)實關(guān)鍵技術(shù)及其在兒童教育中的應(yīng)用綜述

黃 松

(重慶第二師范學(xué)院 數(shù)學(xué)與信息工程學(xué)院， 重慶 400065)

增強現(xiàn)實(Augmented Reality，AR)是通過向用戶的真實世界精準添加計算機生成的虛擬內(nèi)容，增強和提升人類對外界的感知能力，因而引起了業(yè)界和學(xué)術(shù)界的極大關(guān)注[1]，并成為計算機視覺領(lǐng)域和教育技術(shù)領(lǐng)域研究的熱點問題之一。隨著移動計算和傳感等技術(shù)的快速發(fā)展及移動智能設(shè)備的逐步普及，AR已被廣泛應(yīng)用于教育、醫(yī)學(xué)、旅游、娛樂等諸多領(lǐng)域。

目前有關(guān)AR的研究成果不斷涌現(xiàn)，AR技術(shù)對兒童學(xué)習(xí)和娛樂的影響也越來越大。本文首先對AR關(guān)鍵技術(shù)、對AR在兒童教育的正式、非正式和教育游戲三個領(lǐng)域的應(yīng)用進行了介紹，對近年來AR跟蹤注冊、虛實融合顯示和人機交互等關(guān)鍵技術(shù)研究成果、AR與兒童教育有關(guān)的研究進行了分析和總結(jié)，最后指出了AR未來的機遇和挑戰(zhàn)。

一、增強現(xiàn)實關(guān)鍵技術(shù)

AR系統(tǒng)的主要功能模塊包括：(1)獲取場景信息；(2)跟蹤注冊；(3)虛實融合顯示；(4)人機交互。其中，跟蹤注冊、虛實融合顯示和人機交互是成功實現(xiàn)AR技術(shù)的重點和關(guān)鍵。

(一)跟蹤與注冊技術(shù)

跟蹤與注冊也被稱為虛實注冊和三維注冊，其關(guān)鍵在于明確虛實物體坐標系之間的轉(zhuǎn)換關(guān)系，從而將虛擬物體正確地融合到真實場景中。跟蹤與注冊是一個動態(tài)持續(xù)的過程，先跟蹤三維空間某個(或某些)點的三維坐標與6DOF的姿態(tài)信息，再通過注冊來實現(xiàn)虛擬物體和真實場景在空間上的整合，確保其在三維空間中位置的一致性。其過程基本步驟如下：先跟蹤攝像機在真實場景中的位置以獲取攝像機外部參數(shù)；然后通過標定技術(shù)得到其內(nèi)部參數(shù)；再測量定位，采取用戶交互或自動計算的方式確定虛擬物體在三維場景空間中的位置和方向，進而實現(xiàn)虛實景象的融合。

目前，虛實注冊方法主要有基于傳感器方法、基于視覺方法和混合方法3類?；趥鞲衅鞯姆椒ㄍㄟ^慣性、磁場、電磁場、超聲波等測量并計算姿態(tài)信息；基于視覺的方法根據(jù)來自捕獲的圖像、視頻的標記和特征的點對應(yīng)關(guān)系估計姿態(tài)信息；混合方法將上述不同的方法組合在一起來克服單個方法的固有局限性。

基于視覺的方法是目前注冊研究的主流，它又包括基于標識和基于自然特征兩類?；跇俗R的方法主要通過對放置在真實環(huán)境中的人工標志物進行特征提取以獲得注冊所需信息實現(xiàn)注冊。這類方法魯棒性較高且對計算能力要求較低，但會在一定程度上影響場景整體感，戶外場景適用性差。其一般工作流程如圖1所示?；跇俗R的注冊方法具有代表性的是ARTool Kit、ARTag、ARStudio和VisualCode?；谧匀惶卣鞯姆椒ㄐ枰獜膱鼍爸刑崛∑渥匀惶卣鳎詫崿F(xiàn)圖像匹配與注冊，如通過在二維圖像特征點與三維場景特征點之間建立一一對應(yīng)關(guān)系來求解攝像機注冊矩陣。目前自然特征檢測算法有很多，其中Harris、SIFT、SURF、FAST、ORB、BRISK以及LLDB等算法應(yīng)用相對較廣。

圖1 基于標識的跟蹤注冊工作流程

(二)虛實融合顯示技術(shù)

如何將虛擬對象精準地放置到真實場景，實現(xiàn)與周邊不同深度景物的自然交互，涉及到遮擋處理、渲染繪制以及碰撞檢測等技術(shù)。

遮擋的目的是在創(chuàng)建AR場景時保持人類視線的規(guī)則。在嵌入虛擬對象時，需要考慮真實物體和虛擬對象的前后關(guān)系，任何在真實物體背后的虛擬對象，都應(yīng)該被“遮擋”或隱藏在真正的物體后面。目前解決虛實遮擋問題的方法主要有基于建模、基于深度和基于圖像分析的方法，表1對三種遮擋方法的虛實遮擋關(guān)系檢測和邊緣提取進行了比較?；谀Ｐ头椒ǖ幕驹硎菍φ趽跆摂M物的真實物體進行三維建模，求得該物體在世界坐標系下的三維坐標，然后利用三維注冊矩陣將重建得到的真實物體的三維模型疊加到場景中該物體所對應(yīng)的位置上，從而實現(xiàn)真實物體對虛擬物體的遮擋?；谏疃确椒ǖ幕驹硎鞘紫扔嬎阏鎸崍鼍皥D像上每個像素點的深度信息，然后根據(jù)觀察者的視點位置、虛擬物體的疊加位置以及求得的深度信息，比較虛擬物體與真實物體的空間位置關(guān)系。如果虛擬物體被真實物體遮擋，則在顯示合成場景圖像時，只繪制虛擬物體未被遮擋的部分，不繪制被遮擋的部分。基于圖像分析的方法一般采用邊緣檢測、特征提取、背景分割、前景分割、陰影等技術(shù)用于虛實遮擋處理。圖像分析技術(shù)本身也常被用來提升基于模型方法和基于深度方法的性能。

表1 三種遮擋方法的比較

渲染技術(shù)通過對嵌入的虛擬對象進行與場景一致的真實感渲染，從而更加真實地將虛擬對象與周圍環(huán)境相融合。一般步驟如下：通過紋理和虛擬光線下產(chǎn)生的陰影來增強真實感；采用虛擬光源和虛擬陰影，以實現(xiàn)一個支持陰影效果的混合現(xiàn)實環(huán)境；在渲染前需要預(yù)先獲得真實場景的模型和預(yù)定義虛擬光源位置的三種實時AR應(yīng)用陰影形式；使用立方體環(huán)境貼圖和GLSL著色器等技術(shù)來渲染虛擬對象；從真實場景估算光照方向來構(gòu)造虛擬光源和虛擬對象的陰影，以及虛擬光源對真實場景的影響，實現(xiàn)實時AR系統(tǒng)中的光照一致性效果等。

在虛實交互過程中，虛實物體之間的碰撞檢測及碰撞響應(yīng)問題也是虛實融合時值得關(guān)注的課題，它可以進一步加強AR的沉浸感和真實感。AR環(huán)境下的碰撞檢測相對比較復(fù)雜，但通過對真實物體三維重構(gòu)可將其降維為虛擬現(xiàn)實(Virtual Reality，VR)環(huán)境下的碰撞檢測問題，借助VR已有方法來加以解決。AR碰撞檢測后的響應(yīng)問題主要是相應(yīng)虛擬物體的變形問題，有實時性要求的碰撞響應(yīng)需要變形迅速，無實時性要求的碰撞變形有空間變形和表面變形等方法。

虛實融合的增強信息必須采用合適的顯示方式才能讓人們感知。目前AR顯示設(shè)備繁多，近年最有潛力的當(dāng)屬移動式AR顯示設(shè)備，如智能手機、AR眼鏡、平視顯示器(Head-Up Display，簡稱HUD)以及裸眼3D等。直接將虛擬投影信息疊加到現(xiàn)實世界的AR眼鏡本可作為移動AR的最佳選擇，但因其計算能力有限,目前只能滿足基礎(chǔ)的應(yīng)用。智能手機因其較高的計算能力和便攜性，成為了移動AR(Mobile Augmented Reality，簡稱MAR)不錯的選擇。MAR系統(tǒng)組成示意圖如圖2所示，只需手持設(shè)備并在屏幕上觸摸，同時保持某種朝向或移動就能操作MAR應(yīng)用程序。HUD主要基于光學(xué)反射原理，將待顯示的信息投射到前方的一片玻璃上面，使用戶可以在保持原有視角的情況下，將HUD顯示信息和外界場景融合在一起。HUD在AR高端應(yīng)用領(lǐng)域潛力十分巨大。裸眼3D顯示技術(shù)是AR中頗具發(fā)展?jié)摿Φ募夹g(shù)，能使觀看者無需配戴眼鏡等任何助視設(shè)備，通過兩只眼睛就能觀看到立體效果。目前主流的裸眼3D顯示技術(shù)主要包括光柵3D顯示、集成成像3D顯示和全息3D顯示等。

圖2 MAR系統(tǒng)組成示意圖

(三)人機交互技術(shù)

AR人機交互包含三個因素：用戶、AR系統(tǒng)以及用戶與AR系統(tǒng)之間的交互。它是一門包括計算機視覺、心理學(xué)、人工智能和其他學(xué)科的交叉技術(shù)，并開始呈現(xiàn)出命令多樣化、多用戶的特點。目前AR交互方式有觸覺反饋、語音控制、手勢跟蹤、動作捕捉、肌電模擬、眼球追蹤等。隨著相關(guān)硬件技術(shù)的發(fā)展，多模人機交互也開始成為可能，AR人機交互的研究成果也不斷涌現(xiàn)。AR人機交互問題是AR系統(tǒng)一個至關(guān)重要的問題，雖然目前取得了一定進展，但仍有許多問題有待繼續(xù)深入的研究。

二、增強現(xiàn)實在兒童教育中的應(yīng)用

AR作為一種較為關(guān)鍵的新興技術(shù)，給教育領(lǐng)域帶來的技術(shù)紅利和改革初見雛形?；贏R的教育強調(diào)學(xué)習(xí)者與環(huán)境交互，建立知識與反應(yīng)兩者間的鏈接，這正好符合行為主義有關(guān)學(xué)習(xí)的“刺激-反應(yīng)”觀點；AR提供了豐富的虛擬學(xué)習(xí)環(huán)境構(gòu)建工具，并賦予了更多的自主控制選擇，恰好契合建構(gòu)主義學(xué)習(xí)理論中關(guān)于“學(xué)習(xí)是一種真實情境的體驗”觀點，以及皮亞杰“把實驗室搬到課堂中去”的設(shè)想與實踐。AR應(yīng)用于教育領(lǐng)域呈現(xiàn)以下特點：(1)直觀、形象地展示抽象的學(xué)習(xí)內(nèi)容；(2)提供豐富的泛在環(huán)境下的學(xué)習(xí)情境；(3)提升學(xué)習(xí)者的直覺、存在感和專注度；(4)交互方式自然多樣；(5)結(jié)合正式和非正式學(xué)習(xí)，支持泛在學(xué)習(xí)。這些特點正好適合兒童教育的需求，而且AR與其他技術(shù)相結(jié)合，還可以在兒童教育領(lǐng)域發(fā)揮更大的潛能。

(一)正式教育領(lǐng)域

AR的互動性和探索性特征使其適合幼兒教育，因為這個階段的兒童喜歡探索，需要高度的活動自由和運動。在學(xué)前教育階段，兒童的智力發(fā)展水平較低、理解能力有限，對新事物的接受方式也存在一定的差異，因此這階段的AR應(yīng)用大多是把簡單抽象的學(xué)習(xí)內(nèi)容和兒童熟悉的、直觀形象的相關(guān)對象建立思維上的鏈接。例如，采用AR技術(shù)來加強幼兒對數(shù)學(xué)、數(shù)字和計數(shù)規(guī)則的理解，利用AR構(gòu)建情境進行4～6歲兒童的物理啟蒙教學(xué)，以及利用AR幫助學(xué)齡前兒童建立單詞、實物模型和語音之間的聯(lián)系。

在小學(xué)教育階段，兒童智力和理解能力進一步發(fā)展，對新事物的接受能力也隨之增強。因此，這階段AR應(yīng)用開始著重于較為抽象復(fù)雜的學(xué)習(xí)內(nèi)容，調(diào)動兒童的學(xué)習(xí)興趣，促進兒童對抽象復(fù)雜內(nèi)容的理解。引入AR需要教師學(xué)習(xí)新的技能，以便能夠使用這種技術(shù)，并且接受采用這些AR工具所引起的教育者角色的變化。一些研究已經(jīng)證明，在包括一些小學(xué)在內(nèi)的學(xué)校實施AR教學(xué)提高了學(xué)生的學(xué)習(xí)成績。有學(xué)者嘗試將體感自然交互技術(shù)和AR技術(shù)結(jié)合，讓青少年在運動中學(xué)習(xí)物理知識。例如Lee[2]采用游戲化的AR學(xué)習(xí)調(diào)動了學(xué)生學(xué)習(xí)數(shù)學(xué)的積極性。Barreira[3]開發(fā)了一個用于小學(xué)階段不同語種的動物單詞教學(xué)的AR應(yīng)用，不同的動物和國旗組合會得到不同國家的動物單詞，單詞和動物正確配對便呈現(xiàn)動物的3D模型。

在中學(xué)初期階段，AR技術(shù)開始用于抽象概念的講解、科學(xué)思維的培養(yǎng)，以及虛實學(xué)習(xí)環(huán)境的搭建。在數(shù)學(xué)教育方面，AR應(yīng)用更加關(guān)注數(shù)學(xué)思維的培養(yǎng)和具體的學(xué)習(xí)效果，甚至可能改變未來數(shù)學(xué)的學(xué)習(xí)范式。在化學(xué)學(xué)科方面，AR應(yīng)用主要作為一種展示無法直接觀察到的內(nèi)容如分子、原子結(jié)構(gòu)等的手段。Cai[4]設(shè)計了虛實融合操作實驗來進行初中化學(xué)物質(zhì)結(jié)構(gòu)的教學(xué)，實驗中虛擬的分子和原子可以以自然交互的方式進行操作、組合和創(chuàng)作。智利天主教大學(xué)設(shè)計開發(fā)了一款教室AR游戲?qū)嵗?，用以講授靜電學(xué)的基本概念。蔡蘇[5]設(shè)計并實現(xiàn)了AR概念演示書，用以展示中學(xué)物理的單擺等基本實驗，給學(xué)習(xí)者直觀形象的感受。Santos[6]在詞匯教學(xué)中采用AR等技術(shù)，掃描實景便可獲取相關(guān)學(xué)習(xí)詞匯，從而使學(xué)習(xí)者注意力更加集中并對學(xué)習(xí)更加滿意。Chiang[7]在中學(xué)生物學(xué)科教學(xué)的探究學(xué)習(xí)環(huán)節(jié)中引入AR技術(shù)，將學(xué)生派往不同區(qū)域進行探索，利用基于地理位置的AR應(yīng)用來學(xué)習(xí)相關(guān)生物知識并上傳，以供到達該地點的其他學(xué)生查看分享的內(nèi)容，從而豐富學(xué)習(xí)體驗并充分發(fā)揮各種新技術(shù)的作用。Wang[8]開發(fā)了一個支持野外數(shù)據(jù)收集和查看地圖的移動AR調(diào)查工具。Hsiao[9]開發(fā)了一個幫助地理學(xué)科學(xué)習(xí)的AR天氣系統(tǒng)，它可根據(jù)教室、家庭和博物館等不同教學(xué)環(huán)節(jié)呈現(xiàn)不同的知識內(nèi)容。

(二)非正式教育領(lǐng)域

AR圖書就是將AR技術(shù)應(yīng)用在書籍上，讓靜態(tài)的圖文“活”起來。通常情況下，通過手機、平板的攝像頭去掃描AR圖書指定頁碼上的圖片，透過屏幕可以看到書中的平面形象變身為3D立體模型，點擊屏幕還可以進行互動，將視覺的畫面擴展到視聽多方位的體驗?！禡agic Book》是最早出現(xiàn)的一套AR兒童圖書，利用HMD即可觀看疊加在書本各個單元的AR動畫內(nèi)容。Nd[10]不但開發(fā)了可讓讀者自主講故事且創(chuàng)造故事情節(jié)的交互式圖書，還開發(fā)了線稿涂色反饋到3D模型的AR涂色畫本。Al-Ali[11]開發(fā)了包含圖畫、模型和視頻的移動交互圖書《My Vision AIR》，增加了閱讀的趣味性。Cheng[12]制作了掃描故事圖片即可呈現(xiàn)模型實景的AR立體書。

在科技館、博物館應(yīng)用方面，AR技術(shù)已非常普遍。AR技術(shù)既可在定點展覽中幫助呈現(xiàn)無法真實展示或者部分不易展示的實物以豐富展出內(nèi)容和形式，又可在導(dǎo)覽中幫助整合介紹、知識鏈接、模型和游戲等不同形式的資源，帶給游覽者全面又生動的體驗。Klopfer[13]提出了一個與博物館合作的MAR教育系統(tǒng)，兒童可使用袖珍個人電腦和對講機來采訪虛擬人物和操作虛擬儀器。Chang[14]開發(fā)了一個藝術(shù)欣賞與MAR技術(shù)相結(jié)合的系統(tǒng)，以提高藝術(shù)博物館參觀者在訪問期間的學(xué)習(xí)效果。系統(tǒng)可定位并覆蓋當(dāng)前圖片上的信息，還提供了在虛擬圖片中縮放的功能。

Freitas[15]開發(fā)了一套適合低年級學(xué)生的AR交通教育系統(tǒng)，虛擬的三維模型如汽車和飛機在實時視頻上被覆蓋，以展示交通和動畫的概念。Lin[16]探索了一種將AR應(yīng)用于殘疾兒童的教育活動中的新方法。針對有特殊需要的學(xué)生，特別是有注意力不集中和有記憶障礙的學(xué)生，它可以逐步提供指導(dǎo)。教師也可設(shè)計多層次的教學(xué)策略，幫助有特殊需求的兒童獨立學(xué)習(xí)。

(三)教育游戲領(lǐng)域

教育游戲(Educational Game)是專門針對特定教育目的而開發(fā)的游戲，強調(diào)教育性和娛樂性并重。AR教育游戲可比較自由地構(gòu)建虛擬游戲場景或添加體驗層來支撐情境學(xué)習(xí)。

“環(huán)境偵探”是美國麻省理工學(xué)院“施勒教師教育計劃”開發(fā)的一款教育游戲，采用MAR技術(shù)來創(chuàng)設(shè)學(xué)習(xí)情境。游戲?qū)⑻摂M數(shù)字信息與真實世界體驗相結(jié)合，添加體驗層，設(shè)置了虛擬人物訪問、模擬環(huán)境測量和模擬數(shù)據(jù)分析等環(huán)節(jié)，以達到科學(xué)探索的教育目的?！敖佑|外星人”是雷德福大學(xué)開發(fā)的用于提升初高中學(xué)生科學(xué)素養(yǎng)的AR游戲。瓦倫西亞理工大學(xué)研制了趣味AR教育游戲“認識瀕危動物”，并通過對46名兒童進行對照實驗后認為，AR教育游戲更受兒童所喜愛、教學(xué)效果更佳。圣保羅大學(xué)研究團隊開發(fā)了一款名為“Gen Virtual”的AR音樂教育游戲，用于提升學(xué)習(xí)障礙者的音樂演奏技能，同時改善創(chuàng)造力、注意力和動作協(xié)調(diào)等能力。

三、增強現(xiàn)實對兒童教育的影響

一些學(xué)者將關(guān)注的重點聚焦于AR應(yīng)用于兒童教育產(chǎn)生的影響。Cascales[17]針對學(xué)齡前兒童使用AR技術(shù)作為學(xué)習(xí)工具的影響進行了研究，研究后指出：AR資源可能適合多種學(xué)習(xí)層次；使用AR技術(shù)能提高兒童的閱讀和寫作技能，因此可以獲得更好的成績，這對學(xué)齡前兒童的教育非常重要。Yilmaz[18]揭示了教師和兒童對AR教育魔術(shù)玩具的看法，確定了兒童的行為模式及其認知成就，以及他們在玩AR教育魔術(shù)玩具時的關(guān)系，并明確指出AR教育魔術(shù)玩具可以有效地用于幼兒教育。Alhumaidan[19]針對現(xiàn)有AR圖書開發(fā)沒有兒童參與的不足，在一本講述協(xié)作學(xué)習(xí)經(jīng)驗的AR教科書的設(shè)計和評估過程中探索讓小學(xué)兒童也參與其中，并進行了通過對AR教材的共同設(shè)計來加強小學(xué)教育中的協(xié)作學(xué)習(xí)經(jīng)驗的研究。Lee[20]研究了如何有效使用AR來提高幼兒園的學(xué)習(xí)體驗，同時解決父母對長期使用電子設(shè)備可能會影響其孩子健康狀況的擔(dān)憂。Boonbrahm[21]創(chuàng)建了3個分別專注于寫作、閱讀和對話的AR實驗，結(jié)果表明AR在兒童學(xué)習(xí)英語過程中起著很好的激勵作用。Koutromanos[22]查閱了關(guān)于AR應(yīng)用于正規(guī)和非正規(guī)教育環(huán)境的大量相關(guān)研究，提供了一些研究成果，證明了AR應(yīng)用于學(xué)生學(xué)習(xí)的積極成果。Radu[23]比較了應(yīng)用AR與未應(yīng)用AR的學(xué)生的學(xué)習(xí)表現(xiàn)后指出：MAR應(yīng)用程序可以提高學(xué)習(xí)者的成績，增強其記憶，將學(xué)生的注意力引向與學(xué)習(xí)相關(guān)的內(nèi)容、交互、協(xié)作和學(xué)習(xí)動機，但是也存在一些負面影響，如降低了對錯誤的關(guān)注等。

綜上分析可知，AR對兒童教育具有許多積極的影響，但也存在著可能降低兒童對錯誤的關(guān)注度以及影響兒童健康狀況等一些負面擔(dān)憂，需要在將來的AR應(yīng)用中特別加以關(guān)注。

四、結(jié)語

AR很可能和VR一起成為下一代主要計算平臺，其中AR將比VR更快進入人們的生活。市場調(diào)查機構(gòu)IDC最近在《全球半年度增強現(xiàn)實和虛擬現(xiàn)實產(chǎn)值指南》中指出：AR/VR市場的全球營收預(yù)計未來四年將增加100%或更多，產(chǎn)品和服務(wù)的總產(chǎn)值將從2017年的114億美元猛增至2021年的2150億美元，復(fù)合年增長率達到21.2%。AR技術(shù)也被許多國家列為未來幾年重點發(fā)展的教育應(yīng)用技術(shù)。但是如何使用AR技術(shù)改善學(xué)習(xí)環(huán)境，AR構(gòu)建的虛擬學(xué)習(xí)和教學(xué)環(huán)境如何更有效地支持學(xué)習(xí)和教學(xué)，如何重新概念化AR教學(xué)環(huán)境下的教育觀念，仍是有待解決的重大課題。

AR是VR技術(shù)的延伸，它隨著移動設(shè)備、計算機視覺、移動云計算、互聯(lián)網(wǎng)接入以及合作網(wǎng)絡(luò)等領(lǐng)域的不斷進步，迅速走進人們的生活。AR技術(shù)是目前國內(nèi)外學(xué)者研究的熱點，AR在兒童教育中的應(yīng)用更是眾多國家和組織關(guān)注的重點。我們將AR關(guān)鍵技術(shù)及其在兒童教育中的應(yīng)用現(xiàn)狀歸納總結(jié)并介紹給讀者，希望更多感興趣的同行了解和加入，以促進這一研究方向及其相關(guān)研究的發(fā)展。