支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境的構(gòu)建

鄭明鈺，李家和，張 晗，駱巖林，申佳麗，朱小明

支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境的構(gòu)建

鄭明鈺，李家和，張 晗，駱巖林，申佳麗，朱小明

(北京師范大學(xué)人工智能學(xué)院，北京 100875)

隨著虛擬現(xiàn)實(shí)(VR)技術(shù)的發(fā)展，沉浸式學(xué)習(xí)環(huán)境在教育教學(xué)領(lǐng)域應(yīng)用前景日趨廣闊，如物理實(shí)驗(yàn)仿真教學(xué)。然而，現(xiàn)有虛擬學(xué)習(xí)環(huán)境大多只能提供視覺與聽覺的交互，不支持力觸覺交互，存在弊端。項(xiàng)目組將力反饋技術(shù)應(yīng)用于虛擬學(xué)習(xí)環(huán)境，描述一個(gè)支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境的總體框架和開發(fā)流程。使用Touch力反饋設(shè)備，借助Unity3D軟件和OpenHaptics力覺函數(shù)庫，設(shè)計(jì)實(shí)現(xiàn)典型案例：重力和摩擦力實(shí)驗(yàn)。通過實(shí)驗(yàn)得出：支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境，具有更好的沉浸感和自然交互性，可加深學(xué)生對(duì)抽象物理概念和規(guī)律的理解，提高學(xué)習(xí)興趣和自主性。

沉浸式學(xué)習(xí)環(huán)境；力反饋；虛擬現(xiàn)實(shí)；物理教學(xué)；人機(jī)交互

近年來，中小學(xué)基礎(chǔ)教育越發(fā)重視對(duì)學(xué)生實(shí)踐能力和學(xué)科素養(yǎng)的培養(yǎng)，對(duì)于一些以實(shí)驗(yàn)為基礎(chǔ)的學(xué)科，如物理，實(shí)驗(yàn)是教學(xué)過程中一個(gè)必不可少的環(huán)節(jié)。然而，由于條件制約，實(shí)際物理教學(xué)過程中存在著“實(shí)驗(yàn)一遍過”、甚至“無實(shí)驗(yàn)”等難題，同時(shí)，由于某些物理模型較為抽象，教師很難在課堂上展示，導(dǎo)致學(xué)生理解錯(cuò)誤，無法領(lǐng)會(huì)，甚至選擇放棄學(xué)習(xí)。

隨著虛擬現(xiàn)實(shí)(virtual reality，VR)技術(shù)的發(fā)展，越來越多的教育機(jī)構(gòu)意識(shí)到虛擬學(xué)習(xí)環(huán)境可以彌補(bǔ)傳統(tǒng)實(shí)驗(yàn)教學(xué)的不足。將虛擬學(xué)習(xí)環(huán)境運(yùn)用到物理實(shí)驗(yàn)教學(xué)，可讓學(xué)生體會(huì)各種抽象的物理模型，獲得直觀而深刻的沉浸式學(xué)習(xí)體驗(yàn)，從而加深理解。這種教學(xué)方式不僅能提高學(xué)生興趣，也有利于重復(fù)實(shí)驗(yàn)、降低成本。

當(dāng)前，虛擬學(xué)習(xí)環(huán)境中主要考慮視覺和聽覺兩方面的信息交互，缺乏力覺交互手段，導(dǎo)致交互性不足，沉浸感較差。經(jīng)過調(diào)研發(fā)現(xiàn)，物理教學(xué)對(duì)力覺交互的需求明顯，傳統(tǒng)虛擬學(xué)習(xí)環(huán)境無法達(dá)到物理實(shí)驗(yàn)教學(xué)的預(yù)期效果，故本文提出將力反饋添加到傳統(tǒng)的虛擬學(xué)習(xí)環(huán)境中的設(shè)想。

基于上述分析，本文搭建一個(gè)支持力反饋的沉浸式虛擬物理實(shí)驗(yàn)室，實(shí)現(xiàn)2個(gè)代表性實(shí)驗(yàn)案例，分別為：①重力實(shí)驗(yàn)——探究物體重力與質(zhì)量的關(guān)系；②摩擦力實(shí)驗(yàn)——探究滑動(dòng)摩擦力和動(dòng)摩擦因數(shù)的關(guān)系。

1 相關(guān)工作

1.1 沉浸式學(xué)習(xí)環(huán)境

沉浸式學(xué)習(xí)環(huán)境是指利用VR等計(jì)算機(jī)技術(shù)構(gòu)建的高度虛擬仿真學(xué)習(xí)環(huán)境。沉浸式學(xué)習(xí)有助于學(xué)習(xí)者體驗(yàn)更逼真的場(chǎng)景，從而產(chǎn)生更加難忘的沉浸式學(xué)習(xí)體驗(yàn)[1]。利用VR技術(shù)搭建的沉浸式學(xué)習(xí)環(huán)境具有多項(xiàng)促進(jìn)學(xué)習(xí)的潛能：有助于理解抽象概念，實(shí)現(xiàn)內(nèi)在動(dòng)機(jī)和參與；可用于開展在真實(shí)世界中不宜進(jìn)行的體驗(yàn)學(xué)習(xí)任務(wù)等[2]。

近年來，使用VR技術(shù)提供的沉浸式學(xué)習(xí)體驗(yàn)日益引起人們的重視，逐步形成沉浸式學(xué)習(xí)和各行各業(yè)交叉融合的局面。滕健等[3]將VR和腦機(jī)交互技術(shù)相結(jié)合，開發(fā)模擬駕駛教學(xué)演示系統(tǒng)，彌補(bǔ)傳統(tǒng)模擬駕駛中對(duì)于意外場(chǎng)景下學(xué)員心理狀態(tài)的監(jiān)測(cè)與協(xié)助的缺失；王萍等[4]利用沉浸式VR技術(shù)進(jìn)行靜脈注射實(shí)驗(yàn)教學(xué)，證明其在護(hù)理實(shí)驗(yàn)教學(xué)領(lǐng)域有良好的應(yīng)用前景；王曉露等[5]利用沉浸式VR技術(shù)實(shí)現(xiàn)藥學(xué)實(shí)驗(yàn)意外事故的虛擬警示和儀器仿真操作，改善傳統(tǒng)藥學(xué)實(shí)驗(yàn)教學(xué)中存在的弊端；張莉和路虹劍[6]提出將沉浸式VR技術(shù)應(yīng)用于情境創(chuàng)設(shè)、探究性實(shí)驗(yàn)教學(xué)中，豐富了小學(xué)課堂的科學(xué)教學(xué)模式；謝峰[7]探究了基于5G網(wǎng)絡(luò)下利用VR技術(shù)搭建的沉浸式課堂教學(xué)的應(yīng)用模式；JADHAV等[8]利用VR輔助遠(yuǎn)程呈現(xiàn)設(shè)備，為居家的殘疾學(xué)生搭建了一個(gè)三維虛擬教室，為其提供更好的學(xué)習(xí)體驗(yàn)；GEORGIOU等[9]通過VR模擬仿真技術(shù)輔助物理課堂，幫助高中學(xué)生理解狹義相對(duì)論相關(guān)知識(shí)；國(guó)外高校如哈佛大學(xué)、斯坦福大學(xué)也利用沉浸式學(xué)習(xí)環(huán)境開設(shè)課程或?qū)嵤┨摂M圖書館、虛擬校園、虛擬課堂等項(xiàng)目[10]。

沉浸式學(xué)習(xí)環(huán)境雖然是近年來VR技術(shù)和其他領(lǐng)域交叉的熱點(diǎn)，但是大部分沉浸式學(xué)習(xí)環(huán)境缺少重要的力覺交互功能。本文將力反饋技術(shù)加入到沉浸式學(xué)習(xí)環(huán)境中，用于物理學(xué)科的實(shí)驗(yàn)教學(xué)，為其提供便捷、有效的虛擬仿真教學(xué)手段。

1.2 力反饋技術(shù)

力反饋是指在人機(jī)交互過程中，用戶向虛擬環(huán)境輸入力學(xué)信號(hào)或運(yùn)動(dòng)信號(hào)，計(jì)算機(jī)根據(jù)相應(yīng)算法計(jì)算反饋力大小和方向，并通過力反饋設(shè)備進(jìn)行輸出，使用戶得到和現(xiàn)實(shí)世界一致的力覺反饋。力反饋技術(shù)改善了傳統(tǒng)的以視覺和聽覺為基礎(chǔ)的人機(jī)交互方式，增強(qiáng)了人機(jī)之間的信息交流，使交互體驗(yàn)更加自然、真實(shí)，通過“所見即所觸”提供了更加豐富多彩的仿真應(yīng)用[11]。

力反饋技術(shù)在改善人機(jī)交互方式、工業(yè)建模、虛擬手術(shù)等領(lǐng)域有許多案例研究。張靜等[12]提出了一種基于分布式系統(tǒng)的動(dòng)態(tài)碰撞檢測(cè)與虛擬力覺交互的控制策略，增強(qiáng)現(xiàn)有人機(jī)交互系統(tǒng)中的沉浸感；徐遠(yuǎn)等[13]基于六維力傳感器的反饋力提出了2種裝配軌跡策劃策略，用于改善工業(yè)生產(chǎn)中自動(dòng)裝配技術(shù)裝配精度不高的問題；侯增選等[14]利用Phantom Desktop力反饋設(shè)備實(shí)現(xiàn)了在虛擬系統(tǒng)中的行書風(fēng)格化繪制，增強(qiáng)了人機(jī)交互的實(shí)時(shí)書法體驗(yàn)；吳其凡等[15]設(shè)計(jì)了一種基于力反饋的顱頜面虛擬手術(shù)仿真平臺(tái)，提高醫(yī)生術(shù)前規(guī)劃效率和訓(xùn)練的效果；顧靈凱等[16]研發(fā)一套耳顯微外科虛擬手術(shù)仿真系統(tǒng)，用于術(shù)前模擬訓(xùn)練，提高手術(shù)精確性；ZHU等[17]和KATAOKA等[18]分別設(shè)計(jì)了一款支持力反饋的智能穿戴手套和一臺(tái)小巧方便的手握式力反饋設(shè)備，使用戶在感知虛擬物體時(shí)可以得到相應(yīng)的觸覺反饋； AL-SADA等[19]構(gòu)建了一個(gè)提供多種力反饋的穿戴式設(shè)備HapticSnakes，改善了傳統(tǒng)力反饋產(chǎn)品在力反饋的種類和作用位置方面的局限性；3D Systems公司研發(fā)了一套基于力反饋技術(shù)的3D模型設(shè)計(jì)與建構(gòu)的計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)Freeform，便于學(xué)習(xí)者直接通過觸覺去雕刻設(shè)計(jì)出任意形態(tài)的三維造型[20]。

力反饋技術(shù)與沉浸式物理學(xué)習(xí)環(huán)境的結(jié)合需要通過力覺交互系統(tǒng)來實(shí)現(xiàn)。力覺交互系統(tǒng)主要由力反饋設(shè)備和力覺函數(shù)庫組成，其工作流程如圖1所示。

圖1 力覺交互系統(tǒng)工作流程

在力覺交互系統(tǒng)中，用戶通過力反饋設(shè)備在虛擬仿真環(huán)境中觸碰、感知和操作虛擬物體，調(diào)用力覺函數(shù)庫中的函數(shù)接口，根據(jù)力覺渲染算法計(jì)算反饋力，隨后力反饋設(shè)備接受程序計(jì)算出的力反饋信息并將對(duì)應(yīng)的反饋力傳遞給用戶，使用戶感受到與現(xiàn)實(shí)世界一致的觸覺體驗(yàn)。本文選用3D Systems公司的Touch力反饋設(shè)備來提供力反饋功能[21]，選擇與Touch設(shè)備配套的OpenHaptics API進(jìn)行開發(fā)[22]，在OpenHaptics API中實(shí)現(xiàn)的是Virtual Proxy力覺渲染算法[23]。

將力反饋技術(shù)應(yīng)用于沉浸式物理學(xué)習(xí)環(huán)境，可以增強(qiáng)VR環(huán)境的逼真度和沉浸感。學(xué)習(xí)者在虛擬學(xué)習(xí)環(huán)境中對(duì)虛擬物體進(jìn)行操作時(shí)，能夠通過力覺感知到物體所受的重力、摩擦力、彈力等，加深對(duì)物理知識(shí)的理解。

1.3 中學(xué)物理實(shí)驗(yàn)

物理是中學(xué)非常重要但較為抽象的學(xué)科，以實(shí)驗(yàn)為基礎(chǔ)。但實(shí)驗(yàn)教學(xué)受條件制約，面臨如實(shí)驗(yàn)室條件有限、實(shí)驗(yàn)器材配備不足、實(shí)驗(yàn)材料損耗大等問題；又如由于實(shí)驗(yàn)容量大、課時(shí)少等原因，許多實(shí)驗(yàn)課學(xué)生還未做完就只能草草結(jié)束；再加上準(zhǔn)備工作繁瑣，大部分實(shí)驗(yàn)學(xué)生只能操作一次，無法再體驗(yàn)。“實(shí)驗(yàn)一遍過”甚至“無實(shí)驗(yàn)”等問題導(dǎo)致學(xué)生缺少動(dòng)手機(jī)會(huì)，降低其積極性，同時(shí)也不利于理解抽象知識(shí)點(diǎn)。

本文設(shè)計(jì)支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境，有利于減少實(shí)驗(yàn)課繁瑣的準(zhǔn)備流程，節(jié)約實(shí)驗(yàn)材料，同時(shí)為學(xué)生提供沉浸式學(xué)習(xí)體驗(yàn)，提高學(xué)習(xí)物理實(shí)驗(yàn)的主動(dòng)性和效率，另外也為學(xué)生提供反復(fù)實(shí)驗(yàn)的機(jī)會(huì)，幫助學(xué)生鞏固知識(shí)點(diǎn)。

為了探索沉浸式物理學(xué)習(xí)環(huán)境中力覺交互相關(guān)的中學(xué)物理知識(shí)點(diǎn)，項(xiàng)目組進(jìn)行了充分調(diào)研，結(jié)果見表1，說明力反饋技術(shù)在中學(xué)物理實(shí)驗(yàn)教學(xué)中有廣闊應(yīng)用場(chǎng)景。從知識(shí)點(diǎn)中選擇重力和摩擦力2個(gè)知識(shí)點(diǎn)搭建相應(yīng)沉浸式物理學(xué)習(xí)環(huán)境并為其添加力交互功能，讓學(xué)生進(jìn)行虛擬仿真物理實(shí)驗(yàn)，加深對(duì)抽象知識(shí)點(diǎn)的理解。

表1 力覺交互相關(guān)的物理知識(shí)點(diǎn)

2 主要方法

本文設(shè)計(jì)的支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境的總體框架如圖2所示。沉浸式物理學(xué)習(xí)環(huán)境的構(gòu)建分為3個(gè)環(huán)節(jié)：搭建虛擬環(huán)境、添加力反饋、沉浸式交互體驗(yàn)。學(xué)習(xí)環(huán)境搭建完成后，學(xué)習(xí)者在虛擬場(chǎng)景中進(jìn)行物理實(shí)驗(yàn)，操縱Touch力反饋設(shè)備與虛擬物體進(jìn)行交互并得到力覺反饋，通過HTC Vive設(shè)備得到視覺反饋。

圖2 總體框架圖

2.1 搭建虛擬環(huán)境

首先通過Blender三維軟件進(jìn)行建模，然后用PhotoShop進(jìn)行貼圖設(shè)計(jì)，接著將模型及貼圖導(dǎo)入U(xiǎn)nity3D中，并放到三維場(chǎng)景中的合適位置，設(shè)置光照，添加剛體組件Rigidbody和碰撞檢測(cè)組件Collider，最終利用Unity3D內(nèi)置渲染引擎繪制出完整場(chǎng)景如圖3所示。

圖3 虛擬實(shí)驗(yàn)場(chǎng)景((a)重力實(shí)驗(yàn)場(chǎng)景；(b)摩擦力實(shí)驗(yàn)場(chǎng)景)

2.2 添加力反饋

利用OpenHaptics?Unity Plugin[24]將力覺交互系統(tǒng)和虛擬環(huán)境相連，從而在沉浸式物理學(xué)習(xí)環(huán)境中添加力反饋功能。該插件支持Unity物理引擎，包含實(shí)現(xiàn)力覺交互功能所需的預(yù)制件和一些基礎(chǔ)力覺腳本。利用該插件在OpenHaptics基礎(chǔ)上編寫用于力覺渲染的C#腳本，進(jìn)而為Unity中的物體添加不同的力覺交互效果，比如重力、摩擦力、穿刺效果等。

2.2.1 給重力場(chǎng)景添加力反饋

首先，添加力反饋功能必需的“HapticDevice WithGrabber”預(yù)制件，預(yù)制件默認(rèn)模型如圖4所示，用戶亦可自行設(shè)計(jì)模型。該預(yù)制件為用戶在虛擬場(chǎng)景中與虛擬物體進(jìn)行力覺交互的工具，負(fù)責(zé)綁定力反饋設(shè)備和力覺交互的響應(yīng)函數(shù)。用戶使用預(yù)制件對(duì)虛擬物體進(jìn)行操作，感受到相應(yīng)力反饋。

圖4 “HapticDeviceWithGrabber”預(yù)制件

然后，給砝碼添加重力反饋。OpenHaptics在Unity場(chǎng)景中的重力反饋基于Unity物理引擎，給砝碼添加“rigidbody”組件使其受到虛擬環(huán)境的“重力”影響，然后將砝碼的tag改為“Touchable”使其能被力覺交互工具觸碰和提起。

算法1. 給物體M添加重力反饋

輸入：

Unity的3D-Object: M,

Unity的物理引擎設(shè)置: PhysicsSetting,

M的質(zhì)量: m, 重力加速度: g

輸出：添加重力反饋后的3D-Object M

為了能感受到不同砝碼的重量，只需改變每個(gè)砝碼在“rigidbody”組件中的mass值，整個(gè)過程的偽代碼見算法1。學(xué)習(xí)者在虛擬學(xué)習(xí)環(huán)境進(jìn)行重力實(shí)驗(yàn)，用力覺交互工具提起不同的木塊和砝碼，會(huì)感受到每個(gè)物體各不相同的重力，將木塊依次放到天平上，讀出砝碼質(zhì)量，探究物體重力與質(zhì)量的關(guān)系。

2.2.2 給摩擦力場(chǎng)景添加力反饋

搭建好摩擦力場(chǎng)景后，首先添加“HapticDevice WithGrabber”預(yù)制件，然后添加腳本為3個(gè)斜面設(shè)置不同的動(dòng)摩擦因數(shù)，使之產(chǎn)生不同的滑動(dòng)摩擦力。采用類似的方法可以為物體設(shè)置不同的表面屬性，如剛度(hlStiffness)、阻尼(hlDamping)、動(dòng)摩擦系數(shù)(hlDF)、靜摩擦系數(shù)(hlSF)和穿透性(hlPopThrough)。整個(gè)過程的偽代碼見算法2。

算法2.給物體M添加摩擦力反饋

輸入：

Unity的3D-Object: M,

滑動(dòng)摩擦力參數(shù): hlDF,

靜摩擦力參數(shù): hlSF,

HapticSurface腳本,

輸出：添加摩擦力反饋后的3D-Object M

以一個(gè)斜面為例，為其添加Haptic Surface腳本，通過操縱面板直接進(jìn)行參數(shù)的調(diào)整，選擇“HL_Touch_Model”為“HL_CONTACT”，并調(diào)整“Static Friction”和“Dynamic Friction” 2個(gè)參數(shù)，可以設(shè)置靜摩擦力和滑動(dòng)摩擦力，如圖5所示。學(xué)習(xí)者先通過力覺交互工具觸摸斜面以感知不同斜面的粗糙程度，然后從3個(gè)斜面上釋放滑塊，觀察下滑的速度，感知不同動(dòng)摩擦因數(shù)下滑動(dòng)摩擦力的大小。進(jìn)一步通過已知信息計(jì)算滑塊的加速度，加深對(duì)受力分析、滑動(dòng)摩擦力等相關(guān)知識(shí)的理解。

圖5 斜面的Haptic Surface參數(shù)設(shè)置

Fig. 5 ‘Haptic Surface’ parameter setting of bevel

2.3 沉浸式交互體驗(yàn)

本文選擇HTC Vive產(chǎn)品支撐VR環(huán)境。HTC Vive是由HTC與Valve聯(lián)合開發(fā)的一款VR頭戴式顯示器產(chǎn)品[25]，通過Vive操控手柄和頭戴式設(shè)備的360°精確追蹤技術(shù)為用戶提供逼真的VR體驗(yàn)，將傳統(tǒng)的Vive操控手柄替換為Touch力反饋設(shè)備從而在VR環(huán)境中提供力反饋。用戶佩戴HTC VIVE設(shè)備的VR頭盔進(jìn)入虛擬環(huán)境，通過Touch設(shè)備與虛擬環(huán)境中的物體進(jìn)行交互，感知反饋力，如圖6所示，用戶提起砝碼感受到重力，同時(shí)有“觸摸”虛擬物體的感覺。根據(jù)用戶反饋可以進(jìn)一步對(duì)場(chǎng)景進(jìn)行修改。

圖6 沉浸式體驗(yàn)場(chǎng)景((a)用戶操作實(shí)景；(b)虛擬學(xué)習(xí)環(huán)境場(chǎng)景)

3 評(píng) 價(jià)

3.1 評(píng)價(jià)對(duì)象

現(xiàn)有虛擬物理學(xué)習(xí)環(huán)境以二維形式較多，其中北京樂步教育科技有限公司設(shè)計(jì)的“NoBook”虛擬物理實(shí)驗(yàn)室[26]等發(fā)展較為成熟，該實(shí)驗(yàn)室收錄了大部分中學(xué)物理實(shí)驗(yàn)。為了驗(yàn)證支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境能夠改善用戶的學(xué)習(xí)體驗(yàn)、增添虛擬學(xué)習(xí)環(huán)境的沉浸感，本文設(shè)計(jì)了2組對(duì)比實(shí)驗(yàn)，第1組對(duì)比“NoBook”二維虛擬實(shí)驗(yàn)室與傳統(tǒng)的未添加力反饋的沉浸式物理學(xué)習(xí)環(huán)境，比較用戶在三維和二維虛擬學(xué)習(xí)環(huán)境中的學(xué)習(xí)體驗(yàn)；第2組對(duì)比傳統(tǒng)的沉浸式物理學(xué)習(xí)環(huán)境與支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境，觀察力反饋技術(shù)是否能夠增強(qiáng)三維虛擬學(xué)習(xí)環(huán)境的沉浸感，改善用戶體驗(yàn)。3個(gè)評(píng)價(jià)對(duì)象均為滑動(dòng)摩擦力相關(guān)實(shí)驗(yàn)：在二維虛擬物理實(shí)驗(yàn)室中，用戶只能通過鼠標(biāo)與虛擬器材進(jìn)行交互；在三維沉浸式物理學(xué)習(xí)環(huán)境中，3個(gè)斜面(木質(zhì)、石英和玻璃斜面)的動(dòng)摩擦因數(shù)不同，用戶通過手柄或力反饋設(shè)備進(jìn)行交互。3個(gè)評(píng)價(jià)對(duì)象如圖7所示。

圖7 3個(gè)評(píng)價(jià)對(duì)象((a)“NoBook”二維虛擬物理實(shí)驗(yàn)；(b)傳統(tǒng)的三維沉浸式虛擬物理實(shí)驗(yàn)(無力反饋)；(c)支持力反饋的三維沉浸式虛擬物理實(shí)驗(yàn))

3.2 評(píng)價(jià)方法

鑒于暫沒有統(tǒng)一的對(duì)虛擬學(xué)習(xí)環(huán)境的評(píng)價(jià)指標(biāo)，本文參考何聚厚等[27]提出的基于沉浸式VR系統(tǒng)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，選擇并優(yōu)化其若干指標(biāo)，建立針對(duì)虛擬物理學(xué)習(xí)環(huán)境的評(píng)價(jià)指標(biāo)體系，并利用層次分析法對(duì)各指標(biāo)權(quán)重進(jìn)行計(jì)算。通過咨詢教育領(lǐng)域?qū)＜业玫綄＜遗袛嗑仃?，見?，最終的指標(biāo)體系及其權(quán)重見表3。該指標(biāo)體系從情感、過程和知識(shí)3個(gè)層面對(duì)3個(gè)評(píng)價(jià)對(duì)象進(jìn)行定量評(píng)估，重點(diǎn)考察虛擬物理學(xué)習(xí)環(huán)境的沉浸感和交互性。

表2 專家判斷矩陣

注：變量與表3中的指標(biāo)相對(duì)應(yīng)

每一種評(píng)價(jià)標(biāo)準(zhǔn)均使用1~5標(biāo)度打分，依次代表完全不符合、基本不符合、基本符合、符合、完全符合(或非常不滿意、基本不滿意、基本滿意、滿意、非常滿意)。最終得分為

(1)

其中，為最終得分；g為二級(jí)指標(biāo)打分；w為對(duì)應(yīng)權(quán)重。

表3 虛擬物理學(xué)習(xí)環(huán)境的評(píng)價(jià)指標(biāo)

共有6組志愿者參與本次實(shí)驗(yàn)，每組15人。以其中一組測(cè)評(píng)為例進(jìn)行介紹：實(shí)驗(yàn)前，向志愿者介紹3種虛擬學(xué)習(xí)環(huán)境的使用方法及實(shí)驗(yàn)?zāi)康模瑢?shí)驗(yàn)按以下步驟進(jìn)行：

步驟1. 對(duì)3種實(shí)驗(yàn)進(jìn)行編號(hào)，“NoBook”二維虛擬物理實(shí)驗(yàn)室為實(shí)驗(yàn)1，經(jīng)典的沉浸式物理學(xué)習(xí)環(huán)境為實(shí)驗(yàn)2，支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境為實(shí)驗(yàn)3。

步驟2. 第1組的實(shí)驗(yàn)順序?yàn)閷?shí)驗(yàn)1、實(shí)驗(yàn)2和實(shí)驗(yàn)3。

步驟3. 3種實(shí)驗(yàn)體驗(yàn)完畢后，志愿者填寫調(diào)查問卷，交流實(shí)驗(yàn)感受。

步驟4. 第1組體驗(yàn)完畢后，第2組開始，直到6組全部體驗(yàn)完成。

3.3 評(píng)價(jià)結(jié)果

在6組志愿者全部實(shí)驗(yàn)完畢后，整理調(diào)查問卷的結(jié)果進(jìn)行評(píng)分，結(jié)果見表4。

表4 評(píng)價(jià)指標(biāo)得分

注：加粗為更優(yōu)結(jié)果，總分滿分5分

從表4可以看出，相比于二維虛擬物理學(xué)習(xí)環(huán)境，三維的沉浸式物理學(xué)習(xí)環(huán)境能夠給學(xué)生提供更優(yōu)質(zhì)的學(xué)習(xí)過程體驗(yàn)，調(diào)動(dòng)學(xué)習(xí)主動(dòng)性，提高學(xué)習(xí)興趣；同時(shí)力反饋功能顯著改善學(xué)生在三維交互過程中的沉浸感，有助于提升學(xué)習(xí)專注度，進(jìn)而加深對(duì)知識(shí)的理解。不過少許志愿者在實(shí)驗(yàn)過程中表現(xiàn)出對(duì)于VR環(huán)境略有不適感，在“學(xué)習(xí)適應(yīng)” (1)項(xiàng)中給“NoBook”二維虛擬物理實(shí)驗(yàn)室打出了略高于其他2項(xiàng)實(shí)驗(yàn)的分值，說明極少部分志愿者對(duì)VR設(shè)備和力反饋設(shè)備需要更長(zhǎng)的適應(yīng)時(shí)間，這也是今后需要優(yōu)化的地方。整體來看，支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境在實(shí)際教學(xué)中有較大優(yōu)勢(shì)，能夠更好滿足師生需求，在未來應(yīng)用前景廣闊。

4 總結(jié)與展望

本文設(shè)計(jì)實(shí)現(xiàn)了支持力反饋的沉浸式物理學(xué)習(xí)環(huán)境，為用戶提供實(shí)時(shí)的力覺反饋效果。該虛擬學(xué)習(xí)環(huán)境具有高沉浸感和自然交互性，改善傳統(tǒng)虛擬物理實(shí)驗(yàn)環(huán)境的人機(jī)交互方式，同時(shí)為解決當(dāng)今中國(guó)物理教學(xué)中“實(shí)驗(yàn)難”、“實(shí)驗(yàn)一遍過”甚至“無實(shí)驗(yàn)”等問題提出一種新的解決思路，不僅有利于滿足學(xué)生對(duì)于模擬物理實(shí)驗(yàn)的需求，更可以幫助學(xué)生多次進(jìn)行物理實(shí)驗(yàn)、復(fù)習(xí)和鞏固相關(guān)知識(shí)。

本文相關(guān)技術(shù)具有很強(qiáng)的拓展性，可以類似地將物理領(lǐng)域中電場(chǎng)力、磁場(chǎng)力、萬有引力等學(xué)生難以理解的力學(xué)實(shí)驗(yàn)引入其中，目前本項(xiàng)目組正在依此思路進(jìn)一步研發(fā)其他實(shí)驗(yàn)案例。未來，將對(duì)力覺渲染算法作進(jìn)一步研究，優(yōu)化力反饋效果，進(jìn)一步改進(jìn)和完善沉浸式物理學(xué)習(xí)環(huán)境，并推廣應(yīng)用。

[1] 張春華, 吳莎莎. 沉浸式學(xué)習(xí)背景下虛擬現(xiàn)實(shí)技術(shù)的教育應(yīng)用[J]. 中國(guó)現(xiàn)代教育裝備, 2018, 300(20): 72-76. ZHANG C H, WU S S. Educational application of virtual reality technology in the context of immersive learning[J]. China Modern Educational Equipment, 2018, 300(20): 72-76 (in Chinese).

[2] 仇曉春. 三維虛擬學(xué)習(xí)環(huán)境的特點(diǎn)及教學(xué)潛能[J]. 中國(guó)遠(yuǎn)程教育, 2012 (15): 74-77. QIU X C. Characteristics and teaching potential of three-dimensional virtual learning environment[J]. China Distance Education, 2012 (15): 74-77 (in Chinese).

[3] 滕健, 黃佳慧, 宮凱. 基于BCI的虛擬現(xiàn)實(shí)模擬駕駛教學(xué)系統(tǒng)設(shè)計(jì)[J]. 圖學(xué)學(xué)報(bào), 2020, 41(2): 217-223. TENG J, HUANG J H, GONG K. Design of virtual reality simulation driving teaching system based on BCI[J]. Journal of Graphics, 2020, 41(2): 217-223 (in Chinese).

[4] 王萍, 顏文貞, 王芳, 等. 沉浸式虛擬現(xiàn)實(shí)技術(shù)在靜脈注射法實(shí)驗(yàn)教學(xué)中的應(yīng)用[J]. 中國(guó)護(hù)理管理, 2020, 20(2): 176-180. WANG P, YAN W Z, WANG F. Application of immersive virtual reality technology in experimental teaching of intravenous injection[J]. China Nursing Management, 2020, 20(2): 176-180 (in Chinese).

[5] 王曉露, 陳鋒, 鄧琪. 沉浸式虛擬現(xiàn)實(shí)技術(shù)在藥學(xué)實(shí)驗(yàn)教學(xué)中的應(yīng)用[J]. 中華醫(yī)學(xué)教育雜志, 2020, 40(2): 111-114. WANG X L, CHEN F, DENG Q. Application of immersive virtual reality technology in pharmacy experimental teaching[J]. Chinese Journal of Education, 2020, 40(2): 111-114 (in Chinese).

[6] 張莉, 路虹劍. 沉浸式虛擬現(xiàn)實(shí)技術(shù)在科學(xué)教學(xué)中的應(yīng)用研究[J]. 計(jì)算機(jī)教育, 2019 (12): 11-15. ZHANG L, LU H J. Research on the application of immersive virtual reality technology in science teaching[J]. Computer Education, 2019 (12): 11-15 (in Chinese).

[7] 謝峰. 5G網(wǎng)絡(luò)下基于虛擬現(xiàn)實(shí)技術(shù)沉浸式課堂教學(xué)的應(yīng)用與研究[J]. 計(jì)算機(jī)工程與科學(xué), 2019, 41(S1): 14-17. XIE F. Application and research of immersive classroom teaching based on virtual reality technology under 5G network[J]. Computer Engineering and Science, 2019, 41(S1): 14-17 (in Chinese).

[8] JADHAV D, SHAH P, SHAH H. A study to design VI classrooms using virtual reality aided telepresence[C]//2018 IEEE 18th International Conference on Advanced Learning Technologies (ICALT). New York: IEEE Press, 2018: 319-321.

[9] GEORGIOU Y, TSIVITANIDOU O, ECKHARDT C, et al. Work-in-progress: a learning experience design for immersive virtual reality in physics classrooms[C]//The 6th International Conference of the Immersive Learning Research Network (iLRN). New York: IEEE Press, 2020: 263-266.

[10] 劉革平, 謝濤. 三維虛擬學(xué)習(xí)環(huán)境綜述[J]. 中國(guó)電化教育, 2015(9): 22-27. LIU G P, XIE T. Overview of three-dimensional virtual learning environment[J]. China Audio-Visual Education, 2015 (9): 22-27 (in Chinese).

[11] 王黨校, 焦健, 張玉茹, 等. 計(jì)算機(jī)觸覺：虛擬現(xiàn)實(shí)環(huán)境的力觸覺建模和生成[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2016, 28(6): 881-895. WANG D X, JIAO J, ZHANG Y R, et al. Computer haptic modeling and generation in virtual reality environments[J]. Journal of Computer Aided Design and Graphics, 2016, 28(6): 881-895 (in Chinese).

[12] 張靜, 徐亮, 劉滿祿, 等. 基于分布式系統(tǒng)的虛擬力感知與交互技術(shù)[J]. 傳感器與微系統(tǒng), 2019, 38(5): 44-47. ZHANG J, XU L, LIU M L. Virtual force perception and interaction technology based on distributed system[J]. Sensors and Microsystems, 2019, 38(5): 44-47 (in Chinese).

[13] 徐遠(yuǎn), 宋愛國(guó), 李會(huì)軍. 基于機(jī)器視覺和力反饋的自動(dòng)裝配技術(shù)研究[J]. 測(cè)控技術(shù), 2019, 38(4): 11-16. XU Y, SONG A G, LI H J. Research on automatic assembly technology based on machine vision and force feedback[J]. Measurement and Control Technology, 2019, 38(4): 11-16 (in Chinese).

[14] 侯增選, 張微, 黃磊, 等. 基于力反饋技術(shù)的行書書法仿真[J]. 計(jì)算機(jī)仿真, 2019, 36(5): 366-371. HOU Z Y, ZHANG W, HUANG L. Simulation of calligraphy based on force feedback technique[J]. Computer Simulation, 2019, 36(5): 366-371 (in Chinese).

[15] 吳其凡, 張勁, 劉凱, 等. 下頜骨拼接與導(dǎo)板設(shè)計(jì)的力反饋虛擬手術(shù)研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(5): 232-237. WU Q F, ZHANG J, LIU K. Virtual surgery for mandible splice and guide plate design by force feedback[J]. Journal of Computer Engineering and Applications, 2019, 55(5): 232-237 (in Chinese).

[16] 顧靈凱, 謝叻, 戴培東. 具有力反饋的耳顯微外科虛擬手術(shù)研發(fā)[J]. 計(jì)算機(jī)仿真, 2019, 36(5): 360-365. GU L K, XIE L, DAI P D. Research and development of virtual surgery for ear microsurgery with force feedback[J]. Computer Simulation, 2019, 36(5): 360-365 (in Chinese).

[17] ZHU M L, SUN Z D, ZHANG Z X, et al. Haptic- feedback smart glove as a creative human-machine interface (HMI) for virtual/augmented reality applications[J]. Science Advances, 2020, 6(19): eaaz8693.

[18] KATAOKA K, YAMAMOTO T, OTSUKI M, et al. A new interactive haptic device for getting physical contact feeling of virtual objects[C]//2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). New York: IEEE Press, 2019: 1323-1324.

[19] AL-SADA M, JIANG K R, RANADE S, et al. HapticSnakes: multi-haptic feedback wearable robots for immersive virtual reality[J]. Virtual Reality, 2020, 24(2): 191-209.

[20] 祁彬斌, 陳彩華, 龐明勇. Haptics技術(shù)在教育教學(xué)中的應(yīng)用研究[J]. 現(xiàn)代教育化, 2015 (1): 82-86. QI B B, CHEN C H, PANG M Y. Research on the application of haptics technology in education[J]. Modern Education, 2015 (1): 82-86 (in Chinese).

[21] 3D Systems.觸覺式力反饋設(shè)備[EB/OL]. [2020-09-20]. https://cn.3dsystems.com/haptics-devices/touch.3D Systems. 3D systems touchforce feedback equipment[EB/OL]. [2020-09-20]. https://cn.3dsystems.com/haptics-devices/touch (in Chinese).

[22] 3D Systems. 3D systems OpenHaptics API for Windows developer edition v3.5[EB/OL]. [2020-09-20]. https://support.3dsystems.com/s/article/OpenHaptics-for-Windows-Developer-Edition-v35?language=en_US.

[23] RIZZI S H, LUCIANO C J, PAT BANERJEE P. Comparison of algorithms for haptic interaction with isosurfaces extracted from volumetric datasets[J]. Journal of Computing and Information Science in Engineering, 2012, 12(2): 21004-NaN.

[24] 3D Systems. 3D systems OpenHaptics Unity plugin[EB/OL]. [2020-09-20]. https://assetstore.unity.com/packages/tools/integration/3d-systems-openhaptics-unity-plugin-134024.

[25] 宏達(dá)通訊科技有限公司. HTC Vive設(shè)備[EB/OL]. [2020-09-20].https://www.vive.com/cn/product/vive/. Hongdo Communiations Technology Limited. HTC Vive equipment[EB/OL]. [2020-09-20]. https://www.vive.com/cn/ product/vive (in Chinese).

[26] 北京樂步教育科技有限公司. NoBook虛擬實(shí)驗(yàn)室[EB/OL]. [2020-09-20]. https://www.nobook.com. Beijing Lebu Education Techology Go., Ltd. NoBook virtual laboratory[EB/OL]. [2020-09-20]. https://www.nobook.com (in Chinese).

[27] 何聚厚, 梁瑞娜, 肖鑫, 等. 基于沉浸式虛擬現(xiàn)實(shí)系統(tǒng)的學(xué)習(xí)評(píng)價(jià)指標(biāo)體系設(shè)計(jì)[J]. 電化教育研究, 2018, 39(3): 75-81. HE J H, LIANG R N, XIAO X. Design of learning evaluation index system based on immersive virtual reality system[J]. Audio-visual Education Research, 2018, 39(3): 75-81 (in Chinese).

Immersive physics learning environment with force feedback

ZHENG Ming-yu, LI Jia-he, ZHANG Han, LUO Yan-lin, SHEN Jia-li, ZHU Xiao-ming

(College of Artificial Intelligence, Beijing Normal University, Beijing 100875, China)

With the development of virtual reality (VR) technology, the immersive learning environment can play a great role in the field of education. However, most of the existing immersive environments can only provide visual and auditory interactions, and are unable to provide force and touch interactions, which are the drawbacks. Our project described a complete framework and development process of an immersive physics learning environment with force feedback. Using the Touch force-feedback device, along with the Unity3D software and OpenHaptics function library, the gravity and friction experiments were designed. Through the evaluation experiment, it can be concluded that the immersive physics learning environment with force feedback can provide a better sense of immersion and more natural interactions, which can deepen students’ understanding of abstract physical concepts and improve their interest in learning.

immersive learning environment; force feedback; virtual reality; physics teaching; human-computer interaction

TP 391.9

10.11996/JG.j.2095-302X.2021010079

A

2095-302X(2021)01-0079-08

2020-07-22；

22 July，2020；

2020-09-20

20 September，2020

國(guó)家自然科學(xué)基金項(xiàng)目(61977063)；全國(guó)教育科學(xué)規(guī)劃課題(BCA150050)

：National Natural Science Foundation of China (61977063); National Educational Science Planned Project of China (BCA150050)

鄭明鈺(1998-)，男，河南新鄉(xiāng)人，本科生。主要研究方向?yàn)榭梢暬吞摂M現(xiàn)實(shí)。E-mail：201711210110@mail.bnu.edu.cn

ZHENG Ming-yu (1998-), male, undergraduate. His main research interests cover visualization and virtual reality. E-mail：201711210110@mail.bnu.edu.cn

駱巖林(1968-)，女，甘肅武威人，副教授，博士。主要研究方向?yàn)榭梢暬吞摂M現(xiàn)實(shí)。E-mail：luoyl@bnu.edu.cn

LUO Yan-lin (1968-), female, associate professor, Ph.D. Her main research interests cover visualization and virtual reality. E-mail：luoyl@bnu.edu.cn