沉浸式學習環(huán)境下學習者認知負荷測量

黃安儀　崔寧　黎思琪　黃峻榮

摘? 要：沉浸式學習環(huán)境借助智慧課室、虛擬現(xiàn)實（VR）、5G技術，實現(xiàn)了為學習者提供跨越空間、時間的沉浸式體驗，有利于學習者以自己為中心積極主動地參與到課堂內容的學習。然而沉浸式學習環(huán)境下又因其自身的環(huán)境虛擬性、操作復雜性、任務多樣性等無形之中增加了學習者的認知負荷。文章通過對現(xiàn)有的沉浸學習情境中學習者的認知負荷的測試方法進行了分析，并對現(xiàn)有測試手段存在的缺陷進行了梳理，并提出了一種全面的沉浸學習環(huán)境中學習者的認知負荷測試方法。即“腦電捕獲+主觀評定”，首先通過計算“腦電捕獲”相關數據來獲取學習者認知負荷的瞬時大小，其次通過“主觀評定”來驗證測量結果的準確性，對測量結果進行驗證，以增強本測量方法的可信度。

關鍵詞：沉浸式學習環(huán)境；認知負荷測量；學習者

中圖分類號：TP391? 文獻標識碼：A? 文章編號：2096-4706（2023）12-0089-04

Measurement of Learners' Cognitive Load in Immersive Learning Environment

HUANG Anyi， CUI Ning， LI Siqi， HUANG Junrong

（School of Information Engineering & Business Management， Guangdong Nanhua Vocational College of Industry and Commerce， Guangzhou? 510507， China）

Abstract： With the help of smart classroom， Virtual Reality （VR） and 5G technology， the immersive learning environment provides learners with immersive experience across space and time， which is conducive to learners' self-centered and active participation in the learning of classroom content. However， the immersive learning environment also increases the cognitive load of learners because of its own virtual environment， operational complexity， task diversity and other intangible factors. This paper analyzes the existing test methods of learners' cognitive load in the immersive learning environment， combs the defects of the existing test methods， and proposes a comprehensive test method of learners' cognitive load in the immersive learning environment. That is， “EEG capture + subjective assessment”. Firstly， the instantaneous size of learners' cognitive load is obtained by calculating the relevant data of “EEG capture”. Secondly， the accuracy of the measurement results is verified by “subjective assessment”， and the measurement results are verified to enhance the credibility of this measurement method.

Keywords： immersive learning environment; cognitive load measurement; learner

0? 引? 言

隨著信息技術在教育領域的深入應用，沉浸式學習愈來愈成為未來學習者開展個性化學習的重要手段，亦是新時期教育信息化發(fā)展的新要求。2018年12月25日，國家工信部印發(fā)了《工業(yè)和信息化部關于加快推進虛擬現(xiàn)實產業(yè)發(fā)展的指導意見》?！兑庖姟诽岢觯骸耙烟摂M現(xiàn)實技術運用到高等教育、職業(yè)教育、物理、化學、生物、地理等領域”[1]?？梢奦R（Virtual Reality）等沉浸式教學在教學中的重要作用。

然而沉浸式學習環(huán)境中，通過對目前已有的學習背景下學習者認知負荷的測驗方法的研究，總結了目前的測驗方法的不足，并給出了一個綜合的測驗方法。當下，對于認知負荷的測量已有多種較為成熟的測量方式，但具體到沉浸式學習環(huán)境下的認知負荷實時測量還很少涉及，因此沉浸式學習環(huán)境下學習者認知負荷測量的研究有利于補充和進一步完善認知負荷測量理論。

1? 文獻綜述

無論是在傳統(tǒng)教室學習模式還是在信息技術環(huán)境下學習模式，均存在著教育資源與學習資源無法實現(xiàn)有效匹配與共享、學習空間的碎片化以及學習內容與教學方式之間的不匹配等問題。因此，在新教育環(huán)境背景下，學習者對于資源與學習資源的利用問題日益凸顯。當前，已有眾多研究表明，沉浸式學習環(huán)境有助于提高學習者的學習效率并減少相關錯誤的發(fā)生概率。因此，針對沉浸式學習環(huán)境下學習者的認知負荷問題及其相關影響因素進行探討具有重要意義。

沉浸式學習環(huán)境的應用為現(xiàn)階段的學習教育帶來了新的體驗。任何一種學習都不能脫離注意、記憶、思考、想象等認知活動。許多研究顯示，學生的學習記憶與認知行為有著緊密的聯(lián)系。學習記憶的主要功能是對當前學習環(huán)境中的課程信息進行采集和臨時存儲，并將其與長時記憶相聯(lián)系，以實現(xiàn)對整個學習任務的全面了解。但是由于學生學習記憶的能力有限，如果學習環(huán)境中的信息太多，可能會影響學生的注意力，記住了額外的環(huán)境信息，使學生的學習記憶能力超負荷，從而影響到學生的認知處理能力。認知負荷能夠代表學習狀態(tài)下腦力資源占用率，也有相關專家稱之為稱為精神負荷、腦力負荷或者心理負荷。而對于認知負荷的測量，是不可直接被衡量的，只能通過間接的方式來衡量。國外研究學者Paas等人在1994年所提出的認知負荷結構模式的評估因子。最近幾年，認知負荷的測量才剛剛起步，但是，在負荷測量方面，認知心理學的研究已有相當多的成果。目前，大部分的研究者都是采用實驗的方式來進行認知負荷的測定。沉浸式學習環(huán)境因其信息量大、信息多樣化而不同于傳統(tǒng)教育和學習環(huán)境。在這種情況下，學習者在學習過程中的認知負荷也應該是不同的[2]。

目前測量認知負荷的方法可分為主觀評定測量、任務績效測量和生理測量。主觀評定測量采用一維量表進行學習者的認知負載，其靈敏度高、使用方便、無創(chuàng)、易被測受試者接受，但是存在主觀性較強的缺點，具有一定弊端。任務績效測量是一種對認知負載進行客觀、直接的衡量，它可以根據學生在完成一項任務后的表現(xiàn)來判定其所造成的認知負載，但是任務的相關性較高，不方便進行橫向測量。生理學測量是一種較為客觀、可量化的測量手段，在這種測量中，眼球運動的數據可通過無接觸的方式進行，因此在臨床上有很大的實用價值。與眼動有關的認知活動有：瞳孔擴張、眨眼次數、眨眼時間、眼球掃視等。有研究發(fā)現(xiàn)，在較高的認知負載和較高的任務要求下，閃爍次數和閃爍持續(xù)時間都會降低。

一般認知負荷量表會使用WP（The Workload Profile Index Ratings）、SWAT（Subjective Workload Assessment Technique）、TLX（National Aeronautics and Space Administration- Task Load Index）等多維度量表進行統(tǒng)計，WP的靈敏度要高于SWAT，TLX的靈敏度最低；WP量表具有良好的診斷能力；SWAT量表和WP量表的效度均優(yōu)于TLX量表。在中等、低級作業(yè)中，WP量表是一種比較理想的認知負荷量表。此外，次任務在響應時的穩(wěn)定性和抗干擾能力也很強，能夠在不同的困難任務中進行有效的識別。認知負荷綜合指數具有良好的敏感性。

盡管在某些研究中已有生理學測量方法的使用，但是它的儀器和環(huán)境要求很高，很少用于實際操作。在認知負荷測量的基礎上，已有不少學者提出了可用于實踐的測驗技術。因此，本文在上述基礎上，針對沉浸式學習環(huán)境下學習者認知負荷測量展開研究。

2? 基于腦電的學習者認知負荷測量

2.1? 基于腦電提取學習者認知負荷信號協(xié)方差特征

引入腦電技術，對學習者認知負荷進行測量。假設共包含n個通道的腦電信號數據，其表達式為：

式（1）中，st表示任意時刻t的腦電信號；l表示腦電信號的總采集點數量。假設所有產生的腦電信號都已經經過了高通濾波，并且各個采樣點上的腦電信號總采集點數量均遠遠超出了電極通道數n，則在這一假設條件下，學習者認知負荷信號協(xié)方差特征可通過下述公式計算得出：

式（2）中，T表示轉置。在獲取到學習者認知負荷信號協(xié)方差特征后，還需要對這一特征在切空間中進行映射。在對協(xié)方差特征進行切空間映射時，假定同一學習者的協(xié)方差矩陣處于同一區(qū)域，而各學習者的協(xié)方差矩陣則處于不同的區(qū)域[3]。為了得到更精確的切點，即數據的平均值，必須分別對各樣本的數據進行單獨的運算，從而得到更精確的切點估算。但這也造成了不能對多個學習者進行有效的綜合利用[4]。為充分利用獲取到的信息，增強測量方法的魯棒性和精確度，采用多模式整合的方法，為后續(xù)度量黎曼流形數據提供依據。

2.2? 度量黎曼流形數據

黎曼流形是一類具有微流形的空間，它具有很強的穩(wěn)定性。但由于黎曼流形是一種非歐結構，其上各點的切線空間均為歐式，因此在歐氏空間中，該方法不能直接用于黎曼的數據點[5]。黎曼距離對黎曼流形數據的度量示意圖如圖1所示。

圖1中，一個節(jié)點從①到②，其在圖1中所選的兩個點（相對于黎曼流形）之間的最小距離是球面上的測量線（對能量應為黎曼距離），而不是穿過球面（歐氏距離）[6]。所以，在黎曼流形中，要考慮采用合適的方法。結合上述獲取到的學習者認知負荷信號協(xié)方差特征，將所有特征組成一個對稱正定矩陣，并將節(jié)點看作是在黎曼流形上的一個點。在一般的矩陣空間當中，可直接采用歐氏距離的方式計算兩個節(jié)點之間的距離，其公式為：

式（3）中，d（x1， x2）表示節(jié)點x1和x2之間的歐氏距離；x1k和x2k表示節(jié)點屬性詳細選值。而在對稱正定矩陣空間當中，則需要通過黎曼距離計算得出。黎曼距離可以基于下述公式對m個對稱正定矩陣的黎曼均值得出：

式（4）中，σ表示黎曼系數。計算得出的黎曼均值點位置上所有的矢量組成的集合構成完整的切空間[7]。在該切空間中，測量值與黎曼空間相比十分平滑，所以我們可以利用其他常規(guī)的歐式空間，例如利用算術平均值來計算數據間的距離，或直接利用邏輯回歸分類器來對切空間中的數據進行分類。

2.3? 輸出學習者認知負荷測量結果

從黎曼空間出發(fā)，利用切空間中的相關運算，求出m個對稱正定矩陣的平均值。首先，利用黎曼對數映射方法，將黎曼空間內的數據點全部映射為切空間。這種切空間是歐氏空間的特性，所以，在歐式空間中，平均的描述，是一個比較簡單的平均值的正確的估算[8]。最后，利用Riemann指數映射，把所求出的算術平均值映射到黎曼空間，由對稱正定矩陣組成，從而可以準確地反映對稱正定矩陣的平均值。之后的機器學習和遷移學習都是在一個切空間內進行的，將每一個被測數據分別計算出的平均幾何平均值作為切點。在對協(xié)方差特性進行切空間映射時，假定同一學習者的協(xié)方差矩陣處于黎曼流形的同一區(qū)域，而黎曼流形中各受試者的協(xié)方差矩陣則處于不同的區(qū)域[9]。所以，為了得到更精確的切點，即數據的黎曼平均，必須分別對各樣本的數據進行單獨的運算，從而得到更精確的切點估算。但這也造成了一個問題，即不能對多個學習者進行有效的綜合利用。建立投票模型，充分利用已有的資料，增強模型的魯棒性和精確度，增加模型的更新與升級的可能性[10]。相對多數硬投票模型如圖2所示。

針對圖2中多個模型，采用組合策略中的投票法對其進行集成處理，多個模型同時預測標簽，預測標簽最多的標簽即為最終輸出標簽，其公式為：

式（5）中，H （x）表示最終輸出標簽；c表示類別標記；HIJ（x）表示基模型；q表示基模型數量?；趫D2投票結果，輸出學習者認知負荷測量結果。

3? 實驗研究

在沉浸式學習環(huán)境下，利用分數測度對學習者認知負荷進行測量。首先，根據目前的學習內容設計測驗題。學習者一旦學會了一門課程，馬上進行測試，從而實時分析學習效果。為此，設計如下測量過程。

3.1? 實驗設計與數據

以M高校為測試環(huán)境，隨機抽選20例學習者展開測試。

在實驗中，學習者被要求在計算機前安靜地坐著，注意力盡量集中在屏幕中央的十字架上，在實驗中盡量不要頻繁地眨眼睛。當學習者安靜下來后，實驗開始，記憶和探測項目將在熒光屏上依次顯示。學習者需要迅速而精確地記憶單詞，大約3秒鐘后，屏幕上會顯示一個探頭項目，這時，學習者需要用鍵盤來判斷是否在記憶項目中。

每一學習者都有3節(jié)的資料，每節(jié)含有兩個區(qū)塊（bloolc），每區(qū)塊含有60個試次。剔除無效資料后，每位學習者平均分為三類，總計480份trial樣本數據。采用128導neuroScan記錄學習者頭表腦電數據，將采樣頻率設置為1 000 Hz。20例學習者的腦電圖資料應用延遲匹配試驗，將其分成三個層次：低負荷（刺激數量為2）、中等負荷（刺激數量為4）、高負荷（刺激數量為8）。

3.2? 腦電記錄與預處理

針對上述獲取到的實驗數據進行預處理，包括壞道插值、帶通濾波、偽跡去除等。62導腦電信號，將CB1、CB2兩個電極去除后共包含60導，分別用人工方式或其他方法進行標記，并利用內插技術對故障進行修補，以保證數據中的每一條導線的數據都不會產生不良的噪音。在此基礎上，對數據采用五階巴特沃斯濾波器進行帶通濾波處理。在這一過程中，需要將頻段控制在1～45 Hz的范圍內。為了防止由刺激引起的事件相關電勢等不相關的因素對實驗結果的影響，只在1 s后的記憶序列中，抽取2.3 s的保留時間。在1 000 Hz的取樣速率下，獲得2 300個采樣單點。對分割的數據進行取樣，取樣速率設定在160 Hz。最后得到格式為N×60×368的數據，其中的N是取樣數目，60是信道數目，368是取樣點數目。

3.3? 測量實驗結果

根據上述實驗過程，在完成對學習者認知負荷測量后，記錄實驗結果。表1為對學習者刺激開始1 s后得到的認知負荷測量結果。

3.4? 結果分析

統(tǒng)計對學習者刺激開始1 s后，其認知負荷測量結果可以看出，在沉浸式學習環(huán)境中，學習者受到刺激開始學習時，觀測到Gamm節(jié)律的時間相關同步化發(fā)生集中在低負荷區(qū)域（11～18 Hz）中，而這與過程并不涉及中負荷與高負荷。

4? 具體應用

在認知負荷綜合測量在沉浸式學習環(huán)境下的具體應用中，當學習者的內部和外部的認知負荷都已被確定時，就能由相應的內在認知負荷和外在認知負荷來決定。由于學習者主觀因素的影響，學習者在主觀上會減少對作業(yè)材料的難度、數量等的主觀感覺，進而間接地影響到整體的認知負荷。當內部認知負荷下降時，相應的認知負荷和元認知負荷就會增加。學習學會是學習者必備的素質和追求的目標，因此，在目前的研究和實踐中，重視學習者的個性因素和學習風格，并加大對學習者的相關認知負擔和元認知負荷的研究將是今后的發(fā)展方向。大多數的學習者都是以直觀的形式學習的，因此，學習者當前在沉浸式學習環(huán)境中所能得到的信息比用直觀的形式所能得到的信息要少。但是在某些場景中，幾乎不會提供可視化的知識，學習者只會通過聽、看等方式獲得知識，就算是多媒體，也會有很多的文字，很少有圖片、圖標等。因此，在強調人的認識規(guī)律的前提下，在沉浸式學習環(huán)境中學習要兼顧學習者的不同，要注意學習者的認識方式和學習者的學習方式，并根據不同的風格進行不同的設計和個體化學習，可以減少學習者的學習負擔，提高學習者的有效認知負擔，從而使學習效果達到最佳。

在具體應用中，學習效果和認知負荷有很大的聯(lián)系，而且是非常復雜的。過高或過低的內部認知負荷和外部的認知負荷對學習均無益處，前者會妨礙學習，而外部的知識負荷則會降低學習者的動機和注意力，從而影響學習。在認知負荷綜合測量在沉浸式學習環(huán)境下的具體應用時，要想找出某一種教學或學習方法會給學習者帶來什么樣的認知負擔，就必須把學習成果與其他關于學習過程中的認知負荷衡量相結合。例如，擁有同樣的知識的學習者，甲和乙在完成同樣的工作時，會用不同的方法來完成同樣的工作。假設 甲的任務呈現(xiàn)模式可以減少外部的認知負擔，而乙的任務呈現(xiàn)模式則可以減少外部負載，并會提高相應的認知負擔。因為甲和乙擁有相同的知識，因此他們的內部認知負荷應該相同。在完成學業(yè)后，對學習者的認知負荷進行了主觀測試，結果甲的心理努力得分為6分，甲得分8分。顯然，乙的認知能力比甲強，但乙真的會導致與其學習有關的認知負擔嗎？其實，乙也有可能因為覺得題目難度過大，心理負擔過重而放棄了，結果B的分數也會很低。可見，如果乙的學業(yè)表現(xiàn)比甲高，則可以得到以上結論。因此，只有把認知負荷與學習者的學習成果結合在一起，才會有實際的意義。

5? 結? 論

當前，沉浸式學習環(huán)境正在全球范圍內迅速普及。隨著《全球教育行動計劃》的提出及其他教育改革措施的推進以及人們對其需求的不斷增長，沉浸式學習技術已成為基礎教育發(fā)展中不可缺少的技術手段。與傳統(tǒng)教室里學習模式相比，沉浸式學習環(huán)境為學習者提供了更廣闊的學習資源。然而，現(xiàn)有研究僅針對沉浸式學習環(huán)境中學習者認知負荷測量并未對其進行深入探討。而基于沉浸式學習環(huán)境中學習者的認知負荷模型研究可為沉浸式學習環(huán)境下學習者的認知負荷測量提供參考與指導。

參考文獻：

[1] 中華人民共和國工業(yè)和信息化部.工業(yè)和信息化部關于加快推進虛擬現(xiàn)實產業(yè)發(fā)展的指導意見[EB/OL].（2018-12-26）.http：//www.cac.gov.cn/2018-12/26/c_1123903256.htm.

[2] 孫崇勇，劉麗麗，高春陽.翻轉教學法對高中生認知負荷及學習成績的影響 [J].心理與行為研究，2020，18（3）：369-375.

[3] 王國華，聶勝欣，薛瑞鑫.多媒體學習中的認知負荷：測量方法與技術縱覽 [J].電化教育研究，2022，43（4）：19-25+54.

[4] 戴靜，顧小清，江波．殊途同歸：認知診斷與知識追蹤——兩種主流學習者知識狀態(tài)建模方法的比較 [J].現(xiàn)代教育技術，2022，32（4）：88-98.

[5] 許瑋，祝思璇.同伴互評對學習者知識建構過程的實證研究——基于時間序列的認知網絡分析 [J].現(xiàn)代教育技術，2022，32（1）：44-53.

[6] 王希哲，涂雅欣，張琳捷，等.認知負荷視角下在線協(xié)作學習的增效機制研究 [J].電化教育研究，2022，43（9）：45-52+72.

[7] 顧琦一，金夏妃.中國英語學習者產出任務中的認知負荷：輸出模態(tài)與話題熟悉度的作用研究 [J].外語界，2021（3）：73-81.

[8] 單美賢，董艷.項目式協(xié)作學習中認知負荷的影響因素研究 [J].現(xiàn)代遠距離教育，2022（3）：55-62.

[9] 馬淑杰，張景斌.高中學生數學原有知識水平和學習認知負荷對數學課堂學習效率的影響研究 [J].數學教育學報，2021，30（2）：26-31.

[10] 尤洋，王以寧，張海.智慧課堂環(huán)境下教學視頻復雜度與學習者認知負荷關系研究 [J].現(xiàn)代遠距離教育，2020（2）：91-96.

作者簡介：黃安儀（2002—），女，漢族，廣東廣州人，研究

方向：深度學習；通訊作者：崔寧（1987—），男，漢族，安徽宿州人，講師，碩士研究生，研究方向：智慧教育與學習；黎思琪（2002—），女，漢族，廣東江門人，研究方向：網絡學習；黃峻榮（2002—），男，漢族，廣東韶關人，研究方向：網絡學習。

收稿日期：2023-01-13

基金項目：廣東省教育廳青年人才項目（2022WQNCX182）；共青團廣東省委員會攀登計劃項目（pdjh2022a0931）