智能學(xué)習(xí)環(huán)境中基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)研究

楊彥軍 徐剛 童慧

[摘? ?要] 隨著信息技術(shù)與教育教學(xué)深度融合的加速，基于智能學(xué)習(xí)環(huán)境的線上線下混合式智慧教學(xué)將成為學(xué)校教學(xué)的新常態(tài)。智慧教學(xué)過(guò)程中產(chǎn)生的教育多模態(tài)數(shù)據(jù)為深度學(xué)習(xí)監(jiān)測(cè)評(píng)價(jià)與反饋干預(yù)提供了新機(jī)遇。文章根據(jù)三元交互決定論與具身認(rèn)知理論構(gòu)建了多模態(tài)數(shù)據(jù)的分類(lèi)框架，將多模態(tài)數(shù)據(jù)分為個(gè)體身體、交互行為、智能環(huán)境三類(lèi)。從教師與學(xué)生、個(gè)體與群體、傳統(tǒng)信息技術(shù)與現(xiàn)代信息技術(shù)三個(gè)維度對(duì)教學(xué)模式進(jìn)行分類(lèi)，并歸納出十二種典型學(xué)習(xí)場(chǎng)景。根據(jù)多模態(tài)數(shù)據(jù)分類(lèi)與學(xué)習(xí)場(chǎng)景分類(lèi)總結(jié)歸納出典型學(xué)習(xí)場(chǎng)景下的監(jiān)測(cè)模態(tài)，進(jìn)而構(gòu)建基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)模型，主要包括智能學(xué)習(xí)環(huán)境下的學(xué)習(xí)活動(dòng)、場(chǎng)景學(xué)習(xí)與識(shí)別、多模態(tài)數(shù)據(jù)采集、多模態(tài)數(shù)據(jù)處理與分析、深度學(xué)習(xí)狀態(tài)監(jiān)測(cè)五個(gè)環(huán)節(jié)。

[關(guān)鍵詞] 多模態(tài)數(shù)據(jù); 學(xué)習(xí)場(chǎng)景; 智慧課堂; 深度學(xué)習(xí)

[中圖分類(lèi)號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 楊彥軍（1981—），男，甘肅天水人。教授，博士，主要從事信息技術(shù)與教育研究。E-mail：ts.yyj@126.com。

一、引? ?言

隨著人工智能、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等新技術(shù)在教育領(lǐng)域中的廣泛應(yīng)用，我國(guó)教育信息化進(jìn)入了2.0時(shí)代，開(kāi)啟了智能時(shí)代教育變革的新征程。網(wǎng)絡(luò)學(xué)習(xí)空間、智能教室、數(shù)字校園、未來(lái)學(xué)校等智能學(xué)習(xí)環(huán)境逐漸建成，極大地豐富了學(xué)習(xí)者的學(xué)習(xí)資源與場(chǎng)景。隨之而來(lái)的問(wèn)題是如何在線上線下融合的智能學(xué)習(xí)環(huán)境中對(duì)學(xué)習(xí)者進(jìn)行有效的學(xué)習(xí)評(píng)價(jià)。2017年，國(guó)務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》提出，將人工智能應(yīng)用于教學(xué)、管理和資源建設(shè)的全過(guò)程，建立智能、快速、全面的教育分析系統(tǒng)[1]。2020年，中共中央、國(guó)務(wù)院印發(fā)的《深化新時(shí)代教育評(píng)價(jià)改革總體方案》提出，要?jiǎng)?chuàng)新評(píng)價(jià)工具，利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，以教與學(xué)全過(guò)程數(shù)據(jù)為基礎(chǔ)，提高評(píng)價(jià)結(jié)果的應(yīng)用水平[2]。正如有研究者指出，基于人工智能和大數(shù)據(jù)技術(shù)的智慧學(xué)習(xí)環(huán)境將教育教學(xué)評(píng)價(jià)推向了基于全樣本、全過(guò)程、全景式的教育大數(shù)據(jù)采集與分析的“數(shù)據(jù)密集型評(píng)價(jià)”的第四范式[3]。智能學(xué)習(xí)環(huán)境中，教與學(xué)全過(guò)程的多模態(tài)學(xué)習(xí)分析實(shí)證應(yīng)用逐漸成為當(dāng)前研究的新熱點(diǎn)[4-5]。因此，本文聚焦于智能學(xué)習(xí)環(huán)境中基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)問(wèn)題展開(kāi)深入研究。

二、智能學(xué)習(xí)環(huán)境中深度學(xué)習(xí)監(jiān)測(cè)研究進(jìn)展

智能學(xué)習(xí)環(huán)境是指能夠感知學(xué)習(xí)情境、識(shí)別學(xué)習(xí)者特征、提供合適的學(xué)習(xí)資源和便捷的交互工具、自動(dòng)記錄學(xué)習(xí)過(guò)程、評(píng)價(jià)學(xué)習(xí)結(jié)果，從而促進(jìn)學(xué)習(xí)者有效學(xué)習(xí)的學(xué)習(xí)場(chǎng)所或活動(dòng)空間[6-7]。智能學(xué)習(xí)環(huán)境能夠更好地提供適應(yīng)學(xué)習(xí)者個(gè)性特點(diǎn)的學(xué)習(xí)支持服務(wù)，實(shí)現(xiàn)隨時(shí)隨地、以任意方式和任意步調(diào)進(jìn)行“4A”學(xué)習(xí)，促進(jìn)學(xué)習(xí)者輕松地、投入地和有效地實(shí)現(xiàn)“3E”學(xué)習(xí)[8]。大量研究表明，基于智能學(xué)習(xí)環(huán)境的個(gè)性化學(xué)習(xí)服務(wù)能夠有效促進(jìn)深度學(xué)習(xí)的發(fā)生，為深度學(xué)習(xí)提供反饋、資源、情感、情境、個(gè)性化支持[9-11]。通過(guò)對(duì)智能學(xué)習(xí)環(huán)境中學(xué)習(xí)者學(xué)習(xí)狀態(tài)的監(jiān)測(cè)，教師給予合乎倫理、多元、融入教與學(xué)中的評(píng)價(jià)，以此促進(jìn)學(xué)習(xí)者的深度學(xué)習(xí)[12]。

深度學(xué)習(xí)監(jiān)測(cè)是指通過(guò)收集不同的外顯行為數(shù)據(jù)來(lái)監(jiān)控和評(píng)估學(xué)習(xí)者的學(xué)習(xí)參與度的過(guò)程。早期智能學(xué)習(xí)環(huán)境中的深度學(xué)習(xí)監(jiān)測(cè)是通過(guò)訪談、觀察和教師評(píng)價(jià)等方式對(duì)學(xué)習(xí)者進(jìn)行不同階段的監(jiān)控[13-14]。隨著大數(shù)據(jù)、人工智能等信息技術(shù)在學(xué)習(xí)分析中的應(yīng)用，智能學(xué)習(xí)環(huán)境中的深度學(xué)習(xí)監(jiān)測(cè)的手段也更加智能化與多元化。顏磊等人通過(guò)選取在線學(xué)習(xí)平臺(tái)中的師生提問(wèn)、學(xué)生觀看視頻次數(shù)等行為數(shù)據(jù)分析發(fā)現(xiàn)，師生互動(dòng)行為對(duì)學(xué)習(xí)者深度學(xué)習(xí)影響最大[15]。劉哲雨等人通過(guò)眼動(dòng)數(shù)據(jù)和認(rèn)知行為數(shù)據(jù)分析深度學(xué)習(xí)的發(fā)生機(jī)制，發(fā)現(xiàn)基于問(wèn)題的學(xué)習(xí)投入能夠促進(jìn)深度學(xué)習(xí)[16]。王智穎等人通過(guò)對(duì)深度學(xué)習(xí)感知問(wèn)卷與在線討論內(nèi)容的分析，發(fā)現(xiàn)基于角色輪換的在線異步討論對(duì)大學(xué)生的深度學(xué)習(xí)具有積極的促進(jìn)作用[17]。王洪江等人通過(guò)收集教學(xué)視頻播放行為數(shù)據(jù)、視頻觀看時(shí)長(zhǎng)和并發(fā)學(xué)習(xí)行為數(shù)據(jù)來(lái)分析學(xué)習(xí)者自主學(xué)習(xí)投入度情況[18]。僅憑借單模態(tài)數(shù)據(jù)無(wú)法準(zhǔn)確解釋學(xué)習(xí)過(guò)程的內(nèi)隱性、交互性和多維性特征，需要多模態(tài)數(shù)據(jù)刻畫(huà)學(xué)習(xí)者的相關(guān)學(xué)習(xí)行為[19]。

近年來(lái)，學(xué)習(xí)監(jiān)測(cè)研究趨勢(shì)呈現(xiàn)以下特點(diǎn)：從監(jiān)測(cè)內(nèi)容來(lái)看，深度學(xué)習(xí)監(jiān)測(cè)內(nèi)容更加依賴(lài)通過(guò)機(jī)器自動(dòng)化采集的多模態(tài)數(shù)據(jù)，不再局限于傳統(tǒng)的紙筆測(cè)驗(yàn);從監(jiān)測(cè)過(guò)程來(lái)看，深度學(xué)習(xí)監(jiān)測(cè)更加注重課前與課后、線上與線下混合的全時(shí)段學(xué)習(xí)過(guò)程;從監(jiān)測(cè)形式看，深度學(xué)習(xí)監(jiān)測(cè)更加注重伴隨式數(shù)據(jù)的收集;從監(jiān)測(cè)結(jié)果看，深度學(xué)習(xí)監(jiān)測(cè)結(jié)果會(huì)以可視化的形式進(jìn)行反饋。

三、智能學(xué)習(xí)環(huán)境中的多模態(tài)數(shù)據(jù)及其采集技術(shù)方法

模態(tài)本身是一種客觀存在的、可表征的符號(hào)系統(tǒng)。例如：人的語(yǔ)言、表情、眼神、手勢(shì)、身體動(dòng)作等經(jīng)過(guò)轉(zhuǎn)碼后都可以稱(chēng)為一種模態(tài)。在教育多模態(tài)數(shù)據(jù)的分類(lèi)研究方面，施耐德（Schneider）等人基于學(xué)習(xí)領(lǐng)域的傳感器研究將多模態(tài)數(shù)據(jù)分為四種類(lèi)型：活動(dòng)數(shù)據(jù)、情境數(shù)據(jù)、環(huán)境數(shù)據(jù)和物理生理數(shù)據(jù)[20]。牟智佳根據(jù)多模態(tài)學(xué)習(xí)分析的空間結(jié)構(gòu)對(duì)數(shù)據(jù)源進(jìn)行分類(lèi)，包括人機(jī)交互、學(xué)習(xí)資源、學(xué)習(xí)情境和學(xué)習(xí)符號(hào)[21]。鐘薇根據(jù)數(shù)據(jù)所攜帶信息的特點(diǎn)，將多模態(tài)學(xué)習(xí)分析數(shù)據(jù)分為四類(lèi)：生理數(shù)據(jù)、心理數(shù)據(jù)、行為數(shù)據(jù)和基礎(chǔ)信息數(shù)據(jù)[22]。艾伯特·班杜拉認(rèn)為，人在社會(huì)情境中的學(xué)習(xí)受環(huán)境、人及其行為的互動(dòng)三個(gè)方面影響，并建立了三元交互決定論[23]，這為教育多模態(tài)數(shù)據(jù)分類(lèi)框架的制定提供了基礎(chǔ)參考。近年來(lái)備受關(guān)注的具身認(rèn)知理論認(rèn)為，認(rèn)知是具身的、情境的，認(rèn)知發(fā)展依靠經(jīng)驗(yàn)積累，經(jīng)驗(yàn)來(lái)自身體，身體處于生物、心理和文化的環(huán)境中[24]。對(duì)于混合式學(xué)習(xí)來(lái)說(shuō)，虛實(shí)融合環(huán)境下的學(xué)習(xí)在學(xué)習(xí)者參與互動(dòng)方面體現(xiàn)為一種具身認(rèn)知學(xué)習(xí)的過(guò)程，這正是具身認(rèn)知理論強(qiáng)調(diào)的“心身統(tǒng)一”[25]。兩種理論都認(rèn)為人的發(fā)展是受自身、他人和環(huán)境的影響。據(jù)此，筆者根據(jù)三元交互決定論與具身認(rèn)知理論建立教育多模態(tài)數(shù)據(jù)分類(lèi)框架，將多模態(tài)數(shù)據(jù)分為個(gè)體身體多模態(tài)數(shù)據(jù)、交互行為多模態(tài)數(shù)據(jù)、智能環(huán)境多模態(tài)數(shù)據(jù)。如圖1所示。3757B235-4F36-429D-B320-B77E07B38842

多模態(tài)數(shù)據(jù)信息采集需要綜合應(yīng)用多種技術(shù)。數(shù)據(jù)采集的信息并不只是單一模態(tài)，還需要與其他模態(tài)組合分析來(lái)彌補(bǔ)研究的局限性。多模態(tài)數(shù)據(jù)已被證明在研究維度、信效度、價(jià)值性等方面優(yōu)于單模態(tài)數(shù)據(jù)[26]。筆者基于相關(guān)研究文獻(xiàn)，列出相關(guān)監(jiān)測(cè)指標(biāo)與監(jiān)測(cè)工具。

1. 個(gè)體身體多模態(tài)數(shù)據(jù)

個(gè)體身體多模態(tài)數(shù)據(jù)主要包括生理體征數(shù)據(jù)和個(gè)體動(dòng)作數(shù)據(jù)。生理體征數(shù)據(jù)的主要監(jiān)測(cè)指標(biāo)有皮電變化、腦電變化、心率變化等;個(gè)體動(dòng)作數(shù)據(jù)的主要監(jiān)測(cè)指標(biāo)為眼睛注視、音調(diào)、軀干姿勢(shì)、面部表情等。韓穎等人使用皮膚電傳感器測(cè)量學(xué)習(xí)者的情緒狀態(tài)[27];衛(wèi)曉娜通過(guò)抓拍靜態(tài)圖像分析識(shí)別學(xué)習(xí)者注意力，在一定時(shí)間內(nèi)檢測(cè)學(xué)習(xí)者眨眼次數(shù)，根據(jù)眨眼次數(shù)把學(xué)習(xí)狀態(tài)分為正常學(xué)習(xí)狀態(tài)、離開(kāi)狀態(tài)、走神狀態(tài)[28];齊柱柱通過(guò)基于HMM/RBF混合模型的語(yǔ)音情感識(shí)別技術(shù)，實(shí)時(shí)監(jiān)測(cè)學(xué)習(xí)者高興、憤怒、驚奇、悲傷、中性五種情緒[29];喬納等人測(cè)量發(fā)現(xiàn)，實(shí)時(shí)互動(dòng)和視頻通話中眼神接觸會(huì)引起自主神經(jīng)喚醒和面部反應(yīng)，表明對(duì)其觀察者產(chǎn)生積極影響[30]。

2. 交互行為多模態(tài)數(shù)據(jù)

交互行為多模態(tài)數(shù)據(jù)監(jiān)測(cè)指標(biāo)主要有鍵盤(pán)輸入、鼠標(biāo)位移等人機(jī)交互數(shù)據(jù)，言語(yǔ)信息、非言語(yǔ)交流等生生交互數(shù)據(jù)和師生交互數(shù)據(jù)。石月鳳等人通過(guò)分析論壇中互動(dòng)討論的數(shù)量變化情況探究其與學(xué)習(xí)成效之間的關(guān)系[31];王覓等人采用視頻分析法及滯后序列分析法（LSA）對(duì)課堂中師生交互行為、教師提問(wèn)與學(xué)生發(fā)言等進(jìn)行分析，探索促進(jìn)同步課堂師生交互行為的因素[32];程云等人基于教學(xué)行為序列對(duì)行為交互頻度、行為交互持續(xù)時(shí)間等因素進(jìn)行統(tǒng)計(jì)與分析，探討課堂教學(xué)行為的交互深度[33];盧國(guó)慶等人通過(guò)人工智能引擎對(duì)課堂教學(xué)行為自動(dòng)標(biāo)注，分析課堂教學(xué)行為的類(lèi)型、規(guī)律和差異[34]。

3. 智能環(huán)境多模態(tài)數(shù)據(jù)

智能環(huán)境多模態(tài)數(shù)據(jù)監(jiān)測(cè)指標(biāo)主要有位置、溫度、濕度等。閻堅(jiān)通過(guò)不同的傳感器采集環(huán)境或者物體的準(zhǔn)確信息，可以使智慧教室系統(tǒng)與校園卡、教務(wù)管理系統(tǒng)等其他系統(tǒng)的信息共享，實(shí)現(xiàn)課堂上教師的身份識(shí)別[35];楊紅云等人通過(guò)元分析發(fā)現(xiàn)多媒體學(xué)習(xí)材料中使用飽和、高亮暖色、圖片及擬人化設(shè)計(jì)，對(duì)于多媒體學(xué)習(xí)認(rèn)知過(guò)程和學(xué)習(xí)效果有益[36]。環(huán)境多模態(tài)數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)有助于反映智能環(huán)境下學(xué)習(xí)場(chǎng)景的基本特征。

四、智能學(xué)習(xí)環(huán)境中基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)模型

（一）智能學(xué)習(xí)環(huán)境中的典型學(xué)習(xí)場(chǎng)景

學(xué)習(xí)場(chǎng)景是學(xué)習(xí)者及其關(guān)聯(lián)存在物的關(guān)系總和，由學(xué)習(xí)者、學(xué)習(xí)時(shí)間、學(xué)習(xí)空間、學(xué)習(xí)活動(dòng)四要素構(gòu)成[37]。學(xué)習(xí)場(chǎng)景的創(chuàng)設(shè)取決于學(xué)校信息化環(huán)境，根據(jù)學(xué)習(xí)內(nèi)容的特點(diǎn)和具體的學(xué)習(xí)主題，在特定的學(xué)習(xí)時(shí)間和空間中開(kāi)展不同類(lèi)型的學(xué)習(xí)活動(dòng)[38]。因此，學(xué)習(xí)場(chǎng)景的類(lèi)型可以根據(jù)教學(xué)模式的特點(diǎn)進(jìn)行分類(lèi)。教學(xué)模式是指在一定的教育思想、教學(xué)理論和學(xué)習(xí)理論指導(dǎo)下，在某種環(huán)境中展開(kāi)的教學(xué)活動(dòng)進(jìn)程的穩(wěn)定結(jié)構(gòu)形式[39]。筆者根據(jù)祝智庭教授與何克抗教授對(duì)教學(xué)模式的分類(lèi)[40-41]。將教學(xué)模式分為三個(gè)維度，分別是教師與學(xué)生維度、個(gè)體與群體維度、傳統(tǒng)信息技術(shù)與現(xiàn)代信息技術(shù)維度?；诖藰?gòu)建基于多模態(tài)數(shù)據(jù)監(jiān)測(cè)的教學(xué)模式分類(lèi)框架，如圖2所示。

教學(xué)模式根據(jù)三個(gè)維度劃分為傳統(tǒng)教學(xué)、計(jì)算機(jī)支持的講授式教學(xué)、個(gè)別化教學(xué)、計(jì)算機(jī)支持的個(gè)別化教學(xué)、面對(duì)面小組協(xié)作學(xué)習(xí)、計(jì)算機(jī)支持的小組協(xié)作學(xué)習(xí)、自主學(xué)習(xí)、網(wǎng)絡(luò)自主學(xué)習(xí)八種教學(xué)模式。（1）傳統(tǒng)教學(xué)指教師通過(guò)口授、板書(shū)、演示的方式，學(xué)生主要通過(guò)耳聽(tīng)、眼看、手記完成知識(shí)與技能學(xué)習(xí)[42]。傳統(tǒng)教學(xué)在技術(shù)上更多地使用板書(shū)與PPT演示[43]。因此，典型學(xué)習(xí)場(chǎng)景主要是教師講授與多媒體演示。（2）計(jì)算機(jī)支持的講授式教學(xué)是在傳統(tǒng)教學(xué)的基礎(chǔ)上加入了空間的要素，教師不再局限于在教室為學(xué)生講授，可以通過(guò)直播形式進(jìn)行實(shí)時(shí)教學(xué)。典型學(xué)習(xí)場(chǎng)景有在線講授。（3）個(gè)別化教學(xué)是在班級(jí)授課制下關(guān)注學(xué)生各方面的差異，尊重不同生命體的教學(xué)[44]。典型學(xué)習(xí)場(chǎng)景有課堂答疑。（4）計(jì)算機(jī)支持的個(gè)別化教學(xué)是一對(duì)一或一對(duì)多的教學(xué)。教師根據(jù)學(xué)生的個(gè)性特點(diǎn)組織教學(xué)，因材施教，這是實(shí)現(xiàn)個(gè)別化教學(xué)的最佳形式[45]。典型學(xué)習(xí)場(chǎng)景有在線答疑。（5）面對(duì)面小組合作學(xué)習(xí)是指學(xué)生為實(shí)現(xiàn)共同的學(xué)習(xí)目標(biāo)，最大限度地提高個(gè)人和他人的學(xué)習(xí)成果而相互合作的所有相關(guān)行為的總和[46]。典型的學(xué)習(xí)場(chǎng)景有小組討論和小組匯報(bào)。（6）計(jì)算機(jī)支持的小組協(xié)作學(xué)習(xí)是指利用計(jì)算機(jī)技術(shù)（尤其是多媒體和網(wǎng)絡(luò)技術(shù)）來(lái)輔助和支持協(xié)作學(xué)習(xí)[47]。典型的學(xué)習(xí)場(chǎng)景有在線小組討論和在線小組展示。（7）自主學(xué)習(xí)指沒(méi)有教師的強(qiáng)制灌輸與指導(dǎo)，在以學(xué)生為中心的課堂中，學(xué)習(xí)者需要主動(dòng)學(xué)習(xí)[48]。典型學(xué)習(xí)場(chǎng)景有作業(yè)與練習(xí)、實(shí)踐與實(shí)驗(yàn)。（8）網(wǎng)絡(luò)自主學(xué)習(xí)指在自主學(xué)習(xí)的基礎(chǔ)上，學(xué)習(xí)者通過(guò)網(wǎng)絡(luò)資源進(jìn)行知識(shí)與技能的學(xué)習(xí)。典型學(xué)習(xí)場(chǎng)景有網(wǎng)絡(luò)自主學(xué)習(xí)。根據(jù)教學(xué)模式的維度特點(diǎn)，每一種教學(xué)模式都包含若干個(gè)典型學(xué)習(xí)場(chǎng)景，共計(jì)12種典型學(xué)習(xí)場(chǎng)景。

（二）智能學(xué)習(xí)環(huán)境中典型學(xué)習(xí)場(chǎng)景的多模態(tài)數(shù)據(jù)特征

筆者結(jié)合相關(guān)學(xué)者關(guān)于不同教學(xué)場(chǎng)景下不同模態(tài)的研究，總結(jié)出典型學(xué)習(xí)場(chǎng)景中的特征模態(tài)，并列出每個(gè)學(xué)習(xí)場(chǎng)景下具體監(jiān)測(cè)的模態(tài)指標(biāo)，見(jiàn)表1。

教師講授與多媒體演示主要以教師的教為主，強(qiáng)調(diào)知識(shí)的傳遞，因此，對(duì)學(xué)習(xí)者注意力和認(rèn)知狀態(tài)的監(jiān)測(cè)尤為重要。嚴(yán)薇薇等人使用眼動(dòng)追蹤技術(shù)監(jiān)測(cè)學(xué)習(xí)者注意力轉(zhuǎn)移模式，發(fā)現(xiàn)注意控制能力較好的學(xué)習(xí)者學(xué)習(xí)表現(xiàn)優(yōu)于平均水平[49];哈皮等人使用網(wǎng)絡(luò)攝像頭捕獲面部表情、眼部參數(shù)等數(shù)據(jù)自動(dòng)識(shí)別學(xué)習(xí)者的認(rèn)知狀態(tài)[50]。多媒體演示中，技術(shù)只是教學(xué)的輔助手段，其本質(zhì)仍是教師講授，教師仍處于主導(dǎo)地位。因此，在監(jiān)測(cè)學(xué)習(xí)者注意力與認(rèn)知狀態(tài)的基礎(chǔ)上，要增加對(duì)多媒體資源的監(jiān)測(cè)，包括多媒體資源的選擇、播放順序等。

小組討論的特點(diǎn)是學(xué)習(xí)者主要以對(duì)話為主，因此，主要監(jiān)測(cè)學(xué)習(xí)者在小組中的參與程度。在小組討論過(guò)程中，通過(guò)交流來(lái)不斷重建自我認(rèn)知。喬娜·馬爾姆伯格等人發(fā)現(xiàn)，協(xié)作學(xué)習(xí)模式下學(xué)習(xí)者皮膚電活動(dòng)（EDA）與學(xué)習(xí)者元認(rèn)知和成就有關(guān)[51];莎朗·奧維亞特等人通過(guò)監(jiān)測(cè)手部運(yùn)動(dòng)數(shù)據(jù)來(lái)記錄學(xué)習(xí)者在協(xié)作學(xué)習(xí)中解決難度不同的數(shù)學(xué)問(wèn)題時(shí)的協(xié)作情況[52];丁于等人通過(guò)監(jiān)測(cè)學(xué)習(xí)者的眼神交流來(lái)識(shí)別三方對(duì)話者的身份[53]。小組演示是以成員的單方面匯報(bào)介紹為主，主要幫助匯報(bào)人進(jìn)行知識(shí)的梳理建構(gòu)。因此，主要監(jiān)測(cè)學(xué)習(xí)者與成員互動(dòng)、多媒體演示的后臺(tái)數(shù)據(jù)（演示時(shí)長(zhǎng)、演示順序）等。課堂答疑的特點(diǎn)是教師與學(xué)習(xí)者共同探究，促進(jìn)學(xué)習(xí)對(duì)知識(shí)的重新建構(gòu)。教師會(huì)面對(duì)面為學(xué)習(xí)者解答提問(wèn)，學(xué)習(xí)者與教師會(huì)進(jìn)行言語(yǔ)互動(dòng)，學(xué)習(xí)者不再只是被動(dòng)接受知識(shí)，而是在自己對(duì)知識(shí)理解的基礎(chǔ)上重新進(jìn)行建構(gòu)。因此，主要檢測(cè)學(xué)習(xí)者的認(rèn)知負(fù)荷、對(duì)話等數(shù)據(jù)。恩里克斯等人發(fā)現(xiàn)，生理信號(hào)（皮電、腦電）會(huì)在學(xué)習(xí)過(guò)程中告知特定的認(rèn)知或情緒挑戰(zhàn)[54]。特里·霍爾通過(guò)眼神接觸頻率與凝視時(shí)間來(lái)描述合作學(xué)習(xí)中師生的視覺(jué)行為[55]。3757B235-4F36-429D-B320-B77E07B38842

作業(yè)與練習(xí)學(xué)習(xí)場(chǎng)景下學(xué)習(xí)者需要獨(dú)立完成任務(wù)，因此，主要檢測(cè)學(xué)習(xí)者的認(rèn)知負(fù)荷、作業(yè)情況等數(shù)據(jù)。作業(yè)是學(xué)生主動(dòng)的行為方式，諸如對(duì)話、論文、報(bào)告、制作等表達(dá)性的作業(yè)， 可以給學(xué)生提供機(jī)會(huì)反思性地分析自己的知識(shí)狀態(tài)[56]。實(shí)踐與實(shí)驗(yàn)往往通過(guò)考察學(xué)習(xí)者的動(dòng)手能力來(lái)測(cè)試或提高學(xué)習(xí)者對(duì)于知識(shí)的掌握程度。因此，主要監(jiān)測(cè)學(xué)習(xí)者的動(dòng)手能力、認(rèn)知等方面數(shù)據(jù)。

網(wǎng)絡(luò)自主學(xué)習(xí)的特點(diǎn)是學(xué)習(xí)者通過(guò)網(wǎng)絡(luò)資源主動(dòng)學(xué)習(xí)。因此，它主要監(jiān)控學(xué)習(xí)者的網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)、認(rèn)知負(fù)荷等數(shù)據(jù)。使用日志數(shù)據(jù)可以在不打擾學(xué)習(xí)者的情況下，在微觀層面跟蹤學(xué)習(xí)事件[57]。李士平等人發(fā)現(xiàn)，查閱作品、查看自身學(xué)習(xí)情況、參與交互等三類(lèi)網(wǎng)絡(luò)自主行為數(shù)據(jù)與學(xué)習(xí)者元認(rèn)知水平顯著相關(guān)[58]。莊科君等人認(rèn)為，網(wǎng)絡(luò)環(huán)境下自主學(xué)習(xí)由學(xué)習(xí)者與媒體界面的操作行為、信息交換行為、學(xué)習(xí)目標(biāo)行為三個(gè)不同層面的學(xué)習(xí)行為共同作用完成[59]。在網(wǎng)絡(luò)自主學(xué)習(xí)行為中，要素是學(xué)習(xí)行為的核心，只有要素之間產(chǎn)生交互，學(xué)習(xí)才會(huì)發(fā)生[59]。

在線講授的特點(diǎn)是時(shí)空的分離，教師只能通過(guò)網(wǎng)絡(luò)中的虛擬課堂與學(xué)習(xí)者進(jìn)行交流互動(dòng)。與傳統(tǒng)講授式教學(xué)相比，授課內(nèi)容以電子資源形式在線展示。因此，不僅需要關(guān)注學(xué)習(xí)者的認(rèn)知狀態(tài)與注意力，還需要監(jiān)測(cè)學(xué)習(xí)者對(duì)于學(xué)習(xí)資源的使用情況。

在線小組討論中，成員間的協(xié)作主要是通過(guò)會(huì)話的形式實(shí)現(xiàn)，會(huì)話是協(xié)作活動(dòng)的基本要素之一[60]?？梢詮男〗M成果、個(gè)人成績(jī)、言語(yǔ)對(duì)話、日志文件等內(nèi)容進(jìn)行評(píng)價(jià)[61]。在線小組展示是在與他人協(xié)作過(guò)程中提高團(tuán)隊(duì)成員的協(xié)調(diào)能力，進(jìn)而主動(dòng)構(gòu)建自己的認(rèn)知[62]。因此，需要關(guān)注學(xué)習(xí)者的認(rèn)知情況、電子成果展示情況、其他組員對(duì)于小組展示的看法與評(píng)價(jià)等方面。

在線答疑與網(wǎng)絡(luò)答疑相似，網(wǎng)絡(luò)答疑利用計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)對(duì)問(wèn)題與答案進(jìn)行存儲(chǔ)，師生可以隨時(shí)隨地進(jìn)行復(fù)習(xí)與翻閱，在線答疑相較于網(wǎng)絡(luò)答疑更加注重時(shí)效性[63]。機(jī)器學(xué)習(xí)技術(shù)可用于檢測(cè)在線學(xué)習(xí)過(guò)程中電子文本的社會(huì)影響和情感[64]。米里亞姆·穆內(nèi)澤羅等人通過(guò)闡明情緒反應(yīng)、感覺(jué)、情緒、情感和觀點(diǎn)五個(gè)主觀術(shù)語(yǔ)之間的差異以實(shí)現(xiàn)它們?cè)谖谋局械挠行z測(cè)和處理[65]。

（三）智能學(xué)習(xí)環(huán)境下基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)模型

IBM公司提出大數(shù)據(jù)具有大量、高速、低價(jià)值密度、多樣、真實(shí)五大特點(diǎn)[66]。數(shù)據(jù)、信息、知識(shí)、智慧的金字塔層次體系將原始的、未經(jīng)加工的數(shù)據(jù)作為底層資源，通過(guò)簡(jiǎn)單分析數(shù)據(jù)關(guān)系可以得到信息，通過(guò)提煉信息之間的聯(lián)系，有目的地展開(kāi)實(shí)踐，將其轉(zhuǎn)化為知識(shí)，再通過(guò)知識(shí)的積累與運(yùn)用，可以啟迪智慧，預(yù)測(cè)未來(lái)。晉欣泉等人的智慧課堂數(shù)據(jù)流動(dòng)機(jī)制模型將課堂中的師生行為數(shù)據(jù)進(jìn)行采集、分析，從而反饋與評(píng)判學(xué)生“學(xué)”的成效， 以此動(dòng)態(tài)調(diào)控“教”的行為， 增強(qiáng)智慧課堂教學(xué)的針對(duì)性， 實(shí)現(xiàn)師生高效智能教學(xué)[67]。筆者基于DIWK模型與晉欣泉等人的智慧課堂數(shù)據(jù)流動(dòng)機(jī)制模型，設(shè)計(jì)了智能學(xué)習(xí)環(huán)境下基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)模型，如圖3所示，模型共由五個(gè)模塊組成。

1. 智能學(xué)習(xí)環(huán)境下的學(xué)習(xí)活動(dòng)

智能學(xué)習(xí)環(huán)境是以學(xué)習(xí)者為中心的，以互聯(lián)網(wǎng)軟件、計(jì)算機(jī)硬件、教師和同伴支持的學(xué)習(xí)環(huán)境，是學(xué)習(xí)活動(dòng)發(fā)生的主要場(chǎng)所。由于教學(xué)模式的不同，會(huì)產(chǎn)生不同場(chǎng)景組成的活動(dòng)序列。通過(guò)將適切性的智能技術(shù)融入學(xué)習(xí)環(huán)境中，滿足學(xué)習(xí)者的學(xué)習(xí)環(huán)境需求，為教學(xué)場(chǎng)景識(shí)別與多模態(tài)數(shù)據(jù)監(jiān)測(cè)提供基礎(chǔ)。也能通過(guò)多模態(tài)數(shù)據(jù)評(píng)價(jià)反饋不斷改善學(xué)習(xí)過(guò)程，促進(jìn)學(xué)習(xí)者深度學(xué)習(xí)。

2. 場(chǎng)景學(xué)習(xí)與識(shí)別

作為一個(gè)自動(dòng)監(jiān)測(cè)系統(tǒng)，首先需要為系統(tǒng)提供充足的教學(xué)場(chǎng)景數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)，通過(guò)優(yōu)化算法等方法提高教學(xué)場(chǎng)景識(shí)別的準(zhǔn)確性。系統(tǒng)通過(guò)人臉識(shí)別、電子ID信息等識(shí)別師生身份和數(shù)量等信息，通過(guò)課堂聲音音量、面部表情、師生移動(dòng)位置等分析師生活躍度，通過(guò)后臺(tái)監(jiān)測(cè)軟件識(shí)別多媒體設(shè)備使用狀態(tài)。系統(tǒng)通過(guò)師生信息、活躍度、多媒體使用狀態(tài)等數(shù)據(jù)判斷具體教學(xué)場(chǎng)景。將判斷場(chǎng)景的特征信息錄入場(chǎng)景特征庫(kù)。當(dāng)活動(dòng)序列進(jìn)入場(chǎng)景識(shí)別模塊時(shí)，系統(tǒng)會(huì)根據(jù)場(chǎng)景特征進(jìn)行匹配，從而進(jìn)行學(xué)習(xí)場(chǎng)景的切片和標(biāo)記。

3. 多模態(tài)數(shù)據(jù)采集

在學(xué)習(xí)場(chǎng)景中，系統(tǒng)將生理體征數(shù)據(jù)和多模態(tài)環(huán)境數(shù)據(jù)作為基礎(chǔ)多模態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)。對(duì)于不同學(xué)習(xí)場(chǎng)景，系統(tǒng)會(huì)根據(jù)不同的場(chǎng)景特征對(duì)特征模態(tài)進(jìn)行重點(diǎn)監(jiān)測(cè)。例如：在教師講授的場(chǎng)景中，系統(tǒng)會(huì)記錄監(jiān)測(cè)基礎(chǔ)多模態(tài)數(shù)據(jù)，會(huì)重點(diǎn)采集皮電、腦電、眼睛注視等具有教學(xué)場(chǎng)景特點(diǎn)的多模態(tài)數(shù)據(jù)。

4. 多模態(tài)數(shù)據(jù)處理與分析

系統(tǒng)將采集到的不同類(lèi)型的多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)同步等，再將處理后的多模態(tài)數(shù)據(jù)通過(guò)聚類(lèi)、關(guān)聯(lián)等手段進(jìn)行社會(huì)網(wǎng)絡(luò)分析、語(yǔ)義分析、表情分析、情緒分析、注意力投入分析等。

5. 深度學(xué)習(xí)狀態(tài)監(jiān)測(cè)

將分析后的多模態(tài)數(shù)據(jù)可視化到教師管理界面。教師可以通過(guò)可視化方式監(jiān)測(cè)學(xué)習(xí)者認(rèn)知狀態(tài)、行為狀態(tài)、情感狀態(tài)，從而把握學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，并通過(guò)對(duì)教學(xué)策略進(jìn)行調(diào)整與改進(jìn)，提高學(xué)習(xí)者的學(xué)習(xí)投入。系統(tǒng)還會(huì)根據(jù)當(dāng)前學(xué)習(xí)者的多模態(tài)信息預(yù)測(cè)學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，使教師能夠及時(shí)發(fā)現(xiàn)和幫助有困難的學(xué)習(xí)者。

五、結(jié)? ?語(yǔ)

多模態(tài)數(shù)據(jù)與學(xué)習(xí)場(chǎng)景分類(lèi)模式讓我們能以不同的視角觀察課堂與教學(xué)，帶來(lái)了新的學(xué)習(xí)監(jiān)測(cè)方式。本文對(duì)當(dāng)前智能學(xué)習(xí)環(huán)境下深度學(xué)習(xí)狀態(tài)該如何監(jiān)測(cè)進(jìn)行了研究與探索，構(gòu)建了基于多模態(tài)數(shù)據(jù)的深度學(xué)習(xí)監(jiān)測(cè)模型。隨著《“十四五”國(guó)家信息化規(guī)劃》的發(fā)布，深化教育領(lǐng)域大數(shù)據(jù)分析應(yīng)用，推進(jìn)信息技術(shù)、智能技術(shù)與教育教學(xué)的融合，將成為未來(lái)教育領(lǐng)域的研究重點(diǎn)。當(dāng)然，技術(shù)的進(jìn)步也會(huì)帶來(lái)相應(yīng)的風(fēng)險(xiǎn)。如何平衡教育數(shù)據(jù)的隱私保護(hù)與開(kāi)放使用之間的矛盾值得我們深入討論。隨著教育信息化2.0的實(shí)施，國(guó)家不斷推進(jìn)教育新型基礎(chǔ)設(shè)施的建設(shè)以及線上線下教育融合，使得學(xué)習(xí)環(huán)境發(fā)生了巨大變化，混合式教學(xué)將成為常態(tài)。傳感技術(shù)、大數(shù)據(jù)分析、人工智能技術(shù)的發(fā)展，為深度學(xué)習(xí)的監(jiān)測(cè)提供了可能。如何在復(fù)雜的教學(xué)場(chǎng)景中監(jiān)測(cè)學(xué)習(xí)者的深度學(xué)習(xí)狀態(tài)，期望本文提出的模型能為其提供一些思路。3757B235-4F36-429D-B320-B77E07B38842

[參考文獻(xiàn)]

[1] 中共中央，國(guó)務(wù)院.國(guó)務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL].（2017-07-02）[2021-11-22].http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.

[2] 中共中央，國(guó)務(wù)院.深化新時(shí)代教育評(píng)價(jià)改革總體方案[EB/OL].（2020-10-13）[2021-12-22].http：//www.gov.cn/zhengce/2020-10/13/content_5551032.html.

[3] 朱德全，吳慮.大數(shù)據(jù)時(shí)代教育評(píng)價(jià)專(zhuān)業(yè)化何以可能：第四范式視角[J].現(xiàn)代遠(yuǎn)程教育研究，2019，31（6）：14-21.

[4] 田陽(yáng)，陳鵬，黃榮懷，等.面向混合學(xué)習(xí)的多模態(tài)交互分析機(jī)制及優(yōu)化策略[J].電化教育研究，2019，40（9）：67-74.

[5] 劉清堂，李小娟，謝魁，常瑀倍，鄭欣欣.多模態(tài)學(xué)習(xí)分析實(shí)證研究的發(fā)展與展望[J].電化教育研究，2022，43（1）：71-78，85.

[6] 黃榮懷，楊俊鋒，胡永斌.從數(shù)字學(xué)習(xí)環(huán)境到智慧學(xué)習(xí)環(huán)境——學(xué)習(xí)環(huán)境的變革與趨勢(shì)[J].開(kāi)放教育研究，2012，18（1）：75-84.

[7] 北京師范大學(xué)智慧學(xué)習(xí)研究院.2015智慧學(xué)習(xí)環(huán)境白皮書(shū)[R/OL].（2015-09-21）[2021-04-13].http：//sli.bnu.edu.cn/a/yanjiu chengguo/yanjiubaogao/2016/0425/168.html.

[8] 黃榮懷.智慧教育的三重境界：從環(huán)境、模式到體制[J].現(xiàn)代遠(yuǎn)程教育研究，2014（6），3-11.

[9] 彭培環(huán).智慧學(xué)習(xí)環(huán)境下的深度學(xué)習(xí)分析及模型構(gòu)建[J].中國(guó)教育信息化，2021（1）：10-14.

[10] 楊俊鋒，龔朝花，余慧菊，Kinshuk.智慧學(xué)習(xí)環(huán)境的研究熱點(diǎn)和發(fā)展趨勢(shì)——對(duì)話ET&S主編Kinshuk（金沙克）教授[J].電化教育研究，2015，36（5）：85-88，95.

[11] 龔朝花，李倩，龔勇.智慧學(xué)習(xí)環(huán)境中的學(xué)習(xí)投入問(wèn)題研究[J].電化教育研究，2018，39（6）：83-89.

[12] 鄭東輝.促進(jìn)深度學(xué)習(xí)的課堂評(píng)價(jià)：內(nèi)涵與路徑[J].課程·教材·教法，2019，39（2）：59-65.

[13] 黃鑫睿.智慧教室環(huán)境下小學(xué)生課堂學(xué)習(xí)投入度及影響因素研究[D].武漢：華中師范大學(xué)，2016.

[14] 周文葉，陳銘洲.指向深度學(xué)習(xí)的表現(xiàn)性評(píng)價(jià)——訪斯坦福大學(xué)評(píng)價(jià)、學(xué)習(xí)與公平中心主任Ray Pecheone教授[J].全球教育展望，2017，46（7）：3-9.

[15] 顏磊，祁冰.基于學(xué)習(xí)分析的大學(xué)生深度學(xué)習(xí)數(shù)據(jù)挖掘與分析[J].現(xiàn)代教育技術(shù)，2017，27（12）：18-24.

[16] 劉哲雨，王志軍.行為投入影響深度學(xué)習(xí)的實(shí)證探究——以虛擬現(xiàn)實(shí)（VR）環(huán)境下的視頻學(xué)習(xí)為例[J].遠(yuǎn)程教育雜志，2017，35（1）：72-81.

[17] 王智穎，翟蕓，吳娟.在線異步討論中角色輪換腳本對(duì)大學(xué)生深度學(xué)習(xí)的影響[J].現(xiàn)代遠(yuǎn)程教育研究，2021，33（3）：100-112.

[18] 王洪江，穆肅，黃潔，溫慧群.自主學(xué)習(xí)投入度實(shí)時(shí)分析方法及應(yīng)用研究[J].電化教育研究，2017，38（10）：44-50.

[19] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019， 48： 108-119.

[20] SCHNEIDER J， B？魻RNER D， VAN ROSMALEN P， et al. Augmenting the senses： a review on sensor-based learning support[J]. Sensors， 2015， 15（2）： 4097-4133.

[21] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長(zhǎng)點(diǎn)[J].電化教育研究，2020，41（5）：27-32，51.

[22] 鐘薇，李若晨，馬曉玲，吳永和.學(xué)習(xí)分析技術(shù)發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J].中國(guó)遠(yuǎn)程教育，2018（11）：41-49，79-80.

[23] 班圖拉.社會(huì)學(xué)習(xí)理論[M].陳欣銀，李伯黍，譯.沈陽(yáng)：遼寧人民出版社，1989.

[24] 艾興，李葦.基于具身認(rèn)知的沉浸式教學(xué)：理論架構(gòu)、本質(zhì)特征與應(yīng)用探索[J].遠(yuǎn)程教育雜志，2021，39（5）：55-65.

[25] 楊彥軍，張佳慧.沉浸式虛實(shí)融合環(huán)境中具身學(xué)習(xí)活動(dòng)設(shè)計(jì)框架[J].現(xiàn)代遠(yuǎn)程教育研究，2021，33（4）：63-73.

[26] HUANG Y， DU C， XUE Z， et al. What makes multi-modal learning better than single（provably）[J]. Advances in neural information processing systems， 2021， 40（2）：34-40.

[27] 韓穎，董玉琦，畢景剛.學(xué)習(xí)分析中情緒的生理數(shù)據(jù)表征——皮膚電反應(yīng)的應(yīng)用前瞻[J].現(xiàn)代教育技術(shù)，2018，28（10）：12-19.3757B235-4F36-429D-B320-B77E07B38842

[28] 衛(wèi)曉娜.e-Learning系統(tǒng)中學(xué)生注意力識(shí)別的研究和應(yīng)用[D].太原：太原理工大學(xué)，2010.

[29] 齊柱柱.基于語(yǔ)音情感識(shí)別的情緒監(jiān)測(cè)系統(tǒng)研究與實(shí)現(xiàn)[D].南京：南京郵電大學(xué)，2018.

[30] HIETANEN J O， PELTOLA M J， HIETANEN J K. Psychophysiological responses to eye contact in a live interaction and in video call[J]. Psychophysiology， 2020， 57（6）： e13587.

[31] 石月鳳，劉三女牙，劉智，韓繼輝，彭晛.基于社會(huì)網(wǎng)絡(luò)分析的在線學(xué)習(xí)行為分析實(shí)證研究[J].中國(guó)教育信息化，2019（1）：5-10.

[32] 王覓，文欣遠(yuǎn)，李寧寧，陳煥東.大單元教學(xué)視角下基于LSA的同步課堂師生交互行為研究[J].電化教育研究，2020，41（8）：74-81.

[33] 程云，王艷麗，王鋒，黃克斌，張冉.課堂教學(xué)行為交互深度量化分析方法研究[J].現(xiàn)代教育技術(shù)，2017，27（9）：26-32.

[34] 盧國(guó)慶，謝魁，劉清堂，張臣文，于爽.基于人工智能引擎自動(dòng)標(biāo)注的課堂教學(xué)行為分析[J].開(kāi)放教育研究，2021，27（6）：97-107.

[35] 閻堅(jiān)，桂勁松.基于物聯(lián)網(wǎng)技術(shù)的智慧教室設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)電化教育，2016（12）：83-86.

[36] 楊紅云，陳旭輝，顧小清.多媒體學(xué)習(xí)中視覺(jué)情緒設(shè)計(jì)對(duì)學(xué)習(xí)效果的影響——基于31項(xiàng)實(shí)驗(yàn)與準(zhǔn)實(shí)驗(yàn)研究的元分析[J].電化教育研究，2020，41（1）：76-83.

[37] 劉銘，武法提.場(chǎng)景化學(xué)習(xí)服務(wù)模式構(gòu)建研究[J].電化教育研究，2021，42（1）：87-92，114.

[38] 郭欣悅，吳峰，邵梁.職業(yè)教育虛實(shí)融合場(chǎng)景化學(xué)習(xí)活動(dòng)設(shè)計(jì)研究[J].中國(guó)電化教育，2021（2）：131-136.

[39] 何克抗.建構(gòu)主義的教學(xué)模式、教學(xué)方法與教學(xué)設(shè)計(jì)[J].北京師范大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），1997（5）：74-81.

[40] 祝智庭.關(guān)于教育信息化的技術(shù)哲學(xué)觀透視[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），1999（2）：11-20.

[41] 何克抗，吳娟.信息技術(shù)與課程整合的教學(xué)模式研究之一——教學(xué)模式的內(nèi)涵及分類(lèi)[J].現(xiàn)代教育技術(shù)，2008（7）：5-8.

[42] 何克抗.建構(gòu)主義──革新傳統(tǒng)教學(xué)的理論基礎(chǔ)（上）[J].電化教育研究，1997（3）：3-9.

[43] 閻光才.講授與板書(shū)為代表的傳統(tǒng)教學(xué)已經(jīng)過(guò)時(shí)？——不同方法與技術(shù)在本科課堂教學(xué)中的有效性評(píng)價(jià)[J].教育發(fā)展研究，2019，39（23）：1-9.

[44] 張人利.班級(jí)授課制下的個(gè)別化教學(xué)[J].教育發(fā)展研究，2013，33（12）：47-51.

[45] 朱肖川.對(duì)遠(yuǎn)程教育中集體教學(xué)和個(gè)別化教學(xué)的再認(rèn)識(shí)[J].中國(guó)遠(yuǎn)程教育，2007（6）：36-40，80.

[46] 趙建華.CSCL研究的現(xiàn)狀及發(fā)展趨勢(shì)[J].中國(guó)電化教育，2009（5）：7-14.

[47] 黃榮杯.CSCL 的理論與方法[J].電化教育研究，1999（6）：25-30.

[48] 王健，郝銀華，盧吉龍.教學(xué)視頻呈現(xiàn)方式對(duì)自主學(xué)習(xí)效果的實(shí)驗(yàn)研究[J].電化教育研究，2014，35（3）：93-99，105.

[49] 嚴(yán)薇薇，曠小芳，肖云霞，鄭夢(mèng)雪，劉俊，楊娟.基于深度學(xué)習(xí)技術(shù)的注意力轉(zhuǎn)移模式的挖掘——以二語(yǔ)學(xué)習(xí)者的眼動(dòng)數(shù)據(jù)為例[J].電化教育研究，2019，40（8）：30-36.

[50] HAPPY S L， DASGUPTA A， PATNAIK P， et al. Automated alertness and emotion detection for empathic feedback during e-learning[C]//IEEE 5th International Conference on Technology for Education （T4E）. New York： IEEE， 2013： 47-50.

[51] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）： 6856.

[52] OVIATT S， COHEN A， WEIBEL N， et al. Multimodal learning analytics： description of math data corpus for ICMI grand challenge workshop[C]//15th ACM International Conference on Multimodal Interaction （ICMI）. New York： ACM， 2013： 563-568.

[53] DING Y， ZHANG Y T， XIAO M H， et al. A multifaceted study on eye contact based speaker identification in three-party conversations[C]//ACM SIGCHI Conference on Human Factors in Computing Systems （CHI）. New York： ACM， 2017： 3011-3021.3757B235-4F36-429D-B320-B77E07B38842

[54] HENRIQUES R， PAIVA A， ANTUNES C. On the need of new methods to mine electrodermal activity in emotion-centered studies[C]//International Workshop on Agents and Data Mining Interaction. Berlin： Springer， 2012： 203-215.

[55] HORE T. Visual behavior in teacher-pupil dyads[J]. American educational research journal， 1976， 13（4）： 267-275.

[56] 臣之，孫薇.發(fā)展主義作業(yè)觀[J].課程·教材·教法，2013，33（7）：17-24.

[57] MALMBERG J， J？魧RVENOJA H， J？魧RVEL？魧 S. Patterns in elementary school students′ strategic actions in varying learning situations[J]. Instructional science， 2013， 41（5）： 933-954.

[58] 李士平，趙蔚，劉紅霞，劉東亮，劉鳳娟.數(shù)據(jù)表征元認(rèn)知：基于學(xué)習(xí)分析的網(wǎng)絡(luò)自主學(xué)習(xí)行為研究[J].電化教育研究，2017，38（3）：41-47.

[59] 莊科君，賀寶勛.網(wǎng)絡(luò)自主學(xué)習(xí)行為系統(tǒng)框架和自主學(xué)習(xí)行為層次塔[J].中國(guó)電化教育，2009（3）：41-45.

[60] 楊剛，徐曉東.計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)研究現(xiàn)狀與發(fā)展趨勢(shì)——關(guān)于CSCL的定量與定性分析[J].遠(yuǎn)程教育雜志，2010，28（3）：93-101.

[61] 張潤(rùn)芝.CSCL評(píng)價(jià)技術(shù)的新趨勢(shì)[J].中國(guó)電化教育，2009（5）：32-37.

[62] 楊剛，徐曉東，王英彥.計(jì)算機(jī)支持的協(xié)作學(xué)習(xí)模型研究及其啟示[J].電化教育研究，2010（2）：76-83.

[63] 馬傳志，刁樹(shù)民，張曉勇，等.利用網(wǎng)絡(luò)答疑促進(jìn)計(jì)算機(jī)基礎(chǔ)教學(xué)[J].科技創(chuàng)新導(dǎo)報(bào)，2013（12）：153-154.

[64] KOLOG E A， MONTERO C S， TOIVONEN T. Using machine learning for sentiment and social influence analysis in text[C]//International Conference on Information Technology & Systems. Cham： Springer， 2018： 453-463.

[65] MUNEZERO M， MONTERO C S， SUTINEN E， et al. Are they different？ Affect， feeling， emotion， sentiment， and opinion detection in text[J]. IEEE transactions on affective computing， 2014， 5（2）： 101-111.

[66] IBM. The 5V's of big data—watson health perspectives[EB/OL].（2016-09-17）[2022-04-10]. https：//www.ibm.com/blogs/watson-health/the-5-vs-of-big-data/.

[67] 晉欣泉，邢蓓蓓，楊現(xiàn)民，狄璇.智慧課堂的數(shù)據(jù)流動(dòng)機(jī)制與生態(tài)系統(tǒng)構(gòu)建[J].中國(guó)遠(yuǎn)程教育，2019（4）：74-81，91，93.3757B235-4F36-429D-B320-B77E07B38842