多模態(tài)視域下智慧課堂協(xié)作學(xué)習(xí)投入度分析模型構(gòu)建及應(yīng)用

吳軍其 吳飛燕 張萌萌 戴新菊 張影

[摘? ?要] 在協(xié)作學(xué)習(xí)中，學(xué)習(xí)投入是影響學(xué)生學(xué)業(yè)成功和教育教學(xué)質(zhì)量的重要因素，對(duì)其有效測(cè)評(píng)能為教師研判協(xié)作活動(dòng)提供依據(jù)。人工智能和智能感知技術(shù)的發(fā)展催生了智慧課堂，學(xué)習(xí)投入測(cè)評(píng)方式也由單一維度向多模態(tài)融合分析轉(zhuǎn)變。文章基于多模態(tài)學(xué)習(xí)分析理論，結(jié)合智慧課堂協(xié)作學(xué)習(xí)的特點(diǎn)，探討技術(shù)與學(xué)習(xí)測(cè)評(píng)的深度融合，從行為、認(rèn)知和情感三個(gè)維度分析學(xué)習(xí)投入，構(gòu)建智慧課堂協(xié)作學(xué)習(xí)投入度分析模型并在實(shí)際課堂中應(yīng)用。實(shí)踐發(fā)現(xiàn)來自智慧課堂協(xié)作學(xué)習(xí)過程的視頻、音頻、日志、生理和自我報(bào)告等多模態(tài)數(shù)據(jù)，其中的每一模態(tài)數(shù)據(jù)均有與學(xué)習(xí)投入度呈相關(guān)關(guān)系的特征變量。研究結(jié)果表明，基于多模態(tài)數(shù)據(jù)的測(cè)評(píng)能較全面地反映學(xué)生的學(xué)習(xí)投入狀態(tài)，為協(xié)作學(xué)習(xí)中教師精準(zhǔn)施策提供依據(jù)，促進(jìn)教育評(píng)價(jià)數(shù)據(jù)化、科學(xué)化、精準(zhǔn)化。

[關(guān)鍵詞] 多模態(tài)學(xué)習(xí)分析; 智慧課堂; 協(xié)作學(xué)習(xí); 學(xué)習(xí)投入度; 模型

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

一、引? ?言

協(xié)作學(xué)習(xí)在培養(yǎng)學(xué)習(xí)者團(tuán)隊(duì)協(xié)作精神、發(fā)展社交技能、促進(jìn)高階認(rèn)知發(fā)展等方面具有其他教學(xué)模式無可比擬的優(yōu)勢(shì)，受到教育研究者和實(shí)踐者的一致重視[1]。然而，協(xié)作學(xué)習(xí)常出現(xiàn)搭便車、參與不均和交互缺乏深度等投入不足的現(xiàn)象[2-3]。研究表明[4-5]，教師的有效監(jiān)控、干預(yù)和指導(dǎo)能促進(jìn)學(xué)生的學(xué)習(xí)投入以提高協(xié)作學(xué)習(xí)的效率。那么，如何有效監(jiān)測(cè)學(xué)生的投入狀態(tài)，為協(xié)作學(xué)習(xí)中教師精準(zhǔn)施策提供依據(jù)就成了研究焦點(diǎn)。

早期協(xié)作學(xué)習(xí)投入度測(cè)評(píng)常用方法包括自我報(bào)告法、教師打分法和訪談法等。其中應(yīng)用最為廣泛的是以“NSSE（美國(guó)全國(guó)大學(xué)生學(xué)習(xí)投入調(diào)查問卷）”為代表的自我報(bào)告測(cè)評(píng)方法。隨著在線學(xué)習(xí)普及，數(shù)字畫像成為測(cè)評(píng)學(xué)習(xí)投入度的重要方式之一，Soffer等通過收集在線平臺(tái)學(xué)習(xí)者日志數(shù)據(jù)，開展學(xué)習(xí)投入度測(cè)評(píng)研究[6]。然而，學(xué)習(xí)過程是復(fù)雜的，自我報(bào)告數(shù)據(jù)或日志數(shù)據(jù)均只提供學(xué)習(xí)過程的部分信息，難以全面描摹學(xué)生的學(xué)習(xí)狀態(tài)。智慧課堂的到來，為學(xué)習(xí)過程的多模態(tài)數(shù)據(jù)收集帶來極大便利，在協(xié)作學(xué)習(xí)測(cè)評(píng)中出現(xiàn)“對(duì)多模態(tài)的呼吁”[7]。Martínez等通過計(jì)算機(jī)、麥克風(fēng)和傳感器收集協(xié)作學(xué)習(xí)過程數(shù)據(jù)，以此分析學(xué)生的學(xué)習(xí)狀態(tài)[8]。馬志強(qiáng)等利用多模態(tài)數(shù)據(jù)挖掘影響協(xié)作學(xué)習(xí)投入度的因素[9]。以上研究表明，基于多模態(tài)數(shù)據(jù)的測(cè)評(píng)方式能更全面、科學(xué)地評(píng)價(jià)協(xié)作學(xué)習(xí)的投入狀態(tài)。可見，多模態(tài)學(xué)習(xí)分析是技術(shù)和教學(xué)深度融合的產(chǎn)物，協(xié)作學(xué)習(xí)投入度的測(cè)評(píng)將逐漸由單一維度轉(zhuǎn)變?yōu)槎嗄B(tài)融合分析。

二、多模態(tài)數(shù)據(jù)表征的學(xué)習(xí)投入度分析

（一）多模態(tài)學(xué)習(xí)分析內(nèi)涵

互聯(lián)網(wǎng)技術(shù)急劇發(fā)展催生大量數(shù)據(jù)，數(shù)據(jù)驅(qū)動(dòng)循證在教育改革中興起，多來源、多維度數(shù)據(jù)融合支撐的教學(xué)研究已成為未來學(xué)習(xí)分析的趨勢(shì)[10]。由此，多模態(tài)學(xué)習(xí)分析逐漸興起，它是指以學(xué)習(xí)理論為核心，以交互、感知、語義理解技術(shù)作為支撐，盡可能收集學(xué)習(xí)過程中的聲音、視頻、問卷等多模態(tài)數(shù)據(jù)，圍繞學(xué)習(xí)過程中所產(chǎn)生的學(xué)生生理和行為數(shù)據(jù)進(jìn)行分析，以揭示學(xué)習(xí)規(guī)律[11]。多模態(tài)學(xué)習(xí)分析具有鮮明的特征：互補(bǔ)性、互證性、融合性和轉(zhuǎn)換性[12]。即每一樣態(tài)的數(shù)據(jù)都是對(duì)某一學(xué)習(xí)現(xiàn)象的部分解釋，多種模態(tài)數(shù)據(jù)互補(bǔ)共同解釋教學(xué)全過程;不同類型的學(xué)習(xí)數(shù)據(jù)驗(yàn)證同一教學(xué)現(xiàn)象或結(jié)果，提高結(jié)果的科學(xué)性和公信力;各種樣態(tài)的數(shù)據(jù)相互融合，共同表征某一類學(xué)習(xí)指標(biāo);同時(shí)，物理數(shù)據(jù)可轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)并可視化，以便教師依據(jù)數(shù)字畫像進(jìn)行精準(zhǔn)教學(xué)。

（二）多模態(tài)學(xué)習(xí)分析在學(xué)習(xí)投入度測(cè)評(píng)中的應(yīng)用

運(yùn)用多模態(tài)數(shù)據(jù)測(cè)評(píng)學(xué)習(xí)并不是新應(yīng)用，早在20世紀(jì)90年代，Ambady等人通過“薄片”（即短視頻片段）分析大學(xué)生的身體和非語言行為，以此來預(yù)測(cè)學(xué)生的期末表現(xiàn)[13]。R.Munoz通過微軟Kinect傳感器自動(dòng)捕捉、識(shí)別和可視化十種身體姿勢(shì)，獲取學(xué)生的手勢(shì)、動(dòng)作、表情等數(shù)據(jù)，并結(jié)合傳統(tǒng)考試等方法，科學(xué)、全面地評(píng)估學(xué)生的學(xué)習(xí)[14]。Kaori Tamura運(yùn)用眼動(dòng)儀和腦電儀收集學(xué)習(xí)者多模態(tài)數(shù)據(jù)，挖掘自主學(xué)習(xí)中存在的問題[15]。在學(xué)習(xí)投入度測(cè)評(píng)方面，早期研究者多使用機(jī)器學(xué)習(xí)算法，構(gòu)建可以解釋學(xué)生學(xué)習(xí)投入的模型。隨著傳感器、可穿戴設(shè)備和腦電儀等智能感知設(shè)備在教育中推廣，利用音視頻、日志和生理等多模態(tài)數(shù)據(jù)測(cè)評(píng)學(xué)習(xí)投入已成為重要的發(fā)展趨勢(shì)[16]。Carolis等提出通過分析學(xué)習(xí)者表情、動(dòng)作并借助問卷調(diào)查可獲得對(duì)學(xué)習(xí)投入的有效評(píng)估[17]。張琪等運(yùn)用多模態(tài)數(shù)據(jù)表征學(xué)習(xí)投入，建立包含學(xué)習(xí)者瞬時(shí)行為數(shù)據(jù)、內(nèi)容交互數(shù)據(jù)、情境互動(dòng)數(shù)據(jù)的分析框架[18]。馬志強(qiáng)等基于學(xué)習(xí)過程的多模態(tài)交互信息，構(gòu)建了協(xié)作學(xué)習(xí)投入度分析框架[9]。學(xué)者們從理論和框架方面給出多模態(tài)數(shù)據(jù)測(cè)評(píng)學(xué)習(xí)投入度的思路，但基于案例和實(shí)踐的研究較少，另外對(duì)特定教學(xué)環(huán)境比如在智慧課堂、對(duì)特定教學(xué)活動(dòng)比如協(xié)作學(xué)習(xí)中運(yùn)用多模態(tài)數(shù)據(jù)測(cè)評(píng)學(xué)習(xí)投入的研究較少。

綜上所述，運(yùn)用多模態(tài)數(shù)據(jù)測(cè)評(píng)學(xué)習(xí)投入度能較全面、科學(xué)和系統(tǒng)地分析學(xué)生的學(xué)習(xí)狀態(tài)，隨著技術(shù)和教育的深度融合，傳統(tǒng)單一維度的測(cè)評(píng)方式將逐漸轉(zhuǎn)為多模態(tài)數(shù)據(jù)測(cè)評(píng)模式。本研究基于多模態(tài)學(xué)習(xí)分析理論，構(gòu)建智慧課堂協(xié)作學(xué)習(xí)投入度測(cè)評(píng)模型并應(yīng)用到實(shí)踐，期望從理論到實(shí)踐為多模態(tài)數(shù)據(jù)測(cè)評(píng)智慧課堂協(xié)作學(xué)習(xí)投入度提供些許參考。

三、智慧課堂協(xié)作學(xué)習(xí)投入度分析模型構(gòu)建

（一）模型構(gòu)建

1. 設(shè)計(jì)目的

本研究以智慧課堂協(xié)作學(xué)習(xí)投入度評(píng)價(jià)為研究對(duì)象，構(gòu)建基于多模態(tài)的智慧課堂協(xié)作學(xué)習(xí)投入度分析模型。該模型的應(yīng)用，為教師在協(xié)作學(xué)習(xí)環(huán)節(jié)精準(zhǔn)施策提供腳手架，促進(jìn)學(xué)生在協(xié)作學(xué)習(xí)中的投入，提升學(xué)習(xí)投入度測(cè)評(píng)的科學(xué)性和公信力，提高課堂教學(xué)效率。

2. 模型要素

本研究參考李新學(xué)者提出的多模態(tài)學(xué)習(xí)投入度測(cè)評(píng)方法[19]和馬志強(qiáng)學(xué)者提出的協(xié)作學(xué)習(xí)投入度分析路徑[9]，確定了智慧課堂協(xié)作學(xué)習(xí)投入度分析模型涵蓋環(huán)境要素、教學(xué)活動(dòng)、測(cè)評(píng)內(nèi)容和測(cè)評(píng)方法這四大模塊。其中，環(huán)境要素指智慧課堂特有的軟硬件設(shè)備及功能;教學(xué)活動(dòng)包括協(xié)作學(xué)習(xí)教學(xué)環(huán)節(jié)及其教學(xué)流程;測(cè)評(píng)內(nèi)容指學(xué)習(xí)投入度及其包含的維度;測(cè)評(píng)方法即多模態(tài)數(shù)據(jù)測(cè)評(píng)，運(yùn)用多模態(tài)數(shù)據(jù)進(jìn)行特征提取以表征學(xué)習(xí)投入狀態(tài)。

3. 設(shè)計(jì)思路

在進(jìn)行學(xué)習(xí)分析時(shí)，需先明確分析的對(duì)象，即教學(xué)活動(dòng);然后再確定評(píng)價(jià)的內(nèi)容，包括評(píng)價(jià)維度和指標(biāo);進(jìn)而考慮采用什么測(cè)評(píng)方法。因此，在設(shè)計(jì)智慧課堂協(xié)作學(xué)習(xí)投入度分析模型時(shí)，把教學(xué)活動(dòng)設(shè)定為模型的核心，測(cè)評(píng)內(nèi)容圍繞教學(xué)活動(dòng)而設(shè)計(jì)，測(cè)評(píng)方法則依據(jù)測(cè)評(píng)內(nèi)容需要進(jìn)行選擇，環(huán)境要素伴隨并影響著教學(xué)活動(dòng)、測(cè)評(píng)內(nèi)容和測(cè)評(píng)方法這三個(gè)要素而存在。模型設(shè)計(jì)的具體流程為：第一，確定教學(xué)活動(dòng)為協(xié)作學(xué)習(xí)，明確其要素和流程;第二，圍繞協(xié)作學(xué)習(xí)活動(dòng)，確定測(cè)評(píng)內(nèi)容為學(xué)生的學(xué)習(xí)投入度，包括行為投入、認(rèn)知投入和情感投入;第三，確定測(cè)評(píng)方法，包括采集的數(shù)據(jù)源以及數(shù)據(jù)所表征的特征變量;第四，挖掘智慧課堂支撐學(xué)習(xí)投入度測(cè)評(píng)的環(huán)境優(yōu)勢(shì)，如技術(shù)、設(shè)備和資源等;最后，構(gòu)建具有“智能化、全流程、多維度、多模態(tài)”的智慧課堂協(xié)作學(xué)習(xí)投入度分析模型，如圖1所示。

（二）模型內(nèi)涵

1. 智能化的技術(shù)環(huán)境

智慧課堂具有鮮明的技術(shù)特征：教學(xué)決策數(shù)據(jù)化、學(xué)習(xí)評(píng)價(jià)即時(shí)化、交流互動(dòng)立體化、資源推送智能化和教學(xué)呈現(xiàn)可視化[20]。在協(xié)作學(xué)習(xí)中，要善于發(fā)揮智慧課堂優(yōu)勢(shì)，創(chuàng)設(shè)智能化的學(xué)習(xí)環(huán)境。例如，運(yùn)用智慧課堂的互動(dòng)分組、無線投屏和交互白板等工具支持協(xié)作學(xué)習(xí)的討論、演示和分享，營(yíng)造友好的協(xié)作學(xué)習(xí)氛圍;運(yùn)用智慧學(xué)習(xí)平臺(tái)隨時(shí)隨地開展學(xué)習(xí)，形成泛在的協(xié)作學(xué)習(xí)環(huán)境;運(yùn)用智慧錄播系統(tǒng)和智能感知設(shè)備收集學(xué)習(xí)過程多模態(tài)數(shù)據(jù)，形成基于數(shù)據(jù)循證的評(píng)價(jià)和反饋機(jī)制?？傊浞滞诰颦h(huán)境優(yōu)勢(shì)，推動(dòng)技術(shù)與教學(xué)深度融合，基于數(shù)據(jù)循證精準(zhǔn)施策，提升學(xué)生協(xié)作中的投入度，從而提高課堂效率。

2. 全流程監(jiān)測(cè)協(xié)作學(xué)習(xí)

協(xié)作學(xué)習(xí)過程涵括課前準(zhǔn)備、任務(wù)呈現(xiàn)、協(xié)作過程和成果分享等環(huán)節(jié)，學(xué)生在任何一個(gè)環(huán)節(jié)的投入狀態(tài)都有可能影響到最終的學(xué)習(xí)效果。因此，需要線上和線下，課前、課中和課后，全流程捕捉、記錄和跟蹤協(xié)作學(xué)習(xí)過程，及時(shí)診斷學(xué)生學(xué)習(xí)投入狀態(tài)，形成協(xié)作學(xué)習(xí)全流程多方位的監(jiān)測(cè)、評(píng)價(jià)和反饋閉環(huán)。

3. 多維度測(cè)量學(xué)習(xí)投入

學(xué)習(xí)投入是表征學(xué)習(xí)效果最直接的指標(biāo)之一[21-22]， Fredricks等人通過大量實(shí)證研究提出學(xué)習(xí)投入包含行為投入、認(rèn)知投入和情感投入[23]。行為投入指學(xué)習(xí)者帶有動(dòng)機(jī)、目標(biāo)和毅力等特性參與任務(wù)互動(dòng)[24]，如在協(xié)作中的角色扮演、參與度和互動(dòng)情況等。認(rèn)知投入是指學(xué)習(xí)者在學(xué)習(xí)過程中調(diào)用的認(rèn)知策略[25]，如學(xué)習(xí)者在協(xié)作中對(duì)知識(shí)（記憶、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造）、技能（了解技能、掌握技能、解決問題）和能力素養(yǎng)（合作能力、溝通能力、創(chuàng)新能力、審辯思維能力）方面的展示。情感投入是一種情緒，包括學(xué)習(xí)興趣和學(xué)習(xí)風(fēng)格，如學(xué)生在協(xié)作中顯露出的高興、厭倦等情緒，或是對(duì)協(xié)作互動(dòng)和協(xié)作資源表現(xiàn)出的興趣和偏好等?？傊?，從行為、認(rèn)知和情感多個(gè)維度測(cè)量學(xué)習(xí)投入度，能全面客觀描摹學(xué)生的學(xué)習(xí)效果。

4. 多模態(tài)數(shù)據(jù)表征學(xué)習(xí)投入狀態(tài)

多模態(tài)學(xué)習(xí)分析通過整合多個(gè)模態(tài)數(shù)據(jù)，能夠?yàn)榻逃茖W(xué)研究提供準(zhǔn)確研判[26]。學(xué)生協(xié)作學(xué)習(xí)中的行為投入、認(rèn)知投入和情感投入是通過動(dòng)作、表情、語言、生理變化、心理變化和自我報(bào)告等表現(xiàn)出來的。在智慧課堂中，利用智能設(shè)備如錄播系統(tǒng)捕捉學(xué)生的動(dòng)作、表情和姿勢(shì)，形成視頻數(shù)據(jù);利用智慧平臺(tái)記錄學(xué)生學(xué)習(xí)印記，形成日志數(shù)據(jù);利用錄音筆記錄學(xué)生討論內(nèi)容，形成音頻數(shù)據(jù);利用智能感知設(shè)備如智能手環(huán)記錄學(xué)生的生理數(shù)據(jù);利用量表獲取學(xué)生自我報(bào)告數(shù)據(jù)。將這些多模態(tài)數(shù)據(jù)進(jìn)行融合和分析，進(jìn)而反映學(xué)生學(xué)習(xí)投入狀態(tài)，例如，視頻數(shù)據(jù)記錄面部表情中的專注、厭煩以及困惑可表征學(xué)生的情感投入和認(rèn)知投入;日志數(shù)據(jù)記錄的學(xué)習(xí)時(shí)長(zhǎng)可表征學(xué)生的行為投入;量表自我報(bào)告數(shù)據(jù)可表征行為、認(rèn)知和情感投入;生理數(shù)據(jù)如心率、壓力可表征學(xué)生的行為和認(rèn)知投入。

四、智慧課堂協(xié)作學(xué)習(xí)投入度

分析模型實(shí)踐應(yīng)用

本案例將多模態(tài)數(shù)據(jù)表征的智慧課堂協(xié)作學(xué)習(xí)投入度測(cè)評(píng)模型應(yīng)用到一線教學(xué)，期望能從實(shí)踐層面為智慧課堂協(xié)作學(xué)習(xí)投入度測(cè)評(píng)提供借鑒。

（一）實(shí)驗(yàn)設(shè)計(jì)

以H高?！盎瘜W(xué)教學(xué)論”的“高中化學(xué)模型建構(gòu)”一課為例開展實(shí)驗(yàn)研究。該課程在智慧教室進(jìn)行，智慧教室有錄播系統(tǒng)、無線投屏、互動(dòng)分組、交互白板、移動(dòng)終端和“小雅”平臺(tái)等工具。本課教學(xué)流程包含預(yù)習(xí)、理論講授、實(shí)踐體驗(yàn)和總結(jié)提升四個(gè)教學(xué)環(huán)節(jié)，其中實(shí)踐體驗(yàn)部分是學(xué)生的協(xié)作學(xué)習(xí)，教學(xué)流程如圖2所示。

（二）實(shí)驗(yàn)過程

本實(shí)驗(yàn)針對(duì)智慧課堂協(xié)作學(xué)習(xí)環(huán)節(jié)，首先采集每組學(xué)生的多模態(tài)數(shù)據(jù);然后對(duì)各模態(tài)數(shù)據(jù)進(jìn)行編碼和統(tǒng)計(jì);最后對(duì)數(shù)據(jù)進(jìn)行分析。

1. 數(shù)據(jù)采集

采集學(xué)生協(xié)作學(xué)習(xí)過程中的音頻數(shù)據(jù)、視頻數(shù)據(jù)、“小雅”平臺(tái)數(shù)據(jù)、生理數(shù)據(jù)、問卷自我報(bào)告數(shù)據(jù)和作品評(píng)價(jià)量規(guī)數(shù)據(jù)，數(shù)據(jù)采集過程如圖3所示。

在數(shù)據(jù)采集中，利用智慧教室錄播系統(tǒng)和攝像機(jī)多機(jī)位采集各小組視頻數(shù)據(jù);利用錄音筆采集各小組音頻數(shù)據(jù);利用“小雅”平臺(tái)收集學(xué)生日志數(shù)據(jù);利用智能手環(huán)采集學(xué)生心率和壓力等生理數(shù)據(jù);利用在線調(diào)查系統(tǒng)收集學(xué)生自我報(bào)告問卷數(shù)據(jù)。其中該問卷是在分析智慧課堂協(xié)作學(xué)習(xí)特點(diǎn)的基礎(chǔ)上，參考彭紹玲學(xué)者的“同伴關(guān)系與大學(xué)生學(xué)習(xí)投入的現(xiàn)狀調(diào)查問卷”[27]和汪雅霜學(xué)者的“大學(xué)生學(xué)習(xí)投入度量表”[28]改編而成，包含行為投入、認(rèn)知投入和情感投入三個(gè)維度，行為層面由小組學(xué)習(xí)中的角色扮演、小組活動(dòng)參與度和課堂交互組成;認(rèn)知層面包括知識(shí)、技能和能力素養(yǎng);情感層面主要為小組學(xué)習(xí)喜好。運(yùn)用SPSS對(duì)整體問卷進(jìn)行可靠性分析，Cronbach's Alpha值0.847，說明該問卷有較高信度;同時(shí)邀請(qǐng)專家對(duì)問卷效度進(jìn)行評(píng)判，專家們一致認(rèn)為該問卷具有較好的內(nèi)容效度。利用量規(guī)采集學(xué)生協(xié)作學(xué)習(xí)成果的評(píng)價(jià)數(shù)據(jù)，量規(guī)是由三名化學(xué)教學(xué)論專業(yè)資深教師共同制訂而成。

2. 數(shù)據(jù)編碼及統(tǒng)計(jì)

對(duì)采集到的各模態(tài)數(shù)據(jù)進(jìn)行特征提取、編碼和統(tǒng)計(jì)。其中，視頻數(shù)據(jù)、音頻數(shù)據(jù)、“小雅”平臺(tái)數(shù)據(jù)、問卷自我報(bào)告數(shù)據(jù)的分析內(nèi)容和編碼維度如圖4所示。

（1）視頻數(shù)據(jù)編碼統(tǒng)計(jì)

視頻數(shù)據(jù)主要分析學(xué)生的面部表情、頭部姿勢(shì)和手部動(dòng)作。其中，面部表情編碼識(shí)別采用FACS表情識(shí)別工具，并結(jié)合孫波學(xué)者情感與AU的關(guān)系框架[29]進(jìn)行統(tǒng)計(jì)分析。將各小組視頻每間隔3秒抽樣一次各生成584個(gè)樣本，在Nvivo中進(jìn)行編碼和統(tǒng)計(jì)。

（2）音頻數(shù)據(jù)編碼統(tǒng)計(jì)

從學(xué)生討論（與課程內(nèi)容相關(guān)、與課程內(nèi)容無關(guān)）、安靜或混亂兩個(gè)維度三個(gè)指標(biāo)進(jìn)行音頻內(nèi)容切割，運(yùn)用累計(jì)時(shí)長(zhǎng)法在EXCEL中統(tǒng)計(jì)，獲取各小組音頻對(duì)應(yīng)編碼維度時(shí)長(zhǎng)。

（3）“小雅”平臺(tái)數(shù)據(jù)統(tǒng)計(jì)

按照?qǐng)D4“小雅”平臺(tái)數(shù)據(jù)編碼維度，收集各小組成員的日志數(shù)據(jù)，并將該數(shù)據(jù)從平臺(tái)導(dǎo)出到SPSS中，以便后續(xù)進(jìn)行數(shù)據(jù)分析。

（4）問卷數(shù)據(jù)編碼統(tǒng)計(jì)

將問卷調(diào)查系統(tǒng)數(shù)據(jù)導(dǎo)出，問卷選擇題數(shù)據(jù)導(dǎo)入到SPSS中分析，問卷開放題數(shù)據(jù)按組歸類，每組為一個(gè)案例導(dǎo)入Nvivo編碼分析。

（5）生理數(shù)據(jù)編碼統(tǒng)計(jì)

從智能手環(huán)讀取學(xué)生心率和壓力數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)維度為每位學(xué)生心率變化極差（最大心率—最小心率）、壓力變化極差（最大壓力—最小壓力）以及壓力分布（偏高、中等、正常、放松）。

（6）量規(guī)數(shù)據(jù)處理

量規(guī)測(cè)量各組學(xué)習(xí)成效，計(jì)算每組最終成績(jī)，并將成績(jī)前27%的小組定義為高成就，后27%小組定義為低成就。

3. 數(shù)據(jù)分析

在標(biāo)注高成就的小組中隨機(jī)抽取一組作為高成就組，在標(biāo)注低成就的小組中隨機(jī)抽取一組作為低成就組，對(duì)這兩個(gè)小組的學(xué)習(xí)投入數(shù)據(jù)進(jìn)行比較分析。

（1）音頻數(shù)據(jù)分析

在本課的協(xié)作學(xué)習(xí)中，高、低成就組在安靜或混亂、討論內(nèi)容與課程相關(guān)、討論內(nèi)容與課程無關(guān)這三個(gè)方面的時(shí)長(zhǎng)如圖5所示，結(jié)果顯示兩組在討論或混亂的時(shí)長(zhǎng)基本相等，高成就組在討論與課程內(nèi)容相關(guān)方面的時(shí)間較長(zhǎng)，在討論與課程內(nèi)容無關(guān)的時(shí)間較短。

（2）視頻數(shù)據(jù)分析

對(duì)每個(gè)學(xué)生面部表情、頭部姿勢(shì)和手部動(dòng)作這三個(gè)維度對(duì)應(yīng)的高興、困惑、厭煩、驚訝、疲勞、專注、自信、抬頭、低頭、歪頭以及和同伴交流時(shí)有手部動(dòng)作共11個(gè)指標(biāo)進(jìn)行分析，通過SPSS對(duì)高低成就組的這11個(gè)指標(biāo)均進(jìn)行Mann-WhitneyU檢驗(yàn)，結(jié)果顯示高、低成就組學(xué)生在協(xié)作學(xué)習(xí)中困惑、疲勞、專注以及和同伴交流時(shí)有手部動(dòng)作這四個(gè)方面有顯著性差異，如表1視頻數(shù)據(jù)分析結(jié)果所示。在協(xié)作學(xué)習(xí)中高成就組的學(xué)生呈現(xiàn)出的專注度高，而且他們較喜歡在表達(dá)觀點(diǎn)時(shí)輔以手部動(dòng)作，低成就組的學(xué)生較容易出現(xiàn)困惑和疲勞等面部表情。

（3）“小雅”平臺(tái)數(shù)據(jù)分析

對(duì)每個(gè)學(xué)生在平臺(tái)上的任務(wù)完成度、學(xué)習(xí)時(shí)長(zhǎng)、自主觀看、作業(yè)、討論和隨堂測(cè)試成績(jī)這6項(xiàng)進(jìn)行分析，通過SPSS對(duì)高、低成就組的這6項(xiàng)均進(jìn)行Mann-WhitneyU檢驗(yàn)，結(jié)果顯示高、低成就組在“小雅”平臺(tái)任務(wù)完成度和討論這兩個(gè)方面有顯著性差異，如表1“小雅”平臺(tái)數(shù)據(jù)分析結(jié)果所示，高成就組的任務(wù)完成度和討論數(shù)量顯著高于低成就組。

（4）生理數(shù)據(jù)分析

對(duì)生理數(shù)據(jù)中每個(gè)學(xué)生的心率變化極差、壓力變化極差、壓力偏高、壓力中等、壓力正常和壓力放松這6項(xiàng)指標(biāo)進(jìn)行分析，通過SPSS對(duì)高、低成就組這6項(xiàng)指標(biāo)均進(jìn)行Mann-WhitneyU檢驗(yàn)，結(jié)果顯示高、低成就組學(xué)生在心率變化極差和壓力變化極差存在顯著性差異，如表1生理數(shù)據(jù)分析結(jié)果所示。高成就組的心率變化極差顯著高于低成就組，而壓力變化極差顯著低于低成就組。

（5）問卷數(shù)據(jù)分析

運(yùn)用SPSS對(duì)高、低成就組問卷中21個(gè)題項(xiàng)均進(jìn)行Mann-WhitneyU檢驗(yàn)，結(jié)果顯示高、低成就組學(xué)生在行為維度中的“明確小組分工”和“小組成員都參與了討論”這兩項(xiàng)存在顯著性差異;在認(rèn)知維度中的“課前推送的資源，為我在協(xié)作討論中提供想法”存在顯著性差異;在情感維度中的“喜歡互動(dòng)投屏分享成果”和“錄播系統(tǒng)能督促學(xué)習(xí)”這兩項(xiàng)存在顯著性差異，如表1中的問卷自我報(bào)告數(shù)據(jù)分析所示。

（三）結(jié)論與討論

1. 基于多模態(tài)的測(cè)評(píng)能較全面反映學(xué)生的投入狀態(tài)

從以上數(shù)據(jù)分析發(fā)現(xiàn)：第一，音頻數(shù)據(jù)表征的學(xué)生討論內(nèi)容與課程是否相關(guān)會(huì)影響其學(xué)習(xí)投入度。第二，視頻數(shù)據(jù)表征的在協(xié)作學(xué)習(xí)中當(dāng)學(xué)生表現(xiàn)出專注，或在討論中輔以手部動(dòng)作時(shí)，其投入度較高;反之，當(dāng)出現(xiàn)困惑或疲勞表情時(shí)，其投入度低。第三，日志數(shù)據(jù)反映的在課程平臺(tái)中完成任務(wù)和積極開展討論能表征學(xué)生學(xué)習(xí)投入度較高。第四，生理數(shù)據(jù)反映的當(dāng)學(xué)生心率有較大波動(dòng)時(shí)，學(xué)習(xí)投入度高;反之，當(dāng)壓力變化波動(dòng)較大時(shí)，學(xué)習(xí)投入度低。第五，自我報(bào)告數(shù)據(jù)反映的在協(xié)作學(xué)習(xí)中明確小組分工、小組成員都參與討論、課前推送資源、運(yùn)用互動(dòng)投屏分享成果和利用錄播系統(tǒng)監(jiān)測(cè)學(xué)生，這些都有利于提高學(xué)生的學(xué)習(xí)投入度，見表2?？梢?，影響智慧課堂協(xié)作學(xué)習(xí)投入度的因素較復(fù)雜，基于多模態(tài)數(shù)據(jù)表征的智慧課堂協(xié)作學(xué)習(xí)投入度分析模型能較全面地挖掘影響學(xué)生投入度的相關(guān)因素，能科學(xué)客觀地評(píng)價(jià)學(xué)生協(xié)作學(xué)習(xí)的投入狀態(tài)。

2. 基于多模態(tài)的測(cè)評(píng)為協(xié)作學(xué)習(xí)中教師精準(zhǔn)施策提供依據(jù)

在智慧課堂中，教師通過監(jiān)測(cè)多模態(tài)數(shù)據(jù)表征的協(xié)作學(xué)習(xí)投入狀態(tài)，對(duì)小組學(xué)習(xí)進(jìn)行研判并施策。如表2所示，當(dāng)學(xué)生面部表情出現(xiàn)困惑或疲勞，或者壓力變化波動(dòng)過大，或討論內(nèi)容與課程無關(guān)，這都表示其學(xué)習(xí)投入度較低，教師可適時(shí)進(jìn)行干預(yù);當(dāng)其面部表情表現(xiàn)出專注或與同伴交互過程中出現(xiàn)手部動(dòng)作，或心率變化波動(dòng)較大，或討論內(nèi)容與課程相關(guān)，這些現(xiàn)象表明其學(xué)習(xí)正在投入狀態(tài)，教師不宜打擾。另外，在協(xié)作學(xué)習(xí)中，加強(qiáng)課前預(yù)習(xí)環(huán)節(jié)的引導(dǎo)、明確小組分工、督促每個(gè)成員參與小組學(xué)習(xí)、利用好智慧教室的無線投屏分享成果及錄播系統(tǒng)監(jiān)測(cè)學(xué)習(xí)的功能，這些能大大提高學(xué)生的學(xué)習(xí)投入度，教師要努力為學(xué)生創(chuàng)造諸如以上條件的友好的協(xié)作學(xué)習(xí)環(huán)境。

3. 基于多模態(tài)的測(cè)評(píng)促進(jìn)教育評(píng)價(jià)數(shù)據(jù)化、科學(xué)化、精準(zhǔn)化

本研究利用多模態(tài)數(shù)據(jù)監(jiān)測(cè)學(xué)習(xí)投入的變化規(guī)律，較全面地揭示了學(xué)生在協(xié)作過程中行為、認(rèn)知和情感的投入狀態(tài)，突破了傳統(tǒng)單一數(shù)據(jù)源測(cè)評(píng)的局限，為教師課程設(shè)計(jì)、教學(xué)活動(dòng)組織和教學(xué)工具的選擇提供有價(jià)值的依據(jù)。2020年9月中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》，標(biāo)志著我國(guó)教育評(píng)價(jià)改革進(jìn)入前所未有的重視階段，人們期望采用更可靠、更高效、更智能的手段整合多維度、多層次的信息，制定更具準(zhǔn)確性和解釋性的測(cè)評(píng)方案，來推動(dòng)教育評(píng)價(jià)改革順利開展[30]。多模態(tài)理念為充分利用現(xiàn)代技術(shù)、創(chuàng)新教學(xué)評(píng)價(jià)方法和開發(fā)教育評(píng)價(jià)工具提供新的思路，其將賦能教育評(píng)價(jià)逐漸向數(shù)據(jù)化、科學(xué)化、精準(zhǔn)化的方向發(fā)展。

五、結(jié)? ?語

智能技術(shù)的發(fā)展，為解決協(xié)作學(xué)習(xí)投入度測(cè)評(píng)單一的問題，帶來了新的方法。我國(guó)多模態(tài)學(xué)習(xí)分析尚處在探索階段，理論研究和實(shí)踐應(yīng)用任重道遠(yuǎn)。隨著人工智能與教育融合發(fā)展，多模態(tài)學(xué)習(xí)分析將成為促進(jìn)教育評(píng)價(jià)改革的中堅(jiān)力量。本研究基于多模態(tài)學(xué)習(xí)分析理論，構(gòu)建智慧課堂協(xié)作學(xué)習(xí)投入度分析模型并在教學(xué)實(shí)踐中應(yīng)用，為全面、科學(xué)、精準(zhǔn)地分析學(xué)習(xí)投入提供參考路徑。下一步研究將在更大范圍內(nèi)開展實(shí)驗(yàn)，通過設(shè)計(jì)不同類型和不同難度的任務(wù)開展課堂實(shí)踐，獲取更豐富和更具代表性的數(shù)據(jù)，從而提升模型通用性和準(zhǔn)確性。

[參考文獻(xiàn)]

[1] 毛剛，劉清堂，吳林靜.基于活動(dòng)理論的小組協(xié)作學(xué)習(xí)分析模型與應(yīng)用[J].現(xiàn)代遠(yuǎn)程教育研究，2016（3）：93-103.

[2] 李京杰，馬德俊.博弈論與協(xié)作學(xué)習(xí)的組內(nèi)合作及組間競(jìng)爭(zhēng)問題探討[J].電化教育研究，2010（2）：18-21.

[3] 陳向東，羅淳，張江翔.共享調(diào)節(jié)：一種新的協(xié)作學(xué)習(xí)研究與實(shí)踐框架[J].遠(yuǎn)程教育雜志，2019，37（1）：62-71.

[4] 李艷燕，邢爽，包昊罡，蘇友，張媛.在線協(xié)作學(xué)習(xí)中學(xué)習(xí)分析工具對(duì)教師干預(yù)的影響研究[J].中國(guó)電化教育，2019（2）：80-86.

[5] 鄭蘭琴，梁妙.教師指導(dǎo)對(duì)協(xié)作學(xué)習(xí)效果影響的實(shí)證研究[J].電化教育研究，2014，35（8）：89-94.

[6] SOFFER T， COHEN A. Students' engagement characteristics predict success and completion of online courses[J]. Journal of computer assisted learning， 2019， 35（3）：378-389.

[7] SCHNEIDER B， BLIKSTEIN P. Unraveling students' interaction around a tangible interface using multimodal learning analytics[J]. Journal of educational data mining， 2015， 7（2）：217-231.

[8] MART？魱NEZ R， COLLINS A， KAY J， et al. Who did what？ Who said that？ Collaid： an environment for capturing traces of collaborative learning at the tabletop[C]//In Proceedings of 2011 Acm International Conference on Interactive Tabletops and Surfaces. New York： ACM， 2011：172-181.

[9] 馬志強(qiáng)，岳蕓竹，王文秋.基于多模態(tài)交互信息的協(xié)作學(xué)習(xí)投入分析[J].現(xiàn)代教育技術(shù)，2021，31（1）：47-53.

[10] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）：338-349.

[11] 牟智佳.多模態(tài)學(xué)習(xí)分析：學(xué)習(xí)分析研究新生長(zhǎng)點(diǎn)[J].電化教育研究，2020，41（05）：27-32，51.

[12] MU S， CUI M， HUANG X. Multimodal data fusion in learning analytics： a systematic review[J]. Sensors， 2020， 20（23）：6856.

[13] AMBADY N， ROSENTHAL R. Half a minute： predicting teacher evaluations from thin slices of nonverbal behavior and physical attractiveness[J]. Journal of personality and social psychology， 1993， 64（3）： 431.

[14] MUNOZ R， BARCELOS T S， VILLARROEL R， et al. Body posture visualizer to support multimodal learning analytics[J]. IEEE latin America transactions， 2018， 16（11）：2706-2715.

[15] TAMURA K， LU M， KONOMI S， et al. Integrating multimodal learning analytics and inclusive learning support systems for people of all ages[C]//International Conference on Human-computer Interaction. Cham： Springer， 2019：469-481.

[16] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： A

"grey-box" approach[J]. British journal of educational technology， 2019， 50（6）：3004-3031.

[17] CAROLIS B D， D'ERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//Proceedings of the IEEE International Conference on Web Intelligence. New York： ACM， 2019：80-85.

[18] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[19] 李新，李艷燕，包昊罡，程露.學(xué)習(xí)投入測(cè)評(píng)新發(fā)展：從單維分析到多模態(tài)融合[J].電化教育研究，2021，42（10）：100-107.

[20] 孫曙輝，劉邦奇，李鑫.面向智慧課堂的數(shù)據(jù)挖掘與學(xué)習(xí)分析框架及應(yīng)用[J].中國(guó)電化教育，2018（2）：59-66.

[21] 郭建鵬，劉公園，楊凌燕.大學(xué)生學(xué)習(xí)投入的影響機(jī)制與模型——基于311所本科高等學(xué)校的學(xué)情調(diào)查[J].教育研究，2021，42（8）：104-115.

[22] 劉繁華，易錫添.在線學(xué)習(xí)投入的分析模型構(gòu)建及應(yīng)用研究[J].電化教育研究，2021，42（9）：69-75.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[24] 武法提，張琪.學(xué)習(xí)行為投入：定義、分析框架與理論模型[J].中國(guó)電化教育，2018（1）：35-41.

[25] 馬志強(qiáng)，蘇珊，張彤彤.基于學(xué)習(xí)投入理論的網(wǎng)絡(luò)學(xué)習(xí)行為模型研究——以“網(wǎng)絡(luò)教學(xué)平臺(tái)設(shè)計(jì)與開發(fā)”課程為例[J].現(xiàn)代教育技術(shù)，2017，27（1）：74-80.

[26] 吳永和，郭勝男，朱麗娟，馬曉玲.多模態(tài)學(xué)習(xí)融合分析（MLFA）研究：學(xué)理闡述、模型樣態(tài)與應(yīng)用路徑[J].遠(yuǎn)程教育雜志，2021，39（3）：32.

[27] 彭紹玲.同伴關(guān)系對(duì)大學(xué)生學(xué)習(xí)投入的影響研究[D].南昌：江西師范大學(xué)，2021.

[28] 汪雅霜.大學(xué)生學(xué)習(xí)投入度的實(shí)證研究——基于2012年“國(guó)家大學(xué)生學(xué)習(xí)情況調(diào)查”數(shù)據(jù)分析[J].中國(guó)高教研究，2013（1）：32-36.

[29] 孫波，劉永娜，陳玖冰，羅繼鴻，張迪.智慧學(xué)習(xí)環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠(yuǎn)程教育研究，2015（2）：96-103.

[30] 駱方，田雪濤，屠焯然，姜力銘.教育評(píng)價(jià)新趨向：智能化測(cè)評(píng)研究綜述[J].現(xiàn)代遠(yuǎn)程教育研究，2021，33（5）：42-52.

Construction and Application of Collaborative Learning Engagement Analysis Model for Smart Classroom from A Multimodal Perspective

WU Junqi，? WU Feiyan，? ZHANG Mengmeng，? DAI Xinju，? ZHANG Ying

（Faculty of Artificial Intelligence in Education， Central China Normal University， Wuhan Hubei 430079）

[Abstract] Learning engagement is an important factor affecting students' academic success and education and teaching quality in collaborative learning. Evaluating students' learning engagement effectively can provide the evidence for teachers to analyze and judge collaborative activities. The development of artificial intelligence and intelligent perception technology leads to the smart classroom， and the evaluation method of learning engagement has also changed from a single-dimensional one to multimodal fusion analysis. Based on multimodal learning analysis theory， combined with the characteristics of collaborative learning in smart classroom， this paper discusses the deep integration of technology and learning evaluation， analyzes learning engagement from three dimensions of behavior， cognition and emotion， constructs an analysis model of smart classroom collaborative learning engagement， and applies it in practical classes. It is found that multimodal data such as video， audio， log， physiology and self-report from the collaborative learning process in smart classroom， each modal data has characteristic variables that are correlated with learning engagement. The research results show that the evaluation based on multimodal data can comprehensively reflect students' learning engagement， provide a basis for teachers to make precise policy-making in collaborative learning， and promote data-based， scientific and accurate educational evaluation.

[Keywords] Multimodal Learning Analysis; Smart Classroom; Collaborative Learning; Learning Engagement; Model

[作者簡(jiǎn)介] 吳軍其（1972—），男，湖北武漢人。教授，博士，主要從事教育技術(shù)學(xué)和教師教育研究。E-mail：wujunqi @ccnu.edu.cn。

基金項(xiàng)目：華中師范大學(xué)國(guó)家教師發(fā)展協(xié)同創(chuàng)新實(shí)驗(yàn)基地建設(shè)研究項(xiàng)目“‘人工智能+名師課堂創(chuàng)新應(yīng)用”（項(xiàng)目編號(hào)：CCNUTEIII 2021-13）