基于深度學習的協(xié)作學習投入分析方法研究

胡婉青 李新 黃睿妍 李艷燕

基金項目：2022年度北京市自然科學基金“面向數(shù)字社會發(fā)展的智慧教育支持服務關鍵技術研究”（項目編號：9222019）；2023年度國家自然科學基金面上項目“融合多模態(tài)學習分析的協(xié)作過程監(jiān)測和智能反饋研究”（項目編號：62277006）

[摘? ?要] 協(xié)作學習投入的自動分析是動態(tài)追蹤協(xié)作學習過程、提升協(xié)作學習效果的重要手段?，F(xiàn)有研究大多使用淺層機器學習分析個體學習投入，較少關注協(xié)作學習投入，并且存在準確度受限且泛化能力較差等問題。為了解決相應問題，首先，研究提出以BERT-BiLSTM深度學習模型為核心的協(xié)作學習投入自動分析方法，包括收集數(shù)據(jù)、建立數(shù)據(jù)庫、建立訓練集、構建深度學習模型、檢驗模型效果、批量識別數(shù)據(jù)以及統(tǒng)計分析等流程。其次，研究應用該方法分析了某高校數(shù)學建?；顒又?0個小組的協(xié)作學習投入，驗證了方法的有效性，并進一步探索了高低成就小組協(xié)作學習投入的差異以及動態(tài)變化特點。研究突破了傳統(tǒng)學習投入自動檢測方法在準確性和泛化能力上的局限性，將學習投入的自動分析對象從個體拓展到了小組，并揭示了協(xié)作學習投入的時序變化特征及其與協(xié)作成效的復雜聯(lián)系，為未來實時監(jiān)測及干預協(xié)作學習提供了重要支持，進一步推動了該研究領域的理論與實踐發(fā)展。

[關鍵詞] 協(xié)作學習投入； 協(xié)作學習； 深度學習； 自動分析； 應用案例

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 胡婉青（1998—），女，重慶人。博士研究生，主要從事計算機支持協(xié)作學習、人工智能教育應用研究。E-mail：202231010044@mail.bnu.edu.cn。李艷燕為通訊作者，E-mail：liyy@bnu.edu.cn。

一、引? ?言

互聯(lián)網(wǎng)+教育時代，協(xié)作學習作為一種有效教學手段，已被廣泛應用于各種教學場景[1]。協(xié)作學習的成效與協(xié)作學習投入息息相關。協(xié)作學習投入是小組成員感到活躍、努力和積極的集體心理狀態(tài)，能夠反映出小組成員努力參與協(xié)作活動的程度[2]。有研究者指出，協(xié)作學習投入具有時序性和波動性，它隨著時間變化而動態(tài)發(fā)展，能夠通過干預而被優(yōu)化[3]。由此可見，揭示協(xié)作學習投入的時序規(guī)律和動態(tài)特征，對于監(jiān)測學習過程并提供精準支持具有重要價值和意義。較多研究嘗試通過人工編碼協(xié)作會話以揭示協(xié)作學習投入的動態(tài)特征[4-5]，但是這種方法費時費力，難以大規(guī)模推廣。

針對這一問題，一些研究使用機器學習方法來自動檢測學習投入，但是目前主要聚焦于個體學習投入而非協(xié)作學習投入。并且已有研究主要以淺層機器學習方法為主[6-8]，模型識別的準確度有限[9]，泛化能力也較差[10]，在分析時僅關注認知、情感或行為中個別維度，分析的全面性不足并且可推廣性欠佳。基于此，本研究以深度學習模型為核心，構建了協(xié)作學習投入自動化分析方法，突破了傳統(tǒng)機器學習方法的局限性，并應用該方法全面揭示了協(xié)作學習投入的動態(tài)變化和時序特征，探索了其與協(xié)作成效之間的復雜聯(lián)系。

二、 協(xié)作學習投入的分析進展

（一）協(xié)作學習投入的傳統(tǒng)分析方法

大量研究使用了自我報告、日志分析和人工編碼等方法來分析學習投入。在自我報告方面，主要通過問卷調查讓學習者主動匯報自己協(xié)作學習過程中的學習投入[11-12]，但是該方式容易受到學習者的主觀影響，并且忽略了學習投入的時序性和動態(tài)性。在日志分析方面，研究者通常獲取到學習平臺上學習者的行為數(shù)據(jù)，從中挖掘能夠表征學習投入的量化指標，以此檢測學習者的行為投入或者社交投入[13]。在人工編碼方面，較多研究基于編碼表來分析協(xié)作會話，以揭示協(xié)作學習投入的時序特征與規(guī)律。例如，李艷燕等在構建協(xié)作學習投入分析模型的基礎上，采用人工編碼的方式分析了學習者的投入狀態(tài)及其與學業(yè)表現(xiàn)之間的關系[14]，但是該研究使用個體學習投入的平均值來表征協(xié)作學習投入，忽略了協(xié)作學習投入的復雜性。也有研究者嘗試建立編碼表，通過編碼協(xié)作會話分析協(xié)作學習投入。例如，Ouyang等使用了三種支架支持在線協(xié)作問題解決，并基于編碼表分析了三種支架支持下小組認知投入和行為投入等方面的差異[5]。相較于自我報告和日志分析，人工編碼能夠揭示協(xié)作學習投入的動態(tài)變化特征，但是這種方法耗時耗力，難以應對協(xié)作學習過程中涌現(xiàn)出的大量會話數(shù)據(jù)，亟須研究者提出自動化方法來分析協(xié)作學習投入。

（二）協(xié)作學習投入的自動分析方法

隨著文本挖掘技術的快速發(fā)展，研究者嘗試使用機器學習方法，基于學習者對話自動分析學習者的學習投入。例如，Atapattu等使用了文檔向量的方式來檢測認知投入[15]，隨后該研究團隊使用了樸素貝葉斯、支持向量機和隨機森林等經(jīng)典機器學習方法來研究學習者情感投入的語言特征[16]；吳林靜等使用文心語義特征分析工具，從學習者對話中提取出學習者學習投入的語義特征，并進一步使用特征工程對特征進行加工與模式挖掘，探索個體學習者的學習投入特點[6]；馬寧等人使用決策樹、樸素貝葉斯、邏輯回歸等方法分析在線交互文本中的情感和認知狀態(tài)[17]。盡管這些研究提出了自動檢測學習投入的方法，但是主要使用了淺層機器學習方法，需要人工完成復雜的特征工程。有研究者指出，人工提取的特征會影響模型的泛化能力[10]，并且這些方法對于對話文本的語義理解是有限的，模型的識別效果也容易受到樣本分布不均衡的影響[9]。

深度學習方法由于能夠實現(xiàn)高維特征表示而受到研究者的廣泛關注，其中轉換器模型（如BERT）和長短時記憶（LSTM）模型被認為是對序列文本進行分類的高級技術方案[18-20]。已有一些研究使用了相關深度學習方法來實現(xiàn)學習投入的自動分析，例如，Liao等使用了LSTM等深度學習模型，通過學習者在混合課程中的交流文本檢測學習者是否投入[8]，但是該研究忽略了學習投入是個多維度的概念。Liu等使用了BERT等深度學習模型，通過MOOC中學習者討論話語分析學習者的認知投入與情感投入，并探索了兩者與學習者個人成績之間的關系[9]。然而，目前使用自動方法分析學習投入的研究仍以個體學習者為分析對象，幾乎沒有關注以小組為分析單位的協(xié)作學習投入。目前，亟須研究提出協(xié)作學習投入自動分析方法，并應用該方法從大數(shù)據(jù)中挖掘協(xié)作學習投入的動態(tài)變化規(guī)律，揭示其與協(xié)作學習成效之間的復雜關系。

整體來看，目前針對協(xié)作學習投入分析的研究仍存在較大提升空間：一是在測量方法上已有研究仍以傳統(tǒng)人工測評方式為主，在少量采用傳統(tǒng)機器學習等自動化測評的研究中，主要采用了淺層學習方法，并且僅關注認知或情感單維度的學習投入，忽略了學習投入是多維度的構念，這些方法在準確性、可推廣性和全面性上存在不足；二是目前學習投入自動分析相關研究中，學習投入分析的對象仍以個體學習者為主，但是協(xié)作學習作為一個群體性活動，如何對協(xié)作學習投入進行自動分析是提升協(xié)作學習效果的關鍵。

三、 協(xié)作學習投入自動分析方法

本研究首先基于已有的學習投入理論框架，構建了面向小組的多維度協(xié)作學習投入分析框架，該框架是實現(xiàn)協(xié)作學習投入自動分析的理論基礎。其次，研究構建了以深度學習技術為核心的協(xié)作學習投入自動分析方法，闡述了基于協(xié)作會話分析協(xié)作學習投入的關鍵流程。該方法有助于在大數(shù)據(jù)中挖掘協(xié)作學習投入的動態(tài)變化規(guī)律。

（一） 協(xié)作學習投入的分析框架

協(xié)作學習投入是一個多層次、多維度的復雜概念，它的多層次體現(xiàn)在其涉及群體中多名個體學習者的投入情況[21]。組內個人層次的協(xié)作學習投入相互交織影響，共同決定了小組層次的協(xié)作學習投入。已有研究者指出，小組中處于相同學習投入狀態(tài)的人數(shù)是判斷小組層次協(xié)作學習投入的重要特征[4， 21-22]。協(xié)作學習投入的多維度則體現(xiàn)在其包含行為、認知和情感投入三個子維度[23]。其中，協(xié)作行為投入是指小組成員集體積極參與討論的程度[21]，基于Isoh？覿t？覿l？覿等的分析框架[4]，本研究明確定義了兩個層次的協(xié)作行為投入，個人層次的行為投入取決于學習者在單位時間內是否參與到小組討論中，而小組層次的行為投入則是以單位時間內小組中發(fā)言的人數(shù)作為量化指標。此外，協(xié)作認知投入是指小組集體圍繞著同一目標，共同參與到建構知識的過程中[24]?；贕unawardena和Ouyang的框架[25-26]，個人層次的協(xié)作認知投入主要指通過學習者話語反映出的學習者知識建構水平，而小組層次的協(xié)作認知投入則是單位時間內小組中大多數(shù)成員經(jīng)歷的認知投入狀態(tài)。協(xié)作情感投入指的是小組成員參與到分享情緒并塑造小組情感氛圍的過程[22]?；贚iu和J？覿rvel？覿等的框架[9， 27]，本研究中，個人層次的協(xié)作情感投入是指學習者發(fā)生了與其他成員的社會情感互動[21]，小組層次的協(xié)作情感投入是指單位時間內小組中大多數(shù)成員經(jīng)歷的情感投入狀態(tài)?；诖?，本研究形成了基于學習者對話的協(xié)作學習投入三維分析框架（見表1）。

表1? ?基于學習者對話的協(xié)作學習投入三維分析框架

（二） 協(xié)作學習投入的自動分析流程

在確定協(xié)作學習投入分析框架后，本研究進一步提出了協(xié)作學習投入的自動分析流程，主要包含數(shù)據(jù)收集、建立數(shù)據(jù)庫、建立訓練集、構建深度學習模型、檢驗深度學習模型效果、批量識別未編碼數(shù)據(jù)以及統(tǒng)計分析等步驟，如圖1所示。

圖1? ?基于深度學習的協(xié)作學習投入自動分析流程

1. 數(shù)據(jù)收集

研究者需要收集匯總學習者在協(xié)作學習過程中的會話數(shù)據(jù)。協(xié)作學習過程中學習者的會話數(shù)據(jù)可能是多模態(tài)的，研究者需要將交流音頻轉錄為文本，并將不同來源的文本數(shù)據(jù)按照時間順序進行對齊匯總。

2. 建立數(shù)據(jù)庫

研究者需要對匯總的協(xié)作會話文本數(shù)據(jù)進行預處理，進而建立協(xié)作會話數(shù)據(jù)庫。其中，預處理主要是對會話文本數(shù)據(jù)進行清洗，修正會話數(shù)據(jù)中錯別字、重復表達等問題，為后續(xù)自動分析時機器能夠更準確地理解語義奠定基礎。

3. 建立訓練集

為了保證深度學習模型的準確性，構建高質量的訓練集至關重要。首先，需要組建兩個編碼小組分別負責認知投入和情感投入的編碼，由專家指導編碼人員理解編碼表。其次，編碼人員獨立編碼，并計算編碼的一致性。當編碼具有較好的一致性后，編碼人員再各自編碼剩下的數(shù)據(jù)。完成編碼的數(shù)據(jù)集則作為后續(xù)深度學習模型的訓練集。

4. 構建深度學習模型

構建深度學習模型，以實現(xiàn)對情感投入與認知投入的自動分析，這是本研究建立的學習投入自動化分析方法的核心步驟。本研究中使用了BERT模型來實現(xiàn)文本表示，提取學習者話語的語義特征。與傳統(tǒng)的機器學習模型相比，BERT在小樣本并且樣本不均衡的情況下也具有高性能的表現(xiàn)[28]。在分類器上選擇了BiLSTM模型，該模型是由前向的LSTM與后向的LSTM組合而成的，繼承了LSTM能夠較好地捕捉長距離依賴關系的優(yōu)點，彌補了LSTM無法編碼從后到前的信息這一不足，可以捕捉到雙向的語義依賴關系[29]。圖2展示了本研究中構建的BERT-BiLSTM深度學習模型結構。研究者需要嘗試模型不同的超參數(shù)組合，并根據(jù)第五步模型的檢驗結果進行不停的迭代優(yōu)化。

5. 檢驗深度學習模型效果

使用十折交叉驗證法來訓練與測試BERT-BiLTSM模型，以檢驗模型的性能，選擇了常用的幾項評價指標準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1分數(shù)（F1-score）來評價模型的具體表現(xiàn)。在計算這幾項評價指標后，又根據(jù)結果進一步迭代優(yōu)化深度學習模型的超參數(shù)，直到模型性能沒有再進一步提升。

6. 批量識別未編碼數(shù)據(jù)

應用性能最優(yōu)的深度學習模型批量識別小組會話數(shù)據(jù)庫中未被編碼的數(shù)據(jù)，得到小組中每個學習者認知投入和情感投入的時序數(shù)據(jù)，以便于后續(xù)計算協(xié)作認知投入和協(xié)作情感投入。

7. 統(tǒng)計分析

基于協(xié)作學習投入分析框架的規(guī)則進行統(tǒng)計分析，根據(jù)單位時間內協(xié)作會話片段中所有學習者的協(xié)作學習投入狀態(tài)特點計算得到當前時間段小組層次的協(xié)作學習投入狀態(tài)。

四、 應用案例

（一）研究案例

為了動態(tài)追蹤協(xié)作學習過程，同時驗證本研究構建的協(xié)作學習投入自動分析方法的有效性，揭示協(xié)作學習投入的時序變化規(guī)律及其與協(xié)作成效的復雜聯(lián)系，為未來實時監(jiān)測和干預提供建議，本研究提出的問題是：高低成就小組的各維度協(xié)作學習投入的時序變化特征存在哪些差異。

協(xié)作問題解決是一種典型的協(xié)作學習活動，涉及學習者認知、情感和行為方面的復雜活動，因此，本研究選擇了某高校面向本科生的數(shù)學建模活動作為案例。在該活動中，每個小組需要在兩天時間內使用數(shù)學計算、計算機建模等方法來解決一個現(xiàn)實生活中的非良構問題，并撰寫一篇論文來呈現(xiàn)問題解決方案。該活動旨在培養(yǎng)學生數(shù)學建模和協(xié)作解決問題的能力，共有96名大學生參與了該活動，并且按3人一組自由組成了32個協(xié)作小組。

（二）數(shù)據(jù)收集與分析

1. 數(shù)據(jù)收集

本研究錄制了每個小組在協(xié)作過程中的交流音頻，使用騰訊會議的語音轉文本功能將錄音轉錄為帶有時間戳、說話人和說話內容的數(shù)據(jù)，在對話語內容進行人工校對后，形成每個小組的會話數(shù)據(jù)庫?？紤]到小組數(shù)據(jù)是否完整等原因，最終選擇其中20個小組（60名學生）的數(shù)據(jù)進行后續(xù)分析，累計57400條數(shù)據(jù)。

此外，本研究收集了每個小組撰寫的論文作為小組協(xié)作成果，并對論文進行了打分。由兩位數(shù)學建模專家對小組協(xié)作成果進行打分，具體從語法和詞匯、排版、模型的假設、模型的建立、模型的應用以及模型的檢驗六個方面開展評價，兩位專家評分的Spearman相關系數(shù)為0.857（p<0.01）。根據(jù)小組協(xié)作成果的分數(shù)，將小組進行排名，取排名處于前27%的小組為高成就小組，排名位于后27%的小組作為低成就小組。

2. 數(shù)據(jù)分析

首先，組建了兩個編碼小組，按照自動分析流程中構建訓練集的步驟，對活動中收集的數(shù)據(jù)進行編碼。其中，認知投入編碼小組的一致性為0.758，大于0.70；社會情感投入編碼小組的一致性為0.796，大于0.70，表明具有良好的編碼一致性。

其次，本研究基于訓練集使用Anaconda 3.0構建了學習投入的自動檢測模型（環(huán)境配置為TensorFlow-gpu 2.3以及Python 3.7）。使用BERT-BiLSTM模型，認知投入檢測模型的參數(shù)設置為sequence_length=128，batch_size=32，epochs=3，情感投入檢測模型的參數(shù)設置為sequence_length=128，batch_size=64，epochs=4，采用Adam算法作為優(yōu)化器。十折交叉驗證法的結果顯示，認知投入檢測的模型準確率在0.769±0.029，情感投入檢測的模型準確率在0.888±0.009。部分認知投入、情感投入分類結果見表2，可以看到盡管訓練集中的樣本分布并不均衡，但是模型仍有較好的性能表現(xiàn)。

表2? ?BERT-BiLSTM模型的部分認知、情感投入分類結果

然后，研究應用構建的深度學習模型批量識別了會話數(shù)據(jù)庫中未被編碼的數(shù)據(jù)，得到了小組中每個學習者的認知投入與情感投入時序數(shù)據(jù)，并基于構建的協(xié)作學習投入分析框架進行統(tǒng)計分析，以30秒為單位時間，計算得到每個小組三個維度的協(xié)作學習投入時序數(shù)據(jù)。最后，對協(xié)作學習投入情況進行了描述性統(tǒng)計，并對比了高低成就小組協(xié)作學習投入時序變化特點的差異。

（三）研究結果與討論

1. 協(xié)作學習投入的基本情況

在協(xié)作行為投入方面，中水平（GB2）最多，其次是低水平（GB1），高水平（GB3）最少，見表3。這說明在小組協(xié)作過程中，大多時間是兩人在討論，而全員參與討論的時間相對較少，過去的研究也有類似的發(fā)現(xiàn)[4]。在協(xié)作情感投入方面，學習者出現(xiàn)中立（GS2）的頻次最多，其次是困惑（GS3）和積極（GS4），出現(xiàn)最少的是消極（GS1），這說明在小組在線協(xié)作的過程中，大多數(shù)時間是較為平靜的，小組也會較多投入困惑和積極情感中，較少投入消極情感中，已有研究對小組協(xié)作討論進行編碼分析后也有類似的發(fā)現(xiàn)[14]。在協(xié)作認知投入方面，與知識建構無關（GC0）的頻次最多，與之相近的是提出觀點（GC1）的頻次，其次是發(fā)現(xiàn)不一致（GC2），而較為高水平的知識建構（GC3）如協(xié)商，應用新知識等出現(xiàn)得最少，已有研究也發(fā)現(xiàn)高水平認知投入發(fā)生較少[30]。

2. 協(xié)作學習投入的時序變化分析

六個活動階段中高低成就小組的協(xié)作行為投入變化情況如圖3所示。從圖中可以看出，在整個協(xié)作過程中，低成就組的低水平行為投入頻次（GB1）都大于高成就小組，這說明在協(xié)作中低成就小組中一個人發(fā)言的情況是多于高成就小組的。而高成就組的高水平行為投入頻次（GB3）在活動前期和后期都大于低成就組，這說明在活動前期和后期高成就組中經(jīng)常全員都參與小組討論，而低成就組則較少。這意味著在活動前期和后期小組中高水平行為投入越多，可能會產(chǎn)出更高質量的協(xié)作學習成果。已有研究者也指出，所有組員都積極參與小組討論能夠促進富有成效的協(xié)作[4， 31]。這一結果對于實施精準干預的啟示是，在任務前期和后期監(jiān)測到小組持續(xù)的低水平行為投入時，應該鼓勵沒有參與討論的學習者積極參與，激發(fā)小組發(fā)生高水平的行為投入。

圖3? ?高低成就組的協(xié)作行為投入時序變化

高低成就小組各維度的協(xié)作認知投入變化情況存在一些差異，如圖4所示。在活動前期，尤其是階段二時，高成就組各個維度的認知投入頻次都高于低成就組，而在活動中期，低成就組各個維度的認知投入頻次都高于高成就組。并且，任務后期低成就組在協(xié)商、論證和應用知識（GC3）這一維度的認知投入出現(xiàn)頻次增加，而高成就組則持續(xù)下降，這可能是因為在任務后期高成就組已經(jīng)按照計劃基本完成了任務，并不需要再進行協(xié)商等高水平的知識建構，而低成就組在活動后期仍然還在協(xié)商概念或者論證觀點。這一發(fā)現(xiàn)可能說明在活動前期發(fā)生更多的認知投入能夠有助于小組獲得更好的協(xié)作學習結果， 可以在活動前期提供支架激發(fā)小組產(chǎn)生更多的認知投入，例如，提供問題支架幫助小組成員討論關于任務的理解，分享自己掌握的知識[32]。

圖4? ?高低成就組的協(xié)作認知投入時序變化

高低成就組協(xié)作情感投入的時序變化如圖5所示。整個協(xié)作學習過程中高成就組都展現(xiàn)出更多的積極情感投入（GS4），已有研究也提出情感氛圍和諧積極的小組更容易發(fā)生富有成效的協(xié)作學習[33]。與此同時，所有小組在任務中期積極情感降到最低，而消極情感（GS1）達到峰值，并且此時低成就組的消極情感高于高成就組。已有研究發(fā)現(xiàn)，持續(xù)或者高強度的消極情感很可能會導致低質量的協(xié)作學習結果[34]，但是如果小組消極情感被適當?shù)卣{節(jié)，那么這也會成為小組成員解決問題的契機[35]。因此，在監(jiān)測到小組頻繁發(fā)生消極情感時，可以激發(fā)小組使用一些情感調節(jié)策略，幫助他們更好地應對這一問題。在困惑（GS3）方面，高低成就組都呈現(xiàn)活動前中期下降，活動后期略微回升的趨勢。與高成就組相比，低成就組在活動中后期維持在困惑狀態(tài)的時間更長。有研究指出，如果困惑的情緒得不到緩解，可能會對學習過程和結果產(chǎn)生不利影響[36]。因此，檢測到持續(xù)的困惑情感投入狀態(tài)并提供幫助是非常重要的[37]，教師可以詢問小組成員感到困惑的原因，并結合原因針對性地推薦一些策略幫助他們從這種持續(xù)的困惑狀態(tài)中脫離出來。

圖5? ?高低成就組的協(xié)作情感投入時序變化

五、 結? ?語

協(xié)作學習投入的全流程、自動化追蹤與評價是揭示在線協(xié)作學習動態(tài)演變規(guī)律、提升在線協(xié)作學習績效的關鍵手段。本研究立足于已有研究成果，嘗試突破傳統(tǒng)測評方法中存在的準確性低且泛化能力不足的問題，提出了以BERT-BiLSTM深度學習模型為核心的協(xié)作學習投入自動分析方法，并進一步應用該方法分析了協(xié)作問題解決活動中的協(xié)作會話，揭示了高低成就小組中學習投入的動態(tài)演變特征，為協(xié)作學習投入的實時干預提出了建議。本研究的不足在于目前模型的訓練集局限于協(xié)作數(shù)學建模這個情境，盡管BERT賦予了模型較好的可遷移性，但是模型遷移到其他情境中時，識別效果還是會受到一定程度的影響，未來應該融入其他協(xié)作問題解決場景的數(shù)據(jù)，進一步擴大該自動分析方法的應用范圍。并且，盡管協(xié)作會話是分析協(xié)作學習投入的主要抓手，但是融入學習者的學習日志、表情以及生理數(shù)據(jù)等能夠更全面地表征協(xié)作學習投入，后續(xù)研究應當探索如何構建并實現(xiàn)基于多模態(tài)數(shù)據(jù)的協(xié)作學習投入自動分析方法。

[參考文獻]

[1] 鄭蘭琴，趙家怡，龍妙浪.如何改善在線協(xié)作學習的設計與實施——基于一致性評估與優(yōu)化的實證分析 [J].現(xiàn)代遠程教育研究， 2022，34（2）：103-112.

[2] WONG Z Y， LIEM G A D. Student engagement： current state of the construct， conceptual refinement， and future research directions [J]. Educational psychology review， 2021，34：1-32.

[3] SYMONDS J E， KAPLAN A， UPADYAYA K， et al. Momentary student engagement as a dynamic developmental system [J]. Faculty/researcher works， 2020：1-53.

[4] ISOH？覿 T？覿 L？覿? J， N？覿 YKKI P， J？覿 RVEL？覿 S. Cognitive and socio-emotional interaction in collaborative learning： exploring fluctuations in students' participation [J]. Scandinavian journal of educational research， 2020，64（6）：831-851.

[5] OUYANG F， CHEN Z， CHENG M， et al. Exploring the effect of three scaffoldings on the collaborative problem-solving processes in China's higher education [J]. International journal of educational technology in higher education， 2021，18（1）：1-22.

[6] 吳林靜，高喻，涂鳳嬌，等.基于語義的在線協(xié)作會話學習投入自動分析模型及應用研究[J].電化教育研究，2022，43（3）：77-84.

[7] LEE A V Y. Determining quality and distribution of ideas in online classroom talk using learning analytics and machine learning [J]. Educational technology & society，2021，24（1）：236-249.

[8] LIAO C-H， WU J-Y. Deploying multimodal learning analytics models to explore the impact of digital distraction and peer learning on student performance [J]. Computers & education，2022，190：104599.

[9] LIU S， LIU S， LIU Z， et al. Automated detection of emotional and cognitive engagement in MOOC discussions to predict learning achievement [J]. Computers & education， 2022，181：104461.

[10] XU R， CHEN J， HAN J， et al. Towards emotion-sensitive learning cognitive state analysis of big data in education： deep learning-based facial expression analysis using ordinal information [J]. Computing， 2020，102（3）：765-80.

[11] 劉繁華，易錫添.在線學習投入的分析模型構建及應用研究[J].電化教育研究，2021，42（9）：69-75.

[12] QURESHI M A， KHASKHELI A， QURESHI J A， et al. Factors affecting students' learning performance through collaborative learning and engagement [J]. Interactive learning environments， 2023，31（4）：2371-2391.

[13] 李振華，張昭理，劉海.基于模型集成的在線學習投入評測方法研究[J].中國遠程教育，2020（10）：9-16，60.

[14] 李艷燕，彭禹，康佳，等.在線協(xié)作學習中小組學習投入的分析模型構建及應用[J].中國遠程教育，2020（2）：40-48，77.

[15] ATAPATTU T， THILAKARATNE M， VIVIAN R， et al. Detecting cognitive engagement using word embeddings within an online teacher professional development community [J]. Computers & education， 2019，140：103594.

[16] ATAPATTU T， FALKNER K， THILAKARATNE M， et al. What do linguistic expressions tell us about learners' confusion？ a domain-independent analysis in MOOCs [J]. IEEE transactions on learning technologies， 2020，13（4）：878-888.

[17] 馬寧，張燕玲，杜蕾，等.面向在線異步交互文本的情感—認知自動化分析模型研究——以大規(guī)模教師在線培訓為例[J].現(xiàn)代教育技術，2022，32（5）：83-92.

[18] COELHO O B， SILVEIRA I. Deep learning applied to learning analytics and educational data mining： a systematic literature review[C]//Brazilian Symposium on Computers in Education （Simpósio Brasileiro de Informática na Educa？觭？觔o-SBIE）. Brasil： Brazilian computer society，2017，28（1）：143.

[19] HAN Z-M， HUANG C-Q， YU J-H， et al. Identifying patterns of epistemic emotions with respect to interactions in massive online open courses using deep learning and social network analysis [J]. Computers in human behavior，2021，122：106843.

[20] ZOU W， HU X， PAN Z， et al. Exploring the relationship between social presence and learners' prestige in MOOC discussion forums using automated content analysis and social network analysis [J]. Computers in human behavior，2021，115：106582.

[21] SINHA S， ROGAT T K， ADAMS-WIGGINS K R， et al. Collaborative group engagement in a computer-supported inquiry learning environment [J]. International journal of computer-supported collaborative learning，2015，10（3）：273-307.

[22] M？覿NTY K， J？覿RVENOJA H， T？觟RM？覿NEN T. Socio-emotional interaction in collaborative learning： combining individual emotional experiences and group-level emotion regulation [J]. International journal of educational research， 2020，102：101589.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence [J]. Review of educational research， 2004，74（1）：59-109.

[24] FREDRICKS J A， WANG M-T， LINN J S， et al. Using qualitative methods to develop a survey measure of math and science engagement [J]. Learning and instruction，2016（7）：5-15.

[25] GUNAWARDENA C N， LOWE C A， ANDERSON T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing [J]. Journal of educational computing research， 1997，17（4）：397-431.

[26] OUYANG F， CHANG Y H. The relationships between social participatory roles and cognitive engagement levels in online discussions [J]. British journal of educational technology， 2019，50（3）：1396-414.

[27] J？覿RVEL？覿 S， J？覿RVENOJA H， MALMBERG J， et al. How do types of interaction and phases of self-regulated learning set a stage for collaborative engagement？ [J]. Learning and instruction， 2016，43：39-51.

[28] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv：1810.04805，2018：1-16.

[29] CAI R， QIN B， CHEN Y， et al. Sentiment analysis about investors and consumers in energy market based on BERT-BiLSTM [J]. IEEE access，2020，8：171408-171415.

[30] 張思，何晶銘，上超望，等.面向在線學習協(xié)同知識建構的認知投入分析模型及應用[J].遠程教育雜志，2020，38（4）：95-104.

[31] DINDAR M， J？覿RVEL？覿 S， NGUYEN A， et al. Detecting shared physiological arousal events in collaborative problem solving [J]. Contemporary educational psychology，2022，69：102050.

[32] N？覿YKKI P， ISOH？覿T？覿L？覿 J， J？覿RVEL？覿 S， et al. Facilitating socio-cognitive and socio-emotional monitoring in collaborative learning with a regulation macro script-an exploratory study [J]. International journal of computer-supported collaborative learning，2017，12（3）：251-79.

[33] ISOH？覿T？覿L？覿 J， N？覿YKKI P， J？覿RVEL？覿 S， et al. Striking a balance： socio-emotional processes during argumentation in collaborative learning interaction [J]. Learning， culture and social interaction，2018，16：1-19.

[34] BAKHTIAR A， WEBSTER E A， HADWIN A F. Regulation and socio-emotional interactions in a positive and a negative group climate [J]. Metacognition and learning， 2018，13（1）：57-90.

[35] ANDRIESSEN J， BAKER M， VAN DER PUIL C. Socio-cognitive tension in collaborative working relations[M]//LUDVIGSEN S， LUND A， RASMUSSEN I， SALJO R. Learning across sites. London： Pergamon，2010：234-254.

[36] ARGUEL A， LOCKYER L， KENNEDY G， et al. Seeking optimal confusion： a review on epistemic emotion management in interactive digital learning environments [J]. Interactive learning environments， 2019，27（2）：200-210.

[37] MAKHIJA A， RICHARDS D， CABALLé S， et al. Providing timely support to students in educational virtual worlds[C]//Advances in Intelligent Networking and Collaborative Systems： the 10th International Conference on Intelligent Networking and Collaborative Systems （INCoS-2018）. Switzerland： Springer International Publishing， 2019：406-419.

Research on Analysis Method of Collaborative Engagement Based on

Deep Learning

HU Wanqing1，? LI Xin2，? HUANG Ruiyan1，? LI Yanyan1

（1.School of Educational Technology， Beijing Normal University， Beijing 100875;

2.Jiangsu Engineering Research Center of Educational Informationization， Jiangsu Normal University， Xuzhou Jiangsu 221116）

[Abstract] The automatic analysis of collaborative learning engagement is an important means to dynamically track the process of collaborative learning and enhance the effectiveness of collaborative learning. Most of the existing studies employ shallow machine learning to analyze individual learning engagement， but pay less attention to collaborative learning engagement. And there are problems such as limited accuracy and poor generalizability ability. In order to address these issues， this study firstly proposes an automatic analysis method of collaborative learning engagement based on BERT-BiLSTM deep learning model， which includes collecting data， establishing a database， setting up a training set， constructing a deep learning model， examining the effect of the model， identifying the data in batches， and statistically analyzing the data. Secondly， this study applies the method to analyze the collaborative learning engagement of 20 groups in a university's mathematical modeling activity， verifies the effectiveness of the method， and further explores the differences in the collaborative learning engagement of high- and low-achievement groups as well as the characteristics of dynamic changes. This study breaks through the limitations of traditional automatic detection methods in terms of accuracy and generalization ability of learning engagement， expands the object of automatic analysis of learning engagement from individuals to groups， and reveals the temporal variation characteristics of collaborative learning engagement and its complex relationship with collaborative effectiveness， which provides an important support for real-time monitoring and intervention of collaborative learning in the future， and further promotes the theoretical and practical development of this research field.

[Keywords] Collaborative Engagement; Collaborative Learning; Deep Learning; Automatic Analysis; Application Case