在線學習行為多模態(tài)數(shù)據(jù)融合模型構建及實證

王麗英 何云帆 田俊華

【摘要】? 顯性化測量與評估在線學習行為和情感狀態(tài)是學習分析領域的研究熱點。為克服單模態(tài)數(shù)據(jù)分析片面和多模態(tài)數(shù)據(jù)融合模糊等問題，全面感知和反饋在線學習過程狀態(tài)，本研究構建了一種在線學習行為多模態(tài)數(shù)據(jù)融合模型。該模型利用自動化操作行為事件監(jiān)聽、表情識別、生理特征監(jiān)測等原理，從行為、情緒和認知3個維度進行時序數(shù)據(jù)同步融合、分層遞進診斷評估和統(tǒng)計聚類分析;考慮到對在線學習者具有較低的侵入性和干擾性，該模型在技術實現(xiàn)上采用分布式物聯(lián)網(wǎng)技術和開放式Django Web服務器部署技術，形成學習過程狀態(tài)數(shù)據(jù)的自動采集、分析、融合、評估和反饋等多層體系結構;應用該系統(tǒng)對MOOC環(huán)境下在線學習行為評測實驗，討論了本模型的準確性、易用性和有用性等問題。研究結果表明，本研究構建的模型能夠為在線學習分析提供一種有效的技術解決方案，為同類研究可提供方法借鑒與技術實現(xiàn)參考。

【關鍵詞】? 多模態(tài)數(shù)據(jù)融合;在線學習;學習投入;行為監(jiān)聽;情感計算;心率監(jiān)測;物聯(lián)網(wǎng)技術;人工智能

【中圖分類號】? G434? ? ? ?【文獻標識碼】? A? ? ? ?【文章編號】? 1009-458x（2020）6-0022-10

一、引言

隨著信息技術的快速發(fā)展與廣泛普及，E-Learning已成為各類教育教學的新常態(tài)。與此同時，與傳統(tǒng)面對面教學相融合的混合學習，不僅改變了現(xiàn)有課程的教學模式，還產(chǎn)生了新的教學形態(tài)（Bonk & Graham， 2012）?；诰W(wǎng)絡技術的教學方式擴大了教學規(guī)模，提高了教學效率，改善了學習效果，但同時也產(chǎn)生了很多新問題，如MOOC學習中的高輟學率、網(wǎng)絡環(huán)境下學習者的無助感、學習任務的低完成率等（王宇， 2018）。

在線學習研究涉及多個領域，當前主要集中在網(wǎng)絡環(huán)境下學習行為特點及其影響因素研究，學習者學習狀況的自我認知和相關決策研究（魏順平， 2012），在線學習的發(fā)展動力與學習績效研究，利用自我監(jiān)控、外部監(jiān)控策略檢查和督促學習者的學習狀態(tài)研究，等等。盡管有大量關于學習過程、學習工具、學習資源、學習效果分析等方面的研究，但對學習過程中學習者的認知、情感和行為變化的研究仍處于一種“黑箱”狀態(tài)，如缺乏針對學習行為的深度跟蹤，尤其是情感狀態(tài)描述和心理活動分析難以對學習狀態(tài)進行自動診斷與預測。隨著物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能等技術的不斷成熟，構建自動化或半自動化的學習行為跟蹤與分析系統(tǒng)成為可能，顯性化在線學習行為及跟蹤與評估其情感狀態(tài)成為學習分析等教育研究的熱點問題。

二、在線學習行為數(shù)據(jù)融合研究現(xiàn)狀

自動化學習行為檢測手段在學習分析領域是一項十分重要的基礎工作。學習分析過程極大地依賴于使用技術手段跟蹤學習過程，監(jiān)控學習狀態(tài)，通過收集、分析和報告學習行為及其學習環(huán)境的相關數(shù)據(jù)，更好地理解和優(yōu)化學習過程及學習環(huán)境（Siemens， 2013）。目前，基于現(xiàn)代學習理論與心理學情緒模型的各種在線學習外顯狀態(tài)（行為反應、心理反應和生理反應）評測技術得以廣泛應用，評測結果已成為教育者理解學習者學習投入狀態(tài)的重要線索。

（一）單模態(tài)數(shù)據(jù)檢測技術及其理論基礎

美國學者弗雷德里克斯等人（Fredricks， Blumenfeld， & Paris， 2004）指出，學習投入包括行為投入、情感投入和認知投入。因此，單模態(tài)數(shù)據(jù)檢測技術與理論可分別從行為事件監(jiān)聽、面部表情識別與生理特征檢測等方面開展相關研究。

1. 在線學習行為事件監(jiān)聽與學習投入評價

依據(jù)行為主義和聯(lián)通主義理論，當前大多數(shù)在線學習行為監(jiān)測系統(tǒng)是通過監(jiān)聽學習過程、記錄學習數(shù)據(jù)建立學習行為與學習評價之間的相互關聯(lián)。比如，鄭勤華等人（2016）提出了投入度、完成度、主動性、調(diào)控度和聯(lián)通度5個維度在線學習學生綜合評價指標。早期的技術手段比較簡單，多以點擊量和在線時間為依據(jù)給學習者施加學習壓力，以維持持久的學習動機。以MOOC為代表的在線學習平臺則廣泛采用課件、作業(yè)、測驗、考試、提問、討論、互評等環(huán)節(jié)的參與度作為評測依據(jù)。有些在線學習平臺利用技術手段通過判定鼠標靜止時長或者課程窗口是否激活來控制課件播放達到有效監(jiān)控學習進度的目的。有的研究則通過靜默方式記錄在線學習行為的痕跡，其依據(jù)是人機交互的頻率和類型取決于個體對認知需要的響應程度。例如，書寫、閱讀和搜索等都需要使用鍵盤、鼠標和特定的軟件操作計算機。這種方法對學生不會造成額外負擔和壓力，卻能充分反映學習投入程度。典型的研究如黎孟雄等人（2015）對學生的鍵盤和鼠標等常規(guī)輸入設備的擊鍵和滾輪等操作行為進行監(jiān)測，獲得擊鍵特征（頻率和力度）和滾輪特征（頻率和速度）向量信息。該研究建立了操作行為特征與情緒類型的量化關系，采用二維情緒空間模型，定量計算愉悅、沮喪、焦躁和冷靜4種基本情緒強度，實證了自適應的正負向情緒交互調(diào)節(jié)策略。

對于情感識別，OCC模型（Ortony， 1980）是認知心理學中經(jīng)典的情感認知結構模型，共描述了22種不同情感類型的認知結構，主要包括與事件結果相關的情感、與智能體行為相關的情感和與對象屬性相關的情感3個部分。雅克等人的研究基于OCC模型提出對遠程學習者產(chǎn)生學習事件的情緒識別方法，宗陽等人（2017）在此基礎之上計算Moodle平臺案例課程的論壇文本與事件相關的情感分值，探究行為與學業(yè)情緒之間的關系，得出教師情緒傾向會正向影響學業(yè)情緒、學業(yè)情緒與學習結果顯著相關的結論。

2. 情緒模型、面部表情及自動識別技術

心理學對情緒模型的研究已有豐富的研究成果。普拉契克（Plutchic）認為情緒包括相似性、兩極性和強度3個維度，由此提出了離散的8種基本情緒（狂怒、警惕、狂喜、接受、驚喜、恐懼、憎恨和悲痛）輪狀模型（喬建中， 等， 1991）。羅素（Russell， 1980）將情緒表征為愉悅度和喚醒度兩個維度，由此構建了連續(xù)的環(huán)形情緒描述模型。然而，學習情境下的情感并不完全等同于基本情緒類型。梅洛（Mello， Taylor， & Graesser， 2007）等人在基于智能導師系統(tǒng)的學生學習計算機基礎知識的情感變化監(jiān)控研究中提出了6種學習情感狀態(tài)（厭煩、熱情/專注、困惑、挫折、高興和驚奇）的轉換模型，孫波等人（2015）提出了7種學習情感類型，即高興、驚訝、厭煩、困惑、疲勞、專注和自信。也就是說，不同的研究工作往往要依據(jù)具體的研究需要調(diào)整情緒類型。

情緒是人的內(nèi)在心理活動，面部表情作為一種外顯心理狀態(tài)可以在一定程度上反映情緒。對于面部表情的識別，?？寺≒aul Ekman， 1966）等人依據(jù)面部動作編碼系統(tǒng)（FACS）提出了6種基本表情，即高興、悲傷、驚訝、恐懼、憤怒和厭惡。此后，計算機領域學者廣泛將其用作表情識別的基本類型。孟昭蘭（1987）從面部表情的先天程序化、全人類普遍性、對嬰兒生存的適應性及其對情緒的發(fā)生和顯示作用這4個方面闡述了面部表情與情緒間的關系。因此，表情識別常作為衡量情緒狀態(tài)的一種最直觀的維度。

近二十年來對面部表情自動識別的研究和技術日益成熟，各種傳統(tǒng)的機器學習算法在表情識別上的正確率已高達85%以上。人臉檢測和表情識別技術對檢測者造成的心理干擾較少，廣泛應用于實時持續(xù)性、大規(guī)模的公安、交通等領域的日常應用場合。雖然該技術容易受到光照、遮擋、旋轉、背景等因素的干擾，但通過多次反復檢測可以彌補此缺陷。在教育領域，依據(jù)面部表情和身體行為特征，Hwang等（Hwang & Yang， 2009）將傳統(tǒng)算法用于自動檢測注意力的集中狀態(tài)?；谝暰€、頭部姿態(tài)和手部跟蹤，Asteriadis等（Asteriadis， Tzouveli， Karpouzis， & Kollias， 2009）構建了一種行為識別系統(tǒng)用于發(fā)現(xiàn)注意的興趣區(qū)域。2016年以來，深度神經(jīng)網(wǎng)絡學習算法應用在該問題上，精度已達到90%以上。其中，有些知名公司開放了其應用接口，如微軟認知服務、谷歌人臉服務、百度大腦、曠視科技等。還有一些開源軟件如Openface、Fast RCNN等在Github上公開發(fā)布，便于二次開發(fā)。當前，國內(nèi)有幾家公司關注AI技術在教育領域的應用和研究，比如好未來科技的魔鏡、清帆科技的EduBrain，可以實現(xiàn)學習者的歷史數(shù)據(jù)云端存儲檢索，但還面臨綜合其他類型的數(shù)據(jù)建立分析模型可靠診斷學習狀態(tài)的難題。

3. 情緒和認知狀態(tài)的生理特征檢測研究

心理學研究表明，身體表面反饋出來的生物活動能反映情感對自主神經(jīng)系統(tǒng)的影響（Kim， Bang， & Kim， 2004）。人的情緒會影響心率的變化，負向情緒時心率會比正向情緒時低。當學習者承受壓力時，交感神經(jīng)系統(tǒng)會發(fā)揮作用，導致心率升高、心率變異性降低;當學習者成功自控時，副交感神經(jīng)系統(tǒng)會發(fā)揮主要作用，導致心率降低、心率變異性升高，從而使學習者集中注意力并恢復心態(tài)平靜（張琪， 等， 2016）。因此，傳統(tǒng)心理學實驗測量方法常應用眼動或腦電、心電、皮電等生理指標研究注意力、情緒、認知等。比如，眼動儀在閱讀方式方面的研究，臺灣學者（Yang， Chang， Chien， Chien， & Tseng， 2013）應用faceLab4.5開展了注視點分布、持續(xù)時間及測試成績、學習效果的系列研究，為教學設計、多媒體應用、學習者認知模式構建提供了理論依據(jù)。

對于認知負荷，目前尚不能直接對其測量，常用的間接評估方法有任務績效、主觀評定和生理測量3類。王超等人（2014）采用Tobii-TX300和16導無線生理記錄儀對空中管制員的認知負荷開展實驗研究，結果表明認知負荷越大，注視持續(xù)時間越短，注視頻率越大，瞳孔直徑越大，眼跳距離越小;心率顯著增加，心率變異性指標RMSSD（相鄰NN間期差值的均方根）減小，低頻指標增加。

心理學實驗相關傳感器的測量精度高，在醫(yī)療診斷方面有著廣泛的應用。但由于其設備價格昂貴，操作嚴格，多用于個體實驗，而且不可避免地會對被測者產(chǎn)生干擾和影響。因此，此類傳感器并不適合在教育心理測量領域大規(guī)模、常態(tài)化應用。

隨著物聯(lián)網(wǎng)傳感技術的發(fā)展，硬件成本逐漸降低，測量精度不斷提高，采集生理特征已經(jīng)進入了實用階段。一些可穿戴、便攜式的手環(huán)產(chǎn)品已經(jīng)在日常生活中用于監(jiān)測體溫、血壓、皮電、心電等主要體征。還有一些可進行嵌入式開發(fā)和集成的元器件級別的傳感器在工業(yè)和教育領域廣泛應用。比如，PulseSensor用于實時監(jiān)測長跑運動者的心率狀態(tài)，測得的穩(wěn)定心率數(shù)據(jù)誤差維持在每分鐘2次（陸佳斌， 等， 2017）。因此，借助物聯(lián)網(wǎng)技術跟蹤學習者的認知路徑和情感發(fā)展過程具有較高的可行性和普適性。

（二）在線學習行為多模態(tài)數(shù)據(jù)融合相關研究

相比單模態(tài)數(shù)據(jù)檢測，利用多模態(tài)數(shù)據(jù)表征有利于全面而準確地把握學習過程中人機交互的個體情緒狀態(tài)及認知狀態(tài)的變化，在情緒建模、學習活動跟蹤、學習者行為特征抽取、自適應學習等領域具有極大的潛能（張琪， 等， 2016）。

詹澤慧等人（2013）根據(jù)OCC模型認為學習者的認知狀態(tài)與情感狀態(tài)是相互影響且可以相互推斷的，其構建的智能 Agent的學習者情緒與認知識別模型中，情感狀態(tài)識別結論由學習者表情數(shù)據(jù)和眼動數(shù)據(jù)相比對驗證，并以表情為主;認知狀態(tài)識別結論由學習者情緒狀態(tài)、眼動數(shù)據(jù)得出的視線路徑、學習內(nèi)容共同推理得出，輔以詢問交互。該理論模型嘗試解決單一的情感模型或者單一的認知模型都難以準確、客觀地描述學習者的狀態(tài)這一問題，采用情感識別與認知識別過程相耦合來提高識別準確率。

晉欣泉等人（2016）基于語音、姿態(tài)、生理、文本等大數(shù)據(jù)分析流程構建了一個在線學習情緒測量模型，通過人體輪廓圖描述學習狀態(tài)。其認為情緒類型尚不統(tǒng)一，相同類型的情緒通過采集語音、姿態(tài)、生理和文本等多種數(shù)據(jù)進行測量，究竟應該以哪一種指標為主并沒有統(tǒng)一的標準，這為在線學習情緒的精準識別帶來了挑戰(zhàn)。

鐘薇等人（2018）系統(tǒng)解讀了多模態(tài)數(shù)據(jù)的概念、多模態(tài)學習分析過程和技術發(fā)展趨勢，提出了一種結合線上線下真實情境的時序數(shù)據(jù)，分層級開展可視化、評估、預測和干預，指導教學和環(huán)境改善的多模態(tài)學習數(shù)據(jù)分析流程。同時，作者對一門課程開展了行為層和心理層的案例研究，主要采用了課堂行為實錄編碼、畢博文本話語分析和調(diào)查問卷統(tǒng)計方法，發(fā)現(xiàn)個體和群體在混合學習中的特征。但是該研究未能全面收集和剖析學習者的行為層、心理層和生理層的多模態(tài)數(shù)據(jù)。

有研究通過跟蹤17名用戶在游戲中的點擊事件流（Giannakos， Sharma， Pappas， Kostakos， & Velloso， 2019）預測學習成績，當采用傳統(tǒng)方法時錯誤率高達39%;當采用多模態(tài)數(shù)據(jù)，包括眼動、EEG、視頻和腕部數(shù)據(jù)，錯誤率可以降到12%。另一項研究收集了47名大學生在線學習的面部視頻和鍵鼠事件流（Zhang， Li， Liu， Cao， & Liu， 2019），然后人工標記學習投入狀態(tài)，采用4種分類算法在雙模態(tài)數(shù)據(jù)集上的識別率要高于單模態(tài)數(shù)據(jù)集上的識別率平均3.46%。

綜上所述，在線學習行為分析的研究已經(jīng)利用了語音、文本、視頻、生理、事件、問卷等多種數(shù)據(jù)類型。一方面，單模態(tài)數(shù)據(jù)分析不足以全面反映學習投入狀態(tài)，并且僅限于嚴格條件下的實驗研究，難以解決復雜、真實情境下的情感和認知識別。另一方面，多模態(tài)數(shù)據(jù)融合模型應用兩種或多種類型的數(shù)據(jù)進行跟蹤分析，理論模型雖然清晰，但融合方法比較抽象和模糊。鑒于當前智慧教育對精細化服務的需求十分迫切，需要更全面深入的學習狀態(tài)分析研究。本研究提出一種在線學習行為的多模態(tài)數(shù)據(jù)融合模型，并加以應用實證，討論其準確性、易用性和有用性，為未來的實踐提供一點啟示。

三、多模態(tài)數(shù)據(jù)融合模型

該模型旨在克服單模態(tài)數(shù)據(jù)分析片面和多模態(tài)數(shù)據(jù)融合模糊等問題，全面感知在線學習過程狀態(tài)。根據(jù)弗雷德里克斯等人的觀點，學習投入包括行為、情感和認知投入。Patrick（1993）等人認為行為投入一般是指學生在學習過程中行為的積極程度。對于情感投入，Skinner和Belmont（1993）將情感投入定義為學生在與成就相關的活動中產(chǎn)生的興趣、快樂、焦慮和憤怒，也有學者指出情感投入有6個基本要素，即孤僻、遵守規(guī)范、反叛、順從、革新和投入（connell， 1990）。對于大部分的研究可以總結為積極情緒、混合狀態(tài)和消極情緒3種類型。認知投入主要表現(xiàn)為學習策略的不同，其中也包括自我監(jiān)控方面的含義（Pintrich， 1992; Meece， Blumenfeld， & Hoyle， 1988）。不過，學習策略的使用一般難以用觀察進行評估，本研究中使用學生學習過程中的生理狀態(tài)側面反映其學習認知狀況。因此，本模型利用自動化操作行為事件監(jiān)聽、表情識別、生理特征監(jiān)測等原理，從學習投入的3個維度，即行為、情緒和認知進行時序數(shù)據(jù)分析?？紤]到對在線學習者的侵入和干擾應盡可能較低，該模型在技術實現(xiàn)上采用分布式物聯(lián)網(wǎng)技術和開放式Django Web服務器部署技術，形成學習過程狀態(tài)數(shù)據(jù)的自動采集、分析、融合、評估與反饋多層體系結構，如圖1所示。數(shù)據(jù)采集層全面覆蓋了行為、心理和生理3個通道的多模態(tài)數(shù)據(jù)。生理信號采集子系統(tǒng)采用通用的可擴展的物聯(lián)網(wǎng)架構，管理輕量級的人體生理傳感器，通過無線網(wǎng)絡分布式采集、存儲生理數(shù)據(jù)。本文僅選心率傳感器加以驗證，如圖 2所示，Arduino開發(fā)板帶有無線網(wǎng)絡模塊，通過IP地址和端口號與服務器連通，通過token號關聯(lián)到服務器中的設備，使用MQTT協(xié)議向服務器發(fā)送心率，在網(wǎng)絡帶寬允許的條件下可以滿足上千個用戶并發(fā)采集。分析層對三個通道不同類型的時序數(shù)據(jù)進行結構化處理;融合層對時序數(shù)據(jù)進行對齊同步整合，評估層對學習投入3要素分層遞進診斷和評估，最后反饋層采用統(tǒng)計聚類可視化在線學習過程。數(shù)據(jù)存儲和檢索的核心采用B/S模式的Web服務器框架和MySQL數(shù)據(jù)庫，客戶端基于RestAPIs開發(fā)原理，采用Python實現(xiàn)業(yè)務邏輯，支持網(wǎng)頁嵌入各種ECharts圖表，易于用戶觀察結果。該模型既可以驗證身份，又可以大規(guī)模跟蹤分析學習投入情況。該方案為以后基于教育大數(shù)據(jù)監(jiān)測的相關應用建立了強大、開放的后端基礎。

（一）多模態(tài)數(shù)據(jù)時序分析

采集層得到了3個通道的數(shù)據(jù)，如何解析多模態(tài)數(shù)據(jù)成為結構化的數(shù)據(jù)對象以及便于后續(xù)使用成為首要任務。如圖1中分析層所示，多通道數(shù)據(jù)先獨立解析處理，提取出學習者在行為、心理和生理上的時序數(shù)據(jù)對象。

1. 操作事件以靜默方式監(jiān)聽和記錄學習者在電腦上的操作?？紤]到要感知主動學習的行為投入情況，因此選擇常規(guī)鍵鼠輸入和任務管理器特定應用程序的進程運行情況等作為監(jiān)聽的候選事件。其中，鍵鼠監(jiān)聽器分別記錄鍵盤點擊的字符、鼠標操作的類型;進程監(jiān)聽器每隔15秒記錄一次任務管理器中的進程信息。數(shù)據(jù)將以ID、時分秒、類型和內(nèi)容的形式追加到各自的文本日志中，學習者未察覺受到干擾。對于學習過程進行錄屏處理，建立應用程序和網(wǎng)頁瀏覽黑名單，限制學習者在線學習行為，從而確保其行為與學習狀態(tài)的相關性。

操作行為分析過程如下：首先，提取日志中的行為數(shù)據(jù)，根據(jù)事件類型統(tǒng)計同一時刻的行為次數(shù)。事件類型包括鍵盤的擊鍵類型（功能鍵或字符輸入）和鼠標操作類型（點擊、釋放或滾動）。其次，計算相鄰時刻進程集合Si和Si+1的差集，得到關閉的進程集合Sclose=Si-Si+1和開啟的進程集合Sopen=Si+1-Si。再其次，根據(jù)事件類型統(tǒng)計同一秒內(nèi)鍵盤輸入字符數(shù)、鼠標點擊次數(shù)、與學習有關的開啟和關閉的進程數(shù)量和名稱。最后，存儲行為數(shù)據(jù)對象（ID，時分秒，事件，內(nèi)容）。

2. 情緒分析部分利用曠視表情識別接口處理面部視頻的關鍵幀，標識學習者的情緒類型?；谝酝楦型度氲?種類型和本研究需求，將表情識別的8種情緒類型分為3種學習情感，分別是包括驚訝、喜悅、平靜的積極狀態(tài)，包括傷心、生氣、厭惡、恐懼的消極狀態(tài)和游離狀態(tài)。這樣做能盡可能減少情感狀態(tài)過多帶來的誤差。

首先，使用開源工具FFmpeg轉碼離散化面部視頻，每五秒提取1張關鍵幀，輸出圖像集。然后，將圖片逐張傳入曠視表情識別接口，由曠視表情識別服務器返回情緒類型。曠視科技提供給每個注冊用戶1個應用程序可以使用的鍵名和密碼，通過發(fā)送Post方法在線請求調(diào)用表情識別接口，每傳入1張圖片，就返回圖片上的人物數(shù)組。人物數(shù)組中的每個元素包括屬性值，其內(nèi)部包括7種情緒類型和置信度。情緒類型是驚訝、高興、平靜、傷心、憤怒、厭惡和恐懼。通過置信度排序，找到置信度最大的情緒類型。最后，存儲情緒數(shù)據(jù)對象（ID，時分秒，情緒類型），而不用傳輸或保留視頻和圖片。

3. 生理數(shù)據(jù)選擇時，主要考慮了可操作實施且是有意義的宏觀生理信號這兩個方面。以往研究表明，心率可以用來反映認知投入的負荷程度。

首先，從物聯(lián)網(wǎng)服務器上讀出每個傳感器采集到的心率，組成JSON數(shù)據(jù)集格式（ID，時分毫秒，心率）。因為采集時間是毫秒數(shù)量級，則同一秒內(nèi)可能有多條數(shù)據(jù)，通過時間歸類，統(tǒng)計出同一秒內(nèi)心率平均值。然后，存儲生理數(shù)據(jù)對象（ID，時分秒，心率均值）到心率表。

（二）多模態(tài)時序數(shù)據(jù)同步融合

3個通道的時序數(shù)據(jù)對象將以ID和時刻為線索，同步整合為1個學習者ID的學習投入狀態(tài)。首先，同一ID的多模態(tài)時序數(shù)據(jù)將在時間軸上進行排序對齊。然后，合并生成學習投入數(shù)據(jù)對象（ID，時分秒，鍵盤輸入次數(shù)、鼠標點擊次數(shù)和進程開啟次數(shù)，情緒類型，心率數(shù)值）。最后，存儲學習投入數(shù)據(jù)對象到學習投入狀態(tài)表中。圖3展示了1名學習者的多模態(tài)時序數(shù)據(jù)同步融合之后的學習投入狀態(tài)圖。從中可以看出學習者的操作行為集中在時間軸最后部分;情緒在前半段更為積極，后半段更為消極;心率平均水平不高，后半段波動小于前半段，說明認知負荷增加。

（三）基于多模態(tài)時序數(shù)據(jù)對相應投入進行分層遞進診斷評估

首先，從行為投入、情感投入和認知投入3個維度診斷相應投入程度;然后，多維度聯(lián)合診斷學習投入程度，從而形成4個層次上遞進關系的評估。

第一層次，統(tǒng)計時間區(qū)間內(nèi)的操作行為、表情類型和生理信息的頻次，診斷相應的行為投入、情感投入和認知投入的狀態(tài)。按照統(tǒng)計值所占比例劃分操作行為、情感和認知的定性狀態(tài)。以下的閾值可以根據(jù)實際需要的比例調(diào)整設置。

（1）行為投入的主動狀況如圖4所示。

四、實證分析

采用實驗法驗證本模型的實用性。研究對象選取某高校教育技術專業(yè)“網(wǎng)絡安全與維護”課程的2017年選課學生，學習材料選取中國大學MOOC平臺某大學“計算機網(wǎng)絡”在線課程的第7章某一節(jié)。采集研究對象單次在線學習行為數(shù)據(jù)，以過程數(shù)據(jù)評價其學習投入狀態(tài)。實驗時征得本人許可，在電腦屏幕上采用攝像頭捕捉面部視頻，心率傳感器佩戴在個人左手指面。7人組成一次實驗。通過完整性分析，獲得有效數(shù)據(jù)25份。其學習時長（均值，標準差）為（45.8，6.3）分鐘。

（一）模型準確性分析

一方面，從3個通道模塊的準確率角度進行客觀分析。首先，通過人工審查錄屏視頻的關鍵幀確保操作行為都與學習相關。經(jīng)核對，行為監(jiān)聽的準確性為84%。其次，為驗證表情識別程序的準確性，隨機抽取其中的100張表情關鍵幀進行人工標記和表情識別，得到關鍵幀的情感類型，即積極、消極和游離。計算出人工標記和表情識別的混淆矩陣，計算以下評估指標，分別是Kappa=0.825>0.8，宏平均精確率為0.853，宏平均召回率為0.831，F(xiàn)1值為0.838，結果表明表情分類情況較好。最后，心率值誤差在每分鐘2次以內(nèi)（陸佳斌， 等， 2017），同時受到傳感器與指面的接觸程度和噪聲干擾。綜上所述，本模型在準確性要求不高的情況下可以使用。

另一方面，通過調(diào)查問卷和系統(tǒng)評估的一致性進行對比分析。雖然修編的UWES量表是用于大學生學習投入測量，但因為它是針對平時學習投入的調(diào)查，并不適用于本研究中單次在線學習實驗狀態(tài)下的學習投入調(diào)查。首先，設計5級李克特量表在學習之后立刻開展調(diào)查。問卷包括5個維度的9個題目，分別是行為投入維度（1題）、情感投入維度（3題）、認知投入維度（1題）、專注方面的學習心理狀態(tài)維度（1題）和在線學習投入狀態(tài)維度（上述6題+3題）。其次，采用獨立樣本t檢驗對5個維度進行分析。結果顯示，行為投入維度不滿足統(tǒng)計意義，因此刪除該維度，僅分析其余維度。再次，采用alpha信度分析，結果顯示基于標準化項的克隆巴赫 Alpha=0.803>0.75。采用因子分析得到KMO=0.592，巴特利特球形度檢驗顯著性=0.000。說明問卷信度和效度可以接受。最后，依據(jù)公式（2）和公式（3）、表1和表2計算各維度的狀態(tài)。對比二者得到一致性統(tǒng)計數(shù)據(jù)，如表3所示。由此看出，調(diào)查評價會趨向于美化自我的選項。

（二）模型易用性分析

通過考查學生MOOC自主學習自我報告和實驗后的成績分布進行統(tǒng)計。結果發(fā)現(xiàn)實驗后的成績高于自主學習成績的人數(shù)占比為64%。進一步將自主學習成績作為因變量劃分區(qū)間，計算不同分數(shù)段的成績均值，如表4所示。從中看出，實驗后成績均值隨自主在線學習成績均值遞增。由此說明，實驗環(huán)境對學習成績的分布沒有太多影響。

進一步分析發(fā)現(xiàn)，自主學習成績中等水平的群體占比為36%，其在實驗后的學習成績均值有明顯降低。該結果產(chǎn)生的原因尚不明確，可能是自主學習成績自我報告偏高或者是實驗環(huán)境會影響學習狀態(tài)導致實驗后成績偏低。這提示我們需要進一步改進實驗環(huán)境的舒適程度，比如減少組內(nèi)同時實驗人數(shù)、調(diào)整心率傳感器佩戴位置等，以避免群體互相干擾，提高實驗舒適度。

綜上所述，模型所采用的軟硬件技術具有良好的開源統(tǒng)一擴展性，設備低廉且配置簡單。因此，模型具有可接受的易用性，但還有很大的改進空間。盡管本模型的準確度會受到采集和分析中所使用的技術本身精度的影響，但其多模態(tài)時序數(shù)據(jù)融合方法能夠較全面地感知在線學習投入狀態(tài)。

（三）模型有用性分析

通過統(tǒng)計和聚類分析進行驗證，得出MOOC環(huán)境下的在線學習特征：

1. 在單次在線學習中，操作活躍的學習者居多，如圖7上圖所示。同時，鼠標和進程的每分鐘操作數(shù)均值都比較小;鍵盤輸入次數(shù)遠小于一般每分鐘打字50字的數(shù)量。由此說明，在開展觀看視頻形式的在線學習時，認知加工的形式主要是視聽，而鍵盤輸入等書寫、復述類主動學習行為偏少。因為復雜認知過程極少，由此判定學習層次大多未進入深層次學習階段。教師可以結合翻轉課堂等混合學習模式加強交互。

2. 單次在線學習中的情緒以中性平靜居多，如圖7中圖左側所示。同時，未檢測到人臉的時長也比較多，因為學習者低頭、側臉等原因造成檢測不到正臉。正負向情緒占比都較小，但負向比正向略高5%。右側圖顯示處于混合和游離狀態(tài)的人數(shù)占比達到84%，說明學習過程急需干預。

3. 單次在線學習心率的生理指標以平穩(wěn)狀態(tài)居多，如圖7下圖左側所示。右側圖顯示波動大的人數(shù)占比達到48%，說明在線學習有一定心理壓力。與學習者在清晨平靜時不學習時段測量的心率均值相比較，在線學習時生理指標水平都有所增高，增幅均值在11%。這說明，在線學習時整體認知負荷有所增加，但幅值不大。

4. 從不同角度對學習者的學習投入狀態(tài)進行聚類分析。首先，按照情感3種狀態(tài)的比例值將學習者聚類為4種，如圖8左圖所示。其次，選取情感、認知、行為3個學習投入維度的5個屬性值（積極、消極、游離、平穩(wěn)心率和相關操作行為的比例值），將學習者聚類為4種，如圖8右圖所示。教師可以針對不同類型的學習者給予個性化的提示和指導，還可以通過客戶端定制診斷評估的時間區(qū)間、閾值和組合方式，關注特定群體。比如，給聚類中的第2、3、4類的學習者發(fā)送消息，提示其調(diào)整學習策略。

五、討論與結語

本研究構建的在線學習行為多模態(tài)數(shù)據(jù)融合模型很好地解決了低侵入、分布式、大規(guī)模、顯性化、多維度、分層次跟蹤與評估在線學習投入分析的問題，適用于處理在線學習環(huán)境下從行為采集、分析、評估到呈現(xiàn)反饋的個性化服務任務。通過MOOC在線學習實證表明，系統(tǒng)的準確性不低于76%，易用性和有用性良好。因此，本研究完成了情感計算相關的大數(shù)據(jù)平臺從理論設想到應用落地。

本研究在模型的實驗設計、技術實現(xiàn)和實驗操作等方面還不夠完善，存在一定的局限性。其一，在實驗設計方面，行為監(jiān)聽雖試圖確保與學習行為有關，但未能有針對性地提取出需要關注的學習事件的行為。在學習情感分析上，還不足以反映困惑等需要重點監(jiān)測的學習情感（Mello， et al， 2007）。其實，情感計算誤差不僅源于技術，也源于忽略了周圍環(huán)境。比如學習者與周圍人對話顯露出高興時，表情識別無法區(qū)分原因。在心率監(jiān)測上，心率傳感器在測量精度和范圍上會存在差異，所以心率參照值和實驗值還需要合理的采樣統(tǒng)計，以去除心率值偏差。其二，在實驗操作方面，心率傳感器佩戴在左手指尖，妨礙了鍵盤操作;采集軟件記錄從開啟到關閉期間的操作行為，其運行由用戶獨立控制，會導致啟動或關閉的時機不同，從而產(chǎn)生數(shù)據(jù)記錄或多或少的不完善。

盡管如此，本研究將人工智能和物聯(lián)網(wǎng)技術加以集成，能夠為解決教育領域中的在線學習分析提供一種有效的解決方案，并為同類研究提供方法借鑒與技術實現(xiàn)參考。未來研究需要在數(shù)據(jù)采集實驗上精細化處理，在技術實現(xiàn)上突破難點。比如，關聯(lián)學習行為與事件，結合環(huán)境信息，有針對性地關注學習情感，而不是普通情緒。最后還應指出，學者仍然需要在技術為教育提供智能服務的同時保持合理的謹慎態(tài)度。

[參考文獻]

晉欣泉，王林麗，楊現(xiàn)民. 2016. 基于大數(shù)據(jù)的在線學習情緒測量模型構建[J]. 現(xiàn)代教育技術，26（12）：5-10.

黎孟雄，郭鵬飛，黎知秋. 2015. 基于情緒識別的遠程教學自適應調(diào)節(jié)策略研究[J]. 中國遠程教育（11）：18-24.

陸佳斌，吳飛青，吳成玉，謝穎，李慶. 2017. 基于單片機的運動者生理數(shù)據(jù)實時監(jiān)控系統(tǒng)設計[J]. 安徽電子信息職業(yè)技術學院學報，16（4）：17-21.

孟昭蘭. 1987. 為什么面部表情可以作為情緒研究的客觀指標[J]. 心理學報（2）：124-134.

喬建中，高四新. 1991. 普拉契克的情緒進化理論[J]. 心理學報（4）：433-440.

孫波，劉永娜，陳玖冰，羅繼鴻，張迪. 2015. 智慧學習環(huán)境中基于面部表情的情感分析[J]. 現(xiàn)代遠程教育研究，134（2）：96-103.

王超，于超博. 2014. 基于多生理參數(shù)的空中交通管制員認知負荷綜合評估[J]. 科學技術與工程，14（27）：295-300.

王宇. 2018. 慕課低完成率問題的歸因與解法[J]. 現(xiàn)代教育技術，28（9）：80-85.

魏順平. 2012. 在線學習行為特點及其影響因素分析研究[J]. 開放教育研究，18（4）：81-90.

詹澤慧. 2013. 基于智能Agent的遠程學習者情感與認知識別模型——眼動追蹤與表情識別技術支持下的耦合[J]. 現(xiàn)代遠程教育研究（5）：100-105.

張琪，武法提. 2016. 學習分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術應用前瞻[J]. 電化教育研究，281（9）：76-82.

鄭勤華，陳耀華，孫洪濤，陳麗. 2016. 基于學習分析的在線學習測評建模與應用——學習者綜合評價參考模型研究[J]. 電化教育研究，281（1）：33-40.

鐘薇，李若晨，馬曉玲，吳永和. 2018. 學習分析技術發(fā)展趨向——多模態(tài)數(shù)據(jù)環(huán)境下的研究與探索[J]. 中國遠程教育（11）：41-49，79-80.

宗陽，陳麗，鄭勤華，胡紅梅. 2017. 基于在線學習行為數(shù)據(jù)的遠程學習者學業(yè)情緒分析研究——以Moodle平臺為例[J]. 開放學習研究，22（6）：11-20.

Asteriadis， S.， Tzouveli， P.， Karpouzis， K.， & Kollias， S. （2009）. Estimation of behavioral user state based on eye gaze and head pose - application in an E-learning environment. Multimedia Tools and Application， 41（3）， 469-493.

Connell， J. P. （1990）. Context， self， and action： A motivational analysis of self-system processes across the life span. The self in transition： Infancy to childhood， 8， 61-97.

Bonk， C. J.， & Graham， C. R. （2012）. The handbook of blended learning： Global perspectives， local designs. UK： John Wiley & Sons.

Fredricks， J. A.， Blumenfeld， P. C.， & Paris， A. H. （2004）. School engagement： Potential of the concept， state of the evidence. Review of Educational Research， 74（1）， 59-109.

Giannakos， M. N.， Sharma， K.， Pappas， I. O.， Kostakos， V.， & Velloso， E. （2019）. Multimodal data as a means to understand the learning experience. International Journal of Information Management， 48， 108-119.

Hwang， K.A.， & Yang， C.H. （2009）. Learner attending auto-monitor in distance learning using image recognition and bayesian networks. Expert Systems with Applications， 36（9）， 11461-11469.

Kim， K.H.， Bang， S.W.， & Kim S.R. （2004）. Emotion recognition system using short-term monitoring of physiological signals. Medical and Biological Engineering and Computing， 42（3）， 419-427.

Meece， J. L.， Blumenfeld， P. C.， & Hoyle， R. H. （1988）. Students goal orientations and cognitive engagement in classroom activities. Journal of educational psychology， 80（4）， 514.

Mello， S.， Taylor， R.， & Graesser， A. （2007）. Monitoring affective trajectories during complex learning， in Proceedings of the 29th Annual Meeting of the Cognitive Science Society， Nashville， Tennessee， 203-208.

Ortony， Y. A. （1980）. The cognitive structure of emotions. New York： Cambridge University Press.

Patrick， B. C.， Skinner， E. A.， & Connell， J. P. （1993）. What motivates childrens behavior and emotion？ Joint effects of perceived control and autonomy in the academic domain. Journal of Personality and social Psychology， 65（4）， 781.

Pintrich， P. R.， & Schrauben， B. （1992）. Students motivational beliefs and their cognitive engagement in classroom academic tasks. Student perceptions in the classroom， 7， 149-183.

Russell， J.A. （1980）. A circumplex model of affect. Journal of Personality and Social Psychology， 6， 1161-1178.

Siemens， G. （2013）. Learning analytics： the Emergence of a discipline. American Behavioral Scientist， 57（10）， 1380-1400.

Skinner， E. A.， & Belmont， M. J. （1993）. Motivation in the classroom： Reciprocal effects of teacher behavior and student engagement across the school year. Journal of educational psychology， 85（4）， 571.

Yang， F. Y.， Chang， C. Y.， Chien， W. R.， Chien， Y. T.， & Tseng， Y. H.. （2013）. Tracking learners visual attention during a multimedia presentation in a real classroom. Computers & Education， 62（3）， 208-220.

Zhang， Z.， Li， Z.， Liu， H.， Cao， T.， & Liu， S. （2019）. Data-drived online learning engagement detection via facial expression and mouse behavior recognition technology. Journal of Educational Computing Research， 0735633119825575.

責任編輯 張志禎 劉 莉