課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)的構(gòu)建及其應(yīng)用*

陸 芳，魏李婷

(鹽城師范學(xué)院 江蘇省心理與認(rèn)知科學(xué)大數(shù)據(jù)重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 鹽城 224002)

2018年8月27日，教育部發(fā)布《關(guān)于狠抓新時代全國高等學(xué)校本科教育工作會議精神落實(shí)的通知》，通知要求加強(qiáng)學(xué)習(xí)過程管理[1]。課堂教學(xué)是學(xué)校教育教學(xué)工作的中心環(huán)節(jié)，學(xué)生在課堂教學(xué)中的真實(shí)表現(xiàn)能夠很好地反映學(xué)生的學(xué)習(xí)狀態(tài)。在以“學(xué)生為中心”的課堂教學(xué)中，教師憑借敏銳的觀察力了解學(xué)生的課堂學(xué)習(xí)狀態(tài)，掌握學(xué)生的學(xué)習(xí)特點(diǎn)，做到因材施教，以及發(fā)現(xiàn)學(xué)生的異常狀態(tài)，及時干預(yù)。但在實(shí)際教學(xué)過程中，教師的精力是有限的，對學(xué)生的觀察是具有選擇性的，大多會更加關(guān)注表現(xiàn)較為突出的學(xué)生，很容易忽略普通學(xué)生。隨著人工智能技術(shù)的發(fā)展，尤其是深度學(xué)習(xí)網(wǎng)絡(luò)在計(jì)算機(jī)視覺處理方面的應(yīng)用[2-4]，人臉、人體識別技術(shù)研究獲得了突破性的進(jìn)展。人臉識別已被廣泛應(yīng)用于各種場景，如手機(jī)身份驗(yàn)證、車站進(jìn)站驗(yàn)證、學(xué)生上課考勤等，識別的正確率也在不斷提升。Florian Schroff等[5]提出FaceNet系統(tǒng)，它直接學(xué)習(xí)人臉圖像到歐幾里德空間的映射，其中歐幾里德距離直接對應(yīng)人臉相似度，在LSW數(shù)據(jù)集上驗(yàn)證識別率達(dá)到99.63%?；谏疃葘W(xué)習(xí)的人體行為識別是智能視頻分析的熱點(diǎn)，各種深度學(xué)習(xí)框架在人體行為識別研究中獲得顯著效果[6]，這為課堂學(xué)習(xí)的分析提供了專業(yè)的技術(shù)支持。近年來視頻監(jiān)控技術(shù)被高校廣泛運(yùn)用，用來實(shí)時觀察和保存課堂教學(xué)過程，這為課堂學(xué)習(xí)的智能分析提供了良好的數(shù)據(jù)基礎(chǔ)。

基于以上三點(diǎn)，本文以大學(xué)生課堂學(xué)習(xí)過程為研究對象，構(gòu)建了課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)，通過智能識別監(jiān)控視頻中學(xué)生及其學(xué)習(xí)狀態(tài)，進(jìn)行分析挖掘，幫助教師了解學(xué)生學(xué)習(xí)狀態(tài)，加強(qiáng)課堂學(xué)習(xí)過程管理。

一、學(xué)習(xí)狀態(tài)分析研究現(xiàn)狀

研究者們對“學(xué)習(xí)狀態(tài)”這一概念給出了不同的定義，本文贊同學(xué)習(xí)狀態(tài)是學(xué)習(xí)者在學(xué)習(xí)過程中表現(xiàn)出來的心理特征和生理特征[7]，而心理特征一般通過生理特征和行為特征測量。也就是說，學(xué)習(xí)者的學(xué)習(xí)狀態(tài)可以通過生理指標(biāo)和行為指標(biāo)來衡量。

信息化在教育的應(yīng)用，促使大量在線學(xué)習(xí)平臺涌現(xiàn)，如中國大學(xué)MOOC、Coursera等，在線學(xué)習(xí)平臺記錄了學(xué)習(xí)者在學(xué)習(xí)過程中的學(xué)習(xí)內(nèi)容、學(xué)習(xí)時間、學(xué)習(xí)行為等學(xué)習(xí)信息，為后續(xù)學(xué)習(xí)者學(xué)習(xí)狀態(tài)的挖掘研究奠定了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。國內(nèi)對在線學(xué)習(xí)的狀態(tài)分析研究較多，很多研究者認(rèn)為可以通過在線學(xué)習(xí)的學(xué)習(xí)行為描述、評價學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。沈欣憶等利用學(xué)習(xí)者在MOOCAP中的在線學(xué)習(xí)行為數(shù)據(jù)，采用德爾菲法、專家排序法、專家工作坊等多種研究方法，構(gòu)建MOOCAP在線學(xué)習(xí)行為和學(xué)習(xí)評價模型[8]；王洋等以華師云課堂為例，根據(jù)學(xué)習(xí)者在平臺上的在線學(xué)習(xí)操作數(shù)據(jù)，構(gòu)建學(xué)習(xí)狀態(tài)模型[9]。

雖然在線學(xué)習(xí)方式逐步普及，但是學(xué)校的教育依然以課堂教育為主，以學(xué)生為中心的課堂教學(xué)的效率和質(zhì)量仍備受關(guān)注。在線學(xué)習(xí)和課堂教學(xué)的教學(xué)模式存在較大差別，在線學(xué)習(xí)突破時間空間，課堂學(xué)習(xí)時間固定、地點(diǎn)集中，兩者上課形式不同，學(xué)習(xí)數(shù)據(jù)來源不同，因此，基于在線學(xué)習(xí)行為數(shù)據(jù)的學(xué)習(xí)狀態(tài)模型無法直接遷移到課堂教學(xué)。而對課堂教學(xué)中學(xué)生學(xué)習(xí)狀態(tài)的分析，一般采用觀察和問卷的方式進(jìn)行。鄭偉等從不同的視角對初中生物學(xué)課堂學(xué)習(xí)狀態(tài)進(jìn)行觀察分析[10]。徐江虹等采用問卷的方式收集學(xué)生對課堂學(xué)習(xí)的認(rèn)識、態(tài)度和行為數(shù)據(jù)，了解工科類本科生課堂的學(xué)習(xí)狀態(tài)[11]。也有少量的研究結(jié)合眼動、腦電技術(shù)等獲取學(xué)習(xí)者的生理指標(biāo)，研究學(xué)習(xí)者的認(rèn)知和注意力，如Fang-Ying Yang等利用眼動技術(shù)研究大學(xué)課堂中學(xué)生對PPT的注意力分布[12]。但這種傳統(tǒng)的研究方法存在不足，主要是研究周期時間長，數(shù)據(jù)的來源缺乏客觀性。

學(xué)習(xí)狀態(tài)可以通過外部行為特征來測量，何秀玲等利用深度學(xué)習(xí)模型自發(fā)識別學(xué)習(xí)表情，獲取學(xué)生在課堂中的情緒變化，幫助教師掌握全班學(xué)生情況[13]。除了面部表情，一些身體姿態(tài)也能反映學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，例如，學(xué)生學(xué)習(xí)狀態(tài)消極時會有上課打瞌睡、玩手機(jī)等行為。張鴻宇等在數(shù)字化場景中，采用姿態(tài)識別的方式幫助分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)[14]。以往教師觀察學(xué)生的學(xué)習(xí)狀態(tài)，只能在課堂中進(jìn)行，不全面且容易遺漏；視頻技術(shù)的應(yīng)用，讓教師可以視頻案例作為觀察對象，更為細(xì)致有效的獲取學(xué)生學(xué)習(xí)狀態(tài)，但視頻觀察仍然存在周期性長的問題。教師的精力畢竟是有限的，在課堂教學(xué)過程中，如果有輔助系統(tǒng)幫助教師智能分析學(xué)生學(xué)習(xí)狀態(tài)，那么將對教師的課堂教學(xué)大有裨益。

為此，本文嘗試?yán)靡曨l監(jiān)控技術(shù)、Java編程技術(shù)、圖像處理技術(shù)、機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)學(xué)課堂視頻的采集、傳輸、存儲、挖掘，獲取學(xué)生課堂出勤情況以及課堂學(xué)習(xí)狀態(tài)，及時干預(yù)學(xué)生的異常學(xué)習(xí)狀態(tài)。

二、課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)構(gòu)建

1.構(gòu)建目標(biāo)

本系統(tǒng)旨在達(dá)成以下一些構(gòu)建目標(biāo)：

①面向B/S結(jié)構(gòu)的課堂學(xué)習(xí)狀態(tài)分析，實(shí)現(xiàn)數(shù)據(jù)共享，隨時隨地進(jìn)行相關(guān)業(yè)務(wù)功能處理，功能擴(kuò)展方便，為后續(xù)分析奠定開發(fā)基礎(chǔ)。

②基于遠(yuǎn)程控制的視頻監(jiān)控技術(shù)，視頻監(jiān)控技術(shù)能夠完整實(shí)時呈現(xiàn)學(xué)生上課情景，遠(yuǎn)程控制視頻監(jiān)控實(shí)現(xiàn)全方位巡航調(diào)距，多角度分析，靈活方便。

③基于人臉識別的課堂點(diǎn)名，在學(xué)生無感知的情況下完成考勤，節(jié)省課堂時間，有效避免代點(diǎn)名的情況，考勤情況有效記錄，傳至數(shù)據(jù)庫保存。

④基于人體檢測的學(xué)生狀態(tài)檢測，相隔固定時間，自動檢測學(xué)生認(rèn)真上課、發(fā)呆、睡覺、玩手機(jī)四種狀態(tài)，幫助老師及時發(fā)現(xiàn)異常學(xué)習(xí)狀態(tài)，提高學(xué)生課堂聽課效率，并為教師后期學(xué)生成績評估提供數(shù)據(jù)支持。

⑤基于統(tǒng)計(jì)分析技術(shù)的學(xué)生課堂聽課質(zhì)量評價，綜合考慮課堂多次狀態(tài)檢測的結(jié)果，按照一定的統(tǒng)計(jì)方式，對學(xué)生的課堂聽課質(zhì)量進(jìn)行評價。

2.系統(tǒng)平臺結(jié)構(gòu)構(gòu)建

高校安裝的視頻監(jiān)控系統(tǒng)主要目的是為了對教室的場景進(jìn)行監(jiān)控和記錄，目前對監(jiān)控視頻的應(yīng)用主要有兩種形式，一是如果發(fā)生異常情況，可以通過監(jiān)控視頻查詢，了解事情真相，這種方式無法預(yù)防異常事件的發(fā)生；二是將多個教室的監(jiān)控視頻投射到同一個大屏幕，監(jiān)控人員通過觀看視頻發(fā)現(xiàn)學(xué)生的異常情況，通知相關(guān)人員進(jìn)行處理，但是視頻過多，且監(jiān)控人員無法一直集中注意力，使得人工監(jiān)控的方式管理效率不高。因此，利用計(jì)算機(jī)視覺、視頻圖像處理技術(shù)對監(jiān)控視頻進(jìn)行智能化分析能夠及時發(fā)現(xiàn)學(xué)生學(xué)習(xí)過程中的異常情況，并全程監(jiān)控課堂，提高學(xué)生學(xué)習(xí)過程管理的效率。

本文設(shè)計(jì)的課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)是實(shí)現(xiàn)學(xué)生課堂視頻的采集、傳輸、存儲、挖掘、應(yīng)用為一體的在線系統(tǒng)。其主要實(shí)現(xiàn)思路是：控制球機(jī)旋轉(zhuǎn)調(diào)距，多角度多方位采集學(xué)生上課視頻，實(shí)時視頻截取特定幀的圖像利用計(jì)算機(jī)視覺處理技術(shù)實(shí)現(xiàn)人臉點(diǎn)名、課堂學(xué)習(xí)狀態(tài)檢測功能，并將分析結(jié)果傳入數(shù)據(jù)庫保存，對數(shù)據(jù)庫學(xué)生相關(guān)數(shù)據(jù)挖掘分析，同時將視頻數(shù)據(jù)傳入指定的服務(wù)器存儲，以便回看。課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)平臺結(jié)構(gòu)如圖1所示：

圖1 課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)平臺結(jié)構(gòu)示意圖

3.系統(tǒng)技術(shù)架構(gòu)及功能設(shè)計(jì)

本文系統(tǒng)以云計(jì)算為支撐，以Springboot+Mybatis為后臺框架，利用Thymeleaf為模板引擎支持前端開發(fā)，以TencentDB for MySQL為數(shù)據(jù)庫實(shí)現(xiàn)信息存儲，shiro作為安全框架進(jìn)行身份認(rèn)證，結(jié)合云端智能平臺，運(yùn)用先進(jìn)圖像采集處理識別和數(shù)據(jù)分析技術(shù)，實(shí)現(xiàn)學(xué)生課堂學(xué)習(xí)場景的智能分析、整合、反饋和分享，詳細(xì)的系統(tǒng)架構(gòu)如圖2所示。

圖2 課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)架構(gòu)示意圖

系統(tǒng)包含三個用戶角色：管理員、教師、學(xué)生。管理員可以向系統(tǒng)導(dǎo)入教師、學(xué)生、課程、課時、樓宇等基本信息，并對這些信息進(jìn)行增、刪、改、查的基本管理。管理員和教師可以遠(yuǎn)程管理球機(jī)，控制球機(jī)的開關(guān)、巡航、調(diào)距，可以回看球機(jī)拍攝的視頻，還可以賦予不同的角色不同的應(yīng)用權(quán)限。教師和學(xué)生都具有登陸、注銷、找回密碼、修改信息的基本功能。教師可以查詢教學(xué)課表，課程詳情以及對應(yīng)課程的學(xué)生詳情，同時決定何時進(jìn)行人臉點(diǎn)名，在課程開始后，間隔固定時間檢測學(xué)生學(xué)習(xí)狀態(tài)，學(xué)習(xí)狀態(tài)異常的學(xué)生會收到通知，被要求及時調(diào)整異常學(xué)習(xí)狀態(tài)。學(xué)生可以查詢自己的課表和聽課質(zhì)量評價。

系統(tǒng)有三個核心智能功能，分別是人臉點(diǎn)名，學(xué)習(xí)狀態(tài)檢測和學(xué)習(xí)課堂質(zhì)量評價。

1.人臉點(diǎn)名

人臉識別比對的方式相較于指紋、虹膜等生物特征，具有易于獲得、直觀友好、易于區(qū)分等優(yōu)點(diǎn)，成為課堂考勤研究和應(yīng)用的熱點(diǎn)。本系統(tǒng)使用到的人臉檢測比對算法采用的是曠世公司Face++人工智能開放平臺(1)Face++曠視人工智能平臺可通過https：//www.faceplusplus.com.cn/查詢。提供的接口。實(shí)現(xiàn)人臉點(diǎn)名考勤功能的具體流程是：教師點(diǎn)擊考勤按鈕后，攝像頭開始采集畫面送到后臺，后臺采用圖像處理工具ffmpeg將采集的視頻截取出圖片，把標(biāo)準(zhǔn)化的圖片送到Face++第三方平臺進(jìn)行處理獲取人臉特征數(shù)據(jù)，將返回的人臉特征數(shù)據(jù)與數(shù)據(jù)庫中證件照的人臉特征數(shù)據(jù)進(jìn)行對比，然后更新數(shù)據(jù)庫中的對應(yīng)結(jié)果，前臺便根據(jù)數(shù)據(jù)庫的內(nèi)容顯示對應(yīng)學(xué)生的出勤狀況。其業(yè)務(wù)流程如圖3所示。

2.狀態(tài)檢測

經(jīng)驗(yàn)豐富的教師能夠從學(xué)生的行為動作、面部表情等識別出學(xué)生的當(dāng)前學(xué)習(xí)狀態(tài)，因此，可以通過識別學(xué)生的簡單動作表現(xiàn)來檢測學(xué)生的學(xué)習(xí)狀態(tài)。學(xué)生上課過程中，最直觀的學(xué)習(xí)狀態(tài)是認(rèn)真上課和未認(rèn)真上課。經(jīng)多方調(diào)研，并咨詢相關(guān)專家，發(fā)現(xiàn)未認(rèn)真上課的常見狀態(tài)有睡覺、玩手機(jī)、發(fā)呆。因此，學(xué)生上課狀態(tài)普遍有四種：認(rèn)真上課、發(fā)呆、睡覺、玩手機(jī)。為有效識別這四種狀態(tài)，組織學(xué)生拍攝這四種狀態(tài)對應(yīng)的視頻，截取對應(yīng)的圖片，從中選取2500張圖片，并邀請專家進(jìn)行人工標(biāo)注，制作四種對應(yīng)學(xué)習(xí)狀態(tài)的數(shù)據(jù)集，利用VGG16模型訓(xùn)練出判別學(xué)生四種學(xué)習(xí)狀態(tài)的模型。系統(tǒng)實(shí)現(xiàn)狀態(tài)檢測的具體業(yè)務(wù)流程如下：學(xué)生上課過程中，每隔8分鐘從拍攝的視頻中截取學(xué)生當(dāng)前時刻的照片，利用人體摳圖的技術(shù)將圖片中的所有學(xué)生分割開來，針對每位學(xué)生反復(fù)調(diào)用狀態(tài)檢測模型，返回圖片中學(xué)生們當(dāng)前時刻的狀態(tài)，狀態(tài)包括認(rèn)真上課和玩手機(jī)、打瞌睡、發(fā)呆。除認(rèn)真上課的學(xué)生，其他狀態(tài)的學(xué)生都會收到信息通知，調(diào)整上課狀態(tài)。其業(yè)務(wù)流程如圖4所示。

圖3 人臉點(diǎn)名業(yè)務(wù)流程圖

圖4 狀態(tài)檢測業(yè)務(wù)流程圖

3.數(shù)據(jù)分析

學(xué)生狀態(tài)檢測結(jié)束后，將結(jié)果保存到數(shù)據(jù)庫中，對學(xué)生狀態(tài)數(shù)據(jù)進(jìn)行分析。每隔八分鐘檢測一次，一堂課檢測5次，每次檢測時，如果該學(xué)生認(rèn)真上課，則給予其20分；如果該學(xué)生發(fā)呆，給予其16分；如果該學(xué)生睡覺，則給予其12分；如果該學(xué)生玩手機(jī)，則給予其8分；狀態(tài)評分總和即為該學(xué)生該堂課的聽課質(zhì)量評分。

學(xué)生聽課質(zhì)量評分有利于學(xué)生了解自己的上課情況，有利于管理員和老師查看學(xué)生每堂課的學(xué)習(xí)狀態(tài)，及時發(fā)現(xiàn)學(xué)生的學(xué)習(xí)狀態(tài)異常情況并做出干預(yù)。

三、課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)的應(yīng)用效果

為驗(yàn)證系統(tǒng)的有效性，在校內(nèi)智慧教室試行，組織小班課，對系統(tǒng)功能進(jìn)行驗(yàn)證，系統(tǒng)有效運(yùn)行，對人臉點(diǎn)名和學(xué)習(xí)狀態(tài)檢測結(jié)果展示，并對應(yīng)用效果進(jìn)行說明。

1.人臉點(diǎn)名實(shí)現(xiàn)

教師上課之后，點(diǎn)擊考勤，系統(tǒng)會對球機(jī)拍攝到的視頻進(jìn)行預(yù)處理得到標(biāo)準(zhǔn)化圖片，對圖片進(jìn)行人臉檢測比對，從而完成考勤工作?？记谕瓿珊螅谇岸诉M(jìn)行顯示。教師會看到學(xué)生的出勤情況，未出勤或未檢測成功的同學(xué)，將會被紅色標(biāo)記，為對學(xué)生的隱私進(jìn)行保護(hù)，用匿名展示。

2.狀態(tài)檢測實(shí)現(xiàn)

課堂開始后到達(dá)固定時間點(diǎn)，系統(tǒng)同樣會對視頻進(jìn)行處理，之后再調(diào)用算法模型進(jìn)行檢測，返回學(xué)生狀態(tài)結(jié)果?？梢钥吹?，不同狀態(tài)會被系統(tǒng)進(jìn)行區(qū)分，同時，認(rèn)真聽課和不認(rèn)真聽課的對比會以可視化的結(jié)果展示。

3.效果分析

為測試系統(tǒng)的有效性，同時發(fā)現(xiàn)系統(tǒng)的不足之處以便改進(jìn)，邀請了5名經(jīng)驗(yàn)豐富的老師進(jìn)行試用。試用過程中，老師們表示該系統(tǒng)確實(shí)能夠幫助他們在課堂中節(jié)省點(diǎn)名的時間，及時把握學(xué)生的學(xué)習(xí)狀態(tài)，調(diào)整下一節(jié)課的講課策略，發(fā)現(xiàn)需要特別關(guān)注的學(xué)生，及時調(diào)整他們的學(xué)習(xí)狀態(tài)。同時，他們也為后續(xù)的研究提供了寶貴的建議：①人臉點(diǎn)名的正確率并非100%正確；②學(xué)習(xí)狀態(tài)檢測的正確率與速度有待提高；另外，課堂上還有很多行為和表情也能反映某些學(xué)習(xí)狀態(tài)，這些行為和表情的識別應(yīng)該能更好地反映學(xué)生的學(xué)習(xí)狀態(tài)；③狀態(tài)檢測的時間如果能與教師課堂教學(xué)中的知識點(diǎn)對應(yīng)起來，可能會幫助教師更好地了解學(xué)生對知識點(diǎn)的掌握情況，調(diào)整教學(xué)策略。這些問題都需要在后期的研究工作中進(jìn)一步實(shí)踐檢驗(yàn)。

四、總結(jié)

課堂教學(xué)是教師的教與學(xué)生的學(xué)最直觀的表現(xiàn)。當(dāng)下大學(xué)生課堂學(xué)習(xí)存在的一個核心問題就是學(xué)習(xí)動機(jī)不足、主體意識不強(qiáng)。教育工作者需要更好地關(guān)注學(xué)習(xí)者自身發(fā)展的特點(diǎn)和需要，更客觀地了解學(xué)習(xí)者主動參與的廣度和深度，這樣才能有助于指導(dǎo)他們及時做出教學(xué)調(diào)整，設(shè)計(jì)并實(shí)施“以學(xué)習(xí)者為中心”的課程教學(xué)。本文構(gòu)建的系統(tǒng)能夠及時反饋學(xué)生的出勤、學(xué)習(xí)狀態(tài)、聽課質(zhì)量，為學(xué)生課堂學(xué)習(xí)過程管理提供真實(shí)有效的數(shù)據(jù)支持。當(dāng)然，人臉點(diǎn)名和狀態(tài)識別的速度、準(zhǔn)確率還有待提高；學(xué)生課堂中出現(xiàn)的行為、表情與學(xué)習(xí)狀態(tài)有何種定性定量的關(guān)系，還需要進(jìn)一步研究；將學(xué)習(xí)狀態(tài)檢測的時間與課堂教師學(xué)習(xí)的知識點(diǎn)穿插起來，觀察學(xué)生的知識點(diǎn)掌握情況，也是下一步研究的重點(diǎn)。

目前，“人工智能+教育”的研究是一大熱點(diǎn)，將人工智能與教育深度融合，創(chuàng)造智能高效的課堂環(huán)境，對提高教學(xué)效率、構(gòu)建智慧校園有重要意義。課堂學(xué)習(xí)狀態(tài)智能分析系統(tǒng)是人工智能技術(shù)在課堂學(xué)習(xí)過程管理的一次有益嘗試，順應(yīng)了“人工智能+教育”的發(fā)展理念。