基于學(xué)習(xí)者情緒的成績預(yù)測研究

文/李德淇 黃南雄 張凱悅 翟佳鶴 黃鈺琪 朱鄭州

隨著社會的進步，學(xué)生學(xué)習(xí)情況受到越來越多的重視。獲取學(xué)生學(xué)習(xí)情況的方式多種多樣。但就目前而言，課堂場景下的學(xué)生學(xué)習(xí)狀況的外在表現(xiàn)難以衡量。具體而言分為表情識別和動作識別。

人臉表情識別作為情感計算的一個研究方向，構(gòu)成了情感理解的基礎(chǔ)，是實現(xiàn)人機交互智能的前提。人臉表情的極度細膩化消耗了大量的計算時間，影響了人機交互的時效性和體驗感，所以人臉表情特征提取成為人臉表情識別的重要研究課題[1]。

有了表情數(shù)據(jù)，我們就可以有效地輔助老師進行學(xué)生課堂表現(xiàn)的判斷。比如，根據(jù)收集到的表情和動作進行判斷后結(jié)合當時的知識點來進行記錄，最后根據(jù)小測或者期末的知識點掌握情況來做驗證。

本文分為4個部分，首先總結(jié)了前人的研究，然后在此基礎(chǔ)上進行了學(xué)習(xí)者的情緒識別研究，以及根據(jù)學(xué)習(xí)者情緒的成績預(yù)測，最后進行了總結(jié)與展望。

相關(guān)研究

過去幾年里，學(xué)者們從不同角度來進行成績預(yù)測的研究。許多學(xué)者從在線學(xué)習(xí)的數(shù)據(jù)出發(fā)，包括宗陽等人在2016年做的MOOC學(xué)習(xí)行為與學(xué)習(xí)效果的邏輯回歸分析[2]：采用了課程注冊時滯、登錄課程次數(shù)、提交作業(yè)測試次數(shù)、習(xí)題保存次數(shù)的均值和視頻觀看完成度等自主學(xué)習(xí)來預(yù)測成績，以及郝巧龍等人在2016年做的MOOC學(xué)習(xí)行為分析及成績預(yù)測方法研究[3]:構(gòu)建了MOOC成績預(yù)測模型。

一些學(xué)者對成績預(yù)測研究做了進一步的拓展，如唐厚強在2017年做的基于高校論壇數(shù)據(jù)的成績預(yù)測和學(xué)生心理狀況分析[4]，吳青、羅儒國在2017年做的基于在線學(xué)習(xí)行為的學(xué)習(xí)成績預(yù)測及教學(xué)反思[5]：通過人口統(tǒng)計信息、自主學(xué)習(xí)行為和寫作學(xué)習(xí)行為來預(yù)測學(xué)習(xí)成績。

更有拓展到根據(jù)線下某些行為來做成績預(yù)測的研究，如宋韻濤在2017做的基于一卡通數(shù)據(jù)和多元線性回歸的學(xué)生成績預(yù)測模型[6]，劉譞在2017年做的基于學(xué)生行為的成績預(yù)測模型的研究與應(yīng)用[7]，使用到了包括成績數(shù)據(jù)、門禁數(shù)據(jù)、消費數(shù)據(jù)以及借閱數(shù)據(jù)。

另一方面，基于情緒智力來進行學(xué)習(xí)成績預(yù)測的研究也在不斷進行。朱仲敏在2004年做了情緒智力與認知智力、人格特質(zhì)、學(xué)業(yè)成績的關(guān)系研究[8]，認為情緒智力對成績的影響不顯著。但王平在2012年做的能力情緒智力與人際關(guān)系、學(xué)習(xí)成績的關(guān)系研究[9]提出在控制人格因素后，情緒智力依然對成績有顯著的預(yù)測作用。

對于情緒的度量，Schlosherg[10]首先提出了描述表情的3個量化尺度:注意-拒絕、高興-不高興和活躍程度，到 20世紀 70 年代美國心理學(xué)家Ekman 和 Friesen[11]通過充分的測試實驗，定義了人類的 6 種基本表情:高興(Happy)、生氣(Angry)、吃驚(Surprise)、 恐懼(Fear)、厭惡(Disgust)和悲傷(Sad)，隨后 Ekman 和 Keltner[12]更進一步細化及完善了面部表情。

基于學(xué)習(xí)者情緒的成績預(yù)測

本文在前人研究的基礎(chǔ)上，提出了一種不依賴于測驗或量表的根據(jù)學(xué)生線下課堂的情緒表現(xiàn)來進行成績預(yù)測的方法，研究框架如圖1所示。

1.首先通過對學(xué)生課堂學(xué)習(xí)的影像記錄，結(jié)合基于深度學(xué)習(xí)的計算機視覺技術(shù)，提取出人臉關(guān)鍵點。

圖1 研究框架

2.其次通過人臉關(guān)鍵點的位置來進行情緒識別。

3.最后通過梯度提升決策樹來根據(jù)識別到的情緒來預(yù)測學(xué)生的期末成績。

學(xué)習(xí)情緒獲取

本文使用The Extended Cohn-Kanade Dataset(CK+)人臉表情數(shù)據(jù)庫用于自動面部圖像分析和合成以及感知研究。 CK +[13]數(shù)據(jù)集是在 Cohn-Kanade Dataset 的基礎(chǔ)上擴展來的，發(fā)布于2010年，包含圖像、68個特征點的序列、FACS編碼文件以及情感編碼文件。

我們選取了327個帶emotion標識的sequence, 并選取最后一張Frame為輸入，先抽象出一層特征，再根據(jù)特征來進行識別，

共使用四種類型的特征：如臉長臉寬等長度、臉部長寬比等比率、上唇到鼻子等距離以及單側(cè)嘴角上揚等角度。

最終我們選取了25個特征，其中的一部分見表1。具體數(shù)字代表的是特征點的位置，在人臉中的位置詳情見圖2。

對左右對稱的特征進行了左右取值并取兩者最大。對全臉且分左右的特征（如臉寬）：取臉寬，左半臉寬兩倍，右半臉寬兩倍中的最大值。對于特征點全為0的臉，標為neutral，并不計算準確率。

我們采用25個特征作為輸入，使用kNN輸出表情類別。并使用了MIN-MAX標準化，在采用50%作為訓(xùn)練集的情況下取K值為10，測試集的精確率為75%。從第一類到第七類的具體分類結(jié)果：錯誤個數(shù)分別是11、 0、8、 6、5、 9、 1，正確率分別是75.6%、100%、86.2%、76%、92.8%、67.9%、98.8%。

表 1 部分特征

圖 2 人臉位置點

經(jīng)過觀察可發(fā)現(xiàn)，在數(shù)據(jù)集中占比較小的分類的精確度要相對低，我們分析可能是由于K值較大的緣故。于是進行測試：取K=10時準確率為75%，各表情錯誤個數(shù)分別為11、0、8、6、5、9、1，取K=5時準確率為77.3%，各表情錯誤個數(shù)分別為11、0、10、5、4、5、2。

可以看出第4/6位這些占比相對較低的表情準確率上升，sadness的錯誤個數(shù)減少44%，正確率由67.9%提升到82.1%。最后，對整體的訓(xùn)練集比例進行調(diào)整，整體準確率能達到83%，準確率可上升到91%。

我們將本文所提到的情緒識別算法準確度在CK+數(shù)據(jù)集中的結(jié)果與常用算法進行了對比，結(jié)果良好，具體見表2。

kNN算法的一個缺點在于當數(shù)據(jù)量大時會帶來大量的計算。所以特征壓縮成為了應(yīng)用時速度的決定因素。這里我們做了一個測試來比較21個特征和11個特征的效果。取50%作為測試集。取21個特征時準確率為75.46%，取11個特征時準確率為72%，見表3。由此可知11個特征很好地表現(xiàn)了數(shù)據(jù)，更多的特征則可以更好地描述數(shù)據(jù)，但會加大計算復(fù)雜度。

表2 情緒識別結(jié)果對比

學(xué)習(xí)成績預(yù)測

在成績預(yù)測部分，我們以某大學(xué)選修《軟件工程》的33名第二學(xué)位學(xué)生為研究對象，對他們的課堂情緒數(shù)據(jù)進行清洗、融合等操作后，最終設(shè)計了基于課堂情緒的成績預(yù)測模型，并通過實驗進行了評價。

我們使用了GBDT作為算法，GBDT(Gradient Boosting Decision Tree)是一種迭代的決策樹算法。由多棵決策樹組成，結(jié)論累加為最后答案。

Boosting的思想是給定初始數(shù)據(jù)訓(xùn)練出第一個學(xué)習(xí)器，然后根據(jù)學(xué)習(xí)器的表現(xiàn)對樣本進行調(diào)整，具體而言就是每個樣本乘一個系數(shù)，之前做錯的樣本乘的系數(shù)會比較高。然后再根據(jù)調(diào)整后的樣本訓(xùn)練下一個學(xué)習(xí)器，最后將重復(fù)N次形成的N個分類器進行加權(quán)的結(jié)合。而Gradient Boosting的思想是，損失函數(shù)越大說明模型越容易出錯，如果損失函數(shù)持續(xù)下降，則說明模型一直在進步。而要做到這一點，很好的方式就是讓損失函數(shù)在其梯度的方向上下降。

表 3 特征壓縮分析

Decision Tree在這里使用的是回歸樹，這個弱分類器簡單、低方差和高偏差，可以通過多輪迭代訓(xùn)練來降低偏差以提高最終分類器的精度。

對于最終模型，我們使用了解釋方差（explained variance）作為評價指標:

最大值是1.0,代表預(yù)測的目標響應(yīng)是最好的，越小就代表預(yù)測結(jié)果越差。

圖 3 基于二分情緒和出現(xiàn)頻率的結(jié)果

圖 4 基于細分情緒的結(jié)果

圖 5 基于細分情緒及知識點的結(jié)果

1.基于課堂情緒預(yù)測期末總分

基于二分情緒和出現(xiàn)頻率預(yù)測期末總分：輸入為3列，從第一列開始分別是ID、積極情緒（包括happy,surprise）在總教學(xué)時間內(nèi)出現(xiàn)的概率、7種情緒出現(xiàn)的總次數(shù)。輸出為期末總分。取隨機數(shù)為709，保證數(shù)據(jù)集分割結(jié)果一致，如圖3所示。

基于細分情緒預(yù)測期末總分：輸入為9列，從第一列開始分別是ID、知識點、7種情緒（anger,conte mpt,disgust,fear,hap py,sadness,surprise）在總教學(xué)時間內(nèi)出現(xiàn)的概率（總和為1），輸出為期末總分，如圖4所示。

2.基于知識點和課堂情緒的成績預(yù)測

輸入為9列，從第一列開始分別是ID、知識點、7種情緒在此知識點教學(xué)時間內(nèi)出現(xiàn)的概率，輸出為知識點的得分百分比，如果期末考試中沒有對應(yīng)的知識點則用總分代替，如圖5所示。

總結(jié)與展望

本文首先實現(xiàn)了一個情緒識別模型，與以往的常用模型相比，準確率提升了0.92%～1.83%，并將其應(yīng)用到了課堂場景下來獲取學(xué)生情緒。

其次，本文將情緒分析用于課堂場景來完善大數(shù)據(jù)在教育領(lǐng)域的應(yīng)用。并提出了幾種可能的應(yīng)用方式：根據(jù)二分情緒和預(yù)測頻率來預(yù)測期末表現(xiàn)、根據(jù)細分情緒來預(yù)測期末表現(xiàn)，以及根據(jù)知識點和細分情緒來預(yù)測知識點表現(xiàn)。

主要不足之處在于未充分利用數(shù)據(jù)的時序特征。未來可以考慮的方向有：

1.引入時序特征：基于情緒變化類型對學(xué)習(xí)有影響的假設(shè)，探究并驗證表情時序變化的類型，以及這些類型與學(xué)生或成績的聯(lián)系。

2.拓展數(shù)據(jù)來源：引入更多的課程或?qū)W生。可能的研究方向有：探究同樣學(xué)生在多元課程類型下的情緒及成績表現(xiàn)，探究不同專業(yè)學(xué)生在同一課程類型下的情緒及成績表現(xiàn)等等。