基于成績變化趨勢的多任務成績預測模型

李松江，蘇瑀，黃春雨，王鵬，任濤

（長春理工大學 計算機科學技術學院，長春 130022）

學生成績預測已經(jīng)成為EDM（教育數(shù)據(jù)挖掘）領域的熱門研究方向之一［1］，有效進行學生成績預測對全面提高教學質量，合理分配教學等方面發(fā)揮著至關重要的作用。近年來，針對學生成績預測的相關研究在國內外取得了一定的成果。童睿［2］分析學生消費行為數(shù)據(jù)與成績間的關聯(lián)性，選取消費行為中具有較強關聯(lián)性的變量，采用機器學習算法對學生成績進行分類預測。Chen J F和Do Q H等人［3］結合學生標準化的考試成績及影響成績的外在因素，將布谷鳥搜索（Cooperative Cuckoo Search）與自適應神經(jīng)網(wǎng)絡推理系統(tǒng)（ANFIS）進行組合用于學生學業(yè)成績預測。Harrell I L和Bower B L［4］針對學生的聽課風格、成績的平均績點以及計算機掌握情況三個特征向量，利用邏輯回歸分析模型對學習者的學期表現(xiàn)進行預測，對可能輟學的學生達到預警效果。韓睿鵬［5］應用FP-growth關聯(lián)分析算法挖掘影響學生成績的課程之間的隱藏規(guī)則，可以得出前期課程成績對后續(xù)課程成績的影響，進而為管理人員提供政策指導。

上述文獻的研究，重點集中在利用歷史績點、課程成績和學生消費行為數(shù)據(jù)，基于同一種參數(shù)進行學生成績預測。忽略了學習狀態(tài)、學生社交關系導致相互影響的特點對成績的影響，導致預測精度降低，無法對具體學生進行個性化成績預測。針對上述不足，本文提出基于歷史課程成績變化趨勢的多任務成績預測模型，該模型首先通過譜聚類算法對課程進行分類，采用加權平均法得到不同學期不同類別的課程成績變化趨勢，用于反映學生每類課程的學習狀態(tài)，并與歷史績點、學生行為數(shù)據(jù)共同構建初始變量集。根據(jù)學生社交信息交流導致相互影響的特點，引入多任務學習［6-7］結合邏輯回歸用于成績預測，采用一種權重聚類分組方法，將相關任務分為一組，使多個學生成績預測的任務共同訓練預測模型，實現(xiàn)個性化成績預測。

1 學生成績影響因素分析

學生成績受諸多因素的影響，已有的研究多是對歷史成績、上網(wǎng)行為、消費行為等影響因素進行分析，但都忽略了學生學習狀態(tài)對學生成績預測的影響［8］，本文將按學期和類別定義課程成績變化趨勢變量，用于反映學生的學習狀態(tài)。最后將課程成績變化趨勢與歷史績點、學生行為數(shù)據(jù)共同構建初始特征變量集。

1.1 學習狀態(tài)分析

為更好的反映學生學習狀態(tài)，分析學生在不同學期中，屬于同課程類別的課程成績之間的變化趨勢。采用譜聚類算法［9］對課程成績的分類，經(jīng)實驗驗證，課程1,2,…,k被分為四類。按照分類結果將各個學期的課程進行類別標記。不同學期相同類別的課程按照學期前后順序進行排列，通過對相鄰學期同類別課程間學生課程成績的變化趨勢進行分析，課程成績變化趨勢示意圖如圖1所示。

從中發(fā)現(xiàn)了成績變化規(guī)律：各學期的同類別課程成績具有一定的線性關系；在這個規(guī)律基礎上，考慮各門課程成績所占比重不同，采用加權平均法，根據(jù)公式（1）得到學生所學課程成績的加權平均值ValueiK，定義如下：

式中，i=2,…,m，m≥2，i表示歷史學期數(shù)；j=1,2,…,n，j表示屬于課程個數(shù)；cij表示課程所占學分；表示課程學分總和；Sij表示所學課程的成績；K表示課程的類別數(shù)；K∈1,2,3,4。

圖1 課程成績變化趨勢示意圖

進而根據(jù)課程分類結果，計算不同學期同類課程成績之間的變化趨勢：

依據(jù)公式（2）計算的結果，表示不同學期不同類別的課程成績數(shù)據(jù)隱藏的變化趨勢，用于反映學生的學習狀態(tài)。為更清晰的體現(xiàn)出學生在不同學期中的學習狀態(tài)，本文從14級學生中隨機選取單一學生的不同學期下同類別的課程成績，通過課程成績的變化趨勢進一步分析學生的學習狀態(tài)，如圖2所示。

圖2 不同學期下同類別課程成績的變化趨勢圖

由圖2可知，橫坐標表示學生的歷史學期數(shù)，共5個學期，縱坐標表示學生在同一學期課程不同類別的課程成績加權平均值。該同學在第一學期的期末考試中，A、B、C類型課程總體成績偏低，D類課程總體成績相對較好。隨著時間的推移，該同學對這四種類型課程的態(tài)度表現(xiàn)為成績越好的課程類型，越喜歡學習，越不好的課程，越不喜歡學習，一定程度反映學生對待不同類別課程的學習態(tài)度和狀態(tài)，進而影響總體的學生成績。由此得到結論：不同課程類別的成績變化趨勢反映學生對于不同課程類別的學習狀態(tài)，與學生的學習成績具有較強相關性。

1.2 學生行為分析

在學生行為中，文獻［10］提出了消費行為、上網(wǎng)行為是學生學習成績的影響因素，因此本文重點對消費行為以及上網(wǎng)行為數(shù)據(jù)進行定性定量分析，構建多維度學生行為數(shù)據(jù)，作為成績預測的特征向量。

（1）消費行為分析

①早餐活躍度分析

對學生早餐行為的定量統(tǒng)計分析，本文引入文獻［11］提出的活躍度概念，對學生早餐行為進行刻畫，早餐活躍度XBreakfastParoxysmal，計算公式為：

式中，Lcount表示某學生吃早餐次數(shù)表示學生一學期吃早餐的第1次記錄和最后1次記錄之間間隔的天數(shù)。

②消費規(guī)律分析

學生消費行為具有時間序列特性，針對學生消費的時間間隔分布情況，本文結合人類行為動力學，引入陣發(fā)性概念［12-13］，以學期為單位來刻畫學生的消費規(guī)律XConsumpParoxysmal，進而反映學生是否按學校正常作息時間去食堂消費。如式（4）所示，即：

式中，mi，σi分別為連續(xù)消費行為間隔時間分布的平均值和標準差。

（2）上網(wǎng)行為分析

從上網(wǎng)行為角度來看，文獻［14］針對上網(wǎng)行為進行分析，并提出上網(wǎng)時長是影響學生學習質量的主要因素。由于正常的作息時間應為早睡早起，如果學生在十一點學校熄燈后，還在繼續(xù)熬夜上網(wǎng)，上網(wǎng)時間長，會影響第二天的學習狀態(tài)。因此按照學校作息時間安排，時間閾值設定為晚上十一點后，計算熬夜上網(wǎng)次數(shù)，統(tǒng)計以學期為單位有效學習時間內上網(wǎng)時長和上網(wǎng)流量。

將公式（3）、公式（4）得到的指標結果以及上網(wǎng)時長、熬夜上網(wǎng)次數(shù)、上網(wǎng)流量數(shù)據(jù)進行歸一化處理，并與學生成績進行相關性分析。針對光電和經(jīng)管學院2014級學生在2017年3月至2017年8月的行為指標結果與該學期的期末成績，采用Pearson相關系數(shù)定量描述其線性關系，繪出學生行為指標與成績相關性分析直方圖，如圖3所示。

圖3 行為指標與成績的相關性分析

由圖3可知，兩個學院學生的行為指標中前四個指標與成績的相關系數(shù)較高，全部都在0.5以上，而上網(wǎng)流量的相關系數(shù)小于0.5，可以看出上網(wǎng)流量與成績的相關性較弱。因此選擇前四個相關性較強的指標作為成績預測的特征向量。

在學生成績預測中，輸入變量代表著不同的參數(shù)信息對學生成績的影響，變量的選取是構建學生成績預測模型的基礎，是進行有效、精準預測的依據(jù)。使用2014級學生在2014年至2017年6個學期的成績數(shù)據(jù)，將第6學期成績作為預測成績，與其相鄰的前5個學期歷史成績進行相關性分析，通過Pearson相關系數(shù)分析后得到前三個學期的成績與預測成績具有較強相關性。再將學生行為通過上述分析后篩選出對學生成績預測較為重要的變量。本文將課程按照歷史課程成績關聯(lián)度分為4類，基于歷史課程成績與學生行為對初始特征變量集向量進行定義，如下所示：

式中，Xt-3為前三個學期的學生成績（GPA）；Xt-2為前兩個學期的GPA；Xt-1為前一個學期的GPA；XACourse為不同學期A類別的課程成績變化趨勢；XBCourse為不同學期B類別的課程成績變化趨勢；XCCourse為不同學期C類別的課程成績變化趨勢；XDCourse為不同學期D類別的課程成績變化趨勢；XBreakfastParoxysmal為以學期為單位早餐行為的頻率；XConsumpParoxysmal為以學期為單位消費行為的規(guī)律；XInternetTime為以學期為單位有效學習時間內上網(wǎng)時長，XNightCount為以學期為單位超過晚十一點上網(wǎng)的次數(shù)。

2 學習成績預測模型構建

目前成績預測模型大多需要對學生的成績進行全局的預測，存在同質性并且無法對具體的學生進行個性化預測的缺陷，忽略了學生之間的相互影響作用，不能更精準的預測學生成績。在校園生活中，由于學生之間存在社交影響力作用［15-16］，因此可認為每個學生成績之間存在相關性。在預測學生成績時，充分考慮該特性對學生成績的影響來提高預測性能。

本文根據(jù)學生之間進行社交信息交流的特點，引入多任務學習（MTL），以邏輯回歸預測模型作為基準算法，預測模型把每個學生成績的預測對應為多個任務，根據(jù)學生間的社交影響特點對這些任務進行關聯(lián)。由于MTL是通過權重共享實現(xiàn)的，利用K-means對頂層的權重聚類，將具有相似權重的分布任務分為一組，組內任務共同訓練，共享任務間的相似性提高模型學習能力，從而緩解小樣本過學習問題，具體的網(wǎng)絡結構如圖4所示。

假設共有m個任務Mm={xir,yir}lri=1，M為這m個任務的合集。將每個學生的成績預測對應一個獨立的任務，定義每一個任務需要學習的權值向量Vi，任務目標分為兩部分：wq+wg,r∈(1,2,…,m)，wq代表全局任務的權值特征向量，wg代表相對于單個學生的局部權值特征向量。wq是根據(jù)所有學生行為數(shù)據(jù)歷史成績數(shù)據(jù)進行學習得到的，wg是對單個學生的學習行為及歷史成績數(shù)據(jù)進行學習得到的向量。以邏輯回歸為基準算法對學生成績進行預測，其帶有正則化的目標函數(shù)為：

則引入多任務后的預測模型可歸納為：

式中，M為學生數(shù)量；xij表示學生i的第j個數(shù)據(jù)樣本點；wq和wg同時訓練計算出結果。所有的任務都具有相同的wq，各個任務擁有自己的wg，通過正則化系數(shù)γ0，γ1的權值調整，能夠調節(jié)個性化對模型的影響。

圖4 多任務邏輯回歸預測

多任務邏輯回歸進行學生成績預測，根據(jù)網(wǎng)絡結構頂層權重進行分組，將具有相似權重分布的任務分為一組，組內任務同時訓練模型并共享信息。既考慮到了任務之間的差別，又考慮到任務之間的聯(lián)系，通過共享隱層權重，提高預測精度。相對于單任務學習僅需要訓練一個模型，該模型可同時訓練出多個模型，從而對學生成績進行個性化預測。

3 實驗結果與分析

3.1 實驗數(shù)據(jù)

本文針對學生成績預測問題的研究，提出了基于成績變化趨勢的多任務成績預測模型，為驗證該預測模型的準確性與適用性。實驗選取2014年9月至2017年8月學生的課程信息及行為數(shù)據(jù)作為實驗數(shù)據(jù)集，數(shù)據(jù)量約為5 000條，選取90%的學生樣本數(shù)據(jù)集作為訓練數(shù)據(jù)集進行歸一化預處理來產(chǎn)生輸入輸出向量，10%的學生樣本數(shù)據(jù)集作為測試數(shù)據(jù)集對網(wǎng)絡性能進行評價。

3.2 評價指標

為進一步對所提出的預測模型的性能進行評價，本文選用均方根誤差（RMSE）、平均絕對百分誤差（MAPE）這兩個性能指標來衡量。具體公式如下所示：

3.3 預測結果對比分析

本文利用TensorFlow進行基于成績變化趨勢的多任務成績預測模型的實現(xiàn)。根據(jù)第1節(jié)對成績影響因素分析得到的初始變量集作為預測模型的輸入，學生成績作為預測模型的輸出。為檢驗學習狀態(tài)對預測成績的重要性，利用邏輯回歸模型分別對加入反映學習態(tài)度的課程成績變化趨勢指標和未加入該指標的學生樣本數(shù)據(jù)集進行成績預測，對真實值和預測值進行比較，通過誤差評價指標進行性能評估。為驗證根據(jù)學生之間相互影響這一特點而引入多任務學習的邏輯回歸預測模型的有效性，將學生真實成績和經(jīng)過邏輯回歸和多任務邏輯回歸兩個模型的預測成績進行對比，檢驗模型中預測值和真實值的擬合程度。為進一步驗證相關任務分組對成績預測的有效性，利用權重聚類分組將相似任務分為一組，與隨機分組的任務分別采用多任務邏輯回歸模型進行成績預測，利用誤差評價指標進行性能評估。

實驗1：加入成績變化趨勢指標與未加入該指標的性能比較

為了驗證學習狀態(tài)對學生成績預測中的有效性，使用加入成績變化趨勢特性和未加入該特性的邏輯回歸預測方法相比較，兩個方法針對所有學生進行成績預測。兩種方法的性能指標對比如表1所示。

表1 性能指標對比

由上述實驗結果分析，加入成績變化趨勢特性的預測誤差更小，預測精度有所提高。將這兩種方法與真實的成績預測值進行比較，由于學生樣本數(shù)較多，圖5中只選擇了2014年9月至2017年8月部分學生樣本數(shù)據(jù)集的成績預測值與實際成績值的分布圖進行展示。

從圖5中可以看出，在對實際成績的預測結果中，加入成績變化趨勢特性的預測結果與實際成績數(shù)據(jù)偏差較小，更加接近真實成績曲線，從而驗證了加入成績變化趨勢特性對成績預測的有效性，進一步說明成績變化趨勢這一特征向量所反映的學生學習狀態(tài)對成績的影響程度。

實驗2：邏輯回歸與多任務邏輯回歸預測結果對比

為了驗證多任務學習對學生成績預測中的有效性，對比圖5（b）的邏輯回歸和多任務邏輯回歸兩個模型的預測成績與真實成績。圖6為部分學生基于多任務邏輯回歸模型的預測結果與真實值對比。

圖5 兩種方法與真實值對比

圖6 多任務邏輯回歸預測值與真實值對比

圖6相對圖5（b），該方法的誤差更接近于真實值，具有更好的效果，說明根據(jù)學生之間相互影響這一特點而引入多任務學習對成績預測的有效性。這是因為在多任務學習過程中，多個學生成績預測任務同時進行訓練，任務之間相互起到了歸納偏置的作用，從而提高了每個任務的預測精度，實現(xiàn)個性化成績預測。

實驗3：驗證權重聚類相關任務分組的有效性

利用權重聚類對任務進行分組，將具有相似權重的分布任務分為一組，組內任務具有較強相關性，與隨機分組的任務分別使用多任務邏輯回歸模型進行成績預測。由于學生樣本數(shù)量較多，只選取其中5組作為實驗對象，同時依據(jù)上述相關任務分組的各組別數(shù)據(jù)維度，采用隨機劃分方式對相同學生數(shù)據(jù)集進行分組，并選取與上述實驗對象相同數(shù)據(jù)維度的5組作為對比實驗數(shù)據(jù)，對比實驗數(shù)據(jù)與實驗對象為一一對應關系。預測模型誤差比較如圖7所示。

圖7 兩種方法誤差值對比

從圖7中可以看出，利用權重聚類分組后的5組相關任務，分別與相應數(shù)據(jù)維度隨機劃分的5組任務采用誤差評價指標相比較。經(jīng)過權重聚類相關任務分組的5組任務，其MAPE值和RMSE值均比隨機分組的誤差值小。說明利用權重聚類方法將相關任務分為一組，才能夠更好的提高整體性能，不相關的任務可能會對模型訓練產(chǎn)生負面影響。

4 結論

本文針對學生成績預測，提出一種基于成績變化趨勢的多任務成績預測模型。其中針對單純依據(jù)學生歷史成績或學生行為進行預測的不準確問題，將基于課程分類的學生成績變化趨勢特性與歷史績點、學生行為數(shù)據(jù)共同作為學生成績的影響因素。根據(jù)學生社會網(wǎng)絡關系及相互影響的特點，引入多任務學習，采用權重聚類分組方法，將相關任務分為一組同時訓練提高預測精度。實驗結果表明，本文所提出的預測模型具有較高的準確性，其預測結果可為大數(shù)據(jù)技術的多維度高校學情評教分析平臺提供數(shù)據(jù)支持。