基于特征嵌入的學(xué)生知識點熟練度預(yù)測①

史浩杰,李 幸,賈俊鋮,匡 健,章 紅

1(蘇州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,蘇州 215006)

2(初速度(蘇州)科技有限公司,蘇州 215100)

在學(xué)生學(xué)習(xí)過程中,大多數(shù)學(xué)生都是需要練題來提升自己的能力.在如今教育信息化時代,有海量的試題可以給學(xué)生練習(xí),要想在海量的試題中選擇合適的試題必須要知道學(xué)生知識點掌握情況[1,2],因此幫助教師挖掘出學(xué)生知識點熟練度是教育中急需解決的問題.

隨著計算機技術(shù)的不斷發(fā)展,傳統(tǒng)教育模式已經(jīng)得到了很大的改變,一些教師的工作可以讓計算機去做,像試卷批改,學(xué)生知識點診斷分析等等.現(xiàn)有的學(xué)生知識點診斷分析大多數(shù)采用認(rèn)知診斷模型[3–7],它是認(rèn)知心理學(xué)[5]與教育測量學(xué)相結(jié)合的產(chǎn)物,主要通過學(xué)生的答題記錄來挖掘出學(xué)生的潛在信息[8],例如DINA模型[8]結(jié)合Q 矩陣[3,8]來挖掘出學(xué)生對試題所考察知識點的掌握情況,由于Q 矩陣只能給出試題考察知識點的離散化信息(即考察的知識點只有考察和未考察),因此也只能預(yù)測出學(xué)生知識點的離散化程度(即學(xué)生對知識點只有掌握和未掌握).

在實際做題過程中,知識點熟練度在0.9和1.0的情況下解決難題就可能體現(xiàn)出差距,這一點在數(shù)學(xué)等理科上體現(xiàn)的非常明顯.針對上述問題本文提出了通過特征嵌入[9]來預(yù)測學(xué)生的知識點熟練度的方法,對學(xué)生和試題分別以知識點作為特征嵌入,分別建立對應(yīng)知識點的向量,并通過神經(jīng)網(wǎng)絡(luò)[2,10,11]來訓(xùn)練和調(diào)整學(xué)生知識點熟練度.

1 問題描述

無論是傳統(tǒng)的線下教育還是線上的智能教育[12,13],我們的最終目的都是讓學(xué)生能夠提高自己的知識能力.然而光靠課上聽講并不能完全應(yīng)對考試,學(xué)生更多的還是需要課下練習(xí)試題,學(xué)生選擇的試題必須緊密結(jié)合學(xué)生自身知識點掌握情況,否則就是事倍功半,讓學(xué)生失去學(xué)習(xí)的信心.

大多數(shù)的教師在對學(xué)生知識點熟練度做出判斷時基本上按照這些要求來判定:如果學(xué)生能夠答對試題(排除猜測),說明該學(xué)生知識點熟練度是達(dá)到了試題對知識點考察的要求,甚至高于試題知識點考察要求;相反如果學(xué)生答錯該試題或者沒有拿到全部分?jǐn)?shù)(排除失誤)說明該學(xué)生在試題考察的知識點上至少有一個沒有達(dá)到要求.也就是說學(xué)生知識點熟練度是可以通過答題情況來反應(yīng)的,教師判斷的準(zhǔn)確性取決于對試題考察知識點難度[14]的精準(zhǔn)分析,因此如果在清楚試題考察知識點的難度和學(xué)生在該試題上的得分的情況下,預(yù)測出學(xué)生知識點熟練度并不難.

在教育領(lǐng)域中,給定學(xué)生的答題記錄為R,R中包含以下信息:學(xué)生集合D={d1,d2,…,dN},試題集合T={t1,t2,…,tM},知識點集合C={c1,c2,…cK}.每條答題記錄由(dn,tm,snm) 組成,其中snm表示學(xué)生dn在試題tm上的得分(得分已經(jīng)轉(zhuǎn)化為百分比,即得分率).Q為試題關(guān)聯(lián)知識點矩陣,由相關(guān)領(lǐng)域?qū)＜覙?biāo)記,表示為Q=[qmk]M×K,qmk=1 表示試題tm考察了知識點ck,否則qmk=0.

問題定義:給定答題記錄R和試題知識點關(guān)聯(lián)矩陣Q,如何精確地預(yù)測出學(xué)生知識點熟練度.

2 學(xué)生知識點熟練度預(yù)測方法

為了解決上述問題,本文提出了一種基于特征嵌入的學(xué)生知識點熟練度預(yù)測方法FE-SKP (feature embedding-student knowledge proficiency),利用神經(jīng)網(wǎng)絡(luò)強大的功能來捕捉學(xué)生與試題之間的關(guān)系,其中第2.1 節(jié)給出了 FE-SKP 方法的框架,第2.2 節(jié)將會介紹具體做法.

2.1 FE-SKP 框架

本節(jié)提出的FE-SKP 方法包含兩個步驟:第1 個步驟是構(gòu)造嵌入模塊,其目的是構(gòu)建學(xué)生和試題的知識點向量;第2 個步驟是構(gòu)建網(wǎng)絡(luò)模型,其目的是通過輸出學(xué)生的得分預(yù)測來檢驗對其知識點熟練度預(yù)測是否準(zhǔn)確,如果與實際得分有差距則在訓(xùn)練過程中進(jìn)行調(diào)整.

嵌入模塊:嵌入模塊主要包括學(xué)生知識點嵌入和試題知識點嵌入,學(xué)生知識點嵌入是將學(xué)生構(gòu)建成在每個知識點上掌握程度的向量,試題知識點嵌入是將試題構(gòu)建成對每個知識點考察難度的向量.構(gòu)造過程如下:

1)學(xué)生知識點嵌入:首先給定一組學(xué)生的集合,嵌入模塊首先將其單獨在相應(yīng)的空間下進(jìn)行初始嵌入,從而獲得由固定知識點數(shù)量維度構(gòu)成的學(xué)生知識點向量.我們將學(xué)生知識點向量用SnP表示,含義為學(xué)生dn的知識點熟練向量,該向量包含學(xué)生在所有知識點上的熟練度,類似于認(rèn)知診斷中的學(xué)生向量,不同之處在于學(xué)生在每個知識點的熟練度都具體量化而并非離散,例如SnP=(0.1,0.5)表示該學(xué)生dn在知識點1 上的熟練度為0.1,在知識點2 上的熟練度為0.5.

2)試題知識點嵌入:試題知識點嵌入學(xué)生知識點嵌入類似,嵌入模塊首先將其單獨在相應(yīng)的空間下進(jìn)行初始嵌入,從而獲得由固定知識點數(shù)量維度構(gòu)成的試題知識點向量,再結(jié)合Q矩陣的信息計算出試題的權(quán)重.我們將試題知識點向量用EmKnow表示,含義為試題tm考察的知識點難度向量,該向量包含試題tm在每個知識點上的考察難度.與認(rèn)知診斷中Q矩陣的區(qū)別在于每個知識點并不是用1和0 表示考察和未考察,而是具體量化考察難度,例如EmKnow=(0.2,0.8)表示該試題tm對知識點1的考察難度為0.2,對知識點2的考察難度為0.8.

網(wǎng)絡(luò)模塊:網(wǎng)絡(luò)模塊主要用于檢驗學(xué)生知識點熟練度預(yù)測是否正確,由于學(xué)生知識點熟練度沒法直接給出,因此我們通過學(xué)生知識點熟練度預(yù)測他們在試題上的得分來檢驗.這里選用卷積神經(jīng)網(wǎng)絡(luò)模型,在訓(xùn)練期間,如果輸出了錯誤的預(yù)測,則優(yōu)化算法會根據(jù)實際情況調(diào)整學(xué)生知識點熟練度,如果輸出正確說明學(xué)生知識點熟練度達(dá)到試題考察要求甚至還要高于試題考察要求.

2.2 FE-SKP 具體方法

(1)嵌入模塊

學(xué)生知識點嵌入:首先我們輸入學(xué)生集合D={d1,d2,…,dN},將每個學(xué)生單獨進(jìn)行初始嵌入,從而獲得維度為K的序列A=(a1,a2,…,aN),操作為Emb1,Emb1和an計算方法如下:

接著使用Sigmoid 函數(shù)讓學(xué)生的知識點熟練度在0–1 之間,得到學(xué)生dn知識點熟練SnP∈[0,1]1×K,SnP計算方法如下所示:

試題知識點嵌入:為了讓考察知識點的難度具體化,我們首先需要計算知識點的權(quán)重,知識點的權(quán)重計算分為兩步,第1 步是它在該試題考察的知識點中占的比重,第2 步是它在所有試題考察的知識點中占的比重.我們分別用wmk和Lk表示知識點ck在試題tm中所占的比重以及在所有知識點中所占的比重,知識點ck的權(quán)重用tck表示,如下所示:

用向量TCm=(tc1,tc2,…,tcK)表示試題tm中所有知識點的權(quán)重,接著計算每道試題難度Diffm∈[0,1],試題難度通過學(xué)生得分計算,如下所示:

接著輸入試題集合T={t1,t2,…,tM},將每個試題單獨進(jìn)行初始嵌入,從而獲得維度為K的序列B=(b1,b2,…,bM),操作為Emb1,bm計算方法如下所示:

將知識點權(quán)重向量乘以bm后,再乘以該試題難度Diffm,使用Sigmoid 函數(shù)將每個知識點難度控制在0–1 之間,最后再乘以Q矩陣得到試題tm考察知識點難度EmKnow,計算方法如下所示:

其中,EmKnow∈[0,1]1×K,qm∈{0,1}1×K,°為哈達(dá)瑪積符號.

(2)網(wǎng)絡(luò)模塊

該網(wǎng)絡(luò)模型包括嵌入層,輸入層,卷積層,池化層,全連接層和輸出層,其結(jié)構(gòu)如圖1所示.

圖1 FE-SKP 方法結(jié)構(gòu)

嵌入層為學(xué)生知識點熟練度SnP和試題知識點考察難度EmKnow,輸入層接受學(xué)生特征與試題特征的關(guān)系x,如下所示:

x通過卷積層執(zhí)行卷積操作獲得隱藏層Hc=,j為卷積核大小;Hc經(jīng)過p-max池化層得到新的隱藏層計算方法如下所示:

最后新的隱藏層Hcp經(jīng)過兩個全連接層和一個輸出層,得到最后的得分預(yù)測y,計算方式分別如下所示:

其中,w為權(quán)重參數(shù)矩陣,b為偏移量.

FE-SKP 方法的損失函數(shù)是輸出學(xué)生得分預(yù)測y和真實標(biāo)簽學(xué)生實際得分s之間的交叉熵,計算方法如下所示:

3 實驗結(jié)果分析

本節(jié)主要驗證FE-SKP 方法的有效性,其中第3.1 節(jié)介紹數(shù)據(jù)集信息,第3.2 節(jié)為數(shù)據(jù)處理過程,第3.3 節(jié)給出評價指標(biāo),最后第3.4和第3.5 節(jié)給出實驗結(jié)果并且對實驗結(jié)果進(jìn)行分析.

3.1 數(shù)據(jù)集

我們使用一組真實的數(shù)據(jù)集ASSIST (ASSISTments 2009–2010 skill builder) 進(jìn)行實驗,該數(shù)據(jù)集是ASSISTments 在線輔導(dǎo)系統(tǒng)收集的開放數(shù)據(jù)集,包含了學(xué)生的答題日志.每個學(xué)生答題日志學(xué)生的編號,試題編號,試題考察的知識點編號以及學(xué)生在該試題上的得分,一共有4 163 個學(xué)生,17 746 道試題和123 個知識點(每個知識點用不同編號表示,例如知識點1 表示函數(shù)),324 572 條答題日志,詳細(xì)信息如表1所示.

表1 數(shù)據(jù)集信息

3.2 數(shù)據(jù)預(yù)處理

由于我們需要輸入Q矩陣,學(xué)生和試題編號,因此我們需要將日志中的信息提取出來.首先我們將答題日志進(jìn)行改進(jìn),原本是一個學(xué)生編號對應(yīng)他所做的所有試題信息,我們將每條日志改為一個學(xué)生編號,一道試題信息.

接著是Q矩陣的構(gòu)造,因為答題日志只有試題考察知識點的編號,因此我們需要先構(gòu)造一個全為0的矩陣,維度是試題數(shù)乘以知識點數(shù),接著將試題考察的知識點編號對應(yīng)矩陣中的位置,將0 改為1 即可構(gòu)造每道試題的Q矩陣.具體處理過程如圖2所示:

圖2 數(shù)據(jù)處理流程

最后選擇80%作為訓(xùn)練集,20%作為測試集.

3.3 實驗評價指標(biāo)

由于學(xué)生知識點熟練度我們無法直接判斷預(yù)測結(jié)果是否準(zhǔn)確,因此我們通過預(yù)測學(xué)生在試題上得分來判斷知識點熟練度預(yù)測的效果.在本次實驗中,我們使用準(zhǔn)確率(Accuracy)、均方根誤差(RMSE)、ROC 曲線下的面積(AUC)作為評價指標(biāo),其計算公式分別如下所示:

其中,TP表示正確預(yù)測學(xué)生答對試題的數(shù)量,FP表示錯誤預(yù)測學(xué)生答錯試題的數(shù)量,FN表示錯誤預(yù)測學(xué)生答對試題的數(shù)量,TN表示正確預(yù)測學(xué)生答錯試題的數(shù)量.U表示正樣本數(shù)量,V表示負(fù)樣本數(shù)量,I(P正樣本,P負(fù)樣本)計算方法如下所示:

3.4 實驗結(jié)果

為了驗證本實驗的有效性,我們對比了傳統(tǒng)的一些方法,其中包括認(rèn)知診斷模型(DINA,IRT[15],MIRT[16,17])和概率矩陣(PMF)[18].對比方法的原理介紹如下:

DINA 方法:根據(jù)學(xué)生在每道試題上的得分情況來診斷出學(xué)生的知識狀態(tài),其中用0 表示學(xué)生未掌握考察的知識點,用1 表示學(xué)生掌握了考察的知識點,再結(jié)合知識點關(guān)聯(lián)矩陣對學(xué)生進(jìn)行得分預(yù)測.

IRT 方法:在已知試題的難度、區(qū)分度、猜測系數(shù)的情況下建立能力參數(shù)的極大似然函數(shù),得到學(xué)生的能力參數(shù)后,通過3PL 模型計算出學(xué)生答對試題的概率.

MIRT 方法:在IRT 模型的基礎(chǔ)上,將學(xué)生完成一道試題需要的多種能力(即需要掌握的多個知識點)、試題特征與答對概率進(jìn)行模型化.

PMF 方法:通過學(xué)生在每道試題上的得分以及試題知識點關(guān)聯(lián)矩陣,分別建立學(xué)生和試題的知識點潛在向量,假設(shè)學(xué)生和試題潛在向量服從高斯分布,通過已知的學(xué)生得分矩陣得到學(xué)生和試題的特征矩陣,用特征矩陣預(yù)測學(xué)生在試題上的得分.

介紹完對比實驗方法后,我們在該數(shù)據(jù)集上進(jìn)行了實驗,結(jié)果如表2所示.

表2 實驗結(jié)果

3.5 實驗結(jié)果分析

根據(jù)實驗結(jié)果,我們可以發(fā)現(xiàn)FE-SKP 方法在各項評價指標(biāo)中效果最好,主要原因在于以下幾點:

DINA 模型主要適用于客觀題,對于一些得分不是0 分就是滿分的題目處理的是比較好的,因為客觀題只要有一個知識點不熟練基本上就是不得分,是可以將學(xué)生的知識點熟練度視為未掌握,但是對于一些連續(xù)性得分像主觀題效果并不是很好,因為主觀題只要學(xué)生答對一個得分點就可以獲得相應(yīng)的分?jǐn)?shù),DINA模型無法將學(xué)生和試題的知識點量化,在測試主觀題時只要學(xué)生有一個知識點不會該試題得分就是0 分,導(dǎo)致主觀題的準(zhǔn)確率不高,均方根誤差比較大;IRT 模型認(rèn)為學(xué)生的單維能力與測試得到的分?jǐn)?shù)是線性關(guān)系的,但是在實際情況中往往不成線性關(guān)系,比如我們在進(jìn)行考試時,想要從50 分考到60 分很容易,但是想要從90 分考到100 分卻很難,因為90 分與100 分的差距主要體現(xiàn)在難題上,難題涉及到的知識點非常多,并不是單個能力就能體現(xiàn)出來,所以在進(jìn)行一些區(qū)分度大的題目上進(jìn)行測試效果并不是很好;PMF 對于學(xué)生的得分預(yù)測結(jié)果缺乏一定的解釋性,因為潛在變量的維度可以任意設(shè)置,很難說明潛在變量一定是知識點,另一方面它難以融合更多的有用特征,例如像試題知識點的考察難度.因此,這3 種傳統(tǒng)的方法的效果并不是很理想.

相對于傳統(tǒng)的3 種方法,MIRT的效果還是比較好的.MIRT 相對于IRT的區(qū)別主要是潛在向量的建模,IRT 潛在向量是一維的,而MIRT 潛在向量是多維,即一道試題會測試K種能力,而學(xué)生在做這道試題時最后的得分對應(yīng)了K種能力,但是仍然存在IRT 模型中能力與得分線性關(guān)系的缺陷.而FE-SKP 方法利用了卷積神經(jīng)網(wǎng)絡(luò)強大的擬合能力,提取更具有決定性的特征,使其能夠捕捉到學(xué)生與試題之間的關(guān)系,并且在構(gòu)建試題知識點嵌入是考慮了試題考察的知識點權(quán)重以及試題的難度,提高了預(yù)測試題知識點考察難度的準(zhǔn)確性,從側(cè)面提升了學(xué)生知識點熟練度預(yù)測的準(zhǔn)確性和分類效果,并且能夠減少均方根誤差.

4 結(jié)論與展望

本文將知識點作為特征嵌入到學(xué)生與試題之中,并且通過卷積神經(jīng)網(wǎng)絡(luò)來捕捉學(xué)生與試題之間的聯(lián)系,從提升試題知識點考察難度準(zhǔn)確率來增加學(xué)生知識點熟練度預(yù)測的準(zhǔn)確率.雖然較傳統(tǒng)方法上準(zhǔn)確率有所提高,但是準(zhǔn)確率并沒有達(dá)到教育上完美要求,教師面對的是一個班級甚至是幾個班級的學(xué)生,對每個學(xué)生都需要負(fù)責(zé).因此希望在后面的工作中,可以繼續(xù)提升準(zhǔn)確率,大大減輕教師和學(xué)生的壓力.