自適應(yīng)學(xué)習(xí)中自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)研究

李建偉，武佳惠，姬艷麗，廖德生

(1.北京郵電大學(xué) 網(wǎng)絡(luò)教育學(xué)院，北京 100088；2.北京郵電大學(xué) 網(wǎng)絡(luò)系統(tǒng)與網(wǎng)絡(luò)文化北京市重點(diǎn)實(shí)驗(yàn)室，北京 100876)

一、引 言

自適應(yīng)學(xué)習(xí)是人工智能技術(shù)在教育領(lǐng)域的高階表現(xiàn)形式[1]。培生公司將自適應(yīng)學(xué)習(xí)系統(tǒng)定義為自動(dòng)為學(xué)生提供個(gè)性化支持、實(shí)時(shí)響應(yīng)學(xué)生的交互行為的教育技術(shù)[2]。自適應(yīng)學(xué)習(xí)系統(tǒng)包括自適應(yīng)內(nèi)容、自適應(yīng)評(píng)估和自適應(yīng)序列三種方式。自適應(yīng)測(cè)驗(yàn)是自適應(yīng)評(píng)估過(guò)程中常用的一種手段，測(cè)驗(yàn)在教育心理學(xué)上是指一系列設(shè)計(jì)來(lái)測(cè)量人的知識(shí)或能力的問(wèn)題或作業(yè)。自適應(yīng)學(xué)習(xí)系統(tǒng)通過(guò)跟蹤每個(gè)學(xué)生如何回答問(wèn)題(即自適應(yīng)測(cè)驗(yàn))，收集他們的行為數(shù)據(jù)，然后，以滿足學(xué)生的學(xué)習(xí)需求為目的，系統(tǒng)根據(jù)每個(gè)學(xué)生獨(dú)特而具體的行為和反饋，提供個(gè)性化的學(xué)習(xí)服務(wù)。所以，自適應(yīng)測(cè)驗(yàn)是實(shí)現(xiàn)自適應(yīng)學(xué)習(xí)的關(guān)鍵所在。

隨著現(xiàn)代心理學(xué)教育測(cè)量理論的不斷發(fā)展，基于項(xiàng)目反應(yīng)理論(item response theory,IRT)和認(rèn)知診斷理論(cognitive diagnostic theory,CDT)的計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)(computerized adaptive testing,CAT)[3]已廣泛應(yīng)用于分析教育與心理測(cè)驗(yàn)數(shù)據(jù)，在自適應(yīng)學(xué)習(xí)系統(tǒng)中，自適應(yīng)測(cè)驗(yàn)用于認(rèn)知能力診斷，評(píng)估被試對(duì)特定領(lǐng)域知識(shí)的掌握情況、加工技能和認(rèn)知過(guò)程[4]。自適應(yīng)測(cè)驗(yàn)主要包括認(rèn)知診斷模型、選題策略和終止規(guī)則[5]，其中，終止規(guī)則通常有定長(zhǎng)和變長(zhǎng)兩種。定長(zhǎng)規(guī)則因其固定被試的題目數(shù)量這一特點(diǎn)，在開(kāi)展測(cè)驗(yàn)中較為方便，根據(jù)被試者測(cè)驗(yàn)的作答情況預(yù)估被試者的能力，而面向不同被試者將產(chǎn)生不同的測(cè)量精度[6]。變長(zhǎng)規(guī)則即固定每次測(cè)驗(yàn)的測(cè)量精度或領(lǐng)域知識(shí)的掌握目標(biāo)，每個(gè)被試具有相同測(cè)量精度或領(lǐng)域知識(shí)掌握目標(biāo)，但對(duì)不同的被試會(huì)有不同的測(cè)驗(yàn)長(zhǎng)度[6]130。Kingsbury等[7]分別應(yīng)用變長(zhǎng)規(guī)則和定長(zhǎng)規(guī)則進(jìn)行CAT后發(fā)現(xiàn)：在計(jì)算機(jī)化自適應(yīng)測(cè)驗(yàn)的效率、能力估計(jì)精度、估計(jì)值的收斂等方面，變長(zhǎng)規(guī)則的效果更優(yōu)。因此，在自適應(yīng)學(xué)習(xí)中，自適應(yīng)測(cè)驗(yàn)的終止規(guī)則通常采用變長(zhǎng)規(guī)則。自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)研究是指采用變長(zhǎng)CAT進(jìn)行不同形式的測(cè)驗(yàn)時(shí)，對(duì)不同被試的測(cè)驗(yàn)長(zhǎng)度進(jìn)行精準(zhǔn)預(yù)測(cè)的研究。

二、研究?jī)?nèi)容與現(xiàn)狀分析

(一)研究?jī)?nèi)容

在自適應(yīng)學(xué)習(xí)系統(tǒng)中，自適應(yīng)測(cè)驗(yàn)有兩種應(yīng)用場(chǎng)景。其一是作為練習(xí)引擎，在這種方式下，自適應(yīng)測(cè)驗(yàn)有一個(gè)由不同難度問(wèn)題組成的題庫(kù)，這些問(wèn)題與學(xué)習(xí)者剛剛學(xué)習(xí)的內(nèi)容一致。這些評(píng)估通常在課程結(jié)束后進(jìn)行，學(xué)習(xí)者回答問(wèn)題以證明其掌握了這些知識(shí)。例如，學(xué)習(xí)者首先學(xué)習(xí)某個(gè)知識(shí)的一組內(nèi)容，然后通過(guò)自適應(yīng)的練習(xí)引擎來(lái)證明其所學(xué)內(nèi)容的掌握水平。在練習(xí)過(guò)程中，學(xué)習(xí)者可以中斷練習(xí)，學(xué)習(xí)自適應(yīng)內(nèi)容，然后繼續(xù)在練習(xí)引擎中解決問(wèn)題，直到其正確回答了足夠多的問(wèn)題，一旦學(xué)習(xí)者達(dá)到知識(shí)或技能的掌握目標(biāo)(預(yù)先設(shè)定的閾值)，將繼續(xù)學(xué)習(xí)序列中的下一項(xiàng)知識(shí)或技能。其二是作為監(jiān)測(cè)學(xué)習(xí)者進(jìn)步的基準(zhǔn)評(píng)估工具，在這種方式下，自適應(yīng)測(cè)驗(yàn)通常是一種更長(zhǎng)、更正式的測(cè)試，每隔幾個(gè)月進(jìn)行一次，以衡量學(xué)習(xí)者對(duì)多個(gè)知識(shí)或技能的學(xué)習(xí)程度。這些評(píng)估通常是作為獨(dú)立測(cè)試進(jìn)行的。例如，學(xué)習(xí)者可能每三四個(gè)月進(jìn)行一次在線自適應(yīng)評(píng)估，以衡量他們學(xué)到的內(nèi)容。筆者將面向自適應(yīng)學(xué)習(xí)系統(tǒng)中的練習(xí)引擎應(yīng)用場(chǎng)景，主要研究?jī)?nèi)容如下：

1.知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)

基于隱語(yǔ)義模型構(gòu)建單一知識(shí)點(diǎn)的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，預(yù)測(cè)學(xué)習(xí)者在知識(shí)練習(xí)過(guò)程中，達(dá)到知識(shí)或技能的某個(gè)掌握水平值時(shí)需要作答多少個(gè)問(wèn)題。

2.知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)

基于隱語(yǔ)義模型構(gòu)建由多個(gè)知識(shí)點(diǎn)組成的知識(shí)模塊的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，預(yù)測(cè)學(xué)習(xí)者在知識(shí)模塊練習(xí)過(guò)程中，達(dá)到每個(gè)知識(shí)點(diǎn)的掌握目標(biāo)時(shí)需要作答多少個(gè)問(wèn)題。

(二)研究現(xiàn)狀分析

學(xué)習(xí)預(yù)測(cè)是學(xué)習(xí)分析領(lǐng)域的重要任務(wù)，通過(guò)構(gòu)建預(yù)測(cè)模型，可以提前獲知學(xué)習(xí)者未來(lái)的學(xué)習(xí)結(jié)果，同時(shí)，基于學(xué)習(xí)預(yù)測(cè)結(jié)果，可以對(duì)存在的學(xué)習(xí)風(fēng)險(xiǎn)及時(shí)進(jìn)行干預(yù)(如人為干預(yù)或自適應(yīng)干預(yù))，從而實(shí)現(xiàn)個(gè)性化教學(xué)。有關(guān)學(xué)習(xí)預(yù)測(cè)的已有研究主要圍繞學(xué)業(yè)成績(jī)、學(xué)業(yè)風(fēng)險(xiǎn)以及學(xué)習(xí)時(shí)長(zhǎng)等展開(kāi)。王希哲等[8]通過(guò)從學(xué)習(xí)云空間提取并量化學(xué)習(xí)參與度、活躍度、學(xué)習(xí)態(tài)度、總時(shí)長(zhǎng)、課后作業(yè)等預(yù)測(cè)指標(biāo)，提出基于改進(jìn)隨機(jī)森林算法的學(xué)情預(yù)測(cè)模型，實(shí)現(xiàn)了學(xué)業(yè)成績(jī)預(yù)測(cè)。Pardo等[9]通過(guò)將自我調(diào)節(jié)學(xué)習(xí)技能的數(shù)據(jù)與在線活動(dòng)的可觀察指標(biāo)相結(jié)合，不但提高了學(xué)業(yè)成績(jī)的預(yù)測(cè)能力，還可以更好地解釋為什么一些學(xué)生取得相對(duì)較高的學(xué)業(yè)成績(jī)。舒瑩等[10-12]通過(guò)采集分析在線學(xué)習(xí)系統(tǒng)中的行為數(shù)據(jù)，并基于樸素貝葉斯、多元線性回歸、邏輯回歸等機(jī)器學(xué)習(xí)算法構(gòu)建預(yù)測(cè)模型，實(shí)現(xiàn)了精準(zhǔn)的學(xué)業(yè)風(fēng)險(xiǎn)預(yù)測(cè)。崔煒等[13]通過(guò)采集和分析用戶知識(shí)點(diǎn)的先測(cè)能力值、用戶已完成知識(shí)點(diǎn)的平均用時(shí)、其他學(xué)習(xí)者學(xué)習(xí)知識(shí)點(diǎn)的平均用時(shí)等指標(biāo)，基于線性回歸算法構(gòu)建知識(shí)點(diǎn)學(xué)習(xí)時(shí)長(zhǎng)預(yù)測(cè)模型，實(shí)現(xiàn)了學(xué)習(xí)時(shí)長(zhǎng)預(yù)測(cè)。

上述研究為開(kāi)展自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)研究奠定了基礎(chǔ)，但是，筆者在查閱國(guó)內(nèi)外相關(guān)文獻(xiàn)后發(fā)現(xiàn)，針對(duì)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度的預(yù)測(cè)研究較為匱乏，僅有Knewton公司的Wilson等專門對(duì)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度進(jìn)行過(guò)相關(guān)研究。究其原因，自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)對(duì)自適應(yīng)學(xué)習(xí)系統(tǒng)的實(shí)際應(yīng)用具有重要的支撐作用，而在理論研究方面不如其他幾個(gè)研究對(duì)象有吸引力。Wilson等[14]通過(guò)IRT模型衡量學(xué)習(xí)者在學(xué)習(xí)內(nèi)容時(shí)的掌握水平，采用隱語(yǔ)義模型構(gòu)建單個(gè)知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，預(yù)測(cè)學(xué)習(xí)者在掌握學(xué)習(xí)內(nèi)容之前還需要完成的測(cè)驗(yàn)試題數(shù)量。該方法中，由于自適應(yīng)測(cè)驗(yàn)長(zhǎng)度和其對(duì)應(yīng)的知識(shí)掌握水平都是離散型數(shù)值，測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型中的數(shù)據(jù)分布不均勻，導(dǎo)致模型的預(yù)測(cè)準(zhǔn)確度不高。

綜上所述，國(guó)內(nèi)外學(xué)者在學(xué)習(xí)預(yù)測(cè)分析方面已開(kāi)展了大量研究工作，積累了很多研究成果和經(jīng)驗(yàn)，但仍有亟待改進(jìn)的地方：首先，多數(shù)研究集中在對(duì)學(xué)業(yè)成績(jī)、學(xué)業(yè)風(fēng)險(xiǎn)和學(xué)習(xí)時(shí)長(zhǎng)三個(gè)研究對(duì)象的預(yù)測(cè)，針對(duì)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度的預(yù)測(cè)研究較少；其次，目前已有的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，由于數(shù)據(jù)分布不均勻，導(dǎo)致模型預(yù)測(cè)準(zhǔn)確度不高；最后，多數(shù)研究從理論視角研究預(yù)測(cè)分析，缺少大規(guī)模應(yīng)用場(chǎng)景，用于實(shí)驗(yàn)研究的數(shù)據(jù)量也較少，例如田浩等[15]通過(guò)調(diào)查25篇預(yù)測(cè)分析論文的實(shí)證研究，發(fā)現(xiàn)近一半論文涉及的學(xué)習(xí)者數(shù)量不足200人，超過(guò)1 000名學(xué)習(xí)者的僅有8篇，研究結(jié)論缺少說(shuō)服力。

因此，有必要對(duì)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)開(kāi)展深入研究。筆者擬基于隱語(yǔ)義模型構(gòu)建自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，并依托自主研發(fā)的大學(xué)英語(yǔ)自適應(yīng)學(xué)習(xí)平臺(tái)采集大規(guī)模數(shù)據(jù)進(jìn)行實(shí)驗(yàn)研究，實(shí)現(xiàn)對(duì)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度的精準(zhǔn)預(yù)測(cè)，為自適應(yīng)學(xué)習(xí)的實(shí)現(xiàn)奠定堅(jiān)實(shí)基礎(chǔ)。

三、自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型構(gòu)建

(一)相關(guān)技術(shù)介紹

1.隱語(yǔ)義模型

隱語(yǔ)義模型(latent factor model, LFM)屬于機(jī)器學(xué)習(xí)算法，常被用在推薦系統(tǒng)和文本分類中，在自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)中的應(yīng)用原理[16]如下：

假設(shè)學(xué)習(xí)者為u，pu=(pu1,pu2,…,puF)，即學(xué)習(xí)者u與隱含特征F之間的關(guān)聯(lián)程度，矩陣PU表示全部學(xué)習(xí)者與特征因子間的關(guān)系。qi=(qi1,qi2,…,qiF)表示知識(shí)掌握區(qū)間與特征因子之間的關(guān)聯(lián)度，矩陣QI表示全部知識(shí)點(diǎn)掌握區(qū)間i與特征因子間的關(guān)聯(lián)程度。

自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣R(m,n)表達(dá)式為：

(1)

其次，PU和QI矩陣應(yīng)用最小化損失函數(shù)可得：

(2)

最后，模型通過(guò)數(shù)據(jù)集迭代訓(xùn)練得到矩陣PU和QI后，對(duì)于自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣R(m,n)中的任意一個(gè)殘缺值位置就可以通過(guò)式(1)計(jì)算得出預(yù)測(cè)值。

2.認(rèn)知診斷模型

認(rèn)知診斷模型是一種認(rèn)知評(píng)估手段[18]，在自適應(yīng)測(cè)驗(yàn)領(lǐng)域通常用來(lái)描述學(xué)習(xí)者在作答某一知識(shí)點(diǎn)的題目時(shí)，答題情況與題目結(jié)果的聯(lián)系[19]。將知識(shí)點(diǎn)的個(gè)數(shù)作為劃分依據(jù)，認(rèn)知診斷模型可分為以IRT模型為代表的單維模型和常見(jiàn)的MIRT,DINA,NIDA等多維模型[19]4；依據(jù)時(shí)間維度可以分為靜態(tài)模型(如PMF，F(xiàn)uzzyCDM，NeuralCD等)和動(dòng)態(tài)模型(如BKT，PFA，DKT等)。在自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)中，使用基于項(xiàng)目反映理論的知識(shí)點(diǎn)掌握度計(jì)算模型[20]，其屬于單維、動(dòng)態(tài)模型，具體如式(3)所示：

(3)

其中，M表示學(xué)習(xí)者對(duì)某個(gè)知識(shí)點(diǎn)的掌握度，取值范圍在[0,1]之間。N代表學(xué)習(xí)者所作答題目的數(shù)量，取值為常數(shù)8，e表示學(xué)習(xí)者的努力值，預(yù)設(shè)為常數(shù)(如e=0.3)，A為理想狀態(tài)(學(xué)生在某一知識(shí)點(diǎn)下作答的題目全部正確)下計(jì)算出的學(xué)習(xí)者在這一知識(shí)點(diǎn)可達(dá)到的最大能力值[20]62，θ為采用項(xiàng)目反應(yīng)理論的三參數(shù)Logistic模型計(jì)算得到的學(xué)習(xí)者能力值[16]2。

(二)知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型構(gòu)建

表1 知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣

在構(gòu)造自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣時(shí)，矩陣的列數(shù)不宜過(guò)大，否則矩陣會(huì)比較稀疏。學(xué)習(xí)者在練習(xí)過(guò)程中的知識(shí)掌握水平通過(guò)知識(shí)點(diǎn)掌握度計(jì)算模型[20]62獲得。

由于學(xué)習(xí)者完成的測(cè)驗(yàn)長(zhǎng)度和其對(duì)應(yīng)獲得的知識(shí)掌握水平都是離散型數(shù)值，平均切分知識(shí)點(diǎn)掌握度區(qū)間會(huì)導(dǎo)致測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣中的值分布不均勻，這對(duì)模型的預(yù)測(cè)準(zhǔn)確度影響很大，本文的實(shí)驗(yàn)環(huán)節(jié)也證明了預(yù)測(cè)準(zhǔn)確度不高。為了解決這一問(wèn)題，通過(guò)對(duì)知識(shí)點(diǎn)掌握度區(qū)間窗口進(jìn)行均值池化來(lái)優(yōu)化預(yù)測(cè)矩陣，解決預(yù)測(cè)矩陣中值分布不均勻的問(wèn)題，提高模型的預(yù)測(cè)準(zhǔn)確度。模型的優(yōu)化過(guò)程如下：首先，將某個(gè)知識(shí)點(diǎn)下所有學(xué)習(xí)者的所有自適應(yīng)測(cè)驗(yàn)對(duì)應(yīng)的知識(shí)點(diǎn)掌握度進(jìn)行排序；然后，按照每個(gè)掌握度區(qū)間窗口內(nèi)的知識(shí)點(diǎn)掌握度值的數(shù)量相等的原則，將取值范圍為[0,1]的知識(shí)點(diǎn)掌握度劃分為n份，每個(gè)掌握度區(qū)間的大小不相等；接著，計(jì)算每個(gè)學(xué)習(xí)者在每個(gè)掌握度區(qū)間的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度；最后，構(gòu)造出新的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣，矩陣R(m,n)如下所示：

(4)

式中，矩陣行m表示學(xué)習(xí)者，列n表示新的知識(shí)點(diǎn)掌握度區(qū)間，ruj表示學(xué)習(xí)者u達(dá)到知識(shí)點(diǎn)掌握度區(qū)間j時(shí)完成的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度。

然后，構(gòu)造訓(xùn)練數(shù)據(jù)集，對(duì)優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)矩陣進(jìn)行模型訓(xùn)練，得到矩陣PU和QI。

最后，通過(guò)式(1)對(duì)R(m,n)中的任意一個(gè)殘缺值進(jìn)行精準(zhǔn)預(yù)測(cè)。

(三)知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型構(gòu)建

知識(shí)模塊是由多個(gè)知識(shí)點(diǎn)組成的學(xué)習(xí)單元，知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣R(m,n)的構(gòu)建見(jiàn)表2，矩陣的行U表示學(xué)習(xí)者，列K表示知識(shí)點(diǎn)，矩陣中的數(shù)值表示學(xué)習(xí)者達(dá)到某個(gè)知識(shí)點(diǎn)的掌握目標(biāo)時(shí)完成的測(cè)驗(yàn)長(zhǎng)度，矩陣中值空缺位置表示學(xué)習(xí)者沒(méi)有達(dá)到該知識(shí)點(diǎn)的掌握目標(biāo)。因此，得到一個(gè)高度殘缺的知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣。接著，構(gòu)造訓(xùn)練數(shù)據(jù)集，對(duì)知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型進(jìn)行訓(xùn)練，得到矩陣PU和QI，最后，通過(guò)式(1)對(duì)R(m,n)中的任意一個(gè)殘缺值進(jìn)行精準(zhǔn)預(yù)測(cè)。

表2 知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)矩陣

四、實(shí)驗(yàn)過(guò)程與結(jié)果分析

(一)數(shù)據(jù)集

為了使實(shí)驗(yàn)結(jié)果準(zhǔn)確和可信，實(shí)驗(yàn)選擇在自主研發(fā)的大學(xué)英語(yǔ)自適應(yīng)學(xué)習(xí)平臺(tái)采集大規(guī)模數(shù)據(jù)，實(shí)驗(yàn)的數(shù)據(jù)來(lái)自平臺(tái)中的北京成人本科學(xué)士學(xué)位英語(yǔ)課程。

1.知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)數(shù)據(jù)集

數(shù)據(jù)來(lái)自2 454個(gè)北京成人本科學(xué)士學(xué)位英語(yǔ)課程的學(xué)習(xí)者對(duì)23個(gè)語(yǔ)法知識(shí)模塊進(jìn)行學(xué)習(xí)所產(chǎn)生的學(xué)習(xí)記錄。數(shù)據(jù)集按照8∶1∶1的比例切分，分別用于模型的訓(xùn)練、驗(yàn)證和測(cè)試。規(guī)定user_id表示學(xué)習(xí)者編號(hào)，knowlege_id表示知識(shí)點(diǎn)編號(hào)，knowlege_name表示知識(shí)點(diǎn)名稱， praxis_number表示達(dá)到該知識(shí)點(diǎn)學(xué)習(xí)目標(biāo)需要完成的問(wèn)題數(shù)量。

2.知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)數(shù)據(jù)集

數(shù)據(jù)來(lái)自北京成人本科學(xué)士學(xué)位英語(yǔ)課程的四個(gè)語(yǔ)法知識(shí)點(diǎn)的學(xué)習(xí)記錄。其中，主謂一致數(shù)據(jù)集包含了3 758個(gè)學(xué)習(xí)者對(duì)24個(gè)問(wèn)題的學(xué)習(xí)記錄，代詞數(shù)據(jù)集包含了3 321個(gè)學(xué)習(xí)者對(duì)27個(gè)問(wèn)題的學(xué)習(xí)記錄，連詞數(shù)據(jù)集包含了6 505個(gè)學(xué)習(xí)者對(duì)21個(gè)問(wèn)題的學(xué)習(xí)記錄，名詞性從句數(shù)據(jù)集包含了2 627個(gè)學(xué)習(xí)者對(duì)19個(gè)問(wèn)題的學(xué)習(xí)記錄。每個(gè)數(shù)據(jù)集都按照8∶1∶1的比例切分，分別用于模型的訓(xùn)練、驗(yàn)證和測(cè)試。數(shù)據(jù)集中，user_id表示學(xué)習(xí)者編號(hào)，knowlege_id表示知識(shí)點(diǎn)編號(hào)，knowlege_name表示知識(shí)點(diǎn)名稱，knowlege_proficiency表示學(xué)習(xí)者對(duì)知識(shí)點(diǎn)的掌握度，praxis_number表示達(dá)到該知識(shí)點(diǎn)掌握度需要完成的問(wèn)題數(shù)量。

(二)實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

由于自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型屬于回歸模型，實(shí)驗(yàn)使用均方根誤差(root mean square error, RMSE)、平均絕對(duì)誤差(mean absolute error, MAE)和平均絕對(duì)百分誤差(mean absolute percentage error, MAPE)三種常用誤差評(píng)價(jià)指標(biāo)來(lái)衡量模型的預(yù)測(cè)準(zhǔn)確度。預(yù)測(cè)準(zhǔn)確度是指預(yù)測(cè)值和實(shí)際值之間的相近程度，偏差值越低，說(shuō)明模型的預(yù)測(cè)準(zhǔn)確度越高。RMSE取值范圍[0,+∞)，0表示最優(yōu)模型，即預(yù)測(cè)值與真實(shí)值完全一致，誤差越大，RMSE的取值越大[21]。MAE取值范圍[0,+∞)，0表示最優(yōu)模型，即預(yù)測(cè)值與真實(shí)值完全一致，誤差越大，MAE的值越大[21]120。MAPE取值范圍[0,+∞)，0表示最優(yōu)模型，大于1表示劣質(zhì)模型，通常認(rèn)為MAPE小于0.1時(shí)，模型較優(yōu)且預(yù)測(cè)準(zhǔn)確度也較高。

(三)實(shí)驗(yàn)參數(shù)設(shè)置

在實(shí)驗(yàn)過(guò)程中，知識(shí)點(diǎn)掌握度區(qū)間窗口n設(shè)置為10個(gè)，使用隨機(jī)梯度下降法訓(xùn)練，模型有四個(gè)主要參數(shù)需要反復(fù)調(diào)優(yōu)，以獲得最佳實(shí)驗(yàn)結(jié)果。參數(shù)F表示隱含特征數(shù)量，參數(shù)a表示學(xué)習(xí)率，參數(shù)λ表示正則化參數(shù)，參數(shù)ITER_N表示迭代次數(shù)。通過(guò)多輪實(shí)驗(yàn)發(fā)現(xiàn)不同參數(shù)設(shè)置對(duì)RMSE，MAE和MAPE指標(biāo)的影響規(guī)律，具體如下：

1.參數(shù)F對(duì)預(yù)測(cè)準(zhǔn)確度的影響

預(yù)測(cè)模型在其他參數(shù)不變的情況下，F(xiàn)取值越大，RMSE，MAE和MAPE指標(biāo)的值越小，預(yù)測(cè)準(zhǔn)確度越高。但是，模型的收斂速度越慢。如圖1(a)所示，在主謂一致自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)原模型中，當(dāng)a取值0.000 1，λ取值0.002，ITER_N取值300時(shí)，F(xiàn)取值從5到30，當(dāng)取值為30時(shí)，預(yù)測(cè)準(zhǔn)確度達(dá)到最高。

2.參數(shù)ITER_N對(duì)預(yù)測(cè)準(zhǔn)確度的影響

預(yù)測(cè)模型在其他參數(shù)不變的情況下，ITER_N取值越大，而RMSE，MAE和MAPE指標(biāo)的值不一定越小，當(dāng)ITER_N取值為某一中間值時(shí)才會(huì)獲得最好的預(yù)測(cè)準(zhǔn)確度。如圖1(b)所示，在連詞自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)優(yōu)化模型中，當(dāng)a取值0.000 1，λ取值0.002，F(xiàn)取值8時(shí)，ITER_N取值從100到400，當(dāng)取值為350時(shí)，預(yù)測(cè)準(zhǔn)確度達(dá)到最高。

3.參數(shù)λ對(duì)預(yù)測(cè)準(zhǔn)確度的影響

預(yù)測(cè)模型在其他參數(shù)不變的情況下，λ取值越大，而RMSE、MAE和MAPE指標(biāo)的值不一定越小，當(dāng)λ取值為某一中間值時(shí)才會(huì)獲得最好的預(yù)測(cè)準(zhǔn)確度。如圖1(c)所示，在知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型中，當(dāng)ITER_N取值100，a取值0.000 1，F(xiàn)取值10時(shí)，λ取值從0.001到0.005，當(dāng)取值為0.004時(shí)，預(yù)測(cè)準(zhǔn)確度達(dá)到最高。

4.參數(shù)a對(duì)預(yù)測(cè)準(zhǔn)確度的影響

預(yù)測(cè)模型在其他參數(shù)不變的情況下，a值越大，而RMSE，MAE和MAPE指標(biāo)的值不一定越小，當(dāng)a取值為某一中間值時(shí)才會(huì)獲得最好的預(yù)測(cè)準(zhǔn)確度。如圖1(d)所示，在知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型中，當(dāng)ITER_N取值200，λ取值0.003，F(xiàn)取值20時(shí)，a取值從0.000 03到0.000 1，當(dāng)取值為0.000 08時(shí)，預(yù)測(cè)準(zhǔn)確度達(dá)到最高。

圖1 各個(gè)參數(shù)對(duì)預(yù)測(cè)準(zhǔn)確度的影響

此外，實(shí)驗(yàn)表明，四個(gè)參數(shù)相互之間也有影響，F(xiàn)值越大，a越小，要獲得較高預(yù)測(cè)準(zhǔn)確度就需要更大的ITER_N值和更多的模型訓(xùn)練時(shí)間。所以，需要通過(guò)多輪實(shí)驗(yàn)，調(diào)整參數(shù)設(shè)置，才可以獲得兼顧模型預(yù)測(cè)精確度和訓(xùn)練時(shí)間的最佳模型。

(四)實(shí)驗(yàn)結(jié)果分析

模型訓(xùn)練完成后，模型的預(yù)測(cè)準(zhǔn)確度通過(guò)RMSE，MAE和MAPE三個(gè)評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)。

1.知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度較高

實(shí)驗(yàn)結(jié)果表明，經(jīng)過(guò)多輪參數(shù)優(yōu)化調(diào)整，知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型的預(yù)測(cè)精確度較高，且模型訓(xùn)練時(shí)間較短。如圖2和表3所示，當(dāng)參數(shù)組合為P11時(shí)，即參數(shù)F取值20，a取值0.000 08，λ取值0.003時(shí)，ITER_N取值200，評(píng)價(jià)指標(biāo)RMSE值為1.12，MAE值為0.375，MAPE值為5.3%，這三個(gè)指標(biāo)的值都非常小，說(shuō)明預(yù)測(cè)值與真實(shí)值非常接近。其中，指標(biāo)MAPE值遠(yuǎn)小于10%，這說(shuō)明模型的預(yù)測(cè)準(zhǔn)確度較高，屬于優(yōu)質(zhì)模型。同時(shí)，由于參數(shù)F和ITER_N的取值不高，所以，模型的訓(xùn)練時(shí)間也比較短。

圖2 不同參數(shù)組合下知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)準(zhǔn)確度比較

不同參數(shù)組合下RMSE，MAE和MAPE指標(biāo)比較見(jiàn)表3。

表3 不同參數(shù)組合下RMSE、MAE和MAPE指標(biāo)比較

2.優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，預(yù)測(cè)準(zhǔn)確度大幅提高

實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型比原模型的預(yù)測(cè)準(zhǔn)確度有大幅度提高。如圖3(a)所示，優(yōu)化后的主謂一致自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，RMSE值降低了59.18%,MAE值降低了60.78%,MAPE值降低了33.33%；如圖3(b)所示，優(yōu)化后的代詞自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，RMSE值降低了36.06%，MAE值降低了47.09%，MAPE值降低了34.69%；如圖3(c)所示，優(yōu)化后的連詞自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，RMSE值降低了77.13%，MAE值降低了82.77%，MAPE值降低了35.19%；如圖3(d)所示，優(yōu)化后的名詞性從句自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，RMSE值降低了43.9%，MAE值降低了53.11%，MAPE值降低了16.67%。

圖3 四個(gè)語(yǔ)法知識(shí)點(diǎn)預(yù)測(cè)模型優(yōu)化前后預(yù)測(cè)準(zhǔn)確度比較

3.優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，模型訓(xùn)練時(shí)間大幅減少

實(shí)驗(yàn)結(jié)果表明，優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型比原模型的訓(xùn)練時(shí)間大幅度較少。如表4所示，優(yōu)化后的主謂一致自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，參數(shù)F值減少了66.67%，參數(shù)ITER_N值減少了12.5%；優(yōu)化后的代詞自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，參數(shù)F值減少了66.67%，參數(shù)ITER_N值減少了14.29%；優(yōu)化后的連詞自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，參數(shù)F值減少了66.67%，參數(shù)ITER_N值減少了33.33%；優(yōu)化后的名詞性從句自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，參數(shù)F值減少了66.67%，參數(shù)ITER_N值減少了25%。由于隱含特征數(shù)量F和迭代次數(shù)ITER_N決定了模型的訓(xùn)練時(shí)間，所以，優(yōu)化后的模型訓(xùn)練速度比原模型要快很多。

表4 模型優(yōu)化前后的參數(shù)和評(píng)價(jià)指標(biāo)比較

五、結(jié)論與建議

本文基于隱語(yǔ)義模型提出了知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，并對(duì)已有的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型進(jìn)行了優(yōu)化。結(jié)果表明，知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度較高，完全能滿足實(shí)際應(yīng)用需要；優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，預(yù)測(cè)準(zhǔn)確度大幅提高；優(yōu)化后的知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型與原模型相比，模型訓(xùn)練時(shí)間大幅減少。模型能夠以優(yōu)異性能準(zhǔn)確預(yù)測(cè)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度，研究成果對(duì)自適應(yīng)學(xué)習(xí)系統(tǒng)的實(shí)現(xiàn)有重要意義。

基于上述研究結(jié)論，提出三個(gè)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)在自適應(yīng)學(xué)習(xí)中的應(yīng)用建議。首先，在針對(duì)某一知識(shí)點(diǎn)的學(xué)習(xí)中，學(xué)習(xí)者可以借助自適應(yīng)長(zhǎng)度預(yù)測(cè)直觀感受自身的學(xué)習(xí)進(jìn)程的快慢，從而減少學(xué)習(xí)者的心理抗拒，當(dāng)自適應(yīng)學(xué)習(xí)系統(tǒng)通過(guò)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)感知到學(xué)習(xí)停滯不前時(shí)，會(huì)及時(shí)為學(xué)習(xí)者提供必要的推薦干預(yù)；其次，在知識(shí)模塊學(xué)習(xí)過(guò)程中，通過(guò)知識(shí)模塊自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)，使學(xué)習(xí)者在開(kāi)始學(xué)習(xí)之前就能知道掌握這些知識(shí)需要完成多少問(wèn)題或作業(yè)，若將預(yù)測(cè)結(jié)果與知識(shí)圖譜的學(xué)習(xí)路徑相結(jié)合，可以幫助學(xué)習(xí)者在正式學(xué)習(xí)開(kāi)啟前有計(jì)劃地對(duì)自身學(xué)習(xí)進(jìn)行規(guī)劃，進(jìn)而提升學(xué)習(xí)效率；最后，在自適應(yīng)學(xué)習(xí)中，基于自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)，自適應(yīng)學(xué)習(xí)系統(tǒng)會(huì)生成最優(yōu)的個(gè)性化推薦策略，例如，當(dāng)考試臨近時(shí)，通過(guò)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)，自適應(yīng)學(xué)習(xí)系統(tǒng)可能戰(zhàn)略放棄推薦難度較大且測(cè)驗(yàn)較長(zhǎng)的知識(shí)點(diǎn)，保證學(xué)習(xí)者能夠在有限的時(shí)間內(nèi)掌握最多的知識(shí)點(diǎn)，在考試中獲得最好的成績(jī)。

此外，本文存在一定局限性，基于隱語(yǔ)義模型的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型也存在一些缺點(diǎn)。首先，由于模型的訓(xùn)練時(shí)間將隨訓(xùn)練數(shù)據(jù)量的增加而增加，故模型不適合做實(shí)時(shí)預(yù)測(cè)，所以，只能隔一段時(shí)間訓(xùn)練一次模型，無(wú)法實(shí)現(xiàn)真正的實(shí)時(shí)預(yù)測(cè)；其次，由于模型中使用的隱含因子與結(jié)果間無(wú)明顯聯(lián)系，故模型不具備較好的解釋性；最后，模型的“冷啟動(dòng)”問(wèn)題，如有新知識(shí)點(diǎn)或者新知識(shí)模塊加入，由于沒(méi)有歷史測(cè)驗(yàn)數(shù)據(jù)，所以，模型無(wú)法訓(xùn)練和預(yù)測(cè)。

未來(lái)，將重點(diǎn)在兩個(gè)方面展開(kāi)進(jìn)一步的研究。一是面向自適應(yīng)學(xué)習(xí)系統(tǒng)中的基準(zhǔn)評(píng)估應(yīng)用場(chǎng)景，研究基于隱語(yǔ)義模型和多維動(dòng)態(tài)認(rèn)知診斷模型的多維知識(shí)點(diǎn)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)；二是研究基于知識(shí)的自適應(yīng)測(cè)驗(yàn)長(zhǎng)度預(yù)測(cè)模型，根據(jù)學(xué)習(xí)者和領(lǐng)域知識(shí)的屬性相似性來(lái)預(yù)測(cè)自適應(yīng)測(cè)驗(yàn)長(zhǎng)度，解決現(xiàn)有模型的“冷啟動(dòng)”問(wèn)題。