大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)中診斷性評(píng)價(jià)模型研究①

吳 濤,張 暉,吳 敏

(中國(guó)科學(xué)技術(shù)大學(xué) 現(xiàn)代教育技術(shù)中心,合肥 230026)

在傳統(tǒng)的教學(xué)活動(dòng)中,教師會(huì)根據(jù)練習(xí)測(cè)試結(jié)果和學(xué)習(xí)者在課堂內(nèi)外的具體表現(xiàn),對(duì)學(xué)習(xí)者進(jìn)行定量和定性的評(píng)價(jià),學(xué)習(xí)者能夠在教師的幫助下改善自己的學(xué)習(xí)過程、糾正學(xué)習(xí)中的偏差[1].在網(wǎng)絡(luò)在線學(xué)習(xí)系統(tǒng)中,學(xué)習(xí)者在進(jìn)行學(xué)習(xí)的同時(shí),需要自行設(shè)定學(xué)習(xí)目標(biāo)、選擇學(xué)習(xí)策略、調(diào)整學(xué)習(xí)步調(diào)[2].

為了幫助越來(lái)越多的大學(xué)生備考大學(xué)英語(yǔ)四級(jí)考試,許多高校和企業(yè)推出了很多在線英語(yǔ)練習(xí)系統(tǒng).但試用后不難發(fā)現(xiàn),這些系統(tǒng)的使用流程仍然局限于做題和查看解答的傳統(tǒng)模式,提供給學(xué)習(xí)者的反饋信息也僅僅停留在得分情況、試題解答和題目分析上.這樣的反饋信息缺乏針對(duì)性和指向性,既不能體現(xiàn)出人工智能時(shí)代大數(shù)據(jù)的優(yōu)勢(shì),更無(wú)法為學(xué)習(xí)者提供客觀的診斷性評(píng)價(jià)和有效的學(xué)習(xí)建議,這必然會(huì)對(duì)學(xué)習(xí)效果造成一定的偏差,學(xué)習(xí)的效率也不是很高.

在線學(xué)習(xí)平臺(tái)應(yīng)利用實(shí)際使用中收集的大量數(shù)據(jù)來(lái)進(jìn)行數(shù)據(jù)分析和理解,揭示數(shù)據(jù)內(nèi)部蘊(yùn)藏的信息,才能彌補(bǔ)個(gè)人經(jīng)驗(yàn)的不足和系統(tǒng)的分析缺陷[3].本文利用系統(tǒng)使用過程中收集的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘,從學(xué)習(xí)狀態(tài)、題型關(guān)聯(lián)分析、知識(shí)點(diǎn)關(guān)聯(lián)分析和四級(jí)成績(jī)預(yù)測(cè)這四個(gè)角度分別建模,最終合并得到了診斷性評(píng)價(jià)模型.

本文組織結(jié)構(gòu)如下,第1節(jié)對(duì)大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)進(jìn)行了簡(jiǎn)介,第2節(jié)介紹診斷性評(píng)價(jià)模型的總體設(shè)計(jì),第3節(jié)介紹了學(xué)習(xí)狀態(tài)評(píng)價(jià)、題型關(guān)聯(lián)分析、知識(shí)點(diǎn)關(guān)聯(lián)分析和四級(jí)成績(jī)預(yù)測(cè)這四個(gè)模型的構(gòu)建和合并后的診斷性評(píng)價(jià)模型以及診斷性評(píng)價(jià)模型在系統(tǒng)中的實(shí)現(xiàn),第4節(jié)給出診斷性評(píng)價(jià)模型在某高校的實(shí)驗(yàn)結(jié)果并進(jìn)行相關(guān)分析,最后進(jìn)行總結(jié).

1 大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)

大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)是一個(gè)以大學(xué)英語(yǔ)四級(jí)考試為背景、向?qū)W習(xí)者提供個(gè)性化的指導(dǎo)建議、幫助學(xué)習(xí)者提升英語(yǔ)水平的在線學(xué)習(xí)系統(tǒng).在對(duì)英語(yǔ)考試知識(shí)點(diǎn)分類和對(duì)題目知識(shí)點(diǎn)賦值的基礎(chǔ)上,該系統(tǒng)向?qū)W習(xí)者提供多種練習(xí)模式,能夠根據(jù)學(xué)習(xí)者以往的練習(xí)情況指出其弱項(xiàng)知識(shí)點(diǎn),使得學(xué)習(xí)者既可以充分享受網(wǎng)絡(luò)教育帶來(lái)的便捷,又可以根據(jù)自身特點(diǎn)接受個(gè)性化指導(dǎo),針對(duì)性地進(jìn)行學(xué)習(xí),從而高效地提高英語(yǔ)四級(jí)成績(jī).

系統(tǒng)模塊按照用戶角色分為學(xué)生模塊、教師模塊和管理員模塊三個(gè)部分,其中學(xué)生模塊包括需完成作業(yè)、自主練習(xí)模式以及直觀化的統(tǒng)計(jì)結(jié)果等部分; 教師模塊包括自主出題、布置作業(yè)、成績(jī)管理和學(xué)生管理等功能; 管理員模塊則包含教師管理和班級(jí)管理等功能.

從上述描述可以看出,大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)中對(duì)于學(xué)生模塊的設(shè)計(jì)仍是傳統(tǒng)的做題和查看分?jǐn)?shù)統(tǒng)計(jì)的功能,提供給學(xué)習(xí)者的反饋信息只有統(tǒng)計(jì)和試題解答等,這導(dǎo)致了學(xué)習(xí)者缺乏詳細(xì)的后期評(píng)估、準(zhǔn)確的學(xué)習(xí)指導(dǎo)和精準(zhǔn)的試題推薦來(lái)幫助他們快速提高成績(jī)并且通過四級(jí)考試,所以利用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)等技術(shù)對(duì)診斷性評(píng)價(jià)模型進(jìn)行研究和實(shí)現(xiàn)勢(shì)在必行.

2 診斷性評(píng)價(jià)模型的設(shè)計(jì)

對(duì)學(xué)習(xí)者進(jìn)行的教育評(píng)價(jià)分為形成性評(píng)價(jià)和總結(jié)性評(píng)價(jià).形成性評(píng)價(jià)是通過診斷學(xué)習(xí)者的學(xué)習(xí)情況、學(xué)習(xí)過程中存在的問題,為學(xué)習(xí)者正在進(jìn)行的學(xué)習(xí)活動(dòng)提供反饋信息,以提高正在進(jìn)行的學(xué)習(xí)活動(dòng)的質(zhì)量;總結(jié)性評(píng)價(jià)則是對(duì)學(xué)習(xí)活動(dòng)效果做出價(jià)值判斷

本文所探討的診斷性評(píng)價(jià),是幫助學(xué)習(xí)者在其自主學(xué)習(xí)的過程中動(dòng)態(tài)診斷其學(xué)習(xí)情況和學(xué)習(xí)障礙,并據(jù)此優(yōu)化學(xué)習(xí)過程的一種反饋信息,因此診斷性評(píng)價(jià)更多地屬于形成性評(píng)價(jià).

對(duì)于自主學(xué)習(xí)者來(lái)說(shuō),診斷性評(píng)價(jià)可以幫助他們調(diào)整學(xué)習(xí)策略,改善學(xué)習(xí)方法.因此,診斷性評(píng)價(jià)作為完善學(xué)習(xí)者學(xué)習(xí)過程的評(píng)價(jià),要對(duì)學(xué)習(xí)者在學(xué)習(xí)過程中出現(xiàn)的問題和學(xué)習(xí)障礙做出反饋,從而輔助學(xué)習(xí)者改善學(xué)習(xí)策略和調(diào)整學(xué)習(xí)步調(diào).

為了給自主學(xué)習(xí)的學(xué)習(xí)者提供有效的幫助,診斷性評(píng)價(jià)應(yīng)當(dāng)具備以下三個(gè)方面的作用:

(1) 診斷

診斷性評(píng)價(jià),顧名思義需要有診斷的功能.評(píng)價(jià)不僅要對(duì)學(xué)習(xí)者的能力、狀態(tài)做出鑒定,幫助學(xué)習(xí)者全面了解自身的學(xué)習(xí)情況,更應(yīng)當(dāng)明確找到學(xué)習(xí)者在學(xué)習(xí)過程中所面臨的問題和存在的缺點(diǎn).學(xué)習(xí)者只有在客觀了解自身學(xué)習(xí)狀態(tài)、明確學(xué)習(xí)中的漏洞之后,才能高效地提高學(xué)習(xí)效率.

(2) 調(diào)節(jié)

診斷性評(píng)價(jià)作為一種學(xué)習(xí)活動(dòng)的反饋信息,應(yīng)當(dāng)注重學(xué)習(xí)者的個(gè)性化調(diào)節(jié).網(wǎng)絡(luò)教育應(yīng)該因材施教,根據(jù)不同學(xué)習(xí)者的不同特性提供個(gè)性化的診斷建議,這樣才有利于學(xué)習(xí)者更加有效地自主調(diào)控學(xué)習(xí)策略,改進(jìn)學(xué)習(xí)者的個(gè)體學(xué)習(xí)方法,更適應(yīng)學(xué)習(xí)者自身的發(fā)展.

(3) 預(yù)警

在傳統(tǒng)教學(xué)中,教師通過作業(yè)和練習(xí)測(cè)試查看學(xué)習(xí)者的學(xué)習(xí)狀態(tài),但由于傳統(tǒng)班級(jí)人數(shù)眾多等原因,教師往往無(wú)法關(guān)注所有同學(xué)的學(xué)習(xí)狀態(tài),從而導(dǎo)致部分學(xué)習(xí)者的成績(jī)下滑.診斷性評(píng)價(jià)模型通過查看學(xué)習(xí)者練習(xí)數(shù)據(jù),可以動(dòng)態(tài)診斷其近期學(xué)習(xí)狀態(tài)和學(xué)習(xí)障礙,從而做到預(yù)警的功能,時(shí)刻督促學(xué)習(xí)者查漏補(bǔ)缺.

本文提出的診斷性評(píng)價(jià)模型是一種旨在以系統(tǒng)自動(dòng)評(píng)價(jià)的形式診斷學(xué)習(xí)者的學(xué)習(xí)情況和學(xué)習(xí)障礙、指導(dǎo)學(xué)習(xí)者的學(xué)習(xí)策略、激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣的動(dòng)態(tài)評(píng)價(jià)模型.據(jù)此,診斷性評(píng)價(jià)的框架如圖1所示.

圖1 診斷性評(píng)價(jià)的框架

具體的操作流程如下:

(1) 統(tǒng)計(jì)學(xué)習(xí)者的練習(xí)信息,并進(jìn)行分析計(jì)算

從系統(tǒng)現(xiàn)有的數(shù)據(jù)庫(kù)中提取學(xué)習(xí)者的測(cè)試、練習(xí)信息,經(jīng)過處理后使用診斷性評(píng)價(jià)模型進(jìn)行分析計(jì)算.

(2) 分析評(píng)價(jià)學(xué)習(xí)者的整體學(xué)習(xí)狀態(tài)

從學(xué)習(xí)者的知識(shí)點(diǎn)得分、題型得分等方面出發(fā),以學(xué)習(xí)者的角度對(duì)練習(xí)測(cè)試信息進(jìn)行分析,從得分率和穩(wěn)定程度兩個(gè)方面來(lái)評(píng)定學(xué)習(xí)者的學(xué)習(xí)狀態(tài).通過對(duì)學(xué)習(xí)者學(xué)習(xí)狀態(tài)的公正判斷,系統(tǒng)將對(duì)狀態(tài)不穩(wěn)定、學(xué)習(xí)進(jìn)度較落后的學(xué)習(xí)者進(jìn)行預(yù)警,從而激發(fā)學(xué)習(xí)者的學(xué)習(xí)動(dòng)力.

(3) 診斷學(xué)習(xí)者的知識(shí)點(diǎn)和題型障礙

使用知識(shí)點(diǎn)關(guān)聯(lián)規(guī)則表和題型關(guān)聯(lián)規(guī)則表分別對(duì)學(xué)習(xí)者的知識(shí)點(diǎn)和題型進(jìn)行關(guān)聯(lián)分析,推斷學(xué)習(xí)者的知識(shí)點(diǎn)和題型障礙,幫助學(xué)習(xí)者找到自身的缺陷,快速有效地提高成績(jī).

(4) 預(yù)測(cè)學(xué)習(xí)者的四級(jí)成績(jī)

對(duì)學(xué)習(xí)者的測(cè)試、練習(xí)信息進(jìn)行特征提取,使用隨機(jī)森林和多元線性回歸兩個(gè)模型并加以融合構(gòu)建得到四級(jí)成績(jī)預(yù)測(cè)模型,讓學(xué)習(xí)者了解自身的英語(yǔ)水平,督促學(xué)習(xí)者練習(xí)試題.

3 診斷性評(píng)價(jià)模型的構(gòu)建和實(shí)現(xiàn)

根據(jù)第二節(jié)的設(shè)計(jì),需要對(duì)學(xué)習(xí)狀態(tài)評(píng)價(jià)模型、知識(shí)點(diǎn)關(guān)聯(lián)分析、題型關(guān)聯(lián)分析和四級(jí)成績(jī)預(yù)測(cè)模型分別進(jìn)行研究和設(shè)計(jì),最后整合成診斷性評(píng)價(jià)模型并在大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)中進(jìn)行了實(shí)現(xiàn).

3.1 學(xué)習(xí)狀態(tài)評(píng)價(jià)模型

學(xué)習(xí)者學(xué)習(xí)狀態(tài)的評(píng)價(jià),應(yīng)從學(xué)習(xí)者的能力水平和穩(wěn)定程度兩個(gè)維度出發(fā),對(duì)學(xué)習(xí)狀態(tài)進(jìn)行評(píng)定.

Student-Problem Chart (S-P表)是藤田(Takahiro Sato)教授根據(jù)統(tǒng)計(jì)學(xué)提出的一種分析方法,它將學(xué)生和問題相對(duì)應(yīng)并以視覺化的圖表進(jìn)行統(tǒng)計(jì)分析,對(duì)學(xué)習(xí)者給予全面的評(píng)價(jià)[4].在本文中將使用S-P表分析法來(lái)構(gòu)建學(xué)習(xí)者學(xué)習(xí)狀態(tài)評(píng)價(jià)算法.其中使用注意系數(shù)來(lái)評(píng)價(jià)學(xué)習(xí)者的學(xué)習(xí)穩(wěn)定程度,知識(shí)點(diǎn)題型得分率來(lái)評(píng)價(jià)學(xué)習(xí)者的掌握情況.

學(xué)習(xí)狀態(tài)評(píng)價(jià)算法主要解決學(xué)習(xí)者知識(shí)點(diǎn)題型掌握情況和注意系數(shù),并且判定學(xué)習(xí)者的學(xué)習(xí)類型,為學(xué)習(xí)者提供針對(duì)性個(gè)性化的指導(dǎo).具體算法步驟如下:

(1) 讀取學(xué)習(xí)者的知識(shí)點(diǎn)和題型得分率

從數(shù)據(jù)庫(kù)中讀取學(xué)習(xí)者的知識(shí)點(diǎn)和題型得分率,并以矩陣的形式存儲(chǔ).設(shè)有N位學(xué)習(xí)者,每位學(xué)習(xí)者的知識(shí)點(diǎn)和題型得分率為M項(xiàng),矩陣中的元素xij表示第i名學(xué)習(xí)者的得分率j大小,矩陣的公式如下:

(2) 處理連續(xù)數(shù)據(jù)

得分率是區(qū)間在[0,1]之間的小數(shù),而學(xué)習(xí)狀態(tài)評(píng)價(jià)模型只能對(duì)二元離散數(shù)據(jù)進(jìn)行操作,因此需要對(duì)學(xué)習(xí)者的得分率進(jìn)行二元離散處理.

(3) S-P表行列計(jì)算

計(jì)算學(xué)習(xí)者i的得分和xi,知識(shí)點(diǎn)和題型的學(xué)習(xí)者得分和xj.

(4) 計(jì)算學(xué)習(xí)者的注意系數(shù)

設(shè)yij是第i名學(xué)習(xí)者的得分率j的數(shù)值,yi是學(xué)習(xí)者i的總得分,yj是知識(shí)點(diǎn)題型j的答對(duì)數(shù),μ是試題的平均答對(duì)數(shù),則學(xué)習(xí)者注意系數(shù)CSi計(jì)算公式如下:

(5) 計(jì)算學(xué)習(xí)者的知識(shí)點(diǎn)和題型掌握情況

學(xué)習(xí)者的知識(shí)點(diǎn)題型掌握情況的計(jì)算公式如下:

(6) 輸出結(jié)果

輸出學(xué)習(xí)者的知識(shí)點(diǎn)題型得分率、注意系數(shù).

以上就是學(xué)習(xí)狀態(tài)評(píng)價(jià)模型的操作流程.

3.2 題型關(guān)聯(lián)分析和知識(shí)點(diǎn)關(guān)聯(lián)分析

知識(shí)點(diǎn)和知識(shí)點(diǎn)之間存在一定的關(guān)聯(lián),即某種或某幾種知識(shí)點(diǎn)的得分率高低可能會(huì)和其他知識(shí)點(diǎn)的得分率高低有所關(guān)聯(lián),所以需要對(duì)知識(shí)點(diǎn)的關(guān)聯(lián)分析進(jìn)行探究.相應(yīng)的,對(duì)于題型的研究也是如此.

本節(jié)通過在系統(tǒng)使用中收集了大量的原始數(shù)據(jù),經(jīng)過數(shù)據(jù)處理后,分別對(duì)題型和知識(shí)點(diǎn)進(jìn)行關(guān)聯(lián)分析,最終得出了比較完善和可靠的題型關(guān)聯(lián)規(guī)則表和知識(shí)點(diǎn)關(guān)聯(lián)規(guī)則表.

其中,關(guān)聯(lián)分析的具體步驟如下:

(1) 導(dǎo)入數(shù)據(jù).讀取所有用戶的知識(shí)點(diǎn)得分率和題型得分率

(2) 清理數(shù)據(jù).將數(shù)據(jù)處理成挖掘算法所需要的格式.

(3) 數(shù)據(jù)挖掘.使用Apriori算法分別對(duì)題型和知識(shí)點(diǎn)進(jìn)行關(guān)聯(lián)分析.

(4) 調(diào)整參數(shù).根據(jù)挖掘結(jié)果調(diào)整最小置信度和最小支持度,得到相對(duì)合適的關(guān)聯(lián)規(guī)則.

(5) 輸出結(jié)果.輸出知識(shí)點(diǎn)關(guān)聯(lián)規(guī)則表和題型關(guān)聯(lián)規(guī)則表.

綜上就是產(chǎn)生關(guān)聯(lián)規(guī)則表的操作流程.

3.3 大學(xué)英語(yǔ)四級(jí)成績(jī)預(yù)測(cè)模型

當(dāng)前系統(tǒng)中沒有提供大學(xué)英語(yǔ)四級(jí)分?jǐn)?shù)預(yù)測(cè)的功能,而很多剛進(jìn)入大學(xué)的學(xué)習(xí)者對(duì)于四級(jí)題型知識(shí)點(diǎn)等并不熟悉,也不能完全預(yù)估自身實(shí)力,所以對(duì)于能否通過四級(jí)并無(wú)把握.本文收集了在系統(tǒng)前期使用過程中的數(shù)據(jù)和用戶留下的四級(jí)考試成績(jī),經(jīng)過數(shù)據(jù)處理、特征選擇后,使用隨機(jī)森林模型和多元線性回歸模型分別進(jìn)行訓(xùn)練,通過投票法進(jìn)行模型融合,最終得到了的大學(xué)英語(yǔ)四級(jí)分?jǐn)?shù)預(yù)測(cè)模型.

隨機(jī)森林模型和多元線性回歸模型都有著生成簡(jiǎn)單的優(yōu)點(diǎn),所以在本文中使用這兩種模型來(lái)構(gòu)建四級(jí)成績(jī)預(yù)測(cè)模型.隨機(jī)森林模型和多元線性回歸模型都使用Python編程進(jìn)行自動(dòng)機(jī)器學(xué)習(xí),并輸出回歸結(jié)果.四級(jí)成績(jī)預(yù)測(cè)模型的具體操作步驟如下:

(1) 導(dǎo)入數(shù)據(jù).使用pandas包導(dǎo)入數(shù)據(jù)集,并將數(shù)據(jù)集依據(jù)4:1的比例劃分成訓(xùn)練集和驗(yàn)證集.

(2) 清理數(shù)據(jù).對(duì)于缺失數(shù)據(jù),使用其平均值來(lái)代替.

(3) 構(gòu)建交互變量.對(duì)特征集中任意兩個(gè)不同特征f1、f2,依次生成f1+f2、f1–f2、f1*f2、f1/f2 這四種特征,并加入到特征集中.

(4) 訓(xùn)練模型.使用sklearn包來(lái)導(dǎo)入多元線性回歸模型(LinearRegression)和隨機(jī)森林模型(Random-ForestRegressor),將這兩個(gè)模型進(jìn)行訓(xùn)練并使用投票法融合,其中對(duì)隨機(jī)森林設(shè)定訓(xùn)練樹為500.

(5) 輸出結(jié)果.根據(jù)步驟(4)得到的訓(xùn)練模型輸出測(cè)試集的結(jié)果,并輸出多個(gè)評(píng)價(jià)指標(biāo).

其中步驟(4)中的投票法是將多個(gè)模型的輸出結(jié)果進(jìn)行線性加權(quán),而在本文中由于只有兩個(gè)模型,故將這兩個(gè)模型的權(quán)值設(shè)置為相同.

在本文中使用均方根誤差(RMSE)和均方根對(duì)數(shù)誤差(RMSLE)這兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行驗(yàn)證.它們的計(jì)算公式如下:

其中,Xobs,i為預(yù)測(cè)值,Xmdl,i為真實(shí)值.

使用驗(yàn)證集對(duì)四級(jí)成績(jī)預(yù)測(cè)模型進(jìn)行驗(yàn)證,RMSE和RMSLE在隨機(jī)森林、多元線性回歸和融合后的模型的數(shù)據(jù)如表1所示.

表1 各模型的RMSE和RMSLE

從表1可以看出,隨機(jī)森林模型的RMSE在24.325、RMSLE為0.159,多元線性回歸模型的RMSE為25.624、RMSLE為0.145,而將這兩模型經(jīng)過投票法融合后的模型的RMSE為20.541、RMSLE為0.123,由此可以看出融合后的模型在RMSE和RMSLE兩方面都有所提高,預(yù)測(cè)模型的準(zhǔn)確性也比較高.

3.4 診斷性評(píng)價(jià)模型的構(gòu)建

前幾節(jié)介紹了四個(gè)子模型的構(gòu)建,本節(jié)將這四個(gè)子模型整合,最終構(gòu)成了完整的診斷性評(píng)價(jià)模型.具體的步驟如下:

(1) 提取數(shù)據(jù).從數(shù)據(jù)庫(kù)中提取用戶數(shù)據(jù).

(2) 處理數(shù)據(jù).清理用戶數(shù)據(jù),并將其變換成模型需要的格式.

(3) 評(píng)價(jià)用戶的學(xué)習(xí)情況和穩(wěn)定程度.通過學(xué)習(xí)狀態(tài)評(píng)價(jià)模型計(jì)算得到知識(shí)點(diǎn)題型掌握情況和注意系數(shù),判定得到用戶的學(xué)習(xí)情況和穩(wěn)定程度.

(4) 診斷用戶知識(shí)點(diǎn)掌握情況.使用知識(shí)點(diǎn)關(guān)聯(lián)規(guī)則表得出用戶潛在強(qiáng)弱項(xiàng)知識(shí)點(diǎn).

(5) 診斷用戶題型掌握情況.使用題型關(guān)聯(lián)規(guī)則表得出用戶的潛在強(qiáng)弱項(xiàng)題型.

(6) 預(yù)測(cè)用戶四級(jí)分?jǐn)?shù).使用大學(xué)英語(yǔ)四級(jí)分?jǐn)?shù)預(yù)測(cè)模型預(yù)估用戶的四級(jí)分?jǐn)?shù).

(7) 輸出用戶數(shù)據(jù).

綜上就是整體的診斷性評(píng)價(jià)模型的操作步驟,為了更好的展現(xiàn),診斷性評(píng)價(jià)模型的流程圖如圖2所示.

圖2 診斷性評(píng)價(jià)模型的完整流程圖

3.5 診斷性評(píng)價(jià)模型的實(shí)現(xiàn)

診斷性評(píng)價(jià)模型是大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)的一部分,所以診斷性評(píng)價(jià)模型實(shí)現(xiàn)所用的技術(shù)方案應(yīng)與大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)的總體技術(shù)方案保持一致.

大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng)是一個(gè)Web形式的在線學(xué)習(xí)系統(tǒng),它主要是基于B/S (Browser/Server)模式和ASP.NET MVC框架.該系統(tǒng)的客戶端運(yùn)行在Web瀏覽器上,使用網(wǎng)絡(luò)通信與服務(wù)器端交互.該系統(tǒng)使用SQL Server數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)數(shù)據(jù)信息.

為了方便調(diào)用診斷性評(píng)價(jià)模型中學(xué)習(xí)狀態(tài)評(píng)價(jià)模型和四級(jí)成績(jī)預(yù)測(cè)模型的計(jì)算結(jié)果,這兩個(gè)模型將采用Python實(shí)現(xiàn)并將計(jì)算結(jié)果存入數(shù)據(jù)庫(kù)中供用戶查詢.因?yàn)镈rools規(guī)則引擎具有方便調(diào)整、易于管理的特點(diǎn),所以診斷性評(píng)價(jià)模型中的知識(shí)點(diǎn)關(guān)聯(lián)規(guī)則和題型關(guān)聯(lián)規(guī)則將使用Drools規(guī)則引擎編寫.具體的診斷性模塊調(diào)用框架圖如圖3所示.

圖3 診斷性模塊調(diào)用框架圖

4 模型驗(yàn)證和分析

為了對(duì)診斷性評(píng)價(jià)模型進(jìn)行驗(yàn)證,筆者在使用該系統(tǒng)的高校選擇了兩個(gè)成績(jī)相當(dāng)并且待考四級(jí)的大二班級(jí),一個(gè)作為實(shí)驗(yàn)班,一個(gè)作為對(duì)照班,共計(jì)120人.其中對(duì)照班按照正常的教學(xué)安排進(jìn)行學(xué)習(xí),而實(shí)驗(yàn)班除了正常的教學(xué)安排還將使用診斷性系統(tǒng)完成6套試題.

實(shí)驗(yàn)班同學(xué)在經(jīng)過一學(xué)期的使用后,已經(jīng)非常熟悉系統(tǒng)的各種評(píng)價(jià)功能,所以請(qǐng)他們對(duì)系統(tǒng)及診斷性評(píng)價(jià)模型進(jìn)行滿意度點(diǎn)評(píng),點(diǎn)評(píng)數(shù)據(jù)如表2所示.

表2 診斷性評(píng)價(jià)模型滿意度評(píng)分表

表2中的滿意度評(píng)分是指用戶對(duì)此項(xiàng)的滿意度,對(duì)分?jǐn)?shù)的定義為: 1分為非常不滿意,2分為不滿意,3分為一般,4分為滿意,5分為非常滿意.

表2中統(tǒng)計(jì)了每個(gè)評(píng)分的人數(shù).從表2中數(shù)據(jù)可以看出各項(xiàng)滿意度平均分均在3.6分以上,可以看出用戶評(píng)分在一般和滿意之間,并偏向滿意,這從一定程度上證明了診斷性評(píng)價(jià)模型的診斷效果.

在本次四級(jí)考試成績(jī)公布后,筆者分別統(tǒng)計(jì)了實(shí)驗(yàn)班和對(duì)照班的四級(jí)平均成績(jī)和四級(jí)通過人數(shù),具體的情況如表3所示.

表3 四級(jí)平均成績(jī)和四級(jí)通過人數(shù)

根據(jù)表3的統(tǒng)計(jì)結(jié)果,我們可以看出實(shí)驗(yàn)班此次的四級(jí)平均成績(jī)?yōu)?79分并且有10人通過了此次四級(jí)考試,對(duì)照班此次的四級(jí)平均成績(jī)?yōu)?62分并且有7人通過了此次四級(jí)考試.實(shí)驗(yàn)班的平均成績(jī)比對(duì)照班高出了15分,四級(jí)通過人數(shù)也多了3人.

由此可以看出,實(shí)驗(yàn)班和對(duì)照班的初始成績(jī)雖然相當(dāng),但實(shí)驗(yàn)班在使用診斷性練習(xí)系統(tǒng)后四級(jí)成績(jī)有了一定的提升,通過人數(shù)也有了增加.

此外,通過數(shù)據(jù)庫(kù)收集的實(shí)驗(yàn)班同學(xué)的練習(xí)數(shù)據(jù)使用大學(xué)英語(yǔ)四級(jí)成績(jī)預(yù)測(cè)模型后得到的預(yù)測(cè)值的RMSE為20.387,RMSLE為0.126,也與之前的數(shù)據(jù)非常相近.

綜上可知,診斷性評(píng)價(jià)模型在該校使用情況良好,學(xué)生反饋較好,對(duì)于四級(jí)成績(jī)的提升也較為明顯.

5 總結(jié)

本文的主要工作是診斷性評(píng)價(jià)模型的研究和構(gòu)建.首先,作者介紹了大學(xué)英語(yǔ)診斷性練習(xí)系統(tǒng); 其次,詳細(xì)探討了診斷性評(píng)價(jià)模型的設(shè)計(jì)細(xì)節(jié)和設(shè)計(jì)意義; 接著,使用S-P表分析法分析設(shè)計(jì)了學(xué)習(xí)者學(xué)習(xí)狀態(tài)評(píng)價(jià)模型; 然后,利用數(shù)據(jù)挖掘中的Apriori算法對(duì)處理過的數(shù)據(jù)進(jìn)行了題型關(guān)聯(lián)分析和知識(shí)點(diǎn)關(guān)聯(lián)分析,得到了比較準(zhǔn)確的題型關(guān)聯(lián)分析表和知識(shí)點(diǎn)關(guān)聯(lián)分析表;并且,利用隨機(jī)森林模型和多元線性回歸模型對(duì)處理過的數(shù)據(jù)設(shè)計(jì)了大學(xué)英語(yǔ)四級(jí)分?jǐn)?shù)預(yù)測(cè)模型,并使用RMSE和RMSLE兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)驗(yàn)證了該模型; 最后,對(duì)診斷性評(píng)價(jià)模型進(jìn)行了總結(jié)和用戶驗(yàn)證,從而證明了診斷性評(píng)價(jià)模型的準(zhǔn)確性和可靠性.

本文設(shè)計(jì)的診斷性評(píng)價(jià)模型會(huì)根據(jù)用戶的練習(xí)情況動(dòng)態(tài)地進(jìn)行診斷評(píng)價(jià)、調(diào)節(jié)和預(yù)警,并且隨著用戶使用系統(tǒng)進(jìn)行更多練習(xí)測(cè)試時(shí),診斷性評(píng)價(jià)的準(zhǔn)確性也將會(huì)提高.