語法試題個性化推薦系統(tǒng)的研究

季峰

摘? 要： 為了提高試題個性化推薦系統(tǒng)對語法試題推薦的有效性，定義了韓語語法點矩陣、得分模型、潛在學(xué)習(xí)特征向量等，建立了學(xué)習(xí)態(tài)勢算法，設(shè)計了試題智能推薦的整體框架。該系統(tǒng)以學(xué)習(xí)者的態(tài)勢計算為基礎(chǔ)，對學(xué)習(xí)者語法學(xué)習(xí)能力估算，再進(jìn)行試題推薦。通過兩組學(xué)習(xí)者對比，根據(jù)系統(tǒng)的平均使用時間、成績提高率、答卷正確率和試題推薦精準(zhǔn)率等指標(biāo)進(jìn)行評估，結(jié)果顯示，該推薦系統(tǒng)對學(xué)習(xí)者有顯著的助學(xué)效果。

關(guān)鍵詞： 試題; 推薦系統(tǒng); 語法; 學(xué)習(xí)態(tài)勢; 框架

中圖分類號：TP399? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ?文章編號：1006-8228（2021）12-10-04

Abstract： In order to improve the effectiveness of the personalized test question recommendation system for grammar test question recommendation， Korean grammar point matrix， score model and potential learning feature vector are defined， the learning situation algorithm is established， and the overall framework of test question intelligent recommendation is designed. On the basis of learners' situation calculation， the system estimates learners' grammar learning ability， and then recommends test questions. Through the comparison between the two groups of learners， the evaluation is carried out according to the indicators such as the average use time of the system， the improvement rate of scores， the correct rate of answers and the accuracy rate of test question recommendation. The results show that the recommendation system has a significant help learning effect on learners.

Key words： test question; recommendation system; grammar; learning situation; framework

0 引言

全球知識一體化的教育框架下出現(xiàn)了很多語言類教育的創(chuàng)新，努力構(gòu)建高沉浸感的語境，在語言類學(xué)習(xí)系統(tǒng)中，面對等級考試中的大量語法測試題，如何快速的提高語言水平，精準(zhǔn)練習(xí)和消除冗余訓(xùn)練成為焦點，如何打破眾多語言教育專家認(rèn)為語法學(xué)習(xí)中需要要反復(fù)練習(xí)的經(jīng)驗思維，成為重要的課題，盡量減少練習(xí)周期掌握語法點顯得尤為重要。

1 相關(guān)工作

國內(nèi)外有不少團(tuán)隊致力于試題推薦領(lǐng)域的研究，王超等基于DINA模型提取個性化學(xué)習(xí)能力向量[1]，建立多維離散認(rèn)知模型，將試題推薦應(yīng)用在幾何學(xué)習(xí)中。趙泉通過計算知識點權(quán)重[2]結(jié)合課程需求建立推薦算法。朱天宇等基于協(xié)同過濾和認(rèn)知診斷的推薦方法[3]，引入個性化因子提高推薦精度。陳達(dá)基于內(nèi)容相似度的最近鄰方法[4]，分別建立了基于內(nèi)容和協(xié)同過濾的推薦系統(tǒng)。萬永權(quán)等提出了基于反饋的自適應(yīng)試題推薦方法[5]，通過評價個體學(xué)習(xí)能力和試題特性，避免了試題屬性中的偏差。魏偉等提出了基于語義關(guān)聯(lián)規(guī)則的知識點標(biāo)注試題推薦方法[6]，在數(shù)學(xué)和歷史中性能表現(xiàn)良好。Fang L等通過計算查詢問題與數(shù)據(jù)庫問題之間的相似度[7]來推薦法結(jié)構(gòu)相似的試題，在基于Web的英語語法學(xué)習(xí)推薦系統(tǒng)中有很好的表現(xiàn)。Ince E Y基于學(xué)生行為構(gòu)建了自適應(yīng)試題推薦系統(tǒng)[8]，基于學(xué)習(xí)者的問題系統(tǒng)創(chuàng)建出主題測試。Manna R等基于問題過濾和相似度構(gòu)建了菜譜試題推薦系統(tǒng)[9]，研究拓展到學(xué)科類的問答推薦系統(tǒng)中?；趦?nèi)容推薦和協(xié)同過濾[10]推薦在語言類領(lǐng)域存在不足，本研究對學(xué)習(xí)者的態(tài)勢進(jìn)行計算，結(jié)合潛在學(xué)習(xí)特征等因子進(jìn)行融合推薦，同時考慮個體對系統(tǒng)的喜愛程度和對語法點的掌握程度等因子，該系統(tǒng)在韓語語法學(xué)習(xí)中有明顯的有效性。

2 相關(guān)概念

2.1 定義

定義1 語法學(xué)習(xí)者是一個集合用gl表示，gl={gl1，gl2…gli…glm}。測試題T，T={t1，t2…tj…tn}。答卷為R，R=[rmn]m×n，rmn∈[0，30]，當(dāng)rmn等于0時，表示答錯，當(dāng)rmn不小于0時，表示得分。定義得分率Prmn，Prmn=rmn/ri，ri為所選試題的總分值。

定義2 測試題與韓國語語法點的關(guān)聯(lián)矩陣定義為K，基于Topik考綱進(jìn)行標(biāo)注，K=[knk]n×k ，當(dāng)knk=0，表示k不是n的子集，當(dāng)knk=1，表示k是n的子集。

定義3 語法點得分分配用sk表示，定義ski=ri/Nk，Nk代表測試題中語法點數(shù)目，通過計算得到語法點的得分分配矩陣sk[ski]。

定義4 gli語法點吸收數(shù)量等級用kpl表示，設(shè)某語法點的測試得分為αi，αi值為sk與rmn相乘，再用100除以i得到權(quán)值，權(quán)值和αi相乘，kpl為多次語法知識點測試結(jié)果的累加。

定義5 語法學(xué)習(xí)者的態(tài)勢用gls表示，得分能力AQ，語法點試題的練習(xí)次數(shù)為NK，語法測試題完成的平均時間為AT，gls={AQ，NK，AT }，系統(tǒng)不區(qū)分正確題和錯題。在i次測試中，AQ={Agl，1，Agl，n}，當(dāng)Agl，1=1時，表示gli對知識點1的得分能力，當(dāng)Agl，1=0時，代表gl對知識點1沒有得分能力。NK是關(guān)于同一語法點演練數(shù)的數(shù)組，Nsk=[Nski]。AT是gl語法測試時長，At=（tt1+tt2+tt3+…+ttn）/n。

定義6 學(xué)習(xí)者的潛在學(xué)習(xí)特征向量Mgl，假設(shè)學(xué)習(xí)者gli對語法測試題tj未作答，那么計算出gli對tj的潛在作答系數(shù)?時，首先計算kpl/n，接著代入公式⑵得到?，當(dāng)?取1表示其對試題的潛在得分為真，?取0表示學(xué)習(xí)者對試題的潛在得分為假。

定義7 系統(tǒng)中的語法測試題包含一個或多個語法點，那么我們設(shè)測試題T中有n個語法點，第i題的分值為Fi，根據(jù)公式⑷，計算語法測試題與語法點的關(guān)系強(qiáng)度RS。

2.2 學(xué)習(xí)態(tài)勢計算

系統(tǒng)中的態(tài)勢計算，首先根據(jù)定義1構(gòu)建R=[rmn]m×n，再根據(jù)定義2描述關(guān)聯(lián)矩陣，設(shè)答錯試題的概率st，表示學(xué)習(xí)者答錯試題t的概率，gt表示kpl接近0時，表示未掌握知識點時答對試題t的概率。kpl漸近1時，代表已經(jīng)掌握此語法點。利用⑸計算學(xué)習(xí)態(tài)勢，同時考慮了多種形態(tài)，引入kpl、gls、Mgl等與學(xué)習(xí)者自身學(xué)習(xí)有很強(qiáng)關(guān)聯(lián)的因素。

通過學(xué)習(xí)態(tài)勢gls和潛在的學(xué)習(xí)特征向量的計算，得到kpl的概率，按照公式（6-7）算出學(xué)習(xí)個體的語法點的掌握技能度，也就是語法點學(xué)習(xí)者的學(xué)習(xí)能力。

將實際答卷和預(yù)測答卷ARglt作差，差的絕對值超過1，表示測試者完成的語法測試題和目標(biāo)語法點關(guān)聯(lián)強(qiáng)度弱，差的絕對值不大于1，表示測試答卷情況正常。根據(jù)gl的潛在作答系數(shù)?，得到潛在特征向量，推薦時避開Topik中的冷試題和學(xué)習(xí)者偏好試題，答對試題Tj的概率作為試題Tj對于學(xué)習(xí)者的難度D。限定推薦語法測試題的難度區(qū)間[d1，d2]，難度系數(shù)根據(jù)學(xué)習(xí)者對應(yīng)Topik考試等級設(shè)定。

2.3 推薦框架

圖1中是韓國語語法試題推薦系統(tǒng)（Korean Grammar Question Recommendation System，KGQRS）的核心模塊，包括學(xué)習(xí)者測試題庫中記錄了試題的難度、試題和語法的關(guān)聯(lián)度等屬性，練習(xí)庫中包括學(xué)習(xí)者的個性化學(xué)習(xí)的態(tài)勢，包括得分能力、知識點的測試數(shù)目和平均測試時間等屬性。基于測試題庫和練習(xí)庫確定學(xué)習(xí)者的知識點吸收能力、得分預(yù)測和難度等級等，配合通用設(shè)置中的難度等級等屬性，協(xié)同試題庫進(jìn)行合理的試題推薦。

3 實驗

3.1 數(shù)據(jù)描述

推薦系統(tǒng)中包括韓國語等級考試TopikⅠ（TopikⅠ包括一級和二級，TopikⅡ包括三級至六級）98個語法點，每個語法映射例句15個，測試題基于例句對語法點進(jìn)行了留空處理，學(xué)習(xí)者通過例句演練后再進(jìn)行語法測試。甲乙兩組學(xué)習(xí)者來源于兩個韓語培訓(xùn)機(jī)構(gòu)，歷時六個月的學(xué)習(xí)，兩組人員母語為中文，韓語水平零基礎(chǔ)，其中甲組來自同一機(jī)構(gòu)的21名學(xué)生，全程參與系統(tǒng)測試和數(shù)據(jù)收集。乙組的30人來自另一個機(jī)構(gòu)，只在第二階段的學(xué)習(xí)中使用系統(tǒng)。數(shù)據(jù)集中還包括兩組人者的年齡、學(xué)歷、KGQRS的使用時間、考核成績等。

3.2 評價指標(biāo)

學(xué)習(xí)者使用系統(tǒng)的平均時間用AUT表示。為確保實驗數(shù)據(jù)的客觀性，教師面授時系統(tǒng)的基礎(chǔ)使用時長為5分鐘，甲組全程參與系統(tǒng)，乙組在第二階段使用系統(tǒng)，通過后臺數(shù)據(jù)計算出學(xué)習(xí)者的單獨使用本系統(tǒng)的平均時間，用式子⑻計算。

成績提高率用SIR表示，兩個階段中有三次測評，設(shè)一個月為一個測試周期，設(shè)Ti為第i次的測試得分，則第i+1次測驗得分對第i次來說的提高率為SIR。當(dāng)SIR<0時，表示成績下降，當(dāng)SIR>0時，表示成績上升，用式子⑼計算。

答卷正確率用CRA表示，反應(yīng)知識點的掌握情況和試題難度，對于個體學(xué)習(xí)而言，答卷正確率隨著學(xué)習(xí)者的kpl和gls的提高跟著綜合提高，得分率表現(xiàn)出偏差過大，說明試題中所涉及的語法點難度等級高或者試題難度偏高，文中針對知識點定義答對Tright，總分Ttotal， 則CRA=Tright/Ttotal，Tright和Ttotal都是按照測試的人次來計算。

試題推薦精準(zhǔn)率用RA表示，我們定義測試時間為保證學(xué)習(xí)者可以完成答題的時間，且學(xué)習(xí)者的kpl不為null，那么答對的試題記錄的數(shù)目為TAn，未答的試題記錄數(shù)目為Tun，則精準(zhǔn)率RA=TAn/ （TAn+Tun）。

3.3 結(jié)果分析

實驗數(shù)據(jù)分為兩個階段。第一階段中甲組使用KGQRS，乙組不使用。第二階段中甲乙量組均使用KGQRS。兩組使用的學(xué)習(xí)材料、內(nèi)容和進(jìn)度都是一致的。

圖2中曲線為甲組兩階段中使用系統(tǒng)的月平均時間，基于公式⑻，得到第一階段為17.93小時，第二階段為20.22小時，提高了12.8%，在線時長是評價用戶粘性的重要指標(biāo)，結(jié)果顯示學(xué)習(xí)者對KGQRS有依賴性，也是學(xué)習(xí)者利用系統(tǒng)表現(xiàn)出的積極性，它是系統(tǒng)有效性檢測指標(biāo)之一。乙組在第二階段中的月平均使用時長為21.40小時，超過了同階段甲組時間，原因是第一階段乙組沒有使用系統(tǒng)，二階段中激起了使用系統(tǒng)的積極性。從兩組的月平均使用時間可以說明KGQRS對學(xué)習(xí)者是有明顯正向推動作用的。

圖3中的T1—T6分別代表了甲組21位成員在一二階段的六次測試結(jié)果，從曲線分布來看，分?jǐn)?shù)的絕對差值不大且趨向平穩(wěn)，第一階段平均成績?yōu)?6.24，第二階段平均成績?yōu)?9.89，第二階段提高了4.23%的原因為學(xué)習(xí)者對KGQRS的適應(yīng)程度和對韓國語語法學(xué)習(xí)的適應(yīng)性的提高，說明系統(tǒng)能激發(fā)了學(xué)習(xí)者的興趣，促進(jìn)成績穩(wěn)步提升。

圖4中的T1-T6分別代表乙組30位成員在一二階段的六次測試的成績，六條曲線顯示，第二階段中使用了KGQRS，成績得到了明顯的提高。第一階段乙組的平均成績?yōu)?1.51，第二階段乙組平均成績?yōu)?4.75，SIR為18.5%，說明KGQRS對學(xué)習(xí)者在語法學(xué)習(xí)時的有效性。甲組平均成績比乙組高出20.6%，說明使用系統(tǒng)的有效性。

答卷正確率的評估以98個語法點為主線，計算每道題的CRA，CRA<70%的有43題，定義為較難題，例如“??、 ??、 ??、 ??”等詞在不同情境下的變形題。CRA>95%的有49題，定義為簡單題，例如“???、???、??、???”等詞語的語法正確應(yīng)用。以上兩類題占整個語法題庫的6.3%處在合理的范圍內(nèi)，從答卷的正確率來看，系統(tǒng)推薦符合學(xué)習(xí)者的學(xué)習(xí)目標(biāo)和要求。

試題推薦精準(zhǔn)率通過RA=TAn /（TAn+Tun）計算，RA在5%以內(nèi)的37題，占題庫的2.51%，說明這類試題推薦誤差較大，總體推薦精準(zhǔn)率達(dá)到97.49%，說明系統(tǒng)推薦精準(zhǔn)率很高。

4 結(jié)論

本研究基于語法點矩陣、得分模型、潛在學(xué)習(xí)向量和學(xué)習(xí)態(tài)勢構(gòu)建KGQRS。從兩組實驗來看，系統(tǒng)的推薦是有效的，下一步將深入健全評估指標(biāo)，結(jié)合學(xué)習(xí)者屬性進(jìn)行態(tài)勢分析，例如學(xué)歷背景、年齡和學(xué)習(xí)動機(jī)等因素，需進(jìn)一步擴(kuò)大實驗樣本數(shù)和周期，更客觀的對系統(tǒng)做效用評價，將系統(tǒng)調(diào)整到最佳狀態(tài)。

參考文獻(xiàn)（References）：

[1] 王超，劉淇，陳恩紅.面向大規(guī)模認(rèn)知診斷的DINA模型快速計算方法研究[J].電子學(xué)報，2018.423（5）：26-34

[2] 趙泉.大數(shù)據(jù)背景下的智能課程推薦系統(tǒng)研究[J].信息與電腦（理論版），2019.427（9）：107-109，112

[3] 朱天宇，黃振亞，陳恩紅.基于認(rèn)知診斷的個性化試題推薦方法[J].計算機(jī)學(xué)報，2017.1：178-193

[4] 陳達(dá).基于深度學(xué)習(xí)的推薦系統(tǒng)研究[D].北京郵電大學(xué)，2015.

[5] 萬永權(quán)，燕彩蓉，朱明等.反饋式個性化試題推薦方法[J].計算機(jī)應(yīng)用與軟件，2018.35（7）：81-84，90

[6] 魏偉，郭崇慧，邢小宇.基于語義關(guān)聯(lián)規(guī)則的試題知識點標(biāo)注及試題推薦[J].現(xiàn)代圖書情報技術(shù)，2020.4（2）：182-191

[7] Fang L， Tuan L A， Hui S C，et al. Personalized questionrecommendation for English grammar learning[J].Expert Systems，2018：e12244.1-e12244.15

[8] Ince E Y.Adaptive Question Recommendation System Based on Student Achievement[J]. International Journal of Trend In Scientific Research and Development，2019.1（4）：1034-1037

[9] Manna R， Das D，Gelbukh A.Question-Answering and Recommendation System on Cooking Recipes[J]. Computaciony Sistemas，2021.25（1）：896-902

[10] 蔣昌猛.基于知識點的個性化習(xí)題推薦研究[D]. 西北大學(xué)，2017.