基于代表性答案選擇與注意力機(jī)制的短答案自動評分

譚紅葉,午澤鵬,盧 宇,段慶龍,李 茹,張 虎

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2. 北京師范大學(xué) 未來教育高精尖創(chuàng)新中心，北京 100875；3. 北京師范大學(xué) 教育技術(shù)學(xué)院，北京 100875)

0 引言

人工智能技術(shù)在教育領(lǐng)域的應(yīng)用得到國家和政府的高度重視。2017年國務(wù)院推出的《新一代人工智能發(fā)展規(guī)劃》明確指出: 利用智能技術(shù)加快推動人才培養(yǎng)模式、教學(xué)方法改革，構(gòu)建包含智能學(xué)習(xí)、交互式學(xué)習(xí)的新型教育體系。2018年教育部印發(fā)《教育信息化2.0行動計(jì)劃》，將“智慧教育創(chuàng)新發(fā)展行動” 列為推動教育信息化2.0發(fā)展的“八大行動”之一。這充分說明: 教育將全面進(jìn)入智慧教育時(shí)代。智慧教育主要包括教育大數(shù)據(jù)挖掘、教育知識圖譜構(gòu)建、教學(xué)過程智慧化、智慧教育平臺建設(shè)等技術(shù)[1]。自動評分是智慧化教學(xué)過程中評價(jià)教學(xué)質(zhì)量的一個(gè)重要環(huán)節(jié)。該任務(wù)通過一定模型與算法對學(xué)生答案預(yù)測分值，不僅能減輕教師工作量，還能避免因主觀性引起的評分不一致問題，是智慧教學(xué)中的一個(gè)研究熱點(diǎn)。

自動評分主要包括作文自動評分(automatic essay grading，AEG)與短答案自動評分(automatic short answer grading，ASAG)[2]。其中，AEG側(cè)重質(zhì)量評價(jià)，一般需要從立意、結(jié)構(gòu)、文采等方面對作文形成整體評分；而短答案問題主要考察學(xué)生對特定知識(如: 科學(xué)概念或原理)的理解，因此ASAG更注重評價(jià)學(xué)生答案的正確程度。本文主要研究ASAG技術(shù)。

ASAG一般通過一定模型對學(xué)生答案與參考答案進(jìn)行對比，根據(jù)匹配程度預(yù)測其分值。隨著機(jī)器學(xué)習(xí)技術(shù)的發(fā)展，該任務(wù)已取得一定進(jìn)展，但準(zhǔn)確率仍需進(jìn)一步提高。目前導(dǎo)致ASAG不準(zhǔn)確的原因主要有兩方面: ①學(xué)生答案多種多樣，預(yù)先給定的參考答案難以覆蓋所有可能答題情況。此外，還存在許多開放程度高、不具有單一明確參考答案的問題。例如，對于表1示例1的問題，學(xué)生可以從故事情節(jié)、人物性格、寫作特點(diǎn)、語言風(fēng)格等角度來回答。然而現(xiàn)實(shí)中對這類問題要么不提供參考答案，要么提供非常有限的參考答案，因此引起學(xué)生答題情況覆蓋度不高、自動評分不準(zhǔn)確問題; ②模型不能準(zhǔn)確刻畫學(xué)生答案與參考答案匹配情況。如表1示例2中，模型需要對二者進(jìn)行語義匹配，才能得到學(xué)生答案中“身高差不多的人數(shù)最多”與參考答案中“人數(shù)最為集中，且大家的身高相對接近”語義一致的判斷。

表1 短答案題目示例

本文采用基于聚類與最大相似度方法選擇代表性學(xué)生答案重新構(gòu)建更完備的參考答案，盡可能覆蓋學(xué)生不同答題情況。在此基礎(chǔ)上，本文提出基于注意力機(jī)制(attention)的深度神經(jīng)網(wǎng)絡(luò)自動評分模型，提升系統(tǒng)對學(xué)生答案與參考答案匹配的準(zhǔn)確刻畫。相關(guān)數(shù)據(jù)集實(shí)驗(yàn)結(jié)果表明: 本文模型有效提升了自動評分準(zhǔn)確率。

1 相關(guān)研究

1.1 短答案自動評分研究現(xiàn)狀

Page[3]于1966年開始針對自然語言形式的答案進(jìn)行自動評分研究。自此，研究者圍繞作文或短答案自動評分進(jìn)行研究并取得了一定進(jìn)展。其中，ASAG的方法主要有三類: ①基于規(guī)則方法[4-6]。例如，Bachman等[4]根據(jù)參考答案生成正則表達(dá)式規(guī)則，每條規(guī)則與一個(gè)分?jǐn)?shù)相關(guān)聯(lián)，當(dāng)學(xué)生答案與規(guī)則相匹配就獲得對應(yīng)分?jǐn)?shù)。由于規(guī)則獲取精度與表達(dá)能力有限，因此該方法泛化能力較差。②基于傳統(tǒng)機(jī)器學(xué)習(xí)方法，利用一定特征基于分類或回歸模型預(yù)測分?jǐn)?shù)[7-9]。例如，Sultan等[7]使用基于對齊或嵌入式的文本相似度、詞項(xiàng)權(quán)重等特征構(gòu)建了隨機(jī)森林分類器，在SemEval-2013評測數(shù)據(jù)集SCIENTSBANK上獲得55%的F測度值。③基于深度學(xué)習(xí)方法，無需人工設(shè)計(jì)特征，通過對數(shù)據(jù)進(jìn)行表示學(xué)習(xí)，實(shí)現(xiàn)端到端的訓(xùn)練與輸出[10-11]。例如，Riordan等[11]使用CNN與LSTM構(gòu)成的神經(jīng)網(wǎng)絡(luò)進(jìn)行自動評分，獲得的效果比非神經(jīng)網(wǎng)絡(luò)方法好。

參考答案是自動評分的重要依據(jù)，對ASAG系統(tǒng)性能有重要影響，但目前對參考答案構(gòu)建的深入研究還較少。Marvaniya等[12]通過對人工評分的學(xué)生答案進(jìn)行聚類、選擇與排序，獲得各個(gè)分?jǐn)?shù)對應(yīng)的代表性答案來構(gòu)成參考答案。實(shí)驗(yàn)表明，重新構(gòu)造的參考答案顯著提高了短答案評分的性能。還有研究關(guān)注如何處理學(xué)生答案以加速或簡化評分過程。例如，Lan等[13]對學(xué)生答案聚類后，在每個(gè)簇中選擇代表性樣例讓專家評分，然后再為同簇其他樣例自動評分。

本文構(gòu)建參考答案后進(jìn)行自動評分的思想很大程度受到了文獻(xiàn)[12]與文獻(xiàn)[13]的啟發(fā)。但本文與這些文獻(xiàn)的主要不同是: ①選擇代表性答案的方法不同。文獻(xiàn)[12]認(rèn)為參考答案應(yīng)該具有長度較短、句法結(jié)構(gòu)良好的特點(diǎn)，并按照該特點(diǎn)選擇代表性答案。由于判斷學(xué)生答案是否正確的依據(jù)不是長度或句法結(jié)構(gòu)，而是看其是否包含標(biāo)準(zhǔn)答案所需的關(guān)鍵概念，因此本文沒有對候選樣例進(jìn)行顯式建模，而是采用基于最大相似度方法選擇代表性答案； ②目的不同。文獻(xiàn)[13]選擇代表性答案目的是減少專家評分工作量，而本文目的是構(gòu)造更完備參考答案以覆蓋更多的學(xué)生答題情況； ③自動評分模型不同。文獻(xiàn)[12]基于參考答案與學(xué)生答案的比較特征訓(xùn)練多元邏輯回歸分類器進(jìn)行自動評分。文獻(xiàn)[13]依據(jù)每個(gè)簇中的人工評分樣例，采取同簇同分?jǐn)?shù)的策略對未評分樣例進(jìn)行評分(或利用樣例屬于該簇概率調(diào)整分?jǐn)?shù))。本文是通過神經(jīng)網(wǎng)絡(luò)模型引入注意力機(jī)制來捕獲參考答案與學(xué)生答案的匹配信息進(jìn)行打分。

1.2 注意力機(jī)制研究現(xiàn)狀

Bahdanau等人最早將注意力機(jī)制(attention mechanism，AM)引入基于編碼器-解碼器框架的神經(jīng)機(jī)器翻譯系統(tǒng)[14]，解決輸入與輸出不能對齊的問題。從此研究者針對各種NLP任務(wù)提出不同的AM方式，并取得很好的效果。因此，AM目前已成為神經(jīng)網(wǎng)絡(luò)架構(gòu)中一個(gè)重要概念。

AM可以從以下幾個(gè)視角進(jìn)行分類[15]： ①按照AM是否捕獲多個(gè)輸入之間的關(guān)系，分為互注意力與自注意力(self-attention)機(jī)制。前者用來捕捉多個(gè)輸入之間關(guān)系；后者用來學(xué)習(xí)同一輸入序列中詞語之間關(guān)系； ②按照AM包含的層次，分為單層注意力(single-level attention)與多層注意力(multi-level attention)機(jī)制。其中多層AM用來獲取輸入的層次結(jié)構(gòu)信息。如: 文本存在詞語、句子、篇章層次結(jié)構(gòu)； ③按照AM計(jì)算上下文向量所需信息量，分為全局注意力(global-attention)與局部注意力(local-attention)機(jī)制。全局AM是使用輸入序列所有隱藏狀態(tài)的加權(quán)平均值來構(gòu)建上下文向量；局部AM是在輸入序列的關(guān)注點(diǎn)周圍選擇一個(gè)窗口來創(chuàng)建上下文向量。

本文針對ASAG任務(wù)需要比較學(xué)生答案與參考答案的特點(diǎn)，使用互注意力機(jī)制來捕獲兩者之間的關(guān)系。

2 基于代表性答案構(gòu)建參考答案

由于學(xué)生答案具有多樣性，預(yù)先給定的參考答案難以覆蓋學(xué)生所有可能答題情況。針對該問題，本文嘗試構(gòu)建更完備的參考答案，增強(qiáng)對答題情況的覆蓋能力。

如圖1所示，本文構(gòu)建參考答案包括兩個(gè)步驟: (1)基于聚類獲取學(xué)生可能的答題情況。我們認(rèn)為: 聚類后得到的每一個(gè)簇代表學(xué)生的一種答題情況。(2)在每個(gè)簇中選擇一個(gè)或多個(gè)代表性答案作為本簇代表構(gòu)建參考答案。

圖1 參考答案構(gòu)建示意圖

2.1 學(xué)生答案聚類

本文采用k-means聚類方法對學(xué)生答案聚類。其核心思想是: 對數(shù)據(jù)集D={x1,x2,…,xm}，考慮所有可能的k個(gè)簇集合，目標(biāo)是找到一個(gè)簇集合{C1,C2,…,Ck}，使得每一個(gè)樣本到其對應(yīng)簇的中心的距離的平方和E最小，具體如式(1)所示。

(1)

聚類質(zhì)量的評價(jià)指標(biāo)有外部指標(biāo)和內(nèi)部指標(biāo)。外部指標(biāo)是計(jì)算聚類結(jié)果與已有標(biāo)準(zhǔn)分類結(jié)果的吻合程度。內(nèi)部指標(biāo)是利用數(shù)據(jù)集的固有特征來評價(jià)一個(gè)聚類質(zhì)量。本文沒有對滿分答案進(jìn)行預(yù)先分類，因此采用內(nèi)部指標(biāo)評價(jià)聚類效果。輪廓系數(shù)(silhouette coefficient)是一種常用的內(nèi)部評價(jià)指標(biāo)，一般按照式(2)計(jì)算。

(2)

其中，si表示簇中第i個(gè)樣本的輪廓系數(shù)，ai表示簇中第i個(gè)樣例到其他樣例的平均距離，bi表示簇中第i個(gè)樣例到其他樣例的最小距離。輪廓系數(shù)取值范圍為[-1,1]。當(dāng)簇內(nèi)樣本距離越近及簇間樣本距離越遠(yuǎn)，其值越大，聚類效果越好。

2.2 代表性答案的選擇

代表性答案指能夠代表學(xué)生答題情況的答案。本文選擇簇內(nèi)與其他樣例相似度最高的樣例作為代表性答案。該策略基于的假設(shè)是: 與其他樣例越相似的樣例越能代表簇成員。關(guān)鍵問題是如何計(jì)算相似性。

由于簇內(nèi)樣本相似度已經(jīng)較大，繼續(xù)使用聚類過程中的相似度(距離)計(jì)算公式，將不能很好區(qū)分簇內(nèi)樣本之間的差異。本文從詞語及句子長度特征出發(fā)，使用詞重疊度、句子長度相似度來計(jì)算簇內(nèi)樣本x1與x2的相似度，按照式(3)進(jìn)行計(jì)算:

(3)

其中，α1、α2為權(quán)重參數(shù)，二者之和為1,本文具體取值0.5；Loverlap表示學(xué)生答案x1與x2之間的重疊詞個(gè)數(shù)；L1和L2分別表示x1和x2的詞數(shù)。

對簇內(nèi)任意兩個(gè)答案計(jì)算相似度后得到相似度矩陣M∈Rn×n，其中mij表示第i個(gè)答案xi與第j個(gè)答案xj的相似度。本文用vi表示答案xi對簇代表的程度，vi∈[0,1]，vi越大表示答案xi的代表性越強(qiáng)。按照式(4)計(jì)算vi:

(4)

3 模型

自動評分任務(wù)可形式化為: 給定參考答案r，學(xué)生答案s，按照式(5)預(yù)測評分結(jié)果g。

g=argmaxP(g|r,s)

(5)

本文采用基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型(Att-Grader)進(jìn)行自動評分。模型結(jié)構(gòu)如圖2所示，由編碼層、注意力層、輸出層三部分構(gòu)成。編碼層的輸入為學(xué)生答案與第i個(gè)參考答案ri(下文簡寫為r)，該層對兩者進(jìn)行編碼，生成包含語義信息的向量集合；注意力層負(fù)責(zé)獲取參考答案與學(xué)生答案之間的匹配信息；輸出層利用CNN進(jìn)一步獲取局部特征并經(jīng)過計(jì)算后，輸出學(xué)生答案預(yù)測分值。

3.1 編碼層

3.2 注意力層

圖2 Att-Grader模型

計(jì)算注意力權(quán)重時(shí)需要共享由學(xué)生答案(Us)與參考答案(Ur)導(dǎo)出的相似度矩陣C∈RM×N,其中Cij表示參考答案中第i個(gè)詞與學(xué)生答案中第j個(gè)詞之間的相似度值，具體計(jì)算如式(8)所示。

(8)

在相似矩陣C的基礎(chǔ)上計(jì)算雙向注意力權(quán)重。

(1) 學(xué)生答案到參考答案的注意力權(quán)重(student-to-reference attention，S2R)。首先計(jì)算學(xué)生答案中的詞與參考答案中第i個(gè)詞的注意力權(quán)值為ai∈RM，計(jì)算公式如式(9)所示。

ai=softmax(Ci:)∈RM

(9)

然后計(jì)算學(xué)生答案中每個(gè)注意力向量，如式(10)所示。

(10)

其中，包含所有學(xué)生答案注意力向量的矩陣。

3.3 輸出層

(11)

其中，K表示分值種類，P(y=k)表示學(xué)生答案在對應(yīng)分值上的概率，其中k=0,1,…,K-1。

本文使用Adam優(yōu)化算法[17]來最小化訓(xùn)練數(shù)據(jù)上的交叉熵?fù)p失函數(shù)[18]。損失函數(shù)如式(12)所示。

(12)

4 實(shí)證研究

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文數(shù)據(jù)集來自某中學(xué)八年級期末考試試題及學(xué)生答卷，涉及數(shù)學(xué)、語文兩門課程。數(shù)據(jù)集中有2道數(shù)學(xué)題、3道語文題，分別對應(yīng)表2中的MATH1、MATH2與CRCC1到 CRCC3。其中，數(shù)學(xué)題是針對特定知識點(diǎn)的問答題，語文題為閱讀理解問答題，兩者相比，語文題對應(yīng)的學(xué)生答案多樣性程度更高。數(shù)據(jù)集具體信息如表2所示，學(xué)生答案均經(jīng)過兩位教師人工打分，QWKappa(QWK)值反映了兩個(gè)評分者評分一致性。

實(shí)驗(yàn)中利用80%數(shù)據(jù)作為訓(xùn)練集，20%作為測試集。

表2 數(shù)據(jù)集信息表

4.2 實(shí)驗(yàn)設(shè)置

預(yù)處理。利用jieba分詞工具包進(jìn)行分詞并去除停用詞。針對低頻詞(詞頻<2)使用字符代替。

聚類算法選擇。本文比較了Birch(balanced iterative reducing and clustering using hierarchies)聚類方法和k-means聚類方法。兩者都通過機(jī)器學(xué)習(xí)工具包sklearn實(shí)現(xiàn)。Birch算法是一個(gè)綜合的層次聚類算法，采用聚類特征和聚類特征樹進(jìn)行聚類描述。我們在聚類簇?cái)?shù)K分別為[3,6,9,12,15,18,21,24,27]的情況下比較了這兩種方法在語文數(shù)據(jù)集上的聚類效果，采用輪廓系數(shù)的平均值為評價(jià)指標(biāo)。具體如圖3所示。

由圖3可知，k-means聚類算法在語文數(shù)據(jù)集上(CRCC1-CRCC3)的輪廓系數(shù)均值遠(yuǎn)遠(yuǎn)高于Birch算法，因此本文選擇k-means作為聚類算法對學(xué)生答案進(jìn)行聚類。

圖3 聚類方法的比較

聚類簇?cái)?shù)的選擇。由圖4可知，k-means算法在數(shù)據(jù)集CRCC 1、CRCC2、CRCC3上的聚類簇?cái)?shù)K分別為6、12、3時(shí)，輪廓系數(shù)值較高，表明聚類效果較好。

圖4 不同聚類簇?cái)?shù)下的聚類效果

相關(guān)參數(shù)。實(shí)驗(yàn)中采用的長短時(shí)記憶模型LSTM、卷積神經(jīng)網(wǎng)絡(luò)CNN均利用Tensorflow深度學(xué)習(xí)框架實(shí)現(xiàn)，Mini-batch值為32，學(xué)習(xí)率為0.001。每次迭代過程中損失函數(shù)為交叉熵?fù)p失函數(shù)，優(yōu)化器選擇Adam-optimizer。詞向量利用Gensim工具包中Word2Vec工具構(gòu)建，詞向量維度設(shè)置為400。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 自動評分結(jié)果分析

本文選擇以下模型作為baseline:

KAGrader該模型由Yang等提出[19]，使用了連續(xù)詞袋模型(CBOW)與長短期記憶模型(LSTM)，在漢語短答案自動評分任務(wù)上取得了很好的效果。該模型采用的數(shù)據(jù)集與本文有重疊。

CNNCNN[16]是目前應(yīng)用范圍最廣的神經(jīng)網(wǎng)絡(luò)模型之一，許多學(xué)者利用其解決多種NLP任務(wù)并獲得很好效果[20-22]。

LSTM+CNNLSTM屬于遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，也是一種主要的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[23-24]。對于CNN與LSTM已有研究表明[25]: CNN擅長提取位置不變特征， LSTM擅長對序列中的單元建模，兩種模型可以為NLP任務(wù)提供相互補(bǔ)充的信息。因此本文將LSTM與CNN結(jié)合作為基線系統(tǒng)，該模型恰好是本文Att-grader模型沒有使用attention的版本。實(shí)驗(yàn)中將學(xué)生答案向量作為輸入，經(jīng)過LSTM處理后，再經(jīng)過CNN處理，完成自動評分任務(wù)。

本文使用準(zhǔn)確率(Acc)、QWKappa(QWK)作為評價(jià)指標(biāo)，采用5重交叉驗(yàn)證的均值作為最終結(jié)果。具體自動評分結(jié)果如表3所示。

表3 自動評分實(shí)驗(yàn)結(jié)果表

從表3中可以看出，Att-Grader模型在數(shù)學(xué)數(shù)據(jù)集上表現(xiàn)明顯優(yōu)于其他三個(gè)baseline，這表明: 系統(tǒng)加入注意力機(jī)制與新構(gòu)建的參考答案后，不僅更好地捕獲了學(xué)生答案與參考答案的匹配情況，而且通過參考答案覆蓋了更多學(xué)生答題情況。同時(shí)也可看出LSTM+CNN表現(xiàn)優(yōu)于CNN，可能的原因?yàn)? LSTM與CNN結(jié)構(gòu)特點(diǎn)不同，為NLP任務(wù)提供互補(bǔ)的信息。這與研究者已經(jīng)得到的結(jié)論一致[20]。

從表3中還可以看出，在語文數(shù)據(jù)集上，Att-Grader模型的表現(xiàn)大部分時(shí)候優(yōu)于CNN與LSTM+CNN，只是在問題3上的QWKappa指標(biāo)不如KAGrader?？赡艿脑蚴? 問題3開放程度更高，利用滿分答案拓展的參考答案不能覆蓋學(xué)生的各種答題情況。因此需要進(jìn)一步針對開放程度高的問題研究如何選擇代表性答案來形成參考答案。

4.3.2 不同注意力機(jī)制對自動評分的影響

本文在語文數(shù)據(jù)集上探討了不同注意力機(jī)制對系統(tǒng)性能的影響，具體結(jié)果如表4所示。其中，NoAttention表示Att-Grader模型沒有使用attention層；SelfAttention表示模型僅使用自注意力機(jī)制；CoAttention表示模型僅使用雙向互注意力機(jī)制;SelfCoAttention表示模型中既有自注意力機(jī)制又有雙向互注意力機(jī)制，即學(xué)生答案與參考答案分別先通過自注意力機(jī)制獲取內(nèi)部關(guān)鍵特征后，再通過互注意力獲得兩者的匹配信息。

表4 不同注意力機(jī)制下的自動評分結(jié)果

由表4可以看出: 模型加入注意力機(jī)制后效果更好，表明注意力機(jī)制能有效提升自動評分的性能。還可看出: CoAttention比SelfAttention以及SelfCoAttention效果都要好，可能的原因是目前數(shù)據(jù)規(guī)模較小，答案長度較短且答題方式多樣，模型不能很好地學(xué)習(xí)出自身的重要概念。因此，在Att-Grader模型中，本文選擇效果更好的雙向互注意力機(jī)制。

4.3.3 代表性答案選擇對自動評分的影響

本文以數(shù)據(jù)集CRCC 1作為測試樣例集，與隨機(jī)選擇滿分答案構(gòu)建的參考答案集進(jìn)行對比，具體實(shí)驗(yàn)結(jié)果如表5所示。

表5 不同參考答案下的自動評分結(jié)果

其中Att-Grader-1表示評分中僅使用預(yù)先提供的參考答案；Att-Grader-6(Random)表示使用隨機(jī)選擇方式構(gòu)建參考答案集來進(jìn)行評分；Att-Grader-6表示通過聚類及代表性答案選擇的方式構(gòu)建的參考答案集來進(jìn)行評分。

可以看出: Att-Grader-6的評分效果在兩個(gè)評價(jià)指標(biāo)上均高于其他兩個(gè)。表明通過選擇代表性答案擴(kuò)展參考答案對自動評分任務(wù)非常有效。

4 結(jié)論與展望

本文采用基于聚類與最大相似度方法選擇代表性答案構(gòu)建更完備的參考答案，更多地覆蓋了學(xué)生答題情況。此外還提出基于互注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，刻畫參考答案與學(xué)生答案的匹配情況。實(shí)驗(yàn)結(jié)果表明: 本文所提方法有效提升了自動評分效果。但是短答案自動評分的準(zhǔn)確率，尤其是開放程度高的短答案問題的評分還有很大提升空間。未來我們將研究不同分值下代表性答案的選擇，旨在進(jìn)一步擴(kuò)充參考答案；同時(shí)還將從錯誤發(fā)現(xiàn)等角度探索可解釋分值的實(shí)現(xiàn)策略。