英語作文自動(dòng)評(píng)分系統(tǒng)研究與實(shí)現(xiàn)

張銳捷 宋萬里 劉琪 范圓圓 姜戴銳 葛藝

摘 要：隨著近幾年來人工智能技術(shù)的發(fā)展，計(jì)算機(jī)技術(shù)被越來越多地應(yīng)用到教育領(lǐng)域，英語作文自動(dòng)評(píng)分就是其中的一個(gè)方面。為達(dá)到英語作文自動(dòng)評(píng)分的要求，該系統(tǒng)提取作文內(nèi)容等一系列特征進(jìn)行綜合考評(píng)，使用自然語言處理、文本特征提取、潛在語法分析等技術(shù)，實(shí)現(xiàn)英語作文自動(dòng)評(píng)分功能。本系統(tǒng)可通過添加自定義的停用詞詞典，而擴(kuò)展運(yùn)用到更多的場(chǎng)景。

關(guān)鍵詞：自動(dòng)評(píng)分；潛在語義分析；文本特征提取

中圖分類號(hào)：TP319 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）04-0027-03

Research and Implementation of English Composition Automatic Scoring System

ZHANG Ruijie，SONG Wanli，LIU Qi，F(xiàn)AN Yuanyuan，JIANG Dairui，GE Yipeng

（Nanjing Xiaozhuang University，Nanjing 211171，China）

Abstract：With the development of artificial intelligence technology in recent years，computer technology has been more and more applied to the field of education. The automatic scoring of English composition is also one of the aspects to achieve automatic scoring of English composition. In order to meet the requirement of automatic scoring of English compositions，the system extracts a series of features such as the content of the compositions for comprehensive evaluation，and uses natural language processing，text feature extraction，potential grammar analysis and other technologies to achieve automatic scoring of English compositions. The system can be extended to more scenarios by adding a custom dictionary of stop words.

Keywords：automatic scoring；latent semantic analysis；text feature extraction

0 引 言

計(jì)算機(jī)越來越廣泛地被運(yùn)用到輔助教學(xué)的場(chǎng)景中，在英語助教領(lǐng)域也有點(diǎn)讀機(jī)、視頻教學(xué)、智能翻譯等多種應(yīng)用。在英語教學(xué)過程中，聽、說、讀、寫都是英語的基本技能，在日常的教學(xué)、訓(xùn)練、考核中，寫作能力是比較難培養(yǎng)的[1]，也是最耗費(fèi)老師精力的。寫作作為一種語言輸出形式，是評(píng)價(jià)學(xué)生英語綜合水平和應(yīng)用能力的一個(gè)重要指標(biāo)。目前國(guó)內(nèi)英語大規(guī)?？荚囍?，如：英語高考、大學(xué)生英語四、六級(jí)考試，都有英語作文寫作的考核，但是在閱卷的時(shí)候英語作文區(qū)別于客觀題需要進(jìn)行人工閱卷，人工閱卷不僅在判題時(shí)有較強(qiáng)的主觀性，甚至需要多人重復(fù)判一份試卷來保證結(jié)果的公正，這會(huì)導(dǎo)致工作量翻倍，耗費(fèi)優(yōu)秀教師大量的時(shí)間和精力。英語作文自動(dòng)評(píng)分系統(tǒng)的開發(fā)和使用，可有效的解決上述問題。

最早的英語作文自動(dòng)評(píng)分（AutomatedEnglishScoring，簡(jiǎn)稱AES）系統(tǒng)是1966年由美國(guó)杜克大學(xué)的Ellis Batten Page等學(xué)者開發(fā)的PEG（Porject Essay Grader），后來許多AES系統(tǒng)被開發(fā)、實(shí)驗(yàn)甚至投入商用，例如：IEA、E-Rater、IntelliMetric、BETSY等。其中最具代表性的有PEG、IEA和E-Rater三種[2]。這三種系統(tǒng)在考評(píng)時(shí)側(cè)重點(diǎn)不同：PEG重點(diǎn)比較表層語言特征，包括用詞、句型、結(jié)構(gòu)等；IEA側(cè)重考察作文內(nèi)容，即淺層語義；E-Rater在作文的表現(xiàn)形式和內(nèi)容意義兩個(gè)方面均有考慮。國(guó)內(nèi)的相關(guān)研究起步較晚，但近幾年許多學(xué)者都開始在英語作文自動(dòng)評(píng)分上投入精力與成本。目前國(guó)內(nèi)也已經(jīng)有一些投入使用的AES系統(tǒng)，如句酷批改網(wǎng)、新東方批改網(wǎng)和冰果英語作文評(píng)閱系統(tǒng)等。也有學(xué)者實(shí)地研究并得出結(jié)論，英語作文自動(dòng)評(píng)分系統(tǒng)作為大學(xué)英語輔助教學(xué)工具，可以幫助學(xué)生在寫作時(shí)養(yǎng)成更加關(guān)注句法運(yùn)用、篇章邏輯結(jié)果等習(xí)慣，進(jìn)而有效提高學(xué)生寫作和自主學(xué)習(xí)的能力[3]。目前許多學(xué)者追求的目標(biāo)就是在可預(yù)計(jì)的未來中，能在考試場(chǎng)景中應(yīng)用英語作文自動(dòng)評(píng)分系統(tǒng)。本文在調(diào)研大量文獻(xiàn)的基礎(chǔ)上，使用自然語言處理、文本特征提取、潛在語法分析等技術(shù)，實(shí)現(xiàn)英語作文自動(dòng)評(píng)分。

1 系統(tǒng)設(shè)計(jì)

本系統(tǒng)通過預(yù)處理文本、提取文本關(guān)鍵字等技術(shù)先對(duì)作文進(jìn)行預(yù)處理，提取能代表作文內(nèi)容的特征單詞；之后將這些特征單詞應(yīng)用于潛在語義模型中，獲得能代表作文內(nèi)容的特征項(xiàng)；接著提取作文語言方面的信息，如單詞正確率，語法錯(cuò)誤情況，句子的長(zhǎng)度等，作為作文語言方面的特征項(xiàng)；然后將這些特征共同組成代表作文寫作水平的特征向量；最后利用潛在語義分析和K近鄰算法對(duì)英語作文進(jìn)行評(píng)分。本文采用方法的基本算法流程如圖1所示。

2 系統(tǒng)實(shí)現(xiàn)

作文單詞特征提取與評(píng)價(jià)模塊，主要功能是對(duì)作文的用詞和句子結(jié)構(gòu)進(jìn)行分析與評(píng)價(jià)，讀入整篇作文后分別以句和單詞為單位進(jìn)行拆分，并對(duì)作文中的語句的內(nèi)容以及復(fù)雜程度進(jìn)行評(píng)分，同時(shí)給出一定的語句錯(cuò)誤提示；針對(duì)作文中單詞的使用情況（拼寫錯(cuò)誤率，語法錯(cuò)誤率等）進(jìn)行評(píng)分，同時(shí)給出對(duì)應(yīng)的參考用詞。首先基于Lucene Analyzer的分詞[4]，Lucene內(nèi)置提供的Analyzer不能滿足本系統(tǒng)的需求，我們還添加了自定義的停用詞表。在分詞后，參考了WordNet[5，6]里詞條和詞條的同義詞集的內(nèi)容，對(duì)單詞進(jìn)行檢測(cè)，同時(shí)進(jìn)行單詞正確率的計(jì)算。借助JWML在WordNet中查詞，統(tǒng)計(jì)出正確單詞的個(gè)數(shù)，拼寫錯(cuò)誤單詞的個(gè)數(shù)，獲得正確單詞的詞根等。最后借助Lucene中已有的SpellChecker工具[7]來實(shí)現(xiàn)拼寫檢查功能。本系統(tǒng)使用了四六級(jí)詞匯表作為檢查范圍，并從中選出前5個(gè)作為參考詞，同時(shí)結(jié)合詞性標(biāo)注之后的結(jié)果給出更合理的建議。

作文特征向量的抽取與評(píng)價(jià)模塊，主要完成的是提取文章特征值（關(guān)鍵詞），并根據(jù)學(xué)生作文的特征詞集與作文主題的貼合度進(jìn)行評(píng)分。本系統(tǒng)為了提取在當(dāng)前作文中有效單詞對(duì)于文章主題的表達(dá)情況，使用TF-IDF（term frequency-inverse document frequency）[8，9]統(tǒng)計(jì)方法。我們認(rèn)為字詞的重要性隨著它在當(dāng)前文章或同主題文章中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在不同主題文章中出現(xiàn)的頻率成反比下降。在算出單詞對(duì)于文章的重要性的時(shí)候，我們綜合考慮信息熵和條件熵[10]，將待打分作文排序的前30詞和高分標(biāo)準(zhǔn)作文集進(jìn)行歸一化處理，得出該文章和高分標(biāo)準(zhǔn)作文集的相似性，最終得出文章的特征分?jǐn)?shù)。

作文語句特征分析與評(píng)價(jià)模塊主要是對(duì)作文中語句的詞法和句法特點(diǎn)進(jìn)行提取，然后根據(jù)文章中語句表達(dá)的完整性和句型的復(fù)雜程度進(jìn)行評(píng)分，并針對(duì)語法和句法錯(cuò)誤給出一定的錯(cuò)誤提示信息。在系統(tǒng)實(shí)現(xiàn)時(shí)，本系統(tǒng)主要使用了斯坦福大學(xué)Stanford parser開源句法分析器，生成句法樹模型，對(duì)句子進(jìn)行評(píng)價(jià)。將句子評(píng)價(jià)建立在單詞評(píng)價(jià)模塊對(duì)拼寫錯(cuò)誤單詞的簡(jiǎn)單詞法矯正的基礎(chǔ)上，這樣能夠獲得單詞與句子相對(duì)應(yīng)的樹狀結(jié)構(gòu)和句子成分間的依賴關(guān)系。在這個(gè)過程中還通過對(duì)句子成分的詞性分析，結(jié)合修正過拼寫的單詞表達(dá)的意思給出關(guān)于用法錯(cuò)誤的單詞的建議。語法錯(cuò)誤檢查運(yùn)用的方法主要是基于規(guī)則和結(jié)構(gòu)樹的語法檢查?；谝?guī)則的語法檢查方法需要用到一個(gè)代表英語語法結(jié)構(gòu)的規(guī)則集，這些規(guī)則集盡可能多的覆蓋英語語法特征。

作文篇章結(jié)構(gòu)分析與評(píng)價(jià)模塊，主要是分析文章不同段落之間的語義聯(lián)系，考察上下文是否緊湊、是否圍繞同一主題進(jìn)行陳述，并根據(jù)段落間語義聯(lián)系程度進(jìn)行評(píng)分。通過LSA[11]在大量訓(xùn)練集作文文本上構(gòu)建一個(gè)矩陣，該矩陣的一行代表一個(gè)詞，一列代表一個(gè)文檔，矩陣元素代表該詞在該文檔中出現(xiàn)的次數(shù)；為了減小計(jì)算壓力，在矩陣上使用奇異值分解（SVD）；接著通過計(jì)算皮爾森相關(guān)系數(shù)（Pearson correlation coefficient）[12]來標(biāo)識(shí)兩個(gè)詞語對(duì)應(yīng)的兩組線性數(shù)據(jù)的相關(guān)程度，這個(gè)過程借助了JAMA工具計(jì)算；最后通過對(duì)矩陣的計(jì)算，得到一個(gè)在0～1之間的值，作為段落間關(guān)聯(lián)度評(píng)分的依據(jù)。

作文自動(dòng)評(píng)分模塊，主要完成的是綜合評(píng)價(jià)，并獲取最終得分。在經(jīng)過前面多方面的處理后，可獲得四個(gè)基礎(chǔ)特征值，分別為單詞結(jié)構(gòu)評(píng)價(jià)、句子結(jié)構(gòu)評(píng)價(jià)、篇章結(jié)構(gòu)評(píng)價(jià)以及主題貼合度評(píng)價(jià)。這一部分在實(shí)現(xiàn)的時(shí)候本系統(tǒng)選擇了WEKA工具[13，14]中的KNN算法[15]。WEKA中所有算法對(duì)輸入的數(shù)據(jù)集都有統(tǒng)一要求，即ARFF格式，并要求以單一關(guān)系列表的形式輸入。這些數(shù)據(jù)可從文件中讀取或由數(shù)據(jù)庫產(chǎn)生。前期處理得出的四個(gè)屬性值便可利用以上信息增益的計(jì)算方法為作文中的每個(gè)屬性計(jì)算其信息增益，從而完成加權(quán)，即越大的信息增益值的屬性將被賦予越大的權(quán)值。

3 實(shí)驗(yàn)結(jié)果與結(jié)果分析

為了模擬本系統(tǒng)在真實(shí)環(huán)境中的使用情況，實(shí)驗(yàn)數(shù)據(jù)選取了南京曉莊學(xué)院某學(xué)院2015級(jí)的英語期末考試卷共240份（兩種話題作文各120份）。使用了對(duì)比實(shí)驗(yàn)的方法，分別統(tǒng)計(jì)了240份作文在期末試卷、批改網(wǎng)打分、本系統(tǒng)考評(píng)的分?jǐn)?shù)情況，因?yàn)槠谀┛荚囎魑臐M分是20分，其他兩種系統(tǒng)都是百分制的，為了方便對(duì)比我們將三個(gè)分?jǐn)?shù)都轉(zhuǎn)換成對(duì)應(yīng)的百分制。圖2是隨機(jī)抽取34篇作文的評(píng)分結(jié)果。

通過數(shù)字比較和圖形觀察都可以比較明顯的看出，本系統(tǒng)的打分結(jié)果更貼近老師真實(shí)的英語閱卷情況。

4 結(jié) 論

本系統(tǒng)通過預(yù)處理文本和提取文本關(guān)鍵字對(duì)作文先進(jìn)行預(yù)處理，提取能代表作文內(nèi)容的特征單詞；之后將這些特征單詞應(yīng)用在潛在語義模型中，獲得能代表作文內(nèi)容的特征項(xiàng)；接著提取作文語言方面的信息，如單詞正確率、語法錯(cuò)誤情況、句子的長(zhǎng)度等，作為作文語言方面的特征項(xiàng)；然后將這些特征共同組成代表作文寫作水平的特征向量；最后利用潛在語義分析和K近鄰算法對(duì)英語作文進(jìn)行評(píng)分。

通過實(shí)驗(yàn)表明，本文提出的英語作文自動(dòng)評(píng)分系統(tǒng)基本滿足話題作文的閱卷參考需要，下一步是利用更好的分詞算法提高中間數(shù)據(jù)的清潔度，并優(yōu)化算法提高語義分析精準(zhǔn)度，進(jìn)而使英語作文評(píng)分的成績(jī)更貼合實(shí)際情況。

參考文獻(xiàn)：

[1] 任霞.計(jì)算機(jī)輔助英語教學(xué) [J].科技創(chuàng)新導(dǎo)報(bào)，2008（17）：223.

[2] 梁茂成，文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示 [J].外語電化教學(xué)，2007（5）：18-24.

[3] 熊松榮，汪陽.寫作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語寫作教學(xué)中的應(yīng)用 [J].湖北函授大學(xué)學(xué)報(bào)，2018，31（17）：156-157.

[4] Luo H，Guo S.The improvement of Chinese word analyzer based on Lucene [J].Microcomputer & Its Applications，2018，34（11）：76-78+82.

[5] Miller G A. WordNet：a lexical database for English [J].Communications of the ACM，1995，38（11）：39-41.

[6] Fellbaum C.WordNet：An Electronic Lexical Database [J].Library Quarterly Information Community Policy，1998，25（2）：292-296.

[7] Grainger T，Potter T. Solr in Action [M].Manning Publications Co.，2014.

[8] 楊倩倩，徐棟.TFIDF方法在英語句子相似度計(jì)算中的應(yīng)用初探 [J].電腦知識(shí)與技術(shù)，2012，8（17）：4127-4128.

[9] Joachims T.A Probabilistic Analysis of the Rocchio Algorithm with TFIDF for Text Categorization [C]// International Conference on Machine Learning，1996：143-151.

[10] 李榮陸.文本分類及其相關(guān)技術(shù)研究 [D].上海：復(fù)旦大學(xué)，2005.

[11] 桂詩春.潛伏語義分析的理論及其應(yīng)用 [J].現(xiàn)代外語，2003，26（1）：76-84.

[12] Pearson K. Note on Regression and Inheritance in the Case of Two Parents [J]. Note on Regression and Inheritance in the Case of Two Parents，1895，58：240-242.

[13] Hall M，F(xiàn)rank E，Holmes G，et al. The WEKA data mining software：an update [J] .Acm Sigkdd Explorations Newsletter，2009，11（1）：10-18.

[14] Holmes G，Donkin A，Witten I H. WEKA：a machine learning workbench [C]// Conference on Intelligent Information Systems，2002：357-361.

[15] Hastie T，Tibshirani R. Discriminant adaptive nearest neighbor classification [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，1996，18（6）：607-616.

作者簡(jiǎn)介：張銳捷（1996-），女，漢族，山西太原人，本科生，研究方向：智能教育技術(shù)、計(jì)算機(jī)軟件技術(shù)；宋萬里（1981-），男，漢族，遼寧法庫人，副教授，研究方向：智能教育技術(shù)、數(shù)據(jù)挖掘；劉琪（1996-），女，漢族，本科生，研究方向：計(jì)算機(jī)軟件技術(shù)；范圓圓（1997-），女，漢族，本科生，研究方向：計(jì)算機(jī)軟件技術(shù)；姜戴銳（1997-），男，漢族，本科生，研究方向：計(jì)算機(jī)軟件技術(shù)；葛藝芃（1997-），女，漢族，本科生，研究方向：計(jì)算機(jī)軟件技術(shù)。