國內(nèi)作文自動評價系統(tǒng)應(yīng)用研究綜述

王建

【摘要】本文回顧了國內(nèi)作文自動評價系統(tǒng)的應(yīng)用研究成果，指出了該領(lǐng)域存在的不足及未來的研究方向。

【關(guān)鍵詞】作文自動評分系統(tǒng) 寫作水平 認知研究 自動反饋

國外自動寫作評價系統(tǒng)（Automated Writing Evaluation）如Criterion不僅提供及時評分，還從內(nèi)容、組織結(jié)構(gòu)、詞匯及語法方面提供詳細的反饋與指導(dǎo)（Dikli，2006），因而被不斷應(yīng)用到課堂寫作教學(xué)中。國內(nèi)AWE的應(yīng)用相對較晚，近年國內(nèi)有也少數(shù)的AWE系統(tǒng)如句酷批改網(wǎng)等被開發(fā)出來輔助高校英語教師寫作教學(xué)。本文對國內(nèi)AWE研究進行梳理、評述，并指出該領(lǐng)域未來的研究方向。

作者將關(guān)鍵詞“在線評估”、“自動作文評價系統(tǒng)”、“寫作教學(xué)”及“應(yīng)用研究”輸入“中國期刊網(wǎng)”，結(jié)合手工檢索篩選出的外語類中文類核心期刊論文主要涉及三個研究方向：1）AWE的使用與學(xué)生寫作水平的關(guān)系；2）使用者如何利用AWE及其認知與態(tài)度；3）自動反饋（Automated Feedback）研究。

一、AWE的使用與寫作水平的關(guān)系

此類研究將受試分成實驗組與對照組，并利用前測后測來解釋這一關(guān)系。周穎（2011）以43名英語專業(yè)二年級學(xué)生為受試，利用WRM 2.0進行了為期一學(xué)年的實驗教學(xué)。前測顯示實驗組與對照組在總分與各維度（內(nèi)容、結(jié)構(gòu)等）的成績無顯著差異，后測實驗組在各緯度的分數(shù)顯著高于對照組，得出結(jié)論AWE融入寫作教學(xué)能提高學(xué)生的寫作水平。此外該研究還指出物理環(huán)境（網(wǎng)速慢等）、學(xué)術(shù)環(huán)境（課程繁忙等）和管理環(huán)境（缺乏網(wǎng)絡(luò)教育理念等）三方面的因素可能會影響在線寫作水平的發(fā)揮。蔣學(xué)清等（2011）指出實驗組與對照組前測無顯著差異，經(jīng)過一學(xué)年的學(xué)習(xí)，兩組受試英語寫作水平均有顯著提高，后測顯示實驗組受試在結(jié)構(gòu)、語法、規(guī)范及總分維度上顯著高于對照組，這說明AWE的融入對提高學(xué)生寫作能力可以發(fā)揮積極的作用。但該研究同時發(fā)現(xiàn)WRM 2.0對作文的思想內(nèi)容、語體、選詞和句式變化方面的指導(dǎo)遠遠不足。唐錦蘭、吳一安（2012）將460名受試分為5個實驗組和5個對照組，結(jié)果顯示實驗組在各維度的分數(shù)顯著高于對照組。于莉等（2012）以大一非英語專業(yè)學(xué)生為受試，采用干預(yù)式教學(xué)方法，即每次在線寫作任務(wù)完成后教師就詳解系統(tǒng)提供的反饋；前后測使用同一個寫作任務(wù)。研究表明受試在結(jié)構(gòu)、流暢度、語體和規(guī)范方面有較大提高，但在詞匯、思想內(nèi)容方面提高不多。

顧成華、王麗（2012）利用句酷批改網(wǎng)，以114名非英語專業(yè)學(xué)生為研究對象進行歷時一學(xué)期的研究。后測顯示實驗組成績顯著高于對照組，批改網(wǎng)的使用有助于提高學(xué)生寫作水平。

魯艷輝等（2010）對80名大二學(xué)生進行了為期10周的研究，以冰果自動評分系統(tǒng)為工具。受試被分為男、女生組及高、低分組。研究者從10次寫作文任務(wù)中抽取第1.5.10次作文進行對比分析，發(fā)現(xiàn)所有受試整體成績有所提高，該系統(tǒng)對于改變學(xué)習(xí)者的寫作策略有一定的促進作用。經(jīng)過訓(xùn)練，男女生組寫作成績無顯著差異，低分組寫作水平顯著提高。受試在寫作篇幅、錯誤、語言表達、句法、邏輯銜接等方面均有所提高。不足的是該研究沒有設(shè)置對照組，這就很難說明成績的提高與AWE的輔助有關(guān)。

上述研究結(jié)果均較為積極，即AWE的融入有利于提高學(xué)生的寫作成績。但該類研究在設(shè)計上還存在以下不足。第一，前后測的實施方式有待商榷。若實驗組和對照組前后測任務(wù)均為在線寫作，與寫作構(gòu)念（writing construct）不相關(guān)的因素就有可能影響寫作成績，特別是后測的成績。實驗組因受長期訓(xùn)練必定能克服此類障礙，而對照組利用電腦寫作次數(shù)少，因此在完成與實驗組相同的寫作任務(wù)時會處于不利因素，成績可能會較實驗組低。第二，研究設(shè)計中控制變量的闡述不詳，如兩組受試是否接受同樣的教師課堂講解，寫作任務(wù)訓(xùn)練的次數(shù)是否相等都不得而知。

二、師生對AWE的認知研究

學(xué)生對AWE與寫作水平關(guān)系的認知。多數(shù)受試認為AWE提供及時的反饋、增加修改次數(shù)、增長作文的篇幅，有助于英語寫作水平的提高。同時認為AWE的反饋與教師反饋相結(jié)合更有助于寫作水平的提高?，F(xiàn)階段的在線寫作評價系統(tǒng)允許教師增加反饋并對系統(tǒng)的反饋錯誤進行糾正，任課教師若能增加適當?shù)姆答?，就能提高反饋的效度，對學(xué)生作文提供更準確的指導(dǎo)。

學(xué)生對評價系統(tǒng)優(yōu)缺點的認知。問卷和訪談結(jié)果顯示AWE在文章結(jié)構(gòu)、詞匯以及規(guī)范方面提供有效指導(dǎo)，評語具有一定參考價值，具有自主性、診斷性、快捷性等特點。學(xué)生普遍接受AWE融入英語課堂教學(xué)。

同時也指出了AWE的許多缺點。第一，在思想內(nèi)容、邏輯連貫、文章結(jié)構(gòu)以及遣詞造句等方面AWE無法提供有效反饋。需要教師進行在線寫作指導(dǎo)，增加遣詞造句、思想內(nèi)容等反饋彌補系統(tǒng)反饋的不足。第二，系統(tǒng)提供的評語流于形式，反饋多為提示性，不夠具體，且不能進行個性化反饋，教師應(yīng)為學(xué)生清楚解讀在線評價系統(tǒng)的評分標準。第三，AWE沒能提供相應(yīng)的參考范文。在傳統(tǒng)寫作教學(xué)中，教師往往會提供優(yōu)秀范文供學(xué)生欣賞、模仿，讓學(xué)生發(fā)現(xiàn)自己作文不足之處。第四，AWE無法準確評分。

教師對評價系統(tǒng)的認知。教師們普遍贊賞AWE反饋的及時性并能促進學(xué)生對作文的不斷修改，但同時指出AWE在內(nèi)容、語體及謀篇布局上的反饋過泛。他們認為在結(jié)合AWE的寫作過程中，教學(xué)應(yīng)盡量彌補其缺陷，利用AWE進行針對性教學(xué)活動。其次，應(yīng)為學(xué)生清晰解讀寫作標準滿足學(xué)生的要求。此外，寫作教學(xué)融入AWE應(yīng)使評價主體朝著“系統(tǒng)評估+教師評估+同伴評估”三位一體方向發(fā)展。AWE的融入應(yīng)使教師的角色更加多元化，從唯一的講解者和評價者轉(zhuǎn)為學(xué)生的引導(dǎo)者和支持者、教學(xué)過程的組織者和協(xié)調(diào)者等等。這表明AWE的融入使教師對寫作教學(xué)的觀念發(fā)生了根本的變化，對寫作教學(xué)有了新的認識。

以上研究主要采用問卷調(diào)查和訪談的形式，涉及師生對AWE及其使用的認知、情感與態(tài)度。不足之處在于問卷的設(shè)計是否科學(xué)、是否具有較高信度，目前這方面缺少一個標準的量表測驗師生對AWE的認知態(tài)度。

三、自動反饋研究

近年來少數(shù)學(xué)者開始關(guān)注自動反饋（Automated Feedback），對比教師反饋、自動反饋與同儕反饋對學(xué)生寫作水平的影響，學(xué)生對三類反饋的認知態(tài)度，學(xué)生如何使用自動反饋，自動反饋的類型、精確度等。值得一提的是Bai&Hu（2016）的研究。該研究不僅統(tǒng)計了句酷批改網(wǎng)系統(tǒng)反饋的類型、精確度、學(xué)生對反饋的認知，還關(guān)注受試如何領(lǐng)會（take up）系統(tǒng)反饋修改作文。但該領(lǐng)域還缺乏歷時的個案研究，學(xué)生利用自動反饋時的認知過程及心理狀態(tài)也尚處空白，需要研究者的關(guān)注。

四、結(jié)語及未來研究方向

本文對AWE國內(nèi)應(yīng)用研究進行了綜述，指出了研究中存在的不足。未來研究可從以下幾方面入手。

第一，研究不同寫作能力的學(xué)生利用在線評價系統(tǒng)的過程，揭示其使用AWE存在的差異。第二，教師是否充分地挖掘和利用AWE功用，是否存在個體差異等。第三，面對學(xué)生質(zhì)疑機器打分的不可靠性，未來研究應(yīng)對AWE的評分效度進行全面報道，高效度是AWE融入課堂教學(xué)的基礎(chǔ)。目前國外有認可度高的效度論證框架（Elliot & Williamson，2013），但尚未受到國內(nèi)研究者足夠的重視。

參考文獻：

[1]Bai L.F.& Hu G.W.（2016）：In the face of fallible AWE feedback：how do students respond？，Educational Psychology，DOI： 10.1080/01443410.2016.1223275.

[2]Dikli，S.Automated Essay Scoring[J].Online Submission， 2006，（1）：49-62.

[3]Elliot，N.，D.M.Williamson.Assessing writing special issue： Assessing writing with automated essay scoringt[J].Assessing Writing，2013（18）：1-6.

[4]顧成華，王麗.基于句酷批改網(wǎng)的大學(xué)英語寫作教學(xué)實證研究[J].揚州大學(xué)學(xué)報（高教研究版），2012，（4）：92-96.

[5]蔣學(xué)清，蔡靜，唐錦蘭.探析自動作文評分系統(tǒng)對大學(xué)生英語寫作能力發(fā)展的影響[J].山東外語教學(xué)，201l，（6）：36-43.

[6]魯艷輝，譚福民，彭舜.現(xiàn)代教育技術(shù)智能寫作評分系統(tǒng)在大學(xué)英語寫作中的實證研究[J].現(xiàn)代教育技術(shù)，2010，（6）：56-58.

[7]唐錦蘭，吳一安.寫作自動評價系統(tǒng)在大學(xué)英語教學(xué)中的應(yīng)用研究[J].外語與外語教學(xué)，2012，（4）：53-58.

[8]于莉，齊品，郭平建.應(yīng)用數(shù)字化寫作平臺干預(yù)大學(xué)英語寫作教學(xué)的研究[J].外語電化教學(xué)，2012，（146）：17-21.

[9]周穎.在線形成性評價工具在英語寫作中的應(yīng)用—困難及對策探究[J].現(xiàn)代教育技術(shù)，2011，（9）：88-93.