在線寫作自動評價系統(tǒng)應用研究

王莉

（洛陽師范學院公共外語教研部，河南洛陽471022）

在線寫作自動評價系統(tǒng)應用研究

王莉

（洛陽師范學院公共外語教研部，河南洛陽471022）

大學英語寫作能力的培養(yǎng)一直是較難解決的問題。然而，以現(xiàn)代信息技術為標志的語言教學現(xiàn)代化為解決這個問題提供了契機。本研究以形成性評價理論為依據，提出自主寫作模型以指導實驗過程，同時應用在線寫作自動評價系統(tǒng)WRM2為寫作和反饋工具，以問卷、教師日志、學生日志和訪談記錄為數(shù)據收集工具，在兩組學生中開展寫作教學實證研究，試圖探索融入WRM2系統(tǒng)的寫作教學模式與大學生英語自主寫作能力之間的關系。

在線寫作自動評價系統(tǒng)；自主寫作；形成性評價

一、研究背景

寫作是語言學習的一個重要部分。然而,大學生英語寫作能力的培養(yǎng)一直是較難解決的問題，這與大學英語學習和教學的現(xiàn)實狀況密不可分。首先，教師給予學生寫作的反饋多是一個分數(shù)、等級或是簡單評語，因此不少學生得不到清晰、有效的指導；其次，面對日益增多的學生人數(shù)，教師批改作文的壓力隨之增加，導致反饋不能及時，學生的寫作機會也在減少；最后，寫作只是綜合英語課的一部分，無專門課時,這就使學生不重視寫作,因而不利于養(yǎng)成良好的自主寫作習慣。以上現(xiàn)實迫切要求我們尋求科學高效的方式，來改變現(xiàn)有的大學英語寫作教學、學習以及評價方式。

與此同時，以現(xiàn)代信息技術為標志和趨勢的語言教學現(xiàn)代化為解決以上問題提供了契機。教育部2007年頒布的《大學英語課程教學要求》也指出應充分利用多媒體和網絡技術，培養(yǎng)語言運用能力和自主學習能力的教學模式的轉變。寫作是語言學習和教學的重要技能之一，其評價和測試在朝著更加智能化的方向迅速發(fā)展。

鑒于以上寫作教學發(fā)展趨勢，筆者設計和嘗試了融入WRM2在線寫作自動評價工具的寫作教學模式，目的是在形成性評價理論的指導下，探索新的寫作教學方法和評價方法，促進學生積極主動地參與寫作活動，培養(yǎng)學生的自主寫作能力。

二、理論依據

形成性評價（formative assessment）的概念是由美國教育學家布盧姆（B.S.Bloom）引進教學領域的。它是在一個教學過程中針對學生的學習行為和能力發(fā)展而進行的過程性評價，并在同時通過多種形式對學生的學習行為、能力、態(tài)度以及合作精神等進行的持續(xù)性評價，其目的是幫助教師不斷調整教學內容和策略，同時幫助學生掌控自己的學習過程，從而改進學習方法，提高學習效率。

由于形成性評價與教學過程的各環(huán)節(jié)密切相關，它為過程寫作教學提供了依據?！皩懽魇且粋€循環(huán)式的心理認知過程、思維創(chuàng)作過程、交互過程，寫作者必須通過寫作過程的一系列認知、交互活動來提高自己的認知能力、交互能力和書面表達能力?！保╖amel 1976;Raimes 1979;Flow?er&Hayes 1981;Krashen 1984)這就要求在課堂寫作中，每個學生都能親自參與到寫作活動中去,也要求教師對學生的作文進行及時有效的反饋，這有助于學生不斷地發(fā)現(xiàn)自己的不足，并從反饋信息中得到啟發(fā)，對寫作主題有新的認知和理解。因此，及時、準確的反饋對基于過程寫作法的寫作學習和教學極為重要。

本研究使用的在線寫作自動評價系統(tǒng)是使形成性評價理論和過程寫作法得以實現(xiàn)的有效工具。它為學生參與寫作過程提供一個平臺，使學生即時地調整寫作任務，通過不斷地且不受時間限制地修改作文，為學生提供反饋，幫助學生發(fā)現(xiàn)寫作中的問題，及時修改，不斷強化寫作學習，從而提高學習的積極性，最終提高自主寫作能力。

三、自動寫作評價與Writing Roadmap 2.0

自動寫作評價就是利用計算機技術對作文進行評估與記分(Shermis&Burstein，2003)。在歐美一些國家，在線寫作系統(tǒng)已被廣泛應用于大規(guī)模測試的評估及外語教學中（唐錦蘭&吳一安，2011）。

相比之下，國內對于作文自動評價系統(tǒng)這種形成性評價工具的研究尚屬初級階段。近年來有學者研究了在線形成性評價工具對中國大學生英語寫作能力發(fā)展的影響（唐錦蘭&吳一安，2012；魯艷輝等，2010；蔣學清等，2011），但是沒有對該類系統(tǒng)在寫作課堂的應用對學生自主寫作能力的影響的相關研究。因此，本研究主要在前人研究基礎上探索在線自動評價系統(tǒng)在大學英語寫作課堂中的應用是否能夠對大學生英語自主寫作能力以及寫作態(tài)度、寫作成績產生影響。

本研究使用的在線寫作自動評價系統(tǒng)Writing Roadmap 2.0（以下簡稱WRM2）由美國麥格勞-希爾教育測評中心研發(fā)。它以母語為英語的學生語料庫為基準，既能自動評分，同時又在結構、內容、遣詞、語體、語法、寫作規(guī)范及句式多樣性等六個維度上對作文進行全面分析。系統(tǒng)還設置了電子白板供教師寫評語，這樣能幫助學生更全面地了解自己的作文水平和質量（王淑雯，2011）。另外，系統(tǒng)還提供如同義詞典、段落提示、語法、拼寫和風格檢查等工具，融評分、反饋報告和寫作輔助功能為一體，是學生練習英語寫作、教師管理英語寫作教學的有力工具。該測評中心還為中國學生研發(fā)了WRM2的中文版，功能和英文版完全一致，學生可以通過中文界面的幫助更清楚地認識自己作文的優(yōu)缺點。

WRM2系統(tǒng)及時全面的反饋以及人性化的寫作指導系統(tǒng)有利于激發(fā)學生的寫作興趣，幫助學生對寫作過程進行自我管理和自我反思，從而有助于增強他們的寫作自主性，逐步成為自主寫作者。本研究就是對WRM2寫作評價系統(tǒng)在自主寫作過程中的應用情況進行的探索。

四、自主寫作過程的理論框架——自主寫作模型

（一）自主寫作與自主寫作能力

根據Holec對自主性的定義，筆者認為一個自主的寫作者應具備以下能力：能建立寫作的決心和信念，具有一定的寫作認知能力；有明確的寫作目標，能選擇恰當?shù)膬热?、材料和策略，制定具體的寫作計劃；同時能管理和反思整個寫作過程。在本研究中，具備以上能力的學習者就具有自主寫作能力。

（二）自主寫作模型

根據自主學習的特征，借鑒Flower和Hayes（1981）提出的寫作認知模型，筆者提出了自主寫作模型（如圖1）并把它作為自主寫作過程的理論框架來指導在線寫作的過程。我們假設學生在以下方面的自主性有助于提高寫作能力。

（三）自主寫作模型在本研究中的作用

基于以上自主寫作模型，筆者設計了問卷I（信度系數(shù)0.92），用來測量學生的自主寫作能力。問卷中的十部分中，除第一部分日常寫作策略之外，其余九部分（讀者意識、動機、外部資源、內部資源、動機、目標確定、組織、寫稿、修改、自我認知）均源于此模型，問卷得分較高的學生被認為具有較高的自主寫作能力。筆者依照此模型，引導學生進行在線寫作，目的是為了讓學生寫作時充分發(fā)揮主動性，努力成為自主寫作者。

五、研究過程

（一）研究問題

筆者設計的融入WRM2自動評價系統(tǒng)的寫作教學模式，目的是在形成性評價理論的指導下，探索在線寫作自動評價系統(tǒng)在大學生英語自主寫作中的應用情況。據此，筆者提出以下幾個研究問題：（1）學生對在線寫作自動評價系統(tǒng)如何評價？（2）在線寫作自動評價系統(tǒng)的應用與學生自主寫作能力之間的關系如何？（3）在線寫作自動評價系統(tǒng)的應用與學生英語寫作成績之間關系如何？

（二）受試

筆者從所教的七個班級中隨機抽選兩個班學生作為研究對象，其中實驗組65人，物理專業(yè)；控制組70人，化學化工專業(yè)。對他們的期末考試總成績進行的統(tǒng)計分析沒有發(fā)現(xiàn)顯著差異（t=-1.573,P=.112>0.05）,兩組問卷I（t.=-.043，p=.932> 0.05）的統(tǒng)計和寫作的前測（t=-.276，P=.778>0.05）之間也無顯著差異。因此，兩組總體語言水平相似，自主寫作能力也相似，可以參加該實驗。

（三）實驗過程

為比較融入WRM2自動評價系統(tǒng)的寫作教學模式和傳統(tǒng)寫作教學模式的差異，筆者開展了為期20周的教學實驗。該實驗分三步進行：前調查、寫作教學過程和后調查。前調查包括兩組都參加的限時寫作前測和自主寫作能力測試問卷I。寫作教學過程中，筆者在實驗班采用融入WRM2自動評價系統(tǒng)的寫作教學模式，在對照班采用傳統(tǒng)寫作評改模式（即教師選題—學生寫作—教師點評）。實驗期間，教師在兩個班采用完全相同的教學干預手段：寫作策略培訓、同學互相評改、教師課堂評講、教師上傳學生范文等。后調查中，兩組同學都要參加限時寫作后測并再次填寫問卷I以檢驗實驗效果，同時，實驗組同學要填寫問卷II（信度系數(shù)為0.826）來評價他們對WRM2系統(tǒng)的態(tài)度和看法。筆者還通過教師日志、學生反思日志和師生訪談來更全面地了解學生對該系統(tǒng)的評價。最后，用SPSS17.0對所有數(shù)據進行分析。

六、研究結果

（一）學生對在線寫作自動評價系統(tǒng)的評價

數(shù)據分析結果表明：學生充分肯定了WRM2在線寫作自動評價系統(tǒng)對學生寫作能力多個方面的幫助，78%的學生認為自己在寫作規(guī)范方面得到提高，66%的學生認為在語法和文章組織結構方面得到提高。

結合教師和學生日志，筆者認為這首先要歸功于WRM2的寫作思路指導功能。這些功能能幫助學生在寫作前準確地審題和構思，指導學生在寫作時規(guī)范自己的語言。另外，研究表明，反饋是形成性評價中最重要的環(huán)節(jié)，及時反饋對于學習的促進作用最大(Black&William，1998)。而在本實驗中，系統(tǒng)的即時反饋與教師稍后更有針對性的反饋互為補充，這就促使學生不斷修改作文，從而提高寫作能力。

其次，WRM2系統(tǒng)可以幫助學生改進寫作態(tài)度，這一點得到了多數(shù)學生的肯定。68%的同學認為，該系統(tǒng)可以幫助自己提高寫作興趣，從而增強寫作信心。教師日志中對于第三次寫作修改次數(shù)的統(tǒng)計數(shù)據也有同樣的發(fā)現(xiàn)：修改次數(shù)大于6次的有5位同學，修改次數(shù)在4～5次的有9位同學，修改次數(shù)在3～4次的有28位同學，修改次數(shù)在2次左右的有19位同學，修改次數(shù)為1次的只有5位同學?？梢哉f，在線寫作系統(tǒng)激發(fā)了學生寫作、修改的熱情。因此，72%的同學“愿意繼續(xù)使用該系統(tǒng)來提高英語寫作”。

問卷II中的最后四題是有關該系統(tǒng)的缺陷。統(tǒng)計數(shù)據顯示，45%同學承認“寫作網站有時登錄不上,系統(tǒng)不穩(wěn)定”。筆者認為這和校園網有很大關系。因此，要在教學中充分利用計算機技術提高教學質量，需要穩(wěn)定的環(huán)境和設備支持，這一點在周穎（2011）的研究中也得到證實。

此外，56%的同學認為“系統(tǒng)的幫助功能還需再完善”“可以把中英文放在同一個界面，我們對評語就好理解多了”。在學生日志中，還有不少學生提出“應該建立范文庫，給學生提供更多的參考。”可見，該系統(tǒng)有待更加智能化，特別是應該考慮如何滿足不同水平的學生要求。

（二）在線寫作自動評價系統(tǒng)的應用與學生自主寫作能力之間的關系

實驗后兩組學生自主寫作能力獨立樣本T檢驗結果顯示：控制組的均值為103.82，實驗組的均值為118.50，超過控制組。獨立樣本檢驗值（t=-6.068,p=0.000<0.01）也表明，兩組后測中的自主寫作能力存在顯著差異。因此，運用WRM2的寫作教學比傳統(tǒng)寫作教學更能提高學生的自主寫作能力。

以上數(shù)據分析充分說明，在線寫作自動評價系統(tǒng)WRM2是提高學生自主寫作能力的有效工具。原因有如下幾點：在寫前階段，老師利用WRM2系統(tǒng)中的“寫作思路指引”功能詳細解析題目要求，幫助學生對寫作任務有清晰的理解，學生也能較快地確定寫作計劃，寫出初稿。初稿完成后，學生可用《語法拼寫檢查》《近義詞辭典》和《句法分析》等輔助工具反復修改，并且可以反復打分，及時得到每次修改的建議。這樣學生可以隨時掌握自己在寫作中的進展，反思自己的不足，不再像以前在傳統(tǒng)寫作模式下，只等老師去評價和督促自己，而是在WRM2系統(tǒng)所提供的環(huán)境中扮演主體角色（王淑雯，2011）。

（三）在線寫作自動評價系統(tǒng)的應用與學生英語寫作成績之間關系

實驗后，兩組寫作成績對比結果顯示：控制組得分均值為9.8906，實驗組的均值高于控制組，為10.9902。另外，t值表現(xiàn)顯著（t=-3.736，p=0.000< 0.05），表明后測中兩組得分有顯著差異。因此，與傳統(tǒng)寫作教學法相比，融入在線寫作自動評價系統(tǒng)的寫作教學更能提高學生寫作成績。

前人的研究（Rich etal 2008；唐錦蘭&吳一安，2012；魯艷輝等，2010；蔣學清等，2011；張曉青，2012）也得出了同樣的結論。筆者認為：原因有如下幾點：第一，WRM2提供的“寫作思路指引”“語法拼寫檢查”“近義詞辭典”和“句法分析”等功能能幫學生進行反復修改和重寫。當學生發(fā)現(xiàn)作文某些地方被標出錯誤時候，會努力去修改，查找參考資料，請教老師和同學，在此過程中，語言能力得到提升是必然的。第二，系統(tǒng)的即時反饋與教師稍后個性化點撥互為補充，能激發(fā)學生不斷修改作文，提高寫作能力。第三，WRM2創(chuàng)建了學生自我監(jiān)督、評估、修改的良好環(huán)境，促使學生增強寫作自主意識和能力，逐漸成為自主學習者。

以上研究結果都證明了把在線自動寫作評價系統(tǒng)WRM2引入大學英語寫作教學的有效性與可行性。

七、結語

形成性評價方式和具有自動反饋功能的在線寫作工具在促進非英語專業(yè)大學生的寫作能力方面可以發(fā)揮積極的作用，有助于學習者對學習進行自我評價、自我反思、自我管理，增強了學習者的自主寫作能力。但是WRM2在功能智能化、資源庫建設方面仍有局限，它的適用性還有待進一步探索。

同時，本研究雖然證明了把在線自動寫作評價系統(tǒng)WRM2引入大學英語寫作教學是必要、可行而且有效的，但是受試者類型不夠豐富，也沒有足夠大的樣本，試驗周期不夠長，今后的研究應盡力彌補以上不足，以增加研究的信度和效度。

[1]Attli,Y.Exploring the feedback and revision feature of cri?terion[R].Paper presented at the annual meeting of national council on measurement in education,San Diego,CA.Ameri?ca,April 2004.

[2]Black,P.&D.William.Assessment and classroom learn?ing[J].Assessment in Education,1998,5(1).

[3]Burstein J.&Chodorow M.Automated essay scoring for nonnative English speakers[EB/OL].http://www.ets.org/Media/ Research/pdf/erater_acl99rev.pdf,1999-06/2006-03-20.

[4]Burstein J.The e-rater scoring engine:Automated essay scoring with natural language processing[A].In Shermis M D &Burstein J(eds.)Automated Essay Scoring:A Cross-disci?plinary[C].Mahwah,NJ:Lawrence Erlbaum Associates.2003.

[5]Dikli S.Automated essay scoring[J].Turkish Online Jour?nal of Distance Education,2006,7(1).

[6]Dornyei,Z.Research Methods in Applied Linguistics: Quantitative,Qualitative and Mixed Methodologies[M].Ox?ford:OUP.2007.

[7]Elliot,S.&C.Mikulas.The impact of My access!used on stu?dent writing performance:A technology overview and four stud?ies[R].Paper presented at the Annual meeting of national coun?cil on measurement in education,San Diego,CA.,America, April 2004 and New York:Pergamon.

[8]Waeschauer M.&D Grimes.Automated Writing Assessment in the Classroom[J].Pedagogies:An International,2008(3).

[9]Flower,L.&Hayes,J.R.A Cognitive Process Theory of Writing[J].College Composition and Communication.1981.32 (4).

[10]Krashen,S.D.1984.Writing:Research Theory and Appli?cationsM.Oxford.

[11]Kukich K.Beyond Automated Essay Scoring[A].In Hearst M A(ed.).The debate on automated essay grading[J]. IEEE Intelligent Systems,2000(5).

[12]Lonsdale D&Strong-Krause D.Automated Rating of ESL Essays[EB/OL].http://acl.ldc.upenn.edu/W/W03/W03-0209. pdf,2003/2006-03-20.

[13]Page E.B.Project essay grade:PEG[A].In Shermis M D &Burstein J(eds.).Automated Essay Scoring:A Cross-disci?plinary Perspective[C].Mahwah,NJ:Lawrence Erlbaum Asso?ciates,2003.

[14]Raimes.A.Problems and Teaching Strategies in ESLcc?mpositions[MJ.Arlongton,VA:Center for Applied Linguistics. 1979.

[15]Rich,Changhua Sun,Harrington,H.,Kim.,J.&West,B. Automated essay scoring in state formative and summative writ?ing assessment[R].Paper presented at AERA New York City, March 24,2008.

[16]Shermis,M.D.&Burstein,J.(2003).Automated Essay Scoring:A cross disciplinary perspective.Mahwah,NJ:Law?rence Erlbaum Associates.

[17]Zarnel.V.Teaching composition in the ESL classroom: What we can learn from research in the teaching of English[J]. TESOL Quarterly.1979(10).

[18]蔣學清，蔡靜，唐錦蘭.探析自動作文評價系統(tǒng)對大學生英語寫作能力發(fā)展的影響[J].山東外語教學，2011(6).

[19]魯艷輝，譚福民，彭舜.智能寫作評分系統(tǒng)在大學英語寫作中的實證研究[J].現(xiàn)代教育技術，2010(6).

[20]唐錦蘭，吳一安.在線英語寫作自動評價系統(tǒng)應用研究述評[J].外語教學與研究，2011(02).

[21]王淑雯.如何利用Writing Roadmap 2.0進行在線英語寫作反饋[J].現(xiàn)代教育技術，2011(3).

[22]吳一安，唐錦蘭.融入自動評價系統(tǒng)的英語寫作實驗教學對高校英語教師的影響研究.外語電化教學，2012(4).

[23]謝春賢.語作文自動評分及其效度、信度與可操作性探討[J].江西師范大學學報，2010(2).

[24]張曉青.淺談Writing Roadmap TM2.0在高職高專英語寫作教學中的應用[J].教學方法，2012(2).

[25]周穎.在線形成性評價工具在英語寫作中的應用：困難及對策探究[J].現(xiàn)代教育技術，2011，21(9).

[26]張英.寫作教學中的反饋對教學雙方認知行為的影響[J].外語界，2000(1).

(責任編輯：陳麗娟）

The Application of Automated Online Writing Assessment System

WANG Li
（Public English Teaching and Researching Department,Luoyang Normal University,Luoyang 471022,China）

The cultivation of writing competence in college English has long been a tough question.Meanwhile，modern information technology，a sign of the modernization of language teaching,offers an opportunity to solve the above problem.This empirical study is based on formative assessment theory,and is carried out under the aid of WRM2 and an autonomous writing model raised by the author.At the same time,all the statistics are collected through various instruments,including two questionnaires,teacher and students'journals and interviews.In this study,the author tries to explore the relationship between WRM2 and autonomous English writing competence of college students.

automated online writing assessment system;autonomous writing;formative assessment

H315

A

1673-2998(2015)01-0100-05

2014-01-30

全國教育科學十一五規(guī)劃教育部重點課題“基于現(xiàn)代信息技術的形成性評價工具的應用研究”子課題“形成性評估工具在大學英語寫作教學中應用”（項目編號：GFA097005-H04）的部分成果；河南省社科聯(lián)調研課題“在線寫作自動評價系統(tǒng)對大學生英語自主寫作能力的影響研究”（項目編號:SKL-2012-1529）的部分成果。

王莉（1980-），女，河南洛陽人，洛陽師范學院公共外語教研部講師，碩士，主要研究方向：應用語言學與英語教學。