基于英語寫作自動評價系統(tǒng)的評價模式在低水平學(xué)生英語寫作中的實(shí)證研究

王康妮+曾美婷

【摘要】本研究分別將基于寫作自動評價系統(tǒng)的評價模式、基于寫作自動評價系統(tǒng)的評價與教師評價的混合評價模式和基于寫作自動評價系統(tǒng)的評價與同伴互評混合評價模式應(yīng)用于低水平學(xué)生英語寫作中。結(jié)果顯示，三個班學(xué)生的作文成績都有明顯提高，但是三個班的進(jìn)步值不存在顯著差異，這說明基于寫作自動評價系統(tǒng)的評價模式能促進(jìn)低年級學(xué)生的作文水平。

【關(guān)鍵詞】英語寫作自動評價系統(tǒng) 低水平學(xué)生 人工評價

一、研究背景

在我國現(xiàn)階段的大學(xué)英語寫作教學(xué)中，因?yàn)榻處熃虒W(xué)科研任務(wù)重，每次批改作文需要很長的時間，因而無法及時給學(xué)生提供反饋，從而使部分學(xué)生對寫作產(chǎn)生消極態(tài)度，同時，這也導(dǎo)致教師少布置作文，學(xué)生沒得到足夠?qū)懽饔?xùn)練。學(xué)生的消極態(tài)度和寫作訓(xùn)練的不足極大影響了學(xué)生寫作水平的提高。大學(xué)英語教學(xué)積極響應(yīng)《大學(xué)英語課程教學(xué)要求》中提倡應(yīng)用現(xiàn)代信息技術(shù)，特別是網(wǎng)絡(luò)技術(shù)為支撐，旨在讓教與學(xué)不受時間和地點(diǎn)的限制，朝著個性化和自主學(xué)習(xí)的方向發(fā)展的教學(xué)模式的要求，運(yùn)用計算機(jī)多媒體技術(shù)于教學(xué)中。英語寫作自動評價系統(tǒng)（以下簡稱系統(tǒng)），一項(xiàng)基于信息技術(shù)的標(biāo)準(zhǔn)化評價工具，也被引入英語寫作教學(xué)中，成為英語寫作改革的一個重要切入點(diǎn)。自動評價系統(tǒng)能提高批閱速度，及時給學(xué)生反饋，讓學(xué)生得到更多寫作訓(xùn)練，進(jìn)而提高學(xué)生的英語寫作水平，但其亦有局限性：主要關(guān)注作文的形式方面如單詞拼寫和語法錯誤等，卻甚少關(guān)注內(nèi)容和組織方面?；诖耍糠盅芯空呓ㄗh系統(tǒng)評價應(yīng)與人工評價相結(jié)合，使其更好地達(dá)到提高學(xué)生寫作水平的目的。

目前，國內(nèi)已有部分研究者嘗試將基于系統(tǒng)的評價與人工評價的混合評價模式應(yīng)用于寫作課堂中，發(fā)現(xiàn)混合評價模式比單獨(dú)的人工評價更能提高學(xué)生寫作水平。然而，鑒于系統(tǒng)評價能夠提高學(xué)生寫作水平，因其局限性，才進(jìn)而提出系統(tǒng)評價與人工評價相結(jié)合的混合評價模式，因此，后續(xù)研究應(yīng)該把基于系統(tǒng)的評價與人工評價混合評價模式和基于系統(tǒng)的評價模式進(jìn)行比較，但目前卻鮮少有這方面的嘗試。故本研究分別將基于系統(tǒng)的評價模式、基于系統(tǒng)的評價與教師評價混合評價模式和基于系統(tǒng)的評價與同伴互評混合評價模式應(yīng)用于低水平學(xué)生英語寫作中，希望能為這一領(lǐng)域的研究提供思路。

二、研究設(shè)計

1.研究問題。本實(shí)驗(yàn)將三種評價模式應(yīng)用于教學(xué)中，并研究：（1）三種評價模式對促進(jìn)低水平學(xué)生寫作水平是否不同？（2）學(xué)生對這三種評價模式的態(tài)度如何？

2.研究對象。來自某院校三個非英語專業(yè)班級共107學(xué)生參與本次實(shí)驗(yàn)，這些學(xué)生已經(jīng)完成為期一個學(xué)期的大學(xué)英語學(xué)習(xí)。

3.研究工具。本研究采用問卷調(diào)查和前、后測英語寫作成績的統(tǒng)計學(xué)分析，問卷調(diào)查在實(shí)驗(yàn)后在三個班進(jìn)行，包含四個維度：學(xué)生（1）是否滿意本班實(shí)行的評價模式；（2）是否會認(rèn)真閱讀評價并修改；（3）是否認(rèn)為現(xiàn)行評價模式能促進(jìn)寫作水平；（4）是否滿意實(shí)行的評價模式的反饋速度。前、后測英語寫作成績來自學(xué)生在實(shí)驗(yàn)前和實(shí)驗(yàn)后的限時命題寫作的初稿。為確保作文難度一致，作文體裁皆為議論文。每份作文最終得分取自兩位教師評分的平均值。

實(shí)驗(yàn)采用采用的自動評價系統(tǒng)是冰果英語智能評閱系統(tǒng)，該系統(tǒng)目前被國內(nèi)多所高校使用。

4.研究方法與步驟。在實(shí)驗(yàn)班A班和B班中，A班使用基于系統(tǒng)的評價與教師評價混合評價模式，系統(tǒng)先對作文初稿進(jìn)行評價，學(xué)生根據(jù)評價做出修改后提交教師，教師評價后學(xué)生再修改、定稿并上交。B班采用基于系統(tǒng)的評價與同伴互評混合評價模式，同樣先讓系統(tǒng)對初稿進(jìn)行評價，區(qū)別在于學(xué)生修改初稿后交與同伴，同伴根據(jù)教師提供的同伴互評標(biāo)準(zhǔn)進(jìn)行修改、反饋，學(xué)生在同伴提供的反饋基礎(chǔ)上，再次進(jìn)行修改定稿并上交。在實(shí)驗(yàn)前，教師先提供互評標(biāo)準(zhǔn)并對學(xué)生進(jìn)行培訓(xùn)。前兩次的同伴互評在課堂上進(jìn)行，教師在旁邊給予指導(dǎo)。由于培訓(xùn)的緣故，實(shí)驗(yàn)班第一學(xué)期布置3篇作文，第二學(xué)期增加到4篇。對照班C采用基于系統(tǒng)的評價模式，使用系統(tǒng)對作文進(jìn)行評改，對照班每個學(xué)期布置6篇作文。

5.研究結(jié)果和分析。結(jié)果分析與討論。前測結(jié)果顯示三個班學(xué)生成績有顯著性差異（P=0.003<0.05），說明實(shí)驗(yàn)組和對照組在實(shí)驗(yàn)前英語寫作能力有差異。SPSS計算出三個班學(xué)生前測的平均成績?nèi)绫?所示。由于前測成績有顯著性差異，我們將三個班實(shí)驗(yàn)后的進(jìn)步值進(jìn)行比較，以觀察實(shí)驗(yàn)方法和對照方法對學(xué)生寫作能力發(fā)展的影響。通過對三個班學(xué)生進(jìn)步值的比較，發(fā)現(xiàn)他們的進(jìn)步值沒有顯著性差異（P=0.077>0.05），結(jié)果如表2所示，實(shí)驗(yàn)A班和B班分別提高了2.3289分和2.1324分，對照班C班提高了1.5600分，說明三種評價模式都有助于低水平學(xué)生寫作能力的發(fā)展，都對學(xué)生的寫作起促進(jìn)作用。

表1 實(shí)驗(yàn)組和對照組平均成績比較（前測）

小班 人數(shù) 平均數(shù) 標(biāo)準(zhǔn)差

實(shí)驗(yàn)組A班 38 7.5132 1.53115

實(shí)驗(yàn)組B班 34 8.7059 1.69275

對照組C班 35 8.5543 1.50555

表2 實(shí)驗(yàn)組和對照組進(jìn)步值比較

小班 人數(shù) 平均數(shù) 標(biāo)準(zhǔn)差

實(shí)驗(yàn)組A班 38 2.3289 2.12856

實(shí)驗(yàn)組B班 34 2.1324 1.31027

對照組C班 35 1.5600 1.94516

實(shí)驗(yàn)后的問卷調(diào)查結(jié)果顯示，A 班有68.42%對現(xiàn)行評價模式滿意，B班有62.86%，C班最低，只有56.25%。其中A 班有高達(dá)65.79%學(xué)生認(rèn)為現(xiàn)行評價模式能促進(jìn)寫作水平，而B班和C班分別只有51.43%和50.00%。然而當(dāng)問到對反饋速度的滿意度，對照C班顯示最高的滿意度，有84.38%表示滿意，而A班和B班只有65.79%和51.43%。反饋速度也進(jìn)而影響學(xué)生對反饋內(nèi)容的閱讀以及對作文的修改。C班有65.63%的學(xué)生會經(jīng)常閱讀反饋并有53.13%的同學(xué)表示會根據(jù)評價修改。A班則有60.53%的學(xué)生閱讀作文的反饋，只有42.11%的學(xué)生會經(jīng)常修改；B班最低，只有51.43%的同學(xué)會閱讀反饋并有37.14%的同學(xué)會修改。

從實(shí)驗(yàn)結(jié)果可以看出，基于寫作自動評價系統(tǒng)的評價模式、基于寫作自動評價系統(tǒng)的評價與教師評價混合評價模式和基于寫作自動評價系統(tǒng)的評價與同伴互評混合評價模式都能促進(jìn)低水平學(xué)生寫作水平的發(fā)展，實(shí)驗(yàn)班學(xué)生寫作成績的進(jìn)步值高于對照班，但是他們之間的進(jìn)步值沒有形成顯著差異，這主要是系統(tǒng)的特點(diǎn)導(dǎo)致的。系統(tǒng)評價的最大特點(diǎn)是關(guān)注作文的形式方面如單詞拼寫和語法錯誤等，卻甚少關(guān)注內(nèi)容和組織方面。參與實(shí)驗(yàn)的學(xué)生都是大一學(xué)生，他們的英語水平還比較低，作文中充斥著高頻率的詞匯和語法方面的錯誤，系統(tǒng)能夠提供比教師更詳細(xì)更準(zhǔn)確的語法和拼寫反饋，幫助學(xué)生極大地減少作文的錯誤，明顯提高作文的質(zhì)量。同時，對照班學(xué)生比實(shí)驗(yàn)班學(xué)生多將近一倍的寫作練習(xí)，使得對照班學(xué)生可以多次操練，多次修改，因而他們的作文在詞匯和語法方面都比實(shí)驗(yàn)班得到更大進(jìn)步。然而，仔細(xì)閱讀學(xué)生的作文，就會發(fā)現(xiàn)對照班學(xué)生在內(nèi)容和組織方面基本沒有取得進(jìn)步，這是系統(tǒng)很少在這些方面給予有效反饋導(dǎo)致的。因而，雖然實(shí)驗(yàn)班在詞匯、語法、內(nèi)容和結(jié)構(gòu)方面都取得有進(jìn)步，但是對照班在詞匯和語法方面的巨大進(jìn)步彌補(bǔ)了在內(nèi)容和結(jié)構(gòu)方面的不足，使得實(shí)驗(yàn)班和對照班的進(jìn)步值沒有顯著差異。

從上面的分析不難看出，基于系統(tǒng)的評價模式對低年級學(xué)生的寫作更有幫助，但對高年級學(xué)生寫作水平是否提高還有待斟酌。這和周穎[8]和魯艷輝等[9]的發(fā)現(xiàn)相吻合。低年級學(xué)生作文充斥著大量的語法和詞匯錯誤，系統(tǒng)在這方面能夠提供比人工更準(zhǔn)確更強(qiáng)大的支持，因而基于系統(tǒng)的評價模式和基于系統(tǒng)的評價與人工評價混合評價模式一樣能促進(jìn)低年級學(xué)生的作文水平。然而隨著學(xué)習(xí)不斷積累，學(xué)生作文中的語法和拼寫錯誤逐漸減少，如何把觀點(diǎn)和內(nèi)容更好地呈現(xiàn)給讀者成為他們面臨的主要問題，系統(tǒng)卻很難在這些方面提供有效的反饋，這時過于依賴系統(tǒng)評價反而會限制學(xué)生作文水平的提高，人工評價介入成為必要。

現(xiàn)代化信息技術(shù)評價工具應(yīng)用于英語寫作教學(xué)中是一個不可避免的趨勢，如何根據(jù)學(xué)生寫作特點(diǎn)，發(fā)揮系統(tǒng)評價的優(yōu)點(diǎn)并且避免其缺點(diǎn)，使系統(tǒng)能有效地為教學(xué)服務(wù)需要我們教師和研究者不斷地探討和實(shí)踐，我們相信，通過一線教師和研究者的不懈努力，一定能找出一個讓教師和學(xué)生都受益的模式。

參考文獻(xiàn)：

[1]教育部高等教育司.大學(xué)英語課程教學(xué)要求[M].上海：上海外語教育出版社，2007：5.

[2]Attali，Y.Exploring the feedback and revision Features of Criterion[C].Paper Presented at the Meeting of the National Council on Measurement in Education （NCME），San Diego，CA.2004.

[3]Shermis，M.J.，Burstein，J.C.& Bliss.L.The impact of automated essay scoring on high stakes writing assessments[R].Paper presented at the Annual Meeting of the National Council on Measurement in Education，San Diego，CA.2004.

[4]Chen，C.F.E.& Cheng，W.Y.Beyond the Design of Automated Writing Evaluation：Pedagogical Practices and Perceived Learning Effectiveness in EFL Writing Classes.Language learning & technology.2008（2），94-112.

[5]唐錦蘭.寫作自動評價系統(tǒng)在大學(xué)英語教學(xué)中的應(yīng)用研究[J].外語教學(xué)理論與實(shí)踐，2014（1）：49-57.

[6]冰果英語智能作文評閱系統(tǒng)http：//write.bingoenglish.com/.

[7]蔣學(xué)清，蔡靜，唐錦蘭.探析自動作文評價系統(tǒng)對大學(xué)生英語寫作能力發(fā)展的影響[J].山東外語教學(xué)，2011（6）：36-43.

[8]周穎.在線形成性評價工具在英語寫作中的應(yīng)用——困難及對策探究[J].現(xiàn)代教育技術(shù)，2011（9）：88-93.

[9]魯艷輝，譚福民，彭舜.智能寫作評分系統(tǒng)在大學(xué)英語寫作中的實(shí)證研究[J].現(xiàn)代教育技術(shù)，2010（6）：56-58.

【基金項(xiàng)目】該文為2012年海南醫(yī)學(xué)院教學(xué)改革項(xiàng)目（HYP201208）“英語作文自動評價后人工跟進(jìn)評價的研究”部分研究成果。