寫作自動(dòng)評估系統(tǒng)對中國大學(xué)生英語寫作水平影響的歷時(shí)研究

王淑雯

(西南石油大學(xué) 外國語學(xué)院，四川成都 610500)

寫作自動(dòng)評估系統(tǒng)對中國大學(xué)生英語寫作水平影響的歷時(shí)研究

王淑雯

(西南石油大學(xué) 外國語學(xué)院，四川成都 610500)

很多研究表明寫作自動(dòng)評估系統(tǒng)對英語寫作水平有積極影響，但缺少探討這種影響是否具有持續(xù)性的歷時(shí)研究。本研究采用定量研究的方法，使用寫作自動(dòng)評估系統(tǒng)“Writing Roadmap”為寫作工具，通過前測、中測、后測和延測，歷時(shí)考察該工具對非英語專業(yè)大學(xué)生英語寫作水平的積極影響是否具有持續(xù)性。研究發(fā)現(xiàn)：實(shí)驗(yàn)班的語言形式和寫作質(zhì)量增幅均顯著高于對照班，寫作質(zhì)量在延測中具有持續(xù)優(yōu)勢；實(shí)驗(yàn)班在語篇結(jié)構(gòu)方面的增幅高于對照班，但無統(tǒng)計(jì)意義上的差異；兩個(gè)班的寫作水平在后測和延測的增幅都趨緩。研究表明，該系統(tǒng)對實(shí)驗(yàn)班英語寫作水平的提高具有持續(xù)性影響。這一研究發(fā)現(xiàn)為寫作自動(dòng)評估系統(tǒng)與大學(xué)英語寫作教學(xué)進(jìn)一步融合提供了依據(jù)。

寫作自動(dòng)評估系統(tǒng)；英語寫作水平；語言形式；語篇結(jié)構(gòu)；寫作質(zhì)量

1.0 引言

近年來，就英語寫作教學(xué)的諸多研究發(fā)現(xiàn)，寫作并不是一個(gè)個(gè)孤立分離的任務(wù)，而是一系列循環(huán)而又相互嵌入的復(fù)雜認(rèn)知過程(Flower & Hayes,1981)，也是“寫作—反思—修改—再寫作—再反思—再修改……”的循環(huán)過程，且“過程的好壞決定結(jié)果的好壞”(Martinez & Martinez,1991:73)。寫作自動(dòng)評估系統(tǒng)因其能為使用者提供即時(shí)反饋以及反復(fù)修改的循環(huán)寫作機(jī)會，并監(jiān)控評估寫作過程，而在國內(nèi)外教學(xué)中逐漸受到重視。

2.0 國內(nèi)外寫作自動(dòng)評價(jià)系統(tǒng)研究現(xiàn)狀

20世紀(jì)60年代，寫作自動(dòng)評價(jià)系統(tǒng)在美國問世，并迅速被應(yīng)用于英語寫作教學(xué)。近年來，隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的發(fā)展以及人工智能技術(shù)突飛猛進(jìn)，該系統(tǒng)不斷得以研發(fā)和完善。目前比較成熟且被廣泛運(yùn)用于教育領(lǐng)域的寫作自動(dòng)評價(jià)系統(tǒng)，如MY Access！、Project Essay Grade、Intelligent Essay Assessor、Electronic Essay Rater和Writing Roadmap等，不僅能為學(xué)習(xí)者的寫作提供個(gè)性化、實(shí)時(shí)性的形成性評價(jià)、診斷性評價(jià)以及終結(jié)性評價(jià)，而且能就語言形式、語篇結(jié)構(gòu)和寫作質(zhì)量等方面提供多維度的反饋評價(jià)。

國外相關(guān)研究表明，寫作自動(dòng)評估系統(tǒng)對學(xué)生寫作質(zhì)量產(chǎn)生了積極影響，尤其是就語言形式層面提供的即時(shí)有效、準(zhǔn)確的反饋有助于減少機(jī)械錯(cuò)誤，提高學(xué)生的寫作水平(Rich et al.,2008；Shermis et al.,2004;Hoon,2006)。Milton (2006)的研究還發(fā)現(xiàn)，寫作自動(dòng)評估系統(tǒng)能提高寫作學(xué)習(xí)者的學(xué)習(xí)自主性。Scharber et al.(2008)的研究發(fā)現(xiàn)，相較于高年級學(xué)生，寫作自動(dòng)評估系統(tǒng)更能有效提高低年級學(xué)生的寫作水平。Schroeder et al.(2008)的調(diào)查顯示大多數(shù)使用者對寫作自動(dòng)評估系統(tǒng)持積極態(tài)度。White et al.(2010)對西弗吉尼亞州中小學(xué)的調(diào)查表明，使用Writing Roadmap的學(xué)生寫作成績高于沒有使用該系統(tǒng)的學(xué)生。這些研究主要以英語為母語的中小學(xué)學(xué)生為研究對象，采用定量研究的方法，關(guān)注系統(tǒng)對寫作結(jié)果的影響，且大多由系統(tǒng)開發(fā)商資助完成，研究結(jié)論的客觀性大打折扣，而且對系統(tǒng)在課堂教學(xué)應(yīng)用方面的研究較少。除部分研究外(如Shermis et al.,2004;Rich et al.,2008)，其余研究在設(shè)計(jì)上或缺少隨機(jī)抽樣，或缺少實(shí)驗(yàn)前成績，或缺少對照組等，其可信性受到質(zhì)疑(唐錦蘭、吳一安，2011)。值得注意的是，目前國外對于自動(dòng)評估系統(tǒng)在教學(xué)中的應(yīng)用研究更加趨于理性，如Wilson (2014)的實(shí)證研究指出，雖然寫作自動(dòng)評價(jià)系統(tǒng)在寫作教學(xué)中發(fā)揮了重要作用，但仍存在缺陷，如反饋較單一，尤其是欠缺寫作策略和任務(wù)聚焦等方面的反饋；Reilly (2014)表達(dá)了對利用系統(tǒng)進(jìn)行作弊的擔(dān)憂。

國內(nèi)對寫作自動(dòng)評價(jià)系統(tǒng)的研究起步較晚，但這兩年發(fā)展迅速。目前的研究主要分為三類。一是綜述類：如陳瀟瀟、葛詩利(2008)和葛詩利、陳瀟瀟(2009)分析了國外主流寫作自動(dòng)評分系統(tǒng)所采用的技術(shù)及對國內(nèi)開發(fā)此類系統(tǒng)的啟示；梁茂成、文秋芳(2007)依據(jù)語言測試領(lǐng)域的作文評分要素, 從技術(shù)層面對國外具有代表性的三種作文自動(dòng)評分系統(tǒng)進(jìn)行評介和比較；唐錦蘭、吳一安(2011)綜合分析了國內(nèi)外使用寫作自動(dòng)評價(jià)系統(tǒng)的相關(guān)研究成果；王勃然等(2015)回顧了50年來國內(nèi)外寫作自動(dòng)評價(jià)領(lǐng)域的主要成果，并展望了未來發(fā)展態(tài)勢。二是調(diào)查類：如魯艷輝等(2010)發(fā)現(xiàn)智能化在線評閱系統(tǒng)能促進(jìn)學(xué)生改變寫作策略；周穎(2011)調(diào)查了學(xué)生使用WRM寫作自動(dòng)評價(jià)系統(tǒng)進(jìn)行英語寫作過程中遇到的困難，進(jìn)而提出相應(yīng)的對策；王淑雯(2011)和馬衛(wèi)華、 甄強(qiáng) (2016)的調(diào)查都顯示絕大多數(shù)學(xué)生對寫作自動(dòng)評估系統(tǒng)持積極肯定態(tài)度；唐錦蘭、吳一安(2012)的調(diào)查發(fā)現(xiàn)，融入自動(dòng)評價(jià)系統(tǒng)的英語寫作實(shí)驗(yàn)教學(xué)使得教師的教學(xué)理念、行為、角色均發(fā)生了變化；張荔、盛越(2015)使用個(gè)案分析法，采用CET4作文樣卷驗(yàn)證了人/機(jī)(句酷批改網(wǎng))評閱一致性和相關(guān)性較高；但何旭良(2013)指出國內(nèi)開發(fā)的句酷系統(tǒng)的評價(jià)信度低于教師評判的信度。第三類是實(shí)證研究：如蔣學(xué)清等(2011)采用定量研究和定性研究相結(jié)合的方法，指出寫作自動(dòng)評價(jià)系統(tǒng)WRM在發(fā)展大學(xué)生英語寫作能力方面發(fā)揮積極的作用；唐錦蘭(2014)提出了基于自動(dòng)評價(jià)系統(tǒng)的自主寫作、多維反饋以及修改于一體的系統(tǒng)的先導(dǎo)模式，并多視角驗(yàn)證了其效度；胡學(xué)文(2015)通過數(shù)據(jù)分析發(fā)現(xiàn)，在自動(dòng)評閱環(huán)境中，學(xué)生自我修改的次數(shù)與作文成績的提高不存在相關(guān)關(guān)系；楊曉瓊，戴運(yùn)財(cái)(2015)建構(gòu)了基于句酷批改網(wǎng)的自主寫作教學(xué)模式，指出該模式有助于提高學(xué)生的自我效能感，降低寫作焦慮感；周麗(2015)從生產(chǎn)單位、句式類型、從句和短語等四個(gè)角度分析了句酷網(wǎng)對學(xué)生句法能力的效用。綜上，目前有關(guān)寫作自動(dòng)評價(jià)系統(tǒng)的研究對象范圍較廣，包括教師、中小學(xué)生、大學(xué)(非)英語專業(yè)學(xué)生。前期研究多表明寫作自動(dòng)評估系統(tǒng)有助于提高學(xué)生的英語寫作質(zhì)量，研究設(shè)計(jì)的共同特點(diǎn)是：a)對寫作質(zhì)量的最終考察多來自系統(tǒng)，沒有考察人工閱卷環(huán)境下學(xué)生寫作水平的變化；b)缺少歷時(shí)研究；c)沒有繼續(xù)跟蹤學(xué)生在停止使用系統(tǒng)后，英語寫作水平的變化，缺少持久性檢測，研究結(jié)果的有效價(jià)值可能受到質(zhì)疑。

基于此，本研究以我國某大學(xué)非英語專業(yè)的100名大一新生為研究對象，分為實(shí)驗(yàn)班和對照班，歷時(shí)三個(gè)學(xué)期，通過前測、中測、后測和半年后人工評閱的延測等4次測試，歷時(shí)考察寫作自動(dòng)評估系統(tǒng)Writing Roadmap(簡稱為WRM)對實(shí)驗(yàn)班英語寫作水平的影響。寫作水平主要從語言形式、語篇結(jié)構(gòu)和寫作質(zhì)量三個(gè)方面來衡量。具體研究問題是：

(1)學(xué)生的語言形式是否發(fā)生了顯著變化？變化趨勢如何？

(2)學(xué)生的語篇結(jié)構(gòu)是否發(fā)生了顯著變化？變化趨勢如何？

(3)學(xué)生的寫作質(zhì)量是否發(fā)生了顯著變化？變化趨勢如何？變化是否具有持續(xù)性？

3.0 研究方法

3.1 寫作自動(dòng)評價(jià)工具

本研究采用由美國麥克勞—希爾教育測評中心(McGraw-Hill)研發(fā)的WRM 為寫作工具。該系統(tǒng)提供一個(gè)復(fù)合分和六個(gè)分項(xiàng)分，分值都是0-5分。其中，寫作質(zhì)量由復(fù)合分(Holistic)決定。Chandler (2000) 也用復(fù)合分驗(yàn)證整體寫作質(zhì)量。我們將分項(xiàng)成績分為兩類，一類是語言形式，包括詞匯(Word choice)、句法(Fluency)和規(guī)范(Conventions)；另一類是語篇結(jié)構(gòu)，包括內(nèi)容(Ideas and contents)、結(jié)構(gòu)(Organization)和語體(Voice)。WRM 還就作文整體情況和六個(gè)分項(xiàng)維度提供批語反饋(Narrative feedback)。設(shè)置寫作輔助工具供學(xué)生寫作時(shí)隨時(shí)使用。不限制修改次數(shù)，學(xué)生可以反復(fù)“提交—獲得反饋—修改”，直到滿意為止。

3.2 研究對象

研究對象是我國一所綜合性大學(xué)非英語專業(yè)的100名大一新生，來自同一個(gè)專業(yè)的兩個(gè)自然班，其中，實(shí)驗(yàn)班50人，對照班50人，由同一教師任教，使用同樣的英語教材——讀寫綜合教材，教學(xué)任務(wù)一致，寫作任務(wù)和寫作次數(shù)相同。實(shí)驗(yàn)班在第一、二學(xué)期使用WRM，第三學(xué)期采用紙質(zhì)寫作和傳統(tǒng)教師批改方式，對照班一直采用紙質(zhì)寫作和傳統(tǒng)教師批改方式，即采用大學(xué)英語四級測試中的寫作評分法，從內(nèi)容和語言兩個(gè)方面對作文進(jìn)行綜合評判，只提供復(fù)合分，不提供分項(xiàng)分。

3.3 實(shí)驗(yàn)過程

實(shí)驗(yàn)歷時(shí)三個(gè)學(xué)期，每學(xué)期各16周。其中，WRM實(shí)驗(yàn)為前兩個(gè)學(xué)期。前測安排在正式上課之前，中測在第一學(xué)期期末，后測在第二學(xué)期期末，延測在教學(xué)實(shí)驗(yàn)結(jié)束的第三學(xué)期期末。實(shí)驗(yàn)開始前，兩個(gè)班都接受了WRM的使用訓(xùn)練。前測、中測和后測時(shí)，100名學(xué)生同時(shí)用WRM完成同題作文，限時(shí)30分鐘，不少于120詞，在寫作過程中，我們禁閉了WRM的寫作輔助工具。由于成績要納入該學(xué)期的平時(shí)成績，所有學(xué)生都參加了3次測試并能認(rèn)真對待。延測采用第三學(xué)期期末考試中的寫作成績(定義為寫作質(zhì)量，原始的滿分15分折合為滿分5分)，采用大學(xué)英語四級寫作閱卷標(biāo)準(zhǔn)，密封閱卷，由兩位經(jīng)常參加大學(xué)英語四級閱卷并多次被評為優(yōu)秀的教師統(tǒng)一評閱，若在同一分?jǐn)?shù)檔，取平均分；若跳檔，由兩位老師協(xié)調(diào)確定分?jǐn)?shù)。采用期末考試寫作成績作為延測是基于以下原因：學(xué)生會認(rèn)真對待期末測試；英語寫作，尤其是大學(xué)英語四六級測試仍以人工批閱為主，且只提供復(fù)合分，我們要觀察實(shí)驗(yàn)班在停止使用WRM進(jìn)行寫作訓(xùn)練后，他們的寫作質(zhì)量在人工閱卷環(huán)境下會發(fā)生什么變化。

3.4 數(shù)據(jù)收集和分析

本研究的數(shù)據(jù)來自兩個(gè)方面。第一，從WRM 提取的前測、中測和后測的復(fù)合分和分項(xiàng)分。第二，人工評閱的延測成績，僅有復(fù)合分。我們采用SPSS19.0對數(shù)據(jù)進(jìn)行獨(dú)立樣本t檢驗(yàn)和重復(fù)度量方差分析，回答受試成績均值的變化程度及其趨勢。

4.0 結(jié)果與分析

研究結(jié)果從三個(gè)方面匯報(bào)分析：語言形式、語篇結(jié)構(gòu)和寫作質(zhì)量。

4.1 語言形式變化

如上文所述，本研究中所涉及的語言形式主要從WRM 設(shè)置的詞匯、句法和規(guī)范三個(gè)維度衡量。其中，詞匯維度主要衡量詞匯豐富性、多樣性和傳遞信息的準(zhǔn)確性；句法維度評價(jià)句子結(jié)構(gòu)的完整度、句子的流暢度和句式多樣性；規(guī)范維度就拼寫、標(biāo)點(diǎn)和語法及詞匯深度進(jìn)行評價(jià)。

對照班和實(shí)驗(yàn)班在這三個(gè)維度的前測、中測和后測均值如表1所示。

表1 對照班和實(shí)驗(yàn)班語言形式獨(dú)立樣本t檢驗(yàn)

注*：Sig. 小于 .05較顯著(下同)

表1顯示，對照班語言形式的前測均值都略高于實(shí)驗(yàn)班，但沒有顯著性差異(分別是p=0.826, p=0.629和p=0.802)，前測均值在三次測試中都是最低的，經(jīng)過兩個(gè)學(xué)期的系統(tǒng)學(xué)習(xí)后，兩個(gè)班在三個(gè)維度的中測和后測均值都有所提高，后測均值最高。在詞匯和規(guī)范維度，實(shí)驗(yàn)班的中測和后測均顯著高于對照班(詞匯p=0.049<0.05和p=0.015<0.05；規(guī)范p=0.013<0.05和p=0.022<0.05)，在句法維度，實(shí)驗(yàn)班的中測和后測也均高于對照班，但沒有顯著性差異(p=0.289>0.05和p=0.133>0.05)。整體而言，兩個(gè)班的語言形式均值都表現(xiàn)出后測>中測>前測的特征，這表明兩個(gè)班的語言形式成績均發(fā)生了變化，即呈上升趨勢。

這種變化是否具有顯著性需要進(jìn)一步進(jìn)行多重比較，結(jié)果如表2所示。

表2 對照班和實(shí)驗(yàn)班語言形式均值多重比較統(tǒng)計(jì)表

注：1=前測，2=中測，3=后測(下同)

表2顯示，實(shí)驗(yàn)班在三個(gè)維度的均值增幅都高于對照班。其中，詞匯維度，實(shí)驗(yàn)班前測-中測，中測-后測和前測-后測的比較結(jié)果均有顯著差異(分別是p=0.002<0.05, p=0.000<0.05和p=0.034<0.05)，而對照班的前測-中測和前測-后測比較結(jié)果有顯著差異(分別是p=0.037<0.05和p=0.000<0.05)，中測-后測結(jié)果不具有統(tǒng)計(jì)意義上的差異(p=0.159>0.05)。在句法和規(guī)范維度，兩個(gè)班的前測-中測和前測-后測比較結(jié)果有顯著性差異，中測-后測比較結(jié)果都沒有顯著性差異(p=0.176>0.05 和p=0.367>0.05)。

數(shù)據(jù)顯示，兩個(gè)班學(xué)生在語言形式的三個(gè)維度上的均值都表現(xiàn)出在第一學(xué)期(中測)增幅較大，第二學(xué)期(后測)增幅減緩的整體變化趨勢。實(shí)驗(yàn)班的增幅較大。變化趨勢見圖1、圖2和圖3。

圖1 詞匯成績變化趨勢

圖2 句法成績變化趨勢

圖3 規(guī)范成績變化趨勢

以上數(shù)據(jù)表明，傳統(tǒng)寫作評閱方法和WRM均對學(xué)生寫作中的語言形式產(chǎn)生了積極影響，實(shí)驗(yàn)班學(xué)生的提高幅度明顯大于對照班。研究者認(rèn)為導(dǎo)致這一變化趨勢的原因有：a) 如果學(xué)生有大量用英語寫作的機(jī)會，他們的語法錯(cuò)誤有逐漸減少的可能性(Raimes，2002)。b)WRM是比較新穎的寫作工具，實(shí)驗(yàn)班初次接觸，寫作積極性較高，但這種熱情在實(shí)驗(yàn)后期下降(這反映在學(xué)生修改作文的次數(shù)減少)，學(xué)生心理素質(zhì)不穩(wěn)定，中測-后測成績在句法和規(guī)范維度沒有顯著性差異。c)詳細(xì)的錯(cuò)誤反饋有助于減少錯(cuò)誤量(Fathman & Whalley，1990；Kepner，1991)，提高語言的準(zhǔn)確性(Chandler, 2000)。WRM既是評價(jià)工具也是學(xué)習(xí)工具，該系統(tǒng)的寫作界面設(shè)置了四種語言形式方面的編輯功能選項(xiàng)：Hint(寫作提示)、Tutor (能即時(shí)指出學(xué)生的單詞拼寫錯(cuò)誤、詞匯錯(cuò)誤和語法錯(cuò)誤)、Thesaurus(近義詞提示)和Tree(指出學(xué)生的句法結(jié)構(gòu)錯(cuò)誤，并提供修改建議)，學(xué)生在寫作過程中可以隨時(shí)獲得語言錯(cuò)誤提示、診斷提示和修改建議。而傳統(tǒng)教師評閱通常只就文章的整體印象給一個(gè)總體分?jǐn)?shù)，很少面面俱到地指出學(xué)生作文的所有語言形式錯(cuò)誤，較少提出糾正建議，更不會提供更豐富的詞匯供學(xué)生選擇。d) 糾錯(cuò)的積極效果并不是來自于糾錯(cuò)本身，而是源自于學(xué)生的即時(shí)性(Truscott, 2004) 。相對于教師評閱反饋的滯后性，WRM提供了即時(shí)反饋信息。e)WRM不限制修改次數(shù)，每次更正錯(cuò)誤后再次提交，學(xué)生都能得到新的反饋，驗(yàn)證修改成果。在“寫作—修改—再寫作—再修改”的循環(huán)寫作過程中，獲得更多的語言輸出機(jī)會和交互活動(dòng)，既體驗(yàn)成功，又發(fā)現(xiàn)自我的不足，激發(fā)主觀能動(dòng)性，最終完成語言知識的主動(dòng)建構(gòu)。而對照班在糾錯(cuò)后很少得到進(jìn)一步的反饋，其寫作表現(xiàn)為線性終結(jié)過程。f) Schmidt ( 1990) 的注意假說 ( Noticing Hypothesis) 指出，有效加工處理信息的必要條件是對輸入(input)的注意，注意是吸收(intake)內(nèi)化的前提。WR提供的高頻率錯(cuò)誤反饋能引導(dǎo)學(xué)生有意識地去關(guān)注自己的錯(cuò)誤，進(jìn)行認(rèn)知和加工。久而久之，學(xué)生逐漸將正確的語言形式存儲于長期記憶中，內(nèi)化為內(nèi)在知識，從而提高了語言的準(zhǔn)確率。而對照班學(xué)生在寫作中出現(xiàn)的錯(cuò)誤并未得到標(biāo)注，缺少信息輸入，更談不上有意注意。

4.2 語篇結(jié)構(gòu)變化

本研究中所探討的語篇結(jié)構(gòu)主要從WRM 提供的內(nèi)容、結(jié)構(gòu)和語體三個(gè)維度加以衡量。其中，內(nèi)容維度衡量文章的主題是否突出，展開句與主題之間是否有相關(guān)性；結(jié)構(gòu)維度就主題思想及其展開方式和展開順序以及銜接連貫性進(jìn)行評價(jià)；語體維度主要評價(jià)學(xué)生能否根據(jù)寫作主題、寫作目的和閱讀對象選擇適當(dāng)?shù)捏w裁。

對照班和實(shí)驗(yàn)班在上述三個(gè)維度的前測、中測和后測均值如表3所示。

表3 對照班和實(shí)驗(yàn)班語篇結(jié)構(gòu)均值統(tǒng)計(jì)表

表3顯示，對照班在三個(gè)維度的前測成績均值略高于實(shí)驗(yàn)班，但沒有顯著性差異(分別是p=0.800>0.05, p=0.381>0.05和p=0.897>0.05)；在三次測試中，兩個(gè)班的前測均值都是最低的，中測和后測均值都有所提高，后測均值最高。實(shí)驗(yàn)班在三個(gè)維度的中測均值雖都高于對照班，但沒有統(tǒng)計(jì)意義上的差異。在后測中，實(shí)驗(yàn)班在內(nèi)容和語體兩個(gè)維度的均值沒有顯著高于對照班，結(jié)構(gòu)維度均值則低于對照班，但沒有顯著差異。整體而言，兩個(gè)班的語篇結(jié)構(gòu)均值都具有后測>中測>前測的特征，這表明語篇結(jié)構(gòu)成績在測試中發(fā)生了變化，均呈上升趨勢。

進(jìn)一步進(jìn)行多重比較顯示上述變化是否具有顯著性，詳見表4。

表4 對照班和實(shí)驗(yàn)班語篇結(jié)構(gòu)均值多重比較結(jié)果

表4顯示，在內(nèi)容維度，實(shí)驗(yàn)班中測和后測均值的增加幅度都高于對照班。前測-中測、前測-后測和中測-后測比較結(jié)果顯示，兩個(gè)班的內(nèi)容維度均值都有顯著提高。在結(jié)構(gòu)維度，實(shí)驗(yàn)班的前測-中測和前測-后測的均值增加值高于對照班，但中測-后測增加值小于對照班(分別增加了0.014和0.072)；另外，兩個(gè)班的前測-中測和前測-后測比較結(jié)果均有顯著性差異，成績顯著提高，但中測-后測都沒有顯著性改善(對照班p=0.072>0.05，實(shí)驗(yàn)班p=0.886>0.05)；相比而言，對照班的后測增幅稍大于實(shí)驗(yàn)班。在規(guī)范維度，實(shí)驗(yàn)班在前測-中測、前測-后測的均值增幅高于對照班，但中測-后測的增加值小于對照班(分別增加了0.108和0.088)；此外，兩個(gè)班都在前測-中測和前測-后測比較結(jié)果有顯著性差異，而中測-后測比較結(jié)果都沒有顯著差異(對照班p=0.321>0.05，實(shí)驗(yàn)班p=0.298>0.05)。

數(shù)據(jù)顯示，兩個(gè)班在語篇結(jié)構(gòu)的三個(gè)維度上的均值都表現(xiàn)出在中測增幅較大，后測增幅減緩的整體變化趨勢。不過，對照班在結(jié)構(gòu)和語體兩個(gè)維度的后測均值提升略高于實(shí)驗(yàn)班。變化趨勢見圖4、圖5和圖6。

圖4 內(nèi)容成績變化趨勢

圖5 結(jié)構(gòu)成績變化趨勢

圖6 語體成績變化趨勢

以上數(shù)據(jù)表明，傳統(tǒng)寫作評閱方法和WRM都對學(xué)生寫作中的語篇結(jié)構(gòu)產(chǎn)生了積極影響，其中實(shí)驗(yàn)班在三個(gè)維度的中測均值提高幅度高于對照班，但后測卻趨緩，甚至在結(jié)構(gòu)和語體維度略低于對照班。研究者認(rèn)為導(dǎo)致這一變化趨勢的原因有：a) 經(jīng)過兩個(gè)學(xué)期的學(xué)習(xí)，語篇結(jié)構(gòu)成績有自然提高的過程。b)經(jīng)過第一學(xué)期16周較大強(qiáng)度的語言輸入，實(shí)驗(yàn)班和對照班學(xué)生原有的語言認(rèn)知積累得到激發(fā)，中測均值增加最大，但在第二學(xué)期，學(xué)生的寫作認(rèn)知提高速度減緩，進(jìn)而導(dǎo)致后測均值增加趨緩。c)傳統(tǒng)英語作文評閱方法重視對語法錯(cuò)誤的修改，忽略對結(jié)構(gòu)和語體方面的指導(dǎo)，學(xué)生寫作時(shí)也較少關(guān)注語篇內(nèi)容。WRM采用的分項(xiàng)評分能引導(dǎo)學(xué)生關(guān)注內(nèi)容、結(jié)構(gòu)和語體的重要性，但評語比較寬泛籠統(tǒng)，多為機(jī)械性批語，缺少修改建議，學(xué)生雖然能認(rèn)識到語篇結(jié)構(gòu)在寫作中的重要性，卻無所適從，無法完成認(rèn)知建構(gòu)。d) WRM提供的語料庫反饋信息顯示，實(shí)驗(yàn)班針對語篇結(jié)構(gòu)的修改頻次遠(yuǎn)低于語言形式的修改次數(shù)，這與Attali(2004)、Chen & Cheng (2008)和Warschauer & Grimes (2008)的調(diào)查結(jié)果一致。e)思維模式很難在短時(shí)間內(nèi)發(fā)生轉(zhuǎn)變，兩個(gè)班學(xué)生仍然用漢語思維模式進(jìn)行英語寫作。首先，學(xué)生雖能控制寫作主題，但展開句與主題之間的相關(guān)性相對較弱，語篇展開的邏輯性較弱。其次，傳統(tǒng)教師評閱基本沒有給出針對語體的評語，WRM 就語體方面的反饋信息非常模糊寬泛且基本上千篇一律。因此，學(xué)生的語體意識相對淡薄，兩個(gè)班都表現(xiàn)出“讀者負(fù)責(zé)型”的寫作特征。第三，由于不了解英漢語篇在銜接手段方面的差異，少量學(xué)生在寫作之初缺少結(jié)構(gòu)意識，后來為了備考大學(xué)英語四級，背誦了“模板”作文，在作文中開始大量使用過渡詞，結(jié)構(gòu)維度的均值都有所提升，但這種生搬硬套的過渡詞過于單一，沒有兼顧另外幾種銜接手段，如替代、省略、指示、詞匯銜接等。因此，兩個(gè)班在結(jié)構(gòu)維度的后測均值是三個(gè)維度中最低的。f) 缺少語篇知識的可理解性信息輸入。二語寫作教學(xué)中，教師多將注意力集中在寫作的表層特征，如語法和寫作技術(shù)規(guī)范，較少關(guān)注篇章布局、遣詞造句的技能、修辭手段的運(yùn)用 (Applebee,1981;Hedgcock & Lefkowitz,1992;Hyland,2000;Kepner,1991;Vann, et al.,1984；蔡基剛，2002) 。Long(1996)提出的交互假設(shè)(Interaction Hypothesis)認(rèn)為交互包括得到可理解的輸入、提供對二語形式的反饋和創(chuàng)造調(diào)整后輸出的機(jī)會。系統(tǒng)提供的語篇結(jié)構(gòu)反饋雖能彌補(bǔ)教學(xué)信息輸入的不足，引起學(xué)生的有意注意，但缺少有意義的反饋，學(xué)生的修改略顯盲目，效果也不理想。

由此可見，寫作自動(dòng)評價(jià)系統(tǒng)尚無法解決的弊端——不能識別、評價(jià)寫作在語篇、語境、文化、修辭等方面的高階特征，應(yīng)由教師反饋和寫作教學(xué)予以彌補(bǔ)。

4.3 寫作質(zhì)量變化

寫作質(zhì)量由復(fù)合分?jǐn)?shù)決定。WRM 給予的復(fù)合分并不是各個(gè)單項(xiàng)分累加后的平均分，而是基于上述六個(gè)維度的綜合評定。對照班和實(shí)驗(yàn)班寫作質(zhì)量的前測、中測、后測和延測均值情況如表5所示。

表5 對照班和實(shí)驗(yàn)班復(fù)合分?jǐn)?shù)均值統(tǒng)計(jì)表

表5顯示，對照班的復(fù)合分前測均值略高于實(shí)驗(yàn)班，但沒有統(tǒng)計(jì)意義上的差異(p=0.797>0.05)；前測均值在四次測試中都是最低的。經(jīng)過三個(gè)學(xué)期的系統(tǒng)學(xué)習(xí)后，兩個(gè)班的中測、后測和延測均值都有所提高，延測均值最高。實(shí)驗(yàn)班的中測和后測均值都顯著高于對照班(p=0.031<0.05和p=0.033<0.05)，延測均值則未顯著高于對照班(p=0.358>0.05)。整體而言，兩個(gè)班的復(fù)合分均值都具有延測>后測>中測>前測的特征，這表明兩個(gè)班的寫作質(zhì)量均發(fā)生了變化，呈上升趨勢。同時(shí)也表明，在停止使用WRM后，實(shí)驗(yàn)班寫作質(zhì)量的提高仍具有持續(xù)性。

實(shí)驗(yàn)班和對照班寫作質(zhì)量的變化是否具有顯著性需要進(jìn)一步進(jìn)行多重比較，結(jié)果見表6。

表6 對照班和實(shí)驗(yàn)班復(fù)合分?jǐn)?shù)多重比較結(jié)果

注：4=延測

表6顯示，兩個(gè)班除后測-延測均值提高都沒有統(tǒng)計(jì)意義上的差異 (對照班p=0.346>0.05，實(shí)驗(yàn)班p=0.817>0.05)外，前測-中測、前測-后測、前測-延測、中測-后測、中測-延測的均值都有顯著提高。實(shí)驗(yàn)班在前測-中測、前測-后測和中測-后測的均值增幅都高于對照班，但后測-延測均值增幅低于對照班。另外，兩個(gè)班都表現(xiàn)出中測和后測增幅較大，延測增幅減緩的整體變化趨勢，見圖7。

圖7 寫作質(zhì)量變化趨勢

以上數(shù)據(jù)表明，傳統(tǒng)寫作評閱方法和WRM都對學(xué)生寫作中的寫作質(zhì)量產(chǎn)生了積極影響，而且WRM對實(shí)驗(yàn)班寫作質(zhì)量的提高具有持續(xù)性。導(dǎo)致這一變化趨勢的原因有：a) 持久的英語學(xué)習(xí)能自然提高寫作質(zhì)量。b)寫作質(zhì)量達(dá)到一定程度后，其后續(xù)提高過程會遇到瓶頸因而逐漸減緩。c) 當(dāng)二語習(xí)得者的作文得到整體反饋和分項(xiàng)反饋時(shí)，他們能在修改中表現(xiàn)出語篇內(nèi)容和語言形式兩個(gè)方面的共同進(jìn)步(Ashwell,2000;Fathman & Whalley,1990;Ferris, 1997)，實(shí)驗(yàn)班的復(fù)合分均值增幅高于對照班這一結(jié)果印證了分項(xiàng)評分和整體評分相結(jié)合的方法更能有效提高寫作質(zhì)量。d)實(shí)驗(yàn)班并沒有建構(gòu)完整而穩(wěn)定的寫作知識體系，導(dǎo)致延測均值沒有顯著高于對照班，且后期寫作質(zhì)量的提高幅度略低于對照班。需要指出的是，寫作質(zhì)量由語言形式和語篇結(jié)構(gòu)綜合考量，任何一個(gè)維度的分項(xiàng)分?jǐn)?shù)都有可能影響到最后的復(fù)合分(寫作質(zhì)量)。實(shí)驗(yàn)班寫作質(zhì)量具體在哪個(gè)維度的變化導(dǎo)致其延測成績增幅減緩，仍需進(jìn)一步探究。

綜上所述，寫作自動(dòng)評估系統(tǒng)對于中國大學(xué)生英語寫作水平具有積極影響，尤其能顯著提高語言形式和寫作質(zhì)量。即使停止使用后，在人工閱卷環(huán)境下，實(shí)驗(yàn)班學(xué)生寫作質(zhì)量的提升仍表現(xiàn)有持續(xù)性，但在語篇結(jié)構(gòu)層面的提高不明顯。

5.0 結(jié)論

評價(jià)最重要的目的不是證明而是為了改善(Stufflebeam,2003:34)。寫作自動(dòng)評價(jià)系統(tǒng)運(yùn)用于寫作教學(xué)中，能夠改變學(xué)習(xí)者的語言學(xué)習(xí)體驗(yàn)，增加可理解性知識的輸入，提供高頻率、反復(fù)的寫作反饋，并創(chuàng)造調(diào)整后輸出的機(jī)會，從而提高學(xué)生的寫作水平。從語言形式看，實(shí)驗(yàn)班學(xué)生在詞匯、句法和規(guī)范等三個(gè)維度的增幅顯著高于對照班，而且能將正確的語言形式存儲于長期記憶中。從語篇結(jié)構(gòu)看，實(shí)驗(yàn)班在結(jié)構(gòu)和語體維度的后測成績增幅低于對照班。這暴露了寫作自動(dòng)評價(jià)系統(tǒng)的缺陷——不能從高階層面給予有效反饋，也驗(yàn)證了該系統(tǒng)只能是其他形式反饋的補(bǔ)充而不能是其替代品(Ware & Warschauer,2006)，如何將自動(dòng)寫作評價(jià)系統(tǒng)提供的語言層面的反饋與教師的語篇反饋相結(jié)合，建立多元化的人際交互反饋機(jī)制，還需要進(jìn)一步探究。從寫作質(zhì)量看，實(shí)驗(yàn)班的增幅顯著高于對照班，但這種優(yōu)勢并沒有持續(xù)到延測，說明學(xué)生并沒有建構(gòu)完整而穩(wěn)定的寫作知識體系，所以在教學(xué)中如何突破寫作瓶頸也是未來值得探究的問題。

本研究為探討如何將現(xiàn)代信息技術(shù)與大學(xué)英語教學(xué)進(jìn)行整合，使之成為教學(xué)的一個(gè)有機(jī)組成部分，提供新思路。不過，本研究尚存在一些局限性，如樣本數(shù)量較少，因此，研究結(jié)果的普遍有效性有待后續(xù)研究的進(jìn)一步論證。

[1] Applebee, A. N.WritingintheSecondarySchool(NCTEResearchReport.No. 21)[R]. Urbana: National Council of Teachers of English, 1981.

[2] Ashwell, T. Patterns of teacher response to student writing in a multiple-draft composition classroom: Is content feedback followed by form feedback the best method?[J].JournalofSecondLanguageWriting, 2000,9:227-257.

[3] Attali, Y. Exploring the feedback and revision features of criterion[R]. Paper presented at the Annual meeting of the National Council on Measurement in education. San Diego, CA. April, 2004.

[4] Chandler, J. The efficacy of error correction for improvement in the accuracy of L2 student writing[R]. Paper presented at the AAAL Conference, Vancouver, 2000.

[5] Chen, E. & E. Cheng. Beyond the design of automated writing evaluation: Pedagogical practices and perceived learning effectiveness in EFL writing class[J].LanguageLearningandTechnology, 2008,12:94-112.

[6] Fathman, A. K., & E. Whalley. Teacher response to student writing: Focus on form versus content[A]. In B. Kroll (eds.).SecondLanguageWriting:ResearchInsightsfortheClassroom[C]. Cambridge: Cambridge University Press, 1990.178-190.

[7] Ferris, D. R. The influence of teacher commentary on student revision[J].TESOLQuarterly, 1997,31:315-339.

[8] Flower, L. & J. R. Hayes. A cognitive process theory of writing[J].CollegeCompositionandCommunication, 1981,32:365-387.

[9] Hedgcock, J. & N. Lefkowitz. Collaborative oral/aural revision in foreign language writing instruction[J].JournalofSecondLanguageWriting, 1992,1:255-276.

[10] Hoon, T. Online automated essay assessment: Potentials for writing development[OL]. 2006. http://ausweb.scu.edu.au/aw06/papers/refereed/tan3/paper.html [2014-12-27].

[11] Hyland, F. ESL writers and feedback: Giving more autonomy to students [J].LanguageTeachingResearch, 2000,4:33-54.

[12] Kepner, C. G. An experiment in the relationship of types of written feedback to the development of second-language writing skills[J].TheModernLanguageJournal, 1991,75:305-313.

[13] Long, M. The role of the linguistic environment in second language acquisition[A]. In W. Ritchie & T. Bhatia (eds.).HandbookofSecondLanguageAcquisition[C]. New York: Academic Press, 1996.413-468.

[14] Martinez, N. & J. Martinez.BasicCollegeWriting[M]. Prentice Hall, 1991.

[15] Milton, J. Resource-rich Web-based feedback: Helping learners become independent writers[A]. In K. Hyland & F. Hyland (eds.).Feedbackinsecondlanguagewriting:Contextandissues[C]. New York: Cambridge University Press, 2006.123-139.

[16] Raimes, A. Responding to students’ written errors: Looking at causes[A].Paperpresentedatthe22ndAnnualTESOLConvention, Chicago, 2002.

[17] Reilly, E. D., R. E. Stafford, K. M. Williams & S. B. Corliss. Evaluating the validity and applicability of automated essay scoring in two massive open online courses[J].InternationalReviewofResearchinOpenandDistanceLearning, 2014,11(5):83-98.

[18] Rich, C., H. Harrington, J. Kim & B. West. Automated essay scoring in state formative and summative writing assessment[R]. Paper presented at the Annual Meeting of the American Educational Research Association. New York, March 2008.

[19] Scharber, C., S. Dexter & E. Riedel. Students’ experiences with an automated essay scorer [OL]. 2008. http://escholarship.bc.edu/cgi/viewcontent.cgi? article= 1116&content= jtla [2011-12-27]

[20] Schmidt, R. The role of consciousness in second language learning[J].AppliedLinguistics, 1990,11:129-158.

[21] Schroeder, J., B. Grohe, & R. Pogue. The impact of criterion writing evaluation technology on criminal justice student writing skills[J].JournalofCriminalJusticeEducation, 2008,19(8):432-445.

[22] Shermis, M., J. Burstein & L. Bliss. The impact of automated essay scoring on highstakes writing assessments[R]. Paper presented at the Annual Meeting of the National Council on Measurement in Education. San Diego, April 2004.

[23] Stufflebeam, D. L. The CIPP model for evaluation[A]. In D.L. Stufflebeam & T. Kellaghan (eds.).TheInternationalHandbookofEducationalEvaluation[C], Boston: Kluwer Academic Publishers, 2003.31-62.

[24] Truscott, J. Evidence and conjecture on the effects of correction: A response to Chandler[J].JournalofSecondLanguageWriting, 2004,13(4):337-343.

[25] Vann, R. J., D. E. Meyer & F.O. Lorenz. Error gravity: A study of faculty opinion of ESL errors[J].TESOLQuarterly, 1984,18:427-440.

[26] Ware, P.D. & M. Warschauer. Electronic feedback and second language writing[A]. In K. Hyland & F. Hyland (eds.).FeedbackinSecondLanguageWriting:ContextsandIssues[C]. Cambridge: Cambridge University Press, 2006.

[27] Warschauer, M. & D. Grimes. Automated writing assessment in the classroom[J].Pedagogies:anInternationalJournal, 2008,3:22-36.

[28] White, L., N. Hixson, J. D Brot & J. Perdue. Impact of Writing Roadmap on WESTEST 2 online writing assessment scores [OL]. 2010. http://wvde.state.wv.us/oaa/pdf/research. [2011-12-27].

[29] Wilson, J. Does automated feedback improve writing quality?[J].LearningDisabilities:AContemporaryJournal, 2014,12(1):93-118.

[30] 蔡基剛. 大學(xué)英語四、六級寫作要求和評分標(biāo)準(zhǔn)對中國學(xué)生寫作的影響[J]. 解放軍外國語學(xué)院學(xué)報(bào)，2002,(5):49-53.

[31] 陳瀟瀟，葛詩利. 自動(dòng)作文評分研究綜述[J]. 解放軍外國語學(xué)院學(xué)報(bào)，2008,(5):79-83.

[32] 葛詩利，陳瀟瀟. 大學(xué)英語作文自動(dòng)評分研究中的問題及對策[J]. 山東外語教學(xué)，2009,(3):21-26.

[33] 何旭良. 句酷批改網(wǎng)英語作文評分的信度和效度研究[J]. 現(xiàn)代教育技術(shù)，2013,(5):64-67.

[34] 胡學(xué)文. 在線作文自我修改對大學(xué)生英語寫作結(jié)果的影響[J]. 外語電化教學(xué)，2015,(163):45-49.

[35] 蔣學(xué)清，蔡靜，唐錦蘭. 探究自動(dòng)作文評分系統(tǒng)對大學(xué)生英語寫作能力發(fā)展的影響[J]. 山東外語教學(xué)，2011,(6):36-43.

[36] 梁茂成，文秋芳. 國外作文自動(dòng)評分系統(tǒng)評述及啟示[J]. 外語電化教學(xué)，2007，(5)：18-24.

[37] 魯艷輝，譚福民，彭舜. 智能寫作評分系統(tǒng)在大學(xué)英語寫作中的實(shí)證研究[J]. 現(xiàn)代教育技術(shù)，2010,(6)：56-58.

[38] 馬衛(wèi)華, 甄強(qiáng). 大學(xué)生對在線英語寫作自動(dòng)批改系統(tǒng)的評價(jià)——以句酷批改網(wǎng)為例[J]. 山東廣播電視大學(xué)學(xué)報(bào)，2016,(1):31-33.

[39] 唐錦蘭. 探究寫作自動(dòng)評價(jià)系統(tǒng)在英語教學(xué)中的應(yīng)用模式[J]. 外語教學(xué)理論與實(shí)踐，2014,(1)：49-57.

[40] 唐錦蘭，吳一安. 在線英語寫作自動(dòng)評價(jià)系統(tǒng)應(yīng)用研究述評[J]. 外語教學(xué)與研究，2011,(2):273-282.

[41] 唐錦蘭，吳一安. 寫作自動(dòng)評價(jià)系統(tǒng)在大學(xué)英語教學(xué)中的應(yīng)用研究[J]. 外語與外語教學(xué)，2012,(4):53-59.

[42] 王勃然, 金檀, 趙雯. 自動(dòng)寫作評價(jià)研究與實(shí)踐五十年——從單一、合作到交互[J]. 外語研究，2015,(5),50-56.

[43] 王淑雯. 如何利用Writing Roadmap進(jìn)行在線英語寫作反饋[J]. 現(xiàn)代教育技術(shù)，2011，(3)：76-81.

[44] 楊曉瓊，戴運(yùn)財(cái). 基于批改網(wǎng)的大學(xué)英語自主寫作教學(xué)模式實(shí)踐研究[J]. 外語電化教學(xué)，2015,(2)：17-23.

[45] 張荔，盛越. 自動(dòng)作文評閱系統(tǒng)反饋效果個(gè)案研究[J]. 外語電化教學(xué)，2015,(3)：38-44.

[46] 周麗. 英語在線寫作平臺對大學(xué)生寫作句法能力的影響[J]. 外語電化教學(xué)，2015,(5)：26-29.

[47] 周穎. 在線形成性評價(jià)工具在英語寫作中的應(yīng)用——困難及對策探究[J]. 現(xiàn)代教育技術(shù)，2011，(9)：88-93.

A Longitudinal Study on the Impacts of an Automated Writing Assessment System on the English Writing Proficiency of Chinese College EFL Learners

WANG Shu-wen

(School of Foreign Languages, Southwest Petroleum University, Chengdu 610500, China)

While many research results have proved that the automated writing assessment system has positive impacts on the improvement of writing quality, few researches examined the endurance of such effects in a longitudinal way. In this research, a longitudinal study was carried out to examine the effect of “Writing Roadmap” — an automated writing assessment system, on the English writing proficiency of non-English major freshmen. Pre-, mid-, post- and extended-tests were conducted to examine the enduring effect of Writing Roadmap on their English writing proficiency. The results indicate that more improvements in language form and writing quality were observed in the experimental group than that of the control one, and such an improvement in the writing quality was endured in the extended-test. Besides, non-significant improvements were found in textual structure in the experimental group. What’s more, there was little progress in post-test and extended test in both groups. So it is concluded that “Writing Roadmap” has showed enduring positive impact on the writing proficiency of the experimental group. It is expected that the findings of the study will provide references for the further integration of automated writing assessment system with writing teaching in the EFL classroom.

automated writing assessment system; English writing proficiency; language form; textual structure; writing quality

10.16482/j.sdwy37-1026.2017-02-007

2016-11-14

本文為四川省科技廳軟科學(xué)項(xiàng)目“基于語料庫的中外石油天然氣類英語學(xué)術(shù)語篇的言據(jù)性研究”(項(xiàng)目編號：2015ZR0156)和西南石油大學(xué)教學(xué)課題“對比語言學(xué)視域下的研究生英語翻譯教學(xué)研究與實(shí)踐”(項(xiàng)目編號：2016JXYJ-38)的部分成果。

王淑雯(1970-)，女，漢族，安徽省固鎮(zhèn)人，教授。研究方向：語言學(xué)及應(yīng)用語言學(xué)。

H319

A

1002-2643(2017)02-0051-11