句酷自動(dòng)評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫作中的應(yīng)用研究

何小翠

（西南石油大學(xué)外國(guó)語(yǔ)學(xué)院， 四川 成都 615000）

一、引言

對(duì)于英語(yǔ)學(xué)習(xí)者而言，寫作是一種綜合的產(chǎn)出能力，是詞匯、句法、篇章結(jié)構(gòu)、修辭手法等語(yǔ)言能力綜合運(yùn)用的體現(xiàn)。因此，英語(yǔ)寫作教學(xué)要求學(xué)習(xí)者必須進(jìn)行寫作訓(xùn)練，以達(dá)到熟能生巧的目的。然而，傳授寫作理論——范文分析——模仿訓(xùn)練——教師評(píng)析——學(xué)習(xí)者得到反饋，在這種傳統(tǒng)的英語(yǔ)寫作教學(xué)模式下，由于教學(xué)班級(jí)六七十人，教師課時(shí)有限，課堂內(nèi)容繁多，課后需要一周左右的時(shí)間，學(xué)習(xí)者才[1]能得到反饋，因而削減了學(xué)習(xí)者的積極性。至于反饋的內(nèi)容，多為分?jǐn)?shù)及少量語(yǔ)法糾正，且具有很強(qiáng)的主觀性。于是，實(shí)時(shí)有效的自動(dòng)評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫作中的運(yùn)用，不失為一個(gè)良好的解決辦法。

結(jié)合國(guó)外自動(dòng)評(píng)分系統(tǒng)的發(fā)展，其中最具代表性的是PEG比較注重語(yǔ)言形式，IEA注重作文內(nèi)容，而E-rater既注重形式又注重內(nèi)容。但是大多數(shù)自動(dòng)評(píng)分系統(tǒng)只針對(duì)英語(yǔ)作為母語(yǔ)的作文評(píng)分，涉及英語(yǔ)作為外語(yǔ)的作文評(píng)分系統(tǒng)并不多見。至此，北京詞網(wǎng)科技有限公司開發(fā)了句酷批改網(wǎng)，由于更符合中國(guó)英語(yǔ)學(xué)習(xí)者的實(shí)際情況，即在國(guó)內(nèi)高校得到廣泛的使用。它是基于語(yǔ)料庫(kù)和云計(jì)算的英語(yǔ)作文自動(dòng)批改在線服務(wù)，通過計(jì)算學(xué)生作文和標(biāo)準(zhǔn)語(yǔ)料庫(kù)之間的距離，即時(shí)生成學(xué)生作文的得分和評(píng)語(yǔ)及內(nèi)容分析結(jié)果，幫助學(xué)生通過自助練習(xí)以提升寫作能力。它既能激發(fā)學(xué)生修改英語(yǔ)作文的積極性，又能減輕教師的作文批改工作量，幫助教師更加直觀地了解學(xué)生的英文寫作水平。

二、研究設(shè)計(jì)

（一）研究問題

本研究探究句酷批改網(wǎng)在大學(xué)英語(yǔ)寫作教學(xué)中的應(yīng)用效果，具體的研究問題是：

對(duì)比句酷批改網(wǎng)評(píng)閱和教師評(píng)閱作文的分?jǐn)?shù)，分析句酷批改網(wǎng)的測(cè)試信度和效度；句酷批改網(wǎng)在學(xué)生寫作訓(xùn)練中的應(yīng)用效果，具體體現(xiàn)在哪些方面；該系統(tǒng)的運(yùn)用價(jià)值和局限性。

（二）研究對(duì)象

本研究選取某大學(xué)英語(yǔ)專業(yè)的5名學(xué)生參與，進(jìn)行多個(gè)案實(shí)證研究。共布置5次寫作任務(wù)，要求這些學(xué)生按時(shí)完成，并提交句酷批改網(wǎng)評(píng)閱。

2.研究工具

本研究使用的工具有兩個(gè)：SPSS和樣本分析。

（1）SPSS。運(yùn)用SPSS 16.0版進(jìn)行信度分析。將批改網(wǎng)的評(píng)分設(shè)為第一組分?jǐn)?shù)，將教師評(píng)閱的分?jǐn)?shù)設(shè)為第二組分?jǐn)?shù)，計(jì)算兩組數(shù)據(jù)的克隆巴赫系數(shù)，以求得句酷網(wǎng)的可信度。并運(yùn)用t檢驗(yàn)檢測(cè)兩組數(shù)據(jù)的差異性。

（2）樣本分析。筆者對(duì)多個(gè)案樣本的評(píng)閱反饋，進(jìn)行描述性分析，一為求得句酷批改網(wǎng)的評(píng)閱效度，二為分析其反饋的側(cè)重點(diǎn)，以試探究句酷批改網(wǎng)對(duì)學(xué)習(xí)者寫作能力的促進(jìn)方面。

三、研究結(jié)果

（一）SPSS計(jì)算結(jié)果

以下表格3.1為句酷網(wǎng)對(duì)5位同學(xué)每次寫作的評(píng)分，以及教師所給的對(duì)應(yīng)分?jǐn)?shù)。

表3.1

首先通過SPSS的信度分析，所得克隆巴赫系數(shù)為0.624。表明分?jǐn)?shù)較一致，即句酷網(wǎng)所評(píng)分可信度較高。其次,通過對(duì)比可看出，批改網(wǎng)的評(píng)分均略高于教師所給評(píng)分。

（二）個(gè)案樣本分析

在教師界面中，首先可看到句酷網(wǎng)就單篇作文所給總分，以及所有參加同學(xué)中的分?jǐn)?shù)排名，最高分以及最低分，并就詞匯、句子、篇章結(jié)構(gòu)及內(nèi)容相關(guān)而言，有彩色柱狀圖表示該同學(xué)在這四方面的寫作表現(xiàn)能力，其擅長(zhǎng)之處或薄弱點(diǎn)一目了然。接著會(huì)對(duì)該同學(xué)的寫作做出總體的評(píng)價(jià)，評(píng)價(jià)內(nèi)容也多圍繞詞匯量，學(xué)術(shù)詞匯、從句的使用，以及語(yǔ)篇的銜接等方面。如下圖3.1所示：

其次，句酷網(wǎng)逐句對(duì)寫作進(jìn)行批改，會(huì)出現(xiàn)批改提示、搭配學(xué)習(xí)或其他的提示，就如圖3.2中3.3處，所給“批改提示”trend和direction這類，學(xué)生可點(diǎn)擊鏈接查看相關(guān)資料。另外，教師可選擇句子后點(diǎn)左鍵，添加教師的批改意見，則顯示為“教師點(diǎn)評(píng)”。

四、分析與討論

（一）反饋理論

自從20世紀(jì)六七十年代，過程寫作法應(yīng)用到二語(yǔ)寫作教學(xué)中以來(lái)，反饋就成為寫作教學(xué)的重要組成部分。在寫作教學(xué)中，它向?qū)懽髡叻答佔(zhàn)魑男薷牡男畔?，例如：拼寫錯(cuò)誤、時(shí)態(tài)錯(cuò)誤、內(nèi)容不充分、邏輯性不強(qiáng)等等。既包括作文表層糾錯(cuò)性反饋，又包括作文語(yǔ)篇層面的反饋。評(píng)語(yǔ)和評(píng)分也是信息反饋的重要方面。根據(jù)反饋，學(xué)生可對(duì)作文進(jìn)行修改，以促進(jìn)學(xué)生寫作水平的提高。

（二）分析討論

通過SPSS計(jì)算，批改樣本的初步分析，筆者認(rèn)為句酷批改網(wǎng)的確具有一定的測(cè)試信度和效度，值得被肯定和推廣運(yùn)用，但是它依然存在著一些不足之處。以下為具體舉例分析;（1）Nowadays,education in one of the most important part of sociaty,which is experienced by everybody.此句摘自學(xué)生通過句酷網(wǎng)的寫作訓(xùn)練（以下不再說明）。句酷網(wǎng)所給批改為：

【名詞錯(cuò)誤】請(qǐng)檢查one of..part，注意名次數(shù)的一致性。并給出好評(píng)、報(bào)錯(cuò)、刪除三個(gè)選擇。的確，此處的part應(yīng)為復(fù)數(shù)。

【詞語(yǔ)錯(cuò)誤】請(qǐng)檢查sociaty，確認(rèn)拼寫錯(cuò)誤。的確，此處為拼寫錯(cuò)誤，應(yīng)該為society。由此句批改網(wǎng)所給批改信息，可以看出句酷網(wǎng)能夠就語(yǔ)法或拼寫錯(cuò)誤，作出正確與及時(shí)的批改。

（2）At the same time,our country attachses great importance to education.句酷網(wǎng)所給批改為：

【詞語(yǔ)錯(cuò)誤】請(qǐng)檢查attachses，確認(rèn)拼寫正確。此處為拼寫錯(cuò)誤，應(yīng)改為attaches。

【句子警示】請(qǐng)檢查句中謂語(yǔ)動(dòng)詞。此處句酷網(wǎng)所給批改信息不明確，疑似誤評(píng)。

【批改提示】country表示“國(guó)家”。注意與state的區(qū)別。給出nation，state和country的區(qū)別鏈接。

（3）In ancient times,literatis tested for an official postion,gotten education from themselves.句酷網(wǎng)所給批改為：

【詞語(yǔ)錯(cuò)誤】請(qǐng)檢查literatis,確認(rèn)拼寫正確。此處應(yīng)改為literati,literatus的復(fù)數(shù)。

【批改提示】注意official與officious的區(qū)別。此處其實(shí)為學(xué)生的用詞不當(dāng)，通過討論，學(xué)生此處本意是想表達(dá)一官半職，因?yàn)樵~匯的匱乏，所以用成了中式英語(yǔ)，official position，官方的職位。由此可見，句酷網(wǎng)的批改略顯機(jī)械。而且原文中postion的拼寫錯(cuò)誤，句酷網(wǎng)并未給出批改意見。

【搭配學(xué)習(xí)】動(dòng)名搭配get…education在教材中出現(xiàn)過1611次。此處句酷網(wǎng)所給批改意見，并無(wú)實(shí)質(zhì)性的用處，而且原文中的gotten的拼寫錯(cuò)誤，句酷網(wǎng)也并未給出批改意見。

由此可以看出：句酷批改網(wǎng)是以句子為單位，評(píng)論其長(zhǎng)短句式變化，著重評(píng)價(jià)文中詞匯和語(yǔ)法的使用；從學(xué)習(xí)的角度，提出改進(jìn)的意見：使用高級(jí)詞匯、注意單詞拼寫以及同義詞辨析。在此條件下，學(xué)生可以及時(shí)的對(duì)寫作進(jìn)行多次修改，一方面學(xué)生可以避免低級(jí)錯(cuò)誤以獲得更高的分?jǐn)?shù)，增強(qiáng)學(xué)生進(jìn)行寫作訓(xùn)練的積極性，另一方面也符合過程寫作理論：寫作過程是非直線性的，沒有反復(fù)思考和修改不可能有好的作文。

但是，句酷批改網(wǎng)對(duì)學(xué)生作文的評(píng)價(jià)主要集中在詞匯和常見短語(yǔ)搭配上，與此同時(shí)，它對(duì)作文的思想內(nèi)容、邏輯性以及篇章結(jié)構(gòu)方面，給的反饋較少，且多為提示性的，較寬泛，不夠具體，更不是明確的修改結(jié)果。而且，并不能完全地發(fā)現(xiàn)作文中的錯(cuò)誤，有些批改只是機(jī)械地給出辨析，并沒有參考價(jià)值。因此，批改網(wǎng)無(wú)法準(zhǔn)確地評(píng)估作文的內(nèi)在質(zhì)量。

五、結(jié)論

總的來(lái)說，句酷批改網(wǎng)可以及時(shí)對(duì)寫作進(jìn)行批改，對(duì)常見拼寫錯(cuò)誤和搭配問題能做出正確的批改。它幫助減輕老師的工作量，提高寫作教學(xué)的效率，同時(shí)調(diào)動(dòng)學(xué)生的主觀能動(dòng)性，提升學(xué)生的自主學(xué)習(xí)能力。另外，它有助培養(yǎng)學(xué)生對(duì)習(xí)作進(jìn)行多次修改的習(xí)慣，激發(fā)學(xué)生修改作文的熱情和對(duì)寫作的興趣。與此同時(shí)，句酷批改網(wǎng)的局限性也不容忽視，首先，國(guó)內(nèi)英語(yǔ)寫作教學(xué)的機(jī)輔條件尚不成熟，學(xué)生對(duì)在線寫作的接受程度也不是很高，這要求政府及學(xué)校逐步完善學(xué)校計(jì)算機(jī)硬件設(shè)施的配備，提早至中學(xué)甚至更早，便訓(xùn)練學(xué)生進(jìn)行在線寫作。此外，句酷批改網(wǎng)就批改效度而言，還需要在語(yǔ)篇結(jié)構(gòu)、修辭手法、語(yǔ)言的得體性等方面得到增強(qiáng)，提高句酷批改的靈活度。

[1]陳成輝.基于語(yǔ)料庫(kù)和云計(jì)算技術(shù)的寫作自動(dòng)批閱系統(tǒng)評(píng)介——以句酷批改網(wǎng)為例[J].江蘇科技信息:信息技術(shù),2012，（6）.

[2]陳 鳳.一項(xiàng)關(guān)于句酷批改網(wǎng)在大學(xué)英語(yǔ)寫作教學(xué)中的應(yīng)用研究[J].東華理工大學(xué)學(xué)報(bào):社會(huì)科學(xué)版,2014，（6）.

[3]陳 蕓.大學(xué)英語(yǔ)寫作教學(xué)中應(yīng)用自動(dòng)作文評(píng)分系統(tǒng)的調(diào)查分析[J].語(yǔ)文學(xué)刊:外語(yǔ)教育教學(xué),2011，（11）.

[4]葛詩(shī)利,陳瀟瀟.大學(xué)英語(yǔ)作文自動(dòng)評(píng)分研究中的問題及對(duì)策[J].山東外語(yǔ)教學(xué),2009，（3）.

[5]顧成華,王 麗.基于句酷批改網(wǎng)的大學(xué)英語(yǔ)寫作教學(xué)實(shí)證研究[J].揚(yáng)州大學(xué)學(xué)報(bào):高教研究版,2012，（4）.

[6]何旭良.句酷批改網(wǎng)英語(yǔ)作文評(píng)分的信度和效度研究[J].現(xiàn)代教育技術(shù),2013，（5）.

[7]李 玲.大學(xué)英語(yǔ)寫作教師反饋與在線批改反饋對(duì)比研究[J].中國(guó)電力教育,2014，（11）.

[8]梁茂成,文秋芳.國(guó)外作文自動(dòng)評(píng)分系統(tǒng)評(píng)述及啟示[J].外語(yǔ)電化教學(xué),2007，（5）.

[9]劉 劍.自動(dòng)批改軟件在大學(xué)英語(yǔ)寫作教學(xué)中的應(yīng)用[J].河南工程學(xué)院學(xué)報(bào):社會(huì)科學(xué)版,2013，（12）.

[10]毛世花,陳曉麗.E-rater和句酷的對(duì)比研究及對(duì)提高大學(xué)生英語(yǔ)作文水平的啟示[J].高等函授學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2012，（5）.

[11]倪穎穎,文衛(wèi)霞.網(wǎng)絡(luò)英語(yǔ)寫作教學(xué)模式述評(píng)及探索——句酷批改網(wǎng)的引入[J].雞西大學(xué)學(xué)報(bào),2014，（9）.

[12]石曉玲.在線寫作自動(dòng)評(píng)改系統(tǒng)在大學(xué)英語(yǔ)寫作教學(xué)中的應(yīng)用研究——以句酷批改網(wǎng)為例[J].現(xiàn)代教育技術(shù),2012，（10）.

[13]唐錦蘭,吳一安.在線英語(yǔ)寫作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究述評(píng)[J].外語(yǔ)教學(xué)與研究:外國(guó)語(yǔ)文雙月刊,2011，（3）.

[14]張雙祥.大學(xué)英語(yǔ)寫作教學(xué)中在線寫作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究[J].當(dāng)代教育理論與實(shí)踐,2014，（11）.