影響口語測試評分的因素分析

朱燕　祁穎　張寧

摘 要：本文旨在研究口語測試中影響評分的因素，包括語言因素與非語言因素影響兩個(gè)方面。本研究結(jié)果對口語測試的評分員如何更好地把控評分標(biāo)準(zhǔn)有一定的啟示。

關(guān)鍵詞：語言因素 非語言因素 差異性

在語言測試領(lǐng)域，對口語評分的研究一直是口試研究的重點(diǎn)之一。然而口語測試的實(shí)施非常困難，它難就難在語言既是測試的目標(biāo)又是測試的工具[1]。因?yàn)橛⒄Z口語測試的評分是主觀的，因此評分差異是不可避免的。一些語言及非語言因素，例如評價(jià)標(biāo)準(zhǔn)和個(gè)人喜好，都可能會(huì)影響他們的評分結(jié)果。本文以一次大學(xué)英語應(yīng)用能力口語測試（TEP Oral）的數(shù)據(jù)為樣本，旨在對影響其評分的因素進(jìn)行分析研究。

一、研究背景

北京市屬12家高校聯(lián)合申請的教學(xué)改革項(xiàng)目“三位一體市屬高校大學(xué)英語教育改革模式研究”，目標(biāo)是構(gòu)建一套“測試-教學(xué)-資源庫”三位一體的、具有綜合性、體系化和前瞻性的大學(xué)英語教育改革模式。本項(xiàng)目已經(jīng)研發(fā)了一套具有高信度和效度的大學(xué)生英語口語測試模式——大學(xué)英語應(yīng)用能力口語測試（簡稱TEP），并在北京市18所高校成功推廣該測試的《指南》已由國內(nèi)知名出版社出版。該模式作為一項(xiàng)教育測試，具有教學(xué)檢查性、教學(xué)指導(dǎo)性和教學(xué)形成性的功能，是大學(xué)英語課程體系建設(shè)的重要組成部分。

1.理論研究

語言測試研究中對評分員和評分方法的研究是一個(gè)重要的組成部分。目前，大量的口語測試研究都基于此展開，如：評分員在口試中對語言功能和話題的選擇[2]；評分員在口試中的提問及提問的方式[3]；評分員在口試中根據(jù)受試的水平調(diào)整自己語言的程度和方式[4]；以及評分員的性別對口試結(jié)果的影響[5]等。而國內(nèi)學(xué)者的研究主要集中在以下三個(gè)方面：評價(jià)的可靠性，任務(wù)的有效性，以及錄音口語能力測試。

2.研究問題

在口語測試中，評分員會(huì)表現(xiàn)出不同的傾向性并受到多種因素的影響，評分員中受評分方法和評分標(biāo)準(zhǔn)影響的同時(shí)還會(huì)受自身背景的影響，如：性別、年齡、教學(xué)經(jīng)驗(yàn)及評分經(jīng)驗(yàn)的影響。本研究旨在探討哪些因素會(huì)影響其評分。

諸多因素中，由評分員主觀評分引入的誤差是影響考生最后得分最為直接的因素?？谡Z測試評分，需要評分員在觀察考生表現(xiàn)的基礎(chǔ)上依據(jù)評分標(biāo)準(zhǔn)進(jìn)行主觀判斷[6]。因此，評分員在口語測試中不僅是考試操作實(shí)施環(huán)節(jié)中的一部分，更是決定分?jǐn)?shù)含義的重要環(huán)節(jié)，評分的準(zhǔn)確性和一致性是決定考試信度甚至是效度的最為重要的因素之一。在影響因素方面，筆者著重分析了語言因素和非語言因素。前者包括交際效果、內(nèi)容和組織、語法和詞匯、語音語調(diào)、流暢性和可理解性；后者則包括任務(wù)完成情況、對考生的第一印象、考生的自信程度、考生之間的溝通以及身體語言等。

二、研究方法

本次研究樣本為參與TEP口語測試的評分員。參與本次研究的評分員共18名，其中男性5名，女性13名。所有評分員均為高校的英語教師，在測試前進(jìn)行培訓(xùn)并全部合格。測試前對所有評分員隨機(jī)分配了主副考官職責(zé)，在測試過程中，主考官負(fù)責(zé)提問及與考生交流，最后根據(jù)考生表現(xiàn)給出一個(gè)整體分?jǐn)?shù)，而副考官則全程不參與交流，根據(jù)測試評分標(biāo)準(zhǔn)進(jìn)行分項(xiàng)打分。測試后所有評分員均完成了調(diào)查問卷的填寫并對部分評分員進(jìn)行了訪談。

三、研究結(jié)果

本次測試的考生是隨機(jī)從7個(gè)專業(yè)進(jìn)行選取，筆者對測試結(jié)果進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，專業(yè)差異對考生成績的影響不顯著。女性考生的成績均值略高于男性考生，差異不明顯。因此，筆者在測試結(jié)束以后，筆者對評分員進(jìn)行了問卷調(diào)查。問卷的第一部分對評分員的基本信息進(jìn)行了采集，包括性別、年齡、專業(yè)、教學(xué)經(jīng)驗(yàn)和口試評分經(jīng)驗(yàn)。問卷的第二部分則涵蓋了可能影響評分的語言因素和非語言因素。問卷結(jié)束以后，又對部分評分員進(jìn)行了訪談，以期發(fā)現(xiàn)問卷調(diào)查可能遺漏的問題。

1.評分員基本情況

在所有的18位評分員中，女性13名，男性5名，大部分評分員的年齡在30到40歲之間，另有一人低于30歲，一人高于50歲，兩人介于40到50歲。9名評分員的專業(yè)為語言學(xué)，5名為文學(xué)，還有4名為其他專業(yè)。大部分評分員有五年以上的教學(xué)經(jīng)驗(yàn)，所有評分員都有口語測試的評分經(jīng)驗(yàn)。

2.語言因素

在問卷調(diào)查過程中，筆者要求所有評分員根據(jù)以下六種因素對其評分的影響程度進(jìn)行排序：交際效果、內(nèi)容與組織、語法與詞匯、語音語調(diào)、流利程度、可理解性。

對九位采用整體評分法的主考官而言，影響因素排名前三的分別是：交際效果、可理解性和流利程度。這一結(jié)果表明主考官更加注重考生的整體表現(xiàn)。而采用分項(xiàng)評分法的副考官則認(rèn)為以下三項(xiàng)影響最大，依次為：可理解性、語法與詞匯、內(nèi)容與組織。這表明副考官更注重評分標(biāo)準(zhǔn)里所列舉的項(xiàng)目。從而這一結(jié)果也表明，評分方法的差異對評分也會(huì)產(chǎn)生一定程度的影響。所以，在設(shè)計(jì)評分標(biāo)準(zhǔn)的過程中，設(shè)計(jì)者必須準(zhǔn)確把握各評分項(xiàng)的權(quán)重，以期能得到更為全面和客觀的評分。

3.非語言因素

對于影響評分過程的非語言因素，問卷包含五個(gè)方面：任務(wù)完成情況、對考生的第一印象、考生的自信程度、考生之間的交流和考生的身體語言。調(diào)查結(jié)果顯示，所有評分員均認(rèn)為排序前三的影響因素為：任務(wù)完成情況、考生之間的交流和考生的自信程度。這表明在非語言因素方面，采用整體評分法的主考官和采用分項(xiàng)評分法的副考官之間沒有顯著差異。這一結(jié)果表明非語言因素對采取不同評分法的評分員沒有產(chǎn)生明顯的差異性影響。

4.補(bǔ)充性訪談

問卷調(diào)查結(jié)束以后，筆者對部分評分員進(jìn)行了訪談。其中一名評分員指出，評分員在測試中的身體和心理狀態(tài)可能會(huì)影響測試結(jié)果；有四名員指出評分員的性格，內(nèi)向和外向性格的不同會(huì)在把握評分標(biāo)準(zhǔn)的松緊程度上有差異；有兩名評分員指出，評分員的評分經(jīng)驗(yàn)對評分的影響也不容忽視。

四、結(jié)語

綜合考慮以上因素，筆者發(fā)現(xiàn)在評分過程中，評分員很容易受各種語言與非語言因素的影響，從而造成評分從差異，因此評分員在測試過程中必須準(zhǔn)確地把握評分標(biāo)準(zhǔn)，盡量避免其他因素的干擾。

有些因素，如評分員的情緒和身體狀態(tài)，是不可控的。因此，測試機(jī)構(gòu)必須對可控因素有一個(gè)很好的把握，如制定一個(gè)更詳細(xì)和明確的評分標(biāo)準(zhǔn)，以縮小評分員之間的差異；加強(qiáng)對評分員的培訓(xùn)和測評，以提高評分員的素質(zhì)并淘汰不合格的評分員。對于影響測試分?jǐn)?shù)的因素和實(shí)際測試過程中這些因素所造成的影響，筆者認(rèn)為可以開展進(jìn)一步的研究。

參考文獻(xiàn)

[1]Bachman，L. F. Fundamental Considerations in Language Testing. Oxford：Oxford University Press，1990.

[2]Brown，A. & T. Lumley. Interviewer variability in specific purpose language performance tests [J].Language Testing，1998（1）：43-64.

[3]Brown，A. Interviewer variation and the co-construction of speaking proficiency [J]. Language Testing，2003（20）：1-25.

[4]Ross，S. Accommodative questions in oral proficiency interviews [J]. Language Testing，1992（9）：173-186.

[5]OLoughlin，K. The impact of gender in oral proficiency testing [J]. Language Testing，2002（19）：169-192.

[6]Myford. C. M. & E. W. Wolfe. Strengthening the ties that bind：improving the linking network in sparsely connected rating designs. TOEFL Technical Report TR-15：Princeton. NJ：Educational Testing Service，2000.