基于口語任務的語言測試效度實證研究

陳 欣

(江蘇大學 外國語學院,江蘇 鎮(zhèn)江 212003)

基于口語任務的語言測試效度實證研究

陳 欣

(江蘇大學 外國語學院,江蘇 鎮(zhèn)江 212003)

基于任務的語言測試代表了語言測試的最新發(fā)展。在對其理論依據及效度定義維度討論的基礎上,可以通過實驗數據驗證任務型語言測試的兩個主要效度指標:結構效度及預測效度,從而進一步確立任務型口語測試模式的有效性。

語言測試;任務;效度

20世紀 80年代,任務型語言教學 TBLT(task-based language teaching)已成為國際英語教育的主流模式。作為交際法教學的延續(xù),它將任務的設計、控制和完成置于交際環(huán)境之中,倡導以體驗、實踐、參與、交流和合作的學習方式實現(xiàn)目標并感受成功。新的語言學習觀和教學法理論必然催生相應的測試模式與之匹配。近年來,正是在 TBLT理論的推動下,基于任務的語言測試 (task-based language assessment)迅速發(fā)展并成為測試界關注的熱點。2000年在加拿大溫哥華召開的第 22屆國際語言測試研討會主題之一就是“Putting tasks to the test”。語言測試權威雜志 Language Testing于 2002年第 4期?？懻摶谌蝿盏恼Z言測試,充分表明 TBLA已成為語言測試界探索的新課題。國內對測試效度的研究始于 20世紀 90年代后期,至今研究成果不多[1-3]。目前對語言測試的效度研究多限于理論層面的闡述,微觀和實證研究明顯滯后。而對口語測試的研究主要集中在對口語測試特點、口試的真實性、大學英語口語測試模式的探索[4-5],對基于任務的語言測試效度的研究則少見。據此,本文嘗試在對基于口語任務的語言測試的效度進行理論分析的基礎上,以實驗分析數據對任務型口語測試的有效性加以驗證。

1 任務型語言測試的理論依據

基于任務的語言測試 (TBLA)強調以任務 (task)為核心和基本分析單位,項目的選擇從任務出發(fā),測試工具編寫以任務為基礎,評定的對象以應試者完成任務的表現(xiàn) (task performance)為依據。這里所說的“任務”實際上就是真實世界的活動 (real-world activity)?？梢哉f,實際生活中即非測試環(huán)境下使用的語言任務多種多樣且不計其數,而測試中使用的任務可看成現(xiàn)實生活中所使用的語言任務的取樣。顯然,這種以任務為核心的語言測試與傳統(tǒng)測試有著極大的區(qū)別,其目標是誘導和評價學習者在以意義為中心并有明確交際目的的語言使用環(huán)境下的交際行為[6],真實世界的需要成為任務設計的驅動力。

TBLA的發(fā)展是依據當前頗為流行的“建構主義”(constructivism)和交際語言測試。建構主義認為知識是暫時的、發(fā)展的和非客觀的,是經過學習者內心構建并受社會文化影響的[7],人的認知與經驗共同發(fā)展,知識與經驗的重新構建是體驗、發(fā)現(xiàn)和創(chuàng)造的過程。因而真實自然的任務有利于激活學習者已有的知識結構和認知圖式,促進自身知識的重組與構建,實現(xiàn)語言知識的內化。基于上述理論,任務型語言測試將測試目標指向學習者在實際生活中有效運用語言完成特定交際任務的能力。相對于以語言知識為綱的結構主義測試和以意義為綱的綜合測試,此類測試是以交際任務為綱,以真實性和交互性為特征,采用社會語言學視角,從學習者在現(xiàn)實生活中可能承擔的社會角色出發(fā),模擬真實的語言交際情景和文化交際情景,考察他們有效使用語言達到交際目的的能力。

2 任務型語言測試效度的定義維度

談到測試學的未來發(fā)展時,Bachman曾指出“語言測試專業(yè)化和測試效度研究是語言測試界現(xiàn)在和未來的兩大重點領域”[8]。效度是指根據邏輯分析和相關證據來說明考試分數在多大程度上解釋考生語言能力的量度。美國心理學會認為效度應作為整體概念來研究,效度的確立主要包括收集結構效度、內容效度和標準關聯(lián)效度這三方面的證據[9]。

在語言測試中,“結構”(construct)通常指某項語言能力,結構效度依據的是其測試的理論框架。效度的確立依據統(tǒng)一的教學思想、語言教學理論與大綱的指導并落實于具體的任務分析。實際上,任何測試無論是內容相關還是結構相關或是標準關聯(lián)都是以其“結構”的理論定義為基礎的,因此,“效度”或“結構效度”或“構念效度”在本質上并無區(qū)別。任務型語言測試的理論基礎或“構念”主要體現(xiàn)在其真實性與交際性:遵循 Bachman與 Pa lmer所提出的測試任務與實際語言運用任務特征的一致性原則[10]。以能力為中心也是 TBLA的構念,這里的能力包括語言能力、社會語言能力、語篇能力和策略能力。

3 任務型語言測試效度驗證

3.1 研究問題

交際口語測試因其測試任務充分體現(xiàn)真實性與交際性并涉及全面的語言能力要求而具備任務型語言測試的基本特征,因此本研究以交際口語測試模式為研究對象來驗證 TBLA的效度。而涉及效度驗證的三方面證據即內容相關、標準關聯(lián)和結構相關證據具有整體性,例如衡量內容效度的主要因素覆蓋度和代表性,一定是以在既定構念的理論框架之下的考試任務對所測行為范疇的代表度來衡量的。因其不適合做實證研究,本研究擬從效度的結構相關和標準關聯(lián)這兩大主要指征探究以下問題:1)基于口語任務的語言測試的結構效度如何?2)基于口語任務的語言測試的預測效度如何?

3.2 數據來源與分析方法

被試為江蘇大學 80名均已通過 CET-4且分數都在 550以上的非英語專業(yè)二年級本科生。

模擬國家四六級口語考試 (CET-SET)的形式和評分規(guī)則構建了小規(guī)模的校內任務型交際口語測試,安排在 2008年 11月和次年 5月分兩次進行。被試通過抽簽分成三人小組按要求完成指定任務。由兩名具有多年 CET-SET培訓經驗的資深教師擔任評分員,分別對每位受試現(xiàn)場評分,考試結束后再取平均值。評分標準為準確性、連貫性、適切性和靈活性。取值范圍每項 0～5分。由于 CET-SET口語任務內在構念的核心是真實性和交際性及在此基礎上被試的語言能力、社會語言能力、語篇能力和策略能力,本研究選擇了體現(xiàn)上述構念的 CET-SET的經典項目:問題回答 (2項)、圖片描述、小組討論共 4項任務。結構效度驗證采用相關分析,預測效度驗證采用回歸分析,測試數據均采用 SPSS17.0進行統(tǒng)計。

3.3 結果與討論

為檢驗校內任務型交際口語測試的結構效度,我們通過 SPSS 17.0對被試 2008年 11月的各單項成績間和各單項成績與測試總成績間的皮爾遜相關系數做了比較分析。結果如表1所示:

表1 校內任務型交際口語測試成績的皮爾遜相關系數比較

續(xù)表

由表1我們可得出兩方面結論:1)體現(xiàn)結構相關的各分項成績與總成績間的皮爾遜相關系數不僅呈正相關,且分別達到 0.810,0.812及 0.845的高相關值,并顯示在 0.01水平具顯著性。2)體現(xiàn)結構關聯(lián)的另一指征,即各分項成績間的相關性矩陣分析顯示低相關系數值,分別為 0.362,0.451及 0.491,處于 +0.3～+0.5的有效區(qū)間。從以上結果可見,具顯著性的各高相關值表明各分項測試體現(xiàn)了整張試卷所針對的構念,而測試分項值間呈低相關,說明結構內各項目間呈相關的同時也具一定獨立性,因而整項測試具有較高的結構效度。

表2 2009年5月口語測試一元線性回歸分析回歸模型統(tǒng)計量表M odel Summaryb

表3 2009年5月口語測試一元線性回歸分析方差分析表ANOVAb

表2和表3為回歸分析所生成的模型統(tǒng)計量表和方差分析表。表2顯示 2008年與 2009年兩份試卷的相關值為 0.838,R Square值 0.702,表明獨立變量 (2008卷)對應變量 (2009卷)有 70.2%的預測效度。表3顯示在顯著水平,獨立變量與應變量完全無線性關系的概率為 0.000,且 F值很大,極具顯著性?？梢缘贸鼋Y論:本回歸模型有效,預測效度具統(tǒng)計學意義。

4 結 語

本文在探討任務型語言測試理論依據的基礎上,從測試效度的定義維度入手,通過 Bachman和 Palmer測試任務特征框架下的校內任務型交際口語測試實驗研究,為任務型語言測試有效性的確立提供相關證據。鑒于本次試驗的樣本規(guī)模局限,實驗結果權作引玉之磚,以待更大規(guī)模的實證研究來確認。

[1]楊惠中,WEIR C J.大學英語四、六級考試效度研究[M].上海:上海外語教育出版社,1998.

[2]金艷,吳江.以“內省法”檢驗 CET閱讀理解測試的效度[J].外語界,1998(2),47-52.

[3]鄒申.英語語言測試——理論與操作[C].上海:上海外語教育出版社,1998.

[4]蔡基剛.大學英語四、六級計算機口語測試效度、信度和可操作性研究[J].外語界,2005(4),66-75.

[5]黃永紅.英語專業(yè)四級口語測試的信度和效度[J].外語研究,2006(3),36-38.

[6]ELL IS R.Task-based Learning and Teaching[M].Oxford:Oxford University Press,2003.

[7]FOSNOT C.Constructivism:Theory,perspectives,and practice[M].Boston:Teachers College Press,2006.

[8]BACHMAN L.Modern language testing at the turn of the century:assuring thatwhatwe count counts[J].Language Testing,2000(2):27-33.

[9]BACHMAN L.Fundamental Considerations in Language Testing[M].Oxford:Oxford University,1990.

[10]BACHMAN L,PalmerA.Language Testing in Practice:Designing and DevelopingUseful language Tests[M].Oxford:Oxford University Press,1996.

[11]鄒申.語言測試[M].上海:上海外語教育出版社,2005.

[12]韓寶成.語言測試:理論、實踐與發(fā)展[J].外語教學與研究,2000(1),47-52.

〔責任編輯:胡 菲〕

Abstract:Task-based language assess ment sets the current trends in international circle of testing.To further confirm the effectiveness of task-based language assess ment,construct validity and predictive validity,the key indices of validity,are examined through empirical analysis based on the exploration of theoretical basis of TBLA and defining perspectives of validity.

Key words:language assess ment;task;validity

Empirical study on the validity of task-based language assess ment

CHEN Xin
(School of Foreign Languages,Jiangsu University,Zhenjiang 212013,China)

H09

C

1008-8148(2010)04-0008-03

2010-09-17

江蘇省教育廳高校哲學社會科學基金項目(05SJD740019)

陳 欣 (1965—),女,浙江余姚人,副教授,碩士生導師,主要從事語言測試與教學研究。