大學英語四級閱讀理解“一試多卷”復本信度與內(nèi)容效度分析

曹艷艷，王佳藝

(華東師范大學 外語學院，上海 200062)

?

大學英語四級閱讀理解“一試多卷”復本信度與內(nèi)容效度分析

曹艷艷，王佳藝

(華東師范大學 外語學院，上海 200062)

摘要：信度與效度向來是評價測試質(zhì)量的重要指標，為預防考生作弊實行的“一試多卷”模式中試卷的復本信度、內(nèi)容效度值得研究?；诖耍治?014年6月使用的四級試卷閱讀理解數(shù)據(jù)，考察“一試多卷”模式下四級考試閱讀理解信度與效度問題，以期更好地促進大學英語有效教學的開展。

關(guān)鍵詞：大學英語四級；閱讀理解；復本信度；內(nèi)容效度

大學英語四級考試是一項全國性的大學英語教學考試。為預防作弊，自2012年12月起，采取在同一考場使用多套試卷的做法。但“一試多卷”模式下的四級考試信度如何，多套試卷的效度是否一致值得研究?；诖耍ㄟ^分析2014年6月四級考試3套閱讀理解試卷，參照《大學英語四級考試大綱》(簡稱為《考試大綱》)和《大學英語課程教學要求》(簡稱為《教學要求》)，探討“一試多卷”模式下的四級考試閱讀理解信度與效度問題。

一、四級考試的權(quán)威性

四級考試是在“國家教育部高教司”直接領(lǐng)導下，由教育部任命成立的“全國大學英語四級考試委員會”具體組織承辦的規(guī)模化標準考試，其權(quán)威性是毋庸置疑的。

四級考試的權(quán)威性首先體現(xiàn)在考試的性質(zhì)和目的上。該考試屬于“標準關(guān)聯(lián)的常模參照測驗”。考試的目的在于“準確衡量我國在校大學生的英語綜合應用能力，為實現(xiàn)大學英語課程教學目標發(fā)揮積極的作用”[1]。四級考試的權(quán)威性也體現(xiàn)在其信度和效度上。信度是效度的基礎，是語言測試的必要條件，但信度高并不表示效度也高?！靶Ф仁且豁椏荚嚨暮诵膯栴}。如果一項考試信度很高，但并沒有考到應考的內(nèi)容，這樣的考試效度就不高”[2]。Oller(1979)認為，沒有效度的測試不能稱其為測試[3]?！耙辉嚩嗑怼蹦Ｊ较?，試卷的復本信度直接關(guān)系到四級考試的權(quán)威性，影響考試的效度。

二、復本信度

復本信度是指將一套測試工具設計成多套等價的復本，用這些復本同時對同一研究對象進行測試，計算出其所得結(jié)果之間的相關(guān)系數(shù)，此系數(shù)即為復本信度?！耙辉嚩嗑怼奔礊檫@種復本的近似例子。測試時，必須設計多套在內(nèi)容、難度、長度、題材、體裁等方面都類似的試卷，根據(jù)調(diào)查對象對多套試卷問題所做出的回答，進行分析比較，找出相關(guān)系數(shù)，得出多套試卷的信度。囿于大樣本考生答卷的匱乏，重點分析多套試卷的文本，相信同樣能反映復本信度的真實情況。

三、內(nèi)容效度與測試目標、教學要求

內(nèi)容效度指語言測試內(nèi)容與測試目標之間的適合性與相符性，即測試所選題目是否符合測試目的和要求。對照《考試大綱》《教學要求》分析試題，看它們之間的吻合度，就可以考察內(nèi)容的效度?！犊荚嚧缶V》指出，四級考試閱讀理解是為了測試考生通過閱讀獲取書面信息的能力?！督虒W要求》指出，大學英語教學目標是培養(yǎng)學生的英語綜合應用能力[4]。

四、閱讀理解復本信度、內(nèi)容效度數(shù)據(jù)分析

2014年6月的四級考試3套閱讀理解試卷均包括完型填空、多項選擇題型短文閱讀和快速閱讀三部分。

(一)Reading in Depth

1.Banked Cloze

完型填空測試的目的是為了考核考生對篇章語境中詞匯的理解和運用能力?！犊荚嚧缶V》要求短文長度為200—250個詞，為學生所熟悉的題材。分析3套試卷，從文章來源看，均改編自美國出版的報刊雜志文章，如TheAtlantic，TheAmerican，TheNewYorkTimes。從長度上看，均在221—232詞之間，符合《考試大綱》的規(guī)定。從談論的話題上看，涉及教育、氣候和石油等熱點問題，都是學生很熟悉的題材，符合《考試大綱》的要求。從題型上看，均為從15個備選詞匯中選出10個最佳詞匯。參照《教學要求》附錄、大學英語參考詞匯表來判斷詞匯的難易程度，卷一考察了15個一般詞匯，卷二和卷三考察了14個一般詞匯，1個《教學要求》外的詞匯，難度相當。從整體上評價，3套完形填空的信度都較高。

Messick(1988,1996)提出了整體效度概念，認為效度只有一個，但證明效度的證據(jù)可以來自多個方面，測試的效度實際上指的就是構(gòu)念效度[5~6]。構(gòu)念效度由相互關(guān)聯(lián)的構(gòu)念組成內(nèi)容和測試后果等組成。從內(nèi)容效度上分析，所考察詞匯的難易程度、考察形式均一致。Bachman& Palmer(1996)提出了語言測試有用性框架，認為測試的有用性=信度+構(gòu)念效度+真實性+交互性+影響力+可行性[7]。從測試的有用性上看，3套完形填空的信度和內(nèi)容效度都一致。但該題型不能考察考生在真實交際環(huán)境下運用詞匯表達的能力，在交互性上表現(xiàn)較弱。

2.Passage Reading

《考試大綱》規(guī)定該類閱讀包括閱讀短文兩篇，每篇長度為300—350個詞，考生根據(jù)對文章的理解，從每題的四個選項中選出最佳答案。3套試卷在長度上一致，均在346—351個詞之間。從談論話題上看，涉及兩性職場薪水差異、領(lǐng)導才能、文科重要性、美國能源進口、醫(yī)院應用電子設備和千禧一代等問題，都是學生較熟悉的題材，符合《考試大綱》的要求。從文章來源看，均改編自英美國家出版的報刊雜志文章，如WashingtonPost，BusinessInsider，Time，TheAmerican，TheNewYorkTimes，和TheAmericanSpectator。從考題類型上看，卷一包含觀點判斷、主旨意圖題7個，細節(jié)題1個，因果推理題2個；卷二共包含觀點判斷、主旨意圖題7個，細節(jié)題3個，因果推理題0個；卷三共包含觀點判斷、主旨意圖題4個，細節(jié)題3個，因果推理題3個。3套試題在難度稍高的觀點判斷題和因果推理題的比重上，卷一、卷二相似，與卷三差別較大，考試信度有差異，因此也影響了考試效度。

從內(nèi)容效度上分析，該題型不能直接考察考生實際應用語言表達的能力，與《教學大綱》規(guī)定的教學目標有差距，與快速閱讀考察重點重復，減弱了四級考試的整體效度。

(二)Skimming & Scanning

《考試大綱》規(guī)定快速閱讀采用1篇較長的文章，約1000個詞，要求考生運用略讀和查讀的技能從篇章中獲取信息。3套快速閱讀均為科普類說明文，體裁相同。談論的話題分別是“沉溺于刷觸摸屏的一代”、“紙質(zhì)圖書走向末路？”和“我哭，故我在”，均與科學、技術(shù)發(fā)展有關(guān)，題材接近。從長度上看，均在1 000—1 018個詞之間，篇幅相當。從整體上判斷，3套快速閱讀難度相當，信度接近。

從內(nèi)容效度分析，3套快速閱讀均為從文中快速找出10個信息的段落來源，主要考察考生運用略讀和查讀技能查詢信息的能力，這與《考試大綱》的規(guī)定一致，但與《教學要求》的教學目標有差距，影響了考試效度。由于考試對教學的反撥效應，四級考試中測試題型內(nèi)容單一、與教學目標存在差距的現(xiàn)實，會削弱大學英語有效教學的實現(xiàn)。

五、結(jié)論

通過對比分析四級考試3套閱讀理解試卷，發(fā)現(xiàn)完形填空信度接近，多項選擇題型短文閱讀信度差異較明顯，快速閱讀信度相當。在內(nèi)容效度上，完型填空、多項選擇題型短文閱讀對英語運用考察較單一。過多地采用選擇題形式影響了對考生英語綜合應用能力的考察，效度受到影響。總地來說，比照《考試大綱》，四級閱讀理解信度較好，對照《教學要求》，四級閱讀理解效度還應提高。若能對閱讀題目類型做進一步改進，采用讓考生用書面表達的形式進行閱讀測試，將能更加客觀、準確地測量大學生的英語綜合應用能力，提高四級考試的效度，使其更好地促進大學英語有效教學的開展。

參考文獻：

[1]全國大學英語四、六級考試委員會.大學英語四級考試大綱(修訂版)[M].上海：上海外教教育出版社，2006.

[2]楊慧中.關(guān)于語言測試學科發(fā)展的若干思考[C]//莊智象.中國外語教育發(fā)展戰(zhàn)略論壇.上海：上海外語教育出版社，2009：535.

[3]Oller J. Language Tests at School[M].London: Longman，1979.

[4]教育部高等教育司.大學英語課程教學要求[M].北京：高等教育出版社，2007.

[5]Messick S. The once and future issues of validity: Assessing the meaning and consequences of measurement[C]//In H. Wainer & H. Brau (eds.). Test Validity. Hillsdale, N.J.: Laurence Erlbaum，1988：33—45.

[6]Messick S. Validity and washback in language testing[J].Language Testing ，1996，(13):241—256.

[7]Bachman L. & A. Palmer. Language Testing in Practice[M].Oxford: OUP，1996.

(責任編輯：劉東旭)

中圖分類號：H319.6

文獻標志碼：A

文章編號：1001-7836(2015)02-0160-02

作者簡介：曹艷艷(1976—)，女，山東臨沂人，講師，從事大學英語教學研究；王佳藝(1970—)，女，浙江椒江人，講師，從事大學英語教學研究。

基金項目：華東師范大學大學英語教學研究中心項目“深化改革背景下促進大學英語有效教學的實踐研究”部分成果

收稿日期：2014-10-15

doi:10.3969/j.issn.1001-7836.2015.02.062