李玉
(上海理工大學(xué)外語(yǔ)學(xué)院)
大學(xué)英語(yǔ)入學(xué)分級(jí)考試量化分析
——以上海理工大學(xué)2012年試卷為例
李玉
(上海理工大學(xué)外語(yǔ)學(xué)院)
教育部2007年修訂的《大學(xué)英語(yǔ)課程教學(xué)要求》明確指出大學(xué)英語(yǔ)教學(xué)應(yīng)貫徹分類指導(dǎo)、因材施教的原則,以適應(yīng)個(gè)性化教學(xué)的實(shí)際需要。由于我國(guó)幅員遼闊,各地教育教學(xué)發(fā)展?fàn)顩r不一,學(xué)生英語(yǔ)水平也參差不齊,個(gè)性差異巨大,因而許多高校都實(shí)施了大學(xué)英語(yǔ)分級(jí)教學(xué),并按照不同方式進(jìn)行分班教學(xué)。然而針對(duì)分級(jí)試題質(zhì)量方面的研究寥寥無(wú)幾,本文擬以上海理工大學(xué)2012年大學(xué)英語(yǔ)入學(xué)分級(jí)考試為例,對(duì)大學(xué)英語(yǔ)入學(xué)分級(jí)考試進(jìn)行量化分析。
大學(xué)英語(yǔ) 分級(jí)考試 量化分析
近年來(lái),大學(xué)英語(yǔ)教學(xué)的質(zhì)量備受關(guān)注。學(xué)生的英語(yǔ)水平不一,差別較大,一直以來(lái)是很多人比較苦惱的問(wèn)題。根據(jù)《大學(xué)英語(yǔ)課程教學(xué)要求》提出的“分類指導(dǎo)、因材施教”原則,很多大學(xué)紛紛根據(jù)學(xué)生的英語(yǔ)水平實(shí)行分層教學(xué)。然而在分級(jí)試題質(zhì)量方面的研究寥寥無(wú)幾,本文以上海理工大學(xué)2012年大學(xué)英語(yǔ)分級(jí)考試試卷為例,對(duì)大學(xué)英語(yǔ)入學(xué)分級(jí)考試的試卷質(zhì)量進(jìn)行量化分析,旨在對(duì)試卷進(jìn)行客觀、準(zhǔn)確、定量的分析和評(píng)價(jià),使考試能更有效地檢驗(yàn)學(xué)生的學(xué)習(xí)水平,使分級(jí)更加科學(xué)合理,為建立分級(jí)試題庫(kù)做鋪墊。
就分級(jí)考試研究現(xiàn)狀來(lái)說(shuō),國(guó)外針對(duì)英語(yǔ)作為外語(yǔ)或第二語(yǔ)言學(xué)習(xí)者(EFL,ESL)的分級(jí)考試的研究起步較早,碩果累累。Wall等人(1994)研究了用于判斷學(xué)術(shù)英語(yǔ)環(huán)境中受試語(yǔ)言能力弱點(diǎn)的大學(xué)英語(yǔ)分班考試并指出效度研究中較大的難題就是進(jìn)行同期效度檢驗(yàn)。也有學(xué)者(Fulcher 1997)對(duì)英語(yǔ)分級(jí)考試信度和效度進(jìn)行了校驗(yàn)。除此之外,還有學(xué)者 (如Green&Weir)基于項(xiàng)目反應(yīng)理論和因子分析法,研究了英語(yǔ)分級(jí)考試,并質(zhì)疑了語(yǔ)法測(cè)試對(duì)教學(xué)的反撥作用。國(guó)內(nèi)學(xué)者對(duì)分級(jí)考試的研究起步較晚,而且研究方法主要以理論綜述和試卷結(jié)構(gòu)描述分析為主(如:王瑞,2006;彭家海,2007;劉立,2009),并沒(méi)有對(duì)分級(jí)考試試題的質(zhì)量進(jìn)行定量化分析。
(一)描述性統(tǒng)計(jì)
通過(guò)數(shù)據(jù)統(tǒng)計(jì),試卷的平均分為39.6092,說(shuō)明整體得分較低;標(biāo)準(zhǔn)差為18.63556,說(shuō)明分級(jí)試卷分?jǐn)?shù)上下分值波動(dòng)非常大。另外,傾斜度為0.065,大于0,呈正偏態(tài),這個(gè)數(shù)值表明很多分?jǐn)?shù)都低于平均值,因此分級(jí)試卷難度較大。除此之外,峰值為-1.256,小于0,說(shuō)明曲線比較平坦,從另一角度說(shuō)明分?jǐn)?shù)上下差異很大,符合分級(jí)考試的目的,挑選優(yōu)差生,可以根據(jù)考生的實(shí)際英語(yǔ)水平把他們編入不同班級(jí)學(xué)習(xí)。由于傾斜度和峰值在-2至+2之間,表明本次分級(jí)考試分?jǐn)?shù)呈正態(tài)分布,可以進(jìn)行下一步數(shù)據(jù)分析。
(二)信度分析
信度是對(duì)整個(gè)測(cè)量?jī)?yōu)劣的評(píng)價(jià)指標(biāo),它揭示測(cè)量值與真值的相差程度,反映樣本與總體的接近程度,從理論上講,信度越高,測(cè)量結(jié)果越可信。Lado(1961)認(rèn)為,若一個(gè)測(cè)試既包括主觀題又包括客觀題,它的信度系數(shù)應(yīng)高于0.7。根據(jù)SPSS信度檢驗(yàn),該試卷信度系數(shù)(Cronbach ɑ)為0.825,表明該試卷得分可信。
(三)效度分析
效度(胡中鋒,李方,2000)指測(cè)量結(jié)果的準(zhǔn)確性和有效性的程度,亦即測(cè)量是否達(dá)到預(yù)期的目的。效度的估計(jì)有多種方法,常分為三大類:內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和構(gòu)念效度。由于本論文是關(guān)于分級(jí)考試試題的定量分析,筆者重點(diǎn)分析了構(gòu)念效度。
1.各部分之間的相關(guān)
Alderson等(1995)認(rèn)為,測(cè)試中之所以設(shè)計(jì)不同項(xiàng)目是因?yàn)樗麄兡軌蚩己瞬煌哪芰?,因此我們預(yù)期的相關(guān)也比較低,可能在0.3-0.5之間。從數(shù)據(jù)分析看出,聽(tīng)力、寫作、閱讀理解、詞匯、完型、閱讀和試卷總體的相關(guān)度分別是 0.935、0.750、0.687、0.874、0.842和0.860(在0.01水平上相關(guān))。除了完型和聽(tīng)力、翻譯與聽(tīng)力、完型與翻譯的相關(guān)度在0.7左右之外,試題其他各個(gè)部分的相關(guān)度均在0.5左右(在0.01水平上相關(guān)),在合理的范圍內(nèi)。因此,此次分級(jí)測(cè)試的效度整體上是可以保證的。
2.各部分與總分相關(guān)
通過(guò)數(shù)據(jù)分析可知,每一部分與總分的相關(guān)都在0.01水平上顯著。“根據(jù)經(jīng)典測(cè)量理論,子項(xiàng)目與總分的相關(guān)可能被期望達(dá)到0.7或者更高,因?yàn)榭偡质菍?duì)語(yǔ)言能力的綜合測(cè)量”(Alderson等,1995:184)。根據(jù)這個(gè)標(biāo)準(zhǔn),每一部分與總分的相關(guān)度都符合理論要求,其中聽(tīng)力與總體相關(guān)度最高,高達(dá)(0.934)。
3.難度與區(qū)分度分析
難度是指試題的難易程度,試題的難度決定了整份試卷的難度及考試分?jǐn)?shù)的分布。在常??荚囍?大多數(shù)試題的難度應(yīng)控制在0.3~0.7之間 (胡中鋒,李方,2000)。區(qū)分度指測(cè)驗(yàn)對(duì)考生實(shí)際水平的區(qū)分程度,用D表示(胡中鋒,李方,2000)。如果試題的區(qū)分度高,他就能科學(xué)地反映學(xué)生的水平。難度與區(qū)分度是衡量試卷質(zhì)量的兩個(gè)重要指標(biāo)。難度數(shù)值越大,分級(jí)試卷試題就越容易;然而區(qū)分度系數(shù)越高,分級(jí)試題質(zhì)量就越好。數(shù)據(jù)顯示每個(gè)部分的難度都在0.3和0.5之間,且試卷整體的難度是0.4。對(duì)于難度而言,理想的范圍是在0.3和0.7之間(Brown,2006)。據(jù)數(shù)據(jù)分析,聽(tīng)力部分的難度最小,也就是說(shuō)在試卷的所有題型中難度最大。因此我們推斷這次分級(jí)考試試題難度略為偏大。根據(jù)區(qū)分度系數(shù)值,除了詞匯略低,其他部分的區(qū)分度基本達(dá)到0.4的理論要求(Alderson等,1995)。并且聽(tīng)力、閱讀和構(gòu)詞部分的區(qū)分度都在0.55附近;完型和翻譯部分的區(qū)分度甚至更高,分別是0.83和0.64。區(qū)分度系數(shù)這一數(shù)據(jù)可以從一定程度上顯示一個(gè)項(xiàng)目從總體上區(qū)分出優(yōu)差生(Brown,2006)。一般而言,區(qū)分度的理想范圍應(yīng)該高于0.35(越高越好)。因此,我們可以得出此次分級(jí)考試試卷質(zhì)量很高,能夠區(qū)分不同水平的學(xué)生。
本研究以上海理工大學(xué)2012年試卷為例,對(duì)大學(xué)英語(yǔ)分級(jí)考試進(jìn)行了量化分析。研究結(jié)果表明,該試卷在信度、效度、難度和區(qū)分度四個(gè)方面都基本達(dá)到理論要求。但在該試卷的開(kāi)發(fā)和設(shè)計(jì)中也存在一定的問(wèn)題。例如:從分級(jí)試題的難度與區(qū)分度分析得出,雖然試題的總體質(zhì)量很高,有些題目尚需改進(jìn);完形填空與翻譯的相關(guān)度超出了0.3~0.5的理想范圍,在完形填空和翻譯試題項(xiàng)目的設(shè)計(jì)上可能存在問(wèn)題。
受限于研究條件,本文只分析了上海理工大學(xué)2012年大學(xué)英語(yǔ)入學(xué)分級(jí)考試的一部分受試樣本。雖在一定程度上體現(xiàn)該試卷的總體質(zhì)量,但是鑒于分級(jí)考試是大學(xué)英語(yǔ)分級(jí)教學(xué)實(shí)施的重要基礎(chǔ),對(duì)教學(xué)產(chǎn)生巨大的反撥作用,筆者將在未來(lái)研究中擴(kuò)大研究樣本,并進(jìn)行歷時(shí)研究,以對(duì)該項(xiàng)考試進(jìn)一步修正,提出更全面的建議。
[1]Fulcher,Glenn.An English language placement test:issues in reliability and validity[J].Language Testing,1997(14):113-139.
[2]Lado,Robert.Language Testing:The Construction and Use of Foreign Language Tests—A Teacher’s Book[M].London:Longman,1961.
[3]Lee,Y.&Greene,J.The Predictive Validity of an ESL Placement Test:A Mixed Methods Approach[J].Mixed Methods Research,2007(4):366-389.
[4]胡中鋒,李方.教育測(cè)量與評(píng)價(jià)[M].廣州:廣東高等教育出版社,2000:31-58.
本文為上海市研究生創(chuàng)新基金項(xiàng)目“建構(gòu)主義視角下中國(guó)理工科大學(xué)生自主學(xué)習(xí)能力研究”(JWCXSL1302)、2013年度上海市教委重點(diǎn)課程建設(shè)項(xiàng)目“理工類學(xué)術(shù)英語(yǔ)讀寫”和上海理工大學(xué)人文重點(diǎn)項(xiàng)目“交互式大學(xué)英語(yǔ)自主學(xué)習(xí)模式構(gòu)建及應(yīng)用研究”(12XSZ04)之階段性研究成果