基于效度與信度理論對陜西省專升本英語考試改革的優(yōu)勢分析

杜興雨 蘇 蕊

(西北大學(xué) 陜西 西安 710027)

引言

陜西省專升本考試實施于2001年，在過去19年里，諸多大專院?？忌ㄟ^參加該考試從而獲得了繼續(xù)接受教育、取得學(xué)士學(xué)位的機會。近年來，陜西省專升本考試報名人數(shù)和招生規(guī)模有了顯著提升，專升本考試的關(guān)注度也隨之逐漸獲得廣泛關(guān)注。根據(jù)陜西省考試院的要求，文史、藝術(shù)類考生需參加“大學(xué)英語”和“大學(xué)語文”科目考試，而理工類則需參加“大學(xué)英語”和“高等數(shù)學(xué)”的測試。由此可得，英語考試科目在三門考試中受眾面廣、普及度高，成為了專升本考試體系中最重要的組成部分。

2017年以前，陜西省專升本英語考試主要由五部分構(gòu)成：語知(40分)、閱讀(50分)、完形填空(20分)、翻譯(20分)、作文(20分)。然而，自2018年起，完形填空部分被取消，取而代之的是語知分值從40分提升至60分。本文針對這一題型變化(如表一所示)，從效度和信度理論角度來分析改革后的專升本英語測試優(yōu)勢所在。

表一：

改革前改革后語知與詞匯4060閱讀理解5050完型填空200英漢翻譯2020英文寫作2020共計150150

信度、效度是語言測試中的兩個基本問題。信度(reliability)是評判測試分數(shù)能否準(zhǔn)確反映出考生實際水平和知識掌握能力的標(biāo)準(zhǔn)，而效度(validity)則用來評判一項測試或一道試題能否有效測試某一考點、能否考察應(yīng)試者對某一特定知識點的掌握情況[1]。任何考試體系在設(shè)計考題時都必須要兼顧試題的信度和效度。效度與信度一直以來都是測試學(xué)領(lǐng)域的熱點研究，但信度研究相對較少，效度研究偏多。此外，大部分測試學(xué)著眼于中高考、四六級、四八級或大學(xué)生英語競賽等普及度和知名度較高的考試體系，對相對小眾的專升本考試的關(guān)注度較低。本文從效度和信度角度分析陜西省專升本英語測試改革中用語知取代完形填空這一改革，不僅能觀照該變化的合理與否，更反映出改革后對該項測試可信度以及有效性的優(yōu)勢所在，為專升本考試的試題設(shè)計合理化提出建議。

一、完形填空的意義與爭議

完形填空(cloze procedure)設(shè)計之初是為了檢驗文章的母語可讀性，即在刪去部分詞組之后，母語閱讀者依然能根據(jù)上下文邏輯關(guān)系和語用習(xí)慣來推測出被刪減掉的詞組。但不久之后，該命題技巧就被應(yīng)用于外語測試領(lǐng)域。其中的cloze來源于格式塔心理學(xué)(Gestalt Psychology)，意為“形狀”、“形式”或者“完形”。完形填空因此而得名[2]。

完形填空文本的選取需要綜合多方面的因素，不僅要考慮題材和體裁，更要注重難度、長度的控制和其中的遣詞造句。在上述要點都契合考試要求的前提下，該語篇才適用于完形填空。選取語篇后，命題者還需要結(jié)合考生平均知識水平，有目的地刪減一些詞語，并在下放給定的四個選項中選擇合適的答案來進行填充，從而使文章的句法和結(jié)構(gòu)恢復(fù)完整[3]?？梢哉f，完形填空可用來考察學(xué)生對語法、詞組固定搭配、詞匯量和閱讀理解等多方面的知識掌握情況。

然而，2015年公共英語四六級考試率先取消完形填空引發(fā)了測試學(xué)界對該題型的再審視。而陜西省專升本英語考試也在兩年后正式取消該題型。以陜西省2009到2017年間的9份完形填空試題來看，該部分存在一系列不足，被語知和詞匯題所取代具有一定的必要性。首先，為了增加考試公平性，陜西省專升本英語命題組為非英語專業(yè)和英語專業(yè)的考生設(shè)計了難度系數(shù)不同的完形填空，而這也是考卷中唯一使用分別命題的部分。然而，這一分別命題在2016、2017又被修正為統(tǒng)一命題，幾經(jīng)變化，足見完形填空部分的爭議性。本文即著眼于完形填空的語篇選擇、選項設(shè)計、出題順序等方面存在的問題，剖析其信度和效度的高低，以及被語知和詞匯題所取代的必要性。

二、完形填空題型的“信度”分析

如果在難度大致相當(dāng)?shù)Z篇不同的完形填空測試中，某一學(xué)生能得到大致一樣的分數(shù)，則說明完形填空的信度較高，反之則為不高。本文以西北大學(xué)職業(yè)技術(shù)學(xué)院A同學(xué)在某一時間段內(nèi)對2009到2017年專升本完形填空的答題情況為參照數(shù)據(jù)，進而分析完形填空的信度問題：

表二：

年份文本主題最后得分2009150年前英國社會的貧富差異(社會科學(xué))8/202010八十歲的瓊斯太太開車依舊眼神很好(幽默故事)11/202011興趣愛好的益處(社會科學(xué))9/202012男女購物習(xí)慣的差異(心理學(xué))13/202013大學(xué)生是否應(yīng)該選擇熱門專業(yè)(社會問題)12/202014沒有牙齒的老婦人(幽默故事)14/202015吝嗇鬼瓊斯先生的偶遇(某故事節(jié)選)11/202016為父親洗梳子(家庭情感)8/202017我童年時代的一次舞蹈表演經(jīng)歷(回憶故事)9/20

通過該生的答題得分情況可以看出，在試題難度大致相等的情況下，考生對于自己相對熟悉且日?；脑掝}可使正確率超過50%，而面對陌生的話題如外國社會變遷等，則正確率低于50%。而該生對2016、2017年試題中完形填空部分的作答情況可以反映出，在取消英語專業(yè)與非英語專業(yè)的區(qū)分命題后，完形填空難度系數(shù)有了明顯提升，導(dǎo)致在未涉及專業(yè)話題的情況下，考生的作答正確率也很難超過50%。

通過以上數(shù)據(jù)可知，左右考生分值變化的因素是其對話題和專有名詞的理解程度；考生一旦未能把握文章情節(jié)脈絡(luò)，必然會導(dǎo)致大面積失分的現(xiàn)象。反之，考生在完成作答過程中一旦對后續(xù)情節(jié)有所洞悉，就可以大致猜出后續(xù)問題的答案。例如：2014年完形填空中，文章第一段就出現(xiàn)了lunch, fast food restaurant, meal等詞，足見文中夫妻是在進餐，即使不看文章中間部分，也可答出文末第76問中：when he was ____his mouth with a napkin. 選項為：A. wiping B. washing C. bathing D.touching 從文章開頭便可推測出此時應(yīng)是飯后，且有napkin隨后，則一定是“擦嘴”，因此選擇了A選項。這就是應(yīng)試者在掌握文章脈絡(luò)后進行的推測。反之，在2009年完形填空的第79題，Dickens’ father was a clerk, who used to ___more than he earned . A. cost B. spend C.waste D. lend。這道題正確率極低，因為大部分人根據(jù)“狄更斯不得不去工廠打工”這一信息誤斷出“其父親是因花銷過多，所以需要兒子去打工掙錢”，從而選了A選項。而實際上狄更斯的父親是因為無力償還外債而被投進了監(jiān)獄。這就是不熟悉故事情節(jié)或未把握文章脈絡(luò)，僅僅根據(jù)碎片化推斷做題的結(jié)果。

由此可知，在專升本完形填空中，存在諸多干擾應(yīng)試者正常發(fā)揮水平和依靠非正常推理來做題的情況，因此，考生所得的分數(shù)會發(fā)生較為明顯的波動，測試結(jié)果具備的一致性與可靠性不高，從而導(dǎo)致測試結(jié)果不可信。比如，某考生在熟悉某語篇的情況下可以通過非正常手段來對某些問題進行作答，而一旦缺乏對某些知識的了解時，又往往會在認識選項詞匯的情況下答錯。此外，英專與非英?？忌鸁o區(qū)別命題后，導(dǎo)致了對非英?？忌某V考察，失分程度顯著上升，因此其測試結(jié)果同樣不具備原有的參考價值。

三、完形填空題型的“效度”分析

效度分析是評價試題質(zhì)量高低的首要標(biāo)準(zhǔn)，通過效度分析可以檢驗出某試題在多大程度上檢測出了要測量的目標(biāo)物。效度分析應(yīng)用在測試學(xué)上，即用于觀照一份試題能否較好地完成其預(yù)期設(shè)置的任務(wù)，能否考中命題者期望測試的知識點。完形填空是一種命題靈活的閱讀理解題，它在基于應(yīng)試者對語篇的正確理解前提下，進一步考察其詞匯的靈活運用能力以及語法的掌握能力。因此，完形填空是一項測評考生綜合語用能力的考試手段。然而，由于文本選擇、選項設(shè)計以及題型順序安排等多方面因素，專升本英語試題中完形填空部分的效度不佳。本文即從上述三個方面來說明導(dǎo)致效度不佳的具體體現(xiàn)。

(一)文本選擇方面

專升本應(yīng)試對象主要是本省高職高專院校三年級的應(yīng)屆畢業(yè)生，國家教委在2006年頒布的《高職高專教育英語課程教學(xué)基本要求》中明確指出：“普通高等?？朴⒄Z的教學(xué)目的是讓學(xué)生掌握必需的、基本的、實用的英語語言技能。此外還需要具備閱讀與翻譯本專業(yè)英文資料的初步能力?！盵4]可以看出，對于高職高專學(xué)生的語言培養(yǎng)偏重于日常交際和涉外業(yè)務(wù)等技能。與《基本要求》相匹配的高等學(xué)校英語應(yīng)用能力考試A級(原大學(xué)三級考試)的閱讀材料選取也偏重于應(yīng)用文和說明文。因此，作為高職高專學(xué)子的升學(xué)考試，也應(yīng)將測試重點放在大綱側(cè)重的應(yīng)用文和說明文上。

然而，通過表一列舉的從2009到2017年完形填空的文章主題可以看出，涉及應(yīng)用文和說明文的比重相對較少，大部分屬于日常交際的范疇。對于應(yīng)試者而言，專業(yè)性強的說明文難以兼顧和涵蓋所有專業(yè)，對受眾為專業(yè)不同的考生而言會帶來一定的不公正因素；而對于命題方而言，應(yīng)用文和說明文比普通文本更難滿足同時考察語法、詞匯和閱讀理解三方面的要求。因此，既要使文本契合專升本考生實際需求，又要達到命題目的，無形中增加了命題的難度。

(二)試題選項設(shè)計的科學(xué)性

完形填空的出題模式大致有三種，即固定比例刪詞填空(The Fixed Ratio Method)、變化比例刪詞填空(The Variable Ratio Method)以及選擇型完形填空(The Multiple-choice Method)[5]。作為21世紀(jì)以來普遍采用的類型，選擇型完型填空不僅被專升本英語測試所采用，更成為了各大英語語言測試體系的常見題型。但選擇型完型填空面臨著多項選擇同樣的問題，即選項是否合理，能否有效避免被考生通過其它途徑縮小選擇范圍或直接鎖定答案的情況。這一問題并非陜西省特有，鄰省河南也有相關(guān)學(xué)者對選項設(shè)計設(shè)計的科學(xué)性進行過研究[6]?；谶@一疑問，本文列舉兩例在陜西省專升本完形填空命題中出現(xiàn)的選項設(shè)計失誤，從而反映了由于選項設(shè)計導(dǎo)致該題型效度降低的情況。

首先，選項設(shè)計必須要體現(xiàn)一定的考察目的。在2009年完形填空第62題There were a___very rich people...，選項為A.little B.much C.few D.many。根據(jù)文章情節(jié)可知，150年前的英國正處于第一次工業(yè)革命時期，新興資產(chǎn)階級嶄露頭角，成為了英國社會的新貴，但同時也拉大了社會的貧富差距，加深了社會階級的分化與矛盾。因此可知富人是少數(shù)。該題一方面考察了考生對文章大意的閱讀理解能力，通過閱讀上下文，可以判定答案是“人多”還是“人少”。另一方面也考察了“a little后接不可數(shù)和a few后接可數(shù)”這一知識點。然而英語中沒有 a many/much 的表達方式，只有many/much a的用法，因此部分考生即便沒能讀懂，也能夠直接越過理解層面，從語法層面上將此題答案范圍縮小在A和C之間。這就是由于選項設(shè)計不佳而違背了出題者的初衷、影響了試題效度。

此外，在設(shè)計選項中要盡量保持選項的形式、長度和詞性一致，以免給考生不必要的暗示(如“三長一短必選短、三短一長必選長”等)，從而影響了試題的效度。在專升本完形填空部分，諸多選項設(shè)計沒有有效規(guī)避選項形式、長度或詞性不一致的情況，而這種情況大多是由于命題方在設(shè)計選項過程中單純將原文中被刪減的詞直接還原成正確選項，爾后在設(shè)計干擾項的過程中沒有與正確選項保持一致所導(dǎo)致的。

典型的例子如2011年非英專完形填空第75題：Anyone, rich or poor, old or young, sick or well, can follow a satisfying hobby, ____his age, position, or income.

A. in the case of B. in the event of C. in spite of D. regardless of

此題前三個選項為干擾項，均有in開頭且長度都一致，相對于三個3～4個單詞構(gòu)成的干擾項，正確答案D選項是一個僅由兩個單詞構(gòu)成的短語，且外形也大不相同。這樣的情況極容易給考生提供暗示，從而促使其運用非正常解題手段鎖定答案。

(三)完形填空在專升本考試中的出題順序問題

在專升本英語試題中，完形填空排序為第三，即在順序答題的情況下，考生完成了40道語知和詞匯以及4篇閱讀理解后才開始對完形填空進行作答。部分考生由于時間安排不合理，或者對完形填空有畏懼心理，往往會選擇跳過該部分，先完成翻譯和作文，最后再做完形填空。2017年陜西省專升本英語科目的閱卷情況顯示：有36.2%的考生未對完形填空進行作答，另有17.64%的考生對該部分進行了消極作答。這樣的情況加劇了考生英語科目得分率普遍偏低的現(xiàn)象，也使得上線人數(shù)不足招生計劃人數(shù)的情況加劇。

本文列舉了近四年來陜西省專升本的報錄數(shù)據(jù)，如表三所示：

表三：

年份報考人數(shù)增幅計劃招生人數(shù)實際錄取人數(shù)實錄/計劃錄取2016130124.81%8517696481.76%2017139366.90%8949735182.14%20182121752.24%133641193289.28%20192533719.41%157941405388.97%

數(shù)據(jù)來源：陜西省教育考試院官網(wǎng)。

專升本考試劃有最低分數(shù)線，之所以出現(xiàn)錄取人數(shù)少于計劃招生人數(shù)的情況，一方面是由于某些專業(yè)報名人數(shù)不足，而另一方面也是由于上線人數(shù)不夠造成的。作為文史類和理工類考生都需要面對的英語科目，其測試的效度高低就成了決定考生能否上線的關(guān)鍵因素。在實錄人數(shù)低于計劃人數(shù)的情況下，取消答題率不高的完形填空，擴大語知和詞匯的測試比重對提升考生答題率、充分發(fā)揮試題作用，從而達到提高實際錄取比例、充分利用專升本教育資源的目標(biāo)。通過表三數(shù)據(jù)可以觀察到，自2018年正式取消完形填空后，實際錄取人數(shù)占計劃錄取人數(shù)的比例顯著提升了7～8個百分點。盡管這一變化是由多個因素促成的，但不能否定英語科目考試中的題型變動為錄取比例上升所帶來的正面影響。因此，由于完形填空出題順序所導(dǎo)致的考生答題率不高現(xiàn)象，也是影響專升本英語測試效度的因素之一。

四、語知和詞匯比重增加的優(yōu)勢

語知和詞匯部分的單項選擇題在效度與信度方面都相對較優(yōu)。首先，語知詞匯選擇題具有較高的信度。如在考察詞匯的情況下，考生只要認識選項中的詞匯就基本能答出該題。同理，在考察語法知識點的情況下，如果考生對某語法題測試的語法點了解相對透徹，也會大概率答對該題。相對于完形填空需要基于理解的基礎(chǔ)，語知和詞匯選擇選擇題受其它因素干擾較少、作答情況較為一致，因此信度較高。除此以外，語知和詞匯選擇題相對完形填空還有較高的效度。60道題中語法和詞匯考察各占30道，每道題專注于一個考點，考察目的單一且具有針對性[7]，通過作答情況可以反映考生對各個知識點和詞匯的掌握程度。

另外，取消完形填空、增加語知和詞匯的考察能夠有效均衡語法、詞匯和語篇理解在整張試卷中所占的比重，有利于全面考察應(yīng)試者的能力。眾所周知，完形填空測試主要以考察閱讀理解和詞匯為主，語法檢測所占比重相對較少，如2011年非英語專業(yè)組完形填空部分，詞匯考察占20題中的17題，而語法考察僅占3題。由于完形填空中詞匯和閱讀理解通常結(jié)合在一起考察，因此本文將該部分詞匯題視為閱讀與詞匯各占50%的比重?；谶@樣的前提，我們從表四可以大致觀察出改革前后語法、詞匯和閱讀考察在整張試卷中所占的比重變化：

表四：

語法詞匯閱讀理解三項之比取消完形填空之前2328.558.521:26:53取消完形填空之后30305027:27:46

在《高職高專教育英語課程教學(xué)基本要求》中，對高職高專學(xué)生的詞匯(認知3400詞、掌握1600詞)、語法(掌握并正確運用語法規(guī)則)和閱讀能力(閱讀中等難度的英文材料)[4]都有明確規(guī)定，因此三者的重要程度都不可忽視。在專升本考試中用語知和詞匯題取代完形填空后，不僅沒有偏廢任何一方面的考察力度，反而使完形填空的功能得到了有效替代，各知識板塊的考察比重也更加均衡合理，使之能夠更有效地反映考生的綜合能力。

總結(jié)：

效度與信度是測試學(xué)中衡量試題合理與否的重要標(biāo)準(zhǔn)。作為英語測試中常見的題型，完形填空是綜合檢驗應(yīng)試者詞匯積累、語篇理解、語法知識、邏輯推理等語用能力的有效途徑。然而由于專升本考試的特殊性、試題設(shè)計、選項設(shè)計以及出題順序等多方面因素導(dǎo)致在專升本測試中信度和效度不佳。自2015年四六級考試率先取消完形填空后，2018年陜西省專升本考試也隨之取消完形填空，增加了語知和詞匯考察的比重。本文基于這一變化，從信度和效度的角度分析了高職高專英語教育大綱、命題的文章選取、選項設(shè)計的科學(xué)性、完形填空作答率以及語知和詞匯題的優(yōu)勢等，從而得出此次改革是提高考生答題率、增加試題設(shè)計合理度，提升信度與效度的有益嘗試這一結(jié)論。在陜西省專升本錄取人數(shù)連年不滿計劃招生人數(shù)的情況下，提升考試的效度與信度，發(fā)揮試題合理選拔人才的功能從而達到合理利用我省專升本教育資源的目的。