語言測(cè)試中的認(rèn)知診斷性評(píng)價(jià)

語言測(cè)試中的認(rèn)知診斷性評(píng)價(jià)

洪麗燕

( 黃岡師范學(xué)院 外國(guó)語學(xué)院，湖北 黃岡 438000)

摘要：認(rèn)知診斷是現(xiàn)代測(cè)試技術(shù)的重要手段，本文旨在研究以認(rèn)知診斷為基礎(chǔ)的新的語言測(cè)試模式，分析了將認(rèn)知診斷性評(píng)價(jià)理念引入現(xiàn)代語言測(cè)試領(lǐng)域必要性和可行性。建立認(rèn)知診斷性評(píng)價(jià)機(jī)制時(shí)，應(yīng)以先進(jìn)的理念為依托，整合多方面資源，評(píng)價(jià)管理層和評(píng)價(jià)參與者通力合作，運(yùn)用現(xiàn)代測(cè)量技術(shù)，實(shí)現(xiàn)考試評(píng)價(jià)的認(rèn)知診斷功能。

關(guān)鍵詞：語言測(cè)試；認(rèn)知診斷；測(cè)量理論；必要性；可行性；評(píng)價(jià)機(jī)制

收稿日期：2014-11-03

作者簡(jiǎn)介：洪麗燕(1979- )，女，湖北黃岡人，黃岡師范學(xué)院外國(guó)語學(xué)院講師，碩士.

中圖分類號(hào)：H09文獻(xiàn)標(biāo)識(shí)碼：A

目前國(guó)內(nèi)的考試通常由測(cè)試者為考生提供一個(gè)總分或者相應(yīng)的等級(jí)值，由此分?jǐn)?shù)相同或相似的考生表面上被認(rèn)為具有相同的知識(shí)構(gòu)架、學(xué)習(xí)策略或者知識(shí)加工能力，然而實(shí)際情況往往大相徑庭。隨著認(rèn)知心理學(xué)與現(xiàn)代心理測(cè)量學(xué)的不斷發(fā)展，語言測(cè)試專家們?cè)絹碓讲粷M足于“總分反饋”的傳統(tǒng)評(píng)價(jià)，他們希望語言測(cè)試能夠提供個(gè)性化的、診斷性的評(píng)價(jià)信息，通過測(cè)試了解受試者的認(rèn)知結(jié)構(gòu)。

1認(rèn)知診斷理論概述

Mislevy提出，截止至1993年，心理測(cè)量理論已經(jīng)跨越了標(biāo)準(zhǔn)測(cè)試?yán)碚撾A段，即Standard Test Theory，朝新一代測(cè)試?yán)碚?，即Test Theory for a new generation of tests發(fā)展[1]。1998年，漆書青等撰文并重新定義標(biāo)準(zhǔn)測(cè)試?yán)碚摚J(rèn)為其重在宏觀層面上整體評(píng)價(jià)考生的能力結(jié)構(gòu)(ability level paradigm)，提供考生一個(gè)單維度的、直線性、可連續(xù)觀察的數(shù)值(漆書青，戴海崎，丁樹良，1998)。很顯然這種從宏觀上籠統(tǒng)地說被試水平如何的測(cè)量理論難以適應(yīng)社會(huì)的發(fā)展和人們的新要求，人們更希望能從微觀的角度對(duì)被試的心理內(nèi)部加工過程、加工技能、認(rèn)知結(jié)構(gòu)/知識(shí)結(jié)構(gòu)等進(jìn)行診斷性評(píng)價(jià)。

20世紀(jì)70年代，認(rèn)知心理學(xué)取得了長(zhǎng)足的發(fā)展。受認(rèn)知心理學(xué)的啟發(fā)，測(cè)試者們嘗試將其與測(cè)量學(xué)結(jié)合，研究受試者的心理因素對(duì)測(cè)試的影響，研究采用定性與定量相結(jié)合的手段，即現(xiàn)代測(cè)試?yán)碚摰碾r形。認(rèn)知診斷理論是現(xiàn)代測(cè)驗(yàn)理論的重心，是認(rèn)知心理學(xué)與現(xiàn)代測(cè)量學(xué)相結(jié)合的產(chǎn)物。利用現(xiàn)代測(cè)量手段，觀察并分析受試者在考試過程中的反應(yīng)，并由此診斷受試者內(nèi)在的知識(shí)結(jié)構(gòu)(knowledge structure)和知識(shí)加工技能(processing skills)的方法被稱之為認(rèn)知診斷(cognitive diagnosis assessment, CDA)(Leighton & Gierl，2007)[2]。

2語言測(cè)試與認(rèn)知診斷性評(píng)價(jià)

2.1 語言測(cè)試的四大時(shí)期

依據(jù)劉潤(rùn)清，韓寶成(2000)的觀點(diǎn)，語言測(cè)試反映的是測(cè)試者的語言觀，換言之，什么是語言以及什么是語言能力的問題。在語言測(cè)試發(fā)展的不同階段，由于人們對(duì)語言和語言能力的理解持不同的觀點(diǎn)，因此語言測(cè)試學(xué)先后經(jīng)歷了科學(xué)前語言測(cè)試、心理測(cè)量學(xué)—結(jié)構(gòu)主義語言學(xué)測(cè)試、心理語言學(xué)一社會(huì)語言學(xué)測(cè)試，以及現(xiàn)代的交際語言測(cè)試時(shí)期。

在語言測(cè)試學(xué)發(fā)展的第一個(gè)時(shí)期，試題的命題和考試評(píng)價(jià)完全以教師或命題人員的經(jīng)驗(yàn)和主觀判斷來完成，并未對(duì)語言能力的構(gòu)成和語言學(xué)習(xí)的目標(biāo)給出定義。以Bloomfield、Fries和Lado等為代表的美國(guó)語言學(xué)家在結(jié)構(gòu)主義語言學(xué)和心理測(cè)量學(xué)的基礎(chǔ)上構(gòu)建了心理測(cè)量學(xué)—結(jié)構(gòu)主義語言學(xué)測(cè)試模式。語言測(cè)試學(xué)發(fā)展至結(jié)構(gòu)主義時(shí)期，語言學(xué)家們提出語言能力可分性的假設(shè)[3]。因此，這一時(shí)期的測(cè)試者認(rèn)為廣義上，語言實(shí)質(zhì)是知識(shí)和技能的系統(tǒng)。測(cè)試者希望通過考查學(xué)生的語言知識(shí)和加工技能達(dá)到全面評(píng)估受試者語言水平的要求，即語音、詞匯、語法知識(shí)和聽、說、讀、寫、譯技能的掌握情況。

在社會(huì)語言學(xué)測(cè)試時(shí)期，試題較多采用完形填空(cloze)、聽寫和作文等整體性綜合測(cè)試的形式，綜合性測(cè)試在語言測(cè)試領(lǐng)域日益得到重視。束定芳，莊智象(2008)認(rèn)為，社會(huì)語言測(cè)試階段，通過考察受試者在不同語境中綜合運(yùn)用語言的能力，更接近于語言運(yùn)用的實(shí)際過程。隨著時(shí)代的發(fā)展，人們對(duì)語言的本質(zhì)有了更深刻的理解。在20世紀(jì)90年代，美國(guó)應(yīng)用語言學(xué)家Bachman提出了全新的交際語言能力(communicative language ability, CLA)模式[4]。

2.2 認(rèn)知診斷性評(píng)價(jià)的可適用性

將認(rèn)知診斷理論引入語言測(cè)試領(lǐng)域?qū)τ谡Z言測(cè)試研究在更高層次上發(fā)展是非常必要的，它為測(cè)試評(píng)價(jià)帶來了新的思路，杜金榜(1999)認(rèn)為應(yīng)從以下幾方面分析認(rèn)知診斷性評(píng)價(jià)：

①注重了解學(xué)生的學(xué)習(xí)過程

目前對(duì)學(xué)生實(shí)施的評(píng)價(jià)仍過分倚重終結(jié)性測(cè)試評(píng)價(jià)，主要還是通過一個(gè)籠統(tǒng)的分?jǐn)?shù)來反映學(xué)生的語言能力水平。學(xué)習(xí)是一個(gè)漸進(jìn)的過程，針對(duì)學(xué)生的動(dòng)態(tài)學(xué)習(xí)過程展開的診斷性評(píng)價(jià)，有助于學(xué)生及時(shí)調(diào)整自己的學(xué)習(xí)目標(biāo)、管理學(xué)習(xí)資源、選擇學(xué)習(xí)策略，決定學(xué)習(xí)進(jìn)程；還有助于減低學(xué)生單純追求應(yīng)試技巧、一味重視卷面分?jǐn)?shù)的盲目性。認(rèn)知診斷性評(píng)價(jià)的應(yīng)用符合語言測(cè)試研究的發(fā)展趨勢(shì)，即“從測(cè)試以設(shè)計(jì)者為中心到注意研究測(cè)試方法及被試特征對(duì)測(cè)試行為的影響；從只看答卷結(jié)果到注意研究被試的答題過程”(韓寶成，2000)。

②反映學(xué)生的能力結(jié)構(gòu)

交際語言能力是現(xiàn)代語言測(cè)試研究的對(duì)象，所以交際語言能力模式是現(xiàn)代考試評(píng)價(jià)系統(tǒng)的基礎(chǔ)，現(xiàn)代考試評(píng)價(jià)系統(tǒng)仍需逐步發(fā)展評(píng)價(jià)理論，使其更加完善和科學(xué)?；谡J(rèn)知診斷的語言測(cè)試力求評(píng)價(jià)學(xué)習(xí)者的能力結(jié)構(gòu)，即被試者知識(shí)的獲得(成就)和認(rèn)知加工技能，從而使認(rèn)知診斷性評(píng)價(jià)在現(xiàn)代語言測(cè)試中的應(yīng)用成為可能。Bachman在20世紀(jì)90年代認(rèn)為，語言能力主要受三大因素制約，即知識(shí)結(jié)構(gòu)、學(xué)習(xí)策略和心理生理的影響，而且三大因素還可以進(jìn)一步細(xì)化成多種。時(shí)至今日，Bachman所提出的全新的語言能力CLA模式對(duì)語言測(cè)試領(lǐng)域仍有著深遠(yuǎn)的意義。以當(dāng)前國(guó)內(nèi)外規(guī)模較大的標(biāo)準(zhǔn)化測(cè)試為例，如CET、PETS、IELTS、GRE、TOFEL等，它們均是交際語言能力測(cè)試的結(jié)果(鄒申，2005)。

③提供即時(shí)、詳盡的反饋信息

如上文所言，目前我國(guó)的考試通常僅提供學(xué)生一個(gè)卷面總分或者給出相應(yīng)的能力等級(jí)，如A或B等。這樣的反饋信息會(huì)讓考生及家長(zhǎng)誤認(rèn)為分?jǐn)?shù)相同或相似者應(yīng)當(dāng)具有近似的知識(shí)構(gòu)架、學(xué)習(xí)策略或者知識(shí)加工能力，當(dāng)然實(shí)際情況往往大相徑庭。由此，考生們對(duì)自己?jiǎn)我坏姆謹(jǐn)?shù)或等值往往無法做出合理的分析與解釋，考試對(duì)學(xué)生的正面反撥效應(yīng)也自然大打折扣。為了能夠?qū)Σ煌瑢W(xué)生的知識(shí)結(jié)構(gòu)和隱藏在分?jǐn)?shù)背后的內(nèi)部認(rèn)知加工過程進(jìn)行分析和評(píng)價(jià)，學(xué)者們開發(fā)出許多心理測(cè)量屬性模型，其中比較著名的有線性LLTM邏輯斯蒂克特質(zhì)模型(linear logistic trait model)，RSM規(guī)則空間模型(rule space methodology)等等，它們均能夠?yàn)閷W(xué)生提供詳盡的、深入細(xì)致的診斷信息。

3關(guān)于認(rèn)知診斷性評(píng)價(jià)的探討

戴家干(2008)則指出，“當(dāng)前我們提升教育質(zhì)量、改造考試的重點(diǎn)是在傳統(tǒng)考試的基礎(chǔ)上構(gòu)建一個(gè)科學(xué)的教育考試與評(píng)價(jià)體系”[5]。

3.1 組織者和參與者評(píng)價(jià)理念的改革

在評(píng)價(jià)實(shí)施過程中，經(jīng)過系統(tǒng)、專業(yè)化學(xué)習(xí)的評(píng)價(jià)參與者首先要對(duì)項(xiàng)目評(píng)價(jià)本身進(jìn)行仔細(xì)的分析，例如評(píng)價(jià)目標(biāo)是什么，評(píng)價(jià)的主要任務(wù)有哪些，評(píng)價(jià)需要診斷哪些語言能力等。其次，評(píng)價(jià)參與者要關(guān)注被試者的認(rèn)知心理過程，通過創(chuàng)新試題類型、優(yōu)化項(xiàng)目編寫技術(shù)等編制出具有較強(qiáng)認(rèn)知診斷功能的試題，切實(shí)提高考試的效度。最后，評(píng)價(jià)參與者要確定評(píng)分規(guī)則，統(tǒng)計(jì)、分析測(cè)量數(shù)據(jù)，運(yùn)用先進(jìn)的評(píng)價(jià)理念對(duì)考生的語言能力做出有效的診斷，并給予細(xì)致的信息反饋，以此提升教師和學(xué)生的教學(xué)效果，達(dá)到考試的正面反撥作用[6]。

3.2 診斷測(cè)量學(xué)模型的應(yīng)用

現(xiàn)代語言測(cè)試的診斷評(píng)價(jià)功能正逐漸受到人們的重視，人們希望考試能提供他們“會(huì)什么”、“缺陷何在”的具體診斷信息?？荚囈蛘J(rèn)知診斷性評(píng)價(jià)轉(zhuǎn)變，這就涉及到認(rèn)知診斷測(cè)量學(xué)模型的選擇和應(yīng)用[7]。首先，定義試題所涉及的認(rèn)知屬性及屬性間的階層關(guān)系，分析被試者解答試題時(shí)的心理認(rèn)知過程，主要方法有回顧文獻(xiàn)法、學(xué)科專家確定法、試題內(nèi)容分析法、考生有聲思維法等[8]。其次，展開大規(guī)模的測(cè)試，為獲取項(xiàng)目參數(shù)及被試參數(shù)提供基礎(chǔ)。最后，以認(rèn)知診斷模型為基礎(chǔ)，通過計(jì)量化的模型對(duì)被試心理加工過程和知識(shí)屬性掌握情況進(jìn)行定性、定量的評(píng)估與判斷。前者是對(duì)試題內(nèi)容、形式的分析，后者是關(guān)于試卷質(zhì)量和考生知識(shí)能力水平方面的評(píng)價(jià)[9]。

3.3 提供全新的診斷性評(píng)價(jià)報(bào)告

認(rèn)知診斷性評(píng)價(jià)不僅僅是報(bào)告學(xué)生一個(gè)最終的分?jǐn)?shù)或能力估計(jì)值，更為重要的是報(bào)告學(xué)生知識(shí)技能各個(gè)組成方面的分?jǐn)?shù)，有針對(duì)性地寫出關(guān)于學(xué)生目前已經(jīng)掌握的知識(shí)點(diǎn)、沒有掌握的知識(shí)點(diǎn)、能力結(jié)構(gòu)的優(yōu)勢(shì)與缺陷等評(píng)語，并從促進(jìn)學(xué)生成長(zhǎng)的角度出發(fā)，給予合適的建議[10]。這樣一來，考生可以清楚了解自己在英語學(xué)習(xí)上有哪些優(yōu)勢(shì)，還存在哪些問題，可以在下一步的學(xué)習(xí)中有所針對(duì)，從而為自己制定更合理的學(xué)習(xí)目標(biāo)[11]。

基于認(rèn)知診斷的測(cè)試評(píng)價(jià)機(jī)制以現(xiàn)代統(tǒng)計(jì)方法和計(jì)算機(jī)技術(shù)作為工具，診斷被試的認(rèn)知結(jié)構(gòu)和認(rèn)知過程，突破了以往“總分反饋”的、單一的評(píng)價(jià)模式，提供具有診斷功能的評(píng)價(jià)報(bào)告，提高了語言測(cè)試的效度，能很好地發(fā)揮評(píng)價(jià)的正面導(dǎo)向和促進(jìn)發(fā)展的功能。未來，在診斷性語言測(cè)試題的的命制、認(rèn)知診斷模型的應(yīng)用、認(rèn)知診斷性評(píng)價(jià)的信度、效度研究等方面的研究仍將是學(xué)者們關(guān)注的熱點(diǎn)[12]。

參考文獻(xiàn)：

[1]Bachman L. F., Foundamental Considerations of Language Testing [M]. Oxford University Press, 1999.

[2]Bachman, L. F., Modern language testing at the turn of the century: Assuring that what we count counts [J]. Language Testing, 2000.

[3]Leighton, J., P., & Gierl, M., Verbal reports as data for cognitive diagnostic assessment. In J.P. Leighton & M. Gierl (Eds.), Cognitive diagnostic assessment for education: Theory and Applications. Cambridge, UK: Cambridge university press, 2007.

[4]Mislevy, R.J., Foundations of a new test theory, in Frederikson, N., Bejar, I., & Robert J. Mislevy, eds.: Test Theory for a New Generation of Tests, Hillsdale, NJ: Lawrence Erlbaum Associates, 1993.

[5]戴家干．改造我們的考試[M]．北京：高等教育出版社，2008．

[6]杜金榜．外語教學(xué)中的診斷性測(cè)試[J]．外語教學(xué)與研究，1999(4)．

[7]韓寶成．語言測(cè)試?yán)碚?、?shí)踐與發(fā)展[J]．外語教學(xué)與研究，2000(1)．

[8]李筱菊．語言測(cè)試科學(xué)與藝術(shù)[M]．長(zhǎng)沙：湖南教育出版社，2001．

[9]劉潤(rùn)清，韓寶成．語言測(cè)試和它的方法[M]．北京：外語教學(xué)與研究出版社，2000．

[10]漆書青，戴海崎，丁樹良．現(xiàn)代教育與心理測(cè)量學(xué)原理[M]．南昌：江西教育出版社，1998．

[11]束定芳，莊智象．現(xiàn)代外語教學(xué)：理論、實(shí)踐與方法[M]．上海：上海外語教育出版社，2008．

[12]鄒申．語言測(cè)試[M]．上海：上海外語教育出版社，2005．

(責(zé)任編輯高蕾)