醫(yī)學(xué)統(tǒng)計(jì)學(xué)位課程考試項(xiàng)目分析*

山西醫(yī)科大學(xué)公共衛(wèi)生學(xué)院(030001) 徐 琳 張巖波 鄭建中

考試是學(xué)校教育中的一個(gè)重要的組成部分。對(duì)考試試卷進(jìn)行科學(xué)有效的分析評(píng)價(jià)，不僅可以檢驗(yàn)教學(xué)效果、評(píng)估教學(xué)質(zhì)量，還可以提高命題及組卷水平，在教與學(xué)各方面都具有十分重要的意義?？茖W(xué)有效的試卷質(zhì)量分析評(píng)價(jià)要運(yùn)用教育測(cè)量與考試有效性研究方面的專(zhuān)業(yè)知識(shí)。項(xiàng)目分析(item analysis)是基于經(jīng)典測(cè)驗(yàn)理論(classical test theory)的一種常用的試題分析和評(píng)價(jià)方法。項(xiàng)目分析的量的分析就是通過(guò)計(jì)算項(xiàng)目的一些統(tǒng)計(jì)量作為項(xiàng)目質(zhì)量高低的指標(biāo)，進(jìn)而挑選和修改題目〔1〕。本文將運(yùn)用經(jīng)典測(cè)驗(yàn)理論，對(duì)山西醫(yī)科大學(xué)2008級(jí)碩士研究生醫(yī)學(xué)統(tǒng)計(jì)學(xué)位課程考試的502份試卷進(jìn)行項(xiàng)目定量分析，為評(píng)價(jià)試題質(zhì)量提供依據(jù)。

項(xiàng)目分析指標(biāo)

1．難度

難度(difficulty)即測(cè)題的難易程度。難度的計(jì)算公式:P=N/M，其中P為題目難度，N為該題目的得分均值，M為該題目的滿(mǎn)分值。難度實(shí)際高低與難度值大小剛好相反，難度高的題目其難度值反而小，而難度低的題目其難度值卻大。

由于選擇題有猜題的可能，對(duì)于多選一的選擇題而言，其難度的計(jì)算要用校正公式:CP=(KP－1)/(K－1)，其中CP為校正難度值，P為用難度公式直接計(jì)算得到的難度值，K為選擇項(xiàng)的數(shù)目。運(yùn)用校正公式計(jì)算出的難度值，可以直接進(jìn)行比較，因?yàn)樵谟?jì)算中已經(jīng)考慮了選擇項(xiàng)數(shù)目不同對(duì)猜題的影響。

2．區(qū)分度

項(xiàng)目區(qū)分度(item discrimination)即測(cè)題將受測(cè)者實(shí)際能力水平區(qū)分鑒別開(kāi)的能力。項(xiàng)目區(qū)分度有多種計(jì)算方法，如積差相關(guān)法、點(diǎn)二列相關(guān)法、二列相關(guān)法、四分相關(guān)和φ相關(guān)、因素分析法、極端組法等。項(xiàng)目區(qū)分度的計(jì)算最常用的是鑒別度指數(shù)(也稱(chēng)D指數(shù))，是極端組法中的一種計(jì)算方法。

鑒別度指數(shù)的計(jì)算:根據(jù)測(cè)驗(yàn)總成績(jī)將受測(cè)者從高分到低分排列，選取前27%的受測(cè)者(或25% ～33%)作為高分組，再選取最后27%的受測(cè)者作為低分組，分別計(jì)算出高分組和低分組的難度值，最后代入公式D=PH－PL計(jì)算出鑒別度指數(shù)。其中D為鑒別度指數(shù)，PH為高分組難度值，PL為低分組難度值。在選取高分組和低分組的受測(cè)者人數(shù)方面沒(méi)有嚴(yán)格的規(guī)定，出于計(jì)算簡(jiǎn)便的目的，可靈活掌握，但要兩組人數(shù)相等。

3．難度與區(qū)分度的關(guān)系

項(xiàng)目區(qū)分度受難度的影響，控制試題難度可以提高項(xiàng)目的區(qū)分度。當(dāng)測(cè)驗(yàn)過(guò)于難，實(shí)際能力高的受測(cè)者和實(shí)際能力低的受測(cè)者都未得分，則無(wú)區(qū)分度可言;當(dāng)試題過(guò)于容易，實(shí)際能力高的受測(cè)者和實(shí)際能力低的受測(cè)者都能得分，也無(wú)區(qū)分度。過(guò)難和過(guò)易的試題，都會(huì)降低項(xiàng)目區(qū)分度。當(dāng)難度值為0．5時(shí)，試題的區(qū)分度為最好。在命題及組卷時(shí)，不同題目的難度均有不同，所有題目的難度值可控制在一定范圍內(nèi)。實(shí)際能力水平不同的受測(cè)者對(duì)不同難度的測(cè)題表現(xiàn)出不同的區(qū)分度。

4．運(yùn)用項(xiàng)目分析指標(biāo)衡量試題質(zhì)量

(1)運(yùn)用難度衡量試題質(zhì)量

在命題及組卷時(shí)，要盡力做到題目的平均難度為0.50左右，并且做到各個(gè)題目的難度值在0.20～0.80范圍內(nèi)。

表1 項(xiàng)目難度優(yōu)劣的判斷標(biāo)準(zhǔn)

測(cè)題難度應(yīng)符合考試目的，難度高的測(cè)題適用于選拔性考試，難度低的測(cè)題適用于達(dá)標(biāo)性考試。

(2)運(yùn)用區(qū)分度衡量試題質(zhì)量

有些時(shí)候進(jìn)行試卷分析為避免大量的數(shù)據(jù)計(jì)算，僅在大題下作區(qū)分度分析，熊廣興〔2〕認(rèn)為從區(qū)分度這一指標(biāo)用以鑒別、篩選題目的功能來(lái)說(shuō)，應(yīng)對(duì)試卷中每一道小題進(jìn)行分析，僅對(duì)大題計(jì)算區(qū)分度會(huì)夸大題目的鑒別力〔3〕。

測(cè)量學(xué)家伊貝爾(R．L．Ebel)提出了判斷測(cè)題優(yōu)劣的項(xiàng)目鑒別度標(biāo)準(zhǔn)，見(jiàn)表2。

0.30以上的鑒別度指數(shù)反映試題具有良好的區(qū)分功能，鑒別度指數(shù)在0.20～0.30之間的項(xiàng)目可依據(jù)測(cè)驗(yàn)要求靈活掌握，適當(dāng)保留。

表2 項(xiàng)目鑒別度優(yōu)劣的判斷標(biāo)準(zhǔn)

(3)綜合難度、區(qū)分度衡量試題質(zhì)量

綜合難度(P值)、區(qū)分度(D值)衡量試題質(zhì)量，可分為以下 A、B、C、D 四級(jí)。

A:P 值 ＞0．5，D 值 ＞0．20，試題難度適中，區(qū)分度良好，是好試題。

B:P 值 ＜0．5，D 值 ＞0．20，試題偏難，但區(qū)分度良好，依然適用。

C:P 值 ＞0．5，D 值 ＜0．20，試題容易且區(qū)分較差，必要時(shí)少用。

D:P 值 ＜0．5，D 值 ＜0．20，試題既難又無(wú)區(qū)分能力，不應(yīng)參加計(jì)分。

5．多重選擇題的干擾項(xiàng)分析

選擇題的作答除了會(huì)受到猜題的影響，還會(huì)受到選項(xiàng)中其他干擾項(xiàng)的影響，因此對(duì)選擇題的干擾項(xiàng)進(jìn)行分析是十分必要的。對(duì)于干擾項(xiàng)也有其難度分析和區(qū)分度分析。干擾項(xiàng)的難度分析是分析其對(duì)受測(cè)者誘惑性的大小，對(duì)于一個(gè)干擾項(xiàng)來(lái)說(shuō)，選擇這個(gè)干擾項(xiàng)的人數(shù)多少可反映其誘惑性的大小。干擾項(xiàng)的誘惑性要適中，不能誘惑性太強(qiáng)，使選擇它的人數(shù)過(guò)多;也不能誘惑性太弱，起不到干擾作用。干擾項(xiàng)的區(qū)分度類(lèi)似項(xiàng)目的區(qū)分度〔4〕。理想的區(qū)分度較高的干擾項(xiàng)，能產(chǎn)生使實(shí)際能力水平高的受測(cè)者選擇正確選項(xiàng)的比例大于實(shí)際能力水平低的受測(cè)者的效果，并且不出現(xiàn)負(fù)向干擾項(xiàng)，即不出現(xiàn)實(shí)際能力水平高的受測(cè)者選擇錯(cuò)誤干擾項(xiàng)的人數(shù)多于實(shí)際能力水平低的受測(cè)者的情況出現(xiàn)。

實(shí)例分析

本研究以山西醫(yī)科大學(xué)2008級(jí)碩士研究生醫(yī)學(xué)統(tǒng)計(jì)學(xué)位課程考試的502份試卷為例。考試題型:判斷題10個(gè)，每題2分;單選題10個(gè)，五選一，每題2分;簡(jiǎn)述題2個(gè)，第1題8分，第2題12分;分析計(jì)算題4個(gè)，每題10分。根據(jù)總成績(jī)把受測(cè)者分為高分組和低分組(按照27%選取)，每組136人。采用自編Excel試卷分析模板，主要結(jié)果見(jiàn)表3～表5。

1．試題分析一般情況

表3可見(jiàn)，試卷總體難度中等，判斷題、單選題較易，簡(jiǎn)述題、分析計(jì)算題難度中等。試卷總體鑒別度指數(shù)偏低，以判斷題的區(qū)分度最差。綜合判定，試卷總體為A級(jí)，是好試題;但判斷題容易且區(qū)分較差，為C級(jí)。

表3 試題分析一般情況

2．每小題的難易度與區(qū)分度分析

表4中選擇題的難度采用了校正難度系數(shù)CP，結(jié)果可見(jiàn):34個(gè)項(xiàng)目的難度指數(shù)范圍在0.068～0.958之間，平均為0.72。其中分析計(jì)算題4(4)的難度值為0.068，為最難項(xiàng)目;單選題10的難度值為0.958，是最容易項(xiàng)目。在命題及組卷時(shí)，要盡力做到題目的平均難度為0.50左右，并且做到各個(gè)題目的難度值在0.20～0.80范圍內(nèi)。本研究的34個(gè)項(xiàng)目中，有14個(gè)項(xiàng)目的難度值大于0.80，有1個(gè)項(xiàng)目的難度值小于0.20，該測(cè)題總體難度中等。結(jié)合本次測(cè)題目的，并非為選拔少數(shù)能力高的被試，故此難度適中。

從區(qū)分度角度分析，34個(gè)項(xiàng)目中，單選題2、單選題4、單選題7、簡(jiǎn)述題1、分析計(jì)算題3這5個(gè)項(xiàng)目的鑒別度指數(shù)達(dá)到0.40以上，是非常優(yōu)良的項(xiàng)目。判斷題1、判斷題2、單選題1、分析計(jì)算題1(3)這4個(gè)項(xiàng)目的鑒別度指數(shù)在0.30～0.39之間，是良好、如能修改更好的項(xiàng)目。判斷題4、判斷題9、單選題5、單選題6、單選題8、簡(jiǎn)述題2、分析計(jì)算題1(2)、分析計(jì)算題2(1)、分析計(jì)算題2(4)、分析計(jì)算題4(2)、分析計(jì)算題4(3)，這11個(gè)項(xiàng)目的鑒別度指數(shù)在0.20～0.29之間，是尚可、仍須修改的項(xiàng)目。0.30以上的鑒別度指數(shù)反映試題具有良好的區(qū)分功能，鑒別度指數(shù)在0.20～0.30之間的項(xiàng)目可依據(jù)測(cè)驗(yàn)要求靈活掌握，適當(dāng)保留。其余14個(gè)項(xiàng)目的鑒別度指數(shù)在0.19以下，是劣、必須淘汰的項(xiàng)目。

34個(gè)項(xiàng)目綜合判定，A級(jí)的有19個(gè)，是難度適中、區(qū)分度良好的好試題;B級(jí)的有1個(gè)，試題偏難，但區(qū)分度良好，依然適用;C級(jí)的有11個(gè)，試題容易且區(qū)分較差，必要時(shí)少用;D級(jí)的有3個(gè)，試題既難又無(wú)區(qū)分能力，不應(yīng)參加計(jì)分。

3．單項(xiàng)選擇題干擾項(xiàng)分析

有10題，每題有4個(gè)干擾項(xiàng)，共40個(gè)干擾項(xiàng)。其中，單選題3的E選項(xiàng)無(wú)論對(duì)高分組還是低分組都缺乏誘惑性，沒(méi)有被受試者選擇。這一干擾項(xiàng)未起到應(yīng)有的干擾作用，可能干擾作用太明顯，缺乏誘答性，應(yīng)加以修改和替換。這種無(wú)干擾作用的選項(xiàng)，使受試者猜題成功的可能性增加。40個(gè)干擾項(xiàng)中，沒(méi)有出現(xiàn)負(fù)向干擾項(xiàng)，即沒(méi)有出現(xiàn)高分組選擇錯(cuò)誤干擾項(xiàng)的人數(shù)多于低分組的情況出現(xiàn)。對(duì)于單選題3、9、10這三題來(lái)說(shuō)，高分組和低分組選擇正確選項(xiàng)的受測(cè)者人數(shù)相差不多，應(yīng)增加三題中其余選項(xiàng)的誘惑性，以增大干擾作用。

表4 每小題的難易度與區(qū)分度

表5 10道單選題干擾項(xiàng)分析結(jié)果

總結(jié)與討論

通過(guò)對(duì)考試試卷難度和區(qū)分度的分析，可以看到試卷分析的重要性。命制一份質(zhì)量高的試卷很不容易，只有掌握試卷分析的相關(guān)知識(shí)，并將其應(yīng)用在教學(xué)工作中，才能命制出高質(zhì)量的試題。

本文的實(shí)例分析中，選擇題難度的計(jì)算采用了難度校正公式計(jì)算CP值的方法。雖然本文分析的試卷僅涉及五選一這一種單選題題型，難度值校正與否均不影響本文結(jié)果;但對(duì)于今后進(jìn)行其他試卷評(píng)價(jià)時(shí)，會(huì)遇到在同一試卷中有多種單選題(如三選一、四選一、五選一)題型的情況，那時(shí)計(jì)算CP值后直接作比較，就能更好地體現(xiàn)出CP值在考慮選擇項(xiàng)數(shù)目不同對(duì)猜題影響方面的價(jià)值。

自上世紀(jì)20年代經(jīng)典測(cè)量理論引入我國(guó)，在近90年的傳播應(yīng)用過(guò)程中，逐漸發(fā)展成為簡(jiǎn)單明了、應(yīng)用廣泛、容易掌握和操作的較為完善的統(tǒng)計(jì)分析方法。但經(jīng)典測(cè)量理論也有其不足之處，所求得的題目參數(shù)(難度、區(qū)分度)受所選取樣本大小和能力水平的不同而有差異。與經(jīng)典測(cè)量理論相比，項(xiàng)目反應(yīng)理論是一種較新的教育與心理測(cè)量理論，如最常用的rasch模型可更好地評(píng)價(jià)考生能力，同時(shí)也可以刪除或修改試題，提高評(píng)分方案的準(zhǔn)確性。但該理論的理解和掌握均有一定的難度，不利于普及，其應(yīng)用受到限制。

1．郭慶科．心理測(cè)驗(yàn)的原理與應(yīng)用．北京:人民軍醫(yī)出版社，2002:82-89．

2．熊廣星．心理與教育測(cè)量若干概念的應(yīng)用問(wèn)題．廣西師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)，2000，36(3):63-65．

3．黃穎，林端宜．試卷分析研究現(xiàn)狀綜述．西北醫(yī)學(xué)教育，2005，13(1):39-40．

4．左天明，劉強(qiáng)，張陽(yáng)．用Rasch分析法初步考察計(jì)算機(jī)模擬病例的評(píng)分項(xiàng)目．中國(guó)衛(wèi)生統(tǒng)計(jì)，2008，25(3):299-301．