成人高等教育機(jī)械制圖考試題的難度分析與質(zhì)量評(píng)價(jià)

馮寶全，劉玉娟，劉春光

（沈陽汽車工業(yè)學(xué)院，遼寧 沈陽110015）

0 引言

試題質(zhì)量取決于命題人對(duì)學(xué)科內(nèi)容與知識(shí)的把握、命題經(jīng)驗(yàn)及對(duì)教育測(cè)量理論的掌握。評(píng)價(jià)試題質(zhì)量不能僅憑主觀評(píng)估，還要以量化的指標(biāo)來分析。成人高等教育《機(jī)械制圖》課程考試試題的質(zhì)量評(píng)價(jià)可主要采用難度指標(biāo)、區(qū)分度指標(biāo)來量化分析。此外，成教《機(jī)械制圖》課程考試除了畫圖題，應(yīng)采用的其他題型也較多，其中就少不了選擇題，對(duì)成教機(jī)械制圖課程考試所用選擇題的質(zhì)量評(píng)價(jià)再加上的定量分析方法是干擾項(xiàng)分析?，F(xiàn)代教育測(cè)量理論對(duì)考試試題的量化分析指標(biāo)較多，本文結(jié)合編制的機(jī)械制圖客觀性試題和主觀性試題，在我校18級(jí)成人汽車制造與裝配專業(yè)學(xué)生中開展試測(cè)的結(jié)果，談編制成教機(jī)械制圖課程考試試題適合采用的量化分析指標(biāo)，并作簡(jiǎn)要計(jì)算及分析。

1 難度指標(biāo)分析

難度是指試題的難易程度，用學(xué)生正確回答該試題的百分比或比例（得分率）來衡量。通常用難度系數(shù)表示試題難度的高低。

1.1 客觀性試題的難度分析

成教機(jī)械制圖課程考試判斷題、填空題和選擇題等客觀性試題可采用的難度系數(shù)計(jì)算公式為[1]：

式中Ri為對(duì)試題i做出正確應(yīng)答人數(shù)；Ni為對(duì)試題i應(yīng)答的總?cè)藬?shù)。

例如，我校18級(jí)成人汽車制造與裝配專業(yè)機(jī)械制圖課程考試試題試測(cè)，三題（該題是選擇題），31名學(xué)生里有22名學(xué)生答對(duì)，9名學(xué)生答錯(cuò)，那么該試題的難度系數(shù)就是0.71。計(jì)算過程如下：

成人高等教育機(jī)械制圖課程學(xué)業(yè)水平考試，應(yīng)以參加學(xué)習(xí)的一般水平的學(xué)生群體（剛達(dá)標(biāo)的樣本）能夠作答好的概率來估計(jì)每個(gè)試題的難度，試題可分為容易題、中等偏易題、中等難度題、中等偏難題和難題五個(gè)層級(jí)。對(duì)應(yīng)這一樣本（一般水平的學(xué)生群體）中能夠作答好的學(xué)生占比分別為80%以上、60%～79%、40%～59%、20%～39%和19%以下；對(duì)應(yīng)難度值分別處于 0.80～ 1.00、0.60～0.79、0.40～0.59、0.20～0.39和0.01～0.19之間[2]。注意，難度系數(shù)與試題的實(shí)際難度成反序關(guān)系，也就是說難度系數(shù)越高，試題的實(shí)際難度越低，即容易題的難度指標(biāo)較高，難題的難度指標(biāo)較低，試題難度系數(shù)的范圍是0～1。成教機(jī)械制圖課程學(xué)業(yè)水平考試，試題的難度要適合考查成教學(xué)生工程制圖的水平與目標(biāo)。此題為中等偏易題。

1.2 主觀性試題的難度分析

成教機(jī)械制圖課程考試畫圖題、問答題等主觀性試題可采用的難度系數(shù)計(jì)算公式為：

式中Mi為所有學(xué)生在該題上得分總和（所有人的總得分）；Si為所有學(xué)生在該題上滿分總和（所有人的總滿分值）。

例如，我校18級(jí)成人汽車制造與裝配專業(yè)機(jī)械制圖課程考試試題試測(cè)，六題。該題是分類題，是分值為23分的一道用連續(xù)方式計(jì)分方法的試題，適合用主觀性試題的難度系數(shù)計(jì)算公式。所有學(xué)生在該題上得分總和（所有人的總得分）：

所用學(xué)生在該題上滿分總和（所有人的總滿分值）：

該試題的難度系數(shù)是0.76。計(jì)算過程如下：

此題亦為中等偏易題。

2 區(qū)分度指標(biāo)分析

試題區(qū)分度指的是在測(cè)驗(yàn)需要測(cè)量的結(jié)構(gòu)上，一個(gè)試題可以在多大程度上區(qū)分不同程度的考生。如，成教機(jī)械制圖課程考試某個(gè)試題，若測(cè)驗(yàn)的目的是測(cè)量識(shí)讀零件圖，該試題區(qū)分度就是試題區(qū)分讀圖能力強(qiáng)和讀圖能力差的學(xué)生的能力。

2.1 客觀性試題的區(qū)分度分析

成教機(jī)械制圖課程考試判斷題、填空題和選擇題等客觀性試題可采用的區(qū)分度指標(biāo)計(jì)算公式為[3]：

式中pT為高分組（按得分排序，取占總?cè)藬?shù)前27%的學(xué)生）中答對(duì)該試題學(xué)生的比例，即該試題對(duì)高分組的難度；pB為低分組（按得分排序，取占總?cè)藬?shù)后27%的學(xué)生）中答對(duì)該試題學(xué)生的比例，即該試題對(duì)低分組的難度。

用上述公式計(jì)算試題的區(qū)分度，通常要求分別占總?cè)藬?shù)27%的兩個(gè)極端組（高分組與低分組）都應(yīng)至少包含100名學(xué)生，或者至少有370名學(xué)生參加考試[4]。當(dāng)學(xué)生數(shù)少于370人時(shí)，成教機(jī)械制圖客觀性試題的區(qū)分度可用下列公式計(jì)算[2]。

式中p表示答對(duì)該題的學(xué)生占全體學(xué)生的比率，q表示答錯(cuò)該題的學(xué)生占全體學(xué)生的比率，為答對(duì)該題學(xué)生卷面總分的平均分；為答錯(cuò)該題學(xué)生卷面總分的平均分；S為所有學(xué)生卷面總分的標(biāo)準(zhǔn)差。

標(biāo)準(zhǔn)差計(jì)算公式如下：

此式表示，一組分?jǐn)?shù)的每一個(gè)分?jǐn)?shù)與平均分?jǐn)?shù)的差的平方和的平均數(shù)（近似）的算術(shù)平方根。

我校18級(jí)成人汽車制造與裝配專業(yè)機(jī)械制圖課程考試試題試測(cè)，三題，按此計(jì)算其區(qū)分度指標(biāo)過程為：第一，先計(jì)算標(biāo)準(zhǔn)差。31名學(xué)生的平均分?jǐn)?shù)為78.06，第一名學(xué)生得分98分，與平均分的差為19.94，此差的平方為397.6；第三十一名學(xué)生得分52分，與平均分的差為-26.06，此差的平方為679.12，其余從略。代入上式得，S=14.08。第二，參數(shù)、的計(jì)算。答對(duì)三題的有22名學(xué)生，占比p=0.71，這22名學(xué)生的平均分答錯(cuò)三題的有9名學(xué)生，占比q=0.29，這9名學(xué)生的平均分代入前式得，D=0.57。

試題區(qū)分度的評(píng)價(jià)標(biāo)準(zhǔn)為：數(shù)值大于0.39為優(yōu)；0.30～0.39為良好；0.20～0.29為較差；小于0.20為差[2]。此題區(qū)分度為優(yōu)。但應(yīng)當(dāng)強(qiáng)調(diào)對(duì)于成教機(jī)械制圖課程學(xué)業(yè)水平考試，考查的是水平與目標(biāo)，有時(shí)區(qū)分度低一些也是允許的。

2.2 主觀性試題的區(qū)分度分析

成教機(jī)械制圖課程考試畫圖題、問答題等主觀性試題可采用的區(qū)分度指標(biāo)計(jì)算公式為[5]：

式中XH表示高分組學(xué)生得分總和，XL表示低分組學(xué)生得分總和，n表示高分組（也可為低分組，因?yàn)閮烧呦嗤W(xué)生的人數(shù)，取總?cè)藬?shù)的27%，H表示學(xué)生中該題得分的最高分，L表示學(xué)生中該題得分的最低分。

同上文所述，當(dāng)學(xué)生數(shù)較少（少于370人）時(shí)，成教機(jī)械制圖主觀性試題的區(qū)分度可用下列公式計(jì)算[1]。

式中Xi是第i個(gè)學(xué)生在該題上的得分，Yi是第i個(gè)學(xué)生的卷面總分是學(xué)生作答該題的平均分，是學(xué)生卷面總分的平均分。該公式即相關(guān)系數(shù)（皮爾遜相關(guān)系數(shù)），是用試題與考試總分之間的相關(guān)系數(shù)來表示試題的區(qū)分度。

我校18級(jí)成人汽車制造與裝配專業(yè)機(jī)械制圖課程考試試題試測(cè)，六題，按此計(jì)算其區(qū)分度指標(biāo)過程為：第一名學(xué)生六題得分卷面總分第三十一名學(xué)生六題得分卷面總分2 704其余從略。ΣX=22+… +6=540，ΣX2=484+… +36=10 742，ΣY=98+… +52=2 420，ΣY2=9 604+ … +2 704=194 860，Σ XY=2 156+… +312=44 410。代入上式得，D=0.80。此題區(qū)分度亦為優(yōu)。

3 干擾項(xiàng)分析

在選擇題中，不正確的選項(xiàng)稱為干擾項(xiàng)，用來干擾不知道正確答案的學(xué)生。編制成教機(jī)械制圖課程考試選擇題，試測(cè)或考試后一定要對(duì)其結(jié)果進(jìn)行檢查，分析每個(gè)干擾項(xiàng)的干擾性。

成教機(jī)械制圖選擇題干擾項(xiàng)分析可根據(jù)以下關(guān)系式計(jì)算：

假設(shè)一道選擇題，共四個(gè)選項(xiàng)（含三個(gè)干擾項(xiàng)）。有100名學(xué)生，40人答對(duì)，則答錯(cuò)選項(xiàng)人數(shù)為60，按此關(guān)系式計(jì)算，理論上期望每個(gè)干擾項(xiàng)的選擇人數(shù)就是20。但現(xiàn)實(shí)中往往不會(huì)是這樣，這也是值得研究干擾項(xiàng)的問題。如果某個(gè)干擾項(xiàng)的實(shí)際選擇人數(shù)（選擇該干擾項(xiàng)的人數(shù)）與期望的選擇人數(shù)大致相當(dāng)，可以認(rèn)為該干擾項(xiàng)具有比較好的迷惑性；如果兩者相差很大，說明該項(xiàng)迷惑效果不強(qiáng)。迷惑性差的干擾項(xiàng)需要改進(jìn)。另外，要考慮干擾項(xiàng)吸引低分組的學(xué)生誘答選擇應(yīng)比高分組的學(xué)生多，否則有可能是干擾項(xiàng)使學(xué)生誤入歧途，這樣的干擾項(xiàng)也需要改進(jìn)。

一道選擇題，如果沒有一個(gè)學(xué)生選擇其中的某個(gè)干擾項(xiàng)，它就沒有發(fā)揮它應(yīng)該發(fā)揮的作用，實(shí)則是無效的干擾項(xiàng)。例如，我校18級(jí)成人汽車制造與裝配專業(yè)機(jī)械制圖課程考試試題試測(cè)，四題，該題是選擇題，A、B、C、D四個(gè)選項(xiàng)，正確答案是選C。31名學(xué)生參加試測(cè)，結(jié)果A、B、D均無人選，說明都是無效的干擾項(xiàng)。另外，學(xué)生全選擇C，答對(duì)了此題，證明該題簡(jiǎn)單，考試時(shí)不應(yīng)作為選擇題出現(xiàn)。要增加難度，建議將此題改為填空題。

4 結(jié)語

一份成教機(jī)械制圖課程考試試卷，通常是既有主觀性試題又有客觀性試題。客觀性試題多為二值計(jì)分法，即正確或錯(cuò)誤。而主觀性試題多是用連續(xù)方式計(jì)分的方法，如一道畫圖題的分值是10分，得分取決于學(xué)生作答的質(zhì)量，得分范圍是1～10分或不得分。這兩類試題的難度指標(biāo)分析、區(qū)分度指標(biāo)分析，計(jì)算公式不同，在使用時(shí)要注意區(qū)別。對(duì)編制的成教機(jī)械制圖選擇題，還要對(duì)干擾項(xiàng)進(jìn)行逐項(xiàng)分析。另外，對(duì)成教機(jī)械制圖課程考試編制的試題作指標(biāo)分析時(shí)，有的是計(jì)算鑒別指數(shù)，有的是計(jì)算相關(guān)系數(shù)，一般前者計(jì)算比較方便，后者計(jì)算比較麻煩。對(duì)于計(jì)算比較麻煩的，建議利用計(jì)算機(jī)及相關(guān)軟件進(jìn)行。對(duì)編制的成教機(jī)械制圖課程考試試題，考試后可按本文列出的公式進(jìn)行定量分析，以便將來改進(jìn)；有條件的能先試測(cè)、分析和改進(jìn)最好，這些都是按教育測(cè)量理論評(píng)估及改進(jìn)試題質(zhì)量的好辦法。