基于概率層次模型的課程考試及格分?jǐn)?shù)線研究

楊七九

（云南大學(xué)旅游文化學(xué)院信息科學(xué)與技術(shù)系，云南麗江674100）

基于概率層次模型的課程考試及格分?jǐn)?shù)線研究

楊七九

（云南大學(xué)旅游文化學(xué)院信息科學(xué)與技術(shù)系，云南麗江674100）

文章研究課程考試合理的及格分?jǐn)?shù)線。對(duì)應(yīng)試者能力、目標(biāo)、難度進(jìn)行分析，運(yùn)用概率模型及層次分析模型構(gòu)建概率層次分析模型，對(duì)云南大學(xué)旅游文化學(xué)院大學(xué)計(jì)算機(jī)基礎(chǔ)課程考試及格分?jǐn)?shù)線的確定進(jìn)行實(shí)證研究，結(jié)果表明，概率層次分析模型確定的及格分?jǐn)?shù)線比絕對(duì)分?jǐn)?shù)60分為及格分?jǐn)?shù)線要科學(xué)、合理，更能體現(xiàn)考試的公平。

課程考試；及格分?jǐn)?shù)線；層次分析；最低能力

課程考試的目的是檢查學(xué)生對(duì)教學(xué)內(nèi)容的掌握程度、基本技能及實(shí)踐能力，評(píng)定學(xué)生的學(xué)業(yè)成績(jī)，是檢驗(yàn)教學(xué)效果的有效途徑?？荚嚹康哪芊駥?shí)現(xiàn)，與試題命制、評(píng)卷、分?jǐn)?shù)確定等因素密切相關(guān)。就課程考試成績(jī)?cè)u(píng)價(jià)而言，普遍采用絕對(duì)評(píng)分制，規(guī)定“正確”的百分比處于60%~70%之間時(shí)，是最低限度的合格分?jǐn)?shù)線，并以60分為及格分?jǐn)?shù)線[1]，而60分作為及格分?jǐn)?shù)線是否合理，頗有爭(zhēng)議。如無(wú)紙化考試中，試卷的組卷由系統(tǒng)隨機(jī)抽取，無(wú)法控制抽取的所有試卷的難易程度一致；又如，統(tǒng)一命題的課程考試，題目的難易程度對(duì)考生是一致的，但由于各種原因致使有些試卷難度系數(shù)過(guò)大或過(guò)小。因此，采用絕對(duì)的60分作為及格線是不公平的。王曉華[2]指出國(guó)外考試合格分?jǐn)?shù)線的劃定是在考后通過(guò)Angoff標(biāo)準(zhǔn)來(lái)設(shè)置的，隨后又提出采用Bookmark法對(duì)課程考試進(jìn)行標(biāo)準(zhǔn)設(shè)置，確定優(yōu)、良、合格和不合格4個(gè)等級(jí)[3]。張建同[4]利用假設(shè)檢驗(yàn)證明了絕對(duì)評(píng)價(jià)60分為及格線的由來(lái)，證明了法國(guó)考試采用20分制10分為及格線的合理性。

本文對(duì)層次分析模型進(jìn)行改進(jìn)，對(duì)試題類型、難度、最低能力合格考試對(duì)象進(jìn)行綜合評(píng)價(jià)，對(duì)課程考試的試題進(jìn)行分析，確定其及格分?jǐn)?shù)并判定考試對(duì)象是否合格，以減少抽取不同難度的試題及難度系數(shù)不同的考試的不公平性。

1 改進(jìn)的層次分析模型

層次分析法的基本思想是將復(fù)雜決策問(wèn)題分解成若干個(gè)組成因素，采用定性與定量相結(jié)合的方式對(duì)復(fù)雜問(wèn)題進(jìn)行系統(tǒng)化、層次化分析，使復(fù)雜的評(píng)價(jià)問(wèn)題簡(jiǎn)單化[5]。解決問(wèn)題的過(guò)程包含識(shí)別與定義問(wèn)題、確定備選方案集、確定用于評(píng)價(jià)備選方案的標(biāo)準(zhǔn)、評(píng)價(jià)備選方案、選擇一個(gè)方案、實(shí)施方案及對(duì)實(shí)施結(jié)果進(jìn)行評(píng)價(jià)，以確定問(wèn)題是否得到滿意解決[6-7]。使用層次分析模型的關(guān)鍵在于對(duì)比較各對(duì)象的相對(duì)重要性并作出判斷，利用一致性比率判定決策者在進(jìn)行兩兩比較時(shí)是否一致，最后綜合處理確定兩兩比較的優(yōu)先級(jí)及綜合優(yōu)先級(jí)。

課程考試及格分?jǐn)?shù)線受考查目標(biāo)各題型分?jǐn)?shù)、試題難度等因素的影響，但各因素的重要性不能比較，故不能直接使用層次分析法。為此，對(duì)層次分析法進(jìn)行改進(jìn)，基本流程：

（1）識(shí)別與定義問(wèn)題，建立課程分?jǐn)?shù)線確定的層次結(jié)構(gòu)，根據(jù)課程考試分?jǐn)?shù)線確定涉及的要素，將問(wèn)題分為目標(biāo)層、準(zhǔn)則層及方案層。

（2）構(gòu)造“目標(biāo)-難度”分類矩陣，根據(jù)考查目標(biāo)的子準(zhǔn)則層即各題型不同難易程度對(duì)應(yīng)的分?jǐn)?shù)構(gòu)造“目標(biāo)-難度”分類矩陣。

（3）計(jì)算不同難易程度的各題型的得分概率，構(gòu)造“能力-目標(biāo)-難度”概率矩陣。

（4）由“目標(biāo)-難度”分類矩陣及“能力-目標(biāo)-難度”概率矩陣計(jì)算及格分?jǐn)?shù)線。

2 無(wú)紙化考試組卷算法

組卷是無(wú)紙化考試系統(tǒng)的最核心內(nèi)容，是考試能否順利進(jìn)行、能否實(shí)現(xiàn)考試目標(biāo)的關(guān)鍵。組卷過(guò)程則是根據(jù)總分、題分、難度系數(shù)、考試內(nèi)容、考題類型及比例等約束條件來(lái)完成，常用的智能組卷算法[1]主要是隨機(jī)抽取法、回溯探索法及遺傳算法。

（1）隨機(jī)抽取。隨機(jī)抽取是根據(jù)試題類型從試題庫(kù)中隨機(jī)抽取試題，并不斷進(jìn)行組卷、判斷各類題型及總分是否符合要求，直到所有約束條件都滿足，則組卷完成。其優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、組卷時(shí)間快，缺點(diǎn)是對(duì)相鄰的考生試卷重復(fù)率、難易程度、覆蓋率等不易控制。

（2）回溯法?；厮莘ㄊ且杂脩粼O(shè)置組卷的約束條件過(guò)濾模型，將隨機(jī)選擇產(chǎn)生的結(jié)果記錄，形成一條路往下組卷，能組卷則繼續(xù)，不能組卷則退回來(lái)，換一條路探索組卷，直至完成組卷或退回原點(diǎn)。其特點(diǎn)是對(duì)系統(tǒng)內(nèi)存要求較高、組卷時(shí)間長(zhǎng)、試題抽取缺乏隨機(jī)性[1]。

（3）遺傳算法。遺傳算法組卷是模擬生物繼承、進(jìn)化、優(yōu)勝劣汰、適者生存的過(guò)程，是一種并行的、全局尋優(yōu)、收斂速度快的有效優(yōu)化算法，能很好地處理試題庫(kù)的組卷。

不論采用何種算法，研究者的研究重點(diǎn)是算法問(wèn)題及算法優(yōu)化問(wèn)題，很少考慮組卷完成后試題的難易程度是否一致，并采用常用的絕對(duì)評(píng)價(jià)分60分作為統(tǒng)一及格分?jǐn)?shù)。

3 基于概率層次分析的及格分?jǐn)?shù)線模型

3.1 建立層次結(jié)構(gòu)

對(duì)于傳統(tǒng)的考試而言，都是任課教師出題，能夠把握每一個(gè)題目及整份試卷的難度，對(duì)參加同一門(mén)課程考試的考試對(duì)象都是公平的，但不同課程試卷題目的難度系數(shù)可能有差異，設(shè)置統(tǒng)一的及格分?jǐn)?shù)線對(duì)學(xué)生是不公平的，再利用不同難度的試卷絕對(duì)得分，采用相同標(biāo)準(zhǔn)去評(píng)定學(xué)生獎(jiǎng)學(xué)金、助學(xué)金等，對(duì)參加試卷難度較大考試的學(xué)生而言也就不公平了。根據(jù)課程考試涉及的考查目標(biāo)及各題型難度系數(shù)進(jìn)行分析，結(jié)合相對(duì)評(píng)價(jià)思想[8]，利用層次分析思想建立層次結(jié)構(gòu)。

第1層：目標(biāo)層，根據(jù)待解決問(wèn)題的識(shí)別，定義為“課程考試及格分?jǐn)?shù)線的確定”。

第2層：主準(zhǔn)則層，是衡量達(dá)到及格分?jǐn)?shù)線的各項(xiàng)準(zhǔn)則，包括考查目標(biāo)、試題難度。

第3層：子準(zhǔn)則層，是衡量達(dá)到主準(zhǔn)則層的各項(xiàng)子準(zhǔn)則，包括理論基礎(chǔ)、基本操作、簡(jiǎn)單應(yīng)用及綜合應(yīng)用，根據(jù)試卷模板不同，其子準(zhǔn)則層內(nèi)容也不同。子準(zhǔn)則層中的理論基礎(chǔ)、基本操作、簡(jiǎn)單應(yīng)用及綜合應(yīng)用均為考查目標(biāo)對(duì)應(yīng)的滿分，簡(jiǎn)單題、中等題及難題為成績(jī)合格的最低能力考試對(duì)象正確回答的概率。

第4層：方案層，是實(shí)現(xiàn)目標(biāo)采取的備選方案集。

3.2 確定評(píng)價(jià)課程考試及格分?jǐn)?shù)線的標(biāo)準(zhǔn)

（1）構(gòu)造“目標(biāo)-難度”分類矩陣

把試卷中的各類題目按考查目標(biāo)的能力層次、題目難易程度進(jìn)行分類，構(gòu)造“目標(biāo)-難度”分類矩陣M，M定義如下

其中mij表示第i級(jí)難度層次第j類目標(biāo)能力層次的分?jǐn)?shù)，i=1,2,3分別表示易、中、難，j=1,2,…,k表示k個(gè)目標(biāo)能力層次。

（2）構(gòu)造“能力-目標(biāo)-難度”的概率矩陣

由任課教師給定一定量的教師認(rèn)為成績(jī)合格的最低能力的考試對(duì)象，并對(duì)試卷答題后計(jì)算答對(duì)第i級(jí)難度層次第j類目標(biāo)能力層次題目的概率，這里i=1,2,3，j=1,2,…,k，構(gòu)造“能力-目標(biāo)-難度”概率矩陣P，P定義如下：

其中pij表示成績(jī)合格的最低能力學(xué)生答對(duì)第i級(jí)難度層次第j類目標(biāo)能力層次的概率，i=1,2,3,分別表示易、中、難，j=1,2,…,k表示k個(gè)目標(biāo)能力層次。

（3）確定最低合格分?jǐn)?shù)線

4 實(shí)證分析

以云南大學(xué)旅游文化學(xué)院“大學(xué)計(jì)算機(jī)基礎(chǔ)”課程期末考試為例，參與考試人數(shù)達(dá)4162人次，共36個(gè)自然班，采用遺傳算法進(jìn)行組卷上機(jī)考試，基本能保證相鄰的學(xué)生在考試過(guò)程中題目不同、知識(shí)點(diǎn)不同，題目類型分為理論基礎(chǔ)、基本操作、簡(jiǎn)單應(yīng)用、綜合應(yīng)用4個(gè)目標(biāo)層次，即4種題型。試題難易程度分易、中、難3種難度層次。各種題型、不同難度的試題分值根據(jù)試題系數(shù)按易中難比例為5∶3∶2進(jìn)行組卷，每種題型的易中難分值在考試前對(duì)考試系統(tǒng)進(jìn)行參數(shù)設(shè)置，“大學(xué)計(jì)算機(jī)基礎(chǔ)”課程考試具體分值設(shè)置如表1。

表1 不同題型目標(biāo)對(duì)應(yīng)不同難度分值分布表

對(duì)試卷的4種題型及3種難度層次進(jìn)行分析構(gòu)建了“目標(biāo)-難度”分類矩陣M，即M矩陣為

構(gòu)造“能力-目標(biāo)-難度”的概率矩陣，這里要求所有任課教師在每個(gè)自然班級(jí)中指定5名能及格的最低能力的學(xué)生，總共180人。在考試結(jié)束后，對(duì)指定學(xué)生的實(shí)際考試情況進(jìn)行統(tǒng)計(jì)，計(jì)算最低能力的學(xué)生答對(duì)各組題目的概率，統(tǒng)計(jì)結(jié)果如表2。

表2 最低能力學(xué)生答對(duì)“目標(biāo)-難度”試題的概率統(tǒng)計(jì)表

對(duì)最低能力學(xué)生答對(duì)4種題型、3種難度層次進(jìn)行統(tǒng)計(jì)，構(gòu)建“能力-目標(biāo)-難度”概率矩陣P，即概率矩陣為

根據(jù)矩陣M及矩陣P對(duì)應(yīng)元素乘積之和即為課程考試合格最低分?jǐn)?shù)線，計(jì)算如下：

如果學(xué)生在考試中的分?jǐn)?shù)超過(guò)58.84分，則視為學(xué)生在該課程的能力水平達(dá)到合格以上。

5 結(jié)束語(yǔ)

基于概率層次分析的課程考試及格分?jǐn)?shù)線評(píng)估方法，對(duì)規(guī)模較大的課程統(tǒng)考、考試系統(tǒng)抽取試題的無(wú)紙化考試，效果較好，但需要教師在教學(xué)過(guò)程中對(duì)教學(xué)對(duì)象比較了解，指定一定量能力達(dá)到合格的最低能力學(xué)生，根據(jù)“目標(biāo)-難度”對(duì)試卷進(jìn)行分類，構(gòu)造“目標(biāo)-難度”矩陣及“能力-目標(biāo)-難度”概率矩陣，確定課程考試的合格分?jǐn)?shù)線，從而判斷學(xué)生在課程考試是否達(dá)到合格水平，同時(shí)又保證考試的公平性。為確保及格分?jǐn)?shù)線的科學(xué)、合理，盡可能保證教師指定合格的最低能力學(xué)生的數(shù)量。對(duì)課程考試中參與考試學(xué)生較少的，使用該模型確定及格分?jǐn)?shù)線會(huì)有偏差。

[1]王友仁,張砦，崔江.智能組卷系統(tǒng)的建模與算法研究[J].系統(tǒng)工程理論與實(shí)踐,2004,24(9):85-89.

[2]王曉華.基于標(biāo)準(zhǔn)的教育考試合格標(biāo)準(zhǔn)研究[J].教育科學(xué),2012, 28（5）:15-21.

[3]王曉華.Bookmark法在基于標(biāo)準(zhǔn)的教育考試中設(shè)置劃界分?jǐn)?shù)的應(yīng)用[J].中國(guó)考試,2014,24（7）:10-18.

[4]張建同,呂碧玉.基于假設(shè)檢驗(yàn)方法的考試及格線確[J].統(tǒng)計(jì)與決策,2009,25（3）:165-166.

[5]楊林泉.預(yù)測(cè)與決策方法應(yīng)用[M].北京:冶金工業(yè)出版社，2011.

[6]ADERSONDR,SWEENEY D J.數(shù)據(jù)、模型與決策[M].侯文華,譯.北京：機(jī)械工業(yè)出版社,2013.

[7]姜啟源,謝金星,葉俊.數(shù)學(xué)模型[M].北京：高等教育出版社，2010.

[8]張愛(ài)武.淺談數(shù)學(xué)分析教學(xué)中的相對(duì)評(píng)價(jià)[J].林區(qū)教學(xué)，2012，28（10）:82-83.

Study on Course Exam Score Passing Mark Based on the Probability Analytic Hierarchy Model

YANG Qi-Jiu
(Tourism and Culture College of Yunnan University，Information Science and Technolgy Department，Lijiang，Yunnan 674100，China)

In order to study the reasonable passing scores of the course examination,the examine’s ability,goal and difficulty level are analyzed.Probability hierarchical analysis model is developed by using probability model and analytic hierarchy process.Using thismodelwemake an empirical study on the determination of the passing grade of the computer basic course in tourism and culture College of yunnan University.Research believes that probability hierarchical analysis model to determine the passing grade than the absolute score 60 points as passmark to be scientific,reasonable,more able to reflect the fairness of the exam.

course examination;pass the fractional line;hierarchical analysis;minimally acceptable person

C934

A

1007-4260(2016)04-0034-03

時(shí)間：2017-1-3 17:19

http://www.cnki.net/kcms/detail/34.1150.N.20170103.1719.010.html

2016-07-04

云南省教育廳科學(xué)研究基金（2014C201Y）和麗江市第三批中青年學(xué)術(shù)技術(shù)帶頭人培養(yǎng)項(xiàng)目（2013）。

楊七九，男，云南劍川人，碩士，云南大學(xué)旅游文化學(xué)院副教授，研究方向?yàn)閼?yīng)用數(shù)學(xué)、統(tǒng)計(jì)分析。

E-mail:yqj8799@163.com

10.13757/j.cnki.cn34-1150/n.2016.04.010