計算機自適應(yīng)測試中c分層法的層數(shù)研究

包佃清 (連云港師范高等?？茖W(xué)校計算機系，江蘇 連云港 222006)

計算機自適應(yīng)測試中c分層法的層數(shù)研究

包佃清 (連云港師范高等?？茖W(xué)校計算機系，江蘇 連云港 222006)

根據(jù)CAT(計算機自適應(yīng)測試，Computerized Adaptive Testing)試驗所需的模型結(jié)合國內(nèi)外現(xiàn)有可操作性的選題策略，采用c分層法進(jìn)行計算機模擬試驗。通過模擬測試長度最大值分別為30、60、90的不同情況下測試結(jié)果，可以發(fā)現(xiàn)在8個評價指標(biāo)下c分層法最佳分層數(shù)為10。

選題策略；邏輯斯蒂；自適應(yīng)測試；蒙特卡洛

近年來項目反應(yīng)理論(Item Response Theory,IRT)逐漸被嘗試應(yīng)用到從業(yè)人員測試工作中來。自適應(yīng)測試比常規(guī)測試具有更高的效率，它可以用比常規(guī)測試更少的試題量而獲得可與之相比或更好的測試效果。有試驗表明，在同等測量精確度的條件下，自適應(yīng)測試可縮短40%～60%的測試長度[1]。因此自適應(yīng)測試系統(tǒng)在從業(yè)人員能力測試中有很好的應(yīng)用前景。計算機自適應(yīng)測試(Computerized Adaptive Testing，CAT)中的關(guān)鍵技術(shù)之一就是選題策略。常用的選題策略有a分層法、b分層法、c分層法、最大信息量法、K-L信息量法等，從文獻(xiàn)[2]中可知，采用3參數(shù)邏輯斯蒂模型(3PLM)在選題策略上建議采用c分層法[2]。下面，筆者對計算機自適應(yīng)測試中c分層法的層數(shù)進(jìn)行了研究。

1 3PLM模型及c分層法

c分層法的基本思想是把題庫分成若干組，每組按b分層法分為若干層，把每組的相同層依次組合成子題庫，進(jìn)行實測時，依次從子題庫中抽取試題[3]。

筆者討論了在相同的試驗環(huán)境下，采用c分層法時，不同的搜索層數(shù)是否影響試驗結(jié)果。根據(jù)已有的文獻(xiàn)資料及以往的試驗分析結(jié)果，決定采用3PLM模型:

(1)

式中，D=1.702；a表示試題的區(qū)分度；b表示難度系數(shù)；c是猜測系數(shù)；pi(θ)表示能力為θ的考生答對區(qū)分度為a、難度系數(shù)為b、猜測系數(shù)為c的題目的概率。

2 試驗方法

應(yīng)用蒙特卡洛方法首先應(yīng)該生成模擬參數(shù)。為了計算方便，假設(shè)2個條件：①所有試題記分方式為1/0；②采用3PLM模型的特征曲線。模擬參數(shù)生成步驟[4]如下：

1)參數(shù)ai生成12個服從U=(1,0)分布的隨機數(shù)ra(1),ra(2),…,ra(12)，令：

則ai=exp(lnai)，若ailt;0.2，則放棄生成該參數(shù)。

2)參數(shù)bi生成12個服從U=(1,0)分布的隨機數(shù)rb(1),rb(2),…,rb(12)，令：

3)參數(shù)ci生成的隨機數(shù)服從U=(1,0)分布，其中i=1,2,…,m,m為題庫試題數(shù)，這樣就產(chǎn)生了m對參數(shù)(ai,bi,ci)。同理，對每個θa生成12個服從U=(1,0)分布的隨機數(shù)rθ(1),rθ(2),…,rθ(12)，令：

其中，a=1,2,…,N,N是受測人數(shù)。如此反復(fù)，直到所有的試題全部生成。

試驗研究的是定長測試，其終止條件是當(dāng)測試內(nèi)容、時間及長度達(dá)到預(yù)先設(shè)定的條件時，則終止。這種方法的優(yōu)點是條件易于掌握和實現(xiàn)，且可對每個測驗項目的使用率作較精確的統(tǒng)計。

3 試驗結(jié)果

針對最長測試長度不超過30、60、90的3種情況進(jìn)行試驗，下稱試驗1、試驗2和試驗3。

常用的評價指標(biāo)有[5]測驗效率E、測驗偏差Bias、測驗標(biāo)準(zhǔn)誤差MSE、試題曝光均勻度Chi指標(biāo)、測驗重疊率R、平均測驗長度avgL、最大長度maxL、最短長度minL等。

試驗用蒙特卡洛方法模擬試題數(shù)量為 2000 的3參數(shù)試題庫，模擬1000受測者，子題庫k個，k(3，4,…,22)進(jìn)行逐層搜索，分別進(jìn)行試驗1、試驗2和試驗3，并分析8個評價指標(biāo)，討論每種情況下的最佳搜索層數(shù)，試驗結(jié)果見表1、表2和表3。

表1 最長測試長度不超過30的試驗結(jié)果

表2 最長測試長度不超過60的試驗結(jié)果

表3 最長測試長度不超過90的試驗結(jié)果

在c分層法下由試驗數(shù)據(jù)得出，在相同的受測者和相同的題庫容量下，平均測驗長度分別為24.5、35.7和39，說明測試收斂程度較好；Bias值分別為-0.0252～0.0216、-0.036～0.03156和-0.0372～0.01272，除了試驗2指標(biāo)幅度偏大外基本呈正態(tài)分布；測驗效率E符合預(yù)期，具有良好的測驗效率，其他指標(biāo)均正常。

可以看出3個試驗均在搜索層數(shù)3～22范圍內(nèi)，根據(jù)8個評價指標(biāo)得出在c分層法下搜索層數(shù)最佳值為10層。

[1]余勝泉,何克抗.網(wǎng)絡(luò)題庫系統(tǒng)的設(shè)計與實現(xiàn)[J].中國遠(yuǎn)程教育,2000，9(3):53-57.

[2] 包佃清.3PLM下計算機自適應(yīng)選題策略比較[J]. 淮海工學(xué)院學(xué)報(自然科學(xué)版),2010,19(2):20-23.

[3] WANG Fen-su. Applieation of componential IRT model for diagnostie test inastandard conformante learning system[J].Advaneed Learning Technologies,2006,16(8): 237-241.

[4] 尹漢明.基于ASP.net的《預(yù)防醫(yī)學(xué)》CAT系統(tǒng)的研究與實現(xiàn)[D].南昌: 江西師范大學(xué), 2006.

[5] 王茜娟.按c分層不定長CAT研究與實現(xiàn)[D].南昌: 江西師范大學(xué), 2004.

[編輯] 洪云飛

10.3969/j.issn.1673-1409.2011.07.024

TP301.4

A

1673-1409(2011)07-0068-02

2011-05-15

江蘇省“十一五”現(xiàn)代教育技術(shù)研究課題(2010-R-17736)。

包佃清，男，碩士，講師，現(xiàn)主要從事軟件工程、信息技術(shù)、計算機輔助教育等方面的教學(xué)與研究工作。