項(xiàng)目反應(yīng)理論下計(jì)算機(jī)自適應(yīng)考試系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

姜 霞 張 暉 李 波

(1.西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 四川綿陽 621010;2.西南科技大學(xué)網(wǎng)絡(luò)信息中心 四川綿陽 621010)

在線考試的出現(xiàn)對(duì)教學(xué)質(zhì)量的提高、實(shí)現(xiàn)考教分離、大范圍實(shí)現(xiàn)教學(xué)資源共享等都有非常大的促進(jìn)作用，在公平、公正、安全方面有其獨(dú)特優(yōu)勢(shì)，良好的在線考試系統(tǒng)應(yīng)該能夠全面反映應(yīng)試者學(xué)習(xí)的實(shí)際水平、考知識(shí)也考能力且多次考試結(jié)果穩(wěn)定。但目前大部分在線考試系統(tǒng)只是簡單將傳統(tǒng)考試改為上機(jī)考試，其思想仍沒有突破傳統(tǒng)測量理論，不同能力水平的應(yīng)試者都要接受同一批題目的測試，不能考察出每個(gè)應(yīng)試者的實(shí)際能力。

計(jì)算機(jī)自適應(yīng)考試起源于20世紀(jì)70年代，它利用了現(xiàn)代測量理論——項(xiàng)目反應(yīng)理論(item response theory，IRT)［1］為架構(gòu)，IRT 建立了綜合反映應(yīng)試者作答情況與試題質(zhì)量及能力水平之間關(guān)系的非線性模型，試題的選擇是根據(jù)應(yīng)試者的能力水平定身度量而成的，試題難度從應(yīng)試者看來并不過難或過易，以求更充分地檢驗(yàn)應(yīng)試者真實(shí)能力，同時(shí)增強(qiáng)學(xué)生參加考試的積極性，也能夠節(jié)約傳統(tǒng)考試組織過程中耗費(fèi)的大量人力及物力，為考試改革提供思路［2－4］。

本文以《大學(xué)計(jì)算機(jī)》課程為應(yīng)用基礎(chǔ)，將對(duì)此課程的計(jì)算機(jī)自適應(yīng)考試系統(tǒng)進(jìn)行設(shè)計(jì)，對(duì)幾個(gè)關(guān)鍵技術(shù)進(jìn)行研究，并提出相應(yīng)的解決方法。

1 系統(tǒng)設(shè)計(jì)

1.1 自適應(yīng)考試流程

項(xiàng)目反應(yīng)理論下的自適應(yīng)測試的主要流程是:首先給定應(yīng)試者一個(gè)能力初值θ，用此能力值給應(yīng)試者選擇試題，根據(jù)應(yīng)試者對(duì)前面所有試題的反應(yīng)來估計(jì)其當(dāng)前能力值，用此能力估計(jì)值來繼續(xù)按照選題策略給應(yīng)試者選擇最適合的試題，直到滿足測試停止條件時(shí)結(jié)束考試，此時(shí)的能力估計(jì)值就是應(yīng)試者最終的能力估計(jì)值。具體流程如圖1。

圖1 自適應(yīng)考試流程圖Fig.1 Adapfive testing flow chart

1.2 系統(tǒng)功能設(shè)計(jì)

本計(jì)算機(jī)自適應(yīng)考試系統(tǒng)的基本功能包括用戶管理、試題管理、考試管理、自動(dòng)選題、應(yīng)試者能力估計(jì)。系統(tǒng)使用MVC模式進(jìn)行開發(fā)，具體的實(shí)現(xiàn)途徑可以劃分為數(shù)據(jù)資源層、數(shù)據(jù)處理層、服務(wù)層、表現(xiàn)層這四層架構(gòu)，分別對(duì)應(yīng)于數(shù)據(jù)的獲取、數(shù)據(jù)的處理、具體功能實(shí)現(xiàn)和信息的表現(xiàn)，系統(tǒng)邏輯框架圖2所示。

圖2 系統(tǒng)邏輯框架圖Fig.2 System logic frame

1.3 系統(tǒng)概要設(shè)計(jì)

系統(tǒng)的數(shù)據(jù)庫主要包括考試信息表、試題題干與基本信息表、試題選項(xiàng)表、用戶表、考試過程記錄表和用戶考試信息表，其ER圖如圖3所示。

圖3 數(shù)據(jù)庫E－R圖Fig.3 Database E － R

1.4 系統(tǒng)界面實(shí)現(xiàn)

自適應(yīng)考試系統(tǒng)登錄界面與答題界面設(shè)計(jì)如圖4、圖5所示。

圖4 登錄界面Fig.4 Login interface

圖5 考試界面Fig.5 Test interface

2 系統(tǒng)關(guān)鍵技術(shù)

2.1 項(xiàng)目反應(yīng)理論模型選擇

從1952年開始，各種項(xiàng)目反應(yīng)模型相繼提出［3］，提供表達(dá)正確回答概率與測試者能力直接的數(shù)學(xué)方程式，每種模型有不同數(shù)量的參數(shù)，其確定的數(shù)值均刻畫了一個(gè)特定的項(xiàng)目特征曲線。比較有影響的有:僅考慮試題難度的單參數(shù)邏輯斯蒂模型、考慮試題難度與區(qū)分度的雙參數(shù)邏輯斯蒂模型以及考慮試題區(qū)分度、難度以及猜測度的三參數(shù)邏輯斯蒂模型，其中三參數(shù)邏輯斯蒂模型應(yīng)用比較多［6］。

本系統(tǒng)以《大學(xué)計(jì)算機(jī)》課程的為應(yīng)用對(duì)象，此課程考試的題型主要是單選題、多選題和判斷題，分析各個(gè)IRT模型的假設(shè)和適用范圍，對(duì)選擇題與判斷題可能存在應(yīng)試者猜對(duì)試題的情況，決定使用三參數(shù)邏輯斯蒂模型(3PLM)，此模型由Birnbaum提出，其等式如下:

其中D=1.702為量表因子，c是猜測參數(shù)，其值不會(huì)隨著能力水平的變化而變化，a是試題區(qū)分度參數(shù)，b為試題難度參數(shù)。三參數(shù)模型適用于多項(xiàng)選擇題和是非題組成的測驗(yàn)。

2.2 題庫的建立

自適應(yīng)測試題庫的建立，首先要選擇項(xiàng)目反應(yīng)理論模型，然后根據(jù)涉及知識(shí)點(diǎn)等其他要求進(jìn)行試題開發(fā)，最后進(jìn)行試測與試題參數(shù)的估計(jì)［7］，給出試題的區(qū)分度、難度等參數(shù)值，題庫在使用期間，還要不斷校正試題的參數(shù)值、更新與擴(kuò)充題庫，以確保題庫的質(zhì)量。一個(gè)好的自適應(yīng)考試題庫中所有試題的難度應(yīng)該分布在整個(gè)能力的連續(xù)量表上。

2.3 選題策略

在計(jì)算機(jī)自適應(yīng)性考試的早期階段，關(guān)于選題策略主要有兩種，一種是僅僅按照試題信息函數(shù)［8］作為標(biāo)準(zhǔn)來選擇試題，另一種是加權(quán)偏離模型，這兩種方法都以項(xiàng)目信息函數(shù)為基礎(chǔ)，雖然簡單，但不能很好控制試題的曝光度。三參數(shù)邏輯斯蒂模型的項(xiàng)目信息函數(shù)如下:

在后續(xù)的選題時(shí)只要根據(jù)選題策略從題庫中選擇最合適的試題即可，本系統(tǒng)采用已有的a分層c分區(qū)選題策略［9］，基本思想是將題庫根據(jù)要求進(jìn)行分層，考試時(shí)從不同層選擇合適的試題，能夠在控制試題曝光度的同時(shí)提高考試可信度。

2.4 考試結(jié)束條件與計(jì)分方式

考試終止的條件有如下幾個(gè):兩次估算的能力值之差小于指定值、答題數(shù)量達(dá)到指定的最大上限、答題時(shí)間達(dá)到指定時(shí)間上限、答題連續(xù)全對(duì)或者全答錯(cuò)達(dá)到指定數(shù)量。如果直接用學(xué)生的能力估計(jì)值來代表學(xué)生的能力，不容易理解，所以使用真分計(jì)算方式作為最終計(jì)算機(jī)能力值分?jǐn)?shù)，等式如下:π=，其中π為轉(zhuǎn)換后的分?jǐn)?shù)，n為試題總數(shù)，Pi(θ)為應(yīng)試者答對(duì)試題i的概率。

2.5 試題參數(shù)估計(jì)與應(yīng)試者能力估計(jì)

IRT模型中的a，b，c參數(shù)值都不能直接測量得到，必須通過被試的反應(yīng)數(shù)據(jù)進(jìn)行估計(jì)求得。估計(jì)試題參數(shù)的方法主要有最大似然估計(jì)法和貝葉斯估計(jì)方法，目前比較常用的是最大似然估計(jì)法，因?yàn)樨惾~斯估計(jì)方法應(yīng)用到IRT模型中理論上要求對(duì)被試群體有較充分了解，考慮此考試系統(tǒng)的使用對(duì)象，決定使用極大似然估計(jì)法估計(jì)試題參數(shù)［10］。首先計(jì)算試題參數(shù)及能力參數(shù)初值，再設(shè)試題參數(shù)已知求能力參數(shù)值，最后設(shè)能力參數(shù)已知計(jì)算試題參數(shù)，直至滿足結(jié)束條件時(shí)參數(shù)估計(jì)結(jié)束，具體流程如圖6。

對(duì)應(yīng)試者能力的估計(jì)有兩個(gè)階段:能力探索階段和能力精估階段。前5道試題是能力探索階段，根據(jù)應(yīng)試者作答結(jié)果以±0.2步長移動(dòng)，如果全部答對(duì)或者答錯(cuò)，則采用經(jīng)驗(yàn)公式計(jì)算能力值:θ0=(r為答對(duì)的題目數(shù)，R被測總題數(shù))。后面的試題為能力精估階段，利用最大似然法對(duì)應(yīng)試者當(dāng)前能力進(jìn)行估計(jì)，最終的結(jié)果便是應(yīng)試者的能力參數(shù)估計(jì)值。能力估計(jì)式如下:

其中θm+1，θm分別表示第m+1，m次迭代的能力估計(jì)值。

圖6 試題參數(shù)估計(jì)流程圖Fig.6 Flow chart of test question parameter estimation

3 系統(tǒng)測試與分析

3.1 測試環(huán)境與數(shù)據(jù)

3.1.1 測試環(huán)境

客戶端:windows XP，Internet Explorer 6.0 及以上瀏覽器。

服務(wù)器端:windows2000服務(wù)器版，Internet Information Server 4.0。

3.1.2 測試數(shù)據(jù)

本文采用的數(shù)據(jù)來源是西南科技大學(xué)《計(jì)算機(jī)基礎(chǔ)》2011，2012年期末考試，包含來自不同學(xué)院的112名同學(xué)在5次考試中的數(shù)據(jù)，5次考試使用5種不同試卷。利用聯(lián)合極大似然估計(jì)法對(duì)試題參數(shù)進(jìn)行估計(jì)［18］，以此來構(gòu)建題目數(shù)量為100的自適應(yīng)考試題庫作為實(shí)驗(yàn)數(shù)據(jù)集。估計(jì)出的試題b參數(shù)區(qū)間為 － 3.0～2.5 之間，a參數(shù)區(qū)間為 －3.0～ 2.5 之間，c參數(shù)區(qū)間為0.05～1.0之間，應(yīng)試者能力參數(shù)估計(jì)初值均為0。

3.2 自適應(yīng)考試測試結(jié)果與分析

用戶登錄系統(tǒng)后，選擇相應(yīng)的考試點(diǎn)擊開始考試即可進(jìn)行自適應(yīng)考試，系統(tǒng)將根據(jù)應(yīng)試者答題情況動(dòng)態(tài)選擇后續(xù)試題，實(shí)現(xiàn)因人施測，通過實(shí)驗(yàn)，對(duì)應(yīng)試者能力估計(jì)結(jié)果如表1所示。

表1 能力估計(jì)結(jié)果評(píng)測表Table 1 Result Evaluation on the ability estimation

通過實(shí)驗(yàn)可知，多次測試能力估計(jì)比較穩(wěn)定，項(xiàng)目調(diào)用均勻性較好，能夠通過較短的測試長度實(shí)現(xiàn)對(duì)應(yīng)試者較高精度的能力估計(jì)。

4 總結(jié)

以項(xiàng)目反應(yīng)理論為基礎(chǔ)的計(jì)算機(jī)自適應(yīng)考試系統(tǒng)在提高考試效率的同時(shí)考察應(yīng)試者實(shí)際能力水平，“因材施測”增強(qiáng)了考試的靈活性、提高學(xué)生參加考試的積極性，為遠(yuǎn)程教育提供了良好支撐，節(jié)約了組織考試的成本。

本系統(tǒng)架構(gòu)于Java EE技術(shù)之上，融合了其穩(wěn)定及易拓展等眾多特性，不僅具有普通考試系統(tǒng)的試題管理等常規(guī)功能，還能對(duì)試題參數(shù)進(jìn)行估計(jì)，根據(jù)應(yīng)試者的作答情況選擇后續(xù)試題，對(duì)應(yīng)試者能力進(jìn)行估計(jì)，發(fā)現(xiàn)學(xué)生潛質(zhì)。

由于缺乏對(duì)于計(jì)算機(jī)自適應(yīng)考試的公共數(shù)據(jù)集，所以本文采用的數(shù)據(jù)集為作者本人所建，由于人力、資源的限制，題庫中的試題數(shù)量還有待進(jìn)一步提高，題庫的動(dòng)態(tài)維護(hù)、知識(shí)點(diǎn)的組合還存在一定的不足，此外，對(duì)其它理論模型在計(jì)算機(jī)自適應(yīng)考試系統(tǒng)中的應(yīng)用研究還很少，因此，如何改進(jìn)自適應(yīng)考試系統(tǒng)模型，使系統(tǒng)更加完善、更準(zhǔn)確地估計(jì)被試者能力是未來研究的重點(diǎn)。

［1］BOCK R D.A brief history of item response theory［J］.Educational Measurement:Issues and Practice，1997，16:21－32.

［2］MEIJER R R，NERLING M L.Computerized adaptive testing:Overview and introduction［J］.Applied psychologicalmeasurement，1999，23(3):187 －194.

［3］MCBRIDE JR，MARTIN JT.Reliability and validity of adaptive ability tests in amilitary setting［A］.In D.J.Weiss New horizons in testing:Latent trait test theory and computerized adaptive testing［C］.New York:Academic Press，1983.223－236.

［4］Weiss D J，Kingsbury G G.Application of computerized adaptive testing to educational problems［J］.Journal of Educational Measurement，1984，21:361 －375.

［5］Van der Linden W J，Hambleton R.K..Handbook of Modern Item Response Theory［M］.New York:Springer，1996.

［6］WAINER H，BRADLOW E T，DU Z.Item Response Theory:An Analog for the 3PL Model Useful in Adaptive Testing［A］.In VAN DER LINDENW J，GLASCAW.Computerized Adaptive Testing;Theory and Practice，2001.245－270.

［7］VAN DER LINDENW J，HAMBLETON R K.Handbook ofModern Item Response Theory［M］.New York:Springer.1996.

［8］Baker F B.The Basic of Item Response Theory［M］.Heinemann，1986.6.

［9］王茜娟，丁樹良，譚淵.按c－分層不定長CAT的研究［J］.江西師范大學(xué)學(xué)報(bào):自然科學(xué)版，2005，29(3):227－230.

［10］BAKER F B.Item Response Theory:Parameter Estimation Techniques［M］.New York:Marcel Dekker Inc.，1992.