北京市實美職業(yè)學(xué)校 劉麗平 賈勁華
考試作為衡量學(xué)生某種能力和水平的工具,是學(xué)習(xí)型社會中確保教育質(zhì)量的重要衡量標(biāo)準(zhǔn),并深入到社會的各個方面?;趥鹘y(tǒng)測試?yán)碚摰挠嬎銠C輔助測試以固定的測試時間與測試題目數(shù)而忽略了學(xué)生的個體差異,導(dǎo)致很多無效試題與時間的浪費并挫敗學(xué)生的信心,計算機自適應(yīng)考試(CAT)隨著計算機技術(shù)的發(fā)展和個性化學(xué)習(xí)的需求而得到越來越多的關(guān)注。
CAT的基本思想是:計算機先通過一些試探性試題來初步估計學(xué)生的學(xué)習(xí)水平,再根據(jù)選題算法從題庫中選擇與學(xué)生水平相近的題目繼續(xù)施測,每施測一題都重新估計學(xué)生的能力,并不斷重復(fù)這一過程。隨著學(xué)生所做題目的增多,計算機對其能力的估計精度也越來越高,最后其估計值將收斂與一點,該點就是學(xué)生能力較精確的估計值,其施測過程見圖1。
圖一 自適應(yīng)考試施測過程
這種考試方式始終圍繞著每個學(xué)生的能力進行,題目針對性強,更加突出了學(xué)生的主體地位和個性化需求,大大提高了考試的效度和信度,降低了考試所用的題目數(shù)量從而提高了考試的效率。
本智能題庫的設(shè)計目標(biāo)一方面能動態(tài)跟蹤學(xué)生的測試過程,根據(jù)暴露出的問題進行機器學(xué)習(xí),自動調(diào)整試題庫的難度系數(shù),使自動組卷的依據(jù)更科學(xué),對于教師也能根據(jù)不同學(xué)生群體的特征,調(diào)整教學(xué)重、難點。另一方面能根據(jù)考核結(jié)果,將出錯的知識點提取出來,運用信息推送技術(shù),自動推出相關(guān)的學(xué)習(xí)資料和測試資料,確保學(xué)生能更好地掌握和鞏固暴露的學(xué)習(xí)瑕疵。有效解決了學(xué)生學(xué)習(xí)資源的快速查找與定位,從而提高了學(xué)習(xí)質(zhì)量和學(xué)習(xí)效率,更能適應(yīng)個性化的學(xué)習(xí)要求。
本題庫功能模型中各模塊的功能介紹如下。
用戶身份核實模塊:通過用戶名和密碼,核實學(xué)生身份的合法性。
考試模塊:負責(zé)接收學(xué)生的考試請求、自動組卷、維護用戶的考試、判卷,并將考試結(jié)果反饋給信息傳送模塊和自學(xué)習(xí)整定模塊。
自學(xué)習(xí)整定模塊:負責(zé)接收考試模塊反映出的每道題的考核結(jié)果,據(jù)此調(diào)整試題庫中相應(yīng)試題的屬性,并定期對試題庫試題難度系數(shù)進行整定。
自動組卷模塊:負責(zé)接收用戶組卷規(guī)則要求并完成組卷,還可根據(jù)學(xué)生暴露出的問題生成再測試試卷,以利于學(xué)生進一步的鞏固和提高。
信息傳送模塊:將考試結(jié)果推送給用戶并生成用戶日志。利用基于網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)動態(tài)分析日志,向?qū)W生推出在線成績簿、進步幅度圖、學(xué)習(xí)進度表及需深入學(xué)習(xí)的知識點、相關(guān)的輔助復(fù)習(xí)資料等。
試題庫模塊:用于存儲試題。試題庫中的試題按題型、考核科目、知識點、難度系數(shù)的不同分類管理。
知識庫模塊:知識庫模塊:用于存儲知識點。
題庫管理模塊主要完成題庫的建立及動態(tài)維護工作。
題庫管理模塊主要有三大功能,具體解釋如下。
負責(zé)題庫從最開始的規(guī)劃到最終試題入庫的整個過程,包括如下功能模塊。
確定題庫性質(zhì):即在建立題庫前,確定題庫試題的樣式,明確試題測量范圍與目標(biāo)要求,設(shè)定題庫的適用對象與主要功能。
開發(fā)試題:命題計劃的編制是在題庫總體設(shè)計指導(dǎo)下進行的,編題計劃要考慮題量、題型、試題分布、目標(biāo)要求等方面。編題計劃設(shè)計好后,就可按計劃著手編題。編題可以組織專家命題,也可從有關(guān)資料中選題,或者向社會征題。
選取IRT模型:即選取一種數(shù)學(xué)模型,模擬項目特征曲線,再用項目特征參數(shù)估計潛在特質(zhì),是CAT系統(tǒng)建設(shè)的首要問題。
估計試題參數(shù):即確定庫中每道試題的項目特征參數(shù)。為確保自適應(yīng)優(yōu)質(zhì)試卷的生成,題庫建設(shè)中就要提供必要的、科學(xué)的試題參數(shù)。而測驗質(zhì)量好壞則取決于對學(xué)生能力值的估計準(zhǔn)確與否。
試題質(zhì)量審核:試題定性分析包括檢查試題是否符合編題計劃、是否有價值,試題表述是否通俗易懂、是否會產(chǎn)生歧義等;試題定量分析就是根據(jù)所選擇的數(shù)學(xué)模型,通過試測估計試題的各種參數(shù)如項目區(qū)分度、項目難度、項目猜測參數(shù)以及被試的能力估計值。
試題編碼:可提供方便的試題提取。
負責(zé)日常的管理工作,如學(xué)生身份的驗證、數(shù)據(jù)的存儲管理等。還應(yīng)有統(tǒng)計分析功能,它可以將題庫的質(zhì)量等指標(biāo)反饋給管理者,作為題庫發(fā)展的依據(jù)。
包括如下幾個部分。
查詢功能:可提供方便的題庫查詢功能,題庫管理者可以根據(jù)題型、難度或復(fù)合條件查詢題庫中的題目。
更新題庫:可提供題庫試題的添加、刪除、更新功能。當(dāng)題庫被更新時,注意要能夠?qū)⑿碌念}目與題庫中原有題目的參數(shù)等值到同一個量表系統(tǒng)上。
試題參數(shù)的調(diào)整:每次考試完成后,能對試題與學(xué)生能力進行校準(zhǔn)以評估試題質(zhì)量的好壞、試題內(nèi)容是否有偏頗,以及對試題IRT參數(shù)進行調(diào)整。
參數(shù)分布監(jiān)控:當(dāng)題目參數(shù)和知識點參數(shù)的分布不合理時給出警告信息,方便題庫管理員及時的對題庫的參數(shù)進行調(diào)整。
CAT系統(tǒng)以其試題的難度、數(shù)量自適應(yīng)學(xué)生個性化需求,能為每位學(xué)生“量身定制”試卷,并對學(xué)生能力水平較精確的估計而日益得到教育界的重視。本文設(shè)計了一個適應(yīng)于CAT系統(tǒng)的題庫,闡述了本題庫功能模型、建設(shè)和動態(tài)維護,此題庫能夠主動適應(yīng)學(xué)生的特質(zhì)水平,動態(tài)抽取試題,縮短測試時間,提高測試結(jié)果的精確度,并能根據(jù)學(xué)生的考試結(jié)果動態(tài)分析學(xué)生的學(xué)習(xí)狀態(tài),再運用信息推送技術(shù),有針對性地向?qū)W生提供個性化的學(xué)習(xí)資料和信息,從而能夠更好地適合不同學(xué)生的特點,有利于提高學(xué)生的學(xué)習(xí)實效性。本題庫建設(shè)方案主要應(yīng)用于客觀題方面,如何將主觀性試題納入到本題庫中,還有待于進一步研究。