互聯(lián)網(wǎng)+模式下共享試題的評價(jià)設(shè)計(jì)

李小號 孫少妮 趙薇 趙群超

摘? 要 討論機(jī)械制圖類課程在“互聯(lián)網(wǎng)+”模式下的跨校使用及考核評價(jià)環(huán)節(jié)出現(xiàn)的問題，以機(jī)械制圖類課程為例，分析學(xué)生課程學(xué)習(xí)效果的考核評定方法及模式，為建設(shè)發(fā)展適應(yīng)共享機(jī)制的該課程教學(xué)資源提供參考意見，可在一定程度上提高院校間的該課程教學(xué)資源的利用效率及評價(jià)質(zhì)量，對同類課程資源有機(jī)結(jié)合以及共享發(fā)展提供借鑒。

關(guān)鍵詞 機(jī)械制圖;互聯(lián)網(wǎng)+;共享試題;試卷評價(jià)體系

1 以東北大學(xué)機(jī)械制圖課程為例的考核成績分布分析

以東北大學(xué)機(jī)械類專業(yè)技術(shù)基礎(chǔ)課機(jī)械制圖課程2018年試卷及成績數(shù)據(jù)為依托，統(tǒng)計(jì)討論該類課程跨校共享修讀的質(zhì)量評價(jià)方法。

從2018年學(xué)生學(xué)習(xí)數(shù)據(jù)庫中抽取共享學(xué)習(xí)該課程的300名學(xué)生作為樣本數(shù)據(jù)。對大部分成績統(tǒng)計(jì)而言，要是教學(xué)質(zhì)量和學(xué)生考試成績符合教學(xué)常規(guī)，基于數(shù)理統(tǒng)計(jì)中的林德貝爾格—萊緯中心極限定理[1]可知，學(xué)生的總體成績應(yīng)接近正態(tài)分布，一般出題會(huì)盡量考慮使成績呈現(xiàn)正偏態(tài)分布模式，以期比例更大的學(xué)生能進(jìn)入合格線內(nèi)，并有一定的區(qū)分度。

先假設(shè)東北大學(xué)2018年建立的共享機(jī)械類試題考試總體成績符合正態(tài)分布，從300份共享答卷中提取樣本容量為n（本文分析時(shí)取n=300）。

設(shè)選取樣本試卷中學(xué)生個(gè)體總成績?yōu)閤i（i=1，2，…，n），則樣本均值與樣本標(biāo)準(zhǔn)差S分別為：

為檢驗(yàn)考生成績分布的正態(tài)性，采用上述樣本成績均值及成績樣本標(biāo)準(zhǔn)差S為抽取成績樣本的總體均值μ和標(biāo)準(zhǔn)差σ的估計(jì)[2]。通過如下步驟檢驗(yàn)前述假設(shè)正確性。

1）將n個(gè)樣本成績劃分成k個(gè)計(jì)算區(qū)間。本文分析時(shí)將成績分值按0～35、36～50、51～60、61～70、71～80、81～90、91～100劃分成七個(gè)計(jì)算區(qū)間。

2）將成績樣本個(gè)體處于上述七個(gè)區(qū)間的事件定義為E1，E2，…，E7，如果前述試卷考試成績呈正態(tài)分布的假設(shè)成立，則可計(jì)算出E1～E7事件在七個(gè)劃分區(qū)間的發(fā)生理論頻數(shù)fj，其中fj=f（Ej）（j=1，2，…，7）。分析的樣本試卷在七個(gè)劃分區(qū)間的實(shí)際頻數(shù)為，其中Pj為事件Ej的實(shí)際發(fā)生數(shù)，n為抽樣試卷總數(shù)。

3）根據(jù)統(tǒng)計(jì)理論[1-2]，如果前述試卷成績分布假設(shè)成立，樣本試卷實(shí)際頻數(shù)與理論發(fā)生頻數(shù)差異值應(yīng)在統(tǒng)計(jì)分析設(shè)定的臨界范圍內(nèi)，且符合皮爾遜定理[2];如果差異值超出臨界范圍，則認(rèn)為正態(tài)分布假設(shè)不成立。檢驗(yàn)實(shí)際發(fā)生頻數(shù)和理論發(fā)生頻數(shù)，其統(tǒng)計(jì)量X2應(yīng)近似服從式（3）給出的χ2分布規(guī)律：

在分析共享測試卷各考題是否符合期望的近似正態(tài)分布情況時(shí)，學(xué)生個(gè)體各道考題的得分必然是呈現(xiàn)起伏波動(dòng)的。本文通過式（4）計(jì)算樣本試卷中每個(gè)應(yīng)試學(xué)生各題的考試得分值與該題樣本成績得分均值的差的平方和，進(jìn)而得到試卷各題標(biāo)準(zhǔn)差，表征學(xué)生解答該題的成績波動(dòng)程度。

抽樣的2018年共享試卷中共設(shè)置有七道測試題，按試題難度系數(shù)類型劃分為三類（難度系數(shù)計(jì)算詳見本文第二部分），選取第一題（難度：較易）、第三題（難度：一般）、第六題（難度：較難）計(jì)算各題的正態(tài)分布檢驗(yàn)，見圖1。

由圖1可知，抽樣試卷各道考題成績分布均服從或近似服從正態(tài)分布，且除第六題外均屬于正偏態(tài)分布（如圖1a、圖1b所示，其中圖1a反映的第一題因難度“較易”，學(xué)生得分較理想，與本文第二部分分析吻合），偏度均值為0.381;第六題由于難度系數(shù)較高，學(xué)生該題得分稍低，顯現(xiàn)出負(fù)偏態(tài)分布特性（負(fù)偏態(tài)值為-0.113）。成績的正態(tài)分布性也反映了試題的知識點(diǎn)全面，試題難度為適中偏易，符合該測試卷對學(xué)生進(jìn)行學(xué)習(xí)達(dá)成檢驗(yàn)并有一定區(qū)分度的目標(biāo)。

2 以東北大學(xué)機(jī)械制圖課程為例設(shè)置的試卷評價(jià)體系指標(biāo)

現(xiàn)行的各類課程成績分析、試卷分析慣用的方法是將學(xué)生的試卷考試成績進(jìn)行定量化，在設(shè)定的定量化指標(biāo)上，綜合教師教學(xué)工作、學(xué)生學(xué)習(xí)過程等環(huán)節(jié)，二次開展定性評估，最后綜合評定授課效果、學(xué)生學(xué)習(xí)效果以及試卷考核效果。查閱《教育統(tǒng)計(jì)學(xué)》[3]等文獻(xiàn)，現(xiàn)行的主要定量評價(jià)指標(biāo)多采用試卷教學(xué)內(nèi)容覆蓋度、難度、信度、效度、區(qū)分度等指標(biāo)。根據(jù)需要，本文采用的指標(biāo)中偏重覆蓋度、難度和信度指標(biāo)，綜合評估共享使用的考核考試是否有效地檢測學(xué)生的學(xué)習(xí)情況。

試卷覆蓋度R分析? 機(jī)械制圖課程內(nèi)容可供考核的知識點(diǎn)很多，怎樣評判試卷考核盡可能地覆蓋較大知識面，反映學(xué)生更接近真實(shí)的知識點(diǎn)掌握水平？這就需要對試卷出題的覆蓋度進(jìn)行分析。在課程內(nèi)容知識點(diǎn)總量保持一定的情況下，試卷中各題之間的離散性越大，則該試卷所考查知識點(diǎn)的重疊性越低，即所囊括的知識點(diǎn)越多。本文采用統(tǒng)計(jì)學(xué)[1]中的相關(guān)系數(shù)Rij進(jìn)行覆蓋度R的間接評價(jià)并進(jìn)行描述，如式（5）所示：

式中，n為成績樣本總數(shù)，yqi為第q個(gè)學(xué)生的第i題得分值，yqj為第q個(gè)學(xué)生的第j題得分值，為第i題樣本成績得分均值，為第j題樣本成績得分均值，σi為第i題樣本成績得分值標(biāo)準(zhǔn)差，σj為第j題樣本成績得分值標(biāo)準(zhǔn)差。

通常為提高試卷覆蓋度[3]，要求Rij<0.2。在各題相關(guān)系數(shù)Rij基礎(chǔ)上，可用試卷上各題的相關(guān)系數(shù)加權(quán)平均[1-2]計(jì)算該共享試卷的總體覆蓋度R，即：

基于2018年抽樣試卷數(shù)據(jù)，依據(jù)式（5）計(jì)算該共享試卷覆蓋度Rij數(shù)值見表1。

基于表1計(jì)算的各題交叉相關(guān)系數(shù)，利用式（6）可計(jì)算本共享測試卷的總體覆蓋度R=0.819，表明該測試卷總體覆蓋度良好[3]。

試卷難度分析? 試卷難度即考試出題的難易程度，是評價(jià)試題質(zhì)量和學(xué)生掌握知識點(diǎn)水平的重要量化指標(biāo)之一。綜合考慮試題中各題考查知識點(diǎn)的難易及學(xué)生學(xué)習(xí)能力，在評估計(jì)算試卷的難度系數(shù)時(shí)，采用樣本試卷中各題的平均得分率占比進(jìn)行量化，設(shè)置第i考題的難度系數(shù)Pi計(jì)算公式如式（7）所示：

式中，vij為樣本試卷中第j考生的第i考題得分分值，Vi為樣本試卷第i考題的滿分值，n為樣本試卷總數(shù)。由式（7）知，Pi位于0～1之間，如果Pi=0，則表明該考題全部回答正確，該道考題出題簡單，難度系數(shù)低;而若Pi=1，則表明該考題全部解題錯(cuò)誤，該道考題出題過難，難度系數(shù)太大，從考核角度來看，此題出題意義較小。對抽樣的試卷中全部七道題進(jìn)行難易度分析，得到表2結(jié)果。

由表2可知，第1題、第7題難度系數(shù)較低，屬于較易題型，該類難度題占總分比為18%。統(tǒng)計(jì)從共享測試卷中抽樣的300份試卷也可看出，第1題平均得分為7.3分，標(biāo)準(zhǔn)差為3.014;第7題平均得分達(dá)9.0分，標(biāo)準(zhǔn)差為2.781，表明參與應(yīng)試學(xué)生該類“較易”題完成得都很好。

統(tǒng)計(jì)試卷中難度設(shè)置“一般”類題型包括第2題、第3題、第4題及第5題，該四道題分配題分占比達(dá)到60%，屬于學(xué)生想達(dá)到檢驗(yàn)合格水平必須較好完成的內(nèi)容。由表2可知，該類題難度系數(shù)從0.400～0.601，表明想全部拿分還是有一定困難的。統(tǒng)計(jì)抽樣試卷可看出，這四道題平均得分在57.89分，單看平均得分還是比較滿意的;但計(jì)算這四題得分標(biāo)準(zhǔn)差可以發(fā)現(xiàn)，S=5.619，表明學(xué)生“一般”難度題型得分離散程度較高，兩極化相對比較嚴(yán)重。

第6題屬于有一定難度的拔高題型，難度系數(shù)為0.810，得分均值12.07，標(biāo)準(zhǔn)差S=6.106。從得分和標(biāo)準(zhǔn)差統(tǒng)計(jì)來看，該題學(xué)生測試情況滿足出題預(yù)想，實(shí)現(xiàn)了既讓好學(xué)生能有所突出表現(xiàn)，又讓大多數(shù)學(xué)生能有所得。

綜合評價(jià)該試卷來看，該共享測試卷整體難度“一般”，符合課程學(xué)習(xí)檢驗(yàn)性考核的目標(biāo)。

試卷信度分析? 試卷的信度是指該試卷的可靠性和穩(wěn)定性的程度。一般認(rèn)為，將同一份測試卷對同一組應(yīng)試者進(jìn)行多次反復(fù)測驗(yàn)，所得結(jié)果一致，則該測試卷具有很高的信度。通常，評估試卷信度r指標(biāo)采用如式（8）所示的克倫巴赫法[2]進(jìn)行量化計(jì)算：

在式（8）中，N為該套共享試卷中試題總數(shù)，σi2為試卷中第i題學(xué)生得分值的方差，σ2為學(xué)生整份試卷得分值的方差。

在實(shí)際試卷信度分析中，參與測試的學(xué)生的真實(shí)分值與誤差分值是不可知的，為對信度進(jìn)行量化和檢驗(yàn)，多采用分半法實(shí)施。所謂分半法，就是將考生的測驗(yàn)成績劃分為兩部分，模擬近似于兩次對學(xué)生進(jìn)行平行測驗(yàn)或看作一份試卷實(shí)施了可對比的兩次測試。比較簡單可行的方式就是將試卷中的考題按題號的奇偶分為兩半，然后計(jì)算兩半成績的相關(guān)系數(shù)Rij作為信度系數(shù)。此處i是奇數(shù)題號劃分的部分，j是偶數(shù)題號劃分的部分。一般認(rèn)為信度系數(shù)r>0.6時(shí)[3]，該試卷的檢測功能是穩(wěn)定可信的。

計(jì)算抽樣試卷各題方差，利用式（8）計(jì)算試卷信度為0.612，符合文獻(xiàn)[3]設(shè)置閾值，可認(rèn)為該共享的2018年測試卷結(jié)果是合理可信的。但在共享試卷的實(shí)際測試操作中，由于現(xiàn)行的處理方式是組織學(xué)生網(wǎng)上答題，雖然給各位考生規(guī)定了考試規(guī)則和答題時(shí)間限制等一系列規(guī)定，但由于網(wǎng)絡(luò)答題操作對學(xué)生諸如考試地點(diǎn)等沒有硬性要求，難免出現(xiàn)分享答案、相互參考答案等需要改進(jìn)的現(xiàn)象，因此，試卷的可信度分析還有待進(jìn)一步研究改進(jìn)措施。

3 結(jié)語

通過文中基于“互聯(lián)網(wǎng)+”共享模式的試卷評價(jià)模型，并對東北大學(xué)2018級學(xué)生機(jī)械制圖課程考核試卷質(zhì)量分析，驗(yàn)證和解釋了文中研究成果和方法的合理性與有效性，結(jié)合分析結(jié)論和近年該課程共享考核操作模式，檢驗(yàn)了該課程共享考核成績的正態(tài)分布性。本文共享試題覆蓋度為0.819，符合0.75～0.9良好范圍;難度控制在0.508，滿足0.35～0.8中等難度范圍，且照顧到參與共享學(xué)習(xí)高校學(xué)生基礎(chǔ)差異，難度取值應(yīng)適當(dāng)偏小;信度控制在0.612，大于0.6設(shè)置的可信閾值;且課程考核定位為檢驗(yàn)性考試，成績分布為以正偏態(tài)分布的試卷為理想期望。

本文分析表明，用數(shù)理統(tǒng)計(jì)方法對考試結(jié)果進(jìn)行統(tǒng)計(jì)分析，可以促使任課教師總體把握課程的考試情況與教學(xué)情況、學(xué)生課程的學(xué)習(xí)效果等，并為教學(xué)評估提供理論依據(jù)和統(tǒng)計(jì)數(shù)據(jù)支撐，分析方法和結(jié)果可為今后該課程的共享建設(shè)及考核命題工作提供參考依據(jù)。

參考文獻(xiàn)

[1]茆詩松，呂曉玲.數(shù)理統(tǒng)計(jì)學(xué)[M].2版.北京：中國人民大學(xué)出版社，2016.

[2]Hogg R V， Craig A T. Introduction to Mathematical Statistics[M].5th Edition.高等教育出版社，2007.

[3]趙必華，王孝玲.教育統(tǒng)計(jì)學(xué)[M].北京：北京師范大學(xué)出版社，2008.