試卷質(zhì)量分析評價(jià)方法與工具的設(shè)計(jì)

徐麗敏

摘要：試卷分析系統(tǒng)是評價(jià)學(xué)生學(xué)業(yè)、分析課程試卷質(zhì)量的重要工具，隨著時(shí)代的發(fā)展，引入了一些計(jì)算機(jī)輔助工具后，減少了人工操作，但仍有很多局限性。以試卷分析系統(tǒng)的項(xiàng)目開發(fā)為基礎(chǔ)，采用Java語言進(jìn)行程序編寫，用Eclipse作為開發(fā)工具，用Excel作為數(shù)據(jù)統(tǒng)計(jì)工具，從而實(shí)現(xiàn)對試卷與試題分析。以計(jì)量管理課程考試成績?yōu)閷?shí)例對試卷質(zhì)量進(jìn)行分析與評價(jià)。

Abstract： The test paper analysis system is an important tool for evaluating students' academic quality and analyzing the quality of test papers. With the development of the times， some computer aided tools have been introduced to reduce manual operations， but there are still many limitations. Based on the project development of the test paper analysis system， the program is written in Java language， Eclipse is used as the development tool， and Excel is used as the data statistics tool to realize the analysis of test papers and test questions. The quality of test papers was analyzed and evaluated by taking the test results of the measurement management course as an example.

關(guān)鍵詞：試卷質(zhì)量分析；分析指標(biāo)；系統(tǒng)開發(fā)；Java；Minitab

Key words： test paper quality analysis； analytical indicators； system development； Java； Minitab

中圖分類號：C812 文獻(xiàn)標(biāo)識碼：A 文章編號：1006-4311（2018）30-0188-03

0 引言

在教育教學(xué)過程中，考試是一個(gè)必不可少的環(huán)節(jié)，是檢測學(xué)生對所學(xué)知識的掌握程度，也是評價(jià)任課老師在此期間對該課程的教學(xué)質(zhì)量，考試的效果更多取決于一份試卷的質(zhì)量高低及考試情況[1]。通過調(diào)查及在網(wǎng)上查找大量文獻(xiàn)發(fā)現(xiàn)，絕大部分學(xué)校及一些高等院校在進(jìn)行試卷分析與考試成績統(tǒng)計(jì)時(shí)大都是采用人工的方式完成，雖然有些引入了計(jì)算機(jī)輔助設(shè)備（Excel）作為統(tǒng)計(jì)工具，但面對數(shù)據(jù)量很大時(shí)統(tǒng)計(jì)過程仍存在很多不足。而且在試卷分析上很多都停留在考生成績的簡單統(tǒng)計(jì)層面上，如總分、中位數(shù)、眾數(shù)、平均數(shù)，而專業(yè)用來衡量試卷質(zhì)量的方法幾乎沒有體現(xiàn)，浪費(fèi)很多的教學(xué)信息，影響整個(gè)教學(xué)質(zhì)量的提升[2]。本文在研究試卷質(zhì)量分析的理論基礎(chǔ)上，介紹了試卷質(zhì)量分析系統(tǒng)的設(shè)計(jì)，建立一種比較科學(xué)規(guī)范、簡潔的評估系統(tǒng)模型，對于考試成績不但能做出綜合性的統(tǒng)計(jì)分析及相關(guān)界面，還能有針對性地對分析報(bào)表進(jìn)行打印與數(shù)據(jù)的刪除。

1 試卷常規(guī)分析的統(tǒng)計(jì)學(xué)原理

大量研究表明，一份質(zhì)量好的試卷，考出來的成績應(yīng)服從正態(tài)分布，這也是對命題者的一種肯定[3]。統(tǒng)計(jì)主要指標(biāo)有：偏度、峰度，依據(jù)教育測量的基本方法，相關(guān)評估指標(biāo)及特征分析有：①難度，反映的是試題的難易程度，“難度系數(shù)”也可理解為“容易度系數(shù)”。②區(qū)分度，指在一道題上能多大程度上把水平不同的受測者區(qū)分開來，也稱題目的鑒別力[4]。③信度，指測驗(yàn)結(jié)果的可靠性或者可靠程度。[4]。④效度即有效性，指測量手段或工具可以準(zhǔn)確測出所要測量事物反映的程度[5]。

2 系統(tǒng)總體設(shè)計(jì)

2.1 系統(tǒng)設(shè)計(jì)需求分析

通過試卷質(zhì)量分析系統(tǒng)可以更加方便快速方便地了解考試的各方面信息，以及學(xué)生在學(xué)習(xí)過程中反映出來的信息，并且準(zhǔn)確、合理、有效地對學(xué)生成績進(jìn)行評估與判斷。所設(shè)計(jì)的試卷質(zhì)量評價(jià)系統(tǒng)包含了以下功能：

①進(jìn)行文件瀏覽與路徑選擇，導(dǎo)入統(tǒng)計(jì)考試成績的Excel表格，并對Excel表格中的信息進(jìn)行讀取與轉(zhuǎn)換。

②能讓用戶自由的設(shè)置題型，根據(jù)主觀題和客觀題的標(biāo)識信息，自動選擇相對應(yīng)的計(jì)算方法，同時(shí)也能使系統(tǒng)對更多類型的試卷進(jìn)行處理，加強(qiáng)其廣泛性。

③將讀取的Excel中的數(shù)據(jù)與試卷題型的設(shè)置信息進(jìn)行結(jié)合，按相應(yīng)的算法對單個(gè)試題以及整套試卷進(jìn)行質(zhì)量分析，并將分析結(jié)果在主界面進(jìn)行顯示。

④對分析結(jié)果生成相應(yīng)的報(bào)表進(jìn)行文件檢索以及添加，并能執(zhí)行打印功能，也能對選擇的文件進(jìn)行刪除操作。

⑤建立幫助文檔對系統(tǒng)進(jìn)行說明。

2.2 系統(tǒng)的結(jié)構(gòu)和概要設(shè)計(jì)

試卷質(zhì)量分析系統(tǒng)劃分為以下5大關(guān)鍵模塊：

①Excel數(shù)據(jù)導(dǎo)入模塊：檢索Excel文件的路徑并進(jìn)行選擇，并對數(shù)據(jù)進(jìn)行讀取和存儲。

②題型設(shè)置模塊：用戶根據(jù)實(shí)際情況設(shè)置題型，系統(tǒng)對根據(jù)用戶設(shè)置判斷題型主觀題還是客觀。

③試題指標(biāo)分析模塊：利用導(dǎo)入的Excel數(shù)據(jù)，對單個(gè)試題的指標(biāo)進(jìn)行計(jì)算與分析。

④試卷指標(biāo)分析模塊：利用試題分析模塊得出的數(shù)據(jù)以及導(dǎo)入的Excel文件信息，對試卷進(jìn)行整體指標(biāo)計(jì)算與評估，對試卷總分、考試人數(shù)等相關(guān)信息進(jìn)行統(tǒng)計(jì)。

⑤試卷報(bào)表打印模塊：對試題、試卷分析報(bào)表進(jìn)行打印。

3 系統(tǒng)關(guān)鍵模塊的實(shí)現(xiàn)

通過Java開發(fā)工具中的Swing組件對系統(tǒng)的GUI界面進(jìn)行了開發(fā)。試卷質(zhì)量分析系統(tǒng)的GUI界面中主要有5個(gè)功能模塊組成。

主界面（如圖2）采用JFrame類作為系統(tǒng)的頂層容器，顯示效果為一個(gè)窗體，帶有邊框、標(biāo)題并支持關(guān)閉和最大/最小化按鈕組件。模塊的主要功能是：

①對試卷數(shù)據(jù)進(jìn)行錄入，錄入的信息包括每位考生在每道小題的得分、考生總?cè)藬?shù)、每道小題的滿分值、試卷總分、每位學(xué)生的總得分。

②對錄入的相關(guān)信息進(jìn)行處理，計(jì)算出相應(yīng)的評價(jià)指標(biāo)，并在GUI界面上進(jìn)行顯示。試題質(zhì)量分析模塊需要計(jì)算的指標(biāo)有：試題難度、區(qū)分度、峰度、偏度。

③生成試題質(zhì)量分析的Excel文件，并存儲在指定目錄下。

4 實(shí)證研究分析

以中國計(jì)量大學(xué)質(zhì)量管理工程專業(yè)的計(jì)量管理課程從2012～2014學(xué)年的學(xué)生考試作為評估對象。以所有考生的考試成績的原始數(shù)據(jù)作為樣本進(jìn)行試卷分析。對衡量試卷質(zhì)量的幾個(gè)主要指標(biāo)的計(jì)算結(jié)果進(jìn)行分析與評價(jià)。

4.1 試題質(zhì)量綜合分析

根據(jù)試卷質(zhì)量分析，系統(tǒng)可以自動計(jì)算出評價(jià)試卷質(zhì)量的各項(xiàng)指標(biāo)。如圖3所示，是2012學(xué)年部分試題質(zhì)量分析結(jié)果。

4.1.1 試題難度分析

①2012學(xué)年試卷中對試題難度的統(tǒng)計(jì)中，有如表1信息。

從表1中可以比較直觀的看出，在2012學(xué)年總題數(shù)為43的試卷中，頻數(shù)（即題目數(shù)量）為8的試題量難度為“難度容易”，占試卷總題數(shù)的19%；頻數(shù)為13和頻數(shù)為6的試題量難度為“難度適中”，占總題數(shù)的30%和14%；頻數(shù)為16的試題量難度為“難度較難”，占總題數(shù)的37%[6]。通過以上數(shù)據(jù)的描述，對考生來說命題有一定的挑戰(zhàn)性。近一半的試題是“難度較難”及以上。根據(jù)這樣的試卷命題情況，站在教師的角度而言，對評價(jià)學(xué)生有一定的考察性，但可能會增加此次期末考試的掛科率。

②2013學(xué)年試卷的統(tǒng)計(jì)信息如表2示。

表2中看出，頻數(shù)為21的難度為“難度容易”，占總題數(shù)的49%；頻數(shù)為5的難度為“難度較難”，占總題數(shù)的12%。反映該學(xué)年試題難度是容易程度的占大多數(shù)。也就是說考生在該次期末考試中大概有一半的題目可以做出，及格的可能性較大，進(jìn)而降低了該次期末考試的掛科率。

③2014學(xué)年試卷中的統(tǒng)計(jì)信息如表3示。

表3中看出，頻數(shù)為27的難度為“難度容易”，占總題數(shù)的63%；頻數(shù)為5的難度為“難度較難”，占總題數(shù)的11%。反映難度程度為“容易”的試題占絕大多數(shù)，已超過試題總數(shù)的一半，“很難”的試題數(shù)量相比前二學(xué)年逐漸減少。

試題難度總體分析：通過對三學(xué)年試題難度分布情況可知，對計(jì)量管理的試卷命題的難易程度呈“容易”趨勢發(fā)展。很難的試題的命題個(gè)數(shù)越少，有利于大部分學(xué)生通過考試，減少掛科率。

4.1.2 試題區(qū)分度分析

通過系統(tǒng)得出的試題質(zhì)量分析結(jié)果中，在總體試題區(qū)分度的指標(biāo)上，只對每學(xué)年試題區(qū)分度中評價(jià)為“差，需淘汰”的進(jìn)行統(tǒng)計(jì)。

分析：從表4中看出，2012學(xué)年和2013學(xué)年的計(jì)量管理課程的期末試卷中有15道試題的區(qū)分度的測量值小于0.01，區(qū)分度評價(jià)為“差”，占36%，2014學(xué)年有12道試題的區(qū)分度測量值小于0.01，占總數(shù)的28%。相對于2012學(xué)年和2013學(xué)年區(qū)分度為“差”的數(shù)量有所下降，間接地說明試題的命題質(zhì)量有所提高。

4.1.3 試題峰度偏度簡要分析

①偏度。

簡要分析：從表格及插入的頻數(shù)分布表5可以看出，2012學(xué)年到2014學(xué)年該學(xué)科的考試中，大部分試題成績在偏度計(jì)算中<3，呈負(fù)偏態(tài)分布，即左偏態(tài)。尤其是2013和2014學(xué)年，試題的負(fù)偏態(tài)分布頻數(shù)最高，所占比率也大，說明試題難度較低的比例偏高，試卷題目偏易，考生的分?jǐn)?shù)普遍偏高。

②峰度。

簡要分析：從試題峰度的頻數(shù)分布表6中可以看出，2012～2014學(xué)年的期末試卷中，大部分題目都是過度峰度。尤其是2013和2014學(xué)年的試卷中，成績呈現(xiàn)過度峰度的比率占一半以上，說明考生在各試題的成績分布中有更多的極端值。

4.2 試卷質(zhì)量綜合分析

試卷質(zhì)量是建立在試題質(zhì)量的基礎(chǔ)之上，從而得出衡量試卷的質(zhì)量的相關(guān)指標(biāo)。接下來是對2012～2014學(xué)年的試卷質(zhì)量做一個(gè)綜合性的評價(jià)與分析。

根據(jù)表7各學(xué)年的試卷質(zhì)量分析中，可以簡單清晰地看出：

①在2012～2014學(xué)年的課中，相對學(xué)生考試的命題難度逐漸降低；

②試卷的區(qū)分度雖然沒有顯著性的差異，但2014學(xué)年相比2012及2013學(xué)年的區(qū)分度的值仍有改進(jìn)，說明試卷設(shè)計(jì)也趨好，從而對不同水平的考生能較好地區(qū)分開；

③就試卷的信度而言，試卷的信度值都是在“可靠性一般”的評價(jià)區(qū)域，排除隨機(jī)誤差的影響，說明考生在期末考試的測驗(yàn)中，沒有很好地考出自身的實(shí)際水平；

④試卷的效度值，在2012學(xué)年到2014學(xué)年課程的考試效度越來越好。從側(cè)面反映出該期末考試的考試成績與所想要考察的內(nèi)容達(dá)到了一定的吻合度，有一定的考察效果。

5 結(jié)語

驗(yàn)證開發(fā)系統(tǒng)的可操作性，以2012～2014學(xué)年的計(jì)量管理課程的期末考試成績作為分析對象，得出對試卷質(zhì)量的分析結(jié)果。雖然取得了一定的成績，但仍有一些不足的地方。比如在系統(tǒng)界面設(shè)計(jì)中，有些界面不夠美觀、人性化不夠；在對試卷質(zhì)量評價(jià)分析中，衡量指標(biāo)不夠完善等。

參考文獻(xiàn)：

[1]李業(yè)剛，高成琳，李紅玲，等.高校試卷質(zhì)量分析系統(tǒng)的研究[J].山東理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，22（4）：57-60.

[2]孫瑩.云南文華學(xué)院試卷質(zhì)量網(wǎng)上綜合評價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].電子科技大學(xué)，2011.

[3]許志光，金仁鉉.試卷質(zhì)量分析的數(shù)理統(tǒng)計(jì)方法[J].吉林師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2003（02）：50-51.

[4]劉偉東，屈華，石萍等.試卷分析的量化與規(guī)范化[J].遼寧工業(yè)大學(xué)學(xué)報(bào)（社會科學(xué)版），2012（04）：100-102.

[5]張振鵬.電大成績分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].復(fù)旦大學(xué)，2009.

[6]周帆帆，王昕，涂小琴.試卷質(zhì)量分析與綜合評價(jià)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2014（18）：52-55，60.