基于剔除抄襲因素和學(xué)生能力因素的 題目難度預(yù)測(cè)研究

王詩(shī) 吳瑤 王春瑩 朱笑瑩

摘? ?要：在高等院校的教學(xué)中，針對(duì)學(xué)生不同的學(xué)習(xí)階段和不同的教學(xué)目的，教師需要在不同情況下布置難度不同的習(xí)題以滿足教學(xué)期望。文章通過(guò)開(kāi)發(fā)自定義習(xí)題生成系統(tǒng)，設(shè)計(jì)了相應(yīng)的實(shí)驗(yàn)過(guò)程，通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行相關(guān)性檢驗(yàn)，得到抄襲因素對(duì)正確率影響的理性判斷。排除抄襲因素影響后，通過(guò)對(duì)題目正確率、學(xué)生能力進(jìn)行相關(guān)性檢驗(yàn)，結(jié)合學(xué)生能力因素，建立二元回歸分析模型，構(gòu)建出習(xí)題難度的預(yù)測(cè)模型，從而精確預(yù)測(cè)習(xí)題預(yù)期正確率。此外，文章的研究方法及研究流程具有普遍性和適用性，文中涉及的自定義習(xí)題生成系統(tǒng)和習(xí)題難度預(yù)測(cè)模型，可以推廣運(yùn)用在高等院校電子與通信技術(shù)學(xué)科、物理學(xué)學(xué)科、數(shù)學(xué)相關(guān)科目的習(xí)題布置中。

關(guān)鍵詞：教育;回歸模型;難度預(yù)測(cè);抄襲率;學(xué)生能力

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2019）23-0022-06

一、引言

在高等院校的教學(xué)中，習(xí)題布置是幫助學(xué)生鞏固課堂教授的知識(shí)點(diǎn)、考察學(xué)生對(duì)知識(shí)點(diǎn)的掌握程度的重要手段，是一種被廣泛使用的教學(xué)評(píng)價(jià)方法。針對(duì)學(xué)生不同的學(xué)習(xí)階段和不同的教學(xué)目的，教師需要在不同情況下布置難度不同的習(xí)題以滿足教學(xué)期望。因此，對(duì)題目難度進(jìn)行量化分級(jí)對(duì)于教育的改革發(fā)展有著重要幫助。合理把握題目難度可以幫助教師有針對(duì)性地命題，使題目難度達(dá)到預(yù)設(shè)效果，使教師能夠更好地規(guī)范其對(duì)概念、方法及其關(guān)系的教學(xué)，幫助教師更加科學(xué)地在教學(xué)的不同階段進(jìn)行相應(yīng)難度題目的布置，從而提高教學(xué)質(zhì)量。同時(shí)，難度量化分級(jí)可以使學(xué)生對(duì)題目的難易程度有更為直觀的判斷，根據(jù)所做題目的難度，更客觀地了解自身學(xué)習(xí)水平。《電磁場(chǎng)與電磁波》是一門內(nèi)容概念抽象、公式繁多、課程體系嚴(yán)謹(jǐn)且對(duì)電子與通信技術(shù)學(xué)科極為重要的科目[1]。所以對(duì)《電磁場(chǎng)與電磁波》這門科目進(jìn)行難度量化分級(jí)有著重要意義。

經(jīng)典測(cè)量理論（Classic Test Theory，CTT）采用通過(guò)率法表示題目難度;項(xiàng)目反應(yīng)理論（Item Response Theory，IRT）用項(xiàng)目特征曲線的拐點(diǎn)位置反映該題的難度。CTT或IRT框架下的難度參數(shù)，都需要通過(guò)實(shí)際測(cè)試考生獲得，這種預(yù)測(cè)方式的實(shí)施具有一定的局限性[2]。這種局限性主要體現(xiàn)在獲取大規(guī)模樣本存在極大的操作難度。因此早期的難度預(yù)估主要依賴專家主觀經(jīng)驗(yàn)直接判斷題目難度，這種方法是比較傳統(tǒng)并廣泛使用的一種難度預(yù)估方法。近年來(lái)，隨著信息技術(shù)的普及和深入，數(shù)據(jù)分析在教育領(lǐng)域的應(yīng)用也越來(lái)越普遍，測(cè)試樣本收集導(dǎo)致的局限性不再明顯，通過(guò)被測(cè)樣本數(shù)據(jù)進(jìn)行難度量化分級(jí)在現(xiàn)實(shí)情景中應(yīng)用的可操作性逐步提升。

然而，實(shí)踐中對(duì)于題目難度的預(yù)估往往不能盡如人意，其根本原因在于各因素對(duì)難度的影響是十分復(fù)雜的。2006 年，LEONG? See? Cheng 總結(jié)了四個(gè)影響試卷難度的因素：內(nèi)容方面，主要指知識(shí)量;材料方面，指詞匯和信息呈現(xiàn)方式等難度;被試者因素，主要指被試者的心理和生理等素質(zhì);命題者的決策，指命題者對(duì)考試所期望的難易程度[3]。王希年提出難度設(shè)計(jì)與預(yù)測(cè)應(yīng)結(jié)合題目本質(zhì)難度與考生狀況進(jìn)行，題目的得分率與其難度因素和考生學(xué)業(yè)水平二元相關(guān)[4]。通過(guò)文獻(xiàn)分析得知，考慮抄襲因素和學(xué)生能力對(duì)難度分級(jí)影響的研究相對(duì)較少，但抄襲因素和學(xué)生能力是難度分級(jí)研究中不可忽視的影響因素，故本研究為難度量化分級(jí)提供了更為完善的理論依據(jù)，做出了如下貢獻(xiàn)：

（1）在教學(xué)實(shí)踐中，布置習(xí)題作業(yè)后收到的結(jié)果，受多方面因素影響，使得習(xí)題的情況往往無(wú)法客觀準(zhǔn)確地反映教學(xué)效果的好壞。這些因素包括：①習(xí)題相對(duì)固定，難以避免抄襲;②頻繁更新習(xí)題，質(zhì)量難保證;③使用多樣化的題組，難度難以統(tǒng)一把握。針對(duì)上述問(wèn)題，筆者設(shè)計(jì)開(kāi)發(fā)了自定義習(xí)題系統(tǒng)，可以定制題干相同但題目?jī)?nèi)具體數(shù)值不相同的多套習(xí)題。

（2）通過(guò)正確率客觀量化題目難度，排除人為量化題目難度時(shí)專家經(jīng)驗(yàn)、情感等個(gè)人主觀因素的影響，客觀量化題目難度。同時(shí)剔除了抄襲因素對(duì)實(shí)驗(yàn)數(shù)據(jù)的影響，通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行卡方檢驗(yàn)，得到抄襲因素對(duì)正確率影響的理性判斷。

（3）探究學(xué)生能力因素對(duì)習(xí)題對(duì)錯(cuò)的影響，作者根據(jù)《電磁場(chǎng)與電磁波》科目特征，對(duì)相關(guān)科目進(jìn)行相關(guān)性檢驗(yàn)，得到針對(duì)《電磁場(chǎng)與電磁波》可以代表學(xué)生能力因素的科目。

（4）綜合考慮抄襲因素對(duì)實(shí)驗(yàn)數(shù)據(jù)正確率的影響和學(xué)生能力因素對(duì)題目對(duì)錯(cuò)的影響，通過(guò)對(duì)各影響因素和題目對(duì)錯(cuò)進(jìn)行回歸性分析，成功建立《電磁場(chǎng)與電磁波》題目難度預(yù)測(cè)模型。

通過(guò)剔除抄襲因素，使被測(cè)樣本數(shù)據(jù)的代表性得到保障。同時(shí)，考慮學(xué)生能力對(duì)難度分級(jí)的影響，使難度預(yù)測(cè)模型更為完善。本文希望通過(guò)以對(duì)《電磁場(chǎng)與電磁波》科目難度預(yù)測(cè)模型的建立為例，給出剔除抄襲因素并考慮學(xué)生能力對(duì)難度分級(jí)影響的更為完善的建模方法。

二、通過(guò)正確率反映題目難度

1.題目難度的概念

《教育測(cè)量與評(píng)價(jià)》一書(shū)中將題目的難度定義為被測(cè)試者完成題目（項(xiàng)目）時(shí)所遇到的困難程度[5]。難度具有雙重特性：一是客觀性，難度由其本身的復(fù)雜程度所決定;二是相對(duì)性，難度除了與測(cè)試內(nèi)容本身的難易程度有關(guān)外，還與被測(cè)者的知識(shí)經(jīng)驗(yàn)和測(cè)驗(yàn)的編制技術(shù)有關(guān)。

2.難度的表示方式

反映題目難度的指標(biāo)稱為題目的難度系數(shù)，也簡(jiǎn)稱為題目難度。問(wèn)題解決者在解決問(wèn)題的過(guò)程中所花費(fèi)的時(shí)間越長(zhǎng)、正確率越低，說(shuō)明問(wèn)題越難，反之，則說(shuō)明問(wèn)題相對(duì)容易[6]。在經(jīng)典測(cè)量理論中，通常以通過(guò)率作為難度指標(biāo)，表示為：

P=R/N

P表示難度系數(shù)，N為全體被測(cè)人數(shù)，R為答對(duì)或通過(guò)該項(xiàng)目的人數(shù)。難度系數(shù)可以理解為“正確率”。故本文中對(duì)難度的定義如下：正確率數(shù)值越大，可以認(rèn)為題目總體越容易，反之，正確率數(shù)值越小，則表示題目難度越大。

三、自定義習(xí)題生成系統(tǒng)

自定義習(xí)題系統(tǒng)是利用python語(yǔ)言生成所需的LaTeX源碼，進(jìn)而利用LaTeX組卷排版生成可定制組數(shù)且各組題型相同、題目中數(shù)值不同的n組試卷，其中n為定制組數(shù)。該系統(tǒng)可以實(shí)現(xiàn)多種功能：①同時(shí)定制題干相同但題目?jī)?nèi)具體數(shù)值不相同的多套習(xí)題;②自動(dòng)生成規(guī)范示意圖;③自動(dòng)計(jì)算參考答案;④自動(dòng)排版。通過(guò)該套系統(tǒng)，在避免學(xué)生作業(yè)抄襲的同時(shí)，也大幅提高了教師的命題效率，并形成標(biāo)準(zhǔn)化的批閱流程和客觀評(píng)價(jià)指標(biāo)。

四、研究方法和步驟

筆者使用正確率描述題目難度，相關(guān)科目成績(jī)描述學(xué)生能力，假設(shè)通過(guò)難度和學(xué)生能力可以判斷學(xué)生能否做對(duì)相關(guān)習(xí)題。

在研究開(kāi)始，筆者通過(guò)開(kāi)發(fā)的自定義習(xí)題系統(tǒng)定制題干相同但題目?jī)?nèi)具體數(shù)值不相同的多套習(xí)題，將該套習(xí)題和傳統(tǒng)習(xí)題分發(fā)給知識(shí)水平相近的兩組學(xué)生完成，得到作業(yè)評(píng)估數(shù)據(jù)的對(duì)錯(cuò)結(jié)果。

如圖1所示，通過(guò)自定義習(xí)題系統(tǒng)生成三道習(xí)題A1、A2、A3，三道習(xí)題題型、題干相同，但題目?jī)?nèi)具體數(shù)值不相同。

本次課程中，一共進(jìn)行了兩次關(guān)于剔除抄襲因素影響的實(shí)驗(yàn)。試驗(yàn)中學(xué)生分組按照教授該課程教師的不同進(jìn)行分組，每組學(xué)生該課程的授課教師相同。

（1）第一次實(shí)驗(yàn)，一組學(xué)生使用傳統(tǒng)的習(xí)題布置方式;另一組學(xué)生使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式。

（2）第二次實(shí)驗(yàn)，一組學(xué)生（第一次試驗(yàn)使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式）使用傳統(tǒng)的習(xí)題布置方式;另一組（第一次試驗(yàn)使用傳統(tǒng)的習(xí)題布置方式）學(xué)生使用定制化習(xí)題系統(tǒng)批量生成習(xí)題方式。

下文將做“題干相同但題目?jī)?nèi)數(shù)值不同”題目的學(xué)生組稱為甲組、做傳統(tǒng)題目的學(xué)生組稱為乙組。

1.抄襲因素的統(tǒng)計(jì)檢驗(yàn)與排除

本文將以量化分析和統(tǒng)計(jì)檢驗(yàn)的研究方法，分析甲組數(shù)據(jù)和乙組數(shù)據(jù)的統(tǒng)計(jì)特征，檢驗(yàn)抄襲因素是否真正對(duì)習(xí)題正確率產(chǎn)生顯著影響，如果有影響，在接下來(lái)的難度估計(jì)模型建模中，只使用剔除抄襲因素影響的數(shù)據(jù)。徐敏在論文中調(diào)查了學(xué)生獨(dú)立完成作業(yè)的情況，并結(jié)合習(xí)題正確率，指出當(dāng)存在抄襲情況時(shí)，習(xí)題正確率會(huì)提高[7]。本文以量化分析和統(tǒng)計(jì)檢驗(yàn)的研究方法，分析甲組數(shù)據(jù)和乙組數(shù)據(jù)的統(tǒng)計(jì)特征，檢驗(yàn)抄襲因素是否真正對(duì)習(xí)題正確率產(chǎn)生顯著影響。在檢驗(yàn)開(kāi)始，筆者首先提出以下假設(shè)：①如果存在抄襲，會(huì)使得正確率與不存在抄襲不同;②甲組習(xí)題每題的數(shù)值不同，筆者因此假設(shè)甲組不存在抄襲;③如果甲組和乙組經(jīng)檢驗(yàn)來(lái)自于不同總體，且乙組正確率較甲組高，認(rèn)為乙組存在抄襲行為。

確立了統(tǒng)計(jì)檢驗(yàn)的前提條件后，筆者對(duì)兩組樣本進(jìn)行卡方檢驗(yàn)，判斷兩組樣本是否來(lái)自同一總體，操作過(guò)程如下：①確立卡方檢驗(yàn)的檢驗(yàn)水準(zhǔn)和檢驗(yàn)假設(shè);②對(duì)檢驗(yàn)統(tǒng)計(jì)量和概率值進(jìn)行求解，并將概率值和檢驗(yàn)水準(zhǔn)進(jìn)行比較，從而對(duì)兩組樣本是否來(lái)自同一總體做出判斷。具體實(shí)現(xiàn)的理論和方法如下：

（1）建立檢驗(yàn)假設(shè)，確立檢驗(yàn)水準(zhǔn)

本文中，運(yùn)用卡方檢驗(yàn)的檢驗(yàn)方法，分析兩組樣本數(shù)據(jù)的關(guān)聯(lián)性，判斷兩組樣本數(shù)據(jù)是否來(lái)自同一整體。檢驗(yàn)開(kāi)始，首先要確立檢驗(yàn)假設(shè)和檢驗(yàn)水準(zhǔn)。

以四格表資料為例，見(jiàn)表1，該表統(tǒng)計(jì)了某道題的對(duì)錯(cuò)情況，判斷甲組和乙組的正確率是否有差異。其中a、b、c、d是兩個(gè)樣本率比較的基本數(shù)據(jù)，R1、R2、C1、C2是R行、C列邊緣合計(jì)數(shù)據(jù)。

提出假設(shè)H0和H1，并確定檢驗(yàn)水準(zhǔn)為α。令兩組總體的正確率分別為π1和π2，假設(shè)兩組的總體正確率相同，檢驗(yàn)兩組樣本率是否由于抽樣誤差引起的檢驗(yàn)水準(zhǔn)為0.05。其統(tǒng)計(jì)學(xué)符號(hào)表示為：

H0：π1=π2（甲組和乙組總體正確率相等）

H1：π1≠π2（甲組和乙組總體正確率不等）

α=0.05

如果假設(shè)H0成立，則兩組總體正確率相等;如果假設(shè)H1成立，則兩組總體正確率不等。

（2）計(jì)算檢驗(yàn)統(tǒng)計(jì)量和概率

假設(shè)和檢驗(yàn)水準(zhǔn)確立后，需要對(duì)具體的檢驗(yàn)統(tǒng)計(jì)量和概率P值進(jìn)行求解。通過(guò)四格表數(shù)據(jù)計(jì)算得出γ2的大小，結(jié)合自由度ν，從而確定概率P。最后將概率P值和檢驗(yàn)水準(zhǔn)α進(jìn)行比較，從而對(duì)總體做出判斷。

對(duì)于四格表資料，計(jì)算統(tǒng)計(jì)量χ2的四格表專用公式為：

χ2=

四格表的自由度為：ν=（R-1）（C-1）=（2-1）（2-1）=1，式中R為行數(shù)，C為列數(shù)。

根據(jù)χ2，在ν=1的卡方分布曲線下找到比χ2更極端的尾部面積，即為P值。在四格表的χ2檢驗(yàn)中，其自由度為1，常用的χ2界值是χ2

0.05，1=3.84。

將概率P值與α進(jìn)行比較，P≤α則拒絕H0，得出兩樣本來(lái)自不同總體的結(jié)論;P>α，則不拒絕H0，認(rèn)為兩樣本來(lái)自同一整體。

2.難度預(yù)測(cè)模型的建立

選取典型的《電磁場(chǎng)與電磁波》習(xí)題作為相關(guān)性分析的對(duì)象，將電子與通信技術(shù)學(xué)科學(xué)生部分科目的成績(jī)與《電磁場(chǎng)與電磁波》習(xí)題的答題情況進(jìn)行量化分析，得到與習(xí)題之間的聯(lián)系有統(tǒng)計(jì)學(xué)意義的科目。最后對(duì)這些數(shù)據(jù)進(jìn)行l(wèi)ogistics回歸分析，得到相應(yīng)的回歸系數(shù)，從而建立《電磁場(chǎng)與電磁波》習(xí)題難度估計(jì)模型。本文通過(guò)二項(xiàng)分類logistic回歸算法，用logistic函數(shù)預(yù)測(cè)一個(gè)樣本屬于正樣本的概率值，從而建立難度預(yù)測(cè)模型。模型建立的過(guò)程如下：①作者首先通過(guò)單變量分析從眾多變量中篩掉一些可能無(wú)意義的變量，再將剩余變量構(gòu)建logistic回歸模型。②模型建立后，作者通過(guò)似然比檢驗(yàn)的算法，對(duì)回歸模型進(jìn)行全局性檢驗(yàn)，從而判斷整個(gè)模型的擬合情況。③最后根據(jù)logistic回歸參數(shù)估計(jì)方法，用最大似然估計(jì)方法去求模型具體的參數(shù)數(shù)值，從而建立難度估計(jì)模型。具體實(shí)現(xiàn)的理論與方法如下：

（1）單變量分析

考慮到《電磁場(chǎng)與電磁波》科目的內(nèi)容和特點(diǎn)，筆者選取了一些科目的成績(jī)作為能夠代表學(xué)生能力量化指標(biāo)的樣本數(shù)據(jù)。在進(jìn)行l(wèi)ogistic回歸前，由于變量較多，筆者先通過(guò)單變量分析（卡方檢驗(yàn)）考慮所有自變量和應(yīng)變量之間的關(guān)系，篩掉一些可能無(wú)意義的變量。為了避免遺漏某些重要科目，在分析時(shí)，作者將P值放寬，定為0.1。卡方檢驗(yàn)中，采用有與無(wú)一個(gè)自變量的-2LL改變量作為卡方統(tǒng)計(jì)量，具體操作步驟與上文抄襲因素的統(tǒng)計(jì)檢驗(yàn)相同。

（2）回歸模型的全局性檢驗(yàn)

回歸模型建立后，需要對(duì)整個(gè)模型的擬合情況做出判斷。以單變量分析篩選后的各科成績(jī)及《電磁場(chǎng)與電磁波》習(xí)題難度作為自變量，《電磁場(chǎng)與電磁波》習(xí)題對(duì)錯(cuò)作為應(yīng)變量。在logistic回歸模型擬合中，可采用似然比檢驗(yàn)進(jìn)行全局性假設(shè)檢驗(yàn)。