多項(xiàng)選擇題中干擾項(xiàng)信息的利用

劉 拓 張佳慧 辛 濤

(北京師范大學(xué)心理學(xué)院，北京100875)

1 引言

1914 年Kelly 將多項(xiàng)選擇題(multiple - choice item，MCI)的題目形式引入測(cè)驗(yàn)，從而使以論文為主要形式的早期測(cè)驗(yàn)大量減少，短測(cè)驗(yàn)大量增加。經(jīng)過一個(gè)世紀(jì)的發(fā)展，多項(xiàng)選擇題已經(jīng)成為教育和心理測(cè)驗(yàn)中最為常見的題型之一。

多項(xiàng)選擇題有諸多的優(yōu)點(diǎn)，首先，它的評(píng)分規(guī)則固定、一致，因此信度較高;第二，它的計(jì)分方便，這有利于大尺度(large scale)的測(cè)驗(yàn)和計(jì)算機(jī)化測(cè)驗(yàn)的實(shí)現(xiàn);第三，它可以控制二選一題目中的猜測(cè)行為。一般而言，一道多項(xiàng)選擇題包含題干部分和選項(xiàng)部分，選項(xiàng)部分則由一個(gè)正確項(xiàng)和若干個(gè)干擾項(xiàng)(distractor)組成。許多研究中干擾項(xiàng)被籠統(tǒng)的當(dāng)作錯(cuò)誤選項(xiàng)對(duì)待，這實(shí)際上造成了被試信息的浪費(fèi)。如Levine 和Drasgow(1983)就發(fā)現(xiàn)高能力和中等能力被試選擇的干擾項(xiàng)不同，Thissen，Steinber 和Fitzpatrick(1989)發(fā)現(xiàn)干擾項(xiàng)與被試能力水平是非單調(diào)的關(guān)系。Jacobs 和Vandeventer(1970)，Sigel(1963)以及Thissen(1976)也針對(duì)被試在Raven Progressive Matrices測(cè)驗(yàn)中干擾項(xiàng)的作答模式作了一系列研究。

可見，干擾項(xiàng)包含有價(jià)值的信息，僅僅把多項(xiàng)選擇題處理成為“對(duì)錯(cuò)”題，顯然不盡合理。如何有效利用多項(xiàng)選擇題中干擾項(xiàng)的信息，一般需要三個(gè)步驟:(1)編制含有豐富干擾項(xiàng)信息的題目;(2)提取題目中的信息;(3)利用提取的信息進(jìn)行量化分析。下文將逐一介紹這些步驟中涉及的方法，并分析它們利用干擾項(xiàng)信息的思想。

2 多項(xiàng)選擇題的設(shè)計(jì)

為了利用干擾項(xiàng)信息，研究者們首先想到的就是設(shè)計(jì)新的題目形式。使得干擾項(xiàng)具有明顯的程度差異(Tamir，1971)，能夠反映被試者對(duì)知識(shí)技能的誤用、理解錯(cuò)誤和發(fā)展層次不足等問題。最常用的題目設(shè)計(jì)是順序多項(xiàng)選擇題(ordered multiple -choice item，OMCI)設(shè)計(jì)(Briggs，Alonzo，Schwab，＆Wilson，2006)。它的設(shè)計(jì)理念是:學(xué)生的理解能力是一個(gè)連續(xù)的維度，但卻可以從高到低區(qū)分成不同水平，OMCI 的選項(xiàng)就對(duì)應(yīng)著這些理解水平，這樣通過干擾項(xiàng)信息就可以了解答錯(cuò)被試的認(rèn)知層次。另外一種題目設(shè)計(jì)是Tamir(1989)推薦的雙層多項(xiàng)選擇題(two - tier multiple - choice item，two - tier MCI)設(shè)計(jì)。這種設(shè)計(jì)就是在普通MCI 中再增加第二層選項(xiàng)，作為第一層選項(xiàng)的解釋和說明(Treagust，1988)。這樣通過第二層的解釋就可以了解被試選擇干擾項(xiàng)的原因。之后Liu，Lee 和Linn(2011)又建議干擾項(xiàng)應(yīng)該具有等級(jí)關(guān)系，兩層選項(xiàng)需要分開評(píng)分，并稱這種雙層MCI 為解釋性多項(xiàng)選擇題(explanation multiple-choice item，EMCI)。雙層MCI 的使用較廣，具體應(yīng)用研究可以參見Griffard 和Wandersee(2001)，Tan，Taber，Goh 和Chia(2005)。新的MCI 設(shè)計(jì)一方面保持了MCI 較為客觀的優(yōu)勢(shì)，同時(shí)也提供了更多的干擾項(xiàng)信息。但是由于設(shè)計(jì)更復(fù)雜，信息的編碼和量化分析也存在難度，如雙層MCI中對(duì)干擾項(xiàng)信息的解釋還主要依靠測(cè)驗(yàn)使用者主觀的邏輯和經(jīng)驗(yàn)分析。

3 干擾項(xiàng)信息的提取

任何題目需要進(jìn)行量化分析都需要對(duì)其進(jìn)行評(píng)分或編碼。最常用的評(píng)分方式主要有二級(jí)計(jì)分和等級(jí)計(jì)分。絕大多數(shù)的分析方法和測(cè)量模型都是基于這兩者進(jìn)行的。這兩種編碼方法關(guān)注的都是被試的正答反應(yīng)，分析角度也是從被試的強(qiáng)項(xiàng)出發(fā)。如經(jīng)典測(cè)量理論(classical test theory，CTT)中的總分，項(xiàng)目反應(yīng)理論(item response theory，IRT)中的θ 值，都代表被試水平高低。Luecht(2007)闡述了一種從被試弱項(xiàng)角度出發(fā)的方法，數(shù)據(jù)增廣(data augmentation)方法。如從正確項(xiàng)出發(fā)，可將3 名被試在3 道題上的作答描述為反應(yīng)矩陣U;而從干擾項(xiàng)出發(fā)，則可以將他們的作答描述為增廣矩陣(augmented data matrix)V(圖1)。

圖1 反應(yīng)矩陣與增廣矩陣

V 的獲得遵循一定規(guī)則，比如假設(shè)干擾項(xiàng)與總分之間存在負(fù)相關(guān)，若被試選擇了“與總分負(fù)相關(guān)最大”的干擾項(xiàng)則記“1”分，否則為“0”分，再由增廣矩陣出發(fā)就可以構(gòu)建新的統(tǒng)計(jì)指標(biāo)和測(cè)量模型。可見，增廣矩陣的獲得方法不同，反映的干擾項(xiàng)信息就不同，與此對(duì)應(yīng)的分析方法也不同。數(shù)據(jù)增廣的方法使用還較少，現(xiàn)有的嘗試可參見Luecht 的研究。

4 干擾項(xiàng)信息的量化分析

對(duì)題目中干擾項(xiàng)進(jìn)行編碼后，通過量化分析方法就可以將干擾信息應(yīng)用到測(cè)量和評(píng)估中?，F(xiàn)有干擾項(xiàng)的量化分析方法主要有三種:一是，使用統(tǒng)計(jì)學(xué)方法分析干擾項(xiàng)本身的測(cè)量特性;二是，構(gòu)建多項(xiàng)選擇題模型，通過模型參數(shù)來解釋干擾項(xiàng);三是，使用干擾項(xiàng)信息輔助其它測(cè)量與評(píng)估。

4.1 統(tǒng)計(jì)類的分析方法

統(tǒng)計(jì)類的分析方法是一系列方法的統(tǒng)稱，它旨在通過構(gòu)建統(tǒng)計(jì)指標(biāo)來描述干擾項(xiàng)的測(cè)量學(xué)特性，從而幫助干擾項(xiàng)的編寫和解釋，如點(diǎn)二列相關(guān)、Attali 和Fraenbel(2000)的PBDC指標(biāo)，Love(1997)的干擾項(xiàng)選擇比(distractor selection ratio，DSR)等。以PBDC指標(biāo)為例，它的公式如下:

其中，MDC和SDC分別代表選擇干擾項(xiàng)或正確項(xiàng)的被試的平均分和標(biāo)準(zhǔn)差，P 為人數(shù)比率。易見，PBDC實(shí)際是一個(gè)修正后的點(diǎn)二列相關(guān)，與CTT 中的意義一致，它是一個(gè)區(qū)分度，表示干擾項(xiàng)區(qū)分被試的能力。所以在測(cè)驗(yàn)編制時(shí)可以用來檢驗(yàn)干擾項(xiàng)的優(yōu)劣。

點(diǎn)二列相關(guān)的統(tǒng)計(jì)指標(biāo)是在整個(gè)被試能力范圍上反映被試對(duì)選項(xiàng)的選擇，無法獲得特定能力水平上被試的選項(xiàng)選擇情況，Love(1997)的DSR 解決了這一點(diǎn)，其表達(dá)式如下。

統(tǒng)計(jì)類分析方法的共同點(diǎn)是直接針對(duì)干擾項(xiàng)，而不會(huì)同時(shí)考慮整個(gè)測(cè)驗(yàn)和被試的測(cè)量。模型化的方法則可以兼顧，不過，由于模型化方法需要對(duì)干擾項(xiàng)進(jìn)行參數(shù)化，CTT 無法精細(xì)到選項(xiàng)水平，因此這類的方法都是基于IRT 或認(rèn)知診斷理論(cognitive diagnostic theory，CDT)的。

4.2 模型化方法

4.2.1 多級(jí)計(jì)分IRT 模型

最常用的MCI 模型是多級(jí)計(jì)分IRT 模型。它主要包括等級(jí)反應(yīng)模型、評(píng)定量尺模型、部分計(jì)分模型、名義反應(yīng)模型(nominal response model，NRM)等。前三種擬合OMCI，而NRM 則更擬合一般的MCI (Drasgow，Levine，Tsien，Williams，＆ Mead，1995)。為了說明NRM 對(duì)干擾項(xiàng)信息的利用，以NRM 與2PLM 為例，使用MULTILOG7.0 對(duì)詞匯理解能力測(cè)驗(yàn)(曹亦薇，1999)某一項(xiàng)目進(jìn)行分析，其項(xiàng)目反應(yīng)函數(shù)圖如下:

圖2 某項(xiàng)目NRM(左)與2PLM(右)項(xiàng)目反應(yīng)函數(shù)圖對(duì)比

與圖2(下)相比，圖2(上)除了能夠反映能力水平在-0.5 以上的被試更容易答對(duì)該項(xiàng)目(選第“2”項(xiàng))，還提示了干擾選項(xiàng)“1”和“3”分別對(duì)能力水平在-2 以下和能力水平在-2 到-0.5 之間的被試有較強(qiáng)的“吸引力”，如進(jìn)一步對(duì)項(xiàng)目?jī)?nèi)容進(jìn)行分析，則可能更加清晰的說明不同能力水平被試在作答時(shí)的思維過程。NRM 是擬合MCI 的基礎(chǔ)模型，之后在它的基礎(chǔ)上又發(fā)展出了納入“猜測(cè)”參數(shù)的multiple-choice 模型(Thissen ＆ Steinberg，1984)。

4.2.2 嵌套logit 模型

所有的多級(jí)計(jì)分IRT 模型都是將作答反應(yīng)與被試心理特質(zhì)直接掛鉤，但Suh 和Bolt(2010)認(rèn)為干擾項(xiàng)與正確項(xiàng)并非平行關(guān)系，正確項(xiàng)反映被試達(dá)到該水平，干擾項(xiàng)共同反映被試未達(dá)到該水平，而干擾項(xiàng)中的任一選項(xiàng)則是未達(dá)到水平被試的可能選擇。由此他們提出嵌套logit 模型簇(nested logit models，NLMs)，如3PLM 嵌套logit 模型(3PL -NLM)可表述為:

公式(3)(4)可看出3PL -NLM 實(shí)際上是將選項(xiàng)區(qū)分出了兩層，第一層用3PLM 來反映被試選擇正確項(xiàng)的概率，而第二層用NRM 來反映被試選擇各個(gè)干擾項(xiàng)的概率。第二層嵌套在第一層中，干擾項(xiàng)的選擇是在被試沒有選擇正確項(xiàng)的前提之下。NLMs 的優(yōu)點(diǎn)在于既符合邏輯，又不會(huì)增加參數(shù)估計(jì)的負(fù)擔(dān)。

4.2.3 MC-DINA

近年來認(rèn)知診斷模型蓬勃發(fā)展，但絕大多數(shù)的認(rèn)知診斷模型都只適用“0，1”計(jì)分，為此de la Torre(2009)在DINA 模型的基礎(chǔ)上，提出了適用于MCI的MC-DINA(multiple -choice DINA，MC -DINA)模型。要定義MC-DINA 模型，需要對(duì)qj進(jìn)一步細(xì)化，將第j 題選項(xiàng)h 所包含的屬性表示為qjh。與此對(duì)應(yīng)通過αi與qjh的匹配可將被試劃分為Hj+1(Hj為題目j 的選項(xiàng)個(gè)數(shù))，可表述為以下形式:

其中，h*=0，1，2，3，…，Hj，h*=0 代表未編碼選項(xiàng)，用來表示被試掌握的屬性未涉及到任何一個(gè)選項(xiàng)所包含屬性的情況，此時(shí)ηij=0。類似DINA 模型的定義，可將MC-DINA 模型定義為:

相對(duì)于IRT 模型，MC -DINA 模型對(duì)干擾項(xiàng)信息的利用更精細(xì)，能夠促進(jìn)被試的知識(shí)狀態(tài)的診斷。但MC-DINA 模型需要估計(jì)大量的參數(shù)，這極大限制了MC-DINA 的應(yīng)用。另外，MC -DINA 中的參數(shù)也難以解釋。

4.3 使用干擾項(xiàng)信息輔助評(píng)估

干擾項(xiàng)信息除了能夠提供更多的被試診斷信息外，還能作為輔助信息參與到其它的評(píng)估過程中去。如在個(gè)人擬合(person fit)的研究中，Drasgow，Levine和Williams(1985)提出的用于探測(cè)被試異常反應(yīng)模式的合適度指標(biāo)(appropriateness measurement)，Wollack(1997)提出的用于探測(cè)被試抄襲(copying)行為的指標(biāo)，都利用了干擾項(xiàng)信息。又如Lau，Lau，Hong 和Usop(2011)在計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)(computerized adaptive testing，CAT)中，利用干擾項(xiàng)對(duì)“猜測(cè)”(guessing)加以控制。

這一類方法中研究最多的是干擾項(xiàng)功能差異(differential distractor functioning，DDF)。DDF 的概念最早由Green，Crone 和Folk(1989)提出，目的在于通過干擾項(xiàng)信息來檢測(cè)項(xiàng)目功能差異(differential item functioning，DIF)。一般的DIF 研究只關(guān)注不同組別被試在是否正確作答上的差異，但Suh 和Bolt(2011)認(rèn)為，干擾項(xiàng)既對(duì)不同組別的被試呈現(xiàn)出不同的吸引力，又對(duì)其它干擾項(xiàng)和正確項(xiàng)存在著功能差異。為了檢測(cè)DDF 研究者們開發(fā)了許多不同類型的方法，如標(biāo)準(zhǔn)化方法(Schmitt ＆ Bleistein，1987)，發(fā)生比方法(Penfield，2008)，多步logistic 回歸方法(Abedi，Leon，＆ Kao，2008)等。這些方法大都借鑒了DIF 分析，效果也比較相近(Koon，2010)，都比較一致的認(rèn)為DDF 可能導(dǎo)致DIF(Penfield，2010，2011)。

5 評(píng)價(jià)與展望

綜觀所有干擾項(xiàng)信息的利用方法，形式和思路上不盡相同，但目的主要有三點(diǎn)，一是，了解干擾項(xiàng)的測(cè)量學(xué)特性，如統(tǒng)計(jì)類的分析方法;二是，利用干擾項(xiàng)的信息幫助評(píng)估被試的心理特質(zhì)水平，如模型類方法、題目設(shè)計(jì)方法。三是，利用干擾項(xiàng)的信息輔助其它評(píng)估，如用DDF 方法。未來干擾項(xiàng)的研究還有很大的空間，一方面，現(xiàn)有的方法還存在一些不足，如增廣矩陣的量化方法，測(cè)量模型參數(shù)估計(jì)和結(jié)果解釋等。另一方面，針對(duì)不同的評(píng)估目的，仍然需要開發(fā)更多的干擾項(xiàng)信息利用方法。

5.1 題目的編制

題目的編制是測(cè)量、評(píng)估的基礎(chǔ)，為了利用好干擾項(xiàng)的信息，在題目編制時(shí)題目如何設(shè)計(jì)，選項(xiàng)如何設(shè)置仍然值得考慮。在題目的設(shè)計(jì)上，使用不同的設(shè)計(jì)方法可能能夠挖掘出更多信息或?qū)崿F(xiàn)不同評(píng)估目標(biāo)。如Kubinger，Holocher-Ertl 和Reif(2010)使用兩個(gè)正確項(xiàng)來控制干擾項(xiàng)排除法帶來的猜測(cè)。不過，新穎的題目設(shè)計(jì)同時(shí)也需要開發(fā)與之相對(duì)應(yīng)的量化分析方法，才能有效提取和解釋干擾項(xiàng)信息。在選項(xiàng)的設(shè)置上，干擾項(xiàng)數(shù)目的設(shè)置一直未達(dá)成共識(shí)，一個(gè)干擾項(xiàng)提供的信息太少，而過多的干擾項(xiàng)又會(huì)增加負(fù)擔(dān)。CCT 主要通過考察信、效度指標(biāo)來探討這個(gè)問題，而IRT 和CDT 還提示研究者需要考慮如題目?jī)?nèi)的多維、選項(xiàng)間的依存、認(rèn)知屬性的測(cè)量等因素。因此，選項(xiàng)設(shè)置的合理性問題還有待進(jìn)一步探討。

5.2 模型的開發(fā)和解釋

現(xiàn)代測(cè)量理論試圖解釋更復(fù)雜和精細(xì)的問題，開發(fā)更復(fù)雜的MCI 模型有助于挖掘更多干擾項(xiàng)信息，也能提高模型的擬合度，但現(xiàn)有MCI 模型依然很少，特別是在多維IRT 和CDT 框架下。當(dāng)然，復(fù)雜模型也存在參數(shù)估計(jì)、結(jié)果解釋困難的問題。比如在認(rèn)知測(cè)驗(yàn)中，干擾項(xiàng)反映被試的認(rèn)知過程、思維策略，而用NRM 的“難度”參數(shù)來解釋就有些牽強(qiáng)。又如MC-DINA 模型雖然能夠提供更精細(xì)的診斷信息，但認(rèn)知屬性稍多，其模型參數(shù)就無法估計(jì)。怎樣將數(shù)學(xué)模型與實(shí)際的心理學(xué)、教育學(xué)理論的融合則需要更多的實(shí)證性研究。

5.3 干擾項(xiàng)信息的輔助作用

4.3 中的方法說明了干擾項(xiàng)信息的利用不應(yīng)該限于模型和統(tǒng)計(jì)指標(biāo)的開發(fā)，在心理和教育測(cè)量的其他過程中同樣可以考慮納入干擾項(xiàng)信息。用干擾項(xiàng)來評(píng)估DIF 就是很好的例子，而Kim(2006)也發(fā)現(xiàn)，在鏈接(linking)中加入干擾項(xiàng)信息，可以在不影響效果的前提下減少題目的使用。這些研究都提示干擾項(xiàng)存在更多價(jià)值，今后在個(gè)人擬合研究中，可加入干擾項(xiàng)反應(yīng)模式，從而提高對(duì)異常反應(yīng)的識(shí)別效果。計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)中，可加入干擾項(xiàng)信息來提高選題過程和參數(shù)估計(jì)的準(zhǔn)確性。這些都是值得考慮的方向。

總之，多項(xiàng)選擇題中干擾項(xiàng)信息的利用實(shí)際上是一種非常經(jīng)濟(jì)、有效的信息獲取方式。在測(cè)驗(yàn)的編制時(shí)，可以節(jié)省題目量，幫助題目性能檢測(cè)。在被試評(píng)估時(shí)，又可以提供更多的診斷信息。如何能夠更有效的利用干擾項(xiàng)信息，值得研究者們繼續(xù)探索。

曹亦薇.(1999).初中詞匯理解能力量表的編制.心理學(xué)報(bào)，2，215 -221.

Abedi，J.，Leon，S.，＆ Kao，J.C.(2008).Examining differential distractor functioning in reading assessments for students with disabilities.Los Angeles，CA:National Center for Research on Evaluation，Standards，and Student Testing(CRESST).

Attali，Y.，＆ Fraenkel，T. (2000). Thepoint -biserial as a discrimination index for distractors in multiple - choice items:Deficiencies in usage and an iternative.Journal of Educational Measurement，37，77 -86.

Briggs，D. C.，Alonzo，A. C.，Schwab，C.，＆ Wilson，M.(2006).Diagnostic assessment with ordered multiple-choice items.Educational Assessment，11，33 -63.

dela Torre，J.(2009).A cognitive diagnosis model for cognitively based multiple - choice options. Applied Psychological Measurement，33，163 -183.

Drasgow，F(xiàn).，Levine，M. V.，＆ Williams，E. A. (1985). Appropriateness measurement with polychotomous item response models and standardized indices.British Journal of Mathematical and Statistical Psychology，38，67 -86.

Drasgow，F(xiàn).，Levine，M. V.，Tsien，S.，Williams，B.，＆ Mead，A.D.(1995).Fitting polytomous item response theory models to multiple-choice tests.Applied Psychological Measurement，19，143 -166.

Green，B.F.，Crone，C.R.，＆ Folk，V.G.(1989).Amethod for studying differential distractor functioning. Journal of Educational Measurement，26，147 -160.

Griffard，P. B.，＆ Wandersee，J. H. (2001). The two - tier instrument on photosynthesis:What does it diagnose?International Journal of Science Education，23，1039 -1052.

Jacobs，P.I.，＆ Vandeventer，M. (1970). Information in wrong responses.Psychological Reports，26，311 -315.

Kim，J. (2006). Using the distractor categories of multiple -choice items to improve IRT linking. Journal of Educational Measurement，43，193 -213.

Koon，S.(2010).A comparison of methods for detecting differential distractor functioning.Unpublished Doctorial Dissertation，The Florida State University.

Kubinger，K.D.，Holocher -Ertl，S.，Reif，M.，Hohensinn，C.，＆ Frebort，M. (2010). On minimizing guessing effects on multiple - choice items:Superiority of a two solutions and three distractors item format to a one solution and five distractors item format.International Journal of Selection and Assessment，18，111 -115.

Lau，P. N. K.，Lau，S. H.，Hong，K. S.，＆ Usop，H. (2011).Guessing，partial knowledge，and misconceptions in multiple-choice tests. Educational Technology ＆ Society，14，99 -110.

Liu，O.L.，Lee，H.S.，＆ Linn，M.C.(2011).Aninvestigation of explanation multiple - choice items in science assessment.Educational Assessment，16，164 -184.

Levine，M.V.，＆ Drasgow，F(xiàn). (1983). The relation between incorrect option choice and estimated ability. Educational and Psychological Measurement，43，675 -685.

Love，T. E. (1997). Distractor selection ratios. Psychometrika，62，51 -62.Luecht，R.M. (2007). Using information from multiple -choice distractors to enhance cognitive -diagnostic score reporting.In J.P.Leighton ＆ M. J. Gierl(Eds.)，Cognitive diagnostic assessment for education:Theory and practices(pp.319 -340).Cambridge University Press.

Penfield，R.D.(2008).Anodds ratio approach for assessing differential distractor functioning effects under the nominal response model.Journal of Educational Measurement，45，247 -269.

Penfield，R.D.(2010).Modeling DIF effects using distractor -level invariance effects:Implications for understanding the cause of DIF. Applied Psychological Measurement，34，151 -165.

Penfield，R.D.(2011). How are theform and magnitude of DIF effects in multiple -choice items determined by distractor -level invariance effects?Educational and Psychological Measurement，71，54 -67.

Revuelta，J. (2004). Analysis ofdistractor difficulty in multiple-choice items.Psychometrika，69，217 -234.

Schmitt，A.P.，＆ Bleistein，C.A.(1987).Factors affecting differential item functioning for Black examinees on Scholastic Aptitude Test analogy items(Research Rep. NO. 87 - 23).Princeton，NJ:Educational Testing Service.

Sigel，I.E.(1963).How intelligence tests limit understanding of intelligence.Merrill-Palmer Quarterly of Behavior and Development，9，39 -56.

Suh，Y.，＆ Bolt，D.M.(2010).Nested logit models for multiple-choice item response data.Psychometrika，75，454 -473.

Suh，Y.，＆ Bolt，D.M.(2011). A nested logit approach for investigating distractors as cause of different item functioning.Journal of Educational Measurement，48，188 -205.

Tamir，P.(1971).An alternative approach to the construction of multiple choice test items.Journal of Biological Education，5，305 -307.

Tamir，P.(1989).Some issues related to the use of justifications to multiple-choice answers.Journal of Biological Education，23，285 -292.

Tan，D. K - C.，Taber，K. S.，Goh，N. K.，＆ Chia，L - S.(2005).The ionisation energy diagnostic instrument:A twotier multiple - choice instrument to determine high school students’understanding of ionisation energy. Chemical Education Research and Practice，6，180 -197.

Thissen，D. M. (1976). Information in wrong responses to the Raven Progressive Matrices. Journal of Educational Measurement，13，201 -214.

Thissen，D.，＆ Steinvberg，L.(1984).Aresponse model for multiple choice items.Psychometrika，49，501 -519.

Thissen，D.，Steinberg，L.，＆ Fitzpatrick，A. R. (1989). Multiple-choice models:the distractors are also part of the item.Journal of Educational Measurement，26，161 -176.

Treagust，D.F.(1988). The development and use of diagnostic instruments to evaluate students’misconceptions in science.International Journal of Science Education，10，159 -169.

Wollack，J. A. (1997). Arominal response model approach for detecting answer copying.Applied Psychological Measurement，21，307 -320.