基于層次分析評估法的試題合格分數線確定

姚琳+姜涌+張博

【摘要】現代考試系統(tǒng)通過智能組卷策略從試題庫中抽取題目，形成試卷。但現有的組卷策略還不能完全消除所抽取試題的難易度的差異性，這樣會導致考試結果的相對不公平性，基于此原因在決策領域就有必要為測試成績建立一個可行的合格分數線。通過“目標-難度”層次分析評估方法，計算得出抽取試卷的合格分數線，可以較準確地判斷出答題者對各自抽取的試題的答題結果是否達到合格要求。

【關鍵詞】層次分析評估 組卷策略 合格分數線

一、引言

隨著計算機網絡、數據庫、人工智能等技術的發(fā)展，利用計算機進行試卷的自動生成并逐步積累形成有效的試題庫，使得對試題和試卷的管理變得高效而便捷，極大提高教務考試的工作效率，使考試系統(tǒng)的管理逐步走向正規(guī)化、自動化。但在試題庫建立及組卷策略的應用中，由于試題抽取是隨機進行的，無法控制，導致答題者有可能抽取試題庫中不同難度水平的不同題目。這樣，就很難把握考試對于每個答題者的公平性。利用題目“目標-難度”層次評估法，針對每次抽取的試題確定其合格分數線，判斷答題者是否對此套試題達到合格水平，將很大程度上保證考試的公平性。

二、層次評估分析法

層次分析法，簡稱AHP（Analytic Hierarchy Process），在20世紀70年代中期由美國運籌學家托馬斯·塞蒂正式提出。它是一種定性和定量相結合的、系統(tǒng)化、層次化的分析方法。由于它在處理復雜的決策問題上的實用性和有效性，很快在世界范圍得到重視，它的應用已遍及經濟計劃和管理、能源政策和分配行為、科學、軍事指揮、運輸、農業(yè)、教育、人才、醫(yī)療和環(huán)境等領域。

層次分析法是把復雜問題分解成各個組成因素，又將這些因素按支配關系分組形成遞階層次結構，通過兩兩比較的方式確定各個因素相對重要性，然后綜合決策者的判斷確定決策方案相對重要性的總排序。運用層次分析法進行系統(tǒng)分析設計決策時可分為4個步驟：

1.進行建立層次結構模型

在深入分析實際問題的基礎上，將有關的各個因素按照不同屬性自上而下地分解成若干層次，同一層的諸因素從屬于上一層的因素或對上層因素有影響，同時又支配下一層的因素或受到下層因素的作用，最上層為目標層通常只有1個因素，最下層通常為方案或對象層中間可以有一個或幾個層次，通常為準則或指標層。當準則過多時（譬如多于9個）應進一步分解出子準則層。

2.構造成對比較陣

從層次結構模型的第2層開始，對于從屬于或影響上一層每個因素的同一層諸因素，用成對比較法1～9比較尺度構成對比較陣，直到最下層，通常使用1～9比例標度對重要性程度賦值。

3.計算權向量，并做一致性檢驗

對于每一個成對比較陣，計算最大特征根及對應特征向量，利用一致性指標，隨機一致性指標和一致性比率做一致性檢驗，若檢驗通過，特征向量（歸一化后）即為權向量；若不通過，需重新構追成對比較陣。

4.計算組合權向量并做組合一致性檢驗

計算最下層對目標的組合權向量并根據公式做組合一致性檢驗若檢驗通過則可按照組合權向量表示的結果進行決策否則需要重新考慮模型或重新構造那些一致性比率較大的成對比較陣。

三、組卷策略研究

組卷算法是試題庫管理系統(tǒng)的核心技術，是試題庫管理系統(tǒng)的靈魂，是基于專家知識的決策過程。組卷過程是在考試大綱的題分、難度系數、試題覆蓋面、題型比例等約束都滿足的條件下，根據經驗和考試目的，調用相應的組卷策略，設計出符合用戶要求和一定約束條件的試卷模式；然后再按試卷模式選取試題組成試卷；通過對不同的知識點賦予恰當的題型組合，并在此基礎上確定各考題的難度系數（難易程度），最終由具有這樣屬性的試題構成考卷。通常的組卷算法有：

1.隨機選取法

隨機選取法以狀態(tài)空間的控制指標為依據，隨機抽取試題，此過程不斷重復，直到組卷完畢，或己無法從題庫中抽取滿足條件的試題為止。該算法的主要優(yōu)點是簡單、快速。缺點是形成的試卷在覆蓋面、難易度、重復題率等指標上無法令人滿意，組卷成功率低，主要原因是這種算法很難全面考慮試題的相關參數，因此該算法通常只能應用于簡易的試題庫管理系統(tǒng)。

2.回溯試探法

回溯試探法是通過建立一個按用戶設置的組卷參數要求的過濾模型，將隨機選取法產生的每一狀態(tài)都記錄下來，當搜索失敗時釋放上次記錄的狀態(tài)類型，然后再依據一定的規(guī)律，變換一種新的狀態(tài)類型進行試探，通過不斷地回溯試探直到試卷生成完畢或退回出發(fā)點為止。這種有條件的深度優(yōu)先法，對于狀態(tài)類型和出題量都較小的題庫系統(tǒng)而言，組卷成功率較好，但是在實際到一個應用時發(fā)現這種算法對內存的占用量大，程序結構相對比較復雜；而且選取試題缺乏隨機性，組卷時間長，這兩點是無法接受的。

3.遺傳算法

遺傳算法是一種并行的、能夠有效優(yōu)化的算法，以基因理論及間斷平衡理論為依據，同時融合了邊緣物種形成理論和一般系統(tǒng)理論的一些思想，模擬達爾文的自然界遺傳學：繼承、進化、優(yōu)勝劣汰。其實質就是一種把自然界有機體的優(yōu)勝劣汰的自然選擇、適者生存的進化機制與同一群體中個體與個體間的隨機信息交換機制相結合的搜索算法。運用遺傳算法求解問題首先需將所要求解的問題表示成二進制編碼，然后根據環(huán)境進行不斷的所謂“生存選擇”的基本，最后收斂到一個最適應環(huán)境條件的個體上，得到問題的最優(yōu)解。

但目前的組卷策略算法，重點研究的都是理論算法問題，很少考慮到在組卷之后，對每個被試者的考試是否公平，因為抽取具體每道試題的難度無法掌握，設立統(tǒng)一的合格分數線就無法體現考試的公平性。

四、基于題目“目標-難度”層次評估

對于傳統(tǒng)的考試，作為一位有經驗的任課教師，只要審察一下測驗卷中的每一個題目，便能判斷考試的難易情況，甚至能夠較準確地預計到參加考試的班級中具有不同能力結構的學生會有什么成績。對教師的這種經驗判斷加以開發(fā)，并通過適當的方法步驟加以引導，就可以用來確定測驗的分數合格線。endprint

基于題目“目標-難度”層次分析評估來確定一個測驗的分數合格線時，其主要思想是根據對題目考查目標層次的認識以及對題目難易程度做出的經驗判斷，把整個測試卷中所有題目按照兩個特征進行雙向分類。然后，由組卷系統(tǒng)根據組卷策略為每一類題目指派一個臨界概率，這個臨界概率就是設想一個尚可接受的最低能力的被試者，能夠正確回答該類題目的可能性大小，或者認為這一臨界概率是對每一位被稱為合格的被試者提出至少應答對該類題目的比例大?。ㄍ怕手荡笮∠嗟龋?。這種方法涉及二維評判，組卷策略要考慮設計一些所謂最低能力且又是可接受的被試者，答對特定題目或答對這類題目的可能性。這種方法簡述如下：

第一步：組卷系統(tǒng)把一份測試卷中的所有題目按K個考查目標能力層次進行分類（比如按布盧姆關于認知目標的六個層次來分），設這K類所占分數分別為M1，M2…Mk（若在組織試卷過程中有過測試藍圖設計，可直接利用命題雙向細目表中的考查目標層次界定及其相應題目的權數）。

第二步：把上述每一類題目按照難、中、易分成三組，因此可得到更細的分類。計算各組題目的分數，就可得到測驗題目雙向分類下的數據塊，以矩陣的形式記為：

第三步：設想一個可接受的最低能力的被試者，答對上述“第i個難度層次第j個能力目標層次”所有題目的可能性大小為Pij（這里i=1，2，3；j=1，2，…，K），得到一個概率矩陣，記為：

第四步：計算該試驗的最低合格分數，記為：

五、實例分析

設計某次課程結業(yè)考試，其命題雙向細目表的設計，題目可分成五個目標層次（即五種題型），K=5和難、中、易三種難度水平，得到如下雙向分類數據，如表1，記為：

進一步地，若綜合組卷策略及專家系統(tǒng)的智能評判，計算出一個尚可接受的最低能力被試者，答對上述各組命題的概率如表2。

則該次被試者抽取試卷考試的分數合格線可定為：

E=5×0.45+1×0.30+2×0.10+6×0.10+…+15×0.80+2×0.90=60.30（分）

如果被試者超過其選擇試題的分數合格線，其能力水平基本符合測試要求，這將成為其最終測試是否達到標準水平的重要依據。

六、結論

將基于題目“目標-難度”層次分析評估法應用于考試系統(tǒng)，配合組卷策略及相關專家系統(tǒng)，按照“目標-難度”兩個特征對題目進行雙向分類，應用二維評判，確定被試者抽取到的各自試卷的合格分數線，判斷被試者是否對此套試題達到合格水平，并且保證考試的公平性。

參考文獻：

[1]張洪祥，李秀菊.對考試難度和及格分數線的初步探討 [J].教育科學，1987，（3）：50-56.

[2]韓寧.如何確定及格分數線 [J].上海教育科研，1989，（5）：40-42.

[3]王伏華，蔣源.基于層次分析法的動態(tài)評估研究 [J].軟件導刊，2012，11（2）：8-9.

[4]潘良明.灰色層次評估法 [J].系統(tǒng)工程，1992，10（5）：45-51.

[5]肖洋，王驍，劉鳳新.在線考試組卷算法研究 [J].北京化工大學學報，2006，33（4）：44-47.

[6]陳磊，姜薇.通用考試系統(tǒng)的設計與實現 [J].計算機工程與設計，2007，28（17）：4285-4289.

[7]黃光揚.教育測量與評價 [M].上海：華東師范大學出版社，2002.

[8]張建同，呂碧玉.基于假設檢驗方法的考試及格線確定 [J].統(tǒng)計與決策，2009，（3）：165-166.

[9]趙守盈，何妃霞，劉妍.Rasch模型在學績測驗質量分析中的應用 [J].教育研究與實驗，2013，（1）：87-91.

基金項目：遼寧省科學技術計劃項目（編號：2013405003）。endprint

基于題目“目標-難度”層次分析評估來確定一個測驗的分數合格線時，其主要思想是根據對題目考查目標層次的認識以及對題目難易程度做出的經驗判斷，把整個測試卷中所有題目按照兩個特征進行雙向分類。然后，由組卷系統(tǒng)根據組卷策略為每一類題目指派一個臨界概率，這個臨界概率就是設想一個尚可接受的最低能力的被試者，能夠正確回答該類題目的可能性大小，或者認為這一臨界概率是對每一位被稱為合格的被試者提出至少應答對該類題目的比例大?。ㄍ怕手荡笮∠嗟龋?。這種方法涉及二維評判，組卷策略要考慮設計一些所謂最低能力且又是可接受的被試者，答對特定題目或答對這類題目的可能性。這種方法簡述如下：

第一步：組卷系統(tǒng)把一份測試卷中的所有題目按K個考查目標能力層次進行分類（比如按布盧姆關于認知目標的六個層次來分），設這K類所占分數分別為M1，M2…Mk（若在組織試卷過程中有過測試藍圖設計，可直接利用命題雙向細目表中的考查目標層次界定及其相應題目的權數）。

第二步：把上述每一類題目按照難、中、易分成三組，因此可得到更細的分類。計算各組題目的分數，就可得到測驗題目雙向分類下的數據塊，以矩陣的形式記為：

第三步：設想一個可接受的最低能力的被試者，答對上述“第i個難度層次第j個能力目標層次”所有題目的可能性大小為Pij（這里i=1，2，3；j=1，2，…，K），得到一個概率矩陣，記為：

第四步：計算該試驗的最低合格分數，記為：

五、實例分析

設計某次課程結業(yè)考試，其命題雙向細目表的設計，題目可分成五個目標層次（即五種題型），K=5和難、中、易三種難度水平，得到如下雙向分類數據，如表1，記為：

進一步地，若綜合組卷策略及專家系統(tǒng)的智能評判，計算出一個尚可接受的最低能力被試者，答對上述各組命題的概率如表2。

則該次被試者抽取試卷考試的分數合格線可定為：

E=5×0.45+1×0.30+2×0.10+6×0.10+…+15×0.80+2×0.90=60.30（分）

如果被試者超過其選擇試題的分數合格線，其能力水平基本符合測試要求，這將成為其最終測試是否達到標準水平的重要依據。

六、結論

將基于題目“目標-難度”層次分析評估法應用于考試系統(tǒng)，配合組卷策略及相關專家系統(tǒng)，按照“目標-難度”兩個特征對題目進行雙向分類，應用二維評判，確定被試者抽取到的各自試卷的合格分數線，判斷被試者是否對此套試題達到合格水平，并且保證考試的公平性。

參考文獻：

[1]張洪祥，李秀菊.對考試難度和及格分數線的初步探討 [J].教育科學，1987，（3）：50-56.

[2]韓寧.如何確定及格分數線 [J].上海教育科研，1989，（5）：40-42.

[3]王伏華，蔣源.基于層次分析法的動態(tài)評估研究 [J].軟件導刊，2012，11（2）：8-9.

[4]潘良明.灰色層次評估法 [J].系統(tǒng)工程，1992，10（5）：45-51.

[5]肖洋，王驍，劉鳳新.在線考試組卷算法研究 [J].北京化工大學學報，2006，33（4）：44-47.

[6]陳磊，姜薇.通用考試系統(tǒng)的設計與實現 [J].計算機工程與設計，2007，28（17）：4285-4289.

[7]黃光揚.教育測量與評價 [M].上海：華東師范大學出版社，2002.

[8]張建同，呂碧玉.基于假設檢驗方法的考試及格線確定 [J].統(tǒng)計與決策，2009，（3）：165-166.

[9]趙守盈，何妃霞，劉妍.Rasch模型在學績測驗質量分析中的應用 [J].教育研究與實驗，2013，（1）：87-91.

基金項目：遼寧省科學技術計劃項目（編號：2013405003）。endprint

基于題目“目標-難度”層次分析評估來確定一個測驗的分數合格線時，其主要思想是根據對題目考查目標層次的認識以及對題目難易程度做出的經驗判斷，把整個測試卷中所有題目按照兩個特征進行雙向分類。然后，由組卷系統(tǒng)根據組卷策略為每一類題目指派一個臨界概率，這個臨界概率就是設想一個尚可接受的最低能力的被試者，能夠正確回答該類題目的可能性大小，或者認為這一臨界概率是對每一位被稱為合格的被試者提出至少應答對該類題目的比例大小（同概率值大小相等）。這種方法涉及二維評判，組卷策略要考慮設計一些所謂最低能力且又是可接受的被試者，答對特定題目或答對這類題目的可能性。這種方法簡述如下：

第一步：組卷系統(tǒng)把一份測試卷中的所有題目按K個考查目標能力層次進行分類（比如按布盧姆關于認知目標的六個層次來分），設這K類所占分數分別為M1，M2…Mk（若在組織試卷過程中有過測試藍圖設計，可直接利用命題雙向細目表中的考查目標層次界定及其相應題目的權數）。

第二步：把上述每一類題目按照難、中、易分成三組，因此可得到更細的分類。計算各組題目的分數，就可得到測驗題目雙向分類下的數據塊，以矩陣的形式記為：

第三步：設想一個可接受的最低能力的被試者，答對上述“第i個難度層次第j個能力目標層次”所有題目的可能性大小為Pij（這里i=1，2，3；j=1，2，…，K），得到一個概率矩陣，記為：

第四步：計算該試驗的最低合格分數，記為：

五、實例分析

設計某次課程結業(yè)考試，其命題雙向細目表的設計，題目可分成五個目標層次（即五種題型），K=5和難、中、易三種難度水平，得到如下雙向分類數據，如表1，記為：

進一步地，若綜合組卷策略及專家系統(tǒng)的智能評判，計算出一個尚可接受的最低能力被試者，答對上述各組命題的概率如表2。

則該次被試者抽取試卷考試的分數合格線可定為：

E=5×0.45+1×0.30+2×0.10+6×0.10+…+15×0.80+2×0.90=60.30（分）

如果被試者超過其選擇試題的分數合格線，其能力水平基本符合測試要求，這將成為其最終測試是否達到標準水平的重要依據。

六、結論

將基于題目“目標-難度”層次分析評估法應用于考試系統(tǒng)，配合組卷策略及相關專家系統(tǒng)，按照“目標-難度”兩個特征對題目進行雙向分類，應用二維評判，確定被試者抽取到的各自試卷的合格分數線，判斷被試者是否對此套試題達到合格水平，并且保證考試的公平性。

參考文獻：

[1]張洪祥，李秀菊.對考試難度和及格分數線的初步探討 [J].教育科學，1987，（3）：50-56.

[2]韓寧.如何確定及格分數線 [J].上海教育科研，1989，（5）：40-42.

[3]王伏華，蔣源.基于層次分析法的動態(tài)評估研究 [J].軟件導刊，2012，11（2）：8-9.

[4]潘良明.灰色層次評估法 [J].系統(tǒng)工程，1992，10（5）：45-51.

[5]肖洋，王驍，劉鳳新.在線考試組卷算法研究 [J].北京化工大學學報，2006，33（4）：44-47.

[6]陳磊，姜薇.通用考試系統(tǒng)的設計與實現 [J].計算機工程與設計，2007，28（17）：4285-4289.

[7]黃光揚.教育測量與評價 [M].上海：華東師范大學出版社，2002.

[8]張建同，呂碧玉.基于假設檢驗方法的考試及格線確定 [J].統(tǒng)計與決策，2009，（3）：165-166.

[9]趙守盈，何妃霞，劉妍.Rasch模型在學績測驗質量分析中的應用 [J].教育研究與實驗，2013，（1）：87-91.

基金項目：遼寧省科學技術計劃項目（編號：2013405003）。endprint