基于深度置信神經(jīng)網(wǎng)絡(luò)的組卷難度預(yù)測(cè)

謝 瑩，許榮斌

（安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥230601）

目前高校的各理工科專業(yè)本科應(yīng)用型人才培養(yǎng)體系中，程序設(shè)計(jì)能力是應(yīng)用型人才培養(yǎng)的重要目標(biāo).在程序設(shè)計(jì)實(shí)踐教學(xué)中，考試是檢驗(yàn)學(xué)生能力和教學(xué)效果最為有效的手段，其重要性不言而喻.健全公平公正的考試制度，發(fā)揮考試的評(píng)價(jià)功能，實(shí)現(xiàn)最終的教學(xué)目標(biāo)，是人才培養(yǎng)過程中需要研究和探討的重要課題.在高校多年來進(jìn)行的程序設(shè)計(jì)考試中，教師應(yīng)該在每一批考試前選擇難度具有穩(wěn)定性的試卷來保證考試的公平性［1-3］.近年來試卷難度的評(píng)價(jià)方法引起了很多學(xué)者的注意.

試卷及試題難度定義為某試題回答錯(cuò)誤的考生占到全部考生的比例.研究發(fā)現(xiàn)，試題的難度信息在組卷前是不容易被直接觀測(cè)到的，傳統(tǒng)的方法是由教師進(jìn)行人工估計(jì).那么，由于教師估計(jì)存在很大的主觀性，而且當(dāng)試題量大的時(shí)候人力工作的效能也會(huì)下降，得到的難度估計(jì)值也會(huì)有較大偏差.所以，設(shè)計(jì)一種自動(dòng)且高正確率的試題難度預(yù)測(cè)算法是當(dāng)前迫切需要解決的工作.以多年的程序設(shè)計(jì)測(cè)試歷程看，現(xiàn)存的自動(dòng)化閱卷系統(tǒng)已經(jīng)可以采集到豐富的測(cè)試記錄，學(xué)生的測(cè)試日志以及試題的文本素材，這些信息將有助于工作人員設(shè)計(jì)試題難度預(yù)測(cè) （Test Difficulty Prediction）工作.例如，一項(xiàng)程序設(shè)計(jì)測(cè)試題包含兩個(gè)問題，每個(gè)問題包含了對(duì)應(yīng)的文檔（Test Content），試題（Test Question）和選項(xiàng)（Test Option）.

測(cè)試題中的文本理解如自然語言理解（NLP）的相關(guān)研究有了一定的進(jìn)展.但這些研究成果無法直接應(yīng)用在試題難度預(yù)測(cè)工作上，主要原因如下：①程序設(shè)計(jì)測(cè)試題中的文本素材（如文檔，試題和選項(xiàng)）需要從語義的角度來理解和表示；②不同的題干包含的文本不同，需要研究題干所對(duì)應(yīng)文本的重要性程度.

為了更好地解決這些問題，筆者提出一種基于注意力機(jī)制的深度置信網(wǎng)絡(luò)Attention Deep Belief Neu ral Network（ADBN）框架，這個(gè)框架可以在具備學(xué)生往年測(cè)試日志和題干前提下，構(gòu)建模型用以自動(dòng)預(yù)測(cè)試題難度.框架采用一個(gè)基于DBN的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來表示試題的語義表示，再通過使用注意力機(jī)制訓(xùn)練ADBN框架進(jìn)而預(yù)測(cè)到每一項(xiàng)新試題的難度值.新框架在大規(guī)模試題數(shù)據(jù)集上進(jìn)行了豐富的實(shí)驗(yàn)，驗(yàn)證了其有效性.該框架為程序設(shè)計(jì)課程試題難度預(yù)測(cè)工作提出了一套基于歷史數(shù)據(jù)、注意力機(jī)制驅(qū)動(dòng)的解決方案，保證了組卷難度的穩(wěn)定性，有助于更好地建立程序設(shè)計(jì)課程公平公正的考試制度.

1 基于注意力機(jī)制的深度置信神經(jīng)網(wǎng)絡(luò)介紹

首先闡述程序設(shè)計(jì)試題難度預(yù)測(cè)任務(wù)的具體工作，其次分析模型的具體組成部分，提出基于試題相關(guān)度的訓(xùn)練策略來幫助提高預(yù)測(cè)的準(zhǔn)確率.

1.1 工作流程

指定程序設(shè)計(jì)測(cè)試問題集合，其中包含試題Qi文檔、問題和選項(xiàng).每一項(xiàng)試題具有對(duì)應(yīng)的難度值，訓(xùn)練集中的難度值Pi∈［0,1］從歷年的測(cè)試日志中獲得.試題難度預(yù)測(cè)工作的目標(biāo)是依據(jù)試題Qi的屬性訓(xùn)練出預(yù)測(cè)模型ADBN.當(dāng)再有新試題需要用以組卷時(shí)，ADBN模型將對(duì)新試題進(jìn)行難度估計(jì)，使得每次組卷時(shí)都能夠控制試卷的整體難度，保持試卷難度穩(wěn)定.

程序設(shè)計(jì)試題難度預(yù)測(cè)的整體流程主要分為：訓(xùn)練和測(cè)試.在訓(xùn)練部分中，給定考生的歷年測(cè)試日志，提出ADBN來理解和表示問題Qi對(duì)應(yīng)的文本素材難度P~i，再提出試題相似度策略用以訓(xùn)練ADBN，使試卷中試題的難度分布較為合理.在測(cè)試部分，ADBN模型可以針對(duì)擬采用的試題計(jì)算難度值.

1.2 ADBN組成部分

筆者將詳細(xì)闡述ADBN的組成部分和技術(shù)細(xì)節(jié).ADBN主要包含4個(gè)部分（見圖1）：輸入層、語義DBN層、注意力獲取層和預(yù)測(cè)層.其中語義DBN層和注意力獲取層是最重要的兩個(gè)部分，前者主要是從語義角度學(xué)習(xí)問題的文本素材；后者則通過度量問題文本的相似度來學(xué)習(xí)對(duì)應(yīng)問題的注意力表示.

圖1 ADBN整體框架圖

（1）輸入層.將問題 Qi的文本輸入到 ADBN 的輸入層，包含有文檔（TGi），問題（TQi）以及對(duì)應(yīng)選項(xiàng)（TOi）.TCi為語句序列，TCi={S1,S1…,SM}，其中M是序列的長度.TQi和TOi的每一個(gè)選項(xiàng)都為獨(dú)立語句.每一個(gè)語句由一系列詞s組成，s={w1,w1…,wN}，其中wi∈Rd0,wi由d0維詞嵌入來進(jìn)行初始化工作，這些詞嵌入都是預(yù)訓(xùn)練過的內(nèi)容.N是句子的長度.文檔則由張量TCi∈RM×N×d0表示，問題 TQi及 TOi的選項(xiàng)構(gòu)成矩陣 s∈RN×d0.

（2）語義表示DBN層.第二層為語義DBN層，目的在于從詞的角度學(xué)習(xí)語義表示.筆者選擇基于DBN的結(jié)構(gòu)來表示語句，主要考慮到幾點(diǎn)：①考生一般通過局部關(guān)鍵字來獲取題干信息，DBN結(jié)構(gòu)比較適合用來獲取局部語義信息；②DBN可以獲取詞之間的連接，并可以得到語義的深度表示；③與其他深度學(xué)習(xí)結(jié)構(gòu)相比，DBN提高了訓(xùn)練過程中的信息提取，進(jìn)而提升預(yù)測(cè)模型的兼容度.

語義表示DBN層是傳統(tǒng)DBN的改進(jìn)，在實(shí)際工作中可以獨(dú)立訓(xùn)練每一層RBM網(wǎng)絡(luò)結(jié)構(gòu)，確保特征向量映射到不同特征空間時(shí)盡可能多地提取特征.假設(shè)語句矩陣輸入s∈RN×d0，s={w1,w1…,wN}，得到第一批新的隱層語句，如

其中b∈Rd，d是輸出維度.σ(x)是非線性激活函數(shù)tan.隨著不斷地得到隱層語句，連續(xù)的k個(gè)詞就可以構(gòu)成局部的語義表示.將序列ˉhcp中的特征融合入新的全局隱層序列，如接著，得到全局集成詞，從而形成一個(gè)句子，得到向量化的表示為語句表示DBN層的輸出維度.到目前為止，文檔就轉(zhuǎn)換為了矩陣TCi∈RM×d1，這個(gè)矩陣含有M個(gè)句子的表示信息.問題題干TQi和TOi每一個(gè)選項(xiàng)的文本都是語義向量s∈Rd1.

（3）注意力表示層.在從語義DBN層中獲得語義表示后，注意力層的主要目的在于針對(duì)每一個(gè)問題題干來檢測(cè)難度注意力表示，需要針對(duì)某一具體問題的相似度來度量文本素材，進(jìn)而學(xué)習(xí)問題的注意力表示.

注意力表示由向量進(jìn)行建模，通過加權(quán)文檔和選項(xiàng)角度表示語句.對(duì)某一問題Qi，文檔的注意力向量DAi可表示為：

與文檔注意力向量DAi相似，針對(duì)問題Qj的選項(xiàng)注意力向量OAi建模如方程（1）所示.注意力分值αj使得ADBN以高分提取語句作為具體問題的信息.后面的實(shí)驗(yàn)部分將針對(duì)某一具體問題的注意力結(jié)果進(jìn)行深度分析.

（4）預(yù)測(cè)層.最后一層為預(yù)測(cè)層，預(yù)測(cè)層的目的在于預(yù)測(cè)問題Qi的難度Pi，而已有的信息包括文檔注意力DAi，選項(xiàng)注意力OAi以及語句表示.實(shí)驗(yàn)中，首先通過連結(jié)操作將它們聚合，接著執(zhí)行傳統(tǒng)的全聯(lián)接網(wǎng)絡(luò)來學(xué)習(xí)Oi的整體難度表示，最后通過邏輯函數(shù)預(yù)測(cè)難度Pˉi（其中W1,b1,W2,b2為網(wǎng)絡(luò)參數(shù)）：

試題相似度目標(biāo)方程：首先建構(gòu)試題相似度的訓(xùn)練元組{(Ti,Qi,Qj)}.目標(biāo)方程轉(zhuǎn)換為相似度目標(biāo)方程：

其中Pi和Pj表示為問題Qi和QJ在問題Qi中的真實(shí)難度.至此，得到ADBN模型直接最小化方程J.

接著，訓(xùn)練后的模型M可以對(duì)新來的試題預(yù)測(cè)難度.估計(jì)完新試卷中問題的難度后，就可確定這份試卷是否可以投入到正規(guī)測(cè)試中去.

2 實(shí)驗(yàn)驗(yàn)證

2.1 實(shí)驗(yàn)準(zhǔn)備

（1）數(shù)據(jù)集描述.實(shí)驗(yàn)數(shù)據(jù)集包含了10多萬的歷史測(cè)試日志.實(shí)驗(yàn)采用word2vec工具在輸入層中執(zhí)行單詞映射工作，維度設(shè)為 100［4］.

（2）ADBN設(shè)置.考慮到大約90%以上的文檔包含有少于20個(gè)語句和30個(gè)詞，所以本實(shí)驗(yàn)設(shè)置文檔句子的最大長度M=20，詞的最大長度N=30.映射到四層神經(jīng)網(wǎng)絡(luò)上的維度為（100，200，400，600）.

（3）訓(xùn)練過程設(shè)置.采用隨機(jī)初始化的方法初始化所有網(wǎng)絡(luò)層核向量參數(shù)，使得它們都在之間，其中nin和nout是相對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的輸入和輸出特征大?。?］.在訓(xùn)練時(shí)設(shè)置最小batch為24，并設(shè)置概率閾值0.3的dropout來防止過擬合.

（4）對(duì)比方法.采取 CRBMs［6］、SDBN［7］和傳統(tǒng) DBN［8］作為對(duì)比方法.ADBN 和對(duì)比方法都在 Tensorflow下執(zhí)行，系統(tǒng)實(shí)驗(yàn)在GeForce GTX 1070 Ti，1 683/8 000 MHz 8 GB/256 Bit GDDR5 PCI-E GPU下執(zhí)行.

（5）評(píng)價(jià)方法.為了測(cè)試ADBN的性能，實(shí)驗(yàn)采用常見的均方根誤差 （RMSE）來計(jì)算試題難度預(yù)測(cè)精度.本項(xiàng)工作也借鑒了教育心理學(xué)的相關(guān)測(cè)量方法.在教育心理學(xué)中，對(duì)某試卷而言，真實(shí)難度和預(yù)測(cè)值相關(guān)性越高，則性能越好.實(shí)驗(yàn)采用了皮爾遜相關(guān)系數(shù)Person Correlation Coefficient（PCC）平均值來度量相關(guān)度性能.在實(shí)驗(yàn)中，RMSE越小，性能越好；PCC值越大則性能越好.

2.2 實(shí)驗(yàn)結(jié)果

（1）試題難度預(yù)測(cè)結(jié)果.為了觀測(cè)新方法在不同數(shù)據(jù)稀疏度下的性能，實(shí)驗(yàn)隨機(jī)選取了數(shù)據(jù)集的60%，40%，20%，10%作為測(cè)試集合，余下部分作為訓(xùn)練集.為了預(yù)防過擬合，實(shí)驗(yàn)去除了訓(xùn)練集中相同的問題文檔，保證測(cè)試集和訓(xùn)練集中都具備不同的問題.

表1展示了新方法和對(duì)比方法的試題難度預(yù)測(cè)任務(wù)實(shí)驗(yàn)結(jié)果，通過使用注意力機(jī)制來度量文本相似度（RMSE越小越好），可以看出ADBN效果最好.

表1 試題難度（RMSE指標(biāo)）

（2）與教師人工標(biāo)注比較.為了進(jìn)一步展示ADBN的性能，實(shí)驗(yàn)選擇了10份標(biāo)準(zhǔn)測(cè)試并邀請(qǐng)5位教師專家來人工處理程序設(shè)計(jì)試題.每一份試卷包含36個(gè)試題.教師作答并標(biāo)注難度值.將教師標(biāo)注的的預(yù)測(cè)值平均后記為TeAvg，得到6個(gè)教師標(biāo)注值（5位教師標(biāo)注值+1份平均標(biāo)注值）.根據(jù)教育學(xué)原理，實(shí)驗(yàn)使用PCC來獲得預(yù)測(cè)難度和實(shí)際難度的相關(guān)性，結(jié)果見表2.

表2 ADBN與教師標(biāo)注結(jié)果比較（PCC指標(biāo)）

ADBN在大多數(shù)情況下比教師標(biāo)注效果要好，這意味著ADBN的預(yù)測(cè)結(jié)果是和實(shí)際較為符合的.同時(shí)也可以看到教師標(biāo)注的難度值穩(wěn)定性不夠.比如，存在有教師做試題難度預(yù)測(cè)任務(wù)做得很好，但是其他教師沒做出來，主要原因是教師進(jìn)行難度標(biāo)注的時(shí)候比較主觀，不容易保持連續(xù)的注意力，容易出錯(cuò).

3 結(jié)語

本文提出一種基于注意力機(jī)制的深度置信網(wǎng)絡(luò)（Attention Deep Belief Network）方法，此方法用來解決程序設(shè)計(jì)測(cè)試試題難度自動(dòng)預(yù)測(cè)問題.文章首先設(shè)計(jì)了一種基于深度置信網(wǎng)絡(luò)架構(gòu)，研究測(cè)試問題的語義表示；接著用注意力機(jī)制度量測(cè)試問題的難度；最后提出相似度策略來訓(xùn)練ADBN，并生成預(yù)測(cè)難度值.新框架在10萬條程序設(shè)計(jì)測(cè)試日志上進(jìn)行了相關(guān)實(shí)驗(yàn)，并采用常見的RMSE和教育心理學(xué)中常用的PCC指標(biāo)進(jìn)行驗(yàn)證.實(shí)驗(yàn)結(jié)果表明，新模型在有效性和可解釋性方面效果顯著.