• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于題目關(guān)聯(lián)知識(shí)的試題難度預(yù)測(cè)研究

    2022-05-11 06:24:32宋慧媛徐行健孟繁軍
    關(guān)鍵詞:語句注意力試題

    宋慧媛,徐行健,孟繁軍

    (內(nèi)蒙古師范大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,內(nèi)蒙古 呼和浩特 010022)

    計(jì)算機(jī)技術(shù)的快速發(fā)展對(duì)高校教學(xué)管理提出了新挑戰(zhàn)[1],在試題難度評(píng)估方面,傳統(tǒng)方法有兩類:一類是通過人工對(duì)試題進(jìn)行預(yù)估[2],但存在個(gè)人傾向較強(qiáng)、難以保證客觀性的不足;另一類是通過教育數(shù)據(jù)挖掘進(jìn)行試題評(píng)估[3],利用學(xué)生作答記錄對(duì)試題得分進(jìn)行建模進(jìn)而評(píng)估試題參數(shù)和學(xué)生能力。但學(xué)習(xí)者水平不同,依賴評(píng)估者的水平和對(duì)試題的認(rèn)知程度,容易造成先驗(yàn)知識(shí)的依賴[4]。深度學(xué)習(xí)與考試的深度融合,改善了試題質(zhì)量評(píng)估的方法,具有理論和實(shí)踐意義。

    因此,本文提出基于深度神經(jīng)網(wǎng)絡(luò)模型,利用試題文本信息的同時(shí)結(jié)合考生作答記錄,建立試題文本信息和實(shí)際難度間的關(guān)聯(lián)性,進(jìn)而解決測(cè)試中試題難度參數(shù)的預(yù)估等問題。Huang 等[5]在標(biāo)準(zhǔn)考試中對(duì)英語閱讀理解題進(jìn)行難度預(yù)測(cè),通過給定段落和試題推斷試題正確答案,但無法直接應(yīng)用于其他類型試題如單項(xiàng)選擇題難度的預(yù)測(cè)。故本文以大學(xué)計(jì)算機(jī)基礎(chǔ)單項(xiàng)選擇題為例,提出一種基于題目關(guān)聯(lián)知識(shí)的試題難度預(yù)測(cè)模型,自動(dòng)預(yù)測(cè)選擇題的難度,并通過大學(xué)計(jì)算機(jī)基礎(chǔ)單項(xiàng)選擇試題難度預(yù)測(cè),驗(yàn)證該方法的準(zhǔn)確性和有效性。

    1 相關(guān)工作

    1.1 教育心理學(xué)中的問題難度預(yù)測(cè)

    經(jīng)典測(cè)量理論CTT[6]是教育心理測(cè)量學(xué)理論的分支,利用心理測(cè)試和統(tǒng)計(jì)方法來測(cè)試題目的難度或考生的能力。胡子璇等[7]研究了試題因素與相應(yīng)試題難度之間的關(guān)系,項(xiàng)目反應(yīng)理論IRT 利用數(shù)學(xué)模型對(duì)人和問題的潛在特征(難度、區(qū)分度等)進(jìn)行評(píng)估[8]。Rasch 是IRT 的一種概率模型[9],通過邏輯類函數(shù)和學(xué)生作答記錄等反饋信息來評(píng)估試題的難度,但這些模型的共同局限性在于過度依賴于評(píng)估者自身的認(rèn)知水平和對(duì)試題的認(rèn)知程度,使得預(yù)測(cè)結(jié)果的客觀性、準(zhǔn)確性精度較低。

    1.2 自然語言處理領(lǐng)域中的難度預(yù)測(cè)

    目前已有眾多研究工作使用自然語言處理方法(NLP)來預(yù)測(cè)問題的難度[10]。Loukina 等[11]研究了基于多個(gè)文本的復(fù)雜性特征系統(tǒng),利用單詞的不熟悉性和較長(zhǎng)語句的平均頻率可以預(yù)測(cè)試題的難度。朱永強(qiáng)[12]利用文本挖掘方法分析文本詞法、語義特征等,但需要手工設(shè)計(jì)文本特征,只限于特定的一些模型結(jié)構(gòu)。佟威等[13]針對(duì)數(shù)學(xué)試題,利用題面分析、試題題干和選項(xiàng)進(jìn)行難度預(yù)測(cè)?;贑NN、RNN 的體系結(jié)果對(duì)文本信息進(jìn)行表示,通過對(duì)文檔、試題題干及選項(xiàng)的語義表示全連接進(jìn)而得到難度。在閱讀理解試題、數(shù)學(xué)試題中,問題的答案可從給定段落中推斷得出,意味著給定的段落對(duì)于難度預(yù)測(cè)的解決至關(guān)重要,但其難度預(yù)測(cè)模型都不可直接應(yīng)用于一般單項(xiàng)選擇題中。為解決這類模型的局限性,本文提出一種基于題目關(guān)聯(lián)知識(shí)的試題難度預(yù)測(cè)模型(MR-ABNN),對(duì)題目關(guān)聯(lián)知識(shí)信息文本摘要的抽取來豐富試題題干背景知識(shí),利用神經(jīng)網(wǎng)絡(luò)模型挖掘試題文本信息并建模,輸入試題特征到模型中可得到試題的難度預(yù)測(cè)值。

    2 MR-ABNN 框架

    2.1 問題定義

    在所學(xué)科目中,計(jì)算機(jī)基礎(chǔ)試題形式較為簡(jiǎn)潔,設(shè)問方式也較為單一,最符合本文模型對(duì)試題形式的要求。表1 為一道計(jì)算機(jī)基礎(chǔ)試題文本實(shí)例,數(shù)據(jù)包括試題ID,題目信息、選項(xiàng)和答案。輸入到模型的數(shù)據(jù)需為真實(shí)有效的試題和考生作答記錄,試題可從隨堂測(cè)驗(yàn)、期末試題及月考中獲得。讓Q表示一組計(jì)算機(jī)基礎(chǔ)試題,每個(gè)Q∈Q 都有一個(gè)難度屬性P值,一個(gè)正確答案A和3 個(gè)干擾選項(xiàng)(C1,C2,C3)。問題定義在形式上,給定試題集Q,目標(biāo)是利用所有的問題Q∈Q 訓(xùn)練模型MR-ABNN,來預(yù)估試題的難度值。表2 為考生作答記錄實(shí)例,每條記錄代表每個(gè)考生在一場(chǎng)考試中對(duì)于某一道題的得分。傳統(tǒng)方法中試卷難度系數(shù)[14]用來表現(xiàn)試題的難易程度,難度系數(shù)越大,試題得分率越高,難度也就越小。

    表1 計(jì)算機(jī)基礎(chǔ)試題文本實(shí)例Tab.1 Computer basic test text examples

    表2 考生作答記錄實(shí)例Tab.2 Example of answer record of candidates

    2.2 模型整體框架

    MR-ABNN 共包括三個(gè)模塊,如圖1 所示。首先是題目關(guān)聯(lián)知識(shí)的抽取模塊,利用抽取式自動(dòng)文本摘要抽取方法,通過對(duì)試題所屬各部分章節(jié)內(nèi)容進(jìn)行抽取,獲得與試題關(guān)聯(lián)的信息,豐富試題的上下文知識(shí);其次是基于神經(jīng)網(wǎng)絡(luò)的試題難度預(yù)測(cè)模塊,依據(jù)所獲得的試題、考生作答記錄信息,通過文本建模挖掘試題文本理解中蘊(yùn)含的局部重點(diǎn)詞句與試題難度的關(guān)聯(lián),進(jìn)行試題難度的預(yù)測(cè),同時(shí)以該題獲得的實(shí)際得分率作為對(duì)比標(biāo)簽輸入到該模型中訓(xùn)練;最后是測(cè)試模塊,經(jīng)訓(xùn)練后得到基于題目關(guān)聯(lián)知識(shí)點(diǎn)的試題難度預(yù)測(cè)模型,將未經(jīng)測(cè)試過的試題輸入到該模型中,驗(yàn)證其難度預(yù)測(cè)值的準(zhǔn)確性。

    圖1 模型整體框架Fig.1 Overall framework of the model

    2.3 模型結(jié)構(gòu)

    2.3.1 題目關(guān)聯(lián)知識(shí)信息抽取 MR-ABNN 主要有兩個(gè)部分組成,第一部分是基于最大邊界相關(guān)度的抽取式文本摘要模塊,為豐富試題的上下文知識(shí),利用詞嵌入、句嵌入的方法將文本以向量表征的方式進(jìn)行表示,通過計(jì)算句子間相似度、關(guān)鍵詞與位置信息對(duì)句子重要性的影響,使句子按照得分高低排序,從而得到試題相關(guān)篇章內(nèi)容的高質(zhì)量摘要。

    (1)數(shù)據(jù)預(yù)處理,指對(duì)試題所屬篇章內(nèi)容文本數(shù)據(jù)的處理。本文選取的是大學(xué)計(jì)算機(jī)基礎(chǔ)一的教材內(nèi)容數(shù)據(jù),需要進(jìn)行數(shù)據(jù)整理,包括對(duì)缺失值的處理和冗余信息的刪除,除去一些無用的符號(hào)、空格等,保存成.txt 格式。

    (2)特征提取,主要包括三部分。首先,關(guān)鍵詞提取主要是利用TF-IDF 算法[15]提取得出,對(duì)文章中的詞做詞性標(biāo)注且取得TF-IDF 值并排序,值越高,作為關(guān)鍵詞的可能性越大;其次,句子的位置信息是指在段落中開頭或結(jié)尾的句子,作為總結(jié)性的語句可大體代表文章的總體文義。由于對(duì)試題所屬章節(jié)內(nèi)容進(jìn)行整合,沒有分段,故只考慮位置信息在段首還是段尾;最后,句子向量表示,提取句子表征,計(jì)算句子與文章的相似度值,來獲取更能表示文章主旨的語句。通過詞嵌入思想獲取單詞的詞向量,利用Word2vec 算法[16]訓(xùn)練詞向量,得到句子中詞語的向量表征,如公式(1)

    其中:j表示文本中第j個(gè)語句,i為第j語句的第i個(gè)詞語;wji為第j個(gè)語句中第i個(gè)詞的詞向量,m為第j個(gè)語句的長(zhǎng)度。

    (3)句子打分,首先對(duì)句子關(guān)鍵詞打分,關(guān)鍵詞在句子中出現(xiàn)頻率越高,句子在文檔中重要性越高,如公式(2)

    其中:j為第j個(gè)語句,N(k)指第j個(gè)語句中關(guān)鍵詞的個(gè)數(shù);max[N(k)]為語句中包含關(guān)鍵詞數(shù)最多的關(guān)鍵詞數(shù)。

    然后是對(duì)語句位置信息打分,考慮語句在段首還是段尾,如公式(3)

    最后計(jì)算語句與篇章的相似度,相似度得分越高,該語句越能代表該段落的總體語義,如公式(4)

    其中:Vj指語句的向量表示,由句子中詞向量取均值可得;為篇章除第j句后其他語句的詞向量的均值向量,計(jì)算二者余弦相似度S得到語句與篇章的相似度得分。獲得句子關(guān)鍵詞、語句位置信息及語句與篇章的相似度得分后,取其平均值得最終得分。

    (4)關(guān)聯(lián)知識(shí)信息文本摘要抽取,得到句子總分之后,基于得分對(duì)篇章中全部語句進(jìn)行排序,得到每次循環(huán)的候選語句。為選取冗余性低、重要性高且全面、包含更多信息的語句,選取了最大邊界相關(guān)度算法(MMR)。在候選語句中每次選取句子時(shí)都計(jì)算其MMR 分?jǐn)?shù)[17],如公式(5)

    其中:R(Vj)為MMR 得分;Cj為第j個(gè)語句的得分;S1為語句Vj和當(dāng)前摘要V' 的余弦相似度,相似度值越大,表示該語句與當(dāng)前摘要相似度越高;η為調(diào)節(jié)參數(shù)。

    MMR 算法通過計(jì)算候選語句中每個(gè)語句的MMR 得分,按照得分從大到小排序,得分最高者加入當(dāng)前摘要中,更新當(dāng)前摘要的長(zhǎng)度,同時(shí)候選語句集進(jìn)行更新。最后判斷當(dāng)前摘要長(zhǎng)度如果大于設(shè)定的長(zhǎng)度,則得到最終關(guān)聯(lián)知識(shí)信息文本摘要。

    2.3.2 基于神經(jīng)網(wǎng)絡(luò)的試題難度預(yù)測(cè) 第二部分是融合注意力機(jī)制的雙向循環(huán)神經(jīng)網(wǎng)絡(luò),該模型一共包括四層模型結(jié)構(gòu),有輸入層、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)層、注意力層和預(yù)測(cè)層,如圖2 所示。

    圖2 試題難度的模型結(jié)構(gòu)Fig.2 Model structure diagram of test difficulty

    (1)輸入層,該神經(jīng)網(wǎng)絡(luò)的輸入是試題Qi的所有文本材料,包括文本摘要抽取得到的題目關(guān)聯(lián)知識(shí)文本Pai,問題Qi及選項(xiàng)Oi。Pai表示文本詞語的序列,即Pai={e0,e1,…,eN-1},N為詞語表征個(gè)數(shù)。同樣問題Qi及選項(xiàng)Oi也都利用word2vec 進(jìn)行預(yù)訓(xùn)練,得到每個(gè)詞語對(duì)應(yīng)的d0=200 維的詞向量。全部文本信息得到向量表征后輸入到融合注意力機(jī)制的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中獲取語義理解。

    (2)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)層,由于RNN 存在長(zhǎng)距離依賴問題[18],需在RNN 中加入LSTM 單元,但RNN和LSTM 都只依據(jù)之前的時(shí)序信息預(yù)測(cè)下一時(shí)刻的輸出,為聯(lián)合上下文信息進(jìn)行準(zhǔn)確預(yù)測(cè),本文采用兩個(gè)LSTM 也就是Bi-LSTM,前向LSTM 網(wǎng)絡(luò)負(fù)責(zé)獲取前面時(shí)序信息,后向LSTM 負(fù)責(zé)獲取后向序列信息,從正向、反向兩方向?qū)W習(xí)試題語義邏輯,捕捉更多文本信息。

    該層的輸入序列為Eemb={e0,e1,…,eN-1},首先將文本序列中的e0,e1,…,eN-1分別在t0,t1,t2,…,tn時(shí)刻逐次輸入Bi-LSTM 中,并且所有作為輸入信息的詞語都經(jīng)過向量化表示,其中wi,i=1,2,…,6 表示為權(quán)值。假如在待標(biāo)注序列的某個(gè)位置i,正向LSTM 得到隱層輸出為,反向LSTM 則得到,則可認(rèn)為獲取了位置i前的歷史信息獲取了位置i后的未來信息,最后隱層輸出為,其中⊕表示將兩個(gè)向量鏈接起來,將hi從輸出層中輸出。

    (3)注意力層,從Bi-LSTM 層獲得語句的向量表示后,加入注意力機(jī)制計(jì)算問題的難度注意力表示。注意力權(quán)重表示句子對(duì)于決定試題難度的重要程度,得到篇章hP和hQ后,注意力層計(jì)算機(jī)出一個(gè)篇章單詞和一個(gè)試題單詞的成對(duì)匹配矩陣M,如公式(6)

    當(dāng)給出段落的第i個(gè)單詞和問題的第j個(gè)單詞時(shí),注意力機(jī)制可對(duì)其進(jìn)行點(diǎn)積來得到匹配分?jǐn)?shù),通過對(duì)M中每列用softmax 函數(shù)獲取其概率分布,且每一列都表示單獨(dú)的篇章級(jí)注意力,A1(Pan)表示第n個(gè)單詞的篇章注意力,A2(Qn)表示第n個(gè)單詞的問題注意力,如公式(7)和(8)

    在獲得試題對(duì)文本、文本對(duì)試題的注意力之后,計(jì)算二者的點(diǎn)積,將每個(gè)試題單詞的重要性程度可視化,輸出最終的文章級(jí)注意力向量A(Pai),用來衡量文章Pai中單詞en的重要性,如公式(9)

    同理問題Qi、選項(xiàng)Oi的注意力權(quán)重也可以上述方式建模。通過加入注意力機(jī)制有助于計(jì)算與試題更相關(guān)的段落或選項(xiàng)中詞語的分?jǐn)?shù),有助于提升模型的準(zhǔn)確性。

    (4)預(yù)測(cè)層,在這一層中,使用文章注意力向量Pai,選項(xiàng)注意力向量Oi和試題Qi,預(yù)估試題qi的難度,將以上三個(gè)向量進(jìn)行拼接,利用全連接層獲取難度表示θi,使用Sigmoid 函數(shù)預(yù)估試題難度,如公式(10)和(11)

    其中w1,b1,w2,b2為網(wǎng)絡(luò)中可調(diào)整的參數(shù)。

    3 模型驗(yàn)證實(shí)驗(yàn)

    3.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集處理

    本次實(shí)驗(yàn)使用Intel i5-10210U CPU@1.60 GHz 的實(shí)驗(yàn)環(huán)境,操作系統(tǒng)為Window7,利用Pycharm 中Anaconda3 與TensorFlow 框架。

    實(shí)驗(yàn)中數(shù)據(jù)集為高校大學(xué)計(jì)算機(jī)基礎(chǔ)一的期末考試試題、隨堂測(cè)驗(yàn)試題和考生作答記錄,其中每條數(shù)據(jù)都包括試題關(guān)聯(lián)知識(shí)內(nèi)容、問題、選項(xiàng)(正確選項(xiàng)、錯(cuò)誤選項(xiàng))及試題實(shí)際難度。實(shí)驗(yàn)數(shù)據(jù)集共包括21 000 條答題記錄,由600 多名學(xué)生作答,有330 道不同試題。由于數(shù)據(jù)集在整理過程中受到人為因素或其他客觀因素的影響,為保證數(shù)據(jù)的合理性,避免對(duì)預(yù)測(cè)結(jié)果產(chǎn)生影響,需對(duì)原始數(shù)據(jù)集進(jìn)行清理,去除缺失值、冗余信息及具有干擾性的數(shù)據(jù),表3 為大學(xué)計(jì)算機(jī)基礎(chǔ)試題部分?jǐn)?shù)據(jù)集示例。

    表3 大學(xué)計(jì)算機(jī)基礎(chǔ)試題部分?jǐn)?shù)據(jù)集示例Tab.3 Examples of some data sets of basic examination questions of university computer.

    3.2 對(duì)比實(shí)驗(yàn)

    為驗(yàn)證本研究提出模型(MR-ABNN)的效果,選取下述幾種基線預(yù)測(cè)算法做對(duì)比。

    (1)支持向量機(jī)(SVM)[19]:SVM 使用核函數(shù)向高維空間進(jìn)行映射,使用分類與回歸分析來分析數(shù)據(jù)的監(jiān)督學(xué)習(xí)模型,但對(duì)缺失數(shù)據(jù)、參數(shù)和核參數(shù)的選擇較為敏感。

    (2)決策樹(DT)[20]:DT 是遞歸地選擇最優(yōu)特征,對(duì)應(yīng)于模型的局部最優(yōu),但適合高維數(shù)據(jù),信息增益偏向于更多數(shù)值的特征,易忽略屬性之間的相關(guān)性。

    (3)邏輯回歸(LR)[21]:LR 建立代價(jià)函數(shù),通過優(yōu)化迭代求解出最優(yōu)的模型參數(shù),但在處理大量多類特征或變量時(shí)具有局限性。

    (4)RNN+Attention(ARNN)[5]:ARNN 可從提取向量表征的角度挖掘文本材料,獲取段落的語義信息,但由于缺乏題目關(guān)聯(lián)知識(shí)無法直接應(yīng)用于單項(xiàng)選擇試題難度預(yù)測(cè)的應(yīng)用場(chǎng)景。

    3.3 評(píng)價(jià)指標(biāo)

    為衡量MR-ABNN 模型的性能,本文利用較為廣泛使用的均方根誤差(RMSE)[22]、皮爾遜相關(guān)系數(shù)(PCC)[23]和決定系數(shù)R2[24]來進(jìn)行評(píng)價(jià)。RMSE 的取值范圍在[0,+∞),數(shù)值越小意味著預(yù)測(cè)難度與實(shí)際難度的差值越小,說明預(yù)測(cè)準(zhǔn)確度越高。PCC 取值范圍為[-1,1],絕對(duì)值越大表明試題預(yù)測(cè)難度與實(shí)際難度線性相關(guān)性越高。R2的取值范圍為[0,1],數(shù)值越大表明預(yù)測(cè)難度與實(shí)際難度越接近。

    3.4 實(shí)驗(yàn)結(jié)果及分析

    為觀察模型在不同數(shù)據(jù)集大小的效果,隨機(jī)選取40%、60%、80% 到90% 的訓(xùn)練集進(jìn)行測(cè)試。同時(shí),為防止過擬合,確保試題為未經(jīng)過測(cè)驗(yàn)的新試題且測(cè)試集與訓(xùn)練集試題之間沒有重疊,MR-ABNN 模型的實(shí)驗(yàn)結(jié)果見表4。

    表4 各模型在難度預(yù)測(cè)任務(wù)上的效果對(duì)比Tab.4 Comparison of effects of each model on difficulty prediction tasks

    (1)SVM、DT 及LR 為三種機(jī)器學(xué)習(xí)模型,SVM 回歸效果最差,DT 和LR 模型回歸效果較SVM 更好,可知一般的回歸模型并不能很好地進(jìn)行試題難度預(yù)測(cè)任務(wù);ARNN、MRABNN 神經(jīng)網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果明顯優(yōu)于前三種回歸模型,說明神經(jīng)網(wǎng)絡(luò)對(duì)試題難度預(yù)測(cè)可以更好地建模。

    (2)ARNN 為神經(jīng)網(wǎng)絡(luò)模型,加入注意力機(jī)制的Bi-LSTM 循環(huán)神經(jīng)網(wǎng)絡(luò)不僅可以度量計(jì)算機(jī)基礎(chǔ)知識(shí)資料中知識(shí)點(diǎn)對(duì)試題的重要程度,提高模型對(duì)試題與其相關(guān)語句表征的關(guān)注程度,還解決了RNN 中長(zhǎng)序列依賴問題和梯度消失問題。同時(shí)基于題目關(guān)聯(lián)知識(shí)的試題難度預(yù)測(cè)模型MR-ABNN 在利用文本信息摘要抽取方法,獲取與問題關(guān)聯(lián)的文本信息來豐富題干的上下文知識(shí)后,與ARNN 的性能效果相比具體大幅度提升。

    (3)ARNN、MR-ABNN 兩種神經(jīng)網(wǎng)絡(luò)模型效果隨訓(xùn)練數(shù)據(jù)量比例的增加得到提升。將訓(xùn)練數(shù)據(jù)量增加到60% 時(shí),MR-ABNN 的性能優(yōu)于其他方法,RMSE、PCC、R2值可達(dá)到0.19、0.67、0.46 以上;在訓(xùn)練集的比例達(dá)到90% 時(shí),MR-ABNN 模型的PCC、R2值達(dá)到最高,分別達(dá)到0.75、0.53 以上,RMSE 值達(dá)到最低0.14 左右。故可以得出,在實(shí)際大學(xué)計(jì)算機(jī)基礎(chǔ)一考試中,MR-ABNN 能夠以更強(qiáng)的能力捕獲更多的語義信息,且數(shù)據(jù)量足夠滿足模型要求時(shí),試題難度預(yù)測(cè)任務(wù)完成度可達(dá)到最優(yōu)。

    4 結(jié)語

    本文提出一種基于題目關(guān)聯(lián)知識(shí)的試題難度預(yù)測(cè)模型MR-ABNN,用于考試中單項(xiàng)選擇題難度的自動(dòng)預(yù)測(cè)。模型MR-ABNN 首先構(gòu)建題目關(guān)聯(lián)文本信息摘要的抽取模型,用于豐富題干的上下文知識(shí),解決單項(xiàng)選擇題沒有背景知識(shí)支撐的問題,然后基于加入注意力機(jī)制的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)試題難度的自動(dòng)評(píng)估。在真實(shí)測(cè)試數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明該模型的優(yōu)越性和有效性。目前,只在計(jì)算機(jī)基礎(chǔ)選擇題考試中應(yīng)用MR-ABNN,如果其他科目或領(lǐng)域也有對(duì)應(yīng)的教材內(nèi)容和真實(shí)考試記錄,也可用該模型進(jìn)行試題難度的預(yù)測(cè)。在未來研究中還可考慮針對(duì)不同類型試題、不同學(xué)科設(shè)計(jì)精度更為準(zhǔn)確地難度自動(dòng)評(píng)估模型。

    猜你喜歡
    語句注意力試題
    讓注意力“飛”回來
    2021年高考數(shù)學(xué)模擬試題(四)
    重點(diǎn):語句銜接
    2019年高考數(shù)學(xué)模擬試題(五)
    《陳涉世家》初三復(fù)習(xí)試題
    2019屆高考數(shù)學(xué)模擬試題(二)
    精彩語句
    “揚(yáng)眼”APP:讓注意力“變現(xiàn)”
    A Beautiful Way Of Looking At Things
    如何搞定語句銜接題
    99九九在线精品视频| 26uuu在线亚洲综合色| 欧美老熟妇乱子伦牲交| 国产xxxxx性猛交| 极品少妇高潮喷水抽搐| 看免费av毛片| 男女边吃奶边做爰视频| 日本vs欧美在线观看视频| 男的添女的下面高潮视频| 国产精品av久久久久免费| 美女高潮到喷水免费观看| 精品国产一区二区三区四区第35| 亚洲五月色婷婷综合| 亚洲av电影在线观看一区二区三区| 亚洲欧美成人综合另类久久久| 欧美精品一区二区大全| 不卡视频在线观看欧美| 男人舔女人的私密视频| 一二三四中文在线观看免费高清| 久久这里只有精品19| 欧美日韩精品成人综合77777| 成年女人在线观看亚洲视频| 又黄又粗又硬又大视频| 国产成人精品婷婷| 亚洲精品乱久久久久久| 国产精品亚洲av一区麻豆 | 婷婷色av中文字幕| 亚洲欧美一区二区三区久久| 男男h啪啪无遮挡| 亚洲综合色惰| 美女大奶头黄色视频| 久久av网站| www.自偷自拍.com| 9热在线视频观看99| 激情五月婷婷亚洲| 日韩中字成人| 大话2 男鬼变身卡| 午夜福利,免费看| 高清在线视频一区二区三区| 午夜激情av网站| 嫩草影院入口| 国产精品欧美亚洲77777| 欧美bdsm另类| 人成视频在线观看免费观看| 午夜福利,免费看| 久久久a久久爽久久v久久| 国产欧美日韩一区二区三区在线| 性色avwww在线观看| 夫妻午夜视频| 成年女人毛片免费观看观看9 | 久久精品熟女亚洲av麻豆精品| 亚洲国产精品国产精品| 久久人人爽人人片av| 日韩欧美精品免费久久| av一本久久久久| 亚洲美女视频黄频| 久久精品亚洲av国产电影网| 亚洲av电影在线进入| 熟女av电影| 丝袜在线中文字幕| 国产成人aa在线观看| 男女国产视频网站| 亚洲美女视频黄频| 成人毛片60女人毛片免费| 亚洲第一区二区三区不卡| 久久久国产精品麻豆| 国产欧美亚洲国产| 赤兔流量卡办理| 蜜桃国产av成人99| 99久久精品国产国产毛片| 国产日韩一区二区三区精品不卡| 久久精品久久精品一区二区三区| 久久久久视频综合| 18禁裸乳无遮挡动漫免费视频| 日韩制服骚丝袜av| 国产麻豆69| av免费在线看不卡| 国产极品粉嫩免费观看在线| 汤姆久久久久久久影院中文字幕| 日本-黄色视频高清免费观看| 久久久精品免费免费高清| 色婷婷久久久亚洲欧美| videossex国产| 亚洲欧洲精品一区二区精品久久久 | 久久久久久久久久人人人人人人| 日韩制服丝袜自拍偷拍| 啦啦啦啦在线视频资源| 丰满饥渴人妻一区二区三| 国产精品嫩草影院av在线观看| 人妻人人澡人人爽人人| 亚洲国产最新在线播放| 黑人欧美特级aaaaaa片| 亚洲成国产人片在线观看| 免费播放大片免费观看视频在线观看| 国产精品 国内视频| 亚洲中文av在线| 日韩在线高清观看一区二区三区| 乱人伦中国视频| 丝袜在线中文字幕| 99热全是精品| 婷婷色综合www| videossex国产| 亚洲色图综合在线观看| 欧美中文综合在线视频| 日本vs欧美在线观看视频| 精品一区二区三区四区五区乱码 | 亚洲欧洲国产日韩| 色婷婷av一区二区三区视频| 亚洲熟女精品中文字幕| 麻豆av在线久日| 亚洲一码二码三码区别大吗| 天堂中文最新版在线下载| 制服丝袜香蕉在线| 老鸭窝网址在线观看| 亚洲精品视频女| 亚洲av日韩在线播放| 一级,二级,三级黄色视频| 国产福利在线免费观看视频| av在线观看视频网站免费| 七月丁香在线播放| av免费观看日本| 亚洲人成电影观看| 91aial.com中文字幕在线观看| 欧美亚洲 丝袜 人妻 在线| 人人妻人人澡人人爽人人夜夜| 日日啪夜夜爽| 亚洲美女搞黄在线观看| 亚洲图色成人| 在线观看一区二区三区激情| 国产成人精品一,二区| 精品一品国产午夜福利视频| 国产成人欧美| 建设人人有责人人尽责人人享有的| 韩国av在线不卡| 黄色视频在线播放观看不卡| 在现免费观看毛片| 美国免费a级毛片| 午夜福利视频精品| 免费观看无遮挡的男女| 精品第一国产精品| 国产片内射在线| 国产精品欧美亚洲77777| 18禁裸乳无遮挡动漫免费视频| 少妇人妻 视频| 国产精品亚洲av一区麻豆 | 肉色欧美久久久久久久蜜桃| 美女脱内裤让男人舔精品视频| 久久国产精品大桥未久av| 美女脱内裤让男人舔精品视频| 国产成人精品久久二区二区91 | 蜜桃国产av成人99| 如何舔出高潮| 欧美成人午夜精品| 久久精品夜色国产| 一二三四在线观看免费中文在| 日韩 亚洲 欧美在线| 男人爽女人下面视频在线观看| 啦啦啦啦在线视频资源| 99九九在线精品视频| 国产成人aa在线观看| 街头女战士在线观看网站| 国产欧美亚洲国产| 成年人免费黄色播放视频| 亚洲成色77777| 叶爱在线成人免费视频播放| 亚洲av中文av极速乱| 2022亚洲国产成人精品| 欧美日韩视频精品一区| 日韩精品有码人妻一区| 69精品国产乱码久久久| 寂寞人妻少妇视频99o| 精品人妻偷拍中文字幕| 在线观看免费日韩欧美大片| 99香蕉大伊视频| 一级毛片 在线播放| √禁漫天堂资源中文www| xxx大片免费视频| 国产精品三级大全| 校园人妻丝袜中文字幕| 日日摸夜夜添夜夜爱| 97在线视频观看| 久久久国产一区二区| www.精华液| 在线观看国产h片| 亚洲,一卡二卡三卡| 日韩免费高清中文字幕av| 欧美 日韩 精品 国产| 成年av动漫网址| 女人高潮潮喷娇喘18禁视频| 亚洲国产毛片av蜜桃av| 日韩欧美一区视频在线观看| 精品人妻在线不人妻| 国产午夜精品一二区理论片| 亚洲第一青青草原| 不卡视频在线观看欧美| 免费高清在线观看日韩| 中文字幕另类日韩欧美亚洲嫩草| 日韩av不卡免费在线播放| 亚洲熟女精品中文字幕| 中国三级夫妇交换| 免费久久久久久久精品成人欧美视频| 看免费av毛片| 又黄又粗又硬又大视频| 麻豆乱淫一区二区| 波多野结衣av一区二区av| 赤兔流量卡办理| 日韩,欧美,国产一区二区三区| 老鸭窝网址在线观看| 日韩三级伦理在线观看| 国产精品一区二区在线不卡| 欧美中文综合在线视频| 国产精品一区二区在线不卡| 亚洲国产最新在线播放| 超碰97精品在线观看| 久久久久久人妻| 丝袜喷水一区| 热99久久久久精品小说推荐| 少妇被粗大的猛进出69影院| 狠狠婷婷综合久久久久久88av| 免费高清在线观看视频在线观看| 一级毛片 在线播放| 欧美日韩视频高清一区二区三区二| 亚洲国产色片| 精品亚洲成a人片在线观看| 叶爱在线成人免费视频播放| 久久久久视频综合| 婷婷色综合www| tube8黄色片| 纵有疾风起免费观看全集完整版| 国产精品秋霞免费鲁丝片| 精品国产一区二区三区久久久樱花| 只有这里有精品99| 中文字幕av电影在线播放| 丝袜喷水一区| 亚洲精品aⅴ在线观看| 成人漫画全彩无遮挡| 飞空精品影院首页| 亚洲男人天堂网一区| 亚洲精品视频女| 久久久久人妻精品一区果冻| 亚洲精品在线美女| 亚洲中文av在线| 久久久久视频综合| 亚洲精品第二区| 国产成人精品福利久久| 成人国产av品久久久| 日本av免费视频播放| 亚洲婷婷狠狠爱综合网| 午夜影院在线不卡| 亚洲精品视频女| 天堂8中文在线网| 国产欧美日韩一区二区三区在线| 国产高清不卡午夜福利| 在线观看三级黄色| 亚洲欧美一区二区三区国产| 另类亚洲欧美激情| 中文字幕人妻熟女乱码| 亚洲四区av| 宅男免费午夜| 视频区图区小说| 我要看黄色一级片免费的| 久久精品熟女亚洲av麻豆精品| 国产精品国产三级专区第一集| 校园人妻丝袜中文字幕| 久久久久久久大尺度免费视频| 久久国产精品大桥未久av| 精品久久久久久电影网| 亚洲欧美中文字幕日韩二区| 捣出白浆h1v1| 亚洲成国产人片在线观看| 国产精品国产三级国产专区5o| 亚洲精品美女久久久久99蜜臀 | 亚洲第一青青草原| 国产极品粉嫩免费观看在线| 欧美国产精品va在线观看不卡| 免费看不卡的av| 男女无遮挡免费网站观看| 亚洲精品,欧美精品| 国产1区2区3区精品| 亚洲欧美色中文字幕在线| 超色免费av| 在线观看美女被高潮喷水网站| 天天躁夜夜躁狠狠躁躁| 精品国产一区二区三区久久久樱花| 日韩三级伦理在线观看| 侵犯人妻中文字幕一二三四区| 不卡视频在线观看欧美| 99久久中文字幕三级久久日本| 少妇猛男粗大的猛烈进出视频| 精品一区二区三区四区五区乱码 | 久久影院123| 亚洲精品日本国产第一区| 熟妇人妻不卡中文字幕| 尾随美女入室| 日本-黄色视频高清免费观看| 哪个播放器可以免费观看大片| √禁漫天堂资源中文www| 日韩欧美精品免费久久| 国产精品一二三区在线看| 久久久a久久爽久久v久久| 欧美激情极品国产一区二区三区| 91午夜精品亚洲一区二区三区| 最新中文字幕久久久久| 美女xxoo啪啪120秒动态图| 一本大道久久a久久精品| 蜜桃国产av成人99| 成年动漫av网址| 人人妻人人澡人人爽人人夜夜| av在线观看视频网站免费| 丰满乱子伦码专区| 少妇熟女欧美另类| 巨乳人妻的诱惑在线观看| 黄频高清免费视频| 亚洲伊人久久精品综合| 国产免费一区二区三区四区乱码| 黑人巨大精品欧美一区二区蜜桃| 国产精品二区激情视频| 国产黄色免费在线视频| 亚洲欧洲日产国产| 亚洲四区av| av在线老鸭窝| 日本-黄色视频高清免费观看| 在线观看三级黄色| 97人妻天天添夜夜摸| 在线观看一区二区三区激情| 成人亚洲精品一区在线观看| 国产精品一国产av| 黑人猛操日本美女一级片| 曰老女人黄片| 欧美+日韩+精品| 国产精品 国内视频| 黑人欧美特级aaaaaa片| 色婷婷久久久亚洲欧美| 91成人精品电影| 看免费成人av毛片| 青草久久国产| 国产亚洲午夜精品一区二区久久| 色婷婷久久久亚洲欧美| 亚洲国产毛片av蜜桃av| 男女啪啪激烈高潮av片| 啦啦啦在线免费观看视频4| 欧美97在线视频| 亚洲欧美一区二区三区黑人 | 啦啦啦啦在线视频资源| 亚洲精华国产精华液的使用体验| 成人毛片a级毛片在线播放| 久久影院123| 丝袜在线中文字幕| 久久精品国产亚洲av涩爱| 欧美精品一区二区免费开放| 一边亲一边摸免费视频| 欧美成人午夜精品| 欧美激情 高清一区二区三区| 婷婷色麻豆天堂久久| 精品一区在线观看国产| 麻豆乱淫一区二区| 亚洲国产精品999| 街头女战士在线观看网站| 日日爽夜夜爽网站| 精品亚洲乱码少妇综合久久| 大香蕉久久网| 日本wwww免费看| 亚洲成人手机| 亚洲av在线观看美女高潮| 女性生殖器流出的白浆| 日韩不卡一区二区三区视频在线| 啦啦啦中文免费视频观看日本| 国产一级毛片在线| 91精品三级在线观看| 91aial.com中文字幕在线观看| 久久热在线av| 久久精品久久久久久久性| 熟女av电影| 在线观看免费日韩欧美大片| 久久久久人妻精品一区果冻| 久久人人爽人人片av| 亚洲视频免费观看视频| 免费观看a级毛片全部| 啦啦啦在线免费观看视频4| 久热久热在线精品观看| 久久精品人人爽人人爽视色| 亚洲欧洲国产日韩| 国产成人a∨麻豆精品| 午夜福利视频在线观看免费| 免费女性裸体啪啪无遮挡网站| 亚洲内射少妇av| 99热全是精品| 人人妻人人澡人人爽人人夜夜| 日韩不卡一区二区三区视频在线| 中文字幕精品免费在线观看视频| 在线观看人妻少妇| 午夜福利在线观看免费完整高清在| 97在线视频观看| 在线观看www视频免费| 伦理电影大哥的女人| 女人精品久久久久毛片| 免费日韩欧美在线观看| 考比视频在线观看| 国产熟女午夜一区二区三区| 啦啦啦中文免费视频观看日本| 久久久久久久国产电影| 精品国产乱码久久久久久男人| av网站在线播放免费| 麻豆乱淫一区二区| 国产免费现黄频在线看| 国产精品久久久久久精品电影小说| 午夜免费观看性视频| 天天躁夜夜躁狠狠久久av| 久久影院123| 久久久久久久国产电影| 美女脱内裤让男人舔精品视频| 免费久久久久久久精品成人欧美视频| 国产在视频线精品| 国产精品麻豆人妻色哟哟久久| 免费观看在线日韩| www.精华液| 少妇人妻精品综合一区二区| 亚洲精品美女久久av网站| 亚洲伊人久久精品综合| av女优亚洲男人天堂| 99re6热这里在线精品视频| 亚洲伊人久久精品综合| 在线免费观看不下载黄p国产| 黄片小视频在线播放| av免费观看日本| 亚洲成人手机| 在线观看一区二区三区激情| a级毛片在线看网站| 国产成人a∨麻豆精品| 精品视频人人做人人爽| 最新的欧美精品一区二区| 日本爱情动作片www.在线观看| 老女人水多毛片| 成人亚洲欧美一区二区av| 观看av在线不卡| 久久午夜福利片| 午夜免费观看性视频| 人人妻人人澡人人看| 又黄又粗又硬又大视频| 亚洲欧美成人精品一区二区| 视频区图区小说| 97人妻天天添夜夜摸| 成年人免费黄色播放视频| 国产一区二区在线观看av| 在现免费观看毛片| 亚洲视频免费观看视频| 一区在线观看完整版| 国产精品熟女久久久久浪| 欧美黄色片欧美黄色片| 精品国产乱码久久久久久小说| 亚洲四区av| 宅男免费午夜| 日韩一卡2卡3卡4卡2021年| 最近手机中文字幕大全| 久久精品熟女亚洲av麻豆精品| 天美传媒精品一区二区| 侵犯人妻中文字幕一二三四区| 老汉色av国产亚洲站长工具| 日日撸夜夜添| 少妇熟女欧美另类| 免费观看在线日韩| 久久 成人 亚洲| 亚洲精品久久成人aⅴ小说| 日韩制服骚丝袜av| 黄网站色视频无遮挡免费观看| 久久久国产精品麻豆| 免费久久久久久久精品成人欧美视频| 亚洲精品中文字幕在线视频| 国产在线免费精品| www.精华液| av在线app专区| 亚洲激情五月婷婷啪啪| 啦啦啦在线免费观看视频4| 99久久人妻综合| 一级,二级,三级黄色视频| 少妇猛男粗大的猛烈进出视频| 日韩欧美一区视频在线观看| 哪个播放器可以免费观看大片| 亚洲国产色片| 女性生殖器流出的白浆| 亚洲综合色网址| 久久久久精品性色| 蜜桃在线观看..| 搡女人真爽免费视频火全软件| 国产黄色视频一区二区在线观看| videosex国产| 91久久精品国产一区二区三区| 日日啪夜夜爽| 日本色播在线视频| 日本欧美国产在线视频| 久久国产精品大桥未久av| 国产片内射在线| 国产一区有黄有色的免费视频| 国产熟女午夜一区二区三区| 黄色视频在线播放观看不卡| 欧美激情极品国产一区二区三区| 午夜久久久在线观看| 性色av一级| 午夜福利在线免费观看网站| 国产精品欧美亚洲77777| 国产深夜福利视频在线观看| 超色免费av| 男人爽女人下面视频在线观看| 国产男女超爽视频在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲伊人色综图| 男人操女人黄网站| 欧美日韩av久久| av.在线天堂| 制服人妻中文乱码| 亚洲三级黄色毛片| 少妇被粗大猛烈的视频| 久久久久精品性色| 精品国产乱码久久久久久男人| 日本爱情动作片www.在线观看| 青春草视频在线免费观看| 亚洲欧美成人综合另类久久久| www日本在线高清视频| 波野结衣二区三区在线| 综合色丁香网| 两个人免费观看高清视频| 哪个播放器可以免费观看大片| 亚洲欧美精品综合一区二区三区 | 捣出白浆h1v1| 欧美精品国产亚洲| 亚洲少妇的诱惑av| 久久精品久久久久久噜噜老黄| 秋霞在线观看毛片| 永久免费av网站大全| 一本久久精品| 久久久久久久久久久免费av| 久久久久久久精品精品| 久久毛片免费看一区二区三区| 美女国产视频在线观看| 激情视频va一区二区三区| 日韩av不卡免费在线播放| 夜夜骑夜夜射夜夜干| 久久精品人人爽人人爽视色| 在线观看美女被高潮喷水网站| av视频免费观看在线观看| 在线观看三级黄色| 精品人妻一区二区三区麻豆| 99香蕉大伊视频| 在线观看www视频免费| 母亲3免费完整高清在线观看 | 天堂俺去俺来也www色官网| 亚洲一区二区三区欧美精品| 老司机影院成人| 黄频高清免费视频| videossex国产| 成人免费观看视频高清| 久久人人97超碰香蕉20202| 99热国产这里只有精品6| 秋霞在线观看毛片| 街头女战士在线观看网站| 国产精品蜜桃在线观看| 亚洲欧洲国产日韩| 精品亚洲成a人片在线观看| 精品久久蜜臀av无| 成年动漫av网址| 欧美中文综合在线视频| 18禁国产床啪视频网站| 精品少妇久久久久久888优播| 精品酒店卫生间| 亚洲综合精品二区| 交换朋友夫妻互换小说| 秋霞在线观看毛片| 波多野结衣一区麻豆| 亚洲精品国产av蜜桃| 亚洲综合色惰| 国产色婷婷99| 搡老乐熟女国产| 日本黄色日本黄色录像| av卡一久久| 永久网站在线| 一级a爱视频在线免费观看| 免费高清在线观看视频在线观看| 婷婷色av中文字幕| 亚洲欧美成人综合另类久久久| 91成人精品电影| 日本猛色少妇xxxxx猛交久久| 久久av网站| 亚洲成人手机| 久久精品国产亚洲av高清一级| 男人爽女人下面视频在线观看| 亚洲欧洲国产日韩| a级片在线免费高清观看视频| 超碰成人久久| 69精品国产乱码久久久| 午夜福利一区二区在线看| av电影中文网址| 哪个播放器可以免费观看大片| 一区二区日韩欧美中文字幕| 丰满少妇做爰视频| 亚洲天堂av无毛| 久久久精品免费免费高清| 性色avwww在线观看| 亚洲天堂av无毛| 80岁老熟妇乱子伦牲交| 一区二区三区乱码不卡18| av免费观看日本| 欧美变态另类bdsm刘玥| 一本大道久久a久久精品| 看非洲黑人一级黄片| 欧美变态另类bdsm刘玥| 99久久精品国产国产毛片| 99热国产这里只有精品6| 亚洲精华国产精华液的使用体验| av不卡在线播放| 人人妻人人澡人人看| 免费在线观看完整版高清| 美女国产高潮福利片在线看| 少妇人妻久久综合中文| 不卡视频在线观看欧美| 最近的中文字幕免费完整|