基于多維度特征的智能評(píng)價(jià)育人效果研究

楊智宇 趙均 劉靜 杜力

摘?要：智能教育評(píng)價(jià)是教育改革重點(diǎn)研究方向。然而，運(yùn)用人工智能相關(guān)技術(shù)對(duì)多維度特征的育人效果智能評(píng)價(jià)研究仍不深入。為解決上述問(wèn)題，通過(guò)對(duì)調(diào)查問(wèn)卷采集數(shù)據(jù)分析處理后得到20個(gè)智能評(píng)價(jià)模型特征，并通過(guò)感知機(jī)等5種算法分別建立智能評(píng)價(jià)模型，以尋找最優(yōu)智能評(píng)價(jià)方法。實(shí)驗(yàn)結(jié)果表明，不考慮模型計(jì)算時(shí)間和泛化能力，基于感知機(jī)算法建立多維度特征智能評(píng)價(jià)模型更為準(zhǔn)確；考慮模型計(jì)算時(shí)間和泛化能力，基于決策樹(shù)C4.5算法建立多維度特征智能評(píng)價(jià)模型更為準(zhǔn)確。

關(guān)鍵詞：人工智能；智能評(píng)價(jià)；多維度

智能教育評(píng)價(jià)是教育改革重點(diǎn)研究任務(wù)，2020年中共中央國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》中提出，要?jiǎng)?chuàng)新評(píng)價(jià)工具，利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，探索開(kāi)展學(xué)生各年級(jí)學(xué)習(xí)情況全過(guò)程縱向評(píng)價(jià)、德智體美勞全要素橫向評(píng)價(jià)。［1］

大量學(xué)者針對(duì)智能教育評(píng)價(jià)展開(kāi)相關(guān)研究，現(xiàn)有研究主要集中在教育評(píng)價(jià)智能化可行性等方面。人工智能理念為教育評(píng)價(jià)改革帶來(lái)了契機(jī)與挑戰(zhàn)，教育評(píng)價(jià)智能化可行性方面的研究主要在尋找突破方向與實(shí)現(xiàn)路徑等方面。［2］課堂教學(xué)評(píng)價(jià)智能化方面的研究主要在課堂教學(xué)評(píng)價(jià)改革與技術(shù)實(shí)現(xiàn)框架、策略以及智能化評(píng)價(jià)關(guān)鍵技術(shù)［3］等方面。職業(yè)教育評(píng)價(jià)智能化方面的研究主要在教育評(píng)價(jià)智能化改革體系構(gòu)建和促進(jìn)職業(yè)教育高質(zhì)量發(fā)展［4］等方面。

上述研究對(duì)深化教育評(píng)價(jià)改革的探索非常有意義。然而，運(yùn)用人工智能相關(guān)技術(shù)對(duì)多維度特征的育人效果智能評(píng)價(jià)研究仍不深入。為解決上述問(wèn)題，通過(guò)對(duì)調(diào)查問(wèn)卷采集數(shù)據(jù)分析處理并建立評(píng)價(jià)模型。由于目前對(duì)于哪種算法更適合用于建立多維度特征智能評(píng)價(jià)模型未有確切指導(dǎo)，故通過(guò)感知機(jī)算法等5種算法建立智能評(píng)價(jià)模型實(shí)現(xiàn)多維度特征智能評(píng)價(jià)。

1?調(diào)研數(shù)據(jù)分析與處理

調(diào)查問(wèn)卷主要涉及學(xué)生溝通協(xié)調(diào)能力、價(jià)值觀和知識(shí)學(xué)習(xí)運(yùn)用能力等多方面特征，設(shè)計(jì)并發(fā)放工科大學(xué)生工匠精神及創(chuàng)新意識(shí)調(diào)查問(wèn)卷。發(fā)放449份調(diào)查問(wèn)卷，有效收集449份調(diào)查問(wèn)卷。根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，采用二分法將“學(xué)生解決復(fù)雜工程問(wèn)題能力是否具備”這一結(jié)果劃分為“有”和“沒(méi)有”兩大類(lèi)。“有”一類(lèi)為正例，用數(shù)字1表示，共計(jì)389份；“沒(méi)有”一類(lèi)為負(fù)例，用數(shù)字0表示，共計(jì)60份。每份調(diào)查問(wèn)卷涉及20個(gè)選項(xiàng)作為特征值，分別涉及溝通協(xié)調(diào)能力、價(jià)值觀和知識(shí)學(xué)習(xí)運(yùn)用能力等四個(gè)方面內(nèi)容。特征值取值范圍為1～5之間的整數(shù)值，依次表示“完全不符合”“不符合”“基本不符合”“基本符合”和“完全符合”，對(duì)特征進(jìn)行總結(jié)性描述后具體數(shù)據(jù)如表1所示。

為了建立學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型及測(cè)試模型性能，將所采集數(shù)據(jù)劃分為模型訓(xùn)練集和測(cè)試集。為確保正、負(fù)樣本在模型訓(xùn)練集和測(cè)試集中的均衡，并根據(jù)現(xiàn)有數(shù)據(jù)量綜合分析，分別從正、負(fù)樣本集中各隨機(jī)選擇其中的87%用做模型訓(xùn)練，共計(jì)390個(gè)樣本作為訓(xùn)練集，其中正樣本數(shù)量為338份，負(fù)樣本數(shù)量為52份；剩余13%用作模型測(cè)試，共計(jì)59份樣本數(shù)量作為測(cè)試集，其中正樣本數(shù)量為51份，負(fù)樣本數(shù)量為8份。

根據(jù)上述數(shù)據(jù)分析及處理，得到“學(xué)習(xí)目的”“抗壓能力”等20個(gè)維度的學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型所需訓(xùn)練特征。由于目前對(duì)于哪種算法更適合用于建立學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型并未有確切指導(dǎo)，故通過(guò)感知機(jī)算法、二項(xiàng)邏輯斯諦回歸算法、支持向量機(jī)算法、AdaBoost算法和決策樹(shù)C4.5算法建立5個(gè)學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型。

2?復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型

2.1?感知機(jī)智能評(píng)價(jià)模型

感知機(jī)［5］由兩層神經(jīng)元組成，輸入層接收建立學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型的特征值作為輸入信號(hào)后傳遞給輸出層。感知機(jī)智能評(píng)價(jià)模型以輸出學(xué)生復(fù)雜工程問(wèn)題解決能力具備情況作為結(jié)果，用1表示“具備”，-1表示“不具備”。

2.2?二項(xiàng)邏輯斯諦回歸智能評(píng)價(jià)模型

二項(xiàng)邏輯斯諦回歸［6］模型中條件概率分布用于估計(jì)學(xué)生復(fù)雜工程問(wèn)題解決能力是否具備的可能性，用P（Y|X）表示。二項(xiàng)邏輯斯諦回歸智能評(píng)價(jià)模型中X為輸入特征向量，為學(xué)生復(fù)雜工程問(wèn)題解決能力相應(yīng)的多維度特征；Y為模型輸出結(jié)果，是學(xué)生復(fù)雜工程問(wèn)題解決能力具備情況，用1表示“具備”，0表示“不具備”。

2.3?支持向量機(jī)智能評(píng)價(jià)模型

支持向量機(jī)模型［7］通過(guò)找出建立智能評(píng)價(jià)模型的20維度特征空間最優(yōu)超平面實(shí)現(xiàn)二分類(lèi)，從而實(shí)現(xiàn)學(xué)生復(fù)雜工程問(wèn)題解決能力具備情況智能評(píng)價(jià)。支持向量機(jī)智能評(píng)價(jià)模型輸入為學(xué)生復(fù)雜工程問(wèn)題解決能力相應(yīng)的多維度特征；輸出結(jié)果用1表示“具備”，-1表示“不具備”。

2.4?AdaBoost智能評(píng)價(jià)模型

AdaBoost算法［8］模型先建立多個(gè)學(xué)生復(fù)雜工程問(wèn)題解決能力具備情況弱分類(lèi)器，再組合各個(gè)弱分類(lèi)器形成最終智能評(píng)價(jià)分類(lèi)器。Adaboost智能評(píng)價(jià)模型輸入為學(xué)生復(fù)雜工程問(wèn)題解決能力相應(yīng)的多維度特征；輸出結(jié)果用1表示“具備”，0表示“不具備”。

2.5?決策樹(shù)C4.5智能評(píng)價(jià)模型

決策樹(shù)C4.5算法［9］模型先從模型屬性中選出信息增益高于平均水平的相關(guān)屬性，然后再?gòu)倪@些屬性中選擇增益率最高的或直接選擇增益率最高的用以建立智能評(píng)價(jià)模型。決策樹(shù)C4.5智能評(píng)價(jià)模型輸入為學(xué)生復(fù)雜工程問(wèn)題解決能力相應(yīng)的多維度特征；模型輸出結(jié)果用1表示“具備”，-1表示“不具備”。

3?智能評(píng)價(jià)模型性能分析

3.1?智能評(píng)價(jià)模型評(píng)估指標(biāo)

基于上文提及的五種機(jī)器學(xué)習(xí)分類(lèi)模型，建立基于多維度特征的學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型。對(duì)智能評(píng)價(jià)模型進(jìn)行評(píng)價(jià)時(shí)，在考慮查準(zhǔn)率、查全率、準(zhǔn)確率、F1度量的基礎(chǔ)上結(jié)合模型計(jì)算時(shí)間和4折交叉驗(yàn)證平均得分對(duì)模型進(jìn)行綜合評(píng)估。為計(jì)算模型性能評(píng)估的查準(zhǔn)率、查全率、準(zhǔn)確率、F1度量，現(xiàn)引用混淆矩陣［10］及相關(guān)術(shù)語(yǔ)概念，假設(shè)一個(gè)二分類(lèi)任務(wù)中分類(lèi)變量值可以假定為正例（P）和負(fù)例（N）。實(shí)際正例（P）被正確標(biāo)記為正例，命名為真正例（TP），而實(shí)際正例（P）被錯(cuò)誤地標(biāo)記為負(fù)例是假負(fù)例（FN）。實(shí)際負(fù)例（N）正確標(biāo)記為負(fù)例為真負(fù)例（TN），實(shí)際負(fù)例（N）錯(cuò)誤標(biāo)記為正例為假正例（FP）。故查準(zhǔn)率等計(jì)算公式如公式（1）、公式（2）、公式（3）和公式（4）所示：

查準(zhǔn)率：PPrecision=TPTP+FP（1）

查全率：RRecall=TPTP+TN（2）

精度：Acc（Accuracy）=1-FP+FNTP+FP+TN+FN（3）

F1度量：F1=2·P·RP+R（4）

3.2?智能評(píng)價(jià)模型性能對(duì)比分析

通過(guò)結(jié)合多維度特征建立各智能評(píng)價(jià)模型并進(jìn)行模型性能測(cè)試，各智能評(píng)價(jià)模型查準(zhǔn)率、查全率、精度和F1度量指標(biāo)的計(jì)算結(jié)果與模型訓(xùn)練時(shí)間、預(yù)測(cè)時(shí)間和4折交叉驗(yàn)證平均分一同在表2中展示：

根據(jù)表2顯示所有智能評(píng)價(jià)模型查準(zhǔn)率都至少在90%以上，其中感知機(jī)模型與決策樹(shù)C4.5算法模型查準(zhǔn)率性能最好，達(dá)到100%；查全率方面支持向量機(jī)模型查全率性能最好，達(dá)到100%；精度方面Adaboost算法模型精度性能最好，達(dá)到94.92%。F1度量作為模型性能綜合評(píng)價(jià)指標(biāo)，根據(jù)表2顯示所有分類(lèi)器模型F1度量均達(dá)到90%以上，其中感知機(jī)模型F1度量指標(biāo)值最高，達(dá)到96.96%。

鑒于數(shù)據(jù)總樣本量為449，為驗(yàn)證模型泛化能力，故對(duì)每個(gè)模型進(jìn)行K折交叉驗(yàn)證。將K設(shè)置為4，以交叉驗(yàn)證獲得的平均值作為評(píng)價(jià)指標(biāo)評(píng)價(jià)每個(gè)模型的泛化能力。根據(jù)表2顯示，所有智能評(píng)價(jià)模型交叉驗(yàn)證平均分均達(dá)到0.8以上，各個(gè)智能評(píng)價(jià)模型泛化能力較為理想。其中決策樹(shù)C4.5算法模型交叉驗(yàn)證平均分最高，達(dá)到0.861561。

綜合上述分析，在不考慮模型計(jì)算時(shí)間和泛化能力的情況下，選擇感知機(jī)模型建立基于多維度特征的學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型更為合理；在考慮模型計(jì)算時(shí)間和泛化能力的情況下，選擇決策樹(shù)C4.5算法模型建立基于多維度特征的學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型更為合理。

結(jié)語(yǔ)

對(duì)育人效果中的學(xué)生復(fù)雜工程問(wèn)題解決能力相關(guān)信息通過(guò)調(diào)查問(wèn)卷收集數(shù)據(jù)，經(jīng)數(shù)據(jù)分析與處理后得到20個(gè)多維度特征。結(jié)合感知機(jī)算法等5種機(jī)器學(xué)習(xí)算法分別建立多維度特征學(xué)生復(fù)雜工程問(wèn)題解決能力智能評(píng)價(jià)模型。通過(guò)模型評(píng)測(cè)指標(biāo)得出：當(dāng)不考慮模型計(jì)算時(shí)間和泛化能力時(shí)，選擇感知機(jī)算法建立基于多維度特征的智能評(píng)價(jià)育人效果模型更為合理，精度達(dá)到94.91%；當(dāng)考慮模型計(jì)算時(shí)間和泛化能力時(shí)，選擇決策樹(shù)C4.5算法建立基于多維度的智能評(píng)價(jià)育人效果模型更為合理，精度達(dá)到93.22%。

參考文獻(xiàn)：

［1］中共中央?國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》［EB/OL］.（20201013）［20220531］.http：//www.moe.gov.cn/jyb_xxgk/moe_1777/moe_1778/202010/t20201013_494381.html.

［2］張琪，王丹.智能時(shí)代教育評(píng)價(jià)的意蘊(yùn)、作用點(diǎn)與實(shí)現(xiàn)路徑［J］.中國(guó)遠(yuǎn)程教育，2021（02）：916.

［3］胡欽太，伍文燕，馮廣，等.人工智能時(shí)代高等教育教學(xué)評(píng)價(jià)的關(guān)鍵技術(shù)與實(shí)踐［J］.開(kāi)放教育研究，2021，27（05）：1523.

［4］孫翠香.新時(shí)代職業(yè)教育高質(zhì)量發(fā)展的內(nèi)涵、特征與推進(jìn)策略［J］.教育與職業(yè)，2022（03）：512.

［5］何立群，占永平.感知器神經(jīng)網(wǎng)絡(luò)模型研究［J］.九江學(xué)院學(xué)報(bào)（自然科學(xué)版），2014，29（04）：3739.

［6］李航.統(tǒng)計(jì)學(xué)習(xí)方法［M］.北京：清華大學(xué)出版社，2012.

［7］張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)［J］.自動(dòng)化學(xué)報(bào)，2000，26（1）：11.

［8］曹瑩，苗啟廣，劉家辰，等.AdaBoost算法研究進(jìn)展與展望［J］.自動(dòng)化學(xué)報(bào)，2013，39（06）：745758.

［9］苗煜飛，張霄宏.決策樹(shù)C4.5算法的優(yōu)化與應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2015，51（13）：255258.

［10］周志華.機(jī)器學(xué)習(xí)［M］.北京：清華大學(xué)出版社，2016.

基金項(xiàng)目：重慶市社會(huì)科學(xué)規(guī)劃項(xiàng)目——“新工科”專(zhuān)業(yè)課程思政教育理想愿景、現(xiàn)實(shí)困境與突破路徑研究（2020PY08）；重慶市高等教育教學(xué)改革研究項(xiàng)目——智能車(chē)輛工程專(zhuān)業(yè)“產(chǎn)—學(xué)—賽—團(tuán)—社”協(xié)同育人培養(yǎng)模式研究與實(shí)踐（213198）；重慶市教育科學(xué)“十三五”規(guī)劃項(xiàng)目——基于人工智能的新工科專(zhuān)業(yè)課程思政育人質(zhì)量評(píng)估研究（2020DP25）；重慶工商大學(xué)校級(jí)教改項(xiàng)目——滲透科技報(bào)國(guó)情懷的新工科專(zhuān)業(yè)課程思政形態(tài)與時(shí)態(tài)架構(gòu)研究和實(shí)踐（205007）

作者簡(jiǎn)介：楊智宇（1985—?），男，漢族，吉林長(zhǎng)春人，工學(xué)博士，重慶工商大學(xué)汽車(chē)工程系主任，講師，碩士生導(dǎo)師，主要從事工程教育智能評(píng)價(jià)、智能汽車(chē)決策與控制研究。