Stacking集成學(xué)習(xí)模型在混合式成績分類預(yù)測中的應(yīng)用①

章 劉,陳逸菲,袁加偉,裴梓權(quán),梅鵬江

1(南京信息工程大學(xué) 自動(dòng)化學(xué)院,南京 210044)

2(無錫學(xué)院 自動(dòng)化學(xué)院,無錫 214105)

1 前言

混合式教學(xué)是一種線上與線下相結(jié)合的新興教學(xué)模式,既通過在智慧教學(xué)平臺(tái)上發(fā)布任務(wù),上傳資源等發(fā)揮教師的主導(dǎo)作用,又通過學(xué)生線上自主學(xué)習(xí)、完成任務(wù)等,引導(dǎo)學(xué)生積極主動(dòng)學(xué)習(xí). 目前正被各大高校積極推廣[1]. 學(xué)生可以不受時(shí)空限制,通過多種方式登錄學(xué)習(xí)平臺(tái)學(xué)習(xí),所產(chǎn)生的學(xué)習(xí)行為數(shù)據(jù)被平臺(tái)記錄保存[2]. 學(xué)習(xí)行為數(shù)據(jù)反映學(xué)生的學(xué)習(xí)狀態(tài)和習(xí)慣. 而日常的學(xué)習(xí)狀態(tài)和習(xí)慣對最終的學(xué)習(xí)成績有著重要影響[3]. 混合式學(xué)習(xí)對學(xué)生的自覺性要求較高,在實(shí)際實(shí)施過程中,學(xué)生的參與度受各種因素干擾而參差不齊[4,5].因此,如何利用平臺(tái)記錄的學(xué)習(xí)行為數(shù)據(jù)分析出學(xué)生學(xué)習(xí)狀態(tài),掌握學(xué)生的學(xué)習(xí)情況,引導(dǎo)學(xué)生積極主動(dòng)學(xué)習(xí),成為教學(xué)管理中急需解決的問題.

通過對學(xué)生學(xué)習(xí)行為數(shù)據(jù)進(jìn)行挖掘和分析,可以找出隱藏的規(guī)律,進(jìn)而對學(xué)生成績進(jìn)行分類預(yù)測,及時(shí)發(fā)現(xiàn)學(xué)困生并干預(yù)指導(dǎo),提高教學(xué)質(zhì)量[6,7]. 近年來,眾多學(xué)者基于在線學(xué)習(xí)行為數(shù)據(jù)對學(xué)習(xí)成績預(yù)測的方法進(jìn)行了多方面探索. 喻鐵朔等采用支持向量機(jī)回歸對成績進(jìn)行預(yù)測,并在其基礎(chǔ)上實(shí)現(xiàn)學(xué)業(yè)預(yù)警[8]. 呂品等對比感知機(jī),支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等分類算法的預(yù)測效果,發(fā)現(xiàn)基于支持向量機(jī)的成績預(yù)測模型具有更高的準(zhǔn)確率[9]. 王鳳芹等利用登錄次數(shù),視頻觀看時(shí)間等10 個(gè)行為特征驗(yàn)證K 近鄰優(yōu)化算法在預(yù)測MOOC學(xué)習(xí)成績的有效性[10].

雖然通過優(yōu)化算法和調(diào)節(jié)算法參數(shù)可以比原有的單一算法模型具有更高的精度,泛化能力也有所增強(qiáng)[11,12]. 但由于線上線下相結(jié)合的學(xué)習(xí)行為數(shù)據(jù)相對復(fù)雜多變,異常值較多,單一的預(yù)測算法有自身的局限性.為了提高單一算法模型的泛化能力,有學(xué)者嘗試通過融合算法來建立成績預(yù)測模型. 賈靖怡等利用MOOC課程數(shù)據(jù)和RapidMiner 大數(shù)據(jù)挖掘平臺(tái)構(gòu)建基于AdaBoost 算法的學(xué)習(xí)成績預(yù)測模型[13]. 宋潔通過實(shí)驗(yàn)對比了SVR、RF、GBDT 和 XGBoost 四種不同算法模型在學(xué)習(xí)成績預(yù)測中的效果,最終得出具有集成特點(diǎn)的XGBoost 算法預(yù)測效果最佳[14]. 但XGBOOST和AdaBoost 屬于同質(zhì)算法的集成模型,主要通過線性化融合算法,無法將各個(gè)算法的差異與優(yōu)勢相融合,其泛化能力仍需加強(qiáng)[15,16].

為提高模型的泛化能力,充分發(fā)揮個(gè)體學(xué)習(xí)器的優(yōu)勢,本文采用Stacking 集成方法,對多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 與邏輯斯蒂回歸4 個(gè)異質(zhì)學(xué)習(xí)器進(jìn)行非線性組合,構(gòu)建兩層Stacking 集成學(xué)習(xí)模型,基于超星平臺(tái)的混合式教學(xué)中產(chǎn)生的數(shù)據(jù)集. 通過對比Stacking 集成學(xué)習(xí)模型與多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 和邏輯斯蒂回歸在數(shù)據(jù)集上的預(yù)測準(zhǔn)確率、召回率、精確率和F1得分等評(píng)價(jià)指標(biāo),驗(yàn)證Stacking 集成學(xué)習(xí)模型的有效性.

2 Stacking 集成學(xué)習(xí)預(yù)測模型

集成學(xué)習(xí)是通過一定的方式組合多個(gè)弱學(xué)習(xí)器,構(gòu)造出比單一學(xué)習(xí)器性能更好的強(qiáng)學(xué)習(xí)器. 常見的集成學(xué)習(xí)方法有Bagging,Boosting 和Stacking 等. Bagging和Boosting 采用線性集成策略,根據(jù)確定性算法組合同質(zhì)弱學(xué)習(xí)器形成強(qiáng)學(xué)習(xí)器. 與Bagging 和Boosting不同的是,Stacking 采用非線性集成策略,通過組合異質(zhì)學(xué)習(xí)器構(gòu)成多層次強(qiáng)學(xué)習(xí)器,高層學(xué)習(xí)器能夠通過低層學(xué)習(xí)器的輸出結(jié)果對模型進(jìn)一步泛化增強(qiáng)[17].

2.1 Stacking 集成學(xué)習(xí)算法原理

Stacking 集成學(xué)習(xí)算法是一種疊加式分層集成算法,以兩層為例,在第1 層中使用不同的初級(jí)學(xué)習(xí)器對數(shù)據(jù)進(jìn)行訓(xùn)練,在訓(xùn)練數(shù)據(jù)集時(shí),為了避免因測試集比例劃分過小造成泛化能力不強(qiáng)問題,通常采用交叉驗(yàn)證方式進(jìn)行訓(xùn)練. 然后將第1 層產(chǎn)生的多次訓(xùn)練的數(shù)據(jù)結(jié)果作為新的訓(xùn)練集和測試集,第2 層次級(jí)學(xué)習(xí)器采用新的訓(xùn)練集與測試集進(jìn)行訓(xùn)練和預(yù)測. 具體算法如算法1 所示.

算法1. Stacking 集成學(xué)習(xí)算法D={(x1,y1),(x2,y2),···,(xm,ym)}?1,···,?T ?輸入: 數(shù)據(jù)集,初級(jí)學(xué)習(xí)器,次級(jí)學(xué)習(xí)器t=1,2,···,T 1. for do ht=?t(D)2. 3. end for D′=?4. i=1,···,m 5. for do t=1,···,T 6. for do zit=ht(xi)7. 8. end for D′=D′∪((zi1,···,ziT),yi)9. 10. end for h′=?(D′)11. H(x)=h′(h1(x),···,hT(x))輸出: 最終分類器

2.2 兩層Stacking 集成學(xué)習(xí)成績預(yù)測模型設(shè)計(jì)

Stacking 集成學(xué)習(xí)模型采用的是多層次結(jié)構(gòu),每一層的輸出作為下一層的輸入,但構(gòu)造的層數(shù)越多,模型越復(fù)雜,訓(xùn)練的速度也會(huì)越慢. 因此,本文選擇采用兩層結(jié)構(gòu). 在第1 層,為了保證模型的多元化,初級(jí)學(xué)習(xí)器選用多項(xiàng)式樸素貝葉斯,AdaBoost 和Gradient boosting三種學(xué)習(xí)器,其中多項(xiàng)式樸素貝葉斯為一種適用于離散特征概率計(jì)算的學(xué)習(xí)器,AdaBoost 和Gradient boosting為基于Boosting 集成學(xué)習(xí)方式的學(xué)習(xí)器[18,19]; 在第2 層,為了防止發(fā)生過擬合現(xiàn)象,采用簡單的邏輯蒂斯回歸分類器作為次級(jí)學(xué)習(xí)器,次級(jí)學(xué)習(xí)器對初級(jí)學(xué)習(xí)器融合得到Stacking 集成學(xué)習(xí)模型. Stacking 集成學(xué)習(xí)模型中的個(gè)體學(xué)習(xí)器在訓(xùn)練過程中,通過sklearn 庫中的GridSearchCV (網(wǎng)格搜索法)選取個(gè)體學(xué)習(xí)器的最優(yōu)參數(shù). 集成學(xué)習(xí)模型框架如圖1 所示.

圖1 Stacking 集成學(xué)習(xí)模型框架

兩層Stacking 集成學(xué)習(xí)模型的具體步驟如下:

步驟1. 對學(xué)生的原始特征數(shù)據(jù)集進(jìn)行預(yù)處理與特征變換,將目標(biāo)特征即學(xué)生期末成績轉(zhuǎn)換為0 和1,結(jié)合皮爾遜相關(guān)性分析選擇有效特征構(gòu)建新的數(shù)據(jù)集[20].

步驟2. 選擇AdaBoost,多項(xiàng)式樸素貝葉斯和Gradient boosting 作為初級(jí)學(xué)習(xí)器.

步驟3. 將經(jīng)過特征工程處理過的混合式教學(xué)下產(chǎn)生的學(xué)生特征數(shù)據(jù)集以一定比例切分為訓(xùn)練集D和測試集B. 并將處理好的訓(xùn)練集平均分為5 份數(shù)據(jù)集Di,i∈{1,2,3,4,5}.

步驟 4. 在第一層預(yù)測模型中,將3 個(gè)初級(jí)學(xué)習(xí)器分別采用5 折交叉驗(yàn)證進(jìn)行訓(xùn)練. 以AdaBoost 為例,每次交叉驗(yàn)證包含兩個(gè)過程. 首先用其中的4 份數(shù)據(jù)集作為AdaBoost 訓(xùn)練集進(jìn)行訓(xùn)練,剩下的1 份作為AdaBoost模型預(yù)測的測試集,得到預(yù)測數(shù)據(jù)集ai(i∈{1,2,3,4,5}),將其整合為1 列記為A1. 然后再由上一步基于4 份數(shù)據(jù)集訓(xùn)練的AdaBoost 模型對測試集B進(jìn)行預(yù)測,得到預(yù)測數(shù)據(jù)集pi(i∈{1,2,3,4,5}),再對5 次預(yù)測的結(jié)果pi(i∈{1,2,3,4,5})按行相加取均值,得到數(shù)據(jù)集P1.

步驟 5. 在3 個(gè)初級(jí)學(xué)習(xí)器完成訓(xùn)練及預(yù)測后會(huì)得到(A1,A2,A3)和(P1,P2,P3)兩個(gè)新的矩陣數(shù)據(jù)集. 在第二層,次級(jí)學(xué)習(xí)器邏輯斯蒂回歸以(A1,A2,A3)矩陣作為訓(xùn)練集,(P1,P2,P3)矩陣作為測試集,以其為基礎(chǔ)進(jìn)行訓(xùn)練,得到最終預(yù)測結(jié)果,即學(xué)生能否通過期末檢測(0 不通過,1 通過).

3 特征工程

特征工程指的是從原始數(shù)據(jù)集中提取實(shí)驗(yàn)特征的過程,提取的特征能夠較好的描述數(shù)集的內(nèi)容,其一般包括數(shù)據(jù)預(yù)處理和特征分析與選擇等.

3.1 數(shù)據(jù)集介紹

本文數(shù)據(jù)采集自學(xué)校超星平臺(tái)與教務(wù)系統(tǒng),共229 名學(xué)生,近6 萬多條線上學(xué)習(xí)記錄和229 條學(xué)生線下成績記錄. 數(shù)據(jù)集中學(xué)生特征共有16 個(gè)維度,分為學(xué)生的基本信息特征和學(xué)習(xí)行為特征兩類,分別如表1 和表2 所示.

表1 學(xué)生基本信息特征說明

表2 學(xué)習(xí)行為特征說明

3.2 數(shù)據(jù)預(yù)處理

由于混合式學(xué)習(xí)特征數(shù)據(jù)多樣化,需要根據(jù)數(shù)據(jù)與算法模型的特點(diǎn),對數(shù)據(jù)進(jìn)行預(yù)處理. 數(shù)據(jù)預(yù)處理主要包括不同考核標(biāo)準(zhǔn)特征數(shù)據(jù)的歸一化和連續(xù)型數(shù)據(jù)的離散化等. 本文在預(yù)處理過程中使用了Python 中的sklearn、pandas 和numpy 等庫.

3.2.1 歸一化

每個(gè)開課班級(jí)在超星學(xué)習(xí)通上課程設(shè)置的任務(wù)點(diǎn)、學(xué)習(xí)資源以及課堂活動(dòng)等有所差別,從而造成特征的數(shù)值區(qū)間范圍也不同,需采用區(qū)間縮放法將數(shù)據(jù)映射到同一區(qū)間. 區(qū)間縮放法是歸一化的一種方式,本文利用特征數(shù)據(jù)的兩個(gè)最值(最大值和最小值)進(jìn)行縮放. 縮放公式如下.

其中,x為同一特征集合,共有m個(gè)特征變量,xi為該特征集合中的第i個(gè)特征變量,xi′為xi縮放后的值,max(x)為該集合特征變量的最大值,min(x)為該集合特征變量的最小值.

3.2.2 特征轉(zhuǎn)換

本文使用的數(shù)據(jù)集中的數(shù)據(jù)主要為varchar (可變字符型)、int (整數(shù)型)和double (浮點(diǎn)型)3 種類型,而sklearn 庫要求模型輸入的數(shù)據(jù)類型必須是數(shù)值型數(shù)據(jù),且本文采用的預(yù)測模型為集成分類預(yù)測模型,其中個(gè)體算法模型AdaBoost 和Gradient boosting 為樹模型結(jié)構(gòu),為了保證模型輸入數(shù)據(jù)類型的一致性,需使用分箱操作對連續(xù)型特征數(shù)據(jù)離散化. 為此,本文通過pandas庫中的cut()函數(shù)對表2 的11 個(gè)int 型和double 型數(shù)據(jù)特征等寬劃分離散化處理,并對其進(jìn)行數(shù)值型映射.由于表1 的5 個(gè)特征數(shù)據(jù)為varchar 型定性離散變量,故直接將其映射為數(shù)值型變量.

3.3 特征相關(guān)性分析

在使用模型對目標(biāo)預(yù)測前,通常需要先進(jìn)行特征選擇,通過特征選擇可以移除不相關(guān)的特征,降低計(jì)算復(fù)雜度以及提高模型的可解釋性. 為此,本文通過皮爾遜系數(shù)計(jì)算特征之間的相關(guān)性. 皮爾遜系數(shù)主要衡量變量之間的線性相關(guān)性,結(jié)果的取值區(qū)間為[?1,1],?1 表示完全的負(fù)相關(guān),+1 表示完全的正相關(guān)[21]. 實(shí)驗(yàn)獲取的數(shù)據(jù)共有16 個(gè)特征,包括學(xué)生的基本信息特征和學(xué)習(xí)行為特征,在經(jīng)過數(shù)據(jù)預(yù)處理后,通過皮爾遜系數(shù)計(jì)算特征之間的相關(guān)性系數(shù),并將相關(guān)性系數(shù)的結(jié)果以熱力圖的形式輸出,其結(jié)果如圖2 所示.

由圖2 可以看出semester,gender,faculty,class 與目標(biāo)特征final_mark 之間的相關(guān)性系數(shù)小于0.2,相關(guān)性較弱,其中semester 和faculty 與目標(biāo)特征的相關(guān)性系數(shù)皆為0,無相關(guān)性. 與final_mark 之間的相關(guān)性系數(shù)大于0.4 的特征有midterm,study_count,group_task,其中特征midterm 代表期中考試的成績,與目標(biāo)特征final_mark 的相關(guān)性最高,達(dá)到了0.46. discussion,course_point,answer_mark,chapter_quiz 等7 個(gè)特征與final_mark 的相關(guān)性相對較一般. 故本文將相關(guān)性為0 的無用特征semester 和faculty 刪除,保留midterm,group_task,class_test 等13 個(gè)相對重要的特征.

圖2 特征相關(guān)性系數(shù)矩陣熱力圖

4 實(shí)驗(yàn)及結(jié)果分析

本實(shí)驗(yàn)在處理器為Intel i7-8750U,運(yùn)行內(nèi)存為16 GB 的電腦上進(jìn)行,操作環(huán)境是64 位的Windows 10系統(tǒng). 算法實(shí)現(xiàn)工具為Pycharm,編程語言為Python 3.7.0. 算法實(shí)現(xiàn)過程中使用到Python 的工具庫有:numpy、pandas、matplotlib、seaborn 和sklearn 等. 將數(shù)據(jù)集中的229 條學(xué)生行為數(shù)據(jù)隨機(jī)切分出70%,共160 條作為模型的訓(xùn)練集,剩余的30%作為模型的測試集,用于模型的驗(yàn)證.

4.1 模型的泛化能力評(píng)估指標(biāo)

本文的目的在于通過相關(guān)的學(xué)生特征來預(yù)測學(xué)生能否通過期末檢測,將預(yù)測結(jié)果分為通過(pass)和掛科(failed)兩類,這是一個(gè)二分類預(yù)測問題. 二分類預(yù)測問題的混淆矩陣分析表如表3 所示.

表3 混淆矩陣分析表

本文采用準(zhǔn)確率(A),召回率(R),精確率(P),F1 得分(F1)4 個(gè)指標(biāo)評(píng)價(jià)算法的預(yù)測結(jié)果. 準(zhǔn)確率雖然能夠判斷整體模型預(yù)測的正確率,但相比于通過學(xué)生,本文更加關(guān)注真正掛科學(xué)生的預(yù)測情況,因此應(yīng)當(dāng)引入召回率作為評(píng)估指標(biāo),但若只注重召回率的提升,會(huì)減少成功預(yù)測真正通過學(xué)生的情況,即會(huì)導(dǎo)致精確率下降,模型變得虛高[22]. 召回率與精準(zhǔn)率是一對相對矛盾的變量,為此引入F1 得分來平衡召回率與精確率,更為客觀的對模型進(jìn)行評(píng)價(jià). 各項(xiàng)指標(biāo)的計(jì)算方法的公式如式(2)–式(5).

4.2 模型參數(shù)設(shè)置

超參數(shù)是模型在開始學(xué)習(xí)之前設(shè)置的函數(shù)參數(shù),選擇合適的參數(shù)可以在一定程度上提高模型的分類能力. 本文Stacking 集成學(xué)習(xí)模型中的個(gè)體學(xué)習(xí)器在訓(xùn)練集中訓(xùn)練時(shí),采用機(jī)器學(xué)習(xí)庫sklearn 中的GridSearchCV(網(wǎng)格搜索法),以準(zhǔn)確率(A)作為各學(xué)習(xí)器預(yù)測效果的評(píng)價(jià)標(biāo)準(zhǔn),在各學(xué)習(xí)器的所有候選的參數(shù)選項(xiàng)中循環(huán)遍歷,并結(jié)合5 折交叉驗(yàn)證方式,通過對比在測試集中的預(yù)測效果,尋找模型的最優(yōu)參數(shù). 各學(xué)習(xí)器的最優(yōu)超參數(shù)集及其預(yù)測準(zhǔn)確率如表4 所示.

表4 各學(xué)習(xí)器選擇的最優(yōu)超參數(shù)集

4.3 模型的泛化能力分析

集成學(xué)習(xí)的目的是通過一定的策略集合各個(gè)初級(jí)分類器的優(yōu)勢,取長去短,提高分類器的分類效果,因此集成后的分類效果應(yīng)好于單個(gè)基分類器的分類效果.為驗(yàn)證所構(gòu)建的Stacking 集成學(xué)習(xí)預(yù)測模型的預(yù)測性能,通過對比多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting、邏輯斯蒂回歸和Stacking 集成學(xué)習(xí)預(yù)測模型在數(shù)據(jù)集上的預(yù)測效果來驗(yàn)證本文所設(shè)計(jì)的模型的優(yōu)越性. 最后根據(jù)第4.1 節(jié)中的式(2)–式(5),對各分類器的分類效果通過準(zhǔn)確率、召回率、精確率和F1 得分等評(píng)價(jià)指標(biāo)對各模型的預(yù)測性能進(jìn)行對比分析驗(yàn)證,各指標(biāo)結(jié)果如圖3、圖4 和圖5 所示. 在對比分析驗(yàn)證過程中,多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting和邏輯斯蒂回歸以及Stacking 集成分類器中的初級(jí)學(xué)習(xí)器與次級(jí)學(xué)習(xí)器在訓(xùn)練與預(yù)測中所采用的參數(shù)如表4,各參數(shù)為通過機(jī)器學(xué)習(xí)庫sklearn 中的GridSearchCV(網(wǎng)格搜索法)中搜尋的最優(yōu)參數(shù).

從圖3、圖4 和圖5 中可以看出Stacking 集成學(xué)習(xí)模型的各分類結(jié)果評(píng)價(jià)指標(biāo)均明顯高于多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 和邏輯斯蒂回歸4 個(gè)單一分類模型. 其中,在召回率上,Stacking 集成學(xué)習(xí)模型在Pass 類別中的召回率為87%,高于單一分類模型中表現(xiàn)最好的多項(xiàng)式樸素貝葉斯7%; 在Failed類別中的召回率為65%,比單一分類模型中表現(xiàn)最好的模型AdaBoost 高出2%. 在F1 得分上,Stacking 集成學(xué)習(xí)模型在Pass 類別中的F1 得分為80%,分別高于多項(xiàng)式樸素貝葉斯,AdaBoost,Gradient boosting 和邏輯斯蒂回歸4 個(gè)單一分類模型4%、8%、7%和7%;在Failed 類別中的F1 得分為71%,分別高于多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 和邏輯斯蒂回歸4 個(gè)單一分類模型9%、4%、13%和6%. Stacking集成學(xué)習(xí)模型的整體分類準(zhǔn)確率為76%,分別高于多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 和邏輯斯蒂回歸4 個(gè)單一分類模型5%、6%、9%和6%.

圖3 Failed 類別下各模型的評(píng)價(jià)指標(biāo)對比

圖4 Pass 類別下各模型的評(píng)價(jià)指標(biāo)對比

圖5 各模型的準(zhǔn)確率對比

從以上實(shí)驗(yàn)結(jié)果來看,通過Stacking 融合多項(xiàng)式樸素貝葉斯、AdaBoost、Gradient boosting 和邏輯回歸分類模型能夠有效彌補(bǔ)單一算法模型的泛化能力不強(qiáng)問題,這是由于Stacking 集成學(xué)習(xí)模型通過學(xué)習(xí)幾個(gè)不同的初級(jí)學(xué)習(xí)器,然后通過學(xué)習(xí)一個(gè)次級(jí)學(xué)習(xí)器來組合初級(jí)學(xué)習(xí)器,基于初級(jí)學(xué)習(xí)器的預(yù)測結(jié)果輸出最終預(yù)測結(jié)果. 從理論層面看,Stacking 集成學(xué)習(xí)模型優(yōu)于個(gè)體模型的主要原因是Stacking 集成學(xué)習(xí)模型可以充分發(fā)揮各個(gè)學(xué)習(xí)器的自身優(yōu)勢,對于個(gè)體學(xué)習(xí)器在測試集中預(yù)測較差的部分采用舍棄策略,Stacking 集成學(xué)習(xí)模型采用多而不同的個(gè)體學(xué)習(xí)器,取長補(bǔ)短,可以在一定程度上有效減少單一模型泛化性能不佳的風(fēng)險(xiǎn). 另一方面,從模型優(yōu)化角度看,單一模型訓(xùn)練的優(yōu)化過程中,模型往往會(huì)有陷入局部最小點(diǎn)的風(fēng)險(xiǎn),有的局部極小點(diǎn)所對應(yīng)的模型泛化性能可能較差,而通過多個(gè)基學(xué)習(xí)器運(yùn)行之后進(jìn)行結(jié)合,可有效減少陷入局部極小點(diǎn)的風(fēng)險(xiǎn). 此外,從圖3 和圖4 的Failed 類別與Pass 類別預(yù)測的同一指標(biāo)兩種類別之間差異性可看出Failed 類別與Pass 類別數(shù)據(jù)分布較不平衡,混合式教學(xué)過程中產(chǎn)生的數(shù)據(jù)一般分布較不平衡,Failed 類別樣本數(shù)據(jù)較少,而Stacking 集成學(xué)習(xí)模型相比于個(gè)體學(xué)習(xí)模型多了一層學(xué)習(xí)模型,可以在同樣訓(xùn)練數(shù)據(jù)下進(jìn)一步進(jìn)行學(xué)習(xí),因此,采用Stacking 集成學(xué)習(xí)方式后預(yù)測精度有所提升. 本質(zhì)上Stacking 集成學(xué)習(xí)模型是通過不同的方式分析數(shù)據(jù),然后根據(jù)學(xué)習(xí)器自生的算法規(guī)則建立模型,次級(jí)學(xué)習(xí)器能夠根據(jù)初級(jí)學(xué)習(xí)器的輸出結(jié)果對模型進(jìn)一步泛化增強(qiáng),當(dāng)初級(jí)學(xué)習(xí)器得到了錯(cuò)誤的預(yù)測結(jié)果時(shí),次級(jí)學(xué)習(xí)器可以將錯(cuò)誤糾正回來.因此,融合差異性大的個(gè)體學(xué)習(xí)器可以充分發(fā)揮不同個(gè)體學(xué)習(xí)器的優(yōu)勢,使得集成后的模型比單一算法模型具有更強(qiáng)的泛化能力.

5 總結(jié)

本文針對單一算法預(yù)測模型在學(xué)生成績分類預(yù)測中存在泛化性能不強(qiáng)的問題,提出一種Stacking 集成學(xué)習(xí)模型,其采用兩層結(jié)構(gòu),第一層通過融合多項(xiàng)式樸素貝葉斯,AdaBoost 和Gradient boosting 三個(gè)初級(jí)學(xué)習(xí)器,第二層次級(jí)學(xué)習(xí)器采用邏輯斯蒂回歸分類模型.基于超星平臺(tái)與教務(wù)系統(tǒng)獲取的學(xué)生相關(guān)特征數(shù)據(jù),通過特征的皮爾遜相關(guān)性分析選擇有效特征,通過實(shí)驗(yàn)對Stacking 集成學(xué)習(xí)模型與多項(xiàng)式樸素貝葉斯,Ada-Boost 和Gradient boosting 和邏輯斯蒂回歸進(jìn)行比較.結(jié)果表明,Stacking 集成學(xué)習(xí)模型的召回率,準(zhǔn)確率等各項(xiàng)預(yù)測性能指標(biāo)皆高于單個(gè)初級(jí)學(xué)習(xí)器,在混合式教學(xué)的成績分類預(yù)測中具有較好的應(yīng)用價(jià)值. 但本文訓(xùn)練的數(shù)據(jù)量不是足夠大,且所選取特征的相關(guān)性相對較一般,后期可以嘗試加入提交作業(yè)時(shí)間先后等更多相關(guān)性較強(qiáng)的特征,以及積累更多的訓(xùn)練數(shù)據(jù)來提高模型的總體分類預(yù)測效果.