基于機器學(xué)習(xí)的高校學(xué)生評教信度分類分析

苑迎春，雒明雪，陳江薇

(1.河北農(nóng)業(yè)大學(xué) 信息科學(xué)與技術(shù)學(xué)院，河北 保定 071000；2.河北農(nóng)業(yè)大學(xué) 教務(wù)處，河北 保定 071000)

課堂教學(xué)是高校實現(xiàn)人才培養(yǎng)最直接和最根本的方法，課堂教學(xué)質(zhì)量的高低直接決定著人才培養(yǎng)質(zhì)量，科學(xué)合理的課堂教學(xué)質(zhì)量評價能有效地促進人才培養(yǎng)質(zhì)量的提升。為保障課堂教學(xué)質(zhì)量得到有效監(jiān)測和及時反饋，很多高校通過學(xué)生評教這一舉措來實施監(jiān)測并反饋教學(xué)質(zhì)量情況，從而促進教學(xué)質(zhì)量的提高。學(xué)生評教為教師收集學(xué)生反饋信息和改進教學(xué)服務(wù)提供幫助，其結(jié)果直接影響學(xué)校對教師考核、課程規(guī)劃等。然而，在實際評教過程中，存在著學(xué)生不客觀評教的問題，如學(xué)生在評教時存在被動、消極、敷衍、“集體高分”“分數(shù)貶值”、隨意評教、惡意評教等現(xiàn)象[1-4]。以上不良現(xiàn)象影響了評教的客觀性，因此如何糾正學(xué)生不客觀評教，提高學(xué)生評教信度具有重要意義。

為提升學(xué)生評教的客觀性，大量學(xué)者做了相關(guān)研究。部分學(xué)者從評價指標(biāo)出發(fā)，建立科學(xué)、有效的評教指標(biāo)，從教學(xué)、練習(xí)與評價、學(xué)生反饋等多維度進行打分，全方面、多角度地對教師教學(xué)進行評價，同時提高學(xué)生評教的便捷性；也有部分學(xué)者從評教原始數(shù)據(jù)的分析、處理入手，通過對不客觀數(shù)據(jù)的識別，將異常數(shù)據(jù)進行剔除或通過修正算法進行修正，減輕偏離數(shù)據(jù)的影響，使教師最終評價更加客觀[5]。

針對學(xué)生評教數(shù)據(jù)的客觀性問題，不同學(xué)者通過定義不同指標(biāo)進行識別和區(qū)分。陳慧針對嚴(yán)重偏離的數(shù)據(jù)，采用統(tǒng)計學(xué)方法定義指標(biāo)，認為評教數(shù)據(jù)應(yīng)符合正態(tài)分布，利用三倍標(biāo)準(zhǔn)差原理，將落在三倍標(biāo)準(zhǔn)差區(qū)間之外的數(shù)據(jù)定義為偏離數(shù)據(jù)。姚成、龔毅等學(xué)者引入粗差理論定義指標(biāo)，識別嚴(yán)重偏離群體的數(shù)據(jù)[6-7]。李慧等人則利用K-Modes改進算法定義偏離指標(biāo)，對評教數(shù)據(jù)進行聚類，尋找評教中的離群點[8]。陳文等人通過對學(xué)生評教原始數(shù)據(jù)進行信度分析，發(fā)現(xiàn)數(shù)據(jù)中存在“噪聲”數(shù)據(jù)，并將噪聲數(shù)據(jù)分為“偏見”噪聲和“敷衍”噪聲 ，對不同類型的噪聲定義不同指標(biāo)進行識別[9]?！捌姟痹u價噪聲采取3a法則進行識別，對超過10名教師給予相同分數(shù)的數(shù)據(jù)定義為“敷衍”評價噪聲。

對評教不客觀數(shù)據(jù)的處理方法，不同學(xué)者也存在不同意見。楊曉明[10]等學(xué)者認為評教數(shù)據(jù)量大，可采用刪除數(shù)據(jù)的方法處理不客觀數(shù)據(jù)。溫兵等則通過定義偏差系數(shù)(描述某位學(xué)生的評價與大眾的偏差)和主觀原因系數(shù)(評價結(jié)果的兩極化程度，偏高或偏低程度)，引入公平度的概念對每個學(xué)生的數(shù)據(jù)進行加權(quán)，減輕不客觀數(shù)據(jù)的權(quán)重。張義東和于長英、高旭都提出了采用標(biāo)準(zhǔn)分的方法處理評教數(shù)據(jù)，有效消除不同年級、專業(yè)、學(xué)科以及課程性質(zhì)等因素對教師評分的影響，提高評教結(jié)果的可比性，使評教結(jié)果可信度和有效性大幅提高[11-13]。劉瑞玲則是在運用LOF離群算法識別離群數(shù)據(jù)后，在大量數(shù)據(jù)反復(fù)試驗基礎(chǔ)上定義了修正公式[14]。對離群數(shù)據(jù)進行修正，利用修正方式對偏差評教數(shù)據(jù)進行糾正，更大限度的保留了學(xué)生評教價值。

以上對評教中不客觀數(shù)據(jù)指標(biāo)的定義，大多聚焦于偏離數(shù)據(jù)的嚴(yán)重程度分析和處理，而對于“敷衍”數(shù)據(jù)指標(biāo)定義較少；對不客觀數(shù)據(jù)的處理大多采用直接刪除或加權(quán)、修正來減輕不客觀數(shù)據(jù)的影響。本文通過對評教數(shù)據(jù)分析，多角度定義學(xué)生的評教信度指標(biāo)，利用機器學(xué)習(xí)中的聚類算法，按照學(xué)生樣本信度近似程度，實施無監(jiān)督分類，通過對分類結(jié)果分析得到群體特征，借助星級評定向?qū)W生來反饋評教信度，引導(dǎo)和警示學(xué)生客觀評教，形成良性循環(huán)機制提高學(xué)生評教信度，改善學(xué)生評教質(zhì)量。

一、學(xué)生評教信度指標(biāo)定義

一般而言，學(xué)生評教的客觀程度取決于兩個方面。一方面，是同一個學(xué)生對所學(xué)課程的評分，表達了一名學(xué)生對多門課程教師的評教態(tài)度，學(xué)生對不同課程任課教師評分應(yīng)有所區(qū)分，若學(xué)生對不同任課教師的區(qū)分度明顯，說明其評價的客觀性越高。另一方面，則是多名學(xué)生對同一門課程教師的評教態(tài)度，可用一名學(xué)生與同課程學(xué)生評教的偏離程度衡量。通常情況下，如果他和其他學(xué)生的評教偏離度越大，則說明該學(xué)生對這門課程評教的客觀程度越差。此外，體現(xiàn)學(xué)生主觀思維的教師評語也是高校學(xué)生評教的主要內(nèi)容，能比較真實地反映學(xué)生想法，相比客觀評分能夠提供更加豐富的信息。因此，主觀評語質(zhì)量也是學(xué)生評教客觀程度的重要體現(xiàn)之一。本文正是基于上述角度，定義了描述學(xué)生客觀評教信度的7個指標(biāo)，用以衡量和評價學(xué)生的評教信度，如表1所示。

表1 評教信度指標(biāo)

1.區(qū)分度方差，用于描述學(xué)生對不同教師評分的區(qū)分度。以學(xué)生評教所有評分分數(shù)作為研究對象，計算每位學(xué)生評分方差。計算公式為：

(1)

根據(jù)區(qū)分度方差可知，一名學(xué)生同時評價多門課程，方差值越大，表明學(xué)生對教師區(qū)分度越大。

2.波動極差，用于描述學(xué)生不同課程評分的波動性。計算每位學(xué)生評分最大值、最小值，得到極差。計算公式為：

(2)

式中，max(Si)為第i個學(xué)生評分最大值，min(Si)為第i個學(xué)生評分最小值。

根據(jù)波動極差，一名學(xué)生同時評價多門課程，波動極差越大，表明評教波動性越強。

3.相鄰差方差，用于描述學(xué)生對不同教師評分的差距。將評分進行排序，計算相鄰評分差值的方差。計算公式為：

SORi=sort(Si)

(3)

SAij=SORj+1-SORj

(4)

SAVi=var(SAi)

(5)

式中，SORi為第i個學(xué)生評分排序，SAij為第i個學(xué)生，第j、j+1門課程分數(shù)差，SAVi為第i個學(xué)生相鄰差方差。

根據(jù)相鄰差方差可知，一名學(xué)生同時評價多門課程，相鄰差的方差值越大，表明學(xué)生對教師的評分差距越大。

4.最大相同分數(shù)比，用于描述學(xué)生評分過程中給不同教師相同分數(shù)的程度。計算每位學(xué)生同一分數(shù)的個數(shù)，得到最大相同分數(shù)數(shù)目占所有課程數(shù)的比值。計算公式為：

SMi=max(SIi)/n

(6)

式中，SIi為第i個學(xué)生評教相同分數(shù)個數(shù)的集合，n為第i個學(xué)生評教課程數(shù)。

根據(jù)最大相同分數(shù)比可知，一名學(xué)生同時評價多門課程，最大相同分數(shù)比越低，表明學(xué)生的相同評分越少，其認真客觀的評教態(tài)度越強。

5.信息量，用于描述學(xué)生評教文本有效信息數(shù)量，評論內(nèi)容是否與教師、課堂相關(guān)。根據(jù)聶卉等提出的平均詞條數(shù)計算信息量[15]。計算學(xué)生每條評語中詞語在詞典中的詞條數(shù)，將平均詞條數(shù)作為信息量指標(biāo)，計算公式為：

Tij=dict_ni

(7)

(8)

式中，Tij為第i個學(xué)生的第j條評語包含詞條數(shù)目，IMi為第i個學(xué)生n條評語平均詞條數(shù)即信息量。

根據(jù)信息量可知，一名學(xué)生同時評價多門課程，信息量越高，表明學(xué)生評價的有效信息越多。

6.評語相似度，用于描述學(xué)生評教內(nèi)容的相似度。文獻[16]將文本轉(zhuǎn)化為空間向量，結(jié)合詞語語義信息進行相似度計算。本文評語相似度計算簡化文獻中的算法，計算公式為：

(9)

式中，STi為第i個學(xué)生相同評語個數(shù)，n為第i個學(xué)生評語個數(shù)。

根據(jù)評語相似度可知，一名學(xué)生同時評價多門課程，評語相似度越低，表明學(xué)生相同評語越少，評教越認真。

7.偏差率，用于描述學(xué)生課程評分偏離群體程度。對任何一名學(xué)生，在同一門課程中的評教分數(shù)應(yīng)與其他同學(xué)大體一致，不應(yīng)嚴(yán)重偏離同課程的其他同學(xué)。根據(jù)溫兵提出的粗差算法進行偏差判斷，記錄偏差學(xué)生，得到每位學(xué)生偏差評教數(shù)，計算偏差率[11]。偏差率計算公式為：

(10)

(11)

根據(jù)偏差率可知，一名學(xué)生同時評價多門課程，出現(xiàn)偏差的比率越低，表示學(xué)生出現(xiàn)的偏差評教越少，能夠客觀進行評教。

二、學(xué)生評教信度識別方法

(一)學(xué)生評教信度框架

本文基于機器學(xué)習(xí)算法和文本分析算法設(shè)計學(xué)生評教信度識別方法框架(見圖1)。本框架包括數(shù)據(jù)的收集與處理、評教指標(biāo)的計算、評教信度指標(biāo)分析、評教信度分類4個部分。

圖1 學(xué)生評教信度識別框架圖

(二)評教數(shù)據(jù)的收集與處理

數(shù)據(jù)的收集與預(yù)處理是后續(xù)計算的基礎(chǔ)。本文研究數(shù)據(jù)來自某高校2018—2019學(xué)年度，29 057名學(xué)生近44萬條評教數(shù)據(jù)。由于每位學(xué)生所上課程數(shù)目存在較大差異，為更好地體現(xiàn)數(shù)據(jù)的群體性特征，將學(xué)習(xí)課程數(shù)量少于10門的學(xué)生數(shù)據(jù)進行剔除。最終剩余學(xué)生25 455名，評教數(shù)據(jù)399 836條。

(三)學(xué)生評教信度指標(biāo)計算

本文第一節(jié)對學(xué)生評教信度指標(biāo)進行了定義，計算過程如下：

1.區(qū)分度方差、波動極差、相鄰差方差、最大相同分數(shù)比、偏差率的計算如式(1)～(6)、(10)～(11)。

2.信息量、評語相似度的計算過程需進行文本預(yù)處理。本文選用目前主流的分詞工具結(jié)巴分詞，對學(xué)生評語進行分詞；將評語中無意義的字、詞，如“的”“一些”等刪除[17]。結(jié)合知網(wǎng)、臺灣大學(xué)等停用詞表，組合成新的停用詞表，對分詞后的數(shù)據(jù)去掉停用詞，然后進行詞頻統(tǒng)計，并經(jīng)過人工剔除評教無關(guān)詞語，形成評教詞典。信息量、評語相似度計算如式(7)～(9)。

(四)評教信度指標(biāo)相關(guān)分析

對計算完成的信度指標(biāo)進行相關(guān)性分析，結(jié)果如表2所示。可以看出區(qū)分度方差、波動極差、相鄰差方差3個指標(biāo)的相關(guān)系數(shù)均大于0.7，具有較強相關(guān)性。為避免指標(biāo)冗余，經(jīng)多次實驗，將相鄰差方差、波動極差指標(biāo)刪除。

表2 指標(biāo)間相關(guān)性分析

(五)學(xué)生評教信度分類方法

1.分類方法。本文研究的學(xué)生評教數(shù)據(jù)為無標(biāo)簽數(shù)據(jù)，故利用聚類算法進行學(xué)生信度分析。聚類分析是常用的數(shù)據(jù)挖掘技術(shù)之一，被應(yīng)用于信息處理、圖像分析等多個領(lǐng)域。聚類算法是研究特征分類問題的一種多元統(tǒng)計方法，通過將數(shù)據(jù)分為不同簇，使同一個簇中數(shù)據(jù)具有較高的相似度，不同簇中數(shù)據(jù)差距較大。本文中不同學(xué)生的評教行為具有相似性，通過歸類研究，有助于了解和分析不同分類群體的特征[18]。

K-Means++聚類算法屬于基于劃分的聚類算法，是對K-Means聚類的改進算法。在聚類中心的選擇上本著不同聚類中心越遠越好的原則，改善了K-Means選取初始聚類中心的隨機性，適用于圓形(或者高維球形)等分布，具有出色的速度和良好的可擴展性[19]。

2.分類方法評價研究。聚類質(zhì)量評價指標(biāo)分為內(nèi)部指標(biāo)、外部指標(biāo)。無監(jiān)督聚類采用外部指標(biāo)進行聚類質(zhì)量評價。外部指標(biāo)有輪廓系數(shù)(Silhouette Coefficient)、Calinski-Harabaz等。

輪廓系數(shù)指標(biāo)：結(jié)合內(nèi)聚度和分離度兩種因素。輪廓系數(shù)范圍是(-1,1)，其中值越接近1表示樣本與自己所在簇中的樣本越相似，與其他簇中的樣本越不相似，當(dāng)樣本點與簇外樣本更相似時，輪廓系數(shù)為負[20]。當(dāng)輪廓系數(shù)為0時，則代表兩個簇中的樣本相似度一致，兩個簇應(yīng)該劃分為一個簇。輪廓系數(shù)計算公式如下：

(12)

式中，S(i)為樣本i的輪廓系數(shù)，n為樣本點個數(shù)，a(i)為樣本i到同簇其它樣本的平均距離，b(i)是i樣本到與它相鄰最近的一簇內(nèi)的所有點平均距離的最小值。將所有樣本的輪廓系數(shù)求平均，得到聚類結(jié)果總輪廓系數(shù)。

CH指標(biāo)：通過計算簇中各樣本與簇中心的距離平方和來度量簇內(nèi)的緊密度，通過計算各簇中心點與數(shù)據(jù)集中心點距離平方和來度量數(shù)據(jù)集的分離度，CH指標(biāo)由分離度與緊密度的比值得到[21]。因此，CH越大代表簇自身越緊密，簇與簇之間越分散，聚類效果越好。CH指標(biāo)計算公式如下：

(13)

式中，m表示聚類的數(shù)目,k表示當(dāng)前簇,tr(Bk)表示簇間離差矩陣的跡,tr(Wk)表示簇內(nèi)離差矩陣的跡。

(六)學(xué)生評教信度的分類

本文學(xué)生評教信度分為5類，將評教信度指標(biāo)作為輸入，應(yīng)用聚類算法得到分類結(jié)果。通過對分類群體特征分析，參照電影評價、電商評價，對5個類別進行星級評定，反饋給學(xué)生，達到警示的目的，敦促學(xué)生客觀評教，提高學(xué)生評教信度，改善教師評價的有效性[22-23]。

三、學(xué)生分類結(jié)果分析

(一)信度指標(biāo)分析驗證

將剔除前后學(xué)生評教信度指標(biāo)作為輸入，利用K-means++，對比不同指標(biāo)組成對聚類效果影響(如表3所示)。剔除冗余指標(biāo)后輪廓系數(shù)、CH指標(biāo)均有提升，證明進行指標(biāo)精簡后，分類更加合理有效。

表3 聚類算法指標(biāo)評分對比

(二)學(xué)生分類結(jié)果分析

通過K-means++聚類算法將學(xué)生評教信度分為5類，對每個類別中指標(biāo)進行均值統(tǒng)計，如表4所示，不同類別之間指標(biāo)差異明顯，驗證了學(xué)生評教信度指標(biāo)的有效性，最后分析每種類型的群體特征，對應(yīng)不同評教行為。

表4 聚類結(jié)果分析

第一類學(xué)生，從學(xué)生所評教的多門課程來看，該類學(xué)生對每門課程老師的教學(xué)擁有自己的判斷，對不同教師給予不同分數(shù)，有明顯的區(qū)分度。和學(xué)習(xí)同一門課程的其他同學(xué)相比，具有較低的偏差率，表明該類學(xué)生能夠客觀公平的進行評教，具有較少的極端情緒。從評語角度，能夠清晰的表達自己想法，發(fā)表有意義的評論。該類學(xué)生不需要進行敦促，能夠正確行使自己的權(quán)利，客觀評教，認定為5星，給予肯定。

第二類學(xué)生，從學(xué)生所評教的多門課程角度分析，該類學(xué)生對不同教師具有明顯區(qū)分度，評分具有明顯梯度，對評教活動認真對待。和學(xué)習(xí)同一門課程的其他學(xué)生相比，具有一定的偏差度，說明該類學(xué)生評教過程中，存在一定數(shù)量的課程偏離大部分同學(xué)。從評語角度，該類學(xué)生所評文本具有一定的信息量，并且相似度較低。綜合考量，該類學(xué)生能夠?qū)Σ煌處熡幸欢▍^(qū)分度，能夠認真評教，但是存在一定偏差，認定為4星。

第三類學(xué)生，從學(xué)生自身角度分析，該類學(xué)生對不同教師的區(qū)分度不大，相同分數(shù)的評分較多，梯度不明顯，表明沒有對全部教師認真評價。和學(xué)習(xí)同一門課程的其他同學(xué)相比，具有較低的偏差率，表明能夠基本客觀的進行評教。從評語角度，該類學(xué)生評語有一定的信息量。綜上，該類學(xué)生對不同教師區(qū)分度不夠，但能夠基本客觀進行評價，且具有一定的信息量，給予3星。

第四類學(xué)生，從學(xué)生自身角度分析，該類學(xué)生對不同教師區(qū)分度很小，沒有明顯的梯度。和學(xué)習(xí)同一門課程的其他同學(xué)相比，偏差較大，沒有客觀評教。從評語角度分析，該類學(xué)生信息量較低，且存在大量相同評語。綜上，該類同學(xué)對不同教師沒有明顯區(qū)分，并且存在惡意評教，給予2星。

第五類學(xué)生，從學(xué)生自身所評教的多門課程來看，該類學(xué)生對老師的評教區(qū)分度很小，給不同老師評相同分數(shù)的比重較大，具有敷衍現(xiàn)象。和學(xué)習(xí)同一門課程的其他同學(xué)相比，該類學(xué)生偏差較大，表明該類學(xué)生沒有能夠?qū)蠋熯M行客觀評價，而是一味的惡評或好評。從評語角度，該類學(xué)生評語具有信息量低，相似度高的特征。綜合考量，該類學(xué)生對評教具有隨意性，沒有客觀評教，認定為1星，需要進行一定的敦促。

四、研究結(jié)論

學(xué)生評教是教師評價的重要組成部分，學(xué)生評教質(zhì)量對教師評價的結(jié)果具有直接影響，相關(guān)研究大多通過尋找偏差去掉數(shù)據(jù)或?qū)?shù)據(jù)進行修正均無法改變學(xué)生評教的態(tài)度，無法有效改善學(xué)生不客觀評教的行為，同時也不利于學(xué)生良好品格的形成。本文通過對評教數(shù)據(jù)分析，多角度提取學(xué)生評教信度指標(biāo)，利用機器學(xué)習(xí)算法，對學(xué)生進行分類，方便教師掌握學(xué)生評教情況，敦促學(xué)生認真評教，使學(xué)生有效行使權(quán)利，有利于更好地進行教師評價活動，為優(yōu)化課堂、改善教學(xué)提供幫助。

本文通過某高校數(shù)據(jù)分析，結(jié)果驗證了高校大學(xué)生存在敷衍評教行為，有約5%的學(xué)生存在明顯的惡評或好評，沒有做到客觀評教。對學(xué)生分類評定一方面能夠?qū)W(xué)生進行警醒，為未來評教打下良好的基礎(chǔ)，另一方面也為后續(xù)評教數(shù)據(jù)預(yù)處理做準(zhǔn)備，對不能夠認真評教的學(xué)生給予較低的權(quán)重，為保證評教數(shù)據(jù)的客觀性起到積極作用。