工程教育專業(yè)認證背景下的學(xué)生評教數(shù)據(jù)分析初探

傅思思，王 茜，葛 亮

（重慶大學(xué) 計算機學(xué)院，重慶 400044）

0 引言

中國在2013 年6 月的國際工程聯(lián)盟大會上，成為《華盛頓協(xié)議》組織的預(yù)備成員，并于2016年6 月成為該協(xié)議組織的正式成員，這標志著我國高等工程教育開始步入國際化軌道，同時也對我國工程教育提出了更高的要求[1]?！俺掷m(xù)改進”作為專業(yè)認證的三大基本理念之一[2]，是指通過建立內(nèi)部質(zhì)量監(jiān)控、畢業(yè)生跟蹤反饋、社會評價等機制，定期對教學(xué)全過程進行監(jiān)督、評價和調(diào)控，形成質(zhì)量閉環(huán)，全面促進專業(yè)建設(shè)和教學(xué)改革，不斷提高人才培養(yǎng)質(zhì)量。課程教學(xué)作為教學(xué)活動的基本環(huán)節(jié)，學(xué)生對課程教學(xué)的評價數(shù)據(jù)就成為“持續(xù)改進”教學(xué)實施效果的重要評價依據(jù)之一。

學(xué)生評教是指學(xué)生根據(jù)任課教師的教學(xué)方式、教學(xué)效果等多方面的綜合表現(xiàn)，結(jié)合學(xué)生自身的收獲和進步，用學(xué)校制定的評價指標，對教師的教學(xué)活動作出評價的判斷活動[3-4]。學(xué)生評教最早出現(xiàn)于美國的高校中，自20 世紀20 年代誕生，經(jīng)歷了幾個時期的不同發(fā)展[5]。國內(nèi)高校學(xué)生評教從20 世紀80 年代中期開始在各高校開展起來，并逐步走向系列化、規(guī)范化、公開化[6]。文獻[7]中分析了目前高校學(xué)生評教存在的主要問題有部分學(xué)生不能理性、客觀地進行評價，對嚴格要求的教師打低分；對評教數(shù)據(jù)的處理不夠科學(xué)，按一定比例去掉一部分數(shù)值再取平均值的辦法并不能保證完全處理掉明顯不合理的分數(shù)值。

傳統(tǒng)的評教數(shù)據(jù)分析主要是對李克特量表式的學(xué)生評分進行分析[8]，對教學(xué)設(shè)計與內(nèi)容、教學(xué)形式、課程管理、課程考核、學(xué)習(xí)收獲等方面的學(xué)生評分進行加權(quán)平均得到學(xué)生對教師教學(xué)的評分。這種做法雖然簡單、易于操作，但是容易受到學(xué)生隨意評分的影響。當(dāng)學(xué)生隨意評分時，傳統(tǒng)的評教數(shù)據(jù)分析法很難評判學(xué)生評分的真實可靠性。學(xué)生評教中的評論文本，相對于評分數(shù)據(jù)，蘊含更多信息，且容易判斷學(xué)生是否隨意評教。本文方法嘗試從學(xué)生評教的評論文本中抽取評教信息，構(gòu)建一種新的評教數(shù)據(jù)分析方法。

1 基于自然語言處理的評教文本分析方法

本文嘗試利用自然語言處理方法對學(xué)生評教的評論文本進行分析處理，主要包括數(shù)據(jù)清理、目標意見提取、主題匹配、教師畫像等步驟。學(xué)生評教數(shù)據(jù)來源于西部某重點大學(xué)2014 學(xué)年的學(xué)生評教記錄，在研究實驗前已對數(shù)據(jù)中的學(xué)生學(xué)號、教師工號進行了脫敏處理。數(shù)據(jù)集共有26 098 名學(xué)生對1 664 門課程2 032 名教師的259 103 條評教記錄。由于評論是評教的選填項目，在259 103 條評教記錄中，只有18.9%的記錄是有評論文本數(shù)據(jù)的。學(xué)生評教記錄的格式見表1。

表1 學(xué)生評教記錄樣本數(shù)據(jù)

1.1 數(shù)據(jù)清理

由于學(xué)生可以自由填寫評論內(nèi)容，因此需要對學(xué)生評教記錄中的評論文本進行數(shù)據(jù)清理，使參與分析的評論數(shù)據(jù)可靠有效。首先，數(shù)據(jù)清理會去除對評教分析無用的記錄，包括清除無評論的記錄和只包含“666”等純數(shù)字評論文本的記錄。此外，對于像“很好”這樣的短評論文本，雖然評價了教師的整體教學(xué)效果，但是無法對應(yīng)到教師教學(xué)活動的具體某個方面，因此對短評論文本也進行了清理。原始評教數(shù)據(jù)集經(jīng)過數(shù)據(jù)清理后，共有10 136 名學(xué)生對754 門課程1 532 名教師的36 532 條評教記錄，其中評論文本平均有18.9 個字。

1.2 目標意見元組提取

為了能從評論文本中提取學(xué)生有關(guān)教師教學(xué)的評價意見，首先需要提取出評論文本包含的目標意見元組。目標意見元組描述了學(xué)生對課程教學(xué)活動中某一具體方面的評價。這里首先使用斯坦福大學(xué)的自然語言處理工具包CoreNLP[9]對評論文本進行語法分析，得到詞語間的依賴關(guān)系；然后使用2016 年Hao 等人提出的雙向傳播算法[10]提取出目標意見元組。表2 為目標意見元組提取的一個例子。

表2 目標意見提取的一個例子

1.3 主題匹配

本文使用被廣泛采用的IDEA 評教模型[11]評價教師的課程教學(xué)活動，即進行教師畫像。它從以下6 個主題評價教師教學(xué)活動：①課程組織與規(guī)劃；②表達交流的技巧；③師生互動；④課程難度/工作量；⑤考試與評分；⑥學(xué)生自我評價。為此，需要將提取出的目標意見元組匹配到IDEA 評教模型的某個主題，以形成教師畫像。

本文使用2010 年Rehurek 等人提出的方法[12]將目標詞和主題詞分別用一個詞向量進行表示，然后用余弦相似度計算目標詞向量與主題詞向量間的相似度，取相似度最高的主題詞作為目標詞對應(yīng)的主題。相似度計算公式如下：

1.4 教師畫像

使用中文語義詞典HowNet 把目標意見元組中的意見分為正面評價和負面評價兩類，然后統(tǒng)計教師分別在IDEA 6 個主題中正面評價記錄數(shù)和負面評價記錄數(shù)的占比情況，一條正面評價記錄計分為1，一條負面評價記錄計分為-1，最終得到教師畫像。教師畫像的6 個主題得分的取值范圍為[-1,1]。當(dāng)?shù)梅譃? 時，表示該主題所有的評價記錄都是正面評價；而當(dāng)?shù)梅譃?1 時，表示該主題所有的評價記錄都是負面評價；分值越靠近1，說明教師在主題的正面評價越多。

2 學(xué)生評教文本數(shù)據(jù)分析方法實踐

2.1 評估學(xué)生評教文本分析方法的有效性

目標意見元組提取是本文方法的核心步驟，為了驗證其有效性，采用機器提取結(jié)果與人工提取結(jié)果進行比對的方法。首先，請3 位領(lǐng)域?qū)＜曳謩e對10 000 條評論記錄中的目標意見元組和所屬主題進行人工標記。如果對同一條評論記錄出現(xiàn)3 位領(lǐng)域?qū)＜业臉擞洸灰恢虑闆r，則通過領(lǐng)域?qū)＜业挠懻摚罱K達成一致，從而降低人工標記的隨意性。通過上述方法得到人工提取結(jié)果集。然后對相同的評論記錄，以本文方法提取目標意見元組和所屬主題，得到機器提取結(jié)果。對機器提取結(jié)果與人工提取結(jié)果進行比對，計算準確率（Precision）、召回率（Recall）和F1值，對比結(jié)果見表3。從表中結(jié)果可以看到，機器提取結(jié)果與人工提取結(jié)果的相符程度較好。

表3 機器提取與人工提取的結(jié)果對比

2.2 分析發(fā)現(xiàn)學(xué)生評教的薄弱環(huán)節(jié)

一條學(xué)生評教的評論文本通過本文方法處理，可以得到該評論文本所評價的教師教學(xué)活動主題，進而可以統(tǒng)計出每個主題包含的評論文本條數(shù)。對西部某重點大學(xué)2014 學(xué)年的學(xué)生評教記錄中的10 136 名學(xué)生對754 門課程1 532 名教師的36 532 條評教記錄進行分析處理后，得到表4 的統(tǒng)計結(jié)果。

表4 學(xué)生評論在各主題評論數(shù)的占比情況

從表4 數(shù)據(jù)可以看到，學(xué)生在“教師的表達交流技巧”和“課程難度/工作量”方面的評論數(shù)占比最高，說明這兩方面是學(xué)生關(guān)注度最高的方面，也是學(xué)生直接感受最多的方面，是在學(xué)生自由評論時最容易被涉及的內(nèi)容，但同時可以看到，“學(xué)生自我評價”方面的評論數(shù)占比最低，只有4.3%，是評教的薄弱環(huán)節(jié)。分析其原因主要有兩方面：一是通常評教環(huán)節(jié)是讓學(xué)生評價教師的教學(xué)活動，很多學(xué)生沒有意識到評教內(nèi)容也包括自我學(xué)習(xí)收獲的評價，以反映出教學(xué)活動的目標是否達成；二是學(xué)生對課程學(xué)習(xí)目標不太明確，因此不能對照學(xué)習(xí)目標評價學(xué)習(xí)收獲的多少。對此，教師應(yīng)該在今后的課程教學(xué)活動中，更好地明確課程學(xué)習(xí)目標，加強學(xué)生自我評價的意識和能力，彌補評教的薄弱環(huán)節(jié)。

3 結(jié)語

基于自然語言處理技術(shù)對學(xué)生評教數(shù)據(jù)中的評論文本進行分析處理的方法，可以作為評分分析方法的有效補充，為工程教育專業(yè)認證“持續(xù)改進”理念的達成提供支持。相關(guān)實驗驗證了新方法的有效性，而新方法得到的分析結(jié)果也為評教方法的進一步完善提供了幫助。未來的工作是將新方法得到的分析結(jié)果反饋到教學(xué)活動的改進中，通過對連續(xù)多年的學(xué)生評教數(shù)據(jù)的分析，進一步驗證新方法在教學(xué)“持續(xù)改進”中的效用。