基于特征詞的教學(xué)綜合評(píng)語(yǔ)量化研究

陳 建，向 露，徐 晶，陸存豪

（揚(yáng)州大學(xué) 機(jī)械工程學(xué)院，江蘇 揚(yáng)州 225000）

0 引言

課堂教學(xué)質(zhì)量評(píng)價(jià)是高校穩(wěn)定教學(xué)秩序、提高教學(xué)質(zhì)量的重要舉措之一。評(píng)價(jià)工作的客觀性和評(píng)價(jià)數(shù)據(jù)的充分運(yùn)用是教務(wù)部門重要的關(guān)注點(diǎn)，一般由課堂的教學(xué)評(píng)價(jià)（通常用優(yōu)秀、良好、一般、合格、不合格表示）、專家對(duì)教師授課的綜合評(píng)語(yǔ)（由專家根據(jù)教師授課情況和自己對(duì)授課質(zhì)量標(biāo)準(zhǔn)的理解，用文字進(jìn)行表述）、專家對(duì)學(xué)生學(xué)習(xí)情況的評(píng)價(jià)（由專家根據(jù)學(xué)生的課堂表現(xiàn)評(píng)分，通常分為優(yōu)秀、良好、一般）3個(gè)方面構(gòu)成。

課堂教學(xué)評(píng)價(jià)對(duì)于提高人才培養(yǎng)質(zhì)量具有重要意義，許多學(xué)者對(duì)此進(jìn)行了研究。楊志波［1］、丁元春等［2］、朱玥［3］利用層次分析法構(gòu)建教學(xué)質(zhì)量評(píng)價(jià)體系，對(duì)教學(xué)質(zhì)量各指標(biāo)的權(quán)重結(jié)果進(jìn)行分析并提出相應(yīng)建議；楊益等［4］運(yùn)用層次分析法與灰色聚類法構(gòu)建課堂教學(xué)質(zhì)量評(píng)價(jià)體系，教學(xué)實(shí)踐結(jié)果表明，該方法有效、可靠，且可實(shí)行性較強(qiáng)；唐順定等［5］提出基于層次分析法的模糊綜合評(píng)判法對(duì)教學(xué)質(zhì)量進(jìn)行研究；岳琪等［6］提出一種基于遺傳算法和反向傳播神經(jīng)網(wǎng)絡(luò)的混合算法對(duì)教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行打分，實(shí)驗(yàn)結(jié)果表明，該算法能夠有效實(shí)現(xiàn)對(duì)教學(xué)質(zhì)量的評(píng)價(jià)；Yang［7］結(jié)合層次分析法（AHP）與BP 神經(jīng)網(wǎng)絡(luò)提出一種評(píng)估英語(yǔ)課堂質(zhì)量的新方法，實(shí)驗(yàn)結(jié)果顯示，與不使用AHP相比，使用該方法后英語(yǔ)課堂質(zhì)量評(píng)估精度提高了1.9%，召回率提高了1.3%；Zhang 等［8］、李燕燕等［9］利用基于遺傳算法與神經(jīng)網(wǎng)絡(luò)的課堂教學(xué)質(zhì)量評(píng)價(jià)方法，以有效提高課堂教學(xué)質(zhì)量評(píng)價(jià)精度。高校課堂質(zhì)量評(píng)價(jià)需要對(duì)整個(gè)課堂活動(dòng)進(jìn)行考察，通過(guò)評(píng)價(jià)內(nèi)容及時(shí)反饋課堂教學(xué)問(wèn)題，但以上方法并未將專家的評(píng)價(jià)內(nèi)容加入模型中，因此無(wú)法全面評(píng)判不同課程教學(xué)質(zhì)量的差異［10］。此外，上述方法的課堂評(píng)價(jià)結(jié)果劃分比較簡(jiǎn)單，只分為優(yōu)秀、良好、一般、合格、不合格，在授課等級(jí)結(jié)果相同的情況下，無(wú)法判斷出哪一節(jié)課的教學(xué)質(zhì)量更好。

在每位專家對(duì)同一門課程評(píng)判結(jié)果不一致的情況下，不同課程的教學(xué)質(zhì)量也存在差異，因此將專家對(duì)教師授課的綜合評(píng)語(yǔ)轉(zhuǎn)化為評(píng)定教師授課水平的量化指標(biāo)顯得尤為重要。對(duì)專家的教學(xué)綜合評(píng)語(yǔ)進(jìn)行量化，不僅可判斷出哪一節(jié)課的教學(xué)質(zhì)量更好，而且能減少專家主觀性評(píng)判帶來(lái)的誤差。本文創(chuàng)新性地提出基于專業(yè)特征詞與大數(shù)據(jù)特征詞的兩種評(píng)分模型，對(duì)教學(xué)綜合評(píng)語(yǔ)進(jìn)行量化打分，以幫助對(duì)比綜合評(píng)價(jià)等級(jí)相同時(shí)課堂教學(xué)質(zhì)量的差異。實(shí)驗(yàn)結(jié)果表明，大數(shù)據(jù)特征詞評(píng)分模型可更好地區(qū)分不同課程的教學(xué)質(zhì)量，評(píng)價(jià)結(jié)果符合實(shí)際，結(jié)果真實(shí)、可靠。

1 教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)確定

課堂教學(xué)質(zhì)量評(píng)價(jià)受到很多因素影響，教師是課堂教學(xué)活動(dòng)的直接負(fù)責(zé)人，教師的教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段、教學(xué)成效等都是影響教學(xué)質(zhì)量的客觀因素。因此，科學(xué)、合理地進(jìn)行課堂教學(xué)質(zhì)量評(píng)價(jià)，對(duì)于促進(jìn)教師提升業(yè)務(wù)水平、創(chuàng)新教學(xué)手段改革，從而提高人才培養(yǎng)質(zhì)量具有重要意義。

根據(jù)某高校提供的課堂教學(xué)評(píng)價(jià)重點(diǎn)內(nèi)容和參考標(biāo)準(zhǔn)，給出教學(xué)質(zhì)量評(píng)價(jià)的 4 個(gè)一級(jí)指標(biāo)及對(duì)應(yīng)權(quán)重，如表1所示。

Table 1 Key contents and reference standards of classroom teaching evaluation表1 課堂教學(xué)評(píng)價(jià)重點(diǎn)內(nèi)容與參考標(biāo)準(zhǔn)

由表1 可知，一級(jí)指標(biāo)包括教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段、教學(xué)成就，且每個(gè)指標(biāo)都有相應(yīng)的評(píng)價(jià)內(nèi)容和權(quán)重。查閱文獻(xiàn)［11］、［12］發(fā)現(xiàn)，教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系一般包含教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)效果4 個(gè)方面，各高?？稍诖嘶A(chǔ)上結(jié)合自身教學(xué)特點(diǎn)及實(shí)際情況制定符合自身的教學(xué)質(zhì)量評(píng)價(jià)體系［13］。

根據(jù)某高校提供的5 821 條課堂教學(xué)評(píng)價(jià)數(shù)據(jù)，選取其中的5條數(shù)據(jù)進(jìn)行展示，如表2所示。

Table 2 Course evaluation data表2 課程評(píng)價(jià)數(shù)據(jù)

2 綜合評(píng)分模型構(gòu)建

各高校在進(jìn)行課堂教學(xué)質(zhì)量評(píng)價(jià)時(shí)，會(huì)將課堂教學(xué)評(píng)價(jià)重點(diǎn)內(nèi)容作為參考，因此表1 中的評(píng)價(jià)內(nèi)容可作為評(píng)語(yǔ)打分的依據(jù)，由此建立專業(yè)特征詞評(píng)分模型。課堂教學(xué)評(píng)價(jià)內(nèi)容是教學(xué)質(zhì)量分析與研究的重要基礎(chǔ)，所以有必要對(duì)專家的評(píng)價(jià)內(nèi)容進(jìn)行研究。為了避免專家在借鑒表1 的內(nèi)容作為參考時(shí)帶有主觀性的表達(dá)，故根據(jù)類似表2 的教師教學(xué)總體評(píng)價(jià)內(nèi)容，建立大數(shù)據(jù)特征詞評(píng)分模型。

2.1 專業(yè)特征詞評(píng)分模型

將表1 的課堂教學(xué)評(píng)價(jià)重點(diǎn)內(nèi)容中4 個(gè)項(xiàng)目的特征詞挑選出來(lái)形成詞語(yǔ)集合N，并分別給4 個(gè)項(xiàng)目的特征詞賦予不同權(quán)重，對(duì)需要評(píng)分的評(píng)語(yǔ)進(jìn)行特征詞搜索，然后乘以相應(yīng)權(quán)重后累加分?jǐn)?shù)。對(duì)課堂教學(xué)評(píng)價(jià)內(nèi)容進(jìn)行觀察，發(fā)現(xiàn)評(píng)語(yǔ)中經(jīng)常出現(xiàn)“不”“沒(méi)”“無(wú)”等否定詞表示課程教學(xué)的不足。因此，在計(jì)算過(guò)程中需要對(duì)否定詞進(jìn)行搜索，并減去相應(yīng)分值。則評(píng)語(yǔ)集合中第i條綜合評(píng)語(yǔ)的得分Xi為：

式中，Q=（q1，q2，…，qi），其中qi為評(píng)語(yǔ)中符合第i個(gè)項(xiàng)目的特征詞個(gè)數(shù)；C=（c1，c2，…，ci），其中ci為第i個(gè)項(xiàng)目中每個(gè)詞所賦予的權(quán)重；m表示評(píng)語(yǔ)中出現(xiàn)否定詞的次數(shù)；l表示否定詞權(quán)重。

由式（1）可知，以表1 的教學(xué)評(píng)價(jià)重點(diǎn)內(nèi)容提取出的特征詞和否定詞作為依據(jù)，對(duì)評(píng)語(yǔ)的每個(gè)詞進(jìn)行檢索，查找特征詞與否定詞個(gè)數(shù)，并分別乘上對(duì)應(yīng)系數(shù)，最后得出每條評(píng)語(yǔ)的分?jǐn)?shù)，由此可區(qū)分不同課程的教學(xué)質(zhì)量。

2.2 大數(shù)據(jù)特征詞評(píng)分模型

將某高校課堂教學(xué)評(píng)價(jià)數(shù)據(jù)按教師教學(xué)綜合評(píng)價(jià)和學(xué)生綜合評(píng)價(jià)進(jìn)行等級(jí)劃分，評(píng)語(yǔ)等級(jí)分為雙優(yōu)秀、一優(yōu)一良、雙良3 部分。選取對(duì)應(yīng)的不同特征詞集合，并將每個(gè)特征詞集合賦予不同權(quán)重。對(duì)課堂評(píng)語(yǔ)進(jìn)行特征詞搜索，然后乘以相應(yīng)權(quán)重后累加求和，從而計(jì)算出各課堂評(píng)價(jià)內(nèi)容的分?jǐn)?shù)。對(duì)課堂教學(xué)評(píng)價(jià)進(jìn)行觀察，評(píng)語(yǔ)中除出現(xiàn)“不”“沒(méi)”“無(wú)”等否定詞表示教學(xué)課程的不足，計(jì)算過(guò)程需要減去相應(yīng)分值外，發(fā)現(xiàn)雙良評(píng)語(yǔ)都會(huì)出現(xiàn)“建議”一詞，而雙優(yōu)評(píng)語(yǔ)中未出現(xiàn)。為避免因特征詞過(guò)多而出現(xiàn)良好評(píng)語(yǔ)分?jǐn)?shù)大于優(yōu)秀評(píng)語(yǔ)的情況，但凡評(píng)語(yǔ)中出現(xiàn)“建議”一詞，將所得總分乘上系數(shù)k。評(píng)語(yǔ)集合中第j條綜合評(píng)語(yǔ)的得分為：

式中，P=（p1，p2，…，pj），其中pi為評(píng)語(yǔ)中符合第j個(gè)特征詞集合的特征詞個(gè)數(shù)；G=（g1，g2，…，gj），gj為第j個(gè)特征詞集合中每個(gè)詞所賦予的權(quán)重；n表示評(píng)語(yǔ)中出現(xiàn)否定詞的次數(shù)；d表示否定詞權(quán)重。

同理，由式（2）可知，從專家的評(píng)價(jià)內(nèi)容中提取出3 個(gè)不同特征詞合集作為依據(jù)對(duì)評(píng)語(yǔ)進(jìn)行檢索，查找特征詞個(gè)數(shù)與否定詞個(gè)數(shù)，并分別乘上對(duì)應(yīng)系數(shù)，最后得出每條評(píng)語(yǔ)的分?jǐn)?shù)，由此區(qū)分不同課程的教學(xué)質(zhì)量。

3 實(shí)驗(yàn)結(jié)果與分析

為了檢驗(yàn)上述兩種模型的實(shí)際情況并進(jìn)行對(duì)比，本文根據(jù)某高校提供的課堂教學(xué)評(píng)價(jià)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并對(duì)其中20 門課程的評(píng)分結(jié)果進(jìn)行展示，實(shí)驗(yàn)流程如圖1 所示。以專業(yè)特征詞評(píng)分模型為例，首先利用Python 的jieba 函數(shù)將綜合評(píng)語(yǔ)切分成若干詞語(yǔ)，然后將每個(gè)詞與特征詞進(jìn)行對(duì)比。若詞語(yǔ)相同則加上對(duì)應(yīng)權(quán)重，進(jìn)入下一個(gè)詞與特征詞進(jìn)行對(duì)比；若詞語(yǔ)與專業(yè)特征詞無(wú)法對(duì)應(yīng)，直接進(jìn)行下一個(gè)詞與特征詞進(jìn)行對(duì)比且不計(jì)分。按上述方式查找否定詞并累計(jì)分?jǐn)?shù)，將綜合評(píng)語(yǔ)的所有詞語(yǔ)對(duì)比完之后，對(duì)所得的分?jǐn)?shù)進(jìn)行加減，最后求出綜合評(píng)語(yǔ)的總分。大數(shù)據(jù)特征詞評(píng)分模型的評(píng)分流程同理。

Fig.1 Experimental process圖1 實(shí)驗(yàn)流程

3.1 專業(yè)特征詞選取

根據(jù)表1 課堂教學(xué)評(píng)價(jià)的重點(diǎn)內(nèi)容和參考標(biāo)準(zhǔn)，結(jié)合實(shí)際選取課堂教學(xué)評(píng)價(jià)的專業(yè)特征詞，如表3所示。

由表3、式（1）可知C=（0.2，0.3，0.3，0.2），分別代表課程4 個(gè)項(xiàng)目的不同權(quán)重；l取C 的均值，l=0.25；q1、q2、q3、q4分別代表評(píng)語(yǔ)中教學(xué)態(tài)度、教學(xué)內(nèi)容、方法手段和教學(xué)組織4個(gè)指標(biāo)特征詞出現(xiàn)的次數(shù)。

Table 3 Characteristic words and their weights of each item in theory course表3 理論課各項(xiàng)目特征詞及權(quán)重

3.2 大數(shù)據(jù)特征詞選取

由表2 可知，根據(jù)教學(xué)綜合評(píng)價(jià)和學(xué)生綜合評(píng)價(jià)結(jié)果，把“教師教學(xué)總體評(píng)價(jià)及改進(jìn)意見(jiàn)”列表分為雙優(yōu)秀、一優(yōu)一良、雙良評(píng)價(jià)3 部分，并利用Python 的jieba 函數(shù)對(duì)3部分評(píng)語(yǔ)內(nèi)容進(jìn)行詞語(yǔ)切片，選出3 部分重復(fù)率最高的特征詞，組成3 個(gè)不同特征詞集合，根據(jù)評(píng)語(yǔ)等級(jí)對(duì)特征詞集合賦予不同權(quán)重，如表4 所示。由表4 可知，在特征詞統(tǒng)計(jì)過(guò)程中發(fā)現(xiàn)雙優(yōu)評(píng)語(yǔ)中除有雙優(yōu)特征詞外，還會(huì)出現(xiàn)雙良和一優(yōu)一良評(píng)語(yǔ)的特征詞，雙良評(píng)語(yǔ)中也會(huì)出現(xiàn)少量雙優(yōu)評(píng)語(yǔ)的特征詞。為更好地確定評(píng)語(yǔ)等級(jí)，本文選取特征詞順序?yàn)殡p良特征詞集合、一優(yōu)一良特征詞集合、雙優(yōu)特征詞集合，每個(gè)集合都排除前一個(gè)集合所出現(xiàn)的特征詞。由表4、式（2）可知，G=（0.2，0.3，0.5），d取G的均值，d=0.3。

Table 4 Characteristic words and their weights in three parts表4 3部分特征詞及權(quán)重

3.3 k值選取

k值取值范圍為（0，1），若k值過(guò)大，模型精確度不高，很難區(qū)分不同等級(jí)的課；若k值過(guò)小，導(dǎo)致同等級(jí)別不同評(píng)語(yǔ)的區(qū)分度不高，造成模型精度較低。如圖2 所示，k值取0.5時(shí)模型精度最高，故本文取k值為0.5。

Fig.2 Relationship between k value and model precision圖2 k值與模型精度的關(guān)系

3.4 結(jié)果分析

在參考的5 821 條高校課堂教學(xué)評(píng)價(jià)數(shù)據(jù)中，取20 門課程的評(píng)價(jià)內(nèi)容分別帶入專業(yè)特征詞評(píng)分模型、大數(shù)據(jù)特征詞評(píng)分模型中，結(jié)果展示如表5 所示。由表5 可知，按專業(yè)特征詞評(píng)分模型進(jìn)行求解后，1-20 條記錄的量化結(jié)果由小到大的排序?yàn)?、8、11、19、3、2、9、13、15、17、18、14、7、10、16、1、5、20、6、12。按大數(shù)據(jù)特質(zhì)詞評(píng)分模型進(jìn)行求解后，1-20 條記錄的量化結(jié)果由小到大的排序?yàn)?、9、3、11、8、7、10、1、6、2、20、14、19、18、5、17、16、15、13、12。將兩種方法的排序結(jié)果與教師教學(xué)綜合評(píng)價(jià)、學(xué)生學(xué)習(xí)綜合評(píng)價(jià)作對(duì)比，不同模型的結(jié)果比較如表6所示。

Table 5 Evaluation of scoring results by two methods表5 兩種方法評(píng)價(jià)得分結(jié)果

Table 6 Comparison of model results表6 模型結(jié)果比較

由表6 可知，專業(yè)特征詞評(píng)分模型精度低于大數(shù)據(jù)特征詞評(píng)分模型，結(jié)果顯示考慮否定詞的計(jì)算會(huì)提高模型精度，考慮否定詞的大數(shù)據(jù)特征詞評(píng)分模型的精度高達(dá)87.5%。專業(yè)特征詞評(píng)分模型精度較低的原因是專業(yè)特征詞評(píng)分模型按照表1 標(biāo)準(zhǔn)內(nèi)容所提取出的特征詞與實(shí)際評(píng)語(yǔ)匹配度不高，且在實(shí)際搜索中出現(xiàn)頻率不高。教師進(jìn)行評(píng)價(jià)時(shí)帶有自己的主觀意見(jiàn)，會(huì)根據(jù)自己的習(xí)慣用語(yǔ)書(shū)寫評(píng)論，所以利用大數(shù)據(jù)特征詞評(píng)分模型，在教師的評(píng)論中提取重復(fù)率高的特征詞，按評(píng)語(yǔ)所處等級(jí)賦予不同權(quán)重，模型結(jié)果與對(duì)應(yīng)序號(hào)的教師教學(xué)綜合評(píng)價(jià)、學(xué)生學(xué)習(xí)綜合評(píng)價(jià)的匹配度更高。匹配度不能完全一致的原因是不同教師對(duì)同一節(jié)課帶有不同的主觀性，會(huì)出現(xiàn)同一節(jié)課評(píng)分不一致或類似評(píng)語(yǔ)評(píng)分不一致的情況。總體而言，大數(shù)據(jù)特征詞評(píng)分模型的準(zhǔn)確度較高。通過(guò)表6 模型的精度對(duì)比可知，考慮否定詞時(shí)模型的精度更高，說(shuō)明課堂教學(xué)評(píng)語(yǔ)的正負(fù)情感也會(huì)影響評(píng)分結(jié)果，考慮評(píng)語(yǔ)的情感會(huì)提高模型精度。

4 結(jié)語(yǔ)

課堂教學(xué)評(píng)價(jià)是教師教學(xué)質(zhì)量的重要參考標(biāo)準(zhǔn)，本文通過(guò)提取評(píng)語(yǔ)中的特征詞構(gòu)建大數(shù)據(jù)特征詞綜合評(píng)分模型，將專家評(píng)語(yǔ)進(jìn)行量化，同時(shí)也考慮到評(píng)語(yǔ)中出現(xiàn)的否定詞對(duì)模型精度的影響，有效利用專家評(píng)語(yǔ)作為課堂教學(xué)質(zhì)量的評(píng)價(jià)參考。該方法可幫助在最終評(píng)價(jià)等級(jí)結(jié)果相同的情況下判斷出哪一節(jié)課的教學(xué)質(zhì)量更好，同時(shí)能減少由于專家評(píng)價(jià)主觀性對(duì)結(jié)果造成的誤差。大數(shù)據(jù)特征詞綜合評(píng)分模型避免了課堂教學(xué)質(zhì)量結(jié)果模糊、簡(jiǎn)單的缺點(diǎn)，對(duì)實(shí)際教學(xué)質(zhì)量的評(píng)價(jià)具有重要參考價(jià)值，可為以后提高課堂教學(xué)質(zhì)量提供一種易于操作、有效、可靠的方法。