D-S證據(jù)理論在教師授課認(rèn)真程度綜合評價(jià)中的應(yīng)用*

◆布少聰 楊波

0 引言

高校教師教學(xué)評價(jià)是非常重要的一個(gè)教學(xué)環(huán)節(jié)，常用的評價(jià)方式是學(xué)生評價(jià)和督導(dǎo)組聽課評價(jià)二者結(jié)合。學(xué)生評價(jià)即學(xué)生在網(wǎng)上匿名一次性評價(jià)，打分受較大主觀因素影響，如課程難、教師要求高、不及格率高的課程，學(xué)生給的分?jǐn)?shù)往往偏低。督導(dǎo)組聽課一般1～2次，難以對一學(xué)期的教學(xué)作出全面評價(jià)，且非背靠背評分，評分難免主觀。兩種方式的評價(jià)意見均不夠具體，且兩項(xiàng)成績合成缺乏科學(xué)依據(jù)。

鑒于此，可以將教師授課認(rèn)真程度綜合評價(jià)和研究生學(xué)科核心課程檢測技術(shù)與自動化中的基于D-S證據(jù)理論的信息融合方法結(jié)合起來，作為課程的研究型設(shè)計(jì)報(bào)告，以全面評價(jià)教師的投入程度。以某教師授課情況作為研究對象，通過建立兩層評價(jià)指標(biāo)體系，由聽課教師或?qū)W生進(jìn)行百分制的單項(xiàng)指標(biāo)評價(jià)，然后按不同的權(quán)重給定融合判定依據(jù)，采用D-S證據(jù)理論對教師授課質(zhì)量進(jìn)行綜合評價(jià)，提供多角度的分析信息，使評價(jià)結(jié)果更具客觀性、科學(xué)性和有效性。

1 問題描述

基于D-S證據(jù)理論實(shí)現(xiàn)對教師授課認(rèn)真程度的評價(jià)，首先要構(gòu)建評價(jià)指標(biāo)體系、評定標(biāo)準(zhǔn)與規(guī)則和處理原始數(shù)據(jù)。

1.1 評價(jià)指標(biāo)與辨識框架

通過調(diào)研，將教師授課認(rèn)真程度的評價(jià)指標(biāo)設(shè)為八項(xiàng)，可理解為D-S理論中的“證據(jù)”；將這些指標(biāo)分為兩類，構(gòu)建兩級指標(biāo)評價(jià)體系，即完成兩次D-S證據(jù)理論信息融合。定義辨識框架Ω中包含A到E五個(gè)元素，表示從高到低的程度，用于評價(jià)各項(xiàng)指標(biāo)以及指標(biāo)最終合成的“認(rèn)真程度”。具體的指標(biāo)及評價(jià)等級描述如表1所示。表中的指標(biāo)說明如下。

表1 教師授課認(rèn)真程度評價(jià)項(xiàng)目

1）一級指標(biāo)“客觀狀況”下設(shè)五個(gè)二級指標(biāo)。

①出勤情況：參照學(xué)校關(guān)于教學(xué)事故的說明擬定。

②課堂不良行為發(fā)生率：參照學(xué)校關(guān)于教學(xué)事故的說明及教師規(guī)范擬定。

③知識信息量：教師在一堂課上講授有關(guān)課程主題的內(nèi)容多少，選擇用時(shí)間比例來衡量（與課程內(nèi)容相關(guān)的時(shí)間/一節(jié)課的總時(shí)間）教師在該節(jié)課中的真實(shí)工作量。

④授課形式：主要是描述教學(xué)手段是否多樣化。

⑤腦力負(fù)荷水平：腦力負(fù)荷（mental workload）可理解為人在單位時(shí)間內(nèi)的腦活動量、大腦資源占有率和信息處理能力等[1]，研究表明，該水平與工作投入度和工作能力掛鉤[2-3]，選用該指標(biāo)衡量教師一節(jié)課的工作投入與工作效能。

2）一級指標(biāo)“學(xué)生評價(jià)”下設(shè)三個(gè)二級指標(biāo)，每個(gè)學(xué)生僅以自身的感受作出評判。

1.2 情景假設(shè)與數(shù)據(jù)來源

本設(shè)計(jì)中假定每位教師一學(xué)期授64節(jié)課，并有100位學(xué)生參與評教。對于“客觀狀況”下屬的指標(biāo)，每節(jié)課進(jìn)行一次評價(jià)，如此統(tǒng)計(jì)并分類得到64個(gè)評價(jià)結(jié)果。對于“學(xué)生評價(jià)”下屬的指標(biāo)用同樣的方式統(tǒng)計(jì)并分類得到100個(gè)評價(jià)結(jié)果。

對于“腦力負(fù)荷水平”這項(xiàng)指標(biāo)，可采用生理測量法完成，或通過主觀評價(jià)法[使用美國航空航天局提供的腦力負(fù)荷評價(jià)（NASA-TLX）量表和工作能力指數(shù)（WAI）量表]、主任務(wù)測量法、輔助任務(wù)測量法測評[2]。

2 綜合評價(jià)設(shè)計(jì)方法及實(shí)例分析

如上文所述，各指標(biāo)的評價(jià)結(jié)果統(tǒng)一到Ω=｛A,B,C,D,E｝中，數(shù)據(jù)合成過程使用到的方法如圖1所示。首先對原數(shù)據(jù)概率化，得到八項(xiàng)指標(biāo)m1～m8的基本概率分配矩陣，它以各指標(biāo)為行，以各等級評價(jià)為列；通過度量證據(jù)相似性獲得每個(gè)指標(biāo)的可信度，作為證據(jù)融合時(shí)的權(quán)重；再利用可信度權(quán)重對兩大類指標(biāo)分別進(jìn)行第一次D-S證據(jù)理論融合，得出兩個(gè)一級指標(biāo)的基本概率分配M1和M2；之后利用信息熵獲取一級指標(biāo)權(quán)重，進(jìn)行第二次數(shù)據(jù)融合；根據(jù)判定準(zhǔn)則分析最終概率分配，從而得出關(guān)于認(rèn)真程度的判定。

圖1 基于D-S證據(jù)理論的教師授課認(rèn)真程度評價(jià)方法流程框圖

2.1 原始數(shù)據(jù)概率化

每個(gè)指標(biāo)每個(gè)等級對應(yīng)的概率數(shù)即為該位置原始數(shù)字與測試總量之比。對于前五項(xiàng)，每個(gè)指標(biāo)的測試總量為64（課時(shí)數(shù)），后三項(xiàng)每個(gè)指標(biāo)的測試總量為100（參評學(xué)生數(shù)）。為方便后續(xù)計(jì)算與融合，遇到概率數(shù)為0時(shí)，將其改為0.000 001，同時(shí)將該指標(biāo)中最大概率減去0.000 001，以保證對后續(xù)影響最小。得到一個(gè)不含0值的8×5的概率分配矩陣Origin_matrix。

2.2 利用證據(jù)相似度獲取第一層次D-S證據(jù)合成時(shí)的權(quán)重

此處獲取權(quán)重并引入證據(jù)融合是為了緩解證據(jù)之間的沖突，權(quán)重采用度量證據(jù)相似性方法獲得[4]。利用證據(jù)間的關(guān)聯(lián)度，由證據(jù)可信度來確定證據(jù)權(quán)重，即若某個(gè)證據(jù)與其他證據(jù)的沖突較小，則可信度較高，權(quán)重較大。下面結(jié)合程序設(shè)計(jì)給出計(jì)算方法。

定義一個(gè)度量證據(jù)體間相似程度的證據(jù)距離函數(shù)來表示兩個(gè)指標(biāo)間的相似性：

該式計(jì)算的是歐式距離，值越小說明兩個(gè)證據(jù)之間越相似，沖突越小。

把每兩證據(jù)之間的距離值正則化，然后聚集起來構(gòu)成證據(jù)相似性距離矩陣：

利用信度函數(shù)confi=f(si)=(1-si)e-si計(jì)算每一個(gè)證據(jù)的可信度?？尚哦萩onfi描述該證據(jù)的重要程度和融合結(jié)果的影響程度。用于計(jì)算可信度的信度函數(shù)應(yīng)選用單調(diào)遞減型，且值域配合定義域?yàn)椋?,1），董增壽等[4]選擇上述指數(shù)關(guān)系函數(shù)。將同一證據(jù)集中的n個(gè)confi值聚合為矩陣，得到兩大類指標(biāo)對應(yīng)的可信度矩陣Conf11（1×5）和Conf12（1×3）。

按式（2）歸一化可信度形成證據(jù)權(quán)重：

由此得到兩大類指標(biāo)對應(yīng)的權(quán)值矩陣Weight11（1×5）和 Weight12（1×3）。

2.3 利用信息熵獲取第二層級D-S證據(jù)合成時(shí)的權(quán)重

第一層次D-S證據(jù)理論融合后，得到兩個(gè)一級指標(biāo)的基本概率分配M1和M2，由于融合證據(jù)數(shù)目較少，因此忽略沖突情況，而是基于人工智能領(lǐng)域中決策樹的相關(guān)知識，考慮用信息熵（Entropy）的概念來計(jì)算權(quán)重，每個(gè)證據(jù)的信息熵為：

熵描述了信息的純度，值越小表明系統(tǒng)越有序，信息確定性越大，其值介于“0到Ω中元素?cái)?shù)”之間，因此根據(jù)這種關(guān)系計(jì)算權(quán)值：

每一層次得到權(quán)值后，按式（5）計(jì)算即可得到加權(quán)平均證據(jù)，之后可按照規(guī)則合成證據(jù)。

2.4 D-S證據(jù)理論合成規(guī)則

在這里仍然要列出D-S證據(jù)理論合成公式：

其中歸一化常數(shù)因子K為：

本設(shè)計(jì)兩次D-S證據(jù)理論合成均用到式（6）和式（7），并且在對照實(shí)驗(yàn)中更是直接利用兩式對證據(jù)進(jìn)行融合，因沒有計(jì)算權(quán)重，在后文中稱此為傳統(tǒng)方法。所有證據(jù)融合完成后得到最終的基本概率分配BPA，決策的基本原則是選擇BPA中擁有最大概率數(shù)的等級作為終期評價(jià)結(jié)果，即為A～E中的一個(gè)值，在此前提下細(xì)化規(guī)則如下。

1）若最大概率數(shù)與第二大概率數(shù)之差≥0.1，則認(rèn)為擁有最大概率數(shù)的等級占絕對優(yōu)勢，將該等級作為終期評價(jià)結(jié)果。

2）若最大概率數(shù)與第二大概率數(shù)之差＜0.1，則認(rèn)為兩者有比重相當(dāng)；若最大概率數(shù)所屬等級優(yōu)于第二大概率數(shù)所屬等級，則終期評價(jià)結(jié)果為“最大概率數(shù)所屬等級-”，反之則終期評價(jià)結(jié)果為“最大概率數(shù)所屬等級+”。

綜上，可能的評價(jià)結(jié)果有{A,A-,B+,B,B-,C+,C,C-,D+,D,D-,E+,E}共13種。

2.5 實(shí)例分析

以李老師為例，原始數(shù)據(jù)信息如表2所示，經(jīng)概率化并作非零值處理后的概率分配如表3所示。從直觀的角度看，李老師的授課認(rèn)真程度中等。

表2 李老師各項(xiàng)指標(biāo)原始評價(jià)統(tǒng)計(jì)信息

表3 李老師評價(jià)指標(biāo)的基本概率分配

可以看到m2與m1～m4存在相對最為嚴(yán)重的沖突，因此可以嘗試通過上文介紹的方法，獲得可信度權(quán)重來減弱m2對于合成結(jié)果的影響。計(jì)算得出各類矩陣：

各證據(jù)的可信度分別如下：

conf11和conf12值直接反映該證據(jù)對于其他證據(jù)的支持程度。conf11中的第一和第三個(gè)元素大小相當(dāng)，也就是m1與m3的支持度相當(dāng)，m4和m5是同樣的道理，但m2可信度明顯比其他四個(gè)指標(biāo)低，這符合原始數(shù)據(jù)中的沖突情況。而conf12中三指標(biāo)的可信度大小相差不大，結(jié)合其原始數(shù)據(jù)信息看，三證據(jù)的概率分布確實(shí)有相同的情形（C級概率均為最大，DE的概率數(shù)都接近0）。通過實(shí)驗(yàn)驗(yàn)證上文獲得的可信度權(quán)重是合理的。

第一層次數(shù)據(jù)融合時(shí)的各證據(jù)權(quán)重分別如下：

Weight11=[0.186 3 0.075 2 0.206 4 0.287 9 0.244 3]

Weight12=[0.312 3 0.357 0 0.330 7]

兩類別內(nèi)部各證據(jù)的加權(quán)平均基本概率分配為：

Mean_BPA11=[0.338 5 0.286 3 0.231 2 0.069 4 0.076 4]

Mean_BPA12=[0.223 1 0.235 8 0.484 7 0.049 8 0.006 6]

第二層次數(shù)據(jù)融合時(shí)的兩個(gè)一級指標(biāo)權(quán)重如下：

weight2=[0.474 5 0.525 5]

加入權(quán)重的方法與傳統(tǒng)方法在融合結(jié)果和評價(jià)結(jié)果中的差異如表4所示。

用傳統(tǒng)方法得到的認(rèn)真程度為B，加入權(quán)重后為C。如上所述，李老師的授課認(rèn)真程度中等，因此，加入權(quán)重的方法更適合評估教師授課認(rèn)真程度。從理論層面分析，是因?yàn)樵诘谝粚哟巫C據(jù)融合中，m1～m5中的m2與其他證據(jù)沖突較大，若不加以緩解，就會出現(xiàn)傳統(tǒng)方法實(shí)驗(yàn)結(jié)果BPA11_trad中極端的概率分配情況；設(shè)計(jì)中加入證據(jù)可信度權(quán)重后，BPA11的概率分配不僅值不再是極端接近于0或1，其總體分配也更符合原始數(shù)據(jù)帶來的直觀信息。

3 結(jié)束語

針對目前高校教師授課評價(jià)中存在的問題，本文利用研究生課程檢測技術(shù)與自動化中多元信息融合方法的授課內(nèi)容，以課程研究型設(shè)計(jì)報(bào)告的形式對教師授課認(rèn)真程度綜合評價(jià)進(jìn)行研究。建立雙層評價(jià)體系指標(biāo)，從主觀和客觀兩方面制定多角度評價(jià)指標(biāo)，分別利用證據(jù)相似度和信息熵獲取第一層次和第二層次D-S證據(jù)合成時(shí)的權(quán)重，采用D-S證據(jù)理論對教師授課質(zhì)量進(jìn)行綜合評價(jià)，對綜合評價(jià)的有效性進(jìn)行驗(yàn)證，評價(jià)結(jié)果更具客觀性、科學(xué)性和有效性。

表4 兩種方法的兩次證據(jù)融合結(jié)果與評價(jià)結(jié)果對比