MATE多元教學(xué)有效性評(píng)價(jià)工具的設(shè)計(jì)與檢驗(yàn)

邢磊 張興旭

摘 要：通過梳理教學(xué)有效性評(píng)價(jià)的多種取向和主流評(píng)價(jià)方法，衡量有效教學(xué)相關(guān)的課程特性、教師特質(zhì)、教師教學(xué)行為、學(xué)生特性以及學(xué)生學(xué)習(xí)成效等不同維度之間的關(guān)系，形成對(duì)教學(xué)有效性的綜合性界定并設(shè)計(jì)開發(fā)教學(xué)有效性的多元評(píng)價(jià)框架（MATE模型）和相應(yīng)的評(píng)價(jià)工具。通過對(duì)上海交通大學(xué)2017—2019學(xué)年的170余門課程實(shí)施評(píng)估的應(yīng)用實(shí)例以及對(duì)數(shù)據(jù)的定量分析，探討評(píng)價(jià)框架和工具對(duì)教學(xué)管理和教學(xué)發(fā)展的有效性和局限。

關(guān)鍵詞：教學(xué)有效性;教學(xué)評(píng)估;多元評(píng)價(jià)

一、教學(xué)有效性的界定與取向

有效教學(xué)的理念源于20世紀(jì)上半葉。從產(chǎn)生至今，有效教學(xué)就一直是教學(xué)研究的焦點(diǎn)之一，頻繁出現(xiàn)在教育文獻(xiàn)和實(shí)踐者的視野之中。但有效教學(xué)是一個(gè)動(dòng)態(tài)發(fā)展的概念，其內(nèi)涵一直隨著教學(xué)價(jià)值觀、教學(xué)的理論基礎(chǔ)及教學(xué)研究的范式變化而不斷擴(kuò)展。美國(guó)心理學(xué)會(huì)和高等教育協(xié)會(huì)前主席麥基奇曾在1979發(fā)表的文章中將教學(xué)有效性定義為（教師）幫助學(xué)生達(dá)成教育目標(biāo)的程度[1]。然而，高等教育界對(duì)于“好的教學(xué)”始終缺乏共識(shí)。一方面是因?yàn)閷?duì)教與學(xué)本身規(guī)律的探索仍在不斷深入，另一方面則是高校教學(xué)實(shí)踐存在差異?？v觀教學(xué)有效性評(píng)價(jià)的歷史，出現(xiàn)過以下幾種主要的評(píng)價(jià)取向：

（1）教師個(gè)人特質(zhì)取向。伴隨著19世紀(jì)心理測(cè)量運(yùn)動(dòng)、心理測(cè)量理論的形成和在實(shí)際中的大量應(yīng)用，有效教學(xué)最初被認(rèn)為是教師某些個(gè)人特質(zhì)的體現(xiàn)[2]。此時(shí)一般會(huì)借助于心理測(cè)量量表來評(píng)價(jià)一系列理想化的教師特質(zhì)，如：熱情、公平、嚴(yán)苛、幽默等。簡(jiǎn)言之，能不能教得好，首先要看你是否具備理想化特質(zhì)。但若僅以此評(píng)判，就過于依賴天性，有失偏頗。

（2）學(xué)生學(xué)習(xí)成效取向。關(guān)注“學(xué)”的結(jié)果，以學(xué)生最終在知識(shí)、態(tài)度、技能、能力、行為、價(jià)值觀、素養(yǎng)等方面的發(fā)展變化來衡量教學(xué)的質(zhì)量。在當(dāng)代高等教育質(zhì)量越來越受到家長(zhǎng)和社會(huì)關(guān)注的背景下，在專業(yè)評(píng)估和認(rèn)證盛行的推動(dòng)下，學(xué)生學(xué)習(xí)成效評(píng)價(jià)越來越受到重視[3]。但對(duì)于高等教育而言，它的最大局限在于操作性不強(qiáng)。因?yàn)橛脤W(xué)生的學(xué)習(xí)直接代表教學(xué)的有效性，不但需要測(cè)量的效度能夠區(qū)分不同教師、不同學(xué)科、不同教學(xué)目標(biāo)的差異，而且要能支持增值方式（前后測(cè)之差表征學(xué)習(xí)變化的程度），這對(duì)學(xué)生學(xué)習(xí)測(cè)量工具的要求非常高[4]。

（3）學(xué)生認(rèn)知過程取向。跟以學(xué)習(xí)成效的結(jié)果取向不同，認(rèn)知過程取向關(guān)注學(xué)習(xí)有效發(fā)生的內(nèi)在心理機(jī)制，認(rèn)為有效學(xué)習(xí)取決于學(xué)生的學(xué)習(xí)觀及先前的學(xué)習(xí)經(jīng)驗(yàn)、學(xué)習(xí)方法（如深層學(xué)習(xí)法和表層學(xué)習(xí)法等）、動(dòng)機(jī)水平等[5]。值得注意的是，由于認(rèn)知過程是內(nèi)隱的心理屬性，評(píng)價(jià)測(cè)量技術(shù)角度的可行性一直難以突破。然而隨著新技術(shù)的發(fā)展，越來越多的測(cè)量手段不斷在提升對(duì)學(xué)生能力作出判斷的可行性，比如隱形性評(píng)估、學(xué)習(xí)分析等都是當(dāng)前評(píng)價(jià)研究和實(shí)踐最前沿的熱點(diǎn)。

（4）教師教學(xué)行為取向。圍繞“教”展開，立足于盡可能描述客觀反映和還原教學(xué)過程的教學(xué)方法等行為現(xiàn)象，作為判斷教學(xué)有效性以及幫助教師改進(jìn)教學(xué)的參照。這類對(duì)教學(xué)有效性的教學(xué)行為取向具有非常好的操作性，因而在過去幾十年里得到了很好的發(fā)展，出現(xiàn)了一系列有代表性的觀點(diǎn)。如：美國(guó)高等教育協(xié)會(huì)1987年發(fā)表的美國(guó)大學(xué)本科教育的七條原則，得到高教界的廣泛關(guān)注和認(rèn)同[6]。美國(guó)學(xué)者鮑里奇在回顧了針對(duì)基礎(chǔ)教育教師教學(xué)行為的30年研究基礎(chǔ)上，梳理出最重要的5種教學(xué)行為[7]。

雖然是從基礎(chǔ)教育中總結(jié)出的規(guī)律，但和上述大學(xué)本科教育的七條原則頗有相似之處。

（5）教師核心素養(yǎng)取向。教師核心素養(yǎng)（Competencies，也譯成能力、勝任力）取向與教學(xué)行為取向在實(shí)際的評(píng)估中都是以外顯的教學(xué)行為作為觀察和衡量的。不同在于素養(yǎng)是“一種將知識(shí)與技能、認(rèn)知與情感、創(chuàng)造性與德性融為一體的復(fù)雜心理結(jié)構(gòu)”[8]，體現(xiàn)了對(duì)將有效教學(xué)簡(jiǎn)單看作在特定情境和條件下呈現(xiàn)的外部行為的修正。

涉及人的心理與行為的研究是極其復(fù)雜的，教學(xué)活動(dòng)更是如此，上述取向都有其存在的意義和價(jià)值，但都有被詬病的缺點(diǎn)。因此，將教學(xué)有效性的不同取向整合到同一框架下，多角度地去獲取教學(xué)過程、教學(xué)行為的全貌，將使教學(xué)評(píng)估更為客觀、科學(xué)。

二、多元教學(xué)有效性評(píng)估模型與工具的設(shè)計(jì)與開發(fā)

評(píng)估工具的開發(fā)始于評(píng)估框架的搭建，我們基于教學(xué)有效性的幾種取向，在文獻(xiàn)基礎(chǔ)上設(shè)計(jì)了教學(xué)有效性多元評(píng)價(jià)模型。該模型整合了教學(xué)行為、教師特質(zhì)、課程特質(zhì)、學(xué)生特質(zhì)、學(xué)生滿意度和學(xué)習(xí)成效六個(gè)維度。教學(xué)有效性評(píng)價(jià)另一個(gè)重要的方面就是評(píng)價(jià)方法。對(duì)教學(xué)有效性的不同取向，直接決定了教學(xué)評(píng)價(jià)方法的選擇。當(dāng)代主流的高等教育教學(xué)評(píng)價(jià)方法按普及程度有學(xué)生評(píng)教、同行評(píng)議、教師自評(píng)。為了避免單方面評(píng)價(jià)所造成的偏差，我們借鑒企業(yè)360度環(huán)評(píng)技術(shù)路線，采取兼而有之的混合策略，集學(xué)生評(píng)教、同行評(píng)議、教師自評(píng)于一體。這樣即形成“三元六維”的評(píng)估模型（見圖1），最核心的是當(dāng)中的教學(xué)行為，除了大家較為熟悉的學(xué)生滿意度、教師特質(zhì)、學(xué)習(xí)成效等維度，還納入了課程特質(zhì)和學(xué)生特質(zhì)。課程特質(zhì)這個(gè)維度是為了在課程比較時(shí)能夠區(qū)分不同課程所存在的差異。學(xué)生的特質(zhì)主要是了解學(xué)生的學(xué)習(xí)方式、狀況，進(jìn)而幫助老師更好地找到匹配的教學(xué)改進(jìn)方法。

該模型能夠很好地提供一個(gè)系統(tǒng)考查教學(xué)有效性的框架，而且充分考慮了其他影響評(píng)價(jià)結(jié)果可比較性和普適度的維度，如課堂規(guī)模、課程難度等決定課程間差異的課程特質(zhì)，為評(píng)估結(jié)果兼容總結(jié)性和形成性用途提供了保障，也為教學(xué)管理和教學(xué)發(fā)展工作提供理論指引。但涉及具體的實(shí)施落地，該評(píng)估方案的缺陷就是需要較多的投入。

三、評(píng)估模型應(yīng)用

該評(píng)估工具目前已經(jīng)在上海交通大學(xué)推廣使用，截至2019年秋季學(xué)期共覆蓋283門課程。其間也面臨了很多困難和挑戰(zhàn)，但隨著具體的實(shí)踐和反思，問題正在不斷地被優(yōu)化。其一，學(xué)生問卷體量較大，為保證填答率，我們采取發(fā)小禮品的方式來鼓勵(lì)學(xué)生認(rèn)真填答，邀請(qǐng)?jiān)合殿I(lǐng)導(dǎo)參與，錄制學(xué)生問卷填答說明，從行政約束的角度使學(xué)生重視，也能消除學(xué)生的評(píng)價(jià)顧慮。其二，目前評(píng)估的大部分工作是純?nèi)斯ね瓿?，尤其是評(píng)估報(bào)告的生成，占用較多工作量，未來如在更大范圍內(nèi)推廣應(yīng)用，這種評(píng)估形式可能會(huì)承載不了。為破解此困境，我們目前已經(jīng)在做評(píng)估網(wǎng)站，明年全自動(dòng)化的版本將會(huì)上線。

該評(píng)估模型更深層次的應(yīng)用體現(xiàn)在評(píng)估報(bào)告的解讀。評(píng)估結(jié)束后可以給到老師課程層面的評(píng)估報(bào)告，幫助老師更好地審視和改進(jìn)教學(xué)。對(duì)于院系而言，評(píng)估報(bào)告可以應(yīng)用在多個(gè)方面，如做本科評(píng)鑒、專業(yè)認(rèn)證、專業(yè)院系課程質(zhì)控系統(tǒng)或者是完成學(xué)校硬性的評(píng)估任務(wù)等。例如，新建了一個(gè)專業(yè)，需要摸底教學(xué)質(zhì)量，就可以對(duì)一組課程進(jìn)行評(píng)估，除了個(gè)人報(bào)告外，還可以提供整門課程的團(tuán)隊(duì)報(bào)告，為院系進(jìn)行教學(xué)改革、提升整體教學(xué)質(zhì)量提供一個(gè)有力的抓手。目前，MATE評(píng)估使用量不斷增長(zhǎng)，由此可見，大家對(duì)教學(xué)評(píng)估的重視程度與日俱增。對(duì)于任何報(bào)告，進(jìn)行專業(yè)的解讀是關(guān)鍵，這樣才能正確地把控未來改進(jìn)的方向和范圍。正所謂磨刀不誤砍柴工，不要急于給課程質(zhì)量或教學(xué)能力下一個(gè)結(jié)論，而是要花時(shí)間和心思去研讀報(bào)告，從報(bào)告所呈現(xiàn)的數(shù)據(jù)中去發(fā)現(xiàn)個(gè)人教學(xué)中所存在的問題，去挖掘整個(gè)團(tuán)隊(duì)教學(xué)的規(guī)律和共性短板。下面從一些維度進(jìn)行剖析和解讀。

（1）課程特質(zhì)差異。如圖2所示，從閱讀量、作業(yè)量、難度系數(shù)可以了解課程設(shè)置情況，通過與整門課程的均值對(duì)比，可以更具體地知曉課程的閱讀量是多還是少，課程難度是否把握合理。從團(tuán)隊(duì)的數(shù)據(jù)中，也可以挖掘出更深層次的信息，如不同類型課程的特點(diǎn)。圖中三角形和圓形表示的是專業(yè)基礎(chǔ)課和專業(yè)必修課，環(huán)形和菱形是通選和選修課，從這一組數(shù)據(jù)中可以看出課程對(duì)于學(xué)生的強(qiáng)度。整體而言，課程特質(zhì)的維度能夠很好地區(qū)分課程間的差異，顯示出一些課程的規(guī)律。

（2）教師特質(zhì)的差異。20世紀(jì)20年代高校開始使用問卷以來，教師特質(zhì)出現(xiàn)在很多學(xué)校的評(píng)估問卷中，很多學(xué)校現(xiàn)在也使用教師特質(zhì)來做評(píng)估。從人崗匹配的角度來分析，這是合理的舉措。因?yàn)橐婚_始我們?cè)诓恢澜處煂?shí)際教學(xué)行為的情況下，可以根據(jù)其性格特質(zhì)去預(yù)測(cè)未來是否能勝任這個(gè)崗位，總是會(huì)有一些和老師個(gè)人特質(zhì)相關(guān)的變量，如文獻(xiàn)中所提到的幽默、正直、熱情。

（3）學(xué)生認(rèn)知過程的差異。“學(xué)生認(rèn)知”這一維度的設(shè)定借鑒了約翰比格斯的認(rèn)知量表，是測(cè)量學(xué)生學(xué)習(xí)過程當(dāng)中的狀態(tài)，有表層學(xué)習(xí)和深層學(xué)習(xí)兩個(gè)象度，劃分為四個(gè)象限。X軸越高表示學(xué)生深層學(xué)習(xí)越多，Y軸越高表示學(xué)生表層學(xué)習(xí)越多。圖3所列出的三門課，學(xué)生的分布都不一樣。圖中每個(gè)點(diǎn)代表一個(gè)學(xué)生，對(duì)于老師而言，最大的意義在于能夠看到班級(jí)學(xué)生所處的學(xué)習(xí)狀態(tài)，集中反映出的某種趨勢(shì)，是很好的反饋信息。同時(shí)院系報(bào)告中也包含關(guān)于學(xué)生認(rèn)知的分布圖，圖3中右下方散點(diǎn)圖分別代表所有學(xué)生和所有課程的平均分布情況，從點(diǎn)的集中趨勢(shì)可以看出一組課程的學(xué)生學(xué)習(xí)狀況如何。

（4）教學(xué)行為的差異。MATE評(píng)估的教學(xué)行為包含5個(gè)維度。維度模型的構(gòu)建借鑒了經(jīng)典的美國(guó)本科教育七法則理論和關(guān)鍵教學(xué)行為的理論。相對(duì)而言，這兩個(gè)理論被認(rèn)為是比較符合有效教學(xué)的原理。如圖4，從這些教學(xué)行為的維度切入，可以看到課程和課程之間的差別。不同的折線代表不同的評(píng)價(jià)主體，將教師自評(píng)、學(xué)生評(píng)價(jià)、同行評(píng)議置于同一圖表中，能夠很好地識(shí)別出在哪些教學(xué)行為上三個(gè)評(píng)價(jià)主體的認(rèn)知是一致的，從而找出優(yōu)勢(shì)或共性短板。如果評(píng)價(jià)主體間的評(píng)估差異較大，我們則認(rèn)為在該維度上評(píng)價(jià)者存在認(rèn)知偏差，需要進(jìn)一步去了解從而找到可以解釋此種現(xiàn)象的深層次原因。傳統(tǒng)評(píng)教也包含督導(dǎo)或同行評(píng)議，但問題在于不同評(píng)估的維度不一樣，無法實(shí)現(xiàn)將數(shù)據(jù)進(jìn)行整合和對(duì)比。這也正是MATE評(píng)估的優(yōu)勢(shì)所在。在一個(gè)報(bào)告中把這些數(shù)據(jù)很好地匯聚在一起，方便使用評(píng)估結(jié)果給實(shí)踐反饋。

（5）“教學(xué)有效性”綜合評(píng)估指標(biāo)。做任何評(píng)估都有其目的和出發(fā)點(diǎn)，所以在評(píng)估實(shí)施前必須明確通過此次評(píng)估擬解決的問題是什么。不同院系使用MATE評(píng)估的目的會(huì)有所差異，可能是為了晉升考核作參考，也可能僅是希望通過全面評(píng)估來探索提升教學(xué)質(zhì)量的方式?？紤]到用途不一，MATE評(píng)估盡可能收集全面的數(shù)據(jù)，使院系依據(jù)需求去設(shè)定符合期待和應(yīng)用場(chǎng)景的計(jì)算權(quán)重。如圖5，MATE提供了四種不同的權(quán)重。通過實(shí)踐我們發(fā)現(xiàn)，當(dāng)權(quán)重設(shè)定不同時(shí)，課程之間也有一定的差異。如圖6，實(shí)折線代表，不管何種權(quán)重設(shè)置，多元主體對(duì)課程的評(píng)價(jià)是較為一致的，反映出評(píng)價(jià)的穩(wěn)定性，評(píng)價(jià)者對(duì)這門課程有較為一致的認(rèn)知。虛的折線說明，當(dāng)只依賴學(xué)生評(píng)教時(shí)，對(duì)教師或課程的評(píng)價(jià)相對(duì)較低。如果按照對(duì)等的權(quán)重綜合計(jì)算不同評(píng)價(jià)者的分?jǐn)?shù)，結(jié)果就會(huì)發(fā)生改變，過低或過高的情形會(huì)有所改變。由此來看，從不同的視角來看，對(duì)課程的評(píng)價(jià)結(jié)果是有偏差的，應(yīng)該根據(jù)具體的應(yīng)用場(chǎng)景來選擇評(píng)價(jià)權(quán)重。

四、未來展望

綜上所述，多元教學(xué)有效性評(píng)估作為一種新興的、全面的評(píng)價(jià)工具，能夠很好地緩解目前高校對(duì)教學(xué)職能日益重視與教學(xué)評(píng)價(jià)手段匱乏之間的矛盾。但其未來發(fā)展也面臨著很多挑戰(zhàn)，比如：隨著使用量擴(kuò)增，純?nèi)斯し?wù)將無法負(fù)載大批量評(píng)估;院系在推進(jìn)教學(xué)評(píng)估的過程中，需要專業(yè)性的指導(dǎo);如何為學(xué)校、職能部門、教師本人解決評(píng)教問題，獲得充分的關(guān)注和認(rèn)可?；诖嬖诘膯栴}，我們未來有三大努力的方向。其一，2020年MATE網(wǎng)站在線化將實(shí)現(xiàn)，并全面推廣到全校教師使用，網(wǎng)站的開發(fā)將縮小MATE評(píng)估的成本，也能夠覆蓋更多教師。其二， MATE 2020年工作目標(biāo)，配合院系定制質(zhì)控方案。以院系為主體，將學(xué)科差異考慮進(jìn)去，為院系提供定制的方案。從成本角度考慮，可以兼容院系已有的資源，如督導(dǎo)系統(tǒng)，避免兩條線重復(fù)建設(shè)。這就需要把數(shù)據(jù)、算法、流程與學(xué)院原有的評(píng)價(jià)指標(biāo)做匹配和定制。當(dāng)然院系評(píng)估也面臨著學(xué)生填答問卷負(fù)荷重的問題。為避免影響填答有效性，我們將開發(fā)簡(jiǎn)版問卷，只保留關(guān)鍵指標(biāo)。其三，在高校里推進(jìn)教學(xué)評(píng)估并非易事，評(píng)估工具的順利落地應(yīng)用還需要高校職能部門的一些政策或要求來保障。未來MATE評(píng)估結(jié)果將被納入人事晉升中，作為人事晉升教學(xué)方面的評(píng)估抓手。教師可自愿申請(qǐng)參評(píng)，用于不斷改進(jìn)個(gè)人的教學(xué)水平，同時(shí)也是為長(zhǎng)遠(yuǎn)的晉升和個(gè)人發(fā)展作準(zhǔn)備。

參考文獻(xiàn)：

[1] Mckeachie W J. Student Ratings of Faculty： A Reprise[J]. Academe， 1979， 65（6）：384-397.

[2]孫炳海，申繼亮. 美國(guó)教師評(píng)價(jià)的發(fā)展歷程與評(píng)價(jià)模型研究述評(píng)[J]. 比較教育研究，2009（5）：73-76.

[3] Ewell P T. An emerging scholarship： A brief history of assessment[M]// Banta T W E. Building a Scholarship of Assessment[C]. Jossey-Bass， 2002.

[4] Wieman， C. A Better Way to Evaluate Undergraduate Teaching[J]. Change： The Magazine of Higher Learning， 2015（47）：1， 6-15.

[5]邁克爾·普洛瑟，基思·特里格維爾. 理解教與學(xué)[M]. 北京：北京大學(xué)出版社，2007.

[6] Chickering A W， Gamson Z F. Seven principles for good practice in undergraduate education[J]. Biochemical Education， 1989， 17（3）：140-141.

[7]加里·鮑里奇. 有效教學(xué)方法（第七版）[M]. 南京：江蘇教育出版社，2014.

[8]張華. 論核心素養(yǎng)的內(nèi)涵[J]. 全球教育展望，2016，45（4）：10-23.

[基金項(xiàng)目：全國(guó)教育科學(xué)“十三五”規(guī)劃2018年度教育部重點(diǎn)課題“循證的高校教師教學(xué)核心素養(yǎng)框架研究”，編號(hào)：DIAI80403]

[責(zé)任編輯：陳立民]