評(píng)價(jià)支架對(duì)教師在線同伴互評(píng)質(zhì)量的影響研究

馬寧 路瑤 郭佳惠 劉春平

[摘? ?要] 教師培訓(xùn)是促進(jìn)教師專業(yè)發(fā)展的有效途徑，其中，線上培訓(xùn)近些年受到了越來(lái)越廣泛的關(guān)注。以往研究已經(jīng)證實(shí)，同伴互評(píng)可以促進(jìn)教師的在線學(xué)習(xí)效果，但在應(yīng)用中仍存在同伴評(píng)價(jià)參與度低、評(píng)分者一致性和評(píng)語(yǔ)質(zhì)量不高等問(wèn)題。研究將評(píng)價(jià)支架引入到大規(guī)模教師培訓(xùn)類MOOC中，對(duì)同伴互評(píng)中的整體型評(píng)價(jià)支架和分析型評(píng)價(jià)支架進(jìn)行設(shè)計(jì)和開(kāi)發(fā)，并采用實(shí)證研究的范式，探討不同評(píng)價(jià)支架類型對(duì)教師同伴互評(píng)中評(píng)價(jià)參與度和評(píng)價(jià)效果的影響。研究結(jié)果表明，分析型評(píng)價(jià)支架能更好地提升教師學(xué)習(xí)者同伴互評(píng)的評(píng)價(jià)參與度，提升評(píng)價(jià)一致性和評(píng)語(yǔ)質(zhì)量。因此，在設(shè)計(jì)與開(kāi)發(fā)教師培訓(xùn)類MOOC時(shí)，可考慮將分析型評(píng)價(jià)支架納入同伴互評(píng)活動(dòng)。

[關(guān)鍵詞] 在線開(kāi)放課程; 評(píng)價(jià)支架; 同伴互評(píng); 評(píng)價(jià)參與度; 評(píng)價(jià)效果

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 馬寧（1977—），女，河北衡水人。副教授，博士，主要從事技術(shù)增強(qiáng)學(xué)習(xí)、技術(shù)支持的教師專業(yè)發(fā)展研究。E-mail：horsening@bnu.edu.cn。

一、引? ?言

教師專業(yè)發(fā)展對(duì)國(guó)家和民族發(fā)展有著非常重要的意義，歷來(lái)受到各國(guó)的高度重視。2018年，教育部出臺(tái)的《教育信息化2.0行動(dòng)計(jì)劃》強(qiáng)調(diào)，“大力提升教師信息素養(yǎng)”[1];教育部等五部門聯(lián)合印發(fā)的《教師教育振興行動(dòng)計(jì)劃 （2018—2022年） 》也強(qiáng)調(diào)，要?jiǎng)?chuàng)新教師培訓(xùn)的方式，推動(dòng)在線開(kāi)放課程的應(yīng)用和共享，提升教師的綜合素質(zhì)和專業(yè)能力[2]。

2020年，面對(duì)新冠肺炎疫情，教育部發(fā)布了“停課不停學(xué)”的通知，該舉措使在線教育得到了前所未有的關(guān)注[3]，也對(duì)教師的能力提出了新的挑戰(zhàn)[4]。以MOOC為代表的一系列在線學(xué)習(xí)課程，不僅為教師提供了獲取新知識(shí)的途徑和渠道，還提供了個(gè)性化的學(xué)習(xí)方式和良好的協(xié)作探討機(jī)會(huì)，成為促進(jìn)教師專業(yè)發(fā)展的一種重要途徑。

MOOC的學(xué)習(xí)者數(shù)量眾多，若完全依賴教師或助教進(jìn)行評(píng)價(jià)，成本高昂且不切實(shí)際。因此，同伴互評(píng)成為眾多課程作業(yè)的主要評(píng)閱方式，也成為近幾年MOOC研究中的一個(gè)熱點(diǎn)。已有研究證實(shí)，同伴互評(píng)過(guò)程中對(duì)他人提出詳細(xì)評(píng)論可以幫助改進(jìn)自己的作業(yè)，同伴互評(píng)可以增進(jìn)學(xué)生之間的協(xié)同合作精神[5]，融入同伴互評(píng)的混合式學(xué)習(xí)模式可以有效提升教師、學(xué)習(xí)者、內(nèi)容之間的兩兩互動(dòng)[6]。然而，同伴互評(píng)在應(yīng)用中也存在很多問(wèn)題，例如：同伴的評(píng)分被認(rèn)為不太可靠[7-8]，學(xué)習(xí)者會(huì)懷疑同伴的能力[9]等。

評(píng)價(jià)支架是幫助學(xué)習(xí)者明確評(píng)價(jià)內(nèi)容和開(kāi)展評(píng)價(jià)的一種量規(guī)或工具[10]，有助于提升學(xué)習(xí)者的認(rèn)知水平[11]、促進(jìn)學(xué)習(xí)者的情感投入[12]、增強(qiáng)學(xué)習(xí)者的反思意識(shí)[13]，可以看出，評(píng)價(jià)支架有潛力改善同伴互評(píng)中存在的問(wèn)題，但目前對(duì)其具體的成效原因分析不足。因此，本研究擬通過(guò)實(shí)證研究，探究在MOOC環(huán)境下，教師同伴互評(píng)中的整體型評(píng)價(jià)支架和分析型評(píng)價(jià)支架對(duì)評(píng)價(jià)參與度和評(píng)價(jià)效果的影響，其中，評(píng)價(jià)效果包括評(píng)價(jià)一致性和評(píng)語(yǔ)質(zhì)量。主要包括三個(gè)問(wèn)題：（1）同伴互評(píng)中的評(píng)價(jià)支架對(duì)評(píng)價(jià)參與度的影響;（2）同伴互評(píng)中的評(píng)價(jià)支架對(duì)評(píng)價(jià)一致性的影響;（3）同伴互評(píng)中的評(píng)價(jià)支架對(duì)評(píng)語(yǔ)質(zhì)量的影響。

二、研究基礎(chǔ)

（一）MOOC中的教師同伴互評(píng)活動(dòng)

MOOC在教師培訓(xùn)領(lǐng)域有著越來(lái)越廣泛的運(yùn)用，已成為教師實(shí)現(xiàn)專業(yè)發(fā)展的一種重要方式?，F(xiàn)有的教師培訓(xùn)越來(lái)越注重教師群體間的知識(shí)共享、協(xié)作和轉(zhuǎn)化[14]，教師協(xié)同知識(shí)建構(gòu)的培訓(xùn)方式對(duì)教師專業(yè)發(fā)展產(chǎn)生了良好的促進(jìn)作用[15]。Laurillard指出，同伴互助是促進(jìn)教師自發(fā)開(kāi)展討論、進(jìn)行協(xié)同知識(shí)建構(gòu)的基礎(chǔ)[16]。馬寧等人的研究也發(fā)現(xiàn)，基于同伴互助的教師個(gè)性化學(xué)習(xí)方式能夠提高教師的學(xué)習(xí)參與度[17-18]。

可以看出，同伴互評(píng)能夠幫助學(xué)習(xí)者進(jìn)行協(xié)同知識(shí)建構(gòu)，并且能有效地降低課程開(kāi)發(fā)者的成本，提升學(xué)習(xí)者的參與度和學(xué)習(xí)質(zhì)量。因此，同伴互評(píng)成為近幾年的一個(gè)研究熱點(diǎn)。

（二）教師在線同伴互評(píng)的優(yōu)勢(shì)與不足

同伴互評(píng)指群體內(nèi)的個(gè)體對(duì)同伴進(jìn)行評(píng)分的過(guò)程。技術(shù)的發(fā)展使在線同伴互評(píng)成為可能。在MOOC環(huán)境下采用同伴互評(píng)有諸多優(yōu)勢(shì)：第一，在線同伴互評(píng)中的分配作業(yè)、分?jǐn)?shù)計(jì)算等工作可以通過(guò)技術(shù)來(lái)完成;第二，與專家評(píng)分員相比，使用同伴評(píng)分者較為經(jīng)濟(jì);第三，當(dāng)學(xué)習(xí)者對(duì)同伴的作業(yè)提出詳細(xì)的、建設(shè)性的評(píng)論時(shí)，可以幫助他們改進(jìn)自己的作業(yè)，越來(lái)越多的研究強(qiáng)調(diào)了同伴互評(píng)對(duì)學(xué)習(xí)過(guò)程的價(jià)值，認(rèn)為其是提高學(xué)習(xí)動(dòng)機(jī)[19]、促進(jìn)學(xué)習(xí)過(guò)程[20]的重要方法。

目前，已有部分教師培訓(xùn)類MOOC納入了同伴互評(píng)活動(dòng)，但在實(shí)踐操作過(guò)程中出現(xiàn)了諸如教師學(xué)習(xí)者認(rèn)為，同伴不太可信、多數(shù)教師學(xué)習(xí)者更偏好課程主講教師進(jìn)行評(píng)價(jià)[8]等問(wèn)題。出現(xiàn)這一狀況主要是因?yàn)椴煌榻o出的評(píng)價(jià)結(jié)果往往差異很大，所以，教師學(xué)習(xí)者懷疑同伴是否有能力評(píng)估他們的工作[9]。因此，如何提升教師在線同伴互評(píng)的評(píng)價(jià)參與度和評(píng)價(jià)效果，便成了諸多學(xué)者的關(guān)注點(diǎn)。

針對(duì)MOOC環(huán)境下教師同伴互評(píng)中存在的不足，有研究者試圖從技術(shù)方面提升同伴互評(píng)系統(tǒng)的客觀性和準(zhǔn)確性，如構(gòu)建同伴互評(píng)概率模型以提升評(píng)價(jià)系統(tǒng)的客觀性和準(zhǔn)確度[21]，對(duì)任務(wù)界面進(jìn)行優(yōu)化[22]等。此外，還有研究從教學(xué)法的角度進(jìn)行探究，如支架型同伴互評(píng)探究[23]、同伴互評(píng)模型類型的比較[24]等。也有研究著眼于從學(xué)習(xí)評(píng)價(jià)的視角審視MOOC評(píng)價(jià)任務(wù)的設(shè)計(jì)[25]。然而，以上研究均存在準(zhǔn)確性不理想、實(shí)施過(guò)程復(fù)雜等問(wèn)題，不利于大規(guī)模推廣。

（三）同伴互評(píng)中的評(píng)價(jià)支架相關(guān)研究

評(píng)價(jià)支架基于支架式教學(xué)理論，是幫助學(xué)習(xí)者明確評(píng)價(jià)內(nèi)容和開(kāi)展評(píng)價(jià)的一種量規(guī)或工具[10]。借助評(píng)價(jià)支架開(kāi)展評(píng)價(jià)可以揭示學(xué)習(xí)者的現(xiàn)狀和學(xué)習(xí)期望之間的差距，為學(xué)習(xí)者提供反思依據(jù)，促進(jìn)學(xué)習(xí)者更好地進(jìn)步和發(fā)展[26]。同其他提升同伴互評(píng)質(zhì)量的方法相比，評(píng)價(jià)支架有著開(kāi)發(fā)便捷、操作簡(jiǎn)單等優(yōu)勢(shì)，有潛力解決同伴互評(píng)中存在的問(wèn)題[27]。一般來(lái)說(shuō)，評(píng)價(jià)支架可以分為兩類：一類是整體型評(píng)價(jià)支架，即對(duì)作業(yè)進(jìn)行整體評(píng)價(jià)，并在此基礎(chǔ)上給出一個(gè)總分;另一類是分析型評(píng)價(jià)支架，先將學(xué)習(xí)表現(xiàn)分解成不同要素，對(duì)各個(gè)要素分別給分，然后綜合起來(lái)得出最終分?jǐn)?shù)[28]。

Panadero等人通過(guò)對(duì)線下教師的準(zhǔn)實(shí)驗(yàn)研究發(fā)現(xiàn)，使用評(píng)價(jià)支架的實(shí)驗(yàn)組可以得到更高質(zhì)量的概念圖[11]。馬玉慧等對(duì)參加某門課程的學(xué)生進(jìn)行了準(zhǔn)實(shí)驗(yàn)研究，發(fā)現(xiàn)設(shè)有評(píng)價(jià)支架的實(shí)驗(yàn)組在認(rèn)知水平、努力程度等方面都與控制組表現(xiàn)出顯著差異[29]。梁云真探究了基于評(píng)價(jià)支架的同伴互評(píng)對(duì)認(rèn)知投入、情感投入及學(xué)習(xí)成效等方面的影響，發(fā)現(xiàn)實(shí)驗(yàn)組普遍優(yōu)于控制組[12]。

可以看出，在線下培訓(xùn)或小規(guī)模范圍內(nèi)有關(guān)評(píng)價(jià)支架的研究取得了較好的效果，是否將這些結(jié)論推廣到大規(guī)模教師培訓(xùn)類MOOC中，仍需進(jìn)一步研究與探討。本研究采用實(shí)證研究的范式，對(duì)大規(guī)模教師培訓(xùn)類MOOC中同伴互評(píng)的整體型評(píng)價(jià)支架和分析型評(píng)價(jià)支架進(jìn)行設(shè)計(jì)，探討評(píng)價(jià)支架類型對(duì)評(píng)價(jià)參與度和評(píng)價(jià)效果的影響。

三、基于評(píng)價(jià)支架的同伴互評(píng)活動(dòng)與工具

（一）MOOC中的同伴互評(píng)活動(dòng)設(shè)計(jì)

“混合式理念下的項(xiàng)目式學(xué)習(xí)”是一門教師在線培訓(xùn)類MOOC，致力于通過(guò)5周的學(xué)習(xí)幫助教師學(xué)習(xí)者提升開(kāi)展項(xiàng)目式學(xué)習(xí)（Project Based Learning， 以下簡(jiǎn)稱PBL）的能力。該課程依托北京師范大學(xué)學(xué)習(xí)元平臺(tái)（http：//www.etc.edu.cn/），目前已開(kāi)展了兩期。兩期課程的大綱與內(nèi)容一致，且均設(shè)置了三次同伴互評(píng)活動(dòng)，分別對(duì)應(yīng)課程布置的三次作業(yè)。兩期課程在同伴互評(píng)活動(dòng)上的區(qū)別在于采用不同類型的評(píng)價(jià)支架。

同伴互評(píng)活動(dòng)開(kāi)展前，系統(tǒng)會(huì)將教師學(xué)習(xí)者隨機(jī)分成每組20人的小組，在此基礎(chǔ)上組織開(kāi)展組內(nèi)同伴互評(píng)活動(dòng)：每人提交一份作業(yè)，同時(shí)可以對(duì)組內(nèi)其他人的作業(yè)進(jìn)行批閱和評(píng)價(jià);每人可評(píng)價(jià)多份作業(yè)，也可接受多人的評(píng)價(jià)。因此，對(duì)所有的教師學(xué)習(xí)者來(lái)說(shuō)，同伴互評(píng)活動(dòng)只在各組內(nèi)展開(kāi)，同伴互評(píng)活動(dòng)的效果不受課程總參與人數(shù)的影響。

課程平臺(tái)為教師學(xué)習(xí)者提供了PBL設(shè)計(jì)模板，課程要求教師學(xué)習(xí)者在學(xué)習(xí)期間參照模板完成相應(yīng)的三次作業(yè)，分別是項(xiàng)目式學(xué)習(xí)前端分析、項(xiàng)目式學(xué)習(xí)成果設(shè)計(jì)和項(xiàng)目式學(xué)習(xí)評(píng)價(jià)方案設(shè)計(jì)。對(duì)應(yīng)于三次作業(yè)，課程平臺(tái)設(shè)計(jì)了三次同伴互評(píng)活動(dòng)，每次同伴互評(píng)活動(dòng)的流程均如圖 1所示。

（二）評(píng)價(jià)支架的設(shè)計(jì)

課程要求教師學(xué)習(xí)者每次觀看視頻后自行設(shè)計(jì)PBL課程模板的相應(yīng)部分，并在提交作業(yè)后完成同伴互評(píng)任務(wù)。由于教師學(xué)習(xí)者對(duì)PBL課程并不熟悉，因此，完成作業(yè)和開(kāi)展同伴互評(píng)活動(dòng)都具有一定的難度，此時(shí)評(píng)價(jià)支架的輔助便顯得尤為重要。

研究者在第1期課程同伴互評(píng)活動(dòng)中設(shè)置了整體型評(píng)價(jià)支架，教師學(xué)習(xí)者可以直接對(duì)作業(yè)給出總分。第2期課程同伴互評(píng)活動(dòng)中設(shè)置的則是分析型評(píng)價(jià)支架，即教師學(xué)習(xí)者先分維度給出分?jǐn)?shù)，系統(tǒng)自動(dòng)綜合后得到最終分?jǐn)?shù)。分析型評(píng)價(jià)支架是專家團(tuán)隊(duì)在現(xiàn)有文獻(xiàn)的評(píng)價(jià)指標(biāo)[30]基礎(chǔ)上，結(jié)合項(xiàng)目式學(xué)習(xí)所具有的強(qiáng)調(diào)積極建構(gòu)、情境學(xué)習(xí)、社會(huì)交互、認(rèn)知工具等特點(diǎn)[31]設(shè)計(jì)的。三套分析型評(píng)價(jià)支架均適應(yīng)任務(wù)內(nèi)容的評(píng)價(jià)指標(biāo)，分別對(duì)應(yīng)了三次同伴互評(píng)活動(dòng)。評(píng)價(jià)指標(biāo)的設(shè)計(jì)旨在為教師學(xué)習(xí)者的評(píng)價(jià)提供評(píng)價(jià)支架，擴(kuò)展教師學(xué)習(xí)者在評(píng)價(jià)時(shí)的思考角度，從而使評(píng)價(jià)更具有針對(duì)性與可靠性。

為促進(jìn)教師學(xué)習(xí)者對(duì)評(píng)價(jià)指標(biāo)的了解，系統(tǒng)為每個(gè)指標(biāo)都提供了自適應(yīng)的解釋說(shuō)明。教師學(xué)習(xí)者閱讀解釋說(shuō)明后需針對(duì)各個(gè)維度指標(biāo)進(jìn)行五點(diǎn)量表打分，系統(tǒng)可自動(dòng)計(jì)算出總評(píng)閱分?jǐn)?shù)，教師學(xué)習(xí)者填寫評(píng)語(yǔ)后即可提交。

四、研究設(shè)計(jì)

（一）研究對(duì)象與研究流程

本研究以“混合式理念下的項(xiàng)目式學(xué)習(xí)”兩期課程中參與同伴互評(píng)活動(dòng)的1253名教師學(xué)習(xí)者作為研究對(duì)象，其中，第1期1075人，第2期178人。研究對(duì)象被隨機(jī)分成每組20人左右的小組，參與三次同伴互評(píng)活動(dòng)。本研究將設(shè)有整體型評(píng)價(jià)支架的第1期作為控制組，設(shè)有分析型評(píng)價(jià)支架的第2期作為實(shí)驗(yàn)組，探究?jī)煞N類型的評(píng)價(jià)支架對(duì)同伴互評(píng)中評(píng)價(jià)參與度和評(píng)價(jià)效果的影響，其中，評(píng)價(jià)效果包括評(píng)價(jià)一致性和評(píng)語(yǔ)質(zhì)量，具體實(shí)驗(yàn)流程如圖2所示：

（二）研究工具

1. 教師同伴互評(píng)的評(píng)價(jià)一致性算法

教師同伴互評(píng)的評(píng)價(jià)一致性是指教師學(xué)習(xí)者在同伴互評(píng)過(guò)程中所給分?jǐn)?shù)的穩(wěn)定性。同伴互評(píng)過(guò)程中，同一份作業(yè)會(huì)收到來(lái)自多個(gè)同伴給出的多個(gè)分?jǐn)?shù)。同伴越傾向于對(duì)同一份作業(yè)給出一致的分?jǐn)?shù)，評(píng)價(jià)一致性越高。

本研究計(jì)算評(píng)價(jià)一致性具體參照的指標(biāo)是范逸洲等人使用的“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”算法[32]?！暗梅旨?xì)節(jié)”指某份作業(yè)收到的多個(gè)同伴互評(píng)的分?jǐn)?shù)，“得分細(xì)節(jié)標(biāo)準(zhǔn)差”是多個(gè)同伴互評(píng)分?jǐn)?shù)的標(biāo)準(zhǔn)差，它可以用來(lái)衡量單份作業(yè)的評(píng)價(jià)一致性?！暗梅旨?xì)節(jié)標(biāo)準(zhǔn)差”越低，該份作業(yè)的評(píng)分者一致性越高。以某份作業(yè)為例，其“得分細(xì)節(jié)標(biāo)準(zhǔn)差”（y）的計(jì)算公式為：

其中，n表示該作業(yè)收到的同伴互評(píng)的個(gè)數(shù)，xi表示該作業(yè)收到的第i個(gè)得分細(xì)節(jié)，x表示該作業(yè)收到的得分細(xì)節(jié)的均值。

“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”是所有作業(yè)“得分細(xì)節(jié)標(biāo)準(zhǔn)差”的均值，它可以用來(lái)衡量多份作業(yè)整體的評(píng)價(jià)一致性?！暗梅旨?xì)節(jié)標(biāo)準(zhǔn)差均值”越低，多份作業(yè)整體的評(píng)分者一致性越高?！暗梅旨?xì)節(jié)標(biāo)準(zhǔn)差均值”的具體計(jì)算操作為：先計(jì)算多份作業(yè)的“得分細(xì)節(jié)標(biāo)準(zhǔn)差”，再計(jì)算它們的均值。計(jì)算公式為：

得分細(xì)節(jié)標(biāo)準(zhǔn)差均值

其中，a表示作業(yè)份數(shù)，yi表示第i份作業(yè)的“得分細(xì)節(jié)標(biāo)準(zhǔn)差”。

2. 同伴互評(píng)質(zhì)量量表

Usher和Barak在前人基礎(chǔ)上制定了同伴互評(píng)質(zhì)量量表[33]，得出的同伴互評(píng)質(zhì)量（Peer Feedback Quality）稱為PFQ值。該量表將同伴互評(píng)的評(píng)語(yǔ)內(nèi)容確定為四類：強(qiáng)化、聲明、驗(yàn)證和闡述，并按認(rèn)知能力的升序排列，設(shè)計(jì)了PFQ公式用以確定同伴互評(píng)的評(píng)語(yǔ)質(zhì)量。該量表具有良好的信度。

同伴互評(píng)質(zhì)量量表確定了一個(gè)1～5級(jí)的分類，數(shù)字越大說(shuō)明評(píng)語(yǔ)質(zhì)量越高：強(qiáng)化類評(píng)價(jià)（1分）和陳述類評(píng)價(jià)（2分）被認(rèn)為是低質(zhì)量的反饋，它們表明，評(píng)估者在認(rèn)知方面付出的努力和為同伴提供的意見(jiàn)都很少;驗(yàn)證類評(píng)價(jià)（3分）被認(rèn)定為是中等質(zhì)量的反饋，因?yàn)樗鼈冃枰治瞿芰椭械鹊恼J(rèn)知水平;信息性闡述（4分）需要認(rèn)知分析和綜合能力，體現(xiàn)了中高的認(rèn)知水平;暗示性闡述（5分）需要認(rèn)知評(píng)價(jià)和創(chuàng)造力，代表同伴互評(píng)質(zhì)量的最高水平。其中，信息性闡述和暗示性闡述都屬于精細(xì)化評(píng)價(jià)。與項(xiàng)目?jī)?nèi)容完全無(wú)關(guān)的評(píng)語(yǔ)被定義為無(wú)意義評(píng)價(jià)（0分）。同伴互評(píng)質(zhì)量的計(jì)算公式如下：

其中，x表示評(píng)語(yǔ)的質(zhì)量值（0≤x≤5），n表示評(píng)語(yǔ)質(zhì)量值x出現(xiàn)的次數(shù)，y表示評(píng)語(yǔ)總數(shù)。

五、數(shù)據(jù)分析與發(fā)現(xiàn)

（一）評(píng)價(jià)支架對(duì)評(píng)價(jià)參與度的影響

在本研究中，評(píng)價(jià)參與度即教師學(xué)習(xí)者參與同伴互評(píng)活動(dòng)的積極程度，可通過(guò)以下兩個(gè)指標(biāo)進(jìn)行量化：（1）教師學(xué)習(xí)者的評(píng)價(jià)量;（2）教師學(xué)習(xí)者同伴互評(píng)活動(dòng)產(chǎn)生的社會(huì)網(wǎng)絡(luò)的密度。

本研究采集了兩期課程各三次同伴互評(píng)活動(dòng)中所有作業(yè)接受評(píng)價(jià)的次數(shù)，見(jiàn)表1，對(duì)兩期同伴互評(píng)作業(yè)的評(píng)價(jià)量進(jìn)行獨(dú)立樣本的非參數(shù)檢驗(yàn)，發(fā)現(xiàn)第2期的均值顯著高于第1期（Z1=-12.80，p1<0.001;Z2=-15.74，p2<0.001;Z3=-15.60，p3<0.001），說(shuō)明第2期課程教師學(xué)習(xí)者的評(píng)價(jià)量顯著高于第1期，即分析型評(píng)價(jià)支架對(duì)評(píng)價(jià)參與度有更好的提升作用。

為進(jìn)一步分析整體型評(píng)價(jià)支架與分析型評(píng)價(jià)支架在評(píng)價(jià)參與度上的差異，本研究從社會(huì)網(wǎng)絡(luò)密度的角度進(jìn)行了分析。圖3展示了使用Gephi軟件制作的兩期課程同伴互評(píng)過(guò)程中產(chǎn)生的社會(huì)網(wǎng)絡(luò)，節(jié)點(diǎn)顏色的深淺和大小代表著度中心性的高低，度中心性越高的節(jié)點(diǎn)，面積越大、顏色越深;邊顏色的深淺代表著兩節(jié)點(diǎn)之間連線的多少，連線越多的邊，顏色越深?？梢钥闯觯?期比第1期的社會(huì)網(wǎng)絡(luò)圖的節(jié)點(diǎn)面積更大、節(jié)點(diǎn)和邊的顏色更深。同時(shí)，第2期同伴互評(píng)產(chǎn)生的社會(huì)網(wǎng)絡(luò)在平均度、平均加權(quán)度、圖密度、平均聚類系數(shù)方面都比第1期要高，且平均路徑長(zhǎng)度比第1期要低。由此說(shuō)明，第2期同伴互評(píng)活動(dòng)的參與者之間聯(lián)系更為緊密，交互也更頻繁。綜合評(píng)價(jià)量和社會(huì)網(wǎng)絡(luò)密度兩個(gè)指標(biāo)，本研究認(rèn)為，分析型評(píng)價(jià)支架比整體型評(píng)價(jià)支架更能促進(jìn)教師學(xué)習(xí)者的評(píng)價(jià)參與度。

（二）評(píng)價(jià)支架對(duì)評(píng)價(jià)一致性的影響

已有研究表明，“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”可以有效地探究評(píng)價(jià)支架對(duì)評(píng)價(jià)一致性的影響[32]。但“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”的計(jì)算會(huì)受到作業(yè)被評(píng)價(jià)次數(shù)的影響，因此，為平衡作業(yè)被評(píng)價(jià)次數(shù)帶來(lái)的誤差，本研究進(jìn)行相同評(píng)價(jià)次數(shù)下“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”的比較。

為排除極端值數(shù)據(jù)的影響，本研究進(jìn)行了兩步操作：排除被批閱次數(shù)在5次及以下的作業(yè)數(shù)據(jù);排除某批閱次數(shù)下只有一份作業(yè)的數(shù)據(jù)，總共得到13個(gè)“作業(yè)被批閱次數(shù)”（分別是6次……16次、19次和20次，共計(jì)13個(gè)），兩期課程對(duì)應(yīng)每個(gè)“作業(yè)被批閱次數(shù)”都可以計(jì)算出一個(gè)得分細(xì)節(jié)標(biāo)準(zhǔn)差均值，最終每期課程都得到13個(gè)得分細(xì)節(jié)標(biāo)準(zhǔn)差均值，如圖4所示。由圖4可見(jiàn)，在大多數(shù)作業(yè)被批閱次數(shù)上，第2期的得分細(xì)節(jié)標(biāo)準(zhǔn)差均值基本都低于第1期。

為探究該差異是否具有統(tǒng)計(jì)學(xué)意義，本研究對(duì)各批閱次數(shù)下的得分細(xì)節(jié)標(biāo)準(zhǔn)差均值進(jìn)行了非參數(shù)檢驗(yàn)，結(jié)果見(jiàn)表2，第2期得分細(xì)節(jié)標(biāo)準(zhǔn)差均值在0.05顯著性水平上低于第1期（Z=-1.992，p<0.05）。再對(duì)每期課程三次作業(yè)得分細(xì)節(jié)標(biāo)準(zhǔn)差的離散程度進(jìn)行計(jì)算，發(fā)現(xiàn)第2期課程得分細(xì)節(jié)標(biāo)準(zhǔn)差的離散程度小于第1期（SD1=9.85，SD2=6.31），說(shuō)明不僅第2期作業(yè)的得分細(xì)節(jié)標(biāo)準(zhǔn)差均值更低，而且整體作業(yè)的得分細(xì)節(jié)標(biāo)準(zhǔn)差比較集中。由此可見(jiàn)，相較于整體型評(píng)價(jià)支架，分析型評(píng)價(jià)支架降低了同伴互評(píng)過(guò)程的得分細(xì)節(jié)標(biāo)準(zhǔn)差均值，增加了評(píng)價(jià)時(shí)所給分?jǐn)?shù)的一致性，提升了評(píng)價(jià)效果。

（三）評(píng)價(jià)支架對(duì)評(píng)語(yǔ)質(zhì)量的影響

評(píng)語(yǔ)質(zhì)量的編碼工作由兩名具有一定專業(yè)基礎(chǔ)的編碼者完成，兩期編碼記錄的一致性檢驗(yàn)均大于0.75（第1期Kappa1=0.828，第2期Kappa2=0.804），表明二者具有較好的評(píng)分者一致性。對(duì)于二者意見(jiàn)不同的評(píng)語(yǔ)，兩位編碼者通過(guò)協(xié)商確定最終編碼。

研究者首先對(duì)兩期課程同伴互評(píng)中評(píng)語(yǔ)的分布形態(tài)進(jìn)行了探究，評(píng)語(yǔ)質(zhì)量在不同等級(jí)的分布如圖5所示，可以看出：對(duì)兩期課程來(lái)說(shuō)，較低質(zhì)量和中低質(zhì)量的強(qiáng)化類評(píng)價(jià)、陳述類評(píng)價(jià)是普遍存在的，中高質(zhì)量和最高質(zhì)量的驗(yàn)證類評(píng)價(jià)、精細(xì)化評(píng)價(jià)比較少。這說(shuō)明評(píng)價(jià)者的評(píng)語(yǔ)比較簡(jiǎn)短，主要是一些贊美、批評(píng)或者是簡(jiǎn)評(píng)，并不涉及被評(píng)價(jià)作品的具體內(nèi)容，也較少提出建設(shè)性的意見(jiàn)。此外，第1期在較低、中低質(zhì)量的評(píng)價(jià)上比第2期高，第2期在中高、最高質(zhì)量的評(píng)價(jià)上高于第1期。

為進(jìn)一步探究?jī)善谠u(píng)語(yǔ)質(zhì)量之間的差異是否顯著，研究者對(duì)相同評(píng)語(yǔ)質(zhì)量得分下的兩期課程的評(píng)語(yǔ)數(shù)量進(jìn)行了卡方檢驗(yàn)，見(jiàn)表3。在較低質(zhì)量的強(qiáng)化類評(píng)價(jià)（Pearson ？字2=2.024，p=0.155）和中低質(zhì)量的陳述類評(píng)價(jià)（Pearson ？字2=162.407，p<0.001）上，第1期高于第2期。在中高質(zhì)量的驗(yàn)證類評(píng)價(jià)（Pearson ？字2=324.766，p<0.001）和最高質(zhì)量的精細(xì)化評(píng)價(jià)（Pearson ？字2=126.166，p<0.001）上，第2期顯著高于第1期。說(shuō)明相較整體型評(píng)價(jià)支架，分析型評(píng)價(jià)支架促進(jìn)了更高質(zhì)量的評(píng)語(yǔ)的生成。

研究者還從PFQ值的角度探究了評(píng)價(jià)支架對(duì)評(píng)語(yǔ)質(zhì)量的影響。第2期整體的評(píng)語(yǔ)質(zhì)量（PFQ2=38.53）高于第1期（PFQ1=36.89），參與第2期課程同伴互評(píng)的教師學(xué)習(xí)者相較第1期給出了顯著的質(zhì)量更高的評(píng)價(jià)（非參數(shù)檢驗(yàn)結(jié)果Z=-5.340，p=0.000<0.001），這和卡方檢驗(yàn)的結(jié)果一致。

以上數(shù)據(jù)說(shuō)明，相較于整體型評(píng)價(jià)支架，分析型評(píng)價(jià)支架促進(jìn)了中高質(zhì)量的評(píng)語(yǔ)的產(chǎn)生，PFQ方程證實(shí)了分析型評(píng)價(jià)支架可以顯著改善教師同伴互評(píng)的評(píng)語(yǔ)質(zhì)量，提升評(píng)價(jià)效果。

六、結(jié)論與反思

本研究以“混合式理念下的項(xiàng)目式學(xué)習(xí)”兩期教師在線培訓(xùn)類MOOC為載體，從學(xué)習(xí)分析的視角，探究?jī)深愒u(píng)價(jià)支架對(duì)教師在線同伴互評(píng)的評(píng)價(jià)參與度和評(píng)價(jià)效果的影響。

（一）分析型評(píng)價(jià)支架能更好地提升評(píng)價(jià)參與度

通過(guò)兩期課程中作業(yè)被評(píng)價(jià)次數(shù)的均值、中值等觀測(cè)量的比較以及統(tǒng)計(jì)檢驗(yàn)的分析，發(fā)現(xiàn)使用分析型評(píng)價(jià)支架的教師學(xué)習(xí)者的人均評(píng)價(jià)量更高，其同伴互評(píng)過(guò)程所產(chǎn)生的社會(huì)網(wǎng)絡(luò)比整體型評(píng)價(jià)支架更為緊密。

同伴的參與是一個(gè)相互促進(jìn)的過(guò)程，認(rèn)知和情感的投入可以促進(jìn)教師學(xué)習(xí)者之間更為頻繁的互動(dòng)[34]。在未設(shè)立分析型評(píng)價(jià)支架時(shí)，教師學(xué)習(xí)者由于對(duì)課程內(nèi)容不熟悉和對(duì)課程作業(yè)有畏難情緒，不知道應(yīng)當(dāng)如何對(duì)同伴進(jìn)行評(píng)價(jià)，因此，可能不太愿意參與評(píng)價(jià)活動(dòng)。而分析型評(píng)價(jià)支架將評(píng)價(jià)進(jìn)行了維度拆解，為學(xué)習(xí)者的評(píng)價(jià)給出了參照，因此，可以比整體型評(píng)價(jià)支架更為有效地降低評(píng)價(jià)的認(rèn)知難度，促進(jìn)教師學(xué)習(xí)者積極參與同伴互評(píng)活動(dòng)，從而獲得了比整體型評(píng)價(jià)支架更高的評(píng)價(jià)參與度。

（二）分析型評(píng)價(jià)支架能更好地提升評(píng)價(jià)一致性

本研究使用“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”這一概念探究了評(píng)價(jià)支架類型對(duì)評(píng)價(jià)一致性的影響：在相同批閱次數(shù)下，分析型評(píng)價(jià)支架的“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”顯著低于整體型評(píng)價(jià)支架，且數(shù)據(jù)更為集中，說(shuō)明分析型評(píng)價(jià)支架比整體型評(píng)價(jià)支架更能提高同伴互評(píng)的評(píng)價(jià)一致性。

有研究證實(shí)，評(píng)價(jià)支架可以為學(xué)習(xí)者提供支架式輔助，提升學(xué)習(xí)者的自我效能感，從而提升評(píng)價(jià)一致性[34]。分析型評(píng)價(jià)支架中具體的評(píng)估標(biāo)準(zhǔn)的設(shè)立降低了學(xué)習(xí)者評(píng)價(jià)時(shí)的主觀隨意性，為教師學(xué)習(xí)者的評(píng)分提供參考的依據(jù)，因此，不太容易給出極端值。這也證實(shí)了范逸洲等人關(guān)于MOOC作業(yè)評(píng)分可靠性的研究[32]，范逸洲的研究是對(duì)抽取的所有作業(yè)樣本直接進(jìn)行統(tǒng)計(jì)檢驗(yàn)，而本研究對(duì)計(jì)算方法進(jìn)行了一定改進(jìn)：先計(jì)算相同評(píng)價(jià)次數(shù)下“得分細(xì)節(jié)標(biāo)準(zhǔn)差均值”，然后再進(jìn)行統(tǒng)計(jì)檢驗(yàn)，從而降低由被評(píng)價(jià)次數(shù)不同所帶來(lái)的誤差，提升結(jié)論的準(zhǔn)確性。

（三）分析型評(píng)價(jià)支架能更好地提升評(píng)語(yǔ)質(zhì)量

本研究通過(guò)同伴互評(píng)質(zhì)量量表對(duì)評(píng)語(yǔ)進(jìn)行編碼，以探究評(píng)價(jià)支架類型對(duì)評(píng)語(yǔ)質(zhì)量的影響。結(jié)果發(fā)現(xiàn)：中高質(zhì)量和最高質(zhì)量的評(píng)價(jià)在兩期課程的占比都較少，但使用了分析型評(píng)價(jià)支架的同伴互評(píng)產(chǎn)生了更多中高質(zhì)量的評(píng)語(yǔ)，其PFQ值也顯著高于整體型評(píng)價(jià)支架。

總體而言，使用分析型評(píng)價(jià)支架的教師學(xué)習(xí)者傾向于給出更高質(zhì)量的反饋，說(shuō)明分析型評(píng)價(jià)支架相較整體型評(píng)價(jià)支架，能更好地保證評(píng)語(yǔ)質(zhì)量。使用整體型評(píng)價(jià)支架時(shí)，學(xué)習(xí)者往往不會(huì)認(rèn)真書寫評(píng)價(jià)內(nèi)容，或者發(fā)布一些沒(méi)有價(jià)值的評(píng)價(jià)內(nèi)容，如“很好”“不錯(cuò)”，甚至采用同一模板進(jìn)行評(píng)價(jià)。而分析型評(píng)價(jià)支架的設(shè)立為學(xué)習(xí)者的評(píng)價(jià)提供了參考依據(jù)，幫助教師學(xué)習(xí)者對(duì)評(píng)價(jià)內(nèi)容進(jìn)行整體性認(rèn)知和理解，促進(jìn)了自我反思和知識(shí)建構(gòu)，因而能夠給出質(zhì)量更高的評(píng)價(jià)。

在互評(píng)環(huán)境因素中，為評(píng)價(jià)者提供什么樣的評(píng)價(jià)資源直接影響其評(píng)價(jià)行為[35]，評(píng)價(jià)支架作為進(jìn)行評(píng)價(jià)活動(dòng)的依據(jù)和指南，是一種重要的評(píng)價(jià)資源。課程設(shè)計(jì)者可以通過(guò)分析型評(píng)價(jià)支架的設(shè)立，促進(jìn)課程學(xué)習(xí)者生成更高質(zhì)量的評(píng)語(yǔ)，從而有效提升同伴互評(píng)的評(píng)價(jià)效果。

本研究通過(guò)實(shí)證研究，探究了評(píng)價(jià)支架類型對(duì)教師培訓(xùn)類MOOC的課程效果的影響，發(fā)現(xiàn)相較于整體型評(píng)價(jià)支架，分析型評(píng)價(jià)支架有助于提升教師學(xué)習(xí)者同伴互評(píng)的評(píng)價(jià)參與度和評(píng)價(jià)效果，因此，在設(shè)計(jì)與開(kāi)發(fā)教師培訓(xùn)類MOOC時(shí)，可考慮將分析型評(píng)價(jià)支架納入同伴互評(píng)活動(dòng)。在后續(xù)的研究中，可以進(jìn)一步對(duì)評(píng)語(yǔ)的內(nèi)容和類型進(jìn)行探討，也可以加強(qiáng)評(píng)價(jià)支架對(duì)評(píng)語(yǔ)的準(zhǔn)確性影響的探究。

[參考文獻(xiàn)]

[1] 中華人民共和國(guó)教育部.教育部關(guān)于印發(fā)《教育信息化2.0行動(dòng)計(jì)劃》的通知[EB/OL].（2018-04-18）[2021-10-29].http：//www.moe.gov.cn/srcsite/A16/s3342/201804/t20180425_334188.html.

[2] 中華人民共和國(guó)教育部，國(guó)家發(fā)展改革委，財(cái)政部，等.教育部等五部門關(guān)于印發(fā)《教師教育振興行動(dòng)計(jì)劃（2018—2022年）》的通知[EB/OL].（2018-03-22）[2021-10-29].http：//www.moe.gov.cn/srcsite/A10/s7034/201803/t20180323_331063.html.

[3] 黃榮懷，張慕華，沈陽(yáng)，田陽(yáng)，曾海軍.超大規(guī)?；ヂ?lián)網(wǎng)教育組織的核心要素研究——在線教育有效支撐“停課不停學(xué)”案例分析[J].電化教育研究，2020，41（3）：10-19.

[4] 祝智庭，郭紹青，吳砥，劉三女牙.“停課不停學(xué)”政策解讀、關(guān)鍵問(wèn)題與應(yīng)對(duì)舉措[J].中國(guó)電化教育，2020（4）：1-7.

[5] 李華，劉勐媛.混合式教學(xué)中作文同伴互評(píng)的應(yīng)用研究[J].電化教育研究，2020，41（6）：83-90.

[6] 柏宏權(quán)，蘇玉鳳，沈書生.融入同伴互評(píng)的混合式學(xué)習(xí)模式實(shí)證研究[J].電化教育研究，2017，38（12）：79-85.

[7] HOVARDAS T， TSIVITANIDOU O E， ZACHARIA Z C. Peer versus expert feedback： an investigation of the quality of peer feedback among secondary school students[J]. Computers & education， 2014， 71（1）：133-152.

[8] FORMANEK M， WENGER M C， BUXNER S R， et al. Insights about large-scale online peer assessment from an analysis of an as tronomy MOOC[J]. Computers & education， 2017， 113（1）：243-262.

[9] ASHENAFI M M. Peer-assessment in higher education—twenty-first century practices， challenges and the way forward[J]. Assessment & evaluation in higher education， 2017，42（2）：226-251.

[10] 馮曉英，張偉遠(yuǎn)，陳麗.遠(yuǎn)程校際協(xié)作學(xué)習(xí)中支架教學(xué)策略的應(yīng)用研究[J].北京廣播電視大學(xué)學(xué)報(bào)，2008（1）：26-30.

[11] PANADERO E， ROMERO M， STRIJBOS J. The impact of a rubric and friendship on peer assessment： effects on construct validity， performance， and perceptions of fairness and comfort[J]. Studies in educational evaluation，2013，39（4）：195-203.

[12] 梁云真.基于量規(guī)的同伴互評(píng)對(duì)在線學(xué)習(xí)認(rèn)知、情感投入度及學(xué)習(xí)成效的影響研究[J].電化教育研究，2018，39（9）：66-74.

[13] 汪瓊，歐陽(yáng)嘉煜，范逸洲.MOOC同伴作業(yè)互評(píng)中反思意識(shí)與學(xué)習(xí)成效的關(guān)系研究[J].電化教育研究，2019，40（6）：58-67.

[14] 馬寧，李亞蒙，何俊杰.群體知識(shí)建構(gòu)視角下教師混合式研訓(xùn)的組內(nèi)交互及知識(shí)建構(gòu)層次分析[J].現(xiàn)代教育技術(shù)，2019，29（4）：47-53.

[15] 馬寧，杜蕾，張燕玲，崔志軍，郭佳惠.群體知識(shí)圖譜建構(gòu)對(duì)教師在線學(xué)習(xí)與交互的影響研究[J].電化教育研究，2021，42（2）：55-62.

[16] LAURILLARD D. The educational problem that MOOCs could solve： professional development for teachers of disadvantaged students[J]. Research in learning technology， 2016， 24（1）：1-17.

[17] MA N， XIN S， DU J Y. A peer coaching-based professional development approach to improving the learning participation and learning design skills of in-service teachers[J]. Educational technology & society， 2018， 21（2）：291-304.

[18] MA N， ZHAO F L， ZHOU P Q， et al. Knowledge map-based online micro-learning： impacts on learning engagement， knowledge structure， and learning performance of in-service teachers[J]. Interactive learning environments， 2021（3）：1-16.

[19] DEELEY S J， BOVILL C. Staff student partnership in assessment： enhancing assessment literacy through democratic practices[J]. Assessment & evaluation in higher education， 2017， 42（3）：463-477.

[20] JAIME A， BLANCO J M， DOMíNGUEZ C， et al. Spiral and project-based learning with peer assessment in a computer science project management course[J]. Journal of science education and technology， 2016， 25（3）：439-449.

[21] 孫力，鐘斯陶.MOOC評(píng)價(jià)系統(tǒng)中同伴互評(píng)概率模型研究[J].開(kāi)放教育研究，2014，20（5）：83-90.

[22] VISTA A， CARE E， GRIFFIN P. A new approach towards marking large-scale complex assessments： developing a distributed marking system that uses an automatically scaffolding and rubric-targeted interface for guided peer-review[J]. Assessing writing， 2015，24（1）：1-15.

[23] 羅莎.MOOC環(huán)境下支架型同伴評(píng)價(jià)探究——以英語(yǔ)寫作任務(wù)為例[J].外語(yǔ)電化教學(xué)，2016（6）：42-47.

[24] 許濤.慕課同伴互評(píng)模型設(shè)計(jì)研究[J].開(kāi)放教育研究，2015，21（2）：70-77.

[25] 蔡旻君，馬光仲，陳萍.從學(xué)習(xí)性評(píng)價(jià)的視角反觀MOOC之理念與設(shè)計(jì)[J].中國(guó)電化教育，2016（9）：66-73.

[26] 鐘志賢，王覓，林安琪.量規(guī)：一種現(xiàn)代教學(xué)評(píng)價(jià)的方法[J].中國(guó)遠(yuǎn)程教育，2007（10）：43-46.

[27] 李菲茗，李曉菲，黃亞平，葉艷偉.訓(xùn)練對(duì)同伴互評(píng)評(píng)分準(zhǔn)確性的影響——以“三維動(dòng)畫設(shè)計(jì)與建?！闭n程為例[J].中國(guó)遠(yuǎn)程教育，2018（5）：63-67，78.

[28] BROWN J D. Developing， using， and analyzing rubrics in language assessment with case studies in Asian and Pacific languages[M].Honolulu： National Foreign Language Resource Center， 2012.

[29] 馬玉慧，趙樂(lè)，劉晴.在線同伴評(píng)價(jià)的影響因素及其促進(jìn)策略研究[J].電化教育研究，2016，37（3）：108-114.

[30] 張文蘭，張思琦，林君芬，吳瓊，陳淑蘭.網(wǎng)絡(luò)環(huán)境下基于課程重構(gòu)理念的項(xiàng)目式學(xué)習(xí)設(shè)計(jì)與實(shí)踐研究[J].電化教育研究，2016，37（2）：38-45，53.

[31] 董艷，和靜宇.PBL項(xiàng)目式學(xué)習(xí)在大學(xué)教學(xué)中的應(yīng)用探究[J].現(xiàn)代教育技術(shù)，2019，29（9）：53-58.

[32] 范逸洲，馮菲，劉玉，汪瓊.評(píng)價(jià)量規(guī)設(shè)計(jì)對(duì)慕課同伴互評(píng)有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[33] USHER M， BARAK M. Peer assessment in a project-based engineering course： comparing between on-campus and online learning environments[J]. Assessment & evaluation in higher education， 2017，43（5）：1-15.

[34] 李紅霞，趙呈領(lǐng)，蔣志輝.匿名與量規(guī)對(duì)基于SPOC的混合式同伴互評(píng)投入度的影響[J].現(xiàn)代教育技術(shù)，2020，30（10）：20-27.

[35] 吳遐，高記，劉兵.以評(píng)促學(xué)：基于三元交互決定論的同伴互評(píng)研究[J].中國(guó)遠(yuǎn)程教育，2020，41（4）：58-64，77.