慕課教學(xué)中同伴評(píng)價(jià)的搭架指導(dǎo)與干預(yù)

李萍

摘? ?要：慕課實(shí)現(xiàn)了教育資源共享的最大化，為混搭教學(xué)、學(xué)生個(gè)性化學(xué)習(xí)提供了良好的資源。慕課在推動(dòng)教育改革和發(fā)展的同時(shí)，也衍生出一些問題，如學(xué)習(xí)時(shí)間增多、學(xué)生自主性不強(qiáng)、網(wǎng)絡(luò)環(huán)境和學(xué)習(xí)支持服務(wù)薄弱、學(xué)生個(gè)性化評(píng)價(jià)反饋缺乏等。同伴互評(píng)雖然解決了教師質(zhì)性反饋不足的問題，但其可靠性和有效性未得到一致認(rèn)可。文章圍繞同伴評(píng)閱反饋的質(zhì)量問題展開討論，提出搭架式干預(yù)指導(dǎo)，提高了學(xué)生評(píng)價(jià)的準(zhǔn)確性。

關(guān)鍵詞：慕課;同伴評(píng)價(jià);搭架指導(dǎo)

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2021）01-0036-04

一、引言

慕課突破傳統(tǒng)課堂教學(xué)的局限性，提高了學(xué)生受教育的機(jī)會(huì)，降低了成本。自由、免費(fèi)是學(xué)生選擇慕課的主要原因[1]。北京聯(lián)合大學(xué)針對(duì)14個(gè)校區(qū)3大類別學(xué)院，建設(shè)了4門大學(xué)英語(yǔ)慕課，有通用英語(yǔ)類、專門用途英語(yǔ)類和拓寬學(xué)生國(guó)際視野等課程，實(shí)踐證明效果良好，深受師生的歡迎[2]。國(guó)家免費(fèi)開放的英語(yǔ)類慕課有十幾門，涵蓋聽說(shuō)、演講、寫作、文學(xué)經(jīng)典、跨文化交際等多個(gè)方面，既為教師開展混搭教學(xué)提供了良好的教學(xué)資料，又為學(xué)生擴(kuò)展知識(shí)視野提供了便捷的素材。豐富多樣的慕課從不同方面和角度推動(dòng)了教育的改革和發(fā)展，成為促進(jìn)高等教育改革的重要推手。研究表明，慕課帶來(lái)教學(xué)質(zhì)量的改進(jìn)、種族歧視的降低、技術(shù)變革適應(yīng)性的提高、個(gè)性化學(xué)習(xí)的增強(qiáng)、及時(shí)反饋和學(xué)生合作的增多[3]。

慕課給新時(shí)代高等教育帶來(lái)便利的同時(shí)，也提出了許多挑戰(zhàn)。①學(xué)習(xí)時(shí)間增多。學(xué)生對(duì)此有不同的認(rèn)識(shí)，29%的學(xué)生認(rèn)為增加了學(xué)習(xí)負(fù)擔(dān)，而64%的學(xué)生認(rèn)為這種課程學(xué)習(xí)方式有收獲或有明顯收獲[4]。②學(xué)生自主性不強(qiáng)、粘性不足。學(xué)生缺乏自制力和良好的在線學(xué)習(xí)習(xí)慣，需要經(jīng)常督促和反復(fù)提示[5]。學(xué)習(xí)氛圍和面對(duì)面指導(dǎo)與約束力的缺失，導(dǎo)致學(xué)習(xí)積極性差[1]。③網(wǎng)絡(luò)環(huán)境和學(xué)習(xí)支持服務(wù)薄弱。外網(wǎng)登錄不暢、平臺(tái)使用界面不夠友好，影響學(xué)生使用網(wǎng)絡(luò)教學(xué)平臺(tái)的興趣與熱情[4]。我國(guó)現(xiàn)有多數(shù)慕課忽視必要的學(xué)習(xí)支持服務(wù)，學(xué)習(xí)支持服務(wù)水平整體薄弱。服務(wù)類型單一，不同類型課程之間助學(xué)比例差異大。討論區(qū)或論壇維護(hù)人員不足，教師與學(xué)生之間、學(xué)生與學(xué)生之間未實(shí)現(xiàn)真正的交互。④面對(duì)龐大的慕課學(xué)生群體，教師很難提供個(gè)性化的評(píng)價(jià)反饋。由于學(xué)生的規(guī)模較大，使慕課有成為單向信息轉(zhuǎn)移的風(fēng)險(xiǎn)。需要用新穎的方法完成“教—學(xué)—評(píng)”和反饋的環(huán)節(jié)。對(duì)國(guó)內(nèi)14個(gè)MOOC平臺(tái)的研究發(fā)現(xiàn)，評(píng)價(jià)模式單一，機(jī)器評(píng)價(jià)高達(dá)90.8%。各學(xué)科評(píng)價(jià)方式有差異，文科課程偏重于同伴互評(píng)[6]。同伴互評(píng)雖然解決了教師質(zhì)性反饋不足的問題，但該辦法的可靠性和有效性未得到一致認(rèn)可。本文將圍繞同伴評(píng)閱反饋的質(zhì)量問題展開討論。

二、同伴評(píng)閱的發(fā)展

早在1998年，就有研究者提出同伴反饋，并將其視為教師評(píng)價(jià)學(xué)生成績(jī)的一種替代方式。尤其適用于真實(shí)的學(xué)習(xí)環(huán)境中，以及解決問題的活動(dòng)中。在一些情況下，這種評(píng)價(jià)方式有高度的可靠性和有效性。雖然大部分人一致認(rèn)為，專家評(píng)閱反饋更有效，但處理得當(dāng)?shù)膶W(xué)生之間的輔導(dǎo)對(duì)學(xué)生雙方都有益。有研究發(fā)現(xiàn)，同伴反饋同樣有效，甚至有些情況下比教師反饋更有效。

慕課的相關(guān)實(shí)驗(yàn)研究在2013年還很少開展。由于兩種授課環(huán)境不同，教師對(duì)學(xué)生的監(jiān)管、指導(dǎo)和評(píng)價(jià)均有差異。慕課學(xué)習(xí)者受到教師的監(jiān)管或面授非常有限，評(píng)價(jià)過程也不是教師評(píng)，而是以自評(píng)和同伴評(píng)為主。學(xué)生對(duì)同伴評(píng)閱的接受度在兩種環(huán)境中也有所不同。對(duì)慕課的學(xué)生態(tài)度研究發(fā)現(xiàn)，只有少數(shù)學(xué)生反對(duì)同伴評(píng)閱，認(rèn)為應(yīng)該由教師評(píng)閱。而Sluijsmans等人發(fā)現(xiàn)，只有19%的學(xué)生認(rèn)為在課堂環(huán)境中，學(xué)生能公正盡職地評(píng)價(jià)彼此[7]。這種差異源自慕課學(xué)習(xí)環(huán)境特有的理念之一，學(xué)習(xí)者特別開放地接受合作性任務(wù)[8]。

同伴評(píng)閱在兩種環(huán)境中使用的目的不同。在課堂教學(xué)中，同伴評(píng)閱不僅能提高學(xué)科知識(shí)學(xué)習(xí)，還會(huì)培養(yǎng)一些可遷移的技巧，如批判性分析、交流技能和團(tuán)隊(duì)合作能力。慕課采用同伴評(píng)閱的主要?jiǎng)恿υ谟冢軌蚪鉀Q大規(guī)模學(xué)生評(píng)價(jià)反饋的問題，自評(píng)和互評(píng)可以解決數(shù)千人參與的復(fù)雜作業(yè)的評(píng)分[9]。

Coursera開設(shè)的《學(xué)術(shù)英語(yǔ)寫作》專項(xiàng)課程有44978人注冊(cè)學(xué)習(xí)[10]。注冊(cè)人數(shù)眾多，無(wú)法實(shí)現(xiàn)教師“一對(duì)一”評(píng)閱。此外，互評(píng)可以提高學(xué)生體驗(yàn)，從而增加保持率，大多數(shù)文獻(xiàn)都關(guān)注到這一點(diǎn)。同伴評(píng)閱已不僅僅用來(lái)解決教師評(píng)閱不足的問題，還在某種程度上，成為增強(qiáng)學(xué)習(xí)氛圍、提高社交臨場(chǎng)感、提供助學(xué)支持的有利環(huán)節(jié)。

學(xué)生互評(píng)涉及到同伴匹配問題。以往文獻(xiàn)中有兩種研究方法，同伴能力相當(dāng)或不同，被稱為同質(zhì)匹配和異質(zhì)匹配。哪種類型對(duì)學(xué)生學(xué)習(xí)最有效還沒有一致的看法。校園學(xué)習(xí)的學(xué)生和在線學(xué)習(xí)的學(xué)生，在匹配的效果上有何不同也不明確。

Huisman等人的研究結(jié)果表明，同伴評(píng)閱者的能力和寫作者的作品成績(jī)正相關(guān)。相關(guān)只適用于中等及高等水平的寫作者，低等水平的寫作者與評(píng)閱人的能力不相關(guān)[9]。因此，對(duì)于寫作任務(wù)的同伴評(píng)閱分配，要考慮到寫作者的寫作水平。知識(shí)背景水平相近的學(xué)生開展互評(píng);知識(shí)水平較高的學(xué)生可以評(píng)閱知識(shí)水平較低的學(xué)生，反之則不行[11]。

關(guān)于評(píng)閱質(zhì)量與評(píng)閱人能力的關(guān)系，通過對(duì)一門生物醫(yī)學(xué)慕課寫作互評(píng)的研究發(fā)現(xiàn)，書面摘要任務(wù)完成好的學(xué)生，評(píng)閱質(zhì)量高于其他人，更有可能評(píng)閱他人[8]。因此，有能力學(xué)生的同伴評(píng)閱參與度更高。

三、同伴評(píng)閱的可靠性和有效性

雖然解決了個(gè)性化反饋的問題，但仍存在一些質(zhì)疑。在認(rèn)識(shí)上，教育者對(duì)此未達(dá)成一致，學(xué)生的看法也不一致。

持否定態(tài)度的研究者認(rèn)為，它相當(dāng)于盲人給瞎子指路，外行指導(dǎo)外行。在慕課中，學(xué)生互評(píng)被認(rèn)為存在一些潛在問題，如反饋質(zhì)量參差不齊、缺少互惠感和社區(qū)存在感，以及質(zhì)量監(jiān)控與調(diào)控的缺失等。缺乏實(shí)證對(duì)互評(píng)的效果研究，反映出的是主觀認(rèn)識(shí)[12]。

對(duì)互評(píng)持肯定看法的研究者認(rèn)為，提供反饋的行為對(duì)參與者也有益，特別是高能力參與者尤其受益，他們往往更積極思考作業(yè)的目的和標(biāo)準(zhǔn)。評(píng)閱他人，為他們提供了進(jìn)一步深度思考的機(jī)會(huì)[9]。

學(xué)生的態(tài)度褒貶不一。研究表明，收到評(píng)價(jià)的學(xué)生對(duì)此往往也持有懷疑態(tài)度。如果可以選擇的話，大多數(shù)學(xué)生會(huì)選擇專家評(píng)閱。學(xué)生更愿意利用專家反饋來(lái)修改后續(xù)的作業(yè)。專家提出的改進(jìn)意見更詳細(xì)，評(píng)價(jià)規(guī)則更全面，較少使用贊揚(yáng)[12]。

雖然大多數(shù)評(píng)閱者和被評(píng)閱者對(duì)互評(píng)表示歡迎，但許多學(xué)生也表達(dá)了負(fù)面的感受，如同伴缺少資質(zhì)，給出的評(píng)價(jià)是負(fù)面的、批評(píng)的，打分不公正。覺得為他人評(píng)閱作業(yè)很難，也感到不安，消耗時(shí)間。評(píng)閱質(zhì)量差、同伴評(píng)閱不稱職或者評(píng)閱同行令他們感到不適。很多慕課學(xué)生對(duì)互評(píng)結(jié)果不滿，認(rèn)為有些學(xué)生不具備評(píng)判資格，有些很隨意，不參考教師的評(píng)分標(biāo)準(zhǔn)。

有些學(xué)生認(rèn)為，同伴評(píng)閱可以提高學(xué)習(xí)效果、增強(qiáng)學(xué)習(xí)動(dòng)力、培養(yǎng)批判性思維和同理心（empathy）。提供反饋使學(xué)生能夠應(yīng)用所學(xué)知識(shí)，進(jìn)一步增強(qiáng)對(duì)知識(shí)點(diǎn)的理解。評(píng)閱時(shí)的評(píng)語(yǔ)如果有激勵(lì)性，寫作者和評(píng)閱者均感到受益。寫作者可以面對(duì)不同背景的評(píng)閱人，接受到更有價(jià)值的建議。評(píng)閱人看到別人的見解和觀點(diǎn)，也可以感受到作為評(píng)閱人的益處。

盡管很多學(xué)生喜歡同伴評(píng)閱練習(xí)，但相當(dāng)一部分學(xué)生持否定態(tài)度。學(xué)生對(duì)此態(tài)度也不一致[8]。

在慕課相關(guān)研究之前，有些案例中發(fā)現(xiàn)同伴評(píng)閱有高度的可靠性和有效性。研究發(fā)現(xiàn)，同伴評(píng)閱與教師評(píng)閱效果相當(dāng)，某些情況下，甚至更有效。雖然有研究表明同伴評(píng)分與教師評(píng)分強(qiáng)相關(guān)，但評(píng)閱者間信度差。通過對(duì)3門人文慕課研究發(fā)現(xiàn)，同伴評(píng)價(jià)間信度低，對(duì)周測(cè)和期末考試成績(jī)的預(yù)測(cè)信度低或中等[13]。

如何設(shè)計(jì)自我評(píng)價(jià)和同伴評(píng)價(jià)成為擁有大規(guī)模、多樣化學(xué)習(xí)群體慕課的挑戰(zhàn)。寫作這類具有創(chuàng)造性的領(lǐng)域無(wú)法以多項(xiàng)選擇題（MCQ）的形式提供有效評(píng)價(jià)和有用反饋。MCQ適用于數(shù)學(xué)、理科等客觀公式化的學(xué)習(xí)。目前，研究者正在開發(fā)統(tǒng)計(jì)系統(tǒng)，增加同伴評(píng)價(jià)的信度。 例如：加州大學(xué)洛杉磯分校使用的同伴評(píng)閱校準(zhǔn)軟件，可以根據(jù)教師對(duì)寫作任務(wù)的評(píng)分樣本，校準(zhǔn)學(xué)生評(píng)分，但只是終結(jié)性評(píng)價(jià)可以校準(zhǔn)，要求多名同伴評(píng)閱。以往研究還發(fā)現(xiàn)，慕課中序數(shù)型評(píng)分比基數(shù)型評(píng)分更穩(wěn)健。此外，edX自動(dòng)寫作評(píng)分系統(tǒng)還不能預(yù)測(cè)復(fù)雜的寫作任務(wù)[12]。

四、同伴評(píng)閱的干預(yù)指導(dǎo)

慕課環(huán)境下的同伴評(píng)價(jià)處于相對(duì)無(wú)監(jiān)管、無(wú)控制、無(wú)技能狀態(tài)，因此信度和效度尤其重要。評(píng)價(jià)質(zhì)量的好壞根據(jù)兩種方式來(lái)操作：一是學(xué)生評(píng)價(jià)與專家評(píng)價(jià)的一致度;二是學(xué)生評(píng)價(jià)與學(xué)科認(rèn)可“好”的反饋特征相符合度[12]。

有效互評(píng)的關(guān)鍵要素是需要支持系統(tǒng)來(lái)提高學(xué)生反饋的有效性和可靠性，使得所有學(xué)生發(fā)出和收到的反饋是有用的。有效的指導(dǎo)和干預(yù)可以杜絕評(píng)價(jià)質(zhì)量低、評(píng)價(jià)不公正和缺乏有效建議等問題的出現(xiàn)，進(jìn)一步提高評(píng)價(jià)活動(dòng)給雙方帶來(lái)的益處，避免該活動(dòng)成為浪費(fèi)時(shí)間的無(wú)效負(fù)擔(dān)。

有效指導(dǎo)首先要給學(xué)生一個(gè)具有可操作性的評(píng)價(jià)標(biāo)準(zhǔn)。標(biāo)準(zhǔn)的制定方法為：與評(píng)價(jià)理論一致，同時(shí)還要征求專業(yè)領(lǐng)域?qū)＜业囊庖姡_保標(biāo)準(zhǔn)的科學(xué)合理。例如：科幻作品寫作慕課的寫作作業(yè)標(biāo)準(zhǔn)擬定，是在與該領(lǐng)域?qū)＜覐V泛協(xié)商的基礎(chǔ)上完成的，其中的專家包括科幻領(lǐng)域文稿代理人、編輯、作家，共7人，還參閱了寫作方面的書籍和視頻資料[12]。

評(píng)價(jià)量規(guī)的標(biāo)準(zhǔn)項(xiàng)應(yīng)為5個(gè)左右，太多會(huì)導(dǎo)致評(píng)價(jià)不集中或評(píng)價(jià)負(fù)擔(dān)過重。分項(xiàng)維度不宜過多，否則很難突出重點(diǎn)，且增加工作負(fù)擔(dān)。有些寫作性作業(yè)主觀性判斷很難避免，需要通過標(biāo)準(zhǔn)明確的說(shuō)明來(lái)提高判斷可信性。當(dāng)為每一項(xiàng)評(píng)價(jià)指標(biāo)增加了具體的等級(jí)描述、每個(gè)等級(jí)得分的具體表現(xiàn)，評(píng)分者間信度及評(píng)分的準(zhǔn)確性便得到了顯著提高。此外，“說(shuō)明”要采用描述性語(yǔ)言，避免使用判斷性語(yǔ)言，描述要簡(jiǎn)潔清晰[14]。

在進(jìn)行質(zhì)性評(píng)價(jià)時(shí)，還需要一定的搭架式支持，提供多種手段來(lái)幫助學(xué)生評(píng)價(jià)。很多研究者認(rèn)為，指導(dǎo)學(xué)生評(píng)閱者關(guān)注量規(guī)的相關(guān)內(nèi)容，有助于提高評(píng)價(jià)的信度和效度。Scott Ashton 和 Randall S. Davies提出指導(dǎo)性兩步驟：①幫助學(xué)生理解每項(xiàng)問題。②針對(duì)主要問題，向?qū)W生提問相關(guān)的更進(jìn)一步的問題，幫助其將寫作理解轉(zhuǎn)化為數(shù)字分?jǐn)?shù)。如針對(duì)性問題、開頭句或提供質(zhì)性反饋副標(biāo)題性的問題。讓評(píng)閱人根據(jù)易理解的標(biāo)準(zhǔn)做出整體判斷，會(huì)增加信度和效度[12]。因此，提供反饋模板結(jié)構(gòu)是有益的。

僅僅提供評(píng)價(jià)量規(guī)給學(xué)生是不夠的，很難避免集中趨勢(shì)誤差。評(píng)分者對(duì)初級(jí)學(xué)者的評(píng)分寬容，對(duì)高級(jí)學(xué)習(xí)者的作業(yè)評(píng)分過度保守，這時(shí)往往會(huì)出現(xiàn)集中趨勢(shì)誤差。此外，對(duì)于一般學(xué)生評(píng)分者來(lái)說(shuō)，評(píng)分檔拉不開。如專家對(duì)寫作總體質(zhì)量評(píng)分的高低分之間相差4分，而僅僅根據(jù)標(biāo)準(zhǔn)評(píng)分的學(xué)生，差值卻為0.3分[12]。因此，額外培訓(xùn)和支持系統(tǒng)將改善這類評(píng)價(jià)的問題。

慕課中的同伴評(píng)價(jià)得到指導(dǎo)，有助于區(qū)分不同水平學(xué)生的表現(xiàn)。有指導(dǎo)的量規(guī)干預(yù)能提高學(xué)生在某些評(píng)價(jià)項(xiàng)目上的準(zhǔn)確性[12]。干預(yù)貫穿評(píng)價(jià)的全過程，幫助學(xué)生理解同伴反饋過程是如何進(jìn)行的，以及為什么要進(jìn)行這一過程。在進(jìn)行反饋前，提供有效反饋的實(shí)例建模。Cousera平臺(tái)要求學(xué)生在評(píng)判其他學(xué)生的作業(yè)之前，首先要能夠正確評(píng)判一個(gè)用來(lái)訓(xùn)練的樣品作業(yè)，訓(xùn)練學(xué)生先對(duì)一個(gè)樣品作業(yè)進(jìn)行評(píng)判。該平臺(tái)還提供反饋評(píng)價(jià)指南，并在開始階段進(jìn)行監(jiān)控并提供反饋，幫助評(píng)價(jià)過程順暢進(jìn)行，同時(shí)還使用多人評(píng)閱，聚合反饋被評(píng)閱人的作業(yè)質(zhì)量[15]。要使互評(píng)結(jié)果具備可接受的信度，至少需要三個(gè)學(xué)生評(píng)分者，僅僅基于兩個(gè)評(píng)分者判分的互評(píng)結(jié)果相對(duì)不可靠。在綜合考量多個(gè)評(píng)分結(jié)果的前提下，該模式能夠?yàn)樵诰€學(xué)習(xí)者提供可靠的最終得分[16]。此外，有研究者認(rèn)為，提高被評(píng)閱人對(duì)反饋的關(guān)注度，也會(huì)提高反饋的有效性。

還應(yīng)該培訓(xùn)學(xué)生使用反饋的能力。一種可行的辦法是細(xì)化評(píng)價(jià)內(nèi)容，讓學(xué)生對(duì)任務(wù)的不同方面（內(nèi)容、結(jié)構(gòu)、風(fēng)格等）加強(qiáng)認(rèn)識(shí)，激勵(lì)其提供更具體的修改意見。另一種辦法是提供搭架式指導(dǎo)[9]。在同伴評(píng)價(jià)反饋過程中，通過詳細(xì)的反饋模板，提供更有條理的指導(dǎo)。

為確保同伴評(píng)閱順利進(jìn)行，需明確規(guī)定獎(jiǎng)懲措施。2013年秋季Coursera平臺(tái)上開設(shè)的《恐怖與反恐怖：理論實(shí)踐對(duì)比》慕課持續(xù)5周進(jìn)行5次小測(cè)、2次同伴評(píng)價(jià)，每人至少評(píng)閱他人5人次，并進(jìn)行自評(píng)，否則該作業(yè)扣掉20%成績(jī)作為懲罰[9]。

提供搭架式干預(yù)指導(dǎo)有利于學(xué)生正確評(píng)價(jià)，提高可信度和效度。但同時(shí)也存在一些問題，為大規(guī)模學(xué)生提供個(gè)性化監(jiān)管，需要消耗教師大量的時(shí)間和精力。因此，如何建立評(píng)價(jià)梯隊(duì)，緩解教師壓力，還需在今后的研究中繼續(xù)關(guān)注。

參考文獻(xiàn)：

[1]邱文教，趙光，雷威等.高校學(xué)生對(duì)慕課認(rèn)知情況與滿意度的實(shí)證研究[J].中國(guó)大學(xué)教學(xué)，2017（8）：87-91.

[2]張殿恩，王蘊(yùn)喆.“大學(xué)英語(yǔ)慕課”建設(shè)思路與體系結(jié)構(gòu)研究[J].黑龍江高教研究，2016（3）：144-147.

[3]Welsh， D. H. B.， & Dragusin， M. The new generation of massive open online course（MOOC） and entrepreneurship education[J]. Small Business Institute Journal， 2013（9）： 51-65.

[4]陳明，桑小雙.高校學(xué)生對(duì)混合教學(xué)模式改革課程認(rèn)知及滿意度的實(shí)證研究[J].現(xiàn)代遠(yuǎn)距離教育，2018（5）：57-64.

[5]黃德群.MOOCs環(huán)境下開展高校通識(shí)教育網(wǎng)絡(luò)課程選修的研究[J].中國(guó)教育信息化，2016（6）：14-18.

[6]趙宏，張亨國(guó)，鄭勤華，陳麗.中國(guó)MOOCs學(xué)習(xí)評(píng)價(jià)調(diào)查研究[J].中國(guó)電化教育，2017（9）：53-61.

[7]Sluijsmans， D. M. A.， G. Moerkerke， J. J. G. van Merri?nboer， and F. J. R. Dochy. Peer Assessment in Problem BasedLearning[J].Studies in Educational Evaluation，2001， 27 （2）： 153-173.

[8]Meeka， Sarah E.M.， Blakemore， Louise and Marksa， Leah.Is peer review an appropriate form of assessment in a MOOC？ Student participation and performance in formative peer review[J].Assessment & Evaluation in Higher Education， 2017，42（6）： 1000-1013.

[9]Huisman， Bart， Admiraal， Wilfried， van de Ven， Maarten， and Saab， Nadira. Peer assessment in MOOCs： The relationship between peer reviewers ability and authors essay performance[J]. British Journal of Educational Technology，2018，9（1）： 101-110.

[10]佚名. Coursera平臺(tái)資料[EB/OL].https：//www.coursera.org/specializations/academic-english，2019-7-25.

[11]許云紅，王如.MOOC背景下基于推薦機(jī)制的提高同伴互評(píng)效果的研究[J].現(xiàn)代遠(yuǎn)距離教育，2014（5）：17-21.

[12]Ashton， S.， Instructional Psychology and Technology， Brigham Young University， Provo， UT， USA Davies， Randall S. Using scaffolded rubrics to improve peer assessment in a MOOC writing course[J]. Distance Education，2015，36（3）：312-334.

[13]Admiraal， W.， B. Huisman， and M. Van de Ven.Self-and Peer Assessment in Massive Open Online Courses[J]. InternationalJournal of Higher Education，2014，3（3）： 119-128.

[14]范逸洲，馮菲，劉玉，汪瓊.評(píng)價(jià)量規(guī)設(shè)計(jì)對(duì)慕課同伴互評(píng)有效性的影響研究[J].電化教育研究，2018，39（11）：45-51.

[15]Ertmer， P. A.， Richardson， J. C.， Belland， B.， Camin， D.， Connolly， P.， Coulthard， G.， …Mong， C. Using peer feedback to enhance the quality of student online postings：An exploratory study[J]. Journal of Computer-Mediated Communication，2007，12（2）：412-433.

[16]羅恒，左明章，安東尼·魯賓遜.大規(guī)模開放在線學(xué)習(xí)學(xué)生互評(píng)效果實(shí)證研究[J].開放教育研究，2017，23（1）：75-83.

（編輯：王曉明）