MOOC有效評(píng)價(jià)反思與對(duì)策研究

文/涂偉 李曼

MOOC有效評(píng)價(jià)反思與對(duì)策研究

文/涂偉 李曼

隨著MOOC（Massive Open Online Courses 大規(guī)模開放課程）熱潮，如何評(píng)價(jià)MOOC受到關(guān)注。MOOC是課程，也要遵循教學(xué)規(guī)律，其評(píng)價(jià)要圍繞學(xué)生、教師、教學(xué)方法、教學(xué)效果等因素，要定性與定量相結(jié)合，但在實(shí)踐中這些評(píng)價(jià)效果不佳。

MOOC是課程，是要讓學(xué)生掌握某些知識(shí)和學(xué)習(xí)，這種學(xué)習(xí)，不論包裝得如何生動(dòng)有趣，如何互動(dòng)或互助，都是為有持續(xù)學(xué)習(xí)意愿的學(xué)習(xí)者準(zhǔn)備的。2015年對(duì)221門課程調(diào)查發(fā)現(xiàn)，完成率的中位數(shù)為12.6%，其中多數(shù)學(xué)習(xí)者都是在前兩周就退出了。無論是哪種方式的學(xué)習(xí)，都需要安排時(shí)間、專心致志、理解思考、表達(dá)溝通、記憶背誦、堅(jiān)持不懈，與讀小說和看電視不同，多數(shù)MOOC要以考試的方式檢驗(yàn)學(xué)習(xí)效果。與傳統(tǒng)課程一樣，在MOOC也存在多數(shù)學(xué)生怕考試，多數(shù)學(xué)生不愿意自主學(xué)習(xí)的現(xiàn)象。

MOOC評(píng)價(jià)的實(shí)踐

當(dāng)前MOOC的評(píng)價(jià)體系并沒有國(guó)家標(biāo)準(zhǔn)。2015年教育部發(fā)布的《關(guān)于加強(qiáng)高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見》提出以先建設(shè)應(yīng)用、后評(píng)價(jià)認(rèn)定的方法，到2020年，認(rèn)定3000余門國(guó)家精品在線開放課程，各高校根據(jù)實(shí)際建立在線開放課程的評(píng)價(jià)機(jī)制。而在2006年針對(duì)國(guó)家精品課程建設(shè)，是有教學(xué)隊(duì)伍、教學(xué)內(nèi)容、教學(xué)方法與手段、教學(xué)條件、教學(xué)效果、特色及政策支持等6項(xiàng)一級(jí)指標(biāo)和15項(xiàng)二級(jí)評(píng)估指標(biāo)，每個(gè)指標(biāo)有具體的分值。從早期精品課程建立明確的評(píng)價(jià)指標(biāo)體系，到目前MOOC先建設(shè)，后評(píng)價(jià)的做法，表明評(píng)價(jià)體系的建立存在困難。

在近年研究中，不少學(xué)者試圖構(gòu)建多樣的MOOC評(píng)價(jià)體系。德國(guó)亞琛工業(yè)大學(xué)尤瑟夫等建立了教學(xué)維度技術(shù)維度的評(píng)價(jià)。教學(xué)維度下有教學(xué)設(shè)計(jì)與考核2個(gè)二級(jí)指標(biāo)，下設(shè) 29個(gè)指標(biāo)；技術(shù)維度有使用者界面、視頻內(nèi)容、學(xué)習(xí)與社交工具，及學(xué)習(xí)分析四個(gè)二級(jí)指標(biāo)，下設(shè)44個(gè)評(píng)價(jià)指標(biāo)。歐洲遠(yuǎn)程教育大學(xué)聯(lián)合會(huì)的開放教育質(zhì)量評(píng)價(jià)包括2個(gè)一級(jí)指標(biāo): 機(jī)構(gòu)層面與課程層面。機(jī)構(gòu)層面包含6個(gè)二級(jí)指標(biāo):戰(zhàn)略管理、課程體系設(shè)計(jì)、課程設(shè)計(jì)、課程傳遞、教職人員支持及學(xué)生支持；課程層面未設(shè)置二級(jí)指標(biāo)，有11 個(gè)三級(jí)指標(biāo)。

MOOC評(píng)價(jià)的缺陷

在實(shí)踐中，每個(gè)評(píng)價(jià)指標(biāo)都有其重要作用，但作為整體的MOOC評(píng)價(jià)體系是否科學(xué)合理，仍面臨不少挑戰(zhàn)。

1.評(píng)價(jià)體系指標(biāo)繁雜，有效性缺乏大范圍驗(yàn)證。評(píng)價(jià)體系要有可操作性，要考慮評(píng)價(jià)的成本和時(shí)間。如果在購(gòu)物平臺(tái)上消費(fèi)后，要給出的評(píng)價(jià)指標(biāo)有幾十項(xiàng)，多數(shù)買家可能都會(huì)放棄評(píng)價(jià)。很多情況下，全面客觀與精練直觀是矛盾的，規(guī)范化標(biāo)準(zhǔn)化與特色化個(gè)性化也是矛盾的。

2.評(píng)價(jià)主體不明確，以專家經(jīng)驗(yàn)代替用戶體驗(yàn)。在實(shí)踐中往往以專家代替普通用戶，對(duì)MOOC進(jìn)行評(píng)價(jià)。一方面多數(shù)用戶無法完成某項(xiàng)MOOC課程的學(xué)習(xí)，其評(píng)價(jià)可能偏低，而少數(shù)完成了學(xué)習(xí)的用戶，對(duì)MOOC的評(píng)價(jià)可能偏高；另一方面用戶缺乏橫向比較，不會(huì)把多個(gè)高校提供的同一門課程都學(xué)習(xí)，對(duì)于知識(shí)點(diǎn)設(shè)置是否合理，考試難度是否恰當(dāng)?shù)?，難以做出正確評(píng)價(jià)。但以專家代替用戶的評(píng)價(jià)模式，帶來了新問題。專家不會(huì)像普通用戶，一個(gè)學(xué)期深入學(xué)習(xí)后作出評(píng)價(jià)，其極短時(shí)間的體驗(yàn)，可能對(duì)MOOC課程的流暢度、易用性、互動(dòng)性等產(chǎn)生誤判，更強(qiáng)調(diào)MOOC的知識(shí)體系和專業(yè)細(xì)節(jié)，忽略趣味性和口碑宣傳等隱性優(yōu)勢(shì)。

3.評(píng)價(jià)目標(biāo)和時(shí)點(diǎn)值得商榷。除了由誰來評(píng)價(jià)外，MOOC評(píng)價(jià)體系還有兩個(gè)繞不過的問題。一是評(píng)價(jià)的時(shí)點(diǎn)，每門MOOC課程建設(shè)都是個(gè)不斷完善的過程，剛上線課程與成功運(yùn)營(yíng)幾年的課程在同一評(píng)價(jià)體系中顯失公平。二是評(píng)價(jià)的目的，在計(jì)劃經(jīng)濟(jì)時(shí)代，評(píng)價(jià)與評(píng)比和評(píng)獎(jiǎng)是對(duì)應(yīng)的，但在市場(chǎng)經(jīng)濟(jì)下，如果只是由主管部門進(jìn)行評(píng)價(jià)，可能并不客觀，有些被高校專家推崇的精品課程，學(xué)生中的口碑卻一般，學(xué)生可能喜歡和藹、幽默、顏值高，課程淺顯、考核簡(jiǎn)單的老師和課程，專家卻不認(rèn)可。

4.評(píng)價(jià)體系缺乏可比性。所有MOOC放置在一個(gè)評(píng)價(jià)體系中仍值得商榷。不同學(xué)科專業(yè)、不同課程體系、面向不同教師和學(xué)生的MOOC，其評(píng)價(jià)指標(biāo)也應(yīng)多元化。即使同一門課程，面向不同年齡或?qū)W術(shù)背景的學(xué)生，他們?cè)u(píng)價(jià)的結(jié)果也會(huì)有較大差別。有的學(xué)科需要實(shí)踐操作，有些強(qiáng)調(diào)書面表達(dá)，有些注重學(xué)習(xí)互動(dòng)，讓這些MOOC課程放在相同的評(píng)價(jià)體系中，不僅有失公允，也無法發(fā)揮通過評(píng)價(jià)而產(chǎn)生的改善和提高的效用。

5.評(píng)價(jià)體系缺乏導(dǎo)向性、動(dòng)態(tài)性與前瞻性。MOOC的評(píng)價(jià)要發(fā)揮導(dǎo)向性作用，課程建設(shè)者對(duì)照指標(biāo)，查漏補(bǔ)缺。相對(duì)寬泛的指標(biāo)體系顯然無法發(fā)揮導(dǎo)向作用。此外，MOOC的教學(xué)理念和技術(shù)實(shí)現(xiàn)手段是不斷變化的，用戶也會(huì)更加成熟，是個(gè)動(dòng)態(tài)演變過程，相應(yīng)的評(píng)價(jià)指標(biāo)體系也應(yīng)是動(dòng)態(tài)變化并具有一定的前瞻性，要充分預(yù)計(jì)評(píng)價(jià)指標(biāo)的發(fā)展趨勢(shì)變化，使評(píng)價(jià)指標(biāo)體系的適用更具有長(zhǎng)遠(yuǎn)性?，F(xiàn)有的評(píng)價(jià)體系，在這方面仍有提升的空間。

圖1　MOOC評(píng)價(jià)的二維體系

MOOC的二維體系

在對(duì)MOOC評(píng)價(jià)前，可從需求和受眾兩個(gè)角度，將所有MOOC課程分為四個(gè)象限，不同特點(diǎn)的課程，其評(píng)價(jià)側(cè)重點(diǎn)也應(yīng)不同。見圖1所示。橫坐標(biāo)是用戶需求，左側(cè)是內(nèi)在需求，右側(cè)是外在需求。內(nèi)在需求強(qiáng)調(diào)個(gè)人興趣驅(qū)動(dòng)，外在需求是為了滿足外在的要求，如考試、入職或?qū)I(yè)升級(jí)等?？v坐標(biāo)是受眾的數(shù)量，自下而上，受眾越來越多，從小眾關(guān)注到大眾追捧，有些MOOC只能吸引少量用戶，有些卻有大量的用戶關(guān)注。在MOOC網(wǎng)站首頁(yè)推薦的課程，多數(shù)都是大眾追捧的，位于第一象限和第二象限。

這四類的MOOC不宜用采相同的評(píng)價(jià)體系。偏個(gè)人興趣的MOOC，用戶往往是隨機(jī)進(jìn)入這些課程，前幾期的點(diǎn)擊率很高，在沒有硬性課程考試和時(shí)間壓力的情況下，多數(shù)用戶不會(huì)堅(jiān)持到課程結(jié)束，這些課程需要有特色、有觀點(diǎn)、風(fēng)趣、博學(xué)、耐人尋味等。而偏現(xiàn)實(shí)壓力的MOOC，如高校由原精品課程和專業(yè)課程轉(zhuǎn)型的MOOC，需要學(xué)生注冊(cè)后，在學(xué)期內(nèi)配合傳統(tǒng)課程學(xué)習(xí)，完成作業(yè)和考試并獲得成績(jī)；或者是需要由培訓(xùn)通過國(guó)家或行業(yè)類考試；這類MOOC強(qiáng)調(diào)課程體系、邏輯架構(gòu)和專業(yè)性，需要用戶反復(fù)學(xué)習(xí)和相互討論后才能掌握，課程難度較高，一般而言，用戶更愿意為這類MOOC付費(fèi)。

MOOC的雙層評(píng)價(jià)

以最終考試成績(jī)認(rèn)定MOOC課程的質(zhì)量，并不容易，這也讓MOOC的評(píng)價(jià)更加困難。由于很難監(jiān)督分布在各處的學(xué)習(xí)者的作業(yè)和考試狀態(tài)，作弊和替考都有可能發(fā)生。MOOC如果不與傳統(tǒng)課堂相結(jié)合，學(xué)生的成績(jī)是難以認(rèn)定的。換句話說，多數(shù)學(xué)生不是為了通過考試而參加學(xué)習(xí)的，如果傳統(tǒng)課堂學(xué)習(xí)不用考試，也沒有成績(jī)，想學(xué)就學(xué)，可能很多課程的畢業(yè)率也不高。有研究者將參與MOOC學(xué)習(xí)的學(xué)生聚類為4種類型即完成者、旁聽者、脫離者和體驗(yàn)者，還有稱為潛行者、順訪者、消極參與者和積極參與者，無論如何表述，不參與到MOOC中的學(xué)習(xí)者比例可能高于傳統(tǒng)課堂。

MOOC評(píng)價(jià)應(yīng)采用雙層體系。第一層是準(zhǔn)入評(píng)價(jià)，第二層是綜合評(píng)價(jià)。參照更加復(fù)雜的電影評(píng)價(jià)體系，一部好的電影，其題材、演員、導(dǎo)演、情節(jié)、攝影、音樂、道具、服裝都是重要的評(píng)價(jià)指標(biāo)，每個(gè)指標(biāo)也可再作細(xì)分，但很少有電影采用這種機(jī)械式的、相互分離的評(píng)價(jià)體系，常見的IMBD、豆瓣電影評(píng)分等，只需要用戶提交一個(gè)綜合分，如果有足夠多的用戶，這個(gè)評(píng)分就能顯示出其相對(duì)的公正性。當(dāng)然，電影的綜合評(píng)價(jià)，是基于第一層準(zhǔn)入評(píng)價(jià)的基礎(chǔ)上，即所有電影都要有制作和發(fā)行的批準(zhǔn)，其程序就是以專家為主體，對(duì)相關(guān)內(nèi)容進(jìn)行嚴(yán)格審查，制作方根據(jù)修改意見進(jìn)行調(diào)整并符合標(biāo)準(zhǔn)后，才能獲得批文并進(jìn)入市場(chǎng)。在MOOC體系中，準(zhǔn)入評(píng)價(jià)也是審查，包括技術(shù)規(guī)范、教學(xué)內(nèi)容、相關(guān)材料等，只要符合標(biāo)準(zhǔn)要求的MOOC，就能進(jìn)入各平臺(tái)發(fā)布。由于MOOC的持續(xù)更新性，相應(yīng)的審核也應(yīng)不定期地進(jìn)行。

基于MOOC雙層評(píng)價(jià)的建議

1.盡快建立全國(guó)統(tǒng)一的MOOC準(zhǔn)入審核平臺(tái)。隨著各類MOOC課程越來越多，相關(guān)部門應(yīng)聯(lián)合成立全國(guó)統(tǒng)一的MOOC準(zhǔn)入審核平臺(tái)。對(duì)國(guó)內(nèi)外所有擬進(jìn)入各類平臺(tái)，包括學(xué)校內(nèi)部自建平臺(tái)的MOOC課程進(jìn)行審核，并開展定期檢查和反饋。審核的重點(diǎn)是技術(shù)規(guī)范、講授內(nèi)容、實(shí)名制注冊(cè)等，應(yīng)符合國(guó)家相關(guān)法規(guī)要求。

2.逐步建設(shè)全國(guó)統(tǒng)一的MOOC評(píng)價(jià)平臺(tái)。借鑒電影的評(píng)價(jià)模式，建設(shè)覆蓋所有MOOC的評(píng)分網(wǎng)站，所有注冊(cè)用戶能給相應(yīng)課程評(píng)分，撰寫相應(yīng)的評(píng)價(jià)、意見和建議，根據(jù)用戶學(xué)習(xí)內(nèi)容的多少，給出評(píng)分的相應(yīng)權(quán)重，例如課程共10章，用戶只觀看了第1章少量?jī)?nèi)容，則其給出的低分應(yīng)作相應(yīng)調(diào)整。平臺(tái)建立后，也逐步可將專家或同行等給出的分值作相應(yīng)權(quán)重的增加。平臺(tái)應(yīng)做好刷分等舞弊事件的監(jiān)控和處理，防止人為操作。

3.建立評(píng)獎(jiǎng)體系，鼓勵(lì)創(chuàng)新。借鑒電影的評(píng)獎(jiǎng)模式，讓專家推薦四個(gè)象限MOOC的入圍課程，然后評(píng)選出相應(yīng)的獲獎(jiǎng)MOOC作品予以表彰。相對(duì)于繁多的MOOC平臺(tái)和課程，用戶的注意力變成了稀缺資源，評(píng)獎(jiǎng)能讓用戶更好地關(guān)注MOOC中的新課程、新創(chuàng)意，以此鼓勵(lì)創(chuàng)新。同時(shí)，采用獨(dú)立于評(píng)價(jià)平臺(tái)的評(píng)獎(jiǎng)體系，也能糾正僅由用戶打分所帶來的片面性，建立正確的導(dǎo)向。

（為武漢科技大學(xué)現(xiàn)代教育信息中心）