慕課在線教學(xué)評價指標(biāo)體系及其動態(tài)評價研究

王俊杰 田刈璁

[摘 要] 隨著社會教育模式的多樣化、教育需求的個性化、教育質(zhì)量的高級化發(fā)展，在線開放課程逐步成為教育領(lǐng)域內(nèi)的重要形式之一。該研究針對在線開放課程開展時間短、評價數(shù)據(jù)少、評價體系不完善的問題，提出了基于動態(tài)視角的在線教學(xué)效果評價指標(biāo)體系，并考慮新信息優(yōu)先原理，構(gòu)建了綜合動態(tài)評價模型。進而以一門國家級精品開放課程為例，對其六個學(xué)期的開課數(shù)據(jù)進行動態(tài)評價，提出提升課程質(zhì)量的對策建議。

[關(guān)鍵詞] 在線開放課程;評價指標(biāo);動態(tài)評價;新信息優(yōu)先

[中圖分類號] G642.0? ? [文獻(xiàn)標(biāo)識碼] A? ? [文章編號] 1674-9324（2021）01-0120-04? ?[收稿日期] 2020-12-02

一、引言

在“互聯(lián)網(wǎng)+教育”的背景下，慕課作為新型的混合在線教育模式應(yīng)運而生。慕課以其大規(guī)模性、開放性和師生互動性等特征對我國高等教育的課程內(nèi)容、課程設(shè)計、教學(xué)模式等方面改革具有重要意義。姚凱、李思志等以“MOOC學(xué)院”社區(qū)論壇為數(shù)據(jù)源，建立了包括課程內(nèi)容、教學(xué)設(shè)計、界面設(shè)計、媒體技術(shù)、課程管理等的評價指標(biāo)體系[1]。趙馨蕊、周雨青等以大學(xué)物理課程為例，利用層次分析法建構(gòu)了大學(xué)物理MOOC教學(xué)質(zhì)量評價指標(biāo)體系[2]。岳進和郭輝改進了AHP法，通過以區(qū)間標(biāo)度代替點值的方法，結(jié)合區(qū)間數(shù)理論與群決策方法構(gòu)建了基于區(qū)間層次分析法和專家群決策的MOOC適切性評價模型[3]。

本文以慕課在線開放課程為研究對象，從課程建設(shè)、課程運行和課程評估三個維度建立動態(tài)性評價指標(biāo)體系，并建立了新信息優(yōu)先的動態(tài)評價模型，對國家精品在線課程進行課程質(zhì)量評價。

二、慕課在線開放課程評價指標(biāo)體系構(gòu)建

（一）評價指標(biāo)的確定及其量化規(guī)則

反映在線開放課程教學(xué)質(zhì)量的指標(biāo)系統(tǒng)由諸多不同的指標(biāo)構(gòu)成，指標(biāo)之間應(yīng)具有互補性、層次性、獨立性和結(jié)構(gòu)性等特征。在充分考慮指標(biāo)體系的科學(xué)性、系統(tǒng)性、動態(tài)性、層次性、可比性、數(shù)據(jù)的可獲取性原則等基礎(chǔ)上，從“課程建設(shè)模塊”“課程運行模塊”和“課程評價模塊”三個維度確定了慕課在線開放課程（包含SPOC數(shù)據(jù)）的指標(biāo)體系，具體的指標(biāo)體系與量化規(guī)則如下所示：

本文構(gòu)建的“運籌學(xué)”慕課在線開放課程動態(tài)評價指標(biāo)體系包含了課程建設(shè)模塊（A1）、課程運行模塊（A2）和課程評價模塊（A3）。二級指標(biāo)包括基本信息建設(shè)（B1）、課程題庫建設(shè)（B2）、課程平臺建設(shè)（B3）、課程運行質(zhì)量（B4）、課程教學(xué)質(zhì)量（B5）、平臺反饋數(shù)據(jù)（B6）、學(xué)生評價反饋（B7）和教務(wù)評價反饋（B8）八個模塊，共29個三級指標(biāo)。

在線開放課程評價指標(biāo)體系中的29個三級指標(biāo)包含了定性指標(biāo)與定量指標(biāo)，以下對所有評價指標(biāo)的量化方法進行規(guī)范化，所有指標(biāo)得分均統(tǒng)一定義在區(qū)間[0，10]之間，具體為：

B1基本信息建設(shè)：（1）課程等級：國家級精品課程10分;省級精品課程7分;校級精品課程4分;普通課程1分。（2）課程團隊：團隊成員構(gòu)成合理、分工明確得8～10分，次之得4～7分，成員構(gòu)成不合理、分工不明確得0～3分。（3）課程概要：課程信息非常完善且準(zhǔn)確得8～10分，次之得4～7分，信息不完善得0～3分。

B2課程題庫建設(shè)：（1）單元測驗題庫：題庫難易程度合適、知識點覆蓋全面、題庫數(shù)量充足得8～10分，次之得4～7分，難易程度不均衡、知識點覆蓋不全、題庫數(shù)量較少得0～3分。若評估學(xué)期題庫進行了更新，則該指標(biāo)評分加1分，否則不加分，總分不超過10分。（2）單元習(xí)題庫：具有單元習(xí)題庫的數(shù)量占總單元數(shù)的比重*10分。若評估學(xué)期的所有單元習(xí)題庫均進行了更新，則該指標(biāo)評分加1分，否則不加分，總分不超過10分。（3）期末測試題庫：期末測試題庫評分與單元測試題庫相同，按照指標(biāo)要求分為8～10分、4～7分和0～3分三個等級。若評估學(xué)期期末測試題庫進行了更新，則該指標(biāo)評分加1分，否則不加分，總分不超過10分。（4）案例庫：案例充分且具有代表性，得8～10分;缺失，得4～7分;案例庫較少，得0～3分。

B3課程平臺建設(shè)：（1）平臺信息完整度：網(wǎng)絡(luò)課程平臺內(nèi)信息完整、詳細(xì)且正確得8～10分;次之得4～7分;平臺信息不完整得0～3分。（2）內(nèi)容更新頻率：課程內(nèi)容更新的學(xué)期數(shù)/開課的總學(xué)期數(shù)*10分。（3）資源更新覆蓋率：課程內(nèi)容更新內(nèi)容/課程資料總量*10分。（4）視頻資源質(zhì)量：視頻資源具有符合標(biāo)準(zhǔn)的清晰度、完整性和交互性得8～10分，次之得4～7分，視頻資源質(zhì)量較低得0～3分。

B4課程運行質(zhì)量：（1）選課人數(shù)：評估學(xué)期選課人數(shù)/所有學(xué)期選擇人數(shù)最大值*10分;（2）學(xué)生參與討論數(shù)：評估學(xué)期學(xué)生在課程QQ群（SPOC課程）和網(wǎng)課平臺上發(fā)布和回復(fù)的討論帖總數(shù)/所有學(xué)期發(fā)布和回復(fù)的討論帖總數(shù)最大值*10分;（3）教師參與討論數(shù)：評估學(xué)期教師在課程QQ群（SPOC課程）和網(wǎng)課平臺上發(fā)布和回復(fù)的討論帖總數(shù)/所有學(xué)期發(fā)布和回復(fù)的討論帖總數(shù)最大值*10分。

B5課程教學(xué)質(zhì)量：（1）學(xué)習(xí)資源發(fā)布及時性：課程視頻、單元測試題、課程公告等資源信息和內(nèi)容全部按時發(fā)布并通知，得10分，每延遲發(fā)布一次減1分，最低為0分。（2）單元測驗批改及時性：單元測驗在完成一周內(nèi)及時批改并反饋，得10分，每延遲反饋1天減1分，最低0分。（3）在線答疑頻率：每次課后都有在線答疑得10分，每少一次答疑減1分，最低0分。

B6平臺數(shù)據(jù)反饋：（1）完成課程人數(shù)：評估學(xué)期完成課程人數(shù)/評估學(xué)期選課人數(shù)*10分;（2）學(xué)習(xí)通過率：課程考核合格人數(shù)/完成課程人數(shù)*10分;（3）評價滿意度：開課平臺中課程評價星級/最大星級*10分。

B7學(xué)生評價反饋：B7模塊下的4項指標(biāo)得分均通過對上課學(xué)生發(fā)放調(diào)查問卷得到。得分以10分制設(shè)計，與B1至B6模塊的指標(biāo)得分統(tǒng)一。

B8教務(wù)評價反饋：B8模塊下的5項指標(biāo)得分均通過對課程同行專家發(fā)放調(diào)查問卷得到。得分以10分制設(shè)計，與B1至B6模塊的指標(biāo)得分統(tǒng)一。

（二）評價指標(biāo)權(quán)重設(shè)計

慕課在線開放課程動態(tài)評價指標(biāo)體系共包含了三級指標(biāo)，通過專家咨詢，同一層級內(nèi)的指標(biāo)重要性均衡，因此采用各級指標(biāo)內(nèi)等權(quán)的標(biāo)準(zhǔn)確定權(quán)重。指標(biāo)權(quán)重的確定從一級指標(biāo)開始，逐級計算，每一級指標(biāo)體系按照等權(quán)方式分配權(quán)重。

定義1 設(shè)ωA1、ωA2、ωA3分別代表一級指標(biāo)中的A1課程建設(shè)模塊、A2課程運行模塊、A3課程評價模塊三個模塊的指標(biāo)權(quán)重，ωB1、ωB2、ωB3、ωB4、ωB5、ωB6、ωB7為二級指標(biāo)中7個模塊的指標(biāo)權(quán)重，ωBsq表示29個三級指標(biāo)的權(quán)重，其中s=1，2，3，4，5，6，7代表7個二級指標(biāo)，q的取值范圍依據(jù)每個二級指標(biāo)下的三級指標(biāo)個數(shù)變化。

四、N學(xué)?！斑\籌學(xué)”課程的動態(tài)評價

“運籌學(xué)”作為重要專業(yè)基礎(chǔ)課，已在中國大學(xué)慕課上成功開展五次，共有3910人選課，176所高校學(xué)生選擇學(xué)習(xí)，其中包括清華大學(xué)、南京大學(xué)等20余所“雙一流”建設(shè)高校。課程開設(shè)效果顯著，影響力大，受到師生好評。因此，對該課程做出合理、科學(xué)的動態(tài)評價機制，是保障其課程質(zhì)量的前提。

（一）評價數(shù)據(jù)

本文數(shù)據(jù)主要來自三個維度，B1至B6模塊的指標(biāo)數(shù)據(jù)來源于中國大學(xué)慕課平臺，N學(xué)?！斑\籌學(xué)”已經(jīng)完成的6次課程統(tǒng)計數(shù)據(jù);B7模塊的指標(biāo)數(shù)據(jù)是通過對參與課程的社會學(xué)習(xí)者和在校學(xué)生進行問卷調(diào)查得到的數(shù)據(jù);B8模塊的指標(biāo)數(shù)據(jù)是通過N學(xué)校和其他高校的同行教師進行問卷調(diào)查得到的數(shù)據(jù)。依據(jù)上述評價指標(biāo)的量化規(guī)則，得到表1數(shù)據(jù)表。

（二）基于新信息優(yōu)先的課程動態(tài)評價

根據(jù)表1，共有六個學(xué)期的評價數(shù)據(jù)，依據(jù)上述確定的指標(biāo)權(quán)重和公式（1）可以得到六個學(xué)期的各自評價數(shù)據(jù)，如表2所示。

該課程在慕課運行六個學(xué)期以來，其課程質(zhì)量總體上呈現(xiàn)上升趨勢，從2017年第二學(xué)期第一次開課的6.937分，逐步平穩(wěn)上升至2020年第一學(xué)期的7.876分，除了在2018年第二學(xué)期略有下降，其余學(xué)期的教學(xué)質(zhì)量均有提升。依據(jù)新信息優(yōu)先原理，該課程的總體評價得分為7.876分，仍有一定的提升空間。

綜合表1和表2的評價結(jié)果，該課程在整理運行過程中仍存在以下幾點需要關(guān)注的問題：

一是在課程建設(shè)模塊中，關(guān)于課程題庫建設(shè)部分，案例庫建設(shè)得分較低，案例庫的更新評率與覆蓋面，以及其難易適合程度有待提升。

二是在課程運行模塊中，選課人數(shù)、討論帖數(shù)等方面，需進一步推廣宣傳課程，應(yīng)安排足夠的教學(xué)團隊成員負(fù)責(zé)與學(xué)生的互動，保證教學(xué)質(zhì)量。

三是在課程評價模塊中，課程的選課人數(shù)較多，但是實際完成課程并檢驗合格的學(xué)生比例較低。師生對討論區(qū)的反饋滿意度較低。

參考文獻(xiàn)

[1]姚凱，李思志，李艷紅，等.MOOC評價模型研究[J].復(fù)旦教育論壇，2017，15（03）：65-71.

[2]趙馨蕊，周雨青，瞿林云.大學(xué)物理MOOC教學(xué)質(zhì)量評價指標(biāo)體系的建構(gòu)[J].東南大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2017，19（S2）：163-168.

[3]岳進，郭輝.基于區(qū)間層次分析法和專家群決策的MOOC適切性評價[J].電化教育研究，2019，40（03）：54-58.