高校在線課程的多元評(píng)價(jià)體系建設(shè)研究

陳廣明， 姒依萍

（寧波職業(yè)技術(shù)學(xué)院， 浙江 寧波315800）

一、研究的背景

在線課程建設(shè)和傳統(tǒng)面授課程建設(shè)具有一定的共性，都需要體現(xiàn)課程的社會(huì)價(jià)值和教育價(jià)值。 評(píng)價(jià)體系建設(shè)要在總體考慮課程的價(jià)值與意義的基礎(chǔ)上，從多維角度考慮課程科學(xué)性和實(shí)用性，可以讓好課程得到推廣和發(fā)展。 在本課題研究的前期工作中，高職高專師資培訓(xùn)基地的姒依萍老師對(duì)42 位教師、380 位同學(xué)展開(kāi)調(diào)研， 通過(guò)數(shù)據(jù)整理分析得出了一份基于學(xué)生學(xué)習(xí)、教師教學(xué)、課程建設(shè)、課堂文化的多維度課程評(píng)價(jià)量表。該量表是本課題持續(xù)研究和發(fā)展的基礎(chǔ)。

天津市教育科學(xué)研究院的和學(xué)新在《課程評(píng)價(jià)若干理論問(wèn)題探討》一文中認(rèn)為，組織專門機(jī)構(gòu)的有關(guān)專家和學(xué)者對(duì)課程的方案、目標(biāo)、過(guò)程、結(jié)果等開(kāi)展評(píng)價(jià)，或者是以學(xué)生學(xué)習(xí)結(jié)果為主的評(píng)價(jià)都過(guò)于片面，課程評(píng)價(jià)應(yīng)該包括一切與課程發(fā)展有關(guān)的人員和對(duì)象。 美國(guó)著名教育評(píng)價(jià)家斯塔弗爾比姆提出了CIPP 模式。 建議從背景評(píng)價(jià)、輸入評(píng)價(jià)、過(guò)程評(píng)價(jià)、成果評(píng)價(jià)四個(gè)維度進(jìn)行課程評(píng)價(jià)。 武漢大學(xué)的張家年、占南、李陽(yáng)在《基于網(wǎng)絡(luò)計(jì)量學(xué)的網(wǎng)絡(luò)課程評(píng)價(jià)方法研究》 一文中，研究了課程評(píng)價(jià)的細(xì)節(jié)，并認(rèn)為無(wú)論是那種課程評(píng)價(jià)模式，對(duì)具體的課程都具有不夠全面和科學(xué)的地方。 但是網(wǎng)絡(luò)計(jì)量學(xué)方法可以為網(wǎng)絡(luò)課程的評(píng)價(jià)提供較為理想的解決方案。 網(wǎng)絡(luò)計(jì)量法包括內(nèi)容分析法、域名分析法、鏈接分析法、日志分析法，可以有效地對(duì)教學(xué)績(jī)效、學(xué)習(xí)績(jī)效進(jìn)行量化和數(shù)字化的分析，把握課程建設(shè)的全過(guò)程。 寧波職業(yè)技術(shù)學(xué)院從2015 年開(kāi)始啟動(dòng)的有效課堂認(rèn)證體系，至今已經(jīng)運(yùn)行了5 年時(shí)間。 認(rèn)證體系的評(píng)價(jià)標(biāo)準(zhǔn)內(nèi)容分為四塊：課程設(shè)計(jì)占35 分、教學(xué)資源建設(shè)與應(yīng)用占15 分、 課堂實(shí)施占70 分、課程評(píng)價(jià)占30 分，總分150 分。 其中，課程評(píng)價(jià)分為學(xué)生學(xué)期評(píng)教和督導(dǎo)評(píng)價(jià)。 該認(rèn)證體系實(shí)施對(duì)課堂教學(xué)效果起到一定的促進(jìn)作用，但是，評(píng)價(jià)方式過(guò)于單一。 筆者分析認(rèn)為，該體系注重傳統(tǒng)課堂教學(xué)的評(píng)價(jià)，忽略了當(dāng)前疫情之下快速發(fā)展的在線課堂的評(píng)價(jià)。本課題調(diào)研的課程中，76.6%的課程建有網(wǎng)絡(luò)在線課程，并且在線課程的學(xué)習(xí)已經(jīng)占據(jù)了該課程學(xué)習(xí)的部分分值比例。 從目前文獻(xiàn)資料分析，我們看到課程評(píng)價(jià)主要是針對(duì)傳統(tǒng)的線下教學(xué)模式，并且評(píng)價(jià)方式缺少信息化數(shù)據(jù)統(tǒng)計(jì)工具的應(yīng)用，評(píng)價(jià)結(jié)果已不能真實(shí)反映事實(shí)。

二、研究方法與路徑

本課題研究的參考課程主要來(lái)自浙江省在線開(kāi)放共享課程平臺(tái)、 寧波市慕課網(wǎng)的網(wǎng)絡(luò)課程，在現(xiàn)有研究成果的基礎(chǔ)上探索課程評(píng)價(jià)的路徑。 研究的課程為省級(jí)精品課程的通識(shí)教育課、學(xué)科基礎(chǔ)課、專業(yè)核心課，學(xué)科類型為十九大類里的教育與體育大類、財(cái)經(jīng)商貿(mào)大類、公共管理與服務(wù)大類、電子信息大類、旅游大類。 采用基于數(shù)據(jù)統(tǒng)計(jì)的歸納法、文獻(xiàn)分析法進(jìn)行研究。 隨著社會(huì)的發(fā)展，現(xiàn)代教育已經(jīng)要求以學(xué)生全面發(fā)展為本，從知識(shí)目標(biāo)、能力目標(biāo)、素質(zhì)目標(biāo)三個(gè)維度衡量課程對(duì)學(xué)生成長(zhǎng)的作用，因此，課程評(píng)價(jià)標(biāo)準(zhǔn)需要多元評(píng)價(jià)?；趯W(xué)以致用，學(xué)有所用。課題研究以成果導(dǎo)向?yàn)榛A(chǔ)，結(jié)合前期研究的多元評(píng)價(jià)主體/客體建設(shè)評(píng)價(jià)體系。

對(duì)課程效果進(jìn)行評(píng)價(jià)，評(píng)價(jià)的主體和客體包括在線課程的設(shè)計(jì)者，在線平臺(tái)的各項(xiàng)應(yīng)用及功能；課程的使用者，主要指課程的教學(xué)者和學(xué)習(xí)者。 課堂管理包括教學(xué)方法教學(xué)手段等。 故在線課程評(píng)價(jià)路徑為“評(píng)價(jià)效果分析—主體/客體—課程評(píng)價(jià)標(biāo)準(zhǔn)”。 本課題研究的多元評(píng)價(jià)基于評(píng)價(jià)主體和客體對(duì)不同平臺(tái)功能、課程建設(shè)、教學(xué)方法、學(xué)習(xí)模式的學(xué)習(xí)效果評(píng)價(jià)。 探索學(xué)習(xí)者對(duì)知識(shí)、技能、素質(zhì)、能力等培養(yǎng)方式的多樣化，同時(shí)探索在線學(xué)習(xí)平臺(tái)上的課程對(duì)于個(gè)體學(xué)習(xí)與團(tuán)隊(duì)學(xué)習(xí)如何提高融合學(xué)習(xí)效果。

三、在線課程評(píng)價(jià)體系建設(shè)

（一）在線課程評(píng)價(jià)體系結(jié)構(gòu)分析

前期對(duì)平臺(tái)課程評(píng)價(jià)研究中，多元評(píng)價(jià)體系是根據(jù)在線平臺(tái)與不同學(xué)科的課程而動(dòng)態(tài)變動(dòng)的。 課題采用成果導(dǎo)向分析，結(jié)合專家意見(jiàn)法，對(duì)評(píng)價(jià)和應(yīng)用效果較好的36 門在線課程進(jìn)行倒推和分解，根據(jù)分解的數(shù)據(jù)，歸納出在線課程的評(píng)價(jià)體系應(yīng)該包含效果測(cè)評(píng)、評(píng)價(jià)主體/客體、課程建設(shè)完善程度三大模塊。 為了進(jìn)一步深入探索影響在線課程評(píng)價(jià)體系三大模塊的構(gòu)成，需要對(duì)每個(gè)模塊進(jìn)行細(xì)分，探索影響其構(gòu)成的因素。

1. 影響評(píng)價(jià)體系的課程建設(shè)因素分析

課程設(shè)計(jì)的完善程度是影響評(píng)價(jià)體系的關(guān)鍵模塊之一。 本課題的研究，在課程建設(shè)關(guān)鍵指標(biāo)因素上以兩個(gè)前期研究為基礎(chǔ)，分別是葉鵬老師的寧波職業(yè)技術(shù)學(xué)院有效課堂評(píng)價(jià)指標(biāo)和姒依萍老師的在線課程評(píng)價(jià)指標(biāo)。

（1）有效課堂評(píng)價(jià)指標(biāo)

本課題研究的第一階段是以寧波職業(yè)技術(shù)學(xué)院葉鵬老師團(tuán)隊(duì)的有效課堂評(píng)價(jià)表為基礎(chǔ)。 有效課堂包含課程設(shè)計(jì)、課堂實(shí)施和教學(xué)資源建設(shè)及應(yīng)用。 其中，課程設(shè)計(jì)指標(biāo)中包含了課程設(shè)計(jì)的完整性和規(guī)范性，影響這一指標(biāo)的內(nèi)容主要包括課程內(nèi)容完整、教育與社會(huì)價(jià)值、學(xué)習(xí)任務(wù)和考核方案等； 課堂實(shí)施的指標(biāo)包含教學(xué)目標(biāo)、教學(xué)方法及教學(xué)過(guò)程控制；教學(xué)資源建設(shè)指標(biāo)主要指信息資源建設(shè)。

（2）在線課程教學(xué)效果評(píng)價(jià)指標(biāo)

本課題研究的第二階段是基于姒依萍老師主持開(kāi)發(fā)的高職院校網(wǎng)絡(luò)直播教學(xué)評(píng)價(jià)表。 對(duì)比線上與線下教學(xué)的課程，傳統(tǒng)授課方式的課程建設(shè)與在線課程建設(shè)在課程設(shè)計(jì)上具有較大的共性，但在實(shí)施過(guò)程中，因?yàn)閷W(xué)習(xí)主體/客體的差異，需要考慮在線課程平臺(tái)的功能與設(shè)計(jì)者技術(shù)支持。 教學(xué)設(shè)計(jì)除了課程內(nèi)容，還需要考慮教學(xué)方法與學(xué)習(xí)支持的差異；在線課程對(duì)過(guò)程性學(xué)習(xí)的設(shè)計(jì)則還需要考慮到信息化的優(yōu)勢(shì)，設(shè)計(jì)適合學(xué)習(xí)客體互動(dòng)與視頻學(xué)習(xí)等內(nèi)容；對(duì)學(xué)習(xí)效果評(píng)價(jià)的設(shè)計(jì)主要包括在線考試、測(cè)試、作業(yè)、項(xiàng)目任務(wù)等考核指標(biāo)。 高職院校網(wǎng)絡(luò)直播教學(xué)評(píng)價(jià)指標(biāo)如表1 所示。

在線課程與傳統(tǒng)授課的課程在設(shè)計(jì)上有差別，本課題研究結(jié)合傳統(tǒng)授課方式有效課堂建設(shè)的要求和在線課程建設(shè)的信息化特性，對(duì)比并整理了對(duì)在線課程建設(shè)完善程度有影響的相關(guān)核心因素，內(nèi)容如表2 所示。

表2 核心影響因素

考慮到研究局限性的實(shí)際情況、測(cè)量數(shù)據(jù)的時(shí)間長(zhǎng)度， 課程建設(shè)影響因素沒(méi)有把就業(yè)情況、就業(yè)質(zhì)量作為效果評(píng)價(jià)指標(biāo)考慮。

2. 影響評(píng)價(jià)體系的主體/客體分析

隨著時(shí)代的進(jìn)步， 課程評(píng)價(jià)呈現(xiàn)多元性，課程建設(shè)已經(jīng)不局限于主體評(píng)價(jià)，客體的評(píng)價(jià)也被頻繁采用。 所以，在線課程的評(píng)價(jià)體系關(guān)鍵因素包括主體和客體。

（1）評(píng)價(jià)體系的主體分析

與傳統(tǒng)授課評(píng)價(jià)主體相似， 可以是業(yè)界專家、同行學(xué)者、行業(yè)企業(yè)顧問(wèn)，只是在線課程評(píng)價(jià)體系中多了智能化與信息化的應(yīng)用。 在線課程體系建設(shè)的主體，可以是平臺(tái)基于大數(shù)據(jù)算法的人工智能評(píng)價(jià)。 平臺(tái)大數(shù)據(jù)算法主要包括內(nèi)容分析法、鏈接分析法、日志分析法。 利用大數(shù)據(jù)算法對(duì)課程的教學(xué)績(jī)效和學(xué)習(xí)績(jī)效進(jìn)行分析。 能夠從課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)與技術(shù)支持四個(gè)維度對(duì)課程進(jìn)行評(píng)價(jià)。 同時(shí)，結(jié)合平臺(tái)大數(shù)據(jù)算法和教學(xué)績(jī)效則可以對(duì)客體的學(xué)習(xí)內(nèi)容、 學(xué)習(xí)設(shè)計(jì)、學(xué)習(xí)交互、學(xué)習(xí)支持四個(gè)維度進(jìn)行課程評(píng)價(jià)。

（2）評(píng)價(jià)體系的客體分析

在線課程評(píng)價(jià)體系的客體，主要包括使用者和學(xué)習(xí)者。 使用者主要指的是課程的設(shè)計(jì)者，通常是擔(dān)任課程的教師。 從表1 的課程設(shè)計(jì)者影響因素看，在線課程平臺(tái)功能、技術(shù)支持與平臺(tái)數(shù)據(jù)分析，都會(huì)影響到在線課程的建設(shè)效果。 教師對(duì)自己建設(shè)的在線課程的自我評(píng)價(jià)，賦予一定的評(píng)價(jià)權(quán)重，可以提升多元評(píng)價(jià)的準(zhǔn)確性。

學(xué)習(xí)者的評(píng)價(jià)主要包括主觀和客觀評(píng)價(jià)兩個(gè)方面。 學(xué)習(xí)者主觀評(píng)價(jià)是指在學(xué)習(xí)內(nèi)容、學(xué)習(xí)支持、學(xué)習(xí)交互上的體驗(yàn)會(huì)影響到學(xué)習(xí)效果。 學(xué)習(xí)者的客觀評(píng)價(jià)是指考核成果體現(xiàn)出來(lái)的在線課程建設(shè)效果。

3. 影響評(píng)價(jià)體系的效果測(cè)評(píng)分析

影響多元評(píng)價(jià)體系效果的評(píng)價(jià)從 “學(xué)測(cè)評(píng)”三個(gè)維度進(jìn)行。 從成果導(dǎo)向的效果分析開(kāi)始，探索評(píng)價(jià)的主體/客體和課程的設(shè)計(jì)對(duì)學(xué)習(xí)者產(chǎn)生的效果。 評(píng)價(jià)體系從短期和長(zhǎng)期兩個(gè)角度來(lái)衡量在線課程建設(shè)的效果。 短期效果主要包括教學(xué)目標(biāo)掌握程度（包括知識(shí)、技能與素質(zhì)目標(biāo)），考試成績(jī)，考證通過(guò)率等；長(zhǎng)期效果主要包括專業(yè)對(duì)口的就業(yè)情況、薪資與晉升等效果評(píng)價(jià)指標(biāo)。 本課題研究因?yàn)闀r(shí)間長(zhǎng)度制約，評(píng)價(jià)指標(biāo)以短期效果為主，以咨詢公司麥克思對(duì)畢業(yè)生跟蹤調(diào)研的就業(yè)數(shù)據(jù)為輔助，對(duì)在線課程的多元評(píng)價(jià)體系進(jìn)行研究。

4. 確定在線課程體系評(píng)價(jià)指標(biāo)

結(jié)合上述研究的內(nèi)容，本課題歸納推導(dǎo)出在線課程多元評(píng)價(jià)體系應(yīng)包含三大關(guān)鍵模塊。 即課程建設(shè)與應(yīng)用情況評(píng)價(jià)、課程評(píng)價(jià)多元的主體與客體、教學(xué)效果分析三個(gè)模塊。 模塊具體細(xì)化的指標(biāo)概括如表3 所示。

表3 評(píng)價(jià)體系模塊內(nèi)容

（1）教學(xué)效果分析

調(diào)研數(shù)據(jù)統(tǒng)計(jì)結(jié)果根據(jù)密度確定權(quán)重。 教學(xué)目標(biāo)實(shí)現(xiàn)情況是指知識(shí)目標(biāo)、技能目標(biāo)、素質(zhì)目標(biāo)實(shí)現(xiàn)情況；考證通過(guò)率指對(duì)應(yīng)該課程的職業(yè)資格證書(shū)； 就業(yè)情況主要指就業(yè)對(duì)口率和就業(yè)質(zhì)量。

（2）多元評(píng)價(jià)主體/客體

在線課程評(píng)價(jià)主體和客體主要包括基于平臺(tái)大數(shù)據(jù)算法的統(tǒng)計(jì)結(jié)果；專家、企業(yè)和同行的評(píng)價(jià)； 客體評(píng)價(jià)體現(xiàn)了學(xué)習(xí)和使用者的真實(shí)感受。

（3）課程建設(shè)評(píng)價(jià)

教學(xué)設(shè)計(jì)體現(xiàn)了在線課程建設(shè)與設(shè)計(jì)的核心內(nèi)容，包括教學(xué)內(nèi)容、學(xué)習(xí)過(guò)程管理、教學(xué)方法的應(yīng)用；課程評(píng)價(jià)還包括客體對(duì)在線課程學(xué)習(xí)過(guò)程的應(yīng)用情況與教學(xué)支持。

（二）在線課程評(píng)價(jià)體系建設(shè)

上文分析了在線課程評(píng)價(jià)的三個(gè)核心影響因素（教學(xué)效果、多元評(píng)價(jià)主體/客體、課程建設(shè)信息化設(shè)計(jì)）。 為了探索在線課程評(píng)價(jià)體系建設(shè)的核心影響因素相互之間的關(guān)系，本課題進(jìn)一步對(duì)智慧職教、浙江省高等學(xué)校在線開(kāi)放課程共享平臺(tái)、寧波市高校慕課聯(lián)盟三大平臺(tái)上的高分評(píng)價(jià)課程、省精品課程、國(guó)家精品在線課程進(jìn)行了調(diào)查，包含財(cái)經(jīng)商貿(mào)大類、電子信息大類、公共管理與服務(wù)大類、教育與體育大類等4 個(gè)大類，共100門課程。 重點(diǎn)對(duì)平臺(tái)上課程的在線功能設(shè)計(jì)、教學(xué)設(shè)計(jì)、使用者體驗(yàn)、學(xué)習(xí)效果測(cè)評(píng)等4 個(gè)核心評(píng)價(jià)要素的情況進(jìn)行了調(diào)研統(tǒng)計(jì)。 整理結(jié)果如表4 所示。

表4 在線精品課程建設(shè)調(diào)查統(tǒng)計(jì) 單位：門

根據(jù)上述在線課程評(píng)價(jià)三個(gè)核心影響因素的分析、數(shù)據(jù)收集與整理，采用描述性統(tǒng)計(jì)分析、相關(guān)性分析、一元線性回顧分析法，探索構(gòu)建在線課程評(píng)價(jià)體系模型。 從相關(guān)性分析中初步發(fā)現(xiàn)， 課程在線設(shè)計(jì)與主體/客體評(píng)價(jià)存在相關(guān)性，且符合回歸分析的Y=aX+b，常數(shù)截距不為0。 分析結(jié)果如表5 所示。

表5 評(píng)價(jià)要素相關(guān)性統(tǒng)計(jì)結(jié)果

從量化的數(shù)據(jù)統(tǒng)計(jì)中，我們看到在線課程設(shè)計(jì)數(shù)據(jù)化分析與教學(xué)效果的相關(guān)系數(shù)R=0.964，顯示課程設(shè)計(jì)的評(píng)價(jià)與客體使用者的評(píng)價(jià)有強(qiáng)相關(guān)性。組間統(tǒng)計(jì)數(shù)據(jù)P-Value=0.006＜0.01，在線課程設(shè)計(jì)P 值為0.018＜0.05，都顯示兩者關(guān)系密切，有顯著相關(guān)性。 從上述分析結(jié)果推導(dǎo)出多元評(píng)價(jià)體系模型，如圖1 所示。

圖1 多元評(píng)價(jià)體系模型

四、總結(jié)

評(píng)價(jià)過(guò)于單一的傳統(tǒng)課程評(píng)價(jià)體系，在信息化快速發(fā)展的當(dāng)下已經(jīng)不適用。 本課題探索建設(shè)基于數(shù)據(jù)化評(píng)價(jià)的多元評(píng)價(jià)體系模型，并對(duì)在線課程建設(shè)和教學(xué)效果進(jìn)行評(píng)價(jià)。 從本課題調(diào)研的數(shù)據(jù)統(tǒng)計(jì)分析看， 從成果導(dǎo)向預(yù)期的目標(biāo)開(kāi)始，課程評(píng)價(jià)可以從主體為專家學(xué)者、企業(yè)資深人士和在線課程建設(shè)的同行進(jìn)行評(píng)價(jià)。 也可以從客體進(jìn)行評(píng)價(jià)， 客體主要包括在線課程的建設(shè)使用者、課程的學(xué)習(xí)對(duì)象，結(jié)合平臺(tái)數(shù)據(jù)量化進(jìn)行。 評(píng)價(jià)也可以根據(jù)課程目標(biāo)而設(shè)計(jì)的各項(xiàng)量化指標(biāo)，由在線平臺(tái)設(shè)計(jì)的后臺(tái)數(shù)據(jù)統(tǒng)計(jì)分析進(jìn)行評(píng)價(jià)。在線課程的評(píng)價(jià)效果應(yīng)與預(yù)期成果進(jìn)行對(duì)比，根據(jù)對(duì)比反饋的差距來(lái)確定在線課程的建設(shè)效果。這里我們更偏向于效果對(duì)比分析后的反饋修正作用， 因?yàn)闆](méi)有哪一門課程建設(shè)是一勞永逸的。平臺(tái)的數(shù)據(jù)化評(píng)價(jià)能夠更及時(shí)地發(fā)現(xiàn)問(wèn)題，并提出修正建議。 所以，多元評(píng)價(jià)體系應(yīng)該是建立在對(duì)平臺(tái)數(shù)據(jù)統(tǒng)計(jì)分析的基礎(chǔ)上的、 多主體客體、動(dòng)態(tài)化的多元評(píng)價(jià)方式。