MOOC在線學(xué)習(xí)者參與度的模糊綜合評(píng)判研究?

康洪晶 王甲生

（1.海軍工程大學(xué)訓(xùn)練部 武漢 430033）（2.海軍工程大學(xué)信息安全系 武漢 430033）

1 引言

在“互聯(lián)網(wǎng)+”時(shí)代，在線教育市場(chǎng)正在打破傳統(tǒng)課堂的空間和時(shí)間束縛走向網(wǎng)絡(luò)平臺(tái)，呈現(xiàn)出前所未有的開(kāi)放性和包容性，用多元的教學(xué)內(nèi)容面向不同教育背景的學(xué)生，進(jìn)行資源的共享和知識(shí)的傳播［1］。MOOC（Massive Open Online Course）即大規(guī)模開(kāi)放式網(wǎng)絡(luò)課程，通過(guò)信息技術(shù)與網(wǎng)絡(luò)技術(shù)將優(yōu)質(zhì)教育輸送到世界的每個(gè)角落。MOOC不僅提供免費(fèi)的優(yōu)質(zhì)教育資源，而且模擬了一個(gè)較為完整的教學(xué)過(guò)程，有參與、有反饋、有作業(yè)、有討論，還有考試和證書(shū)。尤為重要的是，學(xué)習(xí)者不僅可以在MOOC平臺(tái)上隨時(shí)與教授實(shí)現(xiàn)在線交流，而且能夠?yàn)樽陨矶ㄖ苽€(gè)性化的學(xué)習(xí)內(nèi)容，學(xué)習(xí)積極性和效果大大提升［2］。

隨著我國(guó)MOOC在線教育平臺(tái)的不斷出現(xiàn)和發(fā)展完善，MOOC在高等教育、職業(yè)教育發(fā)展中的地位日益重要，對(duì)于MOOC學(xué)習(xí)者學(xué)習(xí)績(jī)效、參與度的研究成為一個(gè)熱點(diǎn)問(wèn)題［3］。從已有研究來(lái)看，對(duì)于MOOC學(xué)習(xí)績(jī)效的文獻(xiàn)很少，而對(duì)于MOOC學(xué)習(xí)者參與度的研究尚不多見(jiàn)。Belanger等研究了杜克大學(xué)MOOC學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，并將它們分為四類：學(xué)習(xí)便利性、學(xué)習(xí)樂(lè)趣、自我提升和感受新事物［4］。Viswanathan等研究了MOOC對(duì)教師職業(yè)發(fā)展和學(xué)生學(xué)習(xí)積極性的影響，研究發(fā)現(xiàn)MOOC對(duì)于教師的知識(shí)更新和職業(yè)發(fā)展具有很強(qiáng)的積極作用［5］。Kolowich研究了MOOC課程制作教師對(duì)于MOOC開(kāi)設(shè)的出發(fā)點(diǎn)，并討論了學(xué)習(xí)者對(duì)于MOOC的參與度［6］。樊文強(qiáng)等通過(guò)對(duì)學(xué)習(xí)者學(xué)習(xí)網(wǎng)絡(luò)的研究發(fā)現(xiàn)，MOOC學(xué)習(xí)有利于學(xué)習(xí)者構(gòu)建自身學(xué)習(xí)網(wǎng)絡(luò)［7］。對(duì)于MOOC學(xué)習(xí)者參與度的研究，Piech等提出了同行評(píng)價(jià)（peer review）的方式，但沒(méi)有過(guò)多涉及對(duì)MOOC評(píng)價(jià)的作用與影響［8］。王哲等對(duì)MOOC的用戶行為和學(xué)習(xí)效果進(jìn)行了實(shí)證研究［9～10］。本文在總結(jié)以往研究的基礎(chǔ)上，構(gòu)建了MOOC在線學(xué)習(xí)者學(xué)習(xí)參與度的評(píng)價(jià)指標(biāo)體系，提出了MOOC在線學(xué)習(xí)者參與度的模糊綜合評(píng)判方法，并借助國(guó)防科大夢(mèng)課平臺(tái)的學(xué)習(xí)數(shù)據(jù)給出了實(shí)例分析。

2 MOOC學(xué)習(xí)者參與度評(píng)估體系

作為一種嶄新的教學(xué)模式，MOOC的出現(xiàn)是對(duì)傳統(tǒng)高等教育模式的極大挑戰(zhàn)。MOOC依托互聯(lián)網(wǎng)將傳統(tǒng)的教育要素，以一種新的形式組合和運(yùn)行起來(lái)，形成由課程開(kāi)發(fā)團(tuán)隊(duì)、課程資源和學(xué)習(xí)者等各種要素相互聯(lián)系、相互協(xié)作的在線學(xué)習(xí)體系。其中，對(duì)于MOOC學(xué)習(xí)的績(jī)效分析而言，學(xué)習(xí)者的參與度及其影響因素分析是目前的一個(gè)研究熱點(diǎn)問(wèn)題。

參與度是學(xué)習(xí)理論中的一個(gè)基本概念，是指學(xué)習(xí)者在具體課程學(xué)習(xí)過(guò)程中行為、情感和認(rèn)知的投入強(qiáng)度，反映了學(xué)習(xí)者在學(xué)習(xí)過(guò)程中對(duì)于學(xué)習(xí)對(duì)象的注意程度。學(xué)習(xí)者參與度的重要性已經(jīng)得到教育界的廣泛認(rèn)可，可以用來(lái)預(yù)測(cè)防止輟學(xué)和提高學(xué)習(xí)績(jī)效［11］。目前關(guān)于學(xué)習(xí)度的研究主要分為二維法、三維法和思維法，主要的維度包括行為參與、情感參與、認(rèn)知參與和代理參與，不同的維度劃分有不同的側(cè)重點(diǎn)。通過(guò)比較分析國(guó)內(nèi)外學(xué)習(xí)者對(duì)于MOOC在線課程的態(tài)勢(shì)和認(rèn)識(shí)，本文認(rèn)為從認(rèn)知參與、情感參與和行為參與三個(gè)維度來(lái)描述學(xué)習(xí)者的參與度更為貼切。首先，學(xué)習(xí)者接觸MOOC時(shí)都具有明確的認(rèn)知和特定的目的，這從我們的調(diào)查問(wèn)卷結(jié)果中可以體現(xiàn)［12］，即學(xué)習(xí)者的認(rèn)知參與；其次，從MOOC的選課到最后證書(shū)獲取，學(xué)習(xí)者在每個(gè)環(huán)節(jié)都具有一定的情感投入或者收益取舍等情感參與活動(dòng)，即學(xué)習(xí)者的情感參與；最后，在MOOC課程的學(xué)習(xí)過(guò)程中，學(xué)習(xí)者需要觀看視頻，完成練習(xí)題，參與課后討論，部分還需要參加考試，即學(xué)習(xí)者的行為參與。

針對(duì)MOOC課程在線學(xué)習(xí)的整個(gè)過(guò)程和特點(diǎn)，結(jié)合學(xué)習(xí)者參與度度量的三個(gè)維度：行為維度、情感為度和認(rèn)知維度，構(gòu)建了MOOC學(xué)習(xí)者參與度評(píng)估體系。評(píng)估體系分為三個(gè)層次，分別為目標(biāo)層、指標(biāo)層和因素層，具體的層次結(jié)構(gòu)模型如圖1所示。

3 MOOC學(xué)習(xí)者參與度的模糊評(píng)估評(píng)判

3.1 數(shù)據(jù)的標(biāo)準(zhǔn)化處理方法

在進(jìn)行MOOC學(xué)習(xí)者參與度評(píng)估時(shí)，首先需要根據(jù)評(píng)估工作安排，研究分析評(píng)估指標(biāo)體系并收集相關(guān)數(shù)據(jù)。根據(jù)各指標(biāo)的性質(zhì)，初步將指標(biāo)分為定量指標(biāo)和定性指標(biāo)兩大類，例如“行為維度”中“完成課程作業(yè)”、“參與課程論壇討論”等指標(biāo)，可以采用作業(yè)完成率、參與討論次數(shù)等數(shù)據(jù)進(jìn)行度量，可認(rèn)定為定量指標(biāo)；同樣的，“遵循課程安排”、“提前預(yù)習(xí)課程內(nèi)容”等指標(biāo)，只能通過(guò)調(diào)查問(wèn)卷、隨堂討論等方式進(jìn)行定性描述。對(duì)于定量指標(biāo)來(lái)說(shuō)，如果具有不同的量綱，則必須化為無(wú)量綱的標(biāo)準(zhǔn)化指標(biāo)；對(duì)于定性指標(biāo)而言，由于描述方式不一致，需要進(jìn)行科學(xué)量化［13］。

對(duì)于定性指標(biāo)，采取0.1～0.9標(biāo)度法進(jìn)行標(biāo)準(zhǔn)化處理，即將定性指標(biāo)依問(wèn)題性質(zhì)劃分為若干級(jí)別，分別賦以適當(dāng)?shù)牧恐?，具體等級(jí)和分值如表1所示。

表1 分級(jí)指標(biāo)及0.1～0.9標(biāo)度打分值

對(duì)于定量指標(biāo)，評(píng)估體系中的定量指標(biāo)全部為效益型指標(biāo)，即正項(xiàng)指標(biāo)，此處采取極差變換法進(jìn)行標(biāo)準(zhǔn)化處理。在決策矩陣X=(xij)m×n中，對(duì)于效益型指標(biāo) fj，令

則得到的矩陣Y=(yij)m×n稱為極差變換標(biāo)準(zhǔn)化矩陣。經(jīng)過(guò)極差變化后，各指標(biāo)值均滿足0≤yij≤1。

3.2 學(xué)習(xí)者參與度的模糊綜合評(píng)判方法

3.2.1 指標(biāo)權(quán)重的確定方法

對(duì)于學(xué)習(xí)者參與度評(píng)估，不僅三個(gè)維度各自的重要性不盡相同，三個(gè)維度下的不同指標(biāo)的影響程度也是不一樣的，一般的方法是給每個(gè)指標(biāo)賦予一個(gè)權(quán)重系數(shù)。為克服傳統(tǒng)AHP法在確定權(quán)重時(shí)存在的諸如判斷一致性與矩陣一致性的差異、一致性檢驗(yàn)的困難以及缺乏依據(jù)等問(wèn)題，采用模糊層次分析法來(lái)確定各層次指標(biāo)的權(quán)重系數(shù)［14］。

假設(shè)邀請(qǐng)n位專家對(duì)信息系統(tǒng)進(jìn)行安全風(fēng)險(xiǎn)評(píng)估。首先，利用兩兩比較法構(gòu)造判斷矩陣A′。采用0.1～0.9數(shù)量標(biāo)度法（見(jiàn)表2）來(lái)表示兩兩比較的值，即判斷矩陣的元素取值范圍是0.1，0.2，…，0.9。判斷矩陣 A′=(aij)n×n，其元素值aij反映了專家對(duì)各指標(biāo)相對(duì)重要性的認(rèn)識(shí)。

表2 0.1～0.9數(shù)量標(biāo)度

然后，將模糊互補(bǔ)判斷矩陣改造成模糊一致判斷矩陣，進(jìn)而計(jì)算各層次因素的重要次序，由此得到權(quán)重集W=(w1，w2，…，wn)。

3.2.2 多級(jí)模糊綜合評(píng)判

1）確定因素集和評(píng)語(yǔ)集

學(xué)習(xí)者參與度評(píng)估的因素集分別是由各級(jí)準(zhǔn)則及下屬的底層指標(biāo)組成的，在MOOC學(xué)習(xí)者參與度評(píng)估指標(biāo)體系建立后，因素集即可確定。評(píng)語(yǔ)集的確定則要根據(jù)實(shí)際情況來(lái)定，一般將評(píng)語(yǔ)等級(jí)劃分為5±2級(jí)，即3～7級(jí)。

2）確定評(píng)判矩陣R

對(duì)單個(gè)指標(biāo)進(jìn)行評(píng)判，即可得到評(píng)語(yǔ)集上的模糊集Ri，其中的元素表示單指標(biāo)對(duì)于各級(jí)評(píng)語(yǔ)的隸屬程度，并最終得到隸屬度矩陣R。

3）模糊綜合評(píng)判

模糊評(píng)判是對(duì)評(píng)估體系權(quán)重集和評(píng)判矩陣的合成，通常用B表示：B=W?R。其中“?”為模糊合成算子。對(duì)于復(fù)雜系統(tǒng)的評(píng)估需要從底層開(kāi)始評(píng)判，并將每層的評(píng)判結(jié)果作為上層的輸入，直到準(zhǔn)則層的評(píng)判結(jié)束。

4）評(píng)估結(jié)果的判定

利用多級(jí)模糊綜合評(píng)判得到的最終向量B對(duì)評(píng)估結(jié)果做出判定，常用的判定準(zhǔn)則有最大隸屬度原則、最小代價(jià)原則以及加權(quán)平均原則等。

4 夢(mèng)課平臺(tái)學(xué)習(xí)者參與度實(shí)例分析

夢(mèng)課平臺(tái)是國(guó)防科大傾力打造的在線教育應(yīng)用平臺(tái)，也是國(guó)內(nèi)高校第一個(gè)上線、具有完整MOOC特征的在線學(xué)習(xí)平臺(tái)［15］。為適應(yīng)網(wǎng)絡(luò)信息技術(shù)和現(xiàn)代教育技術(shù)新發(fā)展的要求，充分發(fā)揮MOOC課程建設(shè)效益，促進(jìn)學(xué)校教學(xué)改革發(fā)展，我校依托夢(mèng)課平臺(tái)開(kāi)展了部分公共選修課的教學(xué)與學(xué)分認(rèn)定。

現(xiàn)結(jié)合夢(mèng)課平臺(tái)部分課程的學(xué)習(xí)者數(shù)據(jù)，應(yīng)用本文構(gòu)建的MOOC學(xué)習(xí)者參與度評(píng)估體系和方法進(jìn)行學(xué)習(xí)者參與度的評(píng)估，以期能夠?yàn)镸OOC課程的綜合建設(shè)提供數(shù)據(jù)支持。具體步驟如下。

步驟1：建立MOOC學(xué)習(xí)者參與度評(píng)估的層次結(jié)構(gòu)模型評(píng)估模型如圖1所示，其中包括認(rèn)知參與、行為參與和情感參與3個(gè)準(zhǔn)則和15個(gè)底層指標(biāo)。對(duì)照夢(mèng)課平臺(tái)的學(xué)習(xí)數(shù)據(jù)，該評(píng)估模型完整有效，并不需要進(jìn)行特定裁剪。

步驟2確定各層次準(zhǔn)則與指標(biāo)的權(quán)重系數(shù)

邀請(qǐng)教務(wù)部門的5位專家對(duì)各準(zhǔn)則和指標(biāo)的相對(duì)重要性進(jìn)行判斷，根據(jù)專家給出的指標(biāo)間的兩兩比較值建立判斷矩陣A′。以準(zhǔn)則層為例，5位專家給出的準(zhǔn)則兩兩比較矩陣如下。

此處為體現(xiàn)準(zhǔn)則層的差異，取α=1，得到準(zhǔn)則層的權(quán)重向量為W1=｛0.317，0.25，0.433｝。

類似的，對(duì)于“行為參與”準(zhǔn)則下的6個(gè)底層指標(biāo)，由評(píng)估專家給出判斷矩陣A1′：

將A1′改造成模糊一致判斷矩陣A1。

為體現(xiàn)各指標(biāo)相對(duì)重要性的差異，取α=2.5，計(jì)算各指標(biāo)的權(quán)重為

同理可求得“情感參與”和“認(rèn)知參與”準(zhǔn)則下各指標(biāo)的權(quán)重系數(shù)W22和W23，此處不贅述。

需要注意的是，此處評(píng)判專家的意見(jiàn)趨于一致，在某些情況不一致的情況下，還要對(duì)專家意見(jiàn)進(jìn)行綜合，如采用加權(quán)的方法。

步驟3多級(jí)模糊綜合評(píng)判

評(píng)估工作組設(shè)計(jì)的調(diào)查問(wèn)卷和夢(mèng)課平臺(tái)提供的數(shù)據(jù)分別見(jiàn)表3和表4（部分?jǐn)?shù)據(jù)）。

表3 MOOC課程參與情況調(diào)查問(wèn)卷

表4 XX課程成績(jī)（部分）

首先，對(duì)于評(píng)估體系中的不同指標(biāo)，選擇不同的度量參數(shù)，其中“行為參與”準(zhǔn)則下的各指標(biāo)大多由實(shí)際的成績(jī)數(shù)據(jù)作支撐，而“情感參與”和“認(rèn)知參與”準(zhǔn)則下的各指標(biāo)主要由調(diào)查問(wèn)卷的結(jié)果和授課教師給出的數(shù)據(jù)支撐。需要注意的是，各項(xiàng)數(shù)據(jù)在使用之前應(yīng)依據(jù)3.1節(jié)的方法進(jìn)行標(biāo)準(zhǔn)化處理。

此處以“行為參與”準(zhǔn)則的模糊評(píng)判為例，將各指標(biāo)的評(píng)判等級(jí)分為5級(jí)，集合表示為｛很低，低，中等，高，很高｝。在學(xué)習(xí)過(guò)程中，就“行為參與”準(zhǔn)則下各指標(biāo)的參數(shù)值進(jìn)行了采集，如表5所示。

依據(jù)表5中的學(xué)習(xí)數(shù)據(jù)和調(diào)查問(wèn)卷數(shù)據(jù)，由評(píng)判專家意見(jiàn)確定模糊綜合評(píng)判矩陣R21如下：

可得B21=（0，0.185，0.342，0.424，0.049）。

表5 XX課程學(xué)習(xí)參與度數(shù)據(jù)采集表

同理可求得B22，B23，最后得到B：

此處為呈現(xiàn)MOOC學(xué)習(xí)者參與度的現(xiàn)狀與趨勢(shì)，選取最大隸屬度準(zhǔn)則對(duì)評(píng)判結(jié)果進(jìn)行處理。根據(jù)最大隸屬度原則，該門MOOC課程的學(xué)習(xí)者參與度結(jié)果高。綜合此次實(shí)例分析的結(jié)果，發(fā)現(xiàn)專家對(duì)于認(rèn)知參與的打分更高，權(quán)重系數(shù)最大，反應(yīng)了專家意見(jiàn)對(duì)于學(xué)習(xí)者內(nèi)在的課程參與動(dòng)力更為重視。在評(píng)估數(shù)據(jù)的獲取方面，不同于其他課程的學(xué)習(xí)者參與度數(shù)據(jù)獲取方式，通過(guò)設(shè)計(jì)調(diào)查問(wèn)卷的數(shù)據(jù)獲取方式更為客觀有效。

5 結(jié)語(yǔ)

學(xué)習(xí)者的參與度研究是MOOC課程評(píng)價(jià)的一個(gè)重要方面。本文嘗試從“行為參與”、“情感參與”和“認(rèn)知參與”三個(gè)維度構(gòu)建了MOOC學(xué)習(xí)者參與度評(píng)估的層次結(jié)構(gòu)模型，并給出了MOOC學(xué)習(xí)者參與度評(píng)估的模糊綜合評(píng)判方法，并結(jié)合國(guó)防科大夢(mèng)課平臺(tái)的學(xué)習(xí)數(shù)據(jù)給出了實(shí)例分析。論文研究中的數(shù)據(jù)來(lái)源自夢(mèng)課平臺(tái)的真實(shí)學(xué)習(xí)數(shù)據(jù)和調(diào)查問(wèn)卷數(shù)據(jù)，評(píng)估結(jié)果的科學(xué)性和有效性在某種程度上依賴于調(diào)查問(wèn)卷設(shè)計(jì)的合理性，因此下一步將針對(duì)調(diào)查問(wèn)卷設(shè)計(jì)的科學(xué)性進(jìn)行深入研究。