平臺(tái)類教育App評(píng)價(jià)指標(biāo)體系的構(gòu)建與應(yīng)用研究

黃斌 楊馨宇 呂梅

摘 要：近年來(lái)，教育App如雨后春筍般地涌現(xiàn)，但也存在市場(chǎng)良莠不齊、同質(zhì)化現(xiàn)象嚴(yán)重等問(wèn)題。教育App的評(píng)價(jià)可以優(yōu)化其設(shè)計(jì)與開(kāi)發(fā)，達(dá)到更好的應(yīng)用效果。然而學(xué)界對(duì)教育App評(píng)價(jià)的研究較少，目前還沒(méi)有一套較為科學(xué)、合理的平臺(tái)類教育App評(píng)價(jià)指標(biāo)體系。鑒于此，文章從用戶體驗(yàn)的視角出發(fā)，運(yùn)用德?tīng)柗品ù_定了平臺(tái)類教育App的評(píng)價(jià)指標(biāo)，運(yùn)用層次分析法計(jì)算出各項(xiàng)指標(biāo)的權(quán)重，最后運(yùn)用模糊綜合評(píng)價(jià)法，以“中國(guó)大學(xué)MOOC”和“網(wǎng)易公開(kāi)課”為例，將評(píng)價(jià)指標(biāo)體系進(jìn)行應(yīng)用。研究結(jié)果顯示，構(gòu)建的評(píng)價(jià)指標(biāo)體系有效可行，對(duì)學(xué)習(xí)者選擇適合自身需求的平臺(tái)類教育App具有重要意義。

關(guān)鍵詞：教育App;用戶體驗(yàn);評(píng)價(jià)指標(biāo)體系;德?tīng)柗品?層次分析法;模糊綜合評(píng)價(jià)法

中圖分類號(hào)： G434? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? ?文章編號(hào)：1673-8454（2019）16-0075-07

一、引言

教育App是隨著移動(dòng)網(wǎng)絡(luò)技術(shù)的深入發(fā)展與移動(dòng)智能終端的迅速普及而設(shè)計(jì)開(kāi)發(fā)的一種新型移動(dòng)學(xué)習(xí)資源。近些年，教育App如雨后春筍般地涌現(xiàn)，數(shù)量已超過(guò)7萬(wàn)，在蘋果App商店中僅次于游戲App排名第二[1]。但在繁榮景象背后，教育App市場(chǎng)良莠不齊、同質(zhì)化現(xiàn)象嚴(yán)重等問(wèn)題也日益凸顯。此外，教育App不僅數(shù)量眾多，而且種類復(fù)雜。其中，平臺(tái)類教育App（如百度傳課、淘寶教育和騰訊課堂）因開(kāi)發(fā)難度大、出現(xiàn)時(shí)間晚，故發(fā)展尚不成熟。

由新浪教育和尼爾森調(diào)查公司共同發(fā)布的《2014中國(guó)教育App行業(yè)發(fā)展及用戶行為研究報(bào)告》顯示，用戶對(duì)平臺(tái)類教育App使用穩(wěn)定性相對(duì)較差、使用黏性相對(duì)較低、滿意度不高[2]。如何保障教育App質(zhì)量，并為用戶提供合理的選擇依據(jù)，從而提高用戶使用的穩(wěn)定性、黏性和滿意度，成為當(dāng)下亟需解決的問(wèn)題。

教育App的評(píng)價(jià)可以優(yōu)化其設(shè)計(jì)與開(kāi)發(fā)，達(dá)到更好的應(yīng)用效果。目前對(duì)教育App的評(píng)價(jià)通常采用四種方法，即分析式評(píng)價(jià)、指標(biāo)體系評(píng)價(jià)、觀察和實(shí)驗(yàn)[3]。這四種方法各具特點(diǎn)，可以得到不同形式和詳細(xì)程度的評(píng)價(jià)結(jié)果。其中，指標(biāo)體系評(píng)價(jià)是評(píng)價(jià)人員根據(jù)一套特定的指標(biāo)體系對(duì)教育App各個(gè)方面的特征進(jìn)行打分，最后結(jié)合得分確定質(zhì)量等級(jí)的一種量化評(píng)價(jià)方法，其操作便捷，結(jié)果直觀、明確。

二、研究的視角

本研究基于平臺(tái)類教育App在科學(xué)性、教育性、藝術(shù)性和技術(shù)性上的要求，從用戶體驗(yàn)的視角出發(fā)，構(gòu)建了評(píng)價(jià)指標(biāo)體系，旨在為學(xué)習(xí)者選擇和利用教育App提供指導(dǎo)和幫助。

用戶體驗(yàn)（User Experience，簡(jiǎn)稱UE或UX）最早由美國(guó)的唐納德·諾曼（Donald Norman）在20世紀(jì)90年代提出。他認(rèn)為用戶體驗(yàn)是人的大腦反應(yīng)的三個(gè)層次，即本能層、行為層和反思層的綜合體現(xiàn)。如今使用最廣泛的是國(guó)際標(biāo)準(zhǔn)化組織（ISO 9241-210）2010年的定義，即用戶體驗(yàn)是人們對(duì)于使用或期望使用的產(chǎn)品、系統(tǒng)及服務(wù)的認(rèn)知印象和回應(yīng)[4]。該定義指出用戶體驗(yàn)是用戶在一個(gè)產(chǎn)品、系統(tǒng)及服務(wù)使用之前、使用期間和使用之后的全部感受，包括情感、信仰、喜好、認(rèn)知印象、生理和心理反應(yīng)、行為和成就等各個(gè)方面。

研究人員從不同領(lǐng)域?qū)τ脩趔w驗(yàn)的要素進(jìn)行總結(jié)與提煉，構(gòu)建了諸多理論模型。影響較大的有以下幾種：貝恩特·施密特（Bernd H.Schmitt）將用戶體驗(yàn)分為感官體驗(yàn)、情感體驗(yàn)、思考體驗(yàn)、行為體驗(yàn)和關(guān)聯(lián)體驗(yàn)五大體系[5];羅伯特·魯賓諾夫（Robert Rubinoff）認(rèn)為品牌、可用性、功能性和內(nèi)容是量化用戶體驗(yàn)的四項(xiàng)因素[6];哈桑扎爾（Hassenzahl）等把用戶體驗(yàn)的要素概括為實(shí)用性（操作性）與娛樂(lè)性（識(shí)別性、刺激性和暗示性）兩個(gè)層面[7];惠特尼·奎瑟貝利（Whitney Quesenbery）提出5E模型，認(rèn)為在對(duì)用戶體驗(yàn)進(jìn)行評(píng)價(jià)時(shí)應(yīng)從有效、效率、吸引、容錯(cuò)和易學(xué)五個(gè)維度進(jìn)行[8];杰西·詹姆斯·加勒特（Jesse James Garrett）將用戶體驗(yàn)在宏觀層次上分為戰(zhàn)略層、范圍層、結(jié)構(gòu)層、框架層和表現(xiàn)層[9];彼得·莫維爾（Peter Morville）提出蜂窩模型，此模型以價(jià)值為核心，由有用、可用、合意、可尋、可及和可靠構(gòu)成[10]。

當(dāng)前，用戶體驗(yàn)在教育中的應(yīng)用非常薄弱，基于用戶體驗(yàn)對(duì)教育App進(jìn)行評(píng)價(jià)研究的文獻(xiàn)更是寥寥無(wú)幾，且主要集中于對(duì)英語(yǔ)單詞類App的評(píng)價(jià)。例如：趙學(xué)銘等選取“內(nèi)容有效性”“界面設(shè)計(jì)質(zhì)量”和“用戶使用體驗(yàn)”為評(píng)價(jià)要素對(duì)英語(yǔ)單詞類App進(jìn)行對(duì)比研究[11];喻帥英提出移動(dòng)學(xué)習(xí)App的可用性綜合評(píng)價(jià)方法，通過(guò)實(shí)驗(yàn)測(cè)試比較了英語(yǔ)單詞類App之間的可用性差異[12];張熠等從“愉悅性”“可靠性”“可用性”“有用性”“交互性”五個(gè)方面設(shè)計(jì)移動(dòng)學(xué)習(xí)App評(píng)價(jià)指標(biāo)體系，并以英語(yǔ)單詞類App“百詞斬”為例進(jìn)行了評(píng)價(jià)分析[13]。

綜上所述，考慮到平臺(tái)類教育App的現(xiàn)狀，從用戶體驗(yàn)的視角構(gòu)建其評(píng)價(jià)指標(biāo)體系，既有利于平臺(tái)類教育App質(zhì)量的提高，又有利于學(xué)習(xí)者的有效選擇，這對(duì)于平臺(tái)類教育App的應(yīng)用和推廣具有重要意義。

三、評(píng)價(jià)指標(biāo)體系的構(gòu)建

在文獻(xiàn)分析的基礎(chǔ)上，結(jié)合平臺(tái)類教育App的特點(diǎn)，初步擬訂各項(xiàng)評(píng)價(jià)指標(biāo)，采用“背對(duì)背”函詢（專家之間不相互討論）的方式，廣泛征求專家的意見(jiàn)，繼而對(duì)指標(biāo)進(jìn)行篩選，再利用層次分析法計(jì)算各項(xiàng)指標(biāo)的權(quán)重，形成平臺(tái)類教育App評(píng)價(jià)指標(biāo)體系。

1.評(píng)價(jià)指標(biāo)的確定

德?tīng)柗品ǎ―elphi Method）又稱專家函詢法，20世紀(jì)40年代由赫爾默（Helmer）和戈登（Gordon）提出。1946年，美國(guó)蘭德公司為避免集體討論可能存在的負(fù)面影響（屈從權(quán)威或盲目服從多數(shù)的缺陷），首次使用德?tīng)柗品ㄟM(jìn)行定性預(yù)測(cè)。德?tīng)柗品ㄍㄟ^(guò)非面對(duì)面的互動(dòng)來(lái)整合專家的意見(jiàn)，從而為科學(xué)決策提供參考。這種方法具有匿名性、反饋性、統(tǒng)計(jì)性等特點(diǎn)，目前已經(jīng)普遍運(yùn)用于評(píng)價(jià)指標(biāo)的確定。

（1）函詢過(guò)程

本研究開(kāi)展兩輪專家函詢。第一輪向?qū)＜姨峁┢脚_(tái)類教育App評(píng)價(jià)研究的背景、目的及初擬的評(píng)價(jià)指標(biāo)。一方面是請(qǐng)專家對(duì)各項(xiàng)指標(biāo)的認(rèn)同程度打分并提出修改意見(jiàn);另一方面是請(qǐng)專家對(duì)判斷依據(jù)的影響程度和對(duì)函詢內(nèi)容的熟悉程度進(jìn)行自我評(píng)價(jià)。第一輪結(jié)束后，匯總分析數(shù)據(jù)，根據(jù)統(tǒng)計(jì)結(jié)果與修改意見(jiàn)，制定第二輪函詢表，表中包含了第一輪函詢的統(tǒng)計(jì)結(jié)果以供專家參考，同時(shí)請(qǐng)專家對(duì)篩選后的各項(xiàng)指標(biāo)的認(rèn)同程度再次打分。兩輪專家函詢后，專家意見(jiàn)趨于一致且較為可靠，從而確定了平臺(tái)類教育App的評(píng)價(jià)指標(biāo)。

（2）數(shù)據(jù)分析

將專家函詢的數(shù)據(jù)錄入Excel 2010，計(jì)算專家的積極系數(shù)、專家的權(quán)威程度以及各項(xiàng)指標(biāo)的均數(shù)、滿分頻率和變異系數(shù);使用SPSS 22.0計(jì)算專家意見(jiàn)的協(xié)調(diào)系數(shù)并進(jìn)行顯著性檢驗(yàn)（χ2檢驗(yàn)）。

專家的積極系數(shù)用函詢表的回收率（R）來(lái)衡量，R=（n表示回收函詢表的份數(shù)，N表示發(fā)出函詢表的份數(shù)）。根據(jù)平臺(tái)類教育App評(píng)價(jià)研究的目的，特邀請(qǐng)教育技術(shù)學(xué)研究生導(dǎo)師（14人）、教育軟件公司技術(shù)人員（8人）、現(xiàn)代課程與教學(xué)論學(xué)者（6人）組成專家小組。兩輪專家函詢分別發(fā)出函詢表28份，回收28份，回收率均為100%，這說(shuō)明專家參與的積極性很高。

專家的權(quán)威程度（Cr）由專家的判斷依據(jù)（Cα）和專家對(duì)函詢內(nèi)容的熟悉程度（Cs）兩個(gè)因素決定，Cr=。專家通常以“實(shí)踐經(jīng)驗(yàn)”（按影響程度的大中小，賦值0.5、0.4、0.3）、“理論分析”（按影響程度的大中小，賦值0.3、0.2、0.1）、“參考國(guó)內(nèi)外資料或向同行了解”（0.1）、“直觀感覺(jué)”（0.1）作為判斷依據(jù)，0.6≤Cα≤1。本研究把專家對(duì)函詢內(nèi)容的熟悉程度劃分為“非常熟悉”“熟悉”“一般”“不熟悉”“非常不熟悉”五個(gè)等級(jí)，并依次賦值1、0.75、0.5、0.25、0。經(jīng)過(guò)統(tǒng)計(jì)，專家權(quán)威程度的平均值為0.78（0.72≤Cr<0.86），這說(shuō)明專家的權(quán)威程度較高，函詢的結(jié)果具有較高的參考價(jià)值。

專家意見(jiàn)的集中程度從各項(xiàng)指標(biāo)的均數(shù)（Mj）、滿分頻率（Kj）和變異系數(shù)（Vj）三個(gè)方面反映。Mj=Cij/mj（mj表示給j指標(biāo)打分的專家人數(shù);Cij表示i專家對(duì)j指標(biāo)打分的分值），Kj=mj/mj（mj表示給j指標(biāo)打滿分的專家人數(shù)），Mj和Kj越大，對(duì)應(yīng)的指標(biāo)的重要性就越高。Vj=δj/Mj（δj表示j指標(biāo)的標(biāo)準(zhǔn)差），Vj越小，專家對(duì)j指標(biāo)的協(xié)調(diào)性就越好。本研究采用五點(diǎn)式李克特量表，請(qǐng)專家對(duì)指標(biāo)的認(rèn)同程度打分，即完全同意（5）、同意（4）、一般（3）、不同意（2）、完全不同意（1）。兩輪專家函詢后，各項(xiàng)指標(biāo)的均數(shù)大于3.5，滿分頻率大于0.2，變異系數(shù)小于0.2，這說(shuō)明專家意見(jiàn)的集中程度較高，意見(jiàn)趨于一致。

專家意見(jiàn)的協(xié)調(diào)系數(shù)（W）反映所有專家對(duì)全部指標(biāo)的協(xié)調(diào)程度。0≤W≤1，W越大，表示協(xié)調(diào)程度越高（協(xié)調(diào)系數(shù)一般在0.5的范圍波動(dòng)，誤差控制較好[14]）。本研究第一輪專家函詢的協(xié)調(diào)系數(shù)為W第1輪=0.596（df=35，χ2=583.790，P<0.05），第二輪專家函詢的協(xié)調(diào)系數(shù)比第一輪略有提高，W第2輪=0.607（df=34，χ2=577.628，P<0.05）。兩輪協(xié)調(diào)系數(shù)的χ2檢驗(yàn)的P值均小于0.05，這說(shuō)明協(xié)調(diào)系數(shù)經(jīng)檢驗(yàn)后存在顯著的一致性，即在95%的置信度下，專家意見(jiàn)的協(xié)調(diào)性好，結(jié)果可以接受。

（3）指標(biāo)說(shuō)明

本研究采用界值法篩選指標(biāo)。具體做法是：“M界值=M平均數(shù)-M標(biāo)準(zhǔn)差”得分高于界值的入選;“K界值=K平均數(shù)-K標(biāo)準(zhǔn)差”得分高于界值的入選;“V界值=V平均數(shù)+V標(biāo)準(zhǔn)差”得分低于界值的入選。在以上衡量尺度中（均數(shù)、滿分頻率和變異系數(shù)），三個(gè)界值均不合要求的指標(biāo)被剔除;一個(gè)或兩個(gè)界值不合要求的，遵循科學(xué)性、全面性和可行性等原則，經(jīng)討論后再取舍。

根據(jù)函詢的結(jié)果，并充分考慮專家的意見(jiàn)，對(duì)初擬的評(píng)價(jià)指標(biāo)予以調(diào)整：一級(jí)指標(biāo)方面，將“可用性”改為“教育性”，“愉悅性”改為“易用性”;二級(jí)指標(biāo)方面，剔除“學(xué)習(xí)選擇”和“品牌”，增加“用戶手冊(cè)”;三級(jí)指標(biāo)方面，將“學(xué)習(xí)方式”歸入“課程服務(wù)”，“學(xué)習(xí)時(shí)間”歸入“學(xué)習(xí)管理”，剔除“產(chǎn)品口碑”和“品牌基礎(chǔ)”，增加“完整性”，最終確定平臺(tái)類教育App的評(píng)價(jià)指標(biāo)：包括4個(gè)一級(jí)指標(biāo)、14個(gè)二級(jí)指標(biāo)和35個(gè)三級(jí)指標(biāo)，如圖1所示。

①教育性

包括課程資源、課程服務(wù)兩個(gè)二級(jí)指標(biāo)，主要從課程資源與服務(wù)角度，判斷App是否為學(xué)習(xí)者提供所需的優(yōu)質(zhì)資源和全面服務(wù)。

課程資源由權(quán)威性、豐富性、更新速度3個(gè)三級(jí)指標(biāo)構(gòu)成。權(quán)威性指授課教師知名度高、影響力大，課程資源來(lái)源明確;豐富性指課程門類齊全，涉及不同學(xué)段、學(xué)科;更新速度指課程資源更新及時(shí)。

課程服務(wù)由課程提醒、學(xué)習(xí)方式、過(guò)程記錄、課程推送、免費(fèi)/付費(fèi)5個(gè)三級(jí)指標(biāo)構(gòu)成。課程提醒指通過(guò)電子郵件或電話、短信等，向?qū)W習(xí)者適時(shí)發(fā)送課程通知;學(xué)習(xí)方式指提供多種方式（如直播課程、錄播課程、“直播+錄播”課程）讓學(xué)習(xí)者自行選擇;過(guò)程記錄指能夠記錄學(xué)習(xí)者的學(xué)習(xí)時(shí)長(zhǎng)、學(xué)習(xí)進(jìn)度和學(xué)習(xí)檢測(cè)等;課程推送指根據(jù)大數(shù)據(jù)的用戶行為分析系統(tǒng)，向?qū)W習(xí)者精準(zhǔn)推送他們可能感興趣的課程;免費(fèi)/付費(fèi)指免費(fèi)課程或付費(fèi)課程的提示明確，收費(fèi)符合大眾消費(fèi)水平。

②功能性

包括交流共享、評(píng)價(jià)反饋、學(xué)習(xí)管理3個(gè)二級(jí)指標(biāo)，主要從學(xué)習(xí)活動(dòng)與管理角度，判斷App是否為學(xué)習(xí)者提供完整的學(xué)習(xí)活動(dòng)和個(gè)性的學(xué)習(xí)管理。

交流共享由互動(dòng)交流、實(shí)時(shí)答疑、資源共享3個(gè)三級(jí)指標(biāo)構(gòu)成?；?dòng)交流指允許學(xué)習(xí)者之間發(fā)起對(duì)話，就討論主題可以點(diǎn)贊或互評(píng);實(shí)時(shí)答疑指教師可以在線實(shí)時(shí)解答學(xué)生疑惑;資源共享指支持資源上傳和下載，以促進(jìn)資源再生與流通。

評(píng)價(jià)反饋由學(xué)習(xí)檢測(cè)、獎(jiǎng)勵(lì)機(jī)制、內(nèi)容評(píng)價(jià)3個(gè)三級(jí)指標(biāo)構(gòu)成。學(xué)習(xí)檢測(cè)指對(duì)學(xué)習(xí)者學(xué)習(xí)結(jié)果的測(cè)試，使他們掌握自身的學(xué)習(xí)情況;獎(jiǎng)勵(lì)機(jī)制指擁有恰當(dāng)?shù)募?lì)措施，從而提高學(xué)習(xí)者外在的學(xué)習(xí)動(dòng)力;內(nèi)容評(píng)價(jià)指允許對(duì)課程與教學(xué)進(jìn)行評(píng)價(jià)，以推動(dòng)課程與教學(xué)的再設(shè)計(jì)。

學(xué)習(xí)管理由學(xué)習(xí)時(shí)間、課程選擇、課程管理3個(gè)三級(jí)指標(biāo)構(gòu)成。學(xué)習(xí)時(shí)間指提供課程學(xué)習(xí)計(jì)劃，方便學(xué)習(xí)者自主安排學(xué)習(xí)時(shí)間;課程選擇指提供科學(xué)的課程分類和全面的課程信息，易于檢索課程并利于學(xué)習(xí)者有效決策;課程管理指能夠輕松實(shí)現(xiàn)課程添加、刪除、歸類等操作。

③易用性

包括界面、導(dǎo)航、交互、媒體、廣告、用戶手冊(cè)6個(gè)二級(jí)指標(biāo)，主要從視覺(jué)審美與科學(xué)設(shè)計(jì)角度，判斷App是否滿足學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的情感需求。

界面由布局合理、色調(diào)一致、圖形意象3個(gè)三級(jí)指標(biāo)構(gòu)成。布局合理指界面簡(jiǎn)約、引導(dǎo)性強(qiáng)，符合學(xué)習(xí)者的使用習(xí)慣;色調(diào)一致指色系搭配和明暗層次適當(dāng);圖形意象指圖標(biāo)表意明確，構(gòu)圖可點(diǎn)觸元素直觀可見(jiàn)、容易觸發(fā)。

導(dǎo)航由易識(shí)性、易尋性兩個(gè)三級(jí)指標(biāo)構(gòu)成。易識(shí)性指導(dǎo)航容易識(shí)別，鏈接部分能夠顯示出已瀏覽和未瀏覽的區(qū)別;易尋性指使用空間導(dǎo)航替代層級(jí)導(dǎo)航，任何位置都可以輕松返回。

交互由準(zhǔn)確性、及時(shí)性兩個(gè)三級(jí)指標(biāo)構(gòu)成。準(zhǔn)確性指操作能得到準(zhǔn)確的反饋;及時(shí)性指操作能得到及時(shí)的反饋。

媒體由形式多樣、使用恰當(dāng)兩個(gè)三級(jí)指標(biāo)構(gòu)成。形式多樣指使用多種媒體展現(xiàn)內(nèi)容，避免形式單一、枯燥;使用恰當(dāng)指針對(duì)不同內(nèi)容合理選擇媒體，達(dá)到最優(yōu)的呈現(xiàn)效果。

廣告由廣告宣傳1個(gè)三級(jí)指標(biāo)構(gòu)成。廣告宣傳指App不攜帶垃圾廣告。

用戶手冊(cè)由完整性1個(gè)三級(jí)指標(biāo)構(gòu)成。完整性指向?qū)W習(xí)者提供詳細(xì)的App產(chǎn)品說(shuō)明和使用指南。

④可靠性

包括安全穩(wěn)定、隱私保護(hù)、配置要求3個(gè)二級(jí)指標(biāo)，主要從安全與適用角度，判斷App是否滿足學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的技術(shù)需求。

安全穩(wěn)定由鏈接安全、運(yùn)行穩(wěn)定兩個(gè)三級(jí)指標(biāo)構(gòu)成。鏈接安全指鏈接沒(méi)有病毒，不會(huì)受到惡意攻擊。運(yùn)行穩(wěn)定指App的操作流暢，沒(méi)有鏈接中斷或錯(cuò)誤等技術(shù)故障。

隱私保護(hù)由身份鑒別、信息保密兩個(gè)三級(jí)指標(biāo)構(gòu)成。身份鑒別指具有賬號(hào)綁定功能（如通過(guò)輸入手機(jī)驗(yàn)證碼才能登錄）;信息保密指對(duì)學(xué)習(xí)者信息保密，不會(huì)泄露個(gè)人隱私。

配置要求由內(nèi)存占用、可擴(kuò)展性、兼容性3個(gè)三級(jí)指標(biāo)構(gòu)成。內(nèi)存占用指占用內(nèi)存較小，不會(huì)影響設(shè)備的正常運(yùn)行;可擴(kuò)展性指支持多終端瀏覽，適應(yīng)移動(dòng)化、碎片化的學(xué)習(xí)需求;兼容性指能夠和其他常用App同機(jī)安裝、使用。

2.指標(biāo)權(quán)重的計(jì)算

層次分析法（AHP）是美國(guó)運(yùn)籌學(xué)家、匹茲堡大學(xué)薩蒂（T.L.Saaty）教授在20世紀(jì)70年代提出的一種定性和定量相結(jié)合的多準(zhǔn)則決策方法。運(yùn)用層次分析法計(jì)算指標(biāo)權(quán)重，大體分為3個(gè)步驟：首先，分析系統(tǒng)中各元素之間的關(guān)系，建立層次結(jié)構(gòu);其次，對(duì)同一層次的各元素關(guān)于上一層次中某一準(zhǔn)則的重要性進(jìn)行兩兩比較，構(gòu)造判斷矩陣;最后，由判斷矩陣計(jì)算被比較元素對(duì)于該準(zhǔn)則的相對(duì)權(quán)重。

（1）建立層次結(jié)構(gòu)

將通過(guò)德?tīng)柗品ù_定的評(píng)價(jià)指標(biāo)視為一個(gè)層次分析的結(jié)構(gòu)模型。在這個(gè)結(jié)構(gòu)模型下，復(fù)雜問(wèn)題（平臺(tái)類教育App評(píng)價(jià)指標(biāo)體系）被分解為若干元素（各項(xiàng)指標(biāo)）。這些元素按其屬性形成不同層次（各級(jí)指標(biāo)）。同一層次的元素作為準(zhǔn)則對(duì)下一層次的某些元素起支配作用，同時(shí)它又受上一層次元素的支配。

（2）構(gòu)造判斷矩陣

以上一級(jí)指標(biāo)作為判斷準(zhǔn)則，對(duì)下一級(jí)指標(biāo)按照Saaty1-9標(biāo)度進(jìn)行兩兩比較（1表示同樣重要;3表示前者比后者稍微重要;5表示前者比后者明顯重要;7表示前者比后者強(qiáng)烈重要;9表示前者比后者極端重要;2、4、6、8表示上述相鄰判斷的中間值;若元素i與元素j的重要性之比為aij，那么元素j與元素i的重要性之比為aji=1/aij），構(gòu)造判斷矩陣[15]：

A=（aij）n×n，且aij>0，aji=1/aij

（3）計(jì)算相對(duì)權(quán)重

將A的各個(gè)列向量采用幾何平均，然后歸一化，得到權(quán)重向量[15]：

Wi=? （i=1，2， …，n）

為確保判斷矩陣的可靠程度，需要對(duì)判斷矩陣的一致性進(jìn)行檢驗(yàn)[15]。其一，計(jì)算矩陣的最大特征根λmax，λmax=，（Aw）表示向量Aw的第i個(gè)分量;其二，計(jì)算一致性指標(biāo)C.I.，C.I.=;其三，計(jì)算一致性比例C.R.，C.R.=，R.I.表示平均隨機(jī)一致性指標(biāo)，其值可以通過(guò)查表確定。當(dāng)C.R.=0時(shí)，具有完全一致性，當(dāng)C.R.<0.1時(shí)，具有滿意一致性，當(dāng)C.R.≥0.1時(shí)，不滿足一致性要求，需要對(duì)判斷矩陣進(jìn)行調(diào)整。

本研究采用分層抽樣的方法，從參與德?tīng)柗品ǖ?8名專家中，選取14名專家（教育技術(shù)學(xué)研究生導(dǎo)師7人、教育軟件公司技術(shù)人員4人、現(xiàn)代課程與教學(xué)論學(xué)者3人）填寫《平臺(tái)類教育App評(píng)價(jià)指標(biāo)權(quán)重的調(diào)查問(wèn)卷》。經(jīng)過(guò)計(jì)算，所有判斷矩陣的C.R.均小于0.1，各項(xiàng)指標(biāo)的權(quán)重如表1所示。

四、評(píng)價(jià)指標(biāo)體系的應(yīng)用

模糊綜合評(píng)價(jià)法（FCE）是我國(guó)著名學(xué)者汪培莊教授在20世紀(jì)80年代提出的以模糊數(shù)學(xué)為基礎(chǔ)，應(yīng)用模糊關(guān)系合成的原理，將一些邊界不清、不易定量的因素定量化，從多個(gè)因素對(duì)被評(píng)價(jià)事物隸屬等級(jí)狀況進(jìn)行綜合性評(píng)價(jià)的一種方法。本研究以上述平臺(tái)類教育App評(píng)價(jià)指標(biāo)體系為依據(jù)，對(duì)“中國(guó)大學(xué)MOOC”和“網(wǎng)易公開(kāi)課”進(jìn)行多級(jí)模糊綜合評(píng)價(jià)。

1.評(píng)價(jià)模型與操作步驟

多級(jí)模糊綜合評(píng)價(jià)一般需要經(jīng)過(guò)以下步驟：

第一步，把因素論域按照某種屬性分成S個(gè)子集，U=u，u={ui1，ui2，…，u}（i=1，2，…，s），評(píng)語(yǔ)等級(jí)論域?yàn)閂={v1，v2，…，vm}。

第二步，對(duì)每一個(gè)u進(jìn)行單級(jí)模糊綜合評(píng)價(jià)。設(shè)u中各因素的模糊權(quán)向量為Ai=（ai1，ai2，…，aiPi），air=1，ui的單因素評(píng)價(jià)結(jié)果為Ri（pi行，m列），則一級(jí)評(píng)價(jià)模型為Ai°Ri=（bi1，bi2，…，bim）?Bi，i=1，2，…，s。

第三步，將ui（i=1，2，…，s）看作一個(gè)綜合因素，用Bi作為它的單因素評(píng)價(jià)結(jié)果，可得隸屬關(guān)系矩陣：

R=

B

B

…

B=

b

b? ?…

b

b

b? ?…

b

…? ? ?…? ?…? ? …

b

b? ?…

b

設(shè)綜合因素ui的模糊權(quán)向量為A=（a1，a2，…，as），則二級(jí)評(píng)價(jià)模型為A°R=（b1，b2，…，bm）?B。如果第一步劃分中ui（i=1，2，…，s）仍較多，那么可繼續(xù)劃分得到三級(jí)或更高級(jí)的評(píng)價(jià)模型。

2.評(píng)價(jià)結(jié)果與相關(guān)討論

本研究面向全國(guó)高校教師和在讀本科生、研究生大量發(fā)放《“中國(guó)大學(xué)MOOC”和“網(wǎng)易公開(kāi)課”用戶體驗(yàn)的調(diào)查問(wèn)卷》，回收有效問(wèn)卷（接受調(diào)查的師生均使用過(guò)中國(guó)大學(xué)MOOC和網(wǎng)易公開(kāi)課，且對(duì)這兩款平臺(tái)類教育App有一定程度的了解）共計(jì)190份。

（1）評(píng)價(jià)結(jié)果

因素論域U={u1，u2，u3，u4}={教育性，功能性，易用性，可靠性}，評(píng)語(yǔ)等級(jí)論域V={v1，v2，v3，v4，v5}={好，較好，一般，較差，差}。接受調(diào)查的師生依據(jù)自身的體驗(yàn)情況對(duì)各因素的具體條目按V中的五個(gè)等級(jí)進(jìn)行評(píng)判。參照多級(jí)模糊綜合評(píng)價(jià)的步驟，最終建立“中國(guó)大學(xué)MOOC”和“網(wǎng)易公開(kāi)課”的三級(jí)評(píng)價(jià)模型，并采用（·，）算子，求出模糊綜合評(píng)價(jià)結(jié)果向量。

A°R=（0.44，0.30，0.16，0.10）°

0.64487? 0.27114? 0.06901? 0.01453? ?0.00047

0.62865? 0.30353? 0.04910? 0.01820? ?0.00057

0.61809? 0.32267? 0.05881? 0.00042? ?0.00000

0.70324? 0.26879? 0.02642? 0.00162? ?0.00000=

（0.64155，0.28887，0.05714，0.01208，0.00038）?B中國(guó)大學(xué)MOOC

A°R=（0.44，0.30，0.16，0.10）°

0.62513? 0.31577? 0.05396? 0.00442? ?0.00071

0.23495? 0.24811? 0.29733? 0.18298? ?0.03665

0.61592? 0.28087? 0.10129? 0.00197? ?0.00000

0.67187? 0.27308? 0.05349? 0.00162? ?0.00000=（0.51128，0.28562，0.13450，0.05732，0.01131）?B網(wǎng)易公開(kāi)課

α=（β=max

1≤j≤m{bj}/bj，γ=sec

1≤j≤m{bj}/bj），α越大，最大隸屬度原則的有效性就越高（當(dāng)0.5≤α<1時(shí)，最大隸屬度原則比較有效）。α中國(guó)大學(xué)MOOC=0.96，α網(wǎng)易公開(kāi)課=0.68，根據(jù)最大隸屬度原則，可以知道190名高校師生對(duì)中國(guó)大學(xué)MOOC和網(wǎng)易公開(kāi)課這兩款平臺(tái)類教育App的總體評(píng)價(jià)為“好”。

（2）相關(guān)討論

給V中的五個(gè)等級(jí)依次賦以分值100、85、70、55、40，采用模糊向量單值化，得出一級(jí)指標(biāo)和二級(jí)指標(biāo)的得分（詳見(jiàn)表2和表3）。從一級(jí)指標(biāo)的得分來(lái)看，雖然中國(guó)大學(xué)MOOC和網(wǎng)易公開(kāi)課在教育性、易用性、可靠性上不分伯仲，但是在功能性上，中國(guó)大學(xué)MOOC要明顯優(yōu)于網(wǎng)易公開(kāi)課。

中國(guó)大學(xué)MOOC是由網(wǎng)易攜手高教社聯(lián)合推出的中文MOOC平臺(tái)，依靠先進(jìn)的技術(shù)，為國(guó)家精品開(kāi)放課程的轉(zhuǎn)化與深入建設(shè)提供了強(qiáng)大的助力與支持，以公益的方式把優(yōu)質(zhì)的高等教育資源向用戶開(kāi)放，致力于打造一個(gè)“沒(méi)有圍墻的大學(xué)”;而網(wǎng)易公開(kāi)課的口號(hào)是“讓知識(shí)分享成為習(xí)慣”，主要為用戶提供哈佛、牛津等頂級(jí)高校以及可汗學(xué)院、TED等組織機(jī)構(gòu)的教育視頻、圖文信息，內(nèi)容涵蓋人文、社科、自然、工程、生活等多個(gè)領(lǐng)域，搭建了一個(gè)全球普適教育資源的共享平臺(tái)?？傊?，中國(guó)大學(xué)MOOC力圖通過(guò)建立全面的大學(xué)課程體系，幫助用戶（主要是高校師生和職場(chǎng)人士）實(shí)現(xiàn)可以隨時(shí)隨地學(xué)習(xí)名校課程的愿望;而網(wǎng)易公開(kāi)課除了包括國(guó)內(nèi)與國(guó)際的名校課程外，還包括精品付費(fèi)課程、演講等內(nèi)容，其用戶更加廣泛，甚至可以是所有的學(xué)習(xí)愛(ài)好者。所以，基于不同的產(chǎn)品定位和目標(biāo)用戶，中國(guó)大學(xué)MOOC和網(wǎng)易公開(kāi)課在功能上存在較大差異，這集中體現(xiàn)在交流共享、評(píng)價(jià)反饋、學(xué)習(xí)管理三個(gè)二級(jí)指標(biāo)的得分上。

①交流共享

中國(guó)大學(xué)MOOC的課程都設(shè)有“討論”模塊，分為“綜合討論區(qū)”“老師答疑區(qū)”和“課堂交流區(qū)”，討論的內(nèi)容緊密圍繞課程的學(xué)習(xí)，師生參與度較高，回復(fù)質(zhì)量較好;而網(wǎng)易公開(kāi)課設(shè)有一個(gè)獨(dú)立的“社區(qū)”模塊，用戶可以自由發(fā)起話題，內(nèi)容不限，話題可以按時(shí)間或熱度排序，用戶參與度較低，回復(fù)質(zhì)量參差不齊，整體效果較差。

②評(píng)價(jià)反饋

中國(guó)大學(xué)MOOC的課程都配有學(xué)習(xí)檢測(cè)，包括作業(yè)和測(cè)驗(yàn)（考試）等考核方式，因此能很好地督促用戶學(xué)習(xí)，起到鞏固知識(shí)、強(qiáng)化技能的作用。另外，用戶可以對(duì)課程與教學(xué)進(jìn)行評(píng)價(jià);而網(wǎng)易公開(kāi)課雖然在課程中設(shè)有“評(píng)論”功能，但由于缺少科學(xué)有效的考核機(jī)制，用戶無(wú)法對(duì)學(xué)習(xí)結(jié)果進(jìn)行檢測(cè)。

③學(xué)習(xí)管理

中國(guó)大學(xué)MOOC設(shè)有“學(xué)習(xí)計(jì)劃”功能，用戶可以通過(guò)定制計(jì)劃，獲得專屬學(xué)習(xí)日歷;與此相應(yīng)的是網(wǎng)易公開(kāi)課推出的體系化學(xué)習(xí)任務(wù)——“我的一萬(wàn)分鐘”功能，方便用戶自主安排學(xué)習(xí)時(shí)間，但涉及課程數(shù)量很少、門類不全。此外，中國(guó)大學(xué)MOOC的課程都設(shè)有“公告”模塊，提供詳細(xì)的課程信息;而網(wǎng)易公開(kāi)課因?yàn)槿狈φn程通知、課程大綱等，所以不利于用戶篩選課程。

基于以上討論，不難看出中國(guó)大學(xué)MOOC和網(wǎng)易公開(kāi)課這兩款平臺(tái)類教育App都有清晰的產(chǎn)品定位和目標(biāo)用戶。中國(guó)大學(xué)MOOC旨在打破大學(xué)之間的資源壁壘，讓更多的人有機(jī)會(huì)接觸到名校、名師的精彩課程，通過(guò)與教師或同伴的在線交流、討論，具備認(rèn)知存在、教學(xué)存在和社會(huì)存在，為現(xiàn)代個(gè)性化教育提供新的可能。網(wǎng)易公開(kāi)課盡管缺乏師生互動(dòng)，具有單向傳播的缺點(diǎn)，但這與其自身定位相契合，網(wǎng)易公開(kāi)課的定位一直不是系統(tǒng)教學(xué)和專業(yè)培訓(xùn)，而是開(kāi)拓眼界、培養(yǎng)興趣，展示國(guó)內(nèi)外優(yōu)秀公開(kāi)課，它更像是一個(gè)引路人，將用戶帶到入口處，給用戶某一領(lǐng)域的整體認(rèn)識(shí)，卻無(wú)法滿足深度學(xué)習(xí)的需求。

五、結(jié)束語(yǔ)

《2019中國(guó)在線教育行業(yè)市場(chǎng)前瞻分析報(bào)告》指出，“2015-2018年上半年，在線教育用戶保持較高增速，手機(jī)在線教育用戶占在線教育用戶的比重不斷上升。2018年上半年，在線教育用戶已經(jīng)達(dá)到1.72億人，手機(jī)在線教育用戶已經(jīng)達(dá)到1.42億人，手機(jī)在線教育用戶占在線教育用戶的比重超過(guò)80%”?？梢?jiàn)，教育App擁有龐大的用戶群，市場(chǎng)前景不容小覷。平臺(tái)類教育App作為在線教育和移動(dòng)學(xué)習(xí)結(jié)合的產(chǎn)物，要想打出自己的天地，需要有明確的產(chǎn)品定位和目標(biāo)用戶，差異化才能擺脫淤泥的困擾，踏足向上的階梯。

本研究構(gòu)建的評(píng)價(jià)指標(biāo)體系以滿足用戶個(gè)性化的學(xué)習(xí)需求為根本原則，在文獻(xiàn)分析的基礎(chǔ)上，綜合運(yùn)用德?tīng)柗品ā哟畏治龇ê湍：C合評(píng)價(jià)法，闡釋了平臺(tái)類教育App在教育性、功能性、易用性和可靠性上的量化評(píng)價(jià)過(guò)程與結(jié)果，一方面為用戶的選擇提供依據(jù)，另一方面為App的優(yōu)化提供建議。

但由于平臺(tái)類教育App中課程的分類繁多（如音頻課程和視頻課程、國(guó)內(nèi)課程和國(guó)際課程、紀(jì)錄片和演講等），無(wú)法對(duì)其有一個(gè)統(tǒng)一的評(píng)價(jià)標(biāo)準(zhǔn)，因此如果用戶在以學(xué)習(xí)內(nèi)容為導(dǎo)向選擇App時(shí)，還應(yīng)該結(jié)合大眾口碑或具體的課程信息進(jìn)行選擇。

參考文獻(xiàn)：

[1]我國(guó)教育App總數(shù)超7萬(wàn) 幼教類吸金能力最強(qiáng) [EB/OL].http：//www.cnii.com.cn/mobileinternet/2014-12/04/content _1490334.htm.

[2]新浪教育，尼爾森調(diào)查公司.2014中國(guó)教育App行業(yè)發(fā)展及用戶行為研究報(bào)告[R].

[3]師書恩.計(jì)算機(jī)輔助教學(xué)軟件的評(píng)價(jià)[J].現(xiàn)代教育技術(shù)，2001（1）：60-63+77.

[4]ISO 9241-210.Ergonomics of Human-System Interaction-Part 210：Human-Centred Design for Interactive Systems[S].2010.

[5]Bernd H.Schmitt.Experiential Marketing：How to Get Customers to Sense，F(xiàn)eel，Think，Act，Relate to Your Company and Brands[M].New York：Free Press，1999：17.

[6]Robert Rubinoff.How to Quantify the User Experience[J].Retrieved，2004，5（10）：4-21.

[7]Hassenzahl，Burmester，Lehner，et al. Hedonic and ergonomic quality aspects determine a software's Appeal[J].Interacting with Computers，2000，37（6）：116-121.

[8]Whitney Quesenbery，Kevin Brooks.Storytelling for User Experience：Crafting Stories for Better Design [M].New York：Rosenfeld Media，2010：42-43.

[9]Jesse James Garrett.The Elements of User Experience：User-Centered Design for the Web[M].Berkeley：New Riders Press，2002：34-35.

[10]Peter Morvile.User Experience Design[EB/OL].http：//semanticstudios.com/user_experience_design.

[11]趙學(xué)銘，舒珺，張振興.基于用戶體驗(yàn)的移動(dòng)學(xué)習(xí)App評(píng)價(jià)研究[J].黑龍江科技信息，2017（2）：186-189.

[12]喻帥英.移動(dòng)學(xué)習(xí)App的可用性綜合評(píng)價(jià)研究[D].杭州：浙江工業(yè)大學(xué)，2017.

[13]張熠，朱琪，李孟.用戶體驗(yàn)視角下國(guó)內(nèi)移動(dòng)學(xué)習(xí)App評(píng)價(jià)指標(biāo)體系構(gòu)建——基于D-S證據(jù)理論[J].情報(bào)雜志，2019，38（2）：187-194.

[14]王春枝，斯琴.德?tīng)柗品ㄖ械臄?shù)據(jù)統(tǒng)計(jì)處理方法及其應(yīng)用研究[J].內(nèi)蒙古財(cái)經(jīng)學(xué)院學(xué)報(bào)（綜合版），2011，9（4）：92-96.

[15]劉蕾，黃斌.論信息技術(shù)與中小學(xué)信息技術(shù)課程的整合——以微型教學(xué)視頻的應(yīng)用為例[J].教育觀察，2018，7（22）：17-21.（編輯：李曉萍）