基于用戶視角的大學人工智能慕課質(zhì)量評價研究

錢小龍 羅利君

摘要：慕課是一種新的教學模式，對傳統(tǒng)課堂、教學模式、教育理念等產(chǎn)生了巨大的沖擊，促進了高等教育的改革?；谟脩粢暯菍η迦A大學在學堂在線網(wǎng)站上開設(shè)的人工智能慕課進行質(zhì)量評價，結(jié)果表明，學習者對成就價值、課程內(nèi)容和策略的滿意度較高，人工智能慕課在教學資源、教學方法、互動交流等方面仍需改進。未來，慕課的發(fā)展策略應(yīng)當包括：明確課程目標，拓展教學資源;改革教學方法，強化教學設(shè)計;加強教師能力，改革考核評價;重視社交功能，增進師生交流和同伴交互。

關(guān)鍵詞：人工智能;慕課：學習體驗;用戶視角

中圖分類號：G434 文獻標識碼：A 文章分類號：1674-7089（2020）02-0117-10

作者簡介：錢小龍，博士，南通大學教育科學學院教授，碩士研究生導(dǎo)師;羅利君，上海師范大學教育學院碩士研究生。

一、研究背景

慕課（MOOC）的概念源于國外，是指大規(guī)模在線開放課程，這是一種新型教學模式，打破了時間和空間的限制，能夠為學習者提供豐富的課程資源和個性化的推薦。在大數(shù)據(jù)、云計算等技術(shù)的支持下，高等院校廣泛使用慕課，可以為師生提供更多的教育資源和更好的學習體驗，從而有效推進高等教育教學模式和教學理念的改革，提高教學質(zhì)量，在一定程度上加速我國教育現(xiàn)代化的進程。國家支持是人工智能教育發(fā)展的有效保障，教育部于2018年4月印發(fā)了《高等學校人工智能創(chuàng)新行動計劃》，要求優(yōu)化高校人工智能領(lǐng)域科技創(chuàng)新體系，完善人工智能領(lǐng)域人才培養(yǎng)體系。國家高度重視人工智能教育，積極鼓勵、引導(dǎo)高校在相關(guān)慕課平臺上開設(shè)人工智能領(lǐng)域的慕課。

中南大學通過愛課程網(wǎng)提供的人工智能PK人類智能課程在2012年就人選國家精品視頻公開課建設(shè)計劃，成為首批播出的課程之一，受到公眾歡迎與好評。國內(nèi)幾大慕課平臺都積極開設(shè)人工智能方面的在線課程，例如學堂在線、中國大學MOOC、華文慕課等均開設(shè)了人工智能前沿與產(chǎn)業(yè)趨勢等課程。這些課程介紹了人工智能技術(shù)的概念、發(fā)展歷史、應(yīng)用領(lǐng)域、對人類社會的影響和應(yīng)用發(fā)展前景等相關(guān)知識，為大家打開了學習人工智能的大門。但是，考慮到通俗易懂的要求，為了保證普及性，這些課程的專業(yè)性并不強。目前，在一定專業(yè)基礎(chǔ)上的深入研究型課程比較少。

清華大學主動對接國家戰(zhàn)略，呼應(yīng)《新一代人工智能發(fā)展規(guī)劃》的要求，落實教育部《高等學校人工智能創(chuàng)新行動計劃》要求，推進“新工科”建設(shè)，在學堂在線網(wǎng)站上積極開設(shè)人工智能慕課。本研究的人工智能慕課是指在慕課平臺上開設(shè)的人工智能專業(yè)課程，包括以概率統(tǒng)計為基礎(chǔ)的數(shù)學課程，以編程和系統(tǒng)為基礎(chǔ)的計算機課程，以及以知識表達、問題求解和機器學習為基礎(chǔ)的人工智能課程，而不是指將人工智能技術(shù)運用于慕課教學?；谏鲜霰尘?，對清華大學人工智能慕課展開質(zhì)量評價研究。

二、文獻回顧

（一）國內(nèi)研究現(xiàn)狀

慕課的實際教學效果關(guān)系著慕課能否獲得可持續(xù)發(fā)展，國內(nèi)不少學者對慕課質(zhì)量評價展開了研究。馮雪松等從量化考核和定性描述的兩個視角出發(fā)，并基于北京大學的慕課的實踐，提出了慕課的評價指標體系。王璐等依據(jù)扎根理論，考慮學習者的需要，設(shè)計了慕課課程質(zhì)量評價指標體系。鞏永華等提出了基于知識轉(zhuǎn)移效率的慕課教學質(zhì)量評價指標體系，為慕課課程建設(shè)與評價提供了新的思路。這些研究的重點不同，但很少有學者從用戶滿意度的角度對慕課質(zhì)量進行評價。此外，針對人工智能慕課的文獻較少，現(xiàn)有研究主要集中在課程內(nèi)容設(shè)計、教學改革實踐等方面。因此，開展人工智能慕課質(zhì)量評價具有一定價值。

（二）國外研究現(xiàn)狀

當前，人工智能時代已經(jīng)來臨，培養(yǎng)人工智能人才成為社會發(fā)展的必然要求，各國高度支持人工智能教育的發(fā)展，將人工智能納入教學內(nèi)容，開設(shè)人工智能課程。一些著名的高校和公司在Edx、Coursera等平臺開設(shè)了人工智能課程。哥倫比亞大學創(chuàng)建了Micro Masters，可以供全世界的學習者在Edx網(wǎng)站上使用，學習者能夠理解人工智能的指導(dǎo)原則，將機器學習等概念應(yīng)用于現(xiàn)實生活。關(guān)于人工智能慕課的研究，學者們的研究角度各有不同。Liu認為，人工智能課程內(nèi)容豐富、錯綜復(fù)雜，傳統(tǒng)教學方法難以滿足教學需要，應(yīng)開設(shè)人工智能慕課，便于學習者掌握抽象的知識。Goel等將認知的原理和實踐融合在一起，介紹了課程的設(shè)計、實施和評估等環(huán)節(jié)，探討如何拓展人工智能的教學。

國外學者從不同的角度進行慕課質(zhì)量評價研究，以規(guī)范和推進慕課建設(shè)。Espada等認為，慕課平臺的用戶體驗會影響課程質(zhì)量，提出了一個可量化的指標以反映用戶體驗的演變，從而更好地促進慕課課程的建設(shè)。Dyomin等研究了托木斯克州立大學（TSU）的慕課評價系統(tǒng)，分析數(shù)據(jù)樣本，發(fā)現(xiàn)不同慕課（大眾科學和專業(yè)課程）的質(zhì)量評價存在顯著差異，他們認為不同類型課程的質(zhì)量標準應(yīng)當是不同的。Stracke提出了一種新的慕課質(zhì)量評價指標，即從學習者個體目標和意圖的完成情況著手評價，而不是測量失學率。相對而言，國外慕課質(zhì)量評價的研究比較成熟。

三、研究設(shè)計與研究過程

（一）研究設(shè)計

慕課的質(zhì)量在很大程度上會影響學習者的學習體驗，依據(jù)一定評價指標設(shè)置評價量表，可以對清華大學人工智能慕課課程進行全方位的、客觀的評價，以便發(fā)現(xiàn)人工智能慕課在發(fā)展過程中存在的問題，提出有針對性的改進措施，從而促進人工智能慕課的發(fā)展，順應(yīng)人工智能時代的需求，并對其他慕課的建設(shè)提供參考。關(guān)于網(wǎng)絡(luò)課程質(zhì)量的研究比較多，慕課是一種在線教育方式，可以依據(jù)現(xiàn)有的網(wǎng)絡(luò)課程和網(wǎng)絡(luò)資源的評價標準設(shè)計慕課的課程評價指標。2012年，教育部教育信息化技術(shù)標準委員會起草了《網(wǎng)絡(luò)課程評價規(guī)范（cELTS-22.1）》，給網(wǎng)絡(luò)課程提供了參考依據(jù)和質(zhì)量評價模型，但是這項規(guī)范存在重等級評定、輕質(zhì)量改進，重競爭、輕合作等缺點。

在《網(wǎng)絡(luò)課程評價規(guī)范（cELTS-22.1）》的基礎(chǔ)上，結(jié)合2018年印發(fā)的《教育部辦公廳關(guān)于開展2018年國家精品在線開放課程認定工作的通知》和慕課的特征，設(shè)計了清華大學人工智能慕課質(zhì)量評價指標體系。該指標體系分為5個維度，包括14個二級指標，25個三級指標，如表1所示。

（二）研究過程

1.設(shè)計問卷

根據(jù)上述評價指標體系，借助問卷星平臺設(shè)計清華大學人工智能慕課質(zhì)量評價的調(diào)查問卷。問卷總共有三個部分：第一部分是被調(diào)查者的基本信息;第二部分是質(zhì)量評價模塊，根據(jù)評價指標體系的三級指標制定了25道單項選擇題，每題均有5個選項，即“很不滿意”“不滿意”“一般”“滿意”“很滿意”，分別記1～5分;第三部分是主觀題，針對學習者對清華大學人工智能慕課的體驗，請他們提出意見，以提高慕課質(zhì)量。我們向通過學堂在線網(wǎng)站學習清華大學人工智能慕課的用戶發(fā)放了120份問卷，回收問卷110份。經(jīng)檢驗，這110份問卷皆為有效問卷。在分析數(shù)據(jù)之前，需要分析問卷的信度和效度以衡量問卷的有效性和準確性。經(jīng)檢驗，本研究中問卷的信度為0.982，大于0.9;KMO值為0.953，大于0.6，而BaItlett球形度檢驗的sig值是0.000，小于0.01，問卷具有很好的結(jié)構(gòu)次序，獲得的數(shù)據(jù)信度和效度均滿足分析要求。

2.確定權(quán)重

評價指標框架確定后，需要對各項指標在整個評價指標體系中的重要程度進行量化分析，即確定指標權(quán)重。文中，指標權(quán)重的確定主要采用了統(tǒng)計加權(quán)方法，邀請10位專家對指標的重要性進行排序，并利用公式Wi=（∑Aj×nij）/（n×∑Ai）計算出一級指標權(quán)重，i為項數(shù)，j為等級序號。結(jié)果如表2所示。

借鑒《地方高校院系本科教學工作考核的研究與實踐》中提出的方法，計算一級、二級指標的平均分和得分率。得分率是指平均得分占該等級指標全分的百分比。也就是說，平均分=該級指標得分/問卷人數(shù)/該級指標下的同一級別指標的個數(shù)。得分率=[平均分/（權(quán)重×100）]×100%。例如二級指標“教學內(nèi)容”的平均分為[（1×1+2×0+3×11+4×65+5×33）+（1×1+2×1+3×20+4×52+5×36）]/110/2=4.136，得分率為[4.136/（0.11×100）]×100%=37.6%。如表3所示。將二級指標的得分率求平均，得到一級指標的得分率，如表4所示。

四、結(jié)果分析

（一）客觀數(shù)據(jù)分析

本研究設(shè)計了5個維度，分別是課程內(nèi)容與策略、課程活動、學習支持、課程平臺、成就價值。根據(jù)表3和表4的數(shù)據(jù)，可以分析學習者的學習滿意度。

由表4數(shù)據(jù)發(fā)現(xiàn)，學習者對課程內(nèi)容與策略、成就價值的評價最高，表明學習者對這兩方面比較滿意。課程活動和學習支持的得分較低，說明在課程教學中，這兩個方面需要改進之處較多。而且，課程活動、學習支持會影響學習者的成就價值，進而影響滿意度，所以要不斷提高和改進。由表3可知，內(nèi)容目標一致性的得分率較高，說明課程內(nèi)容與教學目標相適應(yīng)，目標清晰明確并且能夠涵蓋課程的各項學習目標。教學內(nèi)容的得分率最低，說明學習者對教學的組織結(jié)構(gòu)和內(nèi)容的合理性、科學性、豐富性等方面不滿意。

為了進一步進行慕課質(zhì)量評價，筆者借助問卷每一小題的平均得分，分析每一個維度的二級指標。

1.課程內(nèi)容與策略維度的類目數(shù)據(jù)分析

課程內(nèi)容與策略維度主要包括課程說明、內(nèi)容目標一致性、教學內(nèi)容、教學資源、教學方法等5個二級指標。在課程內(nèi)容和策略維度中，課程說明這個二級指標的平均分最高，為4.16，說明人工智能慕課課程基本上明確告知了課程目標和開課時間，安排了常見問題解答，學習者比較滿意。教學方法這個二級指標的平均得分最低，為4.12，說明學習者對教學方法不是特別滿意。未來，案例教學、動畫展示、任務(wù)驅(qū)動等方法應(yīng)當?shù)玫礁嗟倪\用。

2.課程活動維度的類目數(shù)據(jù)分析

課程活動維度包括互動交流和學習評價2個二級指標。互動交流和學習評價的平均得分為4.04和4.08，說明學習者對課程活動模塊整體上是肯定的，但是相比其他指標，得分較低。進一步分析發(fā)現(xiàn)，互動交流包含的三級指標對應(yīng)的題目得分分別為4.04、4.03、4.04，說明在教師和助教及時協(xié)助答疑、參與討論，搭建課程以外的交流平臺（例如微信群、公眾號）促進學伴交互協(xié)作，提供充分的交互機會讓學習者討論或協(xié)作解決問題等方面有所欠缺。學習評價主要包含2個三級指標，對應(yīng)的小題得分為4.06和4.10。該指標得分較高，說明課程的教學評價環(huán)節(jié)符合學習者的期望，課程所采用的評價方法、評價工具比較成熟。

3.學習支持維度的類目數(shù)據(jù)分析

學習支持維度包括教師支持、同伴支持2個二級指標，得分均值為4.09。通過分析發(fā)現(xiàn)，“教師具有較高的教學水平和學術(shù)水平，較強的組織能力和管理能力;教師團隊優(yōu)秀，成員結(jié)構(gòu)合理;團隊成員分工明確，課程維護積極有效”這一題得分為4.15。而“在課程和非課程平臺中，學生提出的問題能夠得到同伴的反饋，在學習過程中能夠自發(fā)組成學習共同體進行學習”這一題的得分為4.03。這說明在慕課學習中，同伴交互是不充分的。在學習過程中，不僅要強調(diào)人機互動、師生互動，更應(yīng)該關(guān)注同伴交互，組建學習團體，營造良好的學習氛圍，這一點需要改進和強化。

4.課程平臺維度的類目數(shù)據(jù)分析

課程平臺維度包括2個二級指標和4個三級指標，最終的平均值為4.16。進一步分析每一小題的得分發(fā)現(xiàn)，可用性二級指標對應(yīng)的題目得分為4.15、4.21，這說明學習者能夠隨時隨地使用任意終端設(shè)備獲取流暢的視頻，滿意度較高。界面設(shè)計二級指標的2個小題的得分為4.11、4.17，在一定程度上說明學堂在線的課程導(dǎo)航系統(tǒng)直觀明確、方便使用，但是界面設(shè)計難以令人滿意，文本、圖形等可視元素的搭配不太協(xié)調(diào)，表現(xiàn)形式較為單一。對慕課平臺來說，這些方面需要不斷加以完善。

5.成就價值維度的類目數(shù)據(jù)分析

成就價值維度包括3個二級指標和3個三級指標，得分均值為4.13。這個分數(shù)說明學習者通過學習慕課，專業(yè)知識和技能得到了提升，意識到慕課對今后的學習有幫助，認同課程的價值。

（二）主觀數(shù)據(jù)分析

在清華大學人工智能慕課質(zhì)量評價問卷的最后，有一個主觀題，“您對清華大學人工智能慕課的建設(shè)有哪些建議？”回答包括：采用多媒體輔助教學，教學時多舉例子，課程內(nèi)容更貼近人工智能行業(yè)要求，更多的互動和反饋，建設(shè)高校聯(lián)盟，希望授課老師是這個專業(yè)里有權(quán)威的人士，希望更多“雙一流”名校開設(shè)更多的相關(guān)課程，采用多樣化的教學方式激發(fā)學生的學習興趣，希望能進一步挖掘細節(jié)的知識……分析主觀題的答案，調(diào)查對象的建議可以分為8個方面，分別是教師隊伍、課程平臺、教學內(nèi)容、教學策略、拓展資源、教學評價、學習支持、交流互動。對數(shù)據(jù)進行統(tǒng)計分析，結(jié)果如表5所示。

根據(jù)表5，學習者關(guān)于清華大學人工智能慕課的建議主要集中在教學內(nèi)容和教學策略方面，分別有35條和26條。進一步分析教學內(nèi)容這一項，發(fā)現(xiàn)建議主要針對教學內(nèi)容的豐富性、趣味性、多樣性、前沿性等。分析有關(guān)教學策略的建議，發(fā)現(xiàn)案例的使用、任務(wù)驅(qū)動、演示法、教學方法的多樣性、教學媒體的合理使用等受到學習者的重視。

關(guān)于教學評價，有受訪者提到，可以在視頻中插入嵌入式問題，這種方法有利于學習者保持注意力，教師也能得到及時反饋。此外，同伴互評是學生自主學習、合作學習的重要一環(huán)，在學堂在線中，缺少同伴互評這一環(huán)，受訪者針對這個問題提出的建議具有一定的實踐意義。關(guān)于教師隊伍的建議，受訪者主要針對教師的精神狀態(tài)和儀表、教師隊伍建設(shè)等問題提出了自己的想法。清華大學人工智能慕課課程包括人工智能前言、產(chǎn)業(yè)趨勢、大數(shù)據(jù)科學與應(yīng)用等一系列講座和課程，邀請了國內(nèi)AI領(lǐng)域的專業(yè)人員、互聯(lián)網(wǎng)公司的技術(shù)負責人等進行講授，學習者可以獲得很好的學習體驗，因此，關(guān)于師資力量的建議很有意義。拓展資源和課程平臺方面的建議較少，但是不代表這兩個方面不重要。在學習型社會中，人們必須學會學習，秉持活到老、學到老的理念。所謂師傅領(lǐng)進門，修行靠個人，人們可以根據(jù)拓展資源深入學習。教師提供的拓展資源可以幫助學生加深理解，提高學習效果。關(guān)于課程平臺的建設(shè)，學習者針對學堂在線網(wǎng)站的不足，建議修改界面，增加課程評價模塊。

五、策略建議

（一）明確課程目標，拓展教學資源

在新時代背景下，人工智能人才的培養(yǎng)是衡量一個國家核心競爭力的重要指標。根據(jù)全面育人、終身教育的理念，教育的目標應(yīng)該是培養(yǎng)具有批判性思維、創(chuàng)新能力、自主性、跨學科思維的學生。在人工智能慕課教學過程中，需要高度重視計算思維的培養(yǎng)，這樣的課程目標對學習者提出了更高的期望，符合智能時代高素質(zhì)人才的要求。慕課教學內(nèi)容的深度、廣度會對學習者的學習興趣和效果產(chǎn)生重要影響。徐振國等認為，教學內(nèi)容陳舊、教學內(nèi)容與學習者的心理期待有落差等是學習者中途輟學的重要因素。豐富且具有拓展性的教學資源可以提高學習興趣，學習者在學習人工智能慕課時不能局限于教師講授的知識。人工智能是一個交叉學科，本質(zhì)是對人類思維進行模擬，因此，人工智能慕課的涉及面很廣。作為學生學習的引導(dǎo)者，教師有責任培養(yǎng)學習者的自主探索能力。教師可以給學習者推薦參考書目，提供拓展視頻的鏈接等，幫助學生及時了解學術(shù)會議和頂級期刊的動態(tài)，開拓學生的眼界，使學生不局限于慕課，深化在慕課中學到的知識。

（二）改革教學方法，強化教學設(shè)計

當學習者使用在線教育平臺時，視頻是他們學習的主要媒體資源。視頻的時長會影響學習者的學習體驗，進而影響完成率，一般為5～10分鐘較好。視頻過長或過短都會降低學習效率，而且視頻的切分不能僅考慮教學內(nèi)容所需要的時間，更應(yīng)該考慮教學內(nèi)容的內(nèi)在邏輯結(jié)構(gòu)，過短的視頻不利于學生建立完整的學習內(nèi)容框架。此外，國務(wù)院于2017年發(fā)布了《新一代人工智能發(fā)展規(guī)劃》，部署了開展智慧教育的相關(guān)工作，要求以思維創(chuàng)新、教學方法創(chuàng)新等落實教育創(chuàng)新。人工智能慕課內(nèi)容抽象、涉及面廣，在教學過程中不能簡單地羅列知識點，要盡量少用專業(yè)術(shù)語分析問題，建議大量采用實戰(zhàn)性、趣味性的案例開展教學。這樣可以幫助學生理解抽象的概念，使學習者不僅能識記，更能領(lǐng)會，進而加深理解。針對一些實踐性較強的課程，建議采用任務(wù)驅(qū)動式教學?？傊?，在教學方法的改革過程中，教師應(yīng)結(jié)合課程目標，以學生為主體，激發(fā)學習興趣，提高學習意識。

（三）加強教師能力，改革考核評價

在慕課的學習過程中，教師的能力非常重要，在很大程度上會影響學習效果。較高的教學水平、學術(shù)水平和良好的教學風范、組織管理能力是每個教師都應(yīng)當具備的。學習動機是將學習者的學習需要和學習目標聯(lián)系起來的關(guān)鍵，推動并調(diào)節(jié)學習者感知、記憶和學習，直到解決問題。教師適當提高學生的學習動機，可以使學生的學習效率變高，從而獲得較好的學習效果。第一，教師應(yīng)該積極參加培訓(xùn)，學習相關(guān)知識，不斷提高教學能力、創(chuàng)新意識和創(chuàng)新能力，豐富自己的教學智慧。第二，教師在教學過程中應(yīng)當多多采用邀請性的語氣，用溫和而幽默的方式激發(fā)學習興趣，使學習者內(nèi)心產(chǎn)生學習的意愿。第三，教師應(yīng)不斷進行學習動機的理論研究，以便更好地輔助教學。傳統(tǒng)的面授型教學方式多以考試測驗作為教學效果評估手段，根據(jù)教學目的，教學效果評估可以分成診斷性評價、形成性評價和終結(jié)性評價，因此，課后習題、單元測試、期末測試較為常見，在嵌入式問題、同伴互評等方面有所欠缺。在慕課的教學效果評價中，應(yīng)針對這些缺陷，實現(xiàn)評價方式多元化，使學習者得到及時的、人性化的評價，有利于提高學習效果。

（四）重視社交功能，增進師生交流和同伴交互

教學平臺不僅要實現(xiàn)學生和教學內(nèi)容之間的交互，還要實現(xiàn)教師和學生之間的交流，學生和學生之間的互動。協(xié)作學習是指不同的學習者彼此負責，共同付出努力進行學習。師生交流和同伴交互能夠促進協(xié)作學習。因此，除了常規(guī)的論壇討論，教師應(yīng)該努力搭建更多的交流平臺（如建立微信群、QQ群等），提供充分的交流互動機會，提高學習者的社交體驗和學習效果。此外，同伴互評能夠增強學習體驗，激發(fā)學習動機，提高社會責任感，幫助學習者加深對知識的理解，進行自我反思。慕課的學習者數(shù)量龐大，教師、助教在批閱作業(yè)時工作量很大，因此，引入同伴互評是一個有效的方法。

（責任編輯：沈丹）