高等教育中的MOOC大數(shù)據(jù)分析

文/Chris Dede Andrew Ho&Piotr Mitros

高等教育中的MOOC大數(shù)據(jù)分析

文/Chris Dede Andrew Ho&Piotr Mitros

高等教育中數(shù)據(jù)密集型研究和分析所面臨的重大挑戰(zhàn)，在于探尋適當(dāng)?shù)姆椒?，從?dāng)今正在生成的、極其豐富的數(shù)據(jù)集中提取出知識(shí)，并提煉成為對(duì)學(xué)生、教師和公眾有用的信息。

技術(shù)和方法的進(jìn)步使人們獲得了前所未有的基于大數(shù)據(jù)的決策能力。大數(shù)據(jù)已經(jīng)在商業(yè)、娛樂、科學(xué)、技術(shù)和工程領(lǐng)域中充分確立了這一用途。高等教育盡管也在決策領(lǐng)域中利用了大數(shù)據(jù)，但在教學(xué)的實(shí)際應(yīng)用中仍然非常稀有。

高等教育所面臨的獨(dú)特挑戰(zhàn)阻礙了這些應(yīng)用。在高等教育行業(yè)中，有效采集、清洗、分析和發(fā)布大數(shù)據(jù)集所需的計(jì)算設(shè)施、工具和人員能力都嚴(yán)重匱乏。此外，學(xué)校在學(xué)生數(shù)據(jù)的采集和分析中面臨著隱私和安全問題的挑戰(zhàn)，這一挑戰(zhàn)在很多科學(xué)學(xué)科中并不存在。并且，高等教育關(guān)注長期目標(biāo)，如就業(yè)能力、批判性思維，以及健康的公民生活等。由于這些結(jié)果難以衡量，尤其是在短期研究中，因此在高等教育中我們要以理論或?qū)嵺`的依據(jù)作為短期內(nèi)進(jìn)行衡量的替代。

除了利用教學(xué)過程中形成的實(shí)時(shí)、診斷性數(shù)據(jù)來提升學(xué)生學(xué)習(xí)效果，數(shù)據(jù)密集型的研究和分析還可以實(shí)質(zhì)性地促進(jìn)高等教育實(shí)踐的演進(jìn)。提升我們的能力，以迅速處理和理解目前不斷增長的大型、異質(zhì)、嘈雜和豐富的數(shù)據(jù)集，將是值得邁出的下一步。

大數(shù)據(jù)和MOOC

2011年，META Group的分析師Doug Laney，用了一組以“V”開頭的詞語來描述大數(shù)據(jù)，以指稱不斷增長的數(shù)據(jù)規(guī)模（Volume容量），持續(xù)加快的數(shù)據(jù)生成和分析速率（Velocity速度）和不斷擴(kuò)大的來源、格式和形式（Variety多樣）。其他研究者增加了Veracity（真實(shí)性），以表示不同來源中參差不齊的數(shù)據(jù)質(zhì)量，包括數(shù)據(jù)的范圍、準(zhǔn)確度和時(shí)效性上的顯著差異。本文對(duì)高等教育中大數(shù)據(jù)分析的希望和困境的討論，特別強(qiáng)調(diào)真實(shí)性因素。

此外，作為高等教育中數(shù)據(jù)密集型研究和分析的機(jī)遇，MOOC（大規(guī)模開放式在線課程）是本文的一個(gè)關(guān)注點(diǎn)。MOOC演示了從學(xué)習(xí)環(huán)境中采集到的多種類型的大數(shù)據(jù)。大量數(shù)據(jù)不僅有通過采集于多個(gè)學(xué)習(xí)者的廣度數(shù)據(jù)，也有單個(gè)學(xué)習(xí)者經(jīng)歷中的深度數(shù)據(jù)。MOOC中的數(shù)據(jù)涵蓋了歷時(shí)數(shù)據(jù)（如單個(gè)學(xué)生橫跨多年的若干門課程），豐富社交數(shù)據(jù)（如集體解決問題的視頻會(huì)議錄像），以及特定活動(dòng)的細(xì)節(jié)數(shù)據(jù)（如在觀看不同視頻片段、教育游戲或問題解決過程中的個(gè)人行為等）。數(shù)據(jù)的深度不僅受某個(gè)學(xué)生數(shù)據(jù)的原始容量決定，還受到情境信息可用程度的決定。

這些類型的高等教育大數(shù)據(jù)有潛力為提高學(xué)生的學(xué)習(xí)效果創(chuàng)造以下機(jī)遇：

通過適應(yīng)性學(xué)習(xí)或者基于能力的教育（CBE），以使學(xué)生掌握學(xué)習(xí)內(nèi)容的過程更加個(gè)性化；

迅速深入地診斷學(xué)習(xí)需求或課程難點(diǎn)，將系統(tǒng)性思考、團(tuán)隊(duì)合作和解決問題等能力評(píng)價(jià)納入深入和真實(shí)的學(xué)科領(lǐng)域知識(shí)評(píng)價(jià)中，以實(shí)現(xiàn)更好的學(xué)習(xí)效果；

采取目標(biāo)導(dǎo)向的干預(yù)，來提升學(xué)生學(xué)習(xí)效果并降低學(xué)生和院校的總體成本；

利用基于游戲的學(xué)習(xí)和評(píng)價(jià)環(huán)境，使學(xué)生在復(fù)雜的信息和決策情形中學(xué)習(xí)。

復(fù)雜技能評(píng)價(jià)中大數(shù)據(jù)的價(jià)值

高等教育課堂中的傳統(tǒng)評(píng)價(jià)方式的頻度不高，形式也有限，無論是在設(shè)計(jì)方面（采用命題作文和多項(xiàng)選擇題方式），還是在評(píng)價(jià)反饋方面（往往是延后的和主觀的）。教育技術(shù)的進(jìn)步提供了可行方法，用來評(píng)測(cè)學(xué)生在諸如工程設(shè)計(jì)問題和自由寫作等真實(shí)任務(wù)中的表現(xiàn)。通過對(duì)這類任務(wù)進(jìn)行評(píng)測(cè)，能夠提高對(duì)學(xué)生學(xué)習(xí)效果評(píng)測(cè)的相關(guān)性和精確性，能夠根據(jù)特定學(xué)生的需求調(diào)整教學(xué)，也能夠就一系列學(xué)習(xí)問題提供個(gè)性化的反饋。

此外，社交互動(dòng)也逐漸從面對(duì)面轉(zhuǎn)成了在線方式。大數(shù)據(jù)可以對(duì)學(xué)生與學(xué)生之間的互動(dòng)進(jìn)行詳細(xì)追蹤。通過整合社交數(shù)據(jù)和其他數(shù)據(jù)，也許能對(duì)更加復(fù)雜的問題解決技能和團(tuán)隊(duì)合作的技能進(jìn)行評(píng)測(cè)。要實(shí)現(xiàn)這個(gè)希望，就要探尋能分析異質(zhì)來源的數(shù)據(jù)并提取出測(cè)量結(jié)果的方法，這與科學(xué)和工程領(lǐng)域中已經(jīng)出現(xiàn)的類似進(jìn)步是并行的。

過去二十年中，教育技術(shù)的這一項(xiàng)基礎(chǔ)進(jìn)步是和教育技術(shù)的大范圍采用密切相關(guān)的。數(shù)字化的評(píng)價(jià)使得直接審視相關(guān)的真實(shí)表現(xiàn)成為可能。此前，廣泛用于大量學(xué)生情形的數(shù)據(jù)主要來源于標(biāo)準(zhǔn)化考試或標(biāo)準(zhǔn)化研究工具，例如物理學(xué)中的“力學(xué)概念目錄”（Force Concept Inventory）。這些評(píng)價(jià)的時(shí)間長度都很短。其結(jié)果就是，評(píng)價(jià)內(nèi)容要么包含了大量的小問題，能保證評(píng)價(jià)結(jié)果準(zhǔn)確，但是無法捕捉耗時(shí)較長的復(fù)雜技能；要么涵蓋了少量的大問題，在單個(gè)學(xué)生情況上缺乏準(zhǔn)確度。

與此相反， MOOC課程中的很多數(shù)據(jù)來源于正在完成大量復(fù)雜問題的學(xué)生，而且這些問題是他們?nèi)粘Ｕn程學(xué)習(xí)的一部分。例如，編號(hào)為6.002X的《電路與電子》是edX/MITx的首門課程，其中考查內(nèi)容幾乎全都是由和表現(xiàn)相關(guān)的任務(wù)構(gòu)成的。學(xué)生以公式、數(shù)字或電路的形式完成對(duì)設(shè)計(jì)和分析問題的回答。這類問題的解決方案幾乎是無限的，答案不可能是靠猜的。必要時(shí)，學(xué)生可以多次提交答案并獲得反饋，直到最終解決問題為止。這些考查很花時(shí)間：在大多數(shù)周，課程僅僅安排四次考查，但要完成這些考查需要10～20個(gè)小時(shí)的功課。類似的和表現(xiàn)相關(guān)的考查在諸如化學(xué)、生物、物理和計(jì)算機(jī)科學(xué)等課程中都已經(jīng)得到采用。對(duì)于給定的學(xué)生，如果把在多門課程中的這種復(fù)雜的評(píng)價(jià)結(jié)果合并到一起，將會(huì)形成與問題解決技能和合作活動(dòng)相關(guān)的豐富數(shù)據(jù)。

研究者可以采集到與單個(gè)學(xué)生的行為有關(guān)的細(xì)粒度的數(shù)據(jù)。通過分析正確和錯(cuò)誤答案以及得到答案的行為，這些數(shù)據(jù)可以提供學(xué)習(xí)軌跡的特性的細(xì)節(jié)。延伸研究展示了新手和專家的問題解決策略的差異。專家能夠積累信息，例如看到一個(gè)模擬電路就能夠記起這個(gè)電路，但是新手就記不起來。這就可能會(huì)導(dǎo)致行為模式的差異，比如新手會(huì)向前滾動(dòng)內(nèi)容。豐富的考查數(shù)據(jù)可以提供專家技能培養(yǎng)方面的信息。同時(shí)還可以記錄某個(gè)學(xué)生在某個(gè)問題組上翻頁的次數(shù)，或者是在課本中查找公式的次數(shù)，然后就可以研究這些變量中的哪些包含了能夠表示專家技能的數(shù)據(jù)。

隨著數(shù)字化的團(tuán)隊(duì)工作越來越多地引入到課程中，服務(wù)器日志文件中出現(xiàn)了更多的社交追蹤軌跡。這些日志文件有助于識(shí)別在團(tuán)隊(duì)工作中表現(xiàn)不佳或表現(xiàn)突出的學(xué)生，而且可以直接測(cè)量單個(gè)學(xué)生對(duì)團(tuán)隊(duì)的貢獻(xiàn)。這些系統(tǒng)可以提供充足的數(shù)據(jù)作為起點(diǎn)，用于探尋形成良好的團(tuán)隊(duì)整體表現(xiàn)的行為模式。這些模式可以用來向?qū)W生反饋相關(guān)信息以提升團(tuán)隊(duì)表現(xiàn)。還有自然語言處理程序框架，例如開源的edX EASE and Discern，當(dāng)然主要用于對(duì)短小答案打分，但也可以用于對(duì)社交活動(dòng)進(jìn)行分析，諸如電子郵件和論壇發(fā)帖等。這些程序框架有希望實(shí)現(xiàn)對(duì)書寫過程和群體動(dòng)態(tài)的洞察力。

最后，除了對(duì)單門課程的內(nèi)部進(jìn)行觀察以外，MOOC數(shù)據(jù)系統(tǒng)還使得對(duì)學(xué)生教育軌跡的歷時(shí)性分析成為可能。大多數(shù)案例中，獨(dú)立的時(shí)間點(diǎn)上得不到值得關(guān)注的學(xué)習(xí)相關(guān)信息；對(duì)學(xué)生教育經(jīng)歷中的所有項(xiàng)目加以審視就能更加精確的估計(jì)學(xué)習(xí)的效果和水平。學(xué)習(xí)分析系統(tǒng)正在越來越向著匯聚多門課程的多個(gè)來源數(shù)據(jù)的方向發(fā)展。開源的分析框架，如edX Insights或Tin Can，都為學(xué)生的所有數(shù)字化學(xué)習(xí)活動(dòng)提供了通用的數(shù)據(jù)倉庫。

數(shù)據(jù)創(chuàng)造

分析上的很多困境都是因?yàn)樯賳柫艘粋€(gè)問題，即“數(shù)據(jù)從哪里來？”數(shù)據(jù)采集和數(shù)據(jù)挖掘兩個(gè)短語都隱含著一個(gè)意思：數(shù)據(jù)就在那兒，等著研究者去挖掘和采集。在教育研究中，我們?cè)O(shè)想數(shù)據(jù)創(chuàng)造這個(gè)更加有用的觀點(diǎn)，因?yàn)檫@可以把分析師的注意力集中到最初的數(shù)據(jù)形成過程上。按照這個(gè)觀點(diǎn)，大數(shù)據(jù)的形成之所以重要，不僅是由于從現(xiàn)有情境中提取數(shù)據(jù)的新方法，而且是由于新出現(xiàn)的情境。創(chuàng)建一門MOOC課程、在線教育游戲、學(xué)習(xí)管理系統(tǒng)或在線考試，我們就能采集數(shù)據(jù)；不過更重要的是，在新情境中創(chuàng)造數(shù)據(jù)，而且是在一個(gè)恰好能夠采集這些數(shù)據(jù)的情境中。

這是一個(gè)相當(dāng)重要的觀點(diǎn)?；谶@一觀點(diǎn)的前期工作沒有將MOOC課程視為新型課程，而是視為新的情境，其中的入學(xué)、聽課、課程和成果等傳統(tǒng)術(shù)語都要重新定義。MOOC課程的特征是異質(zhì)的參與者，異步的使用，和入學(xué)的低門檻——這樣的描述關(guān)注到了MOOC課程不同于貌似相近的在校教育和在線教育的原因。在MOOC課程的情境中，有人也許會(huì)主張說退學(xué)是許多MOOC參與者想要的結(jié)果，因?yàn)樗麄兊囊鈭D僅僅是瀏覽和尋找一個(gè)合適的課程。因此，在研究提升課程完成率時(shí)首先要解決一個(gè)問題，即作為一個(gè)不切實(shí)際的行為，完成MOOC課程是否是人們實(shí)際上想要的，以及是否要將研究范圍縮小到那些確實(shí)想完成課程的人們身上。MOOC研究中的分析還面臨著其他挑戰(zhàn)，包括實(shí)驗(yàn)組間的流失率差異和嚴(yán)重扭曲的分布等。

不僅是MOOC，要理解基于數(shù)據(jù)密集型或大數(shù)據(jù)導(dǎo)向的工作，都要置身于數(shù)據(jù)形成過程的情境中。特殊的情境和過程經(jīng)常在教育大數(shù)據(jù)研究中出現(xiàn)。當(dāng)在特殊的情境和過程中進(jìn)行研究時(shí)，研究結(jié)果到底是這種特殊情境的特性，亦或是有普遍意義的、對(duì)認(rèn)知科學(xué)的學(xué)習(xí)領(lǐng)域的貢獻(xiàn)，就難以區(qū)分了。大數(shù)據(jù)研究并不天然地隱含跨情境的可復(fù)現(xiàn)性。盡管如此，大數(shù)據(jù)可以實(shí)現(xiàn)與其他情境中的數(shù)據(jù)集的關(guān)聯(lián)，相應(yīng)地，對(duì)研究結(jié)論在其他情境中普遍適用的程度進(jìn)行評(píng)估也就成為可能。

定義MOOC“學(xué)生”

上文已經(jīng)主張不要將教育中的數(shù)據(jù)密集型情境視為熟悉的含有數(shù)據(jù)的情境，而是視為不熟悉的可以從中采集數(shù)據(jù)的情境。我們相信，這個(gè)觀點(diǎn)可以有效地將研究重新聚焦于對(duì)這些情境的描述，并決定其中的研究發(fā)現(xiàn)能否以及如何普遍地適用于其他更加熟悉的情境之中。對(duì)哈佛大學(xué)和麻省理工學(xué)院的開放式在線課程的研究已經(jīng)發(fā)現(xiàn)，參與學(xué)習(xí)者的年齡、教育背景和地理位置有令人關(guān)注的多樣性，連同大量教師的課程參與和變化多樣的初始投入。我們和其他研究者主張，這樣的特點(diǎn)使MOOC課程難以評(píng)價(jià)；其中，不加鑒別地使用“完成率”作為一項(xiàng)產(chǎn)出指標(biāo)的做法尤其有問題。如何定義MOOC的衡量指標(biāo)并能取得一致，正是這一難點(diǎn)展示的一項(xiàng)挑戰(zhàn)。

在線內(nèi)容和在線課程有什么差別？答案可能是這樣的：內(nèi)容無論是被消費(fèi)或者未被消費(fèi)，幾乎都不需要照料；而在課程中，開設(shè)者和學(xué)生對(duì)于特定的學(xué)習(xí)目標(biāo)有共同的承諾。如果在一門課程中沒有學(xué)習(xí)到知識(shí)，學(xué)生會(huì)失望，院校也應(yīng)當(dāng)會(huì)失望。這種失敗的學(xué)習(xí)必須要加以糾正。答案還可能是這樣的：課程是有學(xué)習(xí)活動(dòng)和結(jié)構(gòu)的；而內(nèi)容是被動(dòng)的、形式是自由的。通過利用數(shù)據(jù)不斷地向教師和學(xué)生提供反饋，這種積極的做法是高等教育中數(shù)據(jù)密集型分析和研究的一部分潛力。

內(nèi)容本身算是一項(xiàng)貢獻(xiàn)，而且某些教師和院校提供的也只有內(nèi)容而已。但是，如果僅僅提供內(nèi)容的話，會(huì)導(dǎo)致完成MOOC課程的學(xué)生更可能是那些知道自己需要什么的學(xué)生，那些自我激勵(lì)的學(xué)生，以及那些用必要的時(shí)間和技能保持學(xué)習(xí)進(jìn)展與課程進(jìn)度接近的學(xué)生。研究中普遍發(fā)現(xiàn)，受到過大學(xué)教育和來自于美國的富裕地區(qū)的MOOC注冊(cè)學(xué)生不成比例地集中，這與上述假設(shè)是一致的。如果沒有諸如學(xué)分、補(bǔ)習(xí)、問責(zé)等教學(xué)制度要素，在缺少有目標(biāo)的干預(yù)措施的情況下，MOOC課程不太可能會(huì)縮小美國的成績差距，而只有一些MOOC課程提供了這種干預(yù)措施。當(dāng)然，縮小成績差距對(duì)于發(fā)揮MOOC課程的積極作用而言既無必要又不足夠，因?yàn)镸OOC課程已經(jīng)大規(guī)模地提高了課程的可用程度。然而，既然到了將縮小成績差距作為目標(biāo)的程度，那么相關(guān)的努力就需要可觀的資源和全力專注的使命。

出于自我評(píng)估的需要，MOOC提供商們應(yīng)當(dāng)對(duì)堅(jiān)定學(xué)習(xí)者（committed learner）下一個(gè)定義，并且使注冊(cè)學(xué)生和公眾了解這一定義。堅(jiān)定學(xué)習(xí)者的一個(gè)可行定義是：一個(gè)注冊(cè)學(xué)生，他或她聲明承諾為完成課程而投入，且在線活躍時(shí)間至少有5小時(shí)。對(duì)于一個(gè)學(xué)生，如果要理解他或她正在參與的是一項(xiàng)怎樣的課程，這個(gè)時(shí)間（正如四處閑逛的“購物時(shí)間”一樣）看起來充足；而且，這個(gè)時(shí)間投入帶來的完成率可以達(dá)到50%（根據(jù)哈佛大學(xué)和麻省理工學(xué)院數(shù)據(jù)）。按照當(dāng)前許多MOOC提供者使用的另一個(gè)定義，一個(gè)堅(jiān)定學(xué)習(xí)者是至少在一次作業(yè)中完成了一個(gè)問題的學(xué)生。根據(jù)相應(yīng)的MOOC數(shù)據(jù)，符合這一定義的學(xué)生的完成率接近25%。教師和院?？梢怨_堅(jiān)定學(xué)習(xí)者的數(shù)量以及完成率，為他們負(fù)責(zé)，并且努力在當(dāng)前的基準(zhǔn)上提升他們的數(shù)量和完成率。

重要的是，堅(jiān)定學(xué)習(xí)者的這一定義并不排除其他的參與者。在此模型中，好奇的瀏覽者、很少看視頻的聽課者（聽眾）、尋找資料的教師都會(huì)用MOOC，只要他們?cè)敢?。這些學(xué)習(xí)者可以按照反映MOOC滿足需求程度的適當(dāng)尺度繼續(xù)進(jìn)行劃分。只要課程的教師和管理者了解課程的參與者，教學(xué)的本質(zhì)就是要使得教師和管理者在幫助MOOC參與者達(dá)到目標(biāo)方面負(fù)起責(zé)任。在校高等教育中大數(shù)據(jù)帶來的機(jī)遇也和這一本質(zhì)是類似的。

數(shù)據(jù)：用于預(yù)測(cè)還是學(xué)習(xí)？

對(duì)于數(shù)字化學(xué)習(xí)數(shù)據(jù)的最常見疑問就是預(yù)測(cè)，包括對(duì)畢業(yè)、流失，以及諸如修習(xí)課程模式等對(duì)未來產(chǎn)出的預(yù)測(cè)。但是需要牢記的一點(diǎn)是，在所有教育改革過程中，衡量預(yù)測(cè)和實(shí)際產(chǎn)出之間差距的預(yù)測(cè)標(biāo)準(zhǔn)都是不準(zhǔn)確的。相反地，衡量采用預(yù)測(cè)算法時(shí)學(xué)生的學(xué)習(xí)效果和沒有預(yù)測(cè)算法時(shí)的差距，這個(gè)標(biāo)準(zhǔn)才有重大意義。我們發(fā)現(xiàn)，人們對(duì)技術(shù)復(fù)雜的預(yù)測(cè)模型和對(duì)錯(cuò)綜曲折的學(xué)習(xí)途徑的關(guān)注是不成比例的。而且，為了確定學(xué)生和教師是否能使用數(shù)字化工具來提高學(xué)習(xí)效果，要進(jìn)行嚴(yán)格的實(shí)驗(yàn)設(shè)計(jì)，但是極少有人關(guān)注此事。

簡而言之，如果預(yù)測(cè)模型說某個(gè)學(xué)生將會(huì)失敗，我們要讓這個(gè)預(yù)測(cè)只有在無法干預(yù)的情況下才能成真。如果這個(gè)學(xué)生真的失敗了，應(yīng)當(dāng)看作是整個(gè)系統(tǒng)的失敗。預(yù)測(cè)模型應(yīng)該是預(yù)測(cè)-響應(yīng)系統(tǒng)的一部分，這個(gè)系統(tǒng)要對(duì)沒有響應(yīng)的失敗情況做出準(zhǔn)確預(yù)測(cè)，而且啟動(dòng)響應(yīng)使得預(yù)測(cè)變成錯(cuò)誤（例如，準(zhǔn)確預(yù)測(cè)在特定的干預(yù)下學(xué)生將會(huì)成功）。在良好的預(yù)測(cè)-響應(yīng)系統(tǒng)中，所有預(yù)測(cè)都最終被負(fù)反饋調(diào)整。展現(xiàn)這一效果的最佳經(jīng)驗(yàn)方式是在系統(tǒng)分派上引入隨機(jī)變量，例如將預(yù)測(cè)-響應(yīng)系統(tǒng)隨機(jī)地分派給部分學(xué)生而不是全部學(xué)生。這個(gè)方法極少用于在校高等教育，而數(shù)字化數(shù)據(jù)的存在使之變得可行。

在MOOC中評(píng)價(jià)復(fù)雜技能

將評(píng)測(cè)方法作為教學(xué)設(shè)計(jì)的目標(biāo)之一會(huì)帶來實(shí)質(zhì)性的挑戰(zhàn)。課程作業(yè)和考核有多個(gè)目標(biāo)：

作為持續(xù)監(jiān)控學(xué)生所了解內(nèi)容的方法。這可以使教師和學(xué)生將教學(xué)調(diào)整到難點(diǎn)區(qū)域。

作為學(xué)生習(xí)得新信息的主要方法。在很多學(xué)科中，大多數(shù)的習(xí)得都是通過作業(yè)實(shí)現(xiàn)的，學(xué)生在作業(yè)中應(yīng)用、推導(dǎo)或構(gòu)建知識(shí)，而不是在課堂講授、視頻或閱讀中。

作為評(píng)分的關(guān)鍵組成部分。評(píng)分有多重目標(biāo)，從驗(yàn)證學(xué)生的完成情況，到激勵(lì)學(xué)生的期望行為。

作為學(xué)生、教師、院校和課程的總結(jié)性評(píng)價(jià)。總結(jié)性評(píng)價(jià)有很多高等級(jí)的目標(biāo)，例如學(xué)生的畢業(yè)和學(xué)校的認(rèn)證等。

不同的研究社群強(qiáng)調(diào)不同的目標(biāo)，因而為如何構(gòu)建良好的評(píng)價(jià)提出了不同原則。例如，量化方向的心理計(jì)量學(xué)家可能會(huì)強(qiáng)調(diào)可靠性和可比性，因此一般都要達(dá)到高水平標(biāo)準(zhǔn)化。相反，物理教育研究社群可能更強(qiáng)調(diào)概念，通過深入的練習(xí)，迅速的反饋，積極的學(xué)習(xí)和建設(shè)性學(xué)習(xí)等方式。

結(jié)論

盡管教育經(jīng)歷的許多目標(biāo)難以被衡量，但是高等教育中數(shù)據(jù)密集型研究和分析可以幫助人們改進(jìn)、控制和理解那些可以被衡量的目標(biāo)。目前可用數(shù)據(jù)的廣度和深度有潛力從根本上改善學(xué)習(xí)效果。我們相信，當(dāng)前在數(shù)據(jù)密集型研究和分析上發(fā)生的一切，可以與顯微鏡和望遠(yuǎn)鏡的發(fā)明相提并論。這些發(fā)明揭示出了此前一直存在但從未被獲取的數(shù)據(jù)。

數(shù)字化評(píng)價(jià)長期以來都是解放教師時(shí)間的有效方法，特別是在混合學(xué)習(xí)環(huán)境中，同時(shí)也是進(jìn)行即時(shí)的形成性反饋的有效方法。在此基礎(chǔ)上的后續(xù)工作，一方面向著真實(shí)性評(píng)價(jià)的方向發(fā)展；另一方面，要為了迅速準(zhǔn)確對(duì)學(xué)生的問題進(jìn)行評(píng)價(jià)反饋，而尋求人類和機(jī)器共同協(xié)調(diào)工作的方法。其中數(shù)據(jù)從多樣的來源中集成而來，通過歷時(shí)性的采集而來。

隨著這一改變，我們擁有的數(shù)據(jù)涵蓋了學(xué)生技能的幾乎所有方面，包括高等教育力圖促進(jìn)發(fā)展的復(fù)雜技能，在現(xiàn)代經(jīng)濟(jì)中，這是比單純的事實(shí)知識(shí)更加重要的能力。這為我們帶來了以更深入、更頻繁、更迅速的方式來評(píng)價(jià)高等教育學(xué)生的潛力，擴(kuò)展了學(xué)生和教師監(jiān)控學(xué)習(xí)效果的視野，包括對(duì)高等級(jí)技能的評(píng)價(jià)并提供個(gè)性化的基于這類評(píng)價(jià)的反饋。然而，理解這些數(shù)據(jù)所需的工具（例如edX ORA、Insights、EASE和Discern）都還處于萌芽階段。高等教育中的數(shù)據(jù)密集型研究和分析所面臨的巨大挑戰(zhàn)，在于探尋從目前產(chǎn)生出來的、極度豐富的數(shù)據(jù)中提取知識(shí)的方法，也在于將這些理解整合到學(xué)生、校園、教師和課程設(shè)計(jì)的圖景中去。

（來自EDUCAUSE Review； 翻譯：陳強(qiáng)）