• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    學(xué)習(xí)分析能夠支持學(xué)習(xí)設(shè)計決策嗎?

    2023-08-26 23:38:14郭婉瑢馮曉英宋佳欣
    電化教育研究 2023年8期
    關(guān)鍵詞:學(xué)習(xí)分析設(shè)計分析

    郭婉瑢 馮曉英 宋佳欣

    [摘? ?要] 學(xué)習(xí)分析的最終目標(biāo)在于支持學(xué)習(xí)設(shè)計決策,在實踐層面更好地促進(jìn)基于證據(jù)的教學(xué)改進(jìn)。研究通過對設(shè)計分析視角下的學(xué)習(xí)分析研究進(jìn)行系統(tǒng)性文獻(xiàn)綜述,分析了學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的層次、方法及路徑。研究結(jié)果表明,學(xué)習(xí)分析尚不能完全支持學(xué)習(xí)設(shè)計決策,可以通過基于學(xué)習(xí)理論提出設(shè)計分析框架、關(guān)注研究變量的階段性和連續(xù)性、選擇理論驅(qū)動的技術(shù)方法三方面助力學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策。為了更好地促進(jìn)學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策,需要解決設(shè)計分析的堵點問題,打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán),雙向賦能為教學(xué)改進(jìn)提供循證基礎(chǔ)。

    [關(guān)鍵詞] 學(xué)習(xí)分析; 學(xué)習(xí)設(shè)計; 設(shè)計分析; 系統(tǒng)性文獻(xiàn)綜述

    [中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

    [作者簡介] 郭婉瑢(1994—),女,甘肅蘭州人。博士研究生,主要從事學(xué)習(xí)設(shè)計與學(xué)習(xí)分析、教師專業(yè)發(fā)展等研究。E-mail:gwr31010067@mail.bnu.edu.cn。

    一、引? ?言

    在新一代信息技術(shù)革命的背景下,教育教學(xué)實踐已經(jīng)由傳統(tǒng)基于經(jīng)驗的教學(xué)改進(jìn)向基于證據(jù)的教學(xué)改進(jìn)轉(zhuǎn)變[1],而學(xué)習(xí)分析領(lǐng)域的深入發(fā)展為促進(jìn)基于證據(jù)的教學(xué)改進(jìn)提供了抓手,能夠通過整體性的方法和數(shù)據(jù)為改進(jìn)學(xué)習(xí)、教學(xué)、組織以及決策提供見解[2-3],最終服務(wù)于學(xué)習(xí)設(shè)計決策,這個過程能夠有效為教育教學(xué)的改進(jìn)提供證據(jù)。

    (一)學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的發(fā)展脈絡(luò)

    自2011年第一屆學(xué)習(xí)分析與知識國際會議(LAK)舉辦以來,學(xué)習(xí)分析領(lǐng)域經(jīng)歷了從“學(xué)習(xí)分析技術(shù)”到“學(xué)習(xí)分析”再到“學(xué)習(xí)分析學(xué)”的發(fā)展脈絡(luò)[4],而通過學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策一直是學(xué)習(xí)分析貫穿始終的核心目標(biāo)。研究從學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的視角,梳理了學(xué)習(xí)分析的發(fā)展脈絡(luò),發(fā)現(xiàn)其歷經(jīng)了以下四個階段。

    階段一:準(zhǔn)備探索階段(2011—2012年),強調(diào)學(xué)習(xí)分析技術(shù)的開發(fā)。注重學(xué)習(xí)分析技術(shù)的開發(fā)和應(yīng)用,探索學(xué)習(xí)分析的技術(shù)研發(fā)和發(fā)展策略。該階段對學(xué)習(xí)分析領(lǐng)域的研究處于準(zhǔn)備和探索期,尚未對學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策予以較多關(guān)注。

    階段二:整合應(yīng)用階段(2013—2014年),立足學(xué)習(xí)與分析領(lǐng)域的整合應(yīng)用。由于學(xué)習(xí)與分析的進(jìn)一步整合,有學(xué)者開始提出學(xué)習(xí)設(shè)計影響學(xué)習(xí)分析的觀點[2],也逐步衍生出學(xué)習(xí)分析難以有效支持學(xué)習(xí)設(shè)計決策的一系列問題[5]。

    階段三:多元發(fā)展階段(2015—2018年),著眼學(xué)習(xí)分析的跨學(xué)科融合和多模態(tài)分析。旨在發(fā)揮學(xué)習(xí)分析學(xué)科領(lǐng)域的多樣性和多模態(tài)優(yōu)勢,拓展理解和改進(jìn)學(xué)習(xí)設(shè)計決策的視角。例如,有研究通過學(xué)習(xí)者、環(huán)境和學(xué)習(xí)活動中的多模態(tài)數(shù)據(jù)來預(yù)測學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀態(tài),給予及時的學(xué)習(xí)設(shè)計決策支持[6-7]。

    階段四:融合深化階段(2019年至今),聚焦學(xué)習(xí)分析與學(xué)習(xí)設(shè)計領(lǐng)域的融合發(fā)展。學(xué)習(xí)分析領(lǐng)域意識到,在理論基礎(chǔ)缺位的情況下收集、分析、解釋和預(yù)測學(xué)習(xí)數(shù)據(jù),會導(dǎo)致數(shù)據(jù)驅(qū)動的研究難以深入理解教育教學(xué)的理念和要素[8-9],因此,學(xué)習(xí)分析開始回歸教育的本質(zhì)屬性。實踐層面表現(xiàn)為開始反思能否通過學(xué)習(xí)分析實現(xiàn)基于證據(jù)的教學(xué)改進(jìn),研究層面逐步開始反思學(xué)習(xí)分析研究能否真正支持學(xué)習(xí)設(shè)計決策,其中一些學(xué)者認(rèn)為學(xué)習(xí)分析有效支持學(xué)習(xí)設(shè)計決策需要打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán)[10-11],設(shè)計分析的概念也應(yīng)運而生。

    (二)設(shè)計分析的概念內(nèi)涵

    目前對于設(shè)計分析的內(nèi)涵理解有狹義和廣義兩種,在目標(biāo)、數(shù)據(jù)、與學(xué)習(xí)分析的關(guān)系界定上均有所不同(見表1)。狹義上的設(shè)計分析只關(guān)注設(shè)計態(tài)的分析,指采用學(xué)習(xí)分析的技術(shù)方法,對學(xué)習(xí)設(shè)計的過程要素進(jìn)行分析,提出對學(xué)習(xí)設(shè)計決策的建議,本質(zhì)上是通過對學(xué)習(xí)設(shè)計方案的分析,支持學(xué)習(xí)設(shè)計的改進(jìn)和優(yōu)化。例如,埃爾南德斯等人提出的AL4LD框架[11],框架中的設(shè)計分析層是對設(shè)計分析狹義概念的延展。

    廣義上的設(shè)計分析既關(guān)注設(shè)計態(tài)的分析,也關(guān)注實施態(tài)的分析[12-13],指采用學(xué)習(xí)分析的技術(shù)方法,對學(xué)習(xí)設(shè)計、學(xué)習(xí)過程、學(xué)習(xí)結(jié)果的過程數(shù)據(jù)進(jìn)行分析,提出對學(xué)習(xí)設(shè)計決策以及教學(xué)實施過程的綜合改進(jìn)建議,本質(zhì)上是通過對設(shè)計態(tài)和實施態(tài)的分析,支持基于證據(jù)鏈的全過程教學(xué)改進(jìn),打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán)。

    為了讓理論研究更好地服務(wù)于實踐層面的教育教學(xué)決策,不僅需要對學(xué)習(xí)設(shè)計方案本身進(jìn)行改進(jìn),更需要實現(xiàn)以學(xué)習(xí)設(shè)計為起點的、基于全過程證據(jù)鏈的教學(xué)改進(jìn)。因此,既需要關(guān)注設(shè)計態(tài),也需要關(guān)注實施態(tài),需要解決的關(guān)鍵問題是如何打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán),而設(shè)計分析為打通閉環(huán)提供了方法論。為解決目前研究與實踐層面的關(guān)鍵問題,研究通過系統(tǒng)循證的逐層剖析,綜述學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的層次、效果和方法路徑,為打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán),促進(jìn)基于證據(jù)的教學(xué)改進(jìn)指明方向。

    二、 學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的分析框架

    學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度有很大差異,而這個差異主要體現(xiàn)在兩個維度上:一是學(xué)習(xí)分析對學(xué)習(xí)設(shè)計的解釋力度,二是學(xué)習(xí)分析對學(xué)習(xí)設(shè)計的分析粒度。根據(jù)學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的強弱程度,研究構(gòu)建了如圖1所示的分析框架。

    (一)解釋力度

    解釋力度指學(xué)習(xí)分析的結(jié)果能否轉(zhuǎn)換或表征為學(xué)習(xí)設(shè)計決策的方法或策略,能否為學(xué)習(xí)設(shè)計的改進(jìn)和優(yōu)化提供明確的路徑,其強弱水平取決于學(xué)習(xí)設(shè)計決策意見的具體程度,解釋力度強的研究能夠更好地為學(xué)習(xí)設(shè)計決策提供證據(jù)[14]。

    (二)分析粒度

    研究中通常以學(xué)習(xí)設(shè)計的分層嵌套關(guān)系為劃分依據(jù),因此,分析粒度從粗到細(xì)包括了學(xué)習(xí)環(huán)境、學(xué)習(xí)活動、學(xué)習(xí)策略等。細(xì)粒度的學(xué)習(xí)活動與粗粒度的學(xué)習(xí)活動相比,能夠更細(xì)致地在微觀層面挖掘?qū)W習(xí)規(guī)律[15],提升學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度。

    三、 研究方法和過程

    (一)研究問題

    本研究旨在通過系統(tǒng)性文獻(xiàn)綜述(Systematic Review)法,以設(shè)計分析為視角,探究學(xué)習(xí)分析研究能否支持學(xué)習(xí)設(shè)計決策。研究問題包括:(1)學(xué)習(xí)分析研究能否支持學(xué)習(xí)設(shè)計決策,支持的效果如何;(2)學(xué)習(xí)分析研究是如何支持學(xué)習(xí)設(shè)計決策的;(3)如何打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán)。

    (二)研究方法與過程

    研究對國際學(xué)習(xí)分析領(lǐng)域核心期刊和會議論文進(jìn)行檢索、篩選和評估。研究過程包括計劃、檢索文獻(xiàn)、評估文獻(xiàn)質(zhì)量、抽取數(shù)據(jù)、整合數(shù)據(jù)、撰寫綜述六個具體的步驟[16]。

    1. 檢索文獻(xiàn)

    目前,設(shè)計分析視角的學(xué)習(xí)分析實證研究數(shù)量比較有限,因此,為了更加全面、準(zhǔn)確地定位相關(guān)主題的高質(zhì)量文獻(xiàn),研究借鑒系統(tǒng)性文獻(xiàn)綜述期刊篩選方法[17],選取五種關(guān)注學(xué)習(xí)分析主題的國際核心期刊作為文獻(xiàn)來源,包括Internet and Higher Education、Computers & Education、International Journal of Computer-Supported Collaborative Learning、British Journal of Education Technology、Interactive Learning Environments。此外,學(xué)習(xí)分析與知識國際會議(LAK)是學(xué)習(xí)分析領(lǐng)域最具影響力的研究論壇之一,為學(xué)習(xí)分析領(lǐng)域產(chǎn)出了諸多前沿的研究成果[18],因此,本研究將LAK會議論文作為另一重要來源進(jìn)行文獻(xiàn)篩選。最終,全文共獲取到2019—2021年間的期刊論文1310篇,LAK會議論文220篇。

    2. 評估文獻(xiàn)質(zhì)量

    為確保樣本文獻(xiàn)與研究問題的高度相關(guān)性,本研究根據(jù)研究問題制定了文獻(xiàn)納入標(biāo)準(zhǔn),包括采用實證研究方法、研究主題是“學(xué)習(xí)分析”、研究關(guān)注的“學(xué)習(xí)分析”基于“設(shè)計分析”視角、研究對“設(shè)計分析視角的學(xué)習(xí)分析”進(jìn)行準(zhǔn)確描述四項標(biāo)準(zhǔn)。對檢索到的文獻(xiàn)進(jìn)行兩輪甄別,最終納入樣本文獻(xiàn)105篇。

    3. 抽取與整合數(shù)據(jù)

    為整合設(shè)計分析視角的學(xué)習(xí)分析研究成果,需要抽取樣本文獻(xiàn)的關(guān)鍵信息。本研究基于研究問題,主要從學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的層次、理論基礎(chǔ)、研究變量、技術(shù)方法等維度對其進(jìn)行編碼分析。

    四、 學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的三個層次

    針對研究問題1,研究根據(jù)分析框架將樣本文獻(xiàn)劃分為如圖2所示的三個層次,回答學(xué)習(xí)分析研究支持學(xué)習(xí)設(shè)計決策的效果問題。

    (一)層次一:學(xué)習(xí)分析作為學(xué)習(xí)設(shè)計決策的間接證據(jù)

    層次一的研究共計23篇文獻(xiàn),這一層次研究主要在表征、分析、預(yù)測學(xué)習(xí)者的學(xué)習(xí)過程,對于學(xué)習(xí)設(shè)計的改進(jìn)建議通過基于研究結(jié)論的演繹,缺少基于學(xué)習(xí)理論或分析框架的合理證據(jù),往往需要基于經(jīng)驗的二次解釋才能為學(xué)習(xí)設(shè)計服務(wù)。例如,有研究借助各類方法技術(shù)挖掘各類學(xué)習(xí)要素與學(xué)習(xí)效果之間的關(guān)系[19],應(yīng)用各類數(shù)據(jù)預(yù)測學(xué)習(xí)效果或表征學(xué)習(xí)者的學(xué)習(xí)過程等[20-22],研究者對研究結(jié)果的解釋視角具有很強的主觀性。

    因此,該層次研究解釋力度較弱,對學(xué)習(xí)設(shè)計的分析粒度是局部的,學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度也較弱。研究結(jié)果也難以在實踐中進(jìn)行復(fù)制和重用,只能為學(xué)習(xí)設(shè)計決策提供間接的證據(jù)。

    (二)層次二:學(xué)習(xí)分析驅(qū)動的局部學(xué)習(xí)設(shè)計決策

    層次二的研究共計73篇文獻(xiàn),總體占比最高,研究解釋力度從適中到弱均有,對學(xué)習(xí)設(shè)計的分析粒度從局部到整體均有覆蓋,因此,學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度也相對適中,能夠提供支持學(xué)習(xí)設(shè)計決策的局部證據(jù)。根據(jù)學(xué)習(xí)設(shè)計要素的粒度可以把層次二研究細(xì)分為以下三類:

    1. 學(xué)習(xí)分析驅(qū)動的學(xué)習(xí)環(huán)境設(shè)計變化

    這類研究有學(xué)習(xí)環(huán)境與學(xué)習(xí)設(shè)計要素對應(yīng)的分析框架,能夠解釋學(xué)習(xí)環(huán)境設(shè)計的變化規(guī)律,為學(xué)習(xí)環(huán)境整體設(shè)計提供改進(jìn)建議。例如,有研究把不同情境下的學(xué)習(xí)投入行為對應(yīng)到學(xué)習(xí)活動的層面,對比不同學(xué)習(xí)情境中的學(xué)生投入度的差異,提出學(xué)習(xí)環(huán)境的設(shè)計決策建議[23]。

    2. 學(xué)習(xí)分析驅(qū)動的學(xué)習(xí)活動調(diào)整

    這類研究針對某一類型學(xué)習(xí)活動與學(xué)習(xí)設(shè)計要素對應(yīng)的分析框架,能夠呈現(xiàn)細(xì)粒度的學(xué)習(xí)活動的設(shè)計路徑,分析學(xué)習(xí)者在學(xué)習(xí)活動中的行為模式、認(rèn)知發(fā)展等,從而為某一類型的學(xué)習(xí)活動提供改進(jìn)建議。例如,有研究分析了學(xué)習(xí)者的課前學(xué)習(xí)模式,證明了不同課前學(xué)習(xí)模式下學(xué)生學(xué)習(xí)軌跡的差異,并基于課前學(xué)習(xí)模式提出了課前準(zhǔn)備環(huán)節(jié)的具體設(shè)計建議[24]。

    3. 學(xué)習(xí)分析驅(qū)動的學(xué)習(xí)策略選擇

    這類研究針對某一學(xué)習(xí)策略下學(xué)習(xí)者的學(xué)習(xí)效果,通過語義或行為模式的編碼呈現(xiàn)學(xué)習(xí)者的學(xué)習(xí)路徑,從而為基于學(xué)習(xí)策略的細(xì)化活動設(shè)計提出建議。例如,有研究探究社會調(diào)節(jié)學(xué)習(xí)策略對學(xué)習(xí)者的影響,通過對比學(xué)習(xí)者行為序列模式的差異,提出基于社會調(diào)節(jié)學(xué)習(xí)策略的細(xì)化活動設(shè)計建議[25]。

    以上學(xué)習(xí)分析驅(qū)動的研究只關(guān)注局部學(xué)習(xí)設(shè)計決策,能夠深入發(fā)掘某一要素學(xué)習(xí)設(shè)計的規(guī)律,對某一類環(huán)境、活動和策略的設(shè)計決策提供更準(zhǔn)確且真實的證據(jù)。但該層次的學(xué)習(xí)分析研究對學(xué)習(xí)設(shè)計決策的支持度差異較大,原因是這一類研究只能為學(xué)習(xí)設(shè)計決策提供某一類環(huán)境、活動、策略的局部支撐,分析粒度差異較大,缺乏對學(xué)習(xí)設(shè)計決策的整體性支持。

    (三)層次三:學(xué)習(xí)分析促進(jìn)學(xué)習(xí)設(shè)計的直接決策

    層次三的研究共計9篇文獻(xiàn),占比最少,解釋力度較強,對學(xué)習(xí)設(shè)計的分析粒度是整體性的,因此,學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度相對較強,能夠提供支持學(xué)習(xí)設(shè)計決策的直接證據(jù)。研究者從不同視角探索了學(xué)習(xí)分析如何直接支持學(xué)習(xí)設(shè)計決策,例如:有研究構(gòu)建了學(xué)習(xí)設(shè)計的分析模型和分析層框架[11,26];也有研究構(gòu)建了情境化的學(xué)習(xí)分析設(shè)計理論模型[27],證明與學(xué)習(xí)情境相聯(lián)結(jié)的學(xué)習(xí)分析可以直接促進(jìn)學(xué)習(xí)設(shè)計決策。

    該層次研究的優(yōu)點在于學(xué)習(xí)設(shè)計的解釋力度較強,強調(diào)學(xué)習(xí)設(shè)計與學(xué)習(xí)分析活動/要素直接的對應(yīng)和聯(lián)結(jié),理論框架和分析框架包括整體性的學(xué)習(xí)設(shè)計要素,能夠在學(xué)習(xí)過程中提供直接的學(xué)習(xí)設(shè)計決策,為打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán)提供方法路徑。但是由于研究框架的復(fù)雜性,研究的實證部分并不能完全支持研究框架的驗證,很難深入挖掘某一學(xué)習(xí)設(shè)計要素的規(guī)律。

    五、 學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的方法路徑

    對樣本文獻(xiàn)的分析發(fā)現(xiàn),理論基礎(chǔ)、研究變量和技術(shù)方法是影響學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的關(guān)鍵因素。針對研究問題2,分析出以下學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的方法路徑:

    (一)路徑一:遵循學(xué)習(xí)理論,提出明確的設(shè)計分析框架

    對研究文獻(xiàn)分析發(fā)現(xiàn),學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策支持度越高,學(xué)習(xí)理論與研究的關(guān)系越緊密,支持度高的研究不僅明確強調(diào)學(xué)習(xí)理論的指導(dǎo)作用,并能夠基于學(xué)習(xí)理論提出研究操作性層面的設(shè)計框架。層次一無學(xué)習(xí)理論基礎(chǔ)的研究最多,占總研究文獻(xiàn)的72%;層次二中有52.7%的研究文獻(xiàn)有明確的學(xué)習(xí)理論基礎(chǔ),并在此基礎(chǔ)上提出了研究的設(shè)計框架,但是沒有學(xué)習(xí)理論基礎(chǔ)的研究文獻(xiàn)仍占28.4%;層次三的研究雖然總體較少,但其中62.5%的研究文獻(xiàn)均有明確的學(xué)習(xí)理論基礎(chǔ),且基于學(xué)習(xí)理論基礎(chǔ)提出了設(shè)計分析框架。

    因此,理論基礎(chǔ)能夠為數(shù)據(jù)的選擇和解釋提供有效支撐[28]?;趯W(xué)習(xí)理論的學(xué)習(xí)分析研究能夠保障研究與實踐的一致性,同時也有助于識別數(shù)據(jù)痕跡和學(xué)習(xí)結(jié)果之間有意義的模式和關(guān)聯(lián)[8],決定需要研究哪些問題來改進(jìn)學(xué)習(xí),如何解釋分析結(jié)果,從而為學(xué)習(xí)設(shè)計決策提供可行的建議;而基于學(xué)習(xí)理論的設(shè)計分析框架,增強了學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的操作性,能夠決定選擇什么數(shù)據(jù)和分析方法,如何分析,從而為研究提供設(shè)計和分析的指南,提升學(xué)習(xí)設(shè)計決策的準(zhǔn)確性[29]。因此,為了增強學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策的支持度,學(xué)習(xí)分析需要擺脫數(shù)據(jù)陷阱,以學(xué)習(xí)理論為本位,構(gòu)建明確的學(xué)習(xí)設(shè)計分析框架,讓學(xué)習(xí)分析研究回歸支持學(xué)習(xí)設(shè)計決策的核心目標(biāo)。

    (二)路徑二:關(guān)注研究變量的階段性和連續(xù)性,強化學(xué)習(xí)分析的情境特征

    研究變量能夠決定學(xué)習(xí)變量的表征方式和支持學(xué)習(xí)設(shè)計決策的粒度。對樣本文獻(xiàn)進(jìn)行分析,發(fā)現(xiàn)學(xué)習(xí)分析對學(xué)習(xí)設(shè)計決策支持度越高,越能夠細(xì)粒度地表征學(xué)習(xí)過程,強調(diào)學(xué)習(xí)分析變量的階段性和連續(xù)性,能夠關(guān)注不同學(xué)習(xí)環(huán)境、教學(xué)設(shè)計和時間段的學(xué)習(xí)變化,將研究重點由群體差異轉(zhuǎn)移到個體的動態(tài)過程上,操作層面可以通過表征研究變量的階段性和連續(xù)性,強化學(xué)習(xí)分析的情境特征來實現(xiàn)。

    1. 學(xué)習(xí)分析變量的階段性

    有62篇研究文獻(xiàn)從不同維度上凸顯了研究變量的階段性特征,集中表現(xiàn)在以下幾個方面:

    其一,學(xué)習(xí)設(shè)計的階段性:研究會區(qū)分不同學(xué)習(xí)階段的學(xué)習(xí)設(shè)計特征,把學(xué)習(xí)活動要素表征的階段性特征納入評價范圍,分類討論不同階段的學(xué)習(xí)設(shè)計與要素的關(guān)系。例如,有研究考慮課前、課中、課后的學(xué)習(xí)設(shè)計要素與學(xué)習(xí)結(jié)果的關(guān)系[30],或者考慮更細(xì)粒度的每周的學(xué)習(xí)設(shè)計要素與學(xué)習(xí)結(jié)果的關(guān)系[31]等。

    其二,學(xué)習(xí)過程的階段性:研究會針對每一學(xué)習(xí)周期的學(xué)習(xí)過程進(jìn)行分析。例如,有研究針對開學(xué)到期中周期、期中到期末周期兩個階段表征學(xué)習(xí)者的行為表現(xiàn)或認(rèn)知特征[32]。

    其三,學(xué)習(xí)行為的階段性:這類研究會挖掘某一類學(xué)習(xí)活動的序列模式表征學(xué)習(xí)者行為。例如,有研究應(yīng)用順序挖掘表征不同類型學(xué)習(xí)者的行為模式和特征[25,33],通過行為序列更細(xì)粒度地表征學(xué)習(xí)活動的階段特征。

    2. 學(xué)習(xí)分析變量的連續(xù)性

    有11篇研究文獻(xiàn)體現(xiàn)了研究變量的連續(xù)性特征,主要體現(xiàn)在學(xué)習(xí)過程的連續(xù)統(tǒng)一結(jié)構(gòu)。這類研究會將學(xué)習(xí)過程定義為一系列連續(xù)且動態(tài)的行為過程,提煉和拆分學(xué)習(xí)過程的不同階段以及每個階段對應(yīng)的行為特征,對學(xué)習(xí)分析變量進(jìn)行細(xì)粒度的表征。例如:有研究把工程設(shè)計中的自我調(diào)節(jié)學(xué)習(xí)表征為計劃、表現(xiàn)、自我反思三個連續(xù)的階段和觀察、構(gòu)思、分析、重新構(gòu)思、評估五個連續(xù)行為的結(jié)構(gòu),表征自我調(diào)節(jié)學(xué)習(xí)過程的連續(xù)性特征[34];抑或?qū)W(xué)習(xí)過程表征為個體學(xué)習(xí)、組內(nèi)知識構(gòu)建和組間知識構(gòu)建三個連續(xù)的部分,突出表現(xiàn)集體認(rèn)知的連續(xù)和循環(huán)過程[32]。

    (三)路徑三:選擇理論驅(qū)動的技術(shù)方法,追溯學(xué)習(xí)過程的動態(tài)變化

    在研究方法方面,樣本覆蓋了質(zhì)性研究、定量研究和混合研究三種實證研究方法,分析發(fā)現(xiàn),定量研究仍然是學(xué)習(xí)分析最常用的研究方法。如圖3所示,學(xué)習(xí)分析主要采用了語義分析、描述性統(tǒng)計、推斷性統(tǒng)計三類定量研究類型和11種定量研究的具體的技術(shù)方法,支持學(xué)習(xí)設(shè)計決策效果越好的研究,會側(cè)重于選擇語義分析,或者幾種定量研究類型相融合的方法。

    技術(shù)方法決定了支持學(xué)習(xí)設(shè)計決策分析結(jié)果的表征方式和準(zhǔn)確性。文獻(xiàn)分析發(fā)現(xiàn),對學(xué)習(xí)設(shè)計決策支持度較高的學(xué)習(xí)分析研究,其技術(shù)方法呈現(xiàn)出由數(shù)據(jù)驅(qū)動轉(zhuǎn)向理論驅(qū)動的趨勢,傾向于采用分析語義特征、學(xué)習(xí)者縱向剖面特征以及學(xué)習(xí)演變過程的技術(shù)方法,一定程度上突破數(shù)據(jù)的限制,為學(xué)習(xí)設(shè)計決策提供更直接且細(xì)粒度的證據(jù)。

    1. 趨勢1:分析主題語義特征的技術(shù)方法

    研究的技術(shù)方法開始關(guān)注學(xué)習(xí)過程的主題語義特征,如數(shù)據(jù)分析方法有認(rèn)知網(wǎng)絡(luò)分析、文本主題模型分析、社會認(rèn)知網(wǎng)絡(luò)特征分析等。

    首先,關(guān)注學(xué)習(xí)過程主題語義的數(shù)據(jù)分析方法改變了通過外顯行為數(shù)據(jù)分析學(xué)習(xí)特征的方式,直接通過學(xué)習(xí)者的認(rèn)知網(wǎng)絡(luò)結(jié)構(gòu)或者主題內(nèi)容結(jié)構(gòu)進(jìn)行分析,有效增強學(xué)習(xí)設(shè)計與數(shù)據(jù)之間的關(guān)聯(lián),能夠?qū)W(xué)習(xí)過程作出更深入的評價。其次,技術(shù)方法突破了傳統(tǒng)內(nèi)容分析人工語義編碼的限制,能夠量化話語元素之間的復(fù)雜時間關(guān)系和主題分類[35-36],提供對學(xué)習(xí)過程新的理解,從而提供更細(xì)致的學(xué)習(xí)設(shè)計決策支持。

    2. 趨勢2:分析學(xué)習(xí)者縱向剖面特征的技術(shù)方法

    研究逐漸從以變量為中心的技術(shù)方法向縱向以學(xué)習(xí)者為中心的技術(shù)方法轉(zhuǎn)變,比較典型的數(shù)據(jù)分析技術(shù)方法有潛在轉(zhuǎn)換分析、潛在剖面分析等。

    以學(xué)習(xí)者為中心的縱向剖面分析能夠挖掘個人學(xué)習(xí)軌跡隨時間推移的變化過程,識別和分類具有共同學(xué)習(xí)行為模式或同一特征的學(xué)習(xí)者[24,34],提升對學(xué)習(xí)過程的理解,從而提供更加細(xì)致的學(xué)習(xí)設(shè)計原則或干預(yù)措施,進(jìn)而改進(jìn)教學(xué)。

    3. 趨勢3:分析學(xué)習(xí)演變過程的技術(shù)方法

    研究的學(xué)習(xí)分析技術(shù)方法關(guān)注捕捉學(xué)習(xí)相關(guān)變量的演變過程,典型的技術(shù)方法有過程挖掘、順序挖掘、狀態(tài)轉(zhuǎn)移分析、生存分析、共現(xiàn)分析和(隱藏)馬爾可夫模型等。

    首先,這類技術(shù)方法能夠彌補當(dāng)前靜態(tài)數(shù)據(jù)分析的方法和技術(shù)(例如頻率分析等)的不足,提供對學(xué)習(xí)過程新的解釋視角,并且有可能改變學(xué)習(xí)過程的概念[37],例如,有研究表征了學(xué)生隨著時間的推移展現(xiàn)的不同學(xué)習(xí)行為、不同類型學(xué)習(xí)者的行為模式[33,38];其次,這類技術(shù)方法能夠以整體視角分析學(xué)習(xí)行為之間的復(fù)雜關(guān)系,把學(xué)習(xí)過程和方法視為一系列細(xì)粒度行為的組合,從而提供更精準(zhǔn)的學(xué)習(xí)設(shè)計決策建議。

    六、 結(jié)論與展望

    根據(jù)本研究提出的設(shè)計分析概念內(nèi)涵和學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的路徑結(jié)果,進(jìn)一步提煉了基于證據(jù)教學(xué)改進(jìn)的要素和關(guān)鍵環(huán)節(jié),構(gòu)建了設(shè)計分析視角支持基于證據(jù)的教學(xué)改進(jìn)的系統(tǒng)模型(如圖4所示),以期深化對設(shè)計分析要素關(guān)系的認(rèn)識。

    基于證據(jù)的教學(xué)改進(jìn)包括了設(shè)計分析的設(shè)計態(tài)和實施態(tài)兩部分,這個過程既包括了設(shè)計分析的狹義概念(設(shè)計態(tài)),即對學(xué)習(xí)設(shè)計方案本身的分析和優(yōu)化,明確了研究分析的要素,需要有明確的學(xué)習(xí)理論基礎(chǔ)支撐,進(jìn)而為實施態(tài)研究提供了整體設(shè)計框架,也拓展到設(shè)計分析的廣義概念(設(shè)計態(tài)和實施態(tài)),即學(xué)習(xí)過程和學(xué)習(xí)結(jié)果的分析,再到學(xué)習(xí)設(shè)計的反饋優(yōu)化,打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán)。根據(jù)本研究提出的方法路徑,學(xué)習(xí)分析研究可以從研究變量、數(shù)據(jù)和技術(shù)方法三點著力,促進(jìn)學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策,而這個過程能夠解析學(xué)習(xí)過程和學(xué)習(xí)結(jié)果要素,在理論基礎(chǔ)的支撐下為學(xué)習(xí)設(shè)計的反饋優(yōu)化提供解釋框架。

    (一)結(jié)論

    研究基于設(shè)計分析視角,對2019—2021年105篇學(xué)習(xí)分析領(lǐng)域的高水平實證研究成果展開系統(tǒng)性文獻(xiàn)綜述,根據(jù)學(xué)習(xí)分析支持學(xué)習(xí)設(shè)計決策的層次分析,發(fā)現(xiàn)學(xué)習(xí)分析能夠在一定程度上支持學(xué)習(xí)設(shè)計決策,也有少數(shù)研究能夠直接支持學(xué)習(xí)設(shè)計決策,但是總體而言,學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán)尚未打通。

    這是因為學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán)存在堵點,導(dǎo)致在具體操作層面,研究在理論基礎(chǔ)、研究變量和技術(shù)方法上很難達(dá)到平衡。一方面,有清晰的學(xué)習(xí)設(shè)計與學(xué)習(xí)分析理論框架的研究存在“虎頭蛇尾”的現(xiàn)象,雖然對學(xué)習(xí)設(shè)計與學(xué)習(xí)分析之間的關(guān)系有清晰的操作框架,但無法根據(jù)理論框架和設(shè)計框架做深入的實證驗證;另一方面,對學(xué)習(xí)設(shè)計決策精準(zhǔn)的研究能夠通過多種技術(shù)方法對學(xué)習(xí)設(shè)計的局部決策做支撐,但是缺乏理論層面的操作框架,很難整體上支持學(xué)習(xí)設(shè)計決策。

    (二)未來展望:打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析閉環(huán)的著力點

    產(chǎn)生以上現(xiàn)象的本質(zhì)原因在于學(xué)習(xí)分析與學(xué)習(xí)設(shè)計閉環(huán)仍然存在堵點,例如,在數(shù)據(jù)層面尚未打通學(xué)習(xí)分析與學(xué)習(xí)設(shè)計的數(shù)據(jù)壁壘,在教學(xué)實踐層面缺少對教師學(xué)習(xí)設(shè)計與學(xué)習(xí)分析環(huán)節(jié)的支持等,但其中核心堵點在于如何在設(shè)計層面建立學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的強連接。因此,建議未來從以下兩方面著力解決堵點問題:

    著力點一:解決學(xué)習(xí)設(shè)計難以適應(yīng)學(xué)習(xí)分析的表征結(jié)構(gòu)的堵點。一方面,質(zhì)性的、經(jīng)驗性的學(xué)習(xí)設(shè)計缺少通用的表征方式,限制了學(xué)習(xí)設(shè)計的構(gòu)建、驗證以及傳播;另一方面,現(xiàn)有的學(xué)習(xí)設(shè)計表征結(jié)構(gòu)和學(xué)習(xí)分析量化數(shù)據(jù)挖掘之間存在不兼容的地方,例如:學(xué)習(xí)分析對于交互網(wǎng)絡(luò)、認(rèn)知網(wǎng)絡(luò)的分析結(jié)果如何對應(yīng)到學(xué)習(xí)設(shè)計上,對于學(xué)習(xí)活動認(rèn)知負(fù)荷、注意力水平的測量如何對應(yīng)到學(xué)習(xí)設(shè)計上?未來可以考慮構(gòu)建學(xué)習(xí)設(shè)計的分類框架和細(xì)粒度的學(xué)習(xí)設(shè)計表征框架,記錄學(xué)習(xí)活動的時間、序列、難度、交互等特征,促進(jìn)學(xué)習(xí)設(shè)計與學(xué)習(xí)分析展開有效對話。

    著力點二:解決學(xué)習(xí)分析指標(biāo)難以評估學(xué)習(xí)設(shè)計的堵點。由于學(xué)習(xí)環(huán)境的設(shè)計難以控制,學(xué)習(xí)分析的數(shù)據(jù)表征只能依賴系統(tǒng)已生成的指標(biāo),如學(xué)生的交互水平、登錄時長、討論質(zhì)量等,而這些指標(biāo)并不能與學(xué)習(xí)設(shè)計直接對應(yīng),很難通過學(xué)習(xí)分析的數(shù)據(jù)分析結(jié)果判斷哪些活動能夠促進(jìn)或者阻礙有效的學(xué)習(xí),也無法提供學(xué)習(xí)活動如何組織和持續(xù)的證據(jù),因此,也無法有效發(fā)揮學(xué)習(xí)分析對學(xué)習(xí)設(shè)計的解釋和改進(jìn)作用。未來可以考慮建立與學(xué)習(xí)設(shè)計數(shù)據(jù)兼容的數(shù)據(jù)特征體系和設(shè)計驅(qū)動分層嵌套的學(xué)習(xí)分析方法體系,在海量的數(shù)據(jù)中識別和提取有意義的特征,選擇匹配的學(xué)習(xí)分析方法,為學(xué)習(xí)設(shè)計精準(zhǔn)決策的落地提供可能。

    綜上所述,為了打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán),需要從解決兩者之間的堵點著力。學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的發(fā)展應(yīng)該同頻共振,未來要將學(xué)習(xí)設(shè)計作為學(xué)習(xí)分析的設(shè)計框架,增強學(xué)習(xí)分析的解釋性和操作性;要將學(xué)習(xí)分析作為學(xué)習(xí)設(shè)計的解釋框架,增強學(xué)習(xí)設(shè)計的嚴(yán)謹(jǐn)性和可行度,雙向賦能打通學(xué)習(xí)設(shè)計與學(xué)習(xí)分析的閉環(huán)。

    [參考文獻(xiàn)]

    [1] 牟智佳,高雨婷,武法提. 基于證據(jù)的教師增值評價:走向智能時代的教學(xué)效能評測[J]. 電化教育研究,2022(5):17-25.

    [2] LOCKYER L, HEATHCOTE E, DAWSON S. Informing pedagogical action: aligning learning analytics with learning design[J]. American behavioral scientist, 2013,57(10):1439-1459.

    [3] SIEMENS G, LONG P. Penetrating the fog: analytics in learning and education[J]. Educause review,2011,46(5):31-40.

    [4] 吳永和,李若晨,王浩楠.學(xué)習(xí)分析研究的現(xiàn)狀與未來發(fā)展——2017年學(xué)習(xí)分析與知識國際會議評析[J].開放教育研究,2017(5):42-56.

    [5] TERVAKARI A, KUOSA K, KORO J, et al. Teachers' learning analytics tools in a social media enhanced learning environment[C]// 2014 International Conference on Interactive Collaborative Learning. Dubai, United Arab Emirates: Institute of Electrical and Electronics Engineers Inc., 2014: 355-360.

    [6] CUKUROVA M, LUCKIN R, MILLAN E, et al. The NISPI framework: analysing collaborative problem-solving from students' physical interactions[J]. Computers & education, 2017,116:93-109.

    [7] SPIKOL D, RUFFALDI E, DABISIAS G, et al. Supervised machine learning in multimodal learning analytics for estimating success in project-based learning[J]. Journal of computer assisted learning, 2018,34(4):366-377.

    [8] GASEVIC D, KOVANOVIC V, JOKSIMOVIC S. Piecing the learning analytics puzzle: a consolidated model of a field of research and practice[J]. Learning: research and practice,2017,3(1):63-78.

    [9] MANGAROSKA K, GIANNAKOS M. Learning analytics for learning design: a systematic literature review of analytics-driven design to enhance learning[J]. Institute of electrical and electronics engineers (IEEE),2019,12(4):1-19.

    [10] LAW N, LI L, HERRERA L F, et al. A pattern language based learning design studio for an analytics informed inter-professional design community[J]. Interaction design and architecture,2017(33):92-112.

    [11] HERNANDEZ-LEO D, MARTINEZ-MALDONADO R, PARDO A, et al. Analytics for learning design: a layered framework and tools[J]. British journal of educational technology,2019,50:139-152.

    [12] KENNEDY G, CORRIN L, LOCKYER L, et al. Completing the loop: returning learning analytics to teachers[C]//31st Annual Conference of the Australian Society for Computers in Tertiary Education. Dunedin, New Zealand: Australasian Society for Computers in Learning in Tertiary Education (ASCILITE),2014:436-440.

    [13] KOEDINGER K R, STAMPER J C, MCLAUGHLIN E A, et al. Using data-driven discovery of better student models to improve student learning[C]//16th International Conference on Artificial Intelligence in Education. Memphis, TN, United States: Springer Verlag,2013:421-430.

    [14] WILEY K J, DIMITRIADIS Y, BRADFORD A, et al. From theory to action: developing and evaluating learning analytics for learning design[C]//10th International Conference on Learning Analytics and Knowledge: Shaping the Future of the Field. Frankfurt, Germany: Association for Computing Machinery,2020:569-578.

    [15] NGUYEN Q, RIENTIES B, TOETENEL L. Unravelling the dynamics of instructional practice: a longitudinal study on learning design and VLE activities[C]//7th International Conference on Learning Analytics and Knowledge. Vancouver, BC, Canada: Association for Computing Machinery,2017:168-177.

    [16] 黃甫全,游景如,涂麗娜,曾文婕. 系統(tǒng)性文獻(xiàn)綜述法:案例、步驟與價值[J]. 電化教育研究,2017(11):11-18,25.

    [17] HSU Y C, HUNG J L, CHING Y H. Trends of educational technology research: more than a decade of international research in six ssci-indexed refereed journals[J]. Educational technology research and development, 2013,61(4):685-705.

    [18] 陳雅云,郭勝男,馬曉玲,吳永和. 數(shù)智融合時代學(xué)習(xí)分析技術(shù)的演進(jìn)、貢獻(xiàn)與展望——2021學(xué)習(xí)分析與知識國際會議(LAK)評述[J]. 遠(yuǎn)程教育雜志,2021(4):3-15.

    [19] SHER V, HATALA M, GA?譒EVI■ D. Analyzing the consistency in within-activity learning patterns in blended learning[C]//10th International Conference on Learning Analytics and Knowledge: Shaping the Future of the Field. Frankfurt, Germany: Association for Computing Machinery,2020:1-10.

    [20] DOLECK T, LEMAY D J, BRINTON C G. Evaluating the efficiency of social learning networks: perspectives for harnessing learning analytics to improve discussions[J]. Computers & education, 2021,164:1-11.

    [21] ZHANG S, CHEN H X, WEN Y, et al. Exploring the influence of interactive network and collective knowledge construction mode on students' perceived collective agency[J]. Computers & education,2021,171:1-18.

    [22] VRZAKOVA H, AMON M J, STEWART A, et al. Focused or stuck together: multimodal patterns reveal triads' performance in collaborative problem solving[C]//10th International Conference on Learning Analytics and Knowledge: Shaping the Future of the Field. Frankfurt, Germany: Association for Computing Machinery,2020:295-304.

    [23] LIMA F D B, LAUTERT S L, GOMES A S. Contrasting levels of student engagement in blended and non-blended learning scenarios[J]. Computers & education, 2021,172(3):1-13.

    [24] SUN Z R, XIE K. How do students prepare in the pre-class setting of a flipped undergraduate math course? A latent profile analysis of learning behavior and the impact of achievement goals[J]. The internet and higher education,2020,46(1):1-13.

    [25] HWANG G J, WANG S Y, LAI C L. Effects of a social regulation-based online learning framework on students' learning achievements and behaviors in mathematics[J]. Computers & education,2021,160(6):1-19.

    [26] YAN H X, LIN F H, KINSHUK. Including learning analytics in the loop of self-paced online course learning design[J]. International journal of artificial intelligence in education, 2021,31(4):878-895.

    [27] SHIBANI A, KNIGHT S, SHUM S B. Contextualizable learning analytics design: a generic model, and writing analytics evaluations[C]//9th International Conference on Learning Analytics and Knowledge. Tempe, AZ, United States: Association for Computing Machinery,2019:210-219.

    [28] REIMANN P. Connecting learning analytics with learning research: the role of design-based research[J]. Learning: research and practice,2016,2(2):130-142.

    [29] BERNACKI M L, CHAVEZ M M, UESBECK P M. Predicting achievement and providing support before stem majors begin to fail[J]. Computers & education, 2020,158(6):1-19.

    [30] WANG F H . On the relationships between behaviors and achievement in technology-mediated flipped classrooms: a? two-phase online behavioral PLS-SEM model[J].Computers & education, 2019, 142:1-12.

    [31] WANG F H . Interpreting log data through the lens of learning design: second-order predictors and their relations with learning outcomes in flipped classrooms[J].Computers & Education, 2021,168:1-18.

    [32] ZHANG S, CHEN J, WEN Y, et al. Capturing regulatory patterns in online collaborative learning: a network analytic approach[J]. International journal of computer-supported collaborative learning,2021,16(1):37-66.

    [33] XING W L, TANG H T, PEI B. Beyond positive and negative emotions: looking into the role of achievement emotions in discussion forums of MOOCs[J]. The internet and higher education,2019,43:1-9.

    [34] LI S, CHEN G, XING W, et al. Longitudinal clustering of students' self-regulated learning behaviors in engineering design[J]. Computers & education, 2020,153(3):1-15.

    [35] SUN M, WANG M H, WEGERIF R, et al. How do students generate ideas together in scientific creativity tasks through computer-based mind mapping?[J]. Computers & education,2022,176:1-16.

    [36] HUJALA M, KNUTAS A, HYNNINEN T, et al. Improving the quality of teaching by utilising written student feedback: a streamlined process[J]. Computers & education,2020,157:1-15.

    [37] AZEVEDO R. Issues in dealing with sequential and temporal characteristics of self- and socially-regulated learning[J].Metacognition learning, 2014,9(2):217-228.

    [38] TSAI M J, WU A H. Visual search patterns, information selection, and information anxiety during online information problem solving[J]. Computers & education, 2021,172(11):1-15.

    Can Learning Analytics Support Learning Design Decisions?

    —A Systematic Literature Review of Learning Analytics from A Design

    Analysis Perspective

    GUO Wanrong,? FENG Xiaoying,? SONG Jiaxin

    (Laboratory of Learning Design and Learning Analysis, Beijing Normal University, Beijing 100875)

    [Abstract] The ultimate goal of learning analytics is to support learning design decisions and better facilitate evidence-based instructional improvement at the practice level. This study analyzes the levels, methods, and pathways of learning analytics to support learning design decisions through a systematic literature review of learning analytics research from the perspective of design analysis. The research results suggest that learning analytics cannot yet fully support learning design decisions, and learning analytics can be helped to support learning design decisions by proposing a design analysis framework based on learning theory, focusing on the stages and continuity of research variables, and choosing a theory-driven technical approach. In order to better facilitate learning analytics to support learning design decisions, it is necessary to solve the blockage problem of design analytics, open the closed loop of learning design and learning analytics, and provide an evidence-based foundation for instructional improvement by two-way empowerment.

    [Keywords] Learning Analytics; Learning Design; Design Analysis; Systematic Literature Review

    猜你喜歡
    學(xué)習(xí)分析設(shè)計分析
    頂蓋板沖孔機設(shè)計分析
    西江航道擴能升級工程清礁工程設(shè)計分析
    珠江水運(2016年24期)2017-01-04 08:39:47
    大數(shù)據(jù)思維下教學(xué)過程數(shù)據(jù)分析及應(yīng)用研究
    在線學(xué)習(xí)過程管理大數(shù)據(jù)的建設(shè)與應(yīng)用
    簡析小學(xué)勞動與技術(shù)教育的有效合作學(xué)習(xí)
    基于生態(tài)時代的綠色服裝設(shè)計分析
    淺談綠色節(jié)能角度下的建筑給排水設(shè)計
    現(xiàn)代光纖通信集成電路設(shè)計分析
    淺析大數(shù)據(jù)在教育中的應(yīng)用
    人間(2016年28期)2016-11-10 23:13:41
    化學(xué)實驗教學(xué)中微課程教學(xué)的設(shè)計分析
    成才之路(2016年30期)2016-10-31 10:26:43
    男女那种视频在线观看| 天堂中文最新版在线下载 | 亚洲怡红院男人天堂| 七月丁香在线播放| 欧美一区二区亚洲| 日韩高清综合在线| 国产精品久久久久久久久免| 精品国内亚洲2022精品成人| 国产极品精品免费视频能看的| 久久婷婷人人爽人人干人人爱| 床上黄色一级片| 国产高清有码在线观看视频| 日韩亚洲欧美综合| 观看免费一级毛片| 色网站视频免费| 欧美日本亚洲视频在线播放| 国产精品三级大全| 麻豆成人午夜福利视频| 十八禁国产超污无遮挡网站| 一级黄色大片毛片| 日韩精品有码人妻一区| 日本爱情动作片www.在线观看| 日韩一区二区三区影片| 天堂av国产一区二区熟女人妻| 99热这里只有精品一区| 可以在线观看毛片的网站| 看十八女毛片水多多多| 日韩中字成人| 99久久无色码亚洲精品果冻| 欧美成人免费av一区二区三区| 搡女人真爽免费视频火全软件| 亚洲激情五月婷婷啪啪| 欧美性感艳星| 美女内射精品一级片tv| 久久久久久久国产电影| 中国美白少妇内射xxxbb| 日韩人妻高清精品专区| 亚洲欧洲国产日韩| 亚洲精品国产成人久久av| 国产精品久久视频播放| 女的被弄到高潮叫床怎么办| 伦理电影大哥的女人| 亚洲精品久久久久久婷婷小说 | 亚洲最大成人手机在线| 亚洲美女搞黄在线观看| 如何舔出高潮| 国产精品永久免费网站| 高清毛片免费看| 久久久久性生活片| 成年免费大片在线观看| 国产乱来视频区| 日韩 亚洲 欧美在线| 精品一区二区三区视频在线| 性色avwww在线观看| 亚洲av熟女| 噜噜噜噜噜久久久久久91| 国产国拍精品亚洲av在线观看| 99在线人妻在线中文字幕| 亚洲欧洲日产国产| 一级毛片久久久久久久久女| 日本免费a在线| 舔av片在线| 搡女人真爽免费视频火全软件| 久久亚洲精品不卡| 精品久久久久久电影网 | 亚洲av免费高清在线观看| 国内精品宾馆在线| 国产成人aa在线观看| 午夜免费激情av| 国产片特级美女逼逼视频| 国产精品一二三区在线看| 在线免费观看不下载黄p国产| 国产在线一区二区三区精 | 爱豆传媒免费全集在线观看| 99久久精品国产国产毛片| 国产色爽女视频免费观看| 亚洲色图av天堂| 91av网一区二区| 精品一区二区免费观看| 久久婷婷人人爽人人干人人爱| 婷婷色综合大香蕉| 亚洲成人中文字幕在线播放| 少妇被粗大猛烈的视频| 热99在线观看视频| 欧美一区二区国产精品久久精品| 女人十人毛片免费观看3o分钟| 国语对白做爰xxxⅹ性视频网站| 久久精品国产亚洲网站| 国产精品麻豆人妻色哟哟久久 | 99久久人妻综合| 久久这里有精品视频免费| 伊人久久精品亚洲午夜| h日本视频在线播放| 国产精品一区二区三区四区免费观看| 一个人看的www免费观看视频| 国产免费福利视频在线观看| 天天躁夜夜躁狠狠久久av| 亚洲乱码一区二区免费版| 午夜a级毛片| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久99热这里只频精品6学生 | 亚洲综合精品二区| 国产色爽女视频免费观看| 人妻夜夜爽99麻豆av| 久久久久久久午夜电影| 午夜激情欧美在线| 人妻制服诱惑在线中文字幕| 亚洲伊人久久精品综合 | 国产又黄又爽又无遮挡在线| 欧美日韩一区二区视频在线观看视频在线 | 成人漫画全彩无遮挡| 国产麻豆成人av免费视频| 亚洲精品一区蜜桃| 永久网站在线| 日日干狠狠操夜夜爽| 亚洲精品国产av成人精品| 尤物成人国产欧美一区二区三区| 精品熟女少妇av免费看| 国产亚洲午夜精品一区二区久久 | av在线播放精品| 欧美3d第一页| 成年版毛片免费区| 爱豆传媒免费全集在线观看| 成人性生交大片免费视频hd| 亚洲无线观看免费| 久久精品人妻少妇| 视频中文字幕在线观看| 99热这里只有精品一区| 中文亚洲av片在线观看爽| 国产成人91sexporn| 亚洲人成网站在线播| 亚洲成色77777| 久久久成人免费电影| 99久久无色码亚洲精品果冻| 中文字幕人妻熟人妻熟丝袜美| 亚洲经典国产精华液单| 最近最新中文字幕免费大全7| 午夜老司机福利剧场| 午夜久久久久精精品| 美女脱内裤让男人舔精品视频| 亚洲综合色惰| 久久久色成人| 国产在线男女| 亚洲精品日韩av片在线观看| 日韩成人av中文字幕在线观看| 亚洲精品456在线播放app| 久久鲁丝午夜福利片| 亚洲欧美日韩无卡精品| 毛片一级片免费看久久久久| 久久久a久久爽久久v久久| 亚洲第一区二区三区不卡| 国产一区亚洲一区在线观看| 日韩 亚洲 欧美在线| 免费av观看视频| 亚洲精品自拍成人| 成人午夜高清在线视频| 亚洲天堂国产精品一区在线| 两个人的视频大全免费| 黑人高潮一二区| 在现免费观看毛片| 日韩在线高清观看一区二区三区| 午夜福利在线在线| 听说在线观看完整版免费高清| 国产视频内射| 精品少妇黑人巨大在线播放 | 久久精品国产99精品国产亚洲性色| 亚洲,欧美,日韩| 午夜福利在线在线| 久久精品久久精品一区二区三区| 国产精品永久免费网站| 久久久久久九九精品二区国产| 免费av毛片视频| 日本一二三区视频观看| 看黄色毛片网站| 久久精品人妻少妇| 中国国产av一级| 亚洲精品456在线播放app| 国产白丝娇喘喷水9色精品| 亚洲伊人久久精品综合 | 直男gayav资源| 国产老妇女一区| 免费不卡的大黄色大毛片视频在线观看 | 国产淫片久久久久久久久| 日韩成人伦理影院| 精品午夜福利在线看| 人妻系列 视频| 免费无遮挡裸体视频| 国产高清视频在线观看网站| 如何舔出高潮| 麻豆久久精品国产亚洲av| 99九九线精品视频在线观看视频| 高清毛片免费看| 国产精品久久久久久久电影| 天堂√8在线中文| 成年免费大片在线观看| h日本视频在线播放| 亚州av有码| 亚洲欧美中文字幕日韩二区| 国产精品乱码一区二三区的特点| 最近最新中文字幕免费大全7| 国语对白做爰xxxⅹ性视频网站| 国产伦精品一区二区三区四那| 亚洲精品久久久久久婷婷小说 | 观看免费一级毛片| 欧美一区二区精品小视频在线| 日韩中字成人| 精品久久久久久久末码| 国产午夜精品一二区理论片| 欧美bdsm另类| 国产人妻一区二区三区在| 小蜜桃在线观看免费完整版高清| 蜜桃久久精品国产亚洲av| 人妻制服诱惑在线中文字幕| 美女黄网站色视频| 国产中年淑女户外野战色| 欧美激情国产日韩精品一区| 久久久久久久久久黄片| 久久精品久久久久久久性| 黄色日韩在线| 长腿黑丝高跟| 99热这里只有是精品在线观看| 欧美激情久久久久久爽电影| 欧美精品国产亚洲| 啦啦啦啦在线视频资源| 亚洲成人av在线免费| 色综合站精品国产| 尤物成人国产欧美一区二区三区| 亚洲精品,欧美精品| 日日摸夜夜添夜夜爱| av黄色大香蕉| 两个人的视频大全免费| 精品免费久久久久久久清纯| 十八禁国产超污无遮挡网站| 日本色播在线视频| 中文乱码字字幕精品一区二区三区 | 午夜福利视频1000在线观看| 搞女人的毛片| 日日撸夜夜添| 久久久国产成人免费| 国产精品.久久久| 中文精品一卡2卡3卡4更新| 久久99热6这里只有精品| 免费av不卡在线播放| 欧美精品国产亚洲| 超碰97精品在线观看| 国产免费男女视频| 亚洲内射少妇av| 91精品国产九色| 熟女电影av网| 一级二级三级毛片免费看| 国产日韩欧美在线精品| 国产亚洲5aaaaa淫片| 久久99热这里只频精品6学生 | 最近最新中文字幕大全电影3| 九草在线视频观看| 边亲边吃奶的免费视频| 九九久久精品国产亚洲av麻豆| 日韩精品有码人妻一区| 能在线免费看毛片的网站| 乱码一卡2卡4卡精品| 高清午夜精品一区二区三区| 3wmmmm亚洲av在线观看| 我要搜黄色片| 欧美3d第一页| 夜夜爽夜夜爽视频| 麻豆精品久久久久久蜜桃| 看黄色毛片网站| ponron亚洲| 亚洲一级一片aⅴ在线观看| 性色avwww在线观看| 高清在线视频一区二区三区 | 亚洲国产精品sss在线观看| 嫩草影院精品99| 桃色一区二区三区在线观看| 中文资源天堂在线| 精品人妻视频免费看| 亚洲av成人av| 免费在线观看成人毛片| 中文亚洲av片在线观看爽| 国产精品精品国产色婷婷| 蜜桃亚洲精品一区二区三区| 国产免费福利视频在线观看| 日日摸夜夜添夜夜爱| 日韩一区二区视频免费看| 3wmmmm亚洲av在线观看| 久久久久网色| 你懂的网址亚洲精品在线观看 | 国产伦在线观看视频一区| 久久亚洲精品不卡| 中文字幕亚洲精品专区| 国产精品综合久久久久久久免费| 91精品伊人久久大香线蕉| 成人午夜精彩视频在线观看| 免费电影在线观看免费观看| 女人被狂操c到高潮| 精品人妻偷拍中文字幕| 亚洲国产最新在线播放| 欧美激情国产日韩精品一区| 免费电影在线观看免费观看| 午夜精品在线福利| 成人特级av手机在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | av免费在线看不卡| videossex国产| 亚洲丝袜综合中文字幕| 午夜日本视频在线| 美女xxoo啪啪120秒动态图| 久久精品国产99精品国产亚洲性色| 久久这里只有精品中国| 在线播放无遮挡| 全区人妻精品视频| 少妇被粗大猛烈的视频| 久久综合国产亚洲精品| 久久久久久国产a免费观看| 日本av手机在线免费观看| 少妇熟女欧美另类| 日韩在线高清观看一区二区三区| ponron亚洲| 超碰av人人做人人爽久久| 亚洲久久久久久中文字幕| 亚洲欧美日韩卡通动漫| 国产淫片久久久久久久久| 国产精品伦人一区二区| 日韩,欧美,国产一区二区三区 | 男人和女人高潮做爰伦理| 国产在视频线在精品| av福利片在线观看| 色综合亚洲欧美另类图片| eeuss影院久久| 91精品伊人久久大香线蕉| 亚洲性久久影院| 久久99热这里只有精品18| 三级毛片av免费| 国内精品美女久久久久久| 天美传媒精品一区二区| 18+在线观看网站| 变态另类丝袜制服| 又爽又黄a免费视频| 国产av在哪里看| 日本欧美国产在线视频| 国内精品一区二区在线观看| 长腿黑丝高跟| 欧美高清性xxxxhd video| 日产精品乱码卡一卡2卡三| 久久午夜福利片| 亚洲最大成人中文| 亚洲av电影在线观看一区二区三区 | 男女下面进入的视频免费午夜| 日韩亚洲欧美综合| 在线天堂最新版资源| 校园人妻丝袜中文字幕| 久久久欧美国产精品| www.色视频.com| 韩国高清视频一区二区三区| 亚洲欧美精品自产自拍| 亚洲av一区综合| 青春草视频在线免费观看| 久久精品久久久久久噜噜老黄 | 午夜福利网站1000一区二区三区| 久久韩国三级中文字幕| 波多野结衣巨乳人妻| АⅤ资源中文在线天堂| 欧美高清性xxxxhd video| 人人妻人人澡欧美一区二区| 中文乱码字字幕精品一区二区三区 | 国产日韩欧美在线精品| 婷婷六月久久综合丁香| 最近的中文字幕免费完整| 网址你懂的国产日韩在线| 日韩强制内射视频| 国产一区有黄有色的免费视频 | 国产一区有黄有色的免费视频 | 老司机影院毛片| 免费观看性生交大片5| 国产成人午夜福利电影在线观看| 亚洲av福利一区| 高清毛片免费看| 欧美精品一区二区大全| 春色校园在线视频观看| 国产精品一区二区在线观看99 | 搡老妇女老女人老熟妇| 可以在线观看毛片的网站| 免费av毛片视频| 韩国高清视频一区二区三区| 日韩欧美 国产精品| 一区二区三区四区激情视频| 久久亚洲国产成人精品v| 精品午夜福利在线看| 免费看av在线观看网站| 身体一侧抽搐| av国产久精品久网站免费入址| 亚洲欧美日韩东京热| 欧美性猛交黑人性爽| 天堂影院成人在线观看| 只有这里有精品99| 午夜激情福利司机影院| 日韩av不卡免费在线播放| 丰满少妇做爰视频| 亚洲成人av在线免费| 综合色丁香网| 国产伦理片在线播放av一区| 亚洲国产欧美在线一区| 久久久a久久爽久久v久久| 国内揄拍国产精品人妻在线| 亚洲一区高清亚洲精品| 日韩av在线免费看完整版不卡| 亚洲精品国产av成人精品| 欧美不卡视频在线免费观看| 国产成人精品婷婷| 联通29元200g的流量卡| 国产成人福利小说| 亚洲在线观看片| 婷婷六月久久综合丁香| 国产综合懂色| 色综合亚洲欧美另类图片| 中文字幕免费在线视频6| 神马国产精品三级电影在线观看| 国产乱来视频区| 亚洲激情五月婷婷啪啪| 成人性生交大片免费视频hd| 久久99精品国语久久久| 久99久视频精品免费| 插逼视频在线观看| 能在线免费看毛片的网站| 国产精品一区二区在线观看99 | 中文字幕熟女人妻在线| 99热精品在线国产| 高清av免费在线| 一级爰片在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲av成人精品一二三区| 又爽又黄无遮挡网站| 欧美日本亚洲视频在线播放| 99热6这里只有精品| 中文字幕av成人在线电影| 久久久久网色| 精品熟女少妇av免费看| 毛片女人毛片| 久久精品91蜜桃| 18禁裸乳无遮挡免费网站照片| 国产午夜精品一二区理论片| 亚洲精品乱久久久久久| 日本一本二区三区精品| 美女黄网站色视频| 天堂网av新在线| 97超视频在线观看视频| 特大巨黑吊av在线直播| 欧美不卡视频在线免费观看| 22中文网久久字幕| 天天一区二区日本电影三级| 2022亚洲国产成人精品| 亚洲精品国产成人久久av| 国产视频内射| 中国美白少妇内射xxxbb| 男女啪啪激烈高潮av片| 国国产精品蜜臀av免费| 91精品伊人久久大香线蕉| 亚洲图色成人| 国产午夜福利久久久久久| 建设人人有责人人尽责人人享有的 | 两个人视频免费观看高清| 色综合色国产| 免费搜索国产男女视频| 国语自产精品视频在线第100页| 免费观看性生交大片5| 少妇熟女aⅴ在线视频| 成人午夜高清在线视频| 岛国毛片在线播放| 日日摸夜夜添夜夜爱| 久久久久久久久久成人| 嫩草影院新地址| 国产免费男女视频| 国产精品女同一区二区软件| 日日摸夜夜添夜夜添av毛片| 在线观看美女被高潮喷水网站| 欧美激情国产日韩精品一区| 青青草视频在线视频观看| 日韩成人伦理影院| 少妇裸体淫交视频免费看高清| 观看免费一级毛片| 在线免费观看的www视频| 观看免费一级毛片| av国产免费在线观看| 国产精品久久久久久久久免| 美女大奶头视频| 国产v大片淫在线免费观看| 亚洲国产精品sss在线观看| 三级国产精品片| 国产一区二区三区av在线| 干丝袜人妻中文字幕| 国产极品天堂在线| 国产视频内射| 亚洲精品,欧美精品| 久久99热6这里只有精品| 亚洲av中文av极速乱| 麻豆精品久久久久久蜜桃| 人人妻人人澡欧美一区二区| 国产人妻一区二区三区在| 国产免费一级a男人的天堂| 国产淫片久久久久久久久| 国产爱豆传媒在线观看| 国产黄色视频一区二区在线观看 | 国产精品日韩av在线免费观看| 秋霞伦理黄片| 久久久精品欧美日韩精品| 亚洲成av人片在线播放无| 听说在线观看完整版免费高清| 亚洲成av人片在线播放无| 欧美一区二区亚洲| 黄色配什么色好看| 国产高清国产精品国产三级 | 一边亲一边摸免费视频| 熟妇人妻久久中文字幕3abv| 欧美成人一区二区免费高清观看| 99久久九九国产精品国产免费| 国产精品久久久久久av不卡| 免费观看精品视频网站| 色吧在线观看| 久久久欧美国产精品| 91在线精品国自产拍蜜月| 色网站视频免费| 国产麻豆成人av免费视频| 亚洲精品日韩av片在线观看| 男女那种视频在线观看| av在线天堂中文字幕| 黄色日韩在线| 最近2019中文字幕mv第一页| 五月伊人婷婷丁香| 免费观看精品视频网站| 日韩av在线大香蕉| 中文天堂在线官网| 女的被弄到高潮叫床怎么办| 九色成人免费人妻av| 国产精品国产高清国产av| 亚洲国产色片| 男人舔女人下体高潮全视频| 免费观看精品视频网站| 91久久精品国产一区二区成人| 国产精品一区二区性色av| 国产精品蜜桃在线观看| 亚洲精品色激情综合| 麻豆成人av视频| 日韩欧美精品免费久久| av播播在线观看一区| 老师上课跳d突然被开到最大视频| 亚洲av电影在线观看一区二区三区 | 久久精品影院6| 九草在线视频观看| 日韩 亚洲 欧美在线| 国产精品av视频在线免费观看| 久久这里有精品视频免费| 99久久无色码亚洲精品果冻| 男人舔奶头视频| 高清在线视频一区二区三区 | 啦啦啦韩国在线观看视频| 69人妻影院| 午夜福利网站1000一区二区三区| 欧美成人精品欧美一级黄| 爱豆传媒免费全集在线观看| 日韩视频在线欧美| 亚洲欧洲日产国产| 欧美变态另类bdsm刘玥| 丰满人妻一区二区三区视频av| 日韩视频在线欧美| 久久久精品94久久精品| 日韩欧美在线乱码| 精品久久久久久久末码| 人人妻人人澡欧美一区二区| 久久久a久久爽久久v久久| 校园人妻丝袜中文字幕| 一区二区三区高清视频在线| 日本三级黄在线观看| 嫩草影院精品99| 免费观看在线日韩| 中文字幕亚洲精品专区| 精品久久国产蜜桃| 99久久九九国产精品国产免费| 少妇人妻精品综合一区二区| 免费av毛片视频| 91精品一卡2卡3卡4卡| 毛片女人毛片| 少妇丰满av| 国产精品人妻久久久久久| 欧美成人一区二区免费高清观看| 日本与韩国留学比较| 又黄又爽又刺激的免费视频.| 在线观看美女被高潮喷水网站| av在线蜜桃| 成人亚洲精品av一区二区| 亚洲av免费在线观看| 国产成人freesex在线| 国产片特级美女逼逼视频| 男人舔女人下体高潮全视频| 精品久久久噜噜| 亚洲av熟女| 久久欧美精品欧美久久欧美| 真实男女啪啪啪动态图| 校园人妻丝袜中文字幕| 欧美一区二区精品小视频在线| 在线播放国产精品三级| 美女xxoo啪啪120秒动态图| 亚洲第一区二区三区不卡| 欧美另类亚洲清纯唯美| 成人特级av手机在线观看| 欧美日韩一区二区视频在线观看视频在线 | 国产不卡一卡二| 小蜜桃在线观看免费完整版高清| 欧美成人一区二区免费高清观看| 国产一区二区三区av在线| av专区在线播放| 欧美xxxx黑人xx丫x性爽| 少妇人妻一区二区三区视频| 免费观看精品视频网站| 欧美xxxx黑人xx丫x性爽| 少妇人妻一区二区三区视频|