• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    教育過程挖掘智能技術(shù):研究框架、現(xiàn)狀與趨勢(shì)

    2020-08-09 08:47黃琰趙呈領(lǐng)趙剛劉軍疏鳳芳李紅霞
    電化教育研究 2020年8期
    關(guān)鍵詞:教育大數(shù)據(jù)智能技術(shù)

    黃琰 趙呈領(lǐng) 趙剛 劉軍 疏鳳芳 李紅霞

    [摘 ? 要] 在指數(shù)增長(zhǎng)的教育大數(shù)據(jù)中,挖掘抽象復(fù)雜的教育過程規(guī)律需要智能技術(shù)的加持。教育過程挖掘是通過建立完整、緊湊的教育過程模型,揭示教學(xué)活動(dòng)規(guī)律,優(yōu)化教育實(shí)踐的一種融合數(shù)據(jù)科學(xué)和過程科學(xué)的智能技術(shù)與方法。教育過程挖掘以研究框架為指導(dǎo),可采用過程模型發(fā)現(xiàn)、一致性檢驗(yàn)和過程模型增強(qiáng)三類場(chǎng)景中的關(guān)鍵技術(shù)和常用模型開展研究與實(shí)踐,助力發(fā)現(xiàn)學(xué)習(xí)行為模式、預(yù)測(cè)學(xué)習(xí)效果趨勢(shì)、改進(jìn)教學(xué)評(píng)價(jià)反饋、提供教學(xué)決策支持和提升教育管理服務(wù)。教育過程挖掘發(fā)展亟須增強(qiáng)決策推薦與理論引領(lǐng)作用、探索深層次與多模態(tài)數(shù)據(jù)應(yīng)用、優(yōu)化算法以開發(fā)教育領(lǐng)域工具以及在各類新興教育領(lǐng)域進(jìn)行推廣與創(chuàng)新。

    [關(guān)鍵詞] 教育過程; 智能技術(shù); 教育過程挖掘; 教育大數(shù)據(jù)

    [中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

    [作者簡(jiǎn)介] 黃琰(1988—),女,貴州赤水人。講師,博士研究生,主要從事教育數(shù)據(jù)挖掘、在線教學(xué)研究。E-mail:hyan2016@163.com。趙呈領(lǐng)為通訊作者,E-mail:zhcling@mail.ccnu.edu.cn。

    一、引 ? 言

    智能教育作為我國(guó)人工智能發(fā)展規(guī)劃的重要組成部分,探索以大數(shù)據(jù)、物聯(lián)網(wǎng)感知、人工智能等為代表的智能技術(shù)與教育的深度融合。智能技術(shù)為提升學(xué)生學(xué)習(xí)體驗(yàn)、輔助教師高效教學(xué)、助力教師發(fā)展與培養(yǎng)、提供精準(zhǔn)評(píng)測(cè)和科學(xué)化的教學(xué)治理等提供了智能化教育環(huán)境和工具[1],為推動(dòng)教育創(chuàng)新與變革帶來(lái)了新的機(jī)遇[2]。智能技術(shù)與教育的融合路徑不僅應(yīng)強(qiáng)調(diào)借助智能技術(shù)解決教育問題,還應(yīng)進(jìn)一步從更廣闊的研究視角,通過跨領(lǐng)域合作共同探究教育問題本質(zhì)[3]。

    面對(duì)教育研究領(lǐng)域的眾多挑戰(zhàn),需要從教育數(shù)據(jù)中提煉新知識(shí)和新模型。借助教育數(shù)據(jù)挖掘(EDM),通過分類、聚類、回歸、關(guān)聯(lián)、序列和偏差等識(shí)別模式,可以獲取對(duì)教學(xué)內(nèi)容、教學(xué)資源、教學(xué)行為、教學(xué)結(jié)果等變量的描述性解釋,實(shí)現(xiàn)對(duì)教與學(xué)未來(lái)趨勢(shì)的預(yù)測(cè)[4]。但把握教育規(guī)律不僅需要關(guān)注教育細(xì)節(jié),更需要對(duì)教育過程實(shí)現(xiàn)全局性分析。面對(duì)指數(shù)增長(zhǎng)的教育大數(shù)據(jù),大多數(shù)傳統(tǒng)的EDM技術(shù)缺少對(duì)數(shù)據(jù)整體性的關(guān)注,未能提供完整的教育過程可視化呈現(xiàn)方法[5]。如何改進(jìn)技術(shù)以應(yīng)對(duì)教育大數(shù)據(jù)的復(fù)雜性[6],怎樣運(yùn)用教育大數(shù)據(jù)精準(zhǔn)而全面地透析教育過程?教育過程挖掘(EPM)作為可以洞察教育過程全貌并支持教育過程改進(jìn)的智能技術(shù),或?qū)⒊蔀檫@類重要問題的突破口?;诖?,文章聚焦于EPM智能技術(shù),從內(nèi)涵、研究框架、應(yīng)用案例、未來(lái)展望四個(gè)模塊,分析EPM在教育領(lǐng)域應(yīng)用的現(xiàn)狀與趨勢(shì),為推進(jìn)數(shù)據(jù)密集型科學(xué)研究提供參考與借鑒。

    二、教育過程挖掘的內(nèi)涵

    科學(xué)研究在數(shù)據(jù)爆發(fā)式增長(zhǎng)的引領(lǐng)下正邁入“數(shù)據(jù)密集型”范式[7]。在教育領(lǐng)域,挖掘教育過程數(shù)據(jù)中的有效信息和核心價(jià)值是探索教育規(guī)律的重要依據(jù),準(zhǔn)確把握教育過程挖掘內(nèi)涵是洞悉教育機(jī)理的關(guān)鍵。

    (一)教育過程

    教育過程(Educational Process,EP)是教育者和受教育者圍繞教育目標(biāo)開展的雙向活動(dòng)過程[8]。從時(shí)間上看,教育過程可以是一節(jié)課、一個(gè)知識(shí)點(diǎn)的教學(xué)時(shí)長(zhǎng),也可以涵蓋學(xué)生的所有學(xué)業(yè)記錄,或是一個(gè)地區(qū)的教育規(guī)劃階段,甚至可以是終生學(xué)習(xí)的整個(gè)時(shí)長(zhǎng)[9]。從結(jié)構(gòu)上看,教育過程是由教育要素、運(yùn)行階段、教育事件等組成的復(fù)雜、有機(jī)系統(tǒng),雜亂的教育事件中隱藏著有序的教育規(guī)律,是教學(xué)理論的現(xiàn)實(shí)表現(xiàn)。從特征上分析,教育過程是以提高學(xué)生認(rèn)識(shí)和促進(jìn)學(xué)生發(fā)展為中心,具有很強(qiáng)的教育目的性;是教學(xué)活動(dòng)的延續(xù)與展開,具有生成性與發(fā)展性;是教育要素之間交互作用的變化和發(fā)展,具有必然性和規(guī)律性;是教育事件的變遷序列及其關(guān)系性集群,呈現(xiàn)出一定的無(wú)序性和不確定性[10]。因此,解析教育過程需要透過教育事件把握整體規(guī)律并理解其多重特征,同時(shí)發(fā)揮整體與部分的積極性,才能推動(dòng)教育目標(biāo)的實(shí)現(xiàn)。

    (二)過程挖掘

    過程挖掘(Process Mining,PM)的基本思想由Cook等人于1995年首次提出,最初目的是從軟件事件日志中自動(dòng)發(fā)現(xiàn)過程模型[11]。1998年,Agrawal教授正式將其命名為過程挖掘[12],并將該技術(shù)引入業(yè)務(wù)過程管理領(lǐng)域。PM吸收了數(shù)據(jù)科學(xué)中的數(shù)據(jù)挖掘、統(tǒng)計(jì)學(xué)理論、數(shù)據(jù)庫(kù)和分布式系統(tǒng)等技術(shù),同時(shí)結(jié)合了過程科學(xué)所包含的推理學(xué)、業(yè)務(wù)過程管理、并發(fā)理論、優(yōu)化技術(shù)等方法,將“以數(shù)據(jù)為中心”的事件日志分析和“以模型為基礎(chǔ)”的過程分析進(jìn)行融合,以過程全局性的視角為研究起點(diǎn),以具備過程屬性的事件數(shù)據(jù)為研究對(duì)象,通過模型發(fā)現(xiàn)、合規(guī)性檢查、偏差探測(cè)、瓶頸檢測(cè)、預(yù)測(cè)執(zhí)行和輔助過程再造等技術(shù)提取過程知識(shí),并提供可視化技術(shù)以助于闡釋與改進(jìn)實(shí)踐,已在商業(yè)、工程、醫(yī)療、物流等多個(gè)領(lǐng)域展開廣泛應(yīng)用。

    (三)教育過程挖掘

    教育過程挖掘(Educational Process Mining,EPM)是以教育事件為研究對(duì)象,實(shí)現(xiàn)教育過程數(shù)據(jù)的提取、分析與可視化[13],通過建立完整、緊湊的教育過程模型,揭示教學(xué)活動(dòng)規(guī)律,優(yōu)化教育實(shí)踐的智能技術(shù)與方法。EPM作為一種面向過程的知識(shí)發(fā)現(xiàn)新技術(shù),并非傳統(tǒng)方法的簡(jiǎn)單混合。EPM直接借助教育事件日志自動(dòng)生成完整且簡(jiǎn)潔的教育過程模型[14],提高了復(fù)雜情境下教育過程模型的建模效率;EPM可以不依賴專家知識(shí)與經(jīng)驗(yàn)發(fā)現(xiàn)各種教學(xué)活動(dòng)的真實(shí)軌跡,最大限度地減少建模過程中人為因素的干擾;與序列模式挖掘(SPM)、滯后序列分析(LAS)等相關(guān)技術(shù)有著一定的區(qū)別,這些技術(shù)適用于相對(duì)較短的重復(fù)行為序列和行為之間的關(guān)聯(lián)分析,而EPM以全局性過程觀為指導(dǎo),不僅可以自動(dòng)生成教育過程模型,還可以采用檢驗(yàn)技術(shù)比較不同過程模型之間的差異,通過瓶頸查找改進(jìn)過程模型并指導(dǎo)實(shí)踐,為科學(xué)把握教育規(guī)律帶來(lái)了巨大的潛能。因此,EPM拓展了教育數(shù)據(jù)挖掘(EDM)的邊界,或?qū)⒊蔀橥黄飘?dāng)前教育研究困境的新契機(jī)。

    三、教育過程挖掘研究框架

    (一)研究框架

    本文在繼承PM研究框架的基礎(chǔ)上[15-17],參考DIKW(Data、Information、Knowledge、Wisdom)層次結(jié)構(gòu)模型[18],搭建了教育過程挖掘循環(huán)框架(如圖1所示)。

    研究框架包括四個(gè)模塊:(1)教育世界,是多元化、多維度的復(fù)雜系統(tǒng),學(xué)生處于教育世界的中心,既是教學(xué)活動(dòng)設(shè)計(jì)的出發(fā)點(diǎn),又是教育過程評(píng)價(jià)的落腳點(diǎn),而教師為保障教學(xué)活動(dòng)的有效進(jìn)行提供設(shè)計(jì)、組織、提供、監(jiān)督、評(píng)價(jià)等支持;(2)信息系統(tǒng),是EPM的重要載體,提供支持教學(xué)交互行為的技術(shù)環(huán)境,記錄教育事件的技術(shù)平臺(tái),分析學(xué)生基本情況的工具等;(3)事件日志,每個(gè)事件對(duì)應(yīng)一個(gè)案例和活動(dòng),日志質(zhì)量直接影響過程挖掘的實(shí)施與結(jié)果;(4)過程模型,是通過技術(shù)得到的過程性知識(shí)表征,為改進(jìn)教育世界與教育信息提供充實(shí)的理論與實(shí)踐引導(dǎo)。

    數(shù)據(jù)的轉(zhuǎn)換可分為四個(gè)環(huán)節(jié):(1)數(shù)據(jù)收集,是探索教育規(guī)律的起點(diǎn),所有的挖掘工作都是圍繞教育事件數(shù)據(jù)展開,如課程注冊(cè)行為、教師教學(xué)行為、學(xué)生學(xué)習(xí)痕跡、學(xué)生考試記錄、教學(xué)資源使用、教學(xué)人員配置等;(2)信息提取,將各類教育過程事件數(shù)據(jù)中的有效信息轉(zhuǎn)化為可直接分析的事件日志;(3)知識(shí)轉(zhuǎn)換,根據(jù)需求適配智能場(chǎng)景,實(shí)現(xiàn)事件日志與過程模型之間的信息轉(zhuǎn)換;(4)智慧應(yīng)用,提煉過程性知識(shí)并修正教育信息系統(tǒng),通過可視化模型呈現(xiàn)并指導(dǎo)教育實(shí)踐,進(jìn)而改進(jìn)教育世界。

    (二)智能場(chǎng)景

    1. 過程模型發(fā)現(xiàn)

    過程模型發(fā)現(xiàn)(Process Model Discovery)包含EPM最基礎(chǔ)、最重要的技術(shù),實(shí)現(xiàn)從事件日志中自動(dòng)抽取有價(jià)值的客觀信息,構(gòu)建完整而緊湊的教育過程模型[19-20]。過程模型發(fā)現(xiàn)又最具技術(shù)復(fù)雜性,需要以精準(zhǔn)的算法為依托,并追求達(dá)到適合度、泛化度、精確度和簡(jiǎn)潔度四個(gè)質(zhì)量指標(biāo)之間的平衡。

    1995年,Cook教授等人針對(duì)順序序列的軟件過程發(fā)現(xiàn),使用RNet、KTail 和Markov算法開始對(duì)過程挖掘進(jìn)行探索[11]。Wil教授等人提出了α算法、啟發(fā)式挖掘和區(qū)域挖掘等算法[15,21-22],進(jìn)一步為過程挖掘研究奠定了理論和實(shí)踐基礎(chǔ)。隨著相關(guān)研究的深入,涌現(xiàn)出了許多過程模型發(fā)現(xiàn)算法,包括模糊挖掘算法、遺傳挖掘算法、變遷系統(tǒng)挖掘算法等。

    在算法構(gòu)建過程模型的基礎(chǔ)上,還需要借助良好的表示模型向最終用戶呈現(xiàn)挖掘到的有效知識(shí),如Petri網(wǎng)、工作流網(wǎng)(WF-net)、業(yè)務(wù)流程圖(BPMN)、模糊網(wǎng)、啟發(fā)式網(wǎng)等。其中,Petri網(wǎng)是由德國(guó)Petri博士于1962年提出[23],由于其具有簡(jiǎn)單化圖形表達(dá)的特點(diǎn)和豐富的分析功能,能對(duì)并發(fā)、選擇和迭代結(jié)構(gòu)進(jìn)行建模,已成為使用頻率最高的表示模型之一。

    2. 一致性檢驗(yàn)

    一致性檢驗(yàn)(Conformance Checking)可以發(fā)現(xiàn)觀測(cè)行為與過程模型之間的共性和差異,量化和診斷偏差并篩選出離群值。一般采用兩種方法:(1)線性時(shí)態(tài)邏輯(LTL),將事件日志與一組由線性時(shí)態(tài)邏輯描述的需求進(jìn)行比較[24],只需要定義標(biāo)準(zhǔn)屬性,適用于無(wú)模型參考的復(fù)雜情境;(2)一致性檢驗(yàn)器,通過日志回放、狀態(tài)空間分析和結(jié)構(gòu)分析來(lái)檢測(cè)度量模型與事件日志之間的契合度[25],可以評(píng)估過程模型所允許的行為,也可以評(píng)估過程模型的適合度、精度和結(jié)構(gòu)。

    3. 過程模型增強(qiáng)

    過程模型增強(qiáng)(Process Model Enhancement),實(shí)現(xiàn)對(duì)已有教育過程模型的改進(jìn),進(jìn)而指導(dǎo)教育實(shí)踐。其分析起點(diǎn)是一組事件日志和初始過程模型。主要分為兩種方式:(1)修復(fù),指通過修改過程模型一小部分,使其能夠更好地平衡四個(gè)質(zhì)量標(biāo)準(zhǔn),比如:兩個(gè)教學(xué)活動(dòng)在過程模型中為順序關(guān)系,但在現(xiàn)實(shí)教育過程中它們卻可以隨機(jī)發(fā)生,就需要對(duì)這兩個(gè)活動(dòng)的執(zhí)行語(yǔ)義進(jìn)行調(diào)整;(2)擴(kuò)展,通過給模型增加一個(gè)新的視角解釋教育過程,例如:資源視角,利用決策樹方法為資源建設(shè)與分配提供策略;組織視角,可結(jié)合社會(huì)網(wǎng)絡(luò)分析法(SNA)等可視化技術(shù)對(duì)教學(xué)角色或組織單元進(jìn)行分析與聚類,實(shí)現(xiàn)對(duì)模型的拓展應(yīng)用。

    四、教育過程挖掘應(yīng)用與實(shí)踐案例

    智能技術(shù)如何讓數(shù)據(jù)在教學(xué)情境中真正發(fā)揮作用,提升教學(xué)問題分析的實(shí)效性,是突破當(dāng)前教育發(fā)展瓶頸最關(guān)鍵的挑戰(zhàn)之一。通過多項(xiàng)理論分析與實(shí)踐探索,智能技術(shù)對(duì)教育應(yīng)用產(chǎn)生了多維效應(yīng)[1,26-27]。從已有實(shí)踐案例的研究來(lái)看,這種多維效應(yīng)包含發(fā)現(xiàn)學(xué)習(xí)行為模式、預(yù)測(cè)學(xué)習(xí)效果趨勢(shì)、改進(jìn)教學(xué)評(píng)價(jià)反饋、提供教學(xué)決策支持和提升教育管理服務(wù)五個(gè)維度(見表1)。

    (一)發(fā)現(xiàn)學(xué)習(xí)行為模式

    學(xué)習(xí)行為是推動(dòng)學(xué)習(xí)有效發(fā)生的關(guān)鍵因素[50]。發(fā)現(xiàn)學(xué)習(xí)行為模式可以明晰學(xué)習(xí)過程的發(fā)生機(jī)制,有助于解密“學(xué)習(xí)黑箱”。Reimann等人關(guān)注教育研究領(lǐng)域中的方法論研究,提出了以創(chuàng)新理論解釋為目的的自我調(diào)節(jié)學(xué)習(xí)過程挖掘模式[51]。在此基礎(chǔ)上,Bannert等人對(duì)比高低分學(xué)生的自我調(diào)節(jié)學(xué)習(xí)過程模型,發(fā)現(xiàn)高分學(xué)生表現(xiàn)出更多規(guī)則性的深度加工學(xué)習(xí)行為,與自我調(diào)節(jié)學(xué)習(xí)、元認(rèn)知理論提出的結(jié)論相吻合[28]。Trcka等人將學(xué)生的多門課程考試記錄轉(zhuǎn)換為事件日志,分析選修課程的學(xué)習(xí)路徑,比較學(xué)生實(shí)際參與課程學(xué)習(xí)的順序是否符合預(yù)先的課程設(shè)計(jì)規(guī)則[29]。另外,Bergenthum等人針對(duì)群體學(xué)習(xí)行為,提出了一種關(guān)注動(dòng)態(tài)角色表示的學(xué)習(xí)流建模語(yǔ)言,通過小組協(xié)作活動(dòng)的方式來(lái)關(guān)注群體學(xué)習(xí)[30]。Schoor和Bannert選擇CSCL為研究背景,使用模糊算法分別構(gòu)建高分組與非高分組的協(xié)作學(xué)習(xí)過程模型[31]。Fernández-Gallego等人聚焦3D教育虛擬世界中的學(xué)習(xí)互動(dòng)行為,借助Petri網(wǎng)解釋學(xué)生學(xué)習(xí)過程與規(guī)律[32]。由于虛擬世界的學(xué)習(xí)互動(dòng)更頻繁、更不可控,學(xué)生在預(yù)設(shè)學(xué)習(xí)流程的基礎(chǔ)上會(huì)創(chuàng)新出新的學(xué)習(xí)行為,因此,選用一致性檢驗(yàn)技術(shù)從眾多噪音數(shù)據(jù)中篩選行為路徑。隨著研究的推進(jìn),新的插件可以更好地解決過程探索重復(fù)、使用煩瑣等問題,Emond和Buffett采用過程探索插件(歸納視覺挖掘IVM)和序列分類技術(shù)(留一法交叉驗(yàn)證LOOCV)構(gòu)建學(xué)習(xí)過程并識(shí)別學(xué)生的技能水平,發(fā)現(xiàn)學(xué)生的實(shí)際學(xué)習(xí)過程與課程設(shè)計(jì)的半結(jié)構(gòu)化過程存在差異[33]。

    (二)預(yù)測(cè)學(xué)習(xí)效果趨勢(shì)

    通過預(yù)測(cè)學(xué)習(xí)效果與發(fā)展趨勢(shì),可以進(jìn)一步優(yōu)化學(xué)習(xí)內(nèi)容、時(shí)間和方式,促進(jìn)教育優(yōu)化?;诓煌瑢蛹?jí)和類型的教育過程事件數(shù)據(jù),能夠反映學(xué)生學(xué)習(xí)效果的評(píng)價(jià)指標(biāo),實(shí)現(xiàn)對(duì)教育趨勢(shì)與走向的預(yù)測(cè)。Mukala等人采用模糊挖掘算法,提取學(xué)生在慕課中的學(xué)習(xí)行為模式,發(fā)現(xiàn)不成功學(xué)生的行為結(jié)構(gòu)差且不可預(yù)測(cè),而成功學(xué)生的學(xué)習(xí)行為序列總體相似,這類有規(guī)律的行為是影響學(xué)習(xí)效果的重要因素[34]。Vahdat等人進(jìn)一步論證,模糊挖掘算法通過定義不同的粒度級(jí)別,可以實(shí)現(xiàn)對(duì)過程模型的抽象和簡(jiǎn)化,可以檢測(cè)與學(xué)習(xí)過程無(wú)關(guān)的活動(dòng)[35]。另外,學(xué)習(xí)任務(wù)的難度與學(xué)習(xí)成績(jī)呈負(fù)相關(guān),學(xué)生交互行為的復(fù)雜性與該小組的最終平均成績(jī)呈正相關(guān),都是預(yù)測(cè)成績(jī)的有效指標(biāo)。Southavilay等人使用啟發(fā)式挖掘算法分析本科生的小組協(xié)作寫作過程,以及這些學(xué)習(xí)過程對(duì)最終產(chǎn)品的質(zhì)量和語(yǔ)義特征的影響[36]。Doleck等人基于知識(shí)的發(fā)現(xiàn)方法,追蹤和理解醫(yī)學(xué)智能輔導(dǎo)系統(tǒng)中的學(xué)習(xí)者行為,獲取關(guān)于學(xué)生練習(xí)并掌握臨床診斷推理的連貫行為圖像,診斷不同階段的行為特征,以洞察學(xué)生進(jìn)步的趨勢(shì)[37]。

    (三)改進(jìn)教學(xué)評(píng)價(jià)反饋

    智能教育背景下的技術(shù)、方法和思維讓教學(xué)評(píng)價(jià)與教學(xué)反饋不再僅限于傳統(tǒng)的測(cè)試方式,評(píng)價(jià)對(duì)象也不再僅限于學(xué)生測(cè)試分?jǐn)?shù)。學(xué)習(xí)過程、學(xué)習(xí)體驗(yàn)、課程運(yùn)行、師生互動(dòng)、資源建設(shè)等環(huán)節(jié)都可以通過EPM開展多維度、全過程的評(píng)價(jià)與反饋,從而實(shí)現(xiàn)教學(xué)評(píng)價(jià)促發(fā)展這一根本目標(biāo)。Pechenizkiy等人將過程發(fā)現(xiàn)、一致性檢查和績(jī)效分析等多種技術(shù)應(yīng)用于在線多項(xiàng)選擇題測(cè)試數(shù)據(jù)的分析與評(píng)估,在把握學(xué)生答題行為整體規(guī)律與趨勢(shì)的基礎(chǔ)上給予評(píng)價(jià)反饋[38]。Reimann等人針對(duì)在線協(xié)作學(xué)習(xí),使用啟發(fā)式算法,對(duì)在線互動(dòng)聊天內(nèi)容進(jìn)行過程模型建模,評(píng)價(jià)不同小組的決策過程,進(jìn)而提出改進(jìn)意見[39]。Toth等人重點(diǎn)探索如何基于個(gè)體在問題解決中的表現(xiàn)行為,識(shí)別學(xué)生的學(xué)習(xí)困難與困境[40]。Sedrakyan等人提出一種針對(duì)解決復(fù)雜問題的學(xué)習(xí)者行為數(shù)據(jù)分析方法,通過構(gòu)建一個(gè)語(yǔ)義上正確的概念模型,反映給定域描述的結(jié)構(gòu)和動(dòng)態(tài)視圖,改變傳統(tǒng)的結(jié)果反饋方式,為學(xué)生提供面向過程的、持續(xù)的學(xué)習(xí)反饋[41]。

    (四)提供教學(xué)決策支持

    對(duì)教育大數(shù)據(jù)進(jìn)行過程挖掘,不僅有助于分析教育過程歷史數(shù)據(jù),更有助于教育主管、學(xué)習(xí)顧問和教師改進(jìn)教學(xué)決策,為學(xué)生提供教學(xué)支持。對(duì)此,Porouhan和Premchaiswadi使用多種EPM技術(shù),對(duì)高、低績(jī)效組學(xué)生的協(xié)作學(xué)習(xí)過程進(jìn)行分析,以提高教師對(duì)每個(gè)小組協(xié)作動(dòng)態(tài)的認(rèn)識(shí)[42]。Trcka和Pechenizkiy進(jìn)一步提出課程挖掘框架假設(shè),預(yù)定義一組模式模板,以便教育工作者在極其復(fù)雜的教學(xué)情境中發(fā)現(xiàn)存在的過程性問題,探索針對(duì)不同學(xué)習(xí)情境和學(xué)習(xí)群體的最有效教學(xué)支持[5]。針對(duì)課程培養(yǎng)方案,Wang和Zaiane使用有色Petri網(wǎng)將學(xué)生的課程學(xué)習(xí)路徑可視化,通過一致性檢驗(yàn)發(fā)現(xiàn)學(xué)生偏離課程方案設(shè)計(jì)的特殊行為,幫助教師在了解學(xué)生行為的基礎(chǔ)上改進(jìn)課程設(shè)計(jì)方案,并向?qū)W生推薦更恰當(dāng)?shù)恼n程[43]。針對(duì)大樣本數(shù)據(jù),Schulte等人使用了20年里30萬(wàn)名學(xué)生的600萬(wàn)條課程注冊(cè)日志,通過EPM技術(shù)分析學(xué)位路徑問題,為在校學(xué)生提供了有效的課程路徑指導(dǎo)與建議,包括課程選修策略、課程要求與期望、所需投入程度等[44]。

    相比學(xué)校教育,教育培訓(xùn)機(jī)構(gòu)為滿足學(xué)員的個(gè)性化需求,其課程設(shè)置與教學(xué)服務(wù)需更具靈活性。Ariouat等人試圖從一家全球咨詢公司的真實(shí)職業(yè)培訓(xùn)數(shù)據(jù)庫(kù)中找出最佳培訓(xùn)路徑[45]。在另一項(xiàng)研究中,Cairns等人使用一致性檢驗(yàn)分析學(xué)員參與培訓(xùn)過程與課程設(shè)計(jì)路徑之間的契合度,并使用執(zhí)行時(shí)間、瓶頸和決策點(diǎn)等績(jī)效指標(biāo)來(lái)增強(qiáng)培訓(xùn)過程模型,探索了過程模型擴(kuò)展技術(shù)在EPM中的適用性[20]。

    (五)提升教育管理服務(wù)

    通過集成教育系統(tǒng)中的各類管理與服務(wù)事件日志,EPM技術(shù)可以促進(jìn)學(xué)籍管理、課程管理、學(xué)歷學(xué)位審核與管理、行政業(yè)務(wù)管理、網(wǎng)絡(luò)安全管理等工作的科學(xué)性與規(guī)范性,進(jìn)一步優(yōu)化學(xué)生擇校、就業(yè)、心理健康輔導(dǎo)等服務(wù)[52]。學(xué)籍管理涉及學(xué)生在校期間的所有復(fù)雜又瑣碎的事件數(shù)據(jù),精準(zhǔn)的學(xué)生學(xué)業(yè)過程報(bào)告是學(xué)生學(xué)籍管理科學(xué)高效的基本保障。對(duì)此,Ayutaya等人選擇使用具有較好穩(wěn)健性的啟發(fā)式挖掘算法,應(yīng)對(duì)學(xué)籍系統(tǒng)中日志數(shù)據(jù)的噪聲和異常情況,以準(zhǔn)確解讀泰國(guó)大學(xué)生的在校學(xué)習(xí)過程[46]。Anuwatvisit等人使用一致性檢查器,檢測(cè)教學(xué)計(jì)劃與學(xué)生的實(shí)際選課情況之間的差異,并通過性能特征和業(yè)務(wù)規(guī)則對(duì)原有模型進(jìn)行拓展[47]。針對(duì)培訓(xùn)類課程管理,Cairns等人使用過程挖掘相關(guān)算法與社會(huì)網(wǎng)絡(luò)分析方法,從關(guān)鍵的性能指標(biāo)中提煉典型的培訓(xùn)模式,得到課程與培訓(xùn)提供者之間的社交網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)專業(yè)培訓(xùn)領(lǐng)域教育過程的監(jiān)控和改善[48]。Poncin等人借鑒了軟件庫(kù)和過程挖掘相關(guān)研究方法,對(duì)多個(gè)軟件庫(kù)提取的事件日志進(jìn)行分析,通過過程模型構(gòu)建與可視化,實(shí)現(xiàn)對(duì)美國(guó)高校綜合特色課程“頂點(diǎn)項(xiàng)目”的優(yōu)化管理[49]。

    五、教育過程挖掘發(fā)展趨勢(shì)

    教育過程挖掘作為一種可洞察教育過程全貌并支持教育過程改進(jìn)的智能技術(shù),從教學(xué)活動(dòng)的過程全局性視角為大規(guī)模教育數(shù)據(jù)研究提供了新契機(jī),在教育領(lǐng)域中已涌現(xiàn)出多項(xiàng)研究成果。作為一個(gè)新興領(lǐng)域,EPM教育應(yīng)用雖顯現(xiàn)出一些問題,但仍有極大的發(fā)展前景。

    (一)應(yīng)用導(dǎo)向:增強(qiáng)決策推薦與理論引領(lǐng)作用

    一方面,借助EPM技術(shù)可以為改進(jìn)教育實(shí)踐提供決策推薦。例如:為學(xué)習(xí)者提供最佳課程單元或?qū)W習(xí)路徑建議,Bannert等人指出,為學(xué)習(xí)者提供易讀的操作提示比單獨(dú)呈現(xiàn)過程模型更具指導(dǎo)作用[28];Cairns等人進(jìn)一步提出將決策推薦增設(shè)為EPM第四類場(chǎng)景,強(qiáng)調(diào)了決策推薦在EPM研究中的重要性[48]。但目前大部分實(shí)證研究還停留在技術(shù)篩選與模型構(gòu)建階段[20,43]。智能教育的發(fā)展重心應(yīng)落腳于教育,而非技術(shù)。應(yīng)該加強(qiáng)教育基礎(chǔ)研究和理論構(gòu)建,更應(yīng)該以創(chuàng)建理論解釋和發(fā)展教學(xué)理論為價(jià)值導(dǎo)向[9]。另一方面,教育過程是教育理論的基本范疇,教育過程的解讀需要以教學(xué)理論為基礎(chǔ),以教學(xué)活動(dòng)發(fā)生的情境為背景,用理論指導(dǎo)技術(shù)應(yīng)用[1]。因此,EPM不僅應(yīng)捕獲過程事件中的客觀模型,實(shí)現(xiàn)對(duì)教育過程的直接跟蹤,理解教學(xué)活動(dòng)的發(fā)生機(jī)制,還需為教學(xué)改進(jìn)提供決策推薦,更需要重視理論引領(lǐng)的作用,并為教學(xué)理論發(fā)展提供支持。

    (二)數(shù)據(jù)驅(qū)動(dòng):探索深層次與多模態(tài)數(shù)據(jù)應(yīng)用

    數(shù)據(jù)密集型科學(xué)研究中,學(xué)者大多聚焦于如何提升挖掘“海量數(shù)據(jù)”中有效信息的方法探究,缺少對(duì)“深度數(shù)據(jù)”的探索。EPM教育應(yīng)用中的研究對(duì)象大多是易觀察到的單通道行為數(shù)據(jù),如鼠標(biāo)點(diǎn)擊[47]、考試成績(jī)[29]或?qū)懽魑臋n[36]。Reimann等人基于現(xiàn)代科學(xué)哲學(xué)觀的批判主義觀點(diǎn)指出,在復(fù)雜教學(xué)環(huán)境中,學(xué)習(xí)行為是影響學(xué)習(xí)成效的關(guān)鍵因素,但并不是唯一因素[51]。將EPM作為唯一的方法論工具,僅依靠事件日志推導(dǎo)教學(xué)結(jié)論或理論趨勢(shì)存在一定的研究局限性。越來(lái)越多的認(rèn)知科學(xué)和神經(jīng)科學(xué)研究表明,理解復(fù)雜的教育過程需要從多角度、多層面進(jìn)行探索??梢越梃b經(jīng)典的信息處理與統(tǒng)計(jì)方法分析顯性行為,并關(guān)注感知和體驗(yàn)的內(nèi)隱性情境認(rèn)知數(shù)據(jù)[53],例如:在沉浸式虛擬環(huán)境中,學(xué)生的學(xué)習(xí)認(rèn)知和非認(rèn)知行為,同一時(shí)間發(fā)生的身體和大腦反應(yīng),包括操作行為、眼球追蹤、腦電活動(dòng)、皮膚電反應(yīng)等。因此,多模態(tài)數(shù)據(jù)逐漸成為洞察教育過程規(guī)律的新范式,并推進(jìn)EPM教育應(yīng)用向真正全面、客觀、自動(dòng)地挖掘教育過程規(guī)律進(jìn)一步邁進(jìn)。

    (三)技術(shù)創(chuàng)新:優(yōu)化算法以開發(fā)教育領(lǐng)域工具

    “以事件為中心”的EPM算法不同于“以數(shù)據(jù)為中心”的EDM算法,并非是現(xiàn)有方法的簡(jiǎn)單混合與變換,需要不斷地進(jìn)行優(yōu)化,以更好地應(yīng)對(duì)越來(lái)越復(fù)雜的教育過程事件?,F(xiàn)有的EPM教育應(yīng)用中,模糊挖掘算法和啟發(fā)式挖掘算法使用頻率較高,這兩種算法可以較好地平衡過程模型的四個(gè)質(zhì)量指標(biāo),能避免結(jié)構(gòu)龐大、邏輯雜亂的意大利面模型。但隨著智能技術(shù)的不斷發(fā)展,相關(guān)算法的應(yīng)用門檻將越來(lái)越高,且與具體的業(yè)務(wù)場(chǎng)景關(guān)聯(lián)度較低,很大程度上影響了技術(shù)的推廣與發(fā)展。因此,算法需要以面向用戶的工具為依托,將技術(shù)封裝于工具底層,為上層應(yīng)用提供服務(wù),才能更好地為各個(gè)實(shí)踐領(lǐng)域提供支持與保障。ProM作為一個(gè)開源的、可拓展的工作環(huán)境,雖已匯聚了上百種實(shí)用插件,成為最常用的工具。但ProM在處理特殊的教育事件日志時(shí)存在盲區(qū),例如:(1)概念漂移,課程在不同學(xué)期變換了名稱;(2)學(xué)生下線,自學(xué)行為發(fā)生在線下環(huán)境;(3)數(shù)據(jù)隱私,學(xué)生信息的權(quán)限保護(hù)等[54]。對(duì)此,開發(fā)針對(duì)教育領(lǐng)域研究的專用插件,持續(xù)改進(jìn)智能算法是推進(jìn)教育科學(xué)研究的充分必要條件,這樣才能使教育過程挖掘更加有效和高效。

    (四)領(lǐng)域拓展:各類新興教育領(lǐng)域的推廣創(chuàng)新

    海量的教育數(shù)據(jù)蘊(yùn)藏著巨大的應(yīng)用價(jià)值,數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)分析,智能技術(shù)變革教育[1]。EPM不僅側(cè)重于從教育事件日志中提取有價(jià)值的過程知識(shí),還可以通過過程模型優(yōu)化教育實(shí)踐。目前,EPM教育應(yīng)用涵蓋的學(xué)段包括基礎(chǔ)教育、高等教育和職業(yè)培訓(xùn),分析的對(duì)象包括學(xué)生學(xué)習(xí)行為、小組寫作文檔、在線考試成績(jī)、學(xué)業(yè)選課記錄等,涉及的領(lǐng)域包括慕課、在線評(píng)估、游戲?qū)W習(xí)、3D教育虛擬世界等。隨著教育需求的不斷發(fā)展,新興的技術(shù)環(huán)境創(chuàng)新出更多教育實(shí)踐領(lǐng)域,如智能導(dǎo)學(xué)、人工智能學(xué)伴、“區(qū)塊鏈+教育”、虛擬助手、智能校園管理等,將EPM應(yīng)用到各類新興教育實(shí)踐領(lǐng)域,才能推動(dòng)技術(shù)與應(yīng)用的雙向創(chuàng)新,為教育改革提供有效參考。

    六、結(jié) ? 語(yǔ)

    教育過程挖掘最初的切入點(diǎn)是以數(shù)據(jù)驅(qū)動(dòng)為視角,通過采集與分析學(xué)習(xí)行為事件,提煉出學(xué)習(xí)流程的描述性與預(yù)測(cè)性模型。但隨著教育需求的轉(zhuǎn)變與增長(zhǎng),教育過程挖掘不再只是一種數(shù)據(jù)挖掘算法,越發(fā)凸顯出智能化的屬性與特征,已在教育評(píng)價(jià)、教育服務(wù)和教育管理等方面涌現(xiàn)出一定數(shù)量的個(gè)性化、情境化支撐研究,極大地拓展了教育數(shù)據(jù)挖掘的邊界。

    在“智能教育”戰(zhàn)略性發(fā)展道路上,教育過程挖掘智能技術(shù)注重整體性、差異性、實(shí)踐性與創(chuàng)新性的知識(shí)挖掘與實(shí)踐改進(jìn),可以較好地應(yīng)對(duì)教育大數(shù)據(jù)的復(fù)雜性,實(shí)現(xiàn)對(duì)教育規(guī)律、教育本質(zhì)與教育價(jià)值的科學(xué)把握。教育過程挖掘?yàn)榻逃^程提供智能化的教學(xué)支持與服務(wù),為實(shí)現(xiàn)技術(shù)與教育的深度融合,進(jìn)一步顛覆教育模式并推動(dòng)智能教育生態(tài)體系創(chuàng)新[55],對(duì)教育真正的轉(zhuǎn)型與變革帶來(lái)更多可能。

    [參考文獻(xiàn)]

    [1] 嚴(yán)曉梅,高博俊,萬(wàn)青青,尹霞雨.智能技術(shù)變革教育的發(fā)展趨勢(shì)——第四屆中美智慧教育大會(huì)綜述[J].中國(guó)電化教育,2019(7):31-37.

    [2] 趙婀娜.國(guó)際人工智能與教育大會(huì)閉幕,形成《北京共識(shí)》[N].人民日?qǐng)?bào),2019-05-19(02).

    [3] CHAD L H, GORDON M, LOOI C, et al.The next 25 years:how advanced interactive learning technologies will change the world[J]. International journal of artificial intelligence education,2016, 26:539-543.

    [4] 任慶東,王璐璐. 通過教育數(shù)據(jù)挖掘和學(xué)習(xí)分析促進(jìn)教與學(xué)[J]. 自動(dòng)化與儀器儀表, 2016(10): 193-194.

    [5] TRCKA N, PECHENIZKIY M. From local patterns to global models: towards domain driven educational process mining[C]//2009 Ninth International Conference on Intelligent Systems Design and Applications. Piscataway: IEEE, 2009: 1114-1119.

    [6] 鄧仲華,李志芳. 科學(xué)研究范式的演化——大數(shù)據(jù)時(shí)代的科學(xué)研究第四范式[J]. 情報(bào)資料工作, 2013, 34(4): 19-23.

    [7] BELL G, HEY T, SZALAY A. Beyond the data deluge[J]. Science, 2009, 323(5919): 1297-1298.

    [8] 柳海民. 教育原理[M]. 長(zhǎng)春:東北師范大學(xué)出版社,2000.

    [9] 黃平,李太平.教育過程的界定及其生成特性的詮釋[J].教育研究,2013,34(7):18-27.

    [10] 郭元祥.論教育的過程屬性和過程價(jià)值——生成性思維視域中的教育過程觀[J].教育研究,2005(9):3-8.

    [11] COOK J,WOLF A. Automating process discovery through event- data analysis[C]//Proceedings of the 17th International Conference on Software Engineering.New York:ACM,1995:73-82.

    [12] AGRAWAL R, GUNOPILOS D, LEYMANN F. Mining process models from workflow logs[C]//Proceedings of 6th International Conference on Extending Database Technology. Berlin: Springer,1998: 469-483.

    [13] MUKALA P, BUIJS J C A M, VAN DER AALST W M P. Uncovering learning patterns in a mooc through conformance alignments[J]. BPM reports, 2015, 1509: 1-20.

    [14] 鄧璐娟,董東曉,陳欣欣. 過程挖掘技術(shù)的研究與應(yīng)用[J]. 微型機(jī)與應(yīng)用, 2017, 36(18): 11-14.

    [15] VAN DER AALST W M P. Process mining: discovery, conformance and enhancement of business processes[M]. Berlin: Springer, 2011.

    [16] VAN DER AALST W M P. Business alignment: using process mining as a tool for Delta analysis and conformance testing[J]. Requirements engineering, 2005, 10(3):198-211.

    [17] DE MEDEIROS A K, WEIJTERS A J, VAN DER AALST W M P, et al. Genetic process mining: an experimental evaluation[J]. Data mining and knowledge discovery, 2007, 14(2): 245-304.

    [18] ROWLEY J. The wisdom hierarchy: representations of the DIKW hierarchy[J]. Journal of information science, 2007, 33(2): 163-180.

    [19] 黃黎,譚文安. 支持復(fù)雜社會(huì)網(wǎng)絡(luò)演化的過程挖掘技術(shù)綜述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2017, 53(16): 18-28.

    [20] CAIRNS A H, GUENI B, ASSU J, et al. Analyzing and improving educational process models using process mining techniques[C]//IMMM 2015 Fifth International Conference on Advances in Information Mining and Management. Wilmington: IARIA XPS Press, 2015: 17-22.

    [21] VAN DER AALST W M P, ADRIANSYAH A A, DE MEDEIROS A K, et al. Process mining manifesto[C]// Lecture Notes in Business Information Processing. Berlin: Springer, 2012: 169-194

    [22] VAN DER AALST W M P, SCHONENBERG M H, SONG M. Time prediction based on process mining[J]. Information systems, 2011, 36(2): 450-475.

    [23] PETRI C A. Kommunikation mit automaten(bonn) trans[D].Germany: University of Bonn, 1962.

    [24] VAN DONGEN B F, DE MEDEIROS A K, VERBEEK H M, et al. The prom framework: a new era in process mining tool support[C]//Aapplications and Theory of Petri Nets. Berlin: Springer, 2005: 444-454.

    [25] ROZINAT A, VAN DER AALST W M P. Conformance testing: measuring the fit and appropriateness of event logs and process models[C]//International Conference on Business Process Management. Heidelberg: Springer, Berlin, 2005: 163-176.

    [26] 胡弼成,王祖霖. “大數(shù)據(jù)” 對(duì)教育的作用, 挑戰(zhàn)及教育變革趨勢(shì)——大數(shù)據(jù)時(shí)代教育變革的最新研究進(jìn)展綜述[J]. 現(xiàn)代大學(xué)教育, 2015(4): 98-104.

    [27] 牟智佳,俞顯,武法提. 國(guó)際教育數(shù)據(jù)挖掘研究現(xiàn)狀的可視化分析: 熱點(diǎn)與趨勢(shì)[J]. 電化教育研究, 2017, 38(4): 108-114.

    [28] BANNERT M, REIMANN P, SONNENBERG C, et al. Process mining techniques for analysing patterns and strategies in students' self-regulated learning[J]. Metacognition and learning, 2014, 9(2): 161-185.

    [29] TRCKA N, PECHENIZKIY M, VAN DER AALST W M P. Process mining from educational data[M]//Handbook of educational data mining. London: CRC Press, 2010:123-142.

    [30] BERGENTHUM R, DESEL J, HARRER A, et al. Modeling and mining of learnflows[M]//Transactions on petri nets and other models of concurrency V. Berlin: Springer, 2012: 22-50.

    [31] SCHOOR C, BANNERT M. Exploring regulatory processes during a computer-supported collaborative learning task using process mining[J]. Computers in human behavior, 2012, 28(4): 1321-1331.

    [32] FERN?魣NDEZ-GALLEGO B , LAMA M, VIDAL J C, et al. Learning analytics framework for educational virtual worlds[J]. Procedia computer science, 2013, 25: 443-447.

    [33] EMOND B, BUFFETT S. Analyzing student inquiry data using process discovery and sequence classification[C]//International Educational Data Mining Society. Madrid: ERIC, 2015 :412-415.

    [34] MUKALA P, BUIJS J C, LEEMANS M, et al. Learning analytics on coursera event data: a process mining approach[C]//Proceedings of the 5th International Symposium on Data-driven Process Discovery and Analysis. Aachen:CEUR-WS.org, 2015(1527): 18-32.

    [35] VAHDAT M, ONETO L, ANGUITA D, et al. A learning analytics approach to correlate the academic achievements of students with interaction data from an educational simulator[C]//10th European Conference on Technology Enhanced Learning. Berlin: Springer, 2015: 352-366.

    [36] SOUTHAVILAY V, YACEF K, CALVO R A, et al. Process mining to support students' collaborative writing[C]// The 3th International Conference on Educational Data Mining. Pittsburgh: Educationaldatamining.org,2010: 257-266.

    [37] DOLECK T, JARRELL A, POITRAS E, et al. Examining diagnosis paths: a process mining approach[C]// 2016 Second International Conference on Computational Intelligence & Communication Technology. Piscataway: IEEE, 2016: 663-667.

    [38] PECHENIZKIY M, TRCKA N, VASILYEVA E, et al. Process mining online assessment data[C]// The 2nd International Conference on Educational Data Mining. Córdoba: Educationaldatamining.org, 2009 (1): 279-288.

    [39] REIMANN P, FREREJEAN J, THOMPSON K, et al. Using process mining to identify models of group decision making in chat data[C]// CSCL'09: Proceedings of the 9th International Conference on Computer Supported Collaborative Learning. New York: ACM, 2009: 98-107.

    [40] T?魷TH K, R?魻LKE H, GOLDHAMMER F, et al. Educational process mining: new possibilities for understanding students' problem-solving skills[M]//Educational research and innovation. Paris: OECD, 2017 : 193-209.

    [41] SEDRAKYAN G, DE WEERDT J, SNOECK M. Process-mining enabled feedback:"tell me what I did wrong" vs."tell me how to do it right"[J]. Computers in human behavior, 2016, 57: 352-376.

    [42] POROUHAN P , PREMCHAISWADI W . Process mining and learners' behavior analytics in a collaborative and web-based multi-tabletop environment[J]. International journal of online pedagogy & course design, 2017, 7(3):29-53.

    [43] WANG R, ZAIANE O R. Discovering process in curriculum data to provide recommendation[C]//The 8th International Conference on Educational Data Mining. Madrid : Educationaldatamining.org, 2015: 580-581.

    [44] SCHULTE J, DE MENDONCA P F, MARTINEZMALDONADO R, et al. Large scale predictive process mining and analytics of university degree course data[C]//LAK '17: Proceedings of the Seventh International Learning Analytics & Knowledge Conference. New York: ACM, 2017: 538-539.

    [45] ARIOUAT H, CAIRNS A H, BARKAOUI K, et al. A two-step clustering approach for improving educational process model discovery[C]// 25th IEEE International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises. Piscataway: IEEE , 2016: 38-43.

    [46] AYUTAYA N S, PALUNGSUNTIKUL P, PREMCHAISWADI W, et al. Heuristic mining: adaptive process simplification in education[C]//2012 Tenth International Conference on ICT and Knowledge Engineering. Piscataway: IEEE, 2012: 221-227.

    [47] ANUWATVISIT S, TUNGKASTHAN A, PREMCHAISWADI W, et al. Bottleneck mining and Petri net simulation in education situations[C]//2012 Tenth International Conference on ICT and Knowledge Engineering. Piscataway: IEEE, ?2012: 244-251.

    [48] CAIRNS A H, GUENI B, FHIMA M, et al. Towards custom-designed professional training contents and curriculums through educational process mining[C]// IMMM 2014: The Fourth International Conference on Advances in Information Mining and Management. Wilmington: IARIA XPS Press, 2014: 53-58.

    [49] PONCIN W, SEREBRENIK A, VAN DEN BRAND M, et al. Mining student capstone projects with FRASR and ProM[C]// Proceedings of the ACM International Conference Companion on Object Oriented Programming Systems Languages and Applications Companion- OOPSLA '11. New York: ACM, 2011: 87-96.

    [50] WINNE P H. Improving measurements of self-regulated learning[J]. Educational psychologist, 2010, 45(4): 267-276.

    [51] REIMANN P, MARKAUSKAITE L, BANNERT M. e-R esearch and learning theory: what do sequence and process mining methods contribute? [J]. British journal of educational technology, 2014, 45(3): 528-540.

    [52] 張燕南. 大數(shù)據(jù)的教育領(lǐng)域應(yīng)用之研究[D]. 上海:華東師范大學(xué),2016.

    [53] BARSALOU LAWRENCE W. Grounded cognition[J]. Annual review of psychology, 2008, 59(1):617-645.

    [54] BOGARIN A, CEREZO R, ROMERO C, et al. A survey on educational process mining[J]. Wiley interdisciplinary reviews-data mining and knowledge discovery, 2018, 8(1): 1-17.

    [55] 黃榮懷,周偉,杜靜,孫飛鵬,王歡歡,曾海軍,劉德建.面向智能教育的三個(gè)基本計(jì)算問題[J].開放教育研究,2019,25(5):11-22.

    猜你喜歡
    教育大數(shù)據(jù)智能技術(shù)
    基于云計(jì)算的高校大學(xué)生信息平臺(tái)的研究
    “教育大數(shù)據(jù)”視角下的精準(zhǔn)教學(xué)的研究
    狹義教育大數(shù)據(jù)在英語(yǔ)教學(xué)中的應(yīng)用模式
    教育大數(shù)據(jù)在教育管理中的運(yùn)用分析
    一次設(shè)備智能化技術(shù)在智能變電站的探討
    智能技術(shù)在電力系統(tǒng)自動(dòng)化中的運(yùn)用研究
    電氣自動(dòng)化控制中的人工智能技術(shù)探究
    關(guān)于煙草設(shè)備自動(dòng)化系統(tǒng)淺析
    久久久久久国产a免费观看| 亚洲伊人久久精品综合| 国产精品伦人一区二区| 欧美性猛交╳xxx乱大交人| 午夜福利在线在线| 看黄色毛片网站| 精品亚洲乱码少妇综合久久| 人妻少妇偷人精品九色| 亚洲一级一片aⅴ在线观看| 一个人看的www免费观看视频| 免费人成在线观看视频色| 18禁动态无遮挡网站| 一区二区三区免费毛片| 免费av毛片视频| av网站免费在线观看视频| 看免费成人av毛片| 另类亚洲欧美激情| 又爽又黄a免费视频| 午夜福利视频精品| 久久综合国产亚洲精品| 精华霜和精华液先用哪个| 亚洲熟女精品中文字幕| 国产永久视频网站| 熟女电影av网| 肉色欧美久久久久久久蜜桃 | 天天躁夜夜躁狠狠久久av| 日韩成人伦理影院| 秋霞在线观看毛片| 18禁裸乳无遮挡免费网站照片| 我要看日韩黄色一级片| 在线看a的网站| 欧美日韩综合久久久久久| a级一级毛片免费在线观看| 久热久热在线精品观看| 大香蕉97超碰在线| 六月丁香七月| 国产男女内射视频| 久久久久久伊人网av| 精品人妻视频免费看| 制服丝袜香蕉在线| 十八禁网站网址无遮挡 | 三级国产精品欧美在线观看| 可以在线观看毛片的网站| 久久久久久久久久久丰满| 午夜激情福利司机影院| 午夜老司机福利剧场| 国产精品秋霞免费鲁丝片| 久久精品久久久久久噜噜老黄| 免费看a级黄色片| 天天躁夜夜躁狠狠久久av| 免费大片黄手机在线观看| av在线亚洲专区| 日韩视频在线欧美| 中文在线观看免费www的网站| 欧美成人一区二区免费高清观看| 噜噜噜噜噜久久久久久91| 国产亚洲午夜精品一区二区久久 | 在线免费观看不下载黄p国产| 亚洲最大成人手机在线| 亚洲婷婷狠狠爱综合网| 一级毛片久久久久久久久女| 超碰av人人做人人爽久久| 国内揄拍国产精品人妻在线| 少妇人妻 视频| 婷婷色综合大香蕉| 只有这里有精品99| 亚洲欧美精品专区久久| 亚洲国产精品专区欧美| 美女国产视频在线观看| 成人国产麻豆网| 国产男人的电影天堂91| 精品久久久久久电影网| 搡女人真爽免费视频火全软件| 又大又黄又爽视频免费| 黑人高潮一二区| 日韩欧美精品v在线| 欧美日韩视频精品一区| 欧美亚洲 丝袜 人妻 在线| 国产永久视频网站| 天堂中文最新版在线下载 | 日本色播在线视频| 亚洲电影在线观看av| 色5月婷婷丁香| 18禁动态无遮挡网站| 久热久热在线精品观看| 国产老妇伦熟女老妇高清| 欧美成人a在线观看| 激情 狠狠 欧美| 亚洲av免费在线观看| 久久久久久久久大av| 日韩人妻高清精品专区| 夫妻性生交免费视频一级片| 亚洲av中文字字幕乱码综合| 伊人久久国产一区二区| 九九爱精品视频在线观看| 内地一区二区视频在线| 最近的中文字幕免费完整| 国产精品嫩草影院av在线观看| 欧美zozozo另类| 免费大片18禁| 精品久久久久久电影网| 亚洲一区二区三区欧美精品 | 亚洲精品成人久久久久久| 波多野结衣巨乳人妻| 人妻制服诱惑在线中文字幕| 一级av片app| 美女视频免费永久观看网站| 国产精品国产三级国产专区5o| 晚上一个人看的免费电影| 亚洲四区av| 精品久久久久久久末码| 国产淫片久久久久久久久| 熟女人妻精品中文字幕| 晚上一个人看的免费电影| 麻豆成人午夜福利视频| 在线观看免费高清a一片| 免费大片18禁| av在线天堂中文字幕| 在线观看美女被高潮喷水网站| 免费观看性生交大片5| 国产成人福利小说| 国国产精品蜜臀av免费| 亚洲av男天堂| 中文精品一卡2卡3卡4更新| 日韩大片免费观看网站| 亚洲精品色激情综合| 一边亲一边摸免费视频| 嫩草影院精品99| av在线天堂中文字幕| 午夜免费鲁丝| 69av精品久久久久久| av国产久精品久网站免费入址| 欧美xxxx黑人xx丫x性爽| 欧美成人一区二区免费高清观看| 五月天丁香电影| 熟女人妻精品中文字幕| 日韩一区二区三区影片| 新久久久久国产一级毛片| 晚上一个人看的免费电影| 91精品国产九色| 日本一本二区三区精品| 国产伦精品一区二区三区四那| 亚洲国产精品999| 日韩成人伦理影院| 在线播放无遮挡| 不卡视频在线观看欧美| 欧美激情国产日韩精品一区| 亚洲欧美日韩东京热| 国产老妇女一区| 99视频精品全部免费 在线| 成年女人看的毛片在线观看| 天天躁夜夜躁狠狠久久av| 久久久亚洲精品成人影院| 亚洲一区二区三区欧美精品 | 能在线免费看毛片的网站| 午夜福利视频1000在线观看| 人妻少妇偷人精品九色| 成人鲁丝片一二三区免费| 亚洲精品456在线播放app| 亚洲国产成人一精品久久久| 乱码一卡2卡4卡精品| 秋霞伦理黄片| 国产成人freesex在线| 免费看光身美女| 女人久久www免费人成看片| 亚洲性久久影院| 久久久精品免费免费高清| 国产久久久一区二区三区| 日本爱情动作片www.在线观看| 啦啦啦中文免费视频观看日本| a级毛片免费高清观看在线播放| 边亲边吃奶的免费视频| 波野结衣二区三区在线| 一级毛片aaaaaa免费看小| 亚洲av成人精品一区久久| 亚洲在线观看片| av黄色大香蕉| 51国产日韩欧美| 亚洲一级一片aⅴ在线观看| 国产精品无大码| 2021天堂中文幕一二区在线观| 91午夜精品亚洲一区二区三区| av网站免费在线观看视频| 亚洲第一区二区三区不卡| 精品久久久久久久人妻蜜臀av| 亚洲精品国产av成人精品| 97在线视频观看| 男女边摸边吃奶| 欧美老熟妇乱子伦牲交| 国产黄色视频一区二区在线观看| 精品人妻视频免费看| 人人妻人人爽人人添夜夜欢视频 | 中文字幕亚洲精品专区| 少妇被粗大猛烈的视频| 人妻少妇偷人精品九色| 日韩欧美精品v在线| videos熟女内射| 大香蕉97超碰在线| 国产黄色免费在线视频| 男人添女人高潮全过程视频| 亚洲av成人精品一区久久| 国产在线一区二区三区精| 亚洲精品日本国产第一区| 久久精品综合一区二区三区| 青青草视频在线视频观看| 777米奇影视久久| 男人舔奶头视频| 午夜日本视频在线| 寂寞人妻少妇视频99o| 久久鲁丝午夜福利片| 欧美激情国产日韩精品一区| 国产精品国产av在线观看| 高清av免费在线| 各种免费的搞黄视频| 久久精品国产自在天天线| 日本与韩国留学比较| 中文欧美无线码| 3wmmmm亚洲av在线观看| 欧美高清成人免费视频www| 国产色婷婷99| 久久久a久久爽久久v久久| 狂野欧美白嫩少妇大欣赏| 性色avwww在线观看| 欧美zozozo另类| 91在线精品国自产拍蜜月| av一本久久久久| 亚洲精品国产色婷婷电影| 欧美性感艳星| 九色成人免费人妻av| 最近最新中文字幕免费大全7| 97人妻精品一区二区三区麻豆| 婷婷色综合大香蕉| 亚洲精品久久久久久婷婷小说| 国产免费一级a男人的天堂| av福利片在线观看| 亚洲无线观看免费| 午夜免费观看性视频| 亚洲av中文字字幕乱码综合| 小蜜桃在线观看免费完整版高清| 精品久久久噜噜| 又爽又黄a免费视频| 久久精品熟女亚洲av麻豆精品| 免费看日本二区| 69av精品久久久久久| 日韩大片免费观看网站| 欧美xxⅹ黑人| 成人二区视频| 毛片一级片免费看久久久久| 成人黄色视频免费在线看| 最近中文字幕2019免费版| 久久久久国产网址| 欧美人与善性xxx| 十八禁网站网址无遮挡 | 国产高清不卡午夜福利| 交换朋友夫妻互换小说| 精品人妻视频免费看| 国内揄拍国产精品人妻在线| 免费观看a级毛片全部| av在线观看视频网站免费| 国内少妇人妻偷人精品xxx网站| 2022亚洲国产成人精品| 18禁裸乳无遮挡动漫免费视频 | 97在线视频观看| 国产av不卡久久| 免费大片18禁| 18禁在线播放成人免费| 美女主播在线视频| 久久热精品热| 久久热精品热| 精品人妻视频免费看| 欧美人与善性xxx| 人人妻人人澡人人爽人人夜夜| 午夜日本视频在线| 欧美性猛交╳xxx乱大交人| 欧美3d第一页| 免费av观看视频| 三级经典国产精品| 亚洲自拍偷在线| 大码成人一级视频| 亚洲综合精品二区| 亚洲内射少妇av| 3wmmmm亚洲av在线观看| 在线观看三级黄色| 高清欧美精品videossex| 国产爽快片一区二区三区| 久久这里有精品视频免费| 少妇人妻 视频| 久久久色成人| 免费看不卡的av| 3wmmmm亚洲av在线观看| 国产综合精华液| 欧美日韩亚洲高清精品| videossex国产| 一级av片app| 中文字幕免费在线视频6| 狂野欧美白嫩少妇大欣赏| 国产69精品久久久久777片| 特大巨黑吊av在线直播| 中文字幕久久专区| 日韩视频在线欧美| 极品教师在线视频| 真实男女啪啪啪动态图| 黄色欧美视频在线观看| 国产女主播在线喷水免费视频网站| 国产男人的电影天堂91| 下体分泌物呈黄色| 亚洲人成网站高清观看| 不卡视频在线观看欧美| 中文字幕免费在线视频6| 成年免费大片在线观看| 亚洲av成人精品一区久久| 亚洲精品乱码久久久v下载方式| 特大巨黑吊av在线直播| 国产高清三级在线| 国产午夜精品一二区理论片| 天堂网av新在线| 99re6热这里在线精品视频| 三级国产精品欧美在线观看| av在线观看视频网站免费| 草草在线视频免费看| 国产成年人精品一区二区| 国产亚洲91精品色在线| 自拍偷自拍亚洲精品老妇| 91午夜精品亚洲一区二区三区| 久久久久精品久久久久真实原创| 精品久久国产蜜桃| 在线 av 中文字幕| 啦啦啦在线观看免费高清www| 男女边吃奶边做爰视频| 国产亚洲最大av| 最近手机中文字幕大全| 天天躁日日操中文字幕| 老师上课跳d突然被开到最大视频| 欧美丝袜亚洲另类| 久久久久久久久久久丰满| 亚洲av中文字字幕乱码综合| 99re6热这里在线精品视频| 边亲边吃奶的免费视频| 国产 一区精品| 国产 一区精品| 国产精品一及| 在线观看国产h片| 一二三四中文在线观看免费高清| 男男h啪啪无遮挡| 国产人妻一区二区三区在| 丝瓜视频免费看黄片| 少妇的逼水好多| 午夜免费男女啪啪视频观看| 久久久久久久久久成人| 特级一级黄色大片| 两个人的视频大全免费| 亚洲av国产av综合av卡| 国产爱豆传媒在线观看| 美女主播在线视频| 国产成人精品婷婷| 欧美成人一区二区免费高清观看| 国产亚洲精品久久久com| 亚洲精品中文字幕在线视频 | 久久精品国产鲁丝片午夜精品| 亚洲久久久久久中文字幕| 成人欧美大片| 欧美人与善性xxx| 99精国产麻豆久久婷婷| 国产亚洲5aaaaa淫片| 国内揄拍国产精品人妻在线| 丰满乱子伦码专区| av国产久精品久网站免费入址| 热99国产精品久久久久久7| 中文字幕亚洲精品专区| 小蜜桃在线观看免费完整版高清| 中国美白少妇内射xxxbb| 成人亚洲欧美一区二区av| 亚洲真实伦在线观看| 身体一侧抽搐| 国产成人免费观看mmmm| 欧美日韩视频高清一区二区三区二| 国产成人a∨麻豆精品| 亚洲成人一二三区av| 欧美日韩亚洲高清精品| 中文字幕久久专区| 波野结衣二区三区在线| 国产女主播在线喷水免费视频网站| 免费看a级黄色片| www.色视频.com| 亚洲,一卡二卡三卡| 高清毛片免费看| 一级毛片aaaaaa免费看小| 国产女主播在线喷水免费视频网站| 国产成人精品福利久久| 男女边摸边吃奶| 国产成人精品婷婷| av卡一久久| 色视频www国产| 欧美老熟妇乱子伦牲交| 男女啪啪激烈高潮av片| 亚洲国产精品专区欧美| 久久97久久精品| 亚洲最大成人手机在线| 一区二区三区免费毛片| 欧美日韩亚洲高清精品| 少妇的逼水好多| 国产高清不卡午夜福利| 成人毛片a级毛片在线播放| 视频区图区小说| 校园人妻丝袜中文字幕| 色婷婷久久久亚洲欧美| 欧美人与善性xxx| 亚洲av日韩在线播放| 国产亚洲91精品色在线| 少妇猛男粗大的猛烈进出视频 | 久久精品国产a三级三级三级| 国产成人freesex在线| 2021天堂中文幕一二区在线观| 激情五月婷婷亚洲| 国产精品国产三级国产av玫瑰| 欧美激情在线99| 欧美xxxx性猛交bbbb| a级毛色黄片| 一级毛片aaaaaa免费看小| 欧美激情久久久久久爽电影| 亚洲精品自拍成人| 亚洲av.av天堂| 精品国产三级普通话版| 青春草亚洲视频在线观看| videossex国产| 97热精品久久久久久| 一级黄片播放器| 国产成人免费无遮挡视频| 干丝袜人妻中文字幕| 真实男女啪啪啪动态图| 欧美日韩综合久久久久久| 美女主播在线视频| 国产视频首页在线观看| 七月丁香在线播放| 卡戴珊不雅视频在线播放| 一区二区三区四区激情视频| 少妇 在线观看| 久久精品国产鲁丝片午夜精品| 真实男女啪啪啪动态图| 久久久久久国产a免费观看| 久久午夜福利片| 亚洲天堂国产精品一区在线| 熟女av电影| 男女啪啪激烈高潮av片| 国产一区亚洲一区在线观看| 毛片女人毛片| 国产日韩欧美亚洲二区| 亚洲欧美日韩无卡精品| 欧美xxxx黑人xx丫x性爽| 中文在线观看免费www的网站| 三级经典国产精品| 在线天堂最新版资源| 五月伊人婷婷丁香| 欧美zozozo另类| 欧美极品一区二区三区四区| 亚洲无线观看免费| 男女边摸边吃奶| 免费不卡的大黄色大毛片视频在线观看| 免费观看性生交大片5| 国产大屁股一区二区在线视频| av在线蜜桃| 亚洲最大成人av| 晚上一个人看的免费电影| 内射极品少妇av片p| 在线观看一区二区三区| 少妇裸体淫交视频免费看高清| 性色av一级| 精品少妇黑人巨大在线播放| 少妇人妻久久综合中文| 国产在视频线精品| 亚洲精品一二三| 久久久久精品久久久久真实原创| 91久久精品国产一区二区成人| 18禁动态无遮挡网站| 搞女人的毛片| 国产成人a区在线观看| 国产黄色免费在线视频| 在线观看一区二区三区激情| 97精品久久久久久久久久精品| 日韩欧美一区视频在线观看 | 久久久精品94久久精品| 国产精品三级大全| 国产精品秋霞免费鲁丝片| 大片免费播放器 马上看| videos熟女内射| 国产免费一级a男人的天堂| 亚洲国产欧美在线一区| 最近手机中文字幕大全| 亚洲人与动物交配视频| 亚洲性久久影院| 国内精品美女久久久久久| 啦啦啦在线观看免费高清www| 男女国产视频网站| 男插女下体视频免费在线播放| 成人综合一区亚洲| 久久久亚洲精品成人影院| 欧美性感艳星| 亚洲精品中文字幕在线视频 | 欧美极品一区二区三区四区| 伊人久久精品亚洲午夜| 国产精品无大码| 夫妻午夜视频| 日韩 亚洲 欧美在线| 日日摸夜夜添夜夜添av毛片| 国产一区二区三区av在线| 天天躁日日操中文字幕| 国产大屁股一区二区在线视频| 国产日韩欧美亚洲二区| 亚洲国产高清在线一区二区三| 亚洲第一区二区三区不卡| 成人国产av品久久久| 国产精品国产三级国产av玫瑰| 91久久精品国产一区二区三区| 亚洲精品成人av观看孕妇| 国产亚洲av片在线观看秒播厂| 久久久亚洲精品成人影院| 亚洲内射少妇av| 香蕉精品网在线| 高清午夜精品一区二区三区| 欧美国产精品一级二级三级 | 涩涩av久久男人的天堂| 亚洲经典国产精华液单| 亚洲自偷自拍三级| 免费看av在线观看网站| 久久精品国产亚洲av涩爱| 精品久久久久久久久亚洲| 少妇裸体淫交视频免费看高清| 欧美性猛交╳xxx乱大交人| 成人特级av手机在线观看| 午夜老司机福利剧场| 在线观看人妻少妇| 日本-黄色视频高清免费观看| 国产精品人妻久久久影院| 久久精品久久久久久久性| 精品国产一区二区三区久久久樱花 | 亚洲av免费在线观看| 男插女下体视频免费在线播放| 涩涩av久久男人的天堂| 午夜日本视频在线| 激情 狠狠 欧美| 51国产日韩欧美| 免费看av在线观看网站| 九九在线视频观看精品| 亚洲精品乱久久久久久| 女人十人毛片免费观看3o分钟| 国产日韩欧美亚洲二区| 身体一侧抽搐| 国产高清有码在线观看视频| 可以在线观看毛片的网站| 三级经典国产精品| 亚洲一级一片aⅴ在线观看| 丝袜美腿在线中文| 男女那种视频在线观看| 亚洲精品视频女| 亚洲国产欧美人成| 一级av片app| 国产免费又黄又爽又色| 男女边摸边吃奶| 男男h啪啪无遮挡| 久久精品熟女亚洲av麻豆精品| 日韩av在线免费看完整版不卡| 成人漫画全彩无遮挡| 国产精品一区www在线观看| 国产午夜精品一二区理论片| 乱码一卡2卡4卡精品| 女人久久www免费人成看片| 精品国产三级普通话版| 亚洲婷婷狠狠爱综合网| 国产在线一区二区三区精| 国产伦在线观看视频一区| 欧美精品人与动牲交sv欧美| 中国国产av一级| 中文字幕制服av| 成人毛片a级毛片在线播放| 国产精品一区二区性色av| 美女xxoo啪啪120秒动态图| 狠狠精品人妻久久久久久综合| 亚洲熟女精品中文字幕| 亚洲精品国产av成人精品| 久久久欧美国产精品| 自拍偷自拍亚洲精品老妇| 国模一区二区三区四区视频| 色5月婷婷丁香| 中文精品一卡2卡3卡4更新| 九色成人免费人妻av| 久久99热6这里只有精品| 久久精品熟女亚洲av麻豆精品| 久久久久精品久久久久真实原创| 久久久久久久国产电影| 午夜福利在线观看免费完整高清在| 精品少妇久久久久久888优播| 伦精品一区二区三区| 2018国产大陆天天弄谢| 干丝袜人妻中文字幕| 人妻夜夜爽99麻豆av| 舔av片在线| 成人午夜精彩视频在线观看| 国产精品精品国产色婷婷| 久久久a久久爽久久v久久| 欧美日韩精品成人综合77777| 啦啦啦啦在线视频资源| 精品少妇黑人巨大在线播放| 少妇的逼好多水| 在线亚洲精品国产二区图片欧美 | 男人和女人高潮做爰伦理| 日韩国内少妇激情av| 亚洲精品色激情综合| av国产久精品久网站免费入址| 伦精品一区二区三区| 亚洲av男天堂| 精品久久久精品久久久| 亚洲av免费高清在线观看| 午夜视频国产福利| 国产爱豆传媒在线观看| 嫩草影院新地址|