基于大數(shù)據(jù)分析的學習評價

黃慧+劉正濤+朱鵬宇

摘要：針對目前高校課程評價手段單一，不能滿足學生個性化學習的要求，本文提出了一種具有個性化和發(fā)展性特征的學習評價模型。該模型基于學生課堂教學、課外自學和部分日常生活構(gòu)成的大數(shù)據(jù)，通過數(shù)據(jù)挖掘技術(shù)，給出課程學習過程中對每個學生的評價。學習評價關(guān)注學習的每個階段，給出的建議符合學生個性化要求，并可幫助教師因材施教。教學實踐結(jié)果顯示，這種學習評價有助于改善學生的學習。

關(guān)鍵詞：大數(shù)據(jù)；個性化學習評價；發(fā)展性學習評價；教育信息化

中圖分類號：G717 文獻標識碼：A 文章編號：1672-5727（2017）08-0034-05

一、大數(shù)據(jù)為學習評價帶來的契機

學習評價是教學活動中的一個重要環(huán)節(jié)，評價內(nèi)容以及如何評價在一定程度上影響著教學過程[1]。傳統(tǒng)的評價方式通常是考試，這種評價方式一般在課程結(jié)束后進行，不能貫穿于課程學習的全過程，而且單一籠統(tǒng)，無法突出學生個體的特點。其結(jié)果是教師不能因材施教，學生也不能根據(jù)自己的要求來選擇性地學習。顯然，這種評價方式已經(jīng)不適應當前學生個性化學習的需要，也不利于個性化人才的培養(yǎng)。我國《教育信息化十年發(fā)展規(guī)劃（2011—2020年）》提出學校教育教學方式的變革要在學生多樣性、個性化學習方面的改變上取得突破，并提出了“鼓勵發(fā)展性評價”[2]。探索建立針對每個學生的個性化、發(fā)展性的學習評價問題已經(jīng)成為當前迫切需要解決的問題之一。

建立這種評價方式最大的難點是信息不對稱。教師無法獲知學生的學習狀態(tài)，簡單的課堂交流只能作一個較為膚淺的判斷，對于每個學生的興趣愛好、學習習慣等都無從掌握，無法進行有針對性的引導，也不能開展個性化評價。但隨著大數(shù)據(jù)時代的來臨，高校中每時每刻都產(chǎn)生著海量的數(shù)據(jù)，這些數(shù)據(jù)以非結(jié)構(gòu)化、半結(jié)構(gòu)化、結(jié)構(gòu)化多種樣式存在，而以往的研究工作并未基于大數(shù)據(jù)這樣一個特點進行研究，如將這些孤立的數(shù)據(jù)進行有效的融合及充分的利用，就能為實現(xiàn)學生學習的個性化評價提供技術(shù)上的可能性。

大數(shù)據(jù)能關(guān)注每一個學生個體的微觀表現(xiàn)，它可以分析微觀、個體的學生生活與課堂情況，凸顯信息的真實性，找到真正影響個體教育的重要因素[3-4]?；诖髷?shù)據(jù)建立的學習評價，能夠為學習者提供個性化學習內(nèi)容、資源和建議，為教師提供調(diào)整改進教學行為的依據(jù)，促進建立個性化培養(yǎng)體系，滿足社會多樣化、個性化人才的需要[5-6]。

近兩年，國外研究者開始對高校利用大數(shù)據(jù)信息化平臺對大學生學習評價進行研究。2013年，美國教育部在《Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics》一文中提出應利用大數(shù)據(jù)技術(shù)對教與學過程中產(chǎn)生的數(shù)據(jù)進行數(shù)據(jù)挖掘來獲取有價值的信息[7]。美國的一些大學也針對此方面展開了一些研究，目前正在研究的有課程信號系統(tǒng)、Moodog和預測分析報告系統(tǒng)。普渡大學的“課程信號系統(tǒng)”可以根據(jù)學生的學業(yè)表現(xiàn)來警示學生的學習狀況（課業(yè)良好、中度危機、嚴重危急等）；美國加州大學使用的“Moodog”和美國西部洲際高等教育委員會教育技術(shù)合作部的“預測分析報告系統(tǒng)”能夠分析學生退學的影響因素，這些系統(tǒng)目前均處于研究測試階段，以期為大學生個性化學習評價的建立提供有效的解決方案。

國內(nèi)對個性化學習評價處于理論研究階段，大多普通高校尚未使用實踐手段以獲取個性化信息。從國內(nèi)學者發(fā)表的多篇有關(guān)學習評價的文獻中可以發(fā)現(xiàn)，個性化學習評價的實踐與個性化人才培養(yǎng)的要求存在差距，也滯后于信息化技術(shù)的發(fā)展[8-12]。

二、 基于大數(shù)據(jù)分析的具有個性化、發(fā)展性學習評價模型的構(gòu)建

本文基于大數(shù)據(jù)平臺，構(gòu)建具有個性化、發(fā)展性特征的學習評價模型。該模型由信息采集與數(shù)據(jù)清洗和整合、數(shù)據(jù)挖掘與分析、信息反饋三個主要模塊組成，如圖1所示。

（一）信息采集與數(shù)據(jù)清洗和整合模塊

傳統(tǒng)學生學習評價主要依靠考試成績、課堂表現(xiàn)、作業(yè)情況等，該模塊中除了使用傳統(tǒng)的數(shù)據(jù)，還將考慮學生課后網(wǎng)上學習、學習規(guī)劃報告、興趣度調(diào)查、心理調(diào)查報告、借書情況甚至校園刷卡消費記錄等數(shù)據(jù)，這些數(shù)據(jù)都或多或少地和學習結(jié)果相聯(lián)系。如果能將個中影響因素都結(jié)合起來進行挖掘，則可更加客觀、準確、如實地反映學生學習情況。以上信息基本都以非結(jié)構(gòu)化、半結(jié)構(gòu)化和結(jié)構(gòu)化多種樣式存在[13-14]，需要在大數(shù)據(jù)平臺Hadoop下進行清洗和整合，為數(shù)據(jù)分析和挖掘做準備。

（二）數(shù)據(jù)挖掘與分析模塊

數(shù)據(jù)挖掘和分析模塊采用Hadoop平臺，該平臺提供的數(shù)據(jù)挖掘算法具有并行處理數(shù)據(jù)的特點，能夠快速、有效地處理大規(guī)模數(shù)據(jù)。在Hadoop平臺下將需要的數(shù)據(jù)進行清洗和整合后，利用Hadoop平臺提供的數(shù)據(jù)挖掘的關(guān)聯(lián)規(guī)則、決策樹等相關(guān)算法對數(shù)據(jù)進行分析，可識別出每個學生的學習情況、影響學習的主要因素、警告等信息。我們將經(jīng)過分析挖掘產(chǎn)生的結(jié)果分為兩方面：

1.個性化評價內(nèi)容的研究

影響個體學生學習的因素；這些因素的強弱聯(lián)系度；個體學生可能在某一門課程中落后的時間點；學生不能完成一門課程的風險預警等。

2.發(fā)展性評價內(nèi)容的研究

這是一個反復迭代的過程。即通過對數(shù)據(jù)的采集、清洗、合并及挖掘后，產(chǎn)生對學生干預性、指導性意見，學生經(jīng)過改善學習后，又產(chǎn)生新一階段的評價數(shù)據(jù)并再次進行采集、清洗、合并及挖掘。通過這一過程，學生不斷獲得改善措施，從而形成適合自身發(fā)展性的學習評價。

（三）信息反饋模塊

將分析得到的數(shù)據(jù)形成學習評價和建議，提供給教師和學生。學生獲得及時預警以及改進措施，幫助自身糾正不良學習習慣；教師獲得學生評價并給出相應的建議，對學生的學習活動進行干預。最后通過橫向與縱向?qū)Ρ确治鲞M一步完善評價體系。

三、模型的實現(xiàn)

依據(jù)基于大數(shù)據(jù)分析的具有個性化、發(fā)展性學習評價模型，構(gòu)建了大數(shù)據(jù)平臺，運用個性化、發(fā)展性學習評價方法（Personalized and Developmental Learning Evaluation Based on Big Data，簡稱PDBD方法）對每個學生個體進行持續(xù)性的學習評價，給出風險預警和改進意見，同時也提示教師給予學生必要的輔導和督促，避免學習狀況下滑。

本研究以南京市三江學院計算機科學與工程學院共1 200名學生為樣本，每兩周采集一次數(shù)據(jù)，采集了學生的課堂表現(xiàn)、作業(yè)、測試、視頻點播、網(wǎng)上交流、學習興趣度、圖書館借書記錄（和課程相關(guān)）、心理健康和校園消費等情況。采集的數(shù)據(jù)如表1所示。

將以上數(shù)據(jù)劃分為三類：課內(nèi)數(shù)據(jù)、課外數(shù)據(jù)和生活數(shù)據(jù)。課內(nèi)數(shù)據(jù)包括課堂表現(xiàn)、作業(yè)和測試；課外數(shù)據(jù)包括視頻點播、網(wǎng)上交流、學習興趣度和圖書館借書記錄（和課程相關(guān)）；生活數(shù)據(jù)包括心理健康和校園消費。

以上數(shù)據(jù)都可以從任課教師、學生輔導員和學校相關(guān)單位數(shù)據(jù)庫中采集。課堂表現(xiàn)是教師根據(jù)上課過程中學生回答問題情況、聽課專心度和合作學習情況評定得到，每周布置一次作業(yè)和測試，可獲取作業(yè)和測試成績。視頻點播和網(wǎng)上交流數(shù)據(jù)則來自三江學院的“愛課程”網(wǎng)站，學生通過觀看視頻，在線交流，網(wǎng)站自動記錄學生在“愛課程”上的學習軌跡，給出評價等級。學習興趣度由各門課教師以問卷調(diào)查的方式獲得。圖書館借閱以學生當前兩周實際借閱與課程相關(guān)圖書的本數(shù)作為統(tǒng)計數(shù)據(jù)。心理健康則是由輔導員在入學時通過問卷調(diào)查的方式獲得，如有心理問題，可以在數(shù)據(jù)庫中提示。后勤部門的數(shù)據(jù)庫中則記錄了學生每天的校園卡消費記錄情況。

與圖書館借閱、校園消費、視頻點播、作業(yè)和測試等數(shù)據(jù)不同，課堂表現(xiàn)、學習興趣度和心理健康的結(jié)果存在一定的主觀性。不同的教師對學生的課堂表現(xiàn)評價有著一定的差異；而學習興趣度和心理健康是以調(diào)查問卷的方式進行，調(diào)查問卷是否客觀可靠都是需要考量的問題。

因此，需要對教師的課堂表現(xiàn)打分、問卷調(diào)查數(shù)據(jù)進行信度和效度分析，它是衡量數(shù)據(jù)是否可靠的重要手段[15]。本文采用了克朗巴哈a系數(shù)測試信度水平，清洗出信度水平在0.85以下的數(shù)據(jù)，同時采用相關(guān)性分析的方式測試效度水平，清洗出相關(guān)系數(shù)低于0.6的數(shù)據(jù)。最后共計得到包含C#程序設計、數(shù)據(jù)庫原理、.NET桌面開發(fā)技術(shù)和ASP.NET課程等大約120萬條記錄，在多個班級進行了實證性研究。

以上數(shù)據(jù)每兩周采集一次，一門課程授課時長一般為16周，因此，每位學生的每門課程一般會采集8次左右的數(shù)據(jù)，將這些數(shù)據(jù)導入Hadoop大數(shù)據(jù)平臺。將上述數(shù)據(jù)中的課內(nèi)數(shù)據(jù)和課外數(shù)據(jù)中的視頻點播、網(wǎng)上交流作為分析數(shù)據(jù)，按不同的權(quán)值（課內(nèi)數(shù)據(jù)權(quán)值為0.8，課外數(shù)據(jù)為0.2）進行加權(quán)處理，得到每位學生每2周學習情況的成績評定顏色進度條，良好以上成績用深灰色表示，及格用淺灰色表示，不及格用黑色表示。如圖2所示。

針對圖2，采用加權(quán)指標波動算法，根據(jù)學業(yè)情況同時向?qū)W生和教師提供建議及警告等。其中，加權(quán)指標波動算法思想是通過對學生每周的9項指標做加權(quán)，并合并形成標準化的綜合指標，監(jiān)測兩周的綜合指標，分析綜合指標的波動情況，根據(jù)設置的閾值，提取波動系數(shù)超過閾值的學生，進行提醒。當閾值取0.2時，2014級51班級連續(xù)兩次綜合指標的波動系數(shù)監(jiān)測如下頁表2所示。

以上三條記錄的波動系數(shù)超過0.2，需要引起學生與教師的注意。綜合圖2與表2，采用關(guān)聯(lián)規(guī)則算法中較為經(jīng)典的Apriori算法[16]，產(chǎn)生警告并提出建議。Apriori算法用于產(chǎn)生一個事件和其他因素之間依賴或關(guān)聯(lián)的知識，本文中利用Apriori算法獲取諸如成績差與學習興趣度或課堂表現(xiàn)之間的關(guān)系等，該算法目前是數(shù)據(jù)挖掘中較為成熟的算法。通過對幾周的數(shù)據(jù)進行分析，系統(tǒng)將給出學生的評定等級，如果評定等級低，將給出預警信號和預警原因，并對學生改進學習方法提出建議。評價是針對每一個學生個體的，并且采集的數(shù)據(jù)不僅限于課內(nèi)學習，可以給出多方面的原因和改進建議。同時系統(tǒng)的評價是隨著課程進度變化的，可以清晰地展示學生的發(fā)展情況，如果長時間沒有改進，也將給予預警，避免學習成績滑落。系統(tǒng)經(jīng)過分析后給學生提供的評定及改進措施如表3所示，給教師提供的評價及建議如表4所示。

四、實驗結(jié)果與分析

本文結(jié)合三江學院計算機科學與工程學院課程情況，構(gòu)建了一個簡單的大數(shù)據(jù)平臺，對該院共1 200名學生的C#程序設計、數(shù)據(jù)庫原理、.NET桌面開發(fā)技術(shù)和ASP.NET課程的終結(jié)性評價成績，按照同一班級不同課程（縱向比較）、不同班級同一課程（橫向比較）進行了對比測試。

（一）同一班級不同課程比較

在同一個班級分別對兩門課程難度相當?shù)摹皵?shù)據(jù)庫原理”和“.NET桌面開發(fā)技術(shù)”進行了分析研究，如圖3所示。其中，A課程表示“數(shù)據(jù)庫原理”，采用了PDBD方法，B課程表示“.NET桌面開發(fā)技術(shù)”，未采用PDBD方法，課程結(jié)束后，該班學生A課程的不及格率和中等率大幅度降低，而良好率從31%提升至60%，同時，優(yōu)秀率也略有提高。

（二）同一課程不同班級比較

將C#課程在不同班級進行分析研究，如圖4所示。其中班級A采用了PDBD方法，而班級B未采用PDBD方法。分析后發(fā)現(xiàn)，A班級的不及格率與中等率大幅下降，同時，良好率由30%上升至66%，優(yōu)秀率基本相當。

（三）同一課程不同班級均分比較

將四門課程分別在4個班級進行測試，如圖5所示。A課程表示未采用PDBD方法，B課程表示采用PDBD方法。期末成績表明，采用了PDBD方法進行教學的班級均分明顯高于未采用PDBD方法的班級。

（四）個體學生成績走勢圖

隨機選取了三名初期成績較差的學生進行測試，如下頁圖6所示。ASP.NET課程開始前兩周，A學生成績較差，課堂表現(xiàn)評分為40分左右，經(jīng)過16周的不斷督促和警告，A學生最后學業(yè)成績?yōu)榧案?；B和C學生在課程開始時表現(xiàn)為及格，學期結(jié)束時，B學生達到了良好，C學生達到了優(yōu)秀?？梢?，PDBD方法大幅度提升了較差和中等學生的成績。

教學實踐和縱橫向比較結(jié)果顯示，運用PDBD方法的班級和課程，學生獲得了教師有針對性的督促和指導，一定程度上改進了自己的學習，取得了明顯的進步。

參考文獻：

[1]Fotis Lazarinis，Steve Green，Elaine Pearson.Creating personalized assessments based on learner knowledge and objectives in a hypermedia Web testing applications[J].Computer & Education，2010，55（4）：1732-1743.

[2]教育部.教育信息化十年發(fā)展規(guī)劃（2011—2020年）[EB/OL].[2012-03-13].http：//www.more.gov.cn/publicfiles/ business/htmlfiles/more/s3342/201203/xxgk_133322.html.

[3]武法提，牟智佳.電子書包中基于大數(shù)據(jù)的學生個性化分析模型構(gòu)建與實現(xiàn)路徑[J].中國電化教育，2014（3）：63-69.

[4]祝智庭，沈德海.基于大數(shù)據(jù)的教育技術(shù)研究新范式[J].電化教育研究，2013（10）：5-13.

[5]朱建平，李秋雅.大數(shù)據(jù)對大學教學的影響[J].中國大學教學，2014（9）：41-44.

[6]徐鵬，王以寧.大數(shù)據(jù)視角分析學習變革[J].遠程教育雜志，2013（6）：11-17.

[7]Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics[EB/OL].[2012-12-01].http：//www.ed.gov/technology.

[8]李廣，姜英杰.個性化學習的理論建構(gòu)與特征分析[J].東北師范大學學報（哲學社會科學版），2005（3）：152-156.

[9]楊南昌.基于多元智能（MI）的個性化學習研究[D].南昌：江西師范大學，2003.

[10]王艷芳.支持個性化學習的E-learning系統(tǒng)研究[J].中國電化教育，2008（3）：102-107.

[11]費龍，馬元麗.發(fā)展個性化學習，促進教育公平——英國個性化學習基本理論及實踐經(jīng)驗探討[J].全球教育展望，2010（8）：42-46.

[12]魏雪峰，宋靈青.學習分析：更好地理解學生個性化學習過程——訪談學習分析研究專家George Siemens教授[J].中國電化教育，2013（9）：1-4.

[13]張韞.大數(shù)據(jù)改變教育：寫在大數(shù)據(jù)元年來臨之際[J].上海教育，2013（4）：8-11.

[14]趙剛.大數(shù)據(jù)[M].北京：電子工業(yè)出版社，2013.

[15]馬秀麟，衷克定，劉立超.從大數(shù)據(jù)挖掘的視角分析學生評教的有效性[J].中國電化教育，2014（10）：78-83.

（責任編輯：王璐）