大數(shù)據(jù)技術(shù)在學(xué)生業(yè)績分析中的研究與應(yīng)用

王肖飛

摘? ?要：隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，通過利用大數(shù)據(jù)技術(shù)的海量分析能力能夠客觀地分析出學(xué)生業(yè)績數(shù)據(jù)的規(guī)律，以此為強化學(xué)生業(yè)績管理工作提供科學(xué)依據(jù)。文章設(shè)計基于Map Reduce的關(guān)聯(lián)規(guī)則算法，以此搭建Hadoop平臺挖掘、分析學(xué)生真實的成績。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);學(xué)生業(yè)績;分析

隨著大數(shù)據(jù)技術(shù)在教育行業(yè)中的應(yīng)用，客觀評價學(xué)生的業(yè)績是了解學(xué)生學(xué)習(xí)情況，改進教學(xué)模式的重要方式。然而由于影響高職學(xué)生業(yè)績成績的因素比較多，尤其是高職海量的教學(xué)和管理數(shù)據(jù)導(dǎo)致教育工作者難以客觀的在海量的數(shù)據(jù)中尋求清晰的關(guān)聯(lián)規(guī)則。目前高職所采取的學(xué)生業(yè)績數(shù)據(jù)庫系統(tǒng)只是簡單地提供系統(tǒng)操作，而不能對數(shù)據(jù)進行分類分析。因此本文借助大數(shù)據(jù)技術(shù)的優(yōu)勢，構(gòu)建基于大數(shù)據(jù)技術(shù)的學(xué)生業(yè)績分析系統(tǒng)。

1? ? 學(xué)生業(yè)績分析概述

學(xué)生業(yè)績就是學(xué)生在學(xué)習(xí)方面的學(xué)習(xí)方法、學(xué)習(xí)習(xí)慣、學(xué)習(xí)興趣以及學(xué)習(xí)成績的總稱，學(xué)生業(yè)績分析顧名思義就是對學(xué)生學(xué)習(xí)成效的分析。隨著高職教育改革的不斷推進，對于學(xué)生業(yè)績的分析不能僅憑借其考試成績，而且還要融入日常表現(xiàn)、人文素質(zhì)以及實踐應(yīng)用能力等。在高職學(xué)習(xí)階段學(xué)生業(yè)績所產(chǎn)生的數(shù)據(jù)非常多，如何在海量的數(shù)據(jù)中挖掘有用信息并且為教育管理者所應(yīng)用，成為當(dāng)前學(xué)術(shù)業(yè)績分析所必須解決的問題。實踐表明在海量的數(shù)據(jù)中進行分析需要從海量數(shù)據(jù)中挖掘與提取重要信息，其包括數(shù)據(jù)清洗、數(shù)據(jù)選擇、數(shù)據(jù)變換以及數(shù)據(jù)挖掘等，每個數(shù)據(jù)分析環(huán)節(jié)的構(gòu)成都是數(shù)據(jù)分析研究的重要內(nèi)容，因此需要最大程度地保持與還原客觀事實。

2? ? 基于大數(shù)據(jù)技術(shù)學(xué)生業(yè)績分析系統(tǒng)的設(shè)計方案

2.1? 系統(tǒng)開發(fā)設(shè)計的總體目標(biāo)

基于大數(shù)據(jù)技術(shù)的學(xué)生業(yè)績分析系統(tǒng)就是將大數(shù)據(jù)、數(shù)據(jù)挖掘等計算機技術(shù)應(yīng)用到高職學(xué)生業(yè)績管理系統(tǒng)中，以此通過該平臺為學(xué)生、教師提供更加準(zhǔn)確的數(shù)據(jù)信息，提高高職教育的精準(zhǔn)度。結(jié)合高職教育的目標(biāo)，該系統(tǒng)開發(fā)設(shè)計的主要目標(biāo)為：（1）對產(chǎn)生數(shù)據(jù)的各環(huán)節(jié)進行精準(zhǔn)分析。根據(jù)調(diào)查學(xué)生業(yè)績數(shù)據(jù)產(chǎn)生不同的環(huán)節(jié)，例如平時的教學(xué)工作、學(xué)生實習(xí)表現(xiàn)、課堂反饋以及學(xué)生自我評價等，不同環(huán)節(jié)都會產(chǎn)生大量的數(shù)據(jù)，而這些數(shù)據(jù)之間有的存在某些關(guān)聯(lián)，有些則存在重復(fù)性。海量的數(shù)據(jù)必然會影響教師對學(xué)生業(yè)績情況的客觀分析，因此，通過設(shè)計大數(shù)據(jù)學(xué)生業(yè)績分析系統(tǒng)對海量數(shù)據(jù)進行自動分析與精選，以此為教學(xué)工作提供準(zhǔn)確依據(jù)。（2）實現(xiàn)人機交互界面，實現(xiàn)雙重查詢需求。學(xué)生業(yè)績分析系統(tǒng)需要滿足學(xué)生自我查詢和教師查詢的功能，系統(tǒng)根據(jù)權(quán)限對相關(guān)使用者授權(quán)，以便其可以及時了解自己的學(xué)習(xí)或教學(xué)情況，進而客觀地發(fā)現(xiàn)自己的缺陷并加以改進[1]。

2.2? 系統(tǒng)開發(fā)的可行性及數(shù)據(jù)來源

根據(jù)高職學(xué)生成績管理工作的需要，設(shè)計了合理的大數(shù)據(jù)處理與分析平臺，以及數(shù)據(jù)挖掘并行算法處理平臺，項目重點為利用Hadoop平臺對大數(shù)據(jù)日志進行存儲、分析、處理，對采集的數(shù)據(jù)進行分析，完成相應(yīng)日志的入庫、處理、分析、實時查詢等主要功能。對經(jīng)過處理后的數(shù)據(jù)進行數(shù)據(jù)挖掘，挖掘出有價值的信息，給用戶推薦更好的資源。按照實施計劃部署相應(yīng)的大數(shù)據(jù)系統(tǒng)平臺，根據(jù)平臺的數(shù)據(jù)處理量，初步規(guī)劃Hadoop集群的數(shù)量為5～10臺。

為了客觀地反映學(xué)生業(yè)績情況，保證大數(shù)據(jù)學(xué)生業(yè)績分析系統(tǒng)的準(zhǔn)確性，提高數(shù)據(jù)的挖掘能力，本次研究的數(shù)據(jù)全部來源于高職教育不同階段、部門。例如高職學(xué)生信息管理系統(tǒng)、招生就業(yè)系統(tǒng)、校園圖書管理系統(tǒng)以及教務(wù)管理系統(tǒng)等。當(dāng)然考慮到學(xué)生平時表現(xiàn)也是客觀評價學(xué)生業(yè)績的重要方面，因此，本研究將學(xué)生的網(wǎng)絡(luò)社交媒體、學(xué)習(xí)者調(diào)查等方，載體中關(guān)于學(xué)生情況的數(shù)據(jù)也納入到該系統(tǒng)研究范疇中。

3? ? 架構(gòu)設(shè)計

基于大數(shù)據(jù)的學(xué)生業(yè)績分析系統(tǒng)主要包括兩個部分：（1）大數(shù)據(jù)處理與分析平臺。（2）數(shù)據(jù)挖掘并行算法分析平臺。大數(shù)據(jù)處理與分析是對原始數(shù)據(jù)進行ETL的過程，數(shù)據(jù)挖掘并行算法則是對經(jīng)過處理后數(shù)據(jù)的挖掘，以便可以發(fā)現(xiàn)潛在有價值的信息。整體架構(gòu)如圖1所示。

3.1? 環(huán)境設(shè)計

本文研究是在VMwara Workstation10.0.0上建立兩臺虛擬機，搭建Hadoop集群環(huán)境，一臺作為NameNode，另一臺作為DataNode。（1）搭建Linux系統(tǒng)。本次的Hadoop雖然能夠適應(yīng)不同的系統(tǒng)，但是由于其搭建環(huán)境較為復(fù)雜，因此可以選擇Linux系統(tǒng)，消除其搭建環(huán)境復(fù)雜的弊端。（2）Hadoop平臺搭建。采取完全分布式模式，在搭建前需要安裝兩個程序：Java語言的軟件開發(fā)工具包（Java Development Kit，JDK）和安全殼協(xié)議（Secure Shell，SSH）。Hadoop運行的過程中需要管理遠端Hadoop守護進程，因此在啟動后需要通過SSH和DataNode進行交互。

3.2? 數(shù)據(jù)預(yù)處理

納入本次研究的大部分?jǐn)?shù)據(jù)來源于相關(guān)部門的原始數(shù)據(jù)，而這些數(shù)據(jù)難免會存在某些數(shù)據(jù)記錄的缺失。因此，為了保證結(jié)果的準(zhǔn)確性，需要對學(xué)生業(yè)績的原始數(shù)據(jù)進行清洗，通過清洗提高數(shù)據(jù)的準(zhǔn)確性。根據(jù)大數(shù)據(jù)挖掘技術(shù)的要求，原始數(shù)據(jù)清洗過程為：（1）清洗無效數(shù)據(jù)。對收集的各種數(shù)據(jù)分析不難發(fā)現(xiàn)，在原始數(shù)據(jù)中存在帶有“一”“、”以及空值等不合法的字符，這些字符的存在沒有任何的意義。例如高職院校的選修課并不是所有學(xué)生都會選擇的，因此對于某些學(xué)生而言其選修課的成績則會用“一”代表，但是在分析系統(tǒng)中沒有任何的意義，需要系統(tǒng)將其清理出去。（2）數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)轉(zhuǎn)換就是將不同的課程或者表現(xiàn)用簡單的字符代替，例如不同的數(shù)字代表不同的課程成績。（3）數(shù)據(jù)規(guī)范化。數(shù)據(jù)規(guī)范化就是將數(shù)據(jù)進行分類，明確不同數(shù)據(jù)區(qū)域的分值，例如可以將90分以上的劃定為優(yōu)秀，將80～90分劃定為良好，將70～80分劃定為中等，60分以下的劃定為不合格[2]。

3.3? 數(shù)據(jù)挖掘

數(shù)據(jù)經(jīng)過預(yù)處理后，需要考慮如何能讓數(shù)據(jù)發(fā)揮作用。這就需要采用數(shù)據(jù)挖掘平臺提供的數(shù)據(jù)挖掘和分析工具、算法進行有價值信息的抽取，從而實現(xiàn)從數(shù)據(jù)到信息的高效轉(zhuǎn)化。對受教育者的學(xué)習(xí)數(shù)據(jù)、行為數(shù)據(jù)等進行深入分析和挖掘，查找可能存在的問題等重要信息，并利用這些數(shù)據(jù)為改善受教育者的成績或?qū)W習(xí)行為提供個性化的服務(wù)。同時，借助數(shù)據(jù)中一位受教育者的各個維度數(shù)據(jù)來綜合評判學(xué)生表現(xiàn)，利用大數(shù)據(jù)挖掘技術(shù)，針對學(xué)生存在的問題提供合理的建議與意見。根據(jù)平臺需求主要使用以下5種數(shù)據(jù)挖掘技術(shù)從大數(shù)據(jù)分析后的數(shù)據(jù)中提取有價值數(shù)據(jù)信息。

（1）預(yù)測（Prediction）：基于對歷史數(shù)據(jù)的分析，預(yù)測新數(shù)據(jù)的特征或數(shù)據(jù)的未來發(fā)展趨勢。例如，要具備知道一個學(xué)生在什么情況下盡管事實上有能力但卻有意回答錯誤的能力。

（2）聚類（Clustering）：發(fā)現(xiàn)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)。這對于把有相同學(xué)習(xí)興趣的學(xué)生分在一組很有用。

（3）相關(guān)性挖掘（Relationship Mining）：發(fā)現(xiàn)各種變量或因素之間的關(guān)系，并對其進行解碼以便今后使用它們。這對探知學(xué)生在尋求幫助后是否能夠正確回答問題的可靠性很有幫助[3]。

（4）升華人的判斷（Distillation for Human Judgment）：建立可視的機器學(xué)習(xí)模式。

（5）用模式進行發(fā)現(xiàn)（Discovery with Models）：使用通過大數(shù)據(jù)分析開發(fā)出的模式進行“元學(xué)習(xí)”（Meta-Study）。

4? ? 結(jié)語

隨著大數(shù)據(jù)技術(shù)的發(fā)展，構(gòu)建基于大數(shù)據(jù)的學(xué)生學(xué)業(yè)分析系統(tǒng)是客觀了解學(xué)生學(xué)業(yè)情況，準(zhǔn)確分析學(xué)生學(xué)習(xí)成績，提高海量數(shù)據(jù)分析效果的重要舉措。

[參考文獻]

[1]程玉霞.數(shù)據(jù)挖掘在學(xué)習(xí)成績預(yù)測中的應(yīng)用研究—以網(wǎng)絡(luò)教育本科統(tǒng)考英語為例[D].無錫：江南大學(xué)，2016.

[2]趙慧瓊，姜強，趙蔚，等.基于大數(shù)據(jù)學(xué)習(xí)分析的在線學(xué)習(xí)績效預(yù)警因素及干預(yù)對策的實證研究[J].電化教育研究，2017（1）：64-71.

[3]李強，趙晨杰，羅先錄.基于大數(shù)據(jù)應(yīng)用技術(shù)的學(xué)情分析系統(tǒng)架構(gòu)分析與設(shè)計[J].軟件工程，2018（5）：38-41.