高校大數(shù)據(jù)分析平臺設計與研究

劉萍 張蕊

摘? 要：大數(shù)據(jù)技術在各行各業(yè)的作用日益凸顯，高校引入相關技術可以充分挖掘歷史數(shù)據(jù)蘊含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設奠定堅實基礎。文章通過對高校大數(shù)據(jù)開發(fā)平臺服務構建的整體思路和解決方案、相關核心關鍵技術的分析，提出大數(shù)據(jù)分析平臺在高校的應用模式，從而對大數(shù)據(jù)在智慧校園中的應用提出積極建議。

關鍵詞：大數(shù)據(jù);智慧校園;平臺設計

中圖分類號：TP311.13? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）01-0125-02

Abstract：The role of big data technology in all walks of life is increasingly prominent. The introduction of relevant technologies in colleges and universities can fully tap the value of historical data. This paper puts forward the application mode of big data analysis platform in colleges and universities through the analysis of the overall ideas，solutions and the relevant key technologies，so as to make positive suggestions for the application of big data in “smart campus”.

Keywords：big data;smart campus;platform design

0? 引? 言

2018年4月13日，教育部關于印發(fā)《教育信息化2.0行動計劃》的通知提出了教育信息化2.0的概念，在通知里多次提及大數(shù)據(jù)概念，說明大數(shù)據(jù)技術在未來教育信息化工作中的重要地位。而高校信息化建設已開始數(shù)年，在建設過程中，學校信息化建設和管理水平得到顯著提升，基于校園網(wǎng)的信息資源和應用系統(tǒng)建設不斷豐富和完善，多年來積累了大量的包括業(yè)務數(shù)據(jù)、日志、音頻、視頻、圖片、地理位置信息等不同數(shù)據(jù)源的各類數(shù)據(jù)。引入大數(shù)據(jù)技術不但可以實現(xiàn)這些數(shù)據(jù)的迅速流轉，而且可以對數(shù)據(jù)進行甄別和分析處理，充分挖掘出其中蘊含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設奠定堅實基礎。

1? 大數(shù)據(jù)平臺的發(fā)展

高校在信息化發(fā)展的進程中，經(jīng)歷了網(wǎng)絡校園、數(shù)字校園到目前的智慧校園，仍遺留一些信息化方面的缺陷，例如存在信息孤島、沒有共同數(shù)據(jù)中心等。在打造智慧校園的過程中，要打破這些壁壘，有必要引入數(shù)據(jù)存儲、流轉、分析處理能力和功能更加強大的大數(shù)據(jù)技術，對各類數(shù)據(jù)進行有機規(guī)劃，從根本上改變學校信息孤島的現(xiàn)象，構建學?！靶畔⒏咚俟贰薄?/p>

高校的大數(shù)據(jù)平臺堅持以師生服務為導向，以師生需求為引領，推動“一切流程信息化，一切業(yè)務數(shù)據(jù)化”建設，建立全新的信息化生態(tài)系統(tǒng)。

通過大數(shù)據(jù)平臺，教務和學生管理部門可以通過數(shù)據(jù)了解歷年學校教學管理和學生信息，依靠大數(shù)據(jù)平臺進行數(shù)據(jù)挖掘、分析和處理，使高校學生管理人員能充分掌握學生情況，從而推動教學管理制度的改革。

通過大數(shù)據(jù)平臺，可以提供相關參考數(shù)據(jù)，有效地輔助學校各級領導進行研究、決策，最終達到提升學校信息化綜合服務能力的目的。

2? 大數(shù)據(jù)平臺架構設計

整個大數(shù)據(jù)中心架構從下往上分別是數(shù)據(jù)源層、數(shù)據(jù)采集層、大數(shù)據(jù)處理層、數(shù)據(jù)應用層，如圖1所示。

數(shù)據(jù)源層主要的數(shù)據(jù)來源有結構化數(shù)據(jù)、半結構化數(shù)據(jù)和非結構化數(shù)據(jù)。結構化數(shù)據(jù)源主要是高校業(yè)務數(shù)據(jù)庫、一卡通數(shù)據(jù)庫、計費認證數(shù)據(jù)庫等;半結構化數(shù)據(jù)源主要是各種應用和設備的日志信息，包括上網(wǎng)日志、Web服務器的訪問日志等;非結構化數(shù)據(jù)主要是各種來自互聯(lián)網(wǎng)的數(shù)據(jù)及相關的業(yè)務系統(tǒng)的數(shù)據(jù)。

數(shù)據(jù)采集層的主要功能是針對數(shù)據(jù)源層的不同數(shù)據(jù)源，使用不同的采集工具對數(shù)據(jù)進行采集，主要由Sqoop、Flume和爬蟲組成。

大數(shù)據(jù)處理層主要由Hadoop或Spark框架組成。包含底層保存數(shù)據(jù)的HDFS和HBASE，往上是分布式計算資源調(diào)度組件Mesos、Yarn等，再往上是Spark或MapReduce計算引擎，最上層是各種數(shù)據(jù)處理組件。

數(shù)據(jù)應用層提供基于大數(shù)據(jù)框架的各種服務，包括整個大數(shù)據(jù)中心智能應用模塊、主題數(shù)據(jù)的統(tǒng)計展示模塊、基于機器學習算法的智能應用模塊等。

3? 大數(shù)據(jù)平臺功能設計

3.1? 平臺開發(fā)管理模塊

（1）平臺開發(fā)管理維護模塊：本模塊提供了圖形化可拖拽工作流形式的數(shù)據(jù)采集處理開發(fā)工具、各種數(shù)據(jù)源采集組件和各種數(shù)據(jù)加工處理組件。同時還提供數(shù)據(jù)保存組件，可以將數(shù)據(jù)保存到關系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、各種格式的文件等。此外，對開發(fā)完的工作流可以進行編輯、保存、刪除、版本管理、運行時間及條件設置、運行狀態(tài)監(jiān)控、運行狀態(tài)預警（支持以郵件、短信、微信消息等形式通知）。

（2）數(shù)據(jù)統(tǒng)計挖掘模塊：本模塊提供圖形化可拖拽工作流形式的數(shù)據(jù)挖掘開發(fā)工具，提供內(nèi)置的常用函數(shù)庫、數(shù)據(jù)預處理組件、各種大數(shù)據(jù)分析算法組件、統(tǒng)計算法組件、文本處理和挖掘算法、自定義的算法組件等，其中每種算法都以可視化的組件形式提供，用戶可以配置算法參數(shù)、指定數(shù)據(jù)源和數(shù)據(jù)流出目標，數(shù)據(jù)統(tǒng)計挖掘的工作流處理完的數(shù)據(jù)可以輸出到報表，保存到各種關系型數(shù)據(jù)庫。

（3）報表生成模塊：本模塊提供一個圖形化拖拽+腳本的開發(fā)界面，可以進行報表的開發(fā)并生成各種類型的統(tǒng)計圖，開發(fā)的報表可進行靈活部署，可以單獨發(fā)布或集成到其他系統(tǒng)頁面，同時報表可兼容各種瀏覽器。

（4）數(shù)據(jù)檢索模塊：本模塊可以對大數(shù)據(jù)平臺上的數(shù)據(jù)進行靈活、快速的檢索。

（5）接口管理發(fā)布模塊：本模塊對指定數(shù)據(jù)可以進行接口發(fā)布，采用RESTful形式的接口，接口調(diào)用可以實現(xiàn)權限管理、訪問限制等設置。

（6）大數(shù)據(jù)平臺運維管理模塊：本模塊對大數(shù)據(jù)平臺的硬件設備、軟件組件和各種監(jiān)控指標進行監(jiān)控和報警，當事件發(fā)生或滿足閾值時，可以對指定的管理人員進行包括郵件、短信、微信消息等形式的通知。同時，提供詳細的日志功能，記錄平臺的各種操作和運行日志，并提供便捷的查詢界面，能夠對各種日志進行查看、審計。

（7）權限管理模塊：本模塊主要是管理員對大數(shù)據(jù)數(shù)據(jù)中心的功能進行權限分配，系統(tǒng)管理員為整個系統(tǒng)的最大管理員，擁有所有權限。

3.2? 主題數(shù)據(jù)展示模塊

（1）數(shù)據(jù)采集工作：數(shù)據(jù)采集工作參考教育部2012人事管理信息子集，可以對人事、學生、教務、科研、財務、資產(chǎn)、設備、招生、就業(yè)、一卡通、圖書館等業(yè)務的數(shù)據(jù)進行采集、加工;同時，對網(wǎng)絡設備、網(wǎng)絡計費、審計設備等日志數(shù)據(jù)進行采集。

（2）領導駕駛艙數(shù)據(jù)展示：領導駕駛艙數(shù)據(jù)展示功能可對人事、學生、資產(chǎn)、科研、教學、資產(chǎn)設備、校情、外事、檔案、辦公等數(shù)據(jù)進行領導視角的統(tǒng)計挖掘展示。

（3）教師個人數(shù)據(jù)中心展示：教師個人數(shù)據(jù)中心展示基于教職工在各個系統(tǒng)中的數(shù)據(jù)，以教職工個人為中心，形成各種數(shù)據(jù)統(tǒng)計展示，例如：人事信息、科研成果信息、工資情況信息、教學情況信息、一卡通信息、圖書借閱信息、上網(wǎng)信息等。

（4）學生個人數(shù)據(jù)中心展示：基于學生在各個系統(tǒng)中的數(shù)據(jù)，以學生個人為中心，形成各種數(shù)據(jù)統(tǒng)計展示，例如：個人基本信息、考試成績信息、獎學金助學金信息、助學貸款信息、一卡通消費信息、圖書借閱信息、上網(wǎng)信息等。

3.3? 智能應用模塊

（1）學生綜合預警功能：通過對各種數(shù)據(jù)源中學生數(shù)據(jù)的采集、處理、分析挖掘，形成各種預警模型，可以對學生的經(jīng)濟困難狀況、學業(yè)狀況、離校狀況、進校狀況進行預測報警或提示，對分析結果進行報表展示，提供查詢及各種類型消息推送功能等。

（2）網(wǎng)絡安全預警功能：通過對各種網(wǎng)絡設備的數(shù)據(jù)進行采集、處理、分析挖掘，進行各種網(wǎng)絡安全預警模型，可對非法的網(wǎng)絡訪問、網(wǎng)絡入侵、非法操作等進行預警，對分析結果進行報表展示，提供查詢及各種類型消息推送的功能等。

4? 結? 論

通過對學校的多年信息化建設形成的數(shù)據(jù)進行大數(shù)據(jù)分析，除了可以提供多角度、多維度及直觀的數(shù)據(jù)展示，還可以在此基礎上完成跨部門和跨系統(tǒng)的業(yè)務流程重組和優(yōu)化，建立一個具有規(guī)范業(yè)務流程、先進管理理念的分析決策系統(tǒng)，為學校各級領導進行研究、決策提供數(shù)據(jù)支撐。同時，學生相關的綜合查詢和預警功能，為學生管理提供輔助支撐，為學生提供人性化的管理與服務，還可促進高校信息化水平的提升。

總之，在高校管理中應用大數(shù)據(jù)技術，可以推動學校管理制度的創(chuàng)新與變革，在提升高校管理智能化的同時，為智慧校園的建設奠定堅實基礎。

參考文獻：

[1] 江學鋒.Web下基于數(shù)據(jù)挖掘的高校輔助決策支持系統(tǒng)設計 [J].信息與電腦（理論版），2016（20）：99-101.

[2] 代海平.大數(shù)據(jù)技術在高校學生管理中的應用 [J].智庫時代，2019（38）：90+92.

[3] 李玉榮.大數(shù)據(jù)視域下高校智慧校園建設的可行性路徑研究 [J].信息技術與信息化，2019（8）：146-148.

作者簡介：劉萍（1975-），女，漢族，福建莆田人，副高級工程師，碩士研究生，研究方向：數(shù)據(jù)挖掘、智慧校園、教育信息化。