基于大數(shù)據(jù)技術(shù)的 智慧校園數(shù)據(jù)服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

楊子天 李濤

摘 要：文章針對(duì)國(guó)內(nèi)目前高校智慧化校園中存在的信息數(shù)據(jù)處理問(wèn)題，運(yùn)用新興大數(shù)據(jù)技術(shù)，設(shè)計(jì)開(kāi)發(fā)智慧校園中的數(shù)據(jù)服務(wù)平臺(tái)，著力解決各高校信息孤島問(wèn)題，通過(guò)對(duì)高校各系統(tǒng)數(shù)據(jù)的整合、分析、挖掘，為高校提供精準(zhǔn)的輔助決策數(shù)據(jù)和分析報(bào)告，主要包括海量、多樣的高校大數(shù)據(jù)的采集、清洗、計(jì)算與分析，海量高校大數(shù)據(jù)的動(dòng)態(tài)圖表與可視化報(bào)告以及通過(guò)人工智能手段進(jìn)行數(shù)據(jù)挖掘等功能。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);智慧校園;數(shù)據(jù)服務(wù)平臺(tái)

一、平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

為了解決傳統(tǒng)手段難以滿足高校對(duì)信息化輔助管理決策的新需求，數(shù)據(jù)處理和存儲(chǔ)效率低下及建設(shè)門檻和成本高的問(wèn)題，平臺(tái)先利用流式架構(gòu)整合智慧校園中的各類關(guān)系型和非關(guān)系型數(shù)據(jù)，研究多種異構(gòu)數(shù)據(jù)源數(shù)據(jù)的統(tǒng)一采集、匯聚和存儲(chǔ)及快速訪問(wèn)。在此基礎(chǔ)上結(jié)合校園業(yè)務(wù)應(yīng)用場(chǎng)景，利用機(jī)器學(xué)習(xí)框架，構(gòu)建特征模型，對(duì)數(shù)據(jù)進(jìn)行監(jiān)督和非監(jiān)督訓(xùn)練，確定其間的關(guān)聯(lián)關(guān)系并作出預(yù)測(cè)判斷。實(shí)現(xiàn)對(duì)學(xué)校內(nèi)所有數(shù)據(jù)資源的統(tǒng)一、科學(xué)的組織與管理，提高數(shù)據(jù)質(zhì)量，釋放數(shù)據(jù)價(jià)值。

1.設(shè)計(jì)目標(biāo)

本平臺(tái)以智慧校園為基礎(chǔ)，利用流式數(shù)據(jù)處理、機(jī)器學(xué)習(xí)分析等大數(shù)據(jù)技術(shù)，高效地收集整合高校各方面所產(chǎn)生數(shù)據(jù)，從其中提取出有價(jià)值的信息和模型，推動(dòng)高校教育的全面創(chuàng)新，是根本目的。本平臺(tái)的設(shè)計(jì)開(kāi)發(fā)目標(biāo)有以下三點(diǎn)：①針對(duì)異構(gòu)且更新頻次不一的數(shù)據(jù)源構(gòu)建統(tǒng)一的數(shù)據(jù)采集平臺(tái)。②針對(duì)使用要求不一的數(shù)據(jù)構(gòu)建統(tǒng)一的分布式數(shù)據(jù)存儲(chǔ)服務(wù)平臺(tái)，提供統(tǒng)一的數(shù)據(jù)接口。③結(jié)合智慧校園的業(yè)務(wù)場(chǎng)景應(yīng)用，利用機(jī)器學(xué)習(xí)技術(shù)，挖掘數(shù)據(jù)的新價(jià)值。

2.平臺(tái)架構(gòu)

平臺(tái)系統(tǒng)整體架構(gòu)包括大數(shù)據(jù)處理、數(shù)據(jù)挖掘、硬件環(huán)境、客戶端等四個(gè)部分。其中大數(shù)據(jù)部分構(gòu)成整個(gè)平臺(tái)的基礎(chǔ)，硬件和軟件系統(tǒng)構(gòu)成平臺(tái)的容器，客戶端是平臺(tái)的出口。

（1）業(yè)務(wù)架構(gòu)。在集群硬件環(huán)境支持下，利用微服務(wù)架構(gòu)加上SpringCloud技術(shù)以及docker+kubernetes等技術(shù)實(shí)現(xiàn)一鍵布署。各微服務(wù)支撐高校大數(shù)據(jù)的所有業(yè)務(wù)場(chǎng)景、功能以及展示、報(bào)表所需要的資源;微服務(wù)通過(guò)Restful WebAPI實(shí)現(xiàn)與客戶終端的連接，微服務(wù)以這種接口形式實(shí)現(xiàn)服務(wù)與客戶端的分離，從而可以靈活地實(shí)現(xiàn)多終端的接入以及為第三方提供服務(wù)能力。如SpringCloud為微服務(wù)提供安全、熔斷、負(fù)載均衡、治理等能力。

（2）技術(shù)架構(gòu)。本次系統(tǒng)平臺(tái)技術(shù)框架設(shè)計(jì)從數(shù)據(jù)采集到數(shù)據(jù)處理、分析、計(jì)算，使用hadoop技術(shù)棧中大部分技術(shù)?？梢圆杉瘡慕Y(jié)構(gòu)化到非結(jié)構(gòu)化數(shù)據(jù)以及syslog 、消息隊(duì)列等，幾乎涵蓋了目前行業(yè)內(nèi)的大多數(shù)數(shù)據(jù)類型。能夠處理離線和實(shí)時(shí)流數(shù)據(jù)，數(shù)據(jù)量可達(dá)TB級(jí)別，實(shí)時(shí)處理千萬(wàn)條數(shù)據(jù)可達(dá)到秒級(jí)或亞秒級(jí)，且所用設(shè)備量較少。

二、平臺(tái)建設(shè)的意義及價(jià)值

1.實(shí)踐意義

本平臺(tái)設(shè)計(jì)是以高校信息化建設(shè)綱要及大數(shù)據(jù)發(fā)展行動(dòng)綱要為依據(jù)進(jìn)行創(chuàng)新性探索，主要實(shí)踐意義有三點(diǎn)：運(yùn)用新興技術(shù)，全面推進(jìn)高校發(fā)展;建立有效的數(shù)據(jù)處理通道，推動(dòng)業(yè)務(wù)融合;充分釋放數(shù)據(jù)價(jià)值，探索業(yè)務(wù)規(guī)律。

2.理論價(jià)值

本平臺(tái)實(shí)現(xiàn)的理論價(jià)值有建立新的數(shù)據(jù)處理方式：根據(jù)高校數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)節(jié)省存儲(chǔ)空間、查詢效率高的數(shù)據(jù)處理機(jī)制。建立新的智慧模型：通過(guò)對(duì)普通高校大量數(shù)據(jù)和應(yīng)用需求的分析和實(shí)踐探索，建立可推廣的模型。推動(dòng)管理理論的變革：將大數(shù)據(jù)技術(shù)應(yīng)用于教學(xué)管理實(shí)踐過(guò)程中，在提高管理決策科學(xué)性的同時(shí)，推動(dòng)學(xué)校管理理念的變革，進(jìn)一步提高管理水平，提升學(xué)校的綜合競(jìng)爭(zhēng)力。

本次智慧校園數(shù)據(jù)服務(wù)平臺(tái)依據(jù)現(xiàn)階段高校數(shù)據(jù)計(jì)算特點(diǎn)，重點(diǎn)著力于“智慧”應(yīng)用，充分運(yùn)用當(dāng)前新興的大數(shù)據(jù)技術(shù)，探索出一套“存儲(chǔ)—計(jì)算—挖掘”一體化的高校大數(shù)據(jù)框架。目前整套平臺(tái)實(shí)現(xiàn)運(yùn)行，在海量數(shù)據(jù)中獲取價(jià)值，產(chǎn)生“智慧”，進(jìn)而推動(dòng)決策層向數(shù)據(jù)決策化發(fā)展，為未來(lái)高校的發(fā)展探索出一條新的道路。

參考文獻(xiàn)：

[1]葉曉斌.提高高校教育教學(xué)管理信息化水平的思路探索[J].時(shí)代教育，2017（9）：240.

[2]杜 渂，張嘉成.消防大數(shù)據(jù)分析服務(wù)平臺(tái)架構(gòu)設(shè)計(jì)研究[J].電信快報(bào)，2017（8）：24-28.