淺議高校大數(shù)據(jù)平臺的設(shè)計與實(shí)現(xiàn)

袁黎暉

摘 要：隨著數(shù)字化校園的建設(shè)熱潮，很多高校已搭建起數(shù)字化校園系統(tǒng)。同時，隨著統(tǒng)一身份認(rèn)證系統(tǒng)、公共數(shù)據(jù)庫和數(shù)據(jù)交換系統(tǒng)的建立，實(shí)現(xiàn)了這些應(yīng)用系統(tǒng)之間數(shù)據(jù)交換和共享。高校大數(shù)據(jù)平采集各業(yè)務(wù)系統(tǒng)中需要分析利用的業(yè)務(wù)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，構(gòu)建有效的數(shù)據(jù)分析指標(biāo)體系，為學(xué)校整體了解、改進(jìn)各方面工作提供動態(tài)、真實(shí)、可靠的依據(jù)，促進(jìn)學(xué)校各部門協(xié)調(diào)運(yùn)作，提高學(xué)校管理水平，幫助學(xué)校管理部門建立先進(jìn)的管理模式。

關(guān)鍵詞：高校;數(shù)字校園;大數(shù)據(jù)

數(shù)字校園建設(shè)是高?；A(chǔ)設(shè)施建設(shè)的重要組成部分，通過建設(shè)數(shù)字校園將相對獨(dú)立分散的業(yè)務(wù)系統(tǒng)進(jìn)行整合和有效的集成，提高信息化水平。數(shù)字校園的建設(shè)可以提升高校整體的管理水平和綜合實(shí)力，消除信息孤島和應(yīng)用孤島、建立校級統(tǒng)一信息系統(tǒng);可以實(shí)現(xiàn)部門間流程通暢，規(guī)范業(yè)務(wù)流程;可以提高工作效率，管理效率，促進(jìn)高校各項事業(yè)的全面協(xié)調(diào)發(fā)展。

高校中不同程度的存在著數(shù)據(jù)整合問題，這是高校數(shù)字化校園建設(shè)需要解決的問題之一，建設(shè)高校共享數(shù)據(jù)中心平臺是解決方案的重要組成部分。大數(shù)據(jù)作為信息技術(shù)發(fā)展的新趨勢，已逐漸滲透到各行各業(yè)，成為驅(qū)動生產(chǎn)業(yè)務(wù)發(fā)展的重要因素。教育部高校“十三五”規(guī)劃明確提出要建設(shè)“智慧校園”，而這些都離不開數(shù)據(jù)及大數(shù)據(jù)相關(guān)技術(shù)，只有數(shù)據(jù)的量越大、維度越多，我們才能夠分析出精準(zhǔn)的信息。

一、現(xiàn)狀

高校經(jīng)過信息化系統(tǒng)的建設(shè)，將大部份管理流程均從線下轉(zhuǎn)到了線上，從紙質(zhì)流程變成了電子流程，從手工記錄變成了自動記錄，提升了管理效率，并使得高校的管理活動更加規(guī)范和科學(xué)。從教和學(xué)的角度來看，網(wǎng)絡(luò)和應(yīng)用系統(tǒng)的建設(shè)改善了教學(xué)條件，豐富了教學(xué)手段，擴(kuò)展了教學(xué)的時間和空間。國內(nèi)高校數(shù)字校園架構(gòu)通常包括三個部分。

1.網(wǎng)絡(luò)接入部分。高校通過電信、移動、網(wǎng)通及其他運(yùn)營商接入互聯(lián)網(wǎng)及教育專網(wǎng)，在校內(nèi)部署核心交換機(jī)、防火墻、IPS、WAF等網(wǎng)絡(luò)互聯(lián)及安防監(jiān)控設(shè)備，網(wǎng)內(nèi)用戶可使用有線或無線方式經(jīng)過身份認(rèn)證和計費(fèi)系統(tǒng)接入到校園網(wǎng)，訪問網(wǎng)內(nèi)外資源。

2.各類應(yīng)用系統(tǒng)。高校內(nèi)的應(yīng)用系統(tǒng)主要包括有教務(wù)、學(xué)工、招生就業(yè)、科研、OA、人力、資產(chǎn)及一卡通等系統(tǒng)，這些系統(tǒng)對應(yīng)校內(nèi)各個職能部門的工作職責(zé)。

3.數(shù)據(jù)中心基礎(chǔ)。數(shù)據(jù)中心包括為全校提供信息化服務(wù)的軟硬件設(shè)施，主要包括服務(wù)器、存儲設(shè)備和虛擬化軟件、云平臺、中間件和數(shù)據(jù)庫等。

為了實(shí)現(xiàn)各個系統(tǒng)之間的數(shù)據(jù)同步和流轉(zhuǎn)，有部分高校建設(shè)了“數(shù)據(jù)中心平臺”，即“公共數(shù)據(jù)中心”、“統(tǒng)一信息門戶”和“統(tǒng)一身份認(rèn)證”，這些平臺將下層的業(yè)務(wù)管理系統(tǒng)的公共數(shù)據(jù)部分，如學(xué)生數(shù)據(jù)、人事數(shù)據(jù)、身份信息等統(tǒng)一抽取出來，建立了中心信息庫，成為各個業(yè)務(wù)系統(tǒng)同步的一致性基準(zhǔn)。

但是，隨著校園規(guī)模的擴(kuò)大和業(yè)務(wù)的日益繁雜，高校管理人員和系統(tǒng)開發(fā)人員發(fā)現(xiàn)普遍存在的嚴(yán)重弊端：這些信息系統(tǒng)都是按照不同的業(yè)務(wù)線縱向建設(shè)的，各個系統(tǒng)的功能不同，數(shù)據(jù)分散，基礎(chǔ)數(shù)據(jù)、公共數(shù)據(jù)難以同步和共享，對于數(shù)據(jù)的來源和用途也缺乏規(guī)劃，難以集中進(jìn)行關(guān)聯(lián)、融合的分析應(yīng)用，不能滿足高校對數(shù)據(jù)分析決策的要求。

二、高校的數(shù)字校園建設(shè)普遍具備下列問題。

1.高校底層應(yīng)用的“數(shù)據(jù)孤島”現(xiàn)象嚴(yán)重，各系統(tǒng)之間的數(shù)據(jù)尚未進(jìn)行標(biāo)準(zhǔn)化和歸一化，導(dǎo)致數(shù)據(jù)同步和交換存在困難，業(yè)務(wù)難以實(shí)現(xiàn)充分整合。

2.各個業(yè)務(wù)系統(tǒng)和“三大平臺”支撐的主要都是事務(wù)型應(yīng)用，但是如果要完成數(shù)據(jù)綜合統(tǒng)計、信息挖掘、相關(guān)性分析等工作，現(xiàn)有的數(shù)據(jù)由于標(biāo)準(zhǔn)不統(tǒng)一，分離在各個業(yè)務(wù)系統(tǒng)中難以整合，因而難以支持上述分析方面的需求。

3.絕大部分應(yīng)用系統(tǒng)的底層數(shù)據(jù)形態(tài)都是結(jié)構(gòu)化數(shù)據(jù)，其生成的數(shù)據(jù)也是結(jié)構(gòu)化數(shù)據(jù)，但也存在有大量的非結(jié)構(gòu)化數(shù)據(jù)（如各種機(jī)器設(shè)備產(chǎn)生的日志信息）和互聯(lián)網(wǎng)上的數(shù)據(jù)，由于現(xiàn)有軟件體系無法對這些數(shù)據(jù)有效存儲、組織、管理和分析，無法有效利用。

4.絕大部分應(yīng)用系統(tǒng)，其數(shù)據(jù)層架構(gòu)都是關(guān)系型數(shù)據(jù)管理系統(tǒng)（RDBMS），其運(yùn)行模式只會保留當(dāng)前狀態(tài)數(shù)據(jù)和結(jié)果數(shù)據(jù)，大量的歷史數(shù)據(jù)、過程數(shù)據(jù)都被丟棄，但這些歷史數(shù)據(jù)和過程數(shù)據(jù)恰恰是進(jìn)行綜合統(tǒng)計分析所需要的最重要的素材。

5.由于數(shù)據(jù)難以跨部門調(diào)動和流轉(zhuǎn)，導(dǎo)致各個職能部門進(jìn)行業(yè)務(wù)分析時，只能利用本部門內(nèi)部的數(shù)據(jù)進(jìn)行單個維度分析，難以實(shí)現(xiàn)跨維度、跨部門、橫向關(guān)聯(lián)的復(fù)雜建模和分析。

6.各個職能部門主管，以及校級領(lǐng)導(dǎo)希望了解各種綜合信息時，只能通過逐級上報的報表了解過往信息和局部的、細(xì)節(jié)性的信息，且時效性較差，難以通過綜合數(shù)據(jù)分析獲得快速的、總體的綜合信息，難以形成有效決策輔助。

三、 大數(shù)據(jù)平臺的設(shè)計

隨著移動互聯(lián)網(wǎng)的不斷發(fā)展以及傳感設(shè)備在校園內(nèi)的普及，不僅僅是各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需要對接，各種半結(jié)構(gòu)化數(shù)據(jù)（設(shè)備產(chǎn)生的日志）和非結(jié)構(gòu)化數(shù)據(jù)（監(jiān)控的視頻、照片以及各種文本數(shù)據(jù)）也在大量產(chǎn)生，這些是傳統(tǒng)的業(yè)務(wù)系統(tǒng)所處理和承載不了的數(shù)據(jù)，但是對于信息化服務(wù)而言又是非常有價值的。如何有效整合當(dāng)前這些業(yè)務(wù)系統(tǒng)的數(shù)據(jù)、日志數(shù)據(jù)、流式數(shù)據(jù)，成為各個高校從信息化向智慧化邁進(jìn)所需要面對的首要問題。

基于這樣的應(yīng)用背景，有必要在高校建立基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)整合、交換、分析平臺，不改變現(xiàn)有校園信息系統(tǒng)建設(shè)模式，并最大限度利用現(xiàn)有信息系統(tǒng)等基礎(chǔ)設(shè)施，支持校園的智慧化運(yùn)營，為校園的教育、教學(xué)創(chuàng)新提供海量數(shù)據(jù)分析支持，推動學(xué)校信息化由傳統(tǒng)“運(yùn)營管理型”向“意識服務(wù)型”轉(zhuǎn)化，由傳統(tǒng)的“信息化系統(tǒng)”向“智慧型服務(wù)”邁進(jìn)。

大數(shù)據(jù)平臺體系結(jié)構(gòu)如圖1所示。

各類管理信息系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)、各類IT設(shè)備產(chǎn)生的運(yùn)行過程數(shù)據(jù)以及來自于互聯(lián)網(wǎng)的信息，在被加載到數(shù)據(jù)平臺之前，需要經(jīng)過數(shù)據(jù)清洗。數(shù)據(jù)清洗的主要功能包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)安全管理，目的是將這些數(shù)據(jù)組合成邏輯上相互關(guān)聯(lián)的、形態(tài)和意義一致的數(shù)據(jù)集。數(shù)據(jù)平臺是一個以Hadoop分布式存儲和計算體系為核心的數(shù)據(jù)存儲和處理平臺，利用HDFS、MapReduce、HBase、Spark、Storm、Elastic、Mahout等Hadoop生態(tài)體系中的各種工具實(shí)現(xiàn)高效的、分布式的數(shù)據(jù)存儲和計算處理，從而實(shí)現(xiàn)對數(shù)據(jù)的存儲、分析、挖掘所需要的算法過程。在數(shù)據(jù)平臺之上，將平臺內(nèi)部的數(shù)據(jù)結(jié)構(gòu)、存儲體系、算法模塊進(jìn)行封裝，屏蔽各種底層細(xì)節(jié)和差異，將數(shù)據(jù)按照各個主題進(jìn)行重新分類，并隨同分析挖掘算法、高性能分布式計算體系以標(biāo)準(zhǔn)API接口的方式向上面的應(yīng)用層軟件提供服務(wù)。而數(shù)據(jù)管理和數(shù)據(jù)維護(hù)是為了對數(shù)據(jù)標(biāo)準(zhǔn)的討論和指定，業(yè)務(wù)流程、數(shù)據(jù)模型和元數(shù)據(jù)的梳理，數(shù)據(jù)質(zhì)量的檢查分析，錯誤和重復(fù)數(shù)據(jù)的修正，數(shù)據(jù)同步過程和結(jié)果的監(jiān)測。在數(shù)據(jù)服務(wù)的上層，是最終實(shí)現(xiàn)分析和挖掘目標(biāo)，并進(jìn)行前端展示的應(yīng)用層軟件，這些軟件針對特定的主題和目標(biāo)進(jìn)行設(shè)計，體現(xiàn)用戶希望達(dá)成的分析目標(biāo)，包括可視化應(yīng)用、統(tǒng)計分析類應(yīng)用、學(xué)生綜合管理、圖書館應(yīng)用、個人數(shù)據(jù)服務(wù)類，例如學(xué)生綜合管理、科研情況分析、綜合校情展示等等。

四、大數(shù)據(jù)平臺的實(shí)現(xiàn)

如前所述，高校各種業(yè)務(wù)應(yīng)用是以管理和服務(wù)流程為導(dǎo)向進(jìn)行開發(fā)的。業(yè)務(wù)流程的運(yùn)轉(zhuǎn)使得高校沉淀下來大量的業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)反映了各個部門的各種業(yè)務(wù)過程的詳細(xì)信息，特征鮮明，結(jié)構(gòu)穩(wěn)定，信息結(jié)構(gòu)化程度較高，是目前高校的核心數(shù)據(jù)資產(chǎn)，也是大數(shù)據(jù)分析的重要基礎(chǔ)。

這類業(yè)務(wù)數(shù)據(jù)的存儲普遍采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，比如Oracle、SqlServer等，以單個應(yīng)用為主題進(jìn)行設(shè)計，比如一卡通、教務(wù)、門禁等系統(tǒng)。這些系統(tǒng)中有很多都是關(guān)于同一對象的不同活動過程的記錄，例如，各個業(yè)務(wù)系統(tǒng)都記錄了學(xué)生相關(guān)的數(shù)據(jù)。一卡通記錄的學(xué)生的消費(fèi)過程、身份認(rèn)證記錄，教務(wù)系統(tǒng)記錄的是學(xué)生的選課記錄、考試成績、學(xué)分情況等，財務(wù)系統(tǒng)記錄了學(xué)生的繳費(fèi)情況、補(bǔ)助發(fā)放金額等。在不同的系統(tǒng)中記錄的維度不一樣。我們可以從單個系統(tǒng)中看到某個對象在某個領(lǐng)域域的活動細(xì)節(jié)。而大數(shù)據(jù)項目的目標(biāo)，則是要將這些數(shù)據(jù)綜合利用起來，從單維數(shù)據(jù)變?yōu)槎嗑S數(shù)據(jù)，以支持復(fù)雜的數(shù)據(jù)分析與調(diào)取。

除了各個管理業(yè)務(wù)系統(tǒng)中包含的數(shù)據(jù)，還有很多數(shù)據(jù)也包含了其他維度的信息，例如，某學(xué)生通過校園網(wǎng)連接到互聯(lián)網(wǎng)時產(chǎn)生的上網(wǎng)數(shù)據(jù)，該學(xué)生使用手機(jī)連接到學(xué)校的WIFI時在無線網(wǎng)絡(luò)中留下的連接數(shù)據(jù)等等。互聯(lián)網(wǎng)中也有大量的相關(guān)數(shù)據(jù)，如招生信息、招聘信息、輿論信息等等，都與學(xué)校的活動息息相關(guān)，因此也需要引入這些數(shù)據(jù)幫助高校進(jìn)行綜合的數(shù)據(jù)分析。

為了盤活學(xué)?，F(xiàn)有的數(shù)據(jù)源，同時打通、引進(jìn)入和開發(fā)新的數(shù)據(jù)源，我們需要構(gòu)建一個綜合的大數(shù)據(jù)平臺，能夠承載這些數(shù)據(jù)，同時能夠高效、安全、穩(wěn)定、可靠的對外提供服務(wù)。

大數(shù)據(jù)平臺在技術(shù)層面采用自頂向下分層架構(gòu)設(shè)計，共分為四層：數(shù)據(jù)應(yīng)用層、數(shù)據(jù)能力供給層、數(shù)據(jù)存儲與計算層、數(shù)據(jù)獲取層，滿足未來需要具備的完整功能體系，如圖2所示。

1.數(shù)據(jù)應(yīng)用層，具有直接與用戶交互的所有功能，是系統(tǒng)的使用界面和視圖，可快速靈活定制，滿足各種校園使用場景和人員的需要，并具備統(tǒng)一門戶和綜合展示功能。

2.數(shù)據(jù)能力供給層，具有豐富的原子能力和組裝能力，供場景/應(yīng)用層靈活調(diào)用，是大數(shù)據(jù)基礎(chǔ)平臺的核心的業(yè)務(wù)數(shù)據(jù)處理模塊。

3.數(shù)據(jù)存儲和計算層，實(shí)現(xiàn)海量業(yè)務(wù)數(shù)據(jù)的集中清洗、存儲、管理，支撐決策層集中掌握校園整體運(yùn)行情況。

4.數(shù)據(jù)采集層：具備多業(yè)務(wù)、多技術(shù)接口的數(shù)據(jù)采集和轉(zhuǎn)換能力，具備按照應(yīng)用場景進(jìn)行業(yè)務(wù)數(shù)據(jù)采集，互聯(lián)網(wǎng)數(shù)據(jù)抓取，機(jī)器數(shù)據(jù)采集能力，可分布式部署，具備靈活的擴(kuò)展能力，是大數(shù)據(jù)平臺的基礎(chǔ)。

五、 結(jié)語

高校信息化被迫要求扮演更加多元的角色，這也為高校的信息化建設(shè)提出了更高的挑戰(zhàn)和要求。大數(shù)據(jù)平臺可以獨(dú)立支撐各種校園的智慧化運(yùn)營應(yīng)用，為校園的教育、教學(xué)創(chuàng)新提供海量數(shù)據(jù)分析支持，推動學(xué)校信息化由傳統(tǒng)運(yùn)營管理型向服務(wù)型轉(zhuǎn)化。

參考文獻(xiàn)：

[1]郭寶軍.高校教育大數(shù)據(jù)的分析挖掘與利用[J].電子技術(shù)與軟件工程，2018.18.

[2]李娟.基于大數(shù)據(jù)的高校智慧校園建設(shè)研究[J].信息與電腦，2018.19.

[3]張書華，楊卓.大數(shù)據(jù)對高等教育教學(xué)的影響[J].綠色科技，2018.17.

[4]李冰.數(shù)據(jù)挖掘技術(shù)在智慧校園的應(yīng)用分析[J].信息與電腦，2018.17.

[5]謝慧.基于大數(shù)據(jù)技術(shù)的數(shù)字化校園建設(shè)應(yīng)用[J].中國建材科技，2018.09.