高校大數(shù)據(jù)平臺建設(shè)研究

李金旭+呂書林

摘要：大數(shù)據(jù)已經(jīng)成為提升社會、提升高校的創(chuàng)新力和生產(chǎn)力，已經(jīng)成為高校信息化建設(shè)過程中必須要面對的問題。文章討論了高校大數(shù)據(jù)平添建設(shè)的三大用途，給出了從構(gòu)建基礎(chǔ)硬件層，到利用云計算、大數(shù)據(jù)的數(shù)據(jù)集成、數(shù)據(jù)安全、服務(wù)器集群、數(shù)據(jù)計算與挖掘分析等技術(shù)的Hadoop生態(tài)體系大數(shù)據(jù)平臺的技術(shù)架構(gòu)。

關(guān)鍵詞：高校；大數(shù)據(jù)；數(shù)據(jù)集成；挖掘分析

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2017）16-0013-02

1概述

近年來，移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等信息技術(shù)取得了突飛猛進(jìn)的發(fā)展，已經(jīng)在深刻地改變著人類社會的方方面面?！盎ヂ?lián)網(wǎng)+”、大數(shù)據(jù)已經(jīng)上升到了國家戰(zhàn)略層面，成為提升社會的創(chuàng)新力、生產(chǎn)力，促進(jìn)經(jīng)濟(jì)發(fā)展新形態(tài)的基礎(chǔ)設(shè)施和現(xiàn)實(shí)工具。高校作為人才培養(yǎng)、技術(shù)創(chuàng)新的前沿陣地，需要充分感知最新技術(shù)發(fā)展方向，掌握和創(chuàng)新最前沿科學(xué)技術(shù)，培養(yǎng)時代迫切需求的創(chuàng)新型人才。

2高校大數(shù)據(jù)平臺的用途

2.1培養(yǎng)大數(shù)據(jù)人才的平臺

根據(jù)國內(nèi)外高校開展大數(shù)據(jù)課程建設(shè)經(jīng)驗以及現(xiàn)有大數(shù)據(jù)技術(shù)就業(yè)市場需求而構(gòu)建的大數(shù)據(jù)人才培養(yǎng)平臺，以大數(shù)據(jù)為方向，引進(jìn)國內(nèi)外先進(jìn)大數(shù)據(jù)技術(shù)、成熟解決方案以及管理與教學(xué)內(nèi)容，搭建云計算、大數(shù)據(jù)管理技術(shù)、大數(shù)據(jù)應(yīng)用軟件開發(fā)等技術(shù)平臺，培養(yǎng)學(xué)生研究大數(shù)據(jù)科學(xué)與工程領(lǐng)域問題、解決大數(shù)據(jù)實(shí)際應(yīng)用問題的能力，系統(tǒng)掌握大數(shù)據(jù)主流的存儲、管理、分析處理技術(shù)，以及大數(shù)據(jù)平臺架構(gòu)和建設(shè)，實(shí)現(xiàn)科研、教學(xué)與社會服務(wù)的順暢銜接，逐步打造以培養(yǎng)大數(shù)據(jù)人才為核心的科研、教學(xué)基地。

創(chuàng)新意識、創(chuàng)新精神、創(chuàng)新思維、創(chuàng)造力或創(chuàng)新人格等春心素質(zhì)的培養(yǎng)需要一個長期的過程、創(chuàng)新教育與科教教育相結(jié)合，納人人才培養(yǎng)體系，利用大數(shù)據(jù)、“互聯(lián)網(wǎng)+”、云平臺的優(yōu)勢，構(gòu)建大數(shù)據(jù)人才平臺、打造創(chuàng)新教育人才培養(yǎng)模式、創(chuàng)新教育教學(xué)組織新形式，使學(xué)生掌握企業(yè)運(yùn)作的過濾與本質(zhì)，增加師生良性互動，真正培養(yǎng)出社會、企業(yè)所需要的創(chuàng)新型人才，如圖1所示。

2.2深化高校管理促進(jìn)高校改革發(fā)展的平臺

在高校大數(shù)據(jù)平臺中，通過可視化分析可以直觀的展示數(shù)據(jù)，讓數(shù)據(jù)自己說話；通過數(shù)據(jù)挖掘算法（集群、分割、孤立點(diǎn)分析）讓我們深入數(shù)據(jù)內(nèi)部，挖掘價值；通過數(shù)據(jù)存儲和數(shù)據(jù)倉庫，便于多維分析和多角度展示數(shù)據(jù)按特定模式進(jìn)行存儲所建立起來的關(guān)系型數(shù)據(jù)庫。數(shù)據(jù)倉庫提供數(shù)據(jù)抽取、轉(zhuǎn)換和加載，為聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘提供數(shù)據(jù)平臺。通過標(biāo)準(zhǔn)化的流程和工具對數(shù)據(jù)進(jìn)行處理可以保證一個預(yù)先定義好的高質(zhì)量的分析結(jié)果，來保證數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。通過大數(shù)據(jù)平臺的預(yù)測分析能力可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性判斷。

2.3提高高?？蒲兴胶托实钠脚_

大數(shù)據(jù)科研平臺提供多場景數(shù)據(jù)計算和分析挖掘的科研基礎(chǔ)環(huán)境，充分結(jié)合行業(yè)課題的相關(guān)數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)深入挖掘分析，滿足行業(yè)大數(shù)據(jù)的科研工作需求，進(jìn)一步提升高校的大數(shù)據(jù)科研水平，借助完善的產(chǎn)學(xué)研體系，實(shí)現(xiàn)科研成果向業(yè)務(wù)價值的轉(zhuǎn)化。大數(shù)據(jù)技術(shù)在高校科研管理創(chuàng)新中的應(yīng)用主要有以下幾個方面：

1）實(shí)現(xiàn)高?？蒲羞x題科學(xué)化

挖掘社會公眾、工商企業(yè)、政府和事業(yè)單位以及其他非盈利性機(jī)構(gòu)對科學(xué)知識和技術(shù)的需求情況，辨別哪些科學(xué)知識和技術(shù)需求是最為迫切和社會經(jīng)濟(jì)效益極為突出的，提高科研選題的針對性，實(shí)現(xiàn)科研選題的科學(xué)化。

2）避免重復(fù)研究

挖掘不同層級、不同類別和不同區(qū)域之間科研選題申報和立項情況，結(jié)合科研選題申報高校機(jī)器研究團(tuán)隊的研究特長與特色，監(jiān)控科研項目重復(fù)立項風(fēng)險，避免重復(fù)研究，節(jié)約科研經(jīng)費(fèi)，減少資源浪費(fèi)。

3）實(shí)現(xiàn)研究數(shù)據(jù)共享復(fù)用

實(shí)現(xiàn)不同階層、類別和區(qū)域研究項目之間數(shù)據(jù)共享復(fù)用，節(jié)約數(shù)據(jù)采集成本，加快項目研究進(jìn)展，提高效益及效率。

4）推動高校研究成果轉(zhuǎn)化

搭建開放式大數(shù)據(jù)科研平臺，充分融合教師的科研需求，提升教師的科研創(chuàng)新能力，充分提高“研”的成效，提供行業(yè)數(shù)據(jù)及案例解剖用于基礎(chǔ)研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，為科研工作提供數(shù)據(jù)支撐。

5）監(jiān)督學(xué)術(shù)道德和誠信

高?？蒲泄芾砣藛T在課題申報階段，對申請書進(jìn)行學(xué)術(shù)道德與誠信的監(jiān)督，避免學(xué)術(shù)不端行為發(fā)生

3大數(shù)據(jù)平臺技術(shù)架構(gòu)

HadooD生態(tài)體系大數(shù)據(jù)平臺，以構(gòu)建基礎(chǔ)硬件層為底層支撐，利用云計算、大數(shù)據(jù)的數(shù)據(jù)集成、數(shù)據(jù)安全、服務(wù)器集群、數(shù)據(jù)計算與挖掘分析等技術(shù)，遵循大叔級標(biāo)準(zhǔn)體系，通過HIVE和HBASE構(gòu)建大數(shù)據(jù)數(shù)據(jù)中心。

大數(shù)據(jù)平臺技術(shù)構(gòu)架包含：基礎(chǔ)硬件層、數(shù)據(jù)集成、數(shù)據(jù)計算與分析挖掘、數(shù)據(jù)安全、服務(wù)器集群、大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)、大數(shù)據(jù)數(shù)據(jù)中心、大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺、大數(shù)據(jù)業(yè)務(wù)可視化分析，具體如下：

1）基礎(chǔ)硬件層

基礎(chǔ)硬件層是由一組低廉的PC或者服務(wù)器組合構(gòu)建而成?；A(chǔ)硬件層主要承載著數(shù)據(jù)的存儲、運(yùn)算、容錯、調(diào)度和通信等任務(wù)，對基礎(chǔ)應(yīng)用層下達(dá)的指令進(jìn)行執(zhí)行和反饋。

2）數(shù)據(jù)集成

大數(shù)據(jù)特征表現(xiàn)在實(shí)時、交互、海量等方面，并且以半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)為主，價值密度低，為了更好的“讓數(shù)據(jù)說話”，并充分發(fā)揮大數(shù)據(jù)價值效應(yīng)，應(yīng)堅持“能采盡采”的原則，數(shù)據(jù)源的涵蓋范圍要盡量的大。

3）數(shù)據(jù)計算與分析挖掘

大數(shù)據(jù)平臺涵蓋了大數(shù)據(jù)場景下常用的計算場景，包含離線計算、實(shí)時計算、流式計算、數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等。可以更容易、更方便的構(gòu)建全生命周期的數(shù)據(jù)，使數(shù)據(jù)的加工、處理、創(chuàng)新過程更加豐富，從而實(shí)現(xiàn)數(shù)據(jù)價值的最大化。

4）數(shù)據(jù)安全

大數(shù)據(jù)平臺通過一系列的認(rèn)證授權(quán)和資源隔離機(jī)制，實(shí)現(xiàn)數(shù)據(jù)資源的安全性、可維護(hù)性、可用性、可信性。提供統(tǒng)一認(rèn)證服務(wù)器負(fù)責(zé)對使用者的身份進(jìn)行驗證；提供統(tǒng)一授權(quán)服務(wù)負(fù)責(zé)對用戶的資源訪問權(quán)限進(jìn)行控制提供統(tǒng)一資源調(diào)度負(fù)責(zé)對用戶使用的底層資源進(jìn)行隔離。

5）服務(wù)器集群

服務(wù)器集群是將很多服務(wù)器集中起來進(jìn)行一起進(jìn)行同一種服務(wù)，集群可以獲得更高的計算速度，也可以用作備份，任何一個服務(wù)器損壞整個系統(tǒng)都能正常運(yùn)行。集群化操作可以減少單點(diǎn)故障數(shù)量，實(shí)現(xiàn)群集化資源的高可用性。

6）大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)

一個中心平臺：大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺。

八大技術(shù)標(biāo)準(zhǔn)：基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)表示標(biāo)準(zhǔn)、數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)存儲標(biāo)準(zhǔn)、大數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)、大數(shù)據(jù)安全和隱私標(biāo)準(zhǔn)、行業(yè)大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)、大數(shù)據(jù)產(chǎn)品測試標(biāo)準(zhǔn)。

7）大數(shù)據(jù)數(shù)據(jù)中心

通過對各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集、預(yù)處理、分析處理以及存儲等相關(guān)操作，構(gòu)建統(tǒng)一、規(guī)范、全面的大數(shù)據(jù)數(shù)據(jù)中心，為相關(guān)工作提供數(shù)據(jù)支持。

8）大數(shù)據(jù)業(yè)務(wù)開發(fā)平臺

以Hadoop為核心，融合優(yōu)秀技術(shù)，提供開放的數(shù)據(jù)和業(yè)務(wù)開發(fā)平臺，進(jìn)行應(yīng)用開發(fā)、應(yīng)用發(fā)布、應(yīng)用注冊及應(yīng)用服務(wù)的信息化流程管理，提升了大數(shù)據(jù)應(yīng)用體驗，有利于發(fā)揮創(chuàng)新精神，創(chuàng)造無限價值。

9）大數(shù)據(jù)業(yè)務(wù)可視化分析

大數(shù)據(jù)業(yè)務(wù)可視化分析能夠?qū)㈦[藏于海量數(shù)據(jù)中的信息和知識挖掘出來，為用戶提供可視化的操作分析界面；為用戶的相關(guān)活動提供數(shù)據(jù)依據(jù)，從而提高工作效率。

4小結(jié)

高校的大數(shù)據(jù)問題已日益顯著，大數(shù)據(jù)平臺的建設(shè)需求也越來越突出。本文通過分析高校大數(shù)據(jù)平臺的三大用途，給出了一個高校大數(shù)據(jù)平臺的技術(shù)構(gòu)架。希望通過平臺技術(shù)的構(gòu)架，整合和引導(dǎo)資源、推動自主創(chuàng)新，促進(jìn)大數(shù)據(jù)健康發(fā)展。