大數(shù)據(jù)環(huán)境下高校信息資源庫建設(shè)構(gòu)想

羌棟強

(江蘇商貿(mào)職業(yè)學(xué)院，江蘇 南通　226011)

?

大數(shù)據(jù)環(huán)境下高校信息資源庫建設(shè)構(gòu)想

羌棟強

(江蘇商貿(mào)職業(yè)學(xué)院，江蘇 南通226011)

摘要：當(dāng)前高校信息資源建設(shè)在信息化建設(shè)中得到高度重視，信息資源庫的建設(shè)正朝著結(jié)構(gòu)復(fù)雜化、形式多樣化以及內(nèi)容多元化的方向發(fā)展。在此背景下，深度剖析了基于云計算構(gòu)建高校信息資源庫的體系架構(gòu)和實現(xiàn)要點，借助目前較為成熟的云平臺應(yīng)用實例來構(gòu)建高校信息資源庫，以期為高校信息資源庫建設(shè)指出新的思路。

關(guān)鍵詞：大數(shù)據(jù)；云計算；信息資源庫

隨著云計算、移動互聯(lián)、新媒體等網(wǎng)絡(luò)應(yīng)用的快速發(fā)展，各類數(shù)據(jù)資源庫得到較大的發(fā)展空間與機遇，這也意味著大數(shù)據(jù)時代的到來。近年來高校信息資源庫建設(shè)在信息化建設(shè)中得到高度的重視，高校當(dāng)前在信息資源庫的建設(shè)領(lǐng)域取得的成就日益增多，高校信息資源庫的建設(shè)也呈現(xiàn)出結(jié)構(gòu)復(fù)雜化、形式多樣化以及內(nèi)容多元化的特點。當(dāng)然，隨著信息資源數(shù)量與規(guī)模的逐漸擴大，在資源數(shù)據(jù)開發(fā)與利用的過程中就需要本著提升資源利用率、提升服務(wù)水平的原則來執(zhí)行。在大數(shù)據(jù)環(huán)境下利用云計算這種新的共享基礎(chǔ)架構(gòu)方法，在高校信息資源庫建設(shè)與應(yīng)用方面大有可為。本文正是在這種背景下提出了大數(shù)據(jù)時代下基于云計算的高校信息資源庫建設(shè)構(gòu)想。

一高校信息資源庫建設(shè)的思考

在大數(shù)據(jù)時代到來的背景下，高校推出了校園一卡通、精品課程建設(shè)以及統(tǒng)一身份認(rèn)證平臺等，這些領(lǐng)域與高校的信息資源具有較為密切的關(guān)系,這也會對數(shù)據(jù)庫的結(jié)構(gòu)提出更高的要求。高校信息資源數(shù)據(jù)庫在建設(shè)的過程中，存在基礎(chǔ)設(shè)施更新較快導(dǎo)致建設(shè)成本增加、各系統(tǒng)之間資源重復(fù)建設(shè)、信息系統(tǒng)相對獨立形成“信息孤島”導(dǎo)致信息使用率不高等問題，這就需要將數(shù)據(jù)的存儲、管理以及利用等作為研究中心，盡可能地發(fā)揮出信息資源庫在高校運行中的作用。

1.數(shù)據(jù)存儲。

大數(shù)據(jù)環(huán)境下的高校信息資源庫中，數(shù)據(jù)存儲量需要達到TB甚至PB級別。數(shù)據(jù)系統(tǒng)架構(gòu)作為數(shù)據(jù)資源建設(shè)領(lǐng)域的核心，需要考慮到系統(tǒng)的容量拓展以及架構(gòu)的更改等問題。除此之外，針對數(shù)據(jù)庫系統(tǒng)在運行過程中的停機行為很可能導(dǎo)致系統(tǒng)出現(xiàn)錯誤的問題，可借助于磁盤柜或者增加模塊等方式來有效解決。與此同時，虛擬化存儲技術(shù)運用到云計算平臺后，除了可降低開發(fā)的成本外，最重要的是可大幅度提升存儲的效率。特別是在對數(shù)據(jù)存儲需求較大，能源緊缺的背景下，對數(shù)據(jù)存儲設(shè)備選擇就需要考慮到能耗問題，并且低能耗的設(shè)備在降低成本方面也具有較大的優(yōu)勢。

當(dāng)然，高校在信息資源平臺搭建的過程中，往往由于系統(tǒng)中的規(guī)劃設(shè)計存在缺陷，部門間無法實現(xiàn)信息共享，便會出現(xiàn)存儲信息孤島的情況，意味著除了對部門間業(yè)務(wù)協(xié)同影響外，還會出現(xiàn)重復(fù)工作的情況，因此無法實現(xiàn)對有價值的數(shù)據(jù)進行挖掘。在執(zhí)行的過程中，為了能夠?qū)崿F(xiàn)各個部門數(shù)據(jù)完美的共享，首先應(yīng)該對數(shù)據(jù)中心進行構(gòu)建，并且在系統(tǒng)的信息編碼與數(shù)據(jù)標(biāo)準(zhǔn)方面也具有一定的要求，這對于后期數(shù)據(jù)在數(shù)據(jù)中心處的整合具有積極作用。其中涉及到的操作類型有復(fù)制、共享以及數(shù)據(jù)遷移等，通過以上操作可以避免存儲信息孤島的情況再次發(fā)生，也為下一步信息統(tǒng)計、數(shù)據(jù)挖掘、資源共享提供了數(shù)據(jù)基礎(chǔ)。

2.數(shù)據(jù)挖掘。

數(shù)據(jù)存儲解決了信息資源沉淀的問題，但是我們需要在沉淀的數(shù)據(jù)中找出有用的信息，實現(xiàn)對知識優(yōu)化、信息的科學(xué)利用以及對數(shù)據(jù)中心的數(shù)據(jù)深層次挖掘，這才是構(gòu)建信息資源庫的終極目標(biāo)?，F(xiàn)階段多數(shù)高校在數(shù)據(jù)庫技術(shù)方面趨于成熟，但是在辦公、科研以及教學(xué)方面分別擁有不同的數(shù)據(jù)庫，特別是21世紀(jì)以來新媒體、互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，促使高校在不同平臺獲取了更多可用的數(shù)據(jù)，形成了較完整的數(shù)據(jù)分析體系，這都給高校對數(shù)據(jù)資源的挖掘提供了較大幫助，高校在信息資源庫建設(shè)的過程中，在數(shù)據(jù)領(lǐng)域方面主要從以下方面來研究。

(1)資源庫系統(tǒng)。具體是指對統(tǒng)計資源平臺的訪問量、流量以及數(shù)據(jù)庫響應(yīng)時間等參數(shù)進行收集與整理，并借助于這些數(shù)據(jù)來構(gòu)建相應(yīng)的模型，其根本目標(biāo)是提升服務(wù)器硬件資源的利用率。為了能夠提升用戶的體驗滿意度，同時需要安排相應(yīng)的維護人員來對資源庫系統(tǒng)進行看守。

(2)資產(chǎn)管理系統(tǒng)。具體是指對當(dāng)前高校的資產(chǎn)情況進行管理，首先是根據(jù)不同類型的資產(chǎn)進行劃分，然后對資產(chǎn)數(shù)據(jù)進行整合。除此之外，借助于數(shù)據(jù)分析技術(shù)還可了解到歷年高校在資產(chǎn)管理方面的具體情況，這對于后期的決策具有較大的幫助。

(3)學(xué)生管理系統(tǒng)。學(xué)生是學(xué)校的核心，學(xué)校需要對每位學(xué)生的具體情況進行管理。采用統(tǒng)計的方式以專業(yè)、年級、班級為劃分標(biāo)準(zhǔn)來進行信息整合，然后將學(xué)生的家庭情況、出生地以及畢業(yè)所在地等情況填寫后，可為高校的招生提供較大的幫助。

(4)科研系統(tǒng)。高校是科研領(lǐng)域的主力軍，導(dǎo)師與學(xué)生在課堂中積累了大量的科研資料，這對于高校在科研研發(fā)方面提供了較大的便利。因此，應(yīng)該對科研系統(tǒng)中的數(shù)據(jù)進行深層次的挖掘，最終得到最有價值的信息。

總之，通過前文的分析可看出高校信息化建設(shè)受到了大數(shù)據(jù)時代的影響，在當(dāng)前環(huán)境下面臨著眾多機遇與挑戰(zhàn)。尤其是在大數(shù)據(jù)環(huán)境下，高校信息系統(tǒng)的建設(shè)需要充分認(rèn)識到大數(shù)據(jù)的概念與優(yōu)勢，這對于數(shù)據(jù)挖掘、數(shù)據(jù)存儲等都具有較大的幫助。

二基于云計算的核心架構(gòu)設(shè)計

面對錯綜復(fù)雜的數(shù)據(jù)資源，“云計算”的運用具有降低成本、可靠安全、兼容性強和海量存儲等優(yōu)勢。經(jīng)過分析，設(shè)計思路是以面向服務(wù)的架構(gòu)為核心，涉及到訪問層、應(yīng)用層、資源整合層、云平臺層以及物理層五個模塊，具體的情況如圖1所示。

圖1　基于云計算的高校信息資源庫核心架構(gòu)

1.物理層。

物理層作為高校信息資源庫體系架構(gòu)的核心，通常也被稱為基礎(chǔ)設(shè)施層，其功能是為信息資源平臺提供硬件支持，也就是指基礎(chǔ)設(shè)施管理。在物理層中，具體可分為服務(wù)器集群、網(wǎng)絡(luò)設(shè)施以及高性能存儲集群等分支。與此同時，借助于虛擬化技術(shù)可構(gòu)建大型資源池。

2.云平臺層。

在云平臺層模塊中，主要包含數(shù)據(jù)運行環(huán)境、程序開發(fā)環(huán)境以及通過Web和標(biāo)準(zhǔn)接口來調(diào)用API和Web service模塊。[1]而對平臺進行分類可劃分為三種，其一是程序運行平臺，其二是數(shù)據(jù)庫平臺，其三是開發(fā)測試平臺。將物理層所提供的虛擬硬件資源部署在平臺層后，便可實現(xiàn)兩個模塊間的連接與溝通。在此基礎(chǔ)上來滿足不同業(yè)務(wù)需求，構(gòu)建相互隔離的虛擬機。在數(shù)據(jù)服務(wù)的可用性以及數(shù)據(jù)的安全性、穩(wěn)定性方面提供了較大的幫助。

3.資源整合層。

資源整合層作為整體架構(gòu)的中間部分，同時也是平臺建設(shè)過程中不可缺少的部分之一。通常情況下，此部分包含元數(shù)據(jù)庫與索引庫兩個部分，在資源元數(shù)據(jù)操作的過程中，涉及到的工具類型也是較多的，例如編目工具、導(dǎo)出工具以及元數(shù)據(jù)生成工具。在操作的過程中，資源整合層可對高校各個部門的信息資源進行整合與分類，并采用標(biāo)準(zhǔn)化的方式來構(gòu)建信息資源視圖，其根本目標(biāo)是實現(xiàn)對信息資源管理有效地簡化與優(yōu)化，這對于應(yīng)用層與訪問層是非常重要的。由于資源整合層較為重要，因此在構(gòu)建的過程中需要嚴(yán)格按照技術(shù)規(guī)范來操作才能最終實現(xiàn)互操作性與規(guī)范性的目標(biāo)。因此，為了能夠更好地對資源標(biāo)準(zhǔn)化進行制定，可通過對國內(nèi)外的建設(shè)標(biāo)準(zhǔn)進行總結(jié)與規(guī)劃，在此基礎(chǔ)上實現(xiàn)了元數(shù)據(jù)提取的流程。

4.應(yīng)用層。

應(yīng)用層分為應(yīng)用管理服務(wù)和中間件，在此模塊中，能夠根據(jù)用戶的實際需求來對資源進行合理的、科學(xué)的、安全的配置，有效地發(fā)揮出資源共享云平臺的真正價值與作用。除此之外，根據(jù)不同用戶的需求來設(shè)計個性化的資源應(yīng)用系統(tǒng)，在此背景下便可達到實時對校內(nèi)信息資源系統(tǒng)登錄與訪問的目的。

5.訪問層。

訪問層的主體包含云平臺管理門戶與用戶自主服務(wù)門戶兩個方面，他們分別代表著不同的身份角色，登陸到平臺后有不同的功能與權(quán)限。同時，由于本系統(tǒng)是基于云計算而構(gòu)建的，因此軟件硬件存儲、應(yīng)用程序的運行都不是在本地計算機中執(zhí)行的，而是在云中操作。也就是說此系統(tǒng)對于用戶的設(shè)備并沒有較高的要求，無論是平板電腦、筆記本電腦還是智能手機都能夠訪問。

三高校信息資源庫的關(guān)鍵技術(shù)[2]

在對高校信息資源庫構(gòu)建的過程中，虛擬化技術(shù)、分布式技術(shù)、數(shù)據(jù)計算等技術(shù)會運用在物理層、云平臺層以及應(yīng)用層當(dāng)中。

1.物理層。

物理層中運用到的技術(shù)是虛擬化技術(shù)，現(xiàn)階段較為主流的虛擬化軟件有XenServer平臺、vSphere系列以及Hyper系列等管理軟件，實現(xiàn)了對物理設(shè)備的虛擬化管理。具體來說，在服務(wù)器虛擬化技術(shù)中，主要的原理是將服務(wù)器虛擬為多個虛擬機，在此基礎(chǔ)上根據(jù)應(yīng)用層中用戶的實際需求來合理準(zhǔn)確地對硬件資源進行分配，最終實現(xiàn)大幅度提升服務(wù)器利用率的目標(biāo)。在執(zhí)行虛擬化的過程中，具體操作是在物理層中架構(gòu)虛擬化平臺，并且原有的US不需要做改動便可在虛擬化平臺中運行。舉例來說，當(dāng)前運用比重較大的是VMware ESX虛擬化軟件，在此類型軟件對虛擬機構(gòu)建的過程中，可劃分為虛擬機管理器與VMkermel。其中，前者的功能是對內(nèi)存、CPU等進行虛擬化操作，后者則是實現(xiàn)虛擬機的托管。關(guān)于物理層中服務(wù)器虛擬化見圖2所示。

圖2　物理服務(wù)器的虛擬化管理

2.云平臺層。

云平臺層在整個核心架構(gòu)中承擔(dān)對上層應(yīng)用的托管和對下層虛擬資源實現(xiàn)對系統(tǒng)管理的重要功能，提供面向服務(wù)的PaaS平臺，一般通過模塊化、集成化、動態(tài)組裝等構(gòu)建模式來獲得云應(yīng)用系統(tǒng)的重用性、可靠性、可擴展性和開放性。[3]當(dāng)前較為成熟的技術(shù)有GAE、Hadoop平臺等，可實現(xiàn)對網(wǎng)絡(luò)應(yīng)用程序的開發(fā)、測試以及部署等。以當(dāng)前較主流的Hadoop平臺為例，該平臺可借助于具體日志、結(jié)構(gòu)化以及可擴展的功能，比較適用于大數(shù)據(jù)集應(yīng)用程序的分布式文件系統(tǒng)，在數(shù)據(jù)讀寫與容錯能力方面具有較大的優(yōu)勢。除此之外，該平臺還包含對文件與目錄進行創(chuàng)建、修改、刪除以及復(fù)制等，用戶使用瀏覽器或命令接口的方式來對HDFS進行瀏覽。當(dāng)然，在HDFS中運行的HBase分布式數(shù)據(jù)庫，在有序性、可用性以及伸縮性等方面是其他平臺無法相對比的。此外，MapReduce分布式計算模型的運用也較多，多數(shù)情況下是在對數(shù)據(jù)計算需求較大的系統(tǒng)中使用。作為數(shù)據(jù)分析人物的編程模型，為計算機集群提供了分布式并行處理的方式，具體情況如圖3所示。其中包含主服務(wù)器與子服務(wù)器兩個方面，主服務(wù)器則是對所有任務(wù)進行調(diào)度，而后者的功能則是對Map任務(wù)和Reduce任務(wù)進行執(zhí)行。

圖3　Hadoop分布式計算

3.應(yīng)用層。[4]

應(yīng)用層的功能是提供SaaS服務(wù) (Software as a Service,軟件即服務(wù))，[5]根據(jù)用戶的實際需求來制定智能檢索、個性化定制等服務(wù)，在特點方面尤其突出，包含一站式訪問、統(tǒng)一接口以及單點登錄等?，F(xiàn)階段在應(yīng)用層運用的核心技術(shù)是web2.0技術(shù)與多租戶技術(shù)、服務(wù)整合技術(shù)等。具體來說，web2.0技術(shù)是基于互聯(lián)網(wǎng)技術(shù)而構(gòu)建的，在社會性與交互性方面都具有較大的優(yōu)勢。而應(yīng)用層中采用web2.0技術(shù)的最終目的是對界面靈活性、交互性的提升。而多租戶技術(shù)的功能是對軟件資源、硬件資源的共享，并且可根據(jù)用戶的實際需求來對資源合理配置，最大限度地提升資源利用率。Force.com多租戶架構(gòu)為當(dāng)前較為常用的技術(shù)，實現(xiàn)了借助元數(shù)據(jù)驅(qū)動的體系結(jié)構(gòu)，構(gòu)建出共享數(shù)據(jù)庫。需注意的是，在運行過程中引擎調(diào)度的情況下會使得用戶的元數(shù)據(jù)處于相互隔離狀態(tài)，最終達到構(gòu)建可擴展、高性能以及按需定制的多租戶應(yīng)用的目標(biāo)，具體情況如圖4所示。

圖4　基于元數(shù)據(jù)驅(qū)動的多租戶應(yīng)用

四結(jié)語

近年來高校信息資源庫建設(shè)在信息化建設(shè)中得到高度的重視，高校當(dāng)前在信息資源庫的建設(shè)領(lǐng)域取得的成就日益增多，高校信息資源庫的建設(shè)逐漸向結(jié)構(gòu)復(fù)雜化、形式多樣化以及內(nèi)容多元化的方向發(fā)展。而在此背景下，高校在對信息平臺建設(shè)的過程中，需要將核心放在服務(wù)質(zhì)量、資源利用率等方面，這對于促進高校信息資源庫的建設(shè)具有積極作用。

本文的研究是大數(shù)據(jù)環(huán)境下基于云計算技術(shù)構(gòu)建高校信息資源庫，將體系結(jié)果的構(gòu)建作為研究的重心。其中運用到的技術(shù)有多租戶技術(shù)、虛擬化技術(shù)以及分布式計算技術(shù)等，最終實現(xiàn)降低平臺開發(fā)成本、縮短平臺開發(fā)周期的目標(biāo)。通過本文的研究，能夠為高校的信息資源平臺建設(shè)提供新的思路，對后期的研究和實踐有積極的作用。

參考文獻

[1]羌棟強.基于Web服務(wù)的網(wǎng)絡(luò)軟件運行平臺的分析與實現(xiàn)[J]. 電子技術(shù)與軟件工程，2014(2):26.

[2]姜曉旭，羅輝. 基于云計算構(gòu)建高校信息資源共享平臺的設(shè)計方案[J].中國醫(yī)學(xué)教育技術(shù)，2013，27(1)：38-41.

[3]徐星，周劍雄，王明哲.基于模型仿真的云計算PaaS構(gòu)建模式選擇[J].微電子學(xué)與計算機，2014，31(6)：90-93.

[4]過怡.基于Force.com平臺的SaaS應(yīng)用的設(shè)計與實現(xiàn)[J].電腦知識與技術(shù)，2009(10)：2620-2621.

[5]CHONG F, CARRARO G.Architecture strategies for catching the long tail [R] .MSDN Library, Microsoft Corporation, 2006: 9-10.

Class No.:TP392Document Mark：A

(責(zé)任編輯：鄭英玲)

Proposition to Build the Colleges Information Resources Libraries in the Environment of Big Data

Qiang Dongqiang

(Jiangsu Vocational College of Business, Nantong, Jiangsu 226011，China)

Abstract：Currently, much attention has been paid to construction of the colleges information resources libraries, which is complicated structurally and diversified in both the form and the content. The framework to build the colleges information resources libraries based on cloud computing as well as the key points for materialization has been analyzed, and the existing mature cloud platform application cases have been employed to build the libraries in order to find out a new thought for construction of the colleges information resources libraries.

Key words：Big Data; Cloud Computing; information resources

中圖分類號：TP392

文獻標(biāo)識碼：A

文章編號：1672-6758(2016)05-0039-4

基金項目：江蘇商貿(mào)職業(yè)學(xué)院2015年度教改課題“基于云計算的高校信息資源庫建設(shè)研究”(編號: SY20151221-05)階段性研究成果。

作者簡介：羌棟強，工程師，江蘇商貿(mào)職業(yè)學(xué)院。研究方向：高校信息資源建設(shè)。