云計(jì)算在大數(shù)據(jù)中心建設(shè)的研究與應(yīng)用

張占昭，王玉紅

(1.承德石油高等?？茖W(xué)校 計(jì)算機(jī)與信息工程系，河北 承德 067000；2.解放軍第266醫(yī)院，河北 承德 067000)

?

云計(jì)算在大數(shù)據(jù)中心建設(shè)的研究與應(yīng)用

張占昭1，王玉紅2

(1.承德石油高等專科學(xué)校 計(jì)算機(jī)與信息工程系，河北 承德 067000；2.解放軍第266醫(yī)院，河北 承德 067000)

分析了云計(jì)算技術(shù)的原理和優(yōu)越性以及當(dāng)前面臨的主要技術(shù)問(wèn)題，從“云數(shù)據(jù)中心”的角度，給出云計(jì)算技術(shù)下大數(shù)據(jù)中心建設(shè)的建構(gòu)方案，并在應(yīng)用方面如虛擬計(jì)算、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)、虛擬服務(wù)、虛擬安全等方面進(jìn)行了詳細(xì)的闡述，重點(diǎn)描述了虛擬存儲(chǔ)技術(shù)里的改進(jìn)LRU算法。

云計(jì)算；數(shù)據(jù)中心；私有云

隨著國(guó)內(nèi)外在云計(jì)算技術(shù)方面的不斷研究和應(yīng)用，云計(jì)算技術(shù)日趨成熟，與此同時(shí)，2016年，承德成功承接了“國(guó)家綠色大數(shù)據(jù)中心”建設(shè)的任務(wù)，任務(wù)的核心內(nèi)容之一是建立一流的大數(shù)據(jù)中心，并且把云計(jì)算技術(shù)作為大數(shù)據(jù)中心建設(shè)的關(guān)鍵技術(shù)，因此需要對(duì)云計(jì)算技術(shù)進(jìn)行不斷的創(chuàng)新。

1 云計(jì)算和大數(shù)據(jù)中心

1.1 二者之間的關(guān)系

大數(shù)據(jù)中心如何根據(jù)需求對(duì)計(jì)算機(jī)及存儲(chǔ)系統(tǒng)進(jìn)行訪問(wèn)以及按需要自由轉(zhuǎn)換到實(shí)際應(yīng)用上是新一代大數(shù)據(jù)中心建設(shè)的關(guān)鍵所在，而云計(jì)算的核心旨在將大量離散的計(jì)算機(jī)和服務(wù)器資源有效整合以實(shí)現(xiàn)高效的計(jì)算，這樣我們就可以將云計(jì)算運(yùn)用到大數(shù)據(jù)中心建設(shè)中去，使得大數(shù)據(jù)中心的運(yùn)行像互聯(lián)網(wǎng)一樣，從根本上解決新一代大數(shù)據(jù)中心的關(guān)鍵問(wèn)題。基于云計(jì)算的大數(shù)據(jù)中心可以讓數(shù)據(jù)更安全可靠、數(shù)據(jù)共享更輕松、客戶端需求更低、網(wǎng)絡(luò)資源使用提供更多可能。

1.2 云計(jì)算相關(guān)技術(shù)

依據(jù)提供云服務(wù)的對(duì)象范圍大小不同，我們可以將云計(jì)算大致分成公有云、私有云、混合云。公有云即互聯(lián)網(wǎng)上的；私有云即私有環(huán)境中的，如政府機(jī)關(guān)、高校、企業(yè)等。云計(jì)算從面相服務(wù)的方面最大化的實(shí)現(xiàn)了資源的共享以及資源的重復(fù)利用，從而達(dá)到IT資源的按需分配，具體技術(shù)包括資源高度整合技術(shù)、資源虛擬化技術(shù)、智能決策技術(shù)等，其中虛擬化技術(shù)是核心技術(shù)，特別是在基于私有云的大數(shù)據(jù)中心建設(shè)中起著至關(guān)重要的作用。虛擬化技術(shù)的核心是將計(jì)算機(jī)硬件以及底層設(shè)備進(jìn)行直接或者間接虛擬(系統(tǒng)管理程序)，從另一個(gè)角度也可以理解為對(duì)硬件平臺(tái)和操作系統(tǒng)的虛擬抽象。而間接虛擬中的系統(tǒng)管理程序某種程度上就是操作系統(tǒng)(如Linux)，它的客戶端即虛擬機(jī)。虛擬化技術(shù)可以大大提高資源的利用率、數(shù)據(jù)整合效率，帶來(lái)節(jié)能減排的效果。

2 基于云計(jì)算的大數(shù)據(jù)中心解決方案

基于云計(jì)算的大數(shù)據(jù)中心設(shè)計(jì)思路采用“虛擬化”的概念設(shè)計(jì)整個(gè)軟件和硬件系統(tǒng)，將云計(jì)算的大數(shù)據(jù)中心分為虛擬計(jì)算、虛擬存儲(chǔ)、虛擬網(wǎng)絡(luò)、虛擬服務(wù)、虛擬安全五部分，每個(gè)部分所涉及的資源可以根據(jù)實(shí)際需求動(dòng)態(tài)的調(diào)整，采用支持云計(jì)算的操作系統(tǒng)來(lái)架構(gòu)整個(gè)信息系統(tǒng)，可以提高系統(tǒng)實(shí)施的效率，為以后系統(tǒng)的擴(kuò)展提供足夠的伸縮性，以云計(jì)算為基礎(chǔ)的開發(fā)平臺(tái)還可以降低運(yùn)維成本(大數(shù)據(jù)中心的成本主要是能源消耗)、將資源虛擬化后隨意共享(云計(jì)算的核心是利用虛擬化技術(shù)將數(shù)據(jù)中心的資源轉(zhuǎn)換成隨意取用的共享資源)、提高數(shù)據(jù)中心的利用效率，從而達(dá)到大數(shù)據(jù)中心的靈活性和安全性。

2.1 虛擬計(jì)算

虛擬計(jì)算利用物理資源如服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)系統(tǒng)虛擬為超級(jí)計(jì)算機(jī)，將每個(gè)單一的性能模塊轉(zhuǎn)變?yōu)樘摂M的整體性能，提高物理設(shè)備的實(shí)用性和整合性。服務(wù)器虛擬化利用VMware軟件(vSphere 和 view)，在服務(wù)器硬件設(shè)備上運(yùn)行UCS能將計(jì)算、存儲(chǔ)等操作整合到一個(gè)綜合平臺(tái)上。這樣一來(lái)，利用虛擬化軟件的功能就能保證不停機(jī)，為應(yīng)用系統(tǒng)的實(shí)時(shí)性提供保障；利用UCS就是能夠消除人工計(jì)算；利用無(wú)狀態(tài)計(jì)算技術(shù)實(shí)現(xiàn)物理設(shè)備的隨意遷移，使大數(shù)據(jù)中心的管理更加靈活以及虛擬服務(wù)器的使用更加安全。

2.2 虛擬存儲(chǔ)

數(shù)據(jù)存儲(chǔ)的關(guān)鍵是如何架構(gòu)網(wǎng)絡(luò)化存儲(chǔ)，從而實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一存儲(chǔ)，虛擬存儲(chǔ)技術(shù)可以真正解決數(shù)據(jù)存儲(chǔ)這一關(guān)鍵問(wèn)題，它的本質(zhì)是通過(guò)網(wǎng)絡(luò)協(xié)議建設(shè)一個(gè)可以供服務(wù)器使用的支持?jǐn)?shù)據(jù)、文件、數(shù)據(jù)塊等的網(wǎng)絡(luò)存儲(chǔ)結(jié)構(gòu)。虛擬存儲(chǔ)不僅具有提升數(shù)據(jù)中心存儲(chǔ)容量、提高數(shù)據(jù)的利用效率、存儲(chǔ)方式靈活以及可以為服務(wù)器虛擬化提供保障等特點(diǎn)，而且還具備解決大數(shù)據(jù)中心的性能瓶頸問(wèn)題、統(tǒng)一存儲(chǔ)服務(wù)(真正實(shí)現(xiàn)整體存儲(chǔ))、存儲(chǔ)速度和性能等方面的優(yōu)勢(shì)。

在虛擬存儲(chǔ)中的實(shí)際應(yīng)用當(dāng)中，算法起著至關(guān)重要的作用，其中常見的有OPT、LFU、FIFO、LRU等，每種算法都有其自身的優(yōu)點(diǎn)，但是每種又有其不足之處，下面介紹一種改進(jìn)的LRU算法，力求在原有算法基礎(chǔ)上進(jìn)一步提升存儲(chǔ)的時(shí)間和空間。

傳統(tǒng)的LRU算法(最近最少使用算法)思想是離節(jié)點(diǎn)最近并且沒有使用的時(shí)間最長(zhǎng)的頁(yè)面首先刪除，實(shí)際操作是將每個(gè)頁(yè)面號(hào)初始化放在棧里，當(dāng)有新的訪問(wèn)時(shí)，新訪問(wèn)指向的頁(yè)面號(hào)不斷進(jìn)入棧頂，沒有被訪問(wèn)的頁(yè)面號(hào)進(jìn)入棧底，隨著新訪問(wèn)不斷地增加，最終導(dǎo)致由于容量不夠，棧最底的頁(yè)面號(hào)被刪除。

舉例：e,h,a,h,b,a,b,c,b,c,g

結(jié)果： e

e h

e h a

e a h

e a h b

e h b a

e h a b

e h a b c

e h a c b

e h a b c

h a b c g

通過(guò)實(shí)例我們可以看出傳統(tǒng)LRU算法會(huì)帶來(lái)兩個(gè)比較嚴(yán)重的問(wèn)題：其一由于每個(gè)訪問(wèn)都會(huì)帶來(lái)?xiàng)；蛘哝湵淼淖儎?dòng)，因此實(shí)現(xiàn)并發(fā)訪問(wèn)將十分困難，甚至?xí)龅狡款i；其二LRU算法不能準(zhǔn)確地衡量到底是哪個(gè)頁(yè)面最近是被訪問(wèn)的，遇到特殊操作情況時(shí)如重復(fù)性頁(yè)面訪問(wèn)和突發(fā)性頁(yè)面訪問(wèn)時(shí)會(huì)帶來(lái)命中率不高，甚至下降嚴(yán)重的問(wèn)題。

針對(duì)傳統(tǒng)LRU算法所帶來(lái)的兩個(gè)問(wèn)題，改進(jìn)的LRU算法思想是將經(jīng)常訪問(wèn)的頁(yè)面標(biāo)記為熱點(diǎn)頁(yè)面，將不經(jīng)常訪問(wèn)的頁(yè)面標(biāo)記成冰點(diǎn)頁(yè)面，劃分熱點(diǎn)和冰點(diǎn)的訪問(wèn)次數(shù)一般定為大于等于2。這樣一來(lái)既可以有效保留訪問(wèn)次數(shù)較多的頁(yè)面，還可以提高刪除訪問(wèn)較少頁(yè)面的速度，進(jìn)而提升命中率。如表1所示：

表1 熱點(diǎn)、冰點(diǎn)表

熱點(diǎn) 冰點(diǎn)

abcdefghij

在表1中，其中a,b,c,d,e為熱點(diǎn)元素，f,g,h,i,j為冰點(diǎn)元素，實(shí)際操作過(guò)程中：添加時(shí)如果空間不滿則直接插入熱點(diǎn)端即可，如果空間滿則刪除后添加在冰點(diǎn)端即可；刪除時(shí)從冰點(diǎn)端開始判斷，如果大于等于2則移動(dòng)到熱點(diǎn)端(清零后移動(dòng))，如果判斷結(jié)果為1或者0則直接刪除；由于是計(jì)數(shù)訪問(wèn)，保證了其并發(fā)性，提高了效率。測(cè)試結(jié)果如表2所示：

表2 測(cè)試結(jié)果

從測(cè)試結(jié)果中可以看出，改進(jìn)LRU算法較傳統(tǒng)LRU算法各個(gè)方面都有了較大的提升。

2.3 虛擬網(wǎng)絡(luò)

網(wǎng)絡(luò)虛擬技術(shù)核心的工作是將分散的各種形態(tài)的網(wǎng)絡(luò)進(jìn)行統(tǒng)一架構(gòu)，從技術(shù)上能夠?qū)崿F(xiàn)讓網(wǎng)絡(luò)的速度更快、延時(shí)更低、帶寬更高、管理更方便等優(yōu)勢(shì)，并且能最大限度的降低網(wǎng)絡(luò)建設(shè)成本以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。虛擬網(wǎng)絡(luò)技術(shù)包括虛擬設(shè)備系統(tǒng)技術(shù)、虛擬端口通道技術(shù)、覆蓋傳輸虛擬化技術(shù)等。

2.4 虛擬安全及服務(wù)

在云計(jì)算時(shí)代進(jìn)行網(wǎng)絡(luò)架構(gòu)，硬件都進(jìn)行了不同程度虛擬化，如果仍然按照原有的方案進(jìn)行安全架構(gòu)，將會(huì)出現(xiàn)大量的安全漏洞，進(jìn)而影響大數(shù)據(jù)中心的性能和效率。從服務(wù)器及應(yīng)用程序?qū)用嫔弦笃渥陨碛凶詣?dòng)防御能力的安全策略；從技術(shù)層面上為了能讓數(shù)據(jù)安全可靠，應(yīng)采用可靠的數(shù)據(jù)刪除技術(shù)以及容災(zāi)技術(shù)。

3 結(jié)語(yǔ)

總之，采用云計(jì)算機(jī)技術(shù)進(jìn)行大數(shù)據(jù)中心建設(shè)，可以充分利用硬件資源，更好的提高硬件資源的效率，減少硬件投資成本，同時(shí)云計(jì)算技術(shù)的大量應(yīng)用使得大數(shù)據(jù)中心無(wú)論從數(shù)據(jù)的備份、刪除、更新，還是整個(gè)應(yīng)用系統(tǒng)的架構(gòu)及恢復(fù)都十分的高效快捷，從而提升了大數(shù)據(jù)中心應(yīng)用系統(tǒng)的性能。

[1] 楊靜.面向云計(jì)算的虛擬機(jī)動(dòng)態(tài)遷移關(guān)鍵技術(shù)及優(yōu)化[D].長(zhǎng)沙：中南大學(xué) ，2012.

[2] 程國(guó)江.云計(jì)算簡(jiǎn)介及應(yīng)用前景[J].中國(guó)新技術(shù)新產(chǎn)品，2013(8): 23-24.

[3] 林秀.虛擬化技術(shù)在企業(yè)數(shù)據(jù)中心中的應(yīng)用[J].電信快報(bào)，2011(5):9-11.

[4] 王學(xué)軍. 數(shù)據(jù)挖掘聚類算法在斜井抽油扶正器設(shè)計(jì)中的應(yīng)用[J].承德石油高等?？茖W(xué)校學(xué)報(bào)，2013，15(2):20-23.

Research and Application of Cloud Computing in Construction of Large Data Center

ZHANG Zhan-zhao1, WANG Yu-hong2

(1.Department of Computer and Information Engineering, Chengde Petroleum College, Chengde 067000, Hebei, China； 2.No.266 Hospital of PLA, Chengde 067000, Hebei, China)

This paper analyzes the principle and advantages of cloud computing technology and main technical problems from the “cloud data center” perspective, provides the construction scheme of large computing data center construction technology under the cloud, explains applications such as virtual computing, virtual memory, virtual network, virtual services, security and other aspects in detail, and describes the improvement of LRU algorithm in virtual storage technology.

cloud computing; data center; private cloud

2016年度承德市社會(huì)科學(xué)發(fā)展研究課題(基于云計(jì)算的承德大數(shù)據(jù)中心建設(shè)研究)：Z20162020

2016-05-01

張占昭(1978-)，男，河北保定人，承德石油高等?？茖W(xué)校計(jì)算機(jī)與信息工程系講師，碩士，主要研究方向?yàn)槲锫?lián)網(wǎng)技術(shù)、嵌入式系統(tǒng)。

TP308

B

1008-9446(2016)05-0052-04