大型數(shù)據(jù)中心中云計算技術(shù)的實現(xiàn)原理及應(yīng)用

徐詠綺

（俐奧特（上海）商務(wù)咨詢有限公司，上海 200000）

計算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)在快速發(fā)展的過程中，大數(shù)據(jù)技術(shù)和云計算技術(shù)隨之產(chǎn)生，尤其是在進(jìn)入到數(shù)據(jù)信息化時代以后，大數(shù)據(jù)技術(shù)在人們?nèi)粘Ｉa(chǎn)和生活中發(fā)揮出了重要的作用。隨著云計算技術(shù)的不斷成熟，各行各業(yè)對云計算技術(shù)的研究更加深入。在建設(shè)大型數(shù)據(jù)中心的過程中，使用的核心技術(shù)為云計算技術(shù)，實現(xiàn)了云計算技術(shù)的改革與創(chuàng)新，深度挖掘大數(shù)據(jù)技術(shù)的潛在價值，為人類社會進(jìn)步作出了突出的貢獻(xiàn)。

1.云計算技術(shù)

在互聯(lián)網(wǎng)平臺上新增加的交互模式為云計算技術(shù)，云計算技術(shù)的虛擬化資源以網(wǎng)絡(luò)動態(tài)拓展為依托，網(wǎng)絡(luò)和互聯(lián)網(wǎng)被比喻為云。云服務(wù)被劃分多種類型，分別為混合云、私有云和公有云等，公有云主要是指公共網(wǎng)的整體和整個互聯(lián)網(wǎng)；私有云指的是私有的網(wǎng)絡(luò)信息環(huán)境，最為常見的有政府或者是企業(yè)的信息集；混合云將私有云和公有云集合在一起。在使用云計算技術(shù)以后，資源再利用和信息共享成為可能，IT結(jié)構(gòu)變得更加優(yōu)化，加快了職能決策技術(shù)、虛擬技術(shù)和資源整合技術(shù)的發(fā)展速度。云計算技術(shù)的核心為虛擬技術(shù)，在數(shù)據(jù)處理和數(shù)據(jù)挖掘的過程中發(fā)揮了重要的作用。

云計算的主要特征是“云”，具有大規(guī)模的特征。云計算支持用戶在任何位置使用各種終端獲取應(yīng)用服務(wù)，請求的資源來自“云”。多副本數(shù)據(jù)容錯、計算節(jié)點同構(gòu)可互換等措施保證服務(wù)，比使用本地計算機(jī)更可靠，它支持多個不同類型的應(yīng)用程序同時運(yùn)行，具有通用性的特點，并具有很高的可擴(kuò)展性，以滿足應(yīng)用程序的擴(kuò)展和用戶的增加。用戶按需購買服務(wù)，節(jié)省了軟件和硬件的早期投資，用戶獲得低成本、高自動化服務(wù)，節(jié)能環(huán)保，接受“云” 另一端最專業(yè)團(tuán)隊的管理、運(yùn)維服務(wù)。

2.大型數(shù)據(jù)中心和云計算間的關(guān)系

在建設(shè)大型數(shù)據(jù)中心時，其最終的目標(biāo)為以信息存儲系統(tǒng)和用戶需求為依托完成訪問任務(wù)，使應(yīng)用和切換變得更加自由，快速提升數(shù)據(jù)的使用效率和挖掘效率，這就是大型數(shù)據(jù)中心建設(shè)的核心內(nèi)容。云計算技術(shù)利用服務(wù)器和計算機(jī)完成海量數(shù)據(jù)信息的高效整合，使數(shù)據(jù)信息的計算效率發(fā)生根本性的改變。在建設(shè)大型數(shù)據(jù)中心的過程中，使用云計算技術(shù)以后功能變得更加強(qiáng)大，大型數(shù)據(jù)中心能夠像互聯(lián)網(wǎng)一樣完成信息資源的自由搜尋，使得大型數(shù)據(jù)中心建設(shè)過程中遇到的各類問題迎刃而解。將云計算技術(shù)融入大型數(shù)據(jù)中心建設(shè)中以后，大數(shù)據(jù)系統(tǒng)的數(shù)據(jù)共享速度變得更快，安全級別也更高，同時也會使網(wǎng)絡(luò)資源的使用效率變得更加快速，對客戶端的要求隨之下降。

3.大型數(shù)據(jù)中心建設(shè)中使用云計算技術(shù)

3.1 虛擬計算與存儲模塊

虛擬計算模塊能夠使功能模塊高效地轉(zhuǎn)化成為虛擬網(wǎng)絡(luò)，充分發(fā)揮超級計算機(jī)、網(wǎng)絡(luò)、存儲和服務(wù)器的各項功能，使得物流設(shè)備資源的利用效率和整合速度變得更加強(qiáng)大。虛擬化服務(wù)器使用的主要軟件類型為VM ware軟件，UCS在硬件系統(tǒng)中運(yùn)行，將計算機(jī)的計算功能和存儲功能高效整合到虛擬平臺里，利用虛擬化的軟件平臺，真正實現(xiàn)不停機(jī)操作使系統(tǒng)運(yùn)行的實時性得到保證。使用UCS能夠?qū)⑷藶橐蛩氐挠绊懡档阶畹?，無狀態(tài)計算機(jī)技術(shù)能夠隨時遷移物理設(shè)備，使大型數(shù)據(jù)中心管理變得更加便捷，虛擬服務(wù)器的使用安全也得到了保證。

所謂虛擬存儲以云存儲的存儲方案為依據(jù)，使得數(shù)據(jù)信息資源的統(tǒng)一存儲變成可能，使用虛擬存儲技術(shù)以后，物理存儲的弊端被高效的解決，超大容量的存儲成為可能，如果條件允許，無限存儲也會存在。以網(wǎng)絡(luò)協(xié)議為依托，創(chuàng)建能夠被服務(wù)器調(diào)用的存儲網(wǎng)絡(luò)架構(gòu)，使數(shù)據(jù)信息的存儲功能得以實現(xiàn)。在虛擬存儲系統(tǒng)里，算法占據(jù)著核心位置，主流算法包含的具體形式有FIFO、LRU、LFU、OPT等，不同算法的優(yōu)勢和劣勢也存在著很大的差別，本文對LRU算法設(shè)計工作給予了重點的論述，以原有算法為基礎(chǔ)，優(yōu)化升級了數(shù)據(jù)存儲的效率和空間。對于傳統(tǒng)的LRU算法來說，其機(jī)理為距離節(jié)點比較近，長時間頁面的先刪除被省略，在操作的過程中，初始化頁面以后，能夠?qū)崿F(xiàn)快速的存儲，假如出現(xiàn)了新的訪問需求， 能夠直接對棧頂進(jìn)行訪問，沒有被訪問的則會直接移動到棧底。隨著訪問量的不斷增加，會有容量不足的情況發(fā)生，棧底信號會出現(xiàn)被刪除的情況。在LRU實現(xiàn)升級改造以后，高頻率訪問的頁面會被標(biāo)記成為熱點頁面，那些長時間沒有人訪問的頁面則會成為冰點頁面，顯著提升了運(yùn)行的實效性。

3.2 虛擬網(wǎng)絡(luò)及安全服務(wù)

虛擬網(wǎng)絡(luò)能夠使分散的網(wǎng)絡(luò)架構(gòu)被重新的整合到一個全新的網(wǎng)絡(luò)架構(gòu)里，使信息的操作效率和信息的共享率得到明顯提高。從技術(shù)層面分析，使用虛擬網(wǎng)絡(luò)以后，網(wǎng)絡(luò)的運(yùn)行速度變得更加快捷，將大數(shù)據(jù)中心建設(shè)成本投入控制到最低，優(yōu)化升級原有網(wǎng)絡(luò)資源。虛擬技術(shù)包含的內(nèi)容比較多，最核心的內(nèi)容為虛擬傳輸、虛擬端口通道和虛擬設(shè)備系統(tǒng)等，這也是大型數(shù)據(jù)中心通信模塊的核心內(nèi)容[1]。在大型數(shù)據(jù)中心建設(shè)的過程中，使用云計算技術(shù)以后，其網(wǎng)絡(luò)架構(gòu)真正實現(xiàn)了不同程度的虛擬化。在對大型數(shù)據(jù)中心性能進(jìn)行衡量時，不再使用硬件這一標(biāo)準(zhǔn)進(jìn)行衡量，需要從多個方面著手。假如仍然使用以硬件為基礎(chǔ)的安全架構(gòu)模式，網(wǎng)絡(luò)安全漏洞就會隨之產(chǎn)生，給大型數(shù)據(jù)中心的安全性和運(yùn)行效率造成不同程度的影響。從應(yīng)用層面和服務(wù)器的角度分析，在互聯(lián)網(wǎng)中，虛擬安全與服務(wù)的安全功能和防御策略最先進(jìn)，利用虛擬技術(shù)使得大型數(shù)據(jù)中心變得更加安全、可靠。

4.大型數(shù)據(jù)中心中云計算技術(shù)的實現(xiàn)原理

4.1 云架構(gòu)建設(shè)

銀行信息服務(wù)需求對云架構(gòu)起到了強(qiáng)有力的推動作用，使用冗余、并行等模式，使系統(tǒng)的可靠性和安全性得到快速提升。在使用彈性云以后，資源分配能夠?qū)?shù)據(jù)處理需求進(jìn)行實時的滿足，對系統(tǒng)負(fù)載動態(tài)變化進(jìn)行了最大程度的適應(yīng)，使得IT基礎(chǔ)架構(gòu)的可擴(kuò)展性得以實現(xiàn)。云管理包含的內(nèi)容非常多，比如應(yīng)急處置、風(fēng)險防控、資源分配以及運(yùn)行維護(hù)等，使得投入產(chǎn)出比變得更加合理、科學(xué)。

（1）云服務(wù)平臺。云架構(gòu)作為數(shù)據(jù)處理環(huán)境，其具有較強(qiáng)的基礎(chǔ)性和統(tǒng)一性。某中資商業(yè)銀行數(shù)據(jù)中心對行內(nèi)外業(yè)務(wù)數(shù)據(jù)資源進(jìn)行了高效的整合，積極開展企業(yè)級數(shù)據(jù)模型設(shè)計工作，使得平行可拓展的云服務(wù)平臺得以構(gòu)建。云服務(wù)平臺主要包含3個層次的內(nèi)容，分別為應(yīng)用服務(wù)層、平臺服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層等?；A(chǔ)設(shè)施服務(wù)層將管理功能組件和硬件資源進(jìn)行了高效的集合，通過虛擬化技術(shù)對集群、存儲和網(wǎng)絡(luò)等資源進(jìn)行抽象，使得內(nèi)部資源管理自動化得以真正的實現(xiàn)。平臺服務(wù)層處于應(yīng)用服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層的中間，具有可復(fù)用性和通用性的軟件資源全部集中于此，使云應(yīng)用的開發(fā)、運(yùn)行、管理和監(jiān)控等平臺環(huán)境得以保證。應(yīng)用服務(wù)層處于平臺服務(wù)層和基礎(chǔ)設(shè)施服務(wù)層的上面，對云架構(gòu)中的應(yīng)用軟件進(jìn)行了高效的集合，利用網(wǎng)絡(luò)資源對用戶提出的所有應(yīng)用服務(wù)需求進(jìn)行滿足。云服務(wù)平臺對Hadoop平臺、海量并行計算、開放式PC Server集群等技術(shù)進(jìn)行了充分的利用，使基礎(chǔ)環(huán)境變得更加高效、穩(wěn)定，使得IT基礎(chǔ)架構(gòu)變得更加靈活、易于拓展和低成本投入[2]。云服務(wù)平臺的基礎(chǔ)為數(shù)據(jù)架構(gòu)，將數(shù)據(jù)整合和數(shù)據(jù)覆蓋進(jìn)行全包含。從數(shù)據(jù)覆蓋的角度分析，將某中資商業(yè)銀行所有的應(yīng)用系統(tǒng)和行外數(shù)據(jù)信息進(jìn)行了全部覆蓋，使得數(shù)據(jù)的集中存放成為可能。從數(shù)據(jù)整合的角度分析，在高效的整合內(nèi)外各類數(shù)據(jù)以后，使得設(shè)計數(shù)據(jù)模型描述的內(nèi)容變得更加清晰，為后續(xù)的數(shù)據(jù)信息管理、使用和存儲提供便利。

（2）核心技術(shù)。云服務(wù)平臺在構(gòu)建基礎(chǔ)環(huán)境時，使用的主要技術(shù)類型為大規(guī)模分布式存儲、海量數(shù)據(jù)處理、并行部署和虛擬化等，使得基礎(chǔ)環(huán)境便于管理，顯著提升了其擴(kuò)展性和可靠性。

1）虛擬化。云計算技術(shù)的核心特點為虛擬化，實現(xiàn)對物理資源的高效整合與劃分。某中資商業(yè)銀行數(shù)據(jù)中心抽取的數(shù)據(jù)作用量能夠達(dá)到8萬多個，作業(yè)間的關(guān)系非常復(fù)雜。云服務(wù)平臺在使用虛擬化技術(shù)以后，對物理資源實現(xiàn)了高效的整合和靈活的調(diào)配，使作業(yè)監(jiān)控和調(diào)度得到不斷地增強(qiáng)，數(shù)據(jù)并發(fā)處理效率發(fā)生了明顯的提升，使得云服務(wù)平臺的運(yùn)行變得更加平穩(wěn)和安全。

2）并行部署。隨著物理資源的不斷吃緊，并行部署技術(shù)也顯得格外的重要。云服務(wù)平臺在使用并行部署技術(shù)以后，對以往使用的串行部署方式進(jìn)行了有效的改變，使其改變成為并行部署方式，完成對多個部署任務(wù)的執(zhí)行，在多個物理機(jī)上完成虛擬機(jī)的有效部署，將部署所需時間降到最低，顯著提升部署過程的速度[3]。

3）海量數(shù)據(jù)處理。在處理海量數(shù)據(jù)信息時，使用由眾多PC服務(wù)器構(gòu)成的集群來高效的處理海量數(shù)據(jù)信息，這也是整個行業(yè)中普遍存在的問題。某中，資商業(yè)銀行在使用Map Reduce編程模型和Hadoop集群以后，并行處理大量的數(shù)據(jù)信息資源，Task Tracker和Job Tracker共同構(gòu)成了Map Reduce編程模型，一個任務(wù)被分解成為多個能夠單獨執(zhí)行的任務(wù)，以各個計算節(jié)點的處理能力為核心，在多個服務(wù)器集群上并行處理分配的各項任務(wù)，將整個任務(wù)的完成時間縮減到最短。

4）大規(guī)模分布式存儲技術(shù)。云服務(wù)平臺在存儲數(shù)據(jù)信息資源時，使用的服務(wù)器數(shù)量比較多，將Hadoop分布式文件系統(tǒng)（HDFS）部署在底層，實現(xiàn)了統(tǒng)一管理和抽象表示。分布式文件系統(tǒng)在通用硬件上運(yùn)行以后，在HDFS易拓展性和高容錯率的影響下，能夠在上千個服務(wù)器集群上發(fā)揮出積極的促進(jìn)作用，數(shù)據(jù)信息資源的高速輸入輸出得以真正的實現(xiàn)。

4.2 云服務(wù)平臺運(yùn)維管理

某中資商業(yè)銀行數(shù)據(jù)中心從實際需求的角度出發(fā)，在保證系統(tǒng)穩(wěn)定運(yùn)行的情況下，增強(qiáng)動態(tài)資源優(yōu)化管理、創(chuàng)建集中監(jiān)控系統(tǒng)和集中運(yùn)維管理平臺以后，使基礎(chǔ)架構(gòu)的精細(xì)化、自動化管理水平得到顯著的提升，并使整個系統(tǒng)的風(fēng)險費防范能力和實時報警功能變得更加強(qiáng)大。

（1）高效管理。創(chuàng)建集中運(yùn)維管理平臺以后，各類資源的自動備份和配置部署得以真正的實現(xiàn)，在與數(shù)據(jù)中心管理程序協(xié)同運(yùn)轉(zhuǎn)時，集群內(nèi)部管理模塊發(fā)揮出了積極的促進(jìn)作用，集群的資源調(diào)整、節(jié)點啟停和實時遷移得以高效的實現(xiàn)。集中運(yùn)維管理平臺使用增量備份與全量備份、虛擬集群外部備份與內(nèi)部備份等相結(jié)合的方式，高效的處理了Hadoop分布式文件系統(tǒng)（HDFS）數(shù)據(jù)備份時遇到的各類復(fù)雜問題，將備份時間縮減到最短，節(jié)省了大量的存儲空間，從而使運(yùn)維管理的效率發(fā)生了明顯的提升[4]。

（2）集中監(jiān)控。積極創(chuàng)建高效的集中監(jiān)控系統(tǒng)，對開發(fā)的接口規(guī)范進(jìn)行不斷地明確，使網(wǎng)絡(luò)、應(yīng)用和系統(tǒng)等集成得以實現(xiàn)，對代碼質(zhì)量和系統(tǒng)運(yùn)行結(jié)構(gòu)進(jìn)行優(yōu)化升級，使得集中監(jiān)控系統(tǒng)運(yùn)行的可靠性和穩(wěn)定性得到快速的提升。使用功能全面、自動高效的監(jiān)控工具，集中監(jiān)控全行各類數(shù)據(jù)信息資源，并對作業(yè)流程和運(yùn)行狀態(tài)進(jìn)行高效的管理。

（3）動態(tài)優(yōu)化。做好云平臺資源全生命周期管理工作，科學(xué)分析和整合各類數(shù)據(jù)資源，使其與實際的需求保持高度的統(tǒng)一。以業(yè)務(wù)需求和服務(wù)級別目標(biāo)為依托，做好資源優(yōu)化配置工作，顯著提升云服務(wù)平臺的綜合實力。對今后云計算技術(shù)的發(fā)展方向進(jìn)行預(yù)測和分析，做好數(shù)據(jù)資源的動態(tài)調(diào)整工作，在確保系統(tǒng)有序運(yùn)行的背景下，對客戶的體驗感進(jìn)行不斷提升，使得各類資源的集中、統(tǒng)一管理得以真正的實現(xiàn)。

5.云計算應(yīng)用的思考

云計算強(qiáng)大的計算能力解決了很多問題，能夠真正存儲和處理海量數(shù)據(jù)資源。但是，實際上，如何在計算分布式環(huán)境中設(shè)計正確的大規(guī)模數(shù)據(jù)模擬器仍然是一個很大的問題。合理地平衡使用資源是必要的，并且具有高效率，安全性和數(shù)據(jù)庫可靠性。當(dāng)人們想要充分利用 云計算技術(shù)來幫助解決一些其他傳統(tǒng)IT方法無法解決的問題時，還需要考慮產(chǎn)品和服務(wù)的兩個出發(fā)點，深入思考產(chǎn)品設(shè)計和不同地區(qū)的差異，想想自己的服務(wù)可能的優(yōu)勢和劣勢，以及如何通過自己的創(chuàng)新，各種層次的產(chǎn)品和服務(wù)來構(gòu)建不同的規(guī)模。如今，云計算的安全性已被研究和討論。安全性不僅是一個單獨的概念，而且還需要在平臺運(yùn)行時得到補(bǔ)充和解決。對于 “云計算” 來說，安全性和可靠性是平臺正常運(yùn)行的基礎(chǔ)，這需要大量的實際研究和工作來證明。當(dāng)前，要進(jìn)一步深化對網(wǎng)絡(luò)虛擬化的探索和研究，學(xué)習(xí)和運(yùn)用網(wǎng)絡(luò)虛擬化的相關(guān)技術(shù)，正確地將網(wǎng)絡(luò)虛擬化應(yīng)用于云計算服務(wù)，正確認(rèn)識云計算網(wǎng)絡(luò)虛擬化的各種特點和優(yōu)勢。

6.結(jié)語

在建設(shè)大型數(shù)據(jù)中心的過程中，云計算技術(shù)發(fā)揮著至關(guān)重要的作用，使得硬件資源的使用效率發(fā)生明顯的改變，同時將成本投入控制到最低，顯著提升運(yùn)行效能。在使用云計算技術(shù)以后，大型數(shù)據(jù)中心的所有性能都發(fā)生了明顯的改變，數(shù)據(jù)共享、更新、備份等功能也隨之發(fā)生了明顯的變化，促使大型數(shù)據(jù)中心架構(gòu)朝著更加便捷、高效的方向發(fā)展。