云計算和云數(shù)據(jù)管理技術(shù)

宋金朋 李卓文

新鄉(xiāng)職業(yè)技術(shù)學院 河南新鄉(xiāng) 453000

摘要：云計算是網(wǎng)絡(luò)技術(shù)發(fā)展與創(chuàng)新的必然產(chǎn)物，對于我國計算機互聯(lián)網(wǎng)技術(shù)的發(fā)展起著重要的作用。云計算的出現(xiàn)，不僅將基礎(chǔ)設(shè)施建設(shè)、資源存儲以及網(wǎng)絡(luò)資源等，以服務(wù)形式免費提供給用戶應(yīng)用，同時還改變了傳統(tǒng)用戶應(yīng)用計算機的操作模式。因此，本文將對云計算和云數(shù)據(jù)管理技術(shù)進行分析。

關(guān)鍵詞：云計算；云數(shù)據(jù)；管理技術(shù)；分析

1 前言

隨著計算機網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，云計算和云數(shù)據(jù)管理技術(shù)作為一種全新的互聯(lián)網(wǎng)應(yīng)用模式，能夠更好地滿足數(shù)據(jù)幾何速度增長的趨勢和存儲要求。

2 云計算概述

2.1 概念

云計算這種計算方式是基于互聯(lián)網(wǎng)相關(guān)服務(wù)中的增加、交付以及使用幾種模式，在云計算方式中，如果軟硬件的信息和資源是共享的，那么就可以按照所設(shè)定的命令進行信息和資源的傳遞，將信息和資源傳遞給其他的計算機，由于云計算的活動是依賴于互聯(lián)網(wǎng)，所以大部分的時間都會涉及到由互聯(lián)網(wǎng)進行提供很多動態(tài)易擴展的資源，而且通常這些資源都是虛擬的。狹義上所說的云計算指的是在IT行業(yè)中一些基礎(chǔ)設(shè)施的交付及其使用模式，同時指根據(jù)自身需求得到一些資源，這些資源的獲得是通過網(wǎng)絡(luò)的方式得到的；從廣義上看云計算指的是各種服務(wù)如何進行交付及其使用模式有哪些，客戶如何得到所需要的服務(wù)，這些服務(wù)得到的方式是通過網(wǎng)絡(luò)按照需求擴展的方式來得到。服務(wù)包括了IT、不同的軟件以及同互聯(lián)網(wǎng)相關(guān)的內(nèi)容，也可以是一些設(shè)定的服務(wù)。通過上面的論述我們可以知道計算成為了一種可以在互聯(lián)網(wǎng)中流通的商品。

2.2 特征

云計算的特征主要表現(xiàn)為付費性、管理性、友好性、良好性、擴展性以及存儲性和分布式等，同時還具有經(jīng)濟性、多樣服務(wù)性、高可用性、可靠性以及編程模型高層次性。其中，經(jīng)濟性表現(xiàn)為：組建一個具有商業(yè)機特性的超級計算機通常需要非常多的資金，而一個擁有非常多商業(yè)機的集群只需超級計算機費用的很小一部分；多樣服務(wù)性表現(xiàn)為：它可根據(jù)用戶支付金額的多少來決定用戶所享受的服務(wù)級別；服務(wù)提供性表現(xiàn)為用戶和云計算之間是透明的，用戶要想實現(xiàn)機制服務(wù)不需要知道云計算的細節(jié)和具體機制，一樣能夠獲得想要的服務(wù)；高可用性表現(xiàn)為系統(tǒng)通過計算機的高性能、海量存儲來提升服務(wù)，并讓云計算對失效節(jié)點的檢測實現(xiàn)自動化，有效排除失效節(jié)點，以確保云計算正確性；可靠性主要表現(xiàn)為：云計算是由大量的計算機組成商用群來實現(xiàn)用戶所需要的數(shù)據(jù)處理，因此計算機越多，出錯率就會越高，但是云計算是采用存儲分布式和數(shù)據(jù)冗余的軟件方式，所以數(shù)據(jù)正確性有保證，這在很大程度上有效地避免了大量應(yīng)用硬件情況的發(fā)生；對于編程模型的高層次性而言，其主要表現(xiàn)為云計算由高層次模型編程組成，用戶通過自行簡單學習，可編寫屬于自己的、滿足自己要去的程序。

2.3 工作原理

無需借助本地計算機（或者是遠程服務(wù)器），便能夠?qū)⒂嬎愫侠矸植荚谝幌盗蟹植际接嬎銠C上，以實現(xiàn)對企業(yè)數(shù)據(jù)中心運行的有效優(yōu)化，并和互聯(lián)網(wǎng)形成有效對接。如此一來，企業(yè)便能夠?qū)⑺栀Y源及時而準確地切換到相關(guān)應(yīng)用上，然后結(jié)合實際需求對相關(guān)計算機及存儲系統(tǒng)進行即時訪問。云計算屬于一項極具實用價值的新技術(shù)，使計算能力具有商品性質(zhì)，并通過網(wǎng)絡(luò)予以兜售，不僅節(jié)約了銷售成本，同時還具有實用快捷的優(yōu)點。

2.4 體系結(jié)構(gòu)

云計算體系結(jié)構(gòu)具有一定的復雜性，且較為龐大，以“云”網(wǎng)絡(luò)為中樞，連接一系列并發(fā)的網(wǎng)絡(luò)計算以及相關(guān)服務(wù)，能夠在虛擬化技術(shù)的幫助下，對各個服務(wù)器的能力進行擴展，并借助云計算平臺把一系列資源有機地結(jié)合在一起，從而為用戶提供強大的計算能力及存儲能力。一個相對完整的體系主要包括四大部分，一是云端用戶，二是服務(wù)目錄，三是管理系統(tǒng)，四是部署工具、監(jiān)控、服務(wù)器集群。

3 云計算數(shù)據(jù)的特點

3.1 云計算系統(tǒng)采用的是虛擬化的技術(shù)，所謂虛擬化技術(shù)指的是計算元件并不在真實的狀態(tài)下運行，所以它并不受硬件容量的限制，無形之中擴充了硬件的容量。針對軟件重新配置過程較為復雜的狀況進行簡化，這樣做的目的是使軟件虛擬機的開銷減少，同時可以支持更多的操作系統(tǒng)。這個技術(shù)還能使軟件應(yīng)用硬件之間產(chǎn)生隔離的作用，在這里包括了兩種模式分別是裂分模式和聚合模式，裂分模式是將單一的資源分成不同的虛擬資源，而聚合模式同裂分模式恰好是一個相反的過程。

3.2 云計算系統(tǒng)采用的是分散式的海量數(shù)據(jù)存儲方式，整個系統(tǒng)的組成是很多的服務(wù)器，這樣就可以實現(xiàn)同時為很多的用戶服務(wù)，由于服務(wù)器不同，所以整個系統(tǒng)采用的是分散的方式來進行數(shù)據(jù)的存儲，同時使用冗余存儲這樣的方式來確保數(shù)據(jù)是可靠的。

4 云數(shù)據(jù)管理技術(shù)

4.1 Big Table技術(shù)

Big Table技術(shù)可以說是一個具有一定規(guī)模的分散式的大數(shù)據(jù)庫，它的目的就是為了使數(shù)據(jù)在管理上實現(xiàn)結(jié)構(gòu)化，而分散式的數(shù)據(jù)庫，就有超強的存儲能力，存儲能力可以超過1PB。Big table我們可以把它看成是一個排序的、稀疏的、多維的地圖，其中的單元格都有唯一的坐標，這個坐標由行、列和時間戳三個元素進行定位。這項技術(shù)在工作中執(zhí)行任務(wù)時，能夠隨時對任何的Tablet進行分配，按照任務(wù)的指令將其分配到指定的Tablet服務(wù)器，同時有效利用master服務(wù)器對子表負載監(jiān)視。

4.2 Dynamo技術(shù)

Dynamo技術(shù)不僅具有存儲系統(tǒng)的分布式、數(shù)據(jù)庫和高可用行，而且還具有專有存儲系統(tǒng)的鍵值結(jié)構(gòu)、Hash表分布式，因此Dynamo可直接提供底層支持與AWS，并且可不用暴露于外網(wǎng)。Dynamo技術(shù)的優(yōu)點是通過它所提供的N、R、W三個使用參數(shù)，并根據(jù)自己來調(diào)整需求進行的實例，Risk、Project Voldemort以及Apache Cassandra是比較典型的Dynamo技術(shù)，其中N表示的是副本個數(shù)，R表示的是可達到讀取一致、讀取成功的個數(shù)，W表示的是認為寫入成功的個數(shù)，但并不要求副本個數(shù)全部成功，當讀取成成的個數(shù)加上寫入成功大于副本個數(shù)，就可以保證最終的數(shù)據(jù)一致性，當讀取成成的個數(shù)加上寫入成功小于副本個數(shù)，則不可以保證最終的數(shù)據(jù)一致性。此外，Dynamo對于不同版本對象進行的處理功能、記錄功能也是支持的，它的工作原理是將不同版本的應(yīng)用提供給自己，并讓自己達到比對方更加靈活的目的。

4.3 GFS技術(shù)

GFS是一個擁有文件分布式的大型系統(tǒng)，它主要為云計算提供具有大量的存儲空間，GFS技術(shù)通常與Big Table、Chubby等技術(shù)聯(lián)合應(yīng)用，可形成一個需解決的方案。GFS技術(shù)應(yīng)用過程中，將整個節(jié)點系統(tǒng)分成數(shù)據(jù)塊服務(wù)器、主服務(wù)器以及客戶端三大類，其中數(shù)據(jù)塊服務(wù)器是為系統(tǒng)提供存儲的具體裝置，它將數(shù)據(jù)轉(zhuǎn)換成文件直接存放在Chunk Server之中，Chunk Server數(shù)目通常與GFS規(guī)模成正比關(guān)系，即Chunk Server數(shù)目越多，則GFS規(guī)模就會越大；主服務(wù)器是用來管理GFS的節(jié)點，它主要是保存系統(tǒng)提供元數(shù)據(jù)，同時也是GFS系統(tǒng)中文件處理中心，對整個系統(tǒng)文件進行管理；客戶端可以提供一種形式庫文件，它為系統(tǒng)提供一組應(yīng)用程序?qū)Ｓ玫脑L問接口，并且接口可以不用按照POSIX規(guī)范進行，當需要連接時，直接和庫文件所在的庫進行連接，直接從庫文件中找到需要調(diào)用的庫函數(shù)。

5 結(jié)束語

總而言之，云計算的應(yīng)用前景非常廣闊，云計算的數(shù)據(jù)所具有的海量、異構(gòu)以及不確定性的特點使云計算的云數(shù)據(jù)管理面臨著一定的困難。上文中簡要敘述了三種云數(shù)據(jù)管理技術(shù)，希望對計算機互聯(lián)網(wǎng)的發(fā)展有所幫助。

參考文獻：

[1]劉正偉.文中領(lǐng).張海濤.云計算和云數(shù)據(jù)管理技術(shù)[J].計算機研究與發(fā)展，2012，（1）.

[2]吳吉義.傅建慶.張明西.平玲娣.云數(shù)據(jù)管理研究綜述[J].電信科學，2010，（05）.

[3]李曉偉.沈艷秋.云計算及其發(fā)展進程[J].科技信息，2011，（15）.