云計算環(huán)境下的大規(guī)模圖數(shù)據(jù)處理技術(shù)研究

趙威

摘 要 本文簡要分析了云計算的概念，論述云計算圖數(shù)據(jù)儲存的方法、分割的原理，建立相關(guān)的計算模型。

關(guān)鍵詞 云計算；大規(guī)模圖數(shù)據(jù)；處理技術(shù)

中圖分類號 TP3 文獻標(biāo)識碼 A 文章編號 1674-6708（2017）196-0053-02

在計算機技術(shù)應(yīng)用的環(huán)節(jié)中，圖是一類非常重要的數(shù)據(jù)，其形成了一個非常抽象的數(shù)據(jù)結(jié)構(gòu)，比常規(guī)的線性語言，其在語言表達方面也更加的復(fù)雜。隨著時代的發(fā)展，科學(xué)技術(shù)水平在不斷的提升，圖數(shù)據(jù)實現(xiàn)了大規(guī)模的處理，相關(guān)的處理技術(shù)也應(yīng)該更新?lián)Q代，才能跟上時代的發(fā)展。所以，我們應(yīng)該充分的了解云計算的概念，在云計算的背景下，實現(xiàn)大規(guī)模圖數(shù)據(jù)的處理。

1 云計算簡介

1.1 云計算的含義

云計算指的是在互聯(lián)網(wǎng)發(fā)展的基礎(chǔ)上，研發(fā)出的一類全新的計算方法，是依托了互聯(lián)網(wǎng)技術(shù)實現(xiàn)了大量數(shù)據(jù)的整合。在2007年，云計算概念首先由美國的IBM公司提出，其將云計算定義為一個具體的系統(tǒng)平臺和應(yīng)用程序。

1.2 云計算的主要特征

1.2.1 虛擬化

用戶可以在網(wǎng)絡(luò)環(huán)境下采用不同的工具使用云計算的服務(wù)，及時的完成各類計算的任務(wù)。云計算服務(wù)器一般以群集的方式提供各類服務(wù)，而且其一般都是以虛擬的形式存在，并不存在實體。

1.2.2 通用性和可拓展性

云計算有大量的群集系統(tǒng)的支持，所以，這個平臺可以為用戶提供不同的服務(wù)，不僅僅可以為用戶特定的應(yīng)用，而且也能根據(jù)客戶不同的需求，確保各類應(yīng)用同時運行。云計算群集的處理方式體現(xiàn)了良好的伸縮性能，可以動態(tài)的展現(xiàn)各類功能，即使應(yīng)用的規(guī)模比較大，也能實現(xiàn)良好的可擴展性。

1.2.3 經(jīng)濟性高

云計算要結(jié)合大量的計算機任務(wù)，所以，群體的規(guī)模非常大，云計算服務(wù)可以同時針對谷歌的云計算平臺進行服務(wù)，可以為200萬臺計算機同時提供服務(wù)，也能為其他的供應(yīng)商提供服務(wù)，如微軟、雅虎都能接受云計算的服務(wù)，用戶在云計算群集中可以獲得大量的資源。云計算群集服務(wù)器使用的設(shè)備的成本都比較低，而且計算機本身的容錯能力非常好，可以建立成本低廉的服務(wù)，這一點充分展現(xiàn)了云計算的成本優(yōu)勢，而且也促進了其全面的推廣。

1.3 云計算的相關(guān)技術(shù)

1.3.1 海量分布式存儲技術(shù)

在云計算應(yīng)用中，要對大量的數(shù)據(jù)進行存儲，這時離不開分布式存儲技術(shù)的應(yīng)用，其可以提高數(shù)據(jù)的精確性和經(jīng)濟性。借助各類新型軟件的研發(fā)，可以有效的彌補硬件能力不足的問題，云計算系統(tǒng)的用戶群體非常的龐大，所以，就需要大量數(shù)據(jù)的支撐，用戶對數(shù)據(jù)傳輸?shù)乃俾侍岢隽烁叩囊?。只有提升?shù)據(jù)存儲的能力，才能切實的為用戶提供各類服務(wù)。

1.3.2 數(shù)據(jù)管理技術(shù)

云計算需要進行大量的數(shù)據(jù)分析，要及時的完成用戶提交的計算任務(wù)，所以，云計算在進行數(shù)據(jù)管理的環(huán)節(jié)中，應(yīng)該結(jié)合大數(shù)據(jù)的技術(shù)，提高數(shù)據(jù)管理的能力，而且還應(yīng)該在龐大的數(shù)據(jù)中找出用戶需要的數(shù)據(jù)，從而最大限度的滿足用戶的需求。云計算數(shù)據(jù)管理中最實用的兩個軟件分別是Bigtable和Hbase。對于云計算而言，由于哈希算法的實現(xiàn)簡單，基于哈希的劃分方法是最快的?；诠ｎA(yù)劃分的超塊劃分算法則位居第二，比拓撲最優(yōu)的劃分方法快50%。

1.3.3 虛擬化技術(shù)

現(xiàn)在，全球范圍內(nèi)的信息產(chǎn)業(yè)都在朝著云計算的方向發(fā)展，虛擬化技術(shù)為信息產(chǎn)業(yè)提供了很多的便利，人們對虛擬化戰(zhàn)略也更加的重視。在云計算的大背景下，虛擬化的方案可以實現(xiàn)系統(tǒng)的整合，在服務(wù)器、軟件等結(jié)合的基礎(chǔ)上，網(wǎng)絡(luò)設(shè)備的功能更加的完善，可以帶給人們虛擬化的服務(wù)。在圖初始化階段，我們主要針對slaver節(jié)點進行資源優(yōu)化，此刻master節(jié)點的資源消耗很小，R=0。對于slaver節(jié)點而言，在該階段將會讀取磁盤中的圖數(shù)據(jù)并將其加載到內(nèi)存中去，需要大量的memory和10資源。如果需要加載圖的大小為M，slaver節(jié)點數(shù)量為W，則一個節(jié)點需要存儲的數(shù)據(jù)規(guī)模為M/W。

1.3.4 并行編程模式

由于云計算的用戶非常多，他們會同時提交大量的數(shù)據(jù)，云計算的編程模型應(yīng)該復(fù)雜的運算，并且對調(diào)度任務(wù)執(zhí)行，充分的利用云計算的資源?，F(xiàn)在，云計算一般是運用Map Reduce的方式，這個編程的模式可以將復(fù)雜的數(shù)據(jù)簡化，為數(shù)據(jù)的編程提供可行的解決方案，并且具有成本優(yōu)勢，其性能和效果都能得到保障。

2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的

研究

圖是一類非線性的數(shù)據(jù)結(jié)構(gòu)，在應(yīng)用的環(huán)節(jié)呈現(xiàn)出多對多的結(jié)構(gòu)關(guān)系，圖數(shù)據(jù)中，不同的元素中都有很多個直接前趨和直接后繼，與其他形式的數(shù)據(jù)相比，其表達的含義更加的豐富，而且被廣泛應(yīng)用在各項工程中。圖數(shù)據(jù)的量非常大，所以，在進行大規(guī)模的圖數(shù)據(jù)處理的環(huán)節(jié)中，存在一些技術(shù)局限性。在相關(guān)的專家和學(xué)者的大量研究中，相關(guān)的理論如今已經(jīng)非常的成熟，這為圖數(shù)據(jù)的處理提供了大量的可行的依據(jù)。但是，信息化時代在不斷的發(fā)展，圖數(shù)據(jù)的規(guī)模在不斷的提升，所以應(yīng)該完善圖數(shù)據(jù)處理平臺。圖數(shù)據(jù)處理平臺的內(nèi)容如表1所示。

2.1 云計算的圖數(shù)據(jù)存儲方式

在對大量的資料進行研究后發(fā)現(xiàn)在進行圖數(shù)據(jù)管理的環(huán)節(jié)中，一般采用單圖數(shù)據(jù)模型和超圖數(shù)據(jù)模型，這兩種模型針對有向圖和無向圖進行處理，二者的儲存方式存在差異。云計算的分布式的存儲方式可以分成文件系統(tǒng)和分布式數(shù)據(jù)庫。分布式數(shù)據(jù)庫可以實現(xiàn)不同模型的建立，模型的靈活性非常好，而且支持大量的存儲功能。

2.2 云計算的圖數(shù)據(jù)分割

在進行大規(guī)模的圖數(shù)據(jù)處理的環(huán)節(jié)中，要進行分布式的處理方式，為了完善圖數(shù)據(jù)的處理效率，各個圖之間的耦合度會降低。所以，在對圖進行分割的環(huán)節(jié)中，應(yīng)該先分析圖的邏輯結(jié)構(gòu)，再完成每個子系統(tǒng)的計算任務(wù)。在這個環(huán)節(jié)中，針對大圖的分割，應(yīng)該充分結(jié)合圖的規(guī)模和均衡性，應(yīng)該完善圖內(nèi)部的連貫性。

2.3 云計算的圖數(shù)據(jù)計算模型

現(xiàn)在，在進行云計算環(huán)境中最為廣泛的模型，一般采用兩種模型，其一是Map Reduce，其二是BSP模型。

Map Reduce模型可以進行獨立的單元分析，可以同時處理多個任務(wù)，在作業(yè)執(zhí)行的過程中也分成兩個不同的階段，首先是對任務(wù)進行分配，然后結(jié)合相應(yīng)的數(shù)據(jù)進行計算，然后將Key值輸出，將結(jié)果的數(shù)據(jù)直接反饋到任務(wù)欄中。在第二個階段，每個任務(wù)在處理的環(huán)節(jié)中，都能收到數(shù)據(jù)的聚集處理，從而可以及時的獲取數(shù)據(jù)輸出的結(jié)果，并且將數(shù)據(jù)進行及時的保存，在分布式的文件系統(tǒng)中有大量的數(shù)據(jù)。

BSP模型可以執(zhí)行消息通信的各項操作，其可以防止死鎖的產(chǎn)生，也防止了數(shù)據(jù)的計算中產(chǎn)生競爭的問題。

在云計算的背景下，采用大規(guī)模的圖數(shù)據(jù)的方式，主要采用上述的兩種模型，但是在進行迭代問題的處理環(huán)節(jié)中，采用BSP模型的效率更能得到保障。

2.4 云計算的圖數(shù)據(jù)查詢處理

在云計算的大背景下，在進行大規(guī)模圖數(shù)據(jù)查詢的環(huán)節(jié)中，主要采用主動的遍歷模式和被動的遍歷模式，這兩種模式都是對圖頂點進行操作。主動的遍歷模式的普適性能得到保障，在一些特定的應(yīng)用中，如果沒有必要采用查詢功能，就會導(dǎo)致功能的浪費。被動的遍歷模式中，其不用對處理函數(shù)進行調(diào)節(jié)，而且也可以減少頂點的調(diào)用，使資源得到節(jié)約。

3 結(jié)論

在云計算的大背景下，對大規(guī)模圖數(shù)據(jù)進行處理會更加的簡單，云計算可以被廣泛的使用，其適用性可以得到保障。

參考文獻

[1]李健，黃慶佳，劉一陽，等.云計算環(huán)境下的大規(guī)模圖狀數(shù)據(jù)處理任務(wù)調(diào)度算法[J/OL].西安交通大學(xué)學(xué)報，2012，46（12）：116-122.

[2]張興旺，李晨暉，秦曉珠.云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的研究與初步實現(xiàn)[J].現(xiàn)代圖書情報技術(shù)，2011（4）：

17-23.endprint