云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的相關(guān)思考

劉 磊

（連云港市人力資源和社會保障局，江蘇 連云港 222006）

圖數(shù)據(jù)是計算機科學中最為常見的一種抽象數(shù)據(jù)類型，內(nèi)容復雜，表述能力強，而且需要處理的元素多，難度高。尤其是在現(xiàn)如今的大數(shù)據(jù)時代，各種圖數(shù)據(jù)層出不窮，其中包含眾多無效數(shù)據(jù)，形成了大規(guī)模的圖數(shù)據(jù)資源。為了高效、準確地進行圖數(shù)據(jù)處理，必須對圖數(shù)據(jù)處理技術(shù)進行創(chuàng)新與優(yōu)化。云計算環(huán)境下，給圖數(shù)據(jù)處理技術(shù)的應(yīng)用提供了更多的便利條件，同時帶來了技術(shù)的優(yōu)化，很大程度上提高了處理技術(shù)應(yīng)用有效性，在大規(guī)模圖數(shù)據(jù)處理中發(fā)揮出更好的作用。

1 云計算及圖數(shù)據(jù)

“云計算”又稱“網(wǎng)格計算”，是對復雜計算過程進行分布式分解，解決任務(wù)分發(fā)，再將計算結(jié)果進行合并，得到最終的計算結(jié)果。云計算與傳統(tǒng)的網(wǎng)絡(luò)應(yīng)用模式進行比較，應(yīng)用優(yōu)勢包括虛擬化技術(shù)、動態(tài)可擴展、靈活性高、可靠性高、按需部署、可擴展性及性價比高等優(yōu)勢與特點[1]。云計算可以提供基礎(chǔ)設(shè)施即服務(wù)、平臺即服務(wù)以及軟件即服務(wù)三類服務(wù)類型，通過體系結(jié)構(gòu)、資源監(jiān)控、自動化部署等關(guān)鍵技術(shù)實現(xiàn)計算過程。云計算的框架以及應(yīng)用過程需要依托先進互聯(lián)網(wǎng)技術(shù)，形式眾多，主要包括網(wǎng)絡(luò)服務(wù)、平臺服務(wù)、互聯(lián)網(wǎng)整合、商業(yè)服務(wù)以及管理服務(wù)提供商等。

“圖數(shù)據(jù)”一般代表的是圖形數(shù)據(jù)，包括圖元、圖段，其中圖元包括點、線、面、字符、符號等，圖段由多個圖元構(gòu)成，例如房屋門、窗等。隨著互聯(lián)網(wǎng)的快速發(fā)展，圖數(shù)據(jù)規(guī)模越來越大，圖數(shù)據(jù)處理的難度也隨之升高，對圖數(shù)據(jù)處理技術(shù)應(yīng)用效率與質(zhì)量均提出新的要求，以此推動圖數(shù)據(jù)處理技術(shù)的優(yōu)化。在云計算環(huán)境下，為大規(guī)模圖數(shù)據(jù)處理技術(shù)帶來了技術(shù)應(yīng)用優(yōu)勢，使其可以提高處理效率，對于大規(guī)模圖數(shù)據(jù)處理有重要意義。

2 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)技術(shù)優(yōu)勢

2.1 大規(guī)模圖數(shù)據(jù)存儲、維護

大規(guī)模圖數(shù)據(jù)對存儲空間的要求非常多，其中最重要的一點就是需要一個很大的存儲空間，達到GB級別，甚至PB級別，數(shù)據(jù)量非常大。較大的數(shù)據(jù)占用空間，就給大規(guī)模圖數(shù)據(jù)處理造成了困難，因為想要處理大規(guī)模的圖數(shù)據(jù)，首先要有足夠大的空間進行數(shù)據(jù)存儲，然后才能對可查找和調(diào)用的圖數(shù)據(jù)進行處理，獲得其中有效的信息，將無效圖數(shù)據(jù)刪除等[2]。大規(guī)模圖數(shù)據(jù)所需要的存儲空間是傳統(tǒng)文件的數(shù)倍、幾十倍乃至上百倍，對數(shù)據(jù)庫內(nèi)存的要求遠遠大于傳統(tǒng)文件，使得大規(guī)模圖數(shù)據(jù)在傳統(tǒng)文件數(shù)據(jù)庫中無法被直接運用。云計算環(huán)境下，大規(guī)模圖數(shù)據(jù)技術(shù)的應(yīng)用，可以利用云計算的分布式存儲形式，將大規(guī)模的圖數(shù)據(jù)存儲起來，根據(jù)圖數(shù)據(jù)處理的實際情況，將目前需要使用的圖數(shù)據(jù)集中起來并進行統(tǒng)一存儲，對暫時不需要的圖數(shù)據(jù)可以進行額外存儲，從而使得對大規(guī)模圖數(shù)據(jù)進行存儲的時候不需要很大的內(nèi)存空間，即可實現(xiàn)圖數(shù)據(jù)使用和處理。另外，在云技術(shù)環(huán)境下對大規(guī)模圖數(shù)據(jù)進行處理的時候，進行圖數(shù)據(jù)維護過程中可以實現(xiàn)一致性與統(tǒng)一性，對大規(guī)模圖數(shù)據(jù)統(tǒng)一備份并保存在云端，避免電腦系統(tǒng)故障造成圖數(shù)據(jù)丟失、損壞，保證了圖數(shù)據(jù)的安全性。

2.2 大規(guī)模圖數(shù)據(jù)處理耦合性

大規(guī)模圖數(shù)據(jù)之間存在著大量互相關(guān)聯(lián)的內(nèi)部信息，且圖數(shù)據(jù)的計算也存在相互關(guān)聯(lián)關(guān)系。而利用傳統(tǒng)的圖數(shù)據(jù)處理技術(shù)進行大規(guī)模圖數(shù)據(jù)計算時，只能進行低運算狀態(tài)，對于圖數(shù)據(jù)內(nèi)存訪問表現(xiàn)比較低級，使得大規(guī)模圖數(shù)據(jù)處理具有一定局限性。云計算環(huán)境下，大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)運而生，將大規(guī)模圖數(shù)據(jù)的計算準確性有效提升，同時也獲得更高的可行性[3]。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)實際運用時，可以準確計算任何一個頂點之間的圖數(shù)據(jù)，并通過分割圖數(shù)據(jù)將其轉(zhuǎn)變?yōu)橥耆毩⒌淖訄D數(shù)據(jù)，再進行處理分析，提高了圖數(shù)據(jù)處理效率。在對大規(guī)模圖數(shù)據(jù)進行處理時，可以通過云計算圖數(shù)據(jù)處理模式來實現(xiàn)，在分割大規(guī)模圖數(shù)據(jù)時將子圖數(shù)據(jù)之間的耦合性盡量降低。同時可以在處理大規(guī)模圖數(shù)據(jù)時將任務(wù)調(diào)度開銷減少，利用圖數(shù)據(jù)處理模式減少因為迭代過程中對任務(wù)的反復啟動而出現(xiàn)的開銷。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用，實現(xiàn)了對圖數(shù)據(jù)的單項信息逐條處理與計算，再通過分割圖數(shù)據(jù)，獲得子圖數(shù)據(jù)進行有效信息提取和處理，提高圖數(shù)據(jù)處理效率，節(jié)省處理時間，獲得更高的效益。

2.3 大規(guī)模圖數(shù)據(jù)處理可靠性

大規(guī)模圖數(shù)據(jù)處理技術(shù)在應(yīng)用的過程中，技術(shù)人員需要花費很長時間去處理圖數(shù)據(jù)的計算任務(wù)，導致圖數(shù)據(jù)處理效率低下，并降低了云計算節(jié)點對大規(guī)模圖數(shù)據(jù)處理的可靠性[4]。以處理PageRsnK的過程為例，在進行圖數(shù)據(jù)計算時一般需要迭代處理工序30次左右，計算期間資源消耗以及時間消耗都非常大。在云計算環(huán)境下，可以借助云計算的技術(shù)應(yīng)用優(yōu)勢以及計算框架、模式，對圖數(shù)據(jù)計算過程中遇到的各種問題進行全面解決，創(chuàng)新圖數(shù)據(jù)處理技術(shù)應(yīng)用方案，提高處理效率。普通計算機可以組成云計算節(jié)點，在對大規(guī)模圖數(shù)據(jù)進行計算和處理期間，如果個別計算機出現(xiàn)運行故障，就會形成節(jié)點故障、癱瘓，對云節(jié)點使用的可靠性造成嚴重影響。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)的優(yōu)化與應(yīng)用，在遇到云計算節(jié)點中斷時，可以從斷點處或者其他合適位置對圖數(shù)據(jù)的計算處理繼續(xù)執(zhí)行，解決了云計算節(jié)點發(fā)生故障后圖數(shù)據(jù)處理中斷的問題[5]。同時，以往圖數(shù)據(jù)處理過錯中容易在計算任務(wù)間出現(xiàn)強耦合性干擾，子圖數(shù)據(jù)計算任務(wù)失敗會直接關(guān)聯(lián)其他正在運行的任務(wù)。云計算大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用實踐，則可通過容錯管理機制的設(shè)定，將子圖數(shù)據(jù)之間的強耦合性問題減少，使得云計算節(jié)點可靠性提升。

2.4 圖數(shù)據(jù)處理靈活性高

在云計算環(huán)境下，對大規(guī)模圖數(shù)據(jù)進行處理的過程中，利用云計算的技術(shù)原理以及技術(shù)優(yōu)勢，在實現(xiàn)對圖數(shù)據(jù)快速存儲的基礎(chǔ)上，還可以對圖數(shù)據(jù)進行快速處理，在獲取圖數(shù)據(jù)的同時，在短時間內(nèi)從大規(guī)模圖數(shù)據(jù)中獲得有效的數(shù)據(jù)信息，提取關(guān)鍵信息。另外，在云計算技術(shù)支撐下，大規(guī)模圖數(shù)據(jù)的處理靈活性得到提高，針對不同的大規(guī)模圖數(shù)據(jù)可以采取與之相對應(yīng)的處理方式，數(shù)據(jù)量彈性提高，在普通計算機的使用下即可完成復雜、大量的圖數(shù)據(jù)處理。與此同時，對大規(guī)模圖數(shù)據(jù)進行處理時，還可以根據(jù)實際需求對圖數(shù)據(jù)規(guī)范進行擴大，擴展數(shù)據(jù)存儲能力，使得計算機在處理大規(guī)模圖數(shù)據(jù)過程中的消耗降低。

2.5 提升圖數(shù)據(jù)處理能力

云計算環(huán)境下進行大規(guī)模圖數(shù)據(jù)的處理，可以實現(xiàn)圖數(shù)據(jù)的平行處理，借助圖數(shù)據(jù)分割模式對大規(guī)模圖數(shù)據(jù)進行簡化處理，將較大的圖數(shù)據(jù)根據(jù)一定規(guī)則分割為若干個較小的圖數(shù)據(jù)，一方面可以方便云空間、計算機內(nèi)存對圖數(shù)據(jù)的存儲，一方面降低了圖數(shù)據(jù)處理過程中的計算難度，提升了計算機對圖數(shù)據(jù)的處理能力，提高了處理效率，并且為更大規(guī)模的圖數(shù)據(jù)處理提供了便捷條件。

3 云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用

3.1 大規(guī)模圖數(shù)據(jù)存儲技術(shù)應(yīng)用

云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用獲得良好發(fā)展，其中大規(guī)模圖數(shù)據(jù)存儲技術(shù)應(yīng)用解決了大規(guī)模圖數(shù)據(jù)傳統(tǒng)管理模式下存儲空間不足問題，并且可以獲得更加安全的存儲效果。大規(guī)模數(shù)據(jù)包括單圖數(shù)據(jù)、超圖數(shù)據(jù)2種模型，在對圖數(shù)據(jù)進行處理的過程中，可以通過有向圖方式，或者無向圖方式進行處理應(yīng)用。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)存儲技術(shù)可以將圖數(shù)據(jù)以分布式文件、分布式數(shù)據(jù)庫2種形式對大規(guī)模圖數(shù)據(jù)進行存儲[6]。GFS以及HDFS是分布式文件系統(tǒng)的主要代表形式，可以將鄰接表、矩陣等不同結(jié)構(gòu)的圖數(shù)據(jù)進行直接存儲。Big、Hbase是分布式數(shù)據(jù)庫存儲形式的代表，可以通過數(shù)據(jù)庫模型將大規(guī)模圖數(shù)據(jù)分為文檔存儲和KV存數(shù)模型等。文檔存儲具有較強的靈活性，以及較高的便捷度，在非結(jié)構(gòu)化圖數(shù)據(jù)存儲中比較適用。文本中涉及的大規(guī)模圖數(shù)據(jù)存儲則適用于KV存儲模型，主要特點是模式簡單，可以進行海量存儲。以鄰接表形式圖數(shù)據(jù)的存儲為例，通過KV存儲模型對其存儲時，可以將圖數(shù)據(jù)源頂點設(shè)置為Key，將點的值與出邊信息以Value為設(shè)定，使得圖數(shù)據(jù)的合并處理、遷移處理都更加容易，對原有空間局部性進行提升，并使得圖數(shù)據(jù)讀取和查詢期間的次數(shù)減少，提高圖數(shù)據(jù)整體處理效率。

3.2 大規(guī)模圖數(shù)據(jù)計算技術(shù)應(yīng)用

云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)應(yīng)用中，計算技術(shù)應(yīng)用最為廣泛，可以利用的云計算包括Map Reduce模型、BSP模型2種類別，使得大規(guī)模圖數(shù)據(jù)計算效率與質(zhì)量顯著提升[7]。第一，在對大規(guī)模圖數(shù)據(jù)進行計算時，應(yīng)用Map Reduce模型，可以將計算過程劃分為Map與Reduce兩個獨立任務(wù)實現(xiàn)，對大規(guī)模圖數(shù)據(jù)的計算處理也被劃分為2個階段。其中Map計算階段可以將任務(wù)分配的數(shù)據(jù)進行逐一計算，并將key值輸出。key值得到確認后會在相對應(yīng)的Reduce任務(wù)中進行數(shù)據(jù)映射。Reduce階段則會在任務(wù)階段接收到由Map傳遞的數(shù)據(jù)處理請求，并對圖數(shù)據(jù)進行聚集，從中得到輸出結(jié)果，并在分布式文件系統(tǒng)中存儲。應(yīng)用BSP模型進行大規(guī)模圖數(shù)據(jù)計算時，可以避免死鎖、圖數(shù)據(jù)競爭問題，是一種以消息通信為基礎(chǔ)的數(shù)據(jù)計算、執(zhí)行模式。云計算環(huán)境下大規(guī)模圖數(shù)據(jù)計算的主要技術(shù)應(yīng)用就是Map Reduce模型、BSP模型，適用范圍稍有不同。兩種模式之間存在互補關(guān)系，在迭代處理的執(zhí)行效率上BSP模式的優(yōu)勢更大。

3.3 大規(guī)模圖數(shù)據(jù)分割技術(shù)應(yīng)用

云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理一般需要進行圖數(shù)據(jù)分割，以此實現(xiàn)圖數(shù)據(jù)的分布式存儲并行計算。大規(guī)模圖數(shù)據(jù)的分割及處理都需要借助云計算分布式模式，并且利用圖數(shù)據(jù)之間的連通性，降低子圖之間的耦合性，以此提高圖數(shù)據(jù)處理效率。子圖數(shù)據(jù)的耦合性降低主要通過分割技術(shù)實現(xiàn)，首先需要在大規(guī)模圖數(shù)據(jù)基礎(chǔ)上，對其進行有邏輯、結(jié)構(gòu)完整的大圖分割，并將分割后的圖數(shù)據(jù)在云計算分布式存儲系統(tǒng)中的各個節(jié)點進行分別放置[8]。其次，啟動與所有子圖數(shù)據(jù)對應(yīng)的分布式計算任務(wù)，完成大規(guī)模圖數(shù)據(jù)的分布式計算。在獲得處理結(jié)果并完成輸出以后，大圖數(shù)據(jù)的處理已經(jīng)完成。在對大規(guī)模圖數(shù)據(jù)進行處理的過程中，圖數(shù)據(jù)分割是一個重要環(huán)節(jié)，分割效果理想，是保證大規(guī)模圖數(shù)據(jù)處理成功的前提保障與關(guān)鍵所在。因此在對大規(guī)模圖數(shù)據(jù)進行分割處理時，需要對圖數(shù)據(jù)內(nèi)部的連通性以及子圖之間的規(guī)模均衡情況進行全面考慮。一方面需要減少子圖之間的連通性，使得云計算分布式并行處理的應(yīng)用得到提升；一方面還需要確保子圖規(guī)模均衡，減少因為偏斜而影響圖數(shù)據(jù)計算任務(wù)的同步性，降低處理效率與質(zhì)量。

3.4 大規(guī)模圖數(shù)據(jù)查詢技術(shù)應(yīng)用

云計算環(huán)境下，對大規(guī)模圖數(shù)據(jù)進行查詢的過程中，需要使用到的模式主要包括遍歷模式，其又分為主動遍歷模式與被動遍歷模式。與傳統(tǒng)的大規(guī)模圖數(shù)據(jù)查詢技術(shù)部相比，圖數(shù)據(jù)遍歷查詢技術(shù)的應(yīng)用普遍適用性更強，且可以不對處理函數(shù)進行調(diào)用就實現(xiàn)大規(guī)模圖數(shù)據(jù)的查詢[9]。從本質(zhì)上看，云計算環(huán)境下大規(guī)模圖數(shù)據(jù)的查詢技術(shù)應(yīng)用，無論是主動遍歷模式與被動遍歷模式，其針對的圖數(shù)據(jù)查詢對象都是圖頂點，也就是將圖頂點設(shè)定為圖數(shù)據(jù)處理的核心。分開來看，對大規(guī)模圖數(shù)據(jù)使用主動遍歷模式進行查詢處理的過程中，主要優(yōu)勢是對絕大多數(shù)圖數(shù)據(jù)均適用，適用范圍廣，適用性強。但是主動遍歷圖數(shù)據(jù)查詢模式在實際應(yīng)用時，在一些特定應(yīng)用環(huán)節(jié)中，可能出現(xiàn)資源浪費問題。而對大規(guī)模圖數(shù)據(jù)進行查詢處理時，應(yīng)用被動遍歷模式主要優(yōu)勢在于不需要對處理函數(shù)進行調(diào)用，可以將圖頂點調(diào)用處理過程中不必要的開銷去除，節(jié)省自愿。主動遍歷查詢模式與被動遍歷查詢模式在功能上相輔相成，并且形成了模式互補，可以根據(jù)大規(guī)模圖數(shù)據(jù)查詢的具體需求進行合理選擇，提高查詢效率的同時，盡可能減少圖數(shù)據(jù)查詢過程中的開銷。

3.5 大規(guī)模圖數(shù)據(jù)處理平臺

在云計算環(huán)境下，對大規(guī)模圖數(shù)據(jù)進行處理的過程中可以借助虛擬化技術(shù)為大規(guī)模圖數(shù)據(jù)處理創(chuàng)造一個規(guī)模龐大、消耗低的處理平臺，即將大規(guī)模圖數(shù)據(jù)的存儲、計算、應(yīng)用、網(wǎng)絡(luò)等資源變?yōu)樘摂M化實體，將抽象閑散的數(shù)據(jù)處理資源轉(zhuǎn)變?yōu)橥耆毩⒌膫€體進行應(yīng)用。首先可以對圖數(shù)據(jù)進行參數(shù)化配置，定制相應(yīng)的處理平臺。然后對數(shù)據(jù)處理后的存儲與計算自愿進行配置，將計算流程與資源配置文件寫入，分配計算流程。最后將部署的工具借助網(wǎng)絡(luò)接入計算節(jié)點，進入計算流程，對大規(guī)模圖數(shù)據(jù)進行相應(yīng)的處理。在大規(guī)模圖數(shù)據(jù)處理平臺上，存儲資源與計算資源的分配與執(zhí)行均通過代碼實現(xiàn)，啟動相關(guān)的部署計算節(jié)點后，通過網(wǎng)絡(luò)向不同的計算節(jié)點發(fā)送圖數(shù)據(jù)處理指令，以此實現(xiàn)對圖數(shù)據(jù)處理的工作調(diào)度以及流程進展，為大規(guī)模圖數(shù)據(jù)處理提供了一個可執(zhí)行、簡單、消耗小的處理平臺。

4 結(jié)束語

總而言之，云計算環(huán)境下大規(guī)模圖數(shù)據(jù)處理技術(shù)得到有效優(yōu)化與創(chuàng)新，在圖數(shù)據(jù)存儲與維護、圖數(shù)據(jù)耦合性降低以及圖數(shù)據(jù)處理可靠性方面有明顯優(yōu)勢。同時，云計算背景下大規(guī)模圖數(shù)據(jù)處理技術(shù)的應(yīng)用，在圖數(shù)據(jù)存儲、圖數(shù)據(jù)計算、圖數(shù)據(jù)分割、圖數(shù)據(jù)查詢4個方面的廣泛應(yīng)用，提高了圖數(shù)據(jù)處理效率，并降低了處理開銷，在很大程度上提高了大規(guī)模圖數(shù)據(jù)處理的技術(shù)水平與應(yīng)用效果，推動圖數(shù)據(jù)處理技術(shù)的持續(xù)發(fā)展與進步。