基于云計算的大數(shù)據(jù)處理技術(shù)研究

潘樂

摘 要：在信息技術(shù)不斷發(fā)展的今天，各類信息泛濫，人們每天的生活、工作都會接觸到海量數(shù)據(jù)，已然進(jìn)入了大數(shù)據(jù)時代。對于海量數(shù)據(jù)信息，如果采用傳統(tǒng)的數(shù)據(jù)處理辦法，很難保證數(shù)據(jù)信息傳輸?shù)陌踩?、快速性。云計算的出現(xiàn)為大數(shù)據(jù)存儲、傳輸提供了便利，也為數(shù)據(jù)處理提供了重要保障。文中首先對大數(shù)據(jù)與云計算之間的關(guān)系進(jìn)行分析，然后探討了云計算及其關(guān)鍵技術(shù)，最后提出云計算背景下的大數(shù)據(jù)處理技術(shù)，希望能夠為相關(guān)人員提供參考。

關(guān)鍵詞：云計算；大數(shù)據(jù)；處理技術(shù)；海量數(shù)據(jù)

中圖分類號：TP274 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2017）06-00-02

0 引 言

在計算機(jī)網(wǎng)絡(luò)技術(shù)、通信技術(shù)不斷發(fā)展的今天，人們獲取信息資源的渠道更多，信息傳播的形式也更加多元化、便捷化，將現(xiàn)階段稱之為信息大爆炸時代也不為過。此外，在信息傳播過程中，對數(shù)據(jù)處理體系提出了更高的要求。據(jù)預(yù)測，到2020年，世界數(shù)據(jù)量會超過35億GB，而針對大數(shù)據(jù)隨機(jī)性、龐大性、離散性、爆發(fā)性的特點(diǎn)，還需要選擇更加強(qiáng)大的數(shù)據(jù)處理技術(shù)。云計算的出現(xiàn)為數(shù)據(jù)處理革新提供了基礎(chǔ)，基于此，加強(qiáng)對云計算背景下大數(shù)據(jù)處理技術(shù)的研究具有十分現(xiàn)實的意義。

1 大數(shù)據(jù)和云計算之間的關(guān)系

云計算技術(shù)指采用集中式遠(yuǎn)程計算資源池，按照需求進(jìn)行分配，為終端用戶提供計算服務(wù)技術(shù)，且這種服務(wù)成本低、效果好。云計算屬于數(shù)據(jù)處理方式，具有以下技術(shù)特點(diǎn)：

（1）透明性。從物理角度分析，資源池對所有終端用戶都是透明的；

（2）云計算能夠為任何行業(yè)提供無限能力的計算機(jī)服務(wù)；

（3）快捷性。云計算能夠根據(jù)終端用戶的要求為其訂制服務(wù)，同時服務(wù)技術(shù)具有很強(qiáng)的伸縮能力；

（4）云計算數(shù)據(jù)在獲取方面較為簡單，能夠促進(jìn)資源共享，且成本較低。

現(xiàn)階段，云計算是最為強(qiáng)大的數(shù)據(jù)處理、運(yùn)用、存儲平臺，是大數(shù)據(jù)處理的首選技術(shù)。云計算能夠為大數(shù)據(jù)提供的存儲空間、處理能力是無限的，可滿足超級容量數(shù)據(jù)的存儲及傳輸，而這也是傳統(tǒng)數(shù)據(jù)處理技術(shù)無法實現(xiàn)的。此外，云計算相對于其他技術(shù)更側(cè)重計算與處理，即云計算是大數(shù)據(jù)處理的工具，而大數(shù)據(jù)是處理的對象。

2 云計算及其關(guān)鍵技術(shù)概述

在并行技術(shù)、分布式計算及網(wǎng)格計算等基礎(chǔ)上，云計算技術(shù)的形成與發(fā)展可通過網(wǎng)絡(luò)連接技術(shù)，集中數(shù)據(jù)計算、存儲等功能，構(gòu)建能夠為用戶提供無限服務(wù)的資源池。

2.1 數(shù)據(jù)存儲技術(shù)

信息存儲的安全性、數(shù)據(jù)讀寫的高效性是保證云計算技術(shù)實施的基礎(chǔ)，利用分布式存儲技術(shù)將海量數(shù)據(jù)存儲于服務(wù)器集群中，還能夠?qū)崿F(xiàn)對數(shù)據(jù)的備份處理，提高數(shù)據(jù)的安全性。此外，通過數(shù)據(jù)加密技術(shù)、冗余存儲模式等，可有效避免數(shù)據(jù)信息泄漏或遭到威脅。其中，Hadoop團(tuán)隊開發(fā)的GFS與Google非開源的GFS都是在云計算系統(tǒng)中被廣泛運(yùn)用的存儲系統(tǒng)。

2.2 數(shù)據(jù)管理技術(shù)

云計算能夠通過分布式處理及分析為用戶提供高效服務(wù)，但對數(shù)據(jù)管理技術(shù)的管理能力有較高的要求。其中，開源數(shù)據(jù)管理模塊HBase以及BigTable數(shù)據(jù)管理技術(shù)是現(xiàn)階段主要的數(shù)據(jù)管理技術(shù)。云服務(wù)平臺管理如圖1所示。

2.3 虛擬化技術(shù)

虛擬化技術(shù)是云計算系統(tǒng)中存儲、計算的基礎(chǔ)，主要通過相關(guān)方式將真實環(huán)境中的計算機(jī)系統(tǒng)、組件等轉(zhuǎn)移到虛擬環(huán)境中，然后結(jié)合操作系統(tǒng)、硬件資源、軟件應(yīng)用程序等組成虛擬化層結(jié)構(gòu)。一般虛擬層可以分為上中下三層，通過中間層連接上下兩層結(jié)構(gòu)，為其提供類似的功能，保證其運(yùn)行在虛擬化環(huán)境中。虛擬化技術(shù)的運(yùn)用能夠?qū)崿F(xiàn)對相關(guān)系統(tǒng)功能的整合，保證資源利用的最大化。

3 云計算背景下大數(shù)據(jù)處理技術(shù)

傳統(tǒng)數(shù)據(jù)管理以收集、存儲為主，而云計算背景下，大數(shù)據(jù)管理方式得到了改變與創(chuàng)新，側(cè)重點(diǎn)在于數(shù)據(jù)的分析、挖掘，為相關(guān)人員決策提供依據(jù)。

3.1 大數(shù)據(jù)采集技術(shù)

根據(jù)采集形式的不同，可將大數(shù)據(jù)采集分為兩類，即集中式采集與分布式采集。這兩種采集方式各具優(yōu)劣，我們以優(yōu)點(diǎn)為例進(jìn)行說明。集中式采集能夠掌控全局?jǐn)?shù)據(jù)，而在靈活性方面，采用分布式采集模式的優(yōu)勢更為明顯。在大數(shù)據(jù)采集過程中，既包括對企業(yè)內(nèi)部數(shù)據(jù)的采集，也包括采集企業(yè)之間的信息數(shù)據(jù)，通過分布式并行計算模式，將幾種采集模式混合使用，提升數(shù)據(jù)采集的整體效率。即在大數(shù)據(jù)采集過程中，對于企業(yè)內(nèi)部采用集中采集模式，而企業(yè)之間采用分布式采集模式。在每一個企業(yè)內(nèi)部都設(shè)置多個中心服務(wù)器，將企業(yè)共享的信息數(shù)據(jù)進(jìn)行存儲。對于中心服務(wù)器間的組織則采用分布式數(shù)據(jù)采集模式。

根據(jù)結(jié)構(gòu)類型的不同，可將大數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)大數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。在數(shù)據(jù)采集過程中，應(yīng)該先對數(shù)據(jù)類型進(jìn)行分析，根據(jù)不同類型，通過云計算的擴(kuò)展、容錯等優(yōu)勢，實現(xiàn)對數(shù)據(jù)的同構(gòu)化，實現(xiàn)各結(jié)構(gòu)數(shù)據(jù)對接。

3.2 大數(shù)據(jù)存儲技術(shù)

大數(shù)據(jù)的一大特點(diǎn)是“大”，如果采用傳統(tǒng)數(shù)據(jù)存儲技術(shù)，將難以滿足大數(shù)據(jù)的儲存需求。原因如下：

（1）在大數(shù)據(jù)時代背景下，數(shù)據(jù)量迅速增長，傳統(tǒng)以單結(jié)點(diǎn)為主的數(shù)據(jù)倉庫在海量數(shù)據(jù)面前顯得力不從心。

（2）按行存儲是傳統(tǒng)數(shù)據(jù)倉庫的主要形式，但在視圖、索引等維護(hù)上需要花費(fèi)過大的成本。

在云計算背景下，大數(shù)據(jù)存儲以列式存儲為主。這種方式主要根據(jù)數(shù)據(jù)的屬性存儲，與按行存儲相反，將每一個屬性按照一列進(jìn)行存放。在數(shù)據(jù)投影過程中，只能對涉及到的屬性列進(jìn)行訪問，大大提升系統(tǒng)輸入/輸出的效率。由于相鄰列數(shù)據(jù)類型相似度高，因此采用這種存儲模式能夠提升數(shù)據(jù)的壓縮率，壓縮后更能減少數(shù)據(jù)傳輸?shù)某杀?。大?shù)據(jù)存儲發(fā)展如圖2所示。

3.3 大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)

聯(lián)機(jī)分析處理技術(shù)是大數(shù)據(jù)倉庫系統(tǒng)中的關(guān)鍵內(nèi)容，復(fù)雜的數(shù)據(jù)分析過程，其重點(diǎn)在決策性分析，為用戶提供實際結(jié)果。采用聯(lián)機(jī)分析手段，從綜合數(shù)據(jù)分析出發(fā)，建立多維模型，得到全面數(shù)據(jù)分析結(jié)果，為決策者提供參考依據(jù)。聯(lián)機(jī)分析處理的一個特點(diǎn)就是數(shù)據(jù)分析，將數(shù)據(jù)倉庫與聯(lián)機(jī)分析技術(shù)相結(jié)合，不僅能夠計算海量數(shù)據(jù)，還能夠分析數(shù)據(jù)。

3.4 大數(shù)據(jù)挖掘技術(shù)

采用聯(lián)機(jī)分析技術(shù)，往往只能夠獲取表層的知識信息，但對于數(shù)據(jù)信息潛在的聯(lián)系卻知之甚少。但在云計算背景下，利用數(shù)據(jù)挖掘技術(shù)能夠獲悉數(shù)據(jù)本身，并將數(shù)據(jù)之間潛在的聯(lián)系想明白，利用概念、規(guī)律或模式等將其表示出來。目前，大數(shù)據(jù)挖掘技術(shù)主要為并行模式，在大規(guī)模數(shù)據(jù)處理中具有較大優(yōu)勢。以往串行數(shù)據(jù)挖掘處理的數(shù)據(jù)規(guī)模較小，花費(fèi)時間較長，而采用分布式并行數(shù)據(jù)挖掘技術(shù)，利用分布式系統(tǒng)，采用集群、拆分等多種方式，提升數(shù)據(jù)計算的效率。此外，云計算背景下的數(shù)據(jù)挖掘技術(shù)能夠發(fā)揮并行挖掘優(yōu)勢，與其他串行方式相比，并行挖掘技術(shù)能夠通過機(jī)器集群拆分分布式系統(tǒng)中的并行任務(wù)，將任務(wù)進(jìn)行拆分后再處理，由更多的機(jī)器進(jìn)行分任務(wù)的處理，提升數(shù)據(jù)處理效率，可在一定程度上節(jié)約數(shù)據(jù)處理的成本。

3.5 大數(shù)據(jù)可視化技術(shù)

通過數(shù)據(jù)挖掘技術(shù)可實現(xiàn)對大數(shù)據(jù)多維度、深層次的分析，便于獲取更多有效信息。在云計算平臺基礎(chǔ)上就能夠?qū)崿F(xiàn)可視化技術(shù)，將上述信息具體化，使其更形象的展示出來，將數(shù)據(jù)信息之間的關(guān)系更直觀的展示給用戶，便于用戶理解。

可視化技術(shù)是指在數(shù)據(jù)存儲空間中，用圖形圖像的方式將數(shù)據(jù)庫以及數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)表示出來，同時，在展示過程中利用某些手段，將圖像中蘊(yùn)藏的相關(guān)隱藏信息挖掘出來。傳統(tǒng)的數(shù)據(jù)處理過程僅僅基于數(shù)據(jù)本身，對數(shù)據(jù)中蘊(yùn)含的信息進(jìn)行觀察與分析。但借助云計算可視化技術(shù)，不僅能夠?qū)崿F(xiàn)對非空間數(shù)據(jù)多維度圖像的顯示，同時還能在圖形顯示過程中實現(xiàn)直接的檢索過程，幫助用戶更好地挖掘數(shù)據(jù)信息、理解數(shù)據(jù)信息，提升信息檢索效率。

4 結(jié) 語

通過上述分析可知，在信息技術(shù)不斷發(fā)展的今天，人們進(jìn)入了大數(shù)據(jù)時代，對于海量大數(shù)據(jù)的處理與分析，傳統(tǒng)的數(shù)據(jù)處理技術(shù)已明顯出現(xiàn)頹勢。而云計算的出現(xiàn)正好解決了這一問題，為大數(shù)據(jù)處理提供了可能，通過大數(shù)據(jù)采集、存儲、分析與挖掘，實現(xiàn)對大數(shù)據(jù)的合理運(yùn)用，為客戶提供更高質(zhì)量的數(shù)據(jù)服務(wù)。

參考文獻(xiàn)

[1]任磊.基于電力行業(yè)云計算的大數(shù)據(jù)架構(gòu)研究[J].科技與企業(yè)，2015（2）：94.

[2]龔旭.基于云計算的大數(shù)據(jù)處理技術(shù)探討[J].電子技術(shù)與軟件工程，2015（10）：198.

[3]張?zhí)m.基于云計算的電子商務(wù)數(shù)據(jù)緩存處理的研究[J].電腦知識與技術(shù)，2016，21（1）：87-88.

[4]任梁.試論云計算技術(shù)下的大數(shù)據(jù)處理系統(tǒng)[J].電子技術(shù)與軟件工程，2014 （16）：27.

[5]郭群.基于云計算下大數(shù)據(jù)在醫(yī)療領(lǐng)域的應(yīng)用研究[J].福建電腦，2016，32（6）：131-132.

[6]孫劉忻.基于云計算的大數(shù)據(jù)融合系統(tǒng)關(guān)鍵技術(shù)研究[J].數(shù)字通信世界，2016 （1）：62-63.

[7]劉小銘，李宗輝.云計算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究[J].湖南城市學(xué)院學(xué)報（自然科學(xué)版），2016（2）：135-136.

[8]丁伶敏，呂建友.探討云計算中大數(shù)據(jù)的MapReduce處理方法[J].物聯(lián)網(wǎng)技術(shù)，2014，4（9）：86-88.