云計算下的大數(shù)據(jù)處理技術(shù)研究

張海波

【摘 要】伴隨社會的不斷發(fā)展，人類生活生產(chǎn)中產(chǎn)生了海量的信息數(shù)據(jù)，特別是在當(dāng)前萬物互聯(lián)時代背景下，計算機及移動終端的廣泛推廣，信息數(shù)據(jù)已然轉(zhuǎn)變成人們生活生產(chǎn)中不可或缺的一部分，影響著人們的日常生活、工作、學(xué)習(xí)，而在這些信息數(shù)據(jù)不斷增長、信息數(shù)據(jù)搜索越來越普遍的環(huán)境下，迫切需要加強數(shù)據(jù)存儲、數(shù)據(jù)處理等方面的研究，提高人們的數(shù)據(jù)提取效率、質(zhì)量，服務(wù)于人們的生活。文章通過闡述大數(shù)據(jù)與云計算相互間的關(guān)系，分析云計算及其關(guān)鍵技術(shù)，對云計算下的大數(shù)據(jù)處理技術(shù)應(yīng)用展開探討，旨在為研究如何促進大數(shù)據(jù)的有序健康發(fā)展提供一些思路。

【關(guān)鍵詞】云計算;大數(shù)據(jù);大數(shù)據(jù)處理技術(shù)

【中圖分類號】TP311.13 【文獻標識碼】A 【文章編號】1674-0688（2018）12-0050-02

0 引言

伴隨科學(xué)技術(shù)的迅猛發(fā)展，進入21世紀信息時代以來，數(shù)據(jù)呈現(xiàn)出海量增長的趨勢，傳統(tǒng)數(shù)據(jù)存儲模式已然難以滿足現(xiàn)代社會大眾生活生產(chǎn)的需求。在該種背景下，大數(shù)據(jù)應(yīng)運而生，由此要求對原本的數(shù)據(jù)處理框架開展革新以滿足大數(shù)據(jù)應(yīng)用的需求。進而，云計算也應(yīng)運而生。云計算技術(shù)可有效優(yōu)化大數(shù)據(jù)存儲、處理等方面的問題。近年來，伴隨云計算的不斷發(fā)展，云計算下的大數(shù)據(jù)處理表現(xiàn)出大容量、便捷處理、多元化、信息準確等特點。如何依托云計算技術(shù)對大數(shù)據(jù)開展高效處理，已然轉(zhuǎn)變成信息技術(shù)發(fā)展亟待解決的一項重要課題。因而，對云計算基礎(chǔ)下的大數(shù)據(jù)處理技術(shù)應(yīng)用開展研究，有著至關(guān)重要的現(xiàn)實與理論價值。

1 大數(shù)據(jù)與云計算相互間的關(guān)系

云計算在當(dāng)前社會發(fā)展中扮演著十分重要的角色。云計算使人們的生活、工作、學(xué)習(xí)發(fā)生極大轉(zhuǎn)變，其已成為當(dāng)前社會不可或缺的一項新型技術(shù)。不論是哪一位終端用戶，均可獲取到由云計算所提供的計算服務(wù)，換言之，云計算可為各行各業(yè)的人們提供計算服務(wù)，并且其還具有效率高、成本低等優(yōu)點，無需用戶掌握專業(yè)技術(shù)便可直接使用，可滿足用戶的多種不同需求。云計算憑借其各式各樣的優(yōu)點，可有效解決大數(shù)據(jù)存儲、處理的需求，進而作為大數(shù)據(jù)發(fā)展的可靠載體。相對的，大數(shù)據(jù)發(fā)展的嚴苛要求也推動了云計算的不斷發(fā)展，大數(shù)據(jù)與云計算相互間具有相互促進、相互作用的關(guān)系。

2 云計算及其關(guān)鍵技術(shù)

2.1 數(shù)據(jù)存儲技術(shù)

為了實現(xiàn)對云計算的有效應(yīng)用，應(yīng)當(dāng)確保信息數(shù)據(jù)讀寫存儲的安全可靠，在分布式存儲技術(shù)的支撐下，可將龐大的信息數(shù)據(jù)進行備份處理，進而為信息數(shù)據(jù)提供安全保障。除此之外，依托數(shù)據(jù)加密技術(shù)、冗余存儲技術(shù)等，可有效防止信息數(shù)據(jù)遭受泄漏或篡改。于此環(huán)節(jié)，諸多存儲系統(tǒng)在云計算系統(tǒng)中得到廣泛推廣，諸如Google研發(fā)的非開源GFS、Hadoop團隊研發(fā)的GFS等。

2.2 數(shù)據(jù)管理技術(shù)

分布式處理與分析是云計算中的一項關(guān)鍵技術(shù)，其可為使用者提供高質(zhì)量的服務(wù)，但是需要開展好對數(shù)據(jù)管理技術(shù)的管理工作。于此環(huán)節(jié)，目前得到廣泛推廣的數(shù)據(jù)管理技術(shù)，包括有開源數(shù)據(jù)管理模塊HBase、BigTable數(shù)據(jù)管理技術(shù)等。云服務(wù)平臺管理如圖1所示。

2.3 虛擬化技術(shù)

虛擬化技術(shù)也是云計算中的一項關(guān)鍵技術(shù)，其主要作用于借助相關(guān)方式方法將真實環(huán)境中的計算機系統(tǒng)、組件等轉(zhuǎn)移至虛擬環(huán)境中，然后結(jié)合計算機操作系統(tǒng)、軟件、硬件等構(gòu)建虛擬層結(jié)構(gòu)。通常情況下，可將虛擬層劃分成上、中、下3層，上、下層結(jié)構(gòu)通過中間層得以連接，可獲取多項類似功能，進而實現(xiàn)在虛擬化環(huán)境中的有序運行。

3 云計算下的大數(shù)據(jù)處理技術(shù)應(yīng)用

3.1 云計算下的大數(shù)據(jù)采集技術(shù)應(yīng)用

通常情況下，云計算下的大數(shù)據(jù)采集技術(shù)應(yīng)用，可將其劃分成兩種，即分布式數(shù)據(jù)采集和集中式數(shù)據(jù)采集。其中，分布式數(shù)據(jù)采集相較于集中式數(shù)據(jù)采集表現(xiàn)出更好的靈活性，不過集中式數(shù)據(jù)采集則具備更好的全局性。而在大數(shù)據(jù)采集技術(shù)應(yīng)用實踐中，應(yīng)當(dāng)結(jié)合對應(yīng)數(shù)據(jù)的特征來挑選適用的數(shù)據(jù)采集技術(shù)，即倘若大數(shù)據(jù)表現(xiàn)出結(jié)構(gòu)式、半結(jié)構(gòu)等特征，則可依托云計算技術(shù)對數(shù)據(jù)開展分布式采集，從而確保池內(nèi)的數(shù)據(jù)趨于同構(gòu)化，幫助用戶進行數(shù)據(jù)分類;而倘若數(shù)據(jù)存在于不同組織對象相互間，且組織相互間還是彼此獨立的，則可應(yīng)用集中式、分布式有效相融的數(shù)據(jù)采集技術(shù)。

3.2 云計算下的大數(shù)據(jù)存儲技術(shù)應(yīng)用

對于當(dāng)前時代背景下所需處理的海量數(shù)據(jù)，傳統(tǒng)計算方式已然難以滿足當(dāng)前時代的計算存儲要求，而在云計算下，可實現(xiàn)對不同數(shù)據(jù)屬性的有效分類，對不同類型、不同資源屬性的數(shù)據(jù)均可予以單獨存儲。這是因為云計算技術(shù)的數(shù)據(jù)存儲可對數(shù)據(jù)屬性進行查詢分析，然后結(jié)合數(shù)據(jù)的屬性數(shù)列便可實現(xiàn)對不同屬性數(shù)列的存儲，提高云計算系統(tǒng)的數(shù)據(jù)處理工程量及數(shù)據(jù)處理效率，將采集的數(shù)據(jù)依據(jù)對應(yīng)數(shù)據(jù)屬性進行列式存儲，確保數(shù)據(jù)庫中處理系統(tǒng)鄰近數(shù)據(jù)相互間保持良好的同質(zhì)性，進一步提高對數(shù)據(jù)的壓縮效率，節(jié)省更多的存儲空間，達到存儲更多數(shù)據(jù)的目的。

3.3 云計算下的大數(shù)據(jù)聯(lián)機技術(shù)應(yīng)用

云計算下的大數(shù)據(jù)聯(lián)機技術(shù)，是指對數(shù)據(jù)開展不同維度的整合處理，這與大數(shù)據(jù)庫的組織形式存在一致性，即為依托互聯(lián)網(wǎng)聯(lián)機途徑，對云計算系統(tǒng)數(shù)據(jù)庫與大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)及整合技術(shù)進行有機融合，使計算機處理系統(tǒng)的運算功能得到進一步優(yōu)化，促使在對大數(shù)據(jù)進行分類及處理環(huán)節(jié)，便可完成對數(shù)據(jù)的實時運算，提高數(shù)據(jù)庫整理系統(tǒng)的運算效率。云計算下的大數(shù)據(jù)聯(lián)機技術(shù)應(yīng)用，尤為強調(diào)對數(shù)據(jù)的決策分析，并且為用戶提供更直觀的數(shù)據(jù)處理結(jié)果，依托分布式并行的計算手段，對大數(shù)據(jù)中綜合性數(shù)據(jù)開展處理，進一步建立起多維化的分析模型，在這一模型的支持下，可使數(shù)據(jù)處理的最終結(jié)果變得更為直觀，為用戶制定決策提供有力依據(jù)。

3.4 云計算下的大數(shù)據(jù)挖掘技術(shù)應(yīng)用

聯(lián)機分析對數(shù)據(jù)的處理只不過是表面的，其獲得的數(shù)據(jù)信息價值較為有限，無法獲取數(shù)據(jù)更深層次的含義及內(nèi)在關(guān)聯(lián)。云計算下的大數(shù)據(jù)挖掘技術(shù)，則是對聯(lián)機分析技術(shù)的有效延伸，進一步獲取更為深層次的數(shù)據(jù)信息，找到用戶的信息偏好，使用戶可找到自身需求的信息，提高信息采集的深度、廣度，并將用戶需求的數(shù)據(jù)信息借助相關(guān)概念、規(guī)律或模型的方式予以呈現(xiàn)。云計算下的大數(shù)據(jù)挖掘技術(shù)，通常應(yīng)用的是分布式并行挖掘技術(shù)。相較于其他串行方式，云計算下并行數(shù)據(jù)挖掘可借助機器集群拆分分布式系統(tǒng)中的并行任務(wù)，并將拆分完畢的每一項任務(wù)逐一轉(zhuǎn)至對應(yīng)的機器開展處理，進一步實現(xiàn)大規(guī)模數(shù)據(jù)處理，極大降低時間成本。

3.5 云計算下的大數(shù)據(jù)可視化技術(shù)應(yīng)用

近年來，云計算下的大數(shù)據(jù)挖掘技術(shù)得到了越來越廣泛的推廣，在此基礎(chǔ)上，大數(shù)據(jù)可視化技術(shù)也逐漸進入人們視野，并推動了數(shù)據(jù)挖掘技術(shù)的有效創(chuàng)新。云計算下的大數(shù)據(jù)挖掘技術(shù)，是指通過圖形、圖像方式，將數(shù)據(jù)呈現(xiàn)在用戶面前，對數(shù)據(jù)開展可視化處理，使用戶更為直觀地了解到數(shù)據(jù)與數(shù)據(jù)相互間的作用關(guān)系，依托圖形、圖像呈現(xiàn)的方式，使用戶提高對數(shù)據(jù)信息的有效認識，使大數(shù)據(jù)挖掘技術(shù)變得進一步形象化，使用戶更為便捷地獲取自身需求的信息，加快對信息數(shù)據(jù)的檢索速度，獲取數(shù)據(jù)更為形象、更為深層次的信息，如此一來，可便于用戶構(gòu)建立體化的多維模型，使大數(shù)據(jù)挖掘技術(shù)在云計算下發(fā)揮出更大的效能。

4 結(jié)語

總而言之，21世紀信息時代，云計算的推廣促進大數(shù)據(jù)實現(xiàn)了長足的發(fā)展，首先傳統(tǒng)信息數(shù)據(jù)存儲方式實現(xiàn)了有效創(chuàng)新，使大數(shù)據(jù)復(fù)雜繁多、存儲空間大等特征優(yōu)勢得到了滿足，其次為大數(shù)據(jù)存儲、處理創(chuàng)造了良好契機。伴隨云計算的不斷發(fā)展，大數(shù)據(jù)管理將更趨向于數(shù)據(jù)分析、挖掘及管理模式的創(chuàng)新。現(xiàn)階段，云計算下的大數(shù)據(jù)處理技術(shù)日趨成熟，依托云計算進一步提升大數(shù)據(jù)存儲及處理方式，實現(xiàn)更可靠的數(shù)據(jù)挖掘及可視化技術(shù)，是今后有待解決的重要課題。鑒于此，大數(shù)據(jù)行業(yè)相關(guān)人員務(wù)必要不斷革新思想觀念，提高對大數(shù)據(jù)與云計算相互間關(guān)系的有效認識，加強對云計算及其關(guān)鍵技術(shù)的深入分析，促進大數(shù)據(jù)的有序健康發(fā)展。

參 考 文 獻

[1]韓偉光，奚衛(wèi)紅.云計算模式下大數(shù)據(jù)處理技術(shù)研究[J].科學(xué)中國人，2017（3）.

[2]李曉飛.基于云計算技術(shù)的大數(shù)據(jù)處理系統(tǒng)的研究[J].長春工程學(xué)院學(xué)報（自然科學(xué)版），2014，15（1）：116-118，125.

[3]蔡景偉，鳳晟.云計算下的大數(shù)據(jù)處理技術(shù)應(yīng)用研究[J].數(shù)字化用戶，2017（41）：267.

[4]潘樂.基于云計算的大數(shù)據(jù)處理技術(shù)研究[J].物聯(lián)網(wǎng)技術(shù)，2017（6）：67-68，70.