云計算背景下的大數(shù)據(jù)處理技術分析

王莉敏 黃明 徐繼亞

摘要：隨著我國信息化進程的不斷加深，計算機已經(jīng)在人們日常生活和社會生產(chǎn)領域得到普及。隨之而來的是信息數(shù)據(jù)的飛速擴展，以往的信息處理模式已經(jīng)無法滿足時代的需要。在這樣的背景下，云計算技術就應運而生了，并逐漸在信息數(shù)據(jù)處理領域發(fā)揮著重要的作用。本文對云計算和大數(shù)據(jù)處理之間的關系進行分析研究，并簡要介紹云計算背景下大數(shù)據(jù)處理的技術要點，希望為信息處理技術的發(fā)展提供參考。

關鍵詞：信息化時代;云計算;大數(shù)據(jù)處理技術

引言

隨著計算機技術和各行各業(yè)的結合，以及電子設備的普及，信息數(shù)據(jù)成為了核心生產(chǎn)力，也成為了人們日常生活的必需品，它不僅改變著生產(chǎn)方式，更深刻地變革著人們的生活方式。信息數(shù)據(jù)處理的社會需求也促進了技術的不斷發(fā)展。面對海量的數(shù)據(jù)信息，社會急需一種全面的、智能的先進技術來幫助人們進行數(shù)據(jù)分析，使得人們不至于在信息世界里迷失自我，同時也幫助生產(chǎn)部門更加高效地使用信息技術來提高生產(chǎn)力。因此對于云計算背景下大數(shù)據(jù)處理技術的研究意義非常重大。

1云計算與大數(shù)據(jù)之間的關系

云計算是一種網(wǎng)絡技術，是利用網(wǎng)絡云把龐大的信息分析系統(tǒng)分解為眾多的小程序，再構建數(shù)量非常多的服務器對這些小程序進行分別處理計算，并將最終結構反饋給用戶。相比于以往的網(wǎng)格計算、效用計算和自主計算，云計算具有明顯的優(yōu)勢，例如處理信息量龐大、精準度高、成本低、穩(wěn)定性強等等，這些都是其它信息處理技術無法比擬的。因此云計算一經(jīng)誕生，就得到了計算機領域的青睞，并逐漸成為互聯(lián)網(wǎng)行業(yè)的核心技術。此外，有很多現(xiàn)代數(shù)據(jù)存儲技術、虛擬化技術都是從云計算拓展而來，由此可見云計算技術的強大以及在信息處理領域的重要地位。數(shù)據(jù)的運行需要大量的存儲空間，傳統(tǒng)的存儲設備已經(jīng)無法滿足日益增長的信息量，而此時云計算就提供了這樣的空間。如此一來，數(shù)據(jù)處理的速度和效率都得以提升[1]。通過以上內容不難看出，云計算和大數(shù)據(jù)是主體和客體的關系，云計算的內容就是龐大的信息數(shù)據(jù)。大數(shù)據(jù)指的是龐大信息量的總體，而云計算則負責對其進行分析處理，兩者構成了信息處理系統(tǒng)的主題，相輔相成，缺一不可。

2云計算背景下的大數(shù)據(jù)處理技術分析

2.1Hadoop與OpenStack技術

Hadoop是一種分布式系統(tǒng)基礎架構，可以通過集群的作用來完成快速分析和存儲，被廣泛應用于數(shù)據(jù)處理程序中。該框架的核心工具是HDFS與MapReduce，前者為數(shù)據(jù)提供存儲空間，后者則對數(shù)據(jù)進行分析處理。該架構能夠對龐大的數(shù)據(jù)進行分布式處理，并具有以下幾點顯著優(yōu)點：第一，準確度高，Hadoop的存儲和分析功能具有高于其它技術的精準度。第二，效率高，Hadoop在轉移信息的過程中能夠保障不同節(jié)點的動態(tài)平衡，分析數(shù)據(jù)的效率要高很多。第三，成本低，相比于市面上的其它數(shù)據(jù)處理技術，Hadoop是開源的，因此成本也會大大降低[2]。

OpenStack是由眾多軟件開源項目組合而成的數(shù)據(jù)處理平臺，由美國國家航空航天局與Rackspace共同開發(fā)。該技術可以為云計算提供一個優(yōu)良的平臺，具有操作便捷、內容豐富、標準一致等特點。因此，將Hadoop架構和OpenStack科學合理地整合在一起，就可以實現(xiàn)大數(shù)據(jù)的高效、精準分析和處理。

2.2大數(shù)據(jù)采集技術

數(shù)據(jù)采集，又稱為數(shù)據(jù)獲取，是通過傳感器獲取電量信號并傳輸給上位機的過程。隨著大數(shù)據(jù)的出現(xiàn)，傳統(tǒng)的數(shù)據(jù)獲取已經(jīng)無法滿足信息處理的需要了，這時候就要使用到更先進的手段，目前有集中式采集與分布式采集兩種主要類型。前者主要應用于全局概念，從全局角度來獲取信息;后者則針對區(qū)域采集，將大數(shù)據(jù)劃分為眾多的小分區(qū)再進行數(shù)據(jù)獲取。大數(shù)據(jù)采集有一個重要的優(yōu)點，就是對使用者的要求大大降低，即使是不具備專業(yè)技能的使用者也可以輕松操作[3]。除此之外，云計算具有虛擬化的特征，因此費用會大大降低，處理速度更加迅捷，這使得人們對于信息獲取的消極反應得以緩解，人們可以更好地融入大數(shù)據(jù)時代。

2.3大數(shù)據(jù)存儲技術

傳統(tǒng)的數(shù)據(jù)存儲方式都是用單節(jié)點為媒介，存儲容量非常小，無法滿足新興的大數(shù)據(jù)，雖然擁有優(yōu)秀的導引和查閱功能，但由于容量和速度的制約，已經(jīng)逐漸被時代所淘汰。既有數(shù)據(jù)存儲技術以單結點倉庫為載體，容量空間較小，根本無法滿足信息時代的海量數(shù)據(jù)存儲承載需求，盡管其具備良好的索引與視圖能力，但受限于時間與空間限制，依舊無法滿足現(xiàn)代化社會需要。而云計算則可以彌補這些缺陷，通過將信息屬性進行分門別類，實現(xiàn)高效的存儲和分析。這也給予使用者極大的便利，通過屬性對信息進行查詢，提高了數(shù)據(jù)的利用效率。

2.4大數(shù)據(jù)聯(lián)機分析技術

隨著信息時代的到來，自動化、智能化逐漸成為各行各業(yè)發(fā)展的大勢所趨。而這一目標的實現(xiàn)就有賴于大數(shù)據(jù)聯(lián)機分析技術的應用。該技術是云計算技術的核心環(huán)節(jié)，有著舉足輕重的重要地位。聯(lián)機分析處理技術可以準確處理龐大的信息，還可以在必要的時候進行決策，給予使用者以極大的便利。該技術注重全面的整體性計算，通過多維度的分析程序，得到大數(shù)據(jù)處理結果，不僅可以提高數(shù)據(jù)分析的精準度，還拓展了處理對象，提高了數(shù)據(jù)分析系統(tǒng)的兼容性[4]。這樣的優(yōu)勢使得聯(lián)機分析處理技術，廣泛地應用生產(chǎn)和生活領域，在為人們日常生活帶來便利的同時，也極大地改善著產(chǎn)品的性能。

2.5大數(shù)據(jù)挖掘技術

數(shù)據(jù)挖掘技術是一項數(shù)據(jù)處理手段，致力于從大量不完整的點狀分布信息中，提取并還原出使用者無法察覺的關鍵數(shù)據(jù)。它通常分為八個主要環(huán)節(jié)：信息獲取、信息整合、信息規(guī)范、信息清除、信息轉換、信息挖掘環(huán)節(jié)、結果評測、信息反饋。該過程是不斷循環(huán)的體系，每一個環(huán)節(jié)沒有達到目標都會返回到前面的程序中繼續(xù)執(zhí)行命令。在大數(shù)據(jù)時代，數(shù)據(jù)挖掘技術的應用可以幫助人們從錯綜復雜、毫無頭緒的海量信息中提取出關鍵內容，因此深受人們的青睞。該技術分為四個層面的工作環(huán)節(jié)：第一，確定分析對象，即海量的復雜信息;第二，明確挖掘目標，第三，選擇科學合理的挖掘方式，第四，應用挖掘方法。其中，大數(shù)據(jù)挖掘技術主要有以下幾種方法：神經(jīng)網(wǎng)絡模型、基于自然選擇原理的遺傳算法、決策樹算法、數(shù)學工具粗集方法、覆蓋正例排斥反例方法、統(tǒng)計分析方法、模糊集方法、挖掘對象，這些方法的應用使得海量數(shù)據(jù)中的有效信息得到充分挖掘，進一步保障了大數(shù)據(jù)處理分析技術的應用效果[5]。

2.6大數(shù)據(jù)可視化分析

具備大數(shù)據(jù)挖掘技術以后，就可以從全方位、多層次去準確處理海量信息，收集有效信息。而可視化技術則是將有效信息反饋給使用者的關鍵環(huán)節(jié)?？梢暬?，顧名思義，就是將抽象復雜的數(shù)據(jù)轉化為直觀地、形象的的內容并呈現(xiàn)給查閱者，使其更加方便快捷地掌握信息特征。在這個過程中，還會一定程度地挖掘出隱藏數(shù)據(jù)。

結語

綜上所述，云計算和大數(shù)據(jù)處理技術是相輔相成、不可或缺的關系。在云計算的背景下，大數(shù)據(jù)處理更加注重高效性和準確性，為信息化進程的推進提供了巨大的動力，也為人們適應信息時代帶來了極大的幫助。本文對云計算背景下，大數(shù)據(jù)處理相關技術做了簡要說明，希望可以為大眾提供科普，也為工作者提供參考。本文的研究尚不夠深入，若假以時日，筆者一定會繼續(xù)努力，爭取為信息業(yè)的發(fā)展，更為國家的建設貢獻一份力量。

參考文獻

[1]佟浩.淺談云計算技術在計算機數(shù)據(jù)處理中的應用[J].科學與信息化，2020，（13）：39.

[2]田密.云計算背景下的大數(shù)據(jù)處理技術研究[J].電子元器件與信息技術，2017，1（1）：24-26.

[3]劉洋.基于計算機的大數(shù)據(jù)和云計算技術分析[J].無線互聯(lián)科技，2020，17（7）：75-77.

[4]張佳，周雪.基于云計算的大數(shù)據(jù)處理技術探討[J].電腦編程技巧與維護，2019，（12）：104-105，120.

[5]張海波.云計算下的大數(shù)據(jù)處理技術研究[J].企業(yè)科技與發(fā)展，2018（12）：50-51.