基于云計算的大數(shù)據(jù)分析優(yōu)化技術(shù)研究

摘 ?要：在有效解決大數(shù)據(jù)應(yīng)用以及運行問題的措施中，基于云計算的大數(shù)據(jù)分析體系是主要策略。云計算應(yīng)用技術(shù)處于大數(shù)據(jù)分析的重要環(huán)節(jié)中，在對大數(shù)據(jù)進行分析的流程中不可或缺。云計算技術(shù)能夠使數(shù)據(jù)分析更加簡單、快捷，而且能夠使大數(shù)據(jù)分析的針對性和有效性大大提高，形成整個數(shù)據(jù)分析中各個環(huán)節(jié)的推動力;在大數(shù)據(jù)處理方面，云計算技術(shù)能夠在一定程度上縮短數(shù)據(jù)處理時間，提高數(shù)據(jù)處理效率，增強系統(tǒng)響應(yīng)的敏銳性。本文論述了大數(shù)據(jù)的基本處理流程，研究了云計算技術(shù)在大數(shù)據(jù)分析中的主要作用，從并行處理技術(shù)、存儲與訪問技術(shù)兩個方面探究大數(shù)據(jù)分析流程優(yōu)化技術(shù)。

關(guān)鍵詞：云計算;大數(shù)據(jù);數(shù)據(jù)分析;流程優(yōu)化

中圖分類號：TP311.13 ? ? ?文獻標識碼：A 文章編號：2096-4706（2019）14-0069-03

Research on Big Data Analysis and Optimization Technology Based on Cloud Computing

ZHU Peipei

（Henan Information Consulting Design and Research Co.，Ltd.，Zhengzhou ?450008，China）

Abstract：In the effective solution to big data applications and operational problems，cloud computing-based big data analysis system is the main strategy. In the process of analyzing big data，cloud computing application technology is indispensable and is in an important part of big data analysis. Cloud computing technology can make data analysis simpler and faster，and can greatly improve the pertinence and effectiveness of big data analysis，forming the driving force of all links in the entire data analysis;in the field of big data processing，cloud computing technology can be certain to reduce the data processing time，improve the data processing efficiency，and enhance the sensitivity of the system response. This paper discusses the basic processing of big data，and studies the main role of cloud computing technology in big data analysis. It explores big data analysis process optimization technology from two aspects：parallel processing technology，storage and access technology.

Keywords：cloud computing;big data;data analysis;process optimization

0 ?引 ?言

在當(dāng)今科技化迅速發(fā)展并全面普及的時代，云計算技術(shù)的研究與應(yīng)用、大數(shù)據(jù)分析技術(shù)都是業(yè)界關(guān)注的熱點問題;云計算從核心技術(shù)與應(yīng)用場景等方面，都處在快速發(fā)展階段，所涉及的數(shù)據(jù)資源也備受關(guān)注。信息化、網(wǎng)絡(luò)化在各個領(lǐng)域中的應(yīng)用，產(chǎn)生了大量數(shù)據(jù)信息，為了從大量數(shù)據(jù)中提取所需要的各類信息，對大數(shù)據(jù)的分析必不可少。為了進一步優(yōu)化升級大數(shù)據(jù)分析流程，需要逐漸將云計算技術(shù)引入到大數(shù)據(jù)分析流程中，從而縮短海量數(shù)據(jù)處理花費的時間，提高數(shù)據(jù)分析的質(zhì)量與效率，提升數(shù)據(jù)分析與處理系統(tǒng)的響應(yīng)能力。在充分應(yīng)用云計算技術(shù)的基礎(chǔ)上，加強探究對大數(shù)據(jù)分析流程進行優(yōu)化的路徑，對信息技術(shù)的發(fā)展意義極其重大。

由于數(shù)據(jù)規(guī)模巨大，傳統(tǒng)數(shù)據(jù)的存儲與分析系統(tǒng)的容量已經(jīng)難以滿足大數(shù)據(jù)分析的要求，需要探究新的解決方案。以企業(yè)大數(shù)據(jù)分析為例，企業(yè)相關(guān)人員希望能夠通過分析大數(shù)據(jù)，使?jié)撛诘纳虡I(yè)價值被發(fā)掘出來，從而更好地提高自身產(chǎn)品的品質(zhì)與服務(wù)的質(zhì)量。在大數(shù)據(jù)分析的過程中，需要綜合利用無線數(shù)據(jù)技術(shù)、高性能計算技術(shù)、高級數(shù)據(jù)庫技術(shù)以及移動互聯(lián)技術(shù)。數(shù)據(jù)存儲技術(shù)的不斷發(fā)展，大大降低了數(shù)據(jù)存儲的費用開銷。借助云計算技術(shù)，在大數(shù)據(jù)分析過程中能夠更加容易地獲得強大的計算能力;在大數(shù)據(jù)管理方面，相關(guān)技術(shù)靈活多樣，各類技術(shù)都為大數(shù)據(jù)分析提供了良好的技術(shù)支持，如NewSQL、NoSQL、Hadoop以及圖形數(shù)據(jù)庫等。

1 ?大數(shù)據(jù)及其基本處理流程分析

從數(shù)據(jù)規(guī)模來看，大數(shù)據(jù)是海量數(shù)據(jù)，利用傳統(tǒng)的數(shù)據(jù)處理方法和手段難以對大數(shù)據(jù)進行處理，需要借助高端信息處理方法與技術(shù)，在有限時間內(nèi)對海量數(shù)據(jù)進行感知、獲取、加工、管理、處理和共享應(yīng)用。通常情況下，大數(shù)據(jù)呈現(xiàn)體量大、模態(tài)多樣、生成快速、高價值、低密度的顯著特點。對傳統(tǒng)數(shù)據(jù)處理方法與技術(shù)進行升級，可以形成大數(shù)據(jù)技術(shù)。云計算技術(shù)出現(xiàn)后，逐漸產(chǎn)生較多的云計算技術(shù)平臺，成為大數(shù)據(jù)處理的技術(shù)服務(wù)平臺，給大數(shù)據(jù)處理流程優(yōu)化帶來較大便利。一般情況下，可以將大數(shù)據(jù)處理流程劃分為數(shù)據(jù)采集、數(shù)據(jù)處理和集成、數(shù)據(jù)分析、數(shù)據(jù)解釋。在數(shù)據(jù)采集過程中，全面采集各個端口的數(shù)據(jù)信息，并實現(xiàn)數(shù)據(jù)的預(yù)處理，使數(shù)據(jù)格式統(tǒng)一化，方便后續(xù)進行數(shù)據(jù)分析與計算，數(shù)據(jù)分析結(jié)果可以通過可視化手段傳遞到用戶端。

數(shù)據(jù)采集階段。由于互聯(lián)網(wǎng)技術(shù)的快速發(fā)展與廣泛應(yīng)用，數(shù)據(jù)來源十分廣泛，增加了較多數(shù)據(jù)生產(chǎn)的環(huán)節(jié)，使數(shù)據(jù)產(chǎn)出量得到較大幅度的提升，數(shù)據(jù)之間的關(guān)聯(lián)更加緊密，復(fù)雜度不斷增加，在數(shù)據(jù)采集精度和采集速度方面提出了更高要求。因此，需要進一步優(yōu)化升級傳統(tǒng)數(shù)據(jù)的整合處理技術(shù)，利用相關(guān)方法與技術(shù)，在短時間內(nèi)將海量復(fù)雜數(shù)據(jù)進行快速簡化處理，提高數(shù)據(jù)處理、整合和利用的水平，從而更好地為用戶提供數(shù)據(jù)服務(wù)。在當(dāng)前形勢下，隨著信息量的不斷增大，如果繼續(xù)單一依靠傳統(tǒng)大數(shù)據(jù)處理技術(shù)，將難以應(yīng)對海量數(shù)據(jù)帶來的挑戰(zhàn)。因此，企業(yè)迫切需要全面整合數(shù)據(jù)處理流程，研究更加有效的優(yōu)化處理技術(shù)，從而使數(shù)據(jù)資源的利用價值和服務(wù)效能得到提升。

在大數(shù)據(jù)處理基本流程體系中，不同運行階段的要求不同。在數(shù)據(jù)處理與集成階段采用去噪、格式化等方式進行數(shù)據(jù)預(yù)處理，采用統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)，預(yù)處理前一階段的采集數(shù)據(jù)。由于數(shù)據(jù)類型比較復(fù)雜，需要除去較多無效數(shù)據(jù)，轉(zhuǎn)化為統(tǒng)一的數(shù)據(jù)格式，以便更好地利用。通常情況下，可以通過設(shè)計過濾器等方式，將無效數(shù)據(jù)去除，轉(zhuǎn)化為有效數(shù)據(jù)。在數(shù)據(jù)分析階段，根據(jù)不同的數(shù)據(jù)應(yīng)用需求和價值功能方向、應(yīng)用數(shù)據(jù)挖掘工具或者數(shù)據(jù)倉庫工具，進一步分析原始的采集數(shù)據(jù)和整理的數(shù)據(jù)。在數(shù)據(jù)分析方面，有較多大數(shù)據(jù)分析服務(wù)商，能夠提供專業(yè)的支撐產(chǎn)品和服務(wù)軟件，對數(shù)據(jù)進行全面深度分析。在數(shù)據(jù)顯示方面，當(dāng)數(shù)據(jù)量不斷增大時，數(shù)據(jù)分析結(jié)果輸出無法通過傳統(tǒng)模式進行展現(xiàn)，利用數(shù)據(jù)可視化技術(shù)，能夠為數(shù)據(jù)解釋和直觀展現(xiàn)提供技術(shù)支持，向用戶直觀形象地展示數(shù)據(jù)分析結(jié)果，從而提高數(shù)據(jù)深度利用價值。

2 ?云計算與大數(shù)據(jù)分析

云計算是為了更好地服務(wù)互聯(lián)網(wǎng)，設(shè)置的一種增加、使用與交付模式，利用互聯(lián)網(wǎng)提供動態(tài)且易擴展的虛擬化資源，是一種按使用量付費的模式;用戶根據(jù)自身需求進行訪問、獲取、利用資源。在大數(shù)據(jù)處理流程中，數(shù)據(jù)分析是最重要的部分，體現(xiàn)了數(shù)據(jù)的價值?；诖髷?shù)據(jù)的數(shù)據(jù)分析是指利用相關(guān)方法與技術(shù)快速整合、深度處理獲取的海量數(shù)據(jù)。作為大數(shù)據(jù)分析的重要支撐平臺，云計算技術(shù)能夠為大數(shù)據(jù)分析提供具有較強擴展性、經(jīng)濟性的存儲和計算資源，奠定深度應(yīng)用的基礎(chǔ)?？傮w來看，大數(shù)據(jù)技術(shù)是云計算的拓展與延伸，從大數(shù)據(jù)的采集、儲存、處理與應(yīng)用，需要應(yīng)用大量的技術(shù);隨著數(shù)據(jù)的快速變化，信息量日益膨脹，采用云計算的方式進行大數(shù)據(jù)分析，需要升級數(shù)據(jù)通信寬帶，加強建設(shè)云資源，從而確保不斷增強數(shù)據(jù)整合體系功能，滿足社會發(fā)展要求。基于云計算的大數(shù)據(jù)分析，將云計算與大數(shù)據(jù)分析融合，優(yōu)勢主要體現(xiàn)在兩個方面：能夠借助云計算虛擬化環(huán)境，與用戶的業(yè)務(wù)需求結(jié)合起來，深度優(yōu)化配置各類資源，從而使大數(shù)據(jù)的可擴展性得到提升;進一步細化數(shù)據(jù)分析力度，提升數(shù)據(jù)本身的挖掘價值，有助于降低數(shù)據(jù)分析成本，全面提升硬軟件設(shè)施利用率。

3 ?大數(shù)據(jù)分析流程中并行處理技術(shù)的優(yōu)化路徑

3.1 ?大數(shù)據(jù)邏輯分析的優(yōu)化

在大數(shù)據(jù)分析中，按照邏輯關(guān)系將具體問題分解為各個要素，通過比較，對各個要素的影響因子進行評判，通過對影響因子的影響程度高低進行排序，從而分清主要影響因素和次要影響因素，經(jīng)過推理，得到各個要素之間的關(guān)系，匯總分析結(jié)果，從而揭示問題本質(zhì)規(guī)律。要優(yōu)化邏輯分析思路，利用云計算技術(shù)對數(shù)據(jù)處理模型進行構(gòu)建，對海量數(shù)據(jù)的分析任務(wù)進行分解，并行處理海量數(shù)據(jù)，并匯總計算處理結(jié)果，從而完成大數(shù)據(jù)分析任務(wù)。因此，從邏輯分析技術(shù)的角度來看，在大數(shù)據(jù)分析中利用云計算技術(shù)架構(gòu)進行邏輯分析具有可行性。

3.2 ?數(shù)據(jù)管理架構(gòu)的優(yōu)化

在云計算模式下，分布式調(diào)度器、分布式鎖服務(wù)、GFS文件系統(tǒng)能夠優(yōu)化升級數(shù)據(jù)管理架構(gòu)。GFS文件對海量數(shù)據(jù)進行貯存，分布式鎖服務(wù)能夠管理、處理服務(wù)器以及元數(shù)據(jù)的信息。在主服務(wù)器監(jiān)控方面，通過BigTable進行優(yōu)化，擴展分布式存儲系統(tǒng)，使其效能得到最大程度的發(fā)揮。監(jiān)控分布式鎖服務(wù)中的目錄，從而實現(xiàn)負載均衡處理。在子表服務(wù)器存儲系統(tǒng)中，依據(jù)時間的遠近來處理數(shù)據(jù)，實現(xiàn)優(yōu)化子表服務(wù)器存儲系統(tǒng)。

3.3 ?數(shù)據(jù)模型組織結(jié)構(gòu)的優(yōu)化

對數(shù)據(jù)模型組織結(jié)構(gòu)利用云計算技術(shù)進行優(yōu)化時，以分布式多維映射表設(shè)計BigTable，實現(xiàn)優(yōu)化數(shù)據(jù)模型組織結(jié)構(gòu)。

4 ?大數(shù)據(jù)分析流程中存儲與訪問技術(shù)的優(yōu)化路徑分析

4.1 ?數(shù)據(jù)流以及控制流的分離

存儲與訪問是基于云計算的大數(shù)據(jù)分析流程的關(guān)鍵環(huán)節(jié)，利用GFS文件系統(tǒng)，操作數(shù)據(jù)流和數(shù)據(jù)庫。將GFS文件系統(tǒng)節(jié)點做成控制集群，分析數(shù)據(jù)源頭。同時，將應(yīng)用程序訪問鏈接設(shè)置在客戶端，以庫文件形式為主。在GFS集群中，數(shù)據(jù)操作大小為64MB，在整個文件系統(tǒng)中進行數(shù)據(jù)操作;為了方便操作，需要對數(shù)據(jù)塊設(shè)置相同的索引號。集群中的數(shù)據(jù)塊經(jīng)過上述流程環(huán)節(jié)，向客戶端統(tǒng)一發(fā)送引入信息。客戶端收到信息，執(zhí)行存儲與讀寫等操作，該過程完成了服務(wù)器和客戶端之間的聯(lián)系。在一定幅度下，降低主控服務(wù)器的負荷載量，還能夠多種數(shù)據(jù)塊進行同時訪問。

4.2 ?不緩存數(shù)據(jù)的優(yōu)化

由于存在磁盤性能缺陷，文件系統(tǒng)需要頻繁訪問磁盤，產(chǎn)生大量緩存數(shù)據(jù)，降低了系統(tǒng)的操作性能，訪問速度下降。利于云計算技術(shù)構(gòu)建GFS文件系統(tǒng)，不緩存數(shù)據(jù)操作，提高文件系統(tǒng)性能。在GFS文件系統(tǒng)中，在內(nèi)存中存儲需要操作的文件塊，當(dāng)該文件塊首次被用戶訪問時，系統(tǒng)先從磁盤中讀取文件塊，之后用戶每次訪問該文件塊，可直接讀取緩存，從而提高系統(tǒng)讀、寫操作的性能。

5 ?結(jié) ?論

充分利用云計算技術(shù)，優(yōu)化大數(shù)據(jù)分析流程，需要與大數(shù)據(jù)分析整體處理程序的具體要求相結(jié)合;對運行規(guī)律進行總結(jié)，對并行處理、數(shù)據(jù)存儲與訪問、組織與管理等方面不斷探索，與未來發(fā)展和用戶實際需求相結(jié)合;利用有效的系統(tǒng)快速整合處理海量信息，從而進一步提升大數(shù)據(jù)信息儲存的價值，使數(shù)據(jù)資源應(yīng)有的功能充分發(fā)揮出來。在優(yōu)化設(shè)計過程中，要充分考慮現(xiàn)實需求、運行環(huán)境等各方面的因素，加強培訓(xùn)操作人員，實現(xiàn)理念與技術(shù)的有效融合，利用云計算技術(shù)，使大數(shù)據(jù)高效處理與利用的價值不斷提高，從而推動數(shù)據(jù)的發(fā)展。

參考文獻：

[1] 王偉鈞.基于云計算的大數(shù)據(jù)分析流程的優(yōu)化路徑 [J].電子技術(shù)與軟件工程，2017（21）：164.

[2] 洪漢舒，孫知信.基于云計算的大數(shù)據(jù)存儲安全的研究

[J].南京郵電大學(xué)學(xué)報（自然科學(xué)版），2014，34（4）：26-32+56.

[3] 韓晶.大數(shù)據(jù)服務(wù)若干關(guān)鍵技術(shù)研究 [D].北京：北京郵電大學(xué)，2013.

[4] 孫海軍.基于云計算的大數(shù)據(jù)處理技術(shù) [J].信息安全與技術(shù)，2014，5（11）：61-63.

[5] 田野，王彪，劉丹.基于大數(shù)據(jù)的一體化移動警務(wù)綜合管控平臺建設(shè)與應(yīng)用 [J].湖南科技大學(xué)學(xué)報（自然科學(xué)版），2017，32（1）：67-72.

[6] 鄧仲華，劉偉偉，陸穎雋.基于云計算的大數(shù)據(jù)挖掘內(nèi)涵及解決方案研究 [J].情報理論與實踐，2015，38（7）：103-108.

作者簡介：朱培佩（1984-），男，漢族，河南周口人，項目管理人員，碩士，研究方向：大數(shù)據(jù)研究。