新時(shí)期下大數(shù)據(jù)分析與應(yīng)用探析

張瑾 對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院

一、引言

大數(shù)據(jù)的概念由麥肯錫提出，大數(shù)據(jù)是一種規(guī)模大到在獲取、儲(chǔ)存、管理、分析方面大大超出傳統(tǒng)數(shù)據(jù)庫(kù)軟件功能范圍的數(shù)據(jù)集合，其具有大量、高速、多樣、低價(jià)值密度與真實(shí)性的特征。大數(shù)據(jù)時(shí)代的到來(lái)，為國(guó)內(nèi)各行業(yè)管理決策模式的改革指明了方向，也為企業(yè)管理模式的轉(zhuǎn)型提供了支持。當(dāng)前已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，互聯(lián)網(wǎng)技術(shù)、云計(jì)算、數(shù)據(jù)庫(kù)等技術(shù)更新速度非常快，大數(shù)據(jù)為新型技術(shù)的發(fā)展提供了助力，提高了信息化平臺(tái)數(shù)據(jù)分析和加工處理的能力。大數(shù)據(jù)分析和應(yīng)用受到眾多學(xué)者的研究與分析，發(fā)掘出許多應(yīng)用廣泛的理論和方法，如深度學(xué)習(xí)、模式識(shí)別等技術(shù)。大數(shù)據(jù)在國(guó)家層面也有很廣泛的應(yīng)用。國(guó)家出臺(tái)了一些法律政策、經(jīng)濟(jì)政策和人力政策來(lái)支持大數(shù)據(jù)技術(shù)的發(fā)展與壯大。

大數(shù)據(jù)技術(shù)已經(jīng)深入到生產(chǎn)生活的各個(gè)方面。從企業(yè)來(lái)講，大數(shù)據(jù)技術(shù)可以和數(shù)據(jù)挖掘、人工智能等各種技術(shù)融合。以此來(lái)為新的生產(chǎn)方式政策提供指導(dǎo)，促進(jìn)生產(chǎn)力的進(jìn)一步發(fā)展。以“互聯(lián)網(wǎng)+制造業(yè)”的智能生產(chǎn)方式，大大優(yōu)化生產(chǎn)流程，縮短了生產(chǎn)時(shí)間，降低了產(chǎn)品生產(chǎn)所需要花費(fèi)的費(fèi)用。在居民生產(chǎn)領(lǐng)域，以信息技術(shù)為支撐的智慧城市的構(gòu)想，從城市構(gòu)建的各個(gè)方面，例如將城市公共產(chǎn)品的服務(wù)系統(tǒng)整合，形成資源的充分共享，不僅提高了居民生活的幸福感，也使環(huán)境資源的利用率得到了最大化。因此，深度挖掘大數(shù)據(jù)分析技術(shù)的發(fā)展與應(yīng)用有非常重要的現(xiàn)實(shí)意義。

二、大數(shù)據(jù)概述

有許多機(jī)構(gòu)對(duì)大數(shù)據(jù)的定義做過(guò)描述，除麥肯錫給出的大數(shù)據(jù)的定義以外，國(guó)外的國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院對(duì)大數(shù)據(jù)也作出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，需使用重要水平縮放技術(shù)來(lái)實(shí)現(xiàn)高效處理數(shù)據(jù)?！贝髷?shù)據(jù)價(jià)值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)分析。數(shù)據(jù)分析是核心步驟，將數(shù)據(jù)中的價(jià)值挖掘出來(lái)是數(shù)據(jù)分析的靈魂所在，根據(jù)數(shù)據(jù)分析得出的有價(jià)值的信息，將其整合成有效的方案，從而制定有效的建議決策。根據(jù)收集到的信息可進(jìn)行深度挖掘，發(fā)現(xiàn)數(shù)據(jù)間的聯(lián)系與潛在關(guān)系。

從大數(shù)據(jù)的定義看，大數(shù)據(jù)具有數(shù)據(jù)量多的特點(diǎn)。大數(shù)據(jù)的計(jì)量單位以PB、ZB 等更大的存儲(chǔ)單位來(lái)計(jì)量。社會(huì)上各種技術(shù)的更新，技術(shù)不僅在民眾中普及的非常快，專業(yè)人員的繼續(xù)開(kāi)發(fā)與研究速度也非常快。而且居民生活中的種種痕跡都會(huì)被計(jì)算機(jī)記錄，由此產(chǎn)生的大量的數(shù)據(jù)就會(huì)非常龐大。同時(shí)大數(shù)據(jù)也非常的快。不僅是增長(zhǎng)速度快，還有大數(shù)據(jù)處理的速度快。由于社會(huì)上各種活動(dòng)軌跡都要被記錄下來(lái)，數(shù)據(jù)增長(zhǎng)呈現(xiàn)指數(shù)式增長(zhǎng)態(tài)勢(shì)，時(shí)間短，數(shù)據(jù)量大；數(shù)據(jù)量的急劇增加也就增加了對(duì)數(shù)據(jù)處理速度的要求，將實(shí)時(shí)產(chǎn)生的數(shù)據(jù)快速轉(zhuǎn)換為可以被處理的數(shù)據(jù)以及可以被使用的數(shù)據(jù)是對(duì)大數(shù)據(jù)技術(shù)提出的要求。

三、大數(shù)據(jù)分析技術(shù)

大數(shù)據(jù)分析就是要從海量的數(shù)據(jù)提取出有價(jià)值的信息。社會(huì)信息化程度不斷加深，各個(gè)領(lǐng)域和行業(yè)對(duì)大數(shù)據(jù)分析愈發(fā)青睞。若是在數(shù)據(jù)量極大的數(shù)據(jù)中發(fā)掘出有用的數(shù)據(jù)，需要選取正確有效的數(shù)據(jù)分析方法。

可視化分析是最基本的大數(shù)據(jù)分析方法，由于可視化分析方法是以圖形的方式來(lái)展示數(shù)據(jù)中提取的信息，簡(jiǎn)潔而直觀，可以同時(shí)展示大量、高精度、多角度的復(fù)雜圖形信息，方便使用者進(jìn)行觀察與分析，因而受到很多企業(yè)管理者的喜愛(ài)。同時(shí)，可視化分析技術(shù)操作簡(jiǎn)單，能夠被較多的人所掌握。

數(shù)據(jù)挖掘是大數(shù)據(jù)分析的核心方法。數(shù)據(jù)挖掘就是從非常繁多的數(shù)據(jù)中提取出有用信息的技術(shù)方法，該項(xiàng)技術(shù)需要從貼合數(shù)據(jù)的特性與數(shù)據(jù)所代表的內(nèi)涵的角度來(lái)挖掘出數(shù)據(jù)信息的內(nèi)部?jī)r(jià)值。數(shù)據(jù)挖掘可以大大提高數(shù)據(jù)的價(jià)值性，使企業(yè)決策者能夠根據(jù)數(shù)據(jù)做出更加有效的決策。但由于數(shù)據(jù)挖掘技術(shù)可以有很多算法，掌握起來(lái)有一定的難度。

預(yù)測(cè)性分析在大數(shù)據(jù)分析技術(shù)中有著舉足輕重的地位。由于數(shù)據(jù)最終價(jià)值是要為未來(lái)的決策做出指引，這就需要數(shù)據(jù)有預(yù)測(cè)的能力。在商業(yè)領(lǐng)域，預(yù)測(cè)模型根據(jù)已經(jīng)產(chǎn)生的數(shù)據(jù)，來(lái)識(shí)別其中的數(shù)據(jù)規(guī)律，從而指導(dǎo)決策。

人工智能可以將人從繁重的大量的數(shù)據(jù)解放出來(lái)，可以綜合數(shù)據(jù)分析和數(shù)據(jù)挖掘的技術(shù)特點(diǎn)，充分發(fā)揮大數(shù)據(jù)的優(yōu)點(diǎn)。人工智能技術(shù)涉及的領(lǐng)域較多，可以實(shí)現(xiàn)文本數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù)處理，充分發(fā)揮數(shù)據(jù)潛在價(jià)值的挖掘，通過(guò)相關(guān)數(shù)據(jù)的展示，實(shí)現(xiàn)可視化的操作服務(wù)。人工智能也是當(dāng)前計(jì)算機(jī)重要技術(shù)之一，目前利用人工智能可以構(gòu)建大數(shù)據(jù)模型，同時(shí)動(dòng)態(tài)的實(shí)現(xiàn)算法的更新和處理，保證算法能夠準(zhǔn)確的實(shí)現(xiàn)知識(shí)加工，提人工智能的應(yīng)用精準(zhǔn)程度。

大數(shù)據(jù)分析的方法技術(shù)還有很多，例如布隆過(guò)濾器、HASH 法、索引、TRIE 樹(shù)等。與傳統(tǒng)的數(shù)據(jù)分析方法相比，大數(shù)據(jù)分析方法不再是從有限的樣本空間中獲取信息，而是從整個(gè)數(shù)據(jù)量分析，可以通過(guò)高效的算法、模式，準(zhǔn)確的從大量的數(shù)據(jù)中獲取信息。

四、大數(shù)據(jù)分析需注意的方面

大數(shù)據(jù)分析要明確分析的目標(biāo)。大數(shù)據(jù)收集與分析工作事很煩瑣且過(guò)程不易逆，在進(jìn)行大數(shù)據(jù)分析前，如果對(duì)數(shù)據(jù)分析工作的目標(biāo)不清晰不明確，那么數(shù)據(jù)收集工作和分析工作就會(huì)有很大的概率做無(wú)用功。因此明確數(shù)據(jù)分析的目標(biāo)，從根本上把控工作的步驟及進(jìn)程，可以高效的完成數(shù)據(jù)分析的工作。

大數(shù)據(jù)分析要科學(xué)規(guī)劃分析流程。由于大數(shù)據(jù)分析工作是一套完整的流程，包括收集、整理、分析以及整理等步驟。大數(shù)據(jù)分析工作要保障整個(gè)流程在規(guī)定時(shí)間內(nèi)保質(zhì)保量的完成，就需要對(duì)每個(gè)步驟的完成時(shí)間進(jìn)行規(guī)定，根據(jù)流程中該項(xiàng)工作的重要性和工作量來(lái)對(duì)每個(gè)步驟就那些劃定時(shí)間，并嚴(yán)格要求每個(gè)步驟在桂東時(shí)間內(nèi)完成。這樣可以做到對(duì)整個(gè)流程的把控與統(tǒng)籌安排。

大數(shù)據(jù)分析工作的關(guān)鍵之處是數(shù)據(jù)分析后的結(jié)果。由于大數(shù)據(jù)分析過(guò)程中每個(gè)步驟都是很重要的，數(shù)據(jù)收集要保障得到的數(shù)據(jù)是完整有效的，數(shù)據(jù)整理要保障整理后的數(shù)據(jù)是可以用于數(shù)據(jù)分析的，是有價(jià)值的數(shù)據(jù)，數(shù)據(jù)分析則要求能夠保障分析結(jié)果是真實(shí)準(zhǔn)確的，結(jié)果整理是很重要的一步，這部分要最終形成分析報(bào)告，來(lái)對(duì)結(jié)果進(jìn)行說(shuō)明解釋，從數(shù)據(jù)中發(fā)現(xiàn)的規(guī)律及決策方向。因此不能過(guò)分關(guān)注某一個(gè)步驟，由于流程的前后順序，要合理安排數(shù)據(jù)的收集和整理工作，把更多的精力放在數(shù)據(jù)分析和結(jié)果整理上，最終使得到的結(jié)果是對(duì)未來(lái)的決策有幫助的。

五、大數(shù)據(jù)分析技術(shù)的應(yīng)用領(lǐng)域

大數(shù)據(jù)能夠?qū)崿F(xiàn)多種數(shù)據(jù)源的融合、加工和處理，幫助用戶實(shí)現(xiàn)信息過(guò)濾、推薦，為決策提供支撐。大數(shù)據(jù)時(shí)代，若是能及時(shí)洞悉數(shù)據(jù)中包含的價(jià)值，將對(duì)商業(yè)模式產(chǎn)生深遠(yuǎn)的變革意義。

大數(shù)據(jù)分析技術(shù)可用于商業(yè)銀行。銀行業(yè)經(jīng)過(guò)幾十年的發(fā)展，在繁榮發(fā)展的同時(shí)，也需要進(jìn)行變革。例如依然存在銀行對(duì)客戶的行為分析能力不夠，服務(wù)水平和質(zhì)量不夠，產(chǎn)品創(chuàng)新不足，缺乏競(jìng)爭(zhēng)力等問(wèn)題。商業(yè)銀行可以利用大數(shù)據(jù)分析技術(shù)，研究客戶的金融行為，以提升服務(wù)質(zhì)量和服務(wù)水平以手段，以提高客戶的滿意度為目標(biāo)，提升銀行的科學(xué)管理水平。

大數(shù)據(jù)分析技術(shù)可用于農(nóng)業(yè)生產(chǎn)工作。農(nóng)業(yè)生產(chǎn)工作以往都是農(nóng)民根據(jù)經(jīng)驗(yàn)來(lái)進(jìn)行農(nóng)業(yè)耕種。通過(guò)數(shù)據(jù)數(shù)據(jù)技術(shù)對(duì)氣象數(shù)據(jù)進(jìn)行預(yù)測(cè)，發(fā)現(xiàn)特定地域的氣候規(guī)律，進(jìn)而采取科學(xué)適宜的舉措，提高農(nóng)產(chǎn)品的產(chǎn)量收益。通過(guò)數(shù)據(jù)分析技術(shù)分析當(dāng)?shù)赝寥莱煞?、肥料的使用等方面，科學(xué)施種，選用最有利生長(zhǎng)的農(nóng)戶品品種，選用適宜肥料。通過(guò)數(shù)據(jù)分析農(nóng)業(yè)病蟲害的防治時(shí)間，完善病蟲害治療框架。通過(guò)遙感技術(shù)、監(jiān)控技術(shù)采集生長(zhǎng)信息，整體提高對(duì)于農(nóng)作物生長(zhǎng)狀況的監(jiān)管力度，提高農(nóng)作物整體經(jīng)濟(jì)效益，促進(jìn)農(nóng)業(yè)生產(chǎn)行業(yè)的快速發(fā)展。

大數(shù)據(jù)分析技術(shù)可用于企業(yè)管理工作中。企業(yè)需要將經(jīng)驗(yàn)決策轉(zhuǎn)換為數(shù)據(jù)決策，利用數(shù)據(jù)分析找到自身的核心競(jìng)爭(zhēng)力。確定產(chǎn)品定位，挖掘潛在商業(yè)價(jià)值，規(guī)避風(fēng)險(xiǎn)，對(duì)企業(yè)發(fā)展有更清晰定位。通過(guò)數(shù)據(jù)分析可以了解客戶消費(fèi)習(xí)慣、企業(yè)經(jīng)營(yíng)狀況，收入情況以及與員工工作詳情。有利于企業(yè)大幅提升管理水平，提高營(yíng)業(yè)效益。

大數(shù)據(jù)分析可以應(yīng)用的領(lǐng)域還有很多，例如保險(xiǎn)公司、金融投資、精準(zhǔn)扶貧等等。面對(duì)大數(shù)據(jù)市場(chǎng)的急速發(fā)展，產(chǎn)生了大量的大數(shù)據(jù)人才渴求，亟須合理組織和安排大數(shù)據(jù)學(xué)習(xí)課程。整體規(guī)劃大數(shù)據(jù)教學(xué)體系，把握大數(shù)據(jù)課程的整體要求，形成從初級(jí)到高級(jí)的進(jìn)階。設(shè)計(jì)大數(shù)據(jù)算法、程序和架構(gòu)，強(qiáng)調(diào)實(shí)踐應(yīng)用的重要地位。構(gòu)建大數(shù)據(jù)人才培養(yǎng)教學(xué)體系架構(gòu)，培養(yǎng)能力與素質(zhì)齊備的大數(shù)據(jù)人才后備軍。