大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念框架探討

次世青 高東宇 次青波

大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念框架探討

次世青 高東宇 次青波

近些年來(lái)，伴隨著經(jīng)濟(jì)社會(huì)的迅猛發(fā)展以及網(wǎng)絡(luò)信息技術(shù)的不斷普及，數(shù)據(jù)信息量正呈現(xiàn)出爆炸式增長(zhǎng)。在大數(shù)據(jù)背景下，如何實(shí)現(xiàn)數(shù)據(jù)的有效挖掘和分析，提升數(shù)據(jù)分析的質(zhì)量和效率正成為統(tǒng)計(jì)學(xué)研究的重要內(nèi)容。本文圍繞大數(shù)據(jù)時(shí)代下的數(shù)據(jù)分析，介紹了大數(shù)據(jù)的概念，分析了大數(shù)據(jù)環(huán)境下數(shù)據(jù)分析的基本過(guò)程，并對(duì)大數(shù)據(jù)環(huán)境下對(duì)數(shù)據(jù)分析的影響進(jìn)行了研究。

大數(shù)據(jù)時(shí)代 數(shù)據(jù)分析

一、相關(guān)概述

大數(shù)據(jù)環(huán)境下經(jīng)濟(jì)社會(huì)生活都出現(xiàn)了較大的變化，同時(shí)自然科學(xué)和人文科學(xué)等也都有了較大的提升。在此背景下，依靠計(jì)算機(jī)信息技術(shù)的不斷發(fā)展，研究者能夠使用一定的方法和技能對(duì)較為復(fù)雜且規(guī)模較大的海量數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，并有效挖掘其中的價(jià)值信息。大數(shù)據(jù)環(huán)境為統(tǒng)計(jì)學(xué)的研究和發(fā)展提供了好的機(jī)遇，同時(shí)也對(duì)統(tǒng)計(jì)學(xué)的拓展提出了一定的挑戰(zhàn)。

大數(shù)據(jù)環(huán)境下數(shù)據(jù)在各個(gè)行業(yè)和領(lǐng)域中都有所滲透，并逐漸成為主要的生產(chǎn)要素。大數(shù)據(jù)本身具有價(jià)值密度低、數(shù)據(jù)體量大、數(shù)據(jù)類(lèi)型多、數(shù)據(jù)處理速度快的特點(diǎn)。不過(guò)由于數(shù)據(jù)量的急速增長(zhǎng)，也使得在數(shù)據(jù)分析和研究過(guò)程中由于數(shù)據(jù)庫(kù)缺少必要的管理工具進(jìn)行數(shù)據(jù)采集和管理，而導(dǎo)致數(shù)據(jù)搜索、數(shù)據(jù)分析、數(shù)據(jù)存取和數(shù)據(jù)共享等出現(xiàn)一定的困難。一般情況下，在大數(shù)據(jù)環(huán)境下，往往存在著數(shù)據(jù)存儲(chǔ)、處理技術(shù)、數(shù)據(jù)安全等相關(guān)的技術(shù)性問(wèn)題。這些問(wèn)題的存在一定程度上影響和制約了數(shù)據(jù)的開(kāi)發(fā)和應(yīng)用效率。盡管大數(shù)據(jù)下進(jìn)行數(shù)據(jù)分析存在一定困難，但是其在實(shí)踐中的應(yīng)用空間和領(lǐng)域卻十分廣泛，對(duì)于經(jīng)濟(jì)社會(huì)的發(fā)展具有重要的推動(dòng)力。

二、大數(shù)據(jù)環(huán)境下數(shù)據(jù)分析過(guò)程分析

（一）數(shù)據(jù)的價(jià)值挖掘過(guò)程

面對(duì)海量的大數(shù)據(jù)環(huán)境，數(shù)據(jù)使用者應(yīng)當(dāng)圍繞數(shù)據(jù)分析目標(biāo)和具體要求對(duì)大數(shù)據(jù)進(jìn)行有效挖掘，提取有用數(shù)據(jù)，摒棄無(wú)用數(shù)據(jù)，從海量數(shù)據(jù)中進(jìn)行價(jià)值挖掘，結(jié)合數(shù)據(jù)類(lèi)型提升數(shù)據(jù)使用價(jià)值。在進(jìn)行具體的大數(shù)據(jù)挖掘時(shí)可以按照具體的案例來(lái)進(jìn)行，比如在進(jìn)行廣告人群匹配時(shí)，在進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘上主要是面對(duì)著兩種數(shù)據(jù)。一種是廣告庫(kù)數(shù)據(jù)，主要包含了廣告庫(kù)以及廣告的客戶(hù)信息等。這種數(shù)據(jù)一般都具有較高的結(jié)構(gòu)性，能夠在傳統(tǒng)的數(shù)據(jù)庫(kù)中進(jìn)行采集和應(yīng)用、分析。另外一種數(shù)據(jù)是客戶(hù)的后期行為數(shù)據(jù)。通過(guò)對(duì)此兩種數(shù)據(jù)的結(jié)合分析，有效挖掘其中的有效價(jià)值。與此同時(shí)，在具體的應(yīng)用實(shí)踐過(guò)程中，還需要積極發(fā)揮第二種信息的作用和價(jià)值，這樣能夠獲得客戶(hù)所需的信息。依靠對(duì)群體行為和群體智能的分析，最終形成具體的反饋機(jī)制和反饋流程，在此基礎(chǔ)上為信息使用者提供優(yōu)質(zhì)可靠的數(shù)據(jù)處理信息，為信息使用者科學(xué)決策提供有效的信息和數(shù)據(jù)支持。

（二）數(shù)據(jù)的處理與分析過(guò)程

在此過(guò)程中，一方面要及時(shí)更新抽樣調(diào)查的工作理念。一般情況下，大數(shù)據(jù)的樣本資料都是之前的材料匯總，這就要求在對(duì)此數(shù)據(jù)進(jìn)行分析處理時(shí)應(yīng)當(dāng)首先對(duì)數(shù)據(jù)整體進(jìn)行梳理和了解，并逐步向數(shù)據(jù)局部進(jìn)行延伸。同時(shí)在對(duì)海量數(shù)據(jù)進(jìn)行分析處理時(shí)還應(yīng)當(dāng)解決好調(diào)查目標(biāo)設(shè)定不合理、抽樣框架不穩(wěn)定以及樣本數(shù)量受限制等問(wèn)題。另一方面，也要進(jìn)一步提升大數(shù)據(jù)環(huán)境下數(shù)據(jù)精確度標(biāo)準(zhǔn)。由于大數(shù)據(jù)環(huán)境下數(shù)據(jù)的來(lái)源比較廣，數(shù)據(jù)處理質(zhì)量和效果也各有差異，因此應(yīng)當(dāng)在允許數(shù)據(jù)之間存在準(zhǔn)確度差異的同時(shí)提升數(shù)據(jù)精準(zhǔn)度的標(biāo)準(zhǔn)。要在積極吸收各種數(shù)據(jù)資源的基礎(chǔ)上，提升數(shù)據(jù)處理能力和質(zhì)量，科學(xué)應(yīng)對(duì)數(shù)據(jù)復(fù)雜性和變量關(guān)系復(fù)雜性等問(wèn)題。除此之外，也應(yīng)當(dāng)圍繞大數(shù)據(jù)中的數(shù)據(jù)分析，對(duì)數(shù)據(jù)關(guān)系的分析重點(diǎn)進(jìn)行合理轉(zhuǎn)換。既要重視對(duì)數(shù)據(jù)中因果關(guān)系的分析和梳理，同時(shí)也要重視對(duì)事物之間相關(guān)性的分析研究，及時(shí)轉(zhuǎn)換分析思路，圍繞數(shù)據(jù)分析目標(biāo)和事物之間關(guān)聯(lián)關(guān)系進(jìn)行大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析工作。

三、大數(shù)據(jù)對(duì)統(tǒng)計(jì)的影響分析

（一）能夠進(jìn)一步拓展統(tǒng)計(jì)學(xué)研究領(lǐng)域

大數(shù)據(jù)環(huán)境對(duì)于各個(gè)研究領(lǐng)域都能夠產(chǎn)生比較大的影響，對(duì)于統(tǒng)計(jì)學(xué)也是一樣。統(tǒng)計(jì)學(xué)研究的是客體、客觀(guān)事物之間的數(shù)量關(guān)系和數(shù)量特征，數(shù)量性是統(tǒng)計(jì)學(xué)研究對(duì)象最為主要的特征。由于在傳統(tǒng)的統(tǒng)計(jì)學(xué)研究實(shí)踐中實(shí)驗(yàn)數(shù)據(jù)和調(diào)查數(shù)據(jù)是最主要的研究數(shù)據(jù)，因此在大數(shù)據(jù)環(huán)境下，統(tǒng)計(jì)學(xué)研究對(duì)象既包括了之前的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)也包括了非結(jié)構(gòu)化數(shù)據(jù)，這些非結(jié)構(gòu)化數(shù)據(jù)不能夠單純地依靠數(shù)量關(guān)系來(lái)加以衡量和表示。這其中就包括了文本、聲音、圖片、動(dòng)畫(huà)等數(shù)據(jù)信息。從這個(gè)意義上講，大數(shù)據(jù)環(huán)境下統(tǒng)計(jì)學(xué)的研究領(lǐng)域有了較大范圍的擴(kuò)展。

（二）能夠?qū)y(tǒng)計(jì)計(jì)算的規(guī)范性產(chǎn)生影響

按照傳統(tǒng)的統(tǒng)計(jì)學(xué)研究方法，在反應(yīng)事物量的特征時(shí)大都是依靠方差、平均值、相對(duì)數(shù)等來(lái)進(jìn)行，這些研究方法能夠反映出事物之間的界限和關(guān)系，并且也能夠依靠數(shù)據(jù)計(jì)算規(guī)范來(lái)反映出具體的數(shù)據(jù)。不過(guò)在當(dāng)前的大數(shù)據(jù)環(huán)境下，非結(jié)構(gòu)性數(shù)據(jù)常常難以使用傳統(tǒng)的數(shù)據(jù)計(jì)算規(guī)范來(lái)加以計(jì)算。從這個(gè)角度上講，大數(shù)據(jù)環(huán)境下統(tǒng)計(jì)的數(shù)據(jù)計(jì)算規(guī)范也受到了較大的挑戰(zhàn)。

（三）能夠?qū)y(tǒng)計(jì)的數(shù)據(jù)整理和分析過(guò)程產(chǎn)生影響

統(tǒng)計(jì)學(xué)中數(shù)據(jù)審核之前主要是針對(duì)數(shù)據(jù)的完整性和準(zhǔn)確性。不過(guò)在當(dāng)前的大數(shù)據(jù)環(huán)境下，數(shù)據(jù)審核除了要保障原先的數(shù)據(jù)完整性、準(zhǔn)確性外，還應(yīng)當(dāng)保證數(shù)據(jù)審核的速度、效率以及數(shù)據(jù)預(yù)測(cè)的準(zhǔn)確性等。除此之外，還應(yīng)當(dāng)準(zhǔn)確確定數(shù)據(jù)處理的規(guī)模，合理確定數(shù)據(jù)量的級(jí)別。盡管大數(shù)據(jù)自身具有混亂性和不穩(wěn)定性的特點(diǎn)，但是使用合理的數(shù)據(jù)整理方法也能夠在大數(shù)據(jù)中有效挖掘出數(shù)據(jù)之間的隱蔽關(guān)系，提升數(shù)據(jù)挖掘的價(jià)值性。因此，大數(shù)據(jù)下統(tǒng)計(jì)研究對(duì)象本身具有準(zhǔn)確和不準(zhǔn)確兩種情況，它們分別具有不同的價(jià)值屬性，一般情況下不需要對(duì)其進(jìn)行刪除或者替換。

對(duì)于數(shù)據(jù)存儲(chǔ)來(lái)講，之前的統(tǒng)計(jì)研究數(shù)據(jù)存儲(chǔ)過(guò)程中都是將審核、匯總或者編制的表格、圖表等，并將它們進(jìn)行適當(dāng)?shù)谋４嫣幚怼２贿^(guò)在大數(shù)據(jù)環(huán)境下進(jìn)行數(shù)據(jù)的保存就還需要重視數(shù)據(jù)存儲(chǔ)成本的管控，并結(jié)合自身實(shí)際制定規(guī)章制度和計(jì)劃合理確定數(shù)據(jù)存儲(chǔ)的規(guī)模和目錄。

（四）能夠?qū)?shù)據(jù)開(kāi)發(fā)和利用過(guò)程產(chǎn)生影響

這主要涉及大數(shù)據(jù)環(huán)境下數(shù)據(jù)的積累、開(kāi)發(fā)以及應(yīng)用。在傳統(tǒng)的數(shù)據(jù)統(tǒng)計(jì)工作過(guò)程中，研究者都是圍繞自身目標(biāo)來(lái)對(duì)相關(guān)數(shù)據(jù)進(jìn)行分類(lèi)和匯總，通過(guò)存儲(chǔ)和提取過(guò)程，對(duì)數(shù)據(jù)進(jìn)行有效挖掘，并在此基礎(chǔ)上為后續(xù)的數(shù)據(jù)分析和查詢(xún)提供支撐。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)量比較大，只有對(duì)數(shù)據(jù)信息進(jìn)行適當(dāng)處理才能夠獲得其中價(jià)值量比較高的信息。正是基于大數(shù)據(jù)自身的復(fù)雜性，統(tǒng)計(jì)研究者應(yīng)當(dāng)對(duì)前期數(shù)據(jù)進(jìn)行適當(dāng)處理。圍繞數(shù)據(jù)的規(guī)模和結(jié)構(gòu)、層次等進(jìn)行合理分類(lèi)和匯總，在確保真實(shí)性的同時(shí)提升數(shù)據(jù)的價(jià)值性。與此同時(shí)，由于大數(shù)據(jù)環(huán)境下數(shù)據(jù)具有流動(dòng)性特點(diǎn)，使得數(shù)據(jù)本身也具有再生性特征，并進(jìn)一步增加了數(shù)據(jù)的價(jià)值性。因此有必要針對(duì)統(tǒng)計(jì)研究中的大數(shù)據(jù)進(jìn)行深入的數(shù)據(jù)挖掘，依靠數(shù)據(jù)整合提升數(shù)據(jù)價(jià)值性。在數(shù)據(jù)應(yīng)用上則主要是針對(duì)統(tǒng)計(jì)學(xué)現(xiàn)象的預(yù)測(cè)和解釋?zhuān)瑢?shí)現(xiàn)在大數(shù)據(jù)環(huán)境下數(shù)據(jù)相關(guān)關(guān)系的預(yù)測(cè)和分析。

總的來(lái)講，大數(shù)據(jù)環(huán)境不僅改變了經(jīng)濟(jì)社會(huì)生活，也對(duì)統(tǒng)計(jì)等相關(guān)科學(xué)產(chǎn)生了巨大的影響，如何實(shí)現(xiàn)大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)研究是統(tǒng)計(jì)學(xué)領(lǐng)域的重要課題。進(jìn)一步強(qiáng)化對(duì)大數(shù)據(jù)的理解和把握，重視大數(shù)據(jù)在統(tǒng)計(jì)中的研究和應(yīng)用，有效分析和挖掘大數(shù)據(jù)中的價(jià)值信息，更好地推動(dòng)統(tǒng)計(jì)學(xué)的理論和實(shí)踐應(yīng)用。

（次世青、高東宇單位為首都航天機(jī)械公司；次青波單位為中國(guó)航天標(biāo)準(zhǔn)化研究所）

［1］ 田茂再.大數(shù)據(jù)時(shí)代統(tǒng)計(jì)學(xué)重構(gòu)研究中的幾個(gè)熱點(diǎn)問(wèn)題［J］.統(tǒng)計(jì)研究，2015（05）.

［2］ 耿直.大數(shù)據(jù)時(shí)代統(tǒng)計(jì)學(xué)面臨的機(jī)遇與挑戰(zhàn)［J］.統(tǒng)計(jì)研究，2014（01）.

［3］ 朱建平，章貴軍，劉曉葳.大數(shù)據(jù)時(shí)代下數(shù)據(jù)分析理念的辨析［J］.統(tǒng)計(jì)研究，2014（02）.