淺談大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇

作者簡(jiǎn)介：張偉（1987.09-），男，漢，山東，中國(guó)人民大學(xué)，研究方向：數(shù)據(jù)分析。

摘 要：文章通過(guò)闡述大數(shù)據(jù)及其目的，分析大數(shù)據(jù)與統(tǒng)計(jì)學(xué)的對(duì)比，對(duì)大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)與機(jī)遇展開探討研究，旨在為相關(guān)人員基于大數(shù)據(jù)及其目的、大數(shù)據(jù)與統(tǒng)計(jì)學(xué)的對(duì)比的大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇研究適用提供一些思路。

關(guān)鍵詞：大數(shù)據(jù)；統(tǒng)計(jì)學(xué)；挑戰(zhàn)；機(jī)遇；營(yíng)銷

引言

國(guó)際數(shù)據(jù)公司的相關(guān)研究指出，2011年全球數(shù)據(jù)生產(chǎn)量達(dá)1.8ZB，且全球信息總量每隔兩年增長(zhǎng)一倍[1]。在大數(shù)據(jù)時(shí)代下，對(duì)于統(tǒng)計(jì)學(xué)發(fā)展而言，挑戰(zhàn)與機(jī)遇并存，挑戰(zhàn)指的是現(xiàn)階段傳統(tǒng)統(tǒng)計(jì)學(xué)相關(guān)方法難以適用大數(shù)據(jù)，機(jī)遇指的是基于統(tǒng)計(jì)學(xué)，大數(shù)據(jù)展開數(shù)據(jù)處理、分析，促使大數(shù)據(jù)具備可視化特性。由此可見，研究大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇有著十分重要的現(xiàn)實(shí)意義。

1.大數(shù)據(jù)及其目的

現(xiàn)階段，關(guān)于大數(shù)據(jù)仍舊沒(méi)有一個(gè)十分明確的界定，大數(shù)據(jù)起初是源自于技術(shù)領(lǐng)域。在信息量不斷擴(kuò)大的情況下，使得常規(guī)電腦原有存儲(chǔ)空間已不能對(duì)新處理數(shù)據(jù)進(jìn)行承載，新興數(shù)據(jù)處理技術(shù)得以產(chǎn)生，好比雅虎的Hadoop平臺(tái)、谷歌的MapReduce等。此類技術(shù)能夠?qū)┗瘜哟谓Y(jié)構(gòu)、一致性予以消除，促進(jìn)數(shù)據(jù)無(wú)需通過(guò)常規(guī)數(shù)據(jù)庫(kù)表格進(jìn)行排列，極大程度地提升了人們可處理的數(shù)據(jù)量[1]。

2.大數(shù)據(jù)與統(tǒng)計(jì)學(xué)的對(duì)比

2.1樣本統(tǒng)計(jì)與全樣本統(tǒng)計(jì)的區(qū)別

樣本統(tǒng)計(jì)屬于統(tǒng)計(jì)學(xué)不可或缺的依賴，樣本指的是結(jié)合相應(yīng)的概率自總體中隨機(jī)篩選并視作總體代表的集合內(nèi)容，值得一提的是隨機(jī)抽樣是需要成本的，包括社會(huì)關(guān)系、資金成本或者時(shí)間成本等?；跇颖緮?shù)量提升有限前提下，樣本估計(jì)誤差會(huì)隨著總體數(shù)量增多而增大，這亦是樣本統(tǒng)計(jì)無(wú)法避免的不足。大數(shù)據(jù)時(shí)代下，龐大的數(shù)據(jù)信息應(yīng)運(yùn)而生，數(shù)據(jù)信息發(fā)展表現(xiàn)出總體即是樣本的態(tài)勢(shì)，該屬性很好的消除了樣本統(tǒng)計(jì)這一不足。大數(shù)據(jù)時(shí)代下的全樣本統(tǒng)計(jì)，通常情況下可對(duì)完全總體進(jìn)行覆蓋，然而受大部分?jǐn)?shù)據(jù)屬于半結(jié)構(gòu)、半結(jié)構(gòu)數(shù)據(jù)影響，使得概率論應(yīng)用遭受一定的制約[2]。鑒于此，將全樣本統(tǒng)計(jì)應(yīng)用到統(tǒng)計(jì)學(xué)中，應(yīng)當(dāng)就總體數(shù)據(jù)展開相應(yīng)的歸納、篩選，即好比在樣本統(tǒng)計(jì)中展開數(shù)據(jù)預(yù)處理。

2.2預(yù)測(cè)分析與非預(yù)測(cè)分析的區(qū)別

統(tǒng)計(jì)學(xué)的創(chuàng)立，是為了對(duì)變量相互相關(guān)關(guān)系展開分析，因此獲取數(shù)據(jù)是發(fā)生于變量確定之后的，數(shù)據(jù)分析價(jià)值是能夠被預(yù)測(cè)的。相較于統(tǒng)計(jì)學(xué)的預(yù)測(cè)分析，龐大數(shù)據(jù)將互聯(lián)網(wǎng)、傳感器作為載體，存在于分析需求之前，因此構(gòu)建于大數(shù)據(jù)上的分析多為非預(yù)測(cè)性分析。在統(tǒng)計(jì)學(xué)中，出現(xiàn)大數(shù)據(jù)無(wú)法有效應(yīng)用局面，這是由于不具備非預(yù)測(cè)分析所需的龐大數(shù)據(jù)，龐大數(shù)據(jù)產(chǎn)生與數(shù)據(jù)中心、存儲(chǔ)系統(tǒng)存在緊密的聯(lián)系，并非短期產(chǎn)生。也就是說(shuō)，統(tǒng)計(jì)學(xué)中大數(shù)據(jù)的應(yīng)用發(fā)展，說(shuō)明了非預(yù)測(cè)分析正逐步取代傳統(tǒng)統(tǒng)計(jì)學(xué)預(yù)測(cè)分析，數(shù)據(jù)多次利用正逐步取代傳統(tǒng)數(shù)據(jù)一次性利用的。

3.大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)與機(jī)遇

3.1數(shù)據(jù)生產(chǎn)、處理與應(yīng)用的轉(zhuǎn)變

相關(guān)統(tǒng)計(jì)部門經(jīng)開展嚴(yán)格的統(tǒng)計(jì)設(shè)計(jì)工作，獲得相關(guān)的統(tǒng)計(jì)數(shù)據(jù)，數(shù)據(jù)的預(yù)處理分別有數(shù)據(jù)清洗、非全面數(shù)據(jù)填補(bǔ)以及數(shù)據(jù)矯正等。大數(shù)據(jù)時(shí)代下的統(tǒng)計(jì)手段尚不十分明確，自大數(shù)據(jù)流環(huán)境而言，要不斷探索新型抽樣方法，并確保抽樣方法的實(shí)時(shí)、連貫及可行性。除去傳統(tǒng)的統(tǒng)計(jì)分析方法，還應(yīng)當(dāng)開發(fā)大數(shù)據(jù)動(dòng)態(tài)分析、數(shù)據(jù)流算法等[3]。

3.2大數(shù)據(jù)時(shí)代對(duì)市場(chǎng)營(yíng)銷的機(jī)遇

3.2.1大數(shù)據(jù)營(yíng)銷的特點(diǎn)與價(jià)值

大數(shù)據(jù)營(yíng)銷的特點(diǎn)：I.數(shù)據(jù)采集多平臺(tái)化特點(diǎn)，即大數(shù)據(jù)時(shí)代下，大數(shù)據(jù)的數(shù)據(jù)大多來(lái)源于不同的領(lǐng)域、不同的渠道。II.時(shí)效性特點(diǎn)，隨著信息技術(shù)的急速發(fā)展，互聯(lián)網(wǎng)用戶消費(fèi)、購(gòu)物行為方式往往會(huì)瞬間出現(xiàn)轉(zhuǎn)變。國(guó)際先進(jìn)大數(shù)據(jù)營(yíng)銷企業(yè)AdTime基于此大數(shù)據(jù)營(yíng)銷特點(diǎn)，采取了時(shí)間營(yíng)銷措施，即采取相應(yīng)的技術(shù)方式全面獲悉用戶所需，于第一時(shí)間對(duì)用戶當(dāng)下的需求進(jìn)行回應(yīng)，以使用戶在下決心購(gòu)買的最佳時(shí)間及時(shí)看到對(duì)應(yīng)的產(chǎn)品廣告。III.個(gè)性化特點(diǎn)，在大數(shù)據(jù)時(shí)代下，廣告商傳統(tǒng)媒體導(dǎo)向的營(yíng)銷理念逐步由受眾導(dǎo)向取代，現(xiàn)如今，廣告商可應(yīng)用大數(shù)據(jù)了解用戶的地理方位，需求內(nèi)容等信息，達(dá)到對(duì)用戶個(gè)性化營(yíng)銷的目的。

大數(shù)據(jù)營(yíng)銷的價(jià)值：I.升級(jí)營(yíng)銷與用戶的匹配度，大數(shù)據(jù)營(yíng)銷不僅可提供給企業(yè)了解用戶有效的途徑，還能夠于網(wǎng)絡(luò)環(huán)境下，選取相關(guān)技術(shù)方法達(dá)到對(duì)用戶精確定位的目的，從而開展好營(yíng)銷工作，升級(jí)營(yíng)銷與用戶的匹配度。II.改善用戶體驗(yàn)，大數(shù)據(jù)營(yíng)銷促使企業(yè)真正意義上認(rèn)識(shí)到用戶及其所使用企業(yè)產(chǎn)品情況，以給予用戶最人性化的提醒。

3.2.2大數(shù)據(jù)營(yíng)銷的應(yīng)用

（1）與消費(fèi)者建立緊密關(guān)系

現(xiàn)如今，我國(guó)一些企業(yè)營(yíng)銷行為仍舊處于個(gè)性化定位信息、創(chuàng)意設(shè)計(jì)階段，而無(wú)法對(duì)不同消費(fèi)者展開個(gè)性化的營(yíng)銷活動(dòng)。大數(shù)據(jù)時(shí)代下，經(jīng)采用相關(guān)數(shù)據(jù)分析技術(shù)方法，基于對(duì)消費(fèi)群體喜好、傳媒接觸習(xí)慣等展開有效的分析，達(dá)到特定營(yíng)銷活動(dòng)明確開展的目的，實(shí)現(xiàn)企業(yè)精心開展的營(yíng)銷活動(dòng)精準(zhǔn)的輻射至目標(biāo)消費(fèi)群體處，與消費(fèi)者建立緊密關(guān)系，極大的改善營(yíng)銷效率、質(zhì)量[4]。

（2）掌握競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)

企業(yè)通過(guò)對(duì)競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)的有效掌握，獲悉競(jìng)爭(zhēng)對(duì)手發(fā)展?fàn)顩r，基于此幫助企業(yè)制定科學(xué)合理的產(chǎn)品價(jià)格，提升企業(yè)產(chǎn)品市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)。與此同時(shí)，企業(yè)務(wù)必要全面實(shí)施以事實(shí)為前提的決策手段，廣泛地應(yīng)用數(shù)據(jù)分析方式對(duì)企業(yè)每一個(gè)發(fā)展運(yùn)營(yíng)步驟進(jìn)行優(yōu)化，經(jīng)對(duì)企業(yè)一系列數(shù)據(jù)的充分優(yōu)化、對(duì)接，促使業(yè)務(wù)環(huán)節(jié)中潛在的價(jià)值得以被有效挖掘，降低生產(chǎn)成本，知己知彼，促使企業(yè)在日趨白熱化的市場(chǎng)競(jìng)爭(zhēng)中占據(jù)有利位置。

（3）挖掘企業(yè)內(nèi)部數(shù)據(jù)

“市場(chǎng)未動(dòng)，數(shù)據(jù)先行”儼然轉(zhuǎn)變?yōu)閲?guó)際上企業(yè)有效運(yùn)營(yíng)發(fā)展的一致認(rèn)識(shí)，為了提升企業(yè)管理效率，要求企業(yè)要充分挖掘企業(yè)內(nèi)部數(shù)據(jù)，并展開有效的整合、分析，以為企業(yè)相關(guān)人員做決策提供有利的參考依據(jù)，提升決策準(zhǔn)確性，促進(jìn)企業(yè)可持續(xù)發(fā)展。

3.2.4 企業(yè)的應(yīng)用案例——以亞馬遜為例

在應(yīng)用大數(shù)據(jù)開展市場(chǎng)營(yíng)銷方面，美國(guó)亞馬遜公司一直處于領(lǐng)先地位。亞馬遜研發(fā)出“用戶未下單，先發(fā)貨”功能，即結(jié)合用戶的購(gòu)物需求數(shù)據(jù)信息，分析用戶想要購(gòu)買的產(chǎn)品，達(dá)到用戶未下單，提前發(fā)貨的目的。此外，亞馬遜通過(guò)對(duì)用戶檢索信息的分析，評(píng)估流感的傳播，但這僅僅為海量檢索數(shù)據(jù)中的一項(xiàng)用途，相同的數(shù)據(jù)能夠應(yīng)用于預(yù)測(cè)大選結(jié)果、預(yù)測(cè)某類產(chǎn)品市場(chǎng)行情等等，極大地降低了統(tǒng)計(jì)成本[5]。

3.3大數(shù)據(jù)時(shí)代對(duì)市場(chǎng)營(yíng)銷的挑戰(zhàn)

3.3.1信息收集

大數(shù)據(jù)并非就是對(duì)數(shù)據(jù)信息展開盲目的收集，即便收集了再多的數(shù)據(jù)，倘若這些數(shù)據(jù)并非是市場(chǎng)營(yíng)銷所需要的，如此便會(huì)導(dǎo)致前期收集來(lái)的數(shù)據(jù)信息，變成一堆“數(shù)據(jù)垃圾”。鑒于此，為了避免這一情況發(fā)生，務(wù)必要充分分析業(yè)務(wù)需求，再對(duì)自身存在價(jià)值的數(shù)據(jù)展開收集、歸納，如此方可實(shí)現(xiàn)大數(shù)據(jù)的有效收集應(yīng)用。

3.3.2經(jīng)驗(yàn)與數(shù)據(jù)

數(shù)據(jù)采集完畢后，面對(duì)參差不齊的數(shù)據(jù)，還應(yīng)當(dāng)做好數(shù)據(jù)評(píng)估工作，評(píng)估對(duì)何種目標(biāo)受眾開展市場(chǎng)營(yíng)銷工作。鑒于此，要求采取科學(xué)合理的手段，將這些參差不齊的數(shù)據(jù)整合成可被市場(chǎng)營(yíng)銷實(shí)踐應(yīng)用的，經(jīng)結(jié)合過(guò)去的經(jīng)驗(yàn)，與采集數(shù)據(jù)進(jìn)行有機(jī)融合，實(shí)現(xiàn)對(duì)目標(biāo)受眾的有效分析確定。

3.3.3分析與優(yōu)化

數(shù)據(jù)分析，一方面是實(shí)現(xiàn)數(shù)據(jù)優(yōu)化，一方面是進(jìn)行決策層面上的調(diào)整、轉(zhuǎn)變。此環(huán)節(jié)對(duì)于專業(yè)人才的需求提出了嚴(yán)苛的挑戰(zhàn)。數(shù)據(jù)分析、數(shù)據(jù)優(yōu)化對(duì)于專業(yè)人才的知識(shí)框架要求大不相同，這要求相關(guān)企業(yè)不僅要培養(yǎng)專業(yè)的數(shù)據(jù)分析人才，還要打造數(shù)據(jù)優(yōu)化人才隊(duì)伍。

3.4大數(shù)據(jù)營(yíng)銷的未來(lái)發(fā)展趨勢(shì)

信息技術(shù)不斷發(fā)展，單一媒體導(dǎo)向的“消費(fèi)者碎片化”儼然無(wú)法達(dá)到企業(yè)對(duì)于數(shù)據(jù)多樣性的需求。大數(shù)據(jù)時(shí)代下，媒體的跨界融合實(shí)現(xiàn)對(duì)“碎片化”受眾的充分聚合。在科學(xué)技術(shù)技術(shù)不斷進(jìn)步的背景下，跨媒介、跨平臺(tái)、跨終端的多途徑將不斷被開拓，將使龐大的數(shù)據(jù)信息獲取多維度的整合，并且在多樣化網(wǎng)絡(luò)環(huán)境下，消費(fèi)者主觀信息與客觀數(shù)據(jù)有機(jī)融合，構(gòu)筑全面用戶數(shù)據(jù)庫(kù)環(huán)節(jié)，將成為未來(lái)大數(shù)據(jù)營(yíng)銷發(fā)展的必然趨勢(shì)[6]。

4.結(jié)束語(yǔ)

總而言之，大數(shù)據(jù)為傳統(tǒng)統(tǒng)計(jì)學(xué)帶來(lái)了嚴(yán)峻的考驗(yàn)，也為傳統(tǒng)統(tǒng)計(jì)學(xué)有效發(fā)展創(chuàng)造了良好的契機(jī)。在大數(shù)據(jù)時(shí)代發(fā)展潮流中，我們應(yīng)當(dāng)充分的認(rèn)識(shí)到大數(shù)據(jù)對(duì)于傳統(tǒng)統(tǒng)計(jì)學(xué)而言，是補(bǔ)充而不是更替，構(gòu)建于樣本統(tǒng)計(jì)、預(yù)測(cè)分析內(nèi)容上的傳統(tǒng)統(tǒng)計(jì)學(xué)，仍舊于社會(huì)統(tǒng)計(jì)、經(jīng)濟(jì)分析中占據(jù)著主導(dǎo)位置。大數(shù)據(jù)時(shí)代下，為了實(shí)現(xiàn)企業(yè)市場(chǎng)營(yíng)銷的有效開展，相關(guān)人員務(wù)必要不斷專研研究、總結(jié)經(jīng)驗(yàn)，全面分析大數(shù)據(jù)與統(tǒng)計(jì)學(xué)的對(duì)比，充分認(rèn)識(shí)大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇，“與消費(fèi)者建立緊密關(guān)系”、“掌握競(jìng)爭(zhēng)對(duì)手?jǐn)?shù)據(jù)”、“挖掘企業(yè)內(nèi)部數(shù)據(jù)”等，積極促進(jìn)企業(yè)市場(chǎng)營(yíng)銷的科學(xué)合理化。

（作者單位：中國(guó)人民大學(xué)）

參考文獻(xiàn)：

[1] He Y，Geng Z.Active learning of causal networks with intervention experiments and optimal designs[J].J Machine Learning Research，2009，（09）：2523-2547.

[2] 游士兵，張 佩，姚雪梅.大數(shù)據(jù)對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)和機(jī)遇[J].珞珈管理評(píng)論，2013，（02）：165-171.

[3] Deng K，Geng Z，Lin J.Association Pattern Discovery via Theme Dictionary Models[J].To appear in J Royal Statist Soc B，2013，（2）：162-163.

[4] 邱 東.大數(shù)據(jù)時(shí)代對(duì)統(tǒng)計(jì)學(xué)的挑戰(zhàn)[J].統(tǒng)計(jì)研究，2014，31（01）：16-22.

[5] B.Zhu，L.Xu，D.Faries，et al.PMH83 Comparison of Total Health Care Costs Between Remitters and Non-Remitters for Schizophrenia Patients from a Prospective Longitudinal，Observational Study in the Presence of Missing Data[J].Value in Health，2012，15（4）：162-163.

[6] 耿 直.大數(shù)據(jù)時(shí)代統(tǒng)計(jì)學(xué)面臨的機(jī)遇與挑戰(zhàn)[J].統(tǒng)計(jì)研究，2014，31（01）：5-9.