網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用現(xiàn)狀與前景

范欣楠

0 引言

近年來，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、三網(wǎng)融合等IT與通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)的快速增長(zhǎng)成了許多行業(yè)共同面對(duì)的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇。因而信息社會(huì)已經(jīng)進(jìn)入了網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代。大數(shù)據(jù)不僅改變著人們的生活與工作方式、企業(yè)的運(yùn)作模式，甚至還引起科學(xué)研究模式的根本性改變。國(guó)內(nèi)外涌現(xiàn)出一大批依靠商業(yè)模式創(chuàng)新而創(chuàng)造輝煌的企業(yè)：蘋果、IBM、Facebook、Google、亞馬遜、阿里巴巴等，縱觀這些商業(yè)模式創(chuàng)新的典范，可以看出這些企業(yè)的創(chuàng)新大都與無(wú)限接近消費(fèi)者有關(guān)、與跨界有關(guān)、都直接或間接地與信息數(shù)字化技術(shù)和互聯(lián)網(wǎng)有關(guān)，而大數(shù)據(jù)成為商業(yè)模式創(chuàng)新的基本時(shí)代背景。

對(duì)于大數(shù)據(jù)（Big Data），目前還沒有一個(gè)權(quán)威的定義，其基本上應(yīng)包括三層含義：一是，社會(huì)生活泛數(shù)據(jù)化，互聯(lián)網(wǎng)化將受眾的各種信息數(shù)據(jù)都暴露在網(wǎng)絡(luò)之上；二是，數(shù)據(jù)規(guī)模及生成速度之大，數(shù)據(jù)信息傳播方式也由單中心、單向傳播向多中心、網(wǎng)狀裂變轉(zhuǎn)變，數(shù)據(jù)量呈爆炸式增長(zhǎng)；三是，大數(shù)據(jù)技術(shù)之大，隨著數(shù)據(jù)量級(jí)的飛躍，數(shù)據(jù)處理從關(guān)系型數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)、再到聯(lián)機(jī)分析、數(shù)據(jù)挖掘、數(shù)據(jù)可視化等迅猛發(fā)展。在各種技術(shù)不斷發(fā)展與演變的基礎(chǔ)之上大數(shù)據(jù)專門技術(shù)出現(xiàn)。

1 網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用

近幾年，網(wǎng)絡(luò)大數(shù)據(jù)越來越顯示出巨大的影響作用，正在改變著人們的工作與生活。2012年11月“時(shí)代”雜志撰文指出奧巴馬總統(tǒng)連任成功背后的秘密，其中的關(guān)鍵是對(duì)過去兩年來相關(guān)網(wǎng)絡(luò)數(shù)據(jù)的搜集、分析和挖掘。Ebay的分析平臺(tái)每天處理的數(shù)據(jù)量高達(dá)100pb，超過了納斯達(dá)克交易所每天的數(shù)據(jù)處理量。為了準(zhǔn)確分析用戶的購(gòu)物行為，Ebay定義了超過500種類型的數(shù)據(jù)，對(duì)顧客的行為進(jìn)行跟蹤分析。而由阿里巴巴推出的“雙十一”，現(xiàn)在已經(jīng)毫不低調(diào)地潛入了全球各地，標(biāo)志著“雙十一”成功走向國(guó)際化。截至11日24時(shí)，全網(wǎng)總銷售額1229.4億，比2014年增長(zhǎng)52.7%，產(chǎn)生包裹數(shù)6.8億個(gè)。天貓“雙十一”單日交易總額達(dá)到921.17億元，再次取得突破性成功。這些應(yīng)用的實(shí)現(xiàn)，得益于企業(yè)對(duì)其往年的情況，特別是用戶的消費(fèi)習(xí)慣、搜索習(xí)慣以及瀏覽習(xí)慣等數(shù)據(jù)所進(jìn)行的綜合分析。大體來說，網(wǎng)絡(luò)的大數(shù)據(jù)的應(yīng)用包括以下方面：

（1）大數(shù)據(jù)為企業(yè)獲得消費(fèi)者的真實(shí)需求提供可能。利用網(wǎng)絡(luò)大數(shù)據(jù)，企業(yè)能夠洞悉消費(fèi)者的真實(shí)需求，對(duì)消費(fèi)者進(jìn)行準(zhǔn)確細(xì)分，并將企業(yè)產(chǎn)品進(jìn)行即時(shí)、精準(zhǔn)、動(dòng)態(tài)定位。零售業(yè)就是一個(gè)典型的數(shù)據(jù)驅(qū)動(dòng)定制化的行業(yè)，目前在線零售商利用實(shí)時(shí)數(shù)據(jù)提供精準(zhǔn)的商品推介已經(jīng)十分普遍。

（2）企業(yè)業(yè)務(wù)活動(dòng)的“大數(shù)據(jù)”化。比如，電子商務(wù)，就是將傳統(tǒng)的商業(yè)流通交易流程用網(wǎng)絡(luò)數(shù)據(jù)交換替換的結(jié)果。

（3）大數(shù)據(jù)帶來的消費(fèi)者對(duì)商品需求從擁有商品變成使用商品。出售模式改為出租模式，與此相對(duì)應(yīng)的收益模式從一次性支付向微支付轉(zhuǎn)變。在軟件行業(yè)，應(yīng)用軟件泛互聯(lián)網(wǎng)化改變了消費(fèi)者獲得和使用軟件的方式，例如，開源軟件模式、AppStore模式等。企業(yè)利用“門戶化”建立排他性，提高客戶粘性。

目前以數(shù)據(jù)產(chǎn)品為基本提供物的數(shù)據(jù)公司，按照其不同定位，可以分為三種基本商業(yè)模式：

（1）數(shù)據(jù)租售模式，是向客戶提供原始數(shù)據(jù)的租售，對(duì)數(shù)據(jù)進(jìn)行采集、傳輸和整理。例如，2010年在深圳中小板上市的四維圖新公司，精準(zhǔn)的導(dǎo)航數(shù)據(jù)是公司的核心產(chǎn)品，這家公司因此成為國(guó)內(nèi)第一家上市的導(dǎo)航電子地圖生產(chǎn)企業(yè)。

（2）信息租售模式，是向客戶提供代表某種主題的相關(guān)數(shù)據(jù)集，諸如數(shù)據(jù)包租售等。例如，彭博（Bloomberg）公司，核心競(jìng)爭(zhēng)力在于積累了豐富的金融行業(yè)數(shù)據(jù)和交易數(shù)據(jù)，擁有強(qiáng)大的專家和咨詢網(wǎng)絡(luò)，構(gòu)建了整合專業(yè)服務(wù)與媒體服務(wù)的全球性服務(wù)平臺(tái)。

（3）知識(shí)租售模式，為客戶提供一體化的業(yè)務(wù)問題解決方案，其關(guān)鍵流程是將大數(shù)據(jù)與行業(yè)知識(shí)利用相結(jié)合，通過行業(yè)專家深度介入客戶的業(yè)務(wù)流程提供業(yè)務(wù)問題解決方案。比如，為銀行信用卡部門設(shè)計(jì)新的產(chǎn)品和營(yíng)銷方案，幫助保險(xiǎn)部門確定壽險(xiǎn)、車險(xiǎn)等的賠率，幫助投行確定應(yīng)該對(duì)哪些用戶推出新的產(chǎn)品等等。

（4）應(yīng)用租售模式。這一模式建立在“大數(shù)據(jù)”行業(yè)垂直整合的基礎(chǔ)上，需要企業(yè)與客戶進(jìn)行深度合作，其價(jià)值主張是為客戶提供一體化的問題解決方案。例如，IBM公司，已經(jīng)由硬件供應(yīng)商轉(zhuǎn)變?yōu)榉?wù)提供商，提出為用戶提供完整解決方案的價(jià)值主張。面對(duì)大數(shù)據(jù)的到來，又提出“智慧地球”的愿景，部署自己的“大數(shù)據(jù)”戰(zhàn)略。通過收購(gòu)SPSS、Cognos等公司，使公司業(yè)務(wù)極大擴(kuò)展和豐富。

總之，網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用是基于數(shù)據(jù)，基于互聯(lián)網(wǎng)等技術(shù)的普及，和新技術(shù)在用戶生活中的極大滲透，正如谷歌研究部主任彼得·諾維奇所說，“我們沒有更好的算法，我們只有更多的數(shù)據(jù)”。

2 網(wǎng)絡(luò)大數(shù)據(jù)帶來的挑戰(zhàn)

網(wǎng)絡(luò)大數(shù)據(jù)面臨著來自諸多方面的挑戰(zhàn)：復(fù)雜性、不確定性和隨機(jī)涌現(xiàn)性，而根本挑戰(zhàn)在于其復(fù)雜性。復(fù)雜性造成網(wǎng)絡(luò)大數(shù)據(jù)存儲(chǔ)、分析、挖掘等多個(gè)環(huán)節(jié)的困難。

2.1 數(shù)據(jù)類型復(fù)雜性

信息技術(shù)的發(fā)展使得數(shù)據(jù)產(chǎn)生的途徑不斷增加，數(shù)據(jù)類型持續(xù)增多。相應(yīng)地，則需要開發(fā)新的數(shù)據(jù)采集、存儲(chǔ)與處理技術(shù)，給傳統(tǒng)的文本挖掘帶來很大的困難。另一方面，不同數(shù)據(jù)類型的有機(jī)融合給傳統(tǒng)的數(shù)據(jù)處理方法帶來了新的挑戰(zhàn)。

2.2 數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性

傳統(tǒng)上處理的數(shù)據(jù)對(duì)象都是有結(jié)構(gòu)的，能夠存儲(chǔ)到關(guān)系數(shù)據(jù)庫(kù)中，但隨著數(shù)據(jù)生成方式的多樣化，如社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等技術(shù)的發(fā)展和應(yīng)用，非結(jié)構(gòu)化數(shù)據(jù)成為大數(shù)據(jù)的主流形式。目前相關(guān)的研究熱點(diǎn)包括開發(fā)非關(guān)系型數(shù)據(jù)庫(kù)（如Google的BigTable，開源的HBase等）來存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)。Google提出了MapReduce計(jì)算框架，Yahoo！、Facebook等公司在此基礎(chǔ)上實(shí)現(xiàn)了Hadoop、Hive之類的分布式架構(gòu)，對(duì)非結(jié)構(gòu)化數(shù)據(jù)做基本的分析工作。

國(guó)內(nèi)各大公司和科研單位也啟動(dòng)了用于支撐非結(jié)構(gòu)化處理的基礎(chǔ)設(shè)施研發(fā)，如百度的云計(jì)算平臺(tái)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所的凌云（LingCloud）系統(tǒng)等。

2.3 數(shù)據(jù)模式的復(fù)雜性

隨著數(shù)據(jù)規(guī)模的增大，描述和刻畫數(shù)據(jù)的特征必然隨之增大，而由其組成的數(shù)據(jù)內(nèi)在模式將會(huì)以指數(shù)形式增長(zhǎng)。這種面向多模式學(xué)習(xí)的研究則需要綜合利用各個(gè)方面的知識(shí)。

3 大數(shù)據(jù)的發(fā)展前景

據(jù)著名咨詢公司IDC發(fā)布的研究報(bào)告，未來10年全球大數(shù)據(jù)將增加50倍，管理數(shù)據(jù)倉(cāng)庫(kù)的服務(wù)器的數(shù)量將增加10倍以迎合50倍的大數(shù)據(jù)增長(zhǎng)。網(wǎng)絡(luò)大數(shù)據(jù)不僅數(shù)據(jù)量大、類型繁多，為未來的商業(yè)社會(huì)和個(gè)人生活提供了無(wú)限可能和機(jī)遇，同時(shí)也帶來了諸多挑戰(zhàn)。大數(shù)據(jù)將包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。在現(xiàn)代互聯(lián)網(wǎng)應(yīng)用中，表現(xiàn)出非結(jié)構(gòu)化數(shù)據(jù)大幅增長(zhǎng)的特點(diǎn)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動(dòng)計(jì)算和傳感器等新技術(shù)的不斷涌現(xiàn)和應(yīng)用。再次，網(wǎng)絡(luò)大數(shù)據(jù)往往呈現(xiàn)出突發(fā)涌現(xiàn)等非線性狀態(tài)演變現(xiàn)象。因此難以對(duì)其變化進(jìn)行有效評(píng)估和預(yù)測(cè)。網(wǎng)絡(luò)大數(shù)據(jù)還常常以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性，用戶只有把握好對(duì)數(shù)據(jù)流的掌控才能充分利用這些數(shù)據(jù)。

如果說上一輪網(wǎng)絡(luò)大數(shù)據(jù)的應(yīng)用是基于泛互聯(lián)網(wǎng)化，那么新一輪的應(yīng)用將要建立在超越互聯(lián)網(wǎng)、超越大數(shù)據(jù)的思維之上。連接、跨界、融合，不僅帶來許多新的商業(yè)模式，而且使行業(yè)邊界呈現(xiàn)模糊化趨勢(shì)。

【參考文獻(xiàn)】

[1]王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2013年6月第36卷第6期.

[2]李文蓮，夏健明.基于“大數(shù)據(jù)”的商業(yè)模式創(chuàng)新[J].中國(guó)工業(yè)經(jīng)濟(jì)，2013年5月第5期.

[3]http：//review.ec.com.cn（中國(guó)國(guó)際電子商務(wù)網(wǎng)）[OL].

[4]http：//www.china-cloud.com（中云網(wǎng)）[OL].

[責(zé)任編輯：王楠]