大數(shù)據(jù)，未來(lái)的“新石油”

本刊記者 王寅

隨著數(shù)據(jù)存儲(chǔ)和分析的成本越降越低，大數(shù)據(jù)將在人類社會(huì)大展拳腳。

在電影《點(diǎn)球成金》中，用經(jīng)驗(yàn)思考的教練和球探敗給了用數(shù)據(jù)分析來(lái)做出判斷的數(shù)學(xué)系高材生。雖然這部2012年最受歡迎的體育電影講述的是一個(gè)虛構(gòu)的故事，但它卻將數(shù)據(jù)分析這種看似陌生的工具與普通人所熟悉的事物——棒球比賽完美地融合在一起。數(shù)據(jù)挖掘與分析在社會(huì)中扮演的角色越來(lái)越重要，隨著數(shù)據(jù)存儲(chǔ)和分析的成本越降越低，大數(shù)據(jù)將在人類社會(huì)大展拳腳。

中國(guó)工程院院士鄔賀銓在1月11日舉行的“2013中國(guó)智慧城市年會(huì)”上說(shuō)，“大數(shù)據(jù)指無(wú)法在允許的時(shí)間里用常規(guī)的軟件工具對(duì)內(nèi)容進(jìn)行抓取、管理和處理的非結(jié)構(gòu)性數(shù)據(jù)集合?！钡珜?duì)于大多數(shù)不了解IT技術(shù)的人而言，這個(gè)定義實(shí)在太深?yuàn)W了。

到底什么是大數(shù)據(jù)？它對(duì)我們的日常生活產(chǎn)生了什么影響？

大數(shù)據(jù)幫你省機(jī)票錢(qián)

逢年過(guò)節(jié)，買(mǎi)票總是一件讓人頭疼的事情。火車(chē)票難買(mǎi)，飛機(jī)票的供應(yīng)雖然相對(duì)沒(méi)那么緊張，但如果剛付完錢(qián)機(jī)票價(jià)格就下跌，你肯定多多少少會(huì)郁悶一會(huì)兒。

什么時(shí)候買(mǎi)機(jī)票比較便宜？“當(dāng)然是越早訂票越便宜?！眮?lái)自安徽的李梓豪毫不猶豫地對(duì)記者說(shuō)，“我去年12月就訂好了今年5月飛巴厘島的機(jī)票，雙人往返才3000多塊錢(qián)！”對(duì)于能淘到便宜機(jī)票這件事，李梓豪絲毫不掩飾自己的喜悅。

不過(guò)，中國(guó)南方航空公司某位熟悉機(jī)票價(jià)格制定機(jī)制的工作人員告訴記者：“越早訂票越便宜”并不是百試不爽的箴言，“在國(guó)內(nèi)市場(chǎng)有時(shí)會(huì)出現(xiàn)一些不理智的‘價(jià)格戰(zhàn)’，所以相對(duì)于國(guó)際航班而言，國(guó)內(nèi)航班發(fā)生越臨近起飛票價(jià)越便宜的概率更大。另外，雖然我們也會(huì)根據(jù)往年的銷(xiāo)售情況預(yù)先出售淡季的特價(jià)票，但是航空公司給出的折扣可能并沒(méi)有達(dá)到消費(fèi)者的預(yù)期，因此仍然有可能出現(xiàn)機(jī)票價(jià)格下跌的情況?！?/p>

正是由于機(jī)票可能越賣(mài)越便宜，才出現(xiàn)了能夠幫助人們預(yù)測(cè)未來(lái)機(jī)票價(jià)格走勢(shì)的Farecast公司。

2003年的一天，華盛頓大學(xué)的計(jì)算機(jī)專家?jiàn)W倫·埃齊奧尼準(zhǔn)備乘坐飛機(jī)從西雅圖前往洛杉磯。他跟李梓豪一樣，出發(fā)前好幾個(gè)月就預(yù)訂了機(jī)票。他一直對(duì)自己這種“明智”的決定感到十分得意?？墒牵?dāng)?shù)弥宰某丝捅人碛喥保?gòu)機(jī)票價(jià)格卻比他便宜得多時(shí)，他感到非常氣憤。

下了飛機(jī)之后，奧倫·埃齊奧尼仍然對(duì)這件事“耿耿于懷”。于是，他建立了一個(gè)幫助乘客預(yù)測(cè)機(jī)票價(jià)格走勢(shì)的系統(tǒng)。這個(gè)系統(tǒng)能夠從機(jī)票預(yù)訂數(shù)據(jù)庫(kù)中抓取數(shù)據(jù)，并根據(jù)每一條航線上每一架飛機(jī)的每一個(gè)座位一年內(nèi)的綜合票價(jià)記錄，對(duì)未來(lái)機(jī)票的行情進(jìn)行分析預(yù)測(cè)。如果一張機(jī)票的平均價(jià)格呈下降趨勢(shì)，系統(tǒng)就會(huì)提示用戶不要急著購(gòu)票。這便是Farecast公司的前身。

“到2012年為止，F(xiàn)arecast系統(tǒng)使用了近十萬(wàn)億條價(jià)格記錄來(lái)幫助預(yù)測(cè)美國(guó)國(guó)內(nèi)航班的票價(jià)?！迸＝虼髮W(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管專業(yè)教授維克托·邁爾-舍恩伯格在《大數(shù)據(jù)時(shí)代》中寫(xiě)下了這個(gè)驚人的數(shù)字，“平均每張機(jī)票可為旅客節(jié)省50美元。”如今，F(xiàn)arecast已被微軟收購(gòu)，并被整合至必應(yīng)搜索引擎。如果你要購(gòu)買(mǎi)美國(guó)、加拿大、歐洲和加勒比地區(qū)的機(jī)票，它很可能讓你省下一筆費(fèi)用。

Farecast所使用的這十萬(wàn)億條價(jià)格記錄，就是大數(shù)據(jù)的一種。不過(guò)，大數(shù)據(jù)不僅僅限于這種數(shù)字記錄。湯森路透旗下全球戰(zhàn)略市場(chǎng)集團(tuán)總裁任善可說(shuō)：“我們通過(guò)專業(yè)記者團(tuán)隊(duì)和固定的信息收集途徑獲得文字、圖片、報(bào)告等形式的數(shù)據(jù)，將它們轉(zhuǎn)換為相關(guān)的觀點(diǎn)提供給大客戶，以顯示金融波動(dòng)和商業(yè)機(jī)會(huì)?！比紊瓶伤f(shuō)的這些文字、圖片以及人們?cè)谌粘Ｉ钪兴佑|的音頻、微博消息、手機(jī)導(dǎo)航信息、社交網(wǎng)站討論甚至街頭的交通監(jiān)控視頻等非數(shù)字形式的信息，都屬于大數(shù)據(jù)的范疇。

目前，大數(shù)據(jù)的標(biāo)準(zhǔn)是：?jiǎn)我粩?shù)據(jù)集的大小在幾十個(gè)TB（萬(wàn)億字節(jié)）和幾個(gè)PB（千萬(wàn)億字節(jié)）之間。這究竟有多大？一部一小時(shí)左右的標(biāo)準(zhǔn)清晰度電影的大小約為1GB，1TB=1024GB，1PB=1024TB。淘寶網(wǎng)每天單日數(shù)據(jù)產(chǎn)生量超過(guò)50TB，存儲(chǔ)量超過(guò)40PB；中國(guó)聯(lián)通用戶上網(wǎng)記錄每月一萬(wàn)億條，對(duì)應(yīng)數(shù)據(jù)量約300TB。

流感可以被預(yù)測(cè)

這些龐大的數(shù)據(jù)除了可以幫人們省點(diǎn)機(jī)票錢(qián)，還有很多沒(méi)被老百姓注意到的用處。

去年12月31日以來(lái)，北京市有兩人因感染甲型H1N1流感死亡。這讓人們不禁回想起2009年的甲流大流行。對(duì)當(dāng)時(shí)的人們來(lái)說(shuō)，甲型流感病毒是一種全新的病毒。因此，在科學(xué)家研制出對(duì)抗這種新型病毒的疫苗之前，疾控部門(mén)只能用隔離等物理手段減緩它的傳播速度，但前提是搞清楚傳染源的位置。

可是疾控部門(mén)接收各地傳回的數(shù)據(jù)需要一定的時(shí)間，當(dāng)疾控部門(mén)獲得數(shù)據(jù)時(shí)，已經(jīng)落后于疾病的傳播腳步了。而谷歌公司通過(guò)收集并分析人們?cè)诠雀杷阉饕嫔系乃阉饔涗洠皶r(shí)并準(zhǔn)確地判斷出了傳染源所在地。

谷歌基于每天來(lái)自全球的30多億條搜索指令設(shè)立了一個(gè)系統(tǒng)，這個(gè)系統(tǒng)在2009年甲流爆發(fā)之前就開(kāi)始對(duì)美國(guó)各地區(qū)進(jìn)行“流感預(yù)報(bào)”，并推出了“谷歌流感趨勢(shì)”服務(wù)。谷歌在這項(xiàng)服務(wù)的產(chǎn)品介紹中寫(xiě)道：搜索流感相關(guān)主題的人數(shù)與實(shí)際患有流感癥狀的人數(shù)之間存在著密切的關(guān)系。雖然并非每個(gè)搜索“流感”的人都患有流感，但谷歌發(fā)現(xiàn)了一些檢索詞條的組合并用特定的數(shù)學(xué)模型對(duì)其進(jìn)行分析后發(fā)現(xiàn)，這些分析結(jié)果與傳統(tǒng)流感監(jiān)測(cè)系統(tǒng)監(jiān)測(cè)結(jié)果的相關(guān)性高達(dá)97%。“這也就表示，谷歌公司能做出與疾控部門(mén)同樣準(zhǔn)確的傳染源位置判斷，并且在時(shí)間上提前了一到兩周。” 維克托·邁爾·舍恩伯格如此說(shuō)道。

正如“流感趨勢(shì)”產(chǎn)品首席工程師杰里米·金斯堡所說(shuō)的那樣，“這是一種有趣的、獨(dú)特的追蹤疾病暴發(fā)情況的途徑?！惫雀柙?009年甲流暴發(fā)期間，為公共衛(wèi)生機(jī)構(gòu)提供了更及時(shí)且同樣有效的疫情數(shù)據(jù)。美中不足的是，目前谷歌不提供中國(guó)的流感趨勢(shì)預(yù)測(cè)服務(wù)，國(guó)內(nèi)的搜索引擎公司也沒(méi)有提供類似的服務(wù)。

大數(shù)據(jù)的影響不僅僅限于航空和衛(wèi)生領(lǐng)域。例如，在電子商務(wù)領(lǐng)域，對(duì)消費(fèi)者購(gòu)物習(xí)慣數(shù)據(jù)的分析可以讓電子商務(wù)公司做到精確推薦關(guān)聯(lián)產(chǎn)品、管理庫(kù)存和快遞運(yùn)輸服務(wù)。雖然對(duì)用戶的數(shù)據(jù)挖掘也同時(shí)會(huì)帶來(lái)隱私保護(hù)等方面的問(wèn)題，但大數(shù)據(jù)給人類社會(huì)帶來(lái)的好處是顯而易見(jiàn)的。正如中國(guó)科學(xué)院院長(zhǎng)白春禮在中國(guó)科學(xué)院大學(xué)“中國(guó)科學(xué)與人文論壇”上所說(shuō)的，信息網(wǎng)絡(luò)領(lǐng)域有可能是新一次科技革命的突破口，而大數(shù)據(jù)就是“未來(lái)的新石油”。