淺談大數(shù)據(jù)及其應(yīng)用

李迪

摘 要 大數(shù)據(jù)，或稱巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。

關(guān)鍵詞 大數(shù)據(jù) 應(yīng)用

中圖分類號(hào)：TG335 文獻(xiàn)標(biāo)識(shí)碼：A

似乎一夜之間，大數(shù)據(jù)（BigData）變成了IT行業(yè)中非常時(shí)髦的一個(gè)詞語(yǔ)。其實(shí)大數(shù)據(jù)并不完全是一個(gè)新事物，例如google的搜索服務(wù)就是一個(gè)非常典型的大數(shù)據(jù)的應(yīng)用，它會(huì)根據(jù)你的需求，實(shí)現(xiàn)實(shí)時(shí)從全球的海量信息中快速的尋找出最可能的答案，然后呈現(xiàn)給你，這 就是一個(gè)非常典型的關(guān)于大數(shù)據(jù)的服務(wù)。

大數(shù)據(jù)的意義是由人類日益普及的網(wǎng)絡(luò)行為所伴生的，受到相關(guān)部門、企業(yè)采集的，蘊(yùn)含數(shù)據(jù)生產(chǎn)者真實(shí)意圖、喜好的，非傳統(tǒng)結(jié)構(gòu)和意義的數(shù)據(jù) 。2013年5月10日，阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會(huì)上，將卸任阿里集團(tuán)CEO的職位，并在晚會(huì)上做卸任前的演講，馬云說(shuō)，大家還沒(méi)搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來(lái)了，還沒(méi)搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來(lái)了。

從海量數(shù)據(jù)中“提純”出有用的信息，這對(duì)網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)處理能力而言也是巨大的挑戰(zhàn)。在經(jīng)歷了幾年的批判、質(zhì)疑、討論、炒作之后，大數(shù)據(jù)終于迎來(lái)了屬于它的時(shí)代。2012年3月22日，奧巴馬政府宣布投資2億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家戰(zhàn)略。奧巴馬政府甚至將大數(shù)據(jù)定義為“未來(lái)的新石油”。

大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒(méi)有必要神話它或?qū)λ３志次分模谝栽朴?jì)算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會(huì)逐步為人類創(chuàng)造更多的價(jià)值。

大多數(shù)傳統(tǒng)BI工具都受到以下兩個(gè)方面的局限：

首先，它們都是“預(yù)設(shè)-抓取”工具，由分析師預(yù)先確定收集什么數(shù)據(jù)用于分析。

其次，它們都專注于報(bào)告“已知的未知”（Known unknowns），也就是我們知道問(wèn)題是什么，然后去找答案。（而大數(shù)據(jù)會(huì)給而大數(shù)據(jù)會(huì)給出一些未知的未知，也就是你沒(méi)有想到的一些問(wèn)題的結(jié)果）。傳統(tǒng)BI工具主要用于企業(yè)運(yùn)營(yíng)，側(cè)重于成本控制和計(jì)劃執(zhí)行報(bào)告。而大數(shù)據(jù)技術(shù)最主要的功能/應(yīng)用是ETL（Extract、Transform、Load）。將近80%的Hadoop應(yīng)用都與ETL有關(guān)，例如在導(dǎo)入Vertica這樣的分析數(shù)據(jù)庫(kù)之前對(duì)日志文件或傳感器數(shù)據(jù)的處理。

今天計(jì)算和存儲(chǔ)硬件變得非常便宜，配合大量的開源大數(shù)據(jù)工具，人們可以非?！吧莩蕖钡叵茸ト〈罅繑?shù)據(jù)再考慮分析命題?？梢哉f(shuō)，低廉的計(jì)算資源正在改變我們使用數(shù)據(jù)的方式。

此外，處理性能的大幅提高（例如內(nèi)存計(jì)算）使得實(shí)時(shí)互動(dòng)分析更加容易實(shí)現(xiàn)，而“實(shí)時(shí)”和“預(yù)測(cè)”將BI帶到了一個(gè)新的境界——未知的未知。這也是大數(shù)據(jù)分析與傳統(tǒng)BI之間最大的區(qū)別。

今天的大數(shù)據(jù)技術(shù)還處于戰(zhàn)國(guó)時(shí)期，未來(lái)幾年，隨著企業(yè)間的兼并和新產(chǎn)品的不斷推出，BI廠商們將能推出完善的，讓CEO感到滿意的“大數(shù)據(jù)套件”，但這并不意味著企業(yè)IT經(jīng)理們的工作將受到威脅。因?yàn)檎缭朴?jì)算在理想和現(xiàn)實(shí)間達(dá)成妥協(xié)一樣，大數(shù)據(jù)也會(huì)經(jīng)歷類似的發(fā)展過(guò)程。傳統(tǒng)的BI工具將與大數(shù)據(jù)分析并存。公共服務(wù)大數(shù)據(jù)另外一個(gè)重大的應(yīng)用領(lǐng)域是社會(huì)和政府。如今，數(shù)據(jù)挖掘已經(jīng)能夠預(yù)測(cè)疾病暴發(fā)、理解交通模型并改善教育。

今天，城市正面臨預(yù)算超支、基礎(chǔ)設(shè)施難題以及從農(nóng)村和郊區(qū)涌入的大量人口。這些都是非常緊迫的問(wèn)題，而城市，也正是大數(shù)據(jù)計(jì)劃的絕佳實(shí)驗(yàn)室。

以紐約這樣的大都市為例，政府公共數(shù)據(jù)公開化、以及市民生活的高度數(shù)字化（購(gòu)物、交通、醫(yī)療等）等都是大數(shù)據(jù)分析的理想對(duì)象。

客觀的市政數(shù)據(jù)，是消除爭(zhēng)端，維系公民社會(huì)的最佳紐帶。當(dāng)然，前提是讓公民能夠訪問(wèn)這些數(shù)據(jù)。蘋果的Siri和谷歌的Google Now都具備成為個(gè)人化助理的潛力。當(dāng)然，我們還需要更多的產(chǎn)品和技術(shù)讓數(shù)據(jù)分析結(jié)果更容易被公眾理解和接受（數(shù)據(jù)可視化）。此外，IBM的Watson以及Wolfram Alpha這樣的人工智能技術(shù)還能實(shí)現(xiàn)與用戶的互動(dòng)。

今天，智能手機(jī)（以及Twitter等社交網(wǎng)絡(luò)）的普及讓人類社會(huì)首次實(shí)現(xiàn)了公民的聯(lián)網(wǎng)。應(yīng)用程序商店實(shí)時(shí)上已經(jīng)打通了政府和公民之間的應(yīng)用層面的通道。（例如奧運(yùn)期間倫敦警察廳發(fā)布的iphone通緝程序）。伴隨著各國(guó)政務(wù)的數(shù)字化進(jìn)程，以及政務(wù)數(shù)據(jù)的透明化，公民將能準(zhǔn)確了解政府的運(yùn)作效率。這是不可逆轉(zhuǎn)的歷史潮流，同時(shí)也是大數(shù)據(jù)最具潛力的應(yīng)用領(lǐng)域之一。

大數(shù)據(jù)已經(jīng)與在線營(yíng)銷交織在一起，其應(yīng)用可以分為兩大類：

首先，從線上到線下。配備了NFC近場(chǎng)通訊技術(shù)的智能手機(jī)和基于位置的簽到正在成為營(yíng)銷人員的最新利器。他們將能跟蹤商場(chǎng)人流，把在線零售的分析優(yōu)化應(yīng)用于線下。

其次，數(shù)據(jù)分析工具將更加容易使用（面向中小企業(yè)應(yīng)用的大數(shù)據(jù)創(chuàng)業(yè)非?；鸨行∑髽I(yè)也許沒(méi)有BI平臺(tái)，但他們都有平板電腦和智能手機(jī)，移動(dòng)版客戶智能分析將會(huì)改變企業(yè)使用營(yíng)銷工具的方式。

大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，它將在眾多領(lǐng)域掀起變革的巨浪。但我們要冷靜的看到，大數(shù)據(jù)的核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價(jià)值，而不是軟硬件的堆砌。因此，針對(duì)不同領(lǐng)域的大數(shù)據(jù)應(yīng)用模式、商業(yè)模式研究將是大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展的關(guān)鍵。我們相信，在國(guó)家的統(tǒng)籌規(guī)劃與支持下，通過(guò)各地方政府因地制宜制定大數(shù)據(jù)產(chǎn)業(yè)發(fā)展策略，通過(guò)國(guó)內(nèi)外IT龍頭企業(yè)以及眾多創(chuàng)新企業(yè)的積極參與，大數(shù)據(jù)產(chǎn)業(yè)未來(lái)發(fā)展前景十分廣闊。