大數(shù)據(jù)關(guān)鍵技術(shù)及應(yīng)用研究

蔣曉科　符龍生　李健

摘要：隨著云計(jì)算時(shí)代的來(lái)臨，大數(shù)據(jù)引起越來(lái)越廣泛的關(guān)注，大數(shù)據(jù)技術(shù)在飛速發(fā)展，大數(shù)據(jù)的應(yīng)用領(lǐng)域也在不斷拓展。該文首先介紹了大數(shù)據(jù)的概念及其4V特點(diǎn)，接著介紹了大數(shù)據(jù)的關(guān)鍵技術(shù)及其應(yīng)用領(lǐng)域，最后對(duì)大數(shù)據(jù)的建設(shè)進(jìn)行了探討。

關(guān)鍵詞：大數(shù)據(jù)；云計(jì)算；分布式文件系統(tǒng)；數(shù)據(jù)挖掘

中圖分類(lèi)號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）08-0005-02

隨著信息技術(shù)的發(fā)展和互聯(lián)網(wǎng)應(yīng)用的拓展，特別是電子商務(wù)、社交平臺(tái)、智能終端等應(yīng)用的飛速發(fā)展，全世界每分每秒都在產(chǎn)生著巨量的數(shù)據(jù)，這些數(shù)據(jù)不再局限于結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)正在急劇增長(zhǎng)，如何對(duì)不同類(lèi)型的巨量數(shù)據(jù)進(jìn)行分析和處理，從而實(shí)現(xiàn)數(shù)據(jù)的巨大價(jià)值，正是大數(shù)據(jù)要思考和解決的問(wèn)題。

1 大數(shù)據(jù)概述

1.1 大數(shù)據(jù)的概念

大數(shù)據(jù)，又稱(chēng)巨量資料，是一個(gè)數(shù)據(jù)類(lèi)別和數(shù)據(jù)規(guī)模都特別大的數(shù)據(jù)集，這個(gè)大數(shù)據(jù)集，無(wú)法用傳統(tǒng)的工具在合理時(shí)間內(nèi)進(jìn)行抓取、管理和處理。

1.2 大數(shù)據(jù)的特點(diǎn)

大數(shù)據(jù)的首要特點(diǎn)，是數(shù)據(jù)規(guī)模大，此外，大數(shù)據(jù)同以往的海量數(shù)據(jù)有所不同，具有4V特點(diǎn)，即：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）。

1）Volume（大量）：大型數(shù)據(jù)集，指的是數(shù)據(jù)集的規(guī)模從TB級(jí)別，躍升到了PB級(jí)別。據(jù)IDC（互聯(lián)網(wǎng)數(shù)據(jù)中心）的報(bào)告，早在2011年，全球的數(shù)據(jù)總量就達(dá)到1.8ZB，而到了2020年，全球數(shù)據(jù)總量將增長(zhǎng)50倍。

2）Velocity（高速）：是指大量實(shí)時(shí)數(shù)據(jù)流的快速收集、創(chuàng)建、分析、處理、傳送的過(guò)程。通過(guò)高速的處理器和性能良好的服務(wù)器，企業(yè)能快速的將數(shù)據(jù)反饋給用戶(hù)。

3）Variety（多樣）：是指數(shù)據(jù)類(lèi)型的多樣性。隨著各種通信網(wǎng)絡(luò)的發(fā)展，數(shù)據(jù)來(lái)源更加豐富，數(shù)據(jù)類(lèi)型也不再局限于以前的結(jié)構(gòu)化數(shù)據(jù)，還包括了半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。如電子商務(wù)、社交平臺(tái)、智能終端、地理位置信息、網(wǎng)絡(luò)日志、互聯(lián)網(wǎng)搜索及傳感器網(wǎng)絡(luò)等都使得數(shù)據(jù)類(lèi)型更為多樣化。

4）Value（價(jià)值）：基于前三個(gè)特點(diǎn)對(duì)數(shù)據(jù)進(jìn)行管理，從龐大的數(shù)據(jù)中提煉出有價(jià)值的數(shù)據(jù)和信息，通過(guò)對(duì)未來(lái)的趨勢(shì)和模式做出預(yù)測(cè)等方式，形成巨大的商業(yè)價(jià)值。

2 大數(shù)據(jù)關(guān)鍵技術(shù)分析

大數(shù)據(jù)的概念，廣義而言，不僅僅是指數(shù)據(jù)規(guī)模，還包括了對(duì)數(shù)據(jù)進(jìn)行采集、分析、處理的一整套平臺(tái)系統(tǒng)和技術(shù)。從類(lèi)型繁多的巨量數(shù)據(jù)中，快速找出有價(jià)值數(shù)據(jù)和信息的技術(shù)，就是大數(shù)據(jù)技術(shù)。

1）云計(jì)算技術(shù)：隨著海量不同類(lèi)型碎片化數(shù)據(jù)的產(chǎn)生，常規(guī)的技術(shù)已經(jīng)不能勝任PB級(jí)大規(guī)模數(shù)據(jù)的計(jì)算，云計(jì)算技術(shù)的興起有效的解決了這一問(wèn)題，云計(jì)算技術(shù)可以說(shuō)是處理海量數(shù)據(jù)最為低成本和高效率解決方案，通過(guò)云計(jì)算技術(shù)，可以把海量分散的數(shù)據(jù)從手機(jī)端、電腦端及其他智能終端均傳送至云平臺(tái)，然后再通過(guò)一個(gè)大規(guī)模的分布式系統(tǒng)加以高效分析和計(jì)算，提煉出富有價(jià)值的數(shù)據(jù)和信息。

2）分布式文件系統(tǒng)：Hadoop 是一個(gè)由Apache基金會(huì)開(kāi)發(fā)的，用于處理龐大數(shù)據(jù)集的分布式系統(tǒng)架構(gòu)，其特點(diǎn)是高吞吐量、高容錯(cuò)性、硬件成本低廉、開(kāi)源等，可以存儲(chǔ)巨量數(shù)據(jù)，并通過(guò)MapReduce對(duì)巨量數(shù)據(jù)進(jìn)行計(jì)算。

3）分布式數(shù)據(jù)庫(kù)系統(tǒng)：傳統(tǒng)的關(guān)系模型數(shù)據(jù)庫(kù)已經(jīng)難以適用于大數(shù)據(jù)時(shí)代，主要原因是：傳統(tǒng)的數(shù)據(jù)庫(kù)傾向于采用縱向擴(kuò)展的方式，這種方式下性能的增加遠(yuǎn)低于數(shù)據(jù)的增加速度，而大數(shù)據(jù)時(shí)代的數(shù)據(jù)遠(yuǎn)遠(yuǎn)超出單機(jī)處理能力，而為了具有更好的擴(kuò)展性，大數(shù)據(jù)采用數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)該是橫向發(fā)展的；在大數(shù)據(jù)時(shí)代數(shù)據(jù)的存在的形式是多樣的，各種半結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)是大數(shù)據(jù)的重要組成部分，如何有效利用如此海量且種類(lèi)繁多的數(shù)據(jù)時(shí)大數(shù)據(jù)時(shí)代數(shù)據(jù)庫(kù)的一大挑戰(zhàn)；在大數(shù)據(jù)時(shí)代不同的應(yīng)用領(lǐng)域在數(shù)據(jù)理性、數(shù)據(jù)處理方式以及數(shù)據(jù)處理時(shí)間的要求上千差萬(wàn)別；綜上，分布式數(shù)據(jù)庫(kù)系統(tǒng)是必然的選擇。

除了上述的云計(jì)算技術(shù)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)系統(tǒng)，大數(shù)據(jù)技術(shù)還包括遺傳算法、回歸分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、可視化技術(shù)等，各種技術(shù)并不是相互獨(dú)立，往往是相互融合貫通的，最終都是為了取得有價(jià)值的數(shù)據(jù)。

3 大數(shù)據(jù)應(yīng)用領(lǐng)域

1）金融行業(yè)：金融行業(yè)的非結(jié)構(gòu)化數(shù)據(jù)在迅速增長(zhǎng)，金融行業(yè)正在步入大數(shù)據(jù)時(shí)代的初級(jí)階段，大數(shù)據(jù)將為金融行業(yè)的市場(chǎng)格局、業(yè)務(wù)流程帶來(lái)巨大改變。大數(shù)據(jù)主要將從金融交易形式和交易結(jié)構(gòu)兩方面改造金融業(yè)，一方面，大數(shù)據(jù)將促進(jìn)交易形式的電子化和數(shù)字化，從而提升運(yùn)營(yíng)效率；另一方面，大數(shù)據(jù)將促進(jìn)金融脫媒化，弱化中介功能，從而提升結(jié)構(gòu)效率。

2）電力行業(yè)：大數(shù)據(jù)將大力推動(dòng)智能電網(wǎng)的建設(shè)，通過(guò)分析用戶(hù)的用電行為和規(guī)律，智能電網(wǎng)可以更合理有效的進(jìn)行電的生產(chǎn)和分配，更合理有效的進(jìn)行電網(wǎng)的安全監(jiān)測(cè)和控制，從而促進(jìn)電力企業(yè)的精細(xì)化運(yùn)營(yíng)，實(shí)現(xiàn)科學(xué)管理，提升運(yùn)營(yíng)效率。

3）物流領(lǐng)域：物流是整個(gè)社會(huì)經(jīng)濟(jì)發(fā)展的重要組成部分，當(dāng)前整個(gè)物流行業(yè)尤其是電子商務(wù)領(lǐng)域已經(jīng)呈現(xiàn)出爆發(fā)式的增長(zhǎng)，而信息化成為現(xiàn)代物流最核心的特征，應(yīng)用大數(shù)據(jù)技術(shù)，將促進(jìn)倉(cāng)儲(chǔ)空間的優(yōu)化配置，物流路線(xiàn)將更合理的規(guī)劃，物流運(yùn)輸工具將被更有效的調(diào)度。

4）交通領(lǐng)域：我國(guó)與交通相關(guān)的數(shù)據(jù)量已從TB級(jí)躍升到PB級(jí)，大數(shù)據(jù)技術(shù)將大力促進(jìn)智能交通的建設(shè)和發(fā)展。運(yùn)用大數(shù)據(jù)技術(shù)的海量存儲(chǔ)和高效計(jì)算等特點(diǎn)，可以實(shí)現(xiàn)交管系統(tǒng)跨地區(qū)、跨部門(mén)的資源整合，為交通管理的規(guī)劃、決策、運(yùn)營(yíng)、服務(wù)和改進(jìn)提供有力支持。

4 大數(shù)據(jù)建設(shè)探討

1）標(biāo)準(zhǔn)體系：中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布了《大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書(shū)》，提出了大數(shù)據(jù)標(biāo)準(zhǔn)體系框架，即大數(shù)據(jù)標(biāo)準(zhǔn)體系由六個(gè)類(lèi)別的標(biāo)準(zhǔn)組成，分別為：基礎(chǔ)標(biāo)準(zhǔn)、數(shù)據(jù)處理標(biāo)準(zhǔn)、數(shù)據(jù)安全標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、產(chǎn)品和平臺(tái)標(biāo)準(zhǔn)及應(yīng)用和服務(wù)標(biāo)準(zhǔn)。雖然我國(guó)在大數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)上有一定基礎(chǔ)，但缺乏整體規(guī)劃，許多標(biāo)準(zhǔn)還不夠完善，可以考慮成立專(zhuān)門(mén)的大數(shù)據(jù)標(biāo)準(zhǔn)制定和管理工作組。

2）運(yùn)行機(jī)制：建立健全大數(shù)據(jù)運(yùn)行的一套良好的機(jī)制，從國(guó)家層面給予大數(shù)據(jù)建設(shè)和發(fā)展有利政策，從經(jīng)濟(jì)和技術(shù)等方面予以大力支持，促進(jìn)大數(shù)據(jù)建設(shè)過(guò)程中各個(gè)部門(mén)、各個(gè)行業(yè)、各個(gè)領(lǐng)域的協(xié)同工作，促進(jìn)大數(shù)據(jù)建設(shè)的可持續(xù)發(fā)展。

3）專(zhuān)業(yè)隊(duì)伍：培養(yǎng)一支專(zhuān)業(yè)的大數(shù)據(jù)建設(shè)隊(duì)伍，大數(shù)據(jù)建設(shè)是一個(gè)系統(tǒng)工程，包括管理、技術(shù)、應(yīng)用、服務(wù)、推廣等各方面都需要專(zhuān)業(yè)人員完成，只有為大數(shù)據(jù)建設(shè)安排了合理的人力資源，才能高效推動(dòng)大數(shù)據(jù)各方面、各環(huán)節(jié)的建設(shè)。

4）共享平臺(tái)：搭建一個(gè)數(shù)據(jù)共享和數(shù)據(jù)交換平臺(tái)。數(shù)據(jù)只有在不斷的流動(dòng)和共享中才能體現(xiàn)出更強(qiáng)大的生命力，才能發(fā)揮更大的價(jià)值?？梢栽诟鱾€(gè)專(zhuān)用數(shù)據(jù)庫(kù)的基礎(chǔ)之上，通過(guò)數(shù)據(jù)集成實(shí)現(xiàn)各類(lèi)數(shù)據(jù)的流通。

5 結(jié)束語(yǔ)

基于大數(shù)據(jù)的4V特點(diǎn)，只有綜合有效的運(yùn)用大數(shù)據(jù)相關(guān)的各種技術(shù)，才能更好的挖掘和實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，從而推動(dòng)大數(shù)據(jù)應(yīng)用和服務(wù)于經(jīng)濟(jì)與社會(huì)。此外，標(biāo)準(zhǔn)體系、運(yùn)行機(jī)制、專(zhuān)業(yè)隊(duì)伍和共享平臺(tái)是大數(shù)據(jù)建設(shè)的必要保障。

參考文獻(xiàn)：

[1] 孫大為，張廣艷，鄭緯民.大數(shù)據(jù)流式計(jì)算：關(guān)鍵技術(shù)及系統(tǒng)實(shí)例[J].軟件學(xué)報(bào)，2014（4）.

[2] 陳立瑋，馮巖松，趙東巖.基于弱監(jiān)督學(xué)習(xí)的海量網(wǎng)絡(luò)數(shù)據(jù)關(guān)系抽取[J].計(jì)算機(jī)研究與發(fā)展，2013（9）.

[3] 李建中，劉顯敏.大數(shù)據(jù)的一個(gè)重要方面：數(shù)據(jù)可用性[J].計(jì)算機(jī)研究與發(fā)展，2013（6）.

[4] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013（1） .

[5] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2013（6）.