大數(shù)據(jù)：科學(xué)研究第四范式演化中的新熱點
——基于文獻(xiàn)綜述角度的分析

張慧蕊

(葫蘆島市圖書館，遼寧葫蘆島 125000)

?

大數(shù)據(jù)：科學(xué)研究第四范式演化中的新熱點
——基于文獻(xiàn)綜述角度的分析

張慧蕊

(葫蘆島市圖書館，遼寧葫蘆島 125000)

大數(shù)據(jù)；科學(xué)研究；挑戰(zhàn)；趨勢

文章對有關(guān)大數(shù)據(jù)方面的研究做簡要綜述，對大數(shù)據(jù)的理論研究、大數(shù)據(jù)的應(yīng)用研究、大數(shù)據(jù)時代面臨的挑戰(zhàn)和發(fā)展趨勢這4個方面進(jìn)行簡要分析。

近年來，高度連接的世界和迅速擴(kuò)張的社交媒體使得數(shù)據(jù)產(chǎn)生的范圍、方式、途徑發(fā)生了翻天覆地的變化，其組成結(jié)構(gòu)、類型格式、存在形態(tài)等都愈加復(fù)雜，全球進(jìn)入到一個以數(shù)據(jù)驅(qū)動社會創(chuàng)新、經(jīng)濟(jì)增長的大數(shù)據(jù)時代。大數(shù)據(jù)時代，人類在實踐中逐漸意識到數(shù)據(jù)的重要性，并通過對數(shù)據(jù)的進(jìn)一步采集、存儲、整合、分析、利用發(fā)現(xiàn)新的知識、創(chuàng)造新的價值，為社會帶來全新的發(fā)展機(jī)遇。目前，大數(shù)據(jù)作為一項新興的信息技術(shù)，受到了大型企業(yè)、信息服務(wù)機(jī)構(gòu)乃至政府的高度重視，其帶來了一場知識革命，龐大的數(shù)據(jù)量將對各個領(lǐng)域產(chǎn)生巨大影響。因此，大數(shù)據(jù)成為一個至關(guān)重要的課題，吸引了大量學(xué)者對其進(jìn)行深入研究，筆者在查閱國內(nèi)外相關(guān)文獻(xiàn)的基礎(chǔ)上，對大數(shù)據(jù)的理論研究、大數(shù)據(jù)的應(yīng)用研究、大數(shù)據(jù)時代面臨的挑戰(zhàn)進(jìn)行了綜合分析，以期展望未來大數(shù)據(jù)的發(fā)展趨勢。

1 大數(shù)據(jù)的理論研究

由于“大數(shù)據(jù)”一詞是近幾年才提出的，因此理論研究是學(xué)術(shù)界研究的熱點，其包括大數(shù)據(jù)的內(nèi)涵、技術(shù)等方面。

1.1 大數(shù)據(jù)的內(nèi)涵

1.1.1 定義。大數(shù)據(jù)作為新出現(xiàn)的名詞，尚未有一個標(biāo)準(zhǔn)的定義，人們對大數(shù)據(jù)的理解也各不相同。全球知名咨詢機(jī)構(gòu)麥肯錫公司在其發(fā)布的研究報告中對大數(shù)據(jù)作了如下定義：其大小超越了典型數(shù)據(jù)庫軟件的采集、存儲、管理以及分析等能力的數(shù)據(jù)集。李國杰院士及程學(xué)旗教授認(rèn)為，大數(shù)據(jù)是指無法在可容忍的時間內(nèi)用傳統(tǒng)IT技術(shù)和軟硬件工具對其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合[1]。學(xué)者韓翠峰則認(rèn)為，大數(shù)據(jù)是存儲在數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)以及由圖片、音視頻、電子郵件、社交網(wǎng)絡(luò)等產(chǎn)生的半結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的總和[2]。筆者通過對比分析發(fā)現(xiàn)，大數(shù)據(jù)并非單純指數(shù)據(jù)量的大小，而是指在體量浩大、模態(tài)繁多的數(shù)據(jù)中能快速獲取有價值的信息。

1.1.2 特點。大數(shù)據(jù)是指無法用現(xiàn)有的軟件工具提取、存儲、搜索、共享、分析、處理的海量且復(fù)雜的數(shù)據(jù)集合。業(yè)界通常用“4V”來描述其特征：①數(shù)據(jù)體量巨大(Volume)。隨著科學(xué)技術(shù)的進(jìn)步與發(fā)展，數(shù)據(jù)集合的規(guī)模不斷擴(kuò)大，已由TB級升至PB級。②數(shù)據(jù)種類繁多(Variety)。目前，數(shù)據(jù)類型愈發(fā)多樣，非結(jié)構(gòu)化數(shù)據(jù)越來越多，如微博微信、圖片視頻、地理位置信息等，這對數(shù)據(jù)處理能力提出了更高要求。③處理速度快(Velocity)。隨著移動網(wǎng)絡(luò)的發(fā)展，人們對數(shù)據(jù)的實時應(yīng)用需求變得更為普遍，因為一些數(shù)據(jù)具有很強(qiáng)的時效性，所以需要快速處理，這是其區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的最顯著特征。④價值密度低(Value)。數(shù)據(jù)的價值巨大，但囿于傳統(tǒng)的思維方式與技術(shù)方法，其價值密度卻與數(shù)據(jù)總量成反比。NetApp指出，大數(shù)據(jù)主要包括3大要素：大分析，通過對巨大數(shù)據(jù)集合的實時分析，幫助用戶獲取新的價值；高帶寬，達(dá)到更快的數(shù)據(jù)處理速度；多內(nèi)容，能輕松實現(xiàn)數(shù)據(jù)的恢復(fù)、備份、復(fù)制與管理，在不丟失任何信息的情況下實現(xiàn)高擴(kuò)展性[3]。Wakefield Research在2012年的大數(shù)據(jù)研究中揭示了大數(shù)據(jù)的3個特點和現(xiàn)狀。首先，大數(shù)據(jù)已經(jīng)到達(dá)了一個臨界點，數(shù)據(jù)已變得普遍，現(xiàn)在其已是大家的事務(wù)。其次，大數(shù)據(jù)在開創(chuàng)領(lǐng)導(dǎo)者工作議程的價值上已經(jīng)達(dá)到了一個頂點。最后，關(guān)鍵業(yè)務(wù)功能不充分地支持?jǐn)?shù)據(jù)為它許諾的價值，掙扎于龐大的體積和安全問題中，公司開始重新考慮他們的數(shù)據(jù)戰(zhàn)略。

1.2 大數(shù)據(jù)的技術(shù)

大數(shù)據(jù)技術(shù)是近年來備受關(guān)注的一個熱點，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價值信息的能力。隨著互聯(lián)網(wǎng)的迅猛發(fā)展，數(shù)據(jù)量的增長速度越來越快，傳統(tǒng)技術(shù)已無法滿足人們對大數(shù)據(jù)的處理需要，很多研究者開始關(guān)注與大數(shù)據(jù)分析相關(guān)的技術(shù)。

1.2.1 云計算。中國人民大學(xué)孟小峰教授認(rèn)為，大數(shù)據(jù)的關(guān)鍵技術(shù)主要涉及云計算和大數(shù)據(jù)分析工具[4]。云計算是大數(shù)據(jù)的基礎(chǔ)平臺，正是有了云計算技術(shù)在數(shù)據(jù)存儲、數(shù)據(jù)管理以及數(shù)據(jù)分析等方面的支撐，大數(shù)據(jù)才得以廣泛應(yīng)用。云計算技術(shù)中主要涉及文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、檢索與查詢技術(shù)、數(shù)據(jù)分析技術(shù)等。

1.2.2 大數(shù)據(jù)分析工具。目前被廣泛關(guān)注和應(yīng)用的分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop已經(jīng)發(fā)展成為包括文件系統(tǒng)(HDFS)、數(shù)據(jù)庫(HBase、Cassandra)、數(shù)據(jù)處理(MapReuce)等功能模塊在內(nèi)的完整生態(tài)系統(tǒng)(Ecosystem)。其可以高速捕捉、發(fā)現(xiàn)并分析數(shù)量大、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)，為用戶決策與創(chuàng)新提供豐富的知識和有效的答案。

1.2.3 并行數(shù)據(jù)庫。并行數(shù)據(jù)庫技術(shù)起源于20世紀(jì)80年代后期，研究的重點是并行數(shù)據(jù)庫的物理組織、操作算法、優(yōu)化調(diào)度策略。當(dāng)前主流的并行數(shù)據(jù)庫都支持標(biāo)準(zhǔn)SQL，并且實現(xiàn)了數(shù)據(jù)庫界過去30年提出的許多先進(jìn)技術(shù)。其主要采用shared-nothing結(jié)構(gòu)，將關(guān)系表在節(jié)點間橫向劃分，并利用優(yōu)化器對執(zhí)行過程進(jìn)行調(diào)度和管理，目標(biāo)是通過多個處理節(jié)點并行來執(zhí)行數(shù)據(jù)庫任務(wù)，提高整個數(shù)據(jù)庫系統(tǒng)的性能和可用性。

1.2.4 MapReduce。MapReduce是一種用于大規(guī)模數(shù)據(jù)集的并行運算的編程模型，其主要思想源于函數(shù)式編程語言以及矢量編程語言。MapReduce起初主要用來處理互聯(lián)網(wǎng)數(shù)據(jù)，但其簡單而強(qiáng)大的數(shù)據(jù)處理接口和對大規(guī)模并行執(zhí)行、容錯及負(fù)載均衡等實現(xiàn)細(xì)節(jié)的隱藏，使其迅速在機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析等領(lǐng)域被廣泛應(yīng)用。MapReduce將數(shù)據(jù)處理任務(wù)抽象為一系列的Map(映射)—Reduce(歸約)操作，Map主要完成數(shù)據(jù)的過濾操作，Reduce主要完成數(shù)據(jù)的聚集操作。其輸入、輸出數(shù)據(jù)均以〈key, value〉格式存儲，用戶在使用該編程模型時只需按照自己熟悉的語言實現(xiàn)Map函數(shù)和Reduce函數(shù)即可，MapReduce框架會自動對任務(wù)進(jìn)行劃分以做到并行執(zhí)行[5]。

2 大數(shù)據(jù)的應(yīng)用研究

研究者除了對大數(shù)據(jù)進(jìn)行基礎(chǔ)的理論研究外，也開始傾向于應(yīng)用方面的研究，如公共事業(yè)、物流零售、文化娛樂、能源制造、金融保險、IT互聯(lián)網(wǎng)等眾多領(lǐng)域。2.1 自然科學(xué)

因?qū)I(yè)需要，自然科學(xué)界很早就進(jìn)入了大數(shù)據(jù)研究時代，科學(xué)研究已經(jīng)被大數(shù)據(jù)徹底改變。如：在天文領(lǐng)域，The Sloan Digital Sky Survey已經(jīng)變成如今全球天文學(xué)家的信息來源中心；在生物科學(xué)領(lǐng)域，借助對大數(shù)據(jù)的研究，已有了建立公共數(shù)據(jù)庫行之有效的方法；在醫(yī)學(xué)領(lǐng)域，對信息技術(shù)的利用在減少醫(yī)療費用的同時也提高了治療的質(zhì)量，實現(xiàn)了事先預(yù)防。2.2 社會科學(xué)

大數(shù)據(jù)應(yīng)用于社會科學(xué)基本是在研究工具引入計算機(jī)以后才開展的，其中尤為突出的是商業(yè)方面和社會管理方面。

2.2.1 商業(yè)方面。由于手機(jī)、電腦等通信工具的普及，海量的數(shù)據(jù)開始能夠被發(fā)現(xiàn)并收集起來。通過數(shù)據(jù)的挖掘、處理、整合，可以將存儲在不同系統(tǒng)中看起來毫不相關(guān)的數(shù)據(jù)聯(lián)系到一起，從中找出相關(guān)關(guān)系，并獲得一幅關(guān)于企業(yè)運營的完整圖景。此外，運用大數(shù)據(jù)技術(shù)可以推動企業(yè)的業(yè)務(wù)升級轉(zhuǎn)型，如金融類和零售類的企業(yè)以往在評估用戶信用等級和店鋪倉儲方面需要耗費大量的人力、物力，而運用大數(shù)據(jù)分析技術(shù)之后，能及時處理相關(guān)信息，提高運營效率，總結(jié)發(fā)展過程中的模式，并改善預(yù)測未來的能力[6]。2.2.2 社會管理方面。世界各國政府在國家管理方面已經(jīng)引入了各種數(shù)據(jù)分析，以期從繁雜的社會現(xiàn)象中總結(jié)出科學(xué)的政策來指引民眾，保證社會的穩(wěn)定有序發(fā)展。如美國政府將犯罪率加以統(tǒng)計，以期預(yù)測未來可能發(fā)生的犯罪行為，從而預(yù)防犯罪事件的發(fā)生。

3 大數(shù)據(jù)時代的挑戰(zhàn)和趨勢

3.1 大數(shù)據(jù)時代面臨的挑戰(zhàn)

3.1.1 大數(shù)據(jù)需求不夠清晰。很多業(yè)務(wù)部門不夠了解大數(shù)據(jù)及其應(yīng)用價值，很難提出精準(zhǔn)的大數(shù)據(jù)需求，阻礙了企業(yè)對大數(shù)據(jù)的利用。同時，很多有價值的歷史數(shù)據(jù)由于沒有應(yīng)用場景而被刪除，導(dǎo)致了數(shù)據(jù)資產(chǎn)流失。因此，大數(shù)據(jù)從業(yè)者應(yīng)該與專家共同探討，分享大數(shù)據(jù)應(yīng)用場景，從而使更多的業(yè)務(wù)人員真正了解大數(shù)據(jù)的價值。

3.1.2 數(shù)據(jù)孤島現(xiàn)象嚴(yán)重。由于數(shù)據(jù)常常散落在不同的業(yè)務(wù)部門，并存儲在不同的數(shù)據(jù)倉庫中，同時不同業(yè)務(wù)部門的數(shù)據(jù)技術(shù)也不盡相同，這就導(dǎo)致數(shù)據(jù)在企業(yè)內(nèi)部無法有效關(guān)聯(lián)與整合，進(jìn)而影響數(shù)據(jù)價值的挖掘。因此，如何將不同部門的數(shù)據(jù)聯(lián)通，并實現(xiàn)技術(shù)與工具的共享，值得我們深入思考。

3.1.3 數(shù)據(jù)可用性低。很多企業(yè)不夠重視大數(shù)據(jù)的預(yù)處理工作，導(dǎo)致收集到的龐大規(guī)模的數(shù)據(jù)不規(guī)范、不準(zhǔn)確、質(zhì)量差，不便于挖掘有價值的信息。因此，如何利用大數(shù)據(jù)的去冗降噪技術(shù)，提高數(shù)據(jù)的可用性和準(zhǔn)確性，一直是學(xué)界爭論的話題。

3.1.4 技術(shù)架構(gòu)。數(shù)據(jù)量的急劇增長超越了系統(tǒng)的數(shù)據(jù)處理能力，如何構(gòu)建分布式的數(shù)據(jù)倉庫且可方便擴(kuò)展成為挑戰(zhàn)。海量數(shù)據(jù)需要強(qiáng)大的數(shù)據(jù)中心作為支撐，如何在保證數(shù)據(jù)穩(wěn)定、支持高并發(fā)的同時，減少服務(wù)器的低負(fù)載，也將成為挑戰(zhàn)。

3.1.5 數(shù)據(jù)安全。在數(shù)據(jù)收集的過程中，暫時還沒有一個比較系統(tǒng)有效的措施來保證信息不外泄，即使有較為完備的方案，也存在著高成本與極大的復(fù)雜性，甚至?xí)a(chǎn)生新的漏洞。這些情況成為現(xiàn)階段難以逾越的鴻溝，如何保證用戶的信息安全成為大數(shù)據(jù)時代非常重要的課題。

3.1.6 人才缺乏。大數(shù)據(jù)開發(fā)建設(shè)的各個環(huán)節(jié)都離不開專業(yè)人才，據(jù)Gartner預(yù)測，到2015年，全球?qū)⑿略?40萬個與大數(shù)據(jù)相關(guān)的工作崗位，且需要的是能夠綜合掌握數(shù)學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、自然語言處理等的復(fù)合型人才。因此，高校應(yīng)與企業(yè)合作，共同培養(yǎng)并造就一支熟悉大數(shù)據(jù)技術(shù)、有大數(shù)據(jù)應(yīng)用經(jīng)驗的專業(yè)隊伍，以保證大數(shù)據(jù)市場的長遠(yuǎn)發(fā)展。

3.1.7 數(shù)據(jù)開放。各系統(tǒng)建設(shè)缺少統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)，因而形成了很多“信息孤島”，致使數(shù)據(jù)開放程度較低，阻礙了數(shù)據(jù)的有效利用。同時，由于我國缺少有關(guān)大數(shù)據(jù)方面的立法，導(dǎo)致無法既保證數(shù)據(jù)共享又防止數(shù)據(jù)濫用。另外，如何在推動數(shù)據(jù)全面開放、應(yīng)用、共享的同時有效保護(hù)用戶隱私，也將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。

3.2 大數(shù)據(jù)研究的發(fā)展趨勢

3.2.1 逐漸成為重要的戰(zhàn)略資源。已有越來越多的國家宣布架構(gòu)大數(shù)據(jù)的傳播機(jī)制并進(jìn)一步擴(kuò)大規(guī)模，力圖在大數(shù)據(jù)時代的信息競爭環(huán)境下處于主導(dǎo)地位，相信未來大數(shù)據(jù)將成為提升機(jī)構(gòu)和企業(yè)競爭力的強(qiáng)大武器。

3.2.2 在更多領(lǐng)域發(fā)揮作用。目前，大數(shù)據(jù)在互聯(lián)網(wǎng)、金融等領(lǐng)域已取得較好的應(yīng)用效果，未來相信大數(shù)據(jù)將會在更多領(lǐng)域得到應(yīng)用，以幫助企業(yè)更好地滿足用戶的現(xiàn)實需求和潛在需求，并帶來廣泛的社會價值。

3.2.3 大數(shù)據(jù)的價值要在開放的基礎(chǔ)上才能得以實現(xiàn)，尤其在公共事業(yè)方面。我國一些城市和部門正在逐漸開展數(shù)據(jù)開放工作；另外，對于不同行業(yè)，數(shù)據(jù)共享也是體現(xiàn)數(shù)據(jù)價值的重要途徑，未來相信數(shù)據(jù)共享會成為一種趨勢，并將出現(xiàn)不同領(lǐng)域的數(shù)據(jù)聯(lián)盟。

3.2.4 安全隱私問題將成為研究重點。在發(fā)展大數(shù)據(jù)分析的同時，對其涉及的安全隱私問題，各個研究機(jī)構(gòu)已經(jīng)開始有所作為。在設(shè)計LDCC(洛桑數(shù)據(jù)收集活動)時，NOKIA公司在與志愿者相關(guān)數(shù)據(jù)、匿名化及研究人員承諾方面做了一定的探索。

3.2.5 創(chuàng)造新的就業(yè)崗位。大數(shù)據(jù)的出現(xiàn)與應(yīng)用將創(chuàng)造一批新的就業(yè)崗位，如數(shù)據(jù)分析師、數(shù)據(jù)管理專家、數(shù)據(jù)產(chǎn)品經(jīng)理等。由于強(qiáng)烈的市場需求，未來高校將逐步開設(shè)大數(shù)據(jù)相關(guān)專業(yè)，同時與企業(yè)緊密合作，以培養(yǎng)專業(yè)人才。

大數(shù)據(jù)時代的到來以及大量相關(guān)技術(shù)的廣泛應(yīng)用極大地影響了承載著知識存儲、組織、開發(fā)與傳播重任的圖書館的命運，如何避免被邊緣化，將自身從傳統(tǒng)意義上的靜態(tài)收集轉(zhuǎn)為動態(tài)分析并進(jìn)行有效檢索成為圖書館從業(yè)人員當(dāng)下要解決的重要課題。

[1] 李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會發(fā)展的重大戰(zhàn)略領(lǐng)域[J].中國科學(xué)院院刊，2012(27)：648-654.

[2] 韓翠峰.大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)[J].圖書與情報，2012(5)：38.

[3] NetApp. Big Data Solutions for Government[EB/OL].[2014-08-10].http://www.netapp.com/us/solutions/in-dustry/government/bigdata.aspx.

[4] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展，2013(50)：152-159.[5] 王珊等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計算機(jī)學(xué)報，2011(10)：1744-1750.

[6] 徐子沛.大數(shù)據(jù)——正在到來的數(shù)據(jù)革命，以及它如何改變政府、商業(yè)與我們的生活[M].廣西：廣西師范大學(xué)出版社，2012.

(編校：嚴(yán) 真)

2015-03-23

張慧蕊(1973—)，葫蘆島市圖書館副研究館員。

G250

A

1003-1588(2015)05-0095-03