大數(shù)據(jù)關(guān)鍵技術(shù)及其經(jīng)濟(jì)社會(huì)應(yīng)用研究

摘要：大數(shù)據(jù)的Map-Reduce、Hadoop和數(shù)據(jù)可視化技術(shù)可以最大限度地提升人類視覺(jué)感官對(duì)多源、海量及動(dòng)態(tài)數(shù)據(jù)背后信息的理性洞悉。本文從“知識(shí)與傳播服務(wù)”“商事服務(wù)”“智慧政務(wù)”3個(gè)方面論述大數(shù)據(jù)應(yīng)用研究的幾個(gè)前沿主題。

關(guān)鍵詞：大數(shù)據(jù)；技術(shù)；應(yīng)用；智慧政務(wù)

中圖分類號(hào)：P208 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-8883（2020）17-0247-02

“大數(shù)據(jù)”并非一個(gè)新概念?！洞龠M(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》（國(guó)發(fā)〔2015〕50號(hào)）中闡釋：“大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的交易數(shù)據(jù)、交互數(shù)據(jù)與傳感數(shù)據(jù)的集合?！眹?guó)際學(xué)界主要從“3V”“4V”甚至“5V”特性來(lái)對(duì)大數(shù)據(jù)的概念進(jìn)行歸納，例如，Gartner公司提出的“3V”特征及其概念，即大數(shù)據(jù)至少應(yīng)滿足“規(guī)模性（volume）、多樣性（variety）和高速性（velocity）”3個(gè)特性，而價(jià)值性（value）或真實(shí)性（veracity）等尚存諸多爭(zhēng)議。本文就大數(shù)據(jù)的技術(shù)和應(yīng)用方面進(jìn)行論述。

一、大數(shù)據(jù)關(guān)鍵技術(shù)

（一）Map-Reduce及Hadoop

自Google（谷歌）在2004年提出Map-Reduce，其在處理TB和PB級(jí)數(shù)據(jù)方面已經(jīng)成為使用最廣泛的并行分布式編程模型之一，也是云計(jì)算的關(guān)鍵處理技術(shù)[1]。Map-Reduce主要利用“Map（映射）”進(jìn)行任務(wù)的分解和“Reduce（化簡(jiǎn)）”進(jìn)行結(jié)果的匯總，即通過(guò)定義良好的接口和運(yùn)行時(shí)支持庫(kù)，自動(dòng)并發(fā)執(zhí)行大規(guī)模的計(jì)算任務(wù)，隱藏底層實(shí)現(xiàn)細(xì)節(jié)，降低用戶并行編程的難度。例如，將MapReduce應(yīng)用于數(shù)據(jù)挖掘和模式發(fā)現(xiàn)等領(lǐng)域，或利用分布式內(nèi)存緩沖（如GemFire）來(lái)進(jìn)行性能優(yōu)化[2]。當(dāng)然，Map-Reduce的標(biāo)準(zhǔn)規(guī)范、性能升級(jí)、大規(guī)模底層基建以及針對(duì)不同實(shí)驗(yàn)平臺(tái)的實(shí)現(xiàn)將逐漸成為可能的研究熱點(diǎn)。

Hadoop是Apache基于Map-Reduce和GFS開(kāi)發(fā)的一個(gè)開(kāi)源分布式計(jì)算框架，高擴(kuò)展性、高可靠性、高可用性、高時(shí)效性及低成本等方面的優(yōu)勢(shì)使其成為了大數(shù)據(jù)開(kāi)源技術(shù)的代表[3]。對(duì)Hadoop進(jìn)行平臺(tái)性能、高效查詢處理及索引構(gòu)建使用等方面的改進(jìn)，并將其應(yīng)用于不同場(chǎng)景的海量處理已成為新的研究熱點(diǎn)。例如，將Hadoop分布式技術(shù)與Linux集群技術(shù)結(jié)合起來(lái)開(kāi)發(fā)并實(shí)現(xiàn)高效易擴(kuò)展的海量數(shù)據(jù)存儲(chǔ)管理系統(tǒng)，如海量海洋科學(xué)數(shù)據(jù)存儲(chǔ)平臺(tái)[4]。不過(guò)，Hadoop也不能很好地解決穩(wěn)定性和能耗等問(wèn)題。已有學(xué)者運(yùn)用GemFire分布式內(nèi)存數(shù)據(jù)庫(kù)平臺(tái)計(jì)算交通領(lǐng)域多源動(dòng)態(tài)海量數(shù)據(jù)，研究表明至少可以減少原系統(tǒng)10%左右的計(jì)算時(shí)間[5]。

（二）數(shù)據(jù)可視化

數(shù)據(jù)可視化技術(shù)可追溯至20世紀(jì)50年代的計(jì)算機(jī)圖形學(xué)，如今已經(jīng)應(yīng)用到科學(xué)數(shù)據(jù)、社交網(wǎng)絡(luò)、旅游地理、趨勢(shì)預(yù)測(cè)等多個(gè)領(lǐng)域。在大數(shù)據(jù)時(shí)代，傳統(tǒng)的“文本形式”已不能有效解釋并呈現(xiàn)海量數(shù)據(jù)的復(fù)雜關(guān)聯(lián)性，引入可視化技術(shù)是解析數(shù)據(jù)價(jià)值中非常關(guān)鍵的一環(huán)。大數(shù)據(jù)可視化的實(shí)質(zhì)是借助人機(jī)交互式分析方法和交互技術(shù)，清晰有效地傳達(dá)與溝通信息，以圖形化形式輔助人們更為直觀和高效地洞悉大數(shù)據(jù)背后的信息、知識(shí)與智慧[6]。

具體來(lái)說(shuō)，大數(shù)據(jù)可視化應(yīng)用可以分為4類，即多維疊加式數(shù)據(jù)可視化應(yīng)用，如社交網(wǎng)絡(luò)與網(wǎng)絡(luò)地圖的疊加導(dǎo)航；揭示數(shù)據(jù)關(guān)聯(lián)趨勢(shì)的可視化服務(wù)，如百度指數(shù)；思維導(dǎo)圖（Mind Map）可視化工具，已成為各類可視化應(yīng)用的基礎(chǔ)技術(shù)之一；數(shù)據(jù)交流社區(qū)的可視化平臺(tái)，如紐約時(shí)報(bào)的數(shù)據(jù)可視化實(shí)驗(yàn)室[7]。這些應(yīng)用所進(jìn)行的信息挖掘與知識(shí)洞悉多以文本、網(wǎng)絡(luò)關(guān)聯(lián)（圖）、時(shí)空序列及多維數(shù)據(jù)等圖形化形式呈現(xiàn)出來(lái)。

二、大數(shù)據(jù)的經(jīng)濟(jì)社會(huì)應(yīng)用領(lǐng)域

（一）知識(shí)與傳播服務(wù)

1.數(shù)據(jù)新聞。社會(huì)化媒體、移動(dòng)終端和大數(shù)據(jù)正在滲透到新聞生產(chǎn)的各個(gè)環(huán)節(jié)，這些新技術(shù)正極大地影響著傳統(tǒng)媒體與新媒體的融合[8]。大數(shù)據(jù)已成為新聞核心資源之一，新聞生產(chǎn)正趨向于數(shù)據(jù)驅(qū)動(dòng)型和趨勢(shì)預(yù)測(cè)型。有學(xué)者認(rèn)為，大數(shù)據(jù)時(shí)代的傳播學(xué)研究面臨新變革，如輿情研究將從傳統(tǒng)的內(nèi)容視角、信息采集方法、結(jié)構(gòu)化輿情庫(kù)和離散主體方法轉(zhuǎn)向內(nèi)容與關(guān)系、數(shù)據(jù)可視化、非結(jié)構(gòu)化輿情庫(kù)及關(guān)聯(lián)聚合主體等新范式[9]。大數(shù)據(jù)提供了挖掘品牌接觸和用戶需求平衡點(diǎn)的關(guān)鍵技術(shù)和傳播能力，這不僅會(huì)造成新聞與傳媒的新震蕩，也會(huì)重構(gòu)傳播品牌市場(chǎng)新格局。

2.數(shù)據(jù)圖書館。在大數(shù)據(jù)時(shí)代，對(duì)復(fù)雜、多源、動(dòng)態(tài)數(shù)據(jù)的存儲(chǔ)和深度挖掘?qū)⒊蔀閳D書館從“物理圖書館”向“數(shù)據(jù)圖書館”轉(zhuǎn)型的關(guān)鍵動(dòng)力[10]。當(dāng)前，信息服務(wù)與知識(shí)挖掘是圖書館服務(wù)的主要內(nèi)容，而在知識(shí)服務(wù)基礎(chǔ)上的創(chuàng)造性服務(wù)才是數(shù)據(jù)圖書館服務(wù)的核心。這方面的技術(shù)主要通過(guò)采集用戶Web日志的數(shù)據(jù)，挖掘關(guān)聯(lián)規(guī)則、內(nèi)容分類和用戶聚類的行為需求，建立一站式數(shù)據(jù)資源交互服務(wù)平臺(tái)，使用戶與圖書館都成為資源的接受者、學(xué)習(xí)者、發(fā)布者和貢獻(xiàn)者，從而能提高個(gè)性化服務(wù)與差異化服務(wù)[11]。由此看，基于大數(shù)據(jù)的數(shù)據(jù)圖書館智慧服務(wù)及趨勢(shì)預(yù)測(cè)有很大的研究空間。

（二）商業(yè)信息傳播

1.企業(yè)競(jìng)爭(zhēng)情報(bào)。大數(shù)據(jù)的核心就是預(yù)測(cè)，這在商業(yè)競(jìng)爭(zhēng)中表現(xiàn)得尤為明顯。有學(xué)者提出從“社會(huì)化的價(jià)值創(chuàng)造、網(wǎng)絡(luò)化的企業(yè)運(yùn)作、實(shí)時(shí)化的市場(chǎng)洞察”等研究視角來(lái)探討大數(shù)據(jù)背景下的現(xiàn)代商業(yè)決策模式創(chuàng)新，認(rèn)為產(chǎn)品生產(chǎn)與價(jià)值創(chuàng)造將越來(lái)越依賴于用戶參與體驗(yàn)數(shù)據(jù)，同時(shí)企業(yè)的運(yùn)營(yíng)及生態(tài)也將趨向于網(wǎng)絡(luò)化與動(dòng)態(tài)化，而基于精準(zhǔn)數(shù)據(jù)的實(shí)時(shí)需求洞察將成為未來(lái)營(yíng)銷的主要模式[12]。不過(guò)，現(xiàn)有企業(yè)數(shù)據(jù)庫(kù)大多不能集成、存儲(chǔ)TB級(jí)數(shù)據(jù)，也在高級(jí)別的情報(bào)分析方面缺乏技術(shù)支持，還會(huì)造成情報(bào)實(shí)時(shí)性的高損耗[13]。

2.云會(huì)計(jì)。企業(yè)財(cái)務(wù)決策所需的支撐數(shù)據(jù)已從企業(yè)內(nèi)部財(cái)務(wù)數(shù)據(jù)擴(kuò)展到包括稅務(wù)部門、會(huì)計(jì)師事務(wù)所、銀行等多主體參與在內(nèi)的各種半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。企業(yè)可以利用云會(huì)計(jì)平臺(tái)和大數(shù)據(jù)分析技術(shù)從海量數(shù)據(jù)中挖掘出有用信息，并實(shí)施科學(xué)預(yù)測(cè)與精準(zhǔn)決策。同時(shí)，云會(huì)計(jì)平臺(tái)和大數(shù)據(jù)技術(shù)為企業(yè)財(cái)務(wù)決策中公允價(jià)值的確定帶來(lái)了新的方法，還有望應(yīng)用于企業(yè)成本控制系統(tǒng)。不難看出，“云會(huì)計(jì)”的概念基于對(duì)云計(jì)算的服務(wù)內(nèi)涵及模式分類的理解，而大數(shù)據(jù)將使云會(huì)計(jì)研究更具價(jià)值。

3.互聯(lián)網(wǎng)金融。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，這種對(duì)傳統(tǒng)金融模式產(chǎn)生重大影響已成為必然趨勢(shì)：互聯(lián)網(wǎng)金融格局將呈現(xiàn)橫向綜合化與縱向?qū)I(yè)化交錯(cuò)的矩陣結(jié)構(gòu)；第三方支付和移動(dòng)支付逐步替代傳統(tǒng)支付業(yè)務(wù)（如銀行匯款、信用卡）；網(wǎng)絡(luò)信貸市場(chǎng)空間巨大，將逐步替代部分傳統(tǒng)存貸款業(yè)務(wù)；眾籌融資將替代部分傳統(tǒng)證券業(yè)務(wù)[15]。中國(guó)的互聯(lián)網(wǎng)金融研究大多是將大數(shù)據(jù)作為時(shí)代背景，考察互聯(lián)網(wǎng)金融模式與傳統(tǒng)金融模式及商業(yè)銀行的區(qū)別和影響關(guān)系。

（三）智慧政務(wù)

智慧政務(wù)研究是對(duì)傳統(tǒng)電子政務(wù)、電子治理的繼承。學(xué)者姚國(guó)章在研究“智慧旅游”時(shí)曾提出智慧政務(wù)在旅游管理中的應(yīng)用，大體也認(rèn)為智慧政務(wù)是電子政務(wù)、移動(dòng)政務(wù)等的深化應(yīng)用，同時(shí)也必須是基于智慧化技術(shù)的政府管理和服務(wù)模式的創(chuàng)新。有學(xué)者認(rèn)為，智慧政務(wù)通過(guò)跨邊界的集成與泛在化公共服務(wù)的提供，推動(dòng)著包容性電子治理的實(shí)現(xiàn)。黃璜等認(rèn)為，大數(shù)據(jù)對(duì)電子政務(wù)的影響莫過(guò)于對(duì)政府決策的影響。也有基于大數(shù)據(jù)的智慧政府門戶方面的研究，從智慧感知、智慧建站、智慧推送、智慧測(cè)評(píng)、智慧決策等5個(gè)方面提出了建設(shè)智慧政府門戶的思路，像站內(nèi)搜索關(guān)鍵詞變化趨勢(shì)、網(wǎng)站頁(yè)面點(diǎn)擊熱力圖等技術(shù)都被用來(lái)作為實(shí)施精準(zhǔn)決策的工具。

三、結(jié)語(yǔ)

信息是國(guó)家治理的重要依據(jù)，大數(shù)據(jù)是國(guó)家戰(zhàn)略，要以信息化推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化。推動(dòng)大數(shù)據(jù)市場(chǎng)化運(yùn)用和創(chuàng)新發(fā)展，培育新技術(shù)、新業(yè)態(tài)、新模式、新產(chǎn)業(yè)。通過(guò)大數(shù)據(jù)推進(jìn)政府管理和社會(huì)治理模式創(chuàng)新，實(shí)現(xiàn)政府決策科學(xué)化、社會(huì)治理精準(zhǔn)化、公共服務(wù)高效化。同時(shí)，集中統(tǒng)籌布局一批綠色數(shù)據(jù)中心，吸引大數(shù)據(jù)企業(yè)落地進(jìn)駐，推動(dòng)大數(shù)據(jù)政用、民用、商用，構(gòu)建良好的大數(shù)據(jù)發(fā)展生態(tài)鏈。實(shí)踐證明，發(fā)揮比較優(yōu)勢(shì)、搶抓發(fā)展機(jī)遇、建立生態(tài)鏈，才能夠贏得發(fā)展主動(dòng)權(quán)。

參考文獻(xiàn)：

[1] 陳全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用，2009（09）：2562-2567.

[2] 謝桂蘭，羅省賢.基于Hadoop Map-Reduce模型的應(yīng)用研究[J].微型機(jī)與應(yīng)用，2010（08）：4-7.

[3] 王珊，等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào)，2011（10）：1741-1752.

[4] 崔杰，李陶深，蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開(kāi)發(fā)[J].計(jì)算機(jī)研究與發(fā)展，2012（S1）：12-18.

[5] 徐翔，等.基于GemFire的海量數(shù)據(jù)計(jì)算性能實(shí)驗(yàn)分析[J].計(jì)算機(jī)應(yīng)用，2013（01）：226-229+ 233.

[6] 任磊，等.大數(shù)據(jù)可視分析綜述[J].軟件學(xué)報(bào)，2014（09）：1909-1936.

[7] 張浩，郭燦.數(shù)據(jù)可視化技術(shù)應(yīng)用趨勢(shì)與分類研究[J].軟件導(dǎo)刊，2012（05）：169-172.

[8] 彭蘭.社會(huì)化媒體、移動(dòng)終端、大數(shù)據(jù)：影響新聞生產(chǎn)的新技術(shù)因素[J].新聞界，2012（16）：3-8.

[9] 喻國(guó)明，等.傳播學(xué)研究：大數(shù)據(jù)時(shí)代的新范式[J].新聞?dòng)浾撸?013（06）：22-27.

[10] 樊偉紅，等.圖書館需要怎樣的“大數(shù)據(jù)”[J].圖書館雜志，2012（11）：63-68+77.

[11] 韓翠峰.大數(shù)據(jù)帶給圖書館的影響與挑戰(zhàn)[J].圖書與情報(bào)，2012（05）：37-40.

[12] 馮芷艷，等.大數(shù)據(jù)背景下商務(wù)管理研究若干前沿課題[J].管理科學(xué)學(xué)報(bào)，2013（01）：1-9.

[13] 黃曉斌，鐘輝新.大數(shù)據(jù)時(shí)代企業(yè)競(jìng)爭(zhēng)情報(bào)研究的創(chuàng)新與發(fā)展[J].圖書與情報(bào)，2012（06）：9-14.

[14] 彭超然.大數(shù)據(jù)時(shí)代下會(huì)計(jì)信息化的風(fēng)險(xiǎn)因素及防范措施[J].財(cái)政研究，2014（04）：73-76.

[15] 陶婭娜.互聯(lián)網(wǎng)金融發(fā)展研究[J].金融發(fā)展評(píng)論，2013（11）：58-73.

作者簡(jiǎn)介：王尊（1982—），男，重慶人，本科，助理記者，研究方向：媒體融合發(fā)展。