大數(shù)據(jù)時(shí)代下的GIS發(fā)展

劉志洋，李雅婷

(1.西北大學(xué)附屬中學(xué)，陜西 西安 710027；2.西北大學(xué)城市與環(huán)境學(xué)院，陜西 西安 710127)

大數(shù)據(jù)時(shí)代下的GIS發(fā)展

劉志洋1，李雅婷2

(1.西北大學(xué)附屬中學(xué)，陜西 西安 710027；2.西北大學(xué)城市與環(huán)境學(xué)院，陜西 西安 710127)

隨著網(wǎng)絡(luò)技術(shù)迅速發(fā)展，帶有地理位置信息的數(shù)據(jù)在數(shù)據(jù)容量、數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)等方面日益復(fù)雜。從大數(shù)據(jù)與GIS的概念出發(fā)，通過分析大數(shù)據(jù)對(duì)GIS發(fā)展的影響，從數(shù)據(jù)采集、數(shù)據(jù)管理、空間分析與可視化三個(gè)方面對(duì)大數(shù)據(jù)GIS的發(fā)展進(jìn)行闡述探討。提出通過完善水文空間數(shù)據(jù)基礎(chǔ)設(shè)施以及在水文數(shù)據(jù)分析與挖掘方面，建立分布式并行或云計(jì)算構(gòu)架等方式構(gòu)建水文空間數(shù)據(jù)管理基礎(chǔ)設(shè)施，以支撐水文數(shù)據(jù)統(tǒng)一管理與共享，加快GIS與大數(shù)據(jù)技術(shù)結(jié)合，實(shí)現(xiàn)大數(shù)據(jù)為GIS所帶來的重大社會(huì)價(jià)值。

大數(shù)據(jù)；GIS；發(fā)展

近年來，快速發(fā)展的信息技術(shù)引發(fā)數(shù)據(jù)在容量與形式等方面爆炸式增長(zhǎng)。研究表明，整個(gè)人類文明過程中所積累的全部數(shù)據(jù)，有90%是過去近幾年產(chǎn)生的，并預(yù)測(cè)到2020年全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到2009年的44倍[1]，其中80%的數(shù)據(jù)具有空間位置屬性[2]，學(xué)界把這種數(shù)據(jù)容量大、結(jié)構(gòu)復(fù)雜、形式多樣的短時(shí)間內(nèi)常規(guī)手段難以獲取、處理與分析的數(shù)據(jù)集合統(tǒng)稱為大數(shù)據(jù)。目前，大數(shù)據(jù)已經(jīng)普遍存在能源、交通運(yùn)輸業(yè)、服務(wù)業(yè)等領(lǐng)域，且積累了TB級(jí)甚至EB級(jí)的數(shù)據(jù)量[3]。海量數(shù)據(jù)一直是GIS關(guān)注的重要問題，對(duì)于從基于空間位置的海量數(shù)據(jù)到大數(shù)據(jù)的跨越，其數(shù)據(jù)量容量發(fā)生指數(shù)增長(zhǎng)，數(shù)據(jù)獲取方式、數(shù)據(jù)類型、數(shù)據(jù)管理方式、空間分析與可視化等為傳統(tǒng)GIS應(yīng)用產(chǎn)生了巨大影響與挑戰(zhàn)。

1 大數(shù)據(jù)與GIS

1.1 基本概念

大數(shù)據(jù)，指數(shù)據(jù)容量超出常規(guī)的數(shù)據(jù)庫(kù)工具獲取、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集[4]。它是信息時(shí)代的產(chǎn)物，主要包括社交網(wǎng)絡(luò)、網(wǎng)站信息、移動(dòng)信息設(shè)備等各種介質(zhì)產(chǎn)生的數(shù)據(jù)。IBM認(rèn)為當(dāng)前大數(shù)據(jù)具有5V特征，即：數(shù)據(jù)容量大(Volume)、數(shù)據(jù)產(chǎn)生速度快(Velocity)、數(shù)據(jù)形式和來源多樣(Variety)、數(shù)據(jù)的真實(shí)性難辨(Veracity)、數(shù)據(jù)隱含價(jià)值大(Value)[5]。大數(shù)據(jù)的實(shí)際價(jià)值不限于龐大的數(shù)據(jù)信息，更多在于通過專業(yè)化處理后浮現(xiàn)的隱含信息。

當(dāng)前，傳統(tǒng)GIS存儲(chǔ)、管理與分析大數(shù)據(jù)時(shí)面臨的主要問題有：量大、機(jī)構(gòu)復(fù)雜的大數(shù)據(jù)，顛覆了傳統(tǒng)GIS的關(guān)系型數(shù)據(jù)管理構(gòu)架；用戶對(duì)GIS大數(shù)據(jù)的實(shí)時(shí)性、響應(yīng)時(shí)間要求越來越高；在對(duì)大數(shù)據(jù)的空間分析與可視化時(shí)，由于其數(shù)據(jù)量特別大導(dǎo)致計(jì)算量呈指數(shù)級(jí)增加。

1.2 大數(shù)據(jù)GIS的特征

區(qū)別于其他信息管理系統(tǒng)，GIS具有空間數(shù)據(jù)管理、空間分析與數(shù)據(jù)可視化的功能。大數(shù)據(jù)并沒有改變傳統(tǒng)GIS的基本特征，但是對(duì)其提出了新的要求。隨著大數(shù)據(jù)時(shí)代的到來，大數(shù)據(jù)將促進(jìn)GIS產(chǎn)業(yè)技術(shù)升級(jí)和服務(wù)模式變革。因此，對(duì)大數(shù)據(jù)的存儲(chǔ)、分析以及處理等問題的研究變得越來越重要，以促使GIS取得更多的經(jīng)濟(jì)效益和社會(huì)效益。

大數(shù)據(jù)下的GIS應(yīng)該具有的基本特征：(1) 大數(shù)據(jù)管理方式動(dòng)態(tài)性、易擴(kuò)展。相比傳統(tǒng)的靜態(tài)離散的數(shù)據(jù)集，數(shù)據(jù)存儲(chǔ)和管理從傳統(tǒng)的面向離線式分析的組織與存儲(chǔ)方式轉(zhuǎn)換為可擴(kuò)展的面向?qū)崟r(shí)分析與挖掘的動(dòng)態(tài)處理與管理過程。同時(shí)，大數(shù)據(jù)GIS的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)需要具備易擴(kuò)展性以解決動(dòng)態(tài)無限增長(zhǎng)的數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)查詢問題。(2) 大數(shù)據(jù)驅(qū)動(dòng)的空間分析與挖掘能力。將傳統(tǒng)的空間分析方法由模型驅(qū)動(dòng)逐漸轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)大數(shù)據(jù)GIS的空間分析，不僅要有建立模型的能力，更要有挖掘新模式、新知識(shí)、新規(guī)律的能力。(3) 結(jié)合地理計(jì)算的可視化分析。傳統(tǒng)GIS可視化的重點(diǎn)表現(xiàn)在符號(hào)、尺度、三維等問題上。大數(shù)據(jù)GIS的可視化不僅僅是圖形顯示功能還是數(shù)據(jù)分析和挖掘的一個(gè)重要手段[6-7]。通過交互可視手段對(duì)數(shù)據(jù)和事件進(jìn)行分析和決策，進(jìn)而對(duì)復(fù)雜情景進(jìn)行更深層的認(rèn)識(shí)。

2 大數(shù)據(jù)時(shí)代下的GIS發(fā)展

大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)時(shí)代的到來對(duì)GIS的發(fā)展產(chǎn)生極大影響。在大數(shù)據(jù)時(shí)代，GIS數(shù)據(jù)采集的方式、存儲(chǔ)和管理的形式、空間分析和數(shù)據(jù)挖掘方法必將發(fā)生巨大的變革。GIS作為一門以空間分析為核心、以指導(dǎo)決策為目的的綜合性學(xué)科，空間數(shù)據(jù)對(duì)GIS的重要性不言而喻。因此，要想在大數(shù)據(jù)時(shí)代發(fā)揮GIS的最大功效，需要對(duì)數(shù)據(jù)采集、管理、分析與可視化的等方面進(jìn)行不斷改進(jìn)，并且只有將GIS與大數(shù)據(jù)技術(shù)相結(jié)合，才能從根本上解決GIS龐大的數(shù)據(jù)量所面臨的各種問題。

2.1 大數(shù)據(jù)與GIS數(shù)據(jù)采集

大數(shù)據(jù)GIS的數(shù)據(jù)形式多樣，主要有地圖數(shù)字化、遙感影像、傳感器實(shí)時(shí)監(jiān)測(cè)設(shè)備、RFID設(shè)備、歷史資料等媒介產(chǎn)生的各種數(shù)據(jù)。首先，由于大數(shù)據(jù)源的種類各異，獲取數(shù)據(jù)的方法也各不相同，在運(yùn)用GIS對(duì)大數(shù)據(jù)進(jìn)行采集識(shí)別過程中，需要建立多源數(shù)據(jù)的關(guān)聯(lián)和識(shí)別模型、多源多態(tài)數(shù)據(jù)的自動(dòng)識(shí)別方法等，同時(shí)將不同來源、不同形式的大數(shù)據(jù)綜合分析，以多角度、全面地描述事物對(duì)象。其次，需要建立完善的正確性條件和約束性規(guī)則以確保數(shù)據(jù)的完整性和同一性。最后，建立數(shù)據(jù)監(jiān)管部門，以確保數(shù)據(jù)的真實(shí)性。

2.2 大數(shù)據(jù)與GIS數(shù)據(jù)管理

數(shù)據(jù)管理是GIS的基本功能之一，大數(shù)據(jù)的分布式管理構(gòu)架將影響GIS數(shù)據(jù)管理模式。為適應(yīng)大數(shù)據(jù)時(shí)代，傳統(tǒng)GIS的數(shù)據(jù)管理可以從以下方面考慮：(1) 在數(shù)據(jù)管理模式方面，相對(duì)于靜態(tài)、有限的、離散的數(shù)據(jù)集，大數(shù)據(jù)GIS的數(shù)據(jù)存儲(chǔ)管理系統(tǒng)需要具備擴(kuò)展性，以處理動(dòng)態(tài)無限增長(zhǎng)的數(shù)據(jù)的存儲(chǔ)和查詢問題。雖然Hadoop技術(shù)是在對(duì)大數(shù)據(jù)處理中所使用的常用解決方案，但它無法有效地多線程并進(jìn)的算法邏輯。隨著大數(shù)據(jù)管理架構(gòu)不斷完善，大數(shù)據(jù)下GIS空間數(shù)據(jù)管理架構(gòu)逐漸走向多樣性。(2) 在數(shù)據(jù)結(jié)構(gòu)方面，傳統(tǒng)的GIS數(shù)據(jù)管理是以矢量數(shù)據(jù)與柵格數(shù)據(jù)的格式為主的關(guān)系型數(shù)據(jù)形式，對(duì)非結(jié)構(gòu)化、可擴(kuò)展的大數(shù)據(jù)難以適應(yīng)。但近年來以無需提前聲明數(shù)據(jù)結(jié)構(gòu)、自由添加字段的鍵-值數(shù)據(jù)為代表的非關(guān)系型數(shù)據(jù)庫(kù)迅速發(fā)展，這對(duì)定義GIS數(shù)據(jù)結(jié)構(gòu)提供了較好的解決方案。(3) 連接數(shù)據(jù)庫(kù)與應(yīng)用層的接口方面。GIS需要從應(yīng)用層中讀取PB量級(jí)的數(shù)據(jù)，同時(shí)還需使上層應(yīng)用能夠快速、準(zhǔn)確地訪問數(shù)據(jù)庫(kù)的各個(gè)節(jié)點(diǎn)，所以建立兼容性強(qiáng)的數(shù)據(jù)訪問接口必不可少。

2.3 大數(shù)據(jù)與GIS空間分析

空間模型是傳統(tǒng)空間分析重要思想，它考慮的是如何建立一個(gè)更高精度的數(shù)學(xué)模型。區(qū)別于傳統(tǒng)GIS空間分析，大數(shù)據(jù)GIS更多關(guān)注從不同空間或者時(shí)間尺度上挖掘數(shù)據(jù)中隱含的規(guī)則或知識(shí)。為了克服大數(shù)據(jù)的不確定性，在進(jìn)行GIS空間分析時(shí)應(yīng)盡可能地使用多源數(shù)據(jù)，并對(duì)多源數(shù)據(jù)進(jìn)行融合，以充分發(fā)揮大數(shù)據(jù)所隱含的信息優(yōu)勢(shì)。大數(shù)據(jù)GIS的空間分析需要具備空間建模功能，還應(yīng)具備挖掘新模式、新知識(shí)、新規(guī)律的能力。

3 水文大數(shù)據(jù)對(duì)GIS發(fā)展的思考

水文是研究自然界水體時(shí)空分布變化規(guī)律的科學(xué)。目前，我國(guó)在江河、湖泊布設(shè)的水文資料實(shí)時(shí)監(jiān)測(cè)站，收集的水文數(shù)據(jù)容量截止2012年已經(jīng)超過100BT[8]。目前，GIS在水情實(shí)時(shí)監(jiān)測(cè)、水資源調(diào)度、水資源管理、水文專題分析等方面的應(yīng)用較為廣泛。隨著水文傳感器的發(fā)展，水文數(shù)據(jù)收集的數(shù)據(jù)容量也會(huì)成指數(shù)增長(zhǎng)，所以在水文大數(shù)據(jù)環(huán)境下，GIS水文的發(fā)展與應(yīng)用如何發(fā)展將成為GIS學(xué)者與水文學(xué)者面臨的共同問題。筆者認(rèn)為基于水文大數(shù)據(jù)的GIS整體發(fā)展方向可以從下面兩方面進(jìn)行考慮：

(1)完善水文空間數(shù)據(jù)基礎(chǔ)設(shè)施，包括水文數(shù)據(jù)實(shí)時(shí)采集、管理、分析與可視化等硬件設(shè)備、軟件條件。水文涉及氣象、降雨、水情、水質(zhì)、泥沙等多個(gè)方向。水文數(shù)據(jù)獲取獲取方式不同、數(shù)據(jù)容量大、形式多樣、結(jié)構(gòu)各異造成數(shù)據(jù)綜合管理比較困難，影響數(shù)據(jù)共享以及水文數(shù)據(jù)價(jià)值的發(fā)揮。因此，在硬件方面，除了增加全國(guó)范圍內(nèi)水文監(jiān)測(cè)設(shè)備的數(shù)量，還要提高設(shè)備監(jiān)測(cè)的精度。在水文數(shù)據(jù)管理等方面，基于大數(shù)據(jù)GIS的非結(jié)構(gòu)化空間數(shù)據(jù)管理優(yōu)勢(shì)，構(gòu)建水文空間數(shù)據(jù)管理基礎(chǔ)設(shè)施，以支撐水文數(shù)據(jù)統(tǒng)一管理與共享。

(2)在水文數(shù)據(jù)分析與挖掘方面，需建立分布式并行或云計(jì)算構(gòu)架。對(duì)水文大數(shù)據(jù)分析的關(guān)鍵是處理好數(shù)據(jù)抽取和模式分析等過程中產(chǎn)生的大量計(jì)算問題[9]，基于分布式并行計(jì)算或者云計(jì)算提供了較好的解決方案，實(shí)現(xiàn)以數(shù)據(jù)驅(qū)動(dòng)為基礎(chǔ)的新模型發(fā)現(xiàn)和知識(shí)挖掘?qū)⒊蔀榇髷?shù)據(jù)水文分析的重要應(yīng)用領(lǐng)域[10]。

4 結(jié)語

目前，地理空間數(shù)據(jù)表達(dá)、管理與分析技術(shù)已經(jīng)相當(dāng)成熟，但隨著大數(shù)據(jù)時(shí)代的來臨，對(duì)GIS社會(huì)化的應(yīng)用又提出了更高的要求?；诳臻g位置的社交網(wǎng)絡(luò)、社交關(guān)系、物聯(lián)網(wǎng)、云計(jì)算、城市計(jì)算等作為典型大數(shù)據(jù)的重要性會(huì)越加凸顯，并將極大地推進(jìn)GIS的應(yīng)用研究。同時(shí)這些大數(shù)據(jù)要在GIS中充分發(fā)揮其作用，地理信息部門、企業(yè)要對(duì)其技術(shù)有足夠的認(rèn)識(shí)與技術(shù)積淀，并加快GIS與大數(shù)據(jù)技術(shù)的結(jié)合發(fā)展，以得到大數(shù)據(jù)為GIS所帶來的大價(jià)值。

[1]方巍, 鄭玉, 徐江. 大數(shù)據(jù):概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報(bào).2014(5):405-419.

[2]Shekhar S, Xiong H. Encyclopedia of GIS[M]. Springer US, 2008.

[3]維克托·邁爾·舍恩伯格,肯尼思·庫(kù)克耶.大數(shù)據(jù)時(shí)代: 生活、工作與思維方式的大變革[M].盛楊燕,周濤,譯.杭州:浙江人民出版社.2012.

[4]甄峰, 秦蕭, 王波. 大數(shù)據(jù)時(shí)代的人文地理研究與應(yīng)用實(shí)踐[J]. 人文地理.2014(3):1-6.

[5]李清泉, 李德仁. 大數(shù)據(jù)GIS[J]. 武漢大學(xué)學(xué)報(bào):信息科學(xué)版.2014, 39(6):641-644.

[6]Wong P C, Thomas J. Visual analytics[J]. Computer Graphics & Applications IEEE.2004, 24(5):20-21.

[7]Kovalerchuk B, Schwing J. Visual and spatial analysis : advances in data mining, reasoning, and problem solving[J]. 2005, 8(6):547-583.

[8]馮鈞, 許瀟, 唐志賢,等. 水利大數(shù)據(jù)及其資源化關(guān)鍵技術(shù)研究[J]. 水利信息化.2013(4):6-9.

[9]莫榮強(qiáng), 艾萍, 吳禮福,等. 一種支持大數(shù)據(jù)的水利數(shù)據(jù)中心基礎(chǔ)框架[J]. 水利信息化.2013(3):16-20.

[10]郭玉雙. 基于大數(shù)據(jù)環(huán)境的水文GIS應(yīng)用發(fā)展初探[J].中國(guó)科技投資.2016(18).

2016-08-14

劉志洋(1998-)，男，陜西西安人，西北大學(xué)附中高三學(xué)生。

P333.9

B

1004-1184(2017)01-0178-02