傳統(tǒng)水文GIS應(yīng)對(duì)大數(shù)據(jù)技術(shù)的挑戰(zhàn)與建議

梁玉榮

（濟(jì)南市水文局，山東 濟(jì)南 250014）

“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類(lèi)別也同樣大的數(shù)據(jù)集。并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。它的特點(diǎn)是：數(shù)據(jù)體量（volumes）大；數(shù)據(jù)類(lèi)別（variety）大，數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類(lèi)和格式日漸豐富；數(shù)據(jù)處理速度（Velocity）快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理；數(shù)據(jù)真實(shí)性（Veracity）高，企業(yè)需要有效的信息之力以確保其真實(shí)性及安全性[1]。這種數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)可以分為：數(shù)據(jù)采集，數(shù)據(jù)存取，數(shù)據(jù)處理，統(tǒng)計(jì)分析，數(shù)據(jù)挖掘，模型預(yù)測(cè)以及最終的結(jié)果呈現(xiàn)。

1 傳統(tǒng)水文GIS技術(shù)的運(yùn)用

GIS技術(shù)是指通過(guò)采集一定的信息，建構(gòu)顯示地理信息系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)庫(kù)。國(guó)家會(huì)通過(guò)GIS技術(shù)增強(qiáng)國(guó)民的安全感。而在大數(shù)據(jù)化時(shí)代，GIS技術(shù)的運(yùn)用并沒(méi)有削弱，反而隨著信息化進(jìn)程的加快，人們對(duì)于GIS技術(shù)的依賴(lài)性也隨之加強(qiáng)。

水文GIS技術(shù)即將GIS技術(shù)運(yùn)用到水文測(cè)繪當(dāng)中，整合相關(guān)信息，并做出預(yù)測(cè)。主要的表現(xiàn)為：對(duì)于海量水文數(shù)據(jù)的管理，對(duì)于空間數(shù)據(jù)挖掘以及地理可視化。

水文數(shù)據(jù)原有的大規(guī)模、傳輸塊、形態(tài)多樣化的特點(diǎn)會(huì)隨著GIS技術(shù)的數(shù)據(jù)管理存貯而帶來(lái)改變，之前信息數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)會(huì)大量的呈現(xiàn)在人們的視線(xiàn)當(dāng)中。隨著信息傳輸速度的加快，使用傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)將無(wú)法適應(yīng)社會(huì)的發(fā)展。NoSQL技術(shù)是水文GIS技術(shù)為了面臨大數(shù)據(jù)的帶來(lái)的挑戰(zhàn)而開(kāi)發(fā)的新型技術(shù)，它可以與關(guān)系數(shù)據(jù)庫(kù)之間形成互補(bǔ)，并結(jié)合實(shí)際需求進(jìn)行運(yùn)用，共同發(fā)展。

空間數(shù)據(jù)挖掘的意義就在于挖掘深度的信息價(jià)值。數(shù)據(jù)信息挖掘其實(shí)就是運(yùn)用數(shù)學(xué)分析方法，對(duì)數(shù)據(jù)的結(jié)構(gòu)模式以及發(fā)展方向進(jìn)行探究，在原有的數(shù)據(jù)基礎(chǔ)上建構(gòu)一個(gè)空間，然后通過(guò)空間模型，挖掘空間之中以及空間之外的信息。信息挖掘不只限于特定模式下的具體性核算，而更多的研究重點(diǎn)從之前復(fù)雜整合轉(zhuǎn)換為抽取規(guī)則的方向，發(fā)現(xiàn)其中的普遍性規(guī)律，進(jìn)行相關(guān)預(yù)測(cè)，為人們的生活帶來(lái)更大的便利。

地理可視化同樣也是水文GIS技術(shù)中的重要功能。數(shù)據(jù)信息進(jìn)行可視化分析是非常先進(jìn)的方式。全球頂級(jí)的GIS技術(shù)軟件公司進(jìn)行了“城市瞭望臺(tái)”的項(xiàng)目研究。這個(gè)項(xiàng)目是通過(guò)當(dāng)今世界現(xiàn)存的數(shù)據(jù)，建立具體化的信息模型，然后同步到世界城市信息的對(duì)比，比如交通、人口老齡化、就業(yè)趨勢(shì)、醫(yī)療狀況等等。綜合之后，人們可以很好地了解自身的生存環(huán)境，對(duì)于出現(xiàn)的問(wèn)題，積極采取措施予以解決。在大數(shù)據(jù)發(fā)展快速的時(shí)代下，水文GIS技術(shù)已經(jīng)轉(zhuǎn)變成為了一種可見(jiàn)的地理空間模型[2]。

2 傳統(tǒng)水文GIS面臨的挑戰(zhàn)

2.1 海量數(shù)據(jù)的采集與處理方面的挑戰(zhàn)

頻繁的信息，爆炸的數(shù)據(jù)，對(duì)于GIS數(shù)據(jù)的采集、管理以及空間數(shù)據(jù)分析帶來(lái)了嚴(yán)峻的挑戰(zhàn)。在數(shù)據(jù)采集方面，傳統(tǒng)的方法是通過(guò)遙感、攝影測(cè)繪的相關(guān)測(cè)量手段進(jìn)行采集，這種依賴(lài)于GPS等傳感器的方法獲取的數(shù)據(jù)信息有很高的精確度以及確定性，但是這種數(shù)據(jù)并不是滾動(dòng)制的，而是一種靜態(tài)化的數(shù)據(jù)形式。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，GIS技術(shù)的數(shù)據(jù)結(jié)構(gòu)比傳統(tǒng)的數(shù)據(jù)信息都要復(fù)雜許多，因此對(duì)于數(shù)據(jù)采集方式提出了新的要求和新的標(biāo)準(zhǔn)。傳統(tǒng)的數(shù)據(jù)采集方式已經(jīng)不適應(yīng)信息的多變需要、數(shù)據(jù)采集及時(shí)準(zhǔn)確性要求，無(wú)法實(shí)現(xiàn)信息的完美對(duì)接和對(duì)數(shù)據(jù)的真實(shí)程度以及價(jià)值進(jìn)行仔細(xì)的甄別。這種標(biāo)準(zhǔn)是任何的個(gè)體無(wú)法單獨(dú)解決的，需要人類(lèi)的集體智慧才能夠予以解決。

2.2 水文數(shù)據(jù)實(shí)時(shí)和動(dòng)態(tài)處理方面的挑戰(zhàn)

對(duì)于大數(shù)據(jù)的管理，其實(shí)不在于規(guī)模的大小，而是要及時(shí)準(zhǔn)確，注重信息的動(dòng)態(tài)性和靈活多變的特點(diǎn)。傳統(tǒng)的GIS技術(shù)是無(wú)法對(duì)大數(shù)據(jù)進(jìn)行精確的描述。特別是對(duì)于這種含有大量非結(jié)構(gòu)的數(shù)據(jù)，舊有的技術(shù)根本不具有處理這種信息的能力。隨著時(shí)間的變化，大數(shù)據(jù)庫(kù)中的信息也會(huì)越來(lái)越多，這種根據(jù)時(shí)間動(dòng)態(tài)增加的數(shù)據(jù)，人們把它稱(chēng)之為流數(shù)據(jù)，具有無(wú)限性。水文觀(guān)測(cè)數(shù)據(jù)就是典型流數(shù)據(jù)，因?yàn)樾畔⒌氖占c時(shí)間變化息息相關(guān)。目前的GIS技術(shù)對(duì)于空間數(shù)據(jù)的管理依舊是停留在靜態(tài)的數(shù)據(jù)采集模式上，需要做出相應(yīng)的改變與創(chuàng)新。

2.3 傳統(tǒng)數(shù)據(jù)有效性檢驗(yàn)方面的挑戰(zhàn)

空間數(shù)據(jù)分析是大數(shù)據(jù)運(yùn)用中不可或缺的環(huán)節(jié)。但是當(dāng)前的大數(shù)據(jù)庫(kù)，很多并不是人們想要了解的信息。垃圾多、污染多、環(huán)節(jié)多是挖掘大數(shù)據(jù)價(jià)值不容忽視的問(wèn)題，這些都會(huì)使數(shù)據(jù)喪失其準(zhǔn)確性。因此，對(duì)傳統(tǒng)的空間分析理論以及方法帶來(lái)了嚴(yán)峻的挑戰(zhàn)。如果無(wú)法保證數(shù)據(jù)信息的真實(shí)可靠，那么只能說(shuō)明這種信息是無(wú)用的。傳統(tǒng)的數(shù)據(jù)分析采用從樣本本身進(jìn)行推測(cè)，無(wú)法解決這種問(wèn)題。因此，如何將傳統(tǒng)數(shù)據(jù)分析方法與當(dāng)代信息分析技術(shù)進(jìn)行有機(jī)結(jié)合是當(dāng)前水文GIS技術(shù)亟待解決的問(wèn)題。

3 發(fā)展對(duì)策

大數(shù)據(jù)對(duì)于人們影響的加深，在水文GIS技術(shù)運(yùn)用上，需要采取相應(yīng)的對(duì)策。下面從4個(gè)方面進(jìn)行深入分析：

3.1 完善運(yùn)用標(biāo)準(zhǔn)

水文GIS技術(shù)的運(yùn)用應(yīng)當(dāng)從自身的實(shí)際情況出發(fā)，制定相應(yīng)的使用標(biāo)準(zhǔn)。一般而言，GIS的開(kāi)發(fā)和運(yùn)用大部分都是分開(kāi)的。針對(duì)不同的具體需求，進(jìn)行獨(dú)立的技術(shù)開(kāi)發(fā)。因此，從整體來(lái)看，我國(guó)并沒(méi)有一套完整的技術(shù)規(guī)范系統(tǒng)以及應(yīng)用標(biāo)準(zhǔn)。各種開(kāi)放平臺(tái)以及數(shù)據(jù)格式的復(fù)雜給我國(guó)信息的共享帶來(lái)了巨大的阻力。雖然部分地方政府已經(jīng)共享部分水文信息，但是仍然需要國(guó)家對(duì)這些信息進(jìn)行統(tǒng)一處理。這樣無(wú)論是對(duì)于地方的水資源監(jiān)控，還是國(guó)家的水利工程建設(shè)都會(huì)起到巨大的促進(jìn)作用。因此需要盡快完善GIS技術(shù)的應(yīng)用標(biāo)準(zhǔn)。

3.2 數(shù)據(jù)庫(kù)構(gòu)建

其實(shí)在大數(shù)據(jù)來(lái)臨之前，我國(guó)已經(jīng)建立了相應(yīng)的信息庫(kù)。但是面對(duì)復(fù)雜的社會(huì)環(huán)境，傳統(tǒng)的信息庫(kù)已經(jīng)無(wú)法適應(yīng)人們的需求。因此，作為GIS系統(tǒng)關(guān)鍵的水資源地理空間數(shù)據(jù)庫(kù)需要重新構(gòu)建。隨著人們對(duì)于GIS數(shù)據(jù)庫(kù)要求越來(lái)越高，對(duì)于一些重要的水文信息數(shù)據(jù)庫(kù)，比如旱情檢測(cè)、水位線(xiàn)下降以及水質(zhì)污染等方面，需要在極其規(guī)范的基礎(chǔ)上進(jìn)行高標(biāo)準(zhǔn)的建設(shè)。另外，數(shù)據(jù)庫(kù)當(dāng)中存有的信息應(yīng)該及時(shí)更新，并且為決策者提供準(zhǔn)確可靠的信息。

3.3 基礎(chǔ)設(shè)施建設(shè)

加強(qiáng)水文空間數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，將基礎(chǔ)數(shù)據(jù)、管理數(shù)據(jù)、以及分析數(shù)據(jù)等等，實(shí)現(xiàn)資源信息之間的共享。我國(guó)的地理環(huán)境極其復(fù)雜，各種水文數(shù)據(jù)的覆蓋面是相當(dāng)巨大的，所以水文中的各種專(zhuān)業(yè)數(shù)據(jù)需要有關(guān)人員及時(shí)進(jìn)行分類(lèi)，然后輸入數(shù)據(jù)庫(kù)中記錄。這些規(guī)模大的數(shù)據(jù)不僅為人們的管理帶來(lái)諸多不便，并且由于管理主體的獨(dú)立、結(jié)構(gòu)不統(tǒng)一以及工作不協(xié)調(diào)等原因，嚴(yán)重的阻礙了數(shù)據(jù)的共享。

因此，利用大數(shù)據(jù)的優(yōu)勢(shì)，對(duì)傳統(tǒng)的水文GIS系統(tǒng)實(shí)現(xiàn)轉(zhuǎn)型升級(jí)，實(shí)現(xiàn)非結(jié)構(gòu)化空間數(shù)據(jù)庫(kù)的有效管理，建構(gòu)三維一體的水文空間數(shù)據(jù)結(jié)構(gòu)[3]非常必要。

3.4 建立分布式數(shù)據(jù)驅(qū)動(dòng)體系

水文數(shù)據(jù)分析關(guān)鍵在于解決好數(shù)據(jù)采集和模式分析過(guò)程中的計(jì)算問(wèn)題。在現(xiàn)有信息技術(shù)以及組織體系的支持下，水文大數(shù)據(jù)分析應(yīng)該根據(jù)實(shí)際應(yīng)用的需求，進(jìn)行相關(guān)處理。分布式的并行計(jì)算方式是解決這些問(wèn)題的關(guān)鍵途徑。大數(shù)據(jù)的規(guī)?；攸c(diǎn)削弱了精確復(fù)雜模型在數(shù)據(jù)分析中的作用，使人們逐漸擺脫了對(duì)于模型設(shè)想的依賴(lài)。其實(shí)小數(shù)據(jù)的復(fù)雜算法并沒(méi)有大數(shù)據(jù)的精簡(jiǎn)算法有效，人們需要及時(shí)有效的信息，即使復(fù)雜算法下的信息分析比簡(jiǎn)單算法方式更加精確，但是時(shí)效性才是人們最關(guān)鍵的需求。云計(jì)算方式是當(dāng)前數(shù)據(jù)核算的發(fā)展方向，基于云計(jì)算的體系框架，利用大數(shù)據(jù)信息量大的特點(diǎn)，實(shí)現(xiàn)通過(guò)數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新開(kāi)發(fā)。并且深度挖掘潛在信息價(jià)值，提高人們的應(yīng)變能力，這是大數(shù)據(jù)時(shí)代下衡量水文GIS技術(shù)是否“過(guò)硬”的關(guān)鍵。

4 結(jié)語(yǔ)

信息技術(shù)在不斷的改變?nèi)藗兊纳罘绞揭约八季S方式。在大數(shù)據(jù)時(shí)代，雖然我國(guó)的水文GIS系統(tǒng)較為成熟，但是面對(duì)日新月異的社會(huì)環(huán)境，在大數(shù)據(jù)面前依然存在許多的不足。數(shù)據(jù)的采集、分析、管理中的空間信息抽取、存貯以及動(dòng)態(tài)更新，發(fā)展明顯乏力。如何實(shí)現(xiàn)高效化的動(dòng)態(tài)流數(shù)據(jù)管理，如何解決數(shù)據(jù)庫(kù)中的“垃圾”信息，如何凈化人們的數(shù)據(jù)儲(chǔ)存庫(kù)等一些問(wèn)題都亟待人們研究解決。只有實(shí)現(xiàn)大數(shù)據(jù)時(shí)代下GIS技術(shù)的創(chuàng)新，我國(guó)的水文系統(tǒng)才會(huì)更加完善，國(guó)際地位也會(huì)顯著提高。