數(shù)據(jù)時代地理信息系統(tǒng)的應(yīng)用分析

吳媛媛

山西省測繪地理信息院 山西 太原 030001

引言

作為一種高科技的綜合決策技術(shù)，GIS在各個重要領(lǐng)域得到了廣泛而成功的研究和應(yīng)用。它不僅直接推動社會資源、環(huán)境和管理現(xiàn)代化規(guī)劃的完成，而且是城市管理現(xiàn)代化、環(huán)境災(zāi)害防治和軍事戰(zhàn)略行動指揮的最重要技術(shù)手段，為世界社會的發(fā)展進步做出了許多積極而重大的貢獻。

1 大數(shù)據(jù)在GIS中應(yīng)用的必要性

受當時國內(nèi)外數(shù)據(jù)傳輸、文件存儲和處理技術(shù)應(yīng)用的各種因素限制，在國外各種GIS應(yīng)用軟件的早期開發(fā)中，圖形化RDBMS系統(tǒng)主要用于獨立管理數(shù)據(jù)庫，或者簡單地采用數(shù)據(jù)庫文件管理和圖形RDBMS系統(tǒng)集成的文件管理集成模式，方便文件數(shù)據(jù)的管理[1]。例如，國內(nèi)著名的GIS文件管理集成軟件GEOSTAR直接采用與后者集成的文件數(shù)據(jù)管理模式，其屬性數(shù)據(jù)部分仍主要采用RDBMS管理模式，圖形、影響和DEM的功能均由文件系統(tǒng)管理，因此已成功開發(fā)和實施。然而，基于GIS領(lǐng)域固有的海量空間數(shù)據(jù)存儲和對海量空間數(shù)據(jù)特征分析、海量數(shù)據(jù)處理和快速智能響應(yīng)的強烈需求，這就決定了目前以關(guān)系數(shù)據(jù)庫存儲為典型代表的大量傳統(tǒng)數(shù)據(jù)的存儲方法，以及以大規(guī)模統(tǒng)計理論和大規(guī)模數(shù)據(jù)挖掘算法為主要代表手段的大規(guī)模傳統(tǒng)數(shù)據(jù)處理方法和技術(shù)，顯然已經(jīng)不能有效地滿足我國技術(shù)發(fā)展的需要當代GIS海量數(shù)據(jù)存儲應(yīng)用與分析處理領(lǐng)域。大數(shù)據(jù)時代的出現(xiàn)，給中國地理信息系統(tǒng)帶來了新時代的深刻變革。

2 地理信息系統(tǒng)簡述

地理信息系統(tǒng)（Geographic information system）簡稱智能地理信息系統(tǒng)，也被一些人直接稱為現(xiàn)代自動地球科學(xué)信息系統(tǒng)（automatic geoscience information system，簡稱GIS）。是指對各類地學(xué)空間信息資源進行實時、自動的計算機智能綜合分析、提取、查詢和智能計算處理的自動化系統(tǒng)。它是一種直接用于輸入、存儲、查詢的方法，是一種分析、計算地理信息并實時顯示各種空間地理數(shù)據(jù)的新型綜合計算機系統(tǒng)[2]。它是一種新的現(xiàn)代數(shù)字信息技術(shù)，可以隨時隨地使用智能移動平板電腦終端，準確、快速地進行空間地理資源的快速定位和跟蹤定位，以及地理數(shù)據(jù)的動態(tài)智能處理和分析，最終以各種數(shù)字圖形符號組合或數(shù)據(jù)符號組合的數(shù)字形式直接實現(xiàn)各種地面空間信息的準確表達和顯示。由于GIS在地質(zhì)調(diào)查和交通信息網(wǎng)絡(luò)建設(shè)方面的優(yōu)勢，它也可以廣泛應(yīng)用于道路規(guī)劃和交通信息網(wǎng)絡(luò)建設(shè)，同時，也成為目前國內(nèi)城市地形綜合測繪應(yīng)用工程系統(tǒng)中最重要的應(yīng)用基礎(chǔ)技術(shù)平臺和應(yīng)用支撐。其應(yīng)用技術(shù)及其運行演變過程可簡單概括如下：①對數(shù)據(jù)庫的空間信息內(nèi)容進行有效的收集和管理，定期進行整理或輸出，最終將數(shù)據(jù)庫中收集和記錄的數(shù)據(jù)信息轉(zhuǎn)化為具有實用價值的空間數(shù)據(jù)庫內(nèi)容。信息管理的實施過程必須具有高度的數(shù)據(jù)空間動態(tài)性。②GIS系統(tǒng)的基礎(chǔ)研究對象應(yīng)該是地理圖形學(xué)。采用合理可行的地理模型系統(tǒng)進行圖形分析，并提出相應(yīng)的系統(tǒng)決策，使其成為具有較高決策價值的三維綜合信息系統(tǒng)。③數(shù)據(jù)處理的全過程模擬由具有自動數(shù)據(jù)處理控制的主機提供。通過主機獨有的計算軟件和全過程仿真，對海量地理數(shù)據(jù)信息進行動態(tài)管理，逐步實現(xiàn)各種地理資源數(shù)據(jù)的綜合分析和管理。

3 地理信息系統(tǒng)應(yīng)用大數(shù)據(jù)時存在的問題

3.1 數(shù)據(jù)存儲問題

所謂的海量地理數(shù)據(jù)，是指數(shù)據(jù)資源快速高效流動的能力，以及數(shù)據(jù)系統(tǒng)的動態(tài)性、地理數(shù)據(jù)類型的多樣性、大數(shù)據(jù)模型的高速實時性、高價值性、低密度分布和高復(fù)雜性分布的特點?，F(xiàn)階段，我國數(shù)據(jù)市場對海量地理信息系統(tǒng)的建設(shè)提出了一系列迫切需求，特別是在3個方面：海量空間數(shù)據(jù)信息存儲的爆炸性增長、數(shù)據(jù)處理和響應(yīng)速度的日益加快、數(shù)據(jù)內(nèi)容描述方法的逐步多樣化，這些新的要求也對大數(shù)據(jù)在海量地理信息系統(tǒng)領(lǐng)域的應(yīng)用提出了一些嚴格的要求。

3.2 數(shù)據(jù)處理問題

雖然數(shù)字地理信息系統(tǒng)產(chǎn)品在實際業(yè)務(wù)應(yīng)用和實施過程中，可以通過多個通信渠道，同時對海量地理空間數(shù)據(jù)資源進行高效的集中統(tǒng)一處理，但在高效組織、數(shù)據(jù)傳輸、數(shù)據(jù)傳輸、數(shù)據(jù)傳輸?shù)燃夹g(shù)的應(yīng)用上仍存在明顯的不足。特別是在應(yīng)用新的數(shù)據(jù)處理技術(shù)時，非結(jié)構(gòu)化存儲的海量空間數(shù)據(jù)處理與傳統(tǒng)SQL等新的數(shù)據(jù)處理技術(shù)方法也存在某種形式的內(nèi)在矛盾和邏輯沖突，在一定程度上削弱和影響了海量空間數(shù)據(jù)信息的有效處理手段和應(yīng)用效果，阻礙和制約了大數(shù)據(jù)及其增值新產(chǎn)品技術(shù)的實際生產(chǎn)和使用進度，也是制約我國地理信息系統(tǒng)市場化發(fā)展的主要原因。

4 大數(shù)據(jù)時代下地理信息系統(tǒng)的應(yīng)用

4.1 高效存儲大量地理信息數(shù)據(jù)

隨著科學(xué)技術(shù)的飛速發(fā)展，計算機技術(shù)近年來得到了迅速發(fā)展和成熟。特別是硬盤價格逐年下降，大數(shù)據(jù)的存儲和使用成本逐漸降低。未來幾年，大數(shù)據(jù)信息的存取和存儲將更加方便，存儲容量有望不斷增加。這也充分展示了未來中國大數(shù)據(jù)技術(shù)的快速發(fā)展方向和重大進步。然而，隨著未來客觀物理世界模型的不斷深入發(fā)展、探索和技術(shù)變化，GIS需要在實時導(dǎo)航和決策輔助等多個方面考慮實時應(yīng)用。

4.2 信息處理的可擴展性和可擴展性

GIS及其應(yīng)用領(lǐng)域中其他一些重要的基礎(chǔ)數(shù)據(jù)和信息關(guān)系，它們的擴展程度和應(yīng)用速度可以確保它們在現(xiàn)代大數(shù)據(jù)應(yīng)用技術(shù)平臺提供的強大技術(shù)支持的環(huán)境條件下得到快速擴展和進一步完善[3]。目前，在企業(yè)開發(fā)和應(yīng)用的數(shù)據(jù)庫處理系統(tǒng)中，仍然會有許多新型的數(shù)據(jù)庫信息關(guān)系類型。通過這些增強和優(yōu)化的硬件系統(tǒng)，我們將能夠在一定程度上有效地擴展數(shù)據(jù)庫。但是，由于需要投入大量研發(fā)資金來優(yōu)化計算機設(shè)備，以及數(shù)據(jù)庫從物理空間擴展到服務(wù)器級，整個系統(tǒng)的運行和環(huán)境性能、數(shù)據(jù)庫容量的變化等都可能在同一時間內(nèi)發(fā)生變化，因此，在擴展這些非結(jié)構(gòu)化數(shù)據(jù)庫信息程序時，我們可能還會遇到不適合直接使用的數(shù)據(jù)庫信息的分割或擴展，需要對其進行相應(yīng)的修改和程序。這可能涉及集成部分鏈路信息的程序，導(dǎo)致工作量增加，以及非標準化信息數(shù)據(jù)庫擴展帶來的程序冗余效應(yīng)，將進一步導(dǎo)致信息數(shù)據(jù)擴展的困難和統(tǒng)一性要求的相對增加，從而大大減少和擴展分散在現(xiàn)有GIS網(wǎng)絡(luò)中的各類信息數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)庫的可擴展管理和各類海量信息數(shù)據(jù)的高度可擴展處理。

4.3 支持多種數(shù)據(jù)類型

由于地理信息數(shù)據(jù)來源豐富多樣，在大數(shù)據(jù)時代有必要對數(shù)據(jù)進行標準化，以減少一些數(shù)據(jù)或應(yīng)用于其他領(lǐng)域的數(shù)據(jù)。一般來說，數(shù)據(jù)處理標準化應(yīng)用的工作模式之一主要是通過數(shù)據(jù)的轉(zhuǎn)換和操作以及相關(guān)的人工分析和整理，以盡可能保證數(shù)據(jù)處理的科學(xué)統(tǒng)一。在計算機技術(shù)的不斷發(fā)展和演變中，如果其數(shù)據(jù)類型多樣，很容易導(dǎo)致其開發(fā)過程中積累的大量數(shù)據(jù)信息與原有的傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)信息之間出現(xiàn)大量不一致，這將對計算機地理信息系統(tǒng)的應(yīng)用產(chǎn)生各種不利影響。如果要有效地處理這個問題，必須使用各種原始的非結(jié)構(gòu)化數(shù)據(jù)來存儲其數(shù)據(jù)，或者結(jié)合各種新業(yè)務(wù)系統(tǒng)中業(yè)務(wù)的特殊性，可以存儲各種不同的數(shù)據(jù)源，這就要求數(shù)據(jù)庫支持各種類型的數(shù)據(jù)存儲方法。

4.4 即時數(shù)據(jù)資料

在大數(shù)據(jù)信息化時代的要求下，我國逐步探索和完善了數(shù)字地理信息數(shù)據(jù)庫的實際應(yīng)用，并將特定地理資源信息與計算機大數(shù)據(jù)系統(tǒng)整合，從而最終實現(xiàn)地理信息數(shù)據(jù)與采集到的信息之間最有效的綜合利用，使地理專業(yè)人員能夠更及時、更有效地掌握各種相關(guān)數(shù)據(jù)和信息，進而實現(xiàn)計算機對數(shù)據(jù)信息的及時、有效的查詢和分析。通過對地理信息的科學(xué)分析和應(yīng)用，捕捉中國人口地理特別是人力資源和自然資源綜合開發(fā)利用的海量大數(shù)據(jù)，需要進行實時更新的地理數(shù)據(jù)信息，將這些人類數(shù)據(jù)與相關(guān)的實際人口數(shù)據(jù)相連接，然后根據(jù)科學(xué)預(yù)測進行詳細規(guī)劃。

4.5 借助大數(shù)據(jù)交互處理模式創(chuàng)新GIS數(shù)據(jù)處理模式

4.5.1 大數(shù)據(jù)交互處理模式。大數(shù)據(jù)實時交互信息處理與共享是指計算機基于其所服務(wù)的人機自動交換平臺，對實時采集和調(diào)整的相關(guān)數(shù)據(jù)信息進行處理，并將這些處理信息和結(jié)果信息以實時交互共享的方式自動傳輸給最終用戶。目前，我國現(xiàn)有的商用分布式大數(shù)據(jù)實時交互處理計算系統(tǒng)主要由Dremel系統(tǒng)和spark系統(tǒng)組成。所謂的spark系統(tǒng)是指一個高效的分布式計算系統(tǒng)。該系統(tǒng)的處理性能遠高于一般Hadoop系統(tǒng)的實時數(shù)據(jù)處理和效率。它還有一個性能優(yōu)異的API。最重要的特點是，盡管Spark的代碼格式也變得清晰簡潔，但如果整個Hadoop平臺想要完全表達相同數(shù)量的功能代碼，它至少需要支付代碼長度的10倍甚至100倍以上。同時，Dremel還可以以第二個點為單位，支持Pb級以上海量數(shù)據(jù)的快速處理，并使用多達數(shù)千萬個大型數(shù)據(jù)集群共同建立和完成。

4.5.2 大數(shù)據(jù)列存儲。Dremel系統(tǒng)的主要優(yōu)點是可以通過哈希數(shù)據(jù)存儲有效地保護所有相關(guān)數(shù)據(jù)信息。其優(yōu)點是在數(shù)據(jù)信息分析、整理和存儲過程中，只在必要時存儲和處理一些關(guān)鍵數(shù)據(jù)信息[4]。這種操作模式可以大大有效地減少占用系統(tǒng)磁盤存儲空間和系統(tǒng)CPU緩存的數(shù)據(jù)訪問量。同時，在數(shù)據(jù)庫的實際業(yè)務(wù)應(yīng)用和推廣過程中，我們也可以看到，數(shù)據(jù)庫Dremel技術(shù)可以與傳統(tǒng)的Web搜索和DBMS數(shù)據(jù)庫技術(shù)有機結(jié)合。依托傳統(tǒng)Web搜索技術(shù)中嵌入的數(shù)據(jù)庫“查詢樹”的新功能，我們可以在數(shù)據(jù)查詢和搜索網(wǎng)絡(luò)中直接有效地劃分各種大型數(shù)據(jù)庫，其數(shù)據(jù)的科學(xué)分布直接傳輸?shù)矫總€數(shù)據(jù)批節(jié)點數(shù)據(jù)庫，從而進一步提高數(shù)據(jù)批查詢和處理的效率和簡單性。例如，基于HBase架構(gòu)的嵌套式數(shù)據(jù)分布式存儲系統(tǒng)是基于HBase的原始數(shù)據(jù)分布式存儲技術(shù)架構(gòu)，充分發(fā)揮了其可用性強、可擴展性好的優(yōu)勢。當使用HMASTE統(tǒng)一管理數(shù)據(jù)存儲和系統(tǒng)節(jié)點數(shù)據(jù)時，也意味著我們可以進一步考慮使用HReGon服務(wù)器作為存儲數(shù)據(jù)載體，以統(tǒng)一管理系統(tǒng)中每個子數(shù)據(jù)存儲系統(tǒng)節(jié)點的數(shù)據(jù)存儲和安全性[5]。同時，我們將進一步優(yōu)化系統(tǒng)原有存儲數(shù)據(jù)載體的陣列數(shù)據(jù)的存儲和文件格式，基于這種新的嵌套格式構(gòu)建下一組數(shù)據(jù)。這種基于Dremel體系結(jié)構(gòu)的新型嵌套數(shù)據(jù)存儲和文件格式也可以有效地實現(xiàn)數(shù)據(jù)文件持久化和處理這兩個最終應(yīng)用目的。另一方面，在基于HBase數(shù)據(jù)庫技術(shù)的嵌套式數(shù)據(jù)存儲系統(tǒng)中，數(shù)據(jù)讀、寫、存儲功能塊和數(shù)據(jù)讀、存儲功能模塊中也有許多優(yōu)秀的數(shù)據(jù)讀、寫、存儲和查詢功能，因此在數(shù)據(jù)讀寫存儲功能模塊的系統(tǒng)設(shè)計中，可以充分發(fā)揮數(shù)據(jù)信息的讀寫和查詢信息處理功能，顯示出一些明顯的優(yōu)勢。事實上，這種交互式的數(shù)據(jù)處理和存儲方法也可以用來優(yōu)化和實現(xiàn)數(shù)據(jù)查詢和存儲功能，以及數(shù)據(jù)的數(shù)據(jù)分區(qū)和存儲功能，從整體上提高海量數(shù)據(jù)的處理效率。

5 結(jié)束語

在地理信息大數(shù)據(jù)集成的過程中，它經(jīng)歷了許多技術(shù)改進。在快速發(fā)展的過程中，測繪技術(shù)為市場提供了豐富準確的地理信息，極大地促進了市場的發(fā)展和商業(yè)運作。在地理信息大數(shù)據(jù)逐步普及應(yīng)用的過程中，測繪企業(yè)將面臨更大的挑戰(zhàn)，更多地依賴測繪技術(shù)的開發(fā)和應(yīng)用。因此，測繪技術(shù)和測繪企業(yè)將實現(xiàn)巨大的變革。