探索基于NoSQL 數(shù)據(jù)庫(kù)的空間大數(shù)據(jù)分布式存儲(chǔ)策略

王艷喜 濰坊學(xué)院計(jì)算機(jī)工程學(xué)院

引言

近幾年，隨著經(jīng)濟(jì)水平以及科技水平的不斷提升，云技術(shù)、互聯(lián)網(wǎng)技術(shù)以及物聯(lián)網(wǎng)技術(shù)應(yīng)用進(jìn)一步廣泛，各類(lèi)數(shù)據(jù)信息數(shù)量逐漸增大，這為空間數(shù)據(jù)存儲(chǔ)以及分析帶來(lái)了巨大挑戰(zhàn)，傳統(tǒng)關(guān)系型的數(shù)據(jù)存儲(chǔ)凈模式已經(jīng)無(wú)法在日常工作中發(fā)揮更大的作用。因此，對(duì)基于NoSQL數(shù)據(jù)庫(kù)的空間大數(shù)據(jù)分布式存儲(chǔ)策略研究有著鮮明現(xiàn)實(shí)意義。

1 空間數(shù)據(jù)存儲(chǔ)技術(shù)現(xiàn)狀

就目前我國(guó)空間存儲(chǔ)技術(shù)發(fā)展情況而言，成熟關(guān)系型數(shù)據(jù)庫(kù)是空間數(shù)據(jù)存儲(chǔ)的主流模式，除此之外，集中存儲(chǔ)以及管理空間也是常見(jiàn)模式之一。

1.1 集中存儲(chǔ)模式及其局限性

立足于空間數(shù)據(jù)與應(yīng)用程序之間的關(guān)系而言，可以將空間引擎體系總結(jié)為以下幾種模式：內(nèi)置、三層結(jié)構(gòu)以及兩層機(jī)構(gòu)。以上結(jié)構(gòu)應(yīng)用具有不同效果，但總得來(lái)說(shuō)可以很好的存儲(chǔ)以及處理海量空間數(shù)據(jù)。

就目前地理信息空間數(shù)據(jù)發(fā)展情況而言，數(shù)據(jù)量大、種類(lèi)多已經(jīng)成為基本特點(diǎn)，傳統(tǒng)空間數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的單一性、集中性存儲(chǔ)方法已經(jīng)無(wú)法滿(mǎn)足數(shù)據(jù)處理需求。具體而言，空間數(shù)據(jù)的大數(shù)據(jù)轉(zhuǎn)變，存儲(chǔ)技術(shù)也會(huì)發(fā)展改變：①存儲(chǔ)對(duì)象的變化。傳統(tǒng)存儲(chǔ)處理系統(tǒng)，需要面對(duì)各類(lèi)視頻以及音頻文件，但是系統(tǒng)并不擅長(zhǎng)對(duì)上述信息進(jìn)行處理。②存儲(chǔ)能力擴(kuò)展。從存容量角度而言，傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的精準(zhǔn)維護(hù)，并且其本身也不具備良好的擴(kuò)展性以及橫向延展性。

1.2 基于NoSQL 的空間數(shù)據(jù)單一存儲(chǔ)模式不足

NoSQL 數(shù)據(jù)庫(kù)在近幾年的發(fā)展過(guò)程中已經(jīng)得到了較為廣泛的應(yīng)用，并且應(yīng)用效果良好，但是仍然具有一定局限性。例如：在空間數(shù)據(jù)庫(kù)中對(duì)數(shù)據(jù)的修改是常用操作，但NoSQI 二數(shù)據(jù)庫(kù)一般不建議對(duì)數(shù)據(jù)進(jìn)行修改，不慎重的修改操作甚至?xí)驗(yàn)橐鹣嚓P(guān)存儲(chǔ)數(shù)據(jù)的大量遷移而導(dǎo)致性能急劇下降。并且，從實(shí)際應(yīng)用角度而言，NoSQI 二數(shù)據(jù)庫(kù)提供的查詢(xún)能力非常有限，即使是內(nèi)部衍生出來(lái)的MongoDB 也不能滿(mǎn)足GIS 常用查詢(xún)的需要。

2 空間大數(shù)據(jù)分布式存儲(chǔ)策略

結(jié)合傳統(tǒng)空間數(shù)據(jù)處理情況，本文提出了一個(gè)基于NoSQL 數(shù)據(jù)庫(kù)的空間大數(shù)據(jù)分布式存儲(chǔ)策略，該策略在設(shè)計(jì)以及應(yīng)用過(guò)程中主要是針對(duì)傳統(tǒng)矢量以及柵格等各類(lèi)移動(dòng)終端大數(shù)據(jù)進(jìn)行存儲(chǔ)與處理。具體的存儲(chǔ)體系分為內(nèi)存數(shù)據(jù)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)以及NoSQL 數(shù)據(jù)庫(kù)三個(gè)層級(jí)。

2.1 存儲(chǔ)與管理系統(tǒng)

空間大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)具有良好的數(shù)據(jù)存儲(chǔ)以及分析能力，可以為使用者提供多種應(yīng)用功能。從整體角度而言，可以將內(nèi)部存儲(chǔ)系統(tǒng)以及管理系統(tǒng)概括為以下內(nèi)容：存儲(chǔ)系統(tǒng)：內(nèi)存數(shù)據(jù)庫(kù)、傳統(tǒng)關(guān)系式數(shù)據(jù)庫(kù)以及分布式數(shù)據(jù)庫(kù)。管理系統(tǒng)：節(jié)點(diǎn)管理、數(shù)據(jù)調(diào)度、容錯(cuò)機(jī)制、監(jiān)控系統(tǒng)以及全局日志管理。

具體應(yīng)用流程可以總計(jì)為以下內(nèi)容：首先，手機(jī)、平板、車(chē)載設(shè)備移動(dòng)終端產(chǎn)生信息，這些信息接入到網(wǎng)關(guān)；然后傳輸?shù)酱鎯?chǔ)管理系統(tǒng)；最后在傳統(tǒng)應(yīng)用的幫助下進(jìn)行分析數(shù)據(jù)顯示，例如在線(xiàn)數(shù)據(jù)更新、空間數(shù)據(jù)顯示、專(zhuān)題地圖分析以及位置歷史分析結(jié)果等。

本文主要是對(duì)空間大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行分析，所以針對(duì)三種類(lèi)型數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)要研究：①內(nèi)存數(shù)據(jù)庫(kù)。該類(lèi)型數(shù)據(jù)庫(kù)具有較高的應(yīng)用價(jià)值，因?yàn)槠浔旧淼臄?shù)據(jù)操作速度較快。I／O處理速度大約是傳統(tǒng)數(shù)據(jù)庫(kù)的十倍左右。②傳統(tǒng)關(guān)系式數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)存在的意義在于為整個(gè)系統(tǒng)提供數(shù)據(jù)集中存儲(chǔ)條件以及對(duì)外數(shù)據(jù)顯示功能，促使改進(jìn)之后的系統(tǒng)仍然具備GIS功效，防止系統(tǒng)部分功能發(fā)生退化。③分布式存儲(chǔ)系統(tǒng)。該類(lèi)系統(tǒng)的基礎(chǔ)是NoSQL 數(shù)據(jù)庫(kù)，在實(shí)際應(yīng)用過(guò)程中，可以將其看做為是整個(gè)存儲(chǔ)系統(tǒng)的數(shù)據(jù)大倉(cāng)。其存在的主要作用為：為空間大數(shù)據(jù)存儲(chǔ)提供必要能力，例如可擴(kuò)展性能力、高通量能力等。

2.2 關(guān)鍵技術(shù)

2.2.1 存儲(chǔ)實(shí)現(xiàn)

對(duì)于存儲(chǔ)系統(tǒng)而言，最為基本的功能便是可以完成數(shù)據(jù)存儲(chǔ)、實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，這也是存儲(chǔ)系統(tǒng)設(shè)計(jì)與構(gòu)建的基本需求。基于此，本文結(jié)合NoSQL 數(shù)據(jù)庫(kù)基本特點(diǎn)以及MongogDB 數(shù)據(jù)存儲(chǔ)基本特點(diǎn)，構(gòu)建了一個(gè)融合狀態(tài)下的數(shù)據(jù)存儲(chǔ)模式，以求實(shí)現(xiàn)數(shù)據(jù)庫(kù)大數(shù)據(jù)存儲(chǔ)功能。就MongogDB 而言，可以說(shuō)是建立于NoSQL 數(shù)據(jù)庫(kù)基礎(chǔ)之上的一種數(shù)據(jù)庫(kù)，與各類(lèi)數(shù)據(jù)對(duì)象之間存在有映射關(guān)系，這也是應(yīng)用MongogDB 可以實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的基本原因。例如：空間位置信息存儲(chǔ)中，SQLite：Mem 對(duì)應(yīng)的是的Text、PostgreSQL 對(duì)應(yīng)的是bin、MongogDB 對(duì)應(yīng)的是BSON。

2.2.2 組織結(jié)構(gòu)設(shè)計(jì)

整個(gè)存儲(chǔ)系統(tǒng)中，組織結(jié)構(gòu)設(shè)計(jì)十分重要，關(guān)系著系統(tǒng)應(yīng)用效果以及質(zhì)量，為保證存儲(chǔ)系統(tǒng)穩(wěn)定，本文建議采用MongogDB 中的Replica Set 以及Sharding 兩個(gè)集群進(jìn)行構(gòu)建。通過(guò)實(shí)際試驗(yàn)發(fā)現(xiàn)，應(yīng)用場(chǎng)景對(duì)于系統(tǒng)存儲(chǔ)數(shù)據(jù)質(zhì)量有著重要影響，基于此，本文根據(jù)地理范圍基本限定，進(jìn)行了外部分片，之后進(jìn)行Sharding 集群的搭建，這樣可以進(jìn)一步降低外界環(huán)境因素的影響，而Sharding 集群此時(shí)可以稱(chēng)之為滯后集群。

2.2.3 數(shù)據(jù)快速提取技術(shù)

從實(shí)際應(yīng)用角度而言，數(shù)據(jù)快速提取往往會(huì)受到多種因素的影響，例如數(shù)據(jù)基本組織結(jié)構(gòu)以及空間索引策略等，所謂的空間索引策略其實(shí)就是數(shù)據(jù)提取應(yīng)用到的具體方法，不同提取方法最終作用效果效果并不相同，所以提取效果也存在差異性，從此角度而言，空間索引策略可以說(shuō)是影響數(shù)據(jù)提取速度的根本因素。結(jié)合實(shí)際應(yīng)用需求以及測(cè)試情況，建議采用元數(shù)據(jù)多級(jí)圖幅索引方式進(jìn)行設(shè)計(jì)，因?yàn)榇朔N索引方式可以很好的與集群方案相互配合。

2.2.4 數(shù)據(jù)調(diào)度

因?yàn)樽罱K構(gòu)建的空間大數(shù)據(jù)存在高效分析以及快速處理需求，所以為保證處理與存儲(chǔ)時(shí)間，需要做好數(shù)據(jù)調(diào)度，只有數(shù)據(jù)調(diào)度合理，數(shù)據(jù)提取以及分析才能更加快速?；诖?，本文建議將傳統(tǒng)存儲(chǔ)模式設(shè)計(jì)為“內(nèi)外存協(xié)同”形式。這樣就可以將經(jīng)常應(yīng)用到的熱點(diǎn)數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中，進(jìn)一步保證數(shù)據(jù)庫(kù)的高通量，不經(jīng)常應(yīng)用的冷數(shù)據(jù)可以采用歸檔形式存儲(chǔ)到NoSQL 數(shù)據(jù)庫(kù)或者是傳統(tǒng)數(shù)據(jù)庫(kù)當(dāng)中。

2.2.5 訪(fǎng)問(wèn)接口設(shè)計(jì)

訪(fǎng)問(wèn)接口設(shè)計(jì)十分重要，因?yàn)殛P(guān)系著數(shù)據(jù)的輸入以及傳輸，如果訪(fǎng)問(wèn)接口設(shè)計(jì)質(zhì)量存在問(wèn)題，則數(shù)據(jù)流通將會(huì)產(chǎn)生影響，致使整個(gè)存儲(chǔ)、處理系統(tǒng)無(wú)法正常發(fā)揮作用。該方面的設(shè)計(jì)主要集中在傳統(tǒng)關(guān)系式數(shù)據(jù)庫(kù)當(dāng)中。本文建議，為傳統(tǒng)數(shù)據(jù)庫(kù)提供一個(gè)API 端口，改端口中存在一個(gè)開(kāi)源的OGDC。此端口有一個(gè)空間數(shù)據(jù)端口的OD—BC，可以在實(shí)際應(yīng)用過(guò)程中為空間數(shù)據(jù)提供最為基礎(chǔ)的訪(fǎng)問(wèn)功能，其中不僅包含了Oracle、DB2，而且包含了DM 以及Kingbase 等。除此之外，此種訪(fǎng)問(wèn)接口設(shè)計(jì)還為數(shù)據(jù)并行提供了必要渠道。

3 結(jié)論

綜上所述，隨著數(shù)據(jù)數(shù)量的逐漸增加，空間數(shù)據(jù)存儲(chǔ)暴露出很多問(wèn)題，而空間大數(shù)據(jù)存儲(chǔ)策略的研究便是從各類(lèi)問(wèn)題角度入手，以求可以更好的解決大數(shù)據(jù)存儲(chǔ)、應(yīng)用以及處理等問(wèn)題。本文提出了以NoSQL 數(shù)據(jù)庫(kù)為基礎(chǔ)，應(yīng)用分布式存儲(chǔ)方法，對(duì)原有系統(tǒng)進(jìn)行改進(jìn)，就實(shí)際應(yīng)用情況而言，上述改進(jìn)方法可行且效果良好。