魏雪梅,馬衛(wèi)春,李 寶
(1.安徽省基礎(chǔ)測(cè)繪信息中心,安徽 合肥 230031;2.安徽省智慧城市與地理國(guó)情監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230031)
安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
魏雪梅1,2,馬衛(wèi)春1,2,李 寶1,2
(1.安徽省基礎(chǔ)測(cè)繪信息中心,安徽 合肥 230031;2.安徽省智慧城市與地理國(guó)情監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室,安徽 合肥 230031)
從總體設(shè)計(jì)、關(guān)鍵技術(shù)、數(shù)據(jù)庫(kù)構(gòu)建、數(shù)據(jù)庫(kù)管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)等方面,詳細(xì)介紹了安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)系統(tǒng)的建設(shè)與應(yīng)用情況。該系統(tǒng)的建成,一方面有效地實(shí)現(xiàn)了對(duì)國(guó)情普查數(shù)據(jù)成果的高效管理,另一方面為國(guó)家與省級(jí)國(guó)情普查數(shù)據(jù)庫(kù)之間的數(shù)據(jù)更新與共享預(yù)留了數(shù)據(jù)交換接口,為后期開展常態(tài)化地理國(guó)情監(jiān)測(cè)工作奠定了基礎(chǔ)。
國(guó)情普查;數(shù)據(jù)庫(kù);地理數(shù)據(jù);數(shù)據(jù)更新
根據(jù)國(guó)發(fā)[2013]9號(hào)《國(guó)務(wù)院關(guān)于開展第一次全國(guó)地理國(guó)情普查的通知》及皖政[2013]57號(hào)《安徽省人民政府關(guān)于做好第一次地理國(guó)情普查的通知》要求,為全面掌握安徽省地理國(guó)情現(xiàn)狀,滿足安徽省經(jīng)濟(jì)社會(huì)發(fā)展和生態(tài)文明建設(shè)的需要,安徽省于2013~2015年在全省開展了第一次地理國(guó)情普查工作。2015年7月完成了安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)與建設(shè)工作,實(shí)現(xiàn)了全省地理國(guó)情普查數(shù)據(jù)成果的集成化管理、展示和統(tǒng)計(jì)分析,同時(shí)為后期開展常態(tài)化地理國(guó)情監(jiān)測(cè)建立了本底數(shù)據(jù)庫(kù)。本文結(jié)合實(shí)際建設(shè)工作,從總體設(shè)計(jì)、關(guān)鍵技術(shù)、數(shù)據(jù)庫(kù)的構(gòu)建、管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)等方面進(jìn)行論述[1]。
1.1 總體架構(gòu)設(shè)計(jì)
安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)系統(tǒng)由支撐層、數(shù)據(jù)資源層、組件服務(wù)層和應(yīng)用層構(gòu)成[2],如圖1所示。
1)支撐層:保障系統(tǒng)正常運(yùn)行的支撐環(huán)境,由基礎(chǔ)軟件環(huán)境、硬件環(huán)境及網(wǎng)絡(luò)環(huán)境組成。
2)數(shù)據(jù)資源層:根據(jù)地理國(guó)情普查成果數(shù)據(jù)入庫(kù)要求,成果數(shù)據(jù)包括地表覆蓋、地理國(guó)情要素、元數(shù)據(jù)、路網(wǎng)和水網(wǎng)數(shù)據(jù)、遙感影像數(shù)據(jù)、地形地貌數(shù)據(jù)、遙感影像解譯樣本、專題數(shù)據(jù)、統(tǒng)計(jì)分析成果和瓦片數(shù)據(jù)(矢量瓦片、影像瓦片)。
3)組件服務(wù)層:提供功能組件和服務(wù)接口,更加方便、靈活、高效。
4)應(yīng)用層:實(shí)現(xiàn)地理國(guó)情展示、信息查詢分析、數(shù)據(jù)更新維護(hù)及系統(tǒng)安全管理。
圖1 總體架構(gòu)圖
1.2 數(shù)據(jù)庫(kù)建庫(kù)流程設(shè)計(jì)
地理國(guó)情普查建庫(kù)流程主要包括生產(chǎn)成果數(shù)據(jù)匯交、匯交前檢查處理、成果數(shù)據(jù)匯交國(guó)務(wù)院普查辦、入庫(kù)前檢查處理、數(shù)據(jù)入庫(kù)、地理國(guó)情普查管理系統(tǒng)建設(shè)、集成展示系統(tǒng)建設(shè)、數(shù)據(jù)庫(kù)運(yùn)行環(huán)境構(gòu)建等過程。數(shù)據(jù)庫(kù)建庫(kù)流程如圖2所示。
圖2 建庫(kù)流程圖
1)數(shù)據(jù)庫(kù)分區(qū)存儲(chǔ)技術(shù)。采用Oracle數(shù)據(jù)庫(kù)分區(qū)技術(shù)創(chuàng)建分區(qū)表。Oracle的分區(qū)表可以包括多個(gè)分區(qū),每個(gè)分區(qū)都是一個(gè)獨(dú)立的段,可存放到不同的表空間中。本文采用分區(qū)策略來(lái)進(jìn)行大體量數(shù)據(jù)的存儲(chǔ),以行政區(qū)劃碼為分區(qū)字段作分區(qū)存儲(chǔ),并作分區(qū)索引。實(shí)踐證明,采用該技術(shù)可顯著提升數(shù)據(jù)存儲(chǔ)管理和查詢?yōu)g覽的效率。
2)基于基態(tài)修正模型的時(shí)態(tài)數(shù)據(jù)庫(kù)增量更新技術(shù)?;鶓B(tài)修正模型只存儲(chǔ)過去某個(gè)時(shí)刻的數(shù)據(jù)狀態(tài)(基態(tài))和基于基態(tài)的一系列變化量。對(duì)于每一次變化,它僅記錄變化的增量,數(shù)據(jù)冗余少,地物變化量表達(dá)明確,可對(duì)任意時(shí)間節(jié)點(diǎn)的歷史數(shù)據(jù)進(jìn)行回溯,也可追溯單個(gè)要素的歷史變化?;诨鶓B(tài)修正模型的數(shù)據(jù)庫(kù)更新,在初期建庫(kù)時(shí)用ElemSTime、ElemETime記錄對(duì)象有效時(shí)間,用唯一標(biāo)識(shí)碼對(duì)要素進(jìn)行唯一性認(rèn)定;在后續(xù)數(shù)據(jù)持續(xù)更新過程中,一方面嚴(yán)格保證待更新數(shù)據(jù)統(tǒng)一由數(shù)據(jù)庫(kù)提供,另一方面保證更新平臺(tái)能對(duì)更新要素有效時(shí)間和唯一標(biāo)識(shí)碼等進(jìn)行實(shí)時(shí)維護(hù);更新入庫(kù)過程中,以更新包的方式與庫(kù)中原有區(qū)域數(shù)據(jù)進(jìn)行變化檢測(cè)及增量入庫(kù),從而實(shí)現(xiàn)數(shù)據(jù)庫(kù)的增量更新。
3)基于NoSQL的瓦片數(shù)據(jù)存儲(chǔ)技術(shù)。NoSQL 是一種非關(guān)系型的數(shù)據(jù)存儲(chǔ)模式,基于Key-Value 的形式進(jìn)行存儲(chǔ),不需要固定的表結(jié)構(gòu),具有模式自由的特點(diǎn)。MongoDB是一個(gè)開源的NoSQL 文檔型數(shù)據(jù)庫(kù)。本文使用一種類似json 的bson 格式進(jìn)行數(shù)據(jù)存儲(chǔ),由于該數(shù)據(jù)存儲(chǔ)格式的松散性可存儲(chǔ)多種復(fù)雜的數(shù)據(jù)類型,其自帶一個(gè)分布式文件系統(tǒng)支持海量數(shù)據(jù)的存儲(chǔ)。MongoDB 作為一種存儲(chǔ)json 格式的數(shù)據(jù)庫(kù),對(duì)存儲(chǔ)地圖瓦片優(yōu)勢(shì)明顯。通過為每張瓦片建立索引“_id”(如瓦片的行列號(hào)及級(jí)別),可基于Key-Value 鍵值對(duì)需要讀取的瓦片進(jìn)行快速定位。實(shí)踐證明,采用MongoDB數(shù)據(jù)庫(kù)存儲(chǔ)大量影像和矢量瓦片,可顯著提升在線地圖服務(wù)的響應(yīng)速度。
4)Oracle Goldengate在線雙機(jī)熱備技術(shù)。該技術(shù)通過解析源數(shù)據(jù)庫(kù)在線日志或歸檔日志,獲得數(shù)據(jù)的增量變化,再將這些變化應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù),從而實(shí)現(xiàn)源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)的同步,在遇到災(zāi)難性故障時(shí),可進(jìn)行快速容災(zāi)切換。
3.1 數(shù)據(jù)庫(kù)內(nèi)容
安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)建設(shè)內(nèi)容主要包括普查成果數(shù)據(jù)庫(kù)、統(tǒng)計(jì)成果數(shù)據(jù)庫(kù)和歷史數(shù)據(jù)庫(kù)[3]。地理國(guó)情普查數(shù)據(jù)庫(kù)建庫(kù)內(nèi)容邏輯構(gòu)成如圖3所示。
圖3 建庫(kù)內(nèi)容邏輯構(gòu)成圖
3.2 數(shù)據(jù)庫(kù)建庫(kù)流程
將經(jīng)過預(yù)處理和入庫(kù)檢查后的地形地貌、遙感影像、遙感影像解譯樣本、地表覆蓋、地理國(guó)情要素、統(tǒng)計(jì)分析成果、專題數(shù)據(jù)等地理國(guó)情普查成果數(shù)據(jù),快速導(dǎo)入到數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)區(qū),然后再上載到數(shù)據(jù)庫(kù)中。為使成果數(shù)據(jù)能批量入庫(kù),需要設(shè)計(jì)和開發(fā)入庫(kù)輔助工具。普查成果數(shù)據(jù)入庫(kù)包括創(chuàng)建數(shù)據(jù)庫(kù)結(jié)構(gòu)、數(shù)據(jù)導(dǎo)入和數(shù)據(jù)批量入庫(kù)等過程,如圖4所示。
3.2.1 創(chuàng)建數(shù)據(jù)庫(kù)結(jié)構(gòu)
創(chuàng)建數(shù)據(jù)庫(kù)結(jié)構(gòu)流程包括:創(chuàng)建數(shù)據(jù)庫(kù)實(shí)例和表空間(表1),創(chuàng)建矢量數(shù)據(jù)、柵格數(shù)據(jù)、表格數(shù)據(jù)、文檔數(shù)據(jù)以及歷史數(shù)據(jù)的庫(kù)結(jié)構(gòu)。
圖4 普查成果數(shù)據(jù)入庫(kù)流程圖
表1 數(shù)據(jù)庫(kù)表空間
3.2.2 數(shù)據(jù)快速導(dǎo)入
為提高數(shù)據(jù)入庫(kù)的速度,需要預(yù)先將各類普查成果數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)系統(tǒng)的存儲(chǔ)區(qū)中,通過數(shù)據(jù)導(dǎo)入服務(wù)器將數(shù)據(jù)分類復(fù)制到NAS存儲(chǔ)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)區(qū)。
3.2.3 數(shù)據(jù)入庫(kù)
利用開發(fā)的數(shù)據(jù)入庫(kù)工具,將已導(dǎo)入存儲(chǔ)區(qū)中的遙感影像解譯樣本數(shù)據(jù)、地形地貌數(shù)據(jù)、地表覆蓋、地理國(guó)情要素、地理單元等數(shù)據(jù)批量導(dǎo)入數(shù)據(jù)庫(kù)中。數(shù)據(jù)入庫(kù)時(shí)可采用多個(gè)終端并行、批量入庫(kù)。
1)矢量數(shù)據(jù)入庫(kù)。不分區(qū)的地理國(guó)情要素?cái)?shù)據(jù)層、規(guī)則格網(wǎng)數(shù)據(jù)層、1∶50 000分幅10 m格網(wǎng)DEM元數(shù)據(jù)層、專題數(shù)據(jù)要素層等為非分幅或分區(qū)數(shù)據(jù),按數(shù)據(jù)層直接導(dǎo)入到相應(yīng)數(shù)據(jù)集中。地表覆蓋數(shù)據(jù)集、道路網(wǎng)絡(luò)數(shù)據(jù)集、水系網(wǎng)絡(luò)數(shù)據(jù)集、構(gòu)筑物要素?cái)?shù)據(jù)集、地理單元數(shù)據(jù)集(規(guī)則格網(wǎng)除外)、元數(shù)據(jù)集(除10 m格網(wǎng)DEM元數(shù)據(jù)外)為分幅或分區(qū)數(shù)據(jù),需按數(shù)據(jù)層拼接入庫(kù)到相應(yīng)數(shù)據(jù)集的數(shù)據(jù)層中。對(duì)于拼接入庫(kù)的數(shù)據(jù)層,在數(shù)據(jù)大批量入庫(kù)前,首先應(yīng)將索引刪除,并設(shè)置大數(shù)據(jù)批量裝載的表為Nologging模式,以提升數(shù)據(jù)入庫(kù)的速度[4]。
2)柵格數(shù)據(jù)入庫(kù)。將DEM數(shù)據(jù)、坡度數(shù)據(jù)、坡向數(shù)據(jù)、地表覆蓋柵格數(shù)據(jù)、正射影像分幅數(shù)據(jù)等分幅導(dǎo)入相應(yīng)的鑲嵌數(shù)據(jù)集中;將整景影像按原分幅(景)導(dǎo)入到數(shù)據(jù)庫(kù)中。分幅柵格數(shù)據(jù)入庫(kù)時(shí),應(yīng)將索引刪除,以提高數(shù)據(jù)入庫(kù)速度。
3)表格數(shù)據(jù)入庫(kù)。單個(gè)表格數(shù)據(jù)直接導(dǎo)入,分區(qū)域相同表格文件在入庫(kù)時(shí)需合并記錄到一個(gè)表中。
4)文檔數(shù)據(jù)入庫(kù)。按照數(shù)據(jù)庫(kù)技術(shù)設(shè)計(jì)規(guī)定目錄,將文檔數(shù)據(jù)組織上載到服務(wù)器存儲(chǔ)目錄中。
5)瓦片數(shù)據(jù)入庫(kù)。支持多種瓦片數(shù)據(jù)類型,多種圖片格式,多種源數(shù)據(jù)類型地理切片數(shù)據(jù)入庫(kù)。支持同一數(shù)據(jù)同一級(jí)別多次入庫(kù)更新,并提供了數(shù)據(jù)版本信息設(shè)置,實(shí)現(xiàn)了同一套瓦片數(shù)據(jù)不同時(shí)期版本的多重存儲(chǔ)。
數(shù)據(jù)庫(kù)管理系統(tǒng)按照SOA思路開發(fā)各類基礎(chǔ)組件、業(yè)務(wù)組件和服務(wù)接口;采用Web Services技術(shù)封裝各類信息、功能組件和服務(wù)接口;面向業(yè)務(wù)應(yīng)用特點(diǎn),采用C/S與B/S混合架構(gòu),通過搭建、配置和少量定制,快速構(gòu)建系統(tǒng)應(yīng)用功能;用于高效瀏覽和集成展示的數(shù)據(jù),采用切片處理,并以O(shè)GC服務(wù)方式發(fā)布,切片處理規(guī)范參照天地圖標(biāo)準(zhǔn)。
數(shù)據(jù)庫(kù)管理系統(tǒng)包含地理國(guó)情展示模塊、信息查詢分析模塊、數(shù)據(jù)提取模塊、數(shù)據(jù)更新維護(hù)模塊以及系統(tǒng)安全管理模塊[5],如圖5所示。
4.1 地理國(guó)情展示模塊
該模塊主要提供基本地理國(guó)情普查成果集成管理與可視化、統(tǒng)計(jì)分析成果和地理國(guó)情專題圖等的展示功能。其主要包括對(duì)建庫(kù)后的地形地貌數(shù)據(jù)、遙感影像數(shù)據(jù)、遙感影像解譯樣本數(shù)據(jù)、地表覆蓋數(shù)據(jù)、地理國(guó)情要素?cái)?shù)據(jù)、專題數(shù)據(jù)、元數(shù)據(jù)以及地理國(guó)情統(tǒng)計(jì)分析成果數(shù)據(jù)、專題圖等的集成顯示和成果演示,系統(tǒng)主界面如圖6所示。
4.2 信息查詢分析模塊
該模塊主要提供地理國(guó)情要素信息的查詢檢索和對(duì)比分析等功能,可滿足用戶快速查詢各類信息的需求,如圖7所示。
圖5 地理國(guó)情普查數(shù)據(jù)庫(kù)管理系統(tǒng)功能模塊圖
圖6 數(shù)據(jù)庫(kù)管理系統(tǒng)主界面
圖7 地理國(guó)情要素查詢功能示例
4.3 數(shù)據(jù)提取模塊
該模塊提供矢量數(shù)據(jù)、地形地貌數(shù)據(jù)、正射影像數(shù)據(jù)、解譯樣本數(shù)據(jù)和表格數(shù)據(jù)等的提取功能。其主要包括按行政區(qū)范圍提取、按要素范圍提取、按標(biāo)線范圍提取、分幅提取等,如圖8所示。
4.4 數(shù)據(jù)更新維護(hù)模塊
該模塊提供數(shù)據(jù)入庫(kù)檢查、數(shù)據(jù)預(yù)處理、數(shù)據(jù)入庫(kù)、路網(wǎng)水網(wǎng)構(gòu)建、數(shù)據(jù)交換與更新、歷史數(shù)據(jù)管理、瓦片數(shù)據(jù)制作維護(hù)等功能。
4.5 系統(tǒng)安全管理模塊
該模塊提供保障系統(tǒng)運(yùn)行安全方面的功能,包括用戶管理、系統(tǒng)運(yùn)行監(jiān)控、日志管理、數(shù)據(jù)備份和恢復(fù)等,如圖9所示。
圖8 按范圍提取DOM要素示意圖
圖9 系統(tǒng)安全管理模塊界面
安徽省地理國(guó)情普查數(shù)據(jù)庫(kù)系統(tǒng)的建成,實(shí)現(xiàn)了對(duì)全省地形地貌、遙感影像、遙感影像解譯樣本、地表覆蓋、地理國(guó)情要素、專題數(shù)據(jù)、地理國(guó)情統(tǒng)計(jì)分析等7大類成果的高效管理,為地理國(guó)情基本統(tǒng)計(jì)以及應(yīng)用服務(wù)、數(shù)據(jù)分發(fā)和信息發(fā)布等提供了有利條件。系統(tǒng)建立的數(shù)據(jù)交換接口可滿足從省級(jí)數(shù)據(jù)庫(kù)到國(guó)家級(jí)數(shù)據(jù)庫(kù)的數(shù)據(jù)更新和共享。
與此同時(shí),地理國(guó)情普查數(shù)據(jù)庫(kù)既是地理國(guó)情普查工作的成果庫(kù),又是地理國(guó)情監(jiān)測(cè)的本底庫(kù)。有了地理國(guó)情本底庫(kù),地理國(guó)情監(jiān)測(cè)才有動(dòng)態(tài)分析的基礎(chǔ),才更有利于發(fā)現(xiàn)和分析變化,認(rèn)識(shí)地理國(guó)情發(fā)展的規(guī)律,從而成為后期常態(tài)化的地理國(guó)情監(jiān)測(cè)的重要基礎(chǔ)。
[1] 馬婉婷.遼寧省地理國(guó)情普查數(shù)據(jù)庫(kù)建設(shè)的設(shè)計(jì)思路[J].測(cè)繪與空間地理信息,2016,39(1):165-166
[2] 廖芳,羅海燕.地理國(guó)情普查數(shù)據(jù)庫(kù)管理及服務(wù)系統(tǒng)建設(shè)設(shè)計(jì)[J].測(cè)繪地理信息,2016,41(4):77-79
[3] 雷瑛,鮑立尚.甘肅省第一次全國(guó)地理國(guó)情普查數(shù)據(jù)庫(kù)設(shè)計(jì)[J].測(cè)繪與空間地理信息,2016,39(2):161-163
[4] 王堃昊.應(yīng)急制圖數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn):以遼寧省為例[J].測(cè)繪通報(bào),2016(5):123-125
[5] 李彬彬,周衛(wèi).基礎(chǔ)地理數(shù)據(jù)屬性脫密系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].測(cè)繪通報(bào),2015(增刊1):238-240
[6] 丁春雨,晏明,張曉嬌,等.ArcGIS支持下的土地利用時(shí)空數(shù)據(jù)庫(kù)設(shè)計(jì)與功能實(shí)現(xiàn)[J].測(cè)繪通報(bào),2015(10):110-113
[7] 周鵬,丁明濤,佘濤,等.基于GIS的岷江上游聚落易損性評(píng)價(jià)數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J].西南科技大學(xué)學(xué)報(bào),2016,31(2):44-51
[8] 趙彥榮,陳永立,陳剛.省級(jí)地理國(guó)情普查數(shù)據(jù)庫(kù)矢量數(shù)據(jù)更新模式的探討[J]. 測(cè)繪與空間地理信息,2016,39(8):153-155
P208
:B
:1672-4623(2016)11-0014-04
10.3969/j.issn.1672-4623.2016.11.006
魏雪梅,碩士,高級(jí)工程師,主要從事基礎(chǔ)測(cè)繪與國(guó)情普查數(shù)據(jù)的生產(chǎn)、管理與信息化建設(shè)工作。
2016-08-31。