基于測繪檔案管理平臺的檔案資料整合研究

文/趙雁賓

概述

山東省國土測繪院是山東省自然資源廳直屬事業(yè)單位，承擔(dān)省級基礎(chǔ)測繪項(xiàng)目實(shí)施、成果管理、測繪地理信息公共服務(wù)和應(yīng)急測繪保障等職能。院下設(shè)第一、第二測繪院，綜合處，省地理信息中心等。近年來，隨著工業(yè)化、城市化快速發(fā)展，測繪技術(shù)作為獲取基礎(chǔ)空間數(shù)據(jù)的重要手段，成為城市建設(shè)有力數(shù)據(jù)支撐。由此產(chǎn)生了海量測繪檔案數(shù)據(jù)。其中，基礎(chǔ)地理信息數(shù)據(jù)庫地理信息資源類型豐富，獲取的信息數(shù)據(jù)資源近200TB。2019年以來，為30多個(gè)行業(yè)提供數(shù)字產(chǎn)品3.9萬幅，數(shù)據(jù)量達(dá)5.9TB。積極服務(wù)高鐵、高速、水利等國家和省重點(diǎn)工程、重大項(xiàng)目，支持打造鄉(xiāng)村振興齊魯樣板，為“多規(guī)合一”、精準(zhǔn)扶貧等提供測繪地理信息保障。多次開展援藏、援疆、援川測繪及海洋測繪等工作。基于城市測繪檔案管理平臺，為滿足測繪檔案信息化管理的現(xiàn)實(shí)需要，應(yīng)全周期整合測繪檔案資料的建庫流程，提高測繪檔案管理質(zhì)量和效率。本文基于GIS、網(wǎng)絡(luò)、數(shù)據(jù)庫等技術(shù)，以及C/S+B/S混合體系構(gòu)架理念，提出基于測繪檔案在線應(yīng)用、離線歸檔及準(zhǔn)在線備份的檔案資料整合的檔案管理平臺設(shè)計(jì)及應(yīng)用研究。

1 測繪檔案管理需求分析

測繪檔案包括自然資源衛(wèi)星、航空遙感數(shù)據(jù)，自然資源調(diào)查監(jiān)測、執(zhí)法等測繪數(shù)據(jù)，基礎(chǔ)地理信息，等等。測繪檔案數(shù)量龐大、類型多樣、載體豐富，且實(shí)體分類結(jié)構(gòu)存在很大的差異性。測繪檔案資料分為空間資料和非空間資料。前者主要包括地形圖數(shù)據(jù)、測繪工程數(shù)據(jù)、影像數(shù)據(jù)、點(diǎn)之記數(shù)據(jù)等。由于測繪事業(yè)的飛速發(fā)展，早期測繪檔案成果與測繪標(biāo)準(zhǔn)不一致，雖然存放大量測繪數(shù)據(jù)，這些測繪數(shù)據(jù)主要以cad、edb、mdb、txt、word、shp等格式存在，由于未對其進(jìn)行有效整理和建庫，數(shù)據(jù)的利用效率不高。后者主要是指大量的紙質(zhì)數(shù)據(jù)。以山東省國土測繪院為例，截至2021年底，山東省國土測繪院測繪地理信息檔案館館藏?cái)?shù)據(jù)量單份約953TB，加上數(shù)據(jù)備份整個(gè)檔案儲存總量可達(dá)約3PB。需要通過城市測繪檔案管理平臺的搭建，實(shí)現(xiàn)全周期整合建庫流程，實(shí)現(xiàn)測繪檔案高效、安全和優(yōu)質(zhì)管理。其模塊功能主要包括：1）創(chuàng)建國土測繪檔案，建立測繪文檔資料的電子檔案，并實(shí)現(xiàn)統(tǒng)一存儲于中央服務(wù)器；2）實(shí)現(xiàn)測繪檔案信息化管理，網(wǎng)上修改、刪除；3）將測繪檔案資料自動(dòng)導(dǎo)入；4）設(shè)置不同用戶享有不同權(quán)限，增加測繪檔案管理的安全性，不會(huì)對測繪檔案數(shù)據(jù)產(chǎn)生破壞；5）根據(jù)測繪檔案資料的保密性質(zhì)及管理需要，通過技術(shù)手段進(jìn)行賦權(quán)設(shè)置，測繪檔案管理者、使用者及研究人員等不同用戶具有不同查看權(quán)限，且能夠有效防范重要檔案數(shù)據(jù)泄密；6）測繪檔案管理平臺具有很好的實(shí)用性，界面友好，便于操作、使用；7）具備檔案數(shù)據(jù)的獨(dú)立性，不論是軟件環(huán)境發(fā)生變化，還是硬件環(huán)境發(fā)生改變，均能夠保障數(shù)據(jù)的完整，確保測繪檔案數(shù)據(jù)的安全遷移；8）集成各類測繪地理信息數(shù)據(jù)，實(shí)現(xiàn)測繪地理信息數(shù)據(jù)的高度集成化，通過平臺可實(shí)現(xiàn)測繪信息數(shù)據(jù)展示、查詢、統(tǒng)計(jì)、分發(fā)等若干功能，提高整個(gè)測繪檔案的管理效率。

綜上，需積極構(gòu)建統(tǒng)一的測繪檔案管理平臺，提高測繪檔案資料管理的信息化、自動(dòng)化水平，通過信息管理系統(tǒng)進(jìn)行人機(jī)交互式檔案資料管理，并將各種測繪檔案資料進(jìn)行整合，實(shí)現(xiàn)歸檔入庫、查詢、下載、信息統(tǒng)計(jì)及日志查詢等操作。

2 測繪檔案建庫及設(shè)計(jì)方案

根據(jù)測繪檔案管理平臺的檔案資料整合需求，繪制出測繪檔案管理模塊的數(shù)據(jù)流圖（見圖1）。具體來說，主要包括測繪檔案文檔編寫、測繪檔案資料收集、測繪檔案工作準(zhǔn)備、測繪檔案資料收集整理準(zhǔn)備。各項(xiàng)準(zhǔn)備工作完成后，需要為建庫做充分準(zhǔn)備。然后，清查各項(xiàng)測繪檔案資料，根據(jù)梳理的情況，進(jìn)一步進(jìn)行整合、關(guān)聯(lián)、入庫和檢查等等。

圖1 測繪檔案數(shù)據(jù)庫建庫流程

測繪檔案管理模塊根據(jù)測繪檔案系統(tǒng)管理員、測繪檔案管理員、普通用戶和測繪主管等不同主體的不同需求分析，測繪檔案管理具有不同的數(shù)據(jù)流功能。

基于上述數(shù)據(jù)流，根據(jù)測繪檔案管理的現(xiàn)狀、需求及測繪工作發(fā)展趨勢，構(gòu)建基于C/S+B/S混合體系架構(gòu)，實(shí)現(xiàn)在線、準(zhǔn)在線、離線“三線一體化”管理思路，建立測繪成果、測繪資料、測繪檔案三大數(shù)據(jù)實(shí)體集，并建立不同數(shù)據(jù)集的唯一身份標(biāo)簽管理。同時(shí)，利用數(shù)據(jù)倉庫、SDE、多源數(shù)據(jù)無縫集成等構(gòu)建數(shù)據(jù)庫。采用ALL-IN-ONE光盤庫嵌入式微機(jī)操作系統(tǒng)技術(shù)，實(shí)現(xiàn)測繪檔案信息前臺調(diào)檔、刻錄、備份，以及后臺不可見光盤庫操作，提高系統(tǒng)的運(yùn)行效率。

3 測繪檔案資料整合建庫流程

根據(jù)測繪檔案資料的管理現(xiàn)狀以及現(xiàn)實(shí)需要，整合建庫的整個(gè)流程，包括，第一步：測繪檔案檔案資料清查。清查的內(nèi)容涵蓋基礎(chǔ)控制測量數(shù)據(jù)、航空遙感影像數(shù)據(jù)、工程測量數(shù)據(jù)、技術(shù)資料數(shù)據(jù)、文書檔案數(shù)據(jù)、財(cái)會(huì)檔案數(shù)據(jù)和其他數(shù)據(jù)等。第二步：測繪檔案資料整理。通過整理分類，相繼建成基礎(chǔ)控制測量數(shù)據(jù)集、航空遙感影像數(shù)據(jù)集、工程測量數(shù)據(jù)集、圖像資料數(shù)據(jù)集等測繪業(yè)務(wù)類檔案資料，以及文書檔案數(shù)據(jù)集、人事檔案數(shù)據(jù)集、綜合檔案數(shù)據(jù)集、財(cái)會(huì)檔案數(shù)據(jù)集等測繪管理類檔案資料。第三步：測繪檔案資料整合關(guān)聯(lián)。即，將測繪項(xiàng)目資料、圖形圖像資料、文書檔案資料、綜合管理資源、財(cái)會(huì)檔案資料，以及其他資料通過信息技術(shù)整合，實(shí)現(xiàn)與工程范圍線、GPS測量、構(gòu)筑物/建筑物、控制點(diǎn)、點(diǎn)之記，以及其他空間物理位置之間的匹配和關(guān)聯(lián)。第四步：平臺入庫上架。將建立起來具有高度關(guān)聯(lián)、匹配的測繪檔案若干數(shù)據(jù)庫，如基礎(chǔ)控制數(shù)據(jù)庫、航空影像數(shù)據(jù)庫、工程測量數(shù)據(jù)庫、地下管網(wǎng)數(shù)據(jù)庫、技術(shù)資料數(shù)據(jù)庫等業(yè)務(wù)類數(shù)據(jù)庫，以及財(cái)會(huì)資料數(shù)據(jù)庫、文書檔案數(shù)據(jù)庫、儀器設(shè)備數(shù)據(jù)庫、圖形圖像數(shù)據(jù)庫、綜合檔案數(shù)據(jù)庫等管理類數(shù)據(jù)庫。

圖2 測繪檔案資料整合建庫流程圖

上述四個(gè)步驟通過原始數(shù)據(jù)庫、中間數(shù)據(jù)庫和成果數(shù)據(jù)庫的三個(gè)數(shù)據(jù)庫轉(zhuǎn)換，最終形成測繪檔案管理平臺運(yùn)行的成果庫。其中，原始數(shù)據(jù)庫主要是搜集、清查各項(xiàng)數(shù)據(jù)庫、電子資料、元數(shù)據(jù)、紙質(zhì)資料，通過元數(shù)據(jù)庫標(biāo)準(zhǔn)收集，按照元數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范形成原始數(shù)據(jù)庫。中間數(shù)據(jù)庫，即根據(jù)《測繪檔案資料數(shù)據(jù)庫標(biāo)準(zhǔn)》整合測繪檔案資料整理階段的若干業(yè)務(wù)和管理數(shù)據(jù)集，建立若干中間數(shù)據(jù)庫。最后是成果數(shù)據(jù)庫，即按照入庫標(biāo)準(zhǔn)將中間數(shù)據(jù)庫進(jìn)行數(shù)據(jù)入庫及平臺上架，從而建立滿足測繪檔案管理平臺運(yùn)行所需要的支撐成果數(shù)據(jù)庫。

4 測繪檔案資料整合建庫措施

4.1 準(zhǔn)備

準(zhǔn)備工作十分重要。首先要做好需求調(diào)研。通過走訪、實(shí)地查看先進(jìn)地區(qū)的建庫技術(shù)、方案和思路，掌握測繪檔案管理現(xiàn)狀。重點(diǎn)從測繪檔案管理人員配備、管理環(huán)境、政策法規(guī)、安全保密、歷史資料、過程資料、檔案管理及服務(wù)平臺等，了解測繪檔案資料的需求，為數(shù)據(jù)庫建立和平臺搭建提供精準(zhǔn)服務(wù)。其次要做好各項(xiàng)準(zhǔn)備。在需求調(diào)研基礎(chǔ)上，初步擬定數(shù)據(jù)庫框架設(shè)計(jì)、技術(shù)方案編制、數(shù)據(jù)質(zhì)量控制。其中，測繪檔案清查主要是掌握已經(jīng)歸檔資料的數(shù)量、規(guī)模及種類等。組織測繪檔案資料整合建庫工作小組，做好前期培訓(xùn)。

4.2 整理

整理要求堅(jiān)持規(guī)范化原則。主要包括測繪檔案資料的梳理、檔案電子化掃描分類，以及規(guī)范化整理等三個(gè)環(huán)節(jié)。其中，梳理就是要弄清測繪檔案各控制點(diǎn)點(diǎn)位信息及相關(guān)測繪文件目錄清單、紙質(zhì)檔案盒內(nèi)文件、紙質(zhì)文件與電子文件信息對應(yīng)情況，做好不同類別測繪檔案入庫信息核實(shí)。然后，需要進(jìn)一步對紙質(zhì)測繪檔案資料進(jìn)行電子化掃描，并做好分類。最后是關(guān)鍵的規(guī)范整理環(huán)節(jié)。根據(jù)空間化、非空間化做好檔案資料分類、整理，并以excel形式顯示檔案目錄內(nèi)容。

4.3 關(guān)聯(lián)

測繪檔案整理完畢后，需要對其進(jìn)行整合關(guān)聯(lián)，依據(jù)基礎(chǔ)地理信息空間位置，將控制點(diǎn)、工程項(xiàng)目、點(diǎn)之記、工程范圍線等在統(tǒng)一空間坐標(biāo)系下落位，并將涉及的相關(guān)工程項(xiàng)目圖形圖像資料、測繪項(xiàng)目資料、文書檔案資料，以及財(cái)會(huì)資料等非空間資料進(jìn)行數(shù)據(jù)信息關(guān)聯(lián)，實(shí)現(xiàn)基于GIS測繪檔案資料“一張圖”管理。包括縮放、平移、標(biāo)注、量算、多屏對比等。后期，點(diǎn)選“查詢”即可對空間信息進(jìn)行權(quán)屬信息查詢，查詢結(jié)果以圖和表的形式展示。

4.4 入庫

通過整理、關(guān)聯(lián)等一系列操作后，將形成的電子化、數(shù)字化測繪檔案資料進(jìn)行入庫檢查，并以空間數(shù)據(jù)、非空間數(shù)據(jù)形式進(jìn)行入庫管理。按照《測繪檔案資料數(shù)據(jù)庫標(biāo)準(zhǔn)》，統(tǒng)一數(shù)據(jù)格式。在統(tǒng)一的信息化管理平臺上實(shí)現(xiàn)測繪檔案數(shù)據(jù)導(dǎo)入導(dǎo)出。其中，入庫的測繪檔案資料數(shù)據(jù)庫主要分為空間數(shù)據(jù)庫和非空間數(shù)據(jù)庫。前者包括基礎(chǔ)控制數(shù)據(jù)庫、航空遙感影像數(shù)據(jù)庫、工程測量數(shù)據(jù)庫、地下管網(wǎng)數(shù)據(jù)庫、基礎(chǔ)地理信息數(shù)據(jù)庫；后者包括人事數(shù)據(jù)庫、電子文件數(shù)據(jù)庫、技術(shù)資料數(shù)據(jù)庫、文書檔案數(shù)據(jù)庫、財(cái)會(huì)數(shù)據(jù)庫、儀器設(shè)備數(shù)據(jù)庫和綜合類檔案數(shù)據(jù)庫等等。

4.5 上架

測繪檔案數(shù)據(jù)整理入庫完成后，基于已經(jīng)搭建的測繪管理平臺，具有實(shí)際庫房管理功能，將整理、入庫后的數(shù)字檔案資料傳輸至管理平臺，進(jìn)行上架操作。將測繪檔案資料及時(shí)上傳、存儲于虛擬庫房，便于后期的統(tǒng)一管理。

5 測繪檔案資料整合建庫關(guān)鍵技術(shù)

5.1 建立標(biāo)準(zhǔn)規(guī)范體系

從建庫流程及內(nèi)容來看，要實(shí)現(xiàn)空間檔案與非空間檔案資料的電子化、數(shù)字化，并通過建立關(guān)聯(lián)，實(shí)現(xiàn)測繪檔案資料的整合，發(fā)揮出測繪檔案在經(jīng)濟(jì)社會(huì)發(fā)展中的巨大作用。其中，建立標(biāo)準(zhǔn)規(guī)范體系是基礎(chǔ)和保障。根據(jù)《檔案法》《保密法》《測繪檔案資料數(shù)據(jù)庫標(biāo)準(zhǔn)》等相關(guān)法律法規(guī)，結(jié)合測繪檔案管理的實(shí)際需要，出臺《測繪科技檔案盒成果的科學(xué)》《測繪檔案與成果信息編碼體系規(guī)則及著錄標(biāo)準(zhǔn)》，以滿足測繪檔案信息化、標(biāo)準(zhǔn)化、規(guī)范化需要。

5.2 測繪實(shí)體檔案數(shù)據(jù)整編

運(yùn)用先進(jìn)數(shù)編技術(shù)、數(shù)據(jù)掃描技術(shù)等，推動(dòng)測繪實(shí)體檔案的數(shù)據(jù)化整編工作。首先，利用彩色掃描儀、專業(yè)數(shù)碼攝影機(jī)等先進(jìn)儀器設(shè)備，將紙質(zhì)、薄膜、膠片等介質(zhì)的測繪檔案進(jìn)行數(shù)字化信息采集。根據(jù)測繪檔案的不同類型、不同區(qū)域，可有針對性進(jìn)行整編試驗(yàn)，在此基礎(chǔ)上進(jìn)行批量化數(shù)字掃描。此外，根據(jù)已經(jīng)建立標(biāo)準(zhǔn)和規(guī)范，將測繪資料、成果及檔案等進(jìn)行分類、組卷和著錄。

5.3 數(shù)據(jù)庫優(yōu)化

從邏輯上要構(gòu)建測繪檔案、資料及成果的數(shù)據(jù)庫結(jié)構(gòu)，便于有效管理。例如，測繪成果數(shù)據(jù)庫主要管理衛(wèi)星遙感、專題數(shù)據(jù)、4D成果等主要數(shù)據(jù)資料。測繪資料數(shù)據(jù)庫主要管理攝影測量、遙感影像、專題數(shù)據(jù)、4D數(shù)據(jù)等主要數(shù)據(jù)資料。測繪檔案數(shù)據(jù)庫主要管理測繪成果、數(shù)字化檔案，以及自主開發(fā)系統(tǒng)的管理內(nèi)容。通過類型、尺度等進(jìn)行矢量數(shù)據(jù)要素入庫存儲，利用虛擬內(nèi)存、SDE、Oracle等配置相應(yīng)參數(shù)，并進(jìn)行適當(dāng)調(diào)整優(yōu)化，確保測繪檔案資料整合平臺安全、穩(wěn)定和高效運(yùn)行。