城市地下管線數據整合技術探討與研究

付麗麗，韓葵，王文哲

(深圳市勘察研究院有限公司，廣東 深圳 518026)

城市地下管線數據整合技術探討與研究

付麗麗*，韓葵，王文哲

(深圳市勘察研究院有限公司，廣東 深圳 518026)

基于多源、跨時空的海量地下管線數據整合存在各種無法預期的情況，本文以深圳市為例，通過對數據整合方式和數據整合流程的探討，認為通過人工輔助計算機決策的方式，充分發(fā)揮計算機技術的快速、精確的特點，同時引入人的決策能力，整合常規(guī)數據處理工具及技術(包含GIS技術等)，按照數據處理流程，嚴把數據質量關，才能夠滿足城市地下管線對數據整合的要求，同時也為城市地下管線補充測繪及數據建庫做好鋪墊。

地下管線；數據整合；多源；跨時空；人工輔助計算機決策

1 引 言

隨著城市建設進程的加快，城市地上風光無限，地下雜亂無章的狀況越發(fā)明顯，“重地上輕地下”、“重建設輕管理”、“重使用輕維護”成為個大中型城市地下管網建設、管理、維護的真實寫照。《國務院辦公廳關于加強城市地下管線建設管理的指導意見》的頒發(fā)，從國家層面上提出了地下管線建設管理方針，各城市也逐漸啟動地下管線普查及綜合建庫的工作。

地下管線普查工作分為兩部分，一是城市各職能單位所持有的現有地下管線數據的整合；二是對資料缺失部分的補充測繪。本文以深圳市為例，對現有地下管線數據整合的技術方法與技術流程進行探討與研究，解決城市現有地下管線數據整合技術難題。

2 現有數據特點

深圳市地下管線數據整合主要針對兩大部分，一是政府職能部門根據職能管理需要歷經多年所積累的管理數據；二是管線權屬單位，例如深圳市水務集團、深圳電信分公司、深圳聯通分公司、南方電網等，對各自建設的地下管線有著詳細的數據，且多數已建立管理系統(tǒng)，方便管理。

然而，政府職能部門數據和管線權屬單位所持有的數據，均是服務于各自的日常管理與專業(yè)部門，數據格式、屬性字段多樣，且標準不統(tǒng)一，無法直接將數據導入城市地下管線綜合管理平臺，服務公眾，其主要特點如下：

(1)多源性

數據來源多樣，例如水務集團(權屬單位)所持有的給排水管線數據，水務局也持有給排水管線數據，兩種數據來源不同、形式不同、內容不同，無法直接進行數據合并。

(2)多時空性

數據采集時間、空間跨度大，不同時間點采集的統(tǒng)一空間范圍內的數據與同一時間點采集的不同空間范圍內的數據，統(tǒng)一性查，數據質量無法保障，導致數據整合時，需對統(tǒng)一空間范圍內的，不同時間點采集的數據進行比對剔除。

(3)數據格式不統(tǒng)一

不同單位，甚至同一單位不同部門所持有的地下管線數據由于管理職能不同，數據格式也不同，有GIS數據格式(MDB、SHP、GeoDatabase)、CAD數據格式(DWG、DXF)、PDF數據格式、Excel數據格式、各種手繪圖等。

(4)屬性字段不統(tǒng)一

存在同一字段內容不同單位命名不同、不同字段內容不同單位命名相同、屬性字段缺失、字段內容不規(guī)范。

深圳市目前主流數據類型及來源表 表1

續(xù)表1

3 數據整合思路及技術流程

3.1 數據整合思路

目前常用的數據處理方式是借助計算機編程技術，通過定制算法，實現數據的批量處理，然而數據整合的難點在于數據質量的判定與數據的取舍，單純依靠計算機算法難以全面地進行數據質量判定與數據取舍。本文探討人工輔助計算機決策的方式，充分發(fā)揮計算機技術的快速、精確的特點，同時引入人的決策能力，以計算機學習人為決策的方式來實現。

(1)計算機算法設計

數據整合的算法設計包含數據處理邏輯與系統(tǒng)學習邏輯。其中數據處理邏輯是一套指標體系算法，通過數據整合具體指標的設定，算法能夠檢查數據質量、劃定數據可信度、推斷數據可利用方式及數據可利用的內容；系統(tǒng)學習邏輯則是將機器學習理論引入到地理信息的海量數據處理中，通過識別數據質量規(guī)律、數據采納規(guī)律、人機交互習慣、人工決策規(guī)律，并通過計算機算法的自優(yōu)化能力，對數據質量、數據采納提出新的可利用方案。

(2)人工輔助計算機決策

數據工程師根據計算機所提供的方案進行方案比選、方案交叉融合，或者直接指定新的方案輸入到計算機中，來幫助計算機判定遇到某種特殊情況時應該如何處理。該過程是計算機學習的過程，也是人工參與的過程，能夠將人的決策能力與計算機的學習和計算能力結合起來，提高數據整合的效率與質量。

其工作思路如圖1所示。

3.2 數據整合技術流程

數據整合工作流程如圖2所示：

(1)制定工作方案及資料收集

首先，根據規(guī)土委數據入庫要求及數據標準，制定收集資料的標準，同時通知各單位，收集符合要求的資料。

圖1 數據整合方式的算法基礎

圖2 數據整合工作流程圖

其次，到信息中心、各管理局等單位，將其所持有的福田區(qū)地下管線數據，根據類型接收，管線類型包括市政管線綜合管線(污水[包括排污箱涵等]、雨水[包括暗渠化河道等]、燃氣、電力、電信、工業(yè)、綜合管廊)、城中村綜合管線(污水、雨水、燃氣、電力、電信)。

(2)數據有效剔除與重復剔除

數據有效剔除：管線數據格式多種多樣，按地下管線數據標準要求，有AutoCAD、EPS、MapGIS、SuperMap等，將收集到的數據進行質量分析以及格式標準化分析，指定ArcGIS的Shape格式為標準格式，通過軟件自身轉換工具完成格式轉換，轉換后確定信息無丟失。對質量明顯不符要求和格式明顯無法進行數據轉換的數據進行剔除。主要考察數據圖屬一致性是否符合《深圳市地下管線普查技術規(guī)程》，數據格式是否支持數據轉換(常規(guī)格式包括GIS數據格式、CAD數據格式、Office數據格式、VF數據格式以及其他常用格式)以及格式轉換后是否會發(fā)生數據丟失。

數據重復剔除：首先由于不同來源的數據交叉，導致部分區(qū)域某類或多類管線有兩份甚至多份數據，通過數據分析，提取多份數據中質量最可靠，格式最規(guī)范的數據，同時將其他數據剔除；其次，若多份數據中每份數據的數據質量和數據格式規(guī)范性都不穩(wěn)定，則需要提取每份數據中最優(yōu)秀的部分，進行區(qū)域性數據融合，組成該區(qū)域的數據，將其他數據剔除；再次，同一區(qū)域同類管線多份數據有的表現為圖形數據優(yōu)秀，有的則屬性數據表現優(yōu)秀，有的這屬性數據的某部分表現比較優(yōu)秀，則需要分別提取各份數據的優(yōu)秀部分，共同組成該區(qū)域該類管線的數據，最后通過上述三種方式以及其他方式采用混合數據處理手段進行數據融合，將批次多、質量不統(tǒng)一、格式多元的數據統(tǒng)一到標準入庫格式。

標準化后的管線數據具有相同的數據格式、屬性項和坐標系統(tǒng)，便于后期處理。對多源管線數據進行對比分析，按多源管線數據→工作范圍→確定重疊指數→確定主數據源→縮減重疊指數→重疊指數歸一→數據街邊→成果入庫的技術流程對多源管線數據進行整合。

(3)數據融合接邊

將各個區(qū)域已得到的優(yōu)秀數據進行圖形數據接邊，組成有機聯系的管線數據網；再根據規(guī)土委所提供數據標準，從管線數據網中提取有益數據，統(tǒng)一格式到深圳市管線數據庫，形成格式統(tǒng)一，相互聯系的管線數據。具體方法為：①根據數據來源，劃定接邊線。②利用接邊線切割源數據。③接邊線緩沖分析創(chuàng)建接邊區(qū)，標識接邊數據。④通過距離最近原則自動接邊。⑤手工檢查接邊區(qū)，修正接邊錯誤和未接邊數據。

圖3數據融合方式

數據整合通過ArcGIS軟件實現，合并完成后，形成工作區(qū)內唯一的地下管線數據。

(4)數據質量檢查及驗收

首先對已融合的數據進行質量檢查，包括圖形數據的拓撲檢查(包括點線關聯、位置唯一、位置規(guī)則等)和屬性數據(包括坐標準確性、值域檢查、邏輯性檢查等。坐標準確性指圖上坐標和屬性表中坐標是否一致)的規(guī)范性、合理性檢查，去除錯誤信息，標識外業(yè)核查數據。對數據中嚴重質量不符的區(qū)域進行提取，同時查閱該區(qū)域是否有其他可以運用或替代的數據，若有，則經過質量分析，并入管線數據網，若不存在則考慮該部分區(qū)域數據是否可以通過數據處理提升其質量，若數據處理后數據質量明顯提升，且能達到入庫要求，則實踐該方法，否則考慮將該部分數據剔除。

其次，根據檢查內容，編制檢查規(guī)則，通過ArcGIS軟件實現。數據檢查時，先對每類數據單獨檢查，之后對整體數據檢查優(yōu)化，即先分類后整體的檢查策略。檢查過程中將錯誤數據和信息直接刪除或修改，疑問數據的“是否核查”屬性值設為“是”。

再次，外業(yè)核查，制作外業(yè)核查工作底圖并規(guī)劃核查路線→將工作底圖裝載到平板電腦中→外業(yè)實地核查記錄需修改的信息→內業(yè)導出修改信息，對數據修改完善。

最后，將檢查過的數據與規(guī)土委數據接收端進行數據交換，若數據滿足要求則入庫，若仍有無法入庫的內容，則通過提升數據質量，修正數據錯誤來不斷試驗入庫，直至數據最終通過規(guī)土委驗收并入庫。

4 結 語

多源、跨時空的海量地下管線數據整合存在各種無法預期的情況，本文對數據整合方式和數據整合流程進行了重點探討，認為通過人工輔助計算決策的方式，整合常規(guī)數據處理工具及技術(包含GIS技術等)，嚴格按照數據處理流程，把好質量關，才能夠滿足城市地下管線數據整合要求，為城市地下管線補充測繪及數據建庫做好鋪墊。

[1] 國務院辦公廳. 國務院辦公廳關于加強城市地下管線建設管理的指導意見[Z]. 2014-06-14.

[2] 張會平，董軍，耿振國. 銀川市城市綜合地下管線數據整合技術應用[J]. 城市勘測，2012，12(6)：152～157.

[3] 楊伯鋼，張保鋼，陶迎春等. 城市地下管線數據建庫與共享應用[M]. 北京：測繪出版社，2011.

[4] 鮑井林，潘九寶. 城市地下管線多源數據整合研究[J]. 現代測繪，2015，38(2)：26～28.

[5] 魏金明，邵飛，仲偉政. 基于空間關系的地下管線數據整合方法初探[J]. 城市勘測，2015，4(2)：62～65.

[6] 繆冬生，潘伯鳴，孫雪梅. 城市地下管線綜合管理信息系統(tǒng)的研究與實踐[J]. 常州工學院學報，2014，27(6)：17～22.

[7] 孟志義. 北京市地下管線信息多源數據整合研究[J]. 測繪通報，2011(10)：56～59.

[8] CJJ61-2003. 城市地下管線探測技術規(guī)程[S].

[9] 沈奇祥，陳明輝，黎海波. 對東莞市地下管線數據動態(tài)更新機制建設的思考[J]. 地理空間信息，2013，11(4)：128～130.

ResearchAndStudyontheIntegrationofUrbanUndergroundPipelineData

Fu Lili，Han Kui，Wang Wenzhe
(Shenzhen Investigation&Research Institute Co.，Ltd.，Shenzhen 518026，China)

Based on multi-source，across the massive underground pipeline data integration of space and time exist all kinds of unexpected situation，this paper takes shenzhen city as an example，by way of data integration and data integration process，think computer by artificial auxiliary decision-making way，give full play to the characteristics of the computer technology fast，accurate，at the same time introduce decision-making ability，integration of the conventional data processing tools and technologies (including GIS，etc.)，according to the data processing procedure，strict quality management data，can meet the requirements of urban underground pipeline data integration，as well as supplementary surveying and mapping and the underground pipeline data to build library.

underground pipeline；data Integration；multi Source；cross time space；artificial auxiliary computer decision-making

1672-8262(2017)06-67-04

P208.1

B

2017—01—11

付麗麗(1986—)，女，碩士，工程師，主要從事測繪工程項目管理工作。