市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)的研究與應(yīng)用

郭興根 劉 帥 趙 威

河北天元地理信息科技工程有限公司河北省市政管網(wǎng)智能監(jiān)控技術(shù)創(chuàng)新中心 河北 廊坊 065201

市政是規(guī)劃和管理重要組成部分，隨著市政建設(shè)不斷發(fā)展，市政建設(shè)中出現(xiàn)越來越多信息，這就要求市政地下管網(wǎng)建設(shè)中大數(shù)據(jù)和安全控制。同時，要對地下管網(wǎng)進行更新改造，提高維護效率，降低失效概率，減少間接傷害，對市政發(fā)展有著重大的現(xiàn)實意義。隨著城鎮(zhèn)化進程加快，地下管網(wǎng)鋪裝量也在不斷增加，各個市政發(fā)展進程中，在市政道路和建筑周圍，會出現(xiàn)大量地下管網(wǎng)，增加地下管網(wǎng)的挖掘和維修困難，并且由于支護困難，可能造成周圍土壤沉降開裂，路面圍護占用路面，影響交通流量，造成重大經(jīng)濟和社會損失。在此基礎(chǔ)上，結(jié)合我國實際情況，提出一種基于大數(shù)據(jù)的市政地下管網(wǎng)預(yù)處理技術(shù)方法。

1 市政地下管網(wǎng)概述

作為現(xiàn)代化市政基本設(shè)施的一個重要組成部分，地下管網(wǎng)包括給水、排水、燃?xì)?、熱力等多種類型，具有種類繁多、分布廣泛周期長等特點，而且隨著市政規(guī)劃和建設(shè)發(fā)展，數(shù)量也在增加，而且還在持續(xù)地進行著升級。在市政建設(shè)、規(guī)劃、設(shè)計、施工、管理、決策等方面，市政地下管網(wǎng)是市政建設(shè)和管理基本依據(jù)。由于對地下管網(wǎng)了解程度較低。因此，對其進行全面、準(zhǔn)確監(jiān)測不僅會對市政生活產(chǎn)生諸多影響，而且還會對社會、經(jīng)濟產(chǎn)生巨大影響。而市政地下管網(wǎng)又是人類身體中的“血管”與“神經(jīng)”，隨時承擔(dān)著與之有關(guān)信息與能源傳輸任務(wù)，是一個城市長久存在與高速發(fā)展重要物質(zhì)支撐，也是其“生命線”。所以，對市政地下管網(wǎng)進行數(shù)字信息管理，就成為對地下管網(wǎng)進行建設(shè)和管理一個關(guān)鍵步驟。另外，在我國市政快速發(fā)展、人口高度集中背景下，我國城市快速發(fā)展，負(fù)荷日益加重，對地下管網(wǎng)依賴與日俱增。市政危害越來越明顯，特別是在快速擴張和發(fā)展的市政，其自然災(zāi)害、環(huán)境災(zāi)害和人類活動災(zāi)害都非常嚴(yán)重。一座現(xiàn)代城市要實現(xiàn)可持續(xù)發(fā)展，需要具備安全保障，尤其是在遇到緊急情況和災(zāi)難時，可以迅速作出正確決定，并進行高效救助。因此，站在城市發(fā)展戰(zhàn)略高度，對地下管網(wǎng)在市政規(guī)劃、建設(shè)和管理中的角色與地位進行全面理解。

2 地下管網(wǎng)的特點

市政地下管網(wǎng)主要是在地表之下的一個區(qū)域內(nèi)，形成一個錯綜復(fù)雜、非?；靵y網(wǎng)絡(luò)結(jié)構(gòu)。它具有4個最重要特征：不可見，因市政綜合網(wǎng)絡(luò)基本都是布置在地下的，所以一個顯著特征就是看不見的，這使得人們很難得到精確空間定位和有關(guān)屬性信息；復(fù)雜多樣，因市政地下管網(wǎng)在地下分布極為復(fù)雜，并且彼此交叉，類型繁多，雜亂無章；整體統(tǒng)一，因市政地下管網(wǎng)在其功能上是一個體系的，是一個完整的，相同管網(wǎng)、不同區(qū)段可以互相連接起來，共同發(fā)揮各自功能與效果；狀態(tài)變化，隨著現(xiàn)代社會快速發(fā)展，每一座大、中型市政規(guī)模都在發(fā)生著改變，這就導(dǎo)致網(wǎng)絡(luò)狀況發(fā)生很大改變[1]。

3 地下管網(wǎng)的分類

對于地下管網(wǎng)，可以有多種類型：根據(jù)使用對象，可以分為給水、燃?xì)?、雨水、污水、強電、弱電等；按照其服?wù)范圍，還可以將其劃分為：市政公用地下管網(wǎng)、小區(qū)地下管網(wǎng)、施工場地地下管網(wǎng)、專業(yè)地下管網(wǎng)等。我國市政地下管網(wǎng)工程設(shè)計中，以市政地下管網(wǎng)設(shè)計為主，滿足市政地下管網(wǎng)設(shè)計需要。與此同時，也可以便利政府各職能部門之間監(jiān)督和高效管理。數(shù)字地下管網(wǎng)是為專門地下管網(wǎng)設(shè)計、規(guī)劃、施工和管理服務(wù)，而在地下管網(wǎng)部分運行則是為了在地下管網(wǎng)的一些特性很難被詳細(xì)展示出來，通過將這些特性進行部分放大處理，這樣就能更好展示出與當(dāng)?shù)氐叵鹿芫W(wǎng)有關(guān)信息。

4 市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)概述

4.1 技術(shù)背景

伴隨著市政進程的持續(xù)加速，當(dāng)前，市政綜合地下管網(wǎng)建造品質(zhì)持續(xù)提高，各類市政管線覆蓋程度提高，不僅保障社會發(fā)展，同時也促進經(jīng)濟發(fā)展和建設(shè)。然而，在運行幾年之后，地下管網(wǎng)經(jīng)常會發(fā)生一些故障，比如地下管網(wǎng)磨損，這時又要面臨頻繁維修，交通管理，造成資金壓力一年比一年大。其中，“先地上后地下”的市政規(guī)劃方式會造成地下管網(wǎng)無序運行，從而加大地下管網(wǎng)運營費用，并對社會經(jīng)濟發(fā)展造成極大阻礙。本項目研究成果將為新市政和新城區(qū)的發(fā)展提供理論依據(jù)和技術(shù)支持，為市政道路和建筑等地區(qū)地下管網(wǎng)提供智慧運行管理平臺，不僅能夠從某種角度上緩解市政地下管網(wǎng)過密問題，還能夠提高市政地下管網(wǎng)運行效率，緩解道路的擁堵狀況，從而推動社會發(fā)展和進步。

4.2 技術(shù)定義

市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)屬于一種在大數(shù)據(jù)背景下所產(chǎn)生的安全控制技術(shù)，它可以很好地滿足地下管線、道路橋梁安全運營實際情況。一般而言，市政基礎(chǔ)建設(shè)、安全生產(chǎn)等多個方面的數(shù)據(jù)處理技術(shù)都是由多個方面管線信息進行匯總和分析，從而能夠建立一個更加完備智能化服務(wù)平臺。

4.3 技術(shù)內(nèi)涵

市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)在現(xiàn)代發(fā)展中有著廣泛應(yīng)用，是建立智慧市政不可或缺的一部分。在對地下管網(wǎng)進行數(shù)據(jù)跟蹤和監(jiān)控過程中，可以對地下管網(wǎng)的復(fù)雜性和特點有更深一層認(rèn)識，在此過程中，還可以對數(shù)據(jù)進行一些難度分析和總體調(diào)整。同時，利用二階差對彩色圖象進行實時可逆向遮蔽，實現(xiàn)對故障定位擴展，從而滿足對現(xiàn)場分析和檢測需要。同時，在本次研究中，主要通過分段差值擴展技術(shù)與非線性誤差技術(shù)來進行技術(shù)處理，可以在成本可控情況下，達(dá)到可逆數(shù)據(jù)隱藏和彩色圖像擴展管理目的，從而進一步提高智能監(jiān)控系統(tǒng)數(shù)據(jù)效率，同時也符合技術(shù)發(fā)展客觀需求。

5 數(shù)據(jù)庫技術(shù)

5.1 系統(tǒng)數(shù)據(jù)存儲

GIS與 ORACLE之間聯(lián)系是利用空間數(shù)據(jù)庫引擎 ArcSDE來實現(xiàn)，該系統(tǒng)有關(guān)數(shù)據(jù)儲存模式都是以 GeoDatabase模式為基礎(chǔ)的，同時還可以根據(jù)工業(yè)數(shù)據(jù)做合適擴充。其中，地理信息系統(tǒng)以元素類、關(guān)聯(lián)類、柵格目錄、Terrain、屬性表等為基礎(chǔ)，以地理信息系統(tǒng)中地理信息系統(tǒng)（GeometryNetwork）、規(guī)則（Rule）、子類（子類）、域（Domain）等為基礎(chǔ)進行地理信息系統(tǒng)擴充。

5.2 系統(tǒng)功能介紹

系統(tǒng)在查詢統(tǒng)計、決策分析等功能上有很大優(yōu)點：視圖顯示，為了便于對系統(tǒng)中地圖展示區(qū)域進行調(diào)整，系統(tǒng)還提供放大、縮小、前后視圖和漫游等功能，以便于對系統(tǒng)地圖視野進行調(diào)整；查詢功能，為了便于對地下管網(wǎng)信息進行查詢，該系統(tǒng)還提供一個查詢功能，可以采用兩種方法進行查詢，第一種方法是利用管線圖形信息來對屬性信息進行查詢，第二種方法是利用屬性信息來對管線進行查詢，也就是一種方法是以管線圖形為依據(jù)，對地下管網(wǎng)特定起始點號、終止點號、埋深等進行查詢。第三種可以按照諸如材料、管徑等所設(shè)定管道屬性信息，將地下管網(wǎng)特定位置定位到所設(shè)定位置；定位功能，利用諸如地名、道路、圖幅等指標(biāo)數(shù)據(jù)，可以迅速發(fā)現(xiàn)所要查找管道，還可以根據(jù)所需坐標(biāo)來確定地下管網(wǎng)位置；輔助工具，利用標(biāo)尺測量儀器可以測量距離、角度、面積等，并可以用標(biāo)記法把地下管網(wǎng)特性信息標(biāo)記在地圖上；決策分析，通過橫剖面和縱剖面分析，為工程規(guī)劃和建設(shè)提供依據(jù)。同時，通過橫向和縱向凈距和覆蓋深度計算，檢查地下管網(wǎng)布置情況，確保地下管網(wǎng)的布置與國家標(biāo)準(zhǔn)的一致，并通過火災(zāi)救援等功能，為人民的生產(chǎn)生活服務(wù)，盡量降低經(jīng)濟損失[2]。

6 非線性DELTA誤差技術(shù)地下管網(wǎng)數(shù)據(jù)壓縮算法

6.1 管線監(jiān)控類數(shù)據(jù)字典

為了加快地下管網(wǎng)采集速度，監(jiān)測站點數(shù)據(jù)字典，采用變量壓縮比處理方法，對地下管網(wǎng)的監(jiān)測資料。同時，在預(yù)警線下的數(shù)據(jù)上。在預(yù)警線下的數(shù)據(jù)變化較小、數(shù)據(jù)量大、壓縮率高。其中，超過預(yù)警值數(shù)據(jù)超過預(yù)警值是監(jiān)測重要數(shù)據(jù)，所以數(shù)據(jù)量小、用無損壓縮，可以減少數(shù)據(jù)冗余，從而提升數(shù)據(jù)存儲率。

6.2 實時變化數(shù)據(jù)壓縮描述

在對地下管網(wǎng)資料進行監(jiān)視時，因地下管網(wǎng)資料變動幅度很小，因此可以說，地下管網(wǎng)情況比較平穩(wěn)，而一旦數(shù)值變動很大，說明有意外情況出現(xiàn)。因此，在監(jiān)視時，大部分資料都是變動幅度很小資料，應(yīng)著重對其進行壓制。其中，一些數(shù)據(jù)是在最大與最小之間數(shù)據(jù)，它們占很大比重，因此在對它們進行壓縮同時，也要對它們進行無損壓縮。另外，在項目中，非報警值數(shù)據(jù)屬于第一類數(shù)據(jù)，這種數(shù)據(jù)是比較穩(wěn)定，數(shù)據(jù)間差異很少。因此，對于這種數(shù)據(jù)處理，只有當(dāng)前后數(shù)據(jù)的 Delta差值超過某一條預(yù)警線Φ1時，才會將這種數(shù)據(jù)記錄在數(shù)據(jù)庫中。此資料為目前資料尺寸與之前資料尺寸之對比，若二資料間之錯誤超過 phi;時，將該數(shù)據(jù)記入數(shù)據(jù)庫。

7 面向市政地下管網(wǎng)運維的數(shù)據(jù)預(yù)處理技術(shù)

如果能夠正確運用市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)，能夠很好地解決地下管網(wǎng)系統(tǒng)建設(shè)不科學(xué)問題，在降低后期運營成本，提高運營效率方面都有著無可取代的影響，現(xiàn)就技術(shù)實現(xiàn)過程進行討論，具體內(nèi)容如下。

7.1 樹立專業(yè)人才全員參與意識

在大數(shù)據(jù)下，以工程項目為主傳統(tǒng)監(jiān)理方式走向以信息化為主的新型監(jiān)理方式，其首要任務(wù)是加強對施工項目監(jiān)理人員培訓(xùn)。借助全國指導(dǎo)方針，加強對當(dāng)前監(jiān)管工作宣傳與交流，從觀念到行動，全方位提高管理工作信息化水平與行動意識；引入技術(shù)性人才，并逐漸降低監(jiān)理人員選聘與考評標(biāo)準(zhǔn)，不僅要有較強工程知識，還要有較強信息技術(shù)應(yīng)用能力；提升管理標(biāo)準(zhǔn)，引導(dǎo)相關(guān)工程、企業(yè)及管理者積極地提供相關(guān)信息，鼓勵企業(yè)采用以互聯(lián)網(wǎng)為基礎(chǔ)協(xié)同作業(yè)、建筑信息模型（BIM）、物聯(lián)網(wǎng)等信息化管理手段，為未來大規(guī)模信息互聯(lián)互通奠定基礎(chǔ)。同時，新時期市政行業(yè)監(jiān)管部門，要建立起讓所有人都能夠參加觀念。工程技術(shù)專業(yè)人員也應(yīng)要學(xué)會和掌握現(xiàn)代化信息技術(shù)，在觀念上要逐步擺脫傳統(tǒng)監(jiān)管方式，在技術(shù)上要對科技設(shè)備和軟件系統(tǒng)操作技巧進行提升。

7.2 實現(xiàn)基礎(chǔ)信息數(shù)據(jù)互聯(lián)互通

由于市政基礎(chǔ)設(shè)施參與主體眾多，基礎(chǔ)信息重復(fù)率高，信息采集、傳遞和共享困難，而在施工階段，信息變化快，精度低，使管理部門難以對其進行實時監(jiān)控。在傳統(tǒng)監(jiān)督管理方式下，對已有問題進行現(xiàn)場檢查和糾正，往往要耗費大量資源和精力，從而導(dǎo)致巨大浪費。同時，構(gòu)建數(shù)字監(jiān)管系統(tǒng)，可以實現(xiàn)對工程項目從報監(jiān)到竣工驗收、備案全過程質(zhì)量、安全進行精細(xì)化、差別化監(jiān)督，具有重大現(xiàn)實意義。其中，要保證信息互動便利，市政監(jiān)管系統(tǒng)是管理中建筑產(chǎn)業(yè)的一個關(guān)鍵環(huán)節(jié)，僅僅依靠單位本身條件所獲得數(shù)據(jù)總是不夠全面，工程體系相互聯(lián)系，且體系結(jié)構(gòu)復(fù)雜，具有較強專業(yè)性，較高重復(fù)頻率，快速變化和較高證據(jù)要求。因此，要想在保障信息安全，使數(shù)據(jù)互聯(lián)互通，最有效、最快速的方法就是利用一個國家統(tǒng)一數(shù)據(jù)大平臺來進行數(shù)據(jù)交換。

7.3 非線性誤差技術(shù)地下管網(wǎng)數(shù)據(jù)壓縮算法

在全覆蓋地下管網(wǎng)數(shù)據(jù)監(jiān)控中，平臺需要不間斷的連續(xù)運轉(zhuǎn)，期間會生成大量的時間序列，不僅能夠反映出運營期內(nèi)地下管網(wǎng)領(lǐng)域工作狀態(tài)和工作量變化，還能夠?qū)ζ溥M行更深層次挖掘，提高數(shù)據(jù)密度，幫助決策者實現(xiàn)精確決策。在進行分析過程中，會牽扯到很多數(shù)據(jù)存儲與傳輸問題。在不損失重要有效數(shù)據(jù)基礎(chǔ)上，還要對信息合理性、科學(xué)性進行更多考量。在此基礎(chǔ)上，針對不同類型資料，對資料進行不同類型觀測，并對其進行相應(yīng)分析。另外，管線監(jiān)控數(shù)據(jù)集合。管線監(jiān)測數(shù)據(jù)集合存在能夠提高管線信息獲得速度，并與可變壓縮率情況相聯(lián)系，對預(yù)警線數(shù)據(jù)進行處理，將那些數(shù)據(jù)量較少但起到預(yù)警作用信息，都要納入到分析序列中。如果超出警報范圍，必須對該區(qū)域數(shù)據(jù)進行特別監(jiān)測。其中，對于非線性誤差壓縮算法實現(xiàn)過程。非線性誤差壓縮算法是一種從傳統(tǒng)壓縮算法中衍生出來一種先進算法，它種類很多，包括一級預(yù)警、多級預(yù)警等。在對算法實現(xiàn)進行分析的時候，要將報警的上下限設(shè)定等內(nèi)容納入其中，將地下管網(wǎng)數(shù)據(jù)監(jiān)測過程和數(shù)值范圍當(dāng)作分布條件，對數(shù)據(jù)進行追蹤和監(jiān)測，以達(dá)到對數(shù)據(jù)壓縮。有些資料是介于安全與警告性之間資料，必須加以調(diào)整，以達(dá)到科學(xué)化目的。

7.4 基于分段差值法地下管網(wǎng)數(shù)據(jù)解壓縮算法

在實現(xiàn)大數(shù)據(jù)預(yù)處理技術(shù)同時，利用分段差值法對數(shù)據(jù)進行解壓也有著諸多優(yōu)點。因這種技術(shù)可以將學(xué)習(xí)和數(shù)據(jù)挖掘問題結(jié)合起來，將數(shù)據(jù)處理效率最大化，減少多余數(shù)據(jù)比重，因此，可以很好地適用于地下管網(wǎng)系統(tǒng)建設(shè)，從而可以避免數(shù)據(jù)短缺和填補不夠情況。同時，在市政中，為了處理工程具體問題，對資料進行研究大多都是使用分段差值法。因此，對測點資料進行6S一次采集，并對其進行適當(dāng)儲存，在必要間隔序列中進行數(shù)據(jù)分析[3]。

8 結(jié)束語

總而言之，在未來市政地下管網(wǎng)建設(shè)和智慧城市規(guī)劃管理中，市政地下管網(wǎng)運維大數(shù)據(jù)預(yù)處理技術(shù)有著非常重要意義。運用數(shù)據(jù)解壓縮，數(shù)據(jù)偏差計算，數(shù)據(jù)挖掘存儲等方法，使地下管網(wǎng)設(shè)計與運行更加有效。因此，地下管網(wǎng)信息平臺需要更加穩(wěn)定、可靠數(shù)據(jù)，從而滿足大規(guī)模市政管道數(shù)據(jù)需求，提升地下管網(wǎng)的數(shù)據(jù)分析能力，保證其總體工作效率。