水利樞紐監(jiān)測(cè)數(shù)據(jù)匯集平臺(tái)概述

阮洋

摘 ?要：為實(shí)現(xiàn)廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”頂層設(shè)計(jì)提出的全面感知現(xiàn)代水利體系，運(yùn)用物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)手段，打通重點(diǎn)水利樞紐的信息化系統(tǒng)數(shù)據(jù)壁壘，建設(shè)水利樞紐監(jiān)測(cè)數(shù)據(jù)匯集平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)的匯集共享管理。

關(guān)鍵詞：現(xiàn)代水利;互聯(lián)網(wǎng)+;數(shù)據(jù)匯集;數(shù)據(jù)管理

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)志碼：A ? ? ?文章編號(hào)：2095-2945（2019）13-0172-03

Abstract： In order to realize the comprehensive perception of the modern water conservancy system put forward by the top-level design of "Internet Plus Modern Water Conservancy" in Guangdong Province， the Internet of things， big data， cloud computing and other technical means are used to break through the data barriers of the information system of key water conservancy projects. The monitoring data collection platform of water conservancy project is constructed to realize the collection and sharing management of data.

Keywords： modern water conservancy; Internet Plus; data collection; data management

自《國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見》[1]出臺(tái)以來，“互聯(lián)網(wǎng)+”已在各行各業(yè)得到深入的研究和應(yīng)用[2、3]，水利行業(yè)的學(xué)者也進(jìn)行了相關(guān)應(yīng)用的探討[4-6]。為落實(shí)水利部提出水利工作重點(diǎn)轉(zhuǎn)變到“水利工程補(bǔ)短板，水利行業(yè)強(qiáng)監(jiān)管”等精神，廣東省開展了以互聯(lián)網(wǎng)技術(shù)為引領(lǐng)的“互聯(lián)網(wǎng)+現(xiàn)代水利”系統(tǒng)研究[7、8]，先后出臺(tái)了《廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”行動(dòng)計(jì)劃》《廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”頂層設(shè)計(jì)》，明確了廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”四大建設(shè)目標(biāo)，其中打造全面感知體系是重要組成部分。為了全面感知體系能在全省范圍內(nèi)高效推廣，決定以信息化基礎(chǔ)條件較好、監(jiān)測(cè)類型全面的重點(diǎn)水利樞紐作為試點(diǎn)開展工作，從實(shí)踐中研究出可復(fù)制的建設(shè)模式，邁出全面感知的第一步。

1 目標(biāo)與架構(gòu)

1.1 建設(shè)目標(biāo)

廣東省重點(diǎn)水利樞紐已基本在本地建成信息化系統(tǒng)，具有完善的監(jiān)測(cè)數(shù)據(jù)庫(kù)。通過在樂昌峽、飛來峽等重點(diǎn)水利樞紐部署數(shù)據(jù)感知前置機(jī)，打造一個(gè)全省范圍的信息資源高速互通數(shù)據(jù)感知網(wǎng)，將分散在不同工程信息化系統(tǒng)的信息資源進(jìn)行整合。在省級(jí)建立水利樞紐智能感知數(shù)據(jù)管理中心，接入各水利樞紐的監(jiān)測(cè)感知數(shù)據(jù)，實(shí)現(xiàn)各水利工程監(jiān)測(cè)感知數(shù)據(jù)的傳輸及共享，提高信息資源的利用率，邁出全面感知的第一步。

1.2 總體技術(shù)架構(gòu)

系統(tǒng)架構(gòu)主要分為數(shù)據(jù)交換層和感知應(yīng)用層，數(shù)據(jù)交換層承載全省重點(diǎn)水利樞紐工程數(shù)據(jù)的流轉(zhuǎn)，感知應(yīng)用層實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)信息資源的統(tǒng)一管理和應(yīng)用。

數(shù)據(jù)交換層由數(shù)據(jù)服務(wù)節(jié)點(diǎn)和數(shù)據(jù)管理中心組成，其中數(shù)據(jù)服務(wù)節(jié)點(diǎn)實(shí)現(xiàn)各個(gè)水利樞紐數(shù)據(jù)的接入及數(shù)據(jù)傳輸。整個(gè)數(shù)據(jù)交換層基于底層IP承載網(wǎng)提供可靠的點(diǎn)對(duì)點(diǎn)傳輸服務(wù)，具備路由選擇、流量控制、壓縮加密、鑒權(quán)管理、數(shù)據(jù)傳輸?shù)裙δ躘9]。

感知應(yīng)用層：根據(jù)《廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”頂層設(shè)計(jì)》的要求，搭建基于微服務(wù)架構(gòu)的省重點(diǎn)水利樞紐感知應(yīng)用層，實(shí)現(xiàn)其信息資源的統(tǒng)一管理和應(yīng)用。

2 數(shù)據(jù)歸集

在各水利樞紐開展現(xiàn)場(chǎng)調(diào)研，進(jìn)行感知數(shù)據(jù)梳理、數(shù)據(jù)目錄設(shè)計(jì)等工作，完成信息化系統(tǒng)改造、數(shù)據(jù)服務(wù)節(jié)點(diǎn)和數(shù)據(jù)感知微服務(wù)的建設(shè)，使數(shù)據(jù)能順暢地傳送到智能感知數(shù)據(jù)管理中心。

2.1 感知數(shù)據(jù)梳理

數(shù)據(jù)資源梳理是水利樞紐智能感知過程的一個(gè)重要環(huán)節(jié)，對(duì)眾多的數(shù)據(jù)進(jìn)行科學(xué)合理的分類規(guī)劃[10]，是實(shí)現(xiàn)全面感知目標(biāo)的基礎(chǔ)保證。通過數(shù)據(jù)資源梳理，能使分散的、標(biāo)準(zhǔn)不一的數(shù)據(jù)實(shí)現(xiàn)由數(shù)據(jù)到信息的轉(zhuǎn)化。通過分析、梳理數(shù)據(jù)交換及應(yīng)用所涉及的重要業(yè)務(wù)概念，同時(shí)考慮和其他系統(tǒng)數(shù)據(jù)模型之間的對(duì)接關(guān)系，建立業(yè)務(wù)模型。

數(shù)據(jù)規(guī)劃采用自下而上的驗(yàn)證方法進(jìn)行?？傮w信息資源分為基礎(chǔ)數(shù)據(jù)、監(jiān)測(cè)數(shù)據(jù)、文件數(shù)據(jù)、空間數(shù)據(jù)等多類。

（1）基礎(chǔ)資源數(shù)據(jù)：存儲(chǔ)水利樞紐的各項(xiàng)基本信息，如名稱、地址、部門、各業(yè)務(wù)負(fù)責(zé)人、感知設(shè)備情況等等。

（2）監(jiān)測(cè)感知數(shù)據(jù)：存儲(chǔ)結(jié)構(gòu)化的水利樞監(jiān)測(cè)感知數(shù)據(jù)，通過與水利樞紐本地?cái)?shù)據(jù)環(huán)境開放的數(shù)據(jù)接口進(jìn)行對(duì)接，其中包括防洪調(diào)度感知監(jiān)測(cè)、發(fā)電安全感知監(jiān)測(cè)、工程安全感知監(jiān)測(cè)三大類。

（3）業(yè)務(wù)資源數(shù)據(jù)：業(yè)務(wù)資源數(shù)據(jù)涵蓋了防汛、氣象、海事等成員單位共享的專業(yè)業(yè)務(wù)數(shù)據(jù)。通過合理的資源目錄編制，對(duì)數(shù)據(jù)信息進(jìn)行高效的分類分層管理，為水利工程樞紐感知和災(zāi)情評(píng)估工作提供相關(guān)的數(shù)據(jù)服務(wù)，并通過數(shù)據(jù)中心進(jìn)行數(shù)據(jù)的交換和共享。

（4）空間地理數(shù)據(jù)：存儲(chǔ)空間地理數(shù)據(jù)，主要將水利工程感知過程中用到的基礎(chǔ)地理圖、地形圖、行政圖、水利樞紐模型、河道水域、遙感影像、高清航拍以及相關(guān)的屬性數(shù)據(jù)、多媒體等數(shù)據(jù)存入空間地理信息數(shù)據(jù)庫(kù)中，方便各項(xiàng)功能的地圖服務(wù)調(diào)用。

（5）文件資源數(shù)據(jù)：主要包括業(yè)務(wù)過程中所產(chǎn)生的相關(guān)文件數(shù)據(jù)，包括文檔、文本。

2.2 數(shù)據(jù)目錄設(shè)計(jì)

感知數(shù)據(jù)目錄設(shè)計(jì)是在省重點(diǎn)水利樞紐智能感知體系建立的重要基礎(chǔ)，將基于感知數(shù)據(jù)梳理的成果上，結(jié)合各個(gè)水利樞紐的自身特點(diǎn)進(jìn)行設(shè)計(jì)，以滿足感知數(shù)據(jù)分類存儲(chǔ)及數(shù)據(jù)分析需求。通過元數(shù)據(jù)與分類表、主題詞表的結(jié)合，組織信息資源分類目錄、主題目錄和其他目錄，實(shí)現(xiàn)對(duì)感知資源的導(dǎo)航、檢索、定位和交換服務(wù)。

2.3 數(shù)據(jù)服務(wù)節(jié)點(diǎn)

數(shù)據(jù)服務(wù)節(jié)點(diǎn)是基于廣東省重點(diǎn)水利樞紐數(shù)據(jù)的標(biāo)準(zhǔn)對(duì)接規(guī)范，采用數(shù)據(jù)接口方式，實(shí)現(xiàn)數(shù)據(jù)的安全傳輸，主要功能如下：

（1）標(biāo)準(zhǔn)接口規(guī)范接入

構(gòu)建省重點(diǎn)水利樞紐統(tǒng)一的數(shù)據(jù)的標(biāo)準(zhǔn)接口服務(wù)，具備推廣至全省水利工程的擴(kuò)展性。采用改造已建工程信息系統(tǒng)數(shù)據(jù)接口，在建、新建水利工程信息化系統(tǒng)按要求建設(shè)數(shù)據(jù)接口的方式，實(shí)現(xiàn)數(shù)據(jù)匯集上傳。

（2）數(shù)據(jù)交換流程

數(shù)據(jù)服務(wù)節(jié)點(diǎn)前置機(jī)根據(jù)數(shù)據(jù)交換流程，支持部署不同協(xié)議的接口模塊，完成數(shù)據(jù)感知過程，并轉(zhuǎn)送到只能感知數(shù)據(jù)管理中心，實(shí)現(xiàn)數(shù)據(jù)交換過程。

（3）安全傳輸

數(shù)據(jù)服務(wù)節(jié)點(diǎn)通過消息加密和IP地址認(rèn)證等技術(shù)手段，形成數(shù)據(jù)訪問安全體系，實(shí)現(xiàn)水利工程感知數(shù)據(jù)向數(shù)據(jù)服務(wù)平臺(tái)的安全傳輸。

3 智能感知數(shù)據(jù)管理中心

智能感知數(shù)據(jù)管理中心負(fù)責(zé)實(shí)現(xiàn)省重點(diǎn)水利樞紐感知數(shù)據(jù)的匯集，同時(shí)按防洪、發(fā)電、工程安全三大板塊實(shí)現(xiàn)對(duì)集約化感知數(shù)據(jù)的標(biāo)準(zhǔn)化處理和分類分目錄存儲(chǔ)管理，并提供開放性的數(shù)據(jù)接口給上層業(yè)務(wù)應(yīng)用進(jìn)行調(diào)用。

3.1 數(shù)據(jù)服務(wù)設(shè)計(jì)

按照資源共享目錄預(yù)設(shè)的數(shù)據(jù)模型，以微服務(wù)架構(gòu)劃分防洪調(diào)度、發(fā)電運(yùn)行和水工安全三大服務(wù)中心，并實(shí)現(xiàn)分類別分目錄進(jìn)行存儲(chǔ)、管理。

智能感知數(shù)據(jù)服務(wù)中心需提供多種數(shù)據(jù)源接口及數(shù)據(jù)共享接口，將相關(guān)業(yè)務(wù)領(lǐng)域的業(yè)務(wù)功能和數(shù)據(jù)進(jìn)行集約化管理，將“煙囪”改變?yōu)椤俺亍?，把所有?jì)算資源整合成云計(jì)算資源池，所有存儲(chǔ)資源整合成存儲(chǔ)資源池，再基于共享服務(wù)的核心能力去提供應(yīng)用服務(wù)，最終實(shí)現(xiàn)以服務(wù)的方式去交付資源。

3.2 數(shù)據(jù)處理

（1）數(shù)據(jù)清洗：數(shù)據(jù)清洗是把采集回來的數(shù)據(jù)由零散狀態(tài)轉(zhuǎn)變成統(tǒng)一狀態(tài)，在業(yè)務(wù)需要的時(shí)候從任意來源檢索數(shù)據(jù)，編排格式后再提供給允許的對(duì)象使用。通過數(shù)據(jù)標(biāo)準(zhǔn)化，集成進(jìn)而提供一致、及時(shí)、完整的信息，并且在數(shù)據(jù)的整個(gè)生命周期內(nèi)控制數(shù)據(jù)質(zhì)量。平臺(tái)從數(shù)據(jù)源抽取出所需的數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行清洗，涉及到數(shù)據(jù)的矢量化處理，并基于時(shí)空多維度進(jìn)行記錄管理，數(shù)據(jù)層次豐富、量級(jí)大，通過科學(xué)合理的數(shù)據(jù)規(guī)劃、數(shù)據(jù)預(yù)處理、數(shù)據(jù)并行分治，實(shí)現(xiàn)數(shù)據(jù)有效融合展示。在疊加分析、緩沖區(qū)分析、拓?fù)浞治龅雀鞣N矢量數(shù)據(jù)分析過程中，通過矢量數(shù)據(jù)拓?fù)湟恢滦蕴幚怼?/p>

（2）數(shù)據(jù)轉(zhuǎn)換：按照數(shù)據(jù)源與目標(biāo)數(shù)據(jù)的定義，將數(shù)據(jù)單位傳輸?shù)侥繕?biāo)數(shù)據(jù)。從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫(kù)的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等等，因此需要對(duì)抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。數(shù)據(jù)的轉(zhuǎn)換和加工可以在數(shù)據(jù)抽取過程中利用關(guān)系數(shù)據(jù)庫(kù)的特性同時(shí)進(jìn)行。

（3）數(shù)據(jù)加載：將已完成傳輸?shù)臄?shù)據(jù)加入數(shù)據(jù)倉(cāng)庫(kù)，采用增量數(shù)據(jù)加載，即僅加載有變化的數(shù)據(jù)，將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫(kù)中是數(shù)據(jù)治理過程的最后步驟。

3.3 分布式數(shù)據(jù)存儲(chǔ)

利用主流的分布式數(shù)據(jù)存儲(chǔ)技術(shù)，協(xié)調(diào)管理所有資源節(jié)點(diǎn)中的數(shù)據(jù)文件，實(shí)現(xiàn)數(shù)據(jù)分類存放，可按業(yè)務(wù)劃分為三大服務(wù)中心，分別為防洪調(diào)度服務(wù)中心、發(fā)電運(yùn)行服務(wù)中心、水工安全服務(wù)中心。其中包括各種基礎(chǔ)數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)、文件數(shù)據(jù)、空間數(shù)據(jù)等類別。經(jīng)過以上的抽取、轉(zhuǎn)換和清洗基礎(chǔ)數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和管理，完善大數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)標(biāo)準(zhǔn)，綜合應(yīng)用分布式關(guān)系型數(shù)據(jù)庫(kù)、分布式對(duì)象存儲(chǔ)和分布式文件系統(tǒng)等存儲(chǔ)技術(shù)，針對(duì)應(yīng)用按需設(shè)計(jì)多副本存儲(chǔ)，同時(shí)對(duì)各類數(shù)據(jù)進(jìn)行分析和展示，為用戶提供數(shù)據(jù)中所需的服務(wù)。

4 結(jié)束語(yǔ)

水利樞紐監(jiān)測(cè)數(shù)據(jù)匯集項(xiàng)目運(yùn)用物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)手段，對(duì)存在于不同水利工程的信息系統(tǒng)監(jiān)測(cè)數(shù)據(jù)進(jìn)行采集，經(jīng)過梳理分析，設(shè)計(jì)出新的、可擴(kuò)展的統(tǒng)一的編碼進(jìn)行存儲(chǔ)管理，有效打破數(shù)據(jù)壁壘，整合各個(gè)信息孤島。項(xiàng)目的建設(shè)模式可復(fù)制，理論上可快速推廣至省內(nèi)的各類水利工程?；诒卷?xiàng)目的成果，可通過大數(shù)據(jù)和數(shù)據(jù)可視化的技術(shù)實(shí)現(xiàn)對(duì)全省水利水利工程的實(shí)時(shí)監(jiān)控。未來亦可訓(xùn)練適用的人工智能模型，實(shí)現(xiàn)對(duì)全省水利工程智能安全評(píng)估、態(tài)勢(shì)分析等功能，為調(diào)度決策提供參考。

參考文獻(xiàn)：

[1]國(guó)務(wù)院.國(guó)務(wù)院關(guān)于積極推進(jìn)“互聯(lián)網(wǎng)+”行動(dòng)的指導(dǎo)意見[A].北京：國(guó)務(wù)院，2015.

[2]薛麗.“互聯(lián)網(wǎng)+旅游”背景下旅游業(yè)新型監(jiān)管模式研究[J].中國(guó)行政管理，2018（5）：59-62.

[3]許歡，張?jiān)妬?，羅江華.國(guó)內(nèi)高校在線課程建設(shè)理念演化——兼論“互聯(lián)網(wǎng)+教育”生態(tài)體系構(gòu)建[J].學(xué)術(shù)時(shí)空，2018（3）：59-65.

[4]龐靖鵬.關(guān)于推進(jìn)“互聯(lián)網(wǎng)+水利”的思考[J].中國(guó)水利，2016（5）：6-8.

[5]劉懷利，馬浩，劉超，等.“互聯(lián)網(wǎng)+安徽水利”體系建設(shè)探討[J].江淮水利科技，2017（6）：40-41.

[6]趙彤，邱春.互聯(lián)網(wǎng)思維及“互聯(lián)網(wǎng)+水利”淺析[J].東北水利水電，2015（33）：59-62.

[7]王戰(zhàn)友，李觀義.廣東省“互聯(lián)網(wǎng)+現(xiàn)代水利”總體框架與關(guān)鍵內(nèi)容[J].水利信息化，2018（2）：53-58.

[8]呂保強(qiáng)，李晝陽(yáng).淺談“互聯(lián)網(wǎng)+現(xiàn)代水利”總體設(shè)計(jì)思路[J].科技與創(chuàng)新，2017（12）：39-39

[9]董昭.NGBOSS互聯(lián)技術(shù)研究[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2012，25（3）：53-58.

[10]張麗麗，宋陽(yáng)，劉勇，等.數(shù)據(jù)資源規(guī)劃在宏觀環(huán)境督察業(yè)務(wù)領(lǐng)域應(yīng)用研究[J].中國(guó)環(huán)境管理，2013，5（1）：52-60.