水文水情信息大數(shù)據(jù)處理的現(xiàn)狀及策略

潘立云，王玉玨

（德州市水文中心，山東 德州 253016）

1 水文水情信息概述

水文是指自然界的水在一系列外部環(huán)境作用下發(fā)生各種變化的現(xiàn)象。通過研究水文信息，可以掌握自然界的水在各種環(huán)境作用下表現(xiàn)出的變化的規(guī)律，從而對(duì)水的時(shí)空分布進(jìn)行預(yù)測，達(dá)到對(duì)自然界的水資源“興利避害”的作用?，F(xiàn)階段，國家在眾多江河湖泊，相繼建立了水文監(jiān)測站，對(duì)水系水文信息進(jìn)行收集，為水利工程建設(shè)、災(zāi)害預(yù)警、災(zāi)害救援、環(huán)境治理等提供了信息支撐。

2 水文水情信息大數(shù)據(jù)處理現(xiàn)狀

水文監(jiān)測站可通過多種水文監(jiān)測儀器，自動(dòng)化監(jiān)測水域的含沙量、水流量、水位等水文信息，并能通過局域網(wǎng)、互聯(lián)網(wǎng)等，向水情信息中心實(shí)時(shí)傳輸所采集的水文信息，讓水文監(jiān)測人員可以實(shí)時(shí)通過手機(jī)、電腦等設(shè)備，查看水域的實(shí)時(shí)水情。

當(dāng)前水文水情信息自動(dòng)測報(bào)系統(tǒng)，可以通過編碼等技術(shù)，設(shè)定相應(yīng)監(jiān)測儀器的監(jiān)測頻率，實(shí)現(xiàn)對(duì)監(jiān)測水域的水文信息的自動(dòng)化采集、存儲(chǔ)，并能夠通過編譯等手段，將水文信息轉(zhuǎn)化為ASCII，對(duì)所采集的信息進(jìn)行預(yù)處理，再傳輸給測報(bào)系統(tǒng)信息中心進(jìn)行數(shù)據(jù)的分析和深度處理，導(dǎo)出Excel、office等文件形式，供水文監(jiān)測人員進(jìn)行查閱和使用。利用當(dāng)前機(jī)器學(xué)習(xí)模型等，還能夠?qū)λ杉男畔⑦M(jìn)行智能識(shí)別，對(duì)水情災(zāi)害進(jìn)行預(yù)警，并通過預(yù)報(bào)系統(tǒng)、值班系統(tǒng)等，向水文檢測人員報(bào)警。

2.1 數(shù)據(jù)存儲(chǔ)

水文監(jiān)測站通過各種水文監(jiān)測儀器采集到水文信息后，通過分布式文件系統(tǒng)和關(guān)系型數(shù)據(jù)庫，將監(jiān)測數(shù)據(jù)進(jìn)行結(jié)構(gòu)化儲(chǔ)存。通過關(guān)系型數(shù)據(jù)庫服務(wù)RDS，可以高效管理水文監(jiān)測數(shù)據(jù)，水文監(jiān)測數(shù)據(jù)的結(jié)構(gòu)化儲(chǔ)存，也為高效利用元數(shù)據(jù)奠定了信息基礎(chǔ)。對(duì)系統(tǒng)運(yùn)行數(shù)據(jù)、歷史數(shù)據(jù)、遙感監(jiān)測儀器采集的圖像數(shù)據(jù)等，根據(jù)數(shù)據(jù)類型，通過分布式文件存儲(chǔ)服務(wù)OSS 進(jìn)行有效存儲(chǔ)，或以表格的形式存儲(chǔ)于大數(shù)據(jù)表格存儲(chǔ)系統(tǒng)中。

2.2 數(shù)據(jù)分析

水云信息數(shù)據(jù)量龐大，但數(shù)據(jù)的價(jià)值密度相對(duì)較低，需要通過大數(shù)據(jù)技術(shù)，按照主題化的應(yīng)用需求，深度挖掘水文信息中的有效信息。在通過大數(shù)據(jù)技術(shù)對(duì)水文數(shù)據(jù)進(jìn)行分析和處理時(shí)，需要運(yùn)用云計(jì)算引擎和并行計(jì)算系統(tǒng)，實(shí)現(xiàn)海量分布式水文數(shù)據(jù)的高速交換，通過MaxCompute 技術(shù)和MapReduce 模型，實(shí)現(xiàn)海量數(shù)據(jù)在分布式數(shù)據(jù)處理系統(tǒng)上的并行計(jì)算，有效解決了傳統(tǒng)系統(tǒng)計(jì)算能力不足的問題。

大數(shù)據(jù)除能夠有效應(yīng)對(duì)海量數(shù)據(jù)的處理需求外，還能夠運(yùn)用線性或非線性的統(tǒng)計(jì)方法，對(duì)海量低價(jià)值密度的水文數(shù)據(jù)進(jìn)行深度挖掘，通過多種數(shù)據(jù)模型對(duì)數(shù)據(jù)信息進(jìn)行可視化分析，向水文監(jiān)測人員提供水文異常數(shù)據(jù)報(bào)警和災(zāi)害預(yù)警信息，為災(zāi)害救援方案制定等提供數(shù)據(jù)支撐。

2.3 數(shù)據(jù)分發(fā)

通過大數(shù)據(jù)技術(shù)對(duì)云端的水文監(jiān)測信息進(jìn)行分析和處理后，可通過API 接口，向公眾分發(fā)水文數(shù)據(jù)分析結(jié)果，使相關(guān)行業(yè)、民眾等，能夠獲取更加準(zhǔn)確的水文信息知識(shí)，為生產(chǎn)生活提供便利，為社會(huì)提供服務(wù)。同時(shí)，根據(jù)抗旱工作的實(shí)際需求，獲取水文信息向相關(guān)機(jī)構(gòu)、部門如實(shí)報(bào)告水情。相關(guān)部門接收到水情信息后，進(jìn)行科學(xué)匯總和分析，大致了解干旱情況，明確影響范圍，提前謀劃，做好萬全準(zhǔn)備。如山東2014 年旱災(zāi)，水文情報(bào)預(yù)報(bào)部門科學(xué)統(tǒng)計(jì)了各地的旱災(zāi)情況，然后按照?qǐng)D1所示的發(fā)布水文情報(bào)預(yù)報(bào)流程開展工作。

圖1 發(fā)布水文情報(bào)預(yù)報(bào)流程圖

2.4 統(tǒng)一的門戶管理

簡潔統(tǒng)一的系統(tǒng)交互界面，可以有效提升水文大數(shù)據(jù)平臺(tái)系統(tǒng)易用性，使用戶能夠更加快捷簡單的獲取客戶需求的使用信息。這就要求系統(tǒng)界面直觀展示相關(guān)水文數(shù)據(jù)、水文數(shù)據(jù)分析報(bào)告、水文災(zāi)害預(yù)警信息等，方便用戶分析和利用相關(guān)水文信息。利用大數(shù)據(jù)技術(shù)，可實(shí)現(xiàn)各個(gè)服務(wù)組件的有機(jī)組合，通過API 接口，將系統(tǒng)運(yùn)維界面和監(jiān)控界面統(tǒng)一設(shè)置，可有效降低用戶使用難度，提升系統(tǒng)運(yùn)維效果。

3 基于水文水情信息大數(shù)據(jù)的安全監(jiān)測系統(tǒng)構(gòu)架及功能

3.1 數(shù)字化安全監(jiān)測管理平臺(tái)

當(dāng)前水務(wù)工程數(shù)字化管理程度嚴(yán)重不足，為提升數(shù)字化管理水平，亟須結(jié)合水利工程安全監(jiān)測管理特點(diǎn)、作業(yè)事項(xiàng)管理特點(diǎn)等，構(gòu)建完善的數(shù)字化安全監(jiān)測管理平臺(tái)，為工程巡查管理標(biāo)準(zhǔn)化、安全監(jiān)測數(shù)字化、閘門操作流程化管理提供平臺(tái)支撐。對(duì)有時(shí)間要求的安全檢查、巡檢、鑒定、監(jiān)測等任務(wù)，在平臺(tái)上建立完善的自動(dòng)化監(jiān)督體系，做到事前提醒、事中記錄、事后存檔；建立健全的數(shù)據(jù)庫系統(tǒng)，做好數(shù)據(jù)分類及關(guān)聯(lián)管理。

3.2 安全監(jiān)測系統(tǒng)數(shù)字化管理基本構(gòu)架

支撐層：通過軟件為系統(tǒng)提供地圖、短信、語音等服務(wù)，同時(shí)為應(yīng)用層和數(shù)據(jù)層數(shù)據(jù)傳輸提供安全保障。

數(shù)據(jù)層：主要包括數(shù)據(jù)庫系統(tǒng)和各應(yīng)用數(shù)據(jù)庫，對(duì)系統(tǒng)、應(yīng)用數(shù)據(jù)進(jìn)行分類、存儲(chǔ)、調(diào)用等。

硬件與網(wǎng)絡(luò)層：包括服務(wù)器、工作站等硬件設(shè)備，此外，還包含網(wǎng)絡(luò)安全設(shè)備，如防火墻、網(wǎng)關(guān)等，硬件為系統(tǒng)運(yùn)行提供硬件支撐，網(wǎng)絡(luò)層為數(shù)據(jù)層和采集層數(shù)據(jù)通信提供安全支撐。

采集層：主要采用C/S結(jié)構(gòu)，以服務(wù)應(yīng)用程序類型，在后臺(tái)自動(dòng)運(yùn)行水情數(shù)據(jù)等進(jìn)行安全監(jiān)測，并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將經(jīng)預(yù)處理的數(shù)據(jù)，以統(tǒng)一格式傳輸至數(shù)據(jù)層；系統(tǒng)架構(gòu)見圖2。

3.3 主要功能與關(guān)鍵技術(shù)

3.3.1 水情監(jiān)測與預(yù)報(bào)

水情監(jiān)測是水利工程安全監(jiān)測的關(guān)鍵內(nèi)容，可為水利工程安全運(yùn)營、水資源調(diào)度管理、水情預(yù)警提供有效支撐。監(jiān)控中心的主控計(jì)算機(jī)，實(shí)時(shí)采集水、雨情監(jiān)測信息，并將采集記錄水、雨情信息寫入數(shù)據(jù)庫。在線監(jiān)控系統(tǒng)，可根據(jù)水位監(jiān)測數(shù)據(jù)，發(fā)布水情、雨情、預(yù)警信息等。

3.3.2 防洪安全監(jiān)控優(yōu)化調(diào)度

依托當(dāng)前先進(jìn)計(jì)算機(jī)技術(shù)、信息處理技術(shù)、智能技術(shù)等，建立基于蓄滿產(chǎn)流模型和等流時(shí)線匯流模型的智能洪水預(yù)測模型。

3.3.3 水安全水資源聯(lián)合優(yōu)化調(diào)度

水安全水資源聯(lián)合優(yōu)化調(diào)度要點(diǎn)如下：根據(jù)上下游雨汛季節(jié)分布，歷年下游灌溉用水情況，當(dāng)年雨汛情況，合理分析和預(yù)測下游灌溉用水需求，形成合理的灌溉用水調(diào)度；根據(jù)系統(tǒng)收集的水、雨、季節(jié)氣候因素，預(yù)測洪汛情況，結(jié)合工程泄洪能力、防洪標(biāo)準(zhǔn)等，制定可靠的防洪調(diào)度預(yù)案；做好往年來水、蓄水、灌溉用水調(diào)度記錄，分析歷年來水、蓄水、灌溉用水關(guān)系，結(jié)合當(dāng)年監(jiān)測情況，制定合理的汛期蓄洪調(diào)度方案和灌溉用水調(diào)度方案。

4 水文水情信息大數(shù)據(jù)處理的展望和策略

4.1 加強(qiáng)多庫合一的建設(shè)

水文數(shù)據(jù)庫建構(gòu)時(shí)，應(yīng)充分利用大數(shù)據(jù)技術(shù)和云端存儲(chǔ)技術(shù)，打通信息通道壁壘，使分布式存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)，在云端實(shí)現(xiàn)多庫合一，有效提升數(shù)據(jù)管控效率。在建構(gòu)數(shù)據(jù)庫的過程中，為保障數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)的需求，提升數(shù)據(jù)易用性，應(yīng)對(duì)數(shù)據(jù)庫進(jìn)行分類，建立整編庫、預(yù)報(bào)庫、歷史庫等多種數(shù)據(jù)庫。

4.2 重視糾錯(cuò)和攔截機(jī)制的建設(shè)

系統(tǒng)應(yīng)該建立攔截和糾錯(cuò)機(jī)制，避免錯(cuò)誤數(shù)據(jù)傳輸，或在數(shù)據(jù)處理傳輸過程中產(chǎn)生錯(cuò)誤，有效保證傳輸數(shù)據(jù)的真實(shí)性。

為適應(yīng)未來水情傳輸自動(dòng)化發(fā)展，保證數(shù)據(jù)傳輸?shù)恼鎸?shí)性，應(yīng)建立錯(cuò)誤數(shù)據(jù)攔截功能，在數(shù)據(jù)傳輸過程中，通過邏輯判斷程序，判斷數(shù)據(jù)的合理性，對(duì)于合理性無法達(dá)到要求的數(shù)據(jù)，自動(dòng)予以攔截，并向系統(tǒng)操作人員發(fā)出提醒，進(jìn)行人工數(shù)據(jù)判別。此外應(yīng)加強(qiáng)智能技術(shù)應(yīng)用，依托大數(shù)據(jù)技術(shù)和人工智能算法模型，提升系統(tǒng)判別數(shù)據(jù)的準(zhǔn)確性，使系統(tǒng)由自動(dòng)化向智能化發(fā)展。

4.3 逐步強(qiáng)化對(duì)基礎(chǔ)信息的管理實(shí)行站點(diǎn)注冊(cè)制度

報(bào)訊信息是水情數(shù)據(jù)管理的重要內(nèi)容，系統(tǒng)應(yīng)加強(qiáng)對(duì)報(bào)訊站點(diǎn)水文信息的管理，避免站點(diǎn)基礎(chǔ)信息缺失或重復(fù)，對(duì)汛情數(shù)據(jù)上報(bào)處理產(chǎn)生不良影響。在進(jìn)行報(bào)訊點(diǎn)通信系統(tǒng)設(shè)計(jì)時(shí)，應(yīng)建立完善的報(bào)訊站點(diǎn)注冊(cè)管理機(jī)制，加強(qiáng)站點(diǎn)管理。

5 結(jié)論

隨著水情監(jiān)測體系建設(shè)的推進(jìn)，水文數(shù)據(jù)量規(guī)模不斷增大，充分運(yùn)用大數(shù)據(jù)和云端處理技術(shù)，可有效提升水文數(shù)據(jù)處理效率。未來，水文行業(yè)應(yīng)充分利用大數(shù)據(jù)技術(shù)和云端處理技術(shù)，推動(dòng)水文監(jiān)測數(shù)據(jù)庫的“多庫合一”進(jìn)程發(fā)展；同時(shí)，應(yīng)加強(qiáng)智能技術(shù)運(yùn)用，建立更加智能化的糾錯(cuò)和攔截機(jī)制，保障數(shù)據(jù)真實(shí)性。