面向智慧水利的數(shù)據(jù)資源池構(gòu)建

王東

（遼寧省河庫管理服務(wù)中心（遼寧省水文局），遼寧沈陽110003）

0 引言

智慧水利是智慧社會(huì)的重要組成部分，是推進(jìn)新時(shí)代水利現(xiàn)代化的重要舉措，也是水利信息化的發(fā)展方向[1]。遼寧水利信息化經(jīng)過長(zhǎng)時(shí)間的建設(shè)，已經(jīng)取得一定成績(jī)，對(duì)水利信息化建設(shè)也提出了更高的標(biāo)準(zhǔn)和要求[2]。省內(nèi)的水利工程更是具有點(diǎn)多、面廣、量大等特點(diǎn)，作為重要戰(zhàn)略性信息數(shù)據(jù)資源的水利數(shù)據(jù)目前尚不完整、不全面，加上分散管理、條塊分割的傳統(tǒng)水信息管理與應(yīng)用模式，制約了水治理體系和治理能力現(xiàn)在化推進(jìn)[3]。因此，數(shù)據(jù)資源池的建設(shè)增強(qiáng)了信息獲取和利用能力，提高水利業(yè)務(wù)精準(zhǔn)化管理水平。通過水利行業(yè)內(nèi)外部數(shù)據(jù)的匯集、整合和治理，可以推動(dòng)數(shù)據(jù)貫通和業(yè)務(wù)協(xié)同創(chuàng)新，為水資源調(diào)配、供水保障、防汛排澇、水土流失、水污染等的預(yù)測(cè)研判和管理調(diào)控提供數(shù)據(jù)支撐，支撐水利業(yè)務(wù)的精準(zhǔn)調(diào)度及科學(xué)決策[4]，提升水利行業(yè)規(guī)范化、精細(xì)化管理水平。

1 水利數(shù)據(jù)現(xiàn)狀

遼寧已有數(shù)據(jù)資源主要分為水利基礎(chǔ)數(shù)據(jù)、水利業(yè)務(wù)數(shù)據(jù)、水利政務(wù)數(shù)據(jù)、地理信息數(shù)據(jù)、文件圖像視頻等五類數(shù)據(jù)，分別存儲(chǔ)在百余個(gè)數(shù)據(jù)庫文件中，存儲(chǔ)較為分散，數(shù)據(jù)價(jià)值沒有得到應(yīng)有的發(fā)揮?，F(xiàn)有數(shù)據(jù)資源中，能夠?qū)崟r(shí)更新的數(shù)據(jù)占55%左右，其余均為定期或不定期更新。數(shù)據(jù)產(chǎn)生方式主要包括人工錄入、系統(tǒng)自動(dòng)生成、遙測(cè)采集、人工自動(dòng)混合模式或其他單位接入等5種方式，能夠保證業(yè)務(wù)開展所需的數(shù)據(jù)及時(shí)更新。數(shù)據(jù)庫軟件主要采用SQL-server和Oracle兩類，受技術(shù)、安裝環(huán)境、應(yīng)用范圍等限制，數(shù)據(jù)庫、中間件存在重復(fù)使用的情況。

2 水利數(shù)據(jù)問題分析

1）數(shù)據(jù)規(guī)范程度不高

水利數(shù)據(jù)資源來源廣泛、種類繁多、覆蓋面廣、數(shù)據(jù)量大，數(shù)據(jù)資源的規(guī)范性不高，數(shù)據(jù)體系不完善，數(shù)據(jù)格式、存儲(chǔ)方式和解析規(guī)則缺少統(tǒng)一規(guī)范，導(dǎo)致數(shù)據(jù)標(biāo)準(zhǔn)化、精準(zhǔn)度程度低，數(shù)據(jù)質(zhì)量缺乏保障。監(jiān)測(cè)數(shù)據(jù)體系不健全，缺乏定量化、精細(xì)化分析方法，造成監(jiān)測(cè)數(shù)據(jù)代表性不足、粒度較粗，時(shí)效性差等問題。洪水業(yè)務(wù)中，社會(huì)經(jīng)濟(jì)數(shù)據(jù)空間力度較粗；旱情業(yè)務(wù)中，地面墑情監(jiān)測(cè)代表性不足，衛(wèi)星遙感監(jiān)測(cè)準(zhǔn)確性特別是量化精度不高；水資源開發(fā)利用業(yè)務(wù)中，監(jiān)測(cè)計(jì)量率不夠，節(jié)水監(jiān)測(cè)數(shù)據(jù)質(zhì)量不高。

2）基礎(chǔ)設(shè)施分散，資源支撐不足

應(yīng)用系統(tǒng)建設(shè)過程中建設(shè)了一些基礎(chǔ)應(yīng)用支撐服務(wù)，為數(shù)據(jù)匯集提供了部分支撐。由于建設(shè)相對(duì)分散，沒有充分發(fā)揮整體效率，計(jì)算資源和存儲(chǔ)設(shè)備只服務(wù)于各自的系統(tǒng)，無法對(duì)資源進(jìn)行整體管理，造成資源浪費(fèi)；數(shù)據(jù)的收集和使用始終取決于不同的業(yè)務(wù)系統(tǒng)。數(shù)據(jù)不僅分布在不同的業(yè)務(wù)部門之間，而且在形式上存在異構(gòu)、交叉冗余和業(yè)務(wù)之間的語義沖突。由于缺乏數(shù)據(jù)共享機(jī)制，未進(jìn)行數(shù)據(jù)共享或共享程度差，阻礙了水利數(shù)據(jù)的進(jìn)一步整合和分析，不利于各個(gè)業(yè)務(wù)的發(fā)展[3]。

3 數(shù)據(jù)資源池建設(shè)思路

通過數(shù)據(jù)整合，將多源異構(gòu)數(shù)據(jù)入庫管理，建立數(shù)據(jù)的聯(lián)動(dòng)更新機(jī)制，保證同數(shù)同源，權(quán)威認(rèn)證，能夠動(dòng)態(tài)、靈活、按需地支撐自然資源業(yè)務(wù)運(yùn)行，實(shí)現(xiàn)數(shù)據(jù)在政府部門間的共享應(yīng)用。對(duì)水利業(yè)務(wù)管理對(duì)象進(jìn)行抽象和空間化表達(dá)，完成數(shù)據(jù)庫的概念設(shè)計(jì)、邏輯設(shè)計(jì)及可擴(kuò)展的物理存儲(chǔ)設(shè)計(jì)，支撐數(shù)據(jù)的“隨需所取”。

1）數(shù)據(jù)庫方面

數(shù)據(jù)庫采用“分布存儲(chǔ)、集中管理”的方式進(jìn)行設(shè)計(jì)，根據(jù)數(shù)據(jù)現(xiàn)狀，數(shù)據(jù)整合建庫方法可分為兩類：對(duì)還未建庫的數(shù)據(jù)采用標(biāo)準(zhǔn)化建庫方法“新建”，納入到數(shù)據(jù)資源池中進(jìn)行綜合管理；對(duì)已建庫管理的數(shù)據(jù)，根據(jù)實(shí)際情況，采用數(shù)據(jù)庫遷移“統(tǒng)管”或者動(dòng)態(tài)視圖“引流”的方式，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。其中，“統(tǒng)管”是指把分散管理的已建庫數(shù)據(jù)，集中收集整合，并在統(tǒng)一的管理平臺(tái)下進(jìn)行管理?！耙鳌笔侵笇?duì)已建庫建立一個(gè)復(fù)制的對(duì)象與原始庫并行（同時(shí)）運(yùn)行，通過數(shù)據(jù)管理子系統(tǒng)的調(diào)度，逐步取代。對(duì)于完成預(yù)處理、整合和質(zhì)檢合格的數(shù)據(jù)，依據(jù)建庫標(biāo)準(zhǔn)規(guī)范和設(shè)計(jì)好的數(shù)據(jù)模型，將成果數(shù)據(jù)分別導(dǎo)入、加載到分布式的相應(yīng)數(shù)據(jù)庫中，并建立數(shù)據(jù)字典、數(shù)據(jù)庫索引和元數(shù)據(jù)，最后注冊(cè)到統(tǒng)一數(shù)據(jù)資源目錄[5]。

2）數(shù)據(jù)治理方面

通過統(tǒng)一的數(shù)據(jù)模型，明確數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，可動(dòng)態(tài)記錄數(shù)據(jù)的變化，優(yōu)先開展數(shù)據(jù)庫的頂層梳理和設(shè)計(jì)。依據(jù)相關(guān)法律法規(guī)、業(yè)務(wù)規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)及業(yè)務(wù)調(diào)研成果，梳理水利管理相關(guān)流程，將業(yè)務(wù)流程劃分為基本業(yè)務(wù)單元，依據(jù)業(yè)務(wù)單元數(shù)據(jù)特征抽取水利管理實(shí)體對(duì)象，分析業(yè)務(wù)單元之間的潛在沖突分析結(jié)果，進(jìn)行沖突業(yè)務(wù)單元的模塊化合并，抽取對(duì)象之間的關(guān)系，構(gòu)建符合水利管理特征的數(shù)據(jù)關(guān)系模型。

3）邏輯結(jié)構(gòu)方面

在概念設(shè)計(jì)的基礎(chǔ)上，結(jié)合實(shí)際業(yè)務(wù)情況，設(shè)計(jì)一體化數(shù)據(jù)庫的邏輯結(jié)構(gòu)，將對(duì)象、對(duì)象關(guān)系進(jìn)行實(shí)例轉(zhuǎn)化，構(gòu)建實(shí)體關(guān)系圖，為數(shù)據(jù)庫的物理存儲(chǔ)設(shè)計(jì)打下基礎(chǔ)。在數(shù)據(jù)庫的邏輯設(shè)計(jì)和概念設(shè)計(jì)的基礎(chǔ)上，數(shù)據(jù)庫的物理設(shè)計(jì)主要是規(guī)范數(shù)據(jù)庫的存儲(chǔ)形式和存儲(chǔ)內(nèi)容。

4 數(shù)據(jù)資源池總體架構(gòu)

將水利原始數(shù)據(jù)及互聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行匯集，進(jìn)入?yún)R集庫[6]。匯集庫是數(shù)據(jù)資源池建設(shè)的源泉和基礎(chǔ)，以離線文件、接口、直連數(shù)據(jù)庫等形式管理從水利各業(yè)務(wù)、其他部門和企業(yè)、互聯(lián)網(wǎng)等匯交和采集的原始數(shù)據(jù)，完成全量備份，保障了數(shù)據(jù)資源的完整性和可用性。數(shù)據(jù)資源池總體架構(gòu)示意圖如圖1所示。

圖1 數(shù)據(jù)資源池總體架構(gòu)示意圖

對(duì)各來源的業(yè)務(wù)數(shù)據(jù)基于“一數(shù)一源”的原則，按照數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行清洗、比對(duì)與整合，形成資源庫數(shù)據(jù)內(nèi)容，在數(shù)據(jù)入庫后進(jìn)行時(shí)空化管理，具體包括基礎(chǔ)庫、主題庫、產(chǎn)品庫[7]。

1）建設(shè)數(shù)據(jù)庫，按照數(shù)據(jù)資源目錄，分類建設(shè)池化匯聚的各類數(shù)據(jù)，實(shí)現(xiàn)高性能存儲(chǔ)。從而實(shí)現(xiàn)數(shù)據(jù)空間、屬性、關(guān)系和元數(shù)據(jù)的一體化管理，統(tǒng)一對(duì)象編碼，統(tǒng)一數(shù)據(jù)字典，為各類業(yè)務(wù)應(yīng)用提供規(guī)范、權(quán)威和高效的數(shù)據(jù)支撐。水利對(duì)象基礎(chǔ)信息的治理，其中最重要的一方面就是水利對(duì)象的整合，不同來源的水利對(duì)象不同，但存在交叉的對(duì)象，即同一對(duì)象在不同數(shù)據(jù)庫均有存儲(chǔ)，但其編碼體系不一致，造成同一對(duì)象在不同的數(shù)據(jù)庫有不同的對(duì)象代碼。因此，對(duì)象基礎(chǔ)信息治理的首要前提是通過對(duì)象名稱、對(duì)象所在地、關(guān)鍵指標(biāo)數(shù)據(jù)等信息進(jìn)行對(duì)象代碼映射關(guān)系整理[8]，明確進(jìn)入基礎(chǔ)庫的對(duì)象名錄，并按賦予水利對(duì)象統(tǒng)一的對(duì)象代碼。

2）實(shí)現(xiàn)水利數(shù)據(jù)空間、關(guān)系、屬性元數(shù)據(jù)的集成管理，為各種業(yè)務(wù)應(yīng)用提供權(quán)威、規(guī)范、高效的數(shù)據(jù)支撐，利用數(shù)據(jù)庫開發(fā)技術(shù)、ETL數(shù)據(jù)技術(shù)、質(zhì)量控制技術(shù)等數(shù)據(jù)治理技術(shù)，針對(duì)數(shù)據(jù)歸一化處理、一致化處理、圖斑處理、實(shí)體編碼與關(guān)聯(lián)、質(zhì)量檢查與入庫等需求，對(duì)分散的水利對(duì)象信息，以及水利對(duì)象空間和業(yè)務(wù)關(guān)系等數(shù)據(jù)整合，形成面向?qū)ο蠼?、統(tǒng)一語義、分布式存儲(chǔ)與管理的水利數(shù)據(jù)資源。水利基礎(chǔ)庫主要是用來存儲(chǔ)水利基礎(chǔ)信息，包括水利對(duì)象數(shù)據(jù)、水利監(jiān)測(cè)數(shù)據(jù)、水利業(yè)務(wù)數(shù)據(jù)、水利政務(wù)數(shù)據(jù)、外部共享數(shù)據(jù)及社會(huì)數(shù)據(jù)等，是將離散的數(shù)據(jù)變成有機(jī)整體的關(guān)鍵。將涉及水利業(yè)務(wù)和政務(wù)應(yīng)用全局的對(duì)象基礎(chǔ)信息，以及水利對(duì)象空間和業(yè)務(wù)等數(shù)據(jù)，統(tǒng)一納入水利數(shù)據(jù)資源池進(jìn)行管理，并提供相應(yīng)的數(shù)據(jù)服務(wù)[6]。

3）建設(shè)數(shù)據(jù)資源規(guī)范，通過對(duì)數(shù)據(jù)資源體系的梳理，參考相關(guān)技術(shù)標(biāo)準(zhǔn)制訂數(shù)據(jù)資源整合相關(guān)規(guī)范。

4）開發(fā)數(shù)據(jù)資源智能綜合管理平臺(tái)，通過數(shù)據(jù)資源綜合管理平臺(tái)的建設(shè)，對(duì)數(shù)據(jù)抽取、推送、調(diào)用和數(shù)據(jù)治理進(jìn)行集中管理、分工協(xié)作，提升數(shù)據(jù)管理質(zhì)量，利用數(shù)據(jù)可視化技術(shù)進(jìn)行綜合展示，為業(yè)務(wù)應(yīng)用提供信息支持[7]。

5 數(shù)據(jù)資源池的作用

數(shù)據(jù)資源池的建設(shè)，提高了基礎(chǔ)設(shè)施利用效率及涉水?dāng)?shù)據(jù)和水利信息系統(tǒng)的集約整合共享程度，減少軟硬件的重復(fù)建設(shè)[8]，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用協(xié)同創(chuàng)新，提升水利管理和服務(wù)水平，推進(jìn)水治理體系和治理能力現(xiàn)代化，產(chǎn)生巨大經(jīng)濟(jì)效益，實(shí)現(xiàn)了水利行業(yè)內(nèi)部及社會(huì)相關(guān)部門間的信息交換，打通數(shù)據(jù)壁壘，有效消除信息孤島，使彼此互聯(lián)互通，實(shí)現(xiàn)涉水?dāng)?shù)據(jù)“聚、通、用”。實(shí)現(xiàn)水利行業(yè)整體工作的協(xié)同優(yōu)化，降低了單項(xiàng)應(yīng)用成本，使各項(xiàng)工作無需從頭做起，整體性降低了數(shù)據(jù)獲取費(fèi)用[9]。有效提升國(guó)家水安全保障能力、治水治理能力和水利公共服務(wù)能力。

6 結(jié)語

綜上所述，數(shù)據(jù)資源池的作用在于拓寬水利信息開放和共享的渠道，提升水利公共服務(wù)能力。梳理匯集水利各類數(shù)據(jù)，為后續(xù)公共支撐服務(wù)提供支撐，釋放水利數(shù)據(jù)社會(huì)價(jià)值，向有關(guān)行業(yè)、企業(yè)和公眾提供更加豐富、及時(shí)、精準(zhǔn)的公共信息儲(chǔ)備，使其更為及時(shí)、精準(zhǔn)地獲取水事行為指引和監(jiān)管意見要求，有效降低了廣大水利服務(wù)對(duì)象接受管理服務(wù)時(shí)所付出的大量交通和時(shí)間成本。