南水北調東線一期工程江蘇段數據中臺的設計研究

傅漢霖 陸克一 游旭晨 吳志峰 楊釩

摘要：南水北調工程是緩解我國北方水資源嚴重短缺局面的重大戰(zhàn)略性基礎設施，但隨著相關業(yè)務系統(tǒng)的建設與應用，產生了大量數據資源，如何整合并利用這些數據并為工程運行服務，是智慧水利中的熱點問題?；跂|線一期工程江蘇段的業(yè)務數據特點，開展數據資源梳理，形成了統(tǒng)一的數據標準體系，構建數據管理體系；建設貼源庫、標準庫、主題庫，推動各業(yè)務系統(tǒng)數據進行統(tǒng)一聚合；搭建數據資源管理系統(tǒng)，實現(xiàn)數據共享，形成數據可持續(xù)使用的機制。通過構建數據中臺，將在工程管理、調度運行等南水北調工程運行業(yè)務中發(fā)揮數據價值。

關鍵詞：南水北調工程；智慧水利；數據管理體系；數據共享；數據中臺

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2023）31-0085-03

開放科學（資源服務）標識碼（OSID）

0 引言

南水北調工程是緩解我國北方水資源嚴重短缺局面的重大戰(zhàn)略性基礎設施，事關戰(zhàn)略全局、事關長遠發(fā)展、事關人民福祉，其中南水北調江蘇境內輸水干線404公里，共設9個梯級，14座大型泵站，匯聚了亞洲乃至世界大型泵站數量最集中的現(xiàn)代化泵站群[1]。

南水北調東線一期工程江蘇段調度運行管理系統(tǒng)主要包括信息采集系統(tǒng)、通信系統(tǒng)、計算機網絡、工程監(jiān)控與視頻監(jiān)視系統(tǒng)、數據中心、應用系統(tǒng)、實體運行環(huán)境和網絡信息安全8個部分建設[2]。2022年3月，調度運行管理系統(tǒng)順利通過項目完工驗收，實現(xiàn)江蘇段工程全線智能調度管理。

近年，隨著調度運行管理系統(tǒng)的建成，共新增了14個業(yè)務系統(tǒng)，但也帶來了兩個問題：一方面由于不同業(yè)務系統(tǒng)的開發(fā)和維護相對獨立，煙囪式業(yè)務系統(tǒng)之間的數據無法聯(lián)通，形成了“數據孤島”[3]。另一方面，各業(yè)務系統(tǒng)獨立存放自身業(yè)務數據，數據不集中，無法利用和挖掘業(yè)務系統(tǒng)中沉積的數據價值。

結合以上問題，通過數據治理來解決南水北調東線工程中的數據孤島是非常緊要的。通過參考水務企業(yè)[4-5]，建立整體規(guī)劃和數據標準體系[6]，建設數據中臺體系，打通調度運行管理系統(tǒng)各業(yè)務系統(tǒng)數據，實現(xiàn)南水北調工程的智慧化和數字化轉型。

1 南水北調東線一期工程江蘇段數據中臺建設思路

1.1 總體目標

從整體視角打造南水北調東線工程江蘇段數據中臺整體數據運營能力，改變目前數據自治的建設模式，構建安全可靠的數據管理機制，對南水北調東線第一期工程江蘇段的預測預報、調度運行、工程管理、統(tǒng)一運維、內部管控等提供決策支撐，為水利部“數字孿生南水北調”建設提供數據底板，實現(xiàn)統(tǒng)一、融合、驅動三大目標。

1） 統(tǒng)一：改變目前數據自治的建設模式，打造統(tǒng)一的數據標準體系，構建自頂向下的數據管理服務體系，達成對各系統(tǒng)間公用數據、業(yè)務價值數據進行統(tǒng)一、集中管理的目的，加強數據庫完整性、一致性、安全性保障，為后續(xù)開展規(guī)范化的數據服務、標準化的應用研發(fā)打下堅實的基礎。

2） 融合：已建的各業(yè)務系統(tǒng)數據未進行統(tǒng)一的聚合管理，系統(tǒng)間各自互相對接獲取數據，無法對數據進行統(tǒng)一更新與維護，導致不同系統(tǒng)同一數據更新狀態(tài)、數據標識等不統(tǒng)一。因此，需要推進多專業(yè)、跨系統(tǒng)的資源整合，增強協(xié)調聯(lián)動、數據共享。

3） 驅動：形成數據可持續(xù)使用的機制，建立信息化建設的戰(zhàn)略選擇和組織形式，利用數字化技術手段把業(yè)務數據轉變?yōu)閿祿a力，同時數據生產力產生的數據反哺業(yè)務，形成迭代循環(huán)的數據決策、調度運行的閉環(huán)過程，驅動業(yè)務的優(yōu)化開拓和服務創(chuàng)新。

1.2 南水北調東線工程江蘇段數據源

南水北調東線工程江蘇段數據來源主要分兩大類，內部數據及外部數據。其中內部數據主要來源于業(yè)務系統(tǒng)業(yè)務庫，包括物聯(lián)網平臺、水文水質系統(tǒng)、調度運行管理應用軟件系統(tǒng)、OA辦公系統(tǒng)、工程管理系統(tǒng)等，外部數據包括外部采購數據與外部共享數據，如雨情數據、臺風數據以及水情數據。

1.3 總體框架

南水北調東線工程江蘇段數據中臺遵循核心分層框架，總體框架如圖1所示。貼源庫、標準庫、主題庫三個存儲區(qū)域的數據都可以形成數據服務，統(tǒng)籌已建、待建業(yè)務系統(tǒng)數據，對外提供服務支撐，達到反哺業(yè)務系統(tǒng)的目的。同時，數據在采集、加工、分析、治理等過程中需調用數據采集、數據治理、數據質量審計、數據資源目錄、數據共享等平臺功能模塊，各功能模塊集成至數據資源服務門戶中，為數據資源提供方、需求方、管理方提供統(tǒng)一服務。

2 南水北調東線一期工程江蘇段數據中臺主要建設內容

2.1 數據資源規(guī)劃

數據資源規(guī)劃包括現(xiàn)狀分析和需求調研、資源分析和數據標準體系建設等。

現(xiàn)狀分析和需求調研通過了解對業(yè)務部門的職能、業(yè)務、流程、資源、標準規(guī)范等情況通過多種調研方式明確各部門數據使用需求，明確部門數據公開內容，數據共享內容。

數據標準體系建設包括元數據標準建設[7]、數據采集標準建設、數據資源目錄標準建設、數據服務標準建設、數據質量標準建設，奠定數據管理基礎。

2.2 貼源庫

貼源庫用于存放從外部共享或業(yè)務系統(tǒng)中直接抽取出來的數據。后臺數據庫可直接從源系統(tǒng)全量復制到貼源庫層，通過數據清洗服務，建立標準數據庫的映射關系，實現(xiàn)業(yè)務系統(tǒng)數據庫與標準庫的數據同步。貼源庫主要存放從業(yè)務系統(tǒng)直接抽取來的各類數據。數據類型包括：

1） 基礎數據：湖泊信息數據、河流信息數據、泵站數據、水閘數據等；

2） 專業(yè)數據：工程監(jiān)控數據、水量調度數據、工程管理數據、工程安全管理數據、工程維護管理業(yè)務、綜合辦公相關數據等；

3） 外部共享數據：水利主管部門共享數據、彩云氣象數據等。

2.3 標準庫

標準數據庫主要存放經過清洗過的基礎數據和專業(yè)數據。貼源庫中的數據來自南水北調東線一期江蘇段工程調度運行管理系統(tǒng)中已建的業(yè)務系統(tǒng)，可能存在缺失、冒大數等影響上層應用的無效數據，需要通過對數據進行相應的清洗處理后再存入標準數據庫中，能夠為業(yè)務應用系統(tǒng)提供數據服務。標準數據庫主要包括基礎數據庫、元數據庫、動態(tài)監(jiān)測數據庫等標準數據庫。

2.3.1 基礎數據庫

基礎數據庫包括公用基礎信息數據庫和主數據庫。

公用基礎信息數據庫是在已建的基礎庫上參照國家標準規(guī)范進行優(yōu)化，公用基礎信息數據庫劃分為管理域、工程與設施域、字典域和監(jiān)測域。

主數據庫是集中存儲管理歷史歸檔數據的場所，永久保管具有長期保留價值、有共享需求的、經過數據質量檢查驗證的、規(guī)范化的數據。

2.3.2 元數據庫

主要存儲水利元數據，包括標識信息、內容信息、數據質量信息等[8]。

元數據是數據的內容、質量、所處語境等特征的基礎定義或結構化描述，元數據按層狀結構進行組織，其內容包括對數據集內容的描述、對數據集中各數據項的數據精度、數據的邏輯、數據源頭、數據量以及數據生產過程等的說明等。

2.3.3 動態(tài)監(jiān)測數據庫

確定雨水情、工情、水質數據入庫規(guī)則，針對不同的數據來源、不同的數據生成規(guī)則、不同的數據處理邏輯，自動判斷，對報文進行解析，按照數據存儲、處理、傳輸、同步等方面的特定要求，實現(xiàn)各類測站監(jiān)測數據的“一站一數”[9]。

工程監(jiān)測數據庫存儲實時或半實時監(jiān)測的數據，包括泵站水閘實時運行數據、工程安全監(jiān)測數據、水量水質監(jiān)測數據等。

2.4 主題庫

主題庫建設的主要內容是通過主題數據庫利用大數據平臺技術形成數據集市，為調度運行管理系統(tǒng)提供數據服務。主題數據存放基于數據倉庫之上的用于支撐專題分析、專業(yè)應用、輔助決策以及提供訪問、共享的數據。主題數據是按特定的應用目的和業(yè)務模型進行了重新構建、面向業(yè)務系統(tǒng)和各級用戶服務的數據[10]。

標準庫通過ETL服務對ODS數據進行抽取、清洗、轉換、加載等得到，主題數據則通過ETL服務對標準庫數據進行抽取轉換和加載得到。主題數據直接引用標準庫中生成的派生指標數據和匯總數據，從而保證整體統(tǒng)計口徑的一致性。主題數據共同組成數據集市，直接支撐管理層和分析人員的個性化、深層次的分析需求，作為面向報表服務、多維分析服務和應用服務的數據輸入。

數據集市的建設內容主要根據對業(yè)務應用管理及綜合服務、決策會商、可視化展示等綜合性應用的數據需求進行分析，結合綜合數據庫中已經收集的各類數據進行規(guī)劃，針對不同業(yè)務部門分析數據需求設計相應的數據集市，包括監(jiān)測預警數據集市、水量調度數據集市、工程管理數據集市、安全管理數據集市、綜合內控數據集市等。

2.5 數據資源管理系統(tǒng)

2.5.1 數據采集

數據采集模塊通過工作流組件和規(guī)則引擎定義采集任務，實現(xiàn)定時采集，人工觸發(fā)采集，多任務并行采集等，利用多種數據采集方式，充分提高數據匯聚效率[11]。可通過可視化方式自主配置采集流程，并對采集流程、狀態(tài)進行實時監(jiān)控，及時發(fā)現(xiàn)異常，有效保障數據采集的質效。數據采集模塊將有效匯聚水利行業(yè)數據，為數據采集提供強有力的渠道保證。

2.5.2 數據治理

數據治理是為過濾或修改那些不完整的、錯誤的、重復的數據。主要根據行業(yè)數據規(guī)律對數據進行清洗，將不符合規(guī)則的數據打上標記，自動進行預警，并通過自動或者人工干預的方式將其處理為符合規(guī)則的數據，不符合要求的數據包括冒大數、數據異常、數據缺測等。

2.5.3 數據審計

數據質量審計模塊對整合的數據進行數據校驗、規(guī)則審計、審計任務以及審計發(fā)布進行管理。出具數據質量檢測報告等工作，支持數據質量問題集中監(jiān)控和管理，提供全方位的數據質量分析評估能力，為南水北調東線一期工程江蘇段數據質量管理提供支撐。

2.5.4 數據資源目錄管理

數據資源目錄維護管理系統(tǒng)的主要作用是保證目錄服務系統(tǒng)的可用性，它的功能包括數據和服務資源目錄庫的建立、更新、備份與恢復等，并支持批量模板導入。管理者能夠通過系統(tǒng)保存、備份、注銷與恢復信息資源目錄內容，目錄內容的更新維護由提供者負責，目錄系統(tǒng)的更新維護工作由管理者承擔[12]。

3 南水北調東線工程江蘇段數據中臺發(fā)展的思考

3.1 數據中臺協(xié)助規(guī)范水利數據管理能力

隨著南水北調東線一期工程江蘇段的建設，調度運行管理系統(tǒng)目前已建成財務系統(tǒng)、檔案信息化系統(tǒng)、工程管理系統(tǒng)、水量調度系統(tǒng)、工程監(jiān)控系統(tǒng)、紀檢信息系統(tǒng)、安全生產管理系統(tǒng)、辦公系統(tǒng)、水文水質系統(tǒng)、視頻監(jiān)控與分析系統(tǒng)等多個應用系統(tǒng)。各應用系統(tǒng)每天產生的數據量大，但缺乏統(tǒng)一的數據管控，缺少對數據資源全局視角的管理，造成數據家底不清、數據標準不統(tǒng)一等問題。數據中臺的建設將解決不同業(yè)務部門之間、業(yè)務部門與技術部門之間、技術團隊之間，存在溝通和理解的歧義，降低需求從提出到實現(xiàn)存在前后不一致的風險。

3.2 數據中臺支持水利大數據的創(chuàng)新應用

調度運行管理系統(tǒng)對監(jiān)控、調度、管理等業(yè)務進行了部分的集中，也上線了統(tǒng)一物聯(lián)網平臺，搭建了水利模型、調度模型，實現(xiàn)了部分業(yè)務的聯(lián)動。但是跨業(yè)務領域的數據還是在各業(yè)務系統(tǒng)中，并沒有實現(xiàn)數據的融合，無法進行數據挖掘及關聯(lián)分析。通過對數據資源管理平臺的建設，解決現(xiàn)有數據未能用于輔助工程管理和調度運行決策等問題，從業(yè)務驅動走向數據驅動，體現(xiàn)數據的價值。

3.3 數據中臺加強數據安全管理

數據安全方面，數據分散存儲在各個系統(tǒng)中，各業(yè)務系統(tǒng)通過與其他業(yè)務系統(tǒng)直接對接獲取數據，存在數據安全隱患問題。通過本項目建設，使數據權限分配使用實現(xiàn)統(tǒng)一管理，使數據獲取權限透明。

3.4 促進新應用的快速迭代開發(fā)

結合數字孿生南水北調等“十四五”智慧水利建設規(guī)劃要求，平臺建成后將為加快構建具有預報、預警、預演、預案功能的新型智慧水利工程信息化體系，提供有力支撐和強力驅動，通過提前做好數據底板的規(guī)劃和布局，減少后期開發(fā)成本，提高后期數字孿生等新建信息化系統(tǒng)上線速度，實現(xiàn)快速迭代，集約發(fā)展。

4 結束語

為了解決南水北調東線一期工程江蘇段的數據資源在管理與應用方面的問題，本文在盤點南水北調東線一期工程江蘇段調度運行管理系統(tǒng)與數據資源的基礎上，提出建立一個數據倉庫，建設貼源庫、標準庫、主題庫，明確真實價值數據現(xiàn)狀；在統(tǒng)一的基礎設施、標準規(guī)范和保障體系支撐下，搭建一套數據資源管理系統(tǒng)，形成數據接入整合能力、數據資源管理能力、數據清洗治理能力、數據分析服務能力四大核心能力，建設南水北調東線一期工程江蘇段數據中臺，在工程管理、調度運行等業(yè)務應用中發(fā)揮數據價值，可為其他水利工程項目數據資源整合和應用提供參考。

參考文獻：

[1] 精細管理 強化協(xié)調 確保我省南水北調配套工程安全運行[N].河南日報，2016-11-24（003）.

[2] 楊鐵樹，賈改卿，張同生.大型引調水工程自動化系統(tǒng)設計綜述[J].水科學與工程技術，2013（4）：73-76.

[3] 劉繼民，時書燕.新時代智慧水利建設的思考[C]//莆田：2022（第十屆）中國水利信息化技術論壇論文集，2022：412-418.

[4] 韋樑.一種水務企業(yè)大數據業(yè)務中臺系統(tǒng)研究[J].電子技術與軟件工程，2021（9）：159-161.

[5] 張文體，金利康.基于中臺思想的智慧水務建設探討[J].給水排水，2021，57（S2）：538-544.

[6] 包志炎，姜小俊，黃康，等.浙江水利數字化轉型總體框架和關鍵技術研究[J].水利信息化，2020（2）：1-8.

[7] 姚閣.基于元數據指標體系的北京市南水北調數據資源管理模式研究與應用[C]//中國水利學會2018學術年會論文集第一分冊.南昌，2018：260-264.

[8] 中華人民共和國水利部.水利信息核心元數據：SL 473—2010[S].北京：中國水利水電出版社，2010.

[9] 朱迅，黃世秀，沈天賀，等.時空大數據與云平臺的關鍵技術[J].安徽建筑，2020，27（11）：137-138，153.

[10] 孫益，方夢陽，何建寧，等.基于物聯(lián)網和數據中臺技術的自然資源要素綜合觀測平臺構建[J].資源科學，2020，42（10）：1965-1974.

[11] 莊春意，王子民.河南省南水北調配套工程運行管理數據可視化平臺設計與實現(xiàn)[J].河南水利與南水北調，2021，50（7）：46-48.

[12] 謝云馳.交通云數據安全與隱私保護研究[D].南昌：華東交通大學，2019.

【通聯(lián)編輯：王 力】