智慧水利工程異構(gòu)數(shù)據(jù)整合方法研究

摘要：水利工程建設(shè)由于日益增長的海量異構(gòu)數(shù)據(jù)導(dǎo)致信息孤島和資源孤島問題，阻礙了智慧水利建設(shè)的推進工作。以福建省九龍江北溪水閘工程信息管理系統(tǒng)為例，分析了水利工程信息管理中的數(shù)據(jù)整合要求，從數(shù)據(jù)規(guī)范、數(shù)據(jù)集成和數(shù)據(jù)中心等3個方面，提出了北溪水閘信息管理數(shù)據(jù)整合整體框架，制定了異構(gòu)數(shù)據(jù)規(guī)范和接口規(guī)范，基于ETL技術(shù)，采用Kettle工具集成各個子系統(tǒng)的數(shù)據(jù)，實現(xiàn)了水利工程異構(gòu)數(shù)據(jù)資源共享訪問、系統(tǒng)之間互聯(lián)互通。研究成果顯示，該方法對智慧水利工程異構(gòu)數(shù)據(jù)的整合具有較好的可行性、先進性及示范性。

關(guān)鍵詞：智慧水利； 異構(gòu)數(shù)據(jù)； 信息管理； 數(shù)據(jù)整合

中圖法分類號：TP399""文獻(xiàn)標(biāo)志碼：A

DOI：10.15974/j.cnki.slsdkb.2024.08.018

文章編號：1006-0081（2024）08-0113-05

0 引 言

水利行業(yè)作為信息密集行業(yè)，對數(shù)據(jù)信息的依賴程度較高。智慧水利工程在設(shè)計、建設(shè)、運維等全生命周期中，存在信息標(biāo)準(zhǔn)規(guī)范尚不健全，標(biāo)準(zhǔn)不一、設(shè)施分散、信息孤島、業(yè)務(wù)割據(jù)、安全薄弱等問題，已成為智慧業(yè)務(wù)應(yīng)用間實現(xiàn)數(shù)據(jù)信息共享、業(yè)務(wù)協(xié)同的瓶頸，制約了智慧水利的健康發(fā)展。數(shù)據(jù)整合可促進信息共享和業(yè)務(wù)協(xié)同，全面提升智慧水利信息化水平，全面支撐水利現(xiàn)代化，為后續(xù)智慧水利業(yè)務(wù)應(yīng)用打下堅實基礎(chǔ)。

全國水利信息化規(guī)劃“十四五”發(fā)展規(guī)劃要求將數(shù)據(jù)資源的整合與共享作為新時代水利信息化建設(shè)的重要工作任務(wù)。國內(nèi)外對數(shù)據(jù)整合進行了廣泛的研究和實踐［1-2］，主要從以下幾個方面展開：對分散信息資源的重新整序、優(yōu)化信息資源體系和借助各種技術(shù)進行信息整合。整合方法包括：基于數(shù)據(jù)倉庫的數(shù)據(jù)整合［3］、基于中介和封裝的數(shù)據(jù)整合以及基于網(wǎng)格的數(shù)據(jù)整合。目前，數(shù)據(jù)整合一般通過兩種方式實現(xiàn)，包括數(shù)據(jù)庫開發(fā)技術(shù)和ETL（Extract-Transform-Load）技術(shù)［4］。數(shù)據(jù)庫開發(fā)技術(shù)可在同種類型的數(shù)據(jù)處理庫中實現(xiàn)數(shù)據(jù)的整合集成且資金投入小，但與ETL技術(shù)相比，數(shù)據(jù)庫開發(fā)技術(shù)數(shù)據(jù)擴展性較差、數(shù)據(jù)承載量較小、數(shù)據(jù)整合效率較低，ETL技術(shù)更適合數(shù)據(jù)量大、數(shù)據(jù)源廣的系統(tǒng)數(shù)據(jù)整合。福建省九龍江北溪水閘工程信息管理系統(tǒng)涉及多個子系統(tǒng)，系統(tǒng)復(fù)雜、數(shù)據(jù)量大，且數(shù)據(jù)間存在較大的平臺差異、協(xié)議差異、語言差異、設(shè)備差異、廠家差異、數(shù)據(jù)結(jié)構(gòu)差異等。因此，適用大型系統(tǒng)、數(shù)據(jù)復(fù)雜、整合效率更高的ETL技術(shù)更適合本工程進行數(shù)據(jù)整合。

本文以福建省九龍江北溪水閘工程信息管理系統(tǒng)為例，對水利工程信息管理中的數(shù)據(jù)整合需求進行分析，從數(shù)據(jù)規(guī)范、數(shù)據(jù)集成和數(shù)據(jù)中心3個方面著手，按規(guī)范制定、架構(gòu)設(shè)計、異構(gòu)數(shù)據(jù)庫整合3個步驟實現(xiàn)智慧水利工程異構(gòu)數(shù)據(jù)的整合設(shè)計，為智慧水利工程建設(shè)提供參考。

1 項目概況

福建省九龍江北溪水閘綜合自動化系統(tǒng)將北溪水閘除險加固工程中建立的水情水質(zhì)自動測報系統(tǒng)、水閘安全監(jiān)測系統(tǒng)、大壩安全監(jiān)測系統(tǒng)、閘門監(jiān)控系統(tǒng)、工業(yè)電視系統(tǒng)等分離的專業(yè)性應(yīng)用系統(tǒng)集成為一個綜合自動化系統(tǒng)平臺，使各部門和各級防汛抗旱部門能在同一平臺上對信息資源充分共享和合理利用，最大限度地發(fā)揮除險加固工程的綜合經(jīng)濟效益和社會效益［5-6］。九龍江北溪水閘綜合自動化系統(tǒng)投入運行10余年來，大大提高了北溪水閘的自動化運行水平，但隨智慧水利工程的推進，工程自動化系統(tǒng)已無法滿足日益增長的數(shù)據(jù)整合共享需求。

2 水利工程信息管理異構(gòu)數(shù)據(jù)整合需求

2.1 數(shù)據(jù)整合目標(biāo)

九龍江北溪水閘工程信息管理系統(tǒng)工程具有覆蓋范圍大、管理內(nèi)容多而復(fù)雜的特點。傳統(tǒng)的項目管理方式因信息交互、存儲和分析手段落后，導(dǎo)致項目管理效率較低，各方協(xié)調(diào)難度較大。因此，需要搭建一個統(tǒng)一的標(biāo)準(zhǔn)化管理平臺，通過扁平化的信息交互方式進行業(yè)務(wù)交互，消除信息孤島，從而滿足建設(shè)和運行過程中不同層級參與者的信息需求和功能需求，保障整個工程管理的高效有序，實現(xiàn)數(shù)據(jù)規(guī)范化、協(xié)同化管理的整合目標(biāo)。

2.2 數(shù)據(jù)整合要求

（1） 制定數(shù)據(jù)規(guī)范。整合異構(gòu)數(shù)據(jù)庫的基礎(chǔ)是需要制定規(guī)范標(biāo)準(zhǔn)。這就需要對不同系統(tǒng)的數(shù)據(jù)視圖進行全面分析，理清各個系統(tǒng)之間的數(shù)據(jù)關(guān)系，然后建立數(shù)據(jù)規(guī)范，其中包括數(shù)據(jù)的名稱、類型、長度和內(nèi)容等。對異構(gòu)數(shù)據(jù)庫進行整合，不同數(shù)據(jù)源的數(shù)據(jù)被歸集到數(shù)據(jù)中心的數(shù)據(jù)庫中，通過建立視圖而不需要改變原有系統(tǒng)的結(jié)構(gòu)和應(yīng)用。在視圖之上建立數(shù)據(jù)交換平臺，解決數(shù)據(jù)不一致的問題。數(shù)據(jù)規(guī)范包括3個方面的內(nèi)容，即數(shù)據(jù)類型格式的規(guī)范、數(shù)據(jù)分類的規(guī)范和數(shù)據(jù)表達(dá)的規(guī)范。

（2） 數(shù)據(jù)整合集成體系研究。數(shù)據(jù)整合體系研究是智慧水利工程異構(gòu)數(shù)據(jù)整合工作的關(guān)鍵環(huán)節(jié)，通過對異構(gòu)數(shù)據(jù)整合體系的集成建設(shè)研究來滿足現(xiàn)階段對智慧水利工程建設(shè)數(shù)據(jù)信息整合的需要，實現(xiàn)工程技術(shù)與理論數(shù)據(jù)的協(xié)調(diào)與對應(yīng)，從而滿足工程設(shè)計技術(shù)要求，并確保整個數(shù)據(jù)庫性能的優(yōu)化和資源的有效性。在智慧水利工程設(shè)計應(yīng)用與分析處理過程中，由于外部因素對數(shù)據(jù)分析與處理造成較大干擾，水利工程數(shù)據(jù)的分析與整合效率得不到很好的保障。目前ETL技術(shù)體系模式是數(shù)據(jù)信息整合中最為常見的運用模式。ETL模式能夠?qū)夹g(shù)數(shù)據(jù)進行協(xié)調(diào)，并且能夠確保數(shù)據(jù)的轉(zhuǎn)換環(huán)節(jié)和數(shù)據(jù)抽取環(huán)節(jié)的優(yōu)化。從ETL的優(yōu)化和協(xié)調(diào)功能來看，其可以較大程度地滿足智慧水利工程數(shù)據(jù)庫建設(shè)和設(shè)計的需要，有效地對數(shù)據(jù)進行整合、集成與應(yīng)用。

（3） 數(shù)據(jù)中心建立。在對異構(gòu)數(shù)據(jù)庫進行整合時，建立數(shù)據(jù)中心十分重要。各部門之間信息系統(tǒng)建立時間前后不一致，各個數(shù)據(jù)庫環(huán)境及平臺各不相同，系統(tǒng)間無法實現(xiàn)有效的數(shù)據(jù)共享，因此，有必要將各個子系統(tǒng)的數(shù)據(jù)整合到數(shù)據(jù)中心的數(shù)據(jù)庫里。

整合數(shù)據(jù)時的數(shù)據(jù)流傳輸過程是一個雙向的交互過程，系統(tǒng)大致運作順序如下：從數(shù)據(jù)中心通過實現(xiàn)接口的方式拉取數(shù)據(jù)，之后在數(shù)據(jù)處理模塊對收集到的數(shù)據(jù)進行若干項不同的數(shù)據(jù)過濾，摒棄無用的數(shù)據(jù)格式，將類似的數(shù)據(jù)進行整合操作，再將處理后的數(shù)據(jù)存入數(shù)據(jù)中心，以及把數(shù)據(jù)反饋到原先的數(shù)據(jù)源平臺上，使信息可以實時更新，向用戶展現(xiàn)最新鮮、可信的數(shù)據(jù)。

3 異構(gòu)數(shù)據(jù)整合的實施

3.1 制定數(shù)據(jù)規(guī)范

為了消除一致性差、信息難以交流、信息管理系統(tǒng)互不兼容等原因造成的應(yīng)用脫節(jié)、信息孤島問題，需要編制數(shù)據(jù)中心信息標(biāo)準(zhǔn)規(guī)范。信息標(biāo)準(zhǔn)規(guī)范包括工程信息管理系統(tǒng)各類信息集、代碼集規(guī)范，內(nèi)容涵蓋了基礎(chǔ)地理數(shù)據(jù)、工程資料、水情調(diào)度信息、水質(zhì)監(jiān)測信息、閘門監(jiān)控信息和防洪推演計算結(jié)果等部分。

信息標(biāo)準(zhǔn)規(guī)范規(guī)定了建設(shè)應(yīng)用系統(tǒng)時須遵循的要點。在規(guī)范的編制中，應(yīng)參考中華人民共和國水利行業(yè)標(biāo)準(zhǔn)以及各類國家相關(guān)規(guī)定，主要參考的文件包括南京水文所大壩安全觀測數(shù)據(jù)庫說明、水利信息核心元數(shù)據(jù)、水利信息公用數(shù)據(jù)元、水利信息數(shù)據(jù)庫表結(jié)構(gòu)、水利信息分類、水資源監(jiān)控管理數(shù)據(jù)庫表結(jié)構(gòu)及標(biāo)識符標(biāo)準(zhǔn)、水資源監(jiān)控管理系統(tǒng)數(shù)據(jù)傳輸規(guī)約和水資源管理信息代碼編制規(guī)定等。

3.1.1 數(shù)據(jù)規(guī)范組成

智慧水利工程數(shù)據(jù)規(guī)范編制時，需對以下內(nèi)容進行定義。

（1） 一般規(guī)定。對智慧水利工程系統(tǒng)各個部分的共性要求進行定義，包括智慧水利工程系統(tǒng)的運行環(huán)境、系統(tǒng)架構(gòu)、使用方式等。

（2） 數(shù)據(jù)表結(jié)構(gòu)及標(biāo)識符。對智慧水利工程系統(tǒng)各個部分的數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計的命名原則及格式進行規(guī)定。

3.1.2 數(shù)據(jù)庫命名規(guī)則

智慧水利工程的數(shù)據(jù)庫命名標(biāo)識符具有唯一性，標(biāo)識符由英文字母、數(shù)字和下劃線組成，全部字符為大寫英文字母。

（1） 表標(biāo)識。表標(biāo)識由專業(yè)分類碼、主體標(biāo)識、及分類后綴3個部分，用下劃線連接組成。編寫格式：專業(yè)分類碼_主體標(biāo)識_分類后綴。

（2） 字段標(biāo)識。字段命名主要參照中華人民共水利行業(yè)標(biāo)準(zhǔn)的字段命名規(guī)則，若字段與該標(biāo)準(zhǔn)中字段相對應(yīng)，則直接采用標(biāo)準(zhǔn)的命名；若沒有對應(yīng)字段，則采用相同的命名方式進行命名。字段類型、長度及取值范圍規(guī)則如下：① 字段類型采用Oracle基本數(shù)據(jù)類型；② 在表中給出字段的精度、取值范圍、是否為空和主鍵順序；③ 在表中給出字段的數(shù)值單位以及相應(yīng)的解釋（個別字段可在表的備注列或者表后的注中進行詳細(xì)解釋）。

3.1.3 數(shù)據(jù)源

針對福建省九龍江北溪水閘工程信息管理系統(tǒng)工程項目，需制定數(shù)據(jù)規(guī)范的數(shù)據(jù)范圍主要包括以下13類數(shù)據(jù)信息：① 流域信息，包括流域基礎(chǔ)特征信息、流域雨量年月分布數(shù)據(jù)、流域工程開發(fā)信息等；② 水庫/湖泊信息，包括水庫基礎(chǔ)特征信息、出入庫河流信息、調(diào)度信息、庫容數(shù)據(jù)、下泄能力、水位流量信息、防洪汛限信息等；③ 堤防信息，包括堤防基本情況、堤防橫斷面特征信息、堤防水文特征、堤防（段）主要效益指標(biāo)等；④ 蓄滯洪區(qū)信息，包括防洪基本情況、堤防防洪設(shè)施信息、行洪區(qū)行洪口門情況、撤離道路與橋梁信息等；⑤ 水閘信息，水閘基本參數(shù)信息、泄洪能力、水閘工程特性、效益指標(biāo)、歷史記錄、閘孔特征值等；⑥ 引調(diào)水工程信息，包括受水區(qū)信息、取收水點地址信息、輸水線路信息等；⑦ 水電站信息，包括機組參數(shù)、平均發(fā)電耗水率、電站機組特性、發(fā)電機組NHQ關(guān)系、預(yù)想出力、平均水頭損失、機組振動等；⑧ 水雨情信息，包括站點信息、實測水情信息、站點特征流量、節(jié)點流體信息等；⑨ 工情信息，包括基本工情信息、工程運行類信息、工程險情類信息、動態(tài)信息等；⑩ 旱情信息，包括實時墑情監(jiān)測信息、墑情信息統(tǒng)計、區(qū)域旱情信息等；B11 災(zāi)情信息，包括洪災(zāi)信息、水質(zhì)災(zāi)害信息、工程災(zāi)害信息、運行管理災(zāi)害等；B12 水生態(tài)信息，包括浮游植物、浮游動物信息等；B13 水質(zhì)信息，包括理化指標(biāo)、非金屬無機物信息、金屬無機物信息等。

3.2 數(shù)據(jù)中心架構(gòu)

北溪水閘工程的信息管理數(shù)據(jù)中心建設(shè)按照4層結(jié)構(gòu)設(shè)計，由基礎(chǔ)數(shù)據(jù)層、接口層、數(shù)據(jù)傳遞層和數(shù)據(jù)中心層組成，其結(jié)構(gòu)如圖1所示。

（1） 基礎(chǔ)數(shù)據(jù)層。包括了視頻監(jiān)控信息、水情和水質(zhì)監(jiān)測成果、閘門監(jiān)控信息、運維巡檢和工程質(zhì)量等，這些數(shù)據(jù)存放在不同子系統(tǒng)的數(shù)據(jù)庫中，具有異構(gòu)性，需要整合放入數(shù)據(jù)中心。

（2） 接口層。接口層優(yōu)化并封裝了基礎(chǔ)數(shù)據(jù)訪問操作，基于此可實現(xiàn)數(shù)據(jù)中心操作相關(guān)的功能。

（3） 數(shù)據(jù)傳遞層。數(shù)據(jù)傳遞層在接口層和數(shù)據(jù)中心之間，利用接口層進行基礎(chǔ)數(shù)據(jù)相關(guān)的訪問，并進行數(shù)據(jù)清洗分類后提供給數(shù)據(jù)中心。

（4） 數(shù)據(jù)中心層。數(shù)據(jù)中心層按數(shù)據(jù)種類分為業(yè)務(wù)數(shù)據(jù)庫、空間數(shù)據(jù)庫和非結(jié)構(gòu)化數(shù)據(jù)庫，業(yè)務(wù)數(shù)據(jù)庫匯集存放各子系統(tǒng)的業(yè)務(wù)數(shù)據(jù)；空間數(shù)據(jù)庫存放與地理信息有關(guān)的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)庫存放視頻、文檔等數(shù)據(jù)。數(shù)據(jù)中心系統(tǒng)建設(shè)在技術(shù)路線的選擇上，采用了符合面向服務(wù)的體系架構(gòu)（SOA）的設(shè)計思想及當(dāng)前業(yè)界主流的J2EE技術(shù)路線，可以滿足跨硬件平臺、跨操作系統(tǒng)的要求［7］。

3.3 整合異構(gòu)數(shù)據(jù)庫

異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)整合一般通過2種方式實現(xiàn)，包括數(shù)據(jù)庫開發(fā)技術(shù)和ETL技術(shù)［8］。

（1） 數(shù)據(jù)庫開發(fā)技術(shù)。該技術(shù)主要是利用數(shù)據(jù)庫觸發(fā)器等原有的功能對整個信息系統(tǒng)進行檢索，按照系統(tǒng)中發(fā)出的指令，對其需要的數(shù)據(jù)進行搜索、提取和關(guān)聯(lián)。這種數(shù)據(jù)庫實現(xiàn)方式可在多個數(shù)據(jù)庫中通用，資金投入小，但具有一定的局限性，例如外延性差、應(yīng)變性差，當(dāng)系統(tǒng)需求發(fā)生變化時不能及時滿足其需求。數(shù)據(jù)整合效率較低，隨著系統(tǒng)功能的強大，其對數(shù)據(jù)的需求也越來越高，面對復(fù)雜的數(shù)據(jù)整合問題，效率低下，阻礙其長遠(yuǎn)發(fā)展。

（2） ETL 技術(shù)。ETL 技術(shù)是通過抽取、轉(zhuǎn)換、裝載等方式將原系統(tǒng)中的信息加載到目標(biāo)數(shù)據(jù)庫中，實現(xiàn)系統(tǒng)數(shù)據(jù)間的整合。該技術(shù)與數(shù)據(jù)開發(fā)技術(shù)相比具有明顯的優(yōu)勢，效率較高，能夠?qū)Υ罅繑?shù)據(jù)進行快速檢索抽取，還能夠?qū)?shù)據(jù)的質(zhì)量進行優(yōu)化，依照相關(guān)條件檢驗數(shù)據(jù)的真實性和可靠性，對無用的數(shù)據(jù)進行清理。此外，該技術(shù)還具有強大的管理功能，通過多種平臺和大量數(shù)據(jù)源對數(shù)據(jù)系統(tǒng)進行抽取，支持多種數(shù)據(jù)轉(zhuǎn)換控件，完成大量復(fù)雜工作，局限性在于成本較高，實施周期較長。

福建省九龍江北溪水閘工程信息管理系統(tǒng)工程數(shù)據(jù)整合技術(shù)采取的是適用大型系統(tǒng)、數(shù)據(jù)復(fù)雜、整合效率更高的ETL技術(shù)，ETL作為一種為數(shù)據(jù)倉庫快速實現(xiàn)數(shù)據(jù)集成的技術(shù)，具有正確性、完整性、一致性、完備性、有效性、時效性和可獲取性等特性。目前應(yīng)用較為廣泛的ETL工具是純Java編寫的Kettle工具，數(shù)據(jù)抽取高效穩(wěn)定。ETL對異構(gòu)數(shù)據(jù)庫進行數(shù)據(jù)整合的過程主要分為3個部分：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載［9］。

數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換的功能主要是通過Kettle這一軟件來實現(xiàn)，如圖2所示，根據(jù)數(shù)據(jù)變更，定時觸發(fā)調(diào)用Kettle的相關(guān)功能。在數(shù)據(jù)中心的初始化階段，使用全量ETL過程來完成數(shù)據(jù)的初始化，在后期數(shù)據(jù)中心的維護和更新階段，通過使用Kettle的時間戳和trigger功能來完成數(shù)據(jù)的增量ETL過程。

數(shù)據(jù)加載的功能表現(xiàn)為：將經(jīng)由Kettle處理過的相關(guān)數(shù)據(jù)發(fā)送到數(shù)據(jù)中心的數(shù)據(jù)庫中，采用java程序讀取數(shù)據(jù)庫里的數(shù)據(jù)，形成pojo對象，并在service層里編寫程序?qū)ojo對象進行邏輯處理，通過controller層顯示在頁面上。

4 關(guān)鍵技術(shù)研究

4.1 數(shù)據(jù)整合系統(tǒng)架構(gòu)技術(shù)

福建省九龍江北溪水閘工程信息管理系統(tǒng)的數(shù)據(jù)整合系統(tǒng)采用了符合面向服務(wù)的體系架構(gòu)（SOA）設(shè)計、當(dāng)前業(yè)界主流的J2EE技術(shù)路線以及企業(yè)服務(wù)總線（ESB）技術(shù)，可以滿足跨硬件平臺、跨操作系統(tǒng)的要求。SOA是面向服務(wù)架構(gòu)的軟件系統(tǒng)設(shè)計模型，通過將應(yīng)用程序的功能服務(wù)化封裝，從而實現(xiàn)業(yè)務(wù)功能共享和復(fù)用的目的。ESB是構(gòu)建基于SOA解決方案時所使用的基礎(chǔ)架構(gòu)的關(guān)鍵部分，主要用來實現(xiàn)服務(wù)間通信交互、應(yīng)用集成、服務(wù)質(zhì)量、安全性管理等方面的任務(wù)。

數(shù)據(jù)整合系統(tǒng)平臺采用SOA架構(gòu)進行系統(tǒng)設(shè)計，可以方便地將九龍江北溪水閘工程信息管理系統(tǒng)不同應(yīng)用功能以服務(wù)形式進行重用和配置，較為高效地集成整合不同信息資源。ESB為應(yīng)用支撐平臺的核心技術(shù)，各種服務(wù)以ESB為橋梁進行互聯(lián)。數(shù)據(jù)整合系統(tǒng)涉及的服務(wù)包括應(yīng)用服務(wù)和公共服務(wù)。應(yīng)用服務(wù)是各種直接為業(yè)務(wù)處理提供支撐的服務(wù)，主要包括空間信息、業(yè)務(wù)展現(xiàn)、告警和各種具體業(yè)務(wù)處理應(yīng)用等服務(wù)；公共服務(wù)是提供通用功能的支撐服務(wù)，主要包括數(shù)據(jù)的交換、提取、訪問、字典查詢以及消息等服務(wù)。

4.2 數(shù)據(jù)實時更新技術(shù)

為保證九龍江北溪水閘工程信息管理系統(tǒng)各類數(shù)據(jù)的實時更新，依據(jù)水利信息化頂層設(shè)計總體架構(gòu)，建立了統(tǒng)一的數(shù)據(jù)資源存儲交換和共享服務(wù)機制，以ETL技術(shù)為核心，構(gòu)建了九龍江北溪水閘智慧水利工程統(tǒng)一的數(shù)據(jù)資源交換共享體系。ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換后加載到目標(biāo)數(shù)據(jù)存儲地點的過程，目的是將業(yè)務(wù)單位分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的各類數(shù)據(jù)整合到一起。該技術(shù)被廣泛運用于海量數(shù)據(jù)的多級匯聚與集成。

采用ETL工具組件，實現(xiàn)九龍江北溪水閘智慧水利工程數(shù)據(jù)資源實時抽取及交換策略，通過數(shù)據(jù)的抽取、轉(zhuǎn)換、傳輸和存儲，實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)的實時交換和更新。數(shù)據(jù)資源實時交換更新共享體系建成后，滿足智慧水利工程內(nèi)部及外部數(shù)據(jù)實時交換共享的需求，實現(xiàn)跨層級、地域、系統(tǒng)、部門、業(yè)務(wù)的數(shù)據(jù)共享和實時更新。

5 結(jié) 語

本文結(jié)合福建省九龍江北溪水閘工程信息管理系統(tǒng)特點提出智慧水利工程進行信息管理的工作方案。從數(shù)據(jù)源頭開始，強調(diào)建立數(shù)據(jù)標(biāo)準(zhǔn)的重要性，按照水利行業(yè)標(biāo)準(zhǔn)，結(jié)合相關(guān)部門實際情況，制定了符合該工程要求的數(shù)據(jù)規(guī)范和接口規(guī)范。在整合異構(gòu)數(shù)據(jù)庫中，首先建立數(shù)據(jù)中心，然后利用Kettle工具將各個子系統(tǒng)的數(shù)據(jù)抽取放在數(shù)據(jù)中心中。

數(shù)據(jù)整合是一項復(fù)雜的工作，需要對流程進行再造以及組織機構(gòu)間配合，使數(shù)據(jù)規(guī)范能落實工作中的各個環(huán)節(jié)，避免數(shù)據(jù)集成時的額外工作。

參考文獻(xiàn)：

［1］ 陳杰.信息整合技術(shù)的理論與實踐［J］.中國傳媒科技，2007（3）：30-34.

［2］ 肖希明，唐義.國外多領(lǐng)域數(shù)字資源整合研究進展［J］.中國圖書館學(xué)報，2013（1）：26-35.

［3］ 楊旭，湯正陽，張玉松，等.面向水庫調(diào)度的空間數(shù)據(jù)倉庫設(shè)計與實現(xiàn)——以三峽水庫為例［J］.水利水電快報，2022，43（10）：87-94.

［4］ 許力，牟曉光，馬云存．并行ETL過程的研究與實現(xiàn)［J］.計算機工程與應(yīng)用，2009，45（13）：170-172．

［5］ 梁志開，葉倍穎，曹陽，等.基于異構(gòu)數(shù)據(jù)庫的水利工程信息管理系統(tǒng)構(gòu)建［J］.水利水電快報，2022，43（6）：137-142.

［6］ 曹陽，秦雅嵐，盧愛菊.福建省北溪引水工程左干渠綜合自動化系統(tǒng)設(shè)計［J］.人民長江，2015，46（22）：62-66.

［7］ 劉迪.基于SOA的長江水文數(shù)據(jù)共享服務(wù)平臺的建設(shè)構(gòu)想［J］.水利水電快報，2019，40（1）：57-60.

［8］ 崔仰彬.水利設(shè)計環(huán)節(jié)中數(shù)據(jù)整合技術(shù)研究［J］.黑龍江科技信息，2014（32）：215.

［9］ 黃懷毅，楊路明.一種輕量級架構(gòu)的ETL 系統(tǒng)設(shè)計與實現(xiàn)［J］.計算機技術(shù)與發(fā)展，2008（6）：202-205.

編輯：張 爽

Research on heterogeneous data integration in smart water conservancy project

YU Qicheng

（Fujian Jiulongjiang Basin Center，Zhangzhou 363100，China）

Abstract：

The construction of water conservancy projects is hindered by the problem of information and resource silos caused by the increasing amount of heterogeneous data，and thereby hinders the promotion of smart water conservancy construction. We took the information management system of Jiulong River North River Sluice Project in Fujian Province as an example to analyze the data integration requirements in water conservancy engineering information management. Starting from data specifications，data integration，and data center three aspects，the overall framework for data integration in North River Sluice information management was proposed，and heterogeneous data specifications and interface specifications were developed. Based on ETL technology，Kettle tool was used to integrate data from various subsystems，realized the sharing and access of heterogeneous data resources in water conservancy engineering，as well as the interconnection and interoperability between systems. The research results on the integration of heterogeneous data of smart water conservancy projects are feasible，progressiveness and exemplary.

Key words：

smart water conservancy； heterogeneous data； information management； data integration

作者簡介：余啟成，男，高級工程師，主要從事水利工程與信息化建設(shè)管理工作。E-mail：13605087361@139.com

引用格式：余啟成.智慧水利工程異構(gòu)數(shù)據(jù)整合方法研究［J］.水利水電快報，2024，45（8）：113-117.