基于數(shù)據(jù)湖的數(shù)字孿生流域構(gòu)建方案研究

李詠梅

（新疆維吾爾自治區(qū)水文信息中心，新疆烏魯木齊 830000）

0.引言

數(shù)字孿生流域是以物理流域?yàn)閱卧?、時空數(shù)據(jù)為底座、數(shù)學(xué)模型為核心、水利知識為驅(qū)動，對物理流域全要素和水利治理管理活動全過程的數(shù)字化映射、智能化模擬，實(shí)現(xiàn)與物理流域同步仿真運(yùn)行、虛實(shí)交互、迭代優(yōu)化。

本文簡要介紹了數(shù)字孿生概念產(chǎn)生的背景和主要特征，并結(jié)合水利行業(yè)特點(diǎn)，借鑒北京航空航天大學(xué)陶飛教授“數(shù)字孿生五維模型”思想，定義了數(shù)字孿生流域模型。隨后，討論了數(shù)字孿生流域?qū)崿F(xiàn)過程當(dāng)中勢必遇到的“大數(shù)據(jù)”問題，并希望借助先進(jìn)的技術(shù)理念化解難題。文中基于數(shù)據(jù)湖構(gòu)建數(shù)字孿生流域的建設(shè)方案將海量異構(gòu)數(shù)據(jù)統(tǒng)一匯聚、治理整合、共享交換、存儲管理于集中式數(shù)據(jù)湖“算據(jù)”中心，利用數(shù)據(jù)湖內(nèi)置的多模態(tài)分析計算引擎如批式處理、流式計算、交互式分析、機(jī)器學(xué)習(xí)、人工智能與領(lǐng)域知識、歷史場景模式、預(yù)報調(diào)度方案、業(yè)務(wù)規(guī)則、專家經(jīng)驗(yàn)等有機(jī)融合，建立對物理流域全要素及水治理活動全過程的模擬仿真、預(yù)測預(yù)報、優(yōu)化評估、智能決策等“算法”引擎綜合布局，具有多源異構(gòu)信息融合與管理、分析模型引擎快速組裝與敏捷復(fù)用、應(yīng)用服務(wù)靈活適配水旱災(zāi)害防御、水資源管理與調(diào)配、江河湖泊生態(tài)保護(hù)治理等業(yè)務(wù)應(yīng)用場景，為實(shí)現(xiàn)“四預(yù)（預(yù)報、預(yù)警、預(yù)演、預(yù)案）”功能的智慧水利建設(shè)規(guī)劃、設(shè)計參考與引用[1]。

1. 數(shù)字孿生與數(shù)字孿生流域

1.1 數(shù)字孿生概念

2002年，在美國密歇根大學(xué)的產(chǎn)品生命周期管理中心成立時的一次演講幻燈片中，Michael Grieves教授展示了產(chǎn)品生命周期管理的概念模型，它包括3個基本的要素：產(chǎn)品存在的現(xiàn)實(shí)空間、虛擬空間，從現(xiàn)實(shí)空間到虛擬空間的數(shù)據(jù)流和從虛擬空間到現(xiàn)實(shí)空間信息流的連接，此連接在產(chǎn)品的整個生命周期都存在。這個模型幾經(jīng)易名，2011年后被稱為數(shù)字孿生模型，現(xiàn)實(shí)空間物理系統(tǒng)與包含了該物理系統(tǒng)所有信息的虛擬系統(tǒng)互為孿生，其中的虛擬系統(tǒng)稱為數(shù)字孿生。

數(shù)字孿生概念的內(nèi)涵、外延在實(shí)際應(yīng)用中不斷豐富和擴(kuò)展。專家學(xué)者提出了許多數(shù)字孿生的定義，如2012年美國 NASA 基于飛行器仿真系統(tǒng)工程提出數(shù)字孿生的定義為：數(shù)字孿生是一個使用最佳物理模型、動態(tài)傳感、歷史數(shù)據(jù)等，多物理量、多維度和概率集成的飛行器（或系統(tǒng)）仿真。NASA 的數(shù)字孿生定義就是一個數(shù)字孿生概念的外延，同時，也深化數(shù)字孿生的內(nèi)涵，將歷史數(shù)據(jù)、多維度、模擬仿真引入數(shù)字孿生[2]。

1.2 數(shù)字孿生流域

數(shù)字孿生流域的定義也是數(shù)字孿生概念的外延，其物理實(shí)體是物理流域全要素和水利治理管理活動全過程，數(shù)字孿生為物理實(shí)體的數(shù)字化映射。

我國科技工作者早在20年前就提出了類似的概念，并在治水實(shí)踐中應(yīng)用。2002年，黃河水利委員會李國英撰寫的《建設(shè)“三條黃河”》一文中明確提出：“新時期的黃河治理開發(fā)和管理應(yīng)著力建設(shè)‘三條黃河’，即‘原型黃河’‘?dāng)?shù)字黃河’和‘模型黃河’?！忘S河’指現(xiàn)實(shí)中的黃河；‘?dāng)?shù)字黃河’是‘原型黃河’的虛擬對照體；‘模型黃河’是按一定比例縮小的‘原型黃河’?！龡l黃河’的建設(shè)相互關(guān)聯(lián)、互為作用”。這一論述，應(yīng)該是國內(nèi)外最早公開提出的數(shù)字孿生流域概念，甚至是最早的數(shù)字孿生概念。

1.3 新時期數(shù)字孿生流域的建設(shè)需求

進(jìn)入2l世紀(jì)以來，我國實(shí)施了以“數(shù)字黃河”“數(shù)字長江”為代表的一系列早期數(shù)字孿生流域建設(shè)工程。隨著工程的實(shí)施，使我國在數(shù)字孿生流域探索、研究方面走在了世界前列，緩解了區(qū)域防洪抗旱和用水安全面臨的嚴(yán)峻局面。雖然我們有很好的數(shù)字孿生流域概念，但在日新月異的信息技術(shù)發(fā)展背景下，早期的數(shù)字孿生流域存有一些薄弱環(huán)節(jié)。

（1）物理實(shí)體和數(shù)字孿生連接不緊密，許多基礎(chǔ)數(shù)據(jù)無法及時更新。

（2）受“算據(jù)”“算力”限制，物理實(shí)體不能在虛擬空間完美再現(xiàn)，用戶體驗(yàn)受到影響。

（3）從“小數(shù)據(jù)”抽象出模型適應(yīng)性較差，難以在不同尺度、不同流域上建立起具有應(yīng)用價值較高的支撐服務(wù)。

（4）無法滿足影像、圖片、遙感、音視頻等非結(jié)構(gòu)化數(shù)據(jù)存儲與管理需求，更難以對其進(jìn)行建模、分析、預(yù)測和驗(yàn)證。

（5）應(yīng)用存在技術(shù)割裂、數(shù)據(jù)碎片化分布、治理協(xié)同困難。

新時期產(chǎn)生了不同時空尺度模型智能進(jìn)化，精準(zhǔn)刻畫物理實(shí)體不同粒度的屬性、行為和演化過程的需求；用戶沉浸式體驗(yàn)的需求；實(shí)體間普遍互聯(lián)、迅速響應(yīng)的需求；多類型、高頻監(jiān)測數(shù)據(jù)存儲管理需求等，這些都需要更多的算據(jù)、更好的算法和更強(qiáng)的算力。

物聯(lián)網(wǎng)可為我們提供更多的算據(jù)；大數(shù)據(jù)技術(shù)為從數(shù)據(jù)通向知識，產(chǎn)生“柔性”模型開辟了新徑；云服務(wù)可提供更強(qiáng)的算力。從數(shù)據(jù)處理的方式上來看，數(shù)字孿生流域就是建立云服務(wù)之上的大數(shù)據(jù)分析處理。

2. 數(shù)字孿生流域概念模型

為使數(shù)字孿生便于實(shí)現(xiàn)，北京航空航天大學(xué)陶飛教授提出了由物理實(shí)體、虛擬實(shí)體、服務(wù)、孿生數(shù)據(jù)和各組成部分連接構(gòu)成的數(shù)字孿生五維模型。同理，我們將數(shù)字孿生流域模型定義為由以下5個部分組成：

（1）物理流域?qū)嶓w。它是客觀存在的自然地理、干支流水系及水利建設(shè)的工程體系、洪水影響范圍、經(jīng)濟(jì)社會等實(shí)體的集合。

（2）虛擬流域?qū)嶓w。它是對物理流域的多源異構(gòu)全要素和水利治理管理活動全過程進(jìn)行數(shù)字化映射，這些映射要通過模型和仿真來實(shí)現(xiàn)，包括水利工程幾何模型、水文機(jī)理模型、行為模型和規(guī)則模型，以支持洪水演進(jìn)、水利工程運(yùn)用模擬仿真等[3]。

（3）服務(wù)。其包括數(shù)字孿生流域內(nèi)部組件之間及為終端用戶提供的服務(wù)。

（4）孿生數(shù)據(jù)。它是生成數(shù)字孿生流域及虛實(shí)交互所依賴的數(shù)據(jù)。

（5）連接。實(shí)現(xiàn)數(shù)字孿生流域各組成部分的連接使信息空間與物理空間保持實(shí)時交互、一致性與同步性，從而提供更加實(shí)時精準(zhǔn)的應(yīng)用服務(wù)。

3. 基于數(shù)據(jù)湖解決方案

2010年，Pentaho公司的CTO Dixon率先提出數(shù)據(jù)湖的概念，其定義為“未經(jīng)處理和包裝的原生狀態(tài)水庫，不同源頭的水體源源不斷地流入數(shù)據(jù)湖，為企業(yè)帶來各種分析、探索的可能性”。一般的數(shù)據(jù)湖產(chǎn)品都有大型數(shù)據(jù)存儲庫和處理引擎，它能夠存儲海量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；可提供批處理、流式計算、交互式分析等數(shù)據(jù)處理方式和比較完善的數(shù)據(jù)管理與服務(wù)，為數(shù)據(jù)獲取、存儲、多模式處理提供全生命周期管理。

3.1 數(shù)據(jù)湖技術(shù)特征

與以往存儲技術(shù)相比，數(shù)據(jù)湖具有以下顯著特征：

（1）數(shù)據(jù)高保真。不需要重新定義數(shù)據(jù)模型，在系統(tǒng)中會存儲一份無損的原始數(shù)據(jù)，這樣不僅簡化了數(shù)據(jù)的處理過程，還保證數(shù)據(jù)真實(shí)可靠，對具有時效性要求的實(shí)時應(yīng)用提供更好的支撐。

（2）數(shù)據(jù)可存儲。能夠提供足夠用的、可擴(kuò)展的統(tǒng)一數(shù)據(jù)存儲能力，它本身內(nèi)置多模態(tài)的存儲引擎，綜合考慮響應(yīng)時間/并發(fā)/訪問頻次/成本等因素，以滿足不同應(yīng)用對于數(shù)據(jù)訪問需求。

（3）數(shù)據(jù)可管理。既能存儲原始數(shù)據(jù)，又能保存各類分析處理后的中間結(jié)果，隨著湖中數(shù)據(jù)的不斷積累、演化，作為統(tǒng)一的數(shù)據(jù)存放場所，提供對于數(shù)據(jù)的管理、治理和資產(chǎn)化能力。

（4）數(shù)據(jù)可追溯。具備對數(shù)據(jù)全生命周期的管理能力，提供對其間的任意一條數(shù)據(jù)的接入、存儲、處理、應(yīng)用過程的可追溯性，能夠有效識別和管控各項數(shù)據(jù)產(chǎn)生、流動及其處理過程。

（5）數(shù)據(jù)可分析。囊括從批處理、流式計算、交互式分析到機(jī)器學(xué)習(xí)等各類計算引擎，具備計算引擎的可擴(kuò)展/可插拔敏捷能力，持續(xù)對原始數(shù)據(jù)進(jìn)行迭代分析，獲得超越原有數(shù)據(jù)分析服務(wù)的價值。

3.2 數(shù)字孿生流域構(gòu)建方案

3.2.1 總體架構(gòu)

基于數(shù)據(jù)湖擁有“分布式對象存儲+多模態(tài)計算引擎+全周期數(shù)據(jù)管理”等技術(shù)優(yōu)勢，以一種更為敏捷、快速的構(gòu)建方法，搭建出標(biāo)準(zhǔn)統(tǒng)一、接口規(guī)范、敏捷復(fù)用、高效實(shí)用的數(shù)字孿生流域總體架構(gòu)，如圖1所示。

圖1 數(shù)據(jù)孿生流域總體架構(gòu)

3.2.2 建設(shè)流程

數(shù)據(jù)湖包含物理流域信息融合（“建湖”）、數(shù)據(jù)匯聚存儲 （“入湖”）、整合分析（“治湖”）、共享服務(wù)（“用湖”）4個建設(shè)流程。形象的描述就是用“建湖”來形容信息感知與數(shù)字化映射，流“入湖”中的水表示未經(jīng)處理的原始數(shù)據(jù)；湖中的水就代表存儲的各種數(shù)據(jù)，在湖中可以進(jìn)行數(shù)據(jù)的計算、分析、建模、加工等“治湖”處理，處理后的數(shù)據(jù)仍然可以留在湖中；而流出的水代表經(jīng)過信息融合、整合治理、智能分析后，下泄所需要的數(shù)據(jù)，為領(lǐng)域提供“用湖”信息服務(wù)支撐。

（1）建湖-信息融合。將物理流域中的河流水系、江河湖泊、水利工程等涉水要素在信息空間進(jìn)行重建及數(shù)字化映射；對物理流域?qū)ο蟮膸缀巍⑿袨?、運(yùn)動、狀態(tài)等信息進(jìn)行實(shí)時采集和傳輸；持續(xù)將不同數(shù)據(jù)來源、數(shù)據(jù)類型、數(shù)據(jù)形態(tài)、數(shù)據(jù)模式等信息進(jìn)行有機(jī)融合。

（2）入湖-匯聚存儲。確定要接入的數(shù)據(jù)源，采用離線批量導(dǎo)入或者在線實(shí)時接入等手段，將各類數(shù)據(jù)全量獲取與增量接入，借助數(shù)據(jù)湖提供的內(nèi)置組件如資產(chǎn)目錄、訪問控制、任務(wù)編排、元數(shù)據(jù)管理等，構(gòu)建高效共享的數(shù)據(jù)湖集中存儲體系。

（3）治湖-整合分析。將各類計算分析引擎與業(yè)務(wù)應(yīng)用進(jìn)行深度融合，逐步形成面向特定領(lǐng)域的多維時空專題模型、元數(shù)據(jù)模型等，優(yōu)化數(shù)據(jù)資源整合，逐步規(guī)范、開放各類數(shù)據(jù)接口、服務(wù)調(diào)用接口等，為定制開發(fā)的預(yù)報模型、智能模型、可視化模型等模塊化組件提供靈活集成與敏捷適配，提供全局的數(shù)據(jù)資源目錄和完整元數(shù)據(jù)描述，便于快速查詢數(shù)據(jù)及更好地支撐數(shù)據(jù)分析。

（4）用湖-共享服務(wù)。萃取和沉淀專家經(jīng)驗(yàn)、業(yè)務(wù)規(guī)則、知識圖譜等構(gòu)建知識引擎，持續(xù)對原始數(shù)據(jù)、中間成果、增量實(shí)時數(shù)據(jù)等進(jìn)行迭代、訓(xùn)練、預(yù)測、推演，從數(shù)據(jù)中提煉有價值的信息，為領(lǐng)域或跨行業(yè)應(yīng)用提供信息融合、業(yè)務(wù)協(xié)同的一體化決策支持與共享服務(wù)。

綜上所述數(shù)據(jù)孿生流域建設(shè)：對物理流域進(jìn)行全要素數(shù)字化映射，將多源異構(gòu)如基礎(chǔ)數(shù)據(jù)、監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、跨行業(yè)共享數(shù)據(jù)、地理空間數(shù)據(jù)等進(jìn)行統(tǒng)一歸集、存儲管理、整合處理，融合形成數(shù)字化場景；在此基礎(chǔ)上，集成耦合多維多時空尺度水利專業(yè)模型、智能模型、可視化模型，調(diào)用各類通用接口服務(wù)進(jìn)行分析處理，以水利專業(yè)模型為主體，智能模型作為輔助互補(bǔ)進(jìn)行計算和推理，為模擬仿真引擎提供所需的各項參數(shù)，完成對水利業(yè)務(wù)過程的智慧化模擬；將萃取沉淀的治水經(jīng)驗(yàn)和水循環(huán)演變規(guī)律、反演的歷史場景等知識圖譜進(jìn)行有效融合，經(jīng)水利知識引擎處理形成業(yè)務(wù)全流程和服務(wù)全領(lǐng)域的應(yīng)用服務(wù)體系，為防洪調(diào)度、水資源管理與調(diào)配、水生態(tài)保護(hù)等提供精確化決策支撐[4]。

4.總結(jié)與展望

基于數(shù)據(jù)湖構(gòu)建的數(shù)字孿生流域如同興修水利一般：筑湖挖掘—采集和映射數(shù)據(jù)，引水蓄能—接入和存儲數(shù)據(jù)，建站發(fā)電—整合和分析數(shù)據(jù)，開閘放“水”—開發(fā)和利用數(shù)據(jù)，發(fā)揮數(shù)據(jù)湖技術(shù)基礎(chǔ)設(shè)施的乘數(shù)效應(yīng)，推進(jìn)水利數(shù)據(jù)湖與“水利云”有效融合，形成天上的“云”負(fù)責(zé)收集、計算和分析各類水利相關(guān)數(shù)據(jù)，助力地下的“湖”實(shí)時制定數(shù)據(jù)存儲策略，共同作用于水利信息資源共建，優(yōu)化、適配和集成水利業(yè)務(wù)，以實(shí)現(xiàn)水利信息價值的持續(xù)挖掘，為構(gòu)建數(shù)據(jù)一體化存儲、平臺邏輯統(tǒng)一、物理分散、統(tǒng)一部署的水利數(shù)字孿生流域夯實(shí)基礎(chǔ)，最終建成數(shù)據(jù)統(tǒng)一管理、數(shù)據(jù)充分共享、支撐智慧水利應(yīng)用的數(shù)字孿生流域。