基于云的省級(jí)水利數(shù)據(jù)中心關(guān)鍵技術(shù)探討

曹 帥，高祥濤，胡文斌，陳 寧，丁玉鵬

（江蘇省水文水資源勘測(cè)局，江蘇 南京 210029）

0 引言

水利數(shù)據(jù)是水利基礎(chǔ)性、戰(zhàn)略性資源。圍繞系統(tǒng)治水理念，水利部提出以智慧水利建設(shè)為重點(diǎn)，強(qiáng)化水利創(chuàng)新驅(qū)動(dòng)。加快互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等高新技術(shù)與水利工作深度融合，構(gòu)建流域區(qū)域互聯(lián)互通、信息資源集成共享的國(guó)家水利大數(shù)據(jù)網(wǎng)絡(luò)[1]。水利數(shù)據(jù)中心匯集基礎(chǔ)性、全局性、專業(yè)性的水利數(shù)據(jù)資源，集存儲(chǔ)管理、共享交換、應(yīng)用服務(wù)于一體，形成以基礎(chǔ)水信息平臺(tái)為核心的應(yīng)用服務(wù)窗口，是實(shí)現(xiàn)智慧水利的關(guān)鍵基礎(chǔ)設(shè)施。

云計(jì)算具有 5 個(gè)基本特征：按需獲得的自助服務(wù)、廣泛的網(wǎng)絡(luò)接入、資源池化、快捷的彈性伸縮及可計(jì)量的服務(wù)；4 種部署模式：專有云、行業(yè)云、公有云及混合云；3 種服務(wù)模式：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）[2]1。云計(jì)算是促進(jìn)水利信息資源整合、提升水信息服務(wù)能力的有效技術(shù)手段。由于水利數(shù)據(jù)及應(yīng)用具有海量多樣、密集計(jì)算和安全保密的性質(zhì)，基于數(shù)據(jù)中心構(gòu)建水利專有云或行業(yè)云，具有必要性。

江蘇省作為水利部信息資源整合共享省級(jí)試點(diǎn)，從信息采集、基礎(chǔ)設(shè)施、數(shù)據(jù)和應(yīng)用服務(wù)、統(tǒng)一門戶等幾個(gè)方面，開展資源整合技術(shù)研究和實(shí)踐，構(gòu)建基于云的水利數(shù)據(jù)中心。

1 總體架構(gòu)

在國(guó)家水利數(shù)據(jù)中心“三級(jí)兩域四區(qū)”架構(gòu)中，江蘇省級(jí)水利數(shù)據(jù)中心屬于第三級(jí)節(jié)點(diǎn)，為流域和水利部提供數(shù)據(jù)交換和存儲(chǔ)，同時(shí)為本省水利用戶提供行業(yè)信息化支持，包括水信息及與水利密切相關(guān)的 GIS、氣象、交通、海洋等公共信息采集，存儲(chǔ)，共享，服務(wù)和應(yīng)用。

1.1 信息采集與監(jiān)控

主要由信息采集、工程監(jiān)控和視頻監(jiān)視 3 個(gè)部分組成，分布在全省各個(gè)監(jiān)測(cè)、監(jiān)控站點(diǎn)和管理部門，面廣量大，是水利數(shù)據(jù)中心的主要信息來(lái)源，采用遙測(cè)、遙感、移動(dòng)、物聯(lián)網(wǎng)等新技術(shù)建設(shè)。公共信息資源可由公有云獲取并組織存儲(chǔ)。與集中式的云計(jì)算不同，采集監(jiān)控主要涉及的前沿技術(shù)應(yīng)該是邊緣、霧計(jì)算等分布式概念。

1.2 基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層是機(jī)房環(huán)境和在網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器等軟硬件基礎(chǔ)上構(gòu)建的虛擬化資源池，同時(shí)結(jié)合智能化運(yùn)維管理軟件，實(shí)現(xiàn)軟件定義數(shù)據(jù)中心。為保障業(yè)務(wù)數(shù)據(jù)和信息系統(tǒng)安全，采用建設(shè)同城異地2 個(gè)中心，構(gòu)建大二層網(wǎng)絡(luò)方式，實(shí)現(xiàn)數(shù)據(jù)災(zāi)備和系統(tǒng)高可用（HA）。

1.3 數(shù)據(jù)層

數(shù)據(jù)層由數(shù)據(jù)庫(kù)、信息資源目錄和交換平臺(tái)組成。數(shù)據(jù)庫(kù)主要包括以下數(shù)據(jù)：1）基礎(chǔ)數(shù)據(jù)。指涉及水利業(yè)務(wù)和政務(wù)應(yīng)用全局的水利對(duì)象基礎(chǔ)數(shù)據(jù)，以及水利對(duì)象空間和業(yè)務(wù)關(guān)系等數(shù)據(jù)。2）專用數(shù)據(jù)。指僅由某項(xiàng)水利業(yè)務(wù)和政務(wù)產(chǎn)生并使用的數(shù)據(jù)集合。3）主題數(shù)據(jù)。指從通過(guò)處理和綜合分析用于決策的數(shù)據(jù)集合。4）元數(shù)據(jù)。用來(lái)描述水利數(shù)據(jù)的內(nèi)容、質(zhì)量、狀況等。采用資源目錄、交換平臺(tái)、數(shù)據(jù)服務(wù)等方式實(shí)現(xiàn)數(shù)據(jù)共享。

1.4 應(yīng)用支撐層

針對(duì)各類業(yè)務(wù)應(yīng)用的實(shí)際需要，根據(jù)復(fù)用、共享的要求，開發(fā)服務(wù)化的公共應(yīng)用服務(wù)，實(shí)現(xiàn)各應(yīng)用系統(tǒng)之間的互聯(lián)、互通和互操作，為應(yīng)用軟件開發(fā)、運(yùn)行和整合提供統(tǒng)一的服務(wù)支撐平臺(tái)，除業(yè)務(wù)領(lǐng)域服務(wù)外，還提供中間件及定制開發(fā)環(huán)境的虛擬機(jī)或容器模板。

1.5 應(yīng)用層

應(yīng)用層分為水利應(yīng)用系統(tǒng)和統(tǒng)一門戶 2 個(gè)部分。水利應(yīng)用一般包括防汛抗旱排澇減災(zāi)、水資源管理、水生態(tài)環(huán)境保護(hù)、農(nóng)村水利管理、水文業(yè)務(wù)管理、水政執(zhí)法、水利工程建設(shè)與運(yùn)行管理和水利電子政務(wù)等系統(tǒng)建設(shè)。水利信息化建設(shè)需構(gòu)建統(tǒng)一門戶系統(tǒng)，包括水利應(yīng)用和水利綜合信息服務(wù)門戶。綜合利用統(tǒng)一用戶管理、單點(diǎn)登錄、“一張圖”等技術(shù)建設(shè)統(tǒng)一門戶，實(shí)現(xiàn) PC 端和移動(dòng)端訪問(wèn)，使得業(yè)務(wù)人員和公眾能夠使用統(tǒng)一的系統(tǒng)界面，就可簡(jiǎn)單直觀、個(gè)性化的操作訪問(wèn)各個(gè)不同的業(yè)務(wù)應(yīng)用和公眾服務(wù)系統(tǒng)。

基于云計(jì)算的江蘇省水利數(shù)據(jù)中心總體架構(gòu)如圖 1 所示。

2 關(guān)鍵技術(shù)

2.1 基于大二層網(wǎng)絡(luò)的虛擬化數(shù)據(jù)中心技術(shù)

數(shù)據(jù)中心從集中化的小型機(jī)，到 X86 水平分層架構(gòu)，再發(fā)展為通過(guò)云 OS 整合提供租用，將物理層資源虛擬化，實(shí)現(xiàn)動(dòng)態(tài)分配與調(diào)度，是云計(jì)算架構(gòu)的關(guān)鍵。虛擬機(jī)遷移要求其 MAC/IP 地址不變（源和目的在同一 VLAN），Oracle RAC 等應(yīng)用需要 MAC 層交換的網(wǎng)絡(luò)環(huán)境，對(duì)大規(guī)模調(diào)用資源的云數(shù)據(jù)中心，需要構(gòu)建二層網(wǎng)絡(luò)甚至是跨 DC、跨地域的大二層網(wǎng)絡(luò)。江蘇省水利數(shù)據(jù)中心和同城災(zāi)備機(jī)房間通過(guò)裸光纖直連，波分線路復(fù)用，實(shí)現(xiàn) SAN互通，在數(shù)據(jù)中心內(nèi)部，通過(guò) MAC 尋址，將共享數(shù)據(jù)源或相近類型的業(yè)務(wù)系統(tǒng)劃入同一 VLAN，以VLAN 為單位控制互通與隔離；實(shí)現(xiàn)了大規(guī)模二層網(wǎng)絡(luò)與平滑擴(kuò)容，滿足異址數(shù)據(jù)中心間的資源動(dòng)態(tài)調(diào)配和管理，實(shí)現(xiàn)了分布式云；提高了備份和 HA效率，保障業(yè)務(wù)連續(xù)性。

2.2 基于信息資源目錄和共享交換平臺(tái)的數(shù)據(jù)共享訪問(wèn)技術(shù)

水利數(shù)據(jù)類型多樣，數(shù)據(jù)庫(kù)、文件、多媒體、大數(shù)據(jù)（NoSQL）等，對(duì)其整合和共享是水利數(shù)據(jù)云的任務(wù)。信息資源目錄是分布式數(shù)據(jù)資源有效集成方式。江蘇水利信息資源目錄通過(guò)對(duì) SL 473—2010《水利信息核心元數(shù)據(jù)》語(yǔ)義進(jìn)行擴(kuò)充，使之支持?jǐn)?shù)據(jù)的溯源能力，形成庫(kù)－表－字段和記錄三級(jí)元數(shù)據(jù)體系，用面向?qū)ο?、分層建模的?shù)據(jù)模型[3]，組織水利對(duì)象數(shù)據(jù)項(xiàng)、數(shù)據(jù)元和元數(shù)據(jù)[4]，并通過(guò)構(gòu)建語(yǔ)義庫(kù)、知識(shí)圖譜實(shí)現(xiàn)關(guān)聯(lián)查詢和分面搜索。系統(tǒng)開發(fā)采用 MVC 架構(gòu)，數(shù)據(jù)模型層為水利基礎(chǔ)數(shù)據(jù)庫(kù)、元數(shù)據(jù)庫(kù)和語(yǔ)義庫(kù)等；控制層包含元數(shù)據(jù)抽取、目錄生成、分面推薦、訂單和查詢等功能接口，依托元數(shù)據(jù)、數(shù)據(jù)分級(jí)分類標(biāo)準(zhǔn)指導(dǎo)元數(shù)據(jù)注冊(cè)管理和數(shù)據(jù)共享，采用 Web Service 封裝內(nèi)部功能和外部訪問(wèn)服務(wù)，基于 UDDI 服務(wù)目錄，滿足數(shù)據(jù)共享服務(wù)的注冊(cè)和查詢。展示層采用樹形結(jié)構(gòu)、條件檢索、分類導(dǎo)航等方式，滿足用戶發(fā)布、檢索、訪問(wèn)的需求。系統(tǒng)功能結(jié)構(gòu)如圖 2 所示。

數(shù)據(jù)資源目錄實(shí)現(xiàn)用戶自主的信息查詢服務(wù)，交換平臺(tái)用于系統(tǒng)之間數(shù)據(jù)的傳輸、共享。數(shù)據(jù)交換平臺(tái)通常采用消息隊(duì)列（Message Queueing）技術(shù)實(shí)現(xiàn)，具有低耦合、可靠投遞、廣播、流量控制、最終一致等特性，通常用點(diǎn)對(duì)點(diǎn)（P2P）、發(fā)布/訂閱（Pub/Sub）方式，實(shí)現(xiàn)信息系統(tǒng)間數(shù)據(jù)交換。江蘇省中心采用開源的 MQ 產(chǎn)品、J2EE 架構(gòu)、面向服務(wù)（SOA）理念，基于水利專網(wǎng)，開發(fā)了由用戶定制、以服務(wù)方式注冊(cè)運(yùn)行的全省水利數(shù)據(jù)交換平臺(tái)。

在線服務(wù)也是數(shù)據(jù)實(shí)時(shí)共享的方式，在線服務(wù)接口描述了一組在網(wǎng)絡(luò)上通過(guò)標(biāo)準(zhǔn)化基于 XML 消息傳遞訪問(wèn)的操作，如 OGC 標(biāo)準(zhǔn)（WFS，WFS 和WCS）及其他相關(guān)標(biāo)準(zhǔn)，將數(shù)據(jù)封裝為標(biāo)準(zhǔn)的 Web服務(wù)接口，實(shí)現(xiàn)數(shù)據(jù)服務(wù)的聚合和拆分；或通過(guò)設(shè)計(jì)構(gòu)建數(shù)據(jù)功能服務(wù)，基于讀時(shí)模式（Schema-on-Read）從原始數(shù)據(jù)生成數(shù)據(jù)成果，形成資源化的數(shù)據(jù)湖[5]。

圖 1 江蘇省水利數(shù)據(jù)中心云總體架構(gòu)

2.3 基于服務(wù)的水利業(yè)務(wù)支撐平臺(tái)技術(shù)

水利信息資源整合共享的關(guān)鍵難點(diǎn)在于業(yè)務(wù)整合，以往水利業(yè)務(wù)系統(tǒng)開發(fā)屬于單體應(yīng)用，應(yīng)用功能同質(zhì)化嚴(yán)重，低水平重復(fù)，業(yè)務(wù)細(xì)節(jié)處理不到位，升級(jí)改善困難。信息系統(tǒng)和開發(fā)公司緊密綁定，難以行成自主產(chǎn)品和知識(shí)積累，成為制約水利信息化深入發(fā)展的瓶頸。

圖 2 水利信息資源目錄系統(tǒng)功能結(jié)構(gòu)圖

面向服務(wù)架構(gòu)（SOA）是實(shí)現(xiàn)業(yè)務(wù)組件復(fù)用的技術(shù)體系。以 ESB（企業(yè)服務(wù)總線）作為集成樞紐，實(shí)現(xiàn)企業(yè)應(yīng)用集成（EAI）是 SOA 的第一階段；在用戶主導(dǎo)內(nèi)容的 Web2.0 時(shí)代，設(shè)計(jì)簡(jiǎn)潔、緩存支持、輕量級(jí)響應(yīng)的 REST 服務(wù)，滿足了中小企業(yè)和用戶以互聯(lián)網(wǎng)為平臺(tái)，對(duì)服務(wù)和資源的使用需求，是 SOA 發(fā)展普及的第二階段；隨著云計(jì)算的興起，一種在云端部署服務(wù)的技術(shù)“微服務(wù)”（Microservice）架構(gòu)快速發(fā)展。微服務(wù)繼承了“HTTP 型 API 進(jìn)行溝通”的思想，在 Docker 容器中實(shí)現(xiàn)任務(wù)隔離和輕量部署，采用 API 網(wǎng)關(guān)，解決錯(cuò)綜復(fù)雜的服務(wù)依賴，并具備彈性負(fù)載均衡和監(jiān)控、容錯(cuò)能力，使細(xì)粒度的應(yīng)用集成真正實(shí)現(xiàn)[6]。

從各類云服務(wù)的創(chuàng)建、部署及消費(fèi)角度描述云計(jì)算的實(shí)質(zhì)，意味著云計(jì)算天然要求支持面向服務(wù)的能力[2]2。水利業(yè)務(wù)系統(tǒng)可能包含幾百個(gè)服務(wù)組件，前端頁(yè)面可能依賴幾十個(gè)微服務(wù)的計(jì)算。用SOA 技術(shù)構(gòu)建水利 PaaS 層，實(shí)現(xiàn)領(lǐng)域功能的分布式開發(fā)、多樣化實(shí)現(xiàn)和持續(xù)性迭代，提高系統(tǒng)成熟度和生命周期，并基于云實(shí)現(xiàn)彈性計(jì)算和集成，值得探討。

2.4 基于應(yīng)用集成門戶的水利應(yīng)用云技術(shù)

通過(guò)統(tǒng)一用戶、權(quán)限、門戶，實(shí)現(xiàn)資源、功能和系統(tǒng)的集成管理和訪問(wèn)。

1）統(tǒng)一用戶管理。在省平臺(tái)建設(shè)省、市、縣三級(jí)統(tǒng)一的用戶數(shù)據(jù)庫(kù)，人員屬性存儲(chǔ)在協(xié)議開放的輕量目錄訪問(wèn)協(xié)議（LDAP）目錄中，結(jié)合訪問(wèn)控制列表（ACL）進(jìn)行復(fù)雜訪問(wèn)控制和權(quán)限管理，市縣可集中訪問(wèn)省中心庫(kù)，也可采用分布式架構(gòu)自建節(jié)點(diǎn)，采用推、拉方式同步數(shù)據(jù)或遠(yuǎn)程訪問(wèn)其他節(jié)點(diǎn)數(shù)據(jù)。

2）統(tǒng)一身份認(rèn)證。在水利專網(wǎng)、政務(wù)內(nèi)網(wǎng)分別部署 CA 服務(wù)器，以 PKI/CA 數(shù)字證書鑒權(quán)，應(yīng)用系統(tǒng)采用普通密碼和數(shù)字證書雙認(rèn)證方式，保障重要業(yè)務(wù)系統(tǒng)和數(shù)據(jù)訪問(wèn)安全。

3）統(tǒng)一門戶內(nèi)容?；赑ortal，利用 URL，Iframe，Web Service 和 API 集成等界面集成技術(shù)[7]，將各類信息資源展現(xiàn)到應(yīng)用門戶中，實(shí)現(xiàn)單點(diǎn)登錄和一站訪問(wèn)。

2.5 基于端到端安全架構(gòu)的云安全技術(shù)

與傳統(tǒng)縱深防御安全需求相比，虛擬化層（Hypervisor）的自身安全、漂移導(dǎo)致的邊界缺失，主機(jī)間東西向流量未知，租戶數(shù)據(jù)和應(yīng)用的隔離，使云計(jì)算需要更細(xì)粒度的防護(hù)。端到端的安全指在終端到訪問(wèn)對(duì)象間建立系統(tǒng)性的防護(hù)體系，包括終端、管道、云平臺(tái)、管理的安全等。江蘇省水利數(shù)據(jù)中心采用“一個(gè)中心、三重防護(hù)”實(shí)現(xiàn)了端到端的云安全架構(gòu)。安全管理中心（SOC）采用態(tài)勢(shì)感知技術(shù)，應(yīng)用人工智能檢測(cè)、網(wǎng)絡(luò)流量檢測(cè)和大數(shù)據(jù)分析，實(shí)現(xiàn)安全狀態(tài)全面監(jiān)控、收集、分析、告警和可視化，采用三權(quán)分立模式實(shí)現(xiàn)了管理安全。計(jì)算環(huán)境層通過(guò)主機(jī)、數(shù)據(jù)庫(kù)和日志審計(jì)實(shí)現(xiàn)行為監(jiān)控和追溯；以漏洞掃描和惡意代碼監(jiān)測(cè)實(shí)現(xiàn)程序可信執(zhí)行保護(hù)；用數(shù)據(jù)加解密保護(hù)用戶數(shù)據(jù)。邊界層用 UTM 設(shè)備進(jìn)行病毒過(guò)濾、入侵檢測(cè)，加強(qiáng)數(shù)據(jù)流管控，采用堡壘機(jī)訪問(wèn)內(nèi)部系統(tǒng)確保終端訪問(wèn)安全。通信網(wǎng)絡(luò)層通過(guò) PKI 密鑰體系、SSL VPN安全加密隧道等技術(shù)構(gòu)建可信網(wǎng)絡(luò)連接，保障“管道”安全。

3 典型應(yīng)用

水文實(shí)時(shí)監(jiān)測(cè)及其長(zhǎng)期觀測(cè)、整編的數(shù)據(jù)是水利業(yè)務(wù)的基礎(chǔ)，也是勘測(cè)、設(shè)計(jì)、科研及工農(nóng)業(yè)生產(chǎn)，甚至交通、環(huán)保等跨行業(yè)及社會(huì)需要的重要信息。長(zhǎng)期以來(lái)，行業(yè)內(nèi)外對(duì)水文資料的申請(qǐng)、獲取和使用仍基于原始的數(shù)據(jù)庫(kù)查詢方式，效率低下且有安全隱患。江蘇水文監(jiān)測(cè)資料共享平臺(tái)以云租戶理念、云服務(wù)技術(shù)，為行業(yè)內(nèi)外不同類型用戶提供站點(diǎn)地圖查詢、整編資料目錄、數(shù)據(jù)定制推送、實(shí)時(shí)信息圖象（將數(shù)據(jù)轉(zhuǎn)換為圖片格式顯示，防止網(wǎng)絡(luò)爬蟲）、常用水文統(tǒng)計(jì)和在線數(shù)據(jù)處理等各種云端服務(wù)和應(yīng)用，實(shí)現(xiàn)了豐富的數(shù)據(jù)云功能。

水利部門職能分散但業(yè)務(wù)交織，一項(xiàng)任務(wù)需要多個(gè)部門的信息集成。水利綜合門戶系統(tǒng)采用語(yǔ)義關(guān)聯(lián)的大數(shù)據(jù)算法，實(shí)現(xiàn)水利信息資源的垂直檢索；以內(nèi)容抽取、服務(wù)注冊(cè)方式，實(shí)現(xiàn)新聞信息和業(yè)務(wù)功能的聚合；以 Session + Token 方式實(shí)現(xiàn)單點(diǎn)登錄，依據(jù)權(quán)限選擇或者根據(jù)角色分配，行成個(gè)性化門戶內(nèi)容和一站式辦公場(chǎng)景。目前，已完成省級(jí)各類數(shù)據(jù)庫(kù)資源和元數(shù)據(jù)信息、近百種功能服務(wù)和數(shù)十套業(yè)務(wù)系統(tǒng)的聚合，實(shí)現(xiàn)了 SaaS（軟件即服務(wù)）。

水利“一張圖”是水利信息化基礎(chǔ)資源，由于GIS 數(shù)據(jù)的特殊存儲(chǔ)和計(jì)算方式，使地圖訪問(wèn)往往成為數(shù)據(jù)中心網(wǎng)絡(luò)、內(nèi)存和計(jì)算性能的瓶頸。江蘇省水利地理信息云在建設(shè)過(guò)程中，將大量地圖服務(wù)依托云計(jì)算資源池發(fā)布，一個(gè)發(fā)布地圖服務(wù)的站點(diǎn)由可配多臺(tái)虛擬機(jī)支持，當(dāng)站點(diǎn)訪問(wèn)量達(dá)到閾值，可自動(dòng)增加虛擬機(jī)數(shù)量進(jìn)行負(fù)載均衡，實(shí)現(xiàn)彈性計(jì)算 GIS 云[8]。

4 結(jié)語(yǔ)

水利信息化是和 IT 技術(shù)發(fā)展緊密結(jié)合，同時(shí)立足于水利業(yè)務(wù)管理和服務(wù)需求的工作。數(shù)據(jù)中心作為信息化基礎(chǔ)設(shè)施和集成環(huán)境，承擔(dān)著水利業(yè)務(wù)信息資源環(huán)境保障、應(yīng)用支撐、服務(wù)窗口的職能，重要又具有代表性。當(dāng)前，云計(jì)算已經(jīng)落地實(shí)現(xiàn)并在各領(lǐng)域廣泛應(yīng)用，對(duì)簡(jiǎn)化數(shù)據(jù)中心建設(shè)和運(yùn)維管理，促進(jìn)信息資源整合共享，保障業(yè)務(wù)可用性和服務(wù)質(zhì)量（QoS），具有顯著的實(shí)施效果。江蘇省水利數(shù)據(jù)中心采用虛擬化、自動(dòng)運(yùn)維等技術(shù)，實(shí)現(xiàn)軟件定義的數(shù)據(jù)中心，并在平臺(tái)層構(gòu)建了各類數(shù)據(jù)和功能服務(wù)，通過(guò)門戶集成各部門應(yīng)用，驗(yàn)證實(shí)現(xiàn)了云IaaS，PaaS，SaaS 三層架構(gòu)，提升了水利信息化基礎(chǔ)設(shè)施運(yùn)維保障能力，促進(jìn)了水利信息資源集成共享和業(yè)務(wù)系統(tǒng)開發(fā)，方便了日常工作和行業(yè)管理，為智慧水利夯實(shí)了基礎(chǔ)。