聞琛陽 姚娟
【摘要】 智慧流域是在智慧地球概念下局部的、專業(yè)化的智慧系統(tǒng),是水利信息化的高端、集成和深度應用。要開展智慧流域研究,需要充分利用物聯(lián)網(wǎng)、大數(shù)據(jù)技術,并在云平臺上研究開發(fā)與應用。本文主要探討為智慧流域研究提供云平臺的支撐方案。
【關鍵詞】 智慧流域 云計算 物聯(lián)網(wǎng) 大數(shù)據(jù)
一、智慧流域的概念
智慧流域是指把新一代IT技術充分運用于流域綜合管理,把傳感器嵌入和裝備到流域各個角落的自然系統(tǒng)和人工系統(tǒng)的各種物體中,并通過普遍連接形成流域物聯(lián)網(wǎng);而后通過云計算將流域物聯(lián)網(wǎng)整合起來,以多源耦合的氣象水文信息保障平臺、二元水循環(huán)及伴生過程數(shù)值模擬平臺、水資源數(shù)值調(diào)控平臺、流域數(shù)據(jù)同化系統(tǒng)平臺、流域虛擬現(xiàn)實系統(tǒng)平臺等為支撐,并將其與數(shù)字流域耦合起來,完成數(shù)字流域與物理流域的無縫集成,使人類能以更加精細和動態(tài)的方式對流域進行規(guī)劃、設計和管理,從而達到流域的“智慧”狀態(tài)。
二、智慧流域研究的主要內(nèi)容以及意義
智慧流域研究包括智慧流域框架體系研究、流域立體監(jiān)測網(wǎng)應用研究、流域專業(yè)模型集成以及三維仿真、云存儲云服務技術研究。
云計算服務方式可以支撐智慧流域的存儲、建模、處理等各環(huán)節(jié)。實現(xiàn)智慧流域云計算功能,解決信息孤島與重復建設的問題,充分利用網(wǎng)絡取得遠方的計算資源,通過后端的大型云計算中心同時為眾多用戶服務。
三、云平臺對智慧流域的支撐作用
3.1物聯(lián)網(wǎng)
物聯(lián)網(wǎng)是通過射頻識別(RFID)、紅外感應器、全球定位系統(tǒng)、激光掃描器等信息傳感設備,按約定的協(xié)議,把任何物品與互聯(lián)網(wǎng)相連接,進行信息交換和通信,以實現(xiàn)智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡概念。其關鍵技術有傳感器技術、RFID標簽和嵌入式系統(tǒng)技術。
通常,物聯(lián)網(wǎng)的開展步驟首先是對物體屬性進行標識,接著通過識別設備完成對物體屬性的讀取,并將信息轉換為適合網(wǎng)絡傳輸?shù)臄?shù)據(jù)格式,最后將信息經(jīng)網(wǎng)絡傳輸?shù)叫畔⑻幚碇行?,由處理中心完成相關計算。
智慧流域根據(jù)實際需求,在物聯(lián)網(wǎng)的感知層采用以傳感器網(wǎng)絡、RFID、視頻監(jiān)控等新技術,按流域立體監(jiān)測網(wǎng)要求布設傳感裝置,通過互聯(lián)網(wǎng)信道傳輸數(shù)據(jù)到數(shù)據(jù)中心。
物聯(lián)網(wǎng)對于智慧流域的應用最核心的是對于水資源數(shù)據(jù)的采集監(jiān)測以及將采集監(jiān)測的數(shù)據(jù)傳輸至后端云平臺。水資源數(shù)據(jù)的采集主要是結合長江流域內(nèi)河段、支流、小流域特點,重點采集水文、水生態(tài)、水環(huán)境和氣象數(shù)據(jù)。水文數(shù)據(jù)則主要包括降水、蒸發(fā)、徑流(水位,流量,流速),泥沙含量,水質,土壤含水量等;水生態(tài)數(shù)據(jù)主要包括水體的溶氧、PH值、氨氮含量、亞硝酸氮含量等;水環(huán)境數(shù)據(jù)主要指各類污染的相關數(shù)據(jù),氣象數(shù)據(jù)包括氣壓、氣溫、濕度、風向、風速、降水量、雪深、雪壓、日照、地溫、水溫等。
3.2大數(shù)據(jù)
大數(shù)據(jù)技術,是指所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具,在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)技術的戰(zhàn)略意義在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。
大數(shù)據(jù)的特點有四個層面,即Volume(大量)、Variety(多樣)、Velocity(高速)、Value(價值)。
從技術上看,大數(shù)據(jù)與云計算的關系密不可分。它的特色在于對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘,但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術。
對于智慧流域研究,大數(shù)據(jù)的4V特性體現(xiàn)在其一,大量的實時或非實時采集的地理信息、野外觀測數(shù)據(jù)、云圖、水文信息等,包括眾多數(shù)據(jù)的歷史積累量;其二,智慧流域的研究與建設涉及的數(shù)據(jù)類型繁多,如各類水資源數(shù)據(jù)等;其三,面對通過復雜的數(shù)學模型進行各類數(shù)據(jù)的處理、分析、仿真等,其高速的處理速度;其四,提供有價值的結果數(shù)據(jù)或者提煉出用戶需要的數(shù)據(jù)。
3.3云計算
智慧流域是流域研究的長期演進過程,而在建設過程中所采用的云計算技術是這個過程中一項關鍵技術,可以加速和幫助實現(xiàn)智慧流域。
通過云計算,將流域或河流模擬程序拆分成無數(shù)個較小的子程序,通過網(wǎng)絡交由分布式計算機所組成的龐大系統(tǒng)搜索、計算分析之后將處理結果回傳給用戶,整個計算過程只需要幾秒就能完成。這意味著對局部河段或者流域干流的高精度的三維模擬從理想變成現(xiàn)實。
云存儲是以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。通過云存儲技術,流域中的原型觀測、實驗數(shù)據(jù)和數(shù)學模型計算的歷史數(shù)據(jù)和實時數(shù)據(jù)以及流域管理的自然、社會、經(jīng)濟等數(shù)據(jù)的存儲將不再受制于硬盤空間。
云平臺不僅可以提供強大的數(shù)據(jù)處理分析能力,提供大量的存儲資源,而且能為社會公眾用戶與專業(yè)用戶,包括研究人員提供在互聯(lián)網(wǎng)環(huán)境中的云訪問,使其可以獲取智慧流域計算統(tǒng)計的成果數(shù)據(jù)及原始數(shù)據(jù),該數(shù)據(jù)的展現(xiàn)形式可以根據(jù)實際研究和應用的需求表現(xiàn)為圖、表、文檔以及三維仿真等。
四、智慧流域對云平臺的資源需求
云平臺配置的網(wǎng)絡設備包括交換機、防火墻和負載均衡設備,將智慧流域系統(tǒng)部署在云平臺上,可考慮利用云平臺的防火墻實現(xiàn)智慧流域系統(tǒng)的地址轉換,將智慧流域平臺的內(nèi)部私網(wǎng)地址轉換為公網(wǎng)地址。針對智慧流域所需要的分布式的高速數(shù)據(jù)處理,將業(yè)務合理的分配到多個虛擬機上進行計算,云平臺可以通過負載均衡設備實現(xiàn)業(yè)務的負荷分攤。
云平臺可為智慧流域提供資源動態(tài)伸縮,實現(xiàn)基礎資源的網(wǎng)絡冗余,即智慧流域系統(tǒng)的任一資源節(jié)點異常宕機(虛擬機或物理機),都不會導致智慧流域業(yè)務的中斷,也不會導致用戶數(shù)據(jù)的丟失。同時,云平臺可根據(jù)智慧流域的系統(tǒng)軟件部署特點,為不同的軟件模塊按精簡模式或是厚置備模式分配虛擬機資源。
精簡模式,即是按實際需要分配的CPU、內(nèi)存資源分配虛擬機資源,可提高資源利用率;利用虛擬化的精簡模式,可以先分配一個最大化的虛擬資源,但是該虛擬機的實際資源為實際使用的大小,根據(jù)業(yè)務的實際資源占用率的增大而增大。
而虛擬化的厚置備模式,相對來說,資源的占用則比較固定,不會因云平臺其他業(yè)務的并發(fā)量的增大而受到影響。對于與業(yè)務關聯(lián)度高的服務器,可考慮按厚置備模式由云平臺分配虛擬機資源;而對于與業(yè)務關聯(lián)度相對較低的服務器,可考慮按精簡模式由云平臺分配虛擬機資源。
考慮到智慧流域系統(tǒng)的不斷發(fā)展和完善,為實現(xiàn)其快速、平滑的可擴展性,建議智慧流域系統(tǒng)部署在云平臺后,采用集群版本部署,核心服務器采用N+1集群部署。如此,通過云平臺不僅能實現(xiàn)硬件資源的可靠備份,而且可以實現(xiàn)軟件和應用的可靠備份。當智慧流域系統(tǒng)的虛擬機因硬件問題出現(xiàn)宕機時,云平臺可立即通過虛擬化軟件的漂移技術在其他物理機上進行重建,使業(yè)務不中斷。
針對智慧流域具有數(shù)據(jù)量大的特點,云平臺可為智慧流域提供可靠的存儲資源。在智慧流域發(fā)展的初期,建議云平臺為智慧流域提供SAN存儲,不同的數(shù)據(jù)采用不同的RAID方式,核心數(shù)據(jù)建議采用RAID0+1方式部署,非核心的數(shù)據(jù)采用RAID5方式部署。當智慧流域發(fā)展到一定階段時,若SAN存儲難以滿足其存儲空間或者讀取速度時,可考慮在云平臺上采用分布式的存儲方式。
五、小結
構建智慧流域需要物聯(lián)網(wǎng)作為數(shù)據(jù)傳輸環(huán)境,需要大數(shù)據(jù)技術完成氣象、水文、空間地理、工程設施等數(shù)據(jù)的綜合處理與分析,更需要在分析計算、成果發(fā)布、信息服務等方面得到云平臺的支撐;數(shù)據(jù)處理是管理智慧流域運作的基礎。要研究智慧流域中涉及多源海量數(shù)據(jù)組織、數(shù)據(jù)處理以及數(shù)據(jù)服務模式;實現(xiàn)智慧流域云存儲,動態(tài)分配和部署共享的存儲資源。創(chuàng)建基于ArcGIS Server為智慧流域服務的私有云,為流域用戶提供一個地理信息資源整合利用的平臺。
[作者簡介]
電話:18907185260
參 考 文 獻
[1] 蔣云鐘.冶運濤.王浩. 智慧流域及其應用前景.系統(tǒng)工程理論與實踐. 2011.31(6)
[2] 周力峰.劉文.張治中.云計算在水利科研信息化中的地位和作用.中國(國際)水務高峰論壇在線-2014第二屆中國水利信息化與數(shù)字水利技術論壇(論文集)