大數(shù)據(jù)和云技術在省級山洪監(jiān)測預警中的應用

李冬杰，王愛娜，肖鳳林，李 暨

（北京金水信息技術發(fā)展有限公司，北京 100053）

大數(shù)據(jù)和云技術在省級山洪監(jiān)測預警中的應用

李冬杰，王愛娜，肖鳳林，李 暨

（北京金水信息技術發(fā)展有限公司，北京 100053）

針對部分已建省、市級山洪監(jiān)測預警系統(tǒng)功能較少、運行效率低、性能指標不達標的問題，結合縣級防汛部門對監(jiān)測數(shù)據(jù)可靠性和時效性需求，在現(xiàn)有山洪災害防治體系的基礎上，提出基于云計算、大數(shù)據(jù)等關鍵技術的省級山洪監(jiān)測平臺總體設計架構，分別從云架構基礎設施、大數(shù)據(jù)資源中心、平臺即服務和山洪災害監(jiān)測預警軟件即服務等 4 個層次介紹云技術及大數(shù)據(jù)的具體應用方案，探索系統(tǒng)應用模式，展望應用效益，大數(shù)據(jù)和云技術為省級山洪監(jiān)測預警平臺建設提供強有力的技術支撐。

山洪災害；大數(shù)據(jù)；云技術；按需定制

0　引言

近年來，由于山洪暴發(fā)引起的溪河洪水泛濫、泥石流、山體滑坡等自然災害頻繁發(fā)生，帶來了人員傷亡、財產損失、基礎設施毀壞及環(huán)境資源破壞等多種傷害。國家對山洪災害極其重視，根據(jù)黨中央國務院的戰(zhàn)略部署和 2011 年中央 1 號文件等相關文件要求，依據(jù)《全國中小河流治理和病險水庫除險加固、山洪地質災害防御和綜合治理總體規(guī)劃》的內容和任務，建設完成了全國 2 058 個縣的山洪災害監(jiān)測預警平臺，29 個省、新疆生產建設兵團和305 個地市的山洪災害監(jiān)測預警信息管理系統(tǒng)［1-2］；開展了全國山洪災害防治項目建設，建立了全國山洪災害防治數(shù)據(jù)庫，開發(fā)了國家級山洪災害調查評價數(shù)據(jù)審核匯集系統(tǒng)和監(jiān)測預警信息管理及服務系統(tǒng)。

云計算、大數(shù)據(jù)時代的到來，為山洪監(jiān)測預警平臺建設帶來了新的解決思路，全國山洪災害防治項目實施方案大綱（2016—2020 年）已提出升級完善省、地市級監(jiān)測預警信息管理系統(tǒng)，利用大數(shù)據(jù)、云服務、移動互聯(lián)網(wǎng)等新技術，提高系統(tǒng)的監(jiān)測預報預警能力和數(shù)據(jù)運行維護效率，擴大預警信息覆蓋面，逐步開展山洪災害預警信息社會服務的建設要求。但是目前市級山洪災害預警系統(tǒng)功能較少，服務水平較低，系統(tǒng)的性能指標不能滿足《省、地市級山洪災害監(jiān)測預警信息管理系統(tǒng)技術要求》的要求［3］，一些省份研制的全省集中式系統(tǒng)，預警方式單一，對于縣級及鄉(xiāng)鎮(zhèn)來說反應速度不夠迅速，使得預警效果難以滿足實際需要［4］。部分省、市已建系統(tǒng)雖然基本能滿足防汛工作需要，但操作便攜性差、查詢分析關聯(lián)性不強，運行效率較低，數(shù)據(jù)量大時會造成系統(tǒng)卡死，統(tǒng)計報表不完善，給用戶工作帶來極大不便。

為此探討大數(shù)據(jù)和云技術在省級山洪監(jiān)測預警平臺中的應用方案，為下階段省、地市級監(jiān)測預警信息管理系統(tǒng)升級改造，實現(xiàn)山洪監(jiān)測預警數(shù)據(jù)多級共享，業(yè)務應用多級服務提供技術支撐。

1　建設目標

在現(xiàn)有山洪災害防治體系的基礎上，以?。ㄗ灾螀^(qū)、直轄市、新疆兵團）為實施單元，服務于省、市、縣三級山洪災害防治管理機構，充分運用大數(shù)據(jù)、云服務等技術和資源，搭建省級云架構基礎設施，并在此基礎上部署大數(shù)據(jù)平臺，實現(xiàn)對山洪大數(shù)據(jù)的處理和運算，實現(xiàn)海量數(shù)據(jù)內在邏輯關系的挖掘和分析，以滿足山洪監(jiān)測預警服務的需要，并通過整合完善已有功能，建設省級山洪監(jiān)測云平臺，采用分級分塊權限管理和獨立展現(xiàn)的模式實現(xiàn)省、市、縣各級用戶業(yè)務協(xié)同，使各級防汛部門能夠及時掌握山洪災害實時監(jiān)測、預警、響應信息和防治情況，提高各級各部門之間的應急聯(lián)動，提升綜合防災減災能力，提高山洪災害科學管理水平。

2　建設方案

2.1總體架構設計

系統(tǒng)總體邏輯框架是系統(tǒng)的核心，根據(jù)具體建設內容及要求，將系統(tǒng)總體邏輯架構自下至上分為云架構基礎設施層、大數(shù)據(jù)資源中心層、平臺即服務層和軟件即服務層；同時安全保障體系標準規(guī)范體系貫穿整體系統(tǒng)，如圖 1 所示。

1）云架構基礎設施?；A設施層資源池主要包括計算、存儲和網(wǎng)絡等資源池，為上層的軟件和數(shù)據(jù)等提供基礎的計算、存儲、網(wǎng)絡服務，云架構的基礎設施可通過資源的池化，實現(xiàn)資源的動態(tài)分配、再分配和回收。

2）省級山洪災害大數(shù)據(jù)中心。數(shù)據(jù)庫建設采用已頒布的國家或行業(yè)標準建立數(shù)據(jù)庫，主要包括山洪災害監(jiān)測、山洪災害預警、調查成果、分析評價和空間庫等數(shù)據(jù)庫。數(shù)據(jù)類型包括結構化、半結構化和非結構化等。

3）平臺即服務層。平臺服務層主要提供應用開發(fā)、測試和運行的平臺。在原應用支撐平臺基礎上增加了大數(shù)據(jù)商用和開發(fā)類支撐軟件，實現(xiàn)對省級山洪監(jiān)測預警數(shù)據(jù)的基礎分析功能，提供基礎數(shù)據(jù)產品服務。

4）山洪災害監(jiān)測預警軟件即服務。軟件即服務是一種軟件使用模式，在這種模式中，軟件及其相關的數(shù)據(jù)被在云端集中式地托管。在應用模式上提供服務于各級用戶的基于云端服務的業(yè)務應用，同時增加了基于大數(shù)據(jù)進行智能決策的模塊，實現(xiàn)大數(shù)據(jù)挖掘、分析與應用功能。

2.2云架構基礎設施

省級山洪監(jiān)測預警平臺可以采用云架構基礎設施，其中交換、空間、應用及數(shù)據(jù)庫等服務器均為建立在 2 臺高性能服務器上的虛擬機。虛擬服務器通過 2 個光纖交換機連接存儲控制器，進而達到實現(xiàn)高性能存儲的目的。此配置為支持基礎大數(shù)據(jù)分析處理及省、市、縣三級山洪監(jiān)測預警應用的基本建議配置，在下階段省級山洪監(jiān)測預警平臺建設過程中，應充分分析省已建基礎設施情況，對不滿足條件的省、市宜參照此配置進行完善。

云管理軟件推薦采用開源的 OpenStack 實現(xiàn)，OpenStack 是一個開源的云計算管理平臺軟件，由NASA（美國國家航空航天局）和 Rackspace 合作研發(fā)，可以實現(xiàn)對服務器、存儲、網(wǎng)絡等軟硬件資源的統(tǒng)一調度管理，為用戶提供自助式服務界面，支持多租戶資源共享、安全隔離和按需彈性計算等功能。

2.3大數(shù)據(jù)資源中心

2.3.1數(shù)據(jù)獲取

?。ㄗ灾螀^(qū)、直轄市）大數(shù)據(jù)中心數(shù)據(jù)源橫向來源于現(xiàn)有的省級防汛指揮辦公室、水文局，包括水文局的實時水雨情、工情、氣象數(shù)據(jù)；國家防汛抗旱總指揮部的全國山洪災害防治數(shù)據(jù)庫及現(xiàn)有國家防汛指揮系統(tǒng)，水利普查系統(tǒng)和國家水資源管理系統(tǒng)的業(yè)務數(shù)據(jù)。數(shù)據(jù)源縱向來源于市、縣等單位的山洪災害調查成果數(shù)據(jù)庫，同時通過信息共享交換系統(tǒng)與國家級山洪災害實時監(jiān)測庫同步共享。

2.3.2數(shù)據(jù)庫規(guī)劃設計

通過數(shù)據(jù)獲取采集的數(shù)據(jù)信息類型包括：RDMBS 數(shù)據(jù)（結構化）；音頻、視頻和圖像（非結構化）；文檔、Excel 表格和 PDF 文件等數(shù)據(jù)（半結構化）。按照國家、行業(yè)標準和本系統(tǒng)的規(guī)范，通過信息資源規(guī)劃，規(guī)劃建設山洪災害監(jiān)測、山洪災害預警、調查成果、分析評價和空間庫等五大數(shù)據(jù)庫，獲取的數(shù)據(jù)通過整合處理、質量控制和入庫復查，最終完成信息資源庫的建設。

2.3.3大數(shù)據(jù)存儲及管理

在原省級山洪數(shù)據(jù)庫基礎上增加了大數(shù)據(jù)存儲平臺和管理。推薦采用基于開放的 Apache Hadoop框架進行大數(shù)據(jù)存儲和管理，Hadoop 是一個由Apache 基金會所開發(fā)的分布式系統(tǒng)基礎架構，支持用戶在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。大數(shù)據(jù)存儲平臺在建設初期使用已有存儲資源；大數(shù)據(jù)管理在關系數(shù)據(jù)庫管理系統(tǒng)和文件系統(tǒng)基礎上，增加 NoSQL 數(shù)據(jù)庫和分布式文件系統(tǒng)HDFS，實現(xiàn)對半結構化和非結構化數(shù)據(jù)的獲取和組織。在海量數(shù)據(jù)處理方面，應針對不同的數(shù)據(jù)類型考慮不同的技術，如針對數(shù)據(jù)量大且不間斷的實時數(shù)據(jù)，需考慮采用流計算技術進行處理；針對數(shù)萬億行松散記錄的查詢則可以考慮采用大規(guī)模 NoSQL技術［5］。

2.4平臺即服務

平臺即服務層通過對底層基礎設施和數(shù)據(jù)資源進行封裝，對開發(fā)者屏蔽底層的存儲、網(wǎng)絡、計算和數(shù)據(jù)資源，以統(tǒng)一的開發(fā)接口供應用開發(fā)者進行調用。本平臺除常規(guī)的統(tǒng)一用戶管理及身份認證、統(tǒng)一數(shù)據(jù)訪問、電子文檔管理、報表服務等常規(guī)服務支撐外，需提供大數(shù)據(jù)分析服務，主要完成數(shù)據(jù)處理和分析功能，并通過數(shù)據(jù)服務為應用層服務。數(shù)據(jù)服務層應以數(shù)據(jù)之間的關系挖掘為主要方法，圍繞山洪監(jiān)測典型應用需求，以跨業(yè)務、跨層級、跨數(shù)據(jù)資源為重點，提供危險區(qū)相似性和山洪多因素誘因分析等數(shù)據(jù)產品服務。

2.5山洪災害監(jiān)測預警軟件即服務

2.5.1云服務資源管理中心

云服務資源管理中心是管理服務的核心，它實時管理各種已經注冊的服務資源，客戶端先訪問此中心的服務再去尋址調用服務。在服務器端可以通過網(wǎng)頁查看各種服務資源的注冊與管理狀況并完成服務的啟動、停止，還可以人工完成各種服務的注冊、修改、查詢、刪除、狀態(tài)變更等，同時實時監(jiān)測所有服務的調用情況。

2.5.2山洪災害監(jiān)測預警平臺應用開發(fā)

開發(fā)綜合信息服務、綜合預警預報、大數(shù)據(jù)智能決策、運行監(jiān)測、社會化服務功能，并注冊到云服務資源管理中心。

1）綜合信息服務。綜合信息服務系統(tǒng)基于“一張圖”匯聚了山洪災害監(jiān)測、預警、調查評價成果等多源信息，對雨水情信息、墑情、旱情、工情、氣象國土相關信息，山洪災害預警等信息監(jiān)控，統(tǒng)計，分析與展現(xiàn)。采用分級分塊權限管理和獨立展現(xiàn)、搭建云架構的省級山洪災害監(jiān)測預警信息綜合服務平臺，為省、市、縣三級防汛抗旱管理部門提供業(yè)務應用。

2）綜合預警預報。開發(fā)山洪災害預警預報分析系統(tǒng)，基于實時雨水情信息和氣象臨近數(shù)值預報，以小流域基本單元為基礎進行網(wǎng)格化暴雨洪水動態(tài)模擬分析，確定山洪災害不同預警等級風險范圍，通過用戶等級權限控制，提供縣級用戶對山洪災害預警監(jiān)視、響應等業(yè)務工作平臺，省、市級用戶對縣級山洪災害防治單位上報和發(fā)布的預警信息進行監(jiān)視，查看和統(tǒng)計分析。本系統(tǒng)建成后，應與現(xiàn)有縣級山洪災害監(jiān)測預警平臺形成主備方式，以本系統(tǒng)作為省、市、縣三級山洪災害預警監(jiān)視，響應，反饋，統(tǒng)計的主要業(yè)務平臺，現(xiàn)有縣級山洪災害監(jiān)測預警平臺為備用業(yè)務平臺。

3）大數(shù)據(jù)智能決策。通過調用平臺即服務相關服務產品，提供危險區(qū)相似性和山洪多因素誘因分析相關服務。危險區(qū)相似性分析主要基于各小流域樣本數(shù)據(jù)，假定暴雨和洪峰流量是同頻率，依據(jù)頻率暴雨通過單位線獲得控制斷面的洪峰流量，利用水位流量關系曲線轉換為對應的水位，確定出斷面的各級危險水位，并以此水位，結合地形地貌情況，分析相似危險區(qū)，提供相似小流域山洪風險互警等功能；山洪多因素誘因分析主要通過山的海拔、坡度、走向、植被和土壤等狀態(tài)的精細化分析，通過大數(shù)據(jù)關聯(lián)分析，尋找這些數(shù)據(jù)與山洪之間的聯(lián)系，輔助山洪災害精準預警預報。

4）運行監(jiān)測。建立統(tǒng)一的運行監(jiān)測管理功能，實現(xiàn)網(wǎng)絡、系統(tǒng)設備、遙測數(shù)據(jù)的接入，實現(xiàn)對系統(tǒng)網(wǎng)絡和設備的運行情況實時監(jiān)控，對水文遙測數(shù)據(jù)的質量控制。省、市級用戶通過運行監(jiān)測系統(tǒng)定制相關服務實現(xiàn)對系統(tǒng)網(wǎng)絡監(jiān)控，系統(tǒng)數(shù)據(jù)監(jiān)測及對設備運行情況及異常數(shù)據(jù)站點統(tǒng)計信息的查看和維護；縣級用戶則只需定制異常數(shù)據(jù)校核、提示、處理，屏蔽站點恢復，異常數(shù)據(jù)站點統(tǒng)計，設備運行情況信息的查看和維護等相關服務。

5）監(jiān)測預警信息社會化服務。應用提升社會化服務功能，開發(fā)面向群眾的防洪減災信息服務的APP，提供全面和綜合的水文、氣象、災情等信息監(jiān)視、信息查詢，避險路線設計、智能導引等功能；同時建立以預警預報數(shù)據(jù)服務為核心的綜合服務推送系統(tǒng)，實時接收并處理預警預報系統(tǒng)的數(shù)據(jù)，并針對不同用戶需求進行內容分發(fā)，定制精準服務推送，通過廣播、網(wǎng)絡、社會媒體和戶外電子屏等多種渠道對外發(fā)布。

2.5.3系統(tǒng)使用模式

面向國家、流域機構、?。ㄊ校?、縣四級防汛指揮部門使用各自的硬件終端通過公眾服務網(wǎng)或互聯(lián)網(wǎng)接入到軟件即服務服務器群組注冊，由服務器統(tǒng)一安排資源?，F(xiàn)階段縣級部門可以采用縣級系統(tǒng)及云端訪問并行的方式運行，逐步過渡。用戶可以根據(jù)其權限通過個人電腦、智能移動終端或者網(wǎng)頁瀏覽器訪問綜合信息平臺，獲取相應的數(shù)據(jù)及服務。

3　應用效益展望

3.1資源按需定制，減少維護成本

考慮到縣防汛抗旱部門，資金、人員都十分有限，無法投入太多力量管理維護服務器等基礎設施及相關系統(tǒng)，下階段轉變建設模式，從以縣級防辦為主體的分散建設模式，轉變?yōu)橐允。ㄗ灾螀^(qū)、直轄市、新疆兵團）防辦為主體的云數(shù)據(jù)及應用中心的建設模式，搭建云計算基礎架構的省級山洪監(jiān)測云平臺，可以以彈性、按需獲取的方式通過網(wǎng)絡向轄區(qū)各級用戶提供相關服務，可以有效地實現(xiàn)應用資源按需定制，減少維護成本。

3.2實現(xiàn)資源的共享，消除信息孤島

目前省、市、縣三級防汛部門均開發(fā)了山洪監(jiān)測預警相關系統(tǒng)，系統(tǒng)間需要進行數(shù)據(jù)及服務的交互和共享，與其他部門之間有時也需要進行數(shù)據(jù)的共享，基于云架構的省級山洪監(jiān)測預警平臺具有良好的開放性，系統(tǒng)可以以服務形式向其他系統(tǒng)提供數(shù)據(jù)、工具或計算模型，各縣級用戶及相關部門，可以根據(jù)其權限通過相應的協(xié)議訪問云平臺的資源。該架構可以很好地實現(xiàn)系統(tǒng)間信息和資源的交互，消除系統(tǒng)間存在的“信息孤島”現(xiàn)象。

3.3豐富系統(tǒng)功能，提升服務能力

通過建立涵蓋綜合信息服務、綜合預警預報、大數(shù)據(jù)智能決策、運行監(jiān)測、社會化服務于一體的省級山洪監(jiān)測預警平臺，以多種可視化的方式進行信息的集中展示，提供全面綜合的預警監(jiān)視、智能決策和信息服務，將極大地改善現(xiàn)有系統(tǒng)部分市級山洪災害預警系統(tǒng)功能較少、服務水平較低、操作便攜性差、關聯(lián)性不強等現(xiàn)象，全面提升綜合服務能力。

3.4提高數(shù)據(jù)分析速度，提升響應速度

通過大數(shù)據(jù)系統(tǒng)備份或抽取歷史數(shù)據(jù)資源，重構數(shù)據(jù)結構，針對典型應用添加算法模塊，實現(xiàn)對大批量信息檢索及統(tǒng)計分析的實時處理。如以小流域基本單元為基礎進行網(wǎng)格化暴雨洪水動態(tài)模擬分析，通過常規(guī)的分析計算方法，從數(shù)據(jù)分析到結果發(fā)布需要較長的時間，但在大數(shù)據(jù)分析框架下，只需要幾毫秒即可完成該分析計算。大數(shù)據(jù)的應用將有效地提高數(shù)據(jù)分析速度，解決原集中開發(fā)省級系統(tǒng)由于計算速度慢，預警發(fā)布不能滿足縣級及鄉(xiāng)鎮(zhèn)對預警信息獲取時效性需求的問題，提升預警響應能力。

4　結語

大數(shù)據(jù)和云技術為省級山洪監(jiān)測預警平臺建設提供了新的思維方式，構建省級山洪監(jiān)測預警平臺，可以解決長期困擾各級防汛抗旱管理部門的山洪監(jiān)測數(shù)據(jù)存儲管理和共享中存在的問題，提高山洪災害信息傳遞的時效性和可靠性，提高對山洪災害的應急反應能力。但當前大數(shù)據(jù)獲取、管理、分析和安全等關鍵技術尚無統(tǒng)一的技術規(guī)范把控［6］，尋找大數(shù)據(jù)和云技術等相關技術與山洪監(jiān)測預警的應用切合點還存在一定的難度。下一步，還需要在標準規(guī)范制定、應用適應性分析等方面加強工作力度，以期通過運用大數(shù)據(jù)和云技術等技術在山洪監(jiān)測預警信息的綜合利用，在提高預警預報準確性和時效性等方面取得新的突破。

［1］ 涂勇，何秉順，李青，等. 山洪災害數(shù)據(jù)共享問題初探［J］. 中國防汛抗旱，2014 （4）: 1-2.

［2］ 何秉順，黃先龍，郭良. 我國山洪災害防治路線與核心建設內容［J］. 山洪災害防治，2012 （5）: 19-22.

［3］ 林蕩. 岳陽市山洪災害預警信息系統(tǒng)設計與實現(xiàn)［D］. 長沙：湖南大學，2014.

［4］ 包鑫. 暴雨山洪災害監(jiān)測預警系統(tǒng)的研究與實現(xiàn)［D］. 南昌：南昌大學，2009.

［5］ 趙剛. 大數(shù)據(jù)技術與應用實踐指南［M］. 北京：電子工業(yè)出版社，2013: 55-56.

［6］ 朱建安，鞏建國，戴帥. 公安交通管理大數(shù)據(jù)系統(tǒng)框架設計與應用展望［C］//中國城市規(guī)劃學會，城市交通規(guī)劃學術委員會. 協(xié)同發(fā)展與交通實踐——2015 年中國城市交通規(guī)劃年會暨第 28 次學術研討會論文集. 北京：中國城市規(guī)劃設計研究院城市交通專業(yè)研究院，2015: 34-43.

Application of Big Data and Cloud Technology on Mountain Torrent Disaster Monitoring of Provincial Level

LI Dongjie，WANG Aina， XIAO Fenglin， LI Ji
（Beijing Golden-water Info-tech.Ltd.， Beijing 100053， China）

Aiming at the existent problems of some completed provincial level mountain torrent disaster monitoring Information systems， such as less function， low efficiency， and performance index of not meeting with the standard，based on the existing flood disaster prevention and control system， the article proposes the overall design architecture of the provincial level mountain torrent disaster monitoring information platform which based on cloud computing，big data and other key technologies. The specific application solution of big date and cloud technology on mountain torrent disaster monitoring information platform of provincial level introduced from four aspects， respectively， from the cloud infrastructure， big data resources center， platform as a service， mountain torrent disaster monitoring software as a service. It also discusses the system application mode， and looks forward to the significance and benefits. The big data and cloud technology can provide effective technical support for the establishment of the provincial level mountain torrent disaster monitoring Information platform.

flood disasters； big data； cloud technology； delivered on demand

P332.3

A

1674-9405（2016）04-0010-05

10.19364/j.1674-9405.2016.04.003

2016-05-05

李冬杰（1978- ），女，吉林遼源人，工程師，主要從事水利信息化系統(tǒng)設計。