基于水利云存儲技術(shù)的天氣雷達(dá)數(shù)據(jù)共享服務(wù)

鄭 文，王 琳

（水利部信息中心，北京 100053）

0 引言

隨著全球氣候變化加劇和近年來極端天氣事件頻發(fā)，水旱災(zāi)害防御已成為影響國計(jì)民生的重要工作。水利氣象業(yè)務(wù)作為水旱災(zāi)害防御工作的重要支撐，承擔(dān)著衛(wèi)星云圖、天氣雷達(dá)、降水、數(shù)值預(yù)報(bào)等各類氣象信息的接收處理及暴雨監(jiān)測預(yù)報(bào)等重要任務(wù)。長期以來，水利部信息中心與各流域機(jī)構(gòu)、中國氣象局通過 FTP 數(shù)據(jù)傳輸方式實(shí)現(xiàn)水文和氣象信息的共享服務(wù)。但 FTP 是一種點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸方式，存在對網(wǎng)絡(luò)穩(wěn)定性要求高，傳輸效率低，運(yùn)維成本高，分級管理難度大，單點(diǎn)出現(xiàn)故障時會造成數(shù)據(jù)積壓，應(yīng)急處置較為困難等問題。

隨著互聯(lián)網(wǎng)經(jīng)濟(jì)的發(fā)展成熟和大數(shù)據(jù)時代的到來，海量和多類型數(shù)據(jù)的存儲、分析、容災(zāi)、備份，以及統(tǒng)一管理對傳統(tǒng)架構(gòu)產(chǎn)生了很大的沖擊。政府對云計(jì)算的鼓勵使得云存儲步入良性發(fā)展軌道，云存儲在國內(nèi)受到極大關(guān)注，在各個行業(yè)得到廣泛的使用[1]。隨著水利信息化程度的提高，水利信息化建設(shè)在信息獲取、處理，以及信息數(shù)據(jù)的存儲建設(shè)方面取得了較大成果，基于云存儲的水利云為水利信息化數(shù)據(jù)共享提供了海量、安全、低成本、高可靠的云共享解決方案。

國家防汛抗旱指揮系統(tǒng)二期工程（以下簡稱二期工程）建設(shè)的天氣雷達(dá)應(yīng)用系統(tǒng)，要求水利部和 7 個流域機(jī)構(gòu)實(shí)現(xiàn) 158 部天氣雷達(dá)數(shù)據(jù)的實(shí)時共享[2]，天氣雷達(dá)探測的數(shù)據(jù)量巨大，傳輸時效要求高，原有的 FTP 數(shù)據(jù)共享方式完全不能滿足新要求下的雷達(dá)數(shù)據(jù)共享應(yīng)用需求，因此應(yīng)用水利云共享存儲平臺解決水利部與 7 個流域機(jī)構(gòu)之間天氣雷達(dá)數(shù)據(jù)共享的主要方案應(yīng)勢而生。

1 水利云共享存儲平臺簡介

1.1 技術(shù)架構(gòu)

水利云共享存儲平臺采用分層架構(gòu)，架構(gòu)圖如圖 1 所示。

具體架構(gòu)包括以下 3 層：

1）數(shù)據(jù)層。數(shù)據(jù)層是平臺基礎(chǔ)，各種高可靠性、高可用性、集群模式的數(shù)據(jù)庫用于邏輯數(shù)據(jù)的存儲，而本地磁盤、網(wǎng)絡(luò)存儲、Hadoop 等分布式存儲則用于業(yè)務(wù)數(shù)據(jù)的存儲。水利云共享存儲平臺根據(jù)用戶對數(shù)據(jù)讀寫速度、可靠性、存儲單元可擴(kuò)展性的需求及現(xiàn)有資源等靈活選擇數(shù)據(jù)層。

圖 1 水利云共享存儲平臺架構(gòu)圖

2）服務(wù)層。服務(wù)層處于數(shù)據(jù)層與表現(xiàn)層中間，起到數(shù)據(jù)交換中承上啟下的作用。水利云共享存儲平臺采用高可擴(kuò)展設(shè)計(jì)思路，使系統(tǒng)能夠兼容多種數(shù)據(jù)庫和存儲模塊，并能根據(jù)行業(yè)需求快速實(shí)現(xiàn)對其他存儲方式的支持。服務(wù)層采用內(nèi)存對象緩存系統(tǒng)，提高了數(shù)據(jù)的訪問效率。

3）表現(xiàn)層。表現(xiàn)層提供了豐富的云存儲訪問機(jī)制，包括 Web 頁面的云存儲、網(wǎng)盤及桌面客戶端的操作，提供 SDK 和 API 的訪問接口，以及高速服務(wù)等。水利云共享存儲平臺既提供網(wǎng)盤等應(yīng)用供用戶直接使用，又可作為基礎(chǔ)存儲服務(wù)供其他服務(wù)與應(yīng)用程序使用。

通過對云存儲服務(wù)合理分層，并由數(shù)據(jù)層提供靈活的數(shù)據(jù)和存儲方式選擇，服務(wù)層采用內(nèi)存對象緩存技術(shù)，表現(xiàn)層提供豐富的訪問機(jī)制，實(shí)現(xiàn)對天氣雷達(dá)數(shù)據(jù)的高效訪問。

1.2 技術(shù)特點(diǎn)

水利云共享存儲平臺是指通過集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量的各種不同類型的存儲通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)，優(yōu)點(diǎn)在于對于普通用戶不必考慮數(shù)據(jù)存儲、備份等問題，只要按需訪問獲取或者提供數(shù)據(jù)即可。具體特點(diǎn)如下：

1）數(shù)據(jù)安全性。在水利信息化建設(shè)中，要求建立數(shù)據(jù)共享體系時應(yīng)采用數(shù)據(jù)加密技術(shù)進(jìn)行數(shù)據(jù)的存儲和傳輸，水利云共享存儲平臺利用多用戶安全與隔離的特性，保證數(shù)據(jù)及平臺的安全性。

2）跨平臺傳輸。水利系統(tǒng)數(shù)據(jù)上傳和下載可以通過目標(biāo)主流的 Web Service 服務(wù)方式進(jìn)行開發(fā)和應(yīng)用。Web Service 對于在不同系統(tǒng)平臺上開發(fā)的應(yīng)用程序之間通信無特殊要求，完全基于 XML （可擴(kuò)展標(biāo)記語言）、XSD（XML 架構(gòu)定義語言）等獨(dú)立于平臺和軟件供應(yīng)商的標(biāo)準(zhǔn)，是可互操作的、分布式應(yīng)用程序的平臺。

3）用戶權(quán)限管理。在通常免費(fèi)使用的公共云存儲中，沒有用戶級別及相關(guān)使用權(quán)限的劃分，但在實(shí)際應(yīng)用過程中，不同身份的用戶對不同文件及文件夾需要劃分不同的使用權(quán)限，以滿足不同的應(yīng)用需求。水利云共享存儲平臺不僅根據(jù)不同的用戶劃分不同權(quán)限，而且通過高強(qiáng)度密碼等機(jī)制保證用戶認(rèn)證授權(quán)的安全性，以及通過冗余節(jié)點(diǎn)保證用戶文件的安全性。用戶權(quán)限分配如表 1 所示。

表 1 用戶級別及權(quán)限分配表

2 天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)

2.1 天氣雷達(dá)數(shù)據(jù)情況

截至 2018 年底，天氣雷達(dá)數(shù)據(jù)包括水利部部本級及各流域共計(jì) 104 部雷達(dá)站的相關(guān)數(shù)據(jù)，其中單部雷達(dá)（PUP）產(chǎn)品數(shù)據(jù)每日處理的文件數(shù)量約為15 萬個，日數(shù)據(jù)量約為 2.3 GB，每年需處理的文件數(shù)量約為 5 780 萬個，年數(shù)據(jù)總量約為 840 GB；雷達(dá)基數(shù)據(jù)每日需處理的文件數(shù)量約為 2 萬個，日數(shù)據(jù)量約為 14 GB；每年需處理的文件數(shù)量約為770 萬個，年數(shù)據(jù)總量約為 5 TB；雷達(dá)探測數(shù)據(jù)每日生成的文件數(shù)量約為 41 萬個，日數(shù)據(jù)量約為6 GB；每年生成的文件數(shù)量約為 1.5 億個，年數(shù)據(jù)總量約為 2.2 TB；雷達(dá)反演降水產(chǎn)品數(shù)據(jù)每日生成的文件數(shù)量約為 1 500 個，日數(shù)據(jù)量約為 140 MB；每年生成的文件數(shù)量約為 58 萬個，年數(shù)據(jù)總量約為50 GB；GIS 服務(wù)產(chǎn)品數(shù)據(jù)每日生成的文件數(shù)量約為21 萬個，日數(shù)據(jù)量約為 18 GB；每年生成的文件數(shù)量約為 790 萬個，年數(shù)據(jù)總量約為 6.32 TB。由此可見，需要共享的天氣雷達(dá)數(shù)據(jù)從文件數(shù)量到數(shù)據(jù)量都是非常巨大的。

2.2 天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)結(jié)構(gòu)

二期工程天氣雷達(dá)應(yīng)用系統(tǒng)中，水利部和 7 個流域機(jī)構(gòu)分別通過專線方式從中國氣象局和流域氣象中心獲取天氣雷達(dá)原始基數(shù)據(jù)[3]。由于雷達(dá)原始基數(shù)據(jù)包含巨大的信息量，水利部和 7 個流域機(jī)構(gòu)在接收到雷達(dá)原始基數(shù)據(jù)后，需要對原始基數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將基數(shù)據(jù)中與降水有關(guān)的數(shù)據(jù)抽取出來，并按照統(tǒng)一的水利部標(biāo)準(zhǔn)雷達(dá)基數(shù)據(jù)格式進(jìn)行保存。

根據(jù)水旱災(zāi)害防御工作中暴雨監(jiān)視預(yù)警和定量估算降水業(yè)務(wù)的要求，水利部和 7 個流域機(jī)構(gòu)需接收的天氣雷達(dá)基數(shù)據(jù)、單部和多部雷達(dá)產(chǎn)品（約30 種）、自動氣象站觀測數(shù)據(jù)的匯集傳輸時效要達(dá)到1 min 以內(nèi)。天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)通過 Web Service上傳接口，實(shí)時將標(biāo)準(zhǔn)雷達(dá)基數(shù)據(jù)上傳到水利云盤中；同時通過 Web Service 下載接口，從云盤中下載本地需要的標(biāo)準(zhǔn)雷達(dá)基數(shù)據(jù)進(jìn)行產(chǎn)品處理，滿足水旱災(zāi)害防御工作對時效性的要求[4]，并對共享的標(biāo)準(zhǔn)雷達(dá)數(shù)據(jù)進(jìn)行統(tǒng)一的管理和維護(hù)，保證數(shù)據(jù)檢索的穩(wěn)定和高效。天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)結(jié)構(gòu)圖如圖2 所示。

2.3 天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)功能

天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)可將天氣雷達(dá)數(shù)據(jù)上傳到水利云共享存儲平臺，從水利云共享存儲平臺下載天氣雷達(dá)數(shù)據(jù)，并對水利云共享存儲平臺上的數(shù)據(jù)進(jìn)行維護(hù)，主要有用戶登錄身份驗(yàn)證、雷達(dá)數(shù)據(jù)共享和水利云共享存儲平臺數(shù)據(jù)維護(hù)三大功能。

圖 2 天氣雷達(dá)數(shù)據(jù)共享系統(tǒng)結(jié)構(gòu)圖

2.3.1 用戶登錄身份驗(yàn)證

用戶登錄身份驗(yàn)證采用用戶名加密碼方式，可有效防止非本系統(tǒng)或者惡意用戶進(jìn)行非法操作，影響共享系統(tǒng)的正常工作。

2.3.2 雷達(dá)數(shù)據(jù)共享管理

雷達(dá)數(shù)據(jù)共享管理通過水利云共享存儲平臺，對實(shí)時共享的天氣雷達(dá)數(shù)據(jù)進(jìn)行上傳、下載和刪除等操作的統(tǒng)一管理。

1）數(shù)據(jù)上傳流程。流程如下：

a.讀取日志文件記錄表。查詢記錄表中是否有相應(yīng)的數(shù)據(jù)文件存在，并查詢文件狀態(tài)。當(dāng)數(shù)據(jù)文件不存在時，向文件記錄表中增加 1 條文件記錄，文件狀態(tài)為“上傳中”，準(zhǔn)備上傳文件，記錄添加成功；記錄添加失敗或者查詢記錄已有用戶“上傳中”，停止上傳操作，等待下次查詢文件記錄表。

b.數(shù)據(jù)上傳，讀取本地?cái)?shù)據(jù)文件，通過水利云共享存儲平臺中的 Web Services 接口上傳數(shù)據(jù)文件。

c.修改日志記錄表。文件上傳完畢，修改文件記錄表中文件狀態(tài)為“完成”。如文件上傳失敗，重復(fù) 3 次上傳操作流程，上傳成功，則修改記錄表狀態(tài)為“完成”；如 3 次上傳失敗，則刪除文件記錄表當(dāng)前文件記錄信息，退出上傳操作，等待下次啟動上傳操作。

2）數(shù)據(jù)文件下載流程。流程如下：

a.讀取日志文件記錄表。查詢文件記錄表中是否有相應(yīng)的數(shù)據(jù)文件存在，并查詢文件狀態(tài)。當(dāng)文件存在且狀態(tài)為“已完成”時，讀取文件存放路徑，準(zhǔn)備下載文件；當(dāng)未查詢到相關(guān)數(shù)據(jù)記錄時，記錄本地日志文件，退出平臺鏈接，等待下次鏈接操作。

b.數(shù)據(jù)下載。當(dāng)查詢到相關(guān)數(shù)據(jù)文件存在且可下載時，通過水利云共享存儲平臺中的Web Service 接口，以“只讀”方式從相應(yīng)的文件目錄中查找文件并下載到本地文件目錄。

3）數(shù)據(jù)文件刪除流程。流程如下：

a.查詢文件記錄表。查詢文件記錄表中是否有相應(yīng)的數(shù)據(jù)文件記錄信息，并讀取文件存放的云盤路徑信息，以及修改此記錄狀態(tài)為“刪除中”。

b.刪除數(shù)據(jù)文件。調(diào)用水利云共享存儲平臺刪除文件操作接口，執(zhí)行刪除操作。

c.刪除文件記錄表記錄。將文件記錄表中相應(yīng)的文件記錄信息刪除；將模塊操作信息寫入本地日志文件，然后退出模塊。

2.3.3 水利云共享存儲平臺數(shù)據(jù)維護(hù)

1）數(shù)據(jù)一致性維護(hù)。當(dāng)水利云共享存儲平臺或網(wǎng)絡(luò)出現(xiàn)故障時，可能出現(xiàn)文件記錄表信息和實(shí)際云盤文件信息不一致的情況，從而導(dǎo)致一些無效的文件日志記錄或者無法訪問到的雷達(dá)數(shù)據(jù)長期存放，會使平臺數(shù)據(jù)混亂。

水利云共享存儲平臺數(shù)據(jù)維護(hù)功能是，對云平臺上已有的所有數(shù)據(jù)文件及文件記錄表中的信息進(jìn)行逐一比對，將沒有文件記錄信息的數(shù)據(jù)文件或者沒有數(shù)據(jù)文件的記錄信息進(jìn)行刪除操作，從而保證文件記錄信息和數(shù)據(jù)文件一一對應(yīng)。此功能每天執(zhí)行 1 次。

數(shù)據(jù)一致性維護(hù)流程如下：

a.讀取云盤文件信息。調(diào)用 method=getAllFileL istByUid，獲取云盤文件信息列表。

b.讀取云盤文件信息列表。通過云盤 Web Services接口讀取云盤文件信息記錄表中的所有記錄。

c.比對文件信息和記錄表信息。首先比對文件數(shù)量和日志記錄條數(shù)是否一致，不一致時再逐個比對文件和記錄。如記錄表中沒有數(shù)據(jù)文件，將數(shù)據(jù)文件進(jìn)行刪除操作（比對不包括正在上傳、刪除中的記錄和對應(yīng)的文件等信息）；如記錄表中有相應(yīng)數(shù)據(jù)文件的記錄信息，將記錄信息的標(biāo)志位更改為1。數(shù)據(jù)文件比對結(jié)束后，將記錄表中標(biāo)志位為 0（沒有比對上的）的記錄信息進(jìn)行刪除操作。

2）歷史數(shù)據(jù)維護(hù)。由于水利云共享存儲平臺存儲空間有限，所以云平臺上只保留一定時間內(nèi)的天氣雷達(dá)數(shù)據(jù)，當(dāng)數(shù)據(jù)超過有效期限時，需要對歷史數(shù)據(jù)進(jìn)行刪除操作。數(shù)據(jù)的有效期由運(yùn)行控制系統(tǒng)進(jìn)行設(shè)定，一般設(shè)定為 3 d。

歷史數(shù)據(jù)刪除流程如下：

a.讀取云盤文件信息列表。通過云盤 Web Services接口讀取云盤文件信息記錄表中的所有記錄。

b.判斷文件上傳時間。將記錄表中的時間字段“upTM”與設(shè)定的有效期進(jìn)行比較，判斷是否超時。

c.歷史數(shù)據(jù)刪除。對于過期的歷史數(shù)據(jù)，先將文件日志表中對應(yīng)的記錄狀態(tài)標(biāo)識設(shè)置成“刪除中”，然后從云盤中刪除文件，再對對應(yīng)的文件日志記錄進(jìn)行刪除操作；對超時的文件和日志記錄進(jìn)行相同操作，直到所有過期數(shù)據(jù)刪除完畢。

3）數(shù)據(jù)存儲維護(hù)。數(shù)據(jù)存儲維護(hù)功能可方便運(yùn)維人員對云平臺上的數(shù)據(jù)存儲進(jìn)行管理維護(hù)，在運(yùn)行控制端可查詢云平臺上數(shù)據(jù)的存儲情況，并對數(shù)據(jù)進(jìn)行手動上傳和刪除操作。

3 結(jié)語

利用水利云平臺的云存儲技術(shù)實(shí)現(xiàn)巨量雷達(dá)數(shù)據(jù)實(shí)時共享與交換的方式方法，對未來海量雷達(dá)數(shù)據(jù)的實(shí)時共享和快速交換具有重要參考價(jià)值[5]。但目前天氣雷達(dá)數(shù)據(jù)的標(biāo)準(zhǔn)化處理全部在水利部部本級服務(wù)器上完成，隨著需要共享的雷達(dá)數(shù)據(jù)進(jìn)一步增加，達(dá)到設(shè)計(jì)的 158 部乃至更多時，這種處理方式會給水利部部本級服務(wù)器帶來巨大的處理壓力。今后，需要升級完善水利 PaaS 平臺（平臺即服務(wù)）功能，實(shí)現(xiàn)雷達(dá)數(shù)據(jù)的標(biāo)準(zhǔn)化處理在水利云平臺上多節(jié)點(diǎn)、進(jìn)程實(shí)時完成[6]，才能真正做到天氣雷達(dá)數(shù)據(jù)高效處理和實(shí)時共享與交換。