王家樂,徐亮亮,于溥天
(內(nèi)蒙古自治區(qū)氣象信息中心,內(nèi)蒙古 呼和浩特010010)
在海量氣象數(shù)據(jù)的快速應(yīng)用需求、快速數(shù)據(jù)解析與數(shù)據(jù)高速訪問的業(yè)務(wù)背景下,MICAPS4(Meteorology Information Comprehensive Analysis Process System Version 4)數(shù)據(jù)環(huán)境應(yīng)運(yùn)而生,其采用分布式存儲(chǔ)技術(shù)定制研發(fā),滿足了多樣異構(gòu)數(shù)據(jù)的存儲(chǔ)需求。作為預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)的支撐數(shù)據(jù)環(huán)境,目前只能通過MICAPS4客戶端查看數(shù)據(jù),沒有統(tǒng)一的數(shù)據(jù)服務(wù)接口來支撐其他業(yè)務(wù)系統(tǒng)及科研等擴(kuò)展應(yīng)用數(shù)據(jù)需求;本地越來越多的單位和個(gè)人已經(jīng)習(xí)慣了基于MUISC(Meteorological Unified Service Interface Community)統(tǒng)一服務(wù)接口的標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)的檢索和下載。因此,需以實(shí)際業(yè)務(wù)需求為出發(fā)點(diǎn),基于MUSIC開放平臺(tái)完成屏蔽底層數(shù)據(jù)庫的數(shù)據(jù)接口開發(fā),發(fā)布面向業(yè)務(wù)科研人員的統(tǒng)一、標(biāo)準(zhǔn)、豐富的數(shù)據(jù)統(tǒng)一服務(wù)接口,實(shí)現(xiàn)MICAPS4數(shù)據(jù)環(huán)境資料的接口調(diào)用。
內(nèi)蒙古自治區(qū)MICAPS4數(shù)據(jù)環(huán)境建設(shè)工作起步比較早,在數(shù)據(jù)接入和數(shù)據(jù)環(huán)境推廣工作開展過程中,將MICAPS4客戶端在全區(qū)推廣??蛻舳耸荕ICAPS4數(shù)據(jù)環(huán)境與業(yè)務(wù)人員交互的核心工具,也是氣象數(shù)據(jù)集中展示的載體,為用戶提供高分辨數(shù)據(jù)的高效顯示,矢量數(shù)據(jù)的動(dòng)畫顯示以及數(shù)據(jù)高效并行計(jì)算功能。但是在應(yīng)用過程中,仍然存在著一定的問題和不便之處,主要表現(xiàn)在以下幾個(gè)方面:①作為預(yù)報(bào)核心業(yè)務(wù)系統(tǒng)的支撐數(shù)據(jù)環(huán)境,目前只能通過MICAPS4客戶端查看數(shù)據(jù),而MICAPS4客戶端采用的是CS架構(gòu),用戶需在本地計(jì)算機(jī)安裝客戶端才可以使用;②MICAPS4數(shù)據(jù)環(huán)境資料種類繁多,沒有一個(gè)直觀的可視化頁面展示資料清單;③MICAPS4客戶端不能按照用戶需求批量下載資料,不能很好地實(shí)現(xiàn)數(shù)據(jù)歸檔需求;④目前MICAPS4格式數(shù)據(jù)僅局限于在MICAPS4客戶端內(nèi)應(yīng)用,沒有統(tǒng)一的數(shù)據(jù)服務(wù)接口來滿足其他業(yè)務(wù)系統(tǒng)及科研等擴(kuò)展應(yīng)用數(shù)據(jù)需求。
MICAPS4數(shù)據(jù)環(huán)境采用的是Cassandra分布式數(shù)據(jù)庫,其是面向高性能并發(fā)讀寫的KEY-VALUE數(shù)據(jù)庫,具有極高的并發(fā)讀寫性能。通過研究Cassandra分布式數(shù)據(jù)庫存儲(chǔ)和調(diào)用規(guī)則,實(shí)現(xiàn)屏蔽底層數(shù)據(jù)庫的數(shù)據(jù)接口應(yīng)用;基于MUSIC開放平臺(tái),發(fā)布面向業(yè)務(wù)科研人員的數(shù)據(jù)資料清單和統(tǒng)一訪問接口,總體架構(gòu)如圖1所示。
圖1總架構(gòu)
隨著MUSIC應(yīng)用范疇不斷擴(kuò)大,目前的MUSIC無法滿足MICAPS4數(shù)據(jù)環(huán)境的數(shù)據(jù)資源發(fā)布需求,MUSIC開放平臺(tái)是對(duì)MUSIC數(shù)據(jù)服務(wù)接口的升級(jí)和完善,主要目標(biāo)是提高氣象數(shù)據(jù)的服務(wù)能力、豐富接口服務(wù)功能、增強(qiáng)氣象數(shù)據(jù)及接口服務(wù)的科學(xué)管理能力。開放平臺(tái)由國家氣象信息中心專家開發(fā),在內(nèi)蒙古本地完成安裝部署。開放平臺(tái)由前端交互平臺(tái)、后端支撐中心以及后臺(tái)數(shù)據(jù)存儲(chǔ)三部分組成。主要用于MICAPS4數(shù)據(jù)環(huán)境的資料清單和接口清單的注冊、管理和發(fā)布,為氣象技術(shù)人員提供接口服務(wù)發(fā)布,實(shí)現(xiàn)用戶快速獲取氣象數(shù)據(jù)的需求。
開放平臺(tái)由2臺(tái)虛擬機(jī)服務(wù)器組成,軟硬件環(huán)境如表1所示。
表1開放平臺(tái)服務(wù)器硬件配置
經(jīng)過前期調(diào)研和對(duì)MICAPS4客戶端研究,將MICAPS4數(shù)據(jù)環(huán)境資料按照數(shù)據(jù)類型分為地面資料、高空資料、數(shù)值模式資料、雷達(dá)資料和衛(wèi)星資料五大類。為了清晰地區(qū)分各類資料及便于后續(xù)統(tǒng)一服務(wù)接口開發(fā)工作開展,MICAPS數(shù)據(jù)環(huán)境資料代碼的定義規(guī)則是:CIMISS資料代碼_MICAPS數(shù)據(jù)環(huán)境存儲(chǔ)表名,資料清單詳情如表2所示。
表2資料清單
數(shù)據(jù)統(tǒng)一服務(wù)接口由通用功能接口和定制檢索接口組成。通用功能接口為內(nèi)部接口,是在服務(wù)端實(shí)有的函數(shù),不會(huì)面向用戶調(diào)用,主要實(shí)現(xiàn)底層Cassandra分布式數(shù)據(jù)庫的檢索和格點(diǎn)要素解析等功能;定制檢索接口是面向用戶的主要接口,無需開發(fā),只需根據(jù)業(yè)務(wù)場景配置(配置其參數(shù)與某個(gè)通用功能接口的映射關(guān)系)。定制接口的描述中,只需定義其功能和檢索條件參數(shù),而不需定義其返回形式和對(duì)象。用戶調(diào)用接口時(shí),把接口名稱、接口的參數(shù)及其參數(shù)值、返回形式、數(shù)據(jù)的裝載對(duì)象,傳遞給通用的調(diào)用方法即可。實(shí)現(xiàn)一個(gè)定制接口有多種不同的返回形式,滿足不同的開發(fā)模式和編程習(xí)慣。接口服務(wù)架構(gòu)如圖2所示。
圖2數(shù)據(jù)統(tǒng)一服務(wù)接口服務(wù)架構(gòu)
資料與接口采用XML文件方式配置,文件的樹結(jié)構(gòu)主要由根元素和若干子元素組成。其中資料的根要素包含1個(gè)datacode子元素,用來定義不同資料的資料代碼。datacode子元素又包含了tableName、timeFormat、hour、dataeles和suffix子元素,用來定義該類資料的屬性,本地共發(fā)布16小類資料,其中地面資料1類、高空資料1類、衛(wèi)星資料1類、雷達(dá)資料1類和數(shù)值模式資料12類;接口的根要素包含1個(gè)interfaceid子元素,用來定義不同資料的接口代碼。interfaceid子元素又包含了requestType、methodType和apiparams子元素,用來定義該類接口的請求方式,本地共發(fā)布21小類資料,其中地面資料接口6個(gè)、高空資料接口6個(gè)、衛(wèi)星資料接口2個(gè)、雷達(dá)資料接口2個(gè)和數(shù)值模式資料接口5個(gè)資料接口。
開放平臺(tái)是MICAPS數(shù)據(jù)環(huán)境資料和服務(wù)接口統(tǒng)一發(fā)布管理的渠道,為業(yè)務(wù)人員提供信息查詢,包含資料的信息、接口的信息、接口的調(diào)用示例和在線測試等。資料清單和接口清單展示頁面如圖3和圖4所示。
圖3資料清單
圖4接口清單
進(jìn)入用戶空間,選擇MICAPS數(shù)據(jù)產(chǎn)品節(jié)點(diǎn),以地面資料為例調(diào)取數(shù)據(jù),結(jié)果包含文件名稱、文件格式、文件大小和文件下載地址,如圖5所示。
MICAPS4數(shù)據(jù)環(huán)境的統(tǒng)一服務(wù)接口采用的是B/S架構(gòu),一級(jí)部署三級(jí)應(yīng)用,實(shí)現(xiàn)了系統(tǒng)的集約化,可在任意一臺(tái)內(nèi)網(wǎng)計(jì)算機(jī)方便快捷地實(shí)現(xiàn)資料調(diào)用;基于開放平臺(tái)發(fā)布了多種標(biāo)準(zhǔn)、豐富、高效的數(shù)據(jù)訪問接口,業(yè)務(wù)人員可以根據(jù)自身需求批量將數(shù)據(jù)下載到本地歸檔,并通過標(biāo)準(zhǔn)接口完成與其他業(yè)務(wù)系統(tǒng)的無縫對(duì)接,大大發(fā)揮了分布式數(shù)據(jù)庫的效益,滿足了業(yè)務(wù)人員對(duì)MICAPS4數(shù)據(jù)的使用需求。
圖5地面資料調(diào)用樣例