廣西對流尺度數(shù)值預(yù)報數(shù)據(jù)傳輸系統(tǒng)的設(shè)計與實現(xiàn)

馬 軍，劉 槳，李 瑩

（廣西壯族自治區(qū)氣象信息中心，南寧 530022）

引言

在氣象災(zāi)害頻發(fā)的背景下，短時臨近天氣預(yù)報作為國家防災(zāi)減災(zāi)的迫切需求，同時也是氣象領(lǐng)域研究的重點(diǎn)［1］。廣西地理環(huán)境復(fù)雜，給對流天氣發(fā)生提供了有利的熱力、動力條件［2］，使得廣西氣象災(zāi)害具有種類多、活動頻繁、危害嚴(yán)重等特點(diǎn)［3］。隨著現(xiàn)代氣象技術(shù)的發(fā)展，數(shù)值預(yù)報產(chǎn)品已成為各級氣象臺站預(yù)報的重要參考［4］。為了提升廣西氣象預(yù)報業(yè)務(wù)能力，在中國氣象局／廣東省區(qū)域數(shù)值天氣預(yù)報重點(diǎn)實驗室的技術(shù)支持下，廣西壯族自治區(qū)氣象局基于華南短臨預(yù)報模式CMA-GD（R1KM）研發(fā)了廣西對流尺度數(shù)值預(yù)報模式。該模式根據(jù)廣西的實際情況，經(jīng)過地形和地表類型修正、模式物理過程參數(shù)優(yōu)化、多源資料同化改進(jìn)云背景場等處理，在廣州超算中心完成移植運(yùn)行。然而，由于數(shù)值預(yù)報產(chǎn)品具有文件數(shù)量大、信息量大、格式復(fù)雜、傳輸時效要求高等特點(diǎn)，這類新資料的傳輸存在效率不高、數(shù)據(jù)交互性差、缺乏監(jiān)控補(bǔ)調(diào)功能等諸多問題［5］。因此，如何建設(shè)一套完善的傳輸體系以支撐數(shù)值預(yù)報產(chǎn)品的落地是值得研究和思考的。

目前，全國各省市氣象局開展了許多與氣象數(shù)據(jù)傳輸業(yè)務(wù)相關(guān)的系統(tǒng)開發(fā)與平臺建設(shè)工作。梁寶龍等［6］采用氣象數(shù)據(jù)共享的方式，構(gòu)建了氣象數(shù)據(jù)的快速推送系統(tǒng)，在海南省氣象局的內(nèi)網(wǎng)中實現(xiàn)了實時推送功能。韓書麗等［7］針對衛(wèi)星廣播系統(tǒng)存在接收數(shù)據(jù)丟失的情況，建立基于地面寬帶網(wǎng)提供補(bǔ)調(diào)下載系統(tǒng)，可以有效地提高數(shù)據(jù)完整性。劉鋒等［8］基于C＃ 語言和SQL Server 數(shù)據(jù)庫開發(fā)了雷達(dá)數(shù)據(jù)傳輸監(jiān)控系統(tǒng)，提高了數(shù)據(jù)傳輸質(zhì)量。張洪泰等［9］針對網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行改進(jìn)，優(yōu)化傳輸框架，提高民航氣象信息傳輸系統(tǒng)的性能。

以上的研究表明各系統(tǒng)平臺功能為特定的氣象業(yè)務(wù)提供有效支撐，并為相關(guān)系統(tǒng)的建設(shè)提供思路。然而，針對短時臨近數(shù)值模式預(yù)報的業(yè)務(wù)需求而言，數(shù)值預(yù)報產(chǎn)品傳輸系統(tǒng)的設(shè)計與服務(wù)對網(wǎng)絡(luò)的安全與穩(wěn)定、傳輸質(zhì)量、系統(tǒng)的穩(wěn)定性以及完整的監(jiān)控體系建設(shè)等多方面具有更高要求［10-11］。本文通過對廣西對流尺度數(shù)值預(yù)報數(shù)據(jù)傳輸系統(tǒng)的總體設(shè)計思路、系統(tǒng)架構(gòu)、主要功能等方面的介紹，為相關(guān)氣象業(yè)務(wù)系統(tǒng)開發(fā)提供思路與參考，更好地為氣象防災(zāi)減災(zāi)服務(wù)。

1 系統(tǒng)建設(shè)目標(biāo)和設(shè)計思想

1.1 系統(tǒng)建設(shè)目標(biāo)

廣西對流尺度數(shù)值預(yù)報模式通過引進(jìn)華南區(qū)域氣象中心CMA-GD（R1KM）模式進(jìn)行廣西本地化改造，建設(shè)分鐘級對流尺度數(shù)值預(yù)報模式，其能夠提供水平分辨為1km×1km，時間分辨率為12min，預(yù)報時效為6h 的要素預(yù)報。建設(shè)基于廣西對流尺度數(shù)值預(yù)報的數(shù)據(jù)傳輸系統(tǒng)核心目的是保障產(chǎn)品在省際和各業(yè)務(wù)部門間實現(xiàn)高質(zhì)量的數(shù)據(jù)交互，使得高性能的數(shù)值預(yù)報模式高效、穩(wěn)定地應(yīng)用于氣象業(yè)務(wù)工作中。這將為提高短時臨近天氣預(yù)報特別是強(qiáng)對流天氣的生消預(yù)報預(yù)警提供有力的支撐。

1.2 系統(tǒng)設(shè)計思想

由于數(shù)值預(yù)報模式產(chǎn)品依托在廣州超算中心，該傳輸系統(tǒng)的核心功能是為了科學(xué)、高效地將預(yù)報數(shù)據(jù)集接回本地并為用戶提供服務(wù)。因此，首先構(gòu)建廣州超算中心與廣西氣象數(shù)據(jù)中心的“點(diǎn)對點(diǎn)”網(wǎng)絡(luò)專線。其次，搭建服務(wù)器并開發(fā)傳輸軟件對數(shù)據(jù)進(jìn)行傳輸、監(jiān)控與統(tǒng)計。最后，結(jié)合氣象服務(wù)需求開展數(shù)據(jù)服務(wù)。系統(tǒng)的設(shè)計理念是以業(yè)務(wù)流程為主線，從傳輸?shù)奖O(jiān)控再到數(shù)據(jù)服務(wù)的思路開展設(shè)計與實施。

2 系統(tǒng)架構(gòu)

2.1 網(wǎng)絡(luò)環(huán)境部署

網(wǎng)絡(luò)部署是傳輸系統(tǒng)的基礎(chǔ)。專線網(wǎng)絡(luò)依托各級網(wǎng)絡(luò)資源，提供專線接入方式，滿足集團(tuán)客戶接入地市互聯(lián)網(wǎng)絡(luò)、開展各種業(yè)務(wù)的需求。其具備更高的安全性，更廣的覆蓋范圍，更強(qiáng)的可擴(kuò)展性，更快的帶寬速率等特點(diǎn),為氣象信息傳輸提供強(qiáng)大的網(wǎng)絡(luò)支撐［12］。性能優(yōu)良的傳輸網(wǎng)絡(luò)環(huán)境有效解決網(wǎng)絡(luò)協(xié)議的丟包、延時等問題。本項目布置傳輸速率500Mbps 的點(diǎn)對點(diǎn)專線鏈路，并采用多生成樹協(xié)議（MSTP，Multiple Spanning-TreeProtocol）方式接入專線，連接計算集群至廣西氣象信息中心。依靠MSTP技術(shù)能有效促進(jìn)數(shù)據(jù)傳輸效率和安全性能的提升［13］。圖1 直觀地展示了氣象部門與超算數(shù)據(jù)中心寬帶網(wǎng)專線互通，實現(xiàn)省際資料交互的作用。

圖1 網(wǎng)絡(luò)專線傳輸方案示意圖

廣州超算中心利用專線將各類預(yù)報數(shù)值產(chǎn)品推送到廣西氣象部門內(nèi)網(wǎng)落地，期間設(shè)立一道防火墻及時發(fā)現(xiàn)并處理網(wǎng)絡(luò)傳輸可能存在的惡意入侵和病毒侵害等安全問題，加強(qiáng)了氣象外網(wǎng)邊界防范［14］，使得數(shù)據(jù)傳輸更可靠穩(wěn)定，進(jìn)而實現(xiàn)氣象通信系統(tǒng)的網(wǎng)絡(luò)安全。此外，設(shè)計實時監(jiān)控傳輸帶寬的速率、占用率等狀態(tài)信息功能，對傳輸進(jìn)行管控，避免造成網(wǎng)絡(luò)擁堵，確保網(wǎng)絡(luò)順暢、平穩(wěn)。

2.2 服務(wù)器搭建

操作系統(tǒng)是管理和控制計算機(jī)硬件與軟件資源的計算機(jī)程序，其承載著配置、穩(wěn)定性、管理、安全、應(yīng)用等功能。數(shù)值模式預(yù)報產(chǎn)品的傳輸軟件是建立在操作系統(tǒng)上的軟件，操作系統(tǒng)特點(diǎn)和功能對軟件的適用性尤為重要。當(dāng)前，氣象業(yè)務(wù)中使用的服務(wù)器環(huán)境通常包含多種操作系統(tǒng)。所有文件和每個軟件都有確定的用途是Linux 系統(tǒng)的基本思想，這符合該數(shù)據(jù)傳輸軟件的核心需求。除此之外，Linux 操作系統(tǒng)還具備多重優(yōu)勢：源代碼的開放，兼容性非常高；宕機(jī)機(jī)率更低，具有高度穩(wěn)定性和高效性；更少受到病毒攻擊，能及時修補(bǔ)系統(tǒng)的漏洞，使得Linux系統(tǒng)具有很高的安全性。因此，選擇基于Linux 系統(tǒng)開發(fā)，保證其運(yùn)行穩(wěn)定。

安全文件傳輸協(xié)議（SSH File Transfer Protocol，縮寫SFTP）可以為傳輸文件提供一種安全的網(wǎng)絡(luò)加密方法。SFTP 與FTP 有著幾乎一樣的語法和功能，是用于網(wǎng)絡(luò)上進(jìn)行文件傳輸?shù)囊惶准用軅魉蛥f(xié)議。它具有文件的便捷共享功能，并不受限于不同主機(jī)文件存儲器系統(tǒng)，使其安全可靠且有效地傳輸數(shù)據(jù)，這實現(xiàn)了點(diǎn)對點(diǎn)的SFTP 服務(wù)器和客戶端的通信。因此，本傳輸系統(tǒng)采用搭建SFTP 服務(wù)器的方式，將腳本布置于Linux 下，運(yùn)用自帶插件提供對數(shù)據(jù)網(wǎng)絡(luò)共享、目錄檢索等多模式情景下的數(shù)據(jù)同步及數(shù)據(jù)下載。

2.3 分發(fā)功能

數(shù)據(jù)分發(fā)功能是指系統(tǒng)在支持傳輸協(xié)議的基礎(chǔ)上，按照數(shù)據(jù)分發(fā)策略，通過與數(shù)據(jù)接收端文件、消息和數(shù)據(jù)流的規(guī)范傳輸接口，快速高效地將超算中心數(shù)據(jù)和產(chǎn)品分發(fā)至本地或遠(yuǎn)程。本系統(tǒng)傳輸功能的方式為基于文件傳輸，主要針對由廣東超算中心各種數(shù)值預(yù)報方法獲得的各種分析和預(yù)報產(chǎn)品，包括Grib、GIF 和其他格式的數(shù)據(jù)。圖2 展示廣西對流尺度數(shù)值預(yù)報模式系統(tǒng)的收發(fā)功能流程。以對流尺度數(shù)值預(yù)報產(chǎn)品資料文件收發(fā)為例，平臺收集到數(shù)據(jù)文件后對文件進(jìn)行收集處理，包括文件名唯一性檢查、文件名檢查、收集合并、文件解壓等。通過收集處理的數(shù)據(jù)經(jīng)由分發(fā)處理模塊分發(fā)給CTS（CMA domestic Telecommunication System）中國氣象局國內(nèi)氣象通信軟件系統(tǒng)或別的數(shù)據(jù)存儲目錄。該系統(tǒng)的傳輸軟件與CTS 進(jìn)行數(shù)據(jù)交互，能統(tǒng)一納入CTS 調(diào)度管理。該系統(tǒng)功能優(yōu)化了數(shù)據(jù)的收集功能，并增加本地收集和遠(yuǎn)程收集的能力和靈活選擇模式。生成的處理日志與“天鏡”系統(tǒng)對接，為下一步數(shù)據(jù)監(jiān)控工作做鋪墊。

圖2 數(shù)值預(yù)報數(shù)據(jù)文件收發(fā)主要流程示意圖

2.4 監(jiān)控與補(bǔ)調(diào)功能

數(shù)據(jù)監(jiān)控是國內(nèi)氣象通信系統(tǒng)的核心模塊之一，實時監(jiān)控數(shù)據(jù)流傳輸為氣象綜合觀測、氣象預(yù)報預(yù)測和公共氣象服務(wù)等系統(tǒng)的通信傳輸中提供保障服務(wù)［15-16］。針對數(shù)值預(yù)報產(chǎn)品的傳輸分發(fā)監(jiān)視功能的核心是通過采集分析數(shù)據(jù)監(jiān)控類數(shù)據(jù)實現(xiàn)。監(jiān)控類數(shù)據(jù)指的是文件傳輸過程中產(chǎn)生的包含各種要素信息的收發(fā)DI 數(shù)據(jù)，各個傳輸、處理環(huán)節(jié)產(chǎn)生的告警數(shù)據(jù)，以及針對系統(tǒng)運(yùn)行狀態(tài)、支撐系統(tǒng)運(yùn)轉(zhuǎn)的各類中間產(chǎn)品運(yùn)行異常時產(chǎn)生的告警數(shù)據(jù)。收集監(jiān)控類數(shù)據(jù)后根據(jù)預(yù)設(shè)的各種分析模型和條件判斷標(biāo)準(zhǔn)提取相關(guān)的技術(shù)指標(biāo)，形成標(biāo)準(zhǔn)化可通用的監(jiān)視日志信息規(guī)范。從多個維度、多種粒度以可視化的方式直觀展現(xiàn)數(shù)據(jù)監(jiān)視信息，支持對資料的全流程監(jiān)視和關(guān)鍵資料的精細(xì)化監(jiān)視。

圖3 詳細(xì)地展示了該系統(tǒng)的數(shù)據(jù)監(jiān)控流程。數(shù)據(jù)監(jiān)視通過日志分析管理實現(xiàn)。日志管理模塊匯集數(shù)據(jù)收集、數(shù)據(jù)分發(fā)全流程的所有信息。首先，將日志記錄文件解析，獲取關(guān)鍵日志信息列表。然后，對日志管理模塊通過篩查，將系統(tǒng)數(shù)據(jù)日志存儲至配置文件中。最后，日志管理模塊通過一定判斷邏輯將日志信息加工處理，生成“天鏡”標(biāo)準(zhǔn)DI、EI 信息后發(fā)送至“天鏡”系統(tǒng)。監(jiān)控系統(tǒng)與“天鏡”的實時對接實現(xiàn)了全流程的數(shù)值預(yù)報文件傳輸監(jiān)控。包括通過數(shù)據(jù)處理進(jìn)程數(shù)、下載連接數(shù)等指標(biāo)，對軟件、進(jìn)程、數(shù)據(jù)服務(wù)器等運(yùn)行狀態(tài)進(jìn)行監(jiān)控，以及各類故障告警，例如隊列的積壓、分發(fā)失敗異常等告警功能。這些功能實現(xiàn)了監(jiān)控信息的標(biāo)準(zhǔn)化并促進(jìn)業(yè)務(wù)系統(tǒng)監(jiān)控的集約化管理［17］。并且，根據(jù)監(jiān)控信息采用系統(tǒng)自守護(hù)技術(shù)，平臺運(yùn)行狀態(tài)能實現(xiàn)靈活設(shè)置，分鐘、小時、每日、每月等自啟動，保證程序穩(wěn)定運(yùn)行。

圖3 數(shù)值預(yù)報數(shù)據(jù)監(jiān)控流程圖

為了補(bǔ)救文件接收異常或者丟失影響資料完整性的情況，數(shù)據(jù)補(bǔ)調(diào)系統(tǒng)發(fā)揮關(guān)鍵作用。補(bǔ)調(diào)功能實現(xiàn)如圖4 所示，通過配置實現(xiàn)定時刷新對收集數(shù)據(jù)情況的統(tǒng)計（按時次統(tǒng)計／按日到報統(tǒng)計）。并根據(jù)統(tǒng)計情況記錄缺失告警日志并檢索告警日志。根據(jù)告警信息，自啟動數(shù)據(jù)補(bǔ)調(diào)，保障了數(shù)據(jù)完整率。數(shù)據(jù)補(bǔ)調(diào)負(fù)責(zé)從超算中心下載平臺下載漏收的數(shù)據(jù)。該系統(tǒng)支持手動啟動補(bǔ)調(diào)程序，補(bǔ)下載歷史數(shù)據(jù)。這一模塊有利于氣象資料收集的完整性，進(jìn)一步提高氣象資料的服務(wù)質(zhì)量［18］。

圖4 數(shù)值預(yù)報數(shù)據(jù)補(bǔ)調(diào)與統(tǒng)計流程圖

3 建成效益分析

系統(tǒng)基于氣象大數(shù)據(jù)云平臺的框架下進(jìn)行設(shè)計開發(fā)，在選擇與現(xiàn)有系統(tǒng)兼容性高的開發(fā)技術(shù)，支持?jǐn)?shù)據(jù)越界、內(nèi)存泄漏、初始化異常等底層問題的規(guī)避與捕獲，支持異常報告機(jī)制和錯誤跟蹤機(jī)制。在高性能網(wǎng)絡(luò)的支撐下，通過防火墻設(shè)計保障數(shù)據(jù)可靠、安全。通過良好的架構(gòu)設(shè)計和接口設(shè)計，能夠檢出接口語法錯誤并加以屏蔽。軟件系統(tǒng)構(gòu)建具備較高性能，通過自守護(hù)功能實現(xiàn)7×24h 業(yè)務(wù)穩(wěn)定運(yùn)行，為廣西對流尺度數(shù)值預(yù)報產(chǎn)品更好的服務(wù)全區(qū)使用。

當(dāng)前，已開展廣西對流尺度數(shù)值預(yù)報數(shù)據(jù)的獲取、傳輸效率及FTP 下載應(yīng)用等方面的相關(guān)分析評估工作。從超算廣州中心獲取的對流尺度數(shù)值預(yù)報數(shù)據(jù)資料頻率為5 次·h-1。每個輪次生成256 份GIF數(shù)據(jù)文件需要40min、生成31 份Grib 數(shù)據(jù)文件需要36min。每輪數(shù)據(jù)量GIF 約達(dá)90 兆及Grib 約達(dá)160兆，全部落地于本地服務(wù)器時間分別需要約8min 和5min。專線網(wǎng)絡(luò)實現(xiàn)實時數(shù)據(jù)高效交互的需求。系統(tǒng)監(jiān)控日志能夠及時掌握數(shù)據(jù)傳輸狀態(tài)。經(jīng)過多次運(yùn)行測試與統(tǒng)計，數(shù)據(jù)具備很高的完整性，并且缺失數(shù)據(jù)得到補(bǔ)調(diào)，有效保障了數(shù)據(jù)接收質(zhì)量。數(shù)據(jù)服務(wù)方面，通過FTP 方式為用戶提供專用賬戶連接服務(wù)器，廣西各級氣象業(yè)務(wù)部門用戶可高效、便捷地獲取數(shù)值預(yù)報模式產(chǎn)品。至此，針對廣西對流尺度數(shù)值預(yù)報模式產(chǎn)品的傳輸服務(wù)已完成部署與在日常氣象業(yè)務(wù)中應(yīng)用。

4 結(jié)論與展望

在大數(shù)據(jù)時代背景下，基于廣西對流尺度數(shù)值預(yù)報數(shù)據(jù)的傳輸系統(tǒng)在設(shè)計和建設(shè)方面取得一定的突破和進(jìn)步。該系統(tǒng)對數(shù)值預(yù)報產(chǎn)品在省際間能夠進(jìn)行高效、穩(wěn)定收發(fā)，具備氣象數(shù)據(jù)全流程監(jiān)控補(bǔ)調(diào)，為不同業(yè)務(wù)需求提供便捷的數(shù)據(jù)服務(wù)。該傳輸系統(tǒng)的設(shè)計實現(xiàn)使得該產(chǎn)品真正落地于廣西，體現(xiàn)了各省級氣象部門協(xié)同發(fā)展，為今后省際氣象業(yè)務(wù)合作打開了新的思路。今后將不斷在業(yè)務(wù)中優(yōu)化系統(tǒng)，將數(shù)據(jù)更好地融入“天擎”平臺提供數(shù)據(jù)服務(wù)，切實發(fā)揮廣西對流尺度數(shù)值預(yù)報模式對氣象服務(wù)的支撐作用。