基于云平臺的地面氣象自動站數(shù)據(jù)質(zhì)量統(tǒng)計分析系統(tǒng)設(shè)計

摘要：隨著信息化的不斷發(fā)展，高效利用氣象數(shù)據(jù)已經(jīng)成為氣象業(yè)務(wù)工作的重點任務(wù)。為了實現(xiàn)對江西省2566個地面氣象自動觀測站數(shù)據(jù)質(zhì)量的監(jiān)控與分析，本文介紹了一個基于云平臺的地面氣象自動站數(shù)據(jù)質(zhì)量統(tǒng)計分析系統(tǒng)。該系統(tǒng)利用云計算技術(shù)，能夠進行大規(guī)模的自動站數(shù)據(jù)質(zhì)量統(tǒng)計分析。此外，該系統(tǒng)的設(shè)計還充分利用了數(shù)據(jù)管道技術(shù)，實現(xiàn)了自動化操作。通過實施該系統(tǒng)，顯著提升了氣象數(shù)據(jù)的利用水平。

關(guān)鍵詞：氣象；云計算；云平臺；大數(shù)據(jù)；數(shù)據(jù)管道

一、引言

隨著對氣象業(yè)務(wù)數(shù)字化、智能化、網(wǎng)格化的改造和提升，氣象數(shù)據(jù)的規(guī)模、復(fù)雜度、多樣性和實時性也呈現(xiàn)出爆炸式增長的趨勢[1，2]。氣象觀測網(wǎng)絡(luò)的分層分布和地域分布廣泛，氣象數(shù)據(jù)涉及時間、空間、要素、來源等多個維度，因此，氣象數(shù)據(jù)處理面臨著數(shù)據(jù)量大、數(shù)據(jù)質(zhì)量不一、數(shù)據(jù)分散分布和處理復(fù)雜度高的挑戰(zhàn)[3]。其中，氣象地面觀測數(shù)據(jù)作為規(guī)模最大、要素最全的基礎(chǔ)氣象數(shù)據(jù)，存在數(shù)據(jù)質(zhì)量不穩(wěn)定、數(shù)據(jù)異常、數(shù)據(jù)缺失等問題，需要進行質(zhì)量控制和校驗。這對氣象數(shù)據(jù)的管理、分析和利用提出了極大的挑戰(zhàn)[4-6]。

近年來云服務(wù)發(fā)展迅速，云計算服務(wù)平臺提供了規(guī)范化的基礎(chǔ)數(shù)據(jù)支撐框架，實現(xiàn)了從網(wǎng)絡(luò)、計算到存儲等資源集約化的功能，有效提升資源利用率及響應(yīng)效率[7]?；谠破脚_技術(shù)集中開發(fā)互聯(lián)網(wǎng)氣象數(shù)據(jù)接口服務(wù)，可有效地實現(xiàn)數(shù)據(jù)共享，消除網(wǎng)絡(luò)壁壘[8]。

本文設(shè)計了一個基于云平臺的地面氣象自動站數(shù)據(jù)質(zhì)量統(tǒng)計分析系統(tǒng)（以下簡稱：統(tǒng)計分析系統(tǒng)），可以有效地對氣象自動站觀測數(shù)據(jù)進行質(zhì)量統(tǒng)計和分析。該系統(tǒng)采用云計算技術(shù)，實現(xiàn)了大規(guī)模氣象數(shù)據(jù)的自動整合、存儲、處理，以提供高度精確的氣象數(shù)據(jù)質(zhì)量情況報告，支持用戶的決策制定。此外，本系統(tǒng)充分利用了數(shù)據(jù)管道的優(yōu)勢，實現(xiàn)了自動化數(shù)據(jù)提取、轉(zhuǎn)換、合并和驗證等操作的自動化和可視化，確保了系統(tǒng)運行的便利性。通過實施本系統(tǒng)，顯著提高了氣象數(shù)據(jù)的質(zhì)量和服務(wù)的水平，為氣象預(yù)報、觀測業(yè)務(wù)和科學(xué)研究提供了有力支撐。本文將詳細介紹該系統(tǒng)的設(shè)計原理、架構(gòu)、功能和實現(xiàn)方法，并通過實驗驗證其有效性和優(yōu)越性。

二、系統(tǒng)設(shè)計

（一）基于云平臺的系統(tǒng)架構(gòu)設(shè)計

統(tǒng)計分析系統(tǒng)的所有模塊都實現(xiàn)在云平臺上，包括數(shù)據(jù)輸入、數(shù)據(jù)計算和數(shù)據(jù)輸出三部分。其中，數(shù)據(jù)輸入功能主要由參數(shù)采集模塊負責，數(shù)據(jù)計算功能由微服務(wù)模塊執(zhí)行，數(shù)據(jù)輸出功能使用數(shù)據(jù)分發(fā)模塊實現(xiàn)。其中，數(shù)據(jù)計算模塊負責鏈接數(shù)據(jù)庫、模板庫和文件庫，并負責這些數(shù)據(jù)的讀取和修改操作。數(shù)據(jù)輸入、數(shù)據(jù)計算和數(shù)據(jù)輸出之間通過數(shù)據(jù)管道相互連接。實現(xiàn)了數(shù)據(jù)的快速和高效處理，并增強了系統(tǒng)的穩(wěn)健性。總體系統(tǒng)架構(gòu)圖如圖1所示。

1.參數(shù)采集模塊

參數(shù)采集模塊在統(tǒng)計分析系統(tǒng)的數(shù)據(jù)輸入階段扮演著關(guān)鍵角色，是整個系統(tǒng)的數(shù)據(jù)前沿，它負責與各種氣象數(shù)據(jù)源進行接口和通信，從而實現(xiàn)數(shù)據(jù)的自動或半自動采集。

為了處理多種來源和格式的氣象數(shù)據(jù)，參數(shù)采集模塊結(jié)合了Python的多功能庫和工具，如Pandas和Numpy，來實現(xiàn)數(shù)據(jù)的處理和轉(zhuǎn)換。為了統(tǒng)一處理，需要實現(xiàn)數(shù)據(jù)的初步清洗、格式化和轉(zhuǎn)換。通過對原始數(shù)據(jù)的預(yù)處理，可以確保后續(xù)模塊能夠順利地進行數(shù)據(jù)計算和分析。

2. 微服務(wù)模塊

微服務(wù)上的數(shù)據(jù)計算模塊是統(tǒng)計分析系統(tǒng)核心智能部分的基礎(chǔ)，它采用了Python作為主要的開發(fā)語言。微服務(wù)架構(gòu)基于Flask框架，將氣象數(shù)據(jù)的處理任務(wù)分解成多個獨立模塊。本系統(tǒng)中的微服務(wù)包括數(shù)據(jù)質(zhì)量評估、異常檢測、數(shù)據(jù)統(tǒng)計、趨勢分析等功能。每個微服務(wù)負責一個特定的任務(wù)，但又可以相互配合，形成完整的數(shù)據(jù)處理流程。

每個微服務(wù)都被封裝為獨立的Flask應(yīng)用，可以通過POST方法與前端或其他微服務(wù)交互，實現(xiàn)數(shù)據(jù)的傳輸和響應(yīng)。這些微服務(wù)專注于特定的數(shù)據(jù)處理任務(wù)，例如氣象數(shù)據(jù)質(zhì)量評估、異常檢測、趨勢分析等。本系統(tǒng)選擇Flask作為微服務(wù)后端，與其他微服務(wù)后端相比，F(xiàn)lask可以很好地滿足輕量化快速迭代的需求。

由于每個微服務(wù)都獨立工作，它們之間可以高度并行，使得多個微服務(wù)能夠同時處理不同的數(shù)據(jù)任務(wù)，從而提高了系統(tǒng)的響應(yīng)速度和處理能力。此外，通過設(shè)計一個高效的Pipeline，微服務(wù)之間可以協(xié)作處理數(shù)據(jù)，數(shù)據(jù)在多個處理階段中流動，從而實現(xiàn)復(fù)雜的數(shù)據(jù)處理任務(wù)。數(shù)據(jù)計算模塊還負責與核心數(shù)據(jù)存儲資源的連接和管理，確保與數(shù)據(jù)庫、模板庫和文件庫的穩(wěn)定和高效連接。

數(shù)據(jù)庫鏈接通過python的數(shù)據(jù)庫連接庫實現(xiàn)，系統(tǒng)可以方便地連接到不同的數(shù)據(jù)庫管理系統(tǒng)，并確保數(shù)據(jù)的安全存儲。模板庫鏈接幫助系統(tǒng)在數(shù)據(jù)分析和評估時，能夠參照預(yù)定義的模板和規(guī)則，保證數(shù)據(jù)處理的標準化和一致性。文件庫鏈接則確保系統(tǒng)能夠訪問所有關(guān)鍵的文件資源，包括配置文件、模型參數(shù)文件等。

3.數(shù)據(jù)分發(fā)模塊

數(shù)據(jù)分發(fā)模塊作為統(tǒng)計分析系統(tǒng)的輸出階段，負責將經(jīng)過評估和修復(fù)的氣象數(shù)據(jù)傳遞給各級氣象部門和其他應(yīng)用系統(tǒng)。該模塊采用了分布式文件分發(fā)站點，以確保數(shù)據(jù)的安全性、可靠性和高效性。數(shù)據(jù)可以在用戶下載前暫存在文件庫中，滿足不同用戶和系統(tǒng)的需求。此外，數(shù)據(jù)分發(fā)模塊還支持數(shù)據(jù)存檔和數(shù)據(jù)備份，以應(yīng)對意外情況和數(shù)據(jù)丟失風險，確保數(shù)據(jù)的可用性和持久性。

（二） 統(tǒng)計分析流程

統(tǒng)計分析流程包括五個主要步驟：處理輸入、數(shù)據(jù)庫鏈接、預(yù)處理、數(shù)據(jù)計算和后處理。這些步驟的協(xié)同操作確保了統(tǒng)計分析系統(tǒng)能夠高效準確地統(tǒng)計氣象數(shù)據(jù)。這不僅提升了數(shù)據(jù)的可信度和實用性，并為氣象領(lǐng)域的決策制定和研究工作提供了有力的支持。統(tǒng)計分析流程圖如圖2所示。

系統(tǒng)首先確定要統(tǒng)計的氣象數(shù)據(jù)的時間范圍，通過與參數(shù)采集模塊合作，從各個數(shù)據(jù)源獲取氣象數(shù)據(jù)的時間戳。接著，系統(tǒng)獲取最新的氣象數(shù)據(jù)，確保統(tǒng)計基于最新的信息。棄用站點表是一個核心資源，由氣象專家維護，用于識別統(tǒng)計時應(yīng)排除的含問題或不可靠數(shù)據(jù)的站點。

系統(tǒng)連接數(shù)據(jù)庫以檢索歷史氣象數(shù)據(jù)，并與最新數(shù)據(jù)對比，進而檢測異?；蝈e誤數(shù)據(jù)。在數(shù)據(jù)獲取過程中，系統(tǒng)采用了多種安全機制以確保數(shù)據(jù)的安全性和完整性。首先，采用了安全的傳輸層協(xié)議，以加密的方式進行數(shù)據(jù)傳輸，防止在數(shù)據(jù)傳輸過程中遭受攻擊或竊取。其次，系統(tǒng)會對數(shù)據(jù)庫進行定期的備份，確保數(shù)據(jù)不會因意外而丟失。此外，設(shè)置權(quán)限和認證機制，進一步提高了數(shù)據(jù)安全性。

在預(yù)處理階段，系統(tǒng)檢測并刪除錯誤的數(shù)據(jù)點，利用算法來識別異常值。如果系統(tǒng)識別到錯誤，會嘗試更新數(shù)據(jù)。數(shù)據(jù)正確性的驗證是此步驟的關(guān)鍵，保證了數(shù)據(jù)的一致性。系統(tǒng)將會從給定的數(shù)據(jù)結(jié)構(gòu)中提取關(guān)鍵的統(tǒng)計數(shù)據(jù)，并將其轉(zhuǎn)化為字典形式的集合。該服務(wù)將計算數(shù)據(jù)，并識別出低于特定閾值的站點。在預(yù)處理階段，系統(tǒng)首先會計算平均數(shù)據(jù)可用率。接著，識別低于閾值的觀測站，并從相關(guān)表格中提取站名和區(qū)站號進行合并。最終，對低于指定閾值的觀測站按城市進行分組和計數(shù)篩選。

數(shù)據(jù)計算模塊利用微服務(wù)調(diào)用算法來計算各氣象站點的數(shù)據(jù)質(zhì)量和準確性。采用遠程服務(wù)和自動化流程進行數(shù)據(jù)采集和管理。在對遠程監(jiān)控站點的數(shù)據(jù)進行質(zhì)量檢查時，系統(tǒng)使用了Python的內(nèi)部庫 Requests，結(jié)合HTTP會話管理和數(shù)據(jù)文件持久化技術(shù)，從特定URL獲取和導(dǎo)出數(shù)據(jù)到表文件中。

為了處理不同時間尺度的數(shù)據(jù)格式，系統(tǒng)構(gòu)建時間對象。該對象提供了從給定日期回溯特定的月數(shù)來生成開始和結(jié)束日期的功能。之后使用Requests創(chuàng)建會話，該會話將會自動登錄到遠程系統(tǒng)，查詢和下載數(shù)據(jù)，同時確保了持續(xù)的認證和狀態(tài)持久性。下載的數(shù)據(jù)通過二進制形式寫入指定的Excel文件中，并存儲到文件庫中，從而實現(xiàn)數(shù)據(jù)的持久化。

統(tǒng)計分析的后處理系統(tǒng)生成易于閱讀的表格來展示統(tǒng)計結(jié)果，報告中包含唯一標識符，方便用戶追蹤歷史任務(wù)。系統(tǒng)能生成圖表可視化氣象數(shù)據(jù)變化。使用Python-docx庫，數(shù)據(jù)從Python轉(zhuǎn)為Word文檔。Plot_df服務(wù)將數(shù)據(jù)幀轉(zhuǎn)為Word表格，Addh、Addp、Addtz為文檔添加段落和標題。Change_Str服務(wù)基于數(shù)字生成描述字符串，Element和Attribute創(chuàng)建XML元素，Add_Page添加頁碼。Pd_to_doc為主服務(wù)，用于創(chuàng)建完整的Word文檔。系統(tǒng)結(jié)合這些函數(shù)生成格式化報告。

三、系統(tǒng)實現(xiàn)與測試

為了確保統(tǒng)計分析系統(tǒng)有效地處理大規(guī)模數(shù)據(jù)集，本文對系統(tǒng)的處理能力進行了詳細評估。評估所使用的數(shù)據(jù)集是基于江西氣象實時數(shù)據(jù)，涵蓋了93個國家級自動觀測站、287個國家級天氣站以及2186個省級自動站的地面小時觀測數(shù)據(jù)。

處理時間測試主要評估方法是計算每個模塊從啟動到完成的耗時。為了保證評估的準確性，每個模塊均進行了100次重復(fù)測試，從中獲取其響應(yīng)時間和運行時間。表1展示了時間測試數(shù)據(jù)。

接口的穩(wěn)定性是衡量系統(tǒng)可靠性的關(guān)鍵指標。這里隨機發(fā)起1000次接口調(diào)用，以下表格2列出了三種主要接口：數(shù)據(jù)輸入接口、數(shù)據(jù)計算接口和數(shù)據(jù)分發(fā)接口的成功與失敗次數(shù)。

四、結(jié)束語

本文設(shè)計并實施了一種基于云平臺的地面氣象自動站數(shù)據(jù)質(zhì)量統(tǒng)計分析系統(tǒng)。該系統(tǒng)整合了云計算、數(shù)據(jù)管道技術(shù)和微服務(wù)架構(gòu)，有效地處理了氣象數(shù)據(jù)的復(fù)雜性、分散性和海量性問題。三個核心模塊：參數(shù)采集、數(shù)據(jù)計算和數(shù)據(jù)分發(fā)，確保了從數(shù)據(jù)獲取到最終輸出的全過程高效、準確。通過江西省的實際氣象數(shù)據(jù)測試，系統(tǒng)表現(xiàn)出了高效和穩(wěn)定的性能?？傮w來說，該系統(tǒng)為氣象業(yè)務(wù)工作提供了強大的氣象數(shù)據(jù)質(zhì)量統(tǒng)計工具，顯著提升了大規(guī)模氣象數(shù)據(jù)的處理和利用效率，并為氣象決策和科研提供了有力的支持。

作者單位：左羽霄 戴華玲 王迎 周曉香 熊虹華

江西省氣象數(shù)據(jù)中心

參考文獻

[1]許竹霞， 張春燕， 徐娟. 甘肅省氣象大數(shù)據(jù)云平臺的存儲與服務(wù)系統(tǒng)設(shè)計[J]. 信息技術(shù)與信息化， 2022（2）： 53-57.

[2]王雙雙， 杜建華， 王立俊， 等. 基于氣象大數(shù)據(jù)云平臺的海南氣象數(shù)據(jù)共享平臺設(shè)計與實現(xiàn)[J/OL]. 計算機測量與控制， 2022， 30（10）： 222-226+232.

[3]尤嘉鋮. 基于大數(shù)據(jù)分析的氣象觀測數(shù)據(jù)質(zhì)量控制算法研究[J/OL]. 電子設(shè)計工程， 2022， 30（11）： 103-107.

[4]林松， 張華琳. 氣象資料業(yè)務(wù)系統(tǒng)操作平臺省級數(shù)據(jù)質(zhì)量控制分析[J]. 海峽科學(xué)， 2022（8）： 94-97+113.

[5]王婧， 李衣長， 葉凌鋒. 基于LightGBM的氣象數(shù)據(jù)質(zhì)量控制方法研究[J]. 海峽科學(xué)， 2022（7）： 40-45.

[6]段文廣， 范飛勇， 劉燕， 等. 智慧氣象服務(wù)融入智慧城市時空信息云平臺的思考與探索[J]. 氣象科技進展， 2021， 11（6）： 71-73.

[7]韓同欣， 何文春， 吳鵬， 等. 氣象基礎(chǔ)設(shè)施云平臺關(guān)鍵設(shè)計與實現(xiàn)[J/OL]. 氣象科技， 2022， 50（2）： 290-296. [8].朱君， 王浩， 蒲曉虎， 等. 重慶氣象大數(shù)據(jù)平臺設(shè)計[J/OL]. 自動化與儀器儀表， 2021（3）： 108-110.