基于云分布式存儲技術的氣象數據存儲方法

摘 要：隨著我國氣象業(yè)務的不斷發(fā)展，在其業(yè)務進程中融入了更多的現代化技術。尤其是當前我國已經進入到了大數據時代，對于氣象數據存儲方式而言，帶來了一定的發(fā)展機遇?；诖?，針對云分布式存儲技術的氣象數據存儲方法的研究具有十分重要的意義。

關鍵詞：云分布式存儲;氣象數據;存儲方法

當前為了增強氣象預報的精準性，其數據類型開始向著復雜化、數量大、范圍尺度廣等特征發(fā)展。因此，傳統(tǒng)形式的氣象數據存儲以及處理方法已經無法滿足當前氣象數據存儲的需求，無法實現對大數據的實時存儲與處理。此外，由于氣象數據的復雜化，其數據響應時間面臨著非常大的挑戰(zhàn)。為此，為了提高大數據存儲的擴展性，增強其數據結構的穩(wěn)定性，確保其數據使用的流暢性以及共享性，可以嘗試著運用云分布存儲技術來解決當前所存在的諸多問題。

一、基于云分布式存儲技術的氣象數據的總體設計

1.云存儲平臺結構的整體設計。氣象業(yè)務是當前現代化建設的一項重要工作，尤其是在進入到大數據時代之后，氣象數據具有更多的特征，其主要表現在以下幾個方面：（1）氣象數據體積較為龐大，通常情況下其數據量可以達到PB等級。因此，想要存儲更多的數據，需要不斷地以動態(tài)擴展的方式進行容量拓展。（2）數據類型復雜。當前為了確保氣象數據的精準度，其數據類型越來越復雜。其中包含了地面、衛(wèi)星、雷達等許多高科技監(jiān)測數據。此外，還涵蓋了許多類型的數值預報類型，并針對不同類型業(yè)務提供相應的氣象服務。（3）由于氣象業(yè)務的不斷拓展，要求其數據響應速度非常快。需要從海量的氣象數據中精準地提取相應的有效信息。

從以上幾個特征來進行分析，可以嘗試著采用云分布式存儲技術。通過此技術來緩解大數據時代氣象數據的存儲以及處理所存在的問題，有效提升了數據使用效率。為此，在進行氣象數據云存儲平臺結構設計時，可以將其劃分為數據存儲層、存儲管理層、業(yè)務服務層、用戶訪問層四個層次。

數據存儲層的主要作用在于針對服務器集群及相關集群進行連接，并形成一定的物理鏈路，可以通過此鏈路來對所有數據開展統(tǒng)一管理。因此，在進行設計時可以發(fā)揮云存儲平臺的高拓展性以及低成本等特性，并選用X86服務器來組建一個普通機器集群，對于其操作系統(tǒng)可以考慮選用Linux。

存儲管理層的主要作用是進行大量的分布式計算系統(tǒng)，其主要功能是針對管理集群系統(tǒng)中的各項資源進行虛擬化。此外，管理層還需要針對其分布式程度進行控制，并對運行過程中出現的數據冗余、備份以及數據容災等工作。通過管理層的作用，可以有效增強其存儲方式的彈性計算能力，并為其數據存在與處理提供相應的負載均衡服務。

業(yè)務服務層主要是以云分布式服務技術為主。通過此技術能夠實現對不同類型數據的存儲與計算，同時還可以進行數據相關的分解以及提供各項微服務。最終可以完成海量數據存儲以及共享，可以更好地提高數據使用效率?；诖耍梢岳煤迷埔娴牡谌皆茟?，有效的增強對氣象數據的計算彈性，并實現低成本運行。同時，還可以有效地簡化云應用的構建和部署。

用戶訪問層的主要作用是方便授權以及認證，讓相關用戶在進行數據操作時能夠在一個指定權限范圍內進行操作。同時，通過用戶訪問層還可以提供相應的數據搜索、地圖以及相對應的第三方服務。

2.氣象數據結構的組織形式。在進行氣象數據結構組織形式設計時，需要結合其數據結構所表現出的差異性。比如：離散型、網格、柵格等類型數據。特別是對于自動氣象站的數據采集工作而言，其所采集的數據包含了不同類型的氣象要素中的實時以及歷史數據。同時，還需要為相關部門提供各個站點的離散型數據。此外，不同類型氣象要素所形成的網格化產品，主要是以網格數據形式為表達形式。從當前氣象數據來進行分析，其中的離散型數據可以將其歸屬于結構化數據類型中，而另外兩種數據可以歸屬為半/非結構化數據。

3.合理選擇數據存儲模型。云數據庫主要是通過云計算環(huán)境中的數據庫進行部署以及虛擬化。在實際應用其云數據庫時，相對應的客戶端不需要對云數據庫底層細節(jié)進行了解，因為所有底層硬件已經完成了相應的虛擬化處理。所以，用戶在使用云數據庫時，就好比在普通服務器使用數據庫。而整個數據的存儲以及處理性均得到了最大化的提升。在進行氣象數據存儲模型選擇時，可以結合氣象數據所具有的特征，并需要考慮其數據信息是否能夠滿足用戶訪問需求。基于此基礎上還需要考慮所有氣象數據中是否體現出實時數據以及歷史數據等等，這些要求導致了氣象數據體積非常龐大。這些所呈現出的不同要求，如果采用傳統(tǒng)關系型數據庫存儲管理系統(tǒng)，雖然能夠實現數據一致性及可用性。但隨著數據量的不斷增加，當在不同應用節(jié)點共同使用相關數據時，其數據性能則會快速下降。必須要采用數據分布式存儲來解決這些問題。

通常情況下，可以將數據分布式存儲劃分為分布式關系型數據庫和非關系型數據庫 （No SQL）兩種形式。結構化數據主要是以分布式關系型數據庫為存儲方式， 半/非結構化數據采用No SQL數據庫存儲（如表1所示）。

二、關鍵技術

1.結構化數據采用的存儲方式。結構化數據主要是以分布式關系型數據庫存儲為主要技術。通過此技術可以有效解決延遲以及高并發(fā)的問題。分布式關系型數據庫主要是以傳統(tǒng)表-字段形式存儲，并把數據表水平進行拆分，然后將其存儲于不同分數據庫分表內。分布式關系型數據庫，則可以針對不同數據分庫進行數據讀寫操作，最大化地分散了訪問壓力，有效提高了海量數據庫的訪問效率。

2.半/非結構數據的存儲方式。對于半結構數據可以考慮通過網格化數據形式存儲。非結構數據主要是以柵格數據類型為主。對于此類數據可以將其以字符串或二進制數據以No SQL數據庫進行存儲。No SQL數據庫主要是選擇了鍵值 （Key-Value） 模型， 模型中Key值指向Value的鍵值。其類型的數據結構，可以劃分為主鍵、屬性以及值三個部分。通過這種值存儲的數據特征，可以將數據進行切分以及相應的壓縮處理，從而可以有效的提高數據傳輸能力。

三、結語

總之，通過相關實驗證明，基于云分布式存儲氣象數據方法，可以有效提高氣象數據的存儲以及讀取性能。因此，使用此方法進行氣象數據云存儲設計，具有較大的可行性，并為氣象數據云化建設奠定基礎。

參考文獻：

[1]吳書成，魏爽，王麗吉，等.自動氣象站降水實時快速質控算法設計[J].氣象科技， 2016，44（6）：882-888.

[2]李集明，沈文海，王國復.氣象信息共享平臺及其關鍵技術研究[J].應用氣象學報，2006，17（5）：621-622.

作者簡介：馬強（1990-9-）男，漢族，內蒙古烏蘭察布市，本科學歷，助理工程師，主要從事信息網絡維護工作。