云計算環(huán)境下氣象大數(shù)據(jù)服務(wù)的應(yīng)用

范超宇

摘 要：本文對云計算背景下氣象大數(shù)據(jù)的服務(wù)架構(gòu)進行了介紹。MapReduce處理技術(shù)能夠高效完成分布型處理服務(wù)，也是用于氣象大數(shù)據(jù)服務(wù)的運算架構(gòu)?；贛apReduce技術(shù)對氣溫與降水量的統(tǒng)計方法做了闡述，希望對氣象行業(yè)工作者有所啟發(fā)。

關(guān)鍵詞：云計算；氣象；大數(shù)據(jù)服務(wù)；應(yīng)用

中圖分類號：P409 文獻標(biāo)識碼：A DOI：10.11974/nyyjs.20170833203

1 云計算背景下的氣象大數(shù)據(jù)服務(wù)架構(gòu)

我國氣象區(qū)域中心擁有很多的硬件配置，其中有新型計算機及常用的存儲服務(wù)器、網(wǎng)絡(luò)通信設(shè)施及其他配置。把基礎(chǔ)設(shè)施利用云計算手段加以綜合利用，就形成氣象行業(yè)的專有云。氣象行業(yè)大數(shù)據(jù)服務(wù)架構(gòu)能夠在氣象行業(yè)專有云基礎(chǔ)上布設(shè)。根據(jù)上述說法構(gòu)建出云計算背景下氣象大數(shù)據(jù)服務(wù)架構(gòu)，這一架構(gòu)涉及以下5個層次。

1.1 基礎(chǔ)設(shè)施層

其作用是儲存及處置氣象大數(shù)據(jù)的硬件配置，對象涉及主機、網(wǎng)絡(luò)設(shè)備及其他配置。

1.2 平臺層

它的作用是依靠云計算當(dāng)中的關(guān)鍵技術(shù)在基礎(chǔ)設(shè)施層的前提下構(gòu)建平臺。通過Hadoop分布型文件系統(tǒng)對分布型文件進行冗余存儲；通過分布型數(shù)據(jù)庫HBase對動態(tài)氣象大數(shù)據(jù)進行分布型數(shù)據(jù)的檢索；通過分布型運算模型MapReaduce對數(shù)據(jù)實施并行運算；通過數(shù)據(jù)倉庫Hive完成對靜態(tài)氣象數(shù)據(jù)進行的存儲及快捷檢索。平臺層構(gòu)建結(jié)束后，可以作為應(yīng)用層的技術(shù)支持。

1.3 應(yīng)用層

該層能夠運用平臺層的軟件實施應(yīng)用的開發(fā)，涉及氣象站監(jiān)督控制等作用、云平臺監(jiān)督管控、氣象服務(wù)。站點監(jiān)督控制通常情況下指對氣象監(jiān)督觀測點與監(jiān)測設(shè)備實施管制及監(jiān)督控制，涉及氣象站及設(shè)備的信息管理、數(shù)據(jù)源狀態(tài)的監(jiān)督控制及其他措施。云平臺監(jiān)督管控是指對氣象數(shù)據(jù)中心的服務(wù)器節(jié)點實施監(jiān)督管控，涉及節(jié)點管制、能源消耗監(jiān)督控制及其他措施。依據(jù)各種使用要求實施氣象服務(wù)，涉及部門業(yè)務(wù)功能、預(yù)報產(chǎn)品制作及其他服務(wù)項目。

1.4 大數(shù)據(jù)服務(wù)層

它的作用是利用應(yīng)用層提供的各種應(yīng)用實施氣象大數(shù)據(jù)服務(wù)。其中，氣象站監(jiān)督控制及云平臺監(jiān)督管控2個作用憑借以HBase為基礎(chǔ)的實時數(shù)據(jù)索引為氣象行業(yè)服務(wù)；數(shù)值預(yù)報及其產(chǎn)品的產(chǎn)生能夠運用分布型數(shù)據(jù)處理模型MapReduce實施氣象數(shù)據(jù)的分布型處置，從而實現(xiàn)氣象科研及公共氣象及其他方面的內(nèi)容。

1.5 用戶層

氣象大數(shù)據(jù)服務(wù)的對象涉及氣象行業(yè)業(yè)務(wù)部門、科研部門及相關(guān)行業(yè)。氣象業(yè)務(wù)部門能夠借助內(nèi)網(wǎng)接觸氣象大數(shù)據(jù)服務(wù)；氣象行業(yè)科研部門能夠借助Intnet得到一些數(shù)據(jù)；相關(guān)行業(yè)能夠借助Intnet得到預(yù)報結(jié)果。

2 利用MapReduce的氣象大數(shù)據(jù)服務(wù)舉例

2.1 MapReduce處理技術(shù)

MapReduce屬于編程方面的模型，適用大體量數(shù)據(jù)集的并行計算，“Map（映射）”與“Reduce（歸約）”即為該技術(shù)的中心思想。該技術(shù)在很大程度上為不懂分布式并行編程的編程者提供了幫助，只需把他們寫的程序錄入分布型系統(tǒng)就能運行。氣象大數(shù)據(jù)能夠運用該技術(shù)實現(xiàn)并行處理。MapReduce首先把輸進去的數(shù)據(jù)區(qū)分成統(tǒng)一規(guī)模的數(shù)據(jù)片，然后借助MAP處置各分片中的數(shù)據(jù)信息，再將獲取的數(shù)據(jù)實行REDUCE操作，利用操作后的結(jié)果進一步獲得最后的輸出。

2.2 基于MapReduce的氣溫和降水量統(tǒng)計方法

把我國某大型氣象站的日值數(shù)據(jù)作為處置對象，數(shù)據(jù)最開始存儲于HBase數(shù)據(jù)庫里，要想獲得氣象顯示這一服務(wù)，需通過MapReduce運算模型對上述日值數(shù)據(jù)實施處置、分析，分析結(jié)果對氣溫與降水量的分析及統(tǒng)計有重要作用。依靠月周期對氣象站的最高氣溫、最低氣溫、最高平均氣溫、最低平均氣溫與降水量實施統(tǒng)計，能夠獲取氣象站的往期氣溫及降水量的變動形勢，這能為估測日后氣溫及降水量的變動提供重要的參照。

MapReduce的氣象日值數(shù)據(jù)處置邏輯流程。MapReduce計算模型可以分布式處理存儲于HBase表里的數(shù)據(jù)。多個Map任務(wù)會并行讀取氣象數(shù)據(jù)，輸至Map任務(wù)里的數(shù)據(jù)是{key，value}對，key是行鍵，value是行鍵相對的一行數(shù)據(jù)。依靠Map任務(wù)的操作會繼續(xù)產(chǎn)生{key，value}對，成為Reduce的輸入。Reduce任務(wù)處理之后把逐月信息寫至關(guān)系型數(shù)據(jù)庫MySQL里。運用MySQL的SQL語句與有關(guān)函數(shù)，獲取逐年信息。

3 結(jié)語

本文所提的云背景下的氣象大數(shù)據(jù)服務(wù)架構(gòu)給氣象大數(shù)據(jù)服務(wù)奠定了基礎(chǔ)，通過利用MapReduce分布式處理技術(shù)對氣象中氣溫及降水量數(shù)據(jù)的統(tǒng)計方法的介紹，可以獲知其對氣象大數(shù)據(jù)的處置及分析的高效及便捷。云計算背景下氣象大數(shù)據(jù)的服務(wù)及應(yīng)用能夠加快氣象行業(yè)的信息化步伐，有利于該行業(yè)信息的進一步分享，同時也提升了氣象行業(yè)的服務(wù)水平，對于提高大眾對氣象服務(wù)的滿意程度有積極意義，這也是日后氣象服務(wù)的關(guān)鍵所在。

參考文獻

[1]梁長文，鄭海鵬，張冰.在大數(shù)據(jù)環(huán)境下科技型中小企業(yè)如何發(fā)展與應(yīng)用云計算[J].黑龍江科技信息，2016（29）：164.

[2]鮑慶芳.云計算背景下數(shù)字檔案館信息資源的安全管理探析[J].黑龍江科技信息，2016（13）：162.endprint