數(shù)據(jù)挖掘技術(shù)在氣象數(shù)據(jù)中的應(yīng)用

盧秀蕓

摘要：隨著我國社會(huì)水平的提升，經(jīng)濟(jì)步伐的推進(jìn)，我國的氣象事業(yè)也在這個(gè)過程中得到了較大程度的發(fā)展。而在氣象事業(yè)發(fā)展的過程中，伴隨著是氣象資料數(shù)據(jù)量以及覆蓋規(guī)模的不斷增大。面對(duì)這部分龐大的的數(shù)據(jù)，如何對(duì)其進(jìn)行有效的查找、利用則成為了我國氣象行業(yè)人員非常關(guān)注的一項(xiàng)問題。在本文中，將就數(shù)據(jù)挖掘技術(shù)在氣象數(shù)據(jù)中的應(yīng)用進(jìn)行一定的研究與分析。

關(guān)鍵詞：數(shù)據(jù)挖掘技術(shù)；氣象數(shù)據(jù)；應(yīng)用

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）09-0239-02

Abstract： along with our country social improvement， economic development，meteorological services in China has been developed greatly in the process.In the process of the development of meteorological services， meteorological data along with the increasing scale and coverage. In the face of this part of the huge data， how to effectively search， its use has become a problem of great concern to the industry of our country. In this paper， the application of data mining technology in meteorological data on the study and analysis of some.

Key words： data mining； meteorological data； application

對(duì)于氣象數(shù)據(jù)的收集與分析有利于幫助我們對(duì)不同地區(qū)所具有的氣象條件以及氣象規(guī)律進(jìn)行把握，以此使我們能夠更好的對(duì)該地區(qū)某一時(shí)段下的氣象情況進(jìn)行預(yù)測。但是，這種數(shù)據(jù)的收集就會(huì)使我們所具有的氣象數(shù)據(jù)資料越來越多，難以對(duì)其進(jìn)行管理與應(yīng)用。僅僅通過我們計(jì)算機(jī)方式的應(yīng)用，也很難對(duì)這種規(guī)模較大的數(shù)據(jù)集進(jìn)行處理，在這種情況下，就需要我們能夠以數(shù)據(jù)挖掘技術(shù)的應(yīng)用更好的實(shí)現(xiàn)氣象數(shù)據(jù)的管理。

1 數(shù)據(jù)挖掘流程

1.1 確定對(duì)象

在開展數(shù)據(jù)挖掘工作中，首先需要對(duì)業(yè)務(wù)所具有的問題進(jìn)行明確的定義，幫助我們對(duì)數(shù)據(jù)挖掘的目的進(jìn)行確定。雖然對(duì)于我們后續(xù)數(shù)據(jù)的挖掘結(jié)果會(huì)具有一定的不可預(yù)測性，但是對(duì)于我們問題探索的目標(biāo)卻需要具有良好的預(yù)見性，并以此針對(duì)性目標(biāo)的確定幫助我們更好的開展后續(xù)工作。

1.2 數(shù)據(jù)準(zhǔn)備

在這個(gè)環(huán)節(jié)中，主要具有數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)選擇這三個(gè)主要步驟。其中，數(shù)據(jù)選擇是對(duì)同本次業(yè)務(wù)具有關(guān)聯(lián)的維度或者數(shù)據(jù)進(jìn)行選擇，并從中選擇出適合本次數(shù)據(jù)挖掘工作的相關(guān)數(shù)據(jù)；數(shù)據(jù)預(yù)處理則是對(duì)本次研究數(shù)據(jù)所具有的質(zhì)量進(jìn)行研究，并以此幫助我們?yōu)楹罄m(xù)的進(jìn)一步分析作出準(zhǔn)備，同時(shí)對(duì)數(shù)據(jù)操作所具有的類型進(jìn)行確定；數(shù)據(jù)轉(zhuǎn)換則是要將不同類型數(shù)據(jù)通過一定的方式將其轉(zhuǎn)換為我們所需要的數(shù)據(jù)分析模型，對(duì)于該模型而言，其是針對(duì)我們?cè)型诰蛩惴ǘ⒌?，而這種分析模型的建立也是我們開展數(shù)據(jù)挖掘工作的重要基礎(chǔ)與重點(diǎn)環(huán)節(jié)。

1.3 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘正是我們本次工作的核心環(huán)節(jié)，需要對(duì)所有數(shù)據(jù)預(yù)處理完成的、經(jīng)過轉(zhuǎn)換的數(shù)據(jù)進(jìn)行全面的挖掘。在此過程中，除了需要我們以人工的方式對(duì)適合本次挖掘工作所使用的算法進(jìn)行選擇之外，其余的工作都會(huì)以自動(dòng)的方式開展。

1.4 結(jié)果解釋與評(píng)價(jià)

在我們數(shù)據(jù)挖掘工作結(jié)束之后，往往會(huì)得到一系列規(guī)則集，而這部分規(guī)則集通常需要在專業(yè)人員對(duì)其進(jìn)行一定的研究與合理的解釋才能夠被人們更好的掌握。對(duì)此，就需要我們對(duì)本次數(shù)據(jù)挖掘結(jié)果進(jìn)行適當(dāng)?shù)慕忉屌c評(píng)價(jià)，進(jìn)而使其能夠具有更好的易用性以及廣泛性。

2氣象資料特點(diǎn)

2.1 數(shù)據(jù)量大

氣象資料可以說是我國歷史最為久遠(yuǎn)、保存最為系統(tǒng)且完善的一類資源信息。尤其隨著改革開放之后，我國已經(jīng)積累了數(shù)量非常多的氣象基礎(chǔ)數(shù)據(jù)以及信息，且新的氣象數(shù)據(jù)資料也以非?？斓乃俣仍诿磕暝鲩L，在我們實(shí)際處理時(shí)經(jīng)常會(huì)出現(xiàn)冗余情況。

2.2 多樣性

氣象信息具有著非常多樣化的種類，如高空氣象資料、農(nóng)業(yè)氣象資料、日地物理資料、雷達(dá)資料、氣象輻射資料、冰雪圈資料、土壤與植被資料、氣象災(zāi)害資料、地面氣象資料、水文氣象資料以及衛(wèi)星資料等等。而氣象資料所具有的載體也具有著很多種方式，如不同氣象站所發(fā)布的氣象原始報(bào)表，不同省市所發(fā)布的氣象衛(wèi)星云圖以及雷達(dá)圖等等。

2.3 多維性

在氣象資料中，通常都具有著較多的氣象要素，如高空資料以及地面資料往往具有著溫度、日照以及氣溫等很多種要素。而在每一類要素中，也都具有著其所獨(dú)特的屬性維度。也正是根據(jù)這種特點(diǎn)，則使氣象資料往往具有著較為明顯的多為特征。

2.4 復(fù)雜性

氣象資料中所常見的數(shù)據(jù)類型主要有標(biāo)稱類型、二元類型、數(shù)值類型以及序列類型等等。比如降雨與否為二元類型、氣壓為數(shù)值類型等等。

2.5 連續(xù)性

在氣象站中，無論是高空站還是地面站，其所具有的氣象要素屬性值都是一種具有連續(xù)特征的數(shù)值，比如氣壓、溫度以及氣溫要素。

3 氣象資料預(yù)處理

3.1 缺失值處理

在SPSS軟件中，具有著很多種對(duì)于數(shù)據(jù)的缺失值處理方式。而對(duì)于氣象數(shù)據(jù)來說，由于其所具有的變化是一個(gè)能量的動(dòng)態(tài)變化過程，對(duì)此，我們對(duì)于氣象數(shù)據(jù)所具有的缺失值則使用Mean of nearby points方式進(jìn)行，并對(duì)其中所具有的缺失值根據(jù)鄰近三個(gè)小時(shí)所具有的數(shù)據(jù)平均值對(duì)缺失值進(jìn)行替代。

3.2 氣象資料屬性泛化

在數(shù)據(jù)維度泛化方面，需要嚴(yán)格的按照我國相關(guān)標(biāo)準(zhǔn)開展工作，比如在二氧化硫數(shù)據(jù)的泛化方面，其是否存在超標(biāo)情況則需要根據(jù)我國所制定的污染物濃度標(biāo)準(zhǔn)對(duì)其進(jìn)行泛化。即如果CO2所執(zhí)行的為一級(jí)標(biāo)準(zhǔn)，那么則可以根據(jù)其每小時(shí)所具有的濃度值同標(biāo)準(zhǔn)中的參考值0.15進(jìn)行比對(duì)，并以此幫助我們判斷該項(xiàng)參數(shù)是否存在超標(biāo)的現(xiàn)象。而對(duì)于其所具有的超標(biāo)、不超標(biāo)現(xiàn)象來說，我們則需要在對(duì)結(jié)果判斷之后將其標(biāo)記為（是，否）二元屬性值。

3.3 氣象資料標(biāo)準(zhǔn)化

在氣象數(shù)據(jù)資料中，不同維度間數(shù)據(jù)往往具有著不一致的量綱，而我們?cè)趯?duì)其開展定量量測以及聚類分析時(shí)，也經(jīng)常由于量綱所具有的不同而對(duì)最終的分析結(jié)果產(chǎn)生較大的影響。一般情況下，氣象資料中所具有的風(fēng)向數(shù)值都會(huì)控制在0至360之間，而如果污染因子的單位為毫克，那么其所具有的范圍則會(huì)在0至1之間，我們?cè)趯?duì)聚類進(jìn)行應(yīng)用時(shí)如果以距離作為評(píng)價(jià)，其主要依據(jù)則會(huì)在兩個(gè)維度中更加傾向于風(fēng)向維護(hù)。而為了能夠?qū)@部分維度間所具有的影響進(jìn)行消除，就需要我們對(duì)這部分重點(diǎn)維度開展標(biāo)準(zhǔn)化預(yù)處理。在氣象數(shù)據(jù)的標(biāo)準(zhǔn)化處理中，具有著很多種方式，Z標(biāo)準(zhǔn)化是我們應(yīng)用較多的一類方式，即均值為0，方差為1。

3.4 氣象資料維歸約

在氣象資料中有時(shí)候維度之間具有很強(qiáng)的依賴性或者說相關(guān)性，對(duì)于維度之間的這種依賴性或者相關(guān)性有時(shí)候在數(shù)據(jù)分析時(shí)候由于數(shù)據(jù)量巨大會(huì)導(dǎo)致多余的計(jì)算，所以對(duì)于一些需要把握主要的或者消除冗余的數(shù)據(jù)來進(jìn)行數(shù)據(jù)分析時(shí)就可以采用主成分分析方法或者計(jì)算相關(guān)性來消除這些冗余的屬性維度。

4 氣象資料孤立點(diǎn)分析

在氣象資料中的龐大數(shù)據(jù)中，我們?cè)趯?duì)其進(jìn)行分析時(shí)往往忽略了孤立點(diǎn)的存在，或者忽略了孤立點(diǎn)所具有的特殊意義。通常來說，人們認(rèn)為孤立點(diǎn)僅僅是噪聲數(shù)據(jù)的一種，且經(jīng)常將孤立點(diǎn)分析這項(xiàng)工作作為了數(shù)據(jù)預(yù)處理進(jìn)行處理，僅僅對(duì)其中可能對(duì)數(shù)據(jù)挖掘整體結(jié)果產(chǎn)生影響的因素進(jìn)行了剔除。但是，在氣象數(shù)據(jù)中，這部分孤立點(diǎn)往往具有著非常特殊的意義，通過孤立點(diǎn)數(shù)據(jù)的分析與檢測，很容易幫助我們對(duì)很多災(zāi)害氣象進(jìn)行分析。目前，對(duì)于孤立點(diǎn)進(jìn)行分析的技術(shù)主要有以下幾種：

4.1 基于統(tǒng)計(jì)方式

首先，需要假設(shè)我們所具有的數(shù)據(jù)集能夠滿足某一種概率的分布形式，之后再根據(jù)其所具有的這種獨(dú)特概率對(duì)數(shù)據(jù)集進(jìn)行擬合，并通過不一致檢驗(yàn)方式的應(yīng)用對(duì)其中很多個(gè)數(shù)據(jù)對(duì)象開展不一致性測試。如果經(jīng)過測試發(fā)現(xiàn)其存在著不符合的情況，就可以認(rèn)為其是一個(gè)孤立點(diǎn)。

4.2 基于距離方式

在該種方式中，我們可以將對(duì)于孤立點(diǎn)的分析視作鄰居對(duì)象不充分的集合，且這種鄰居對(duì)象也是根據(jù)對(duì)象所具有的距離進(jìn)行定義的。通常來說，人們僅僅會(huì)通過DB（p，d）的應(yīng)用對(duì)全局孤立點(diǎn)進(jìn)行發(fā)現(xiàn)，而對(duì)于局部孤立點(diǎn)卻很難判斷。對(duì)此，我們則可以認(rèn)為孤立點(diǎn)概念不需要以一分為二的屬性對(duì)其分離，而可以通過對(duì)象孤立度的制定對(duì)其所具有的模糊度進(jìn)行衡量。

4.3 基于密度方式

基于密度的孤立點(diǎn)分析就是探測局部密度，通過不同的密度估計(jì)策略來檢查

孤立點(diǎn)。密度即指任一點(diǎn)和 p 距離小于給定半徑 R 的領(lǐng)域空間數(shù)據(jù)點(diǎn)的個(gè)數(shù)?；诿芏鹊墓铝Ⅻc(diǎn)分析最顯著的特點(diǎn)就是給定了對(duì)象是孤立點(diǎn)程度的定量量度，并且是數(shù)據(jù)具有不同密度的區(qū)域也能得到很好的處理?；诿芏鹊墓铝Ⅻc(diǎn)分析較基于距離的孤立點(diǎn)分析更合理，但數(shù)據(jù)的計(jì)算復(fù)雜度較基于距離的孤立點(diǎn)分析要高許多。

4.4 基于聚類方式

聚類分析是用來發(fā)現(xiàn)數(shù)據(jù)集中強(qiáng)相關(guān)聯(lián)的對(duì)象組，而孤立點(diǎn)檢測是發(fā)現(xiàn)不與其他對(duì)象組強(qiáng)關(guān)聯(lián)的對(duì)象。因此，孤立點(diǎn)分析與聚類是兩個(gè)相互對(duì)立的過程。首先聚類所有的對(duì)象，然后評(píng)估對(duì)象屬于簇的程度，對(duì)于基原型的聚類，可以用對(duì)象到它的簇中心的距離來衡量對(duì)象屬于簇的程度。

總得來說，數(shù)據(jù)挖掘技術(shù)在我國現(xiàn)今的氣象數(shù)據(jù)處理中具有著較為重要的作用。在上文中，我們對(duì)于數(shù)據(jù)挖掘技術(shù)在氣象數(shù)據(jù)中的應(yīng)用進(jìn)行了一定的研究，而在實(shí)際操作過程中，也需要我們?cè)诼?lián)系數(shù)據(jù)類別的基礎(chǔ)上通過數(shù)據(jù)挖掘技術(shù)的應(yīng)用獲得更好的氣象分析效果。

參考文獻(xiàn)：

[1] 何永健， 曹蕓， 黃勇. GIS氣象數(shù)據(jù)的管理與表達(dá)方法[J]. 南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2011（3）：232-237.

[2] 石揚(yáng)， 張燕平， 趙姝， 張玲， 田福生， 汪小寒. 基于商空間的氣象時(shí)間序列數(shù)據(jù)挖掘研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2007（1）：101-102.

[3] Theodore B. Trafalis，Budi Santosa， Michael B. Richman. Learning networks in rainfall estimation[J]. Computational Management Science， 2005（3）：113-116.