雙套自動氣象站數(shù)據(jù)融合方法探索

譚常春(1977-),男,安徽合肥人,博士,合肥工業(yè)大學副教授,碩士生導師.

雙套自動氣象站數(shù)據(jù)融合方法探索

劉靜1,朱華亮1,譚常春1,溫華洋2

(1.合肥工業(yè)大學 數(shù)學學院,安徽 合肥230009; 2.安徽省氣象信息中心,安徽 合肥230031)

摘要:國家級雙套自動氣象站運行后,多套數(shù)據(jù)融合為一套數(shù)據(jù)的數(shù)據(jù)融合問題是雙套站投入使用前必須解決的問題。文章提出了基于空間一致性滑動方差的數(shù)據(jù)處理算法,并利用安徽休寧站2010-10—2011-02 5個月每日01時點氣溫數(shù)據(jù)對算法進行驗證。結果表明:基于空間一致性的有效性判別對數(shù)據(jù)的篩選是有效的,很好地保證了數(shù)據(jù)的完整性和一致性;同時基于滑動方差得出的合成數(shù)據(jù)與“真值”較接近,可以反映大氣真實情況。

關鍵詞:雙套自動氣象站;數(shù)據(jù)融合;空間一致性;滑動方差;氣象數(shù)據(jù)

收稿日期：2013-12-11；修回日期：2014-04-15

基金項目：國家自然科學基金資助項目(11201108)；國家公益性行業(yè)(氣象)科研專項資助項目(GYHY201006055)

作者簡介：劉靜(1989-),女,安徽蕭縣人,合肥工業(yè)大學碩士生;

doi:10.3969/j.issn.1003-5060.2015.01.028

中圖分類號:TB114.37文獻標識碼：A

Explorationofdatafusionmethodfordoubleautomaticweatherstations

LIUJing1,ZHU Hua-liang1,TAN Chang-chun1,WEN Hua-yang2

(1.SchoolofMathematics,HefeiUniversityofTechnology,Hefei230009,China; 2.AnhuiMeteorologicalInformationCenter,Hefei230031,China)

Abstract:After the double automatic weather stations operate at national level, the data fusion problem that fuses multi-set of data into a set of data must be solved before the official operation of the double automatic weather stations. In this paper, a data processing algorithm based on space consistency and sliding variance is proposed, and the temperature data by hours of Xiuning Station, Anhui Province from Oct. 2010 to Feb. 2011 are used to validate the algorithm. The results show that the validity discrimination of the data based on space consistency is effective, thus ensuring the integrity and validity of the data; and that the result of data fusion based on sliding variance is close to the “truth value”, thus reflecting the basic situation of the atmosphere.

Keywords:doubleautomaticweatherstation;datafusion;spaceconsistency;slidingvariance;meteorologicaldata

自2000年1月1日我國第1批國家級自動氣象站正式投入運行起,全國已有30 000多個自動氣象站,大大地提高了資料的精度與質量，并增加了地面氣象觀測資料的時間密度。2010年在安徽省休寧、新疆莫索灣和河北南宮等10個臺站建設國家級雙套自動氣象站,并于2010年10月陸續(xù)投入試運行。文獻[1-2]對雙套站各要素數(shù)據(jù)進行了評估,涉及的要素較多,如氣溫、氣壓、相對濕度、風速、地溫(以5cm地溫為代表)和草面溫度等,這些研究從不同角度論證了雙套自動氣象站存在的優(yōu)勢。雙套自動站運行后,降水產生了4套數(shù)據(jù)(A、B站各有2套儀器,分別為0.1mm和0.5mm翻斗雨量計),其他要素也各產出2套數(shù)據(jù)。而常規(guī)資料服務只需一套完整準確的觀測數(shù)據(jù),因此多套數(shù)據(jù)處理成一套數(shù)據(jù)成為雙套站投入業(yè)務運行前迫切需要解決的問題。

國內外關于數(shù)據(jù)融合處理方法的相關研究大多集中在多傳感器數(shù)據(jù)融合領域,涉及的處理算法有參數(shù)估計信息融合方法[3]、卡爾曼濾波方法[3]、基于權重系數(shù)的融合方法[3-4]、小波變換融合法[5]、Bayes推理法[6-9]、基于D-S證據(jù)理論的融合方法[7-10]、模糊神經網絡方法[9-10]、基于粗糙集理論方法[10]、聚類分析法[10]。本文主要采用基于權重系數(shù)的融合方法,即給予2套數(shù)據(jù)不同的權重,合成為1套數(shù)據(jù),對雙套站的氣象數(shù)據(jù)進行融合。

本文使用的數(shù)據(jù)為休寧雙套站2010年10月至2011年02月的觀測值,以及對應時段休寧本站，周邊屯溪、歙縣、黟縣、祁門(第1代自動站)逐小時觀測值,涉及的要素有氣溫、氣壓、相對濕度、風速、地表溫度和草面溫度等。本站以及周邊臺站資料均經過嚴格的質量控制,而雙套站數(shù)據(jù)則通過初步的質量控制,沒有通過檢驗的數(shù)據(jù)設定為缺測。算法主要考慮的觀測要素為氣溫。

1算法簡介

設ai為a儀器的第i個觀測值,i=1,2，…。A儀器觀測數(shù)據(jù)為{Ai};B儀器觀測數(shù)據(jù)為{Bi};記算法合成數(shù)據(jù)為{Hi};本站觀測值為{Zi};周邊4臺站觀測值分別為祁門{Qi}、黟縣{Yi}、歙縣{Si}、屯溪{Ti};4站合成數(shù)據(jù)為{Ei}。

當A、B站差值超過一定閾值時需要利用空間一致性判斷哪個站的數(shù)據(jù)異常。其閾值根據(jù)第2代新型自動站功能規(guī)格書[11]中儀器最大允許誤差確定(氣溫為±0.2 ℃)。其基本思想認為:標準差越小,數(shù)據(jù)越穩(wěn)定,在數(shù)據(jù)合成時給定的權重越大。同時提出了利用周邊臺站數(shù)據(jù)判斷數(shù)據(jù)異常問題,并給出了對應的算法,具體方法如下。

1.1　數(shù)據(jù)預處理

(1) 若A、B儀器有一個儀器缺測,則選用未缺測數(shù)據(jù)作為缺測數(shù)據(jù)的修補值，即Ai=Bi。

(2) 若A、B儀器都缺測,該時點數(shù)據(jù)棄用。

1.2　數(shù)據(jù)修正

A、B儀器最大允許溫度誤差為±0.2 ℃,若|Ai-Bi|≤0.4,則認為A、B數(shù)據(jù)都正常；若|Ai-Bi|>0.4,則認為A、B數(shù)據(jù)有一個是非正常的,需要對數(shù)據(jù)進行判定來確定是哪個數(shù)據(jù)出現(xiàn)問題。具體步驟如下:

(1) 計算周邊臺站對應時測數(shù)據(jù)的加權平均。設周邊4個站點距離本站(休寧站)的距離分別為d1、d2、d3、d4。每個站點所賦的權重為:

則4站點合成數(shù)據(jù)為:

Ei=w1Qi+w2Yi+w3Si+w4Ti。

(2) 判斷A、B儀器記錄數(shù)據(jù)的正常性。據(jù)空間加權4站合成數(shù)據(jù){Ei}與{Ai}{Bi}的絕對差異|Ei-Ai|、|Ei-Bi|,若|Ei-Ai|>|Ei-Bi|，則B儀器數(shù)據(jù)正常,反之A儀器數(shù)據(jù)正常。

(3) 進行數(shù)據(jù)替代。用正常記錄數(shù)據(jù)替代非正常數(shù)據(jù)，即Ai=Bi。

1.3　數(shù)據(jù)合成

1.3.1　權重的選取

(2) 權重選擇。對應時點的時測數(shù)據(jù)波動越大,其權重越小。

(3) 給出2種權重(A的權重)。

1.3.2　融合數(shù)據(jù)公式

融合數(shù)據(jù)公式為：

2算法結果與評估

以2010年10月至2011年2月5個月每日01時次A、B兩儀器的氣溫數(shù)據(jù)為例進行氣溫數(shù)據(jù)合成。同時以休寧本站數(shù)據(jù)為“真值”,考察算法數(shù)據(jù)與“真值”的差異性。

(1) 原始數(shù)據(jù)分析。休寧站2010年10月雙套站資料出現(xiàn)大量的異常數(shù)據(jù)情況(儀器傳輸問題,為考察算法對異常值的處理效果,未將該段數(shù)據(jù)處理為缺測),如B站在10月13、16、17、18日數(shù)據(jù)偏離本站較多,10月28—31日出現(xiàn)缺測等異?，F(xiàn)象(僅以氣溫為例，如圖1所示),而2010年11月至2011年2月數(shù)據(jù)則相對正常(A、B差值在±0.3 ℃之間).

為避免直接選用A或者B儀器記錄數(shù)據(jù)作為本站數(shù)據(jù)的替代而造成的較大偏差,采用A、B儀器記錄數(shù)據(jù)的融合數(shù)據(jù)，即選用A、B相應氣象要素相同時點的記錄數(shù)據(jù)的加權平均，作為本站數(shù)據(jù)的替代。

圖1　2010-10—2011-02 休寧雙套站與本站每01時次氣溫數(shù)據(jù)比較

(2) 權重的選擇。2010-10—2011-02休寧雙套站滑動方差、標準差如圖2所示。從圖2可以看出B站數(shù)據(jù)的波動大于A站數(shù)據(jù),且波動較大處都是在2010年10月,主要是由于10月異常數(shù)據(jù)造成的。由于B站數(shù)據(jù)的波動較大,因而在數(shù)據(jù)融合時就應該降低B站數(shù)據(jù)的權重,較多提高A站數(shù)據(jù)的權重。將權重w1i和w2i進行比較分析看出,在11月之后,兩者權重基本接近,都可以作為融合所選用的權重。

圖2　2010-10—2011-02休寧雙套站滑動方差與標準差

2種權重的比較如圖3所示，從圖3可看出,基于滑動標準差的權重比基于滑動方差的權重波動小,且更接近于0.5。因此采用基于滑動標準差的權重作為數(shù)據(jù)融合的權重。

圖3　2種權重的比較

(3) 數(shù)據(jù)合成?；瑒訕藴什顧嘀貫椋?/p>

相應的融合數(shù)據(jù)公式為：

由此得出相應的融合數(shù)據(jù)。并與本站“真實值”做比較，如圖4所示。休寧本站值與融合值如圖5所示。從圖4可看出,融合值與本站值基本吻合。從圖5可以得出融合值與本站值差值超出允許誤差(±0.4 ℃)的次數(shù)為1次。誤差率為0.66%,可認為算法數(shù)據(jù)是可以接受的，且較好地反映了氣溫的真實情況。

圖4　2010-10—2011-02休寧本站值和合成值比較

圖5　休寧本站值與融合值差值

超過允許誤差的時次為2010年10月16日,此時次A站數(shù)據(jù)為12.7 ℃,B站數(shù)據(jù)為13.7 ℃(差值超過0.4),本站數(shù)據(jù)為12.9 ℃,周邊合成數(shù)據(jù)為13.8 ℃。利用空間一致性來判斷B站數(shù)據(jù)正常,A站數(shù)據(jù)異常。若利用本站數(shù)據(jù)判斷則A站正常,B站異常。為確認該時次A、B站點數(shù)據(jù)準確性,查閱了采集存儲卡里的原始數(shù)據(jù)發(fā)現(xiàn)A站為12.7 ℃,B站為12.8 ℃，與本站基本一致。但此處利用空間一致性判斷則B站作為正常數(shù)據(jù),而A站為異常數(shù)據(jù)。因此空間一致性算法還需要進一步改進。這要從臺站選取、數(shù)據(jù)確定以及算法加強方面著手。

3結論

(1) 采用最近的7個數(shù)據(jù)作為權重的計算,比用全部的每日同時點數(shù)據(jù)要優(yōu),因為時間長度較長時,可能有周期性項和趨勢項。選取方法主要依據(jù)方差波動越大,穩(wěn)定性越弱,其權重越小,此選取方法在此數(shù)據(jù)融合中起到了關鍵作用。

(2) 基于空間一致性的有效性判斷對數(shù)據(jù)的篩選是有效的,很好地保持了數(shù)據(jù)的一致性。基于滑動方差的數(shù)據(jù)融合所得出的合成數(shù)據(jù)作為業(yè)務數(shù)據(jù)是可以使用的,且可以較好地反映該時點的情況。

(3) 算法評估的思路和方法對雙套站資料質量評估有一定的借鑒意義。但是,由于不是原始的觀測值,使用該類數(shù)據(jù)存在一定的風險。因此,在考慮輸出數(shù)據(jù)的算法時還需要更加全面和細致。本文算法具有一般性,對于相對濕度適合,但對于風速不適合。

[參考文獻]

[1]溫華洋,徐光清,張虎,等.雙套自動氣象站數(shù)據(jù)評估及其優(yōu)勢探討[J].應用氣象學報,2012,23(6):748-754.

[2]溫華洋,徐光清,華連生,等.“雙套站”數(shù)據(jù)處理方法探索[C]//第28屆中國氣象學會年會——S1第四屆氣象綜合探測技術研討會，福建廈門，2011：28-32.

[3]朱澤君,黃濤,劉曦霞,等.多傳感器數(shù)據(jù)融合技術研究現(xiàn)狀及發(fā)展方向[J].船舶電子工程,2009,29(2):13-16.

[4]YagerRR.Aframeworkformulti-sourcedatafusion[J].InformationSciences,2004,163(1/2/3):175-200.

[5]TuTM,SuSC,ShyuHC,etal.AnewlookatIHS-likeimagefusionmethods[J].InformationFusion, 2001,2(3): 177-186.

[6]曲曉慧,安鋼.數(shù)據(jù)融合方法綜述及展望[J].船舶電子工程,2003(2):2-4.

[7]何友,彭應寧,陸大.多傳感器數(shù)據(jù)融合模型綜述[J].清華大學學報:自然科學版,1996,36(2):16-20.

[8]曾黎,蔣沅.多傳感器數(shù)據(jù)融合的數(shù)學方法研究[J].云南民族大學學報：自然科學版，2010,19(5):321-324.

[9]KleinLA.多傳感器數(shù)據(jù)融合理論及應用[M]. 戴亞軍,劉征,郁光輝,譯.北京:北京理工大學出社,2004:7-11.

[10]郝潤澤,楊瑞明.多傳感器數(shù)據(jù)融合技術研究現(xiàn)狀及軍事應用[J].兵工自動化,2007,26(4):16-17.

(責任編輯馬國鋒)