氣象數(shù)據(jù)完整性評估及可視化應(yīng)用

李新慶，王 凡，張 智，衛(wèi)建國

（1. 中國氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測預(yù)警與風(fēng)險管理重點實驗室，寧夏 銀川 750002；2. 寧夏氣象防災(zāi)減災(zāi)重點實驗室，寧夏 銀川 750002）

0 引言

氣象數(shù)據(jù)作為氣象行業(yè)的重要資產(chǎn)之一，對氣象預(yù)報、公眾服務(wù)、氣候預(yù)測、氣象防災(zāi)減災(zāi)等起著極其重要的支撐作用。根據(jù)統(tǒng)計，國家級存儲的各類氣象數(shù)據(jù)總量約26PB，分鐘級、秒級自動觀測數(shù)據(jù)的海量涌進(jìn)，至2020年全國氣象數(shù)據(jù)資源需求將達(dá)到 200PB[1]。在眾多氣象數(shù)據(jù)和產(chǎn)品中，地面氣象觀測數(shù)據(jù)作為最基礎(chǔ)、最重要的基礎(chǔ)數(shù)據(jù)，例如，氣溫、降水、相對濕度、風(fēng)等氣象要素，是氣候預(yù)測、雷達(dá)與衛(wèi)星定標(biāo)、水文設(shè)計、農(nóng)業(yè)決策的重要參考[2]，其重要性不言而喻。

然而，由于受到觀測設(shè)備、觀測技術(shù)、測站位置、通信傳輸、加工處理算法、解析入庫和歷史歸檔等多個環(huán)節(jié)、多種原因的影響[3-4]，造成氣象數(shù)據(jù)普遍存在質(zhì)量問題，尤其是長期觀測形成的歷史地面氣象觀測資料，其數(shù)據(jù)質(zhì)量也存在諸多問題。主要概括如下，各業(yè)務(wù)部門獲取的氣象數(shù)據(jù)仍然存在數(shù)據(jù)質(zhì)量不高，其數(shù)據(jù)準(zhǔn)確性、完整性、一致性、時效性均存在不足因素，導(dǎo)致業(yè)務(wù)用戶所獲取的數(shù)據(jù)不易用、不可用、不敢用的現(xiàn)象發(fā)生，阻礙氣象業(yè)務(wù)現(xiàn)代化步伐，成為邁入“智慧氣象”的絆腳石。因此，迫切需要對氣象數(shù)據(jù)的質(zhì)量進(jìn)行評估，為數(shù)據(jù)質(zhì)量改善提供理論依據(jù)。

隨著大數(shù)據(jù)和云計算技術(shù)的發(fā)展，關(guān)于數(shù)據(jù)質(zhì)量相關(guān)研究一度成為熱點問題，尤其是針對數(shù)據(jù)完整性評估，部分專家也相繼開展相關(guān)研究工作。許瑋[5]選用選取湖北、江西、安徽三省地面、輻射、高空等3類資料的觀測數(shù)據(jù)進(jìn)行數(shù)據(jù)完整性評估，發(fā)現(xiàn)地面資料中小時值、日值、旬值、月值、年值均存在數(shù)據(jù)不完整情況。沈文海[6]從數(shù)據(jù)質(zhì)量控制的角度闡述數(shù)據(jù)正確性管理的概念，包括氣象數(shù)據(jù)的正確性、一致性和完整性管理，提出數(shù)據(jù)序列完整性不足的問題，該類數(shù)據(jù)一旦投入業(yè)務(wù)應(yīng)用，會對各類業(yè)務(wù)產(chǎn)品造成較大影響。除此之外，劉永楠[7]、徐光偉[8]、楊同豪[9]、楊永強[10]等學(xué)者也從大數(shù)據(jù)的角度開展了數(shù)據(jù)完整性檢驗評估方法，均取得一定的進(jìn)展。

本文工作主要分為三個部分：首先，簡單介紹氣象數(shù)據(jù)質(zhì)量相關(guān)概念，研究制約數(shù)據(jù)質(zhì)量的一個重要指標(biāo)——數(shù)據(jù)完整性，采用寧夏氣象數(shù)據(jù)庫作為本文數(shù)據(jù)完整性評估和可視化實現(xiàn)的研究數(shù)據(jù)集；其次，針對省級數(shù)據(jù)存儲環(huán)境中地面基礎(chǔ)氣象資料，研究歷史小時、歷史日數(shù)據(jù)完整性評估問題，初步確立完整性評估指標(biāo)和約束方法，并對評估結(jié)果進(jìn)行仿真實驗，為補錄歷史數(shù)據(jù)集提供理論依據(jù)；最后，結(jié)合寧夏智能化綜合氣象業(yè)務(wù)服務(wù)共享管理平臺總體框架中對未來數(shù)據(jù)服務(wù)的需求，針對數(shù)據(jù)完整性進(jìn)行可視化分析應(yīng)用，同時結(jié)合大數(shù)據(jù)可視化技術(shù)，為氣象行業(yè)用戶提供一種具體的數(shù)據(jù)完整性可視化方案，增強數(shù)據(jù)應(yīng)用服務(wù)能力。

1 氣象數(shù)據(jù)質(zhì)量相關(guān)概念

因為氣象業(yè)務(wù)對數(shù)據(jù)有著天然的依賴性和敏感性[11]，所以氣象部門對氣象數(shù)據(jù)的質(zhì)量始終保持高度關(guān)注。數(shù)據(jù)質(zhì)量問題覆蓋省級數(shù)據(jù)存儲環(huán)境建設(shè)的各個環(huán)節(jié)，僅從數(shù)據(jù)流程來看，包括數(shù)據(jù)采集、加工處理、解析入庫等[12]。針對上述環(huán)節(jié)，數(shù)據(jù)質(zhì)量評估是提高數(shù)據(jù)服務(wù)質(zhì)量的基礎(chǔ)和必要前提，它可以幫助用戶了解整體數(shù)據(jù)存儲環(huán)境的數(shù)據(jù)質(zhì)量水平，并為后續(xù)數(shù)據(jù)存儲環(huán)境的完善和進(jìn)一步優(yōu)化提供理論依據(jù)。

大量文獻(xiàn)針對數(shù)據(jù)質(zhì)量問題凝練出關(guān)鍵的評估指標(biāo)[13-16]，概括來說，數(shù)據(jù)質(zhì)量采用以下5個特征進(jìn)行描述：①數(shù)據(jù)一致性（Consistency）：指同一實體的同一屬性值在不同數(shù)據(jù)集中是否一致；②數(shù)據(jù)完整性（Completeness）：指數(shù)據(jù)集中的數(shù)據(jù)是否存在缺失情況；③數(shù)據(jù)準(zhǔn)確性（Accuracy）：指數(shù)據(jù)集中的數(shù)據(jù)是否與其對應(yīng)的客觀實體特征保持一致；④數(shù)據(jù)唯一性（Uniqueness）：指數(shù)據(jù)集中的數(shù)據(jù)是否存在重復(fù)記錄；⑤有效性（Validity）：指數(shù)據(jù)集中的數(shù)據(jù)是否在一定界限值范圍內(nèi)或者依賴于某種約束規(guī)則。

其中，數(shù)據(jù)完整性是衡量數(shù)據(jù)質(zhì)量的重要指標(biāo)之一，在數(shù)據(jù)存儲環(huán)境建設(shè)工作中顯得尤為重要，它是指數(shù)據(jù)相對于所描述客觀世界的完整程度[17]，同時也是衡量其他指標(biāo)的基礎(chǔ)，用于度量數(shù)據(jù)集中數(shù)據(jù)丟失或者數(shù)據(jù)不可用的問題。由于氣象觀測數(shù)據(jù)的客觀性，本文在進(jìn)行數(shù)據(jù)完整性評估時，剔除了由于缺測、不觀測造成的數(shù)據(jù)完整性不足的現(xiàn)象[18]，僅從數(shù)據(jù)不為空或在時間序列不連續(xù)方面進(jìn)行評估。

2 省級氣象數(shù)據(jù)環(huán)境和實驗數(shù)據(jù)集

2.1 省級氣象數(shù)據(jù)環(huán)境介紹

寧夏氣象綜合數(shù)據(jù)庫致力于在寧夏氣象行業(yè)內(nèi)部整合多源數(shù)據(jù)采集、加工、存儲、共享服務(wù)等功能，為氣象行業(yè)用戶提供統(tǒng)一標(biāo)準(zhǔn)的氣象數(shù)據(jù)存儲環(huán)境，同時針對原有全國綜合氣象信息共享系統(tǒng)（China Integrated Meteorological Information Service System，CIMISS）中存儲和共享功能進(jìn)行省級橫向擴展，解決各級氣象業(yè)務(wù)和管理用戶的數(shù)據(jù)共享和一站式在線服務(wù)[19]。歸納起來，寧夏氣象綜合數(shù)據(jù)庫主要存儲地面、高空、輻射、雷達(dá)、衛(wèi)星、大氣環(huán)流與海洋、農(nóng)氣、大氣成分、數(shù)值預(yù)報等146類、5832種明細(xì)的基礎(chǔ)數(shù)據(jù)，時間序列包括歷史小時數(shù)據(jù)、歷史日數(shù)據(jù)資料等。

目前，氣象綜合數(shù)據(jù)庫基本滿足了省級氣象數(shù)據(jù)的標(biāo)準(zhǔn)存儲和行業(yè)應(yīng)用，能夠為寧夏智能化綜合氣象業(yè)務(wù)服務(wù)共享管理平臺提供數(shù)據(jù)支撐。但在氣象資料應(yīng)用過程中，逐漸暴露出地面氣象數(shù)據(jù)完整性、準(zhǔn)確性不足等突出問題，制約了多源氣象資料在特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測中的應(yīng)用與研究。

2.2 實驗數(shù)據(jù)集

本文選用寧夏氣象綜合數(shù)據(jù)庫中地面歷史小時、歷史日數(shù)據(jù)作為實驗數(shù)據(jù)集。其中，歷史小時數(shù)據(jù)表存儲了國家站、區(qū)域站小時數(shù)據(jù)共計 12.31億條，存儲氣象要素 43種。歷史日數(shù)據(jù)表存儲了國家站、區(qū)域站數(shù)據(jù)共計0.59萬條，存儲氣象要素45種。

小時數(shù)據(jù)完整性評估數(shù)據(jù)集，時間范圍從2003年1月1日至2017年12月31日為止，氣象要素包括氣溫、降水、氣壓、相對濕度、風(fēng)、地溫共6種常規(guī)氣象要素；由于2003年以前的氣象數(shù)據(jù)為人工定時觀測，故未包含在本文的評估范圍內(nèi)。日數(shù)據(jù)完整性評估數(shù)據(jù)集，時間范圍從1951年1月1日開始至2017年12月31日為止，氣象要素包括氣溫、降水量、氣壓、風(fēng)、相對濕度共5種常規(guī)氣象要素。

3 氣象數(shù)據(jù)完整性評估

3.1 氣象數(shù)據(jù)完整性評估方法

針對海量關(guān)系數(shù)據(jù)中普遍存在的數(shù)據(jù)質(zhì)量完整性不足的問題，文獻(xiàn)[20]描述了數(shù)據(jù)完整性評估方法，結(jié)合地面氣象數(shù)據(jù)的相關(guān)特點，采用屬性完整性進(jìn)行逐氣象要素度量，其算法描述如下：針對數(shù)據(jù)集中任意關(guān)系 R ( N, M )，N和M分別表示關(guān)系數(shù)據(jù)庫中的 N條元組，M個屬性 A0, A1, … ,Am,,m∈(0,M - 1 )，對于R中任意元組t和屬性A，屬性值 t[ A]的完整性記作 CAC(t[ A]) = μ(t[ A])。其中，μ是一個抽象的度量函數(shù)，采用μ(t[ A])對數(shù)據(jù)完整性進(jìn)行評估。在本文中，若 t[ A]為空，則表示 t[ A]是缺失的，否則，表示是完整的，采用函數(shù)度量如下：

針對數(shù)據(jù)完整性評估，采用文獻(xiàn)[21]中公式描述如下：

其中，rC表示數(shù)據(jù)集的記錄數(shù)，qdC 表示數(shù)據(jù)集元數(shù)據(jù)定義的數(shù)據(jù)項個數(shù)，sC表示數(shù)據(jù)集中缺少數(shù)據(jù)項的個數(shù)，N表示數(shù)據(jù)集的個數(shù)。

3.2 數(shù)據(jù)完整性評估方法實現(xiàn)

輸入：針對逐小時資料中氣溫、降水、氣壓、相對濕度、風(fēng)、地溫共6種氣象要素，逐日資料中氣溫、降水量、氣壓、相對濕度、風(fēng)共5種氣象要素作為輸入屬性，分別得出不同氣象要素的數(shù)據(jù)完整性評估結(jié)果。

輸出：R的完整性 CRC(R )，R的缺測率 MRC(R)，R的不觀測率為 NRC(R)。

計算過程的偽代碼如下所示：

1. Count_null=0 //記錄非完整性值的個數(shù)

2. Count_Miss=0 //記錄要素中缺測的個數(shù)

3. Count-noObs=0 //記錄要素中不觀測或無數(shù)據(jù)個數(shù)

4. for i=1 to N do

5. for m=1 to M do

6. if(ti[ Am]==null or ti[ Am] ==””) do

7. Count_null=Count_null +1

8. elseif(ti[ Am]==99999)

9. Count_Miss=Count_Miss+1

10. elseif(ti[ Am]=99998)

11. Count_noObs=Count_noObs+1

12. else

13. pass

14.

15. return (round(((m*N-Count_null)/m*N)*100,2),

/m*N)*100,2),round((Count_noObs/m*N)*100,2))

4 評估實驗結(jié)果

圖1 小時數(shù)據(jù)完整性評估結(jié)果Fig.1 Results of historical hourly data integrity assessment

針對數(shù)據(jù)集中歷史逐小時數(shù)據(jù)中6種常規(guī)氣象要素進(jìn)行完整性評估，實驗結(jié)果如圖1所示。自2015年至2017年，歷史逐小時數(shù)據(jù)的數(shù)據(jù)完整性存在部分?jǐn)?shù)據(jù)缺失的情況，缺失原因主要是2015年前數(shù)據(jù)均采用歷史歸檔資料進(jìn)行解析入庫，保證數(shù)據(jù)完整性的要求，自2015年后，逐小時數(shù)據(jù)均采用程序自動入庫，由于受到自動觀測的復(fù)雜性、時效性等因素影響[22]，造成氣象要素缺失情況較多。

針對數(shù)據(jù)集中歷史逐日數(shù)據(jù)中5種常規(guī)氣象要素進(jìn)行完整性評估，實驗結(jié)果如圖2所示。從總體情況來看，歷史逐日氣象數(shù)據(jù)完整性總體較好，因為部分日數(shù)據(jù)采用歷史逐小時數(shù)據(jù)加工計算而成，因為逐小時數(shù)據(jù)完整性不足，所以導(dǎo)致從2009年至2017年期間存在部分日數(shù)據(jù)缺失的情況，影響歷史日數(shù)據(jù)的完整性。

圖2 日數(shù)據(jù)完整性評估結(jié)果Fig.2 Results of historical daily data integrity assessment

5 數(shù)據(jù)完整性可視化應(yīng)用

氣象數(shù)據(jù)具備時間序列數(shù)據(jù)的基本特征，尤其是針對地面氣象觀測數(shù)據(jù)，其產(chǎn)生的各類要素均與時間因素密切相關(guān)。因此，本文參考現(xiàn)有的大數(shù)據(jù)可視化技術(shù)[23-26]，采用時間序列數(shù)據(jù)可視化方法，從時間和數(shù)據(jù)兩個角度描述歷史逐小時氣象數(shù)據(jù)的完整性，并將數(shù)據(jù)完整性評估結(jié)果在寧夏綜合氣象數(shù)據(jù)庫管理系統(tǒng)中進(jìn)行應(yīng)用，為氣象行業(yè)用戶提供良好的數(shù)據(jù)服務(wù)體驗。

時間序列可視化技術(shù)屬于文本可視化的范疇[27-28]，常常被用于數(shù)據(jù)分析、數(shù)據(jù)挖掘和計算機圖形學(xué)中，為用戶揭示數(shù)據(jù)變化規(guī)律。常用的時間序列可視化方法概括來說，主要包括折線圖、散點圖、樹圖、熱力圖、?；鶊D和螺旋圖等[29]，不同的可視化方法適用于不同特性的數(shù)據(jù)[30]。

根據(jù)寧夏氣象綜合數(shù)據(jù)庫中地面氣象逐小時、逐日數(shù)據(jù)完整性評估結(jié)果來看，采用基于樹圖和日歷圖的可視化方法能夠直觀反映氣象數(shù)據(jù)完整性評估的應(yīng)用成果。應(yīng)用主要分為兩個步驟：首先，用戶根據(jù)不同觀測站點情況，選擇任意時間段的氣象要素，查看不同年份對應(yīng)的數(shù)據(jù)完整性評估結(jié)果；其次，若發(fā)現(xiàn)某個年份數(shù)據(jù)完整性不足，則用戶可根據(jù)年、月、日時間維度進(jìn)行逐級展開，直觀查詢不同氣象要素的數(shù)據(jù)完整性評估結(jié)果。圖3采用樹圖進(jìn)行展示應(yīng)用，圖4采用日歷圖進(jìn)行展示應(yīng)用。

圖3 樹圖應(yīng)用評估界面Fig.3 Application evaluation interface using treemap

圖4 日歷圖應(yīng)用評估界面Fig.4 Application evaluation interface using calendar

6 結(jié)語

數(shù)據(jù)完整性是衡量數(shù)據(jù)質(zhì)量的一個重要指標(biāo)，作為氣象業(yè)務(wù)、服務(wù)和部門決策的支撐系統(tǒng)，寧夏氣象綜合數(shù)據(jù)庫中存在部分?jǐn)?shù)據(jù)缺失、為空等完整性不足的問題，影響用戶的使用效果。因此，為反映出地面歷史逐小時資料中各要素的真實存儲情況，本文采用完整性精確評估算法和大數(shù)據(jù)可視化技術(shù)對氣象要素進(jìn)行評估，得出歷史氣象數(shù)據(jù)較為真實的完整性評估結(jié)果，為氣象行業(yè)用戶在使用氣象數(shù)據(jù)時提供判斷依據(jù)。同時，為后續(xù)?。▍^(qū)）級數(shù)據(jù)環(huán)境中數(shù)據(jù)集的完善建設(shè)提供理論指導(dǎo)。