氣象數據在線融合分析原型系統(tǒng)的實現(xiàn)

張志強，楊和平，楊 笛，姜筱瑋，陳 楠

國家氣象信息中心，北京 100081

1 引言

經過多年發(fā)展，我國氣象信息化能力不斷提高，建成了“天地一體化”的通信網絡系統(tǒng)。目前，國家氣象信息中心收集的氣象及相關資料日均數據量約2.9 TB，年均數據量約1.0 PB，數據資源總量持續(xù)增長，截止2017年，累積數據總量超過4.3 PB[1]。除了氣象行業(yè)內部的氣候變化、天氣預報、氣象災害等方向的氣象數據融合與分析，氣象與各行業(yè)結合的數據融合分析也成為新時代下氣象大數據平臺建設的重要方向之一，結合電力、農業(yè)、交通、保險、旅游等行業(yè)數據為其發(fā)展決策提供指導性依據[2]。數據融合分析即數據挖掘分析，即通過數據的獲取、加工、關鍵因子篩選，最終確定最相關的關鍵因子，并利用統(tǒng)計分析及機器學習發(fā)現(xiàn)因子之間的關聯(lián)關系，實現(xiàn)對行業(yè)內及行業(yè)間的趨勢進行預測預報，更好地發(fā)揮氣象因子廣泛的潛在價值[3-4]。此外程序化業(yè)務運行后，如需對該流程中模型進行因子數據補充或模型優(yōu)化等調整，則需進行重新編程開發(fā)、封裝等非氣象領域的專業(yè)工作，對及時、有效地開展相關工作造成了一定難度。

傳統(tǒng)數據融合分析，一般是在統(tǒng)計學的基礎上利用統(tǒng)計軟件進行數據挖掘分析，如利用SPSS、SAS等軟件，采用逐步回歸等方法建立MOS回歸方程[5]，借助貝葉斯、費歇爾判別等多級和逐級判別建立大降水預報方程[6]，基于典型相關（CCA）分析和奇異值分解（SVD）等方法做汛期降水趨勢預報等[7]，以上數據分析工作要求分析者熟練掌握統(tǒng)計分析軟件的使用。隨著機器學習算法的興起，支持向量機、神經網絡等模式識別方法逐漸應用于天氣預報、氣候預測、氣象災害預測等氣象領域，同時也應用到其他行業(yè)，實現(xiàn)了氣象與多行業(yè)的融合，如農業(yè)病蟲害預警[8]、電力氣象預警[9]、交通路線規(guī)劃[10]以及天氣指數保險[11-12]等。此類流程的構建需要分析者熟悉主流編程軟件工具的使用方法，如Matlab、Python、Java等，以及算法包的接口調用如libSVM、javaml等。此類技術雖然已經成熟，但涉及到的流程及相關軟件的應用相對繁雜，分析者除了熟悉本專業(yè)知識外，還需熟悉統(tǒng)計算法等數據知識。某個行業(yè)的工作者很難根據自己的工作經驗，通過行業(yè)數據融合，構建相對成熟的預測預報模型或產品等。因此急需一套集成氣象數據、模型及綜合實現(xiàn)的平臺，供各行業(yè)工作者僅依靠自身行業(yè)經驗即可進行數據的融合分析，實現(xiàn)模型產品的發(fā)布，為大數據背景下的眾創(chuàng)提供有效的數據融合分析工具。

該系統(tǒng)基于國家氣象信息中心氣象數據環(huán)境，集成了氣象數據CIMISS數據環(huán)境[13]的統(tǒng)一服務接口（Meteorological Unified Service Interface Community，MUSIC）[14]、WEKA數據挖掘模型[15-16]、ECharts可視化[17]接口等功能模塊，并利用Java動態(tài)算法包加載運行技術，實現(xiàn)了從數據采集、算法實現(xiàn)以及最終應用的集成化操作流程，構建了在線交互式數據接入（錄入或導入）、處理、分析，以及算法的選擇、導入、構建及運行的一站式氣象數據在線融合分析平臺。該系統(tǒng)設計開發(fā)結構明確，為其他行業(yè)的專業(yè)數據分析平臺提供了快速搭建及實現(xiàn)的思路。

2 系統(tǒng)設計

本系統(tǒng)主要包括三方面：數據管理、算法管理、綜合運算。通過數據管理在線導入或錄入數據，實現(xiàn)在線存儲；同時通過在線的算法選擇及導入功能，實現(xiàn)算法的在線管理及后期選擇應用；利用綜合運算功能，對數據及算法進行組織，實現(xiàn)模型的構建及結果的輸出，見圖1。

圖1 系統(tǒng)流程設計圖

2.1 集成設計

本系統(tǒng)核心是集成，在設計過程中充分考慮了各部分（圖1）的對接關系，主要包括綜合運算分別與數據及算法管理之間的對接關系，涉及到用戶數據、算法以及結果的存儲及展示，即用戶數據加工庫、算法庫以及場景應用庫等。

綜合運算與數據管理：綜合運算通過MUSIC中的API接口以restful方式獲取數據；同時綜合運算可調用數據標準化算法對數據加工處理，并將處理后的數據存儲在用戶數據加工庫內，便于用戶調用。

綜合運算與算法管理：綜合運算在算法調用過程中，內部算法通過內部的WEKA包直接調用；外部算法通過Java動態(tài)Jar包等腳本加載實現(xiàn)；此外，在算法模型構建過程中，綜合運算利用API調用氣象數據或直接調用用戶數據加工庫的數據，同時利用通用模型構建模型參數，存儲至算法庫，供后期調用。

綜合運算場景管理：通過之前決策場景模型應用的準備工作，對數據及成熟模型算法進行選擇，計算出相關結果，存儲至場景應用庫。其中除了決策結果數據外，還包括可視化模塊等標識內容，便于決策場景的直接預覽等。

2.2 數據管理

數據管理的主要功能是實現(xiàn)數據的在線獨立存儲管理，包括氣象數據的在線獲取，即接口的嵌入式頁面集成及數據在線獲取，以及外部數據的錄入導入等。

氣象數據接口嵌入：

氣象數據統(tǒng)一服務接口（MUSIC），是基于國省統(tǒng)一的數據環(huán)境（CIMISS），面向氣象業(yè)務和科研，提供全國統(tǒng)一、標準、豐富的數據訪問服務和應用編程接口（API），為國、省、地、縣各級應用系統(tǒng)提供唯一權威的數據接入服務。用戶在使用過程中，通過MUSIC提供web可視化服務，直接生成接口訪問的腳本，用戶直接拷貝腳本并在接口客戶端運行，實現(xiàn)文件的下載。

本系統(tǒng)通過iframe嵌入式頁面設計，通過主頁面獲取iframe中的腳本生成的內容，并直接生成WEKA中支持的arff文件，供用戶使用。具體實現(xiàn)步驟如下：

步驟1獲取iframe內接口頁面中textarea的腳本內容，該內容是ini格式的文本。

步驟2對ini文件進行解析，去掉無關的腳本參數，如結果記錄限制、保存路徑等。

步驟3通過Java腳本客戶端進行數據提取，并按照arff格式進行數據格式的標準化處理。

外部數據錄入及導入：

通過Java中文件保存的Servlet類，對提交的數據進行固定目錄的保存，便于綜合運算功能進行數據的選擇。

2.3 算法管理

算法管理主要功能是對自定義算法的導入，其中包括數據處理、模型構建、決策處理三類算法。數據處理算法，主要用于對數據的標準化處理，如氣象要素數據的距平算法等；模型構建主要用于支持向量機（Surport Vector Machine，SVM）、神經網絡等通過訓練數據對模型的參數模擬，構建定制的預測模型；決策處理主要用于選定數據及定制的預測模型，得出決策或預測的結果。

2.4 綜合運算

通過數據源（數據管理）以及分析算法（算法管理）的準備，利用綜合運算功能模塊實現(xiàn)選擇算法，并對數據進行處理、建模、分析等操作。主要包括以下三個流程（如圖2）。

（1）數據標準化處理

數據的標準化處理是對選擇的數據進行清洗和轉換工作，通過數據處理類算法的選擇，可按照特定的算法進行數據處理，并將處理后的數據存入數據源中，供后續(xù)操作。

（2）模型參數模擬

模型參數擬合是利用數據源中的數據（這里作為訓練數據Train Data），對通用模型算法中如SVM等的模型參數進行擬合，構建最終的決策模型，并存入算法管理中，供后續(xù)使用。

（3）決策測報輸出

決策預報輸出是利用之前的數據及現(xiàn)有模型（如聚類等）構建的決策模型，實現(xiàn)最終的分析結果或數據預測結果的輸出及可視化等功能。

3 技術實現(xiàn)

圖2 算法流程結構圖

根據系統(tǒng)流程的設計，技術實現(xiàn)過程中主要包括兩部分內容，即前臺的頁面功能及后臺功能模塊實現(xiàn)。前臺主要基于B/S架構，以及iframe嵌入式父、子頁面jscript函數調用等網頁編程技術，實現(xiàn)頁面展示及MUSIC接口的腳本調用；后臺功能方面利用MUSIC中Java客戶端的二次開發(fā)、動態(tài)加載外部導入算法以及基于WEKA源碼的二次開發(fā)，實現(xiàn)相關功能的開發(fā)。

3.1 iframe通訊技術

該平臺前端開發(fā)的重要部分是通過iframe框架實現(xiàn)MUSIC接口定制頁面的嵌入，實現(xiàn)子頁面與父頁面通信，自動獲取MUSIC定制的腳本，供MUSIC的Java客戶端進行氣象數據的自動獲取。其中iframe父、子頁面的通訊包括同域傳輸及跨域傳輸，其中跨域傳輸需要對父、子頁面采用location對象的Hash值等方法實現(xiàn)，即需要對MUSIC定制頁面進行代碼的重新添加，該方法會影響MUSIC頁面對自身其他功能的支持。因此本系統(tǒng)中采用同域傳輸，利用Nginx進行統(tǒng)一域名代理，實現(xiàn)MUSIC定制頁面的腳本獲取及傳輸。

3.2 算法動態(tài)加載技術

該系統(tǒng)支持三類算法（見2.2節(jié)）的外部導入，系統(tǒng)基于Java，通過org.python以及JNA（Java Native Access）、JNI（Java Native Interface）技術的運用，分別對Python、Fortran、C++等語言的外部導入算法進行動態(tài)加載運行，同時利用URLClassLoader類實現(xiàn)對外部導入jar包算法的動態(tài)加載運行等。目前可支持常用氣象及其與行業(yè)數據融合分析算法包的動態(tài)加載運行。

3.3 WEKA二次開發(fā)

WEKA（WaikatoEnvironmentforKnowledge Analysis）是Waikato大學研究的開放源碼的數據挖掘平臺，其中集成了大量的機器學習算法，包括對數據進行預處理、關聯(lián)規(guī)則挖掘、分類、聚類等，其對外服務方式包括成型的可視化使用工具及基于WEKA源碼包的二次開發(fā)。

該系統(tǒng)將氣象數據中常用氣象要素特征表達算法集成到WEKA源碼包中，作為氣象數據在線融合分析的內部算法，發(fā)布到該平臺下，供用戶使用。以最常用的溫度距平要素及降雨距平要素的百分率[18-19]為例，其算法公式如式（1）～（3）：

其中xˉ表示平均溫度，xdt表示距平值，Pt表示距平百分率，n表示樣本數。

按照以上的算法流程，在eclipse開發(fā)平臺下，將主類TAnomaly類（距平）、PAnomaly類（距平百分率）與WEKA自身的SimpleFilter等類封裝在weka.filters包中。TAnomaly類及PAnomaly類分別主要完成距平及距平百分率的計算及輸出。

除此之外，對于WEKA通用的機器學習模型如KMean聚類、支持向量機、神經網絡等，從界面上實現(xiàn)了初始參數的輸入。

3.4 可視化技術

可視化是在數據分析中，直觀展示數據關系的重要方式。該平臺采用百度ECharts2.0可視化接口（http：//echarts.baidu.com）、three.js接口技術等將servlet算法處理或分析的結果，通過post傳遞給展示頁面，頁面中利用jscript將變量賦值到相關模塊中，最終實現(xiàn)數據的展示。

針對氣象相關數據的特征，本系統(tǒng)中可視化分為以下幾類：模型評估可視化、聚類可視化、WebGIS可視化等。

模型評估可視化：用于在模型構建過程中，模型檢驗時，直觀展現(xiàn)預測數據與觀測數據之間的關系。主要表現(xiàn)形式為散點圖（echarts/chart/scatter）、柱狀圖（echarts/chart/bar）、曲線圖（echarts/chart/line）等（圖3）。

聚類可視化：對一些聚類分析的結果，通過樹狀關系圖等對聚類結果進行展示。主要表現(xiàn)為力導向布局圖（echarts/chart/force）及和弦圖（echarts/chart/chord）（圖4）。

WebGIS可視化：針對氣象數據的區(qū)域特性，集成了基于WebGis的經緯度地圖展示。在二維展示中，除了Echart中的百度地圖擴展BMap，還基于天地圖的地理信息數據，結合D3及l(fā)eaflet技術，利用SVG進行可視化展示，提高了可視化的交互體驗（圖5）；在三維展示中，以webgl為基礎的Three.js庫實現(xiàn)，使用Three.js創(chuàng)建一個SphereGeometry對象，Three.js紋理貼圖的方式為UV映射，需要給創(chuàng)建的球體對象設置一個等經緯的地圖作為紋理[20]（圖6）。

圖3 “曲線圖”展示模型檢驗結果

圖4 “樹狀關系網絡圖”展示聚類結果

圖5 “WebGIS”二維展示數據區(qū)域分布結果

圖6 “WebGIS”三維展示數據區(qū)域分布結果

可視化功能開發(fā)實現(xiàn)過程以SOA開發(fā)架構[21]，將多樣可視化進行接口封裝，使用過程中僅需提供對應的數據即可。如WebGIS可視化中，僅需提供經緯度及對應的值，即可實現(xiàn)二維及三維的展示。

4 實驗與結果

本文實驗場景是預測太陽輻射數據，光伏電站的規(guī)劃設計的前提是能夠準確預測太陽輻射值，該項工作對系統(tǒng)的經濟運行起著至關重要的作用。該實驗以中國內蒙古自治區(qū)呼倫貝爾市海拉爾站（站號：50527）2017年6月份每日平均溫度、平均濕度、最小能見度、日照時長為自變量關鍵因子，利用SVR模型對日總輻射（曝輻量單位：兆焦每平米(MJ m2)，構建總輻射的預測模型。以2017年7月份海拉爾站的數據作為測試數據，對模型進行檢驗。

4.1 數據準備

通過數據管理欄目界面，首先分別選擇2017年6、7月份的每日平均溫度、平均濕度、最小能見度、日照時長以及總輻射（曝輻量）數據，分別存為raditraindata.arff、raditestdata.arff。通過綜合運算中的“處理數據”算法對能見度進行了標準化處理，將單位從“米”轉換成“千米”，便于后期的訓練及測試準備。

4.2 算法選擇

該樣例采用的是支持向量回歸模型（Support Vector Regression，SVR）[22-23]，該模型是libSVM包中一類回歸算法，是支持向量機（SVM）[24]重要的應用分支類似。利用raditraindata.arff構建模型參數，初始參數為options=（"-S 4-K 0-D 3-P 0.1-C 1.0-E 0.001-N 0.5"），訓練后新的決策模型保存為“LibSVM-SVR.model”便于最后決策應用過程中調用。

4.3 結果

該實驗中的輻射數據為非分類數據，因此采用支持向量回歸（SVR）模型，平臺中主要基于libSVM中的“nu-SVR”模型，該模型可自動擬合參數，利用測試數據raditraindata.arff構建模型，通過簡單選取“構建模型”功能，提交后自動生成新的決策應用模型“nu-SVR”。其結果評估中，相關系數（Correlation coefficient）為0.94，相關絕對誤差為0.34。利用7月份數據進行預測得到的結果，預測結果與實際值進行回歸分析，相關系數R2=0.933 6，如圖7。整個流程操作簡便，具有實際可行性。

圖7 2017年7月海拉爾站日總輻射觀測值與預測值相關分析

5 總結與展望

氣象數據在線融合分析原型系統(tǒng)的構建，為行業(yè)專家快速進行數據分析及場景應用提供了交互、便捷、高效的在線工具，實現(xiàn)了從數據到產品的一站式集約化平臺，具體從以下3個方面進行總結。

（1）簡化了氣象數據使用流程

系統(tǒng)集成了氣象數據統(tǒng)一服務接口，簡化了氣象數據的下載、解壓、處理等傳統(tǒng)工作流程，直接實現(xiàn)了在線定制、存儲、處理及使用。便捷的數據使用流程，提升了用戶對氣象要素使用的積極性，極大發(fā)揮了數據的價值。

（2）豐富并拓展了氣象相關分析算法

系統(tǒng)收集針對氣象數據分析的常用算法，并開發(fā)集成部署到系統(tǒng)中，便于用戶使用；同時支持外部算法的加載，可擴充系統(tǒng)服務支撐能力。系統(tǒng)的算法模型服務能力得到了較大提升。

（3）整合并構建了氣象融合分析平臺

系統(tǒng)整合了通用氣象數據分析流程，實現(xiàn)了從氣象數據到場景應用的一體化在線融合分析功能。降低了氣象數據分析的門檻，對氣象數據的眾創(chuàng)提供了一個靈活高效的平臺。

隨著各行業(yè)大數據時代的到來，除了應用場景作為分析的前提條件外，在線分析技術還需對以下幾個主要方面進行深入研究：第一，針對海量數據，結合關系型及非關系型數據庫，提高長序列、多要素氣象數據的快速讀取及調度；第二，針對算法效率，利用分布式大數據算法工具（MahOut、TensorFlow等），優(yōu)化算法的計算效率，豐富算法內涵及外延[25]；第三，為進一步提升整個流程的產品級開發(fā)，從數據獲取、模型運行、決策服務等分析流水線進行腳本化輸出，即對決策服務流程進行腳本化封裝，簡化服務部署，實現(xiàn)產品的實時輸出。