氣象數(shù)據(jù)文件檢索與傳輸方法對比分析與應(yīng)用

劉高平+葉金印

摘要：優(yōu)化多源異構(gòu)氣象數(shù)據(jù)文件的檢索與傳輸方式可以縮短氣象信息查詢響應(yīng)時(shí)間，提高天氣預(yù)報(bào)業(yè)務(wù)工作效率。基于安徽省氣象臺天氣預(yù)報(bào)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)環(huán)境，以氣象衛(wèi)星、天氣雷達(dá)、閃電定位儀、自動氣象站觀測資料以及數(shù)值天氣預(yù)報(bào)產(chǎn)品等主要?dú)庀髷?shù)據(jù)文件為研究對象，對比分析不同檢索和傳輸方法的檢索時(shí)間和傳輸效率。結(jié)果表明，使用非規(guī)范技術(shù)元數(shù)據(jù)技術(shù)可有效提高氣象數(shù)據(jù)文件檢索效率，GridFTP數(shù)據(jù)傳輸方式效率最高；采用非規(guī)范技術(shù)元數(shù)據(jù)檢索與多文件壓縮傳輸?shù)慕M合策略能有效縮短氣象信息查詢的響應(yīng)時(shí)間。

關(guān)鍵詞：氣象數(shù)據(jù)文件；檢索；傳輸；對比分析

中圖分類號：P409

文獻(xiàn)標(biāo)識碼：A

DOI：10.3969/j.issn.1003-6970.2015.06.009

本文著錄格式：劉高平，葉金印，氣象數(shù)據(jù)文件檢索與傳輸方法對比分析與應(yīng)用[J].軟件，2015，36（6）：42-46

ComparativeAnalysisandApplicationoftheMeteorologicalDataFileRetrievalandTransmissionMethods

LIUGao-ping，YEJin-yin[Abstract]：Optimizingtheretrievalandtransmissionmodeofmulti-sourceheterogeneousdatacouldshortentheresponsetimeofmeteorologicalinformationqueryandimprovetheefficiencyofweatherforecast.Basedontheweath-erforecastcomputernetworkenvironmentofAnhuiMeteorologicalObservatorytheretrievaltimeandtransmissionefficiencyofdifferentretrievalandtransmissionmodeswerecomparedandanalyzedbytakingmainmeteorologicaldataasresearchob.jects，suchassatellitedata，radardata，lightninglocatordata，automaticweatherstationdataandnu-mericalweatherpredictionproducts.Theresultsindicatedthattheretrievalefficiencyofmeteorologicaldatacanbeimprovedeffectivelybyutilizingdenormalizationtechnologytomanagemetadata.GridFTPdatatransmissionmodehadthehighestefficiency.Theresponsetimeofthemeteorologicalinformationquerywasshortenedbythecombina-tionofthemetadataretrievalusingdenormalizationtechniqueandmulti-filecompressiontransmission.

[Keywords]：Meteorologicaldatafiles；Retrieval；Transmission；Comparativeanalysis

0引言

自動氣象站、閃電定位儀、雷達(dá)、衛(wèi)星等自動觀測儀器在氣象業(yè)務(wù)中廣泛應(yīng)用，這些儀器觀測頻率高且生成不同格式氣象數(shù)據(jù)文件，逐漸形成了結(jié)構(gòu)復(fù)雜、文件格式各異、數(shù)量龐大的文件系統(tǒng)[1-2]。

由于氣象數(shù)據(jù)結(jié)構(gòu)復(fù)雜，氣象數(shù)據(jù)文件檢索與傳輸是影響天氣預(yù)報(bào)工作效率的一個(gè)重要環(huán)節(jié)[3]，特別是遇到突發(fā)天氣時(shí)，氣象監(jiān)測預(yù)警數(shù)據(jù)能否及時(shí)到達(dá)業(yè)務(wù)系統(tǒng)直接影響到預(yù)報(bào)服務(wù)的效果[4]。氣象業(yè)務(wù)現(xiàn)行業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件檢索與傳輸方案的效率已經(jīng)不能滿足業(yè)務(wù)需要[5]。因此，本文通過對多源異構(gòu)氣象數(shù)據(jù)文件檢索和傳輸方法進(jìn)行對比分析，提出采用非規(guī)范技術(shù)元數(shù)據(jù)檢索與多文件壓縮傳輸?shù)慕M合策略，以縮短天氣預(yù)報(bào)業(yè)務(wù)中氣象信息查詢的響應(yīng)時(shí)間。

1文件系統(tǒng)概述

氣象臺站每日采集的氣象數(shù)據(jù)文件主要包括氣象衛(wèi)星、數(shù)值預(yù)報(bào)產(chǎn)品、天氣雷達(dá)、閃電定位以及白動氣象站觀測資料，數(shù)據(jù)總量約為120G，大部分文件大小集中在2KB～60M。常用的幾大類氣象數(shù)據(jù)文件系統(tǒng)信息如表1所示。

2試驗(yàn)環(huán)境

以安徽省氣象臺現(xiàn)行天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)為試驗(yàn)環(huán)境，進(jìn)行氣象數(shù)據(jù)文件檢索與傳輸方法對比分析。服務(wù)器端軟件均使用GridFTP.NET，主機(jī)信息見表2。

客戶機(jī)使用SSD硬盤，試驗(yàn)時(shí)GridFTP的TCPBufferSize設(shè)置為128KB，設(shè)置為并行傳輸（parallelism=2），其他均為默認(rèn)參數(shù)。在表2中IP為10.129.4.147的機(jī)器上建立了一臺FTP和SFTP服務(wù)器，測試FTP和SFTP傳輸效率。

3文件檢索方法對比分析

由于氣象數(shù)據(jù)文件命名規(guī)則的復(fù)雜性，天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)通過命名規(guī)則來定位文件存在困難[6]，因此需要通過文件系統(tǒng)進(jìn)行檢索。氣象數(shù)據(jù)文件傳輸一般采用NFS文件共享傳輸方式，其基本原理是通過TCP或UDP協(xié)議訪問和傳輸[7]。文件共享檢索方式由系統(tǒng)自動調(diào)整，雖然方便簡易，但共享的文件數(shù)量較大時(shí)，檢索效率隨之降低[8]。

元數(shù)據(jù)技術(shù)是解決大規(guī)模數(shù)據(jù)文件檢索的有效解決方案[9]。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)”，是一種規(guī)范法的描述信息，記錄了數(shù)據(jù)的來龍去脈，但隨著文件數(shù)量不斷增大，元數(shù)據(jù)的量隨之增加，使得元數(shù)據(jù)檢索效率降低[10]。利用非規(guī)范技術(shù)元數(shù)據(jù)可簡化邏輯、解除多個(gè)表之間的聯(lián)合查詢[11]，從而提高檢索效率。因此，本文針對氣象數(shù)據(jù)文件多源異構(gòu)、數(shù)據(jù)量大的特點(diǎn)，采用非規(guī)范技術(shù)設(shè)計(jì)元數(shù)據(jù)，建立目錄名、文件名、文件大小、數(shù)據(jù)類型、文件格式、數(shù)據(jù)日期等字段的非規(guī)范技術(shù)元數(shù)據(jù)表（表3）。元數(shù)據(jù)表名與文件系統(tǒng)的目錄名通過一定規(guī)則對應(yīng)，在一張表中檢索所需氣象數(shù)據(jù)文件，簡化錄入和瀆取過程。

對文件共享檢索方式和非規(guī)范技術(shù)元數(shù)據(jù)檢索方式進(jìn)行100次檢索試驗(yàn)，對比分析兩種方式平均檢索耗時(shí)（圖1）。非規(guī)范技術(shù)元數(shù)據(jù)檢索方式的平均耗時(shí)大大低于文件共享檢索方式，兩種文件檢索方式的耗時(shí)都會隨著目錄中文件數(shù)量的增加而增長，但元數(shù)據(jù)檢索方式的耗時(shí)增長速度大大低于文件共享方式檢索。

4文件傳輸方式對比分析

本文將氣象數(shù)據(jù)文件傳輸分為單文件和多文件兩種情形，分別進(jìn)行對比分析。

4.1單文件傳輸對比分析

現(xiàn)行天氣預(yù)報(bào)業(yè)務(wù)系統(tǒng)

圖1文件共享檢索方式與非規(guī)范技術(shù)元數(shù)據(jù)檢索耗時(shí)對比圖使用的數(shù)據(jù)傳輸協(xié)議主要有FTP、SFTP、GridFTP等[1，12]。FTP使用方便，但小文件傳輸效率不高；SFTP是安全強(qiáng)化版的FTP，常用于傳輸包含機(jī)密數(shù)據(jù)的小文件；GridFTP是網(wǎng)格環(huán)境中FTP的一種安全、快速、高效、可靠的擴(kuò)展版本。通過對SK、50K、500K、SM、50M、500M的單文件進(jìn)行傳輸速度對比分析。三種傳輸協(xié)議與文件共享方式傳輸速率對比結(jié)果見圖2。

GridFTP在大文件傳輸方面有一定優(yōu)勢，尤其是文件在500K以上時(shí)；局域網(wǎng)文件共享和FTP方式速度相當(dāng)。在傳輸大于500M文件時(shí)，F(xiàn)TP、GridFTP以及文件共享方式的傳輸速率都超過60Mbps，已經(jīng)超過ATA硬盤的寫入速度。

4.2多文件傳輸對比分析

多文件傳輸時(shí)可采用無損壓縮技術(shù)對其進(jìn)行壓縮，傳輸完成后再解壓縮。但壓縮后再傳輸是否能提升傳輸效率由網(wǎng)絡(luò)帶寬、壓縮速度和解壓縮速度三個(gè)參數(shù)共同決定。公式（1）成立時(shí)，使用壓縮傳輸可以提升效率。

Tzip+Tuzip+Ttzip

式中Tzip為壓縮時(shí)長，Tuzip為解壓縮時(shí)長，Ttzin為傳輸壓縮文件時(shí)長，Tt為不壓縮時(shí)傳輸時(shí)長。Tt和Tuzip由算法和傳輸機(jī)器的相關(guān)性能和壓縮解壓縮算法決定，而Tt：ip由文件大小、網(wǎng)絡(luò)速率、傳輸協(xié)議等參數(shù)決定。為了找到壓縮傳輸?shù)呐R界條件，定義：

γ=（Tmor-Tcom）/（Tnor+Tcom）（2）

式中Tcom為壓縮后傳輸方案耗時(shí)，Tnor為不壓縮傳輸方案耗時(shí)。γ越小，表明壓縮傳輸和不壓縮傳輸效率越接近。

傳輸對比試驗(yàn)方案設(shè)計(jì)如下：根據(jù)文件平均字節(jié)數(shù)β，分7組文件進(jìn)行測試，β∈（2KB、SKB、8KB、11KB，14KB、17KB、20KB）。傳輸方式采用GridFTP，得到壓縮傳輸與不壓縮傳輸效率相當(dāng)?shù)奈募€(gè)數(shù)。第1次選取1個(gè)大小為β的文件進(jìn)行壓縮傳輸和不壓縮傳輸測試，記錄γ；第2次選取2個(gè)文件平均大小為β的文件進(jìn)行壓縮傳輸和不壓縮傳輸測試，記錄γ；依次類推進(jìn)行測試，直至找到大于0的最小γ值，記錄此時(shí)文件個(gè)數(shù)。對于不同大小文件，壓縮與不壓縮傳輸效率相當(dāng)時(shí)，文件大小與文件個(gè)數(shù)折線圖與擬合曲線如圖3所示。例如，當(dāng)文件平均大小為SKB，個(gè)數(shù)為10個(gè)時(shí)壓縮傳輸與不壓縮傳輸相率相當(dāng)。

可以看出壓縮傳輸方案與不壓縮傳輸方案效率相當(dāng)時(shí)的文件個(gè)數(shù)隨所需傳輸?shù)奈募骄笮《黾?，?dāng)文件個(gè)數(shù)N滿足：

N>0.23β2—0.8β3+7.4（3）

時(shí)，可以使用壓縮傳輸方案。式中，β為文件平均大小，單位為KB。

5檢索與傳輸組合方案試驗(yàn)

試驗(yàn)采用兩種方案：方案A為現(xiàn)行業(yè)務(wù)中文件共享方式檢索傳輸；方案B為組合方案使用試驗(yàn)中效率較高的非規(guī)范技術(shù)元數(shù)據(jù)進(jìn)行檢索和利用公式（3）判斷是否進(jìn)行壓縮傳輸。使用方案A和方案B對表1中的5種氣象數(shù)據(jù)文件進(jìn)行檢索傳輸試驗(yàn)，試驗(yàn)a為檢索船速每種氣象數(shù)據(jù)文件10個(gè)，試驗(yàn)b檢索傳輸每種氣象數(shù)據(jù)文件100個(gè)，重復(fù)試驗(yàn)100次得到圖4（a）和（b）所示的檢索傳輸平均耗時(shí)對比圖。

從圖4（a）和（b）中可以看出：方案A在檢索傳輸自動氣象站數(shù)據(jù)文件時(shí)，不論傳輸文件多少，用時(shí)均超過33秒，由于自動氣象站文件平均大小僅為2KB，傳輸時(shí)會間短，可見文件檢索占了整個(gè)過程絕大部分時(shí)間；方案B檢索傳輸10個(gè)和100個(gè)自動氣象站、雷達(dá)、閃電定位數(shù)據(jù)文件時(shí)耗時(shí)相差不大，這是由于在傳輸100小文件時(shí)，方案B滿足公式c3）使用了壓縮傳輸策略，說明壓縮解壓傳輸策略起到提升效率的作用；在數(shù)據(jù)文件數(shù)量不多且文件尺寸較大時(shí)兩者效率相當(dāng)；總體而言，方案B傳輸效率明顯高于方案A，尤其在小文件傳輸方面。

6結(jié)論

本文以安徽省氣象臺天氣預(yù)報(bào)計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)和氣象數(shù)據(jù)文件系統(tǒng)為應(yīng)用背景，對比分析了文件共享和非規(guī)范技術(shù)元數(shù)據(jù)檢索效率、壓縮傳輸與不壓縮傳輸策略，得到如下結(jié)論：

（1）使用非規(guī)范技術(shù)元數(shù)據(jù)可大大提升氣象數(shù)據(jù)文件檢索效率。

（2）試驗(yàn)的多種傳輸方法中GridFTP效率最高。

（3）本文采用非規(guī)范技術(shù)元數(shù)據(jù)檢索與公式（3）判斷是否壓縮傳輸?shù)慕M合策略在自動氣象站、天氣雷達(dá)、閃電定位等小文件方面?zhèn)鬏敺矫嫘蕛?yōu)勢明顯。

本文中的各項(xiàng)試驗(yàn)均是在特定的網(wǎng)絡(luò)環(huán)境下完成應(yīng)用對比，有待在不同的網(wǎng)絡(luò)環(huán)境下進(jìn)行深入的研究分析。

參考文獻(xiàn)

[1]陸穎華，馬廷淮，曹浩，等.大量氣象數(shù)據(jù)小文件自適應(yīng)優(yōu)化傳輸[J].應(yīng)用氣象學(xué)報(bào)，2014，25（5）：629-637.

[2]薛勝軍，劉寅.基于Hadoop的氣象信息數(shù)據(jù)倉庫建立與測試[J].計(jì)算機(jī)測量與控制，2012，04：926-928+932.

[3]裴羽中，宋連春，吳可軍，等.我國綜合氣象觀測運(yùn)行監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)踐[J].氣象，2011，02：213-218.

[4]馬渝勇，方國強(qiáng)，向繼濤，等.省級氣象信息網(wǎng)絡(luò)系統(tǒng)的整體設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究，2012，04：1374-1377.

[5]劉立明，王彬.氣象網(wǎng)格環(huán)境下大數(shù)據(jù)的端到端傳輸機(jī)制研究[J].計(jì)算技術(shù)與自動化，2014，01：122-126.

[6]高峰，王國復(fù)，喻雯，等.氣象數(shù)據(jù)文件快速下載服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào)，2010，02：243-249.

[7]胡曉曄，王能輝.網(wǎng)絡(luò)文件系統(tǒng)的安全性分析與改進(jìn)[J].煤炭技術(shù)，2012，02：243-244.

[8]楊彬.分布式文件系統(tǒng)HDFS處理小文件的優(yōu)化方案[J].軟件，2014，35（6）：65-69.

[9]高沛鑫.論元數(shù)據(jù)及其作用[J]軟件，2014，35（3）：201-202.

[10]趙丹.基于網(wǎng)格技術(shù)的分布式異構(gòu)空間數(shù)據(jù)訪問及集成研究[J].軟件，2013，34（4）：113-116.

[11]周敏，汪新慶.基于非規(guī)范化和數(shù)據(jù)字典的地學(xué)元數(shù)據(jù)管理[J].計(jì)算機(jī)技術(shù)與展，2015，03：175-179.

[12]王甫棣.國內(nèi)氣象通信系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用，2012，S2：220-225.