基于XML文件的“存儲(chǔ)過(guò)程模型”在民航氣象結(jié)構(gòu)化數(shù)據(jù)集成存儲(chǔ)中的應(yīng)用

房云龍　趙鐵成　潘江勇

【摘 要】為高效集成存儲(chǔ)航空氣象結(jié)構(gòu)化數(shù)據(jù)，提出一種基于XML文件的“存儲(chǔ)任務(wù)模型”。根據(jù)氣象數(shù)據(jù)的特點(diǎn)，“存儲(chǔ)任務(wù)”分為“數(shù)據(jù)收集”、“格式轉(zhuǎn)換”和“集成存儲(chǔ)”三個(gè)子任務(wù)，提取子任務(wù)處理過(guò)程中所有的參數(shù)作為XML文件的元素標(biāo)簽，以一定的方式集中整合?！按鎯?chǔ)任務(wù)”與XML文件一一對(duì)應(yīng)，便于增加、改變、刪除不同類(lèi)型的數(shù)據(jù)存儲(chǔ)。利用基于XML文件的“存儲(chǔ)任務(wù)模型”，可以方便的設(shè)計(jì)程序完成不同類(lèi)型結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，提高了存儲(chǔ)程序的可移植性和可擴(kuò)展性。

【關(guān)鍵詞】XML文件；存儲(chǔ)過(guò)程模型；民航氣象；結(jié)構(gòu)化數(shù)據(jù)；集成存儲(chǔ)

中圖分類(lèi)號(hào)： TP316 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2018）11-0104-003

DOI：10.19694/j.cnki.issn2095-2457.2018.11.044

0 引言

民航氣象數(shù)據(jù)是開(kāi)展航空氣候統(tǒng)計(jì)評(píng)估及進(jìn)行航空科學(xué)研究的基礎(chǔ)，是推動(dòng)航空氣象科學(xué)發(fā)展的原動(dòng)力。存儲(chǔ)民航氣象數(shù)據(jù)對(duì)提升航空預(yù)報(bào)的準(zhǔn)確率、開(kāi)展典型歷史個(gè)例全面分析、建立數(shù)值天氣預(yù)報(bào)產(chǎn)品的統(tǒng)計(jì)釋用、建立多源氣象探測(cè)數(shù)據(jù)融合系統(tǒng)等工作具有十分重要的意義。

民航氣象數(shù)據(jù)具有數(shù)據(jù)量大、時(shí)效性高、種類(lèi)豐富的特點(diǎn)。目前，部分機(jī)場(chǎng)民航氣象部門(mén)存儲(chǔ)數(shù)據(jù)還處于手動(dòng)存儲(chǔ)階段，計(jì)算機(jī)存儲(chǔ)數(shù)據(jù)也多為“單獨(dú)程序負(fù)責(zé)單獨(dú)數(shù)據(jù)”的狀態(tài)，擴(kuò)展性和移植型較差，還沒(méi)有一套系統(tǒng)、完善、同時(shí)便于預(yù)報(bào)員操作的自動(dòng)化存儲(chǔ)過(guò)程。因此，有必要開(kāi)展民航氣象數(shù)據(jù)存儲(chǔ)技術(shù)方面的工作，為氣象科學(xué)研究及業(yè)務(wù)建設(shè)提供數(shù)據(jù)基礎(chǔ)。

民航氣象數(shù)據(jù)可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)[1]。結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，由二維表結(jié)構(gòu)來(lái)表達(dá)和實(shí)現(xiàn)數(shù)據(jù)邏輯，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，可以通過(guò)關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理[2]。很多民航氣象數(shù)據(jù)是標(biāo)準(zhǔn)的結(jié)構(gòu)化數(shù)據(jù)。本文以青島機(jī)場(chǎng)民航氣象數(shù)據(jù)為例，介紹了一種簡(jiǎn)易的基于XML文件的“存儲(chǔ)過(guò)程模型”，以系統(tǒng)集成的存儲(chǔ)民航氣象結(jié)構(gòu)化數(shù)據(jù)。

1 青島機(jī)場(chǎng)結(jié)構(gòu)化氣象數(shù)據(jù)

目前青島機(jī)場(chǎng)可以獲得的結(jié)構(gòu)化氣象數(shù)據(jù)包括民航數(shù)據(jù)和中國(guó)氣象局?jǐn)?shù)據(jù)兩大類(lèi)。其中民航數(shù)據(jù)有機(jī)場(chǎng)自動(dòng)觀測(cè)系統(tǒng)數(shù)據(jù)（AWOS）、自動(dòng)氣象站數(shù)據(jù)（AWS）、航空器氣象數(shù)據(jù)下傳（AMDAR）、機(jī)場(chǎng)風(fēng)廓線雷達(dá)數(shù)據(jù)、民航飛行氣象情報(bào)等。中國(guó)氣象局?jǐn)?shù)據(jù)包括：常規(guī)地面、高空探測(cè)數(shù)據(jù)、青島市自動(dòng)站數(shù)據(jù)、青島市氣象局風(fēng)廓線雷達(dá)數(shù)據(jù)、山東省自動(dòng)站數(shù)據(jù)、山東省閃電定位數(shù)據(jù)等，具體見(jiàn)表1。

2 基于XML文件的“存儲(chǔ)過(guò)程模型”的建立

XML（EXtensible Markup Language，可擴(kuò)展標(biāo)記語(yǔ)言），是一種用于標(biāo)記電子文件使其具有結(jié)構(gòu)性的標(biāo)記語(yǔ)言。XML主要用來(lái)傳輸和存儲(chǔ)數(shù)據(jù)，通過(guò)XML技術(shù)，數(shù)據(jù)能夠存儲(chǔ)在獨(dú)立的XML文件中，以純文本格式進(jìn)行存儲(chǔ)，提供了一種獨(dú)立于軟件和硬件的數(shù)據(jù)存儲(chǔ)方法，可以在不兼容的系統(tǒng)之間輕松地交換數(shù)據(jù)[3-4]。

鑒于XML文件的優(yōu)勢(shì)和特點(diǎn)，本文以XML文件為基礎(chǔ)建立數(shù)據(jù)“存儲(chǔ)任務(wù)模型”。存儲(chǔ)任務(wù)是指在計(jì)算機(jī)進(jìn)行存儲(chǔ)數(shù)據(jù)過(guò)程中，按照一定的順序、方式、邏輯、自動(dòng)完成某種類(lèi)型數(shù)據(jù)收集、格式轉(zhuǎn)換、集成存儲(chǔ)的過(guò)程。每種類(lèi)型數(shù)據(jù)的存儲(chǔ)都唯一對(duì)應(yīng)一個(gè)存儲(chǔ)任務(wù)，每個(gè)存儲(chǔ)任務(wù)又唯一對(duì)應(yīng)一個(gè)XML類(lèi)型的屬性文件。

所有“存儲(chǔ)任務(wù)”對(duì)應(yīng)的XML文件根元素統(tǒng)一命名為。數(shù)據(jù)存儲(chǔ)是不斷重復(fù)固定動(dòng)作的過(guò)程，定義存儲(chǔ)任務(wù)的工作頻率，以標(biāo)示并作為一級(jí)標(biāo)簽。數(shù)據(jù)存儲(chǔ)任務(wù)包含數(shù)據(jù)收集、格式轉(zhuǎn)換、集成存儲(chǔ)三個(gè)子任務(wù)，因此XML文件根元素下對(duì)應(yīng)著三個(gè)一級(jí)標(biāo)簽，分別命名為，和。

2.1 數(shù)據(jù)收集

數(shù)據(jù)收集是指按照指定時(shí)間間隔、次序和遴選邏輯從原始數(shù)據(jù)源獲取數(shù)據(jù)的過(guò)程。青島機(jī)場(chǎng)原始結(jié)構(gòu)化氣象數(shù)據(jù)為位于不同服務(wù)器的文本文件，可采用ftp方式實(shí)現(xiàn)數(shù)據(jù)收集工作。這樣在下，建立二級(jí)標(biāo)簽，用于描述FTP數(shù)據(jù)傳輸需要的參數(shù)包括（FTP服務(wù)器IP地址、用戶名、密碼、遠(yuǎn)程目錄、包含或不包含通配符數(shù)據(jù)原始文件名、刪除原始文件），數(shù)據(jù)收集子任務(wù)還需指明原始文件本地存儲(chǔ)目錄及本地文件名，分別以和作為的二級(jí)標(biāo)簽標(biāo)示。數(shù)據(jù)收集子任務(wù)標(biāo)簽結(jié)構(gòu)如表2所示。

2.2 格式轉(zhuǎn)換

結(jié)構(gòu)化資料的原始數(shù)據(jù)是大量結(jié)構(gòu)固定的文本文件，不同類(lèi)數(shù)據(jù)具有不同的文件格式和更新頻率。原始文件缺測(cè)數(shù)據(jù)各不相同，轉(zhuǎn)換后統(tǒng)一定義為-99999；不同行數(shù)據(jù)之間統(tǒng)一以“回車(chē)換行符”分隔。為便于集中處理，定義基于csv格式的dbcsv格式文件。csv是一種通用的文本文件格式，通過(guò)逗號(hào)分隔存儲(chǔ)表格數(shù)據(jù)，但csv不是單一的、定義明確的格式[4-5]。為方便處理， dbcsv的統(tǒng)一格式為：所有文件均為ASCII文本文件，后綴名為dbcsv；文件內(nèi)容第一行為數(shù)據(jù)列名，對(duì)應(yīng)將來(lái)數(shù)據(jù)入庫(kù)的表的字段名，第二行之后為數(shù)據(jù)；所有列和數(shù)據(jù)之間以tab分隔。dbcsv本質(zhì)也是csv文件，但規(guī)范更加嚴(yán)格，是集成存儲(chǔ)方案中重要的臨時(shí)數(shù)據(jù)格式。經(jīng)格式轉(zhuǎn)換后的dbcsv文件嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，便于解析文件內(nèi)容并將數(shù)據(jù)存儲(chǔ)到關(guān)系型數(shù)據(jù)庫(kù)保存。

在格式轉(zhuǎn)換過(guò)程中，一級(jí)標(biāo)簽包含“原文件缺測(cè)值”，“新文件缺測(cè)值”，“行分隔符”，“字段名”等二級(jí)標(biāo)簽，分別以， ， ， 標(biāo)示。其中< fieldName>是標(biāo)簽集合，對(duì)應(yīng)著本類(lèi)數(shù)據(jù)具體的字段名，同時(shí)也是后續(xù)數(shù)據(jù)入庫(kù)保存時(shí)的表的字段名。

2.3 集成存儲(chǔ)

集成存儲(chǔ)子任務(wù)主要進(jìn)行數(shù)據(jù)入庫(kù)管理。青島機(jī)場(chǎng)氣象臺(tái)以MySQL作為存儲(chǔ)數(shù)據(jù)庫(kù)，因此集成存儲(chǔ)子任務(wù)中各參數(shù)設(shè)計(jì)以符合MySQL規(guī)則為依據(jù)，具體標(biāo)簽結(jié)構(gòu)見(jiàn)表3。

數(shù)據(jù)庫(kù)地址、庫(kù)名、表名等即為入庫(kù)存儲(chǔ)的數(shù)據(jù)庫(kù)對(duì)應(yīng)的信息，“新建表頻率< createTableFrq>”提供兩種選擇，即按月建表或按年建表。如果氣象數(shù)據(jù)每年的記錄數(shù)在500萬(wàn)以下，選擇按年建表，否則選擇按月建表。例如amdar數(shù)據(jù)每年的記錄數(shù)超過(guò)2000萬(wàn)，為保證查詢效率，選擇按月建表。“增加表主鍵”表示是否為表增加一個(gè)具有MySQL數(shù)據(jù)庫(kù)“not null”和“auto_increment”屬性的列作為主鍵。“表字段”是表字段屬性集合，包含的三級(jí)標(biāo)簽涵蓋了MySQL數(shù)據(jù)庫(kù)表的常用屬性，例如字段名、字段數(shù)據(jù)類(lèi)型、是否可空、是否建立索引等。

3 存儲(chǔ)任務(wù)模型的應(yīng)用

基于XML文件的“存儲(chǔ)任務(wù)”模型是一個(gè)XML類(lèi)型的單獨(dú)文件，其內(nèi)容包含了數(shù)據(jù)收集、格式轉(zhuǎn)換及集成存儲(chǔ)全過(guò)程的所有信息。XML文件是w3c（萬(wàn)維網(wǎng)聯(lián)盟）推薦的存儲(chǔ)和傳輸數(shù)據(jù)的標(biāo)準(zhǔn)格式，與程序及數(shù)據(jù)庫(kù)無(wú)關(guān)，主流的編程語(yǔ)言如Java、C、VS、python等都支持XML機(jī)制，可以方便的加載XML內(nèi)部信息。由于“存儲(chǔ)任務(wù)”和XML一一對(duì)應(yīng)，且XML是單獨(dú)的文件，因此可以通過(guò)增加、改變或刪除XML文件實(shí)現(xiàn)增加、改變或刪除數(shù)據(jù)的存儲(chǔ)，提高了數(shù)據(jù)存儲(chǔ)程序的可移植性和可擴(kuò)展性。

需要指出的是，本文介紹的“存儲(chǔ)任務(wù)模型”，是數(shù)據(jù)存儲(chǔ)的創(chuàng)建模型，并非物理實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)。用戶可以根據(jù)實(shí)際需求，按照模型的流程進(jìn)行編程實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)，也可以整合既有的數(shù)據(jù)存儲(chǔ)工具，實(shí)現(xiàn)任務(wù)的集約化。

4 結(jié)束語(yǔ)

本文介紹了一種簡(jiǎn)單方便的基于XML文件的“存儲(chǔ)任務(wù)模型”，用于集中存儲(chǔ)民航氣象領(lǐng)域中大量的結(jié)構(gòu)化數(shù)據(jù)。根據(jù)氣象數(shù)據(jù)的特點(diǎn)，“存儲(chǔ)任務(wù)”分為“數(shù)據(jù)收集”、“格式轉(zhuǎn)換”和“集成存儲(chǔ)”三個(gè)子任務(wù)。三個(gè)子任務(wù)在模型中分別對(duì)應(yīng)著實(shí)現(xiàn)其功能的各項(xiàng)參數(shù)，以XML標(biāo)簽方式體現(xiàn)。利用基于XML文件的“存儲(chǔ)任務(wù)”模型，可以方便的設(shè)計(jì)程序完成不同類(lèi)型結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，提高了存儲(chǔ)程序的可移植性和可擴(kuò)展性。

【參考文獻(xiàn)】

[1]王若曈，黃向東，張博.羅兵海量氣象數(shù)據(jù)實(shí)時(shí)解析與存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué).2015，37（11）：245-2054.

[2]潘順，金遠(yuǎn)平，歐陽(yáng)曄.結(jié)構(gòu)化數(shù)據(jù)到XML數(shù)據(jù)的語(yǔ)義映射[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版）.2002，32（3）：331-334.

[3]孫永麗，劉成新.XML技術(shù)及其應(yīng)用[J].中國(guó)電化教育，2002，19（3）：115-117.

[4]趙艷妮，郭華磊.基于XML異構(gòu)數(shù)據(jù)庫(kù)遷移技術(shù)研究[J].計(jì)算機(jī)與數(shù)字工程.2018（1）：129-133.

[5]李金，利用CSV格式將新生數(shù)據(jù)錄入ILASII的快捷方法[J].圖書(shū)情報(bào)導(dǎo)刊.2015（12）：148-149.

[6]吳慶晨，周偉，孫江艷.基于條件選擇的CSV文件數(shù)據(jù)挖掘算法研究[J].電腦編程技巧與維護(hù).2017（11）：54-56.