多普勒天氣雷達(dá)地州級(jí)資料共享平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

何周見

摘 要：基于現(xiàn)階段查詢雷達(dá)歷史資料的步驟較為繁瑣，效率低下，筆者設(shè)計(jì)開發(fā)一套雷達(dá)資料自動(dòng)備份、入庫(kù)系統(tǒng)，將雷達(dá)數(shù)據(jù)自動(dòng)壓縮、歸檔，資料管理員無(wú)需人工操作；使用者通過選擇少量的參數(shù)可以直接得到打包好的數(shù)據(jù)，用戶體驗(yàn)及檢索、效率較現(xiàn)有手段有大幅提高，讓臺(tái)站資料備份及資料使用者效率均大幅提高，具有很強(qiáng)的實(shí)用性。

關(guān)鍵詞：雷達(dá)資料；自動(dòng)備份；查詢效率

引言

雷達(dá)資料是天氣預(yù)報(bào)中最為重要的資料之一。預(yù)報(bào)員在預(yù)報(bào)技術(shù)總結(jié)和歷史天氣個(gè)例分析中經(jīng)常都需要用到。由于雷達(dá)數(shù)據(jù)數(shù)量多、容量大，雷達(dá)臺(tái)站資料室一般以月為單位進(jìn)行資料備份，將雷達(dá)基數(shù)據(jù)進(jìn)行壓縮、按DVD容量歸檔后再刻錄到DVD光盤中予以存檔，已經(jīng)刻錄的資料往往都會(huì)即時(shí)刪除以騰出空間存儲(chǔ)最新的資料，存檔的資料也只限于本站，與本地天氣較為相關(guān)的周邊幾部雷達(dá)資料現(xiàn)階段不予保存。

基于以上，現(xiàn)階段查詢雷達(dá)歷史資料的步驟較為繁瑣，首先資料使用者需要將個(gè)例天氣的時(shí)間段交給資料室，由于雷達(dá)站平時(shí)不對(duì)產(chǎn)品文件進(jìn)行備份，資料室將包含基數(shù)據(jù)資料的光盤找出，然后通過PUP程序手工進(jìn)行產(chǎn)品請(qǐng)求設(shè)置，等待PUP程序進(jìn)行資料處理，最后將產(chǎn)品交給使用人員進(jìn)行個(gè)例分析。由于PUP處理產(chǎn)品的效率非常低，整個(gè)過程需要耗費(fèi)大量的人力和時(shí)間，整體工作效率低下。因此筆者設(shè)計(jì)開發(fā)一套雷達(dá)資料自動(dòng)備份、入庫(kù)系統(tǒng)，系統(tǒng)自動(dòng)將最新的雷達(dá)資料進(jìn)行壓縮、分文件夾存儲(chǔ)、處理，資料室人員只需直接將文件夾刻錄即可。前臺(tái)的查詢頁(yè)面，預(yù)報(bào)員只需要輸入起始時(shí)間，系統(tǒng)自動(dòng)將時(shí)間段內(nèi)的基數(shù)據(jù)及產(chǎn)品進(jìn)行顯示供用戶下載。可大幅提高工作效率，具有很強(qiáng)的實(shí)用性。

目前，國(guó)家氣象信息中心全國(guó)新一代天氣雷達(dá)信息共享平臺(tái)（CIMISS）已經(jīng)開始投入使用，CIMISS可以方便的根據(jù)站號(hào)、時(shí)間段、產(chǎn)品種類進(jìn)行雷達(dá)資料查詢，但是到目前為止，存在以下主要問題： 查詢出來的產(chǎn)品是以網(wǎng)址形式給出，需要進(jìn)行逐條下載；不能多種產(chǎn)品同時(shí)查詢，一次只能查詢出一種產(chǎn)品；無(wú)CIMISS系統(tǒng)運(yùn)行前的大部分歷史資料； 多種產(chǎn)品無(wú)法查詢出結(jié)果。開發(fā)本系統(tǒng)可以使本市及所轄縣的氣象工作者能夠方便的進(jìn)行本研究區(qū)域的雷達(dá)歷史資料查詢，為預(yù)報(bào)及科研提供穩(wěn)定、易用的數(shù)據(jù)共享平臺(tái)，并實(shí)現(xiàn)雷達(dá)資料的處理、歸檔、存儲(chǔ)自動(dòng)化，提高臺(tái)站資料備份的工作效率。

研究?jī)?nèi)容：

1壓縮文件自動(dòng)分文件夾的算法研究

由于天氣情況的差異，雷達(dá)基數(shù)據(jù)經(jīng)過壓縮后的文件大小不一樣，大小可以相差數(shù)倍，在新一代多普勒天氣雷達(dá)雙偏振升級(jí)以前，沒有天氣過程的基數(shù)據(jù)經(jīng)過壓縮最小只有幾十Kb，有天氣過程的情況可以達(dá)到4M左右，雙偏振升級(jí)以后，一個(gè)雙極化的基數(shù)據(jù)容量達(dá)到50M左右，沒有天氣情況壓縮后的容量在1M～15M之間，但是一張DVD光盤的容量是固定的，加上我國(guó)的天氣雷達(dá)在汛期和非汛期之間開機(jī)時(shí)間不一樣，如何在數(shù)據(jù)易于檢索和光盤容易利用率最大化之間找到一個(gè)平衡點(diǎn)是本項(xiàng)目需要解決的一個(gè)關(guān)鍵問題。經(jīng)過數(shù)年的使用者數(shù)據(jù)檢索、上級(jí)單位索要臺(tái)站數(shù)據(jù)等情況分析，我們最終定下來將汛期與非汛期分開，單張DVD容量以時(shí)間為索引進(jìn)行刻錄的方法。本辦法雖然有少量浪費(fèi)DVD容量的缺點(diǎn)，但是在存放、檢索的效率上大大提高。特別是目前存儲(chǔ)設(shè)備價(jià)格的降低，DVD碟片長(zhǎng)時(shí)間存儲(chǔ)內(nèi)容易丟失的現(xiàn)狀，將歷史資料以磁盤陣列的形式保存或許是未來的趨勢(shì)。無(wú)論是檢索效率還是保存質(zhì)量上較現(xiàn)有形式均有較大提高，目前我臺(tái)站的DVD刻錄資料，由于資料室的環(huán)境及其他因素影響，4年前的基本已經(jīng)無(wú)法讀取，在資料應(yīng)用上有很大的損失。

2 數(shù)據(jù)存儲(chǔ)方式的選擇及優(yōu)化

目前我局資料室存儲(chǔ)的雷達(dá)數(shù)據(jù)容量大概為2T，壓縮文件是以文件形式存儲(chǔ)在硬盤中還是以二進(jìn)制形式存儲(chǔ)在數(shù)據(jù)庫(kù)中，兩種方式的讀取效率比較以及最終選擇的方式的優(yōu)化策略是本系統(tǒng)開發(fā)過程中需要解決的關(guān)鍵問題之一。開發(fā)人員利用2017年的整年數(shù)據(jù)做過一次存儲(chǔ)效率的實(shí)驗(yàn)，發(fā)現(xiàn)只要將產(chǎn)品的存儲(chǔ)以日期為索引建立文件夾進(jìn)行存儲(chǔ)，查詢效率雖然與存儲(chǔ)在MYSQL數(shù)據(jù)庫(kù)中相比有所延遲，但是基本也能滿足業(yè)務(wù)需要，且在業(yè)務(wù)維護(hù)方面要簡(jiǎn)單的多，且不需要進(jìn)行數(shù)據(jù)庫(kù)安裝、備份等操作。加上購(gòu)買的硬盤盒具有自動(dòng)的熱備份功能，我們最終選用了編寫程序以文件形式將基數(shù)據(jù)及產(chǎn)品文件進(jìn)行存儲(chǔ)的方法。

3 用戶并發(fā)訪問的問題。

雖然本系統(tǒng)的使用對(duì)象為地州及所屬縣局的氣象科研工作者與預(yù)報(bào)員，使用人數(shù)總量不多，但是由于經(jīng)費(fèi)問題，硬件設(shè)備成為了多用戶高效率并發(fā)訪問的一個(gè)問題。本系統(tǒng)全套流程均運(yùn)行在WINDOWS平臺(tái)上，系統(tǒng)基于dotnet framework框架，使用C#語(yǔ)言在Visual Studio 2012平臺(tái)上進(jìn)行開發(fā)，服務(wù)器部署在windows 2008 server服務(wù)器上，在開發(fā)測(cè)試過程中發(fā)現(xiàn)，用戶并發(fā)使用量達(dá)70+以上時(shí)，對(duì)服務(wù)器造成了較大的壓力，服務(wù)器甚至?xí)霈F(xiàn)臨時(shí)宕機(jī)的狀態(tài)。經(jīng)過對(duì)本地州以及所屬十二個(gè)縣局的計(jì)算機(jī)IP進(jìn)行調(diào)研發(fā)現(xiàn)，一般很難達(dá)到70人同時(shí)使用，且在試運(yùn)行一年期間發(fā)現(xiàn)，同時(shí)使用的人數(shù)最大是15個(gè)，因此在多用戶并發(fā)方面暫時(shí)沒有太大的壓力，但是隨著資料存儲(chǔ)時(shí)間變長(zhǎng)，數(shù)據(jù)量增大，需要在存儲(chǔ)策略方面進(jìn)行改進(jìn)。

5 天氣個(gè)例的問題

在將近一年的試用過程中發(fā)現(xiàn)，資料使用者對(duì)于災(zāi)害性天氣過程的資料使用量非常大，占總調(diào)用數(shù)據(jù)量的85%以上，因此開發(fā)團(tuán)隊(duì)在試用一年之后決定將災(zāi)害性天氣過程作為一個(gè)單獨(dú)的內(nèi)容，使用一個(gè)新的硬盤盒進(jìn)行存儲(chǔ)，這樣總的存儲(chǔ)量比之前總的存儲(chǔ)量少了近80%，查詢效率得到進(jìn)一步的提高。同時(shí)，在和同事的交流過程中發(fā)現(xiàn)，使用者在對(duì)歷史天氣個(gè)例的分析中，對(duì)當(dāng)時(shí)的數(shù)值預(yù)報(bào)產(chǎn)品也有很大的需求，但是由于數(shù)值預(yù)報(bào)產(chǎn)品的容量太大，基本沒有保存，希望本系統(tǒng)可以將災(zāi)害性天氣過程的數(shù)值預(yù)報(bào)產(chǎn)品一并進(jìn)行備份，系統(tǒng)開發(fā)團(tuán)隊(duì)將會(huì)認(rèn)真考慮這一需求。

總結(jié)

與2014年前獲得其臺(tái)站的數(shù)據(jù)較為困難相比，現(xiàn)階段全國(guó)的雷達(dá)的數(shù)據(jù)均可以通過資料共享獲取，使得本系統(tǒng)的開發(fā)進(jìn)行比較順利。開發(fā)團(tuán)隊(duì)成員搭配合理，需求明確，易于分工合作，且臨聘了3名 測(cè)試人員對(duì)系統(tǒng)進(jìn)行了比較專業(yè)的階段性測(cè)試，使得系統(tǒng)在穩(wěn)定性、易用性，用戶體驗(yàn)方面較之前的系統(tǒng)有較大提高。