大數(shù)據(jù)環(huán)境下氣象檔案管理初探

劉霄　王凌　李宏

[摘 要] 大數(shù)據(jù)時(shí)代的來(lái)臨，給氣象檔案工作帶來(lái)了挑戰(zhàn)和機(jī)遇，如何充分利用現(xiàn)有的技術(shù)和設(shè)備，保證氣象檔案數(shù)據(jù)的長(zhǎng)期安全性，并不斷提高管理、服務(wù)和開(kāi)發(fā)利用能力，已成為氣象部門(mén)必須面對(duì)的新課題。筆者結(jié)合氣象檔案工作體會(huì)，談些關(guān)于大數(shù)據(jù)時(shí)代氣象檔案管理的點(diǎn)滴認(rèn)識(shí)，以期拋磚引玉之功。

[關(guān)鍵詞] 大數(shù)據(jù)；氣象檔案；氣象數(shù)據(jù)；管理

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016 . 05. 106

[中圖分類號(hào)] G818；G641 [文獻(xiàn)標(biāo)識(shí)碼] A [文章編號(hào)] 1673 - 0194（2016）05- 0194- 02

0 引 言

隨著信息技術(shù)和互聯(lián)網(wǎng)絡(luò)的飛速發(fā)展，大數(shù)據(jù)時(shí)代呼嘯而至，“大數(shù)據(jù)時(shí)代在不斷改造傳統(tǒng)產(chǎn)業(yè)的同時(shí)，也對(duì)傳統(tǒng)檔案管理模式提出了挑戰(zhàn)”。氣象現(xiàn)代化建設(shè)進(jìn)程的加快，使綜合氣象觀測(cè)系統(tǒng)取得了飛速發(fā)展，大氣探測(cè)數(shù)據(jù)種類越來(lái)越繁多，時(shí)空分布密度不斷加大，氣象數(shù)據(jù)以幾何級(jí)數(shù)激增；與此同時(shí)，在中國(guó)氣象局統(tǒng)籌下，各省歷史氣象資料數(shù)字化項(xiàng)目正穩(wěn)步有序推進(jìn)，館藏?cái)?shù)字化資源也越來(lái)越多。氣象數(shù)據(jù)已呈現(xiàn)較顯著的大數(shù)據(jù)特征。如何充分利用現(xiàn)有的技術(shù)和設(shè)備，保證氣象數(shù)據(jù)的長(zhǎng)期安全性，并不斷提高管理、服務(wù)和開(kāi)發(fā)利用能力，已成為氣象部門(mén)必須面對(duì)的新課題。下面結(jié)合筆者在多年氣象檔案工作中的體會(huì)，談些關(guān)于大數(shù)據(jù)時(shí)代氣象檔案管理的認(rèn)識(shí)。

1 大數(shù)據(jù)環(huán)境下氣象檔案管理面臨的挑戰(zhàn)

1.1 氣象大數(shù)據(jù)海量增長(zhǎng)帶來(lái)收集與存儲(chǔ)的壓力

近年來(lái)，在中國(guó)氣象局統(tǒng)一布置安排下，各省氣象檔案館館藏檔案數(shù)字化工作有序開(kāi)展，數(shù)字化檔案數(shù)量急劇增多，每年幾乎以TB量級(jí)遞增。同時(shí)，隨著新型氣象觀探測(cè)業(yè)務(wù)建設(shè)的快速發(fā)展，越來(lái)越多的氣象觀探測(cè)數(shù)據(jù)和預(yù)報(bào)分析產(chǎn)品源源不斷地涌向氣象檔案館。這些海量生成的數(shù)字化檔案，不僅種類繁多，內(nèi)容復(fù)雜，而且數(shù)量巨大，對(duì)收集流程、存儲(chǔ)架構(gòu)等方面提出更高的要求。如何安全有效地接收、存儲(chǔ)和利用數(shù)量如此巨大的數(shù)字檔案信息資源已成為目前亟待解決的問(wèn)題。

1.2 傳統(tǒng)的檔案管理模式已越來(lái)越不適應(yīng)氣象大數(shù)據(jù)管理的需要

近年來(lái)，氣象檔案管理的基礎(chǔ)設(shè)施條件雖然得到了較大改善，各省氣象檔案館都建立了檔案管理系統(tǒng)，但基本上是單機(jī)版的目錄管理系統(tǒng)，有的甚至停留在工作表單模式，無(wú)法提供全文檢索和利用。歸檔模式為“數(shù)據(jù)暫存—下載刻盤(pán)—載體歸檔”，過(guò)程較為煩瑣。檔案管理模式的傳統(tǒng)色彩仍然濃厚，效率低下，不能滿足多元化、社會(huì)化檔案利用需求。另外，檔案管理集約化水平不高，各業(yè)務(wù)單位都自建數(shù)據(jù)庫(kù)，形成檔案信息孤島，造成嚴(yán)重資源浪費(fèi)和數(shù)據(jù)安全隱患。

1.3 服務(wù)手段單一落后不能滿足氣象大數(shù)據(jù)的利用需求

盡管氣象檔案信息化程度在逐步深入，但服務(wù)手段仍停留在以離線式的上門(mén)閱檔為主（只不過(guò)提供的不再是紙質(zhì)載體，而是機(jī)讀載體而已），大多只是提供原材料或進(jìn)行簡(jiǎn)單的臨時(shí)性的初級(jí)加工，比較缺乏數(shù)據(jù)分析和產(chǎn)品研發(fā)能力，更不能實(shí)現(xiàn)面向用戶提供數(shù)據(jù)網(wǎng)絡(luò)推送服務(wù)和一站式檢索服務(wù)。

2 大數(shù)據(jù)環(huán)境下氣象檔案管理思路

筆者認(rèn)為大數(shù)據(jù)時(shí)代氣象檔案管理的總體思路就是緊緊圍繞“收齊、管好、用活”開(kāi)展業(yè)務(wù)工作，搭建軟硬件平臺(tái)，建設(shè)好一套管理系統(tǒng)，培養(yǎng)好一支檔案業(yè)務(wù)隊(duì)伍。

2.1 檔案信息管理系統(tǒng)的開(kāi)發(fā)利用

氣象大數(shù)據(jù)不期而至，我們急需一個(gè)功能強(qiáng)大的綜合信息管理系統(tǒng)進(jìn)行信息采集、管理和提供利用。在設(shè)計(jì)開(kāi)發(fā)這個(gè)系統(tǒng)時(shí)需要體現(xiàn)三個(gè)“一體化”思想。

2.1.1 數(shù)據(jù)檔案一體化

2011年，中國(guó)氣象局正式啟動(dòng)實(shí)時(shí)和歷史氣象資料一體化業(yè)務(wù)建設(shè)工作，重點(diǎn)解決長(zhǎng)期困擾全國(guó)資料業(yè)務(wù)發(fā)展的歷史、實(shí)時(shí)資料收集處理和服務(wù)分離、數(shù)據(jù)不一致等問(wèn)題，通過(guò)建立氣象資料業(yè)務(wù)系統(tǒng)（MDOS）及相應(yīng)業(yè)務(wù)流程和業(yè)務(wù)規(guī)范，明確臺(tái)站、省級(jí)和國(guó)家級(jí)資料業(yè)務(wù)分工，全面提升省級(jí)質(zhì)量控制和數(shù)據(jù)處理能力，全國(guó)實(shí)現(xiàn)地面全要素實(shí)時(shí)資料滾動(dòng)質(zhì)控與評(píng)估、疑誤信息查詢反饋和同步更正。2015年7月，實(shí)時(shí)歷史氣象資料一體化業(yè)務(wù)將正式投入業(yè)務(wù)運(yùn)行。氣象檔案業(yè)務(wù)正可趁此良機(jī)，參照“文檔一體化”理念，建立“數(shù)據(jù)檔案一體化”模式，歸檔節(jié)點(diǎn)前移，數(shù)據(jù)一經(jīng)質(zhì)控完畢，即刻自動(dòng)歸檔入庫(kù)，并自動(dòng)形成相應(yīng)的元數(shù)據(jù)信息與之關(guān)聯(lián)，避免重復(fù)勞動(dòng)，提高工作效率。從數(shù)據(jù)形成開(kāi)始，實(shí)行全過(guò)程監(jiān)管，確保數(shù)據(jù)安全、完整。

2.1.2 目錄全文一體化

清華大學(xué)檔案館高級(jí)工程師薛四新提出目錄全文一體化管理方案，核心思想就是將電子檔案分門(mén)別類，整理成方便檢索的目錄信息，并通過(guò)電子原文（圖形、圖像、照片、文檔、多媒體文件等）關(guān)聯(lián)掛接、存取訪問(wèn)等現(xiàn)代技術(shù)手段，實(shí)現(xiàn)電子檔案目錄與電子檔案全文信息的一體化管理。鑒于目前我國(guó)氣象檔案管理現(xiàn)狀及現(xiàn)代氣象業(yè)務(wù)“無(wú)紙化”發(fā)展趨勢(shì)，筆者認(rèn)為應(yīng)結(jié)合氣象檔案和氣象業(yè)務(wù)實(shí)際，依托氣象部門(mén)信息網(wǎng)絡(luò)系統(tǒng)及現(xiàn)代化氣象業(yè)務(wù)系統(tǒng)，設(shè)計(jì)開(kāi)發(fā)出適合氣象檔案管理的“目錄全文一體化管理”系統(tǒng)，并與業(yè)務(wù)系統(tǒng)和辦公系統(tǒng)無(wú)縫對(duì)接，完成信息的即時(shí)采集、高效管理，進(jìn)而“在氣象信息網(wǎng)絡(luò)系統(tǒng)和因特網(wǎng)上實(shí)現(xiàn)不同層次的氣象信息資源共享”。

2.1.3 數(shù)據(jù)收發(fā)一體化

通過(guò)數(shù)據(jù)接口，將各種經(jīng)過(guò)質(zhì)量控制的氣象數(shù)據(jù)統(tǒng)一收集歸檔到檔案數(shù)據(jù)庫(kù)中，利用氣象檔案數(shù)據(jù)中心平臺(tái)實(shí)行集約化統(tǒng)一管理，消除數(shù)據(jù)孤島現(xiàn)象。統(tǒng)一利用出口，各業(yè)務(wù)單位和社會(huì)用戶根據(jù)權(quán)限和利用規(guī)則，享受在線利用或離線利用服務(wù)。所有利用必須通過(guò)業(yè)務(wù)系統(tǒng)進(jìn)行登記管理，防止檔案信息失密、泄密。

2.2 業(yè)務(wù)安全保障體系的構(gòu)建

在大數(shù)據(jù)時(shí)代下，通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)信息共享的目的和意識(shí)會(huì)愈來(lái)愈強(qiáng)，人們對(duì)數(shù)字檔案的依賴度也會(huì)越來(lái)越大。然而，網(wǎng)絡(luò)自身的安全卻受到越來(lái)越多的威脅，所承載的數(shù)據(jù)安全性也越來(lái)越脆弱，網(wǎng)絡(luò)安全隱患無(wú)處不在。為此，必須通過(guò)制度手段和技術(shù)方法構(gòu)建業(yè)務(wù)安全保障體系，保證檔案數(shù)據(jù)的真實(shí)、安全，以及檔案業(yè)務(wù)網(wǎng)絡(luò)平臺(tái)的安全。對(duì)于數(shù)據(jù)本身而言，堅(jiān)持“涉密信息不上網(wǎng)，上網(wǎng)信息不涉密”的原則，實(shí)行檔案信息分級(jí)審核制度，嚴(yán)格根據(jù)用戶權(quán)限提供相應(yīng)的檔案信息，定期做好數(shù)據(jù)的災(zāi)備、抽檢和轉(zhuǎn)儲(chǔ)工作。對(duì)于數(shù)據(jù)的保存和傳輸而言，則應(yīng)該通過(guò)硬件配置和軟件技術(shù)，構(gòu)筑嚴(yán)密的安全防護(hù)措施、完善的網(wǎng)絡(luò)安全防范體系和風(fēng)險(xiǎn)評(píng)估體系，防止計(jì)算機(jī)病毒及黑客的入侵，防止檔案數(shù)據(jù)的損毀、丟失和泄密，確保數(shù)字檔案的保密性和安全性。

2.3 檔案人才隊(duì)伍建設(shè)

人才是保證檔案管理現(xiàn)代化實(shí)現(xiàn)和持續(xù)發(fā)展的關(guān)鍵。大數(shù)據(jù)時(shí)代，對(duì)氣象檔案的管理，不僅要收齊、管好，更要能夠?qū)?shù)據(jù)進(jìn)行深度挖掘和有效分析，提供檔案信息的高效利用。因而應(yīng)充分考慮現(xiàn)代化業(yè)務(wù)建設(shè)過(guò)程中和系統(tǒng)建成后的人才需求。一方面，管理部門(mén)應(yīng)更加重視專業(yè)人才的引進(jìn)和培養(yǎng)，不拘一格將檔案學(xué)、計(jì)算機(jī)、大氣科學(xué)等相關(guān)專業(yè)人才吸納進(jìn)氣象檔案業(yè)務(wù)崗位中來(lái)，打造一支現(xiàn)代氣象檔案人才隊(duì)伍，使之完全滿足大數(shù)據(jù)時(shí)代檔案業(yè)務(wù)對(duì)數(shù)據(jù)存儲(chǔ)、系統(tǒng)開(kāi)發(fā)與運(yùn)維、數(shù)據(jù)挖掘分析、檔案深層次編研和智慧服務(wù)的要求。另一方面，作為氣象檔案工作者，我們必須通過(guò)學(xué)習(xí)檔案工作的新理論、新方法、新理念、新模式以及計(jì)算機(jī)、氣象專業(yè)相關(guān)知識(shí)，努力優(yōu)化自身知識(shí)結(jié)構(gòu)，提高自身業(yè)務(wù)能力，用現(xiàn)代化的技術(shù)手段收齊、管好、用活氣象檔案資源。

3 結(jié) 語(yǔ)

大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，氣象數(shù)據(jù)還會(huì)持續(xù)海量增長(zhǎng)，向社會(huì)開(kāi)放也是大勢(shì)所趨，氣象檔案管理工作正面臨嚴(yán)峻的挑戰(zhàn)，也正迎來(lái)難得的發(fā)展機(jī)遇，我們既要適時(shí)抓住這個(gè)機(jī)遇，也要嚴(yán)肅對(duì)待挑戰(zhàn)，努力使氣象大數(shù)據(jù)中蘊(yùn)藏著的巨大知識(shí)寶藏真正得以開(kāi)發(fā)和利用。

主要參考文獻(xiàn)

[1]楊冬權(quán).在全國(guó)數(shù)字檔案館（室）建設(shè)推進(jìn)會(huì)上的講話[J].中國(guó)檔案，2013（11）：16-21.

[2]臧海佳，李星玉，張靜. 氣象氣象檔案工作現(xiàn)代化的幾點(diǎn)思考[J].中國(guó)檔案，2011（10）：35-36.

[3]薛四新，孫宇華. 數(shù)字檔案管理方案——目錄全文一體化管理[J].數(shù)字與縮微影像，2003（3）：9-11.

[4]吳增祥. 氣象檔案保護(hù)和數(shù)字氣象檔案館建設(shè)[J].氣象科技，2001，29（2）：61-64.