氣象大數(shù)據(jù)云平臺歸檔系統(tǒng)設(shè)計及實現(xiàn)

劉媛媛 何文春 王妍 李江濤 白金婷

(國家氣象信息中心, 北京 100081)

引言

隨著對龍卷、冰雹和強對流大風(fēng)等小尺度天氣監(jiān)測的需求提升，分鐘級觀測、秒級自動探測數(shù)據(jù)海量涌進，以及高分氣象衛(wèi)星發(fā)射和高時空分辨率數(shù)值模式的發(fā)展，近來年氣象數(shù)據(jù)量增長明顯加速，可以說真正進入了氣象大數(shù)據(jù)時代，如何解決好海量氣象數(shù)據(jù)存儲的問題也成為信息化發(fā)展關(guān)注的焦點[1-7]。海量數(shù)據(jù)規(guī)模通常會達到PB級，甚至已經(jīng)發(fā)展到ZB級。雖然大數(shù)據(jù)技術(shù)發(fā)展得如火如荼，考慮到成本海量數(shù)據(jù)管理通常不會使用單一的存儲技術(shù)或介質(zhì)，會根據(jù)數(shù)據(jù)訪問的情況決定數(shù)據(jù)的存儲方式，這是因為從數(shù)據(jù)的服務(wù)特點來看，數(shù)據(jù)會呈現(xiàn)冷熱不均的分布。數(shù)據(jù)總量中用戶訪問頻次較高的數(shù)據(jù)稱為“熱數(shù)據(jù)”，用戶訪問頻次一般的數(shù)據(jù)稱為“溫數(shù)據(jù)”，用戶訪問頻度較低的數(shù)據(jù)稱為“冷數(shù)據(jù)”。冷熱數(shù)據(jù)分布通常符合二八原則。對于冷數(shù)據(jù)，大部分數(shù)據(jù)中心都會采用相對廉價的存儲介質(zhì)進行管理。由于磁帶具有安全可靠、經(jīng)濟節(jié)能的優(yōu)勢，而且技術(shù)成熟，是存儲冷數(shù)據(jù)較好的選擇。在氣象行業(yè)，用磁帶庫存儲 “冷數(shù)據(jù)”有很長的歷史，歐洲中心從1985年就開始在MARS系統(tǒng)使用[8-10]，目前仍在大規(guī)模應(yīng)用。美國NOAA的CLASS系統(tǒng)、NOMDAS系統(tǒng)與中國氣象局的9210系統(tǒng)均在2002—2004年左右開始在數(shù)據(jù)歸檔業(yè)務(wù)場景中使用磁帶庫。

中國氣象局國家氣象信息中心承擔(dān)世界數(shù)據(jù)中心中國氣象科學(xué)數(shù)據(jù)分中心的職責(zé)，負責(zé)氣象資料的歸檔業(yè)務(wù)。歸檔業(yè)務(wù)最初階段為人工歸檔方式，通過光盤以及磁帶介質(zhì)載體對數(shù)據(jù)集產(chǎn)品以及少部分人工觀測原始數(shù)據(jù)、數(shù)值預(yù)報模式產(chǎn)品等進行歸檔。自2004年起，信息中心啟動了自動化歸檔業(yè)務(wù)，先后歷經(jīng)國家級氣象資料存儲檢索系統(tǒng)歸檔子系統(tǒng)、國家級綜合氣象信息共享系統(tǒng)歸檔子系統(tǒng)(以下簡稱CIMISS歸檔系統(tǒng))。國家衛(wèi)星氣象中心也先后建成氣象衛(wèi)星資料存檔系統(tǒng)[11]和風(fēng)云氣象衛(wèi)星數(shù)據(jù)存檔與服務(wù)系統(tǒng)[12]。存儲介質(zhì)先后使用過9940 B磁帶、LTO4磁帶。隨著數(shù)據(jù)量的不斷增加，自2017年以來，系統(tǒng)開始出現(xiàn)資源占用率高以及磁帶讀寫性能低下、數(shù)據(jù)回取服務(wù)緩慢等問題。2018年，氣象大數(shù)據(jù)云平臺(簡稱“天擎”)建設(shè)時，為滿足大數(shù)據(jù)背景下的歸檔業(yè)務(wù)需求，“天擎”歸檔系統(tǒng)開始建設(shè)。

1 歸檔業(yè)務(wù)建設(shè)需求

“天擎”是以“云+端”為設(shè)計思路實現(xiàn)的“數(shù)算一體”的平臺，改變了過去煙囪式的應(yīng)用系統(tǒng)建設(shè)方式，各業(yè)務(wù)系統(tǒng)的輸入輸出數(shù)據(jù)均在“天擎”中進行統(tǒng)一集約化管理,算力靠近數(shù)據(jù)，數(shù)據(jù)不再冗余存儲?！疤烨妗币詳?shù)據(jù)為中心支撐各應(yīng)用系統(tǒng)圍繞數(shù)據(jù)結(jié)合算法和算力進行集約化運行，提升業(yè)務(wù)流程運行效率并節(jié)約系統(tǒng)資源?！疤烨妗惫芾淼臄?shù)據(jù)分為3部分：①核心氣象數(shù)據(jù)，如氣象觀測、加工的氣象數(shù)據(jù)和產(chǎn)品。②輔助氣象數(shù)據(jù)，即輔助氣象業(yè)務(wù)應(yīng)用的其他數(shù)據(jù)，如裝備信息、社會化觀測、氣象多媒體等數(shù)據(jù)。③行業(yè)社會交換數(shù)據(jù)，如農(nóng)業(yè)、林業(yè)、交通、海洋、水利等外部門和社會交換的、與氣象應(yīng)用相關(guān)的數(shù)據(jù)。“天擎”管理的數(shù)據(jù)存儲規(guī)模預(yù)計將達到100 PB。

“天擎”一方面要采用合理的技術(shù)方案對海量數(shù)據(jù)進行集中存儲管理，另一方面要滿足不同應(yīng)用場景的數(shù)據(jù)服務(wù)需求，因此需要對應(yīng)用的特點及數(shù)據(jù)使用的特點進行詳細的分析?！疤烨妗睂τ跇I(yè)務(wù)和科研應(yīng)用均需進行良好的支撐，天氣分析、決策服務(wù)、數(shù)值預(yù)報等實時性業(yè)務(wù)希望數(shù)據(jù)服務(wù)能夠毫秒級響應(yīng)，它們使用的數(shù)據(jù)范圍通常為當(dāng)前時刻數(shù)據(jù)或近期數(shù)據(jù)，科研工作需要進行的歷史數(shù)據(jù)回算或分析，通常會使用5年前甚至更長時間前的數(shù)據(jù)，但數(shù)據(jù)服務(wù)響應(yīng)要求相對較低，可以為小時級,還有一些業(yè)務(wù)應(yīng)用需要使用近5年的數(shù)據(jù)，數(shù)據(jù)服務(wù)響應(yīng)需求處于實時業(yè)務(wù)和科研工作之間。

“天擎”根據(jù)上述分析將所管理的數(shù)據(jù)按熱度分為3類(表1)：①7～30天數(shù)據(jù)為熱數(shù)據(jù)，采用性能較高的如SSD等在線存儲介質(zhì)進行存儲；②5年內(nèi)的數(shù)據(jù)為溫數(shù)據(jù)，采用普通性能的在線存儲介質(zhì)；③5年以前的數(shù)據(jù)為冷數(shù)據(jù)，采用磁帶等近線、離線存儲介質(zhì)進行管理。

表1 “天擎”歸檔系統(tǒng)數(shù)據(jù)存儲策略

“天擎”歸檔系統(tǒng)承擔(dān)的是對冷數(shù)據(jù)的管理和服務(wù)。由于“天擎”管理數(shù)據(jù)的范疇的擴大，歸檔數(shù)據(jù)范圍和種類的也隨之增長，2018年建設(shè)時預(yù)計未來5年內(nèi)，“天擎”歸檔業(yè)務(wù)日數(shù)據(jù)量會由1 TB上升到至少10 TB，最高有可能達到40 TB，同時歸檔系統(tǒng)還需支持數(shù)據(jù)分級分類歸檔等數(shù)據(jù)安全管理要求。基于以上對未來業(yè)務(wù)發(fā)展的預(yù)估，“天擎”歸檔系統(tǒng)設(shè)計建設(shè)為一套支撐百PB級數(shù)據(jù)歸檔、具備高效自動化數(shù)據(jù)回取服務(wù)能力的標(biāo)準、規(guī)范的氣象資料歸檔管理系統(tǒng)：①實現(xiàn)歸檔業(yè)務(wù)功能的分布式集群化運行能力，建立可擴展的數(shù)據(jù)歸檔和回取系統(tǒng)，滿足不斷增長的實時歷史數(shù)據(jù)的歸檔業(yè)務(wù)需求；②支持不同安全級別數(shù)據(jù)的歸檔及回取，磁帶讀寫效率大于150 MB/s；③綜合考慮數(shù)據(jù)記帶性能和數(shù)據(jù)回取服務(wù)需求，實現(xiàn)靈活的數(shù)據(jù)歸檔策略的制定；④實現(xiàn)7000盤存量LTO4磁帶的自動化轉(zhuǎn)儲功能和支撐未來轉(zhuǎn)儲需求所需匹配的系統(tǒng)功能；⑤與 “天擎”存儲管理與服務(wù)系統(tǒng)進行協(xié)同，實現(xiàn)自動化數(shù)據(jù)回取服務(wù)；⑥在天鏡中實現(xiàn)系統(tǒng)主要業(yè)務(wù)流程監(jiān)控及數(shù)據(jù)全流程的監(jiān)控；⑦實現(xiàn)對磁帶安全規(guī)范的管理。

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)架構(gòu)

在“天擎”歸檔系統(tǒng)總體技術(shù)結(jié)構(gòu)中，明確定義了系統(tǒng)建設(shè)的層次性結(jié)構(gòu)體系，并將系統(tǒng)的各個層次加以詳細劃分，主要包括應(yīng)用與接口交互層、歸檔業(yè)務(wù)處理與服務(wù)層、系統(tǒng)軟硬件支撐層，如圖1所示。

圖1 “天擎”歸檔系統(tǒng)架構(gòu)

應(yīng)用與接口交互層提供歸檔系統(tǒng)門戶、專題及應(yīng)用數(shù)據(jù)管理功能。在歸檔系統(tǒng)門戶中，實現(xiàn)各類資料策略管理與配置功能、近線和離線數(shù)據(jù)實現(xiàn)回取功能、訂單管理功能、資料歸檔統(tǒng)計信息功能等。應(yīng)用與接口交互層同時與通信系統(tǒng)(CTS)、數(shù)據(jù)統(tǒng)一訪問接口(MUSIC)、天鏡等進行接口交互，提供資料數(shù)據(jù)歸檔、回取和歸檔系統(tǒng)各業(yè)務(wù)環(huán)節(jié)狀態(tài)、告警信息上報等功能。

歸檔業(yè)務(wù)處理與服務(wù)層實現(xiàn)歸檔業(yè)務(wù)具體功能，以服務(wù)的形式分布式部署在歸檔服務(wù)器集群環(huán)境中，主要包括數(shù)據(jù)歸檔調(diào)度、數(shù)據(jù)歸檔、數(shù)據(jù)分發(fā)與服務(wù)、數(shù)據(jù)存儲資源池管理和實時監(jiān)視與告警。其中數(shù)據(jù)歸檔調(diào)度子系統(tǒng)以消息隊列(RabbitMQ)為基礎(chǔ)實現(xiàn)歸檔業(yè)務(wù)動態(tài)任務(wù)調(diào)度，同時支持在管理界面上靈活配置歸檔集群；數(shù)據(jù)歸檔子系統(tǒng)以微服務(wù)形式實現(xiàn)數(shù)據(jù)分揀、打包、探測、提元、歸檔、回取等具體業(yè)務(wù)邏輯，由數(shù)據(jù)歸檔調(diào)度子系統(tǒng)統(tǒng)一調(diào)度；數(shù)據(jù)回取與服務(wù)主要實現(xiàn)歸檔資料多種形式的回取功能，包括訂單式回取、腳本式回取、自動化回取和敏感資料回取等；數(shù)據(jù)存儲資源池管理通過在線存儲配置與訪問、近線存儲管理和離線磁帶管理實現(xiàn)存儲資源統(tǒng)一管理功能，在線存儲配置與訪問支持NFS(網(wǎng)絡(luò)文件系統(tǒng))、S3(簡單存儲服務(wù))、FTP(文件傳輸)等多種數(shù)據(jù)訪問協(xié)議，近線存儲和離線存儲管理實現(xiàn)磁帶出入庫、磁帶復(fù)制、磁帶審計、磁帶轉(zhuǎn)儲和離線磁帶架管理等；數(shù)據(jù)訪問總線實現(xiàn)歸檔元數(shù)據(jù)訪問接口、磁帶庫訪問接口、磁帶庫管理軟件(MSP)訪問接口、FTP訪問接口的統(tǒng)一數(shù)據(jù)訪問服務(wù)，支撐各服務(wù)業(yè)務(wù)邏輯的實現(xiàn)和歸檔門戶各應(yīng)用功能的集成。實時監(jiān)視與告警將業(yè)務(wù)處理與服務(wù)層各環(huán)節(jié)運行問題及時向天鏡上報。

系統(tǒng)軟硬件支撐層由各類物理設(shè)備和基礎(chǔ)軟件構(gòu)成。其中物理設(shè)備主要包括各軟件部署所需要的服務(wù)器設(shè)備、在線存儲設(shè)備、近線存儲設(shè)備、網(wǎng)絡(luò)設(shè)備等，基礎(chǔ)軟件包括操作系統(tǒng)、數(shù)據(jù)庫管理軟件、應(yīng)用服務(wù)器軟件、消息隊列軟件、磁盤共享軟件、歸檔軟件等組成。

2.2 硬件環(huán)境

“天擎”歸檔系統(tǒng)支撐硬件設(shè)備主要包括 X86 物理服務(wù)器、盤陣、磁帶庫以及網(wǎng)絡(luò)設(shè)備。其中X86物理服務(wù)器用于部署歸檔系統(tǒng)軟件，盤陣用于磁帶庫歸檔中間環(huán)節(jié)緩存，提供數(shù)據(jù)分揀、數(shù)據(jù)打包等的緩存空間，磁帶庫用于實現(xiàn)歸檔資料的近線存儲和離線存儲。這些硬件共同支撐歸檔系統(tǒng)承載4種類型數(shù)據(jù)的歸檔，即實時數(shù)據(jù)歸檔、批量數(shù)據(jù)歸檔、敏感數(shù)據(jù)歸檔和轉(zhuǎn)儲數(shù)據(jù)歸檔。實時數(shù)據(jù)指通信系統(tǒng)實時傳輸?shù)綒w檔系統(tǒng)的數(shù)據(jù)，如地面自動站分鐘觀測數(shù)據(jù)；批量數(shù)據(jù)指按批次提交歸檔系統(tǒng)的數(shù)據(jù)，如某次科考試驗的數(shù)據(jù)集；敏感數(shù)據(jù)指僅能對部分用戶開放的數(shù)據(jù)；轉(zhuǎn)儲數(shù)據(jù)是指已在歸檔系統(tǒng)中待更換存儲介質(zhì)的數(shù)據(jù)，如舊型號磁帶中的數(shù)據(jù)為避免磁帶失效需要改為新型號的磁帶存儲。

歸檔業(yè)務(wù)為I/O密集型應(yīng)用，需對大量數(shù)據(jù)進行讀寫操作，為避免互相影響，對不同類型歸檔業(yè)務(wù)匹配對應(yīng)的服務(wù)器進行支撐。實時數(shù)據(jù)歸檔每天要承擔(dān)約3 TB數(shù)據(jù)的打包處理及歸檔，其中大量小、碎文件的打包處理對資源的消耗較高，目前配備了6臺服務(wù)器處理實時數(shù)據(jù)。批量數(shù)據(jù)文件數(shù)量通常不高，但數(shù)據(jù)量會偏大，達到10 TB至PB級，目前分配了3臺服務(wù)器；轉(zhuǎn)儲數(shù)據(jù)文件數(shù)量很高數(shù)據(jù)量也很大，但因為轉(zhuǎn)儲工作處于起步階段，暫分配了3臺服務(wù)器進行處理；敏感數(shù)據(jù)量較小，只是物理上需要與其他數(shù)據(jù)進行隔離，目前1臺服務(wù)器即可滿足需求?，F(xiàn)在共計使用13臺服務(wù)器，對于每類歸檔業(yè)務(wù)后續(xù)可根據(jù)數(shù)據(jù)量增長情況進行調(diào)整擴容。

系統(tǒng)采用華為OceanStor 18500 V5盤陣作為歸檔業(yè)務(wù)的臨時緩存。

系統(tǒng)使用的磁帶庫為曙光STL4500高密度磁帶庫，磁帶庫包含1套磁帶庫系統(tǒng)庫體、62個LTO7磁帶驅(qū)動器，可裝載10000盤LTO7磁帶。磁帶庫目前所裝載的5000盤磁帶可用容量為27 PB，滿配后可用容量為54 PB。磁帶庫驅(qū)動軟件使用的是火星MSP歸檔存儲中間件實現(xiàn)對STL4500磁帶庫的管理和磁帶讀寫功能。

3 關(guān)鍵技術(shù)

“天擎”歸檔系統(tǒng)通過以下關(guān)鍵技術(shù)滿足發(fā)生巨大變化的業(yè)務(wù)需求：①采用分布式集群運行技術(shù)實現(xiàn)系統(tǒng)的動態(tài)可擴展；②策略驅(qū)動設(shè)計實現(xiàn)系統(tǒng)的靈活性；③實現(xiàn)多協(xié)議數(shù)據(jù)歸檔、敏感數(shù)據(jù)歸檔、轉(zhuǎn)儲數(shù)據(jù)歸檔的功能滿足多場景數(shù)據(jù)歸檔需求；④提供豐富的數(shù)據(jù)回取服務(wù)接口提升回取數(shù)據(jù)服務(wù)便捷性；⑤歸檔數(shù)據(jù)全流程追溯和歸檔業(yè)務(wù)各環(huán)節(jié)數(shù)據(jù)量統(tǒng)計保證數(shù)據(jù)歸檔的完整性和正確性；⑥規(guī)范化的磁帶管理實現(xiàn)歸檔的磁帶服務(wù)。

3.1 分布式小集群設(shè)計

為合理利用硬件資源并實現(xiàn)系統(tǒng)可擴展性、適應(yīng)海量數(shù)據(jù)歸檔需求，“天擎”歸檔系統(tǒng)采用小集群(圖2)的方式對硬件資源進行規(guī)劃使用：①服務(wù)器。根據(jù)開展的實際業(yè)務(wù)對服務(wù)器進行集群劃分，如實時歸檔集群、歷史歸檔集群、敏感資料歸檔集群、資料轉(zhuǎn)儲集群等，每個集群所需的服務(wù)器數(shù)量根據(jù)所承擔(dān)的業(yè)務(wù)負載決定；②驅(qū)動器。驅(qū)動器的用途包括歸檔和回取，對于用于歸檔的驅(qū)動器再根據(jù)服務(wù)器集群進行匹配分組，包括實時歸檔驅(qū)動器組、歷史歸檔驅(qū)動器組等，每組所需使用的驅(qū)動器個數(shù)可根據(jù)業(yè)務(wù)量動態(tài)調(diào)整；③磁帶庫。為方便后續(xù)數(shù)據(jù)服務(wù)，滿足同類型相近時間段的資料最好存儲在同一批磁帶的需求，歸檔系統(tǒng)對磁帶池根據(jù)資料類型進行邏輯劃分，共分配了14個主磁帶池，實時數(shù)據(jù)使用9個主磁帶池，批量數(shù)據(jù)和轉(zhuǎn)儲數(shù)據(jù)使用3個主磁帶池，敏感資料使用1個主磁帶池。

圖2 分布式小集群設(shè)計

服務(wù)器、驅(qū)動器、磁帶庫均可形成小的邏輯單元，歸檔系統(tǒng)軟件也需實現(xiàn)能夠?qū)@些小的邏輯單元進行調(diào)度使用，以滿足系統(tǒng)整體的可擴展和動態(tài)靈活部署需求。系統(tǒng)建設(shè)過程中通過策略信息調(diào)度軟件功能和硬件邏輯單元(圖3)來實現(xiàn)這一需求[13]。策略信息即各類資料歸檔相關(guān)的軟件功能對應(yīng)服務(wù)器IP地址的規(guī)則，歸檔系統(tǒng)軟件在元數(shù)據(jù)庫中保存有歸檔整體業(yè)務(wù)的策略信息，調(diào)度管理服務(wù)在讀取策略信息后形成一系列資料分揀、打包、探測、提元的任務(wù)到消息隊列中，各個實際執(zhí)行任務(wù)的進程主動到消息隊列中提取相關(guān)的任務(wù)信息進行執(zhí)行，當(dāng)現(xiàn)有執(zhí)行任務(wù)的進程無法滿足系統(tǒng)要求時，則需增加新的策略記錄，由新的服務(wù)器部署相關(guān)進程配合完成任務(wù)，實現(xiàn)系統(tǒng)的動態(tài)擴展。

圖3 分布式調(diào)度管理流程

3.2 策略驅(qū)動數(shù)據(jù)歸檔

數(shù)據(jù)歸檔需要完成數(shù)據(jù)打包、數(shù)據(jù)提元、數(shù)據(jù)記帶一系列操作。為適應(yīng)各種資料以適當(dāng)?shù)姆绞竭M行歸檔，“天擎”歸檔系統(tǒng)將歸檔涉及的每一環(huán)節(jié)均以策略驅(qū)動運行，包括數(shù)據(jù)打包策略、數(shù)據(jù)提元策略、數(shù)據(jù)記帶策略。

“天擎”歸檔系統(tǒng)每日接入的文件數(shù)量約為410萬個，其中94%的文件為小于1 MB的文件，6%的文件大于1 MB，僅有約100個文件大于1 GB。磁帶庫是機械設(shè)備，大量小文件的讀寫會造成頻繁操作磁帶而大大拉低磁帶讀寫效率，因此對于歸檔系統(tǒng)一般建議歸檔文件大于1 GB?！疤烨妗睔w檔系統(tǒng)將大量文件打包以達到組織為大文件的目的。為了同時兼顧數(shù)據(jù)服務(wù)的方便性，對于不同的數(shù)據(jù)制定不同的打包策略，如地面資料按照省份名稱將每日資料進行打包，雷達資料按照站號將一天的資料進行打包等。數(shù)據(jù)提元策略也可根據(jù)打包文件名情況進行靈活配置。

面對大量數(shù)據(jù)的歸檔需求，“天擎”歸檔系統(tǒng)通過減少磁帶物理操作時間來提升磁帶讀寫性能，磁帶物理操作時間主要包括磁帶的裝載/卸載時間和磁帶尋址時間?！疤烨妗睔w檔系統(tǒng)通過調(diào)整歸檔系統(tǒng)數(shù)據(jù)記帶策略，設(shè)定記帶任務(wù)執(zhí)行時間，以實現(xiàn)記帶操作的集中并行運行，最大限度減少磁帶裝卸載次數(shù)和磁帶尋址操作。通過比較，一天內(nèi)執(zhí)行4批次記帶操作比48批次平均寫帶操作性能提升50%，目前每日平均記帶性能能夠達到約160 Mb/s。

3.3 多場景數(shù)據(jù)歸檔支撐

為了提高歸檔性能和歸檔服務(wù)的能力，滿足大數(shù)據(jù)背景下的數(shù)據(jù)歸檔需求，“天擎”歸檔系統(tǒng)實現(xiàn)了多場景數(shù)據(jù)歸檔，包括多協(xié)議數(shù)據(jù)歸檔、敏感資料歸檔和磁帶轉(zhuǎn)儲歸檔功能等。

3.3.1 多協(xié)議數(shù)據(jù)歸檔

“天擎”采用大數(shù)據(jù)技術(shù)支撐海量數(shù)據(jù)在線存儲，采用了磁盤陣列存儲、分布式文件系統(tǒng)和分布式對象存儲等不同的存儲技術(shù)實現(xiàn)數(shù)據(jù)存儲，實現(xiàn)對不同應(yīng)用的高效支撐。為支持海量數(shù)據(jù)異構(gòu)存儲的數(shù)據(jù)歸檔，歸檔系統(tǒng)增加主動獲取資料數(shù)據(jù)歸檔功能，支持通過NFS、FTP、S3協(xié)議獲取數(shù)據(jù)資料文件并進行歸檔(圖4)，同時歸檔后的數(shù)據(jù)可在“天擎”歸檔系統(tǒng)門戶中可以進行相應(yīng)的數(shù)據(jù)檢索、回取等功能。

圖4 多協(xié)議數(shù)據(jù)歸檔架構(gòu)

3.3.2 敏感數(shù)據(jù)歸檔

“天擎”歸檔系統(tǒng)事先對不同安全級別數(shù)據(jù)的歸檔。為提升數(shù)據(jù)安全管理能力，“天擎”歸檔系統(tǒng)新增敏感性資料歸檔管理。如圖5所示，歸檔系統(tǒng)對敏感資料劃分單獨的磁帶池，通過配置密鑰，將加密后的數(shù)據(jù)歸檔到磁帶，具體功能為：①敏感資料集群劃分。歸檔系統(tǒng)支持針對敏感性資料劃分單獨的文件系統(tǒng)目錄，并指定單獨的分揀、打包、探測、提元和歸檔服務(wù)器，同時劃分單獨的磁帶池、指定單獨的磁帶進行歸檔。②敏感資料加密歸檔及回取。支持加密歸檔策略配置，可以設(shè)置敏感資料寫磁帶密鑰，在歸檔資料寫磁帶環(huán)節(jié)，通過設(shè)置的密鑰將資料文件加密，并將加密后的資料文件寫到磁帶上。

3.3.3 轉(zhuǎn)儲數(shù)據(jù)歸檔

磁帶轉(zhuǎn)儲歸檔包括歷史磁帶轉(zhuǎn)儲和未來磁帶轉(zhuǎn)儲。①歷史磁帶轉(zhuǎn)儲對CIMISS歸檔系統(tǒng)或其他系統(tǒng)通過TSM歸檔軟件、IBM TS3584磁帶庫寫入的LTO4磁帶采用LTO7磁帶重新進行存儲。這些LTO4磁帶中有部分通過TAR命令直接寫入磁帶，導(dǎo)致磁帶上記錄的資料文件不規(guī)范，也缺乏歸檔資料元數(shù)據(jù)信息，造成轉(zhuǎn)儲這部分歷史磁帶的工作量和難度比較大。經(jīng)過多次實驗驗證，通過導(dǎo)出TSM磁帶元數(shù)據(jù)、分析磁帶元數(shù)據(jù)、按資料批量回取、重新整理資料、記錄元數(shù)據(jù)信息、數(shù)據(jù)重組、寫入“天擎”歸檔系統(tǒng)磁帶庫等步驟能實現(xiàn)自動、快速、規(guī)范化的磁帶轉(zhuǎn)儲功能(圖5)。②考慮到將來磁帶技術(shù)的升級換代，如從LTO7升級到LTO8、LTO9,歸檔系統(tǒng)通過磁帶批量出入庫操作，結(jié)合磁帶復(fù)制技術(shù)、磁帶元數(shù)據(jù)和歸檔元數(shù)據(jù)自動一致性更新、磁帶審計等實現(xiàn)全自動化的磁帶轉(zhuǎn)儲功能，滿足未來磁帶轉(zhuǎn)儲功能要求。

圖5 磁帶轉(zhuǎn)儲流程

3.4 數(shù)據(jù)回取服務(wù)

“天擎”歸檔系統(tǒng)為滿足不同用戶在各自應(yīng)用場景下回取數(shù)據(jù)的需求提供豐富的數(shù)據(jù)回取服務(wù)，包括訂單式數(shù)據(jù)回取、腳本式數(shù)據(jù)回取、自動化數(shù)據(jù)回取以及敏感資料回取。

訂單式數(shù)據(jù)回取是傳統(tǒng)的數(shù)據(jù)回取方式，即用戶通過“天擎”歸檔系統(tǒng)提供Web網(wǎng)站查詢到所需回取的數(shù)據(jù)后提交數(shù)據(jù)回取訂單，網(wǎng)站后臺根據(jù)訂單中數(shù)據(jù)文件請求清單逐一從磁帶庫中進行回取，然后將數(shù)據(jù)存放至用戶指定的位置，訂單完成后通知用戶。

訂單式回取主要滿足的是用戶在WINDOWS PC機進行數(shù)據(jù)回取的場景?，F(xiàn)在大量業(yè)務(wù)運行在類Linux服務(wù)器中，用戶對數(shù)據(jù)的使用可能會大量發(fā)生在服務(wù)器端。腳本式回取為“天擎”歸檔系統(tǒng)建設(shè)的新增功能，主要為滿足用戶在服務(wù)器端進行數(shù)據(jù)回取的需求。用戶在類Linux的服務(wù)器上像使用Linux命令一樣執(zhí)行數(shù)據(jù)回取命令完成數(shù)據(jù)回取的操作。腳本式數(shù)據(jù)回取目前支持按照文件列表進行回取和按數(shù)據(jù)類型及時間范圍進行回取兩種方式。

由于“天擎”歸檔系統(tǒng)中存儲的大部分非結(jié)構(gòu)化數(shù)據(jù)與在線存儲的數(shù)據(jù)形態(tài)一致，可與在線數(shù)據(jù)一同為用戶服務(wù)，延長數(shù)據(jù)可服務(wù)的時長范圍。為方便用戶能夠自動化使用數(shù)據(jù)回取服務(wù)，歸檔系統(tǒng)與數(shù)據(jù)服務(wù)接口(MUSIC接口)和存儲管理系統(tǒng)、解碼入庫系統(tǒng)共同配合完成歸檔近線、離線數(shù)據(jù)的自動化數(shù)據(jù)回取流程(圖6)。歸檔系統(tǒng)為MUSIC接口提供回取請求服務(wù)的RESTFUL接口，該接口能夠接收MUSIC發(fā)起的回取請求，對請求進行解析后，向磁帶庫發(fā)起回取數(shù)據(jù)的流程，數(shù)據(jù)從磁帶庫回取后需要完成2個操作步驟：①將回取后的數(shù)據(jù)放在與解碼入庫系統(tǒng)共享的數(shù)據(jù)交換區(qū)；②向解碼入庫子系統(tǒng)發(fā)送數(shù)據(jù)已回取成功的消息。解碼入庫系統(tǒng)對回取后的數(shù)據(jù)進行入庫操作后將回取狀態(tài)對隊列中的消息狀態(tài)進行修改，改為數(shù)據(jù)可服務(wù)狀態(tài)，MUSIC接口發(fā)現(xiàn)消息狀態(tài)為可服務(wù)狀態(tài)后則反饋用戶，用戶即可獲取數(shù)據(jù)。

圖6 自動化數(shù)據(jù)回取服務(wù)流程

敏感數(shù)據(jù)是以加密方式進行歸檔的，因此敏感數(shù)據(jù)回取是通過密鑰將磁帶上的加密數(shù)據(jù)進行解密后回取。敏感性資料回取需要用戶具備敏感資料訪問權(quán)限才能進行，用戶在通過認證和權(quán)限審核后進行數(shù)據(jù)回取?；厝r磁帶驅(qū)動軟件會對之前加密歸檔的文件進行解密，解密后將數(shù)據(jù)返回用戶(圖7)。

圖7 敏感資料歸檔與回取流程

3.5 歸檔數(shù)據(jù)全流程追溯

數(shù)據(jù)歸檔的目的是保障數(shù)據(jù)安全，所以數(shù)據(jù)歸檔的完整性、正確性對于完成歸檔業(yè)務(wù)和后續(xù)歸檔數(shù)據(jù)服務(wù)至關(guān)重要?！疤烨妗睔w檔系統(tǒng)基于“天鏡”(氣象綜合業(yè)務(wù)實時監(jiān)控系統(tǒng))實現(xiàn)對數(shù)據(jù)源和數(shù)據(jù)歸檔結(jié)果完整性對比的監(jiān)控，在天鏡的“天擎”歸檔系統(tǒng)的專題監(jiān)視頁面中顯示歸檔完成的資料與數(shù)據(jù)源的資料數(shù)據(jù)量比較情況，以達到資料出現(xiàn)異常時，能夠達到及時發(fā)現(xiàn)、及時告警和有效追溯的目的。監(jiān)視頁面如圖8所示。

圖8 “天擎”歸檔系統(tǒng)數(shù)據(jù)完整性監(jiān)控頁面

為方便技術(shù)人員熟悉了解資料的歸檔情況，“天擎”歸檔系統(tǒng)通過H-Chart圖表插件設(shè)計了多種形式的報表對資料歸檔情況進行可視化展示，包括資料歸檔日報表、月報表和資料各環(huán)節(jié)歸檔監(jiān)視展示，以及資料正確性和完整性驗證功能展示(圖9)。

圖9 “天擎”歸檔系統(tǒng)數(shù)據(jù)統(tǒng)計報表頁面

3.6 規(guī)范化的磁帶管理

由于磁帶對存儲環(huán)境和保管方式都有特殊要求，需對磁帶進行規(guī)范化的管理才能確保磁帶中的數(shù)據(jù)可用。“天擎”歸檔系統(tǒng)中提供了全面的磁帶管理功能，包括磁帶池管理、磁帶離線管理、磁帶審記和磁帶復(fù)制(圖10)。磁帶池管理包括磁帶池劃分、磁帶池監(jiān)控。其中磁帶池監(jiān)控實現(xiàn)以磁帶池為單位實時監(jiān)控已用容量、剩余容量和空白磁帶等，支持設(shè)定空白磁帶告警閾值，提醒系統(tǒng)管理員及時向磁帶庫中添加磁帶，以免影響歸檔業(yè)務(wù)運行；磁帶離線管理中實現(xiàn)磁帶的出入庫、批量出入庫管理。在批量出入庫功能中，支持大于磁帶庫I/E口的上百盤磁帶進行批量出庫操作，大大提高了出入庫操作的便利性和易用性。磁帶審計根據(jù)磁帶審計策略，自動對近線和離線磁帶進行審計，以確認磁帶介質(zhì)可用性、磁帶數(shù)據(jù)的一致性和完整性。磁帶復(fù)制提供基于整盤的磁帶介質(zhì)克隆復(fù)制和資料文件級的復(fù)制功能，以應(yīng)用于不同場景下磁帶數(shù)據(jù)恢復(fù)。

圖10 磁帶管理功能

4 結(jié)論與討論

“天擎”歸檔系統(tǒng)自2019年7月開始運行，2020年8月實現(xiàn)業(yè)務(wù)化，截止目前已完成12 PB數(shù)據(jù)的歸檔以及107 TB數(shù)據(jù)的回取，其中歸檔的數(shù)據(jù)包括實時數(shù)據(jù)9 PB以及2 PB高性能計算服務(wù)器上產(chǎn)生中國再分析資料和1 PB氣候中心的CMIP6、CMOP模式歷史數(shù)據(jù)。目前，每日實時數(shù)據(jù)的歸檔數(shù)據(jù)量為3.02～3.15 TB，接入的數(shù)據(jù)種類為703種，所有的業(yè)務(wù)數(shù)據(jù)均按照3副本的策略進行歸檔，每日實際實時數(shù)據(jù)的歸檔數(shù)據(jù)量達到近10 TB，磁帶讀寫性能平均為160 MB/s。模式歷史數(shù)據(jù)因文件均大于1 GB，歸檔時磁帶寫性能達到220 MB/s。從數(shù)據(jù)量來看，數(shù)值預(yù)報、衛(wèi)星及雷達資料的數(shù)據(jù)量最大，三者數(shù)據(jù)量占總體數(shù)據(jù)量的96%；從文件數(shù)量來看，雷達和地面資料的文件數(shù)量最大，占總體文件量的85.7%以上。就目前的應(yīng)用需求和發(fā)展趨勢來看，數(shù)值預(yù)報資料將會是未來歸檔數(shù)據(jù)量的主要貢獻者。

根據(jù)系統(tǒng)具備的硬件規(guī)模和系統(tǒng)目前服務(wù)器、驅(qū)動器的情況，如果將驅(qū)動器平均用于歸檔和回取，“天擎”歸檔系統(tǒng)最高可承載每日約240 TB數(shù)據(jù)的歸檔及回取檢索，與歐洲中心MARS系統(tǒng)目前每日的250 TB數(shù)據(jù)增量相當(dāng)。歐洲中心MARS系統(tǒng)和美國NOAA CLASS系統(tǒng)數(shù)據(jù)存儲層采用 High Performance Storage System(HPSS)來完成磁帶庫的管理操作，“天擎”歸檔系統(tǒng)使用國產(chǎn)歸檔存儲中間件及自研數(shù)據(jù)處理和服務(wù)軟件實現(xiàn)系統(tǒng)的整體管理。從可提供的日歸檔數(shù)據(jù)量級來看，“天擎”歸檔系統(tǒng)與發(fā)達國家氣象歸檔業(yè)務(wù)管理系統(tǒng)相當(dāng)，但由于剛投入業(yè)務(wù)使用，國內(nèi)業(yè)務(wù)用戶對“天擎”歸檔系統(tǒng)發(fā)起的實際業(yè)務(wù)請求數(shù)量與國外還有一定差距。在用戶逐漸熟悉“天擎”歸檔系統(tǒng)的服務(wù)方式后，用戶發(fā)起的業(yè)務(wù)請求會逐漸增多。

磁帶存儲能力持續(xù)提升和新技術(shù)的發(fā)展讓磁帶在大數(shù)據(jù)時代應(yīng)用更具前景。2020年9月，LTO-9發(fā)布上市，LTO-9存儲容量為LTO-7的3倍，達到了18 TB，同時LTO-9驅(qū)動器性能提高至400 MB/s。新的LTO路線圖擴展到第12代，在磁帶大小保持不變的情況下，未來LTO-12最高可達144 TB存儲能力?？紤]到磁帶綠色節(jié)能和存儲成本低的特點，在未來ZB級存儲的時代，磁帶存儲可能發(fā)揮更大的作用[14-19]。磁帶管理發(fā)展的新技術(shù)也改變了傳統(tǒng)磁帶的使用方式，如線性磁帶文件系統(tǒng)(LTFS)技術(shù)使得磁帶訪問方式與磁盤一致。LTFS在磁帶上創(chuàng)建數(shù)據(jù)區(qū)和索引區(qū)2個分區(qū)，數(shù)據(jù)區(qū)中存放了所有的數(shù)據(jù)內(nèi)容與元數(shù)據(jù)，而索引區(qū)則存放數(shù)據(jù)區(qū)中數(shù)據(jù)的附屬子集與附加元數(shù)據(jù)，這樣用戶搜索磁帶上的信息、搜索磁帶的流程和磁盤存儲一樣。通過LTFS，用戶能夠很簡易地和磁帶進行互操作，可直接應(yīng)用于備份和歸檔流程。LTFS還可與并行文件系統(tǒng)無縫銜接，通過策略配置可以自動將訪問頻率較低的數(shù)據(jù)通過LTFS遷移至磁帶庫，用戶卻可以做到無感知訪問[20]。這一技術(shù)將大幅提升用戶體驗，未來非常有必要在歸檔系統(tǒng)中探索使用。