賈樹澤程朝暉屈興之張媛媛趙現(xiàn)綱馮小虎
摘 要:數(shù)據(jù)生成時效性是反映業(yè)務系統(tǒng)設計合理性和數(shù)據(jù)處理效率的重要指標。隨著風云三號極軌氣象衛(wèi)星產(chǎn)品在全球數(shù)值天氣預報中應用比重的增加,其數(shù)據(jù)生成時效性要求也在不斷提高。通過對風云三號業(yè)務系統(tǒng)中的數(shù)據(jù)獲取、接收與傳輸、匯集與預處理、投影與產(chǎn)品生成等多個環(huán)節(jié)進行數(shù)據(jù)生成信息采集,并根據(jù)各環(huán)節(jié)之間的業(yè)務邏輯關系構建分析系統(tǒng)和數(shù)據(jù)生成時效性數(shù)據(jù)庫,可以有效定位系統(tǒng)數(shù)據(jù)處理流程中的延遲瓶頸,給業(yè)務系統(tǒng)的性能優(yōu)化與改進提供較為明確的方向與思路,為制定業(yè)務產(chǎn)品發(fā)布時效指標提供量化依據(jù)。
關鍵詞關鍵詞:氣象衛(wèi)星;時效性;產(chǎn)品生成;數(shù)據(jù)庫
DOIDOI:10.11907/rjdk.162162
中圖分類號:TP319
文獻標識碼:A 文章編號文章編號:16727800(2016)011008404
0 引言
風云三號(Fengyun-3,F(xiàn)Y-3)氣象衛(wèi)星是我國實現(xiàn)全球、全天候、多光譜、三維、定量遙感的第二代極軌業(yè)務氣象衛(wèi)星[1],可實現(xiàn)全球、全天候、三維定量遙感,在氣象、海洋、水利、農(nóng)業(yè)、交通以及環(huán)境等領域廣泛應用。隨著FY-3數(shù)據(jù)和產(chǎn)品在全球數(shù)值天氣預報業(yè)務模式中的廣泛應用,其各級產(chǎn)品的發(fā)布時效也逐漸成為衡量整個星地業(yè)務系統(tǒng)設計合理性和數(shù)據(jù)處理效率的重要指標之一。FY-3星地業(yè)務系統(tǒng)數(shù)據(jù)傳輸與處理的環(huán)節(jié)較多,地面系統(tǒng)的平臺多為異構且較為復雜[2],影響其時效性的因素也是多種多樣。
本文通過衛(wèi)星數(shù)據(jù)獲取、地面站數(shù)據(jù)接收與傳輸、原始資料的匯集與預處理以及對各儀器L1(Level-1)數(shù)據(jù)的加工,對L2(Level-2)產(chǎn)品生成環(huán)節(jié)的信息進行采集與處理,構建數(shù)據(jù)生成時效分析系統(tǒng)并建立數(shù)據(jù)生成時效性數(shù)據(jù)庫,能夠?qū)π堑貥I(yè)務系統(tǒng)各類產(chǎn)品生成時效進行客觀的量化評估,為業(yè)務優(yōu)化與改進、相關業(yè)務數(shù)據(jù)發(fā)布時效指標與周期的制定等提供有效支撐。
1 星地業(yè)務系統(tǒng)數(shù)據(jù)生成時效分析系統(tǒng)構建
1.1 星地業(yè)務系統(tǒng)數(shù)據(jù)處理流程分析
(1)數(shù)據(jù)記錄與下傳階段。生產(chǎn)實時數(shù)據(jù)中的高分辨率圖像傳輸數(shù)據(jù)(High Resolution Picture Transmission, HRPT)和中分辨率圖像傳輸數(shù)據(jù)(Medium resolution Picture Transmission,MPT),然后直接通過衛(wèi)星數(shù)傳系統(tǒng)下傳廣播;生成存儲回放圖像傳輸數(shù)據(jù)(Delayed Picture Transmission, DPT)后記錄在FY-3衛(wèi)星的固態(tài)存儲器中,根據(jù)衛(wèi)星程控方案與地面數(shù)據(jù)接收站點位置布局,在地面接收站指定的俯仰角范圍內(nèi)進行下傳廣播。
(2)數(shù)據(jù)接收和傳輸階段。地面站接收衛(wèi)星數(shù)據(jù)后,根據(jù)不同信道(HRPT/MPT/DPT)按固定時段切塊,形成原始分塊數(shù)據(jù)文件(RAW),并向處理中心進行同步并行傳輸。
(3)數(shù)據(jù)匯集階段。處理中心將各地面站傳輸?shù)脑挤謮K文件進行處理,包括分通道拆包解包、多站數(shù)據(jù)去重復、優(yōu)化拼接等作業(yè),最后根據(jù)各種儀器使用要求生成不同時間粒度(分段、分弧段、按軌道)的L0(Level-0)數(shù)據(jù)。
(4)產(chǎn)品生成階段。以L0為數(shù)據(jù)源,依照實時或延遲數(shù)據(jù)處理調(diào)度策略處理實時數(shù)據(jù)和延遲到達的數(shù)據(jù);啟動各儀器各階段的產(chǎn)品處理作業(yè)流程,生成經(jīng)地理定位和輻射定標后[3]的L1預處理產(chǎn)品及根據(jù)不同科學算法所反演生成的不同地球物理量L2產(chǎn)品,并同步進行數(shù)據(jù)分發(fā)與存檔。
1.2 時效分析建模
針對FY-3業(yè)務系統(tǒng)數(shù)據(jù)處理流程中4個階段的數(shù)據(jù)生成過程,定義4個階段的數(shù)據(jù)生成延遲時間,分別為星地延遲( Delay_StoG)、傳輸延遲(Delay_GtoC )、匯集延遲(Delay_CtoL0 )和產(chǎn)品生成延遲(Delay_LtoL ),其中:Delay_StoG =目標數(shù)據(jù)地面接收時間(timeForReceive )-目標數(shù)據(jù)儀器觀測時間(timeForObs )Delay_GtoC =目標數(shù)據(jù)到達處理中心時間(timeForCenter )-timeForReceive Delay_CtoL0 =目標數(shù)據(jù)匯集完成時間(timeForL0 ) - (timeForCenter )Delay_LtoL =高級別數(shù)據(jù)生成時間(timeForL_high ) -低級別數(shù)據(jù)生成時間(timeFor_low )。
數(shù)據(jù)生成時效性分析系統(tǒng)將星地業(yè)務流程中的數(shù)據(jù)生成信息采集后,根據(jù)Delay_StoG、Delay_GtoC、Delay_GtoL0、Delay_LtoL分析判別各個環(huán)節(jié)的數(shù)據(jù)生成時延。
1.3 系統(tǒng)構建
星地業(yè)務系統(tǒng)數(shù)據(jù)生成時效分析系統(tǒng)主要由4個功能模塊以及數(shù)據(jù)庫組成,即星地數(shù)據(jù)信息獲取模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)整合去重復入庫模塊、數(shù)據(jù)分析模塊和時效分析數(shù)據(jù)庫,如圖2所示。其各自功能如下:
(1)星地數(shù)據(jù)信息獲取模塊。負責原始數(shù)據(jù)采集,需要從業(yè)務系統(tǒng)各個環(huán)節(jié)中采集原始數(shù)據(jù)信息,包括地面站數(shù)據(jù)接收時間表信息、與時效相關的工程遙測信息、地面站數(shù)據(jù)接收信息、中心原始分塊數(shù)據(jù)匯集與處理信息、各級產(chǎn)品文件生成信息等。
(2)數(shù)據(jù)傳輸模塊。負責將星地數(shù)據(jù)信息獲取模塊收集到的信息傳輸?shù)叫堑貥I(yè)務系統(tǒng)運行時效分析系統(tǒng)所在運行服務器的指定存儲位置。
(3)數(shù)據(jù)整合去重復入庫模塊。將星地數(shù)據(jù)信息獲取模塊收集到的原始信息進行加工,逐條解析,去掉重復部分,并將信息按類別輸入至時效分析數(shù)據(jù)庫中的各個表中。
(4)數(shù)據(jù)分析模塊。通過時效性分析邏輯按時間序列對數(shù)據(jù)庫各個表中的數(shù)據(jù)進行關聯(lián)查詢與分析,給出統(tǒng)計與分析結(jié)果。
(5)時效分析數(shù)據(jù)庫。存放分類標準化后的數(shù)據(jù)信息,包括各業(yè)務環(huán)節(jié)的數(shù)據(jù)生成狀態(tài)表、時效分析結(jié)果表等,具有數(shù)據(jù)分區(qū)存放、聯(lián)合索引查詢等數(shù)據(jù)庫查詢調(diào)優(yōu)策略。
2 數(shù)據(jù)生成時效結(jié)果分析
系統(tǒng)以軌、日、月、年為不同時間粒度進行數(shù)據(jù)生成時效分析,以月、年為時間粒度進行分析需要在數(shù)據(jù)庫中進行完整的數(shù)據(jù)積累。本文以軌、日為時間分析粒度,對具有典型時效性要求、以5分鐘段為單位的中分辨率光譜成像儀(Medium Resolution Spectral Imager, MERSI)數(shù)據(jù)和以軌道(FY-3極軌衛(wèi)星[4]軌道周期約為102分鐘)為單位的微波濕度計(MicroWave Humidity Sounder, MWHS)數(shù)據(jù)進行舉例分析。
由于MWHS以軌道為文件處理單元,因此全天的數(shù)據(jù)星地時延均較大(2小時以上),匯集時延在01∶18至06∶23時段增大的原因是這些數(shù)據(jù)在傳輸時出現(xiàn)較長延遲,產(chǎn)生了處理時延放大效應。
從系統(tǒng)分析可知,分塊粒度較小的數(shù)據(jù)生成時延要遠
小于分塊粒度較大的數(shù)據(jù),這是由于分塊粒度較大的數(shù)據(jù)需要進行多軌拼接合成,其處理過程中的時間開銷相對較大。
3 結(jié)語
本文梳理了風云三號氣象衛(wèi)星及其地面應用系統(tǒng)的數(shù)據(jù)生成與處理流程,根據(jù)不同業(yè)務環(huán)節(jié)的數(shù)據(jù)處理特點建立了數(shù)據(jù)生成時效評估模型,并在此基礎上設計了數(shù)據(jù)生成時效性分析系統(tǒng)。最后以典型的具有生成時效要求的兩類儀器數(shù)據(jù)進行舉例分析,結(jié)果表明,星地時延是業(yè)務流程中的主要瓶頸之一。FY-3數(shù)據(jù)不同儀器的數(shù)據(jù)生成時延與分塊處理的粒度大小有關。本系統(tǒng)可為地面數(shù)據(jù)接收站點布局規(guī)劃和業(yè)務系統(tǒng)設計提供有價值的參考,同時其積累的數(shù)據(jù)生成時效信息可為具有高時效應用需求的產(chǎn)品發(fā)布周期提供量化依據(jù)。
參考文獻:
[1] 楊軍,董超華,等.新一代風云極軌氣象衛(wèi)星業(yè)務產(chǎn)品及應用[M].北京:科學出版社,2011:253267.
[2] 謝利子,趙現(xiàn)綱,郭強,等.風云系列氣象衛(wèi)星關鍵業(yè)務監(jiān)控報警系統(tǒng)的設計與實現(xiàn)[J].計算機應用, 2012, 32(S2):192-195,225.
[3] 梁順林.定量遙感[M].北京:科學出版社,2014:90149.
[4] 章仁為.衛(wèi)星軌道姿態(tài)動力學與控制[M].北京:北京航空航天大學出版社,1998:2228.
[5] 陳國良,安虹,等.并行算法實踐[M].北京:高等教育出版社,2004:155243.
(責任編輯:孫 娟)