大數(shù)據(jù)平臺在航天領域中的應用

萊諾斯科技（北京）有限公司 張 力

一、引言

通過近年來國家持續(xù)投入，航天人的不斷努力，中國航天事業(yè)取得了長足進步。而在新的時代，航天也面臨著一些新的轉(zhuǎn)變，首先是由科研向應用轉(zhuǎn)變，其次，由單產(chǎn)向批量轉(zhuǎn)變。這些轉(zhuǎn)變意味著航天任務將附加更多的職能，產(chǎn)品研制的壓力持續(xù)增加，如何通過信息科技手段來解決這些問題，也成為航天界迫切需要解決的課題。而如何管好、利用好航天器的工程數(shù)據(jù)，則是這些問題中的重中之重。萊諾斯科技公司依托多年的航天行業(yè)經(jīng)驗，自主研發(fā)了大數(shù)據(jù)平臺，并成功地應用于航天領域，為中國航天事業(yè)的高速發(fā)展提供助力。

二、航天領域中的數(shù)據(jù)管理問題

現(xiàn)在航天設備的研制一方面面臨著批量化的挑戰(zhàn)，另一方面，面臨著企業(yè)化運營的壓力，這意味著航天企業(yè)需要花更少的時間，更少的資源去完成更多的航天器的研制任務，為了達到這個目標，航天企業(yè)面臨著管理精細化及生產(chǎn)現(xiàn)代化的變革。同樣，現(xiàn)在的航天設備由原有的試驗性質(zhì)向商用轉(zhuǎn)變，其搭載的有效載荷應用也越來越多，功能越來越強，這些都意味著海量的數(shù)據(jù)將在企業(yè)日常生產(chǎn)與運營過程中產(chǎn)生和應用，這些使航天企業(yè)對海量數(shù)據(jù)管理提出了需求：

1. 海量數(shù)據(jù)集中存取

隨著航天企業(yè)的管理越來越精細，對質(zhì)量控制越來越嚴格，對外協(xié)作越來越密切，使得航天企業(yè)內(nèi)部系統(tǒng)自身產(chǎn)生的信息如：文檔、報表、圖像、測試數(shù)據(jù)、在軌數(shù)據(jù)等增長的越來越快。據(jù)統(tǒng)計，一個單機產(chǎn)品結束時，往往能產(chǎn)生上GB（109）的文檔及上TB（1012）的測試數(shù)據(jù)。而在軌數(shù)據(jù)將隨著航天設備的運行更為龐大，這些數(shù)據(jù)日常就分散在各個研發(fā)人員和技術負責人電腦的硬盤里。一方面，平時查找非常不方便，設計人員大量的時間浪費在資料收集上；另一方面，一旦相關人員出現(xiàn)變動或設備出現(xiàn)故障，這些數(shù)據(jù)就會丟失，給企業(yè)帶來損失。因此，如何能把這些數(shù)據(jù)集中存儲、統(tǒng)一管理起來，一直是航天企業(yè)數(shù)據(jù)管理迫切需要解決的問題。

2. 高性能并行計算

很久以前，航天系統(tǒng)就有過建設仿真、比對分析、故障診斷及專家系統(tǒng)的想法，也嘗試過建設過一些類似的系統(tǒng)，但這些信息系統(tǒng)的應用一直沒有大規(guī)模推廣，且應用并不是很理想。從技術上講，大部分瓶頸在于這些系統(tǒng)沒有足夠的計算能力，處理海量數(shù)據(jù)困難，因此，要把這些龐大的工程數(shù)據(jù)利用起來，為分析仿真系統(tǒng)提供高性能并行計算是必要的基礎能力。

3. 便捷歷史數(shù)據(jù)追溯查詢

航天設備在研制過程中，產(chǎn)生的工程數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)類型復雜多樣及關聯(lián)性強的特點，如何在這些數(shù)據(jù)之間建立連接，為用戶提供一個便捷的數(shù)據(jù)瀏覽界面是航天數(shù)據(jù)管理成敗的關鍵。利用對全部歷史數(shù)據(jù)的自由追溯查詢能力，質(zhì)量過程控制的力度可大幅度提升，同型號自初樣起各單件數(shù)據(jù)、不同型號不同階段間所有數(shù)據(jù)內(nèi)容均可橫縱比對，成為追溯數(shù)據(jù)以提升型號質(zhì)量的利器。

4. 高效統(tǒng)一的數(shù)據(jù)分析

在當前情況下，一方面，由于計算能力不足，很難對大數(shù)據(jù)量及復雜的算法進行處理分析，另一方面，各設計師每一次分析過程都是一次思考的過程，而這個思考過程沒有任何記錄，一旦下一名設計師遇到同樣的問題，還需要從頭進行嘗試，極大地浪費了設計師的精力，因此，迫切需要建設一個高效統(tǒng)一的數(shù)據(jù)分析平臺，以提升企業(yè)的知識積累，加速企業(yè)的知識傳播。

5. 安全的數(shù)據(jù)架構

航天設備的數(shù)據(jù)非常重要，如何讓這些數(shù)據(jù)安全也是航天數(shù)據(jù)管理的一個難題，一方面，大量數(shù)據(jù)如何安全的存儲，如何實現(xiàn)遠程的備份與容災，以保證其物理安全，另一方面，如何控制數(shù)據(jù)的密級，防止數(shù)據(jù)泄密，以保證數(shù)據(jù)傳播安全，是工程數(shù)據(jù)管理的難題之一。

三、航天進入大數(shù)據(jù)時代

1. 大數(shù)據(jù)平臺的解決方案

從技術架構上來看，萊諾斯科技的大數(shù)據(jù)平臺由三大部分組成，即一個綜合，兩個基礎。兩個基礎是數(shù)據(jù)存儲中心和并行計算平臺，一個綜合是工程數(shù)據(jù)管理平臺。數(shù)據(jù)存儲中心主要解決海量數(shù)據(jù)的存儲的問題；并行計算主要解決大數(shù)據(jù)量的復雜計算問題；工程數(shù)據(jù)管理平臺主要解決數(shù)據(jù)的轉(zhuǎn)移、瀏覽、查詢、分析等數(shù)據(jù)管理及可視化的問題。如圖1所示，數(shù)據(jù)存儲中心與并行計算平臺是工程數(shù)據(jù)管理平臺的基礎，只有具備這兩個基礎能力，工程數(shù)據(jù)管理平臺才能為客戶提供多樣的數(shù)據(jù)管理方式，提供高性能的分析手段。

圖1 大數(shù)據(jù)平臺架構圖

整個平臺由數(shù)據(jù)存儲設備及功能性設備組成，功能設備主要完成數(shù)據(jù)管理的相關職能如監(jiān)控設備、查詢設備及分析設備，存儲設備用于線性擴展系統(tǒng)的存儲容量，見圖2。

圖2 大數(shù)據(jù)平臺功能設備

2. 航天工程大數(shù)據(jù)平臺的數(shù)據(jù)管理

（1）基礎能力

對于傳統(tǒng)的存儲技術，SAN（SAN網(wǎng)絡存儲是一種高速網(wǎng)絡或子網(wǎng)絡，SAN存儲系統(tǒng)提供在計算機與存儲系統(tǒng)之間的數(shù)據(jù)傳輸。）架構因擴展性有限、跨平臺數(shù)據(jù)共享困難、管理復雜等問題，不能很好的滿足非結構化數(shù)據(jù)的存儲需求。傳統(tǒng)NAS（NAS是一種采用直接與網(wǎng)絡介質(zhì)相連的特殊設備實現(xiàn)數(shù)據(jù)存儲的機制。）架構和設備由于協(xié)議開銷大、帶寬小、延遲高、可擴展性差等原因，不利于海量數(shù)據(jù)的并發(fā)訪問。因此，萊諾斯科技的大數(shù)據(jù)平臺采用并行數(shù)據(jù)存儲系統(tǒng)，這些并行存儲系統(tǒng)具有高性能、高擴展性，高可用性等特點，使得建立一個集中統(tǒng)一存儲的數(shù)據(jù)中心具備可能。

（2）實時數(shù)據(jù)查詢、分析、診斷

對于傳統(tǒng)的航天設備地面試驗，一般情況，每一個測試終端均是一臺單獨的計算機，對實時數(shù)據(jù)進行顯示與分析，這樣，由于內(nèi)存及CPU的限制，能處理的數(shù)據(jù)量相當有限，遠遠不能滿足設計人員的需要；而且實時數(shù)據(jù)查詢也會被限制在一個很短的時間范圍內(nèi)，要做大數(shù)據(jù)量的查詢、分析診斷的話，終端機器與服務器的資源會明顯不足。萊諾斯科技的大數(shù)據(jù)平臺提供并行計算平臺，能高效地對大數(shù)據(jù)量的試驗數(shù)據(jù)進行處理。同時，每一次的分析過程也可以統(tǒng)一存儲在數(shù)據(jù)平臺中。

（3）歷史數(shù)據(jù)的追溯

萊諾斯科技的大數(shù)據(jù)平臺是一個統(tǒng)一的數(shù)據(jù)中心，通過型號、設備、任務等將研制過程當中的工程數(shù)據(jù)組織到了一起。用戶可以對歷史任務的工程數(shù)據(jù)進行查詢?yōu)g覽回放，甚至，對于歷史的分析過程都可以進行回放，以避免不同設計人員針對相同問題進行重復分析，節(jié)約系統(tǒng)資源與設計人員的精力。

（4）故障診斷、系統(tǒng)仿真與健康預測

航天器的故障診斷、系統(tǒng)仿真與健康預測是一個復雜的過程，牽涉到大量的試驗數(shù)據(jù)、在軌數(shù)據(jù)與復雜的計算模型，通過萊諾斯科技的大數(shù)據(jù)平臺，為實現(xiàn)這些工作提供了基礎能力。

四、航天領域中的應用

大數(shù)據(jù)平臺的主要任務是將航天器在空間和地面的測試數(shù)據(jù)進行統(tǒng)一管理，同時也可將航天器的在軌數(shù)據(jù)進行集中管理和監(jiān)控。數(shù)據(jù)中心由數(shù)據(jù)中心機房及監(jiān)控室構成：機房安裝存儲服務器、數(shù)據(jù)分析服務器、配套網(wǎng)絡路由交換設備、空調(diào)防火防靜電環(huán)境；監(jiān)控室提供監(jiān)控工作站及投影大屏。數(shù)據(jù)中心機房配備50TB的初始容量的存儲服務機柜、配套的數(shù)據(jù)服務器，并預留足夠未來擴充數(shù)據(jù)管理能力的機柜空間。數(shù)據(jù)中心的基礎環(huán)境構成見圖3。

圖3 數(shù)據(jù)中心的基礎環(huán)境構成圖

圖4 大數(shù)據(jù)平臺

所有航天器的測試數(shù)據(jù)將統(tǒng)一存儲在大數(shù)據(jù)平臺中，通過數(shù)據(jù)查詢設備與統(tǒng)計分析設備對數(shù)據(jù)進行查詢統(tǒng)計。用戶通過客戶端，可以選擇任意航天設備，任意任務，對數(shù)據(jù)進行展示，同時也可以選擇多個設備的多個任務的數(shù)據(jù)進行比對分析，見圖4、圖5。

圖5 數(shù)據(jù)展示

除了對數(shù)據(jù)進行分析，也可以對任務的過程信息進行統(tǒng)計，如圖6就是一個各階段任務分布的統(tǒng)計。

圖6 任務分布統(tǒng)計圖

五、結束語

航天行業(yè)是一個技術密集型企業(yè)，在生產(chǎn)過程當中形成了大量的過程數(shù)據(jù)，這些數(shù)據(jù)的規(guī)模是海量的，以前很難處理，現(xiàn)在借助大數(shù)據(jù)的存儲、分析、挖掘及并行計算技術，我們完全可以做到很多前人無法做到的事情。

萊諾斯科技（北京）有限公司是一家從事分布式工業(yè)自動化測試和智能監(jiān)控技術研發(fā)與應用、依托中國航空航天事業(yè)迅速發(fā)展起來的高新技術企業(yè)。公司在西安建有自己的研發(fā)中心，研發(fā)的分布式自動化測試和智能監(jiān)控系統(tǒng)已涵蓋了衛(wèi)星、船舶、軍工、大學、科研院所等各種測試領域。