航天控制系統(tǒng)中國(guó)產(chǎn)化海量數(shù)據(jù)處理優(yōu)化技術(shù)

劉孟語(yǔ) 張 潔 上官子糧 趙玉梅 楊 喆

北京航天自動(dòng)控制研究所，北京100854

?

航天控制系統(tǒng)中國(guó)產(chǎn)化海量數(shù)據(jù)處理優(yōu)化技術(shù)

劉孟語(yǔ) 張 潔 上官子糧 趙玉梅 楊 喆

北京航天自動(dòng)控制研究所，北京100854

信息化的發(fā)展使得航天武器裝備在控制系統(tǒng)試驗(yàn)和使用中產(chǎn)生了海量數(shù)據(jù)。針對(duì)國(guó)外設(shè)備安全性無法保障和國(guó)產(chǎn)化軟硬件平臺(tái)性能不足的問題，本文提出一種基于國(guó)產(chǎn)化平臺(tái)的海量數(shù)據(jù)處理優(yōu)化技術(shù)，確保數(shù)據(jù)處理系統(tǒng)可以安全、快速地處理控制系統(tǒng)的試驗(yàn)數(shù)據(jù)。首先，采用多處理技術(shù)和分布式并行計(jì)算2種方式，提升系統(tǒng)數(shù)據(jù)計(jì)算能力。隨后，采用最小單元UNIT模式對(duì)數(shù)據(jù)進(jìn)行分級(jí)抽樣等預(yù)處理，減小數(shù)據(jù)入庫(kù)、出庫(kù)的壓力。數(shù)據(jù)查詢實(shí)驗(yàn)結(jié)果表明，系統(tǒng)的數(shù)據(jù)查詢速率有了大幅提升，且實(shí)現(xiàn)了任意試驗(yàn)時(shí)間段數(shù)據(jù)的秒級(jí)加載。

海量數(shù)據(jù)；國(guó)產(chǎn)化數(shù)據(jù)處理系統(tǒng)；多處理技術(shù)；分布式并行處理；最小單元；分級(jí)抽樣

隨著信息技術(shù)的發(fā)展和普及，新一代航天武器裝備試驗(yàn)數(shù)據(jù)規(guī)模顯著增加，數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)[1]，對(duì)于航天武器裝備而言，控制系統(tǒng)的數(shù)據(jù)處理需求尤為突出?？刂葡到y(tǒng)不僅面臨試驗(yàn)數(shù)據(jù)量增加的難題，同時(shí)對(duì)試驗(yàn)數(shù)據(jù)處理的時(shí)效性和準(zhǔn)確性提出了更高的要求。為了應(yīng)對(duì)海量數(shù)據(jù)帶來的挑戰(zhàn)，目前的武器研制試驗(yàn)通常采用云平臺(tái)或數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)處理。但是云平臺(tái)基于web應(yīng)用具有潛在的安全風(fēng)險(xiǎn)，在少數(shù)情況下會(huì)產(chǎn)生數(shù)據(jù)丟失，這對(duì)于航天武器裝備的研制是致命的缺點(diǎn)。國(guó)外的數(shù)據(jù)庫(kù)雖然性能穩(wěn)定，處理速度快，但是由于國(guó)外數(shù)據(jù)庫(kù)及服務(wù)器等基礎(chǔ)設(shè)備和軟件存在各種漏洞和后門，嚴(yán)重影響航天武器裝備的安全服役，所以亟需針對(duì)航天武器裝備研制產(chǎn)生的試驗(yàn)數(shù)據(jù)的特點(diǎn)，研究基于國(guó)產(chǎn)化軟硬件平臺(tái)的航天武器裝備海量數(shù)據(jù)處理技術(shù)[2]。

經(jīng)過國(guó)家“核高基”重大專項(xiàng)的大力發(fā)展，目前我國(guó)在處理器、操作系統(tǒng)及數(shù)據(jù)庫(kù)等領(lǐng)域都擁有自己的核心技術(shù)，并形成了產(chǎn)品。通過以往的對(duì)比實(shí)驗(yàn)可以得知，國(guó)產(chǎn)化平臺(tái)在數(shù)據(jù)入庫(kù)測(cè)試中用時(shí)為國(guó)外平臺(tái)7倍以上，在提取數(shù)據(jù)測(cè)試中用時(shí)為國(guó)外平臺(tái)5倍以上。本課題研究的數(shù)據(jù)處理系統(tǒng)由龍芯3A/B多核處理器、中標(biāo)麒麟操作系統(tǒng)和達(dá)夢(mèng)數(shù)據(jù)庫(kù)等軟硬件平臺(tái)構(gòu)成。由于國(guó)產(chǎn)化產(chǎn)品的性能不足，面對(duì)航天武器日益增長(zhǎng)的數(shù)據(jù)壓力，導(dǎo)致了整個(gè)系統(tǒng)在海量試驗(yàn)數(shù)據(jù)的存儲(chǔ)和查詢速度上，都難以滿足控制系統(tǒng)的性能要求。

武器型號(hào)控制系統(tǒng)產(chǎn)生的試驗(yàn)數(shù)據(jù)為非關(guān)系型數(shù)據(jù)，需要對(duì)數(shù)據(jù)進(jìn)行快速存儲(chǔ)，實(shí)時(shí)回放，且需要對(duì)不同時(shí)間的數(shù)據(jù)趨勢(shì)和范圍進(jìn)行研判和分析，其中包括幾年試驗(yàn)數(shù)據(jù)的快速回放[3]。針對(duì)這個(gè)特點(diǎn)，本文通過開展基于國(guó)產(chǎn)化平臺(tái)的數(shù)據(jù)處理優(yōu)化技術(shù)研究，構(gòu)建了一套完整、穩(wěn)定和可靠的自主可控?cái)?shù)據(jù)處理系統(tǒng)[4]，實(shí)現(xiàn)海量試驗(yàn)數(shù)據(jù)的快速存儲(chǔ)和實(shí)時(shí)查詢，有效提升了航天武器控制系統(tǒng)研制的試驗(yàn)數(shù)據(jù)處理性能。

表1 國(guó)產(chǎn)化平臺(tái)與國(guó)外產(chǎn)品性能對(duì)比表

1 系統(tǒng)計(jì)算模式

數(shù)據(jù)計(jì)算能力是海量數(shù)據(jù)處理過程中的核心能力。本文采用多處理技術(shù)和并行計(jì)算2種方式來提升數(shù)據(jù)計(jì)算能力。

1.1 多處理技術(shù)

衡量一個(gè)具有N個(gè)處理器的計(jì)算節(jié)點(diǎn)的性能指標(biāo)可用式(1)表示。

(1)

式中，IPS(Instruction Per Second)為該計(jì)算節(jié)點(diǎn)每秒可處理的指令數(shù)，即此計(jì)算節(jié)點(diǎn)的性能。MF(Main Frequency)為處理器的主頻，IPC(Instruction Per Clock)為每個(gè)時(shí)鐘周期內(nèi)可執(zhí)行的指令數(shù)，F(xiàn)為計(jì)算工作中不可被并行化的部分所占比例，N為處理器數(shù)量[5]。

圖1 SMP架構(gòu)

在其他參數(shù)確定的情況下，N值越大，計(jì)算節(jié)點(diǎn)的處理能力IPS值越大。為了提高系統(tǒng)的計(jì)算能力，采用SMP架構(gòu)的多處理器服務(wù)器。圖1為SMP架構(gòu)圖。

由于國(guó)產(chǎn)化平臺(tái)的單機(jī)性能過低，為了提升系統(tǒng)的數(shù)據(jù)處理能力，只能通過增大式(1)中處理器的數(shù)量N來實(shí)現(xiàn)。因此，采用刀片服務(wù)器的模式設(shè)計(jì)服務(wù)器系統(tǒng)[6]。圖2即為本系統(tǒng)所使用的刀片式服務(wù)器的架構(gòu)圖。

圖2 刀片式服務(wù)器架構(gòu)圖

1.2 基于分布式并行處理

數(shù)據(jù)解析和數(shù)據(jù)分發(fā)可以提升計(jì)算任務(wù)的并行度，即可以降低公式(1)中的參數(shù)F，從而提高系統(tǒng)的并行比例。采用區(qū)域分解方法(Domain Decomposition)，基于數(shù)據(jù)類型和數(shù)據(jù)量的大小，將所需要處理的數(shù)據(jù)分解為數(shù)據(jù)量相近的最小UNIT單元，然后將與這些子數(shù)據(jù)集相關(guān)的計(jì)算過程進(jìn)行劃分，最終得到分級(jí)抽樣、數(shù)據(jù)壓縮和批量導(dǎo)入3個(gè)子任務(wù)。

圖3 并行處理示意圖

1.2.1 數(shù)據(jù)解析

針對(duì)數(shù)據(jù)的特點(diǎn)，進(jìn)行消息的解析。數(shù)據(jù)解析軟件采用數(shù)據(jù)模板的方式，將數(shù)據(jù)的結(jié)構(gòu)定義在腳本中(XML)，實(shí)現(xiàn)加載不同的腳本模板，解析不同的消息，并在數(shù)據(jù)庫(kù)中建立不同的數(shù)據(jù)庫(kù)表項(xiàng)的功能。

當(dāng)同一類型的試驗(yàn)數(shù)據(jù)被分發(fā)到不同的處理器中進(jìn)行并行處理時(shí)，可能會(huì)因?yàn)椴煌幚砥鞯奶幚頃r(shí)間不同，導(dǎo)致該類型的試驗(yàn)數(shù)據(jù)不按時(shí)間的先后順序存儲(chǔ)，造成試驗(yàn)數(shù)據(jù)的混亂。

圖4 某類型試驗(yàn)數(shù)據(jù)的并行處理示意圖

如圖4所示，a1～an,an+1～a2n和a2n+1～a3n為在先后不同時(shí)間導(dǎo)入系統(tǒng)中的同一試驗(yàn)類型的數(shù)據(jù)。若將它們并行地進(jìn)行數(shù)據(jù)預(yù)處理，當(dāng)3塊處理器進(jìn)行數(shù)據(jù)預(yù)處理的時(shí)間t3

為了避免數(shù)據(jù)排列混亂，根據(jù)試驗(yàn)類型，將試驗(yàn)數(shù)據(jù)表加上相應(yīng)的表頭“TB_xxxx”。后期將同一表頭的試驗(yàn)數(shù)據(jù)包按照接收的時(shí)間先后順序，分發(fā)到同一個(gè)處理單元中進(jìn)行數(shù)據(jù)預(yù)處理，從而保障了預(yù)處理后的試驗(yàn)數(shù)據(jù)排序的有序性。

1.2.2 數(shù)據(jù)靜態(tài)負(fù)載均衡

基于長(zhǎng)期試驗(yàn)數(shù)據(jù)流量的監(jiān)測(cè)統(tǒng)計(jì)，將數(shù)據(jù)包根據(jù)概率算法均分到Data_1-Data_N的N個(gè)組，從而構(gòu)造數(shù)據(jù)靜態(tài)負(fù)載均衡調(diào)度表，如圖5所示[7-8]。

圖5 數(shù)據(jù)靜態(tài)負(fù)載均衡調(diào)度表

采用如圖6的LVS結(jié)構(gòu)搭建負(fù)載均衡集群，試驗(yàn)數(shù)據(jù)包先到達(dá)集群系統(tǒng)的負(fù)載均衡器。在負(fù)載均衡器上根據(jù)靜態(tài)負(fù)載均衡調(diào)度表進(jìn)行請(qǐng)求任務(wù)的調(diào)度分配，進(jìn)一步將請(qǐng)求任務(wù)分配到具體的后端服務(wù)器上進(jìn)行處理[9]。

圖5 LVS集群三層結(jié)構(gòu)

2 最小計(jì)算單元UNIT模式

通過多處理技術(shù)和并行計(jì)算這2種方式提升數(shù)據(jù)計(jì)算能力之后，進(jìn)一步采用最小單元UNIT模式對(duì)海量數(shù)據(jù)做出一系列的預(yù)處理，以提高后期的數(shù)據(jù)查詢速度，在一定程度上降低了數(shù)據(jù)的存儲(chǔ)壓力。

2.1 數(shù)據(jù)抽樣

2.1.1 分級(jí)抽樣

2.1.1.1 分級(jí)抽樣算法原理

為進(jìn)一步提高用戶對(duì)狀態(tài)量數(shù)據(jù)的查詢效率，針對(duì)導(dǎo)彈武器研制與使用時(shí)產(chǎn)生數(shù)據(jù)的特征，采用一種新的數(shù)據(jù)分級(jí)抽樣算法對(duì)數(shù)據(jù)進(jìn)行打稀、抽樣。

圖6 分級(jí)抽樣算法流程圖

通過數(shù)據(jù)分級(jí)抽樣軟件，在達(dá)夢(mèng)數(shù)據(jù)庫(kù)為試驗(yàn)數(shù)據(jù)建立10級(jí)的表項(xiàng)，表項(xiàng)編號(hào)從0～9。其中，0為原始數(shù)據(jù)，9級(jí)為最大抽樣級(jí)別。如圖7所示，將數(shù)據(jù)以z為間隔進(jìn)行抽樣，抽取z個(gè)數(shù)中的最大值和最小值，組成下一級(jí)的數(shù)據(jù)文件。再對(duì)下一級(jí)的數(shù)據(jù)做同樣的處理。以此類推，對(duì)數(shù)據(jù)做出9級(jí)抽樣，每一級(jí)的數(shù)據(jù)存放在相應(yīng)級(jí)別的文件夾里[10]。

2.1.1.2 數(shù)據(jù)存儲(chǔ)形式

武器研制試驗(yàn)時(shí)，CPCI計(jì)算機(jī)每個(gè)時(shí)間周期向數(shù)據(jù)處理系統(tǒng)發(fā)送一次該周期內(nèi)的試驗(yàn)數(shù)據(jù)。為了方便數(shù)據(jù)查詢，數(shù)據(jù)庫(kù)采用列存儲(chǔ)的模式進(jìn)行數(shù)據(jù)存儲(chǔ)，而列存儲(chǔ)中的數(shù)據(jù)索引是唯一的。為了便于列存儲(chǔ)數(shù)據(jù)的管理與查詢，參照hashmap中鍵值對(duì)(key-value)的存儲(chǔ)數(shù)據(jù)形式，創(chuàng)建了一種Map>的數(shù)據(jù)存儲(chǔ)形式，以Map<時(shí)間，Map<字段序號(hào)，數(shù)值>>的存儲(chǔ)格式來存儲(chǔ)數(shù)據(jù)，其中時(shí)間為唯一索引[11]。

數(shù)據(jù)抽樣時(shí)，對(duì)z個(gè)不同時(shí)間(Datetime)下相同字段序號(hào)對(duì)應(yīng)的數(shù)值進(jìn)行比較，選取最大值和最小值。若某一時(shí)間點(diǎn)的某個(gè)字段序號(hào)對(duì)應(yīng)的數(shù)值是最值，則數(shù)值將被保留，作為下一級(jí)的數(shù)據(jù)；若某一時(shí)間點(diǎn)的某個(gè)字段序號(hào)對(duì)應(yīng)的數(shù)值不是最值，則將該數(shù)值以空格代替，以便該級(jí)別的數(shù)據(jù)抽樣后，每個(gè)時(shí)間節(jié)點(diǎn)對(duì)應(yīng)的數(shù)值個(gè)數(shù)相同，方便下一次抽樣時(shí)進(jìn)行數(shù)值的大小比較。抽樣結(jié)束后，仍以Map<時(shí)間，Map<字段序號(hào)，數(shù)值>>的存儲(chǔ)格式進(jìn)行數(shù)據(jù)存儲(chǔ)，以便進(jìn)行下一級(jí)別的數(shù)據(jù)抽樣。

圖7 數(shù)據(jù)分級(jí)抽樣原理圖

2.1.2 分級(jí)數(shù)據(jù)查詢算法

如圖8所示，一段時(shí)間t內(nèi)的原始數(shù)據(jù)個(gè)數(shù)為z9n個(gè)，每次抽樣，在抽樣間隔z內(nèi)抽取一個(gè)最大值和一個(gè)最小值，組成下一級(jí)的數(shù)據(jù)文件，則下一級(jí)的數(shù)據(jù)量減少為上一級(jí)數(shù)據(jù)量的1/2z。由此，在不同級(jí)別數(shù)據(jù)文件下查詢同一試驗(yàn)時(shí)間段內(nèi)的試驗(yàn)數(shù)據(jù)所用的查詢時(shí)間：t0>…>t7>t8>t9。數(shù)據(jù)查詢軟件根據(jù)查詢的試驗(yàn)時(shí)間段T內(nèi)的數(shù)據(jù)量與界面最佳顯示點(diǎn)數(shù)，選擇合適的查詢加載級(jí)別的文件。當(dāng)查詢的試驗(yàn)時(shí)間段內(nèi)原始級(jí)別數(shù)據(jù)文件中的數(shù)據(jù)量遠(yuǎn)大于界面最佳顯示的數(shù)據(jù)量時(shí)，則會(huì)升級(jí)去查詢更高級(jí)別的數(shù)據(jù)文件，以減少查詢的數(shù)據(jù)量，加快查詢速度。

圖8 分級(jí)抽樣后數(shù)據(jù)文件示意圖

初始加載曲線圖時(shí)，若查詢的試驗(yàn)時(shí)間段t內(nèi)的數(shù)據(jù)個(gè)數(shù)(t/T)約為試驗(yàn)數(shù)據(jù)曲線圖的界面最佳現(xiàn)實(shí)顯示點(diǎn)個(gè)數(shù)(m)，則選擇原始數(shù)據(jù)作為繪制曲線圖的數(shù)據(jù)進(jìn)行加載。

為了使查詢的試驗(yàn)時(shí)間段t內(nèi)的數(shù)據(jù)個(gè)數(shù)約為曲線圖界面最佳顯示點(diǎn)個(gè)數(shù)，曲線圖初始加載時(shí)，根據(jù)公式：

計(jì)算出需要加載的文件級(jí)別。

當(dāng)對(duì)曲線圖進(jìn)行放大(查詢?cè)囼?yàn)時(shí)間段t縮小)時(shí)，則減小時(shí)間段內(nèi)的的數(shù)據(jù)個(gè)數(shù)a會(huì)小于最佳顯示點(diǎn)個(gè)數(shù)m，根據(jù)公式：

計(jì)算出需要改變的級(jí)別數(shù)，再根據(jù)公式：

x′=x+Δx

跳轉(zhuǎn)到x′級(jí)別的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)的查詢與加載。

當(dāng)對(duì)曲線圖進(jìn)行縮小(查詢?cè)囼?yàn)時(shí)間段t增大)時(shí)，增大的試驗(yàn)時(shí)間段內(nèi)的數(shù)據(jù)個(gè)數(shù)a會(huì)大于最佳顯示數(shù)據(jù)個(gè)數(shù)m，根據(jù)公式：

計(jì)算出需要改變的級(jí)別數(shù)，再根據(jù)公式：

x′=x+Δx

跳轉(zhuǎn)到x′級(jí)別的數(shù)據(jù)文件進(jìn)行數(shù)據(jù)的查詢與加載。

圖9 數(shù)據(jù)查詢算法流程圖

2.2 數(shù)值壓縮法

為了減少數(shù)據(jù)庫(kù)的壓力，提高存儲(chǔ)的效率，對(duì)于數(shù)據(jù)分析要求不高的數(shù)值量數(shù)據(jù)用“數(shù)值壓縮法”進(jìn)行數(shù)據(jù)壓縮。接收到索引屬性為數(shù)值量的數(shù)據(jù)時(shí)，以“數(shù)值+次數(shù)”的方式存儲(chǔ)變化較大的數(shù)據(jù)，如果數(shù)據(jù)不發(fā)生變化，只存一個(gè)數(shù)據(jù)，或者某些數(shù)據(jù)在合理的范圍內(nèi)變化，就記錄該數(shù)據(jù)的理論值。

2.3 數(shù)據(jù)入庫(kù)

2.3.1 列存儲(chǔ)

考慮到試驗(yàn)數(shù)據(jù)為非關(guān)系型的數(shù)據(jù)，后期只需要對(duì)數(shù)據(jù)的曲線圖相對(duì)于標(biāo)準(zhǔn)值的超差進(jìn)行監(jiān)測(cè)、判讀，所以試驗(yàn)數(shù)據(jù)采用了非關(guān)系型的列存儲(chǔ)的模式以方便數(shù)據(jù)的后期讀取。

為了保證非關(guān)系數(shù)據(jù)的完整性，在寫入過程中加入類似關(guān)系數(shù)據(jù)庫(kù)的“回滾”機(jī)制，當(dāng)某一列發(fā)生寫入失敗時(shí)，此前寫入的的數(shù)據(jù)完全失效。同時(shí)加入散列碼校驗(yàn)，進(jìn)一步保證數(shù)據(jù)的安全性。

2.3.2 批量導(dǎo)入

目前達(dá)夢(mèng)數(shù)據(jù)庫(kù)提供標(biāo)準(zhǔn)的入庫(kù)接口ODBC接口實(shí)現(xiàn)本地和遠(yuǎn)程數(shù)據(jù)庫(kù)的入庫(kù)操作，這種接口由于采用分條處理的方式，數(shù)據(jù)入庫(kù)效率過低。

為了提高數(shù)據(jù)入庫(kù)的效率，采用批量導(dǎo)入接口將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)。在大數(shù)據(jù)量和復(fù)雜數(shù)據(jù)環(huán)境下，批量導(dǎo)入軟件為系統(tǒng)設(shè)定合適的批量裝載時(shí)間，周期接收數(shù)據(jù)并將其解析，按照文本的方式存儲(chǔ)在磁盤中。數(shù)據(jù)庫(kù)入庫(kù)任務(wù)負(fù)責(zé)將磁盤上的文件批量地讀取導(dǎo)入到數(shù)據(jù)庫(kù)中，從而提升數(shù)據(jù)的入庫(kù)效率，有利于后續(xù)數(shù)據(jù)的接收和查詢。

3 實(shí)驗(yàn)驗(yàn)證

在對(duì)系統(tǒng)進(jìn)行一系列軟硬件的架構(gòu)和研制后，通過設(shè)計(jì)實(shí)驗(yàn)驗(yàn)證本系統(tǒng)數(shù)據(jù)查詢速度是否提升以及長(zhǎng)時(shí)間段內(nèi)數(shù)據(jù)是否實(shí)現(xiàn)秒級(jí)加載。

3.1 原始數(shù)據(jù)查詢

3.1.1 實(shí)驗(yàn)設(shè)計(jì)

以某型航天武器裝備的控制系統(tǒng)為數(shù)據(jù)處理實(shí)驗(yàn)對(duì)象，其在進(jìn)行研制試驗(yàn)時(shí)，平均每小時(shí)產(chǎn)生100MB左右數(shù)據(jù)，10h的試驗(yàn)將產(chǎn)生1GB的數(shù)據(jù)量。我們隨機(jī)抽取20d的歷史試驗(yàn)數(shù)據(jù)進(jìn)行查詢，根據(jù)每天進(jìn)行試驗(yàn)的時(shí)間和數(shù)據(jù)查詢耗費(fèi)的時(shí)間，得出在龍芯3A單路+DM7+中標(biāo)麒麟V6平臺(tái)下，平均查詢1GB數(shù)據(jù)所耗費(fèi)的時(shí)間。

3.1.2 實(shí)驗(yàn)結(jié)果

分別統(tǒng)計(jì)了2015年11月、12月和2016年1月的試驗(yàn)時(shí)間與數(shù)據(jù)查詢時(shí)間，實(shí)驗(yàn)結(jié)果整理如表2所示。

表2 原始數(shù)據(jù)查詢時(shí)間

由實(shí)驗(yàn)結(jié)果可以看出，在對(duì)國(guó)產(chǎn)化服務(wù)器進(jìn)行刀片式架構(gòu)和數(shù)據(jù)處理性能的軟件級(jí)優(yōu)化后，查詢1GB的試驗(yàn)數(shù)據(jù)只需要約32s的時(shí)間，相比于優(yōu)化前數(shù)據(jù)處理系統(tǒng)大約110s的查詢時(shí)間，國(guó)產(chǎn)化平臺(tái)下的數(shù)據(jù)處理系統(tǒng)的查詢性能得到很大提升。

3.2 分級(jí)抽樣后的數(shù)據(jù)查詢

3.2.1 實(shí)驗(yàn)設(shè)計(jì)

分別以3個(gè)月、1個(gè)月、1周、1d和1h為查詢時(shí)間段，加載試驗(yàn)數(shù)據(jù)的曲線圖，比較這5種查詢時(shí)間段下，試驗(yàn)數(shù)據(jù)曲線圖的加載時(shí)間。經(jīng)過驗(yàn)證，在分級(jí)抽樣預(yù)處理和查詢端軟件優(yōu)化后，系統(tǒng)對(duì)任意試驗(yàn)時(shí)間段數(shù)據(jù)實(shí)現(xiàn)了秒級(jí)加載。

3.2.2 實(shí)驗(yàn)結(jié)果

分別統(tǒng)計(jì)了2015年10月～2015年12月不同時(shí)間段的試驗(yàn)數(shù)據(jù)曲線圖的繪制時(shí)間，實(shí)驗(yàn)結(jié)果整理如表3所示。

表3 分級(jí)抽樣后數(shù)據(jù)查詢時(shí)間

由試驗(yàn)結(jié)果可以看出：實(shí)驗(yàn)數(shù)據(jù)曲線圖的加載時(shí)間并沒有隨著試驗(yàn)數(shù)據(jù)量的增大成正比例增長(zhǎng)，而是維持在0.5～2s之間。由此可以進(jìn)一步驗(yàn)證，通過數(shù)據(jù)預(yù)處理軟件與數(shù)據(jù)查詢軟件的應(yīng)用，系統(tǒng)實(shí)現(xiàn)了任意試驗(yàn)時(shí)間段試驗(yàn)數(shù)據(jù)曲線圖的秒級(jí)加載與繪制。

4 結(jié)論

闡述了發(fā)展航天武器裝備研制專用的自主可控國(guó)產(chǎn)化海量數(shù)據(jù)處理系統(tǒng)的必要性。針對(duì)國(guó)產(chǎn)化平臺(tái)性能不足的缺點(diǎn)，提出了一種數(shù)據(jù)處理優(yōu)化技術(shù)，給出了具體的實(shí)施方法和路徑。實(shí)驗(yàn)結(jié)果表明，本文的優(yōu)化方法可有效提升國(guó)產(chǎn)化數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)查詢速度，實(shí)現(xiàn)任意試驗(yàn)時(shí)間段數(shù)據(jù)曲線圖的秒級(jí)加載。此技術(shù)的應(yīng)用，實(shí)現(xiàn)了武器研制試驗(yàn)的信息化與數(shù)字化，為航天武器裝備控制系統(tǒng)提供了一套基于國(guó)產(chǎn)化平臺(tái)的高效數(shù)據(jù)處理解決方案。

后期將進(jìn)行基于數(shù)據(jù)流量負(fù)載均衡數(shù)據(jù)的分發(fā)策略，動(dòng)態(tài)根據(jù)每個(gè)處理器負(fù)載調(diào)整數(shù)據(jù)分發(fā)，以提高數(shù)據(jù)處理的適用性。

[1] Ashish Thusoo, Joydeep Sen Sarma, Namit Jain, et al. Hive-A petabyte Scale Data Warehouse Using Hadoop[C]. In Proceedings of the IEEE International Conference on Data Engineering, 2010.

[2] 蘇麗，張博為,等.大數(shù)據(jù)技術(shù)在航天領(lǐng)域發(fā)展與應(yīng)用[J].遙測(cè)遙控, 2015(2):1-8. (Su Li,Zhang Bowei，et al. Develoment and Application of Big Data Technology in Aerospace Field[J]. Journal of Telemetry, Tracking and Command, 2015(2):1-8.)

[3] 王曉強(qiáng). 突破國(guó)產(chǎn)自主可控存儲(chǔ)技術(shù), 走出網(wǎng)絡(luò)自信的現(xiàn)行之路[J]. 中國(guó)信息安全, 2014(7): 42-44.

[4] 吳洪成,金亮亮. 自主可控的數(shù)據(jù)存儲(chǔ)系統(tǒng)開發(fā)[J]. 信息化建設(shè), 2015(7): 61-64.

[5] 劉軍.大數(shù)據(jù)處理[M]. 北京:人民郵電出版社, 2013.

[6] 張勇.刀片服務(wù)器與機(jī)架式服務(wù)器的比較分析[J]. 中國(guó)教育信息化, 2009(9): 78-79.

[7] Konstantinou I, Tsoumakos D, Mytilinis I, et al. DBalancer: Distributed Load Balancing for NoSQL Datastores[C]. Proc. of Sigmod, 2013: 1-19.

[8] Md.Firoj Ali, Rafiqul Zaman Khan. The Study on Load Balancing Strategies in Distributed Computing System [J]. International Jouranl of Computer Science & Engineering Survey (JICSES), 2012, 3(2): 19-30.

[9] 王紅斌. Web服務(wù)器集群系統(tǒng)的自適應(yīng)負(fù)載均衡調(diào)度策略研究[D].吉林大學(xué)，2013.

[10] Ao Li, Yu Deshui, Shu Jiwu. A Tiered Storage System for Massive Data: TH2TS[J]. Journal of Computer Research and Development, 2011, 48(6): 1089-1100.

[11] Lan H Witten, Alistair Moffat, Timothy C. Bell. 管理海量數(shù)據(jù)[M]. 北京: 電子工業(yè)出版社，2014.

The Optimization Technique of Mass Data Processing Based on the Domestic Platform of Aerospace Control System

Liu Mengyu， Zhang Jie， Shangguan Ziliang, Zhao Yumei, Yang Zhe

Beijing Aerospace Automatic Control Institute, Beijing 100854, China

Withthedevelopmentofinformation,Massdataareproducedwhiletheaerospacecontrolsystemistestedandused.Accordingtotheinsecurityofforeignequipmentandthelowperformanceofdomesticserver,adataprocessingandoptimizationtechniquebasedondomesticserverisimplemented,whichensuresthesafetyandfleetnessofdomesticDPS (DataProcessingSystem)forcontrolsystem.Firstly,multi-processing,distributedandparallelcomputingtwotechniquesareimplementedtoupgradethedataprocessingcapacity.Then,inordertodecreasethepressureofdata-inputanddata-output,theminimumUNITmodeisappliedtopreprocessdata.Theresultofdataqueryexperimentsshowsthatthespeedofdataqueryisincreasedgreatlyandthedatainarbitrarytestperiodcanbeloadedinsecondlevel.

Massdata；DomesticDPS；Multi-processing；Distributedandparallelcomputing；MinimumUNIT;Tieredsampling

2016-08-25

劉孟語(yǔ)(1991-)，女，安徽人，碩士研究生，主要研究方向?yàn)樽灾骺煽乜刂葡到y(tǒng)；張 潔(1971-)，男，河南人，博士，研究員，主要研究方向?yàn)轱w行器導(dǎo)航、制導(dǎo)與控制；上官子糧(1986-)，男，山西運(yùn)城人，碩士，工程師，主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)；趙玉梅(1965-)，女，北京人，本科，高級(jí)工程師，主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)；楊 喆(1989-)，女，河南人，碩士，工程師，主要研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。

TP39

A

1006-3242(2016)06-0057-07