基于預(yù)留緩存的并發(fā)訪問(wèn)及多任務(wù)并行支撐技術(shù)研究

黨宏杰，秦留洋，韓惠婕

(1.北京跟蹤與通信技術(shù)研究所，北京 100094；2.北京航天測(cè)控技術(shù)有限公司，北京 100041)

0 引言

航天裝備體系的建設(shè)為各類型作戰(zhàn)應(yīng)用提供信息支援和支撐保障[1]。涵蓋多類、多型裝備的組成形式，決定了其體系的復(fù)雜性和任務(wù)的多元性。由于航天裝備對(duì)作戰(zhàn)保障具有全面性、全局性的特點(diǎn)，大量資源被投入用于航天系統(tǒng)的建設(shè)，導(dǎo)致太空中各類航天器呈爆發(fā)式增長(zhǎng)[2]。目前多元作戰(zhàn)力量、多維作戰(zhàn)任務(wù)、高實(shí)時(shí)性是航天裝備的突出特點(diǎn)[3]，大量的計(jì)算密集和時(shí)間敏感型應(yīng)用在通信資源和計(jì)算資源方面對(duì)航天裝備的通信基礎(chǔ)設(shè)施和數(shù)據(jù)計(jì)算服務(wù)等設(shè)施的建設(shè)和使用提出了更高的要求[4-7]。同時(shí)航天裝備體系本身也面臨著支持衛(wèi)星數(shù)目多、多衛(wèi)星同時(shí)過(guò)境、衛(wèi)星相繼過(guò)境間隔時(shí)間縮短、衛(wèi)星任務(wù)需求多、衛(wèi)星任務(wù)種類多、衛(wèi)星任務(wù)突發(fā)等難題[8]，單線程串行任務(wù)執(zhí)行模式難以滿足任務(wù)數(shù)量、形式、種類、要求等多維需求，嚴(yán)重影響衛(wèi)星應(yīng)急任務(wù)服務(wù)需求的應(yīng)急能力、應(yīng)變能力和處理能力。

目前，從任務(wù)調(diào)度層面進(jìn)行任務(wù)約束規(guī)劃開展的研究較多，有了一些成熟的算法模型。文獻(xiàn)[9]對(duì)任務(wù)調(diào)度問(wèn)題進(jìn)行了研究，在可視時(shí)間窗口內(nèi)考慮任務(wù)權(quán)重，建立了整數(shù)規(guī)劃模型。文獻(xiàn)[10]對(duì)任務(wù)調(diào)度問(wèn)題的約束規(guī)劃模型進(jìn)行研究，設(shè)置了問(wèn)題中特有的約束，最終建立了相應(yīng)的約束規(guī)劃模型。文獻(xiàn)[11]通過(guò)建立時(shí)間約束著色 Petri 網(wǎng)模型，建立了統(tǒng)一的設(shè)備庫(kù)所，按類型和服務(wù)要求對(duì)設(shè)備著色。但是對(duì)并發(fā)任務(wù)執(zhí)行的底層數(shù)據(jù)層面支撐研究較少，如何將任務(wù)流層面的合理規(guī)劃與數(shù)據(jù)流層面的并行計(jì)算進(jìn)行融合，從而實(shí)現(xiàn)真正的“并行處理”，成為航天裝備領(lǐng)域多任務(wù)控制研究的重點(diǎn)。

本文結(jié)合航天裝備體系在役考核綜合評(píng)估的任務(wù)執(zhí)行實(shí)際情況，設(shè)計(jì)實(shí)現(xiàn)了一種基于預(yù)留緩存的兼顧任務(wù)層面和數(shù)據(jù)層面的多任務(wù)并行執(zhí)行支撐方法，應(yīng)用數(shù)據(jù)的并行處理和線程并行緩存等方法，對(duì)任務(wù)分類、并行組織、數(shù)據(jù)讀寫、數(shù)據(jù)處理等過(guò)程進(jìn)行并行迭代，實(shí)現(xiàn)航天裝備在役考核綜合評(píng)估的多任務(wù)并發(fā)支撐。

通過(guò)自主研發(fā)的航天裝備在役考核綜合評(píng)估系統(tǒng)，采用基于預(yù)留緩存的數(shù)據(jù)處理方法，實(shí)現(xiàn)對(duì)多個(gè)評(píng)估任務(wù)、多層級(jí)評(píng)估任務(wù)的有效、靈活的并行控制和運(yùn)行，實(shí)現(xiàn)多任務(wù)并發(fā)訪問(wèn)及并行運(yùn)行支撐。

1 數(shù)據(jù)多線程并行處理技術(shù)

航天裝備在役考核綜合評(píng)估涉及復(fù)雜的多維數(shù)據(jù)，包括任務(wù)訓(xùn)練模擬數(shù)據(jù)、任務(wù)執(zhí)行過(guò)程數(shù)據(jù)、裝備在役環(huán)境數(shù)據(jù)、裝備實(shí)例主體數(shù)據(jù)、裝備作用對(duì)象數(shù)據(jù)、裝備使用維護(hù)數(shù)據(jù)等[12]，數(shù)據(jù)內(nèi)容涵蓋航天裝備研制、試驗(yàn)、生產(chǎn)、使用和任務(wù)執(zhí)行等多個(gè)周期和節(jié)點(diǎn)，數(shù)據(jù)種類包含航天裝備遙測(cè)數(shù)據(jù)、遙控?cái)?shù)據(jù)、測(cè)定軌數(shù)據(jù)、性能參數(shù)數(shù)據(jù)、地面仿真數(shù)據(jù)等多維數(shù)據(jù)。為了提高繁雜、龐大、多元數(shù)據(jù)的數(shù)據(jù)處理效率，設(shè)計(jì)并實(shí)現(xiàn)了基于多線程的數(shù)據(jù)并行處理技術(shù)，并在通用技術(shù)的基礎(chǔ)上適配應(yīng)用于航天裝備在役考核這一特殊領(lǐng)域。

數(shù)據(jù)處理過(guò)程被劃分為數(shù)據(jù)切分、數(shù)據(jù)讀取、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)和結(jié)果反饋等多個(gè)步驟。圖1為數(shù)據(jù)多線程并行處理技術(shù)的原理示意圖。

圖1 數(shù)據(jù)多線程并行處理技術(shù)的原理示意圖

1.1 數(shù)據(jù)切分

首先，對(duì)引接的航天裝備原始數(shù)據(jù)進(jìn)行切分，數(shù)據(jù)切片的切分準(zhǔn)則和標(biāo)準(zhǔn)由數(shù)據(jù)類型和數(shù)據(jù)的應(yīng)用場(chǎng)景決定。數(shù)據(jù)切分的參數(shù)由數(shù)據(jù)應(yīng)用方進(jìn)行初始設(shè)定，根據(jù)數(shù)據(jù)業(yè)務(wù)和數(shù)據(jù)邏輯將原始數(shù)據(jù)切分為可被獨(dú)立處理的碎片單元。

航天裝備數(shù)據(jù)需要依據(jù)數(shù)據(jù)的分布特征、來(lái)源和時(shí)間序列進(jìn)行細(xì)致的切分分片處理。數(shù)據(jù)在采集端就會(huì)設(shè)置相應(yīng)的采集節(jié)點(diǎn)標(biāo)志和時(shí)間標(biāo)志，通過(guò)智能匹配，生成節(jié)點(diǎn)、時(shí)間、數(shù)據(jù)三者的映射關(guān)系，生成對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，從而為數(shù)據(jù)切片提供基礎(chǔ)和依據(jù)。

從上述分析中可以看出，數(shù)據(jù)標(biāo)簽的準(zhǔn)確程度和合理性的最主要表征是數(shù)據(jù)的時(shí)空合理性，因此對(duì)航天裝備而言，數(shù)據(jù)的時(shí)間標(biāo)簽和任務(wù)執(zhí)行中數(shù)據(jù)產(chǎn)生時(shí)的裝備姿態(tài)具有最顯著的關(guān)系，這兩個(gè)維度上的數(shù)據(jù)標(biāo)簽也就成為數(shù)據(jù)切片過(guò)程中最重要的校標(biāo)依據(jù)。

在獲取數(shù)據(jù)過(guò)程中，為實(shí)現(xiàn)數(shù)據(jù)的傳輸效率，采用連續(xù)記錄的整條數(shù)據(jù)的傳輸和下載方式，將其下載到處理單元之前的節(jié)點(diǎn)。節(jié)點(diǎn)的內(nèi)部時(shí)鐘標(biāo)準(zhǔn)校時(shí)設(shè)備的標(biāo)準(zhǔn)時(shí)間進(jìn)行比對(duì)，進(jìn)行時(shí)間的校準(zhǔn)并獲取實(shí)際數(shù)據(jù)的記錄時(shí)間和標(biāo)準(zhǔn)校時(shí)設(shè)備記錄的時(shí)間之間的校準(zhǔn)偏差值。

對(duì)于裝備姿態(tài)，以方位偏移角度進(jìn)行表征，航天裝備的相應(yīng)傳感器在記錄數(shù)據(jù)的過(guò)程中會(huì)重點(diǎn)記錄當(dāng)前的裝備姿態(tài)參數(shù)，從而為后續(xù)的數(shù)據(jù)切片提供空間維度的依據(jù)。

數(shù)據(jù)切分是獲取合理的數(shù)據(jù)切片的重要手段，主流的數(shù)據(jù)切分包括垂直切分、水平切分、混合切分三種方式[13]。由于混合切分交替使用水平和垂直方式，融合了兩種切分方式下的方法優(yōu)勢(shì)，具有切分方法多樣、過(guò)程靈活可控的特點(diǎn)，因此被廣泛應(yīng)用。

在進(jìn)行數(shù)據(jù)切分時(shí)，通常根據(jù)各個(gè)數(shù)據(jù)標(biāo)志節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)連貫、全面、合理、合規(guī)的切分。通過(guò)獲取并應(yīng)用不同數(shù)據(jù)節(jié)點(diǎn)的時(shí)間漂移值，在數(shù)據(jù)提取時(shí)，就計(jì)算出標(biāo)志節(jié)點(diǎn)在此刻的時(shí)鐘漂移，完成校正數(shù)據(jù)的提取和預(yù)處理。對(duì)于如航天裝備的姿態(tài)數(shù)據(jù)、載荷數(shù)據(jù)等數(shù)據(jù)內(nèi)容，會(huì)在數(shù)據(jù)提取時(shí)用節(jié)點(diǎn)在此刻的姿態(tài)參數(shù)或載荷參數(shù)對(duì)采集數(shù)據(jù)進(jìn)行處理和校正[14]。

在航天裝備體系的數(shù)據(jù)庫(kù)系統(tǒng)中，切分后獲取的多個(gè)數(shù)據(jù)片段被存儲(chǔ)到不同的相應(yīng)數(shù)據(jù)庫(kù)里。

切分完畢之后根據(jù)各個(gè)單元數(shù)據(jù)加載對(duì)應(yīng)的數(shù)據(jù)解析協(xié)議，并通知處理單元?jiǎng)?chuàng)建對(duì)應(yīng)的線程池和處理任務(wù)，進(jìn)入數(shù)據(jù)的并行處理階段。

該階段針對(duì)原始數(shù)據(jù)進(jìn)行處理，采用單線程模式，保證數(shù)據(jù)處理的完整性、準(zhǔn)確性和流程的連續(xù)性。

1.2 數(shù)據(jù)讀取

在完成完整數(shù)據(jù)的切分之后，進(jìn)入數(shù)據(jù)處理的流程。數(shù)據(jù)處理過(guò)程主要包括“①數(shù)據(jù)讀取(輸入)—②數(shù)據(jù)處理(計(jì)算)—③數(shù)據(jù)寫入(存儲(chǔ))”。根據(jù)業(yè)務(wù)特點(diǎn)，數(shù)據(jù)的讀取和計(jì)算是緊密連接的過(guò)程，拆分處理不易于數(shù)據(jù)處理的接續(xù)性，為數(shù)據(jù)的組織帶來(lái)額外負(fù)擔(dān)，因此單片的數(shù)據(jù)讀取和數(shù)據(jù)計(jì)算應(yīng)設(shè)計(jì)為串行的單線程過(guò)程，即①和②組成完整的處理線程。

數(shù)據(jù)讀取作為數(shù)據(jù)計(jì)算處理的輸入和基礎(chǔ)，分多個(gè)線程，通過(guò)數(shù)據(jù)接口對(duì)分片數(shù)據(jù)進(jìn)行引接。

1.3 數(shù)據(jù)處理

數(shù)據(jù)處理主要對(duì)讀取的單片數(shù)據(jù)進(jìn)行解析、轉(zhuǎn)換、計(jì)算、統(tǒng)計(jì)和分析。每個(gè)處理線程的數(shù)據(jù)處理源均為該線程讀取的單片數(shù)據(jù)，保證了數(shù)據(jù)處理的連續(xù)性和結(jié)果的一致性。按照數(shù)據(jù)切片的規(guī)范，單片數(shù)據(jù)之間存在一定的數(shù)據(jù)重疊，以保障數(shù)據(jù)抽取、插值等處理的完整性。

為提高數(shù)據(jù)解析與處理的伸縮性、延展性、通用性和易用性，滿足多任務(wù)、多型號(hào)、多裝備、多場(chǎng)景的數(shù)據(jù)信息的差異化、分級(jí)化、高并發(fā)、多剖面等應(yīng)用需求，對(duì)航天裝備的多維數(shù)據(jù)處理過(guò)程和方法進(jìn)行形式化與標(biāo)準(zhǔn)化描述，通過(guò)模型化語(yǔ)言，構(gòu)建多層解耦的數(shù)據(jù)協(xié)議模型[15]。通過(guò)深化深入地分析和梳理航天裝備多維數(shù)據(jù)的數(shù)據(jù)處理流程，航天裝備在役考核數(shù)據(jù)的協(xié)議模型可以按照數(shù)據(jù)層次分為源層、準(zhǔn)備層、邏輯層和加工層等4個(gè)不同的層面，依據(jù)數(shù)據(jù)處理的粗細(xì)粒度，實(shí)現(xiàn)由底向上層級(jí)遞進(jìn)，每層的處理資源由下一層提供[16]。其中：

源層按遙測(cè)信息、遙控信息、測(cè)控信息、地勤信息、環(huán)境信息、通信信息等不同方向和數(shù)據(jù)內(nèi)容要求對(duì)接數(shù)據(jù)源，引接數(shù)據(jù)，為數(shù)據(jù)處理做數(shù)據(jù)資源準(zhǔn)備。

準(zhǔn)備層將源層引接的多維數(shù)據(jù)按照預(yù)設(shè)的幀結(jié)構(gòu)、包結(jié)構(gòu)和數(shù)據(jù)組織規(guī)則等進(jìn)行解析和數(shù)據(jù)域的預(yù)處理，為類型匹配、方法匹配等后續(xù)的匹配操作提供依據(jù)。

邏輯層根據(jù)航天裝備在役考核的特殊業(yè)務(wù)特點(diǎn)和數(shù)據(jù)幀組織形式，將數(shù)據(jù)以數(shù)據(jù)流的形式進(jìn)行分類，同時(shí)針對(duì)不同類型數(shù)據(jù)構(gòu)建標(biāo)準(zhǔn)規(guī)則庫(kù)，以庫(kù)的形式，實(shí)現(xiàn)通用邏輯標(biāo)準(zhǔn)的確立。

加工層實(shí)現(xiàn)對(duì)解析后數(shù)據(jù)按需進(jìn)行格式轉(zhuǎn)換、關(guān)聯(lián)分析、統(tǒng)計(jì)分析、數(shù)據(jù)主題生成、數(shù)據(jù)存儲(chǔ)與轉(zhuǎn)發(fā)等數(shù)據(jù)層面的應(yīng)用加工，并對(duì)數(shù)據(jù)進(jìn)行精細(xì)化、多級(jí)化、通用化、統(tǒng)一化的管理。

1.4 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)存儲(chǔ)通過(guò)數(shù)據(jù)的寫操作將數(shù)據(jù)備份到相應(yīng)的介質(zhì)，為后續(xù)的數(shù)據(jù)應(yīng)用提供基礎(chǔ)。常見的數(shù)據(jù)存儲(chǔ)包括兩種存儲(chǔ)模式，一種是實(shí)時(shí)存儲(chǔ)，即為每個(gè)數(shù)據(jù)處理線程配置一個(gè)數(shù)據(jù)存儲(chǔ)線程，即時(shí)存儲(chǔ)處理過(guò)的數(shù)據(jù)。該模式下，數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理為串行流程，每個(gè)單片數(shù)據(jù)的存儲(chǔ)過(guò)程必須在本數(shù)據(jù)完成處理之后進(jìn)行，在保證實(shí)時(shí)性的情況下，大幅降低了存儲(chǔ)效率，存在存儲(chǔ)計(jì)算資源的浪費(fèi)。

在實(shí)際應(yīng)用中，單片分?jǐn)?shù)據(jù)的應(yīng)用對(duì)實(shí)時(shí)性的要求并不高，因此采用串行存儲(chǔ)會(huì)造成大數(shù)量下的數(shù)據(jù)積壓。為了盡可能快速、高效地將大量通過(guò)處理線程完成數(shù)據(jù)處理的結(jié)果工程量數(shù)據(jù)(即已經(jīng)具備清晰的數(shù)據(jù)含義和表達(dá)性與可讀性的規(guī)范化數(shù)據(jù))進(jìn)行存儲(chǔ)，采用了基于預(yù)留緩存的多線程并行存儲(chǔ)技術(shù)。

整個(gè)數(shù)據(jù)流的后處理過(guò)程可以理想化地區(qū)分為數(shù)據(jù)處理過(guò)程和數(shù)據(jù)存儲(chǔ)過(guò)程，分別安排相應(yīng)線程進(jìn)行處理。數(shù)據(jù)存儲(chǔ)線程和處理線程獨(dú)立運(yùn)行，每個(gè)存儲(chǔ)線程按自然順序?qū)θ我粋€(gè)處理線程處理結(jié)束的單片進(jìn)行存儲(chǔ)，并對(duì)數(shù)據(jù)片進(jìn)行標(biāo)記，實(shí)現(xiàn)數(shù)據(jù)的按序存儲(chǔ)。多線程并行存儲(chǔ)可以最大化利用存儲(chǔ)資源，提高數(shù)據(jù)的計(jì)算分析效率。

1.5 結(jié)果反饋

在分片數(shù)據(jù)完成存儲(chǔ)之后，根據(jù)數(shù)據(jù)片的序列關(guān)系對(duì)數(shù)據(jù)進(jìn)行重組和整合，得到處理結(jié)果，并按照完整數(shù)據(jù)形式進(jìn)行數(shù)據(jù)結(jié)果的校驗(yàn)和反饋，為數(shù)據(jù)的后續(xù)應(yīng)用提供基礎(chǔ)。

2 基于預(yù)留緩存的數(shù)據(jù)讀寫

航天裝備體系承載的有效載荷正朝著數(shù)量眾多、功能多元、性能嚴(yán)苛的方向發(fā)展，航天裝備在執(zhí)行相應(yīng)的任務(wù)和在役考核等試驗(yàn)鑒定過(guò)程中承載的數(shù)據(jù)流的數(shù)據(jù)量、準(zhǔn)確度、實(shí)時(shí)性等要求越來(lái)越高。大量、高速的數(shù)據(jù)輸入和處理需求，數(shù)據(jù)的存儲(chǔ)器和處理器過(guò)長(zhǎng)的啟動(dòng)時(shí)間和反應(yīng)過(guò)程會(huì)增加裝備數(shù)據(jù)和載荷數(shù)據(jù)丟失或者出錯(cuò)的風(fēng)險(xiǎn)[17]。而數(shù)據(jù)文件讀寫過(guò)程是數(shù)據(jù)處理、存儲(chǔ)和應(yīng)用的關(guān)鍵過(guò)程，是依照特定的數(shù)據(jù)協(xié)議和規(guī)范對(duì)數(shù)據(jù)進(jìn)行提取、保存的過(guò)程描述。因此如何減少航天裝備數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)的數(shù)據(jù)讀取、寫入等關(guān)鍵過(guò)程時(shí)間、提高快速訪問(wèn)速度成為解決上述問(wèn)題的重要方面。

為實(shí)現(xiàn)快速高效的數(shù)據(jù)讀寫，通常采用緩存技術(shù)對(duì)數(shù)據(jù)進(jìn)行緩存加載，如前所述，數(shù)據(jù)的讀取和存儲(chǔ)在大數(shù)據(jù)量的約束下，需要進(jìn)行并行處理。而預(yù)留緩存和多線程并發(fā)是數(shù)據(jù)并行處理的重要手段，通過(guò)在任務(wù)調(diào)度層面和數(shù)據(jù)計(jì)算與處理層面融合采用基于預(yù)留緩存的多線程并發(fā)技術(shù)，可以有效提高航天裝備的任務(wù)執(zhí)行效率，提高作戰(zhàn)保障能力。

所謂“線程”，指的是計(jì)算機(jī)系統(tǒng)程序中的一個(gè)執(zhí)行流，是程序執(zhí)行的最小單位。每個(gè)線程都有獨(dú)立的寄存器、指針、程序計(jì)數(shù)器。多線程就是一個(gè)進(jìn)程中同時(shí)包含多個(gè)執(zhí)行流，且每個(gè)執(zhí)行流互不影響的獨(dú)立完成各自任務(wù)。多線程方法作為一種并發(fā)型、多任務(wù)的工作機(jī)制，具有提高程序響應(yīng)、改善程序結(jié)構(gòu)、使多核處理和計(jì)算資源可以并行工作的優(yōu)點(diǎn)[18]，從而大大提高處理效率。

數(shù)據(jù)讀取按照數(shù)據(jù)切片的結(jié)果，依照預(yù)定分片數(shù)量參數(shù)設(shè)計(jì)緩存，處理線程1到處理線程N(yùn)為一組并行線程，進(jìn)行同步處理分析，有效提高數(shù)據(jù)處理的效率。而數(shù)據(jù)寫入則有高占用率高實(shí)時(shí)性串行寫入和低占用率低實(shí)時(shí)性的并行寫入兩種模式。

針對(duì)數(shù)據(jù)的處理結(jié)果，在以結(jié)果工程量為存儲(chǔ)模式的前提下，系統(tǒng)對(duì)數(shù)據(jù)的實(shí)時(shí)性要求降低，而對(duì)寫入效率要求明顯提高。因此串行寫入雖然可以提供更高的實(shí)時(shí)性，卻會(huì)占用和浪費(fèi)存儲(chǔ)資源，造成效率的下降。并行寫入通過(guò)拆分文件寫操作，實(shí)現(xiàn)了有限資源的高效利用，是支撐任務(wù)并行化處理的有效手段，是航天裝備試驗(yàn)鑒定和任務(wù)執(zhí)行過(guò)程中的數(shù)據(jù)處理的支撐。

數(shù)據(jù)在正式應(yīng)用之前需要進(jìn)行處理和存儲(chǔ)，傳統(tǒng)數(shù)據(jù)處理流程中基于并行時(shí)序理念，將處理線程作為存儲(chǔ)線程的嚴(yán)格前序線程，導(dǎo)致一個(gè)數(shù)據(jù)片段的數(shù)據(jù)存儲(chǔ)只對(duì)應(yīng)一個(gè)特定數(shù)據(jù)處理線程的處理結(jié)果。數(shù)據(jù)處理線程組和存儲(chǔ)線程組按原始數(shù)據(jù)的時(shí)間遞增序列進(jìn)行同步分析。不難看出，這樣的處理方式數(shù)據(jù)一一對(duì)應(yīng)，數(shù)據(jù)處理的實(shí)時(shí)性更強(qiáng)，但要付出存儲(chǔ)線程輪空等待的代價(jià)，對(duì)計(jì)算資源的要求高，導(dǎo)致系統(tǒng)占用率較高，在數(shù)據(jù)量過(guò)大或數(shù)據(jù)分片過(guò)多的情況下，數(shù)據(jù)處理的效率會(huì)大幅降低。

另外可以通過(guò)開辟緩存區(qū)，將碎片化的數(shù)據(jù)處理結(jié)果進(jìn)行緩存，并進(jìn)行再拼接，然后統(tǒng)一進(jìn)行存儲(chǔ)。此種方法實(shí)時(shí)性和并行性較差，但是系統(tǒng)負(fù)擔(dān)較小，出錯(cuò)率低。

傳統(tǒng)的基于數(shù)據(jù)流時(shí)序和數(shù)據(jù)處理線程的數(shù)據(jù)文件讀寫技術(shù)，不能在大數(shù)據(jù)量、多構(gòu)型數(shù)據(jù)分別處理的北京下雪，滿足多源數(shù)據(jù)處理的處理和并行存儲(chǔ)要求。

為提高數(shù)據(jù)存儲(chǔ)的效率，在多線程并行存儲(chǔ)中采用了內(nèi)存映射技術(shù)和基于數(shù)據(jù)分片的數(shù)據(jù)并行處理技術(shù)，通過(guò)緩存預(yù)留加載，設(shè)計(jì)了基于預(yù)留緩存的數(shù)據(jù)并行讀寫技術(shù)。該技術(shù)有效的解決了常規(guī)數(shù)據(jù)存儲(chǔ)技術(shù)只能逐字節(jié)地寫入數(shù)據(jù)存儲(chǔ)文件的問(wèn)題，可以實(shí)現(xiàn)結(jié)果數(shù)據(jù)按文件地址快速、并行地寫入工程量文件。如圖2所示，通過(guò)預(yù)留緩存實(shí)現(xiàn)了數(shù)據(jù)讀取速度的有效提高，緩存中保留了規(guī)則話存儲(chǔ)的數(shù)據(jù)片段，依據(jù)數(shù)據(jù)切分的結(jié)果和片段數(shù)量，系統(tǒng)自適應(yīng)判別并劃分相應(yīng)的數(shù)據(jù)處理線程。

圖2 基于預(yù)留緩存的數(shù)據(jù)并行處理示意圖

應(yīng)用現(xiàn)階段的數(shù)據(jù)存儲(chǔ)技術(shù)，“結(jié)果工程量文件寫1”線程的執(zhí)行必須被賦予首要的優(yōu)先級(jí)，即該線程處理的文件必須是第一個(gè)被寫入硬盤的數(shù)據(jù)。與后續(xù)的結(jié)果工程量數(shù)據(jù)存在嚴(yán)格的串行關(guān)系，每個(gè)線程必須要等到上一個(gè)線程結(jié)束才可以進(jìn)行。此時(shí)，即使其余線程(如“結(jié)果工程量文件寫2”或者“結(jié)果工程量文件寫N”)先完成了數(shù)據(jù)分析，具備數(shù)據(jù)存儲(chǔ)和寫入的條件，也必須在“結(jié)果工程量文件寫1”線程執(zhí)行結(jié)束后進(jìn)行寫操作。串行的模式極大的增加了線程的等待時(shí)間，致使整個(gè)進(jìn)程的效率降低。

而采用預(yù)留緩存技術(shù)，數(shù)據(jù)存儲(chǔ)的線程之間為，并行關(guān)系，沒(méi)有必然的聯(lián)系，各個(gè)線程的執(zhí)行不需要等待其余線程的執(zhí)行結(jié)束，消除了線程的等待時(shí)間，提高了整個(gè)數(shù)據(jù)處理效率。

多線程并行緩存實(shí)現(xiàn)如下：

1)設(shè)定處理參數(shù)總數(shù)為ParaSum、采樣率為ParaCyl、處理總時(shí)間為TimeSum，數(shù)據(jù)處理信息字節(jié)數(shù)為ParaInfoSize，則需創(chuàng)建的工程量文件的大小為：

ResFiSize=ParaSum×TimeSum×

ParaCyl+ParaInfoSize

2)進(jìn)行內(nèi)存映，創(chuàng)建結(jié)果工程量文件，其字節(jié)數(shù)為ResFiSize；

3)執(zhí)行該次數(shù)據(jù)處理信息的數(shù)據(jù)存儲(chǔ)寫操作；

4)數(shù)據(jù)進(jìn)入處理線程池，進(jìn)行相應(yīng)的數(shù)據(jù)處理，將單元時(shí)間內(nèi)處理好的結(jié)果數(shù)據(jù)交給存儲(chǔ)線程組；

5)數(shù)據(jù)進(jìn)入存儲(chǔ)線程池，將結(jié)果數(shù)據(jù)寫入工程量文件，實(shí)現(xiàn)數(shù)據(jù)的并行處理和快速存儲(chǔ)。

單位時(shí)間內(nèi)處理好的結(jié)果數(shù)據(jù)按指定地址存儲(chǔ)。

設(shè)定起始時(shí)刻為TimeBeg，起始地址為AddrBeg，則數(shù)據(jù)在任意的TimeN時(shí)刻的存儲(chǔ)地址為：

TimeNddr=AddrBeg+(TimeN-TimeBeg)×

ParaSum×ParaCyl

當(dāng)存儲(chǔ)線程接收到單元時(shí)間的結(jié)果數(shù)據(jù)以及該數(shù)據(jù)的相關(guān)信息，按照TimeN就可以知道結(jié)果數(shù)據(jù)的存放首地址，實(shí)現(xiàn)將該數(shù)據(jù)存儲(chǔ)寫入工程量文件。

3 航天裝備在役考核多任務(wù)并行執(zhí)行支撐技術(shù)驗(yàn)證

航天裝備體系由一系列的衛(wèi)星和相應(yīng)配套的地面站構(gòu)成，共同完成包括信息獲取、信息傳輸和時(shí)空基準(zhǔn)等支援保障任務(wù)[19-20]。

規(guī)模龐大、組成結(jié)構(gòu)復(fù)雜、多星多任務(wù)背景等復(fù)雜性是航天裝備體系的重要特點(diǎn)，裝備體系在役考核階段難于快速、高效開展定性、定量評(píng)估。為了開展對(duì)航天裝備的評(píng)估分析工作，必須要從體系的視角出發(fā)進(jìn)行研究，需要對(duì)多星多任務(wù)進(jìn)行合理且全面的剖析。

為實(shí)現(xiàn)航天裝備體系在役考核的綜合評(píng)估，自主研發(fā)了綜合評(píng)估系統(tǒng)。根據(jù)航天裝備在役考核的綜合評(píng)估需求，系統(tǒng)涵蓋了任務(wù)規(guī)劃、試驗(yàn)設(shè)計(jì)、數(shù)據(jù)采集、分析評(píng)估和結(jié)果展示等多個(gè)模塊，實(shí)現(xiàn)了多層級(jí)、多裝備、多指標(biāo)的綜合評(píng)估。圖3為系統(tǒng)的功能架構(gòu)。

圖3 航天裝備在役考核評(píng)估系統(tǒng)

通過(guò)科學(xué)合理的設(shè)計(jì)綜合評(píng)估流程，劃分試驗(yàn)科目和數(shù)據(jù)采集順序，從任務(wù)層面實(shí)現(xiàn)了試驗(yàn)科目設(shè)計(jì)、試驗(yàn)執(zhí)行、數(shù)據(jù)采集、特定指標(biāo)計(jì)算的并行流程。圖4航天裝備在役考核評(píng)估系統(tǒng)任務(wù)流層面并行控制與執(zhí)行軟件界面示意圖。在整體流程的執(zhí)行流程中，各個(gè)環(huán)節(jié)均可以根據(jù)實(shí)際任務(wù)要求進(jìn)行并行規(guī)劃。任務(wù)規(guī)劃可以對(duì)不受時(shí)序約束的不同任務(wù)進(jìn)行分別規(guī)劃，試驗(yàn)設(shè)計(jì)(與執(zhí)行)可以根據(jù)試驗(yàn)的實(shí)際執(zhí)行過(guò)程進(jìn)行不同試驗(yàn)科目的并行執(zhí)行，從而實(shí)現(xiàn)不同數(shù)據(jù)的并行采集和計(jì)算等過(guò)程。

圖4 任務(wù)流層面并行控制與執(zhí)行軟件界面示意圖

其中，數(shù)據(jù)采集和處理過(guò)程采用本文基于預(yù)留緩存的數(shù)據(jù)并行分析處理方法，對(duì)采集的原始數(shù)據(jù)進(jìn)行分組、分割、處理、存儲(chǔ)和融合。對(duì)采集數(shù)據(jù)導(dǎo)入、測(cè)量數(shù)據(jù)處理和數(shù)據(jù)清洗變換等預(yù)處理實(shí)現(xiàn)高效、快速的執(zhí)行，從而在任務(wù)層面的并行執(zhí)行之外，實(shí)現(xiàn)數(shù)據(jù)底層計(jì)算邏輯和計(jì)算資源的并行執(zhí)行。圖5為航天裝備在役考核評(píng)估系統(tǒng)數(shù)據(jù)流層面并行控制與執(zhí)行軟件界面示意圖。

圖5 數(shù)據(jù)流層面并行控制與執(zhí)行軟件界面示意圖

系統(tǒng)的應(yīng)用和測(cè)試結(jié)果顯示，與傳統(tǒng)的數(shù)據(jù)串行處理和存儲(chǔ)相比，數(shù)據(jù)的并行處理、存儲(chǔ)和應(yīng)用效率大大提高。

4 結(jié)束語(yǔ)

本文結(jié)合航天裝備體系評(píng)估的實(shí)際需求，針對(duì)裝備類型多、執(zhí)行任務(wù)多、數(shù)據(jù)量大、數(shù)據(jù)結(jié)構(gòu)復(fù)雜等問(wèn)題，從任務(wù)執(zhí)行層面和數(shù)據(jù)底層計(jì)算邏輯與資源分配層面等多維層面分析了數(shù)據(jù)的串行處理分析存在的效率低的問(wèn)題，從而通過(guò)任務(wù)規(guī)劃、科目劃分、數(shù)據(jù)分片、預(yù)留緩存、合理劃分線程等多種方式實(shí)現(xiàn)了任務(wù)的并行執(zhí)行和數(shù)據(jù)的并行處理，提高了航天裝備體系在役考核評(píng)估的處理效率。