淺談空管自動(dòng)化系統(tǒng)中大數(shù)據(jù)的提取與應(yīng)用

摘 要 隨著我國(guó)民航空管事業(yè)的快速發(fā)展，配套服務(wù)的空管自動(dòng)化系統(tǒng)日益完善，空管自動(dòng)化系統(tǒng)和相關(guān)系統(tǒng)在運(yùn)行中產(chǎn)生了大量的原始數(shù)據(jù)，空管自動(dòng)化系統(tǒng)也進(jìn)入了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)挖掘和云計(jì)算技術(shù)的迅速興起，可以從海量的數(shù)據(jù)中提取出有用的信息。利用好空管自動(dòng)化系統(tǒng)的大數(shù)據(jù)信息，進(jìn)行合理地分析和挖掘，可以更好地促進(jìn)民航空管事業(yè)的前進(jìn)與發(fā)展，為空管運(yùn)行決策提供幫助和參考。

關(guān)鍵詞 THALES自動(dòng)化系統(tǒng);大數(shù)據(jù);數(shù)據(jù)提取;數(shù)據(jù)應(yīng)用;前景

1空管自動(dòng)化系統(tǒng)大數(shù)據(jù)概述

1.1 空管自動(dòng)化系統(tǒng)簡(jiǎn)介

空管自動(dòng)化系統(tǒng)常被業(yè)內(nèi)人員稱為空管系統(tǒng)的心臟，或者管制人員的眼睛和大腦。其主要功能是集中處理航空器的監(jiān)視數(shù)據(jù)、飛行計(jì)劃數(shù)據(jù)、氣象數(shù)據(jù)等各項(xiàng)信息，實(shí)現(xiàn)監(jiān)視數(shù)據(jù)與飛行計(jì)劃動(dòng)態(tài)相關(guān)聯(lián)，將有關(guān)告警和提示等信息進(jìn)行圖形化處理和顯示，使管制人員僅面對(duì)雷達(dá)顯示器即可了解空中交通的實(shí)時(shí)動(dòng)態(tài)，航空器的具體方位、高度和預(yù)計(jì)飛行方向等[1]。

1.2 空管自動(dòng)化系統(tǒng)中的數(shù)據(jù)與分類

空管自動(dòng)化系統(tǒng)中數(shù)據(jù)種類紛繁復(fù)雜，空管自動(dòng)化系統(tǒng)是依托計(jì)算機(jī)技術(shù)為基礎(chǔ)，實(shí)時(shí)接收、處理并顯示可以按類別主用分成以下幾類：

（1）監(jiān)視航跡數(shù)據(jù)（雷達(dá)、ADS等）;

（2）報(bào)文數(shù)據(jù)（AFTN報(bào)文、AIDC、CPDLC等）;

（3）氣象數(shù)據(jù)（QNH、GRIB2）;

（4）告警數(shù)據(jù)（系統(tǒng)計(jì)算出來(lái)的沖突告警STCA、近地告警MSAW、偏航告警RAM等）;

（5）日志數(shù)據(jù)（系統(tǒng)處理后記錄的相關(guān)日志信息）。

2大數(shù)據(jù)的提取

2.1 REC數(shù)據(jù)

泰雷茲自動(dòng)化系中的REC服務(wù)器專門負(fù)責(zé)系統(tǒng)數(shù)據(jù)的記錄。它以每15分鐘創(chuàng)建一個(gè)新文件夾的形式，將系統(tǒng)中的數(shù)據(jù)按不同的類別，分別存放在central，fifo，local，system等目錄下。這些記錄的數(shù)據(jù)用于系統(tǒng)席位重演回放時(shí)使用，由回放服務(wù)器以系統(tǒng)特定的方式重新組裝后生成泰雷茲系統(tǒng)可以讀取的回放數(shù)據(jù)。但缺點(diǎn)是不易被其他外部系統(tǒng)讀取，無(wú)法提取使用。

2.2 EFEED服務(wù)器與輸出信道

泰雷茲自動(dòng)化系中的EFEED服務(wù)器專門負(fù)責(zé)向外輸出定制的數(shù)據(jù)與信息。它是將系統(tǒng)中其他服務(wù)器處理過(guò)的系統(tǒng)進(jìn)行整理分類，以數(shù)據(jù)字典中定義格式進(jìn)行定制輸出[2]。

3現(xiàn)階段大數(shù)據(jù)的應(yīng)用

3.1 大數(shù)據(jù)平臺(tái)的數(shù)據(jù)的儲(chǔ)存與解析

為了更好地儲(chǔ)存與解析空管自動(dòng)化系統(tǒng)產(chǎn)生的海量數(shù)據(jù)，我方技術(shù)人員聯(lián)合南開(kāi)大學(xué)與華泰英翔空管技術(shù)有限公司，共同研發(fā)了一套針對(duì)空管自動(dòng)化系統(tǒng)的大數(shù)據(jù)存儲(chǔ)與解析平臺(tái)。大數(shù)據(jù)平臺(tái)的數(shù)據(jù)主要來(lái)源有EFEED實(shí)時(shí)數(shù)據(jù)以及部分關(guān)鍵REC數(shù)據(jù)，這些數(shù)據(jù)都有自己固定的格式，因此需要若干臺(tái)機(jī)器專門負(fù)責(zé)解析這些數(shù)據(jù)。數(shù)據(jù)解析完之后輸送到Kafka中，然后通過(guò)發(fā)布訂閱的模式可以供存儲(chǔ)模塊（Hadoop及基于Hadoop的hive等）以及實(shí)時(shí)分析模塊等若干消費(fèi)者使用。Kafka集群以及其若干數(shù)據(jù)消費(fèi)者共同組成了大數(shù)據(jù)平臺(tái)。

大數(shù)據(jù)平臺(tái)系統(tǒng)軟件功能模塊

當(dāng)完成對(duì)EFEED數(shù)據(jù)以及REC數(shù)據(jù)的解析后，數(shù)據(jù)需要進(jìn)一步輸送到Kafka集群，這樣所有需要數(shù)據(jù)的組件可以根據(jù)發(fā)布-訂閱機(jī)制靈活地從Kafka訂閱所需要的數(shù)據(jù)進(jìn)行存儲(chǔ)或者實(shí)時(shí)計(jì)算。針對(duì)目前已經(jīng)解析的EFEED數(shù)據(jù)可以根據(jù)類別（例如飛行計(jì)劃數(shù)據(jù)、雷達(dá)數(shù)據(jù)）分成不同的topic輸送到Kafka集群。后續(xù)將REC數(shù)據(jù)解析完畢后，可設(shè)計(jì)一個(gè)整體的數(shù)據(jù)分類策略。

首先，從數(shù)據(jù)存儲(chǔ)的角度，數(shù)據(jù)經(jīng)過(guò)Kafka之后需要在數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)，目前可考慮的技術(shù)模塊有Cassandra以及基于HDFS的HBase或Hive （在大數(shù)據(jù)架構(gòu)中Hive和HBase是協(xié)作關(guān)? 系）。Cassandra的問(wèn)題在于不支持對(duì)海量數(shù)據(jù)并發(fā)訪問(wèn)的支持，并且Cassandra未采用HDFS文件系統(tǒng)，與Hadoop難以協(xié)同。

因此在所有數(shù)據(jù)解析完之后分析總體數(shù)據(jù)量來(lái)決定采用哪一種技術(shù)。與此同時(shí)，經(jīng)過(guò)Spark計(jì)算所得結(jié)果的結(jié)果也可以放到數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)，后續(xù)進(jìn)一步可視化將結(jié)果更直觀地展示給用戶。

其次，從數(shù)據(jù)計(jì)算的角度。對(duì)于實(shí)時(shí)計(jì)算的需求，數(shù)據(jù)從Kafka集群輸出可直接送往spark計(jì)算集群進(jìn)行實(shí)時(shí)計(jì)算，計(jì)算結(jié)果可以存儲(chǔ)在數(shù)據(jù)庫(kù)中。對(duì)于非實(shí)時(shí)計(jì)算需求，spark計(jì)算集群可從數(shù)據(jù)庫(kù)例如HBase讀取數(shù)據(jù)進(jìn)行批量處理。

最后，從提供給用戶服務(wù)的角度。對(duì)于數(shù)據(jù)轉(zhuǎn)發(fā)的需求，將原始數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)之后，可在此基礎(chǔ)上將數(shù)據(jù)轉(zhuǎn)發(fā)給所需要地用戶。對(duì)于spark集群的計(jì)算結(jié)果，可通過(guò)nodejs提供web服務(wù)，用戶可查詢spark集群處理結(jié)果。

大數(shù)據(jù)平臺(tái)架構(gòu)圖與數(shù)據(jù)處理流程

3.2 REC數(shù)據(jù)在培訓(xùn)模擬機(jī)系統(tǒng)數(shù)據(jù)的應(yīng)用

模擬機(jī)系統(tǒng)是為管制員提供模擬練習(xí)的培訓(xùn)實(shí)操平臺(tái)，它的系統(tǒng)處理機(jī)制、軟件版本與數(shù)據(jù)配置應(yīng)與在用系統(tǒng)盡量保持一致（目前華北空管局管制模擬機(jī)系統(tǒng)與主用系統(tǒng)軟件與版本相同，這也為開(kāi)發(fā)模擬機(jī)編題軟件提供了便利）。培訓(xùn)教員在目前的模式下，需要按照模擬機(jī)編題軟件，人工編寫模擬題目為管制員進(jìn)行實(shí)操培訓(xùn)與練習(xí)，而人工編寫的題目往往無(wú)法完全模擬真實(shí)的管制運(yùn)行態(tài)勢(shì)。

Bdaf系統(tǒng)是一款專門為模擬機(jī)系統(tǒng)編題而開(kāi)發(fā)的工具軟件，它能夠?qū)⑻├灼澘展茏詣?dòng)化系統(tǒng)REC服務(wù)器記錄下的飛行計(jì)劃數(shù)據(jù)，飛行數(shù)據(jù)過(guò)點(diǎn)數(shù)據(jù)等信息提取出來(lái)，并提供用戶指定不同的時(shí)間段和扇區(qū)編號(hào)進(jìn)行分類的功能，再根據(jù)培訓(xùn)教員指定的時(shí)間段和扇區(qū)，將飛行計(jì)劃數(shù)據(jù)自動(dòng)轉(zhuǎn)換到模擬機(jī)練習(xí)劇本中去，重現(xiàn)當(dāng)時(shí)的空情態(tài)勢(shì)用于模擬練習(xí)，這樣就可以做到完全重現(xiàn)真實(shí)的空情態(tài)勢(shì)，使得進(jìn)行模擬練習(xí)的管制員訓(xùn)練到更加真實(shí)而有意義的題目。

Bdaf的工作原理如下：首先，Bdaf將提取的原始飛行計(jì)劃數(shù)據(jù)轉(zhuǎn)存到Microsoft Access數(shù)據(jù)庫(kù)（程序文件夾中的bdaf.mdb文件），可方便用戶隨時(shí)導(dǎo)出成Excel形成報(bào)表。再轉(zhuǎn)換練習(xí)劇本生成模擬計(jì)劃SKP時(shí)，程序根據(jù)用戶輸入的要仿真的模擬時(shí)刻和扇區(qū)，將原始飛行計(jì)劃中的過(guò)點(diǎn)信息逐一比較計(jì)算，生成滿足條件的實(shí)際過(guò)點(diǎn)時(shí)間（以下簡(jiǎn)稱AAT）、出現(xiàn)位置和高度FL要素。最后將航路串使用原飛行計(jì)劃解析后的航路點(diǎn)，并只保留進(jìn)區(qū)域前一個(gè)點(diǎn)到出區(qū)域之后一個(gè)點(diǎn)。計(jì)算出的出現(xiàn)位置，以變量的形式聲明在航路串中。

這里我們重點(diǎn)介紹一下通過(guò)比較真實(shí)飛行計(jì)劃中的時(shí)間與仿真時(shí)刻的時(shí)間前后關(guān)系，并根據(jù)判斷結(jié)果實(shí)現(xiàn)真實(shí)航班計(jì)劃到模擬機(jī)系統(tǒng)練習(xí)題目中計(jì)劃狀態(tài)轉(zhuǎn)變的判斷過(guò)程：

4結(jié)束語(yǔ)

隨著空管自動(dòng)化系統(tǒng)的復(fù)雜度與集成度的提高，空管大數(shù)據(jù)會(huì)呈現(xiàn)爆炸式的增長(zhǎng)。進(jìn)一步研究、挖掘和利用好大數(shù)據(jù)信息，可以更精確地分析與把握民航航班的運(yùn)行規(guī)律，分析空管自動(dòng)化系統(tǒng)的發(fā)展前進(jìn)方向。目前空管自動(dòng)化系統(tǒng)的大數(shù)據(jù)挖掘分析還處于初步階段，現(xiàn)階段的主要應(yīng)用于航班計(jì)劃、管制席位使用與開(kāi)合扇區(qū)等統(tǒng)計(jì)功能，較為實(shí)際的應(yīng)用是本文之前介紹的實(shí)際數(shù)據(jù)應(yīng)用于模擬機(jī)系統(tǒng)，可以將真實(shí)的管制情景用于模擬題目中，滿足管制練習(xí)的需要。

空管系統(tǒng)大數(shù)據(jù)分析有著十分廣闊的的應(yīng)用前景，隨著進(jìn)一步的研究與分析，“空管自動(dòng)化系統(tǒng)的大數(shù)據(jù)存儲(chǔ)與解析平臺(tái)”項(xiàng)目的進(jìn)展，分析挖掘出來(lái)的空管系統(tǒng)大數(shù)據(jù)會(huì)為空管運(yùn)行指揮提供更強(qiáng)有力的幫助與保障。

參考文獻(xiàn)

[1] 民用航空空中交通管理管理信息系統(tǒng)技術(shù)規(guī)范第1部分 系統(tǒng)數(shù)據(jù)與接口：MHT4018.1-2004[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2004.

[2] 民用航空空中交通管理管理信息系統(tǒng)技術(shù)規(guī)范第2部分 系統(tǒng)與網(wǎng)絡(luò)安全：MHT4018.2-2004[S].北京：中國(guó)標(biāo)準(zhǔn)出版社，2004.

作者簡(jiǎn)介

劉佩銘（1990-），男，北京人;學(xué)歷：本科，工程學(xué)士，職稱：工程師，現(xiàn)就職單位：民航華北空管局技術(shù)保障中心，研究方向：空管自動(dòng)化專業(yè)。