• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    民航空管大數(shù)據(jù)處理平臺(tái)架構(gòu)研究

    2020-06-16 10:40:46潘衛(wèi)軍劉鎧源王潤(rùn)東左青海
    關(guān)鍵詞:批處理空管引擎

    潘衛(wèi)軍 劉鎧源 王潤(rùn)東 左青海

    (中國(guó)民用航空飛行學(xué)院 四川 廣漢 618300)

    0 引 言

    大數(shù)據(jù)是近年來(lái)受到各行業(yè)普遍關(guān)注的新概念,大數(shù)據(jù)技術(shù)指通過(guò)新的數(shù)據(jù)處理分析技術(shù)對(duì)體量大、類(lèi)型多、來(lái)源復(fù)雜的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高速采集、傳輸、分析,挖掘潛藏的數(shù)據(jù)價(jià)值。

    空管行業(yè)具有應(yīng)用大數(shù)據(jù)技術(shù)解決業(yè)務(wù)需求的天然環(huán)境,空管業(yè)務(wù)過(guò)程中涉及到的人員機(jī)構(gòu)職能眾多,據(jù)實(shí)地統(tǒng)計(jì),一個(gè)典型的民航空管單位(空管分局(站))一年收集到的數(shù)據(jù)就超過(guò)20 TB,全國(guó)民航空管一年運(yùn)行產(chǎn)生的數(shù)據(jù)至少在PB級(jí)別以上[1]??展軜I(yè)務(wù)過(guò)程中的參與單位既是空管數(shù)據(jù)的生產(chǎn)者和使用者,又能夠收集、維護(hù)運(yùn)行過(guò)程中產(chǎn)生的海量數(shù)據(jù),具備構(gòu)建空管大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)資源。

    空中交通管理過(guò)程涉及的海量數(shù)據(jù)除了業(yè)界普遍認(rèn)可的大數(shù)據(jù)4V特征[2],Volume(數(shù)據(jù)量大)、Velocity(速度快)、Variety(多樣化)、Value(價(jià)值密度低),還具有以下兩個(gè)新的特征:

    (1) Veracity(真實(shí)性)。不同于其他行業(yè)大數(shù)據(jù)的來(lái)源普遍帶有主觀性,空管數(shù)據(jù)直接采集自各業(yè)務(wù)單位數(shù)據(jù)系統(tǒng),數(shù)據(jù)是真實(shí)有效的,數(shù)據(jù)的處理分析結(jié)果也是更加精準(zhǔn)的,在管制決策應(yīng)用中是安全可靠的。

    (2) Complexity(復(fù)雜性)??展軘?shù)據(jù)來(lái)源多、種類(lèi)多、格式多、非結(jié)構(gòu)化數(shù)據(jù)占比大、對(duì)數(shù)據(jù)處理和分析的難度大。

    隨著空管行業(yè)信息技術(shù)水平的發(fā)展,通信、導(dǎo)航、監(jiān)視新技術(shù)涉及到的智能終端在空管系統(tǒng)中被快速推廣應(yīng)用,空管業(yè)務(wù)產(chǎn)生的數(shù)據(jù)量必將快速增長(zhǎng),數(shù)據(jù)類(lèi)型、來(lái)源將不斷增多??展芟到y(tǒng)中落后的數(shù)據(jù)處理應(yīng)用能力,導(dǎo)致數(shù)據(jù)分析挖掘受限、非結(jié)構(gòu)化數(shù)據(jù)缺乏有效利用等問(wèn)題,制約了空管行業(yè)向信息化智能化的發(fā)展。

    美國(guó)在空管大數(shù)據(jù)建設(shè)方面處于領(lǐng)先地位,20世紀(jì)90年代開(kāi)始FAA針對(duì)空管運(yùn)行過(guò)程的不同階段和業(yè)務(wù)需求,建設(shè)了美國(guó)國(guó)家飛行數(shù)據(jù)中心(NFDC),研發(fā)了全域信息管理系統(tǒng)(SWIM)、FAA運(yùn)行與效能數(shù)據(jù)系統(tǒng)、增強(qiáng)型交通管理系統(tǒng)(ETMS)、NAS語(yǔ)音系統(tǒng)等多種空管大數(shù)據(jù)處理系統(tǒng),并對(duì)運(yùn)行過(guò)程中產(chǎn)生的數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘、二次開(kāi)發(fā),以此來(lái)應(yīng)對(duì)日益增長(zhǎng)的航空運(yùn)輸壓力,并提升空管運(yùn)行安全能力和效率[3-10]。

    國(guó)內(nèi)在空管大數(shù)據(jù)的應(yīng)用方面開(kāi)展了相關(guān)研究。在空管智能化技術(shù)[11]、民航機(jī)場(chǎng)協(xié)同決策系統(tǒng)[12]、空管運(yùn)行安全數(shù)據(jù)[13-14]方面有一些研究,但沒(méi)有形成支撐空管大數(shù)據(jù)處理平臺(tái)的相關(guān)技術(shù)體系,在空管系統(tǒng)數(shù)據(jù)處理挖掘方面也沒(méi)有自身的大數(shù)據(jù)平臺(tái)。隨著空管行業(yè)信息化技術(shù)水平的提高,對(duì)數(shù)據(jù)實(shí)時(shí)處理、數(shù)據(jù)挖掘方面需求越來(lái)越迫切。空管大數(shù)據(jù)應(yīng)用與其他行業(yè)大數(shù)據(jù)應(yīng)用在存在很大差異,現(xiàn)有大數(shù)據(jù)處理平臺(tái)并不能在容錯(cuò)性、可靠性、實(shí)時(shí)性上完全適用于空管行業(yè),因此針對(duì)空管大數(shù)據(jù)處理開(kāi)發(fā)平臺(tái)顯得非常必要且迫切。

    本文針對(duì)空管業(yè)務(wù)需求,對(duì)空管大數(shù)據(jù)處理平臺(tái)總體架構(gòu)、功能、基礎(chǔ)平臺(tái)組成以及數(shù)據(jù)處理技術(shù)進(jìn)行了研究,為空管大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)與應(yīng)用奠定基礎(chǔ)。

    1 平臺(tái)總體架構(gòu)

    空管大數(shù)據(jù)處理平臺(tái)架構(gòu)設(shè)計(jì)主要包括硬件層、資源層、數(shù)據(jù)層、處理層及應(yīng)用層設(shè)計(jì)。

    圖1 空管大數(shù)據(jù)處理平臺(tái)架構(gòu)

    空管大數(shù)據(jù)處理平臺(tái)的底層為硬件層,硬件層為大數(shù)據(jù)處理平臺(tái)提供物理硬件支撐,主要由防火墻、文件服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、網(wǎng)絡(luò)資源、存儲(chǔ)陣列等組成,為上層數(shù)據(jù)存儲(chǔ)處理平臺(tái)提供通信、網(wǎng)絡(luò)、存儲(chǔ)、計(jì)算等資源。采用虛擬化基礎(chǔ)平臺(tái)和硬件基礎(chǔ)服務(wù)平臺(tái)組成,完成對(duì)虛擬資源、業(yè)務(wù)資源、用戶(hù)資源的集中存儲(chǔ)和計(jì)算,同時(shí)通過(guò)統(tǒng)一的接口,對(duì)虛擬資源進(jìn)行集中調(diào)度和管理,從而降低了空管大數(shù)據(jù)處理業(yè)務(wù)的運(yùn)行成本,保證了系統(tǒng)的安全性和可靠性,構(gòu)建安全、綠色、節(jié)能的大數(shù)據(jù)處理中心。

    資源層設(shè)計(jì)主要目標(biāo)為通過(guò)統(tǒng)一的數(shù)據(jù)平臺(tái)對(duì)空管業(yè)務(wù)數(shù)據(jù)進(jìn)行集中匯集存儲(chǔ),并通過(guò)建立定性或定量的數(shù)據(jù)分類(lèi)、安全分級(jí)標(biāo)準(zhǔn)和政策,剔除其中的無(wú)效數(shù)據(jù),僅對(duì)完整、存在潛在價(jià)值的數(shù)據(jù)進(jìn)行處理,對(duì)涉密數(shù)據(jù)進(jìn)行嚴(yán)格安全管理,提升數(shù)據(jù)的有效性、規(guī)范性、安全性,為數(shù)據(jù)交換、數(shù)據(jù)處理、挖掘預(yù)測(cè)類(lèi)等子平臺(tái)提供全面、一致的數(shù)據(jù)基礎(chǔ)。打破現(xiàn)有空管系統(tǒng)數(shù)據(jù)來(lái)源多、格式多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀,提升處理平臺(tái)建設(shè)和運(yùn)行效率。確??展軜I(yè)務(wù)各級(jí)部門(mén)均在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù),充分發(fā)揮數(shù)據(jù)作為空管行業(yè)重要資產(chǎn)的潛在價(jià)值。

    數(shù)據(jù)層采用開(kāi)放式X86架構(gòu)的PC服務(wù)器搭建Hadoop分布式系統(tǒng)集群架構(gòu)[15],基于Hadoop的HDFS集群主要解決了空管大數(shù)據(jù)的存儲(chǔ)問(wèn)題,隨著空管運(yùn)行數(shù)據(jù)的爆炸式增長(zhǎng),一味地靠增加硬件數(shù)量來(lái)提高存儲(chǔ)量和計(jì)算能力,不僅成本高,而且效率低。Hadoop的搭建只需要普通的PC機(jī),分布式文件系統(tǒng)HDFS,分布式計(jì)算引擎MapReduce,兩大組件都屏蔽了分布式及并行底層技術(shù)細(xì)節(jié)問(wèn)題,使用起來(lái)簡(jiǎn)單方便。

    數(shù)據(jù)層設(shè)計(jì)包括數(shù)據(jù)交換設(shè)計(jì)和數(shù)據(jù)存儲(chǔ)索引設(shè)計(jì),數(shù)據(jù)交換設(shè)計(jì)包含結(jié)構(gòu)化數(shù)據(jù)交換組件、半結(jié)構(gòu)化數(shù)據(jù)交換組件、非結(jié)構(gòu)化數(shù)據(jù)交換組件三類(lèi)數(shù)據(jù)交換組件。數(shù)據(jù)交換的設(shè)計(jì)目標(biāo)有以下幾點(diǎn):保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn);保證數(shù)據(jù)交換過(guò)程中不失真;保證數(shù)據(jù)交換過(guò)程中不丟失;保證數(shù)據(jù)交換過(guò)程安全可靠。

    結(jié)構(gòu)化數(shù)據(jù)交換組件通過(guò)Perl+Hive Load技術(shù)實(shí)現(xiàn),面向空管業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理,包括存儲(chǔ)在Oracle、SQLSever、MySQL和MongoDB等傳統(tǒng)數(shù)據(jù)庫(kù)中的空域信息、航班計(jì)劃、雷達(dá)監(jiān)視數(shù)據(jù)等。半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)交換組件通過(guò)SFTP協(xié)議批量進(jìn)行數(shù)據(jù)傳輸,并開(kāi)發(fā)JAVA應(yīng)用調(diào)用資源層API,將抽取到的數(shù)據(jù)加載到分布式數(shù)據(jù)存儲(chǔ)平臺(tái)HDFS指定目錄,面向空管業(yè)務(wù)中產(chǎn)生的陸空通話(huà)語(yǔ)音、監(jiān)控視頻、音頻、office文件等數(shù)據(jù)。數(shù)據(jù)交換采用NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)計(jì),如圖2所示。數(shù)據(jù)交換存儲(chǔ)設(shè)計(jì)中元數(shù)據(jù)區(qū)用來(lái)存儲(chǔ)大數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息,如HDFS文件系統(tǒng)元數(shù)據(jù);數(shù)據(jù)導(dǎo)入導(dǎo)出臨時(shí)數(shù)據(jù)區(qū)用來(lái)暫存數(shù)據(jù)資源層推送平臺(tái)每日推送的管制、通信、導(dǎo)航、監(jiān)視、氣象等提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)以及暫存數(shù)據(jù)處理層處理計(jì)算結(jié)果;ETL(Extract-Transform-Load)數(shù)據(jù)處理程序區(qū)將數(shù)據(jù)加工處理程序(數(shù)據(jù)壓縮、數(shù)據(jù)加載、數(shù)據(jù)處理等)統(tǒng)一存儲(chǔ)在NAS集群指定目錄。

    圖2 數(shù)據(jù)交換存儲(chǔ)設(shè)計(jì)

    數(shù)據(jù)存儲(chǔ)索引設(shè)計(jì)將Elasticsearch與Hadoop中HDFS分布式文件系統(tǒng)深度集成,Hadoop的兩大核心HDFS和MapReduce為大數(shù)據(jù)存儲(chǔ)和分析提供了解決方案,但在實(shí)時(shí)搜索分析方面Hadoop還仍有欠缺。ElasticSearch是一個(gè)開(kāi)源的分布式搜索引擎,將全文檢索、數(shù)據(jù)分析以及分布式技術(shù)設(shè)計(jì)用于大數(shù)據(jù)檢索,能夠進(jìn)行實(shí)時(shí)搜索、交互式數(shù)據(jù)探索,并且可與Grafana、Kibana等數(shù)據(jù)可視化工具集成,提供給平臺(tái)應(yīng)用層進(jìn)行數(shù)據(jù)可視化展示。Elasticsearch-HDFS將Hadoop海量的數(shù)據(jù)存儲(chǔ)和深度加工能力與Elasticsearch實(shí)時(shí)搜索和分析功能進(jìn)行連接,能夠在Elasticsearch和Hadoop之間輕松地雙向移動(dòng)數(shù)據(jù)。通過(guò)數(shù)據(jù)交換組件的數(shù)據(jù)首先存入HDFS,然后與Hive結(jié)合來(lái)實(shí)現(xiàn)對(duì)數(shù)據(jù)的實(shí)時(shí)訪問(wèn)、實(shí)時(shí)結(jié)構(gòu)化、全文檢索,從而減少篩選數(shù)據(jù)量,同時(shí)借助HDFS作為存儲(chǔ)庫(kù)進(jìn)行長(zhǎng)期存檔,并依托Hadoop API的動(dòng)態(tài)擴(kuò)展構(gòu)建動(dòng)態(tài)嵌入式搜索應(yīng)用來(lái)檢索HDFS數(shù)據(jù),執(zhí)行深度低延時(shí)分析,彌補(bǔ)了HDFS不能執(zhí)行低延時(shí)數(shù)據(jù)訪問(wèn)的不足。

    數(shù)據(jù)處理包括數(shù)據(jù)批處理和數(shù)據(jù)流處理兩種方式。將存儲(chǔ)在HDFS中空管業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),通過(guò)MapRedurce進(jìn)行結(jié)構(gòu)化處理,并按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總,將數(shù)據(jù)通過(guò)批處理和流處理計(jì)算引擎加工后,結(jié)果交付到應(yīng)用服務(wù)層。

    應(yīng)用服務(wù)層設(shè)計(jì)主要將處理層的數(shù)據(jù),通過(guò)Office集成、儀表盤(pán)、靜態(tài)報(bào)表、Web展示等可視化方法,針對(duì)空管業(yè)務(wù)一線單位,以及運(yùn)行監(jiān)控中心等業(yè)務(wù)需求提供定制化服務(wù),為一線空管部門(mén)正確決策提供支持,保證管制服務(wù)安全有序,提升管制指揮、運(yùn)行智能化水平。

    2 基礎(chǔ)平臺(tái)組成

    空管大數(shù)據(jù)處理基礎(chǔ)平臺(tái)采用基于Hadoop集群架構(gòu),Hadoop的分布式文件系統(tǒng)HDFS具有高容錯(cuò)性、高吞吐量的特點(diǎn),適合超大數(shù)據(jù)集的應(yīng)用程序,滿(mǎn)足了處理平臺(tái)對(duì)大型數(shù)據(jù)集存儲(chǔ)分析的應(yīng)用需求。HDFS由Java開(kāi)發(fā),可以在支持Java的機(jī)器上部署,并通過(guò)多副本機(jī)制,自動(dòng)保存多個(gè)副本,某一個(gè)副本丟失以后,可以自動(dòng)恢復(fù),提高了空管大數(shù)據(jù)處理平臺(tái)的可靠性和容錯(cuò)性。HDFS的“一次寫(xiě)入,多次讀取,只能追加,不能修改”機(jī)制,保證了空管大數(shù)據(jù)的一致性,并且支持空管一線單位及機(jī)場(chǎng)運(yùn)行監(jiān)控中心多用戶(hù)的高吞吐量訪問(wèn)。

    HDFS放寬了可移植操作系統(tǒng)的要求,能實(shí)現(xiàn)以流的形式訪問(wèn)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)??展軜I(yè)務(wù)中管制指揮涉及到的飛行數(shù)據(jù)、航路航線情況數(shù)據(jù)、實(shí)時(shí)天氣數(shù)據(jù)是以流的形式存儲(chǔ)在大數(shù)據(jù)處理平臺(tái)中。一個(gè)HDFS集群通常包含名稱(chēng)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)。名稱(chēng)節(jié)點(diǎn)管理著文件系統(tǒng)的名稱(chēng)、空間,并規(guī)范客戶(hù)端對(duì)文件的訪問(wèn)權(quán)限,以及對(duì)各個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行統(tǒng)一調(diào)配。數(shù)據(jù)節(jié)點(diǎn)主要對(duì)空管業(yè)務(wù)產(chǎn)生的相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)。HDFS架構(gòu)如圖3所示。

    圖3 HDFS架構(gòu)

    2.1 名稱(chēng)節(jié)點(diǎn)

    名稱(chēng)節(jié)點(diǎn)在空管大數(shù)據(jù)處理平臺(tái)作為Master服務(wù)器,提供集中式的集群管理功能,主要用于管理HDFS文件系統(tǒng)命名空間,執(zhí)行文件系統(tǒng)命名空間操作,如文件打開(kāi)、關(guān)閉,目錄結(jié)構(gòu)等集群管理功能,并調(diào)節(jié)客戶(hù)端對(duì)文件的訪問(wèn),還確定塊到DataNodes的映射。若名稱(chēng)節(jié)點(diǎn)終止,則對(duì)應(yīng)的Hadoop集群服務(wù)也會(huì)停止,名稱(chēng)節(jié)點(diǎn)對(duì)穩(wěn)定性要求高,因此空管大數(shù)據(jù)處理平臺(tái)的名稱(chēng)節(jié)點(diǎn)應(yīng)使用穩(wěn)定的小型服務(wù)器,保證集群工作的可靠性和性能。

    2.2 數(shù)據(jù)節(jié)點(diǎn)

    數(shù)據(jù)節(jié)點(diǎn)是一個(gè)通常在HDFS架構(gòu)中的單獨(dú)機(jī)器上運(yùn)行的組件,管理連接到運(yùn)行的節(jié)點(diǎn)的存儲(chǔ)和讀寫(xiě)。HDFS將一個(gè)文件分割成很多塊,這些塊可能存儲(chǔ)在一個(gè)數(shù)據(jù)節(jié)點(diǎn)上或者是多個(gè)數(shù)據(jù)節(jié)點(diǎn)上。數(shù)據(jù)節(jié)點(diǎn)響應(yīng)來(lái)自名稱(chēng)節(jié)點(diǎn)的創(chuàng)建、刪除和復(fù)制塊的命令??展苓\(yùn)行的數(shù)據(jù)在數(shù)據(jù)節(jié)點(diǎn)上是分布式存儲(chǔ)的,可以通過(guò)HDFS在集群數(shù)據(jù)節(jié)點(diǎn)進(jìn)行數(shù)據(jù)平衡分配和備份,在故障的情況下也能可靠地存儲(chǔ)數(shù)據(jù),保證集群計(jì)算效率和安全。

    3 平臺(tái)計(jì)算引擎

    3.1 批處理計(jì)算引擎

    批處理計(jì)算引擎應(yīng)用于流量預(yù)測(cè)、沖突預(yù)測(cè)、跑道侵入預(yù)測(cè)、尾流間隔縮減等空管業(yè)務(wù)模塊。流量預(yù)測(cè)功能采集每天所有機(jī)場(chǎng)的航班計(jì)劃,通過(guò)大數(shù)據(jù)技術(shù)分析航班的飛行時(shí)間、航線、高度、結(jié)合空域、天氣、機(jī)場(chǎng)運(yùn)行狀況等信息預(yù)測(cè)未來(lái)某一時(shí)段管制空域或機(jī)場(chǎng)的流量,從而合理安排航班進(jìn)離場(chǎng)順序、繞滑行道使用安排、管制人員值班計(jì)劃等,有效提升管制運(yùn)行安全水平和效率。同時(shí)通過(guò)對(duì)飛行時(shí)間、飛行高度進(jìn)行大數(shù)據(jù)分析,完成對(duì)航路潛在沖突的預(yù)測(cè)功能。批處理計(jì)算引擎主要面向航司、空管部門(mén)提供的航班時(shí)刻表、飛行計(jì)劃報(bào)、空域信息等歷史積累數(shù)據(jù)。

    空管大數(shù)據(jù)處理平臺(tái)采用Apache Spark批處理計(jì)算引擎應(yīng)對(duì)空管生產(chǎn)業(yè)務(wù)過(guò)程中積累的PB級(jí)歷史數(shù)據(jù)。Apache Spark與Hadoop中MapReduce引擎基于相同原則開(kāi)發(fā)而來(lái)。不同于MapReduce數(shù)據(jù)處理流程中每一步都需要一個(gè)Map和一個(gè)Reduce階段,Apache Spark采用內(nèi)存迭代計(jì)算模型,加快了批處理的運(yùn)行速度,在處理完一個(gè)階段以后,可以繼續(xù)處理多個(gè)階段,消除了MapReduce的有限處理限制,提供了更強(qiáng)的計(jì)算功能。但Apache Spark在分布式存儲(chǔ)方面本身并沒(méi)有自身的分布式文件系統(tǒng),因此磁盤(pán)存儲(chǔ)大多依賴(lài)于處理平臺(tái)的文件存儲(chǔ)系統(tǒng)??展艽髷?shù)據(jù)處理平臺(tái)將Apache Spark集成在Hadoop的分布式文件存儲(chǔ)HDFS中,與Hadoop深度集成并取代MapReduce引擎,為處理平臺(tái)提供了更強(qiáng)大的計(jì)算功能。Apache Spark運(yùn)行架構(gòu)如圖4所示。

    圖4 Apache Spark運(yùn)行架構(gòu)

    Apache Spark支持Standalone、Spark on Mesos和Spark on YARN三種分布式部署方式,并支持HDFS、Cassandra、AmazonS3等接口的連接,為空管大數(shù)據(jù)處理平臺(tái)提供多種數(shù)據(jù)存儲(chǔ)解決方式,并允許用戶(hù)將數(shù)據(jù)加載至存儲(chǔ)器中,支持對(duì)其多次查詢(xún),并集成了多種算法,支持交互式查詢(xún)、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、深度學(xué)習(xí)等常見(jiàn)的空管大數(shù)據(jù)處理場(chǎng)景,為空管大數(shù)據(jù)處理平臺(tái)提供了有力的支撐。

    3.2 流處理計(jì)算引擎

    空管業(yè)務(wù)對(duì)大數(shù)據(jù)處理平臺(tái)的實(shí)時(shí)性、快速性、準(zhǔn)確性要求非常高,需要實(shí)時(shí)獲取飛機(jī)在飛行過(guò)程,場(chǎng)面運(yùn)行過(guò)程中的各類(lèi)數(shù)據(jù)信息,進(jìn)而實(shí)時(shí)監(jiān)控管制空域內(nèi)飛機(jī)的運(yùn)行狀態(tài)。實(shí)時(shí)監(jiān)控模塊的數(shù)據(jù)來(lái)源通常是ADS-B、ACARS報(bào)文、場(chǎng)面運(yùn)行等,包含飛機(jī)的位置、高度、速度、航向、識(shí)別號(hào)等重要信息[16],對(duì)空管指揮、現(xiàn)場(chǎng)運(yùn)行等業(yè)務(wù)來(lái)說(shuō),這些數(shù)據(jù)的價(jià)值隨著時(shí)間的流逝而迅速降低。大數(shù)據(jù)處理平臺(tái)迅速的流數(shù)據(jù)處理能力能輔助管制員對(duì)飛機(jī)的運(yùn)行狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控,意味著管制人員可通過(guò)實(shí)時(shí)監(jiān)控來(lái)判斷飛機(jī)或者機(jī)長(zhǎng)的行為是否正當(dāng)。當(dāng)特情發(fā)生時(shí),管制人員可迅速分析判斷特情原因,組織調(diào)度相關(guān)技術(shù)人員、地面工具等,一旦飛機(jī)降落,迅速進(jìn)行故障解決,提高效率。目前,應(yīng)對(duì)實(shí)時(shí)流計(jì)算引擎主要包括:Apache Flink,Yahoo的S4,Twitter的Storm和Facebook的Puma??展艽髷?shù)據(jù)處理平臺(tái)對(duì)數(shù)據(jù)處理的實(shí)時(shí)性、準(zhǔn)確性、容錯(cuò)性要求極高,對(duì)比目前主流的流計(jì)算引擎性能,空管大數(shù)據(jù)處理平臺(tái)采用Apache Flink流處理計(jì)算引擎。

    Apache Flink是一個(gè)開(kāi)源的分布式的高容錯(cuò)大數(shù)據(jù)流處理引擎,面向數(shù)據(jù)提供流處理(無(wú)邊界數(shù)據(jù)流)和批處理(有邊界數(shù)據(jù)集)兩種數(shù)據(jù)處理方式,并支持多種編程語(yǔ)言,既能兼容空管大數(shù)據(jù)處理平臺(tái)中相關(guān)的傳統(tǒng)數(shù)據(jù)庫(kù)、各類(lèi)文件系統(tǒng)等數(shù)據(jù)源,也可以作為獨(dú)立集群運(yùn)行,還能與所有常見(jiàn)的集群資源管理器(如Hadoop YARN、Apache Mesos和Kubernetes)集成,從而針對(duì)不同管制業(yè)務(wù)部門(mén)需求開(kāi)發(fā)實(shí)時(shí)計(jì)算系統(tǒng)。Apache Flink運(yùn)行在大數(shù)據(jù)處理平臺(tái)數(shù)據(jù)層搭建的開(kāi)源Hadoop集群上,采用Hadoop的YARN作為資源管理器,以HDFS作為數(shù)據(jù)存儲(chǔ)。因此,F(xiàn)link可以和空管大數(shù)據(jù)處理平臺(tái)實(shí)現(xiàn)無(wú)縫對(duì)接。

    Flink在運(yùn)行中主要有三個(gè)組件組成:工作端,主節(jié)點(diǎn)和從節(jié)點(diǎn)。用戶(hù)首先提交Flink程序到工作端,經(jīng)過(guò)工作端的處理、解析、優(yōu)化提交到主節(jié)點(diǎn),最后由從節(jié)點(diǎn)運(yùn)行工作單元。Flink處理架構(gòu)如圖5所示。

    圖5 Flink處理架構(gòu)

    在實(shí)現(xiàn)流處理和批處理時(shí)不同于現(xiàn)有的開(kāi)源計(jì)算方案把流處理和批處理作為兩種處理類(lèi)型,而是將批處理也作為流處理的一種,只是它的輸入被定義為有界數(shù)據(jù)集。Flink以數(shù)據(jù)緩存塊為單位進(jìn)行數(shù)據(jù)傳輸,不同于別的執(zhí)行引擎數(shù)據(jù)記錄必須填滿(mǎn)緩沖器才會(huì)被發(fā)送到緩存區(qū),F(xiàn)link可以通過(guò)指定緩存塊的超時(shí)值來(lái)決定數(shù)據(jù)的傳輸時(shí)機(jī)。流處理一般需要低延遲支持,F(xiàn)link在進(jìn)行流處理時(shí)將超時(shí)值設(shè)置為0,此時(shí)系統(tǒng)的處理延遲最低,但吞吐量也降低,可以通過(guò)調(diào)節(jié)緩存塊的超時(shí)值來(lái)調(diào)節(jié)系統(tǒng)延遲和吞吐量的沖突,達(dá)到在高吞吐量的同時(shí)實(shí)現(xiàn)毫秒級(jí)的數(shù)據(jù)分析處理,符合空管大數(shù)據(jù)處理平臺(tái)對(duì)吞吐量和低延時(shí)性的高要求,為實(shí)時(shí)性要求極高的空管業(yè)務(wù)提供支撐服務(wù)。

    4 平臺(tái)應(yīng)用分析

    通過(guò)搭建空管大數(shù)據(jù)處理平臺(tái)為空管大數(shù)據(jù)提供存儲(chǔ)、計(jì)算、分析能力,將通信、導(dǎo)航、監(jiān)視、氣象、空域信息、航線情況、陸空通話(huà)、廣播報(bào)文、電子進(jìn)程單等數(shù)據(jù)通過(guò)相應(yīng)工具采集到大數(shù)據(jù)分析平臺(tái)中,存儲(chǔ)到Oracle、SQLSever、MySQL和MongoDB等數(shù)據(jù)庫(kù)中,并通過(guò)不同的數(shù)據(jù)交換組件存儲(chǔ)在分布式文件存儲(chǔ)系統(tǒng)中對(duì)各類(lèi)空管數(shù)據(jù)進(jìn)行有效地融合。通過(guò)批處理和流處理計(jì)算引擎,對(duì)空管業(yè)務(wù)數(shù)據(jù)進(jìn)行快速處理,并依托不同的可視化工具,提供給空管業(yè)務(wù)部門(mén),對(duì)實(shí)時(shí)性要求極高的空管業(yè)務(wù)進(jìn)行支持。為空管大數(shù)據(jù)分析者提供各類(lèi)數(shù)據(jù)分析的工具,讓空管大數(shù)據(jù)的應(yīng)用者不需要關(guān)注底層大數(shù)據(jù)開(kāi)發(fā)技術(shù),只需要專(zhuān)注于業(yè)務(wù)開(kāi)發(fā),解決空管一線業(yè)務(wù)單位面臨的問(wèn)題。最終驗(yàn)證了本平臺(tái)架構(gòu)的可行性。

    5 結(jié) 語(yǔ)

    伴隨著民航業(yè)的快速發(fā)展和空管行業(yè)信息化建設(shè)的深入開(kāi)展,智慧空管已經(jīng)成為空管行業(yè)發(fā)展的方向和趨勢(shì),智慧空管的最終目標(biāo)是建設(shè)成為覆蓋空管系統(tǒng)整個(gè)生產(chǎn)過(guò)程的全景實(shí)時(shí)系統(tǒng)。而支撐智慧空管安全、高效、可靠運(yùn)行的基礎(chǔ)是空管系統(tǒng)數(shù)據(jù)實(shí)時(shí)采集、傳輸、存儲(chǔ),以及在運(yùn)行過(guò)程中對(duì)累積的海量多源異構(gòu)數(shù)據(jù)快速準(zhǔn)確處理分析?;诖髷?shù)據(jù)技術(shù)的空管數(shù)據(jù)處理平臺(tái)為智慧空管的建設(shè)提供了平臺(tái)技術(shù)支持,空管大數(shù)據(jù)處理平臺(tái)為流量預(yù)測(cè)、沖突探測(cè)、侵入告警等空管業(yè)務(wù)提供支撐,有助于空管行業(yè)打破信息孤島,實(shí)現(xiàn)行業(yè)數(shù)據(jù)共享,滿(mǎn)足行業(yè)數(shù)據(jù)需求,對(duì)我國(guó)空管行業(yè)邁向智慧空管有著重要的意義。

    猜你喜歡
    批處理空管引擎
    民航空管2018年運(yùn)行統(tǒng)計(jì)公報(bào)
    民航管理(2019年2期)2019-06-04 03:50:22
    乙醇蒸氣放空管設(shè)置室內(nèi)引發(fā)爆炸
    藍(lán)谷: “涉藍(lán)”新引擎
    商周刊(2017年22期)2017-11-09 05:08:31
    無(wú)形的引擎
    河南電力(2015年5期)2015-06-08 06:01:46
    基于Cocos2d引擎的PuzzleGame開(kāi)發(fā)
    基于PSD-BPA的暫態(tài)穩(wěn)定控制批處理計(jì)算方法的實(shí)現(xiàn)
    如何做好空管質(zhì)量安全管理體系(QSMS)內(nèi)部審核的幾點(diǎn)思考
    河南科技(2014年22期)2014-02-27 14:18:31
    空管自動(dòng)化系統(tǒng)GPS時(shí)鐘同步方式
    河南科技(2014年10期)2014-02-27 14:09:23
    批處理天地.文件分類(lèi)超輕松
    批處理天地.批量為文件更名(續(xù))
    平武县| 区。| 红原县| 洪江市| 顺昌县| 务川| 赣榆县| 通许县| 赞皇县| 申扎县| 醴陵市| 西林县| 成安县| 榆林市| 固安县| 泸州市| 临潭县| 荣昌县| 海原县| 蒙山县| 渝北区| 安塞县| 平湖市| 探索| 平顺县| 宁波市| 冷水江市| 镇安县| 沙河市| 广丰县| 贵州省| 五莲县| 门源| 巴东县| 双鸭山市| 涟水县| 德昌县| 正宁县| 临武县| 东台市| 微山县|