基于大數據的空管設備異態(tài)數據集成研究

王博

摘 要：隨著計算機網絡技術的發(fā)展和廣泛應用，人類逐步進入大數據時代，這也促使機場服務從以往的被動查詢向信息智能推送轉變。而這就需要機場能夠在海量空管數據及有關數據中深入挖掘出具有一定價值的信息，以往的關系型數據因自身因素而無法較好地適應在海量數據環(huán)境下開展數據挖掘及價值發(fā)現工作?；诖?，如何對海量數據進行有效集成是關鍵。該文從大數據的內涵出發(fā)，系統剖析機場空管設備所體現的大數據特點，并重點探討基于大數據技術NoSQL下的空管設備異態(tài)數據集成。

關鍵詞：大數據 空管設備 異態(tài)數據 集成

中圖分類號：TP311.1 文獻標識碼：A 文章編號：1672-3791（2017）01（b）-0026-02

伴隨著我國社會經濟的迅速發(fā)展，航空業(yè)也呈現出高速發(fā)展態(tài)勢，我國航空體系基本形成，機場數量和規(guī)模大幅增加，現代化水平也不斷提升。各大航空機場基本配置了通信、導航、氣象、監(jiān)控、情報等高新設備，而每種設備所形成的數據在格式上有明顯差異[1]。近年來，隨著機場服務的不斷提升，空管設備逐步從以往的服務飛機轉變?yōu)榉杖?，而人的需求是不盡相同的，所要的信息也是多樣化的，而這涵蓋了固定結構、無結構等數據?；诖?，對大數據背景下空管異態(tài)數據進行集成處理有著重要的現實意義。

1 大數據內涵及空管設備大數據特征

1.1 大數據

在計算機網絡技術日益普及和應用的背景下，各類數據大量產生。特別是在云計算、物聯網等高新技術的推廣和使用下，虛擬化服務、社交網絡等廣泛應用，改變了人們信息應用的方式，逐步進入“大數據”時代。大數據具備這幾個特性：（1）規(guī)模性。各類電子信息設備會生成海量數據，規(guī)模龐大。（2）高速性。數據是實時產生的，且只在特定時間及控件下才具有效用，這需要快速進行數據處理。（3）價值性。少量數據基本無價值，但對海量數據進行深入挖掘，則能發(fā)現諸多有用信息。（4）多樣性。數據類型、格式多種多樣。

1.2 機場空管設備的大數據特點

近年來，我國機場服務技術發(fā)展快，服務能力也不斷增強，現代化及信息化程度大幅提升，這使得各類空管設備生成的數據表現出大數據特點。

機場空管設備的類型多種多樣，包括導航、通信、監(jiān)控、安全、氣象等方面的設備系統。而每個系統均會生成相應數據，每日的數據量可達百個GB，乃至TB，而這就形成了大量空管數據，有著鮮明的規(guī)模特性[2]。機場空管系統主要是各類運營調度、信息顯示、安全監(jiān)控、航班航次管理等系統，而該類系統在生產廠家、所用軟件、運行機制、功能等方面是不盡相同的，基本上有獨立的數據庫，也就形成了大量空管異態(tài)數據，有著鮮明的多樣性。同時，伴隨著空管能力的提升，每個機場均有自身的旅客信息、辦公自動化等系統。但旅客對于機場服務的要求不單在于信息查詢上，通常需要機場對海量實時空管數據進行挖掘，為旅客智能推送機場實時性信息，因此空管數據需要具備實時性和高速性。而在向旅客推送服務信息時，就要對旅客的出行歷史信息進行挖掘，掌握其出行特點及潛在規(guī)律，再給予針對性、個性化服務，使空管數據具備一定的價值。

2 應用NoSQL技術實現空管設備異態(tài)數據集成

2.1 關于NoSQL技術

NoSQL是一項新型數據庫技術，是當前最為常用的一個大數據技術，即非關系型數據庫。和以往的關系型數據庫技術相比，該項技術有其獨特的地方，最為突出的就是信息查詢語言不用SQL語言，且對于數據的存儲也不需要預先設定表模式[4]。

機場各系統需基于實時參數、用戶信息來生成實時性動態(tài)界面，同時為用戶提供實時性服務信息，因而數據庫并發(fā)負載極高，特別是在高峰階段每一秒需完成萬次以上讀寫請求。傳統關系型數據庫技術的磁盤是不能承受的。同時，因空管信息系統處理的數據海量增加，單機服務器不管是在數據處理性能，還是數據存儲上，均難以滿足當前機場空管信息系統的要求，需增加服務器及存儲裝置，但是傳統關系型數據庫技術具有事物一致性特點，難以實現橫向擴展，不能通過增加服務節(jié)點，使存儲及負載能力得以提升。

而NoSQL數據庫類型多樣，但均無傳統關系型數據庫的特性，可實現良好擴展，極易達成支撐數據自TB向PB的穩(wěn)定過渡。且其采取分布式架構，可有效滿足海量空管數據的存儲、處理等要求。另外，NoSQL的讀寫性能穩(wěn)定、良好，可滿足海量數據的高頻讀寫需要，且可達成機場各類個性化服務。同時，該技術不需為數據存儲創(chuàng)建字段，可自定義數據格式，可隨時增加字段，在系統設計時不需考慮數據庫的表結構。

2.2 基于NoSQL的空管異態(tài)數據集成

為有效穩(wěn)定地解決機場空管數據的異態(tài)問題，提高數據應用價值，可應用NoSQL技術構建空管異態(tài)數據集成模式，能有效解決海量空管異態(tài)數據存儲、分析及應用的問題。NoSQL下的空管異態(tài)數據集成模式自下而上由這幾個模塊構成。

（1）數據源層。就是機場既有的各類信息數據庫，包括通信、導航、氣象、設備、旅客出行等方面的異態(tài)數據，均是海量產生的。這是空管異態(tài)數據集成對象，是最為基本的模塊。

（2）數據層。對所有異態(tài)數據源生產的海量數據進行抽取，再對這些數據予以標準化處理，然后對數據予以篩查，將不良、無用及有損的數據剔除，對于完整、潛在價值的異態(tài)數據予以提取、處理、加工，并轉換成某特定格式，然后存儲到NoSQL數據庫中，比如：Redis、Hbase等。因NoSQL數據庫具有良好的橫向擴展性能，同時可在分布式架構上發(fā)揮出更為穩(wěn)定的性能，因此伴隨數據接入增加，僅僅在集群中增加適當的節(jié)點就能當即實現集群擴張。

（3）服務層。就是在數據層處理基礎上，為了更好地滿足用戶的信息需求，對異態(tài)數據庫中的各類數據進行處理、整合、統計及對分析等操作，然后構建一個特定數據結構態(tài)返回到應用界面，在該層主要完成對用戶特征及規(guī)律的分析、屬性總結提取及對用戶分類等異態(tài)大數據挖掘的基礎處理，然后在實現各種計算方法及業(yè)務邏輯的前提下，為外部提供相應的REST接口，以便各系統調取和應用。

（4）應用層。這是和具體用戶進行信息交互的一個界面，該層在接收到用戶提出的請求后，依照不同系統的特點及運行請求，調用相關服務層接口接收返回數據，再通過圖形化處理展示到界面，讓用戶更為便捷、直觀、快速地查詢和調用信息，可有效提升用戶體驗。

在有新數據源產生及業(yè)務增加時，只需將新數據源妥善接入到新數據源，將數據完整存放于NoSQL數據庫，然后在服務層加上相應接口，而應用界面僅僅增加相應展示面就可以，不需要對數據庫的既有結構進行調整，也不需要對服務層的邏輯進行修改，可有效達成橫向擴展，強化機場信息控制系統的性能。

3 結語

總之，在大數據背景下實現機場空管異態(tài)數據集成很有必要，不僅能方便管理各類空管數據，提升應用效率，還能為機場、旅客提供更為良好的信息服務。應用NoSQL技術集成空管異態(tài)數據具有良好的擴展性、實用性，可有效提升海量空管數據的分析能力，有助于機場服務充分利用各類空管數據進行價值挖掘、服務預測等，促進機場服務水平和質量的提升。

參考文獻

[1] 白鵬，楊新湦，張亞宜，等.大數據背景下的空管實驗室建設探索[J].實驗技術與管理，2015（2）：228-230，239.

[2] 付明柏.基于異質矩陣完全的缺失數據恢復混合集成算法[J].云南師范大學學報：自然科學版，2013（6）：67-72.

[3] 李奎.航空安全管理[M].航空工業(yè)出版社，2011：255-256.