基于混合云技術(shù)的樞紐機場數(shù)據(jù)共享平臺設(shè)計與實現(xiàn)

康永 劉偉平 汪福軍

（東部機場集團(tuán)有限公司 江蘇省南京市 211106）

1 引言

機場作為航班起降的空中港口，在現(xiàn)代交通運輸中發(fā)揮著重要作用。根據(jù)機場的實際運行情況，總結(jié)其具備“三多”的特點，即連接節(jié)點多、業(yè)務(wù)源頭多、交通方式多。以國內(nèi)某樞紐機場為例，其擁有超過100 個航點，而運行的航線航路更多，涉及的航空公司也超過50 家，另外還有大量的駐場單位，包括海關(guān)、邊檢、公安、油料公司以及很多家貨代公司和商戶等，同時機場作為綜合交通的匯總地，需要融合各種交通數(shù)據(jù)，如地鐵、大巴、私家車、網(wǎng)約車等。由此可見，機場是一個集多種業(yè)務(wù)和數(shù)據(jù)于一身的復(fù)雜場景，然而由于各方信息化建設(shè)發(fā)展階段不同，數(shù)據(jù)標(biāo)準(zhǔn)也無法統(tǒng)一，在各自領(lǐng)域內(nèi)形成了大量的數(shù)據(jù)孤島，有著數(shù)據(jù)標(biāo)準(zhǔn)不一致、數(shù)據(jù)格式不一致、數(shù)據(jù)質(zhì)量不一致、各方數(shù)據(jù)協(xié)同困難等問題。

隨著城市交通網(wǎng)絡(luò)的逐步完善，機場作為城市的又一重大樞紐，成為空港經(jīng)濟(jì)發(fā)展的核心。多方數(shù)據(jù)的交匯融合是協(xié)同發(fā)展和治理水平提升的基礎(chǔ)，而實際上，由于信息建設(shè)的水平不一導(dǎo)致數(shù)據(jù)交換的方式和能力無法統(tǒng)一，存在建設(shè)安全標(biāo)準(zhǔn)不一、工作量大等問題，急需統(tǒng)一架構(gòu)設(shè)計和安全保障，建立數(shù)據(jù)交互的樞紐平臺，實現(xiàn)多源機構(gòu)數(shù)據(jù)的收集，并能夠根據(jù)需求為各方提供數(shù)據(jù)服務(wù)。根據(jù)數(shù)據(jù)存儲位置和物理空間，樞紐機場主要數(shù)據(jù)接入場景分為兩種：一是物理位置在機場范圍內(nèi)的公司和部門，例如機場各級部門、基地航空公司、海關(guān)、公安和各駐場單位等，可采取專線接入等方式，可交換機場運行核心的機密數(shù)據(jù)；二是物理位置遠(yuǎn)離機場但仍需考慮數(shù)據(jù)交換的單位，例如通航機場、非基地航空公司、貨代公司和監(jiān)管單位等。因此數(shù)據(jù)交換平臺需在基礎(chǔ)架構(gòu)層考慮至少兩種網(wǎng)絡(luò)環(huán)境下的安全數(shù)據(jù)交換和管理。

2 混合云技術(shù)

私有云技術(shù)是基于企業(yè)的基礎(chǔ)網(wǎng)絡(luò)資源，使用虛擬化技術(shù)將實體資源虛擬為若干的虛擬資源，企業(yè)用戶在資源池中，根據(jù)企業(yè)本身業(yè)務(wù)需要，進(jìn)行企業(yè)應(yīng)用搭建。一方面，由于企業(yè)擁有基礎(chǔ)設(shè)施使用和維護(hù)權(quán)，企業(yè)可以獨立自主的控制應(yīng)用的部署方式，并進(jìn)行應(yīng)用維護(hù)；另一方面由于企業(yè)網(wǎng)絡(luò)是相對獨立的，并不會與互聯(lián)網(wǎng)區(qū)域進(jìn)行數(shù)據(jù)共享交換，對企業(yè)應(yīng)用的獨立和數(shù)據(jù)的安全可以提供有效的保障。結(jié)合實際業(yè)務(wù)需求，私有云更適合機場在航班保障、安全防范等方面的需求，因此目前大部分樞紐機場均建設(shè)了企業(yè)級私有云平臺。

公有云是指由第三方供應(yīng)商在互聯(lián)網(wǎng)環(huán)境通過虛擬化、云計算等原生技術(shù)，搭建共享資源池，用戶可以通過購買服務(wù)的方式，以比較低廉的價格購買云資源，快速完成業(yè)務(wù)應(yīng)用搭建。公有云最大的優(yōu)勢是無需用戶進(jìn)行基礎(chǔ)環(huán)境維護(hù)，由第三方服務(wù)商進(jìn)行基礎(chǔ)環(huán)境維護(hù)，因此會節(jié)省用戶大量維護(hù)的人力、物力資源。結(jié)合機場行業(yè)的實際情況，公有云環(huán)境在方案選型上，更適合搭建面向互聯(lián)網(wǎng)端的遠(yuǎn)程數(shù)據(jù)服務(wù)應(yīng)用，例如旅客服務(wù)、投訴咨詢等應(yīng)用。

私有云具有地域安全優(yōu)勢，但其服務(wù)區(qū)域具有一定的局限性，而公有云具有服務(wù)能力強，但其有數(shù)據(jù)保密和安全的擔(dān)憂。因此某樞紐機場提出建立基于混合云技術(shù)的數(shù)據(jù)共享平臺，充分發(fā)揮公有云和私有云各自的優(yōu)勢。

3 數(shù)據(jù)共享平臺設(shè)計

3.1 混合云架構(gòu)設(shè)計

考慮到外部單位受限于網(wǎng)絡(luò)和系統(tǒng)建設(shè)水平不一，無法跨區(qū)域跨網(wǎng)絡(luò)直接進(jìn)行數(shù)據(jù)交互，為簡化鏈路對接快速響應(yīng)，某機場確定了混合云模式的技術(shù)架構(gòu)。核心數(shù)據(jù)存儲、加工部署在私有云，可實現(xiàn)資源的快速擴(kuò)展同時保證數(shù)據(jù)的本地機密性；數(shù)據(jù)接入及管理平臺部署在公有云，可實現(xiàn)靈活的跨地域接入和各類云服務(wù)快速使用。所有外部數(shù)據(jù)均通過互聯(lián)網(wǎng)進(jìn)行接入，通過多個區(qū)域?qū)崿F(xiàn)數(shù)據(jù)的安全落地和使用。系統(tǒng)整體分為三大區(qū)域，在機場私有云平臺上劃分了數(shù)據(jù)中心區(qū)和數(shù)據(jù)交換區(qū)，公有云平臺上建設(shè)數(shù)據(jù)交換中心，具體部署結(jié)構(gòu)如圖1所示。

圖1：數(shù)據(jù)共享平臺部署結(jié)構(gòu)

私有云數(shù)據(jù)中心區(qū)部署于機場私有云內(nèi)網(wǎng)環(huán)境，與其他網(wǎng)絡(luò)環(huán)境交互通過嚴(yán)格的訪問控制確保區(qū)域的安全性和獨立性。私有云數(shù)據(jù)中心承擔(dān)機場所有數(shù)據(jù)的清洗、分析、計算、監(jiān)控任務(wù)，底層在私有云平臺上建設(shè)數(shù)據(jù)庫集群和數(shù)據(jù)倉庫集群，集群容量可快速動態(tài)伸縮。集群之上搭建工作流調(diào)度系統(tǒng)，實現(xiàn)數(shù)據(jù)交換的任務(wù)流程編排、資源分配、任務(wù)管控。此外，私有云數(shù)據(jù)中心提供數(shù)據(jù)生命周期管理，針對歷史數(shù)據(jù)進(jìn)行歷史數(shù)據(jù)遷移和按需清理，有效節(jié)省云平臺成本和資源。通過每條數(shù)據(jù)的唯一ID 值，能夠查詢數(shù)據(jù)的源頭以及傳輸路徑，便于進(jìn)行數(shù)據(jù)治理和分析。采用數(shù)據(jù)倉庫，建立多種主題模型，滿足不同類型數(shù)據(jù)的存儲和管理，并借助數(shù)據(jù)中臺實現(xiàn)數(shù)據(jù)的深加工并對外提供數(shù)據(jù)服務(wù)。

私有云數(shù)據(jù)交換區(qū)建立在機場私有云DMZ 區(qū)，通過嚴(yán)格的安全策略保證數(shù)據(jù)的進(jìn)出安全。根據(jù)DMZ 區(qū)域管理規(guī)定，該區(qū)域內(nèi)系統(tǒng)可與互聯(lián)網(wǎng)上公有云數(shù)據(jù)交換中心進(jìn)行數(shù)據(jù)采集和上傳；但作為內(nèi)網(wǎng)的緩沖區(qū)域，該區(qū)域無法直接訪問至內(nèi)部數(shù)據(jù)中心，只能由內(nèi)部定期主動發(fā)起請求進(jìn)行數(shù)據(jù)交換，從而確保內(nèi)網(wǎng)系統(tǒng)數(shù)據(jù)與互聯(lián)網(wǎng)環(huán)境的隔離。數(shù)據(jù)交換系統(tǒng)同時可實現(xiàn)各種作業(yè)管理、作業(yè)調(diào)度、作業(yè)監(jiān)控等功能，是內(nèi)、外部數(shù)據(jù)交互的橋梁和紐帶。

公有云數(shù)據(jù)中心部署在外網(wǎng)云廠商環(huán)境，底層基于彈性云計算服務(wù)和開放存儲服務(wù)建設(shè)，上層提供API 交換服務(wù)、MQ交換服務(wù)、WEB交換服務(wù)，并基于統(tǒng)一云服務(wù)引擎（ACE）對外提供服務(wù)。服務(wù)支持多源異構(gòu)數(shù)據(jù)，提供數(shù)據(jù)統(tǒng)一協(xié)議格式轉(zhuǎn)換，以適配外部單位各種業(yè)務(wù)場景需要。公有云數(shù)據(jù)中心作為數(shù)據(jù)服務(wù)響應(yīng)方和提供方，在響應(yīng)私有云數(shù)據(jù)中心和外部單位的主動數(shù)據(jù)訪問請求時，配備了完整的安全訪問機制。具體到安全策略上，系統(tǒng)提供身份認(rèn)證、數(shù)據(jù)校驗、權(quán)限配置、日志監(jiān)控等功能，并實現(xiàn)數(shù)據(jù)訪問源白名單管理；組件防護(hù)上，系統(tǒng)提供云主機防護(hù)、DDOS 攻擊防護(hù)、安全態(tài)勢感知等功能。

基于混合云架構(gòu)的數(shù)據(jù)共享平臺其總體功能架構(gòu)如圖2所示。

圖2：數(shù)據(jù)共享平臺總體功能架構(gòu)

3.2 業(yè)務(wù)無關(guān)性設(shè)計

在信息技術(shù)領(lǐng)域高速發(fā)展的今天，不同的區(qū)域、不同的系統(tǒng)之間的數(shù)據(jù)共享與交換越來越重要，而不同的業(yè)務(wù)系統(tǒng)之間的協(xié)議是異構(gòu)的，通過業(yè)務(wù)無關(guān)性設(shè)計，可以在多源數(shù)據(jù)共享交換的前提下，實現(xiàn)一種與業(yè)務(wù)無關(guān)的通信協(xié)議制定，使開發(fā)者可以專注于業(yè)務(wù)部分。業(yè)務(wù)無關(guān)性是指系統(tǒng)數(shù)據(jù)接入接出的使用過程中，用戶無需額外考慮底層數(shù)據(jù)接口的物理實現(xiàn)、數(shù)據(jù)協(xié)議的兼容性、數(shù)據(jù)格式和數(shù)據(jù)標(biāo)準(zhǔn)的一致性，而是專注于數(shù)據(jù)應(yīng)用層面的定義與配置。系統(tǒng)提供相關(guān)組件，自動實現(xiàn)用戶數(shù)據(jù)邏輯層面轉(zhuǎn)換成統(tǒng)一民航信息模型，物理層面轉(zhuǎn)換成統(tǒng)一通用數(shù)據(jù)協(xié)議，底層適配各類數(shù)據(jù)存儲和接口技術(shù)，實現(xiàn)數(shù)據(jù)存儲和訪問。相比傳統(tǒng)數(shù)據(jù)交換方案，業(yè)務(wù)無關(guān)性設(shè)計是一種新型數(shù)據(jù)融合方案，不再需要針對特定數(shù)據(jù)對接業(yè)務(wù)場景單獨開發(fā)，也不再需要每新增或變更一項業(yè)務(wù)，就針對輸入輸出數(shù)據(jù)協(xié)議或不同模型重新編寫程序。

盡管當(dāng)前通用消息協(xié)議解決了多源異構(gòu)系統(tǒng)場景下數(shù)據(jù)集成問題，但仍然面臨不同業(yè)務(wù)系統(tǒng)來源數(shù)據(jù)屬性或者維度數(shù)據(jù)重復(fù)、標(biāo)準(zhǔn)沖突、粒度不同等業(yè)務(wù)口徑不一致的情況。數(shù)據(jù)共享平臺在設(shè)計上采用業(yè)務(wù)解耦架構(gòu)，不同業(yè)務(wù)系統(tǒng)和業(yè)務(wù)事件數(shù)據(jù)，都將基于這些統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)底座上，拆分構(gòu)建各自的業(yè)務(wù)事實表，實現(xiàn)了業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)的解耦，加快了各類業(yè)務(wù)的數(shù)據(jù)匯聚。

數(shù)據(jù)共享平臺在數(shù)據(jù)服務(wù)配置上充分考慮業(yè)務(wù)無關(guān)性設(shè)計，從數(shù)據(jù)底層庫表、服務(wù)共享內(nèi)容到下游對象映射，都做到面向管理員的自由可配置。數(shù)據(jù)接入和共享接口服務(wù)配置項包括服務(wù)名稱、服務(wù)代碼、服務(wù)描述、綁定數(shù)據(jù)表、字段配置列表（主鍵配置、數(shù)據(jù)類型、字段名等）。系統(tǒng)管理員根據(jù)各用戶單位需求，初始化用戶名、密碼、用戶單位、數(shù)據(jù)服務(wù)項、IP 地址端口號等根據(jù)實際需求進(jìn)行配置實施，從而達(dá)到“即插即用”的目標(biāo)。

3.3 系統(tǒng)安全設(shè)計

基于混合云技術(shù)的數(shù)據(jù)共享平臺在數(shù)據(jù)流向和存儲上更加復(fù)雜，非核心可公開的外部數(shù)據(jù)源上傳至公有云留存，核心機密數(shù)據(jù)存儲于私有云數(shù)據(jù)中心，通過DMZ 區(qū)域緩沖實現(xiàn)互聯(lián)網(wǎng)與內(nèi)網(wǎng)的數(shù)據(jù)交互，確保數(shù)據(jù)傳輸?shù)陌踩?。公有云?shù)據(jù)交換中心、私有云DMZ 數(shù)據(jù)交換區(qū)、私有云數(shù)據(jù)中心區(qū)均采用不同的訪問策略，公有云數(shù)據(jù)交換平臺會預(yù)設(shè)置白名單訪問，僅接收前期預(yù)配置的用戶源地址請求，賬戶權(quán)限分配由系統(tǒng)管理員統(tǒng)一分配，各用戶數(shù)據(jù)權(quán)限粒度具體到表，訪問權(quán)限粒度具體到接口、導(dǎo)入，各賬戶根據(jù)權(quán)限上傳/查看相關(guān)數(shù)據(jù)。公有云數(shù)據(jù)交換平臺只允許本地DMZ 區(qū)數(shù)據(jù)交換系統(tǒng)主動發(fā)起請求至公有云端，公有云端返回對應(yīng)數(shù)據(jù)；DMZ 區(qū)外網(wǎng)防火墻僅配置源地址轉(zhuǎn)換，互聯(lián)網(wǎng)側(cè)無法直接訪問私有云DMZ 區(qū)數(shù)據(jù)交換系統(tǒng)，降低本地受外網(wǎng)攻擊的可能。通過內(nèi)網(wǎng)防火墻控制僅允許內(nèi)網(wǎng)數(shù)據(jù)中心系統(tǒng)主動發(fā)起請求，獲取DMZ 區(qū)前端數(shù)據(jù)，不允許DMZ 區(qū)直接對內(nèi)網(wǎng)數(shù)據(jù)中心發(fā)起主動請求，具體訪問控制如圖3所示。

圖3：數(shù)據(jù)交換平臺訪問控制

由于機場運行涉及航班安全和旅客出行等大量敏感數(shù)據(jù)，因此在系統(tǒng)設(shè)計上除了考慮系統(tǒng)的訪問控制以外，數(shù)據(jù)安全也是系統(tǒng)設(shè)計的重中之重。內(nèi)網(wǎng)數(shù)據(jù)中心側(cè)主要存儲核心數(shù)據(jù)，可以實現(xiàn)對某些敏感信息（比如，身份證號、手機號、人像圖片等）通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實現(xiàn)隱私數(shù)據(jù)的可靠保護(hù)。在配置接口服務(wù)時，系統(tǒng)管理員設(shè)定表字段脫敏要求，數(shù)據(jù)共享過程中消息字段以脫敏數(shù)據(jù)傳輸。數(shù)據(jù)中心數(shù)據(jù)脫敏模塊可采用多種方式對數(shù)據(jù)進(jìn)行脫敏使用，滿足不同業(yè)務(wù)數(shù)據(jù)使用的敏感性需求，比如靜態(tài)脫敏實現(xiàn)數(shù)據(jù)抽取后直接進(jìn)行脫敏處理，后續(xù)數(shù)據(jù)與源數(shù)據(jù)無關(guān)，可隨意使用，動態(tài)脫敏在訪問敏感數(shù)據(jù)時進(jìn)行數(shù)據(jù)脫敏，可后臺設(shè)置給不同用戶、角色、權(quán)限的脫敏方案，對于特定用戶獲取密鑰后可實現(xiàn)脫敏恢復(fù)等，滿足不同使用場景對數(shù)據(jù)脫敏的要求。

4 數(shù)據(jù)共享平臺實現(xiàn)

平臺通過建立數(shù)據(jù)中臺進(jìn)行數(shù)據(jù)分析和計算，同時也可實現(xiàn)對敏感數(shù)據(jù)的復(fù)雜脫敏算法處理，在數(shù)據(jù)層和服務(wù)層中間建立計算層，部署數(shù)據(jù)加工計算組件，可以快速完成數(shù)據(jù)計算。基于歷史數(shù)據(jù)和實時數(shù)據(jù)，可在旅客、航班、物流、交通、資源等主題域進(jìn)行實時分析，執(zhí)行飛機時間預(yù)測、機場資源預(yù)測、安檢人流預(yù)測等數(shù)據(jù)挖掘及匯總展示，實時結(jié)果通過中臺API 服務(wù)形式提供出來，支持各新型業(yè)務(wù)，加速企業(yè)從數(shù)據(jù)到業(yè)務(wù)價值的過程。比如，在航班計算主題中，數(shù)據(jù)中臺通過獲取飛機實時發(fā)送的ADS-B 廣播數(shù)據(jù)，結(jié)合歷史數(shù)據(jù)精準(zhǔn)計算出航班預(yù)達(dá)時間，并定時校正，可以為駐場單位的各種資源調(diào)配提供數(shù)據(jù)支撐。在旅客數(shù)據(jù)方面，通過數(shù)據(jù)中臺進(jìn)行數(shù)據(jù)脫敏，同時也可為外部系統(tǒng)提供匯總數(shù)據(jù)和大屏集中展示，為機場管理人員提供輔助決策支撐，基于機場不同的數(shù)據(jù)主體進(jìn)行劃分，如圖4所示。

圖4：機場數(shù)據(jù)中臺主題域劃分

公有云數(shù)據(jù)交換中心是與外部機構(gòu)進(jìn)行交互的窗口，平臺根據(jù)數(shù)據(jù)交換的情況支持多種方式接入，對于高吞吐大數(shù)據(jù)場景，支持異步MQ 接入，用于數(shù)據(jù)量大，對數(shù)據(jù)接收反饋要求不高的情況；支持常見消息隊列協(xié)議（RocketMQ、Kafka 等），支持系統(tǒng)解耦，可降低數(shù)據(jù)傳輸?shù)男阅軌毫?。對于低延遲強同步數(shù)據(jù)場景，支持同步API 接入，主要為各類信息系統(tǒng)服務(wù)，支持常見的REST 協(xié)議和SOAP 協(xié)議，用于數(shù)據(jù)量大、精度要求高的核心生產(chǎn)數(shù)據(jù)傳輸。而對于靈活可配置的數(shù)據(jù)場景，支持基于企業(yè)總線的Web 服務(wù)接入，主要用于實時性低，涉及人工錄入和導(dǎo)入的數(shù)據(jù)。

基于混合云環(huán)境和機場業(yè)務(wù)場景實際需要，制定云上云下數(shù)據(jù)鏈路策略，實現(xiàn)數(shù)據(jù)鏡像差異化同步。根據(jù)實際需求，針對不同業(yè)務(wù)實時性要求，主要劃分了三種場景：

（1）實時性業(yè)務(wù)，如航班滑行軌跡、保障任務(wù)巡檢等，私有云每隔10 秒發(fā)起數(shù)據(jù)同步，拉取公有云數(shù)據(jù)到本地合并后，立即推送到公有云環(huán)境。

（2）準(zhǔn)實時性業(yè)務(wù)，如旅客行李托運、登機提醒等，私有云每隔1 分鐘發(fā)起數(shù)據(jù)同步，拉取公有云數(shù)據(jù)到本地合并后，定時1 分鐘推送到公有云環(huán)境。

（3）非實時性業(yè)務(wù)，如T+1 航班計劃發(fā)布、機位容量數(shù)據(jù)分析等，私有云在業(yè)務(wù)低峰期發(fā)起數(shù)據(jù)同步，拉取公有云數(shù)據(jù)到本地合并后，同樣在業(yè)務(wù)低峰期推送到公有云環(huán)境。

5 結(jié)束語

基于混合云技術(shù)的數(shù)據(jù)共享平臺的搭建，既解決了樞紐機場跨地區(qū)、跨資源數(shù)據(jù)共享交換的結(jié)構(gòu)性問題，又保證了航班、旅客等核心業(yè)務(wù)數(shù)據(jù)的安全性，實現(xiàn)了樞紐機場數(shù)據(jù)的匯聚、共享，打破了數(shù)據(jù)壁壘，能夠充分發(fā)揮數(shù)據(jù)資產(chǎn)應(yīng)有的價值。