基于混合云的城市交通大數(shù)據(jù)協(xié)同分析平臺

李媛翯 張健欽，2 趙 明

（ 1、北京建筑大學(xué) 測繪與城市空間信息學(xué)院,北京100044 2、城市空間信息自然資源部重點實驗室，北京100044）

1 概述

近年來，交通數(shù)據(jù)來源越來越廣，數(shù)據(jù)類型也日益豐富，而不同交通信息系統(tǒng)之間相互獨立，易出現(xiàn)各自為政、條塊分割、大量重復(fù)建設(shè)和業(yè)務(wù)無法協(xié)調(diào)等問題，建立一個兼具大數(shù)據(jù)分析和各部門協(xié)同功能的平臺迫在眉睫?；旌显萍婢邚椥再Y源和安全保障，有存儲數(shù)據(jù)量大、計算能力強、信息融合可共享等優(yōu)點。因此本文設(shè)計了一個基于混合云的交通大數(shù)據(jù)協(xié)同工作平臺的系統(tǒng)框架和多用戶協(xié)同分析機制，并進(jìn)行了研發(fā)和應(yīng)用實驗。

2 系統(tǒng)設(shè)計

2.1 系統(tǒng)架構(gòu)

結(jié)合混合云計算技術(shù)，本文從全局的視角出發(fā)，考慮到資源集成、業(yè)務(wù)互聯(lián)和數(shù)據(jù)互通等方面后，進(jìn)行了系統(tǒng)總體框架的設(shè)計，如圖1。

本系統(tǒng)一共分為六層，其中數(shù)據(jù)資源層包含數(shù)據(jù)采集層和數(shù)據(jù)層。數(shù)據(jù)采集是指通過設(shè)備獲取交通相關(guān)數(shù)據(jù)的過程。數(shù)據(jù)層是對采集到的數(shù)據(jù)進(jìn)行初步篩選、整理、格式轉(zhuǎn)換等預(yù)處理，方便后續(xù)的存儲、調(diào)用、分析和封裝工作。數(shù)據(jù)邏輯層包含數(shù)據(jù)存儲和數(shù)據(jù)分析計算兩種功能，為數(shù)據(jù)服務(wù)層提供數(shù)據(jù)支撐。數(shù)據(jù)邏輯層即混合云，由本地數(shù)據(jù)庫、私有云和公有云組成，其中私有云僅限內(nèi)網(wǎng)可以登錄。數(shù)據(jù)服務(wù)層負(fù)責(zé)不同模塊之間的數(shù)據(jù)交換和傳輸。數(shù)據(jù)表現(xiàn)層負(fù)責(zé)web 前端界面用戶交互操作、數(shù)據(jù)挖掘結(jié)果的展示。協(xié)同層是指通過視頻會議和云文檔的方式輔助用戶協(xié)同。用戶層包括數(shù)據(jù)管理員、專家、公眾和決策者。

圖1 系統(tǒng)架構(gòu)

圖2 系統(tǒng)協(xié)同機制（灰色表示異地登陸平臺）

2.2 系統(tǒng)協(xié)同機制

本文中的協(xié)同分析主要是指來自不同地理位置和背景的用戶根據(jù)各自的領(lǐng)域共同解決某些交通問題的過程，貫穿于從數(shù)據(jù)收集、存儲、分析到?jīng)Q策的全過程。城市交通大數(shù)據(jù)協(xié)同分析平臺的協(xié)同機制如圖2。其中，數(shù)據(jù)管理員負(fù)責(zé)確定數(shù)據(jù)的敏感性，并清理上載的數(shù)據(jù)，以確保數(shù)據(jù)的安全和質(zhì)量。專家負(fù)責(zé)算法模型的研究和實現(xiàn)，以及對計算結(jié)果的分析。決策者負(fù)責(zé)根據(jù)專家的分析和公眾反映的實際情況制定政策。

圖3 原型系統(tǒng)架構(gòu)

2.3 系統(tǒng)安全保障

本文通過建立防火墻將內(nèi)網(wǎng)與互聯(lián)網(wǎng)或其他外部網(wǎng)絡(luò)隔離開來，并通過限制網(wǎng)絡(luò)訪問來保護內(nèi)網(wǎng)，從而確保云中數(shù)據(jù)傳輸?shù)陌踩?。同時在混合云中部署SSL VPN 設(shè)備和虛擬映像，建立私有的加密傳輸通道，避免數(shù)據(jù)盜竊和非法攻擊等安全威脅。用戶通過安裝VPN 客戶端建立SSL VPN 連接，遠(yuǎn)程訪問虛擬私有云進(jìn)入系統(tǒng)登錄界面。在確認(rèn)用戶的身份信息之后，系統(tǒng)將自動跳轉(zhuǎn)到為內(nèi)網(wǎng)用戶服務(wù)的數(shù)據(jù)分析界面。

此外，系統(tǒng)設(shè)有用戶操作記錄功能，所有操作信息都記錄在日志文件中，并定期上傳到云中。

3 原型系統(tǒng)

以北京為例，每天會產(chǎn)生數(shù)億條動態(tài)交通運行數(shù)據(jù)，其中大部分具有位置和時間屬性信息。依據(jù)北京市交通數(shù)據(jù)結(jié)構(gòu)和用戶可視化分析需求，本文基于上述系統(tǒng)架構(gòu)和協(xié)同機制研發(fā)了北京市交通大數(shù)據(jù)可視化系統(tǒng)。目前，該系統(tǒng)已成功在阿里云服務(wù)器上部署并運行。北京市交通大數(shù)據(jù)可視化系統(tǒng)架構(gòu)如圖3。

根據(jù)出行數(shù)據(jù)的來源，系統(tǒng)分為出租車、共享單車、公交車、停車和地鐵五大模塊模塊。系統(tǒng)支持內(nèi)網(wǎng)用戶在web 端進(jìn)行固定格式數(shù)據(jù)上傳、數(shù)據(jù)查詢、可視化服務(wù)調(diào)取等操作；其他用戶可查看可視化分析結(jié)果，且支持在討論區(qū)對結(jié)果進(jìn)行評價和反饋。

4 結(jié)論

為有效管理多源異構(gòu)的交通大數(shù)據(jù)，并實現(xiàn)數(shù)據(jù)的高效協(xié)同利用和分析，本文設(shè)計了基于混合云計算技術(shù)的交通大數(shù)據(jù)協(xié)同分析平臺的系統(tǒng)架構(gòu)和多用戶協(xié)同分析機制，并介紹了基于該系統(tǒng)架構(gòu)下原型系統(tǒng)的實現(xiàn)。當(dāng)前，為萬物互聯(lián)網(wǎng)提供技術(shù)支持的5G 已正式投入使用，進(jìn)一步推動了數(shù)字雙城的建設(shè)。如何繼續(xù)提高海量數(shù)據(jù)下的計算效率，保證計算的實時性和穩(wěn)定性將成為未來研究的主要方向。