基于交通大數據的智能信息服務平臺①

彭晨偉, 巴繼東

1(武漢郵電科學研究院, 武漢 430074)

2(武漢長江通信智聯(lián)技術有限公司, 武漢 430010)

基于交通大數據的智能信息服務平臺①

彭晨偉1, 巴繼東2

1(武漢郵電科學研究院, 武漢 430074)

2(武漢長江通信智聯(lián)技術有限公司, 武漢 430010)

隨著智能交通領域的迅速發(fā)展, 日益增長的交通數據量已經達到TB甚至PB級別, 智能交通領域也開始運用大數據技術對海量的行車數據進行深入的挖掘分析, 向著構建一個綜合性智能交通信息服務平臺方向發(fā)展. 本文提出了一種基于交通大數據的智能信息服務平臺的總體設計方案, 重點研究了系統(tǒng)的總體架構, 應用架構和數據中心的設計等三個方面. 通過測試, 該平臺可以很好的滿足用戶的前期需求, 平臺基于分層和分模塊的設計思想可以很好的應對用戶后期需求變更.

大數據; 智能交通; 電子卡牌; 物聯(lián)網; 智慧城市

近幾年來, 隨著信息技術與互聯(lián)網技術的飛速發(fā)展, 大數據成為最近最為火爆的技術概念, 尤其是在貴陽召開的“中國大數據產業(yè)峰會”之后, 大數據已經成為國家和各個城市在IT基礎領域下一步的重點發(fā)展方向. 繼大數據分析與挖掘技術在淘寶、京東、亞馬遜[1-3]等電商行業(yè)取得巨大的商業(yè)成功后, 大數據開始融入人們生活的方方面面.

智能交通系統(tǒng)是交通領域的一項重大工程, 也是各個國家的戰(zhàn)略方向. 根據我國《國家中長期科學和技術發(fā)展規(guī)劃綱要(2006-2020年)》[4], 智能交通將成為國內未來交通運輸業(yè)優(yōu)先發(fā)展的主題. 伴隨著智能交通戰(zhàn)略的發(fā)展, 海量的交通數據涌現(xiàn), 大數據處理技術為智能交通發(fā)展帶來新的機遇和挑戰(zhàn). 傳統(tǒng)的交通出行信息主要通過廣播來向用戶傳達, 同時信息服務平臺在獲取實時交通情況也存在一定困難, 這就不可避免的存在: 1)交通信息發(fā)布實時性不高; 2)可提供的信息服務種類單一, 多樣性缺失; 3)路段交通情況共享準確性不高; 4)系統(tǒng)平臺的升級轉型困難等缺點. 基于大數據的智能信息服務平臺結合了云計算、機器學習、數據融合與數據挖掘等先進技術[5,6], 與交管、公安、環(huán)保等部門合作, 從而能夠更加精準的為用戶提供各項專業(yè)服務, 智能交通信息服務平臺具備: 1)為交管部門提供具有各種時效性的實時道路交通導流、階段性交通擁堵情況預測、年度交通管網數據分析等服務;2)多維交通信息數據源的融合, 為更加準確的分析用戶行為提供數據支撐[7], 從而為各部門協(xié)調管理提供技術支持; 3)現(xiàn)如今物聯(lián)網技術促使智能交通行業(yè)發(fā)展迅速[8], 再加上數據量增長的勢態(tài)迅猛, 信息服務平臺需要有一定的寬容度為以后的平臺升級節(jié)約成本等.本文從大數據的角度出發(fā), 提出了基于交通大數據的信息服務平臺的開發(fā)與研究.

1 交通數據源分析

交通數據源是指智能交通信息服務平臺中涉及到的基礎數據和業(yè)務數據的來源地. 其中業(yè)務數據來源是指的電子車牌采集點、卡口設備以及視頻設備.

電子車牌(electronic registration identification of the motor vehicle)[9]是一種基于RFID(Radio Frequency Identification)技術的電子信息化標簽, 其具有高精度識別、高準確采集、高靈敏度的特點, 電子車牌包含該車輛基本信息, 可以幫助高頻識別讀寫器, 也即交通路網的采集點來采集各機動車的基本數據, 再通過采集點本身的地理位置信息與車輛的基本信息進行關聯(lián)就可以產生豐富的車輛行車數據.

電子車牌端采集的交通數據在數據量、準確度、效率、復雜程度等天然具備車聯(lián)網大數據端的屬性,這些數據不僅在數量上龐大, 在信息的維度上也豐富,這對后期的數據挖掘、數據變現(xiàn)產生直接影響.

除采集點采集的車輛行車數據之外, 還包含與本系統(tǒng)有密切業(yè)務往來的其他平臺的數據. 它們包括交警執(zhí)法記錄, 環(huán)保部門黃標車基本數據, 路橋收費管理處收費記錄, 電子停車場數據, 高速路收費記錄以及市政銀行等機構的數據.

2 系統(tǒng)平臺總體設計

2.1 總體設計思路

城市交通行業(yè)數據既有靜態(tài)數據, 又有實時動態(tài)數據; 數據類型既包括結構化數據、半結構化數據, 也包括大量非結構化數據; 數據管理在組織上存在多部門之間的數據整合與交換等實際業(yè)務情況. 考慮到以上因素, 本系統(tǒng)采用云計算+大數據處理平臺+數據服務總線的設計框架, 可以滿足高可靠、高可用建設成本低等要求.

本平臺的設計思路如下, 按功能職責分類主要分為通用服務組件和數據整理與挖掘兩個大的部分, 其中通用服務組件又包含了四個子功能: 1)交通流量常規(guī)統(tǒng)計與模糊分析; 2)車輛分類識別; 3)實時交通信息發(fā)布與誘導; 4)區(qū)域交通流量分析與告警. 數據整理與挖掘需要長期的數據積累和不斷的算法優(yōu)化, 將在平臺的后期逐步完善. 無論是通用服務還是數據挖掘功能, 都依托于對數據的高效處理, 結合具體的業(yè)務數據特點和業(yè)務需求來制定相應的處理方案將直接影響平臺的運行效率. 本平臺的特點是數據量龐大, 所以需要對一些特定的實時性要求較高的業(yè)務進行優(yōu)化處理,譬如建立索引等措施實現(xiàn)海量數據的快速查詢. 而對于海量數據的存儲與處理需要建立分布式、多節(jié)點的集群服務器, 充分利用服務器資源和充分使用業(yè)務模型可以進行趨勢預測和決策分析. 計算平臺和存儲平臺可以根據實際的需求實現(xiàn)線性的彈性擴展是系統(tǒng)設計對寬容度的考慮, 可保證平臺長期滿足業(yè)務需求和升級換代的低成本體現(xiàn).

2.2 系統(tǒng)總體框架

智能交通信息服務平臺的總體設計參照物聯(lián)網層次模型, 采用分層設計思想, 每一層為上一層提供面向服務的接口調用, 同時結合物聯(lián)網、云計算、大數據、服務計算等技術特點, 平臺總體設計總共分為5層,由低到高分別為感知設備層、傳輸層、平臺層、服務層和展示層[10]. 采用分層架構不但可以降低系統(tǒng)各個模塊之間的耦合性, 同時提高模塊之間的功能內聚性,而且有利于在系統(tǒng)實際開發(fā)過程中實現(xiàn)代碼的復用,大大提高了工作效率并降低開發(fā)成本. 系統(tǒng)總體架構圖如圖1所示.

2.3 系統(tǒng)各層功能分析

1) 感知設備層: 感知設備層是指能夠對標識對象,即機動車的行為進行感知, 并執(zhí)行采集操作的所有方法的集合. 設備主要包括RFID設備、卡口設備、視頻設備, 完成主要完成車輛標識、位置、時間、狀態(tài)等信息的協(xié)議適配、信息采集和上傳, 采集的信息主要包括電子車牌信息、抓拍圖片、標清視頻以及位置等其他信息.

圖1 系統(tǒng)總體框架圖

2) 傳輸層: 傳輸層是將感知設備層感知(采集)到的行車數據傳輸到數據中心. 提供城域網、Wi-Fi、2G/3G/4G等多種通信方式, 實現(xiàn)采集端與后臺雙向數據傳輸.

3) 平臺層: 平臺層包含數據處理引擎, 數據存儲和云平臺管理三個子功能. 其中數據處理引擎和數據存儲兩者是協(xié)作統(tǒng)一的關系, 數據處理引擎將傳輸層傳遞過來的基本數據進行剔重、清洗和補漏等操作, 把原始數據轉換為系統(tǒng)的統(tǒng)一標準數據格式, 數據存儲是將各類數據按照規(guī)則存入關系型數據庫或分布式數據庫; 云管理平臺完成對整個支撐服務平臺相關IT資源的管理和調度, 為平臺其他部分提供資源服務. 平臺層是整個系統(tǒng)的核心, 采用云計算和大數據技術, 支持對底層的物理資源及各類數據進行有效管理, 為上層的業(yè)務應用提供部署環(huán)境和業(yè)務構件, 在大數據處理框架Hadoop下提供通用服務組件. 利用虛擬化技術實現(xiàn)在線遷移、高可用等資源調度技術, 利用storm、map-reduce技術實現(xiàn)實時、批量的大規(guī)模數據處理, 建立服務SOA架構的企業(yè)服務中心, 建立與外部系統(tǒng)之間的數據交換系統(tǒng).

4) 服務層: 服務層訪問基于平臺層提供的服務組件, 開發(fā)業(yè)務應用, 并封裝為Dubbo架構的服務接口(可暴露為多種協(xié)議, 如dubbo://, rmi://, hessian://, http://,webservice://, thrift://, memcached://, redis://等), 供展示層調用.

5) 展示層: 利用HTML5、手機APP、統(tǒng)一門戶、單點登錄等技術完成和用戶的交換, 支持通過不同終端使用平臺的各類服務.

2.4 標準規(guī)范體系建設

針對交通數據以及相關業(yè)務的復雜多樣性的特點,需要建立一套標準規(guī)范體系來指導開發(fā)過程, 保證項目的先進行、規(guī)范性和持續(xù)性, 標準規(guī)范體系建設包含以下四個方面: 信息服務標準, 元數據標注, 數據源標準和基礎數據資源庫體系. 模型每一層均按照一套標準規(guī)范體系來實施建設, 指導整個開發(fā)過程順利進行.

1) 基礎數據資源庫體系: 用于劃分數據來源, 將通過設備采集到的數據或與其它平臺交換得到的數據進行歸類、劃分, 為建立不同的數據傳輸、交換協(xié)議提供基礎.

2) 數據源標準: 用于數據引擎處理不同數據源, 將數據源傳輸過來的數據進行標準化處理, 根據從各數據源得到的數據對象之間的關聯(lián)關系, 在本系統(tǒng)中將各類數據加以關聯(lián)整理, 為后續(xù)的數據庫設計, 數據存儲和數據挖掘提供支持.

3) 元數據標準: 將得到所有數據按照人、機、物、法、環(huán)的概念分類[11], 統(tǒng)一制定一組描述數據的元數據標準, 保證數據的規(guī)范性和持續(xù)性.

4) 信息服務標準: 主要為對外數據服務提供支持,按客戶的角色不同、等級權限等標準為客戶提供不同等級的數據服務, 保證數據的安全性.

3 系統(tǒng)應用架構

3.1 系統(tǒng)應用架構分析

本信息服務平臺滿足城市智能交通信息采集、傳輸、交換、清洗、存儲以及大數據分析處理、資源管理與調度、平臺監(jiān)控與運維、安全保障等方面的要求,系統(tǒng)應用架構包括以下幾個部分: 通用組件服務/數據服務, 數據處理, 云管理平臺, 運維管理, 安全管理以及其他應用. 系統(tǒng)應用架構如圖2所示.

3.2 應用架構模塊分析

1) 通用組件服務/數據服務: 提供智能交通應用通用的軟件組件服務, 包括交通流量常規(guī)統(tǒng)計與模糊分析、車輛分類識別與告警、實時交通信息發(fā)布與誘導、區(qū)域交通流量分析與告警. 在通用服務組件基礎之上, 可以根據服務對象的等級、權限不同, 為用戶提供不同的服務內容、服務質量和信息安全等級的數據服務, 數據服務將分析結果按照信息服務標準封裝成一定形式提供給外部客戶使用. 這些客戶按照等級權限可以區(qū)分為公權和私權用戶, 包括前述的與本平臺有密切業(yè)務合作的公安, 環(huán)保, 市政, 銀行以及商家等客戶.

圖2 系統(tǒng)總體框架圖

2) 數據處理: 包括了數據采集系統(tǒng)、消息隊列、實時處理系統(tǒng)、批量處理系統(tǒng)和數據存儲與管理系統(tǒng)等幾個部分.

① 數據采集系統(tǒng)完成對數據的接收、重整、清洗等操作, 收集所有采集點的采集信息傳遞給消息隊列.

② 消息隊列負責接收采集系統(tǒng)傳來的數據, 根據處理需求分發(fā)給不同的系統(tǒng), 支持發(fā)布訂閱模式, 支持集群的彈性擴展.

③ 實時處理系統(tǒng)主要面向實時性要求較高的業(yè)務(T+0), 對采集到的數據進行即時的處理, 滿足實時交通應用需求.

④ 批量處理系統(tǒng)主要面向非實時/準實時的分析型業(yè)務(T+1), 對采集到的數據進行分析挖掘, 滿足分析型交通應用需求.

⑤ 數據存儲和管理系統(tǒng)主要對采集的數據和分析挖掘的數據進行存儲和管理, 完成數據進行持久化和訪問管理等功能.

3) 云管理平臺: 對整個支撐服務平臺相關IT資源的管理和調度, 為平臺其他部分提供資源服務. 主要完成服務器、存儲和網絡設備的整合與服務提供, 通過服務的形式把資源提供給不同業(yè)務系統(tǒng)使用.

4) 運維管理: 主要完成對IT設備的監(jiān)控與運維、采集設備的監(jiān)控與運維、電子牌運行狀態(tài)統(tǒng)計與分析等子系統(tǒng), 結合相關的人員和運維制度, 建成統(tǒng)一的、多維度的、涵蓋業(yè)務的運維保障系統(tǒng). 提高平臺的可用性和運維效率.

5) 安全管理: 安全管理要建立一套符合等保三的安全體系, 涵蓋安全的各個方面, 當前階段要重點考慮云平臺的安全和數據的安全管理.

6) 其他: 數據交換系統(tǒng)主要完成平臺與外部數據源之間的數據同步與交換, 保證各方在數據方面保持一致, 便于系統(tǒng)協(xié)作和信息管理.

4 數據中心網絡設計

4.1 網絡設計圖

數據中心網絡設計遵循以下五點基本原則: 1) 實用性; 2) 安全性; 3) 先進性; 4) 適用性; 5) 可靠性[12]. 在數據中心網絡結構設計中, 采用了區(qū)域化的結構設計.區(qū)域化的結構設計所建設的網絡具有良好的擴充性并且便于區(qū)域性管理, 而且后期若要變更子網模塊設計時, 在不破壞現(xiàn)有的網絡情況下, 新的子網模塊和新的網絡技術能被更容易集成進整個系統(tǒng)中. 該設計將整個系統(tǒng)按應用層次的不同分成不同的區(qū)域, 包括核心交換區(qū)、服務器區(qū)、運行維護區(qū)、廣域網接入區(qū)等.各個區(qū)域均通過接入交換機與核心交換機冗余連接,實現(xiàn)清晰的系統(tǒng)邊界. 數據中心網絡設計圖, 如圖3所示.

4.2 網絡設計分析

網絡結構設計上分為三個層次來設計: 核心層、匯聚層和接入層.

1) 核心層設計: 核心層交換模塊承擔著互聯(lián)互通各個組件的任務, 所有的內部模塊間的通信都通過該模塊進行, 所以核心交換模塊需要功能足夠強大的網絡交換機來支撐, 且具備很高的背板交換能力、端口密度、設備可靠性. 采用的網絡拓撲為雙核心雙歸屬拓撲結構, 用兩臺核心交換機互為備份, 其它所有業(yè)務區(qū)域模塊都通過雙歸的方式接入雙核心. 作為核心層采用萬兆光纖模塊鏈接各功能區(qū)域的匯聚交換機, 核心層之間采用冗余鏈路設計, 通過萬兆捆綁.

圖3 數據中心網絡圖

雙核心雙歸屬拓撲結構具有以下優(yōu)勢[13]:

① 網絡拓撲結構完全對稱, 核心交換機與匯聚交換機之間存在兩條等值負載分擔的鏈路, 既保證了系統(tǒng)的高帶寬, 同時也提高了系統(tǒng)的可靠性.

② 網絡設備少, 占用機房空間, 耗電量小, 管理維護簡單, 成本低.

③ 對稱結構避免了網絡的單點故障, 任何一個核心節(jié)點失效, 都不會影響系統(tǒng)的正常運行, 系統(tǒng)的可靠性高.

2) 匯聚層設計: 每個功能區(qū)啟用兩臺匯聚交換機分別與核心層連接. 接入交換機采用堆疊方式, 通過千兆鏈路上行到匯聚交換機, 匯聚交換機通過萬兆光纖鏈接核心層, 每個功能區(qū)的匯聚交換機之間采用捆綁冗余鏈路設計.

3) 接入層設計: 接入采用支持堆疊、可擴展萬兆的獨立式三層交換機, 與匯聚交換機采用千兆連接, 實現(xiàn)信息點的最終接入. 通過交換機堆疊技術, 可以多臺千兆交換機構成一個堆疊組并可配置萬兆上行口、千兆備份接口實現(xiàn)與核心交換機之間的雙歸屬連接, 完全對稱鏈路連接狀況, 通過啟用三層協(xié)議, 方便實現(xiàn)基于鏈路開銷(cost)的負載均衡.

5 平臺測試結果與分析

5.1 測試環(huán)境說明

本平臺所有的測試結果均在滿足下測試環(huán)境的條件下所得, 測試環(huán)境如表1所示.

5.1 測試環(huán)境說明

下面對幾個主要功能點的實現(xiàn)情況作如下說明:通過指定采集方向和車流量統(tǒng)計時間起始點進行采集方向車流量統(tǒng)計查詢, 查詢結果如圖4所示.

表1 測試環(huán)境

圖4 采集方向車流量統(tǒng)計

通過指定大橋編號和查詢起始時間, 以小時為單位為展現(xiàn)統(tǒng)計結果, 查詢結果如圖5所示.

按車輛檔案號軌跡分析主要按照車輛檔案號進行模糊軌跡查詢, 如圖6所示.

黃標車違章告警主要按照業(yè)務規(guī)則, 對于需要進行告警的黃標車輛進行分類識別, 對于符合業(yè)務規(guī)則的軌跡數據進行告警記錄并轉發(fā)至指定目標地址, 查詢結果如圖7所示.

通過以上對主要的功能項的測試可以看出, 本平臺已經滿足用戶前期提出的基本需求, 并且能支持50個擁堵路段車流及路段平均車速的并發(fā)實時分析,響應時間不超過5秒, 且能在6:00-23:00期間持續(xù)運行;支持150個并發(fā)車輛的歷史跟蹤查詢, 單車軌跡查詢響應時間不能查過15秒; RFID歷史數據查詢: 一周內1-2秒, 一個月內5-10秒, 3個月內10-30秒內; 肇事逃逸等特定車輛追溯查證: 一周內5-8秒, 一個月內10-20秒,3個月內20-40秒內.

圖5 主城過江大橋車流量統(tǒng)計

6 結論

本文給出了在交通大數據背景下, 智能信息服務平臺的總體方案, 重點介紹了系統(tǒng)的總體架構, 系統(tǒng)的應用架構和系統(tǒng)數據中心的設計, 從不同角度描述了系統(tǒng)所采用的設計思想. 該信息服務平臺已在某地區(qū)智能交通項目中投入測試, 測試表明, 該平臺滿足用戶前期提出的基本需求, 在技術方面充分證明了其可行性. 在后期的平臺建設方面還要結合用戶的具體需求做進一步的改進和完善, 該平臺的設計對于發(fā)掘交通大數據在智能交通信息服務領域的研發(fā)具有一定的參考價值和借鑒意義.

圖6 按照車輛檔案號進行模糊軌跡查詢

圖7 黃標車違章告警

1楊春華. 大數據在中國B2C電子商務精準營銷中的應用研究——以京東商城為例. 中小企業(yè)管理與科技(下旬刊),2016, (3): 104–107.

2羅潔, 張彩霞. 中國B2C電子商務快速發(fā)展原因淺探——以天貓商城為例. 市場論壇, 2016, (4): 47–51.

3Cao S, Manrai AK. Big data in marketing & retailing.Journal of International & Interdisciplinary Business Research, 2014, (1): 23–42.

4中華人民共和國國務院. 國家中長期科學和技術發(fā)展規(guī)劃綱要(2006–2020). 北京: 中華人民共和國國務院, 2006.

5Xia YJ, Chen JL, Lu XD, et al. Big traffic data processing framework for intelligent monitoring and recording systems.Neurocomputing, 2016, 181: 139–146. [doi: 10.1016/j.neucom.2015.07.140]

6Shi Q, Abdel-Aty M. Big data applications in real-time traffic operation and safety monitoring and improvement on urban expressways. Transportation Research Part C:Emerging Technologies, 2015, (58): 380–394. [doi: 10.1016/j.trc.2015.02.022]

7Tao S, Corcoran J, Mateo-Babiano I, et al. Exploring bus rapid transit passenger travel behaviour using big data.Applied Geography, 2014, (53): 90–104. [doi: 10.1016/j.apgeog.2014.06.008]

8Liu CL. Intelligent transportation based on the internet of things. 2012 2nd International Conference on Consumer Electronics, Communications and Networks (CECNet).Yichang, China. 2012. 360–362.

9趙文婧, 王剛. 基于RFID的電子車牌管理系統(tǒng). 微計算機信息, 2010, 26(29): 150–152, 193. [doi: 10.3969/j.issn.2095-6835.2010.29.059]

10王興文, 黃礎章. RFID技術在智能交通中的大規(guī)模應用模式分析. 中國電子商情(RFID技術與應用), 2009, (1): 20–24.

11易光旺. 智能建筑安全防范系統(tǒng)的評價指標體系研究. 中國安全生產科學技術, 2010, 6(3): 147–151.

12張?zhí)熳? 基于RFID技術的物聯(lián)網智能交通系統(tǒng)開發(fā)研究.蘭州交通大學學報, 2012, 31(4): 112–116.

13解書凱. 基于NGN的企業(yè)通信網絡平臺設計[碩士學位論文]. 成都: 電子科技大學, 2012.

Intelligent Information Service Platform Based on Traffic Big Data

PENG Chen-Wei1, BA Ji-Dong2

1(Wuhan Research Institute of Posts and Telecommunications, Wuhan 430074, China)2(Wuhan YCIG iLink Technology Co. Ltd., Wuhan 430010, China)

With the development of intelligent transportation technology, the increasing traffic data volume has reached TB or even PB level. The intelligent transportation field has begun to use big data technology to analyze deeply the massive traffic data, to build a comprehensive intelligent traffic information Service platform. In this paper, an intelligent information service platform based on traffic big data is proposed. The paper mainly analyzes this platform from the overall architecture, application architecture and data center design of the system. Through the test, the platform can meet the early needs of the users. The platform-based hierarchy and sub-module design can be a good response to the user needs change later on.

big data; intelligent transportation; ERI; IOT; smart city

彭晨偉,巴繼東.基于交通大數據的智能信息服務平臺.計算機系統(tǒng)應用,2017,26(7):97–103. http://www.c-s-a.org.cn/1003-3254/5851.html

2016-11-07; 收到修改稿時間: 2016-12-05