智慧高速數據中臺建設方案研究

摘要：我國高速公路具有分布地域廣、通車里程長、機電設備多、管理系統(tǒng)雜、智慧化程度低的特點。近年來，隨著信息技術的發(fā)展，各高速公路管理公司都進行了大量信息化建設，這些信息化系統(tǒng)已成為各單位不可或缺的工作手段。然而快速的信息化擴張也導致信息化系統(tǒng)存在數量眾多、建設分散、條塊分割、對接不暢等各類問題。文章提出一種智慧高速數據中臺建設方案，利用中臺實現高速公路各類管理系統(tǒng)數據的統(tǒng)一匯聚、統(tǒng)一治理、統(tǒng)一加工、統(tǒng)一共享。實踐證明，該系統(tǒng)具備較強的實用性，可實現高速公路各類數據的有效管控。

關鍵詞：智慧高速；數據中臺；數據治理；數據集成

中圖分類號：TP23 文獻標志碼：A

0 引言

近年來，隨著信息化建設的深入，高速公路管理者在信息化建設過程中沉淀了大量的不同層次、不同維度、不同來源、不同歷史時期、不同規(guī)模的信息資源。數據類型廣、數據體量大，海量的數據分布在跨部門、跨領域、跨平臺的不同時期建設的業(yè)務應用系統(tǒng)中。這些信息系統(tǒng)數據標準不統(tǒng)一、共享程度不高，形成數據孤島，無法產生聚集效應，大量問題開始逐步顯現。

（1）信息化與業(yè)務融合深度不足。

已有信息化系統(tǒng)“各自為政、條塊分割、煙囪林立、自成體系”的問題突出，信息化系統(tǒng)建設理念相對落后，共性支撐能力不足，不能順應“大中臺、小前臺”的發(fā)展趨勢［1］。

（2）相關業(yè)務數據資源整合能力不足。

已有的信息化應用“多、小、散”問題突出，一路一系統(tǒng)、一橋一系統(tǒng)、一隧一系統(tǒng)的現象比比皆是，系統(tǒng)數據分散、缺乏有效整合，數據一致性差、冗余度高。數據質量低，數據匯聚融通和挖掘分析能力不足，無法支撐高速公路智慧化發(fā)展。

（3）數據資源全生命周期的管理未形成。

沒有實現高速公路各類數據全生命周期管理流程的無縫銜接，數據的完整性、真實性、及時性得不到充分保障，從而導致缺少輔助管理決策、應急指揮調度和公共服務等數據支撐能力。

（4）數據資源管理體系有待完善。

數據資源管理體系尚未建成，配套的管理制度、管理流程、考核標準、運維保障體系不健全，導致數據資源建設標準不統(tǒng)一、信息系統(tǒng)數據互通難度大、數據比對分析效率低。

面對這些問題，高速公路管理者急需一種新的技術手段實現高速公路系統(tǒng)中的各類數據資源從采集、治理到建模、交換的全生命周期管理。

近些年來，智慧高速建設中存在的問題已經引起了國家的高度重視［2］。2021年交通運輸部發(fā)布《數字交通“十四五”發(fā)展規(guī)劃》，要求統(tǒng)籌集約建設平臺基礎架構、數據資源和網絡安全體系，推動各業(yè)務應用系統(tǒng)共建共用、智能協同和迭代完善；推進綜合交通數據中心體系建設，加強數據資源的整合共享、綜合開發(fā)和智能應用，打造綜合交通運輸“數據大腦”。

1 中臺架構

高速公路建設里程長、分布范圍廣、機電設備繁雜、管理系統(tǒng)眾多。就機電設備而言，高速公路廣泛布設有車檢器、超限檢測器、攝像頭、情報板、擴音器、測速儀、雷達等各類設備，這些設備參數標準不一、反饋數據眾多。而與這些設備相對應的是近些年來高速公路各路段公司、建管單位、運維單位、隧管站、片區(qū)管理中心、省中心等各管理部門建設的各類管理系統(tǒng)。這些系統(tǒng)存在數據量大、數據標準不一致、數據不互通等問題導致高速公路智慧化建設困難重重。

本文提出的智慧高速數據中臺是充分利用大數據、云計算、人工智能等技術手段，通過對數據的治理、集成、開發(fā)，實現數據的“打通、整合、服務”，對內服務高速公路管理單位，提高企業(yè)運營效率，輔助經營決策；對外基于大數據創(chuàng)新商業(yè)模式，實現數據價值變現。通過搭建數據中臺，整合高速公路現有的安全應急、隧道監(jiān)控、聯網收費、路產維護管理、服務區(qū)運行、路產保護、道路資產、路網運行監(jiān)測、公眾出行服務、能源監(jiān)測、路域經濟、機電運維管理等方面數據源，分步驟開展數據治理，完成數據的集成與開發(fā)，挖掘數據價值，整合高速公路建、管、養(yǎng)、運、服的全生命周期數據，形成智慧高速大數據中心［3］，打通業(yè)務數據鏈條，提高高速整體運營效率，形成行業(yè)大數據，開展數據運營，輔助經營管理分析決策，實現數據價值變現，提高高速管理單位的核心競爭力。

智慧高速數據中臺的搭建主要通過統(tǒng)一的數據架構來建立數據標準，為后續(xù)新建系統(tǒng)提供建設依據，保證后續(xù)系統(tǒng)無縫接入；通過統(tǒng)一歸集加工數據資產，形成統(tǒng)一的數據資產目錄，消除數據孤島、實現業(yè)務數據的上傳下達及互聯互通；通過有效構建數據治理環(huán)境，包括規(guī)范政策流程和數據責任組織和人員的操作，保障數據質量持續(xù)提升；通過面向場景的數據服務，支撐管理和運營業(yè)務效率提升，支撐智能輔助決策分析，對內對外提供數據價值；通過建立數據服務模型和分析決策模型，為上層應用提供安全、一致的數據訪問和數據分析服務，支撐輔助決策分析；通過API接口管理實現數據共享，方便內外部系統(tǒng)數據交互，為后續(xù)內外部應用搭建數據交互橋梁。

1.1 功能架構

本文設計的智慧高速數據中臺，功能包含數據匯聚、數據處理、數據共享、數據應用、數據門戶、數據開發(fā)以及數據治理等內容［4］，具體功能架構如圖1所示。

1.1.1 數據匯聚

實現高速公路各機電設備及軟件系統(tǒng)數據的批量采集、滿足快速處理的流式采集，支持數據的分發(fā)及匯聚任務監(jiān)控等多項功能。同時對未來接入更多系統(tǒng)及數據源進行接口預留，便于后期功能擴展。

1.1.2 數據資源中心

存放數據中臺的核心數據資產，匯聚高速公路全生命周期數據，經過標準化處理后，實現數據資產的集中管理、共享使用。

構建適用于高速公路運營管理單位經營決策支撐的指標/標簽/模型體系，實現基于指標/標簽/模型的數據統(tǒng)計、分析、挖掘能力，服務高速管理部門數據驅動的智慧決策和運營。

1.1.3 數據共享

提供數據統(tǒng)一訪問、按需開放能力，實現各業(yè)務系統(tǒng)之間的數據共享，消除數據孤島。

1.1.4 數據應用

搭建各類高速公路場景模型，對智慧高速數據中臺數據進行深度分析，為領導決策和企業(yè)協同提供數據支撐，為日常運營管理提供數據依據。應用場景包括數據運營、決策分析等。

1.1.5 數據門戶

構建數據中臺數據資產市場，用于監(jiān)控整體數據情況，包括數據存儲情況、數據分布情況、數據流向等。

1.1.6 數據治理

提供數據治理工具以及運營服務，確保數據一致性以及數據質量滿足要求。

1.1.7 數據開發(fā)

通過可視化開發(fā)與分析工具，降低開發(fā)、運維、管理難度，從源頭進行數據標準管控，實現數據治理前置。

1.2 技術架構

本文所述智慧高速數據中臺方案整合了大數據平臺、MPP數據倉庫、數據集成平臺、數據治理平臺等能力，能為高速公路運營管理部門構建智慧高速全域數據中樞，實現數據使能、應用使能，打造數據的“采、存、算、管、用”全流程，助力公司數字化轉型。

大數據平臺和MPP數據倉庫提供高性能、分布式的離線計算、實時計算、全文檢索等能力，對外提供統(tǒng)一數據開發(fā)引擎，高效完成數據計算工作。

數據集成平臺提供高效率、高可靠、全場景的數據采集、轉換、處理能力，提供數據共享交換、數據探索、智能分析等功能，在消除“數據壁壘”的同時“釋放”數據價值。

數據治理平臺提供數據標準、數據質量、數據安全、數據資產等一系列數據管理能力，盤清數據資產，保證數據質量和數據安全［5］。

2 平臺建設

2.1 數據集成平臺

數據集成平臺采用數據集成、服務集成及消息集成3種方式［6］。數據集成方式適用于數據庫數據采集場景，服務集成方式適用于API接口數據接入與發(fā)布場景，消息集成用于實時數據采集場景。

數據集成模塊是一個以設計、部署、調度、監(jiān)控和管理ETL過程為核心功能的應用系統(tǒng)。該系統(tǒng)可以通過流程圖式的圖形化工具快速、靈活地設計ETL過程，實現ETL任務部署Z0zLtPql4+jWyItQR08+sh9ctoBhq9ifLOyP3c8mFXo=、調度及監(jiān)控等管理活動，提供一體化數據集成開發(fā)環(huán)境。

數據集成工作流程如圖2所示，集成模塊由執(zhí)行器、調度器、設計器、管理頁面組成。執(zhí)行器是執(zhí)行任務的實際容器，用于執(zhí)行服務端發(fā)送的作業(yè)中的任務。調度器用于接收服務端下發(fā)的作業(yè)，并將作業(yè)中的環(huán)節(jié)調度到具體的執(zhí)行器中運行。

服務集成主要功能是進行API接口數據采集、將數據以API接口形式發(fā)布場景。服務集成主要進行API的注冊、測試、部署、授權、編輯、刪除等全生命周期管理。目前支持注冊API的類型包括數據API、通用API、函數API 3種。數據API可以將數據庫表字段共享出去，以restful接口的形式對外提供；通用API主要用于接入第三方系統(tǒng)業(yè)務API，實現接口的代理轉發(fā)；函數API可以通過編寫js腳本的方式，實現復雜場景下的API編排。

數據存儲平臺包含了全域數據平臺主要數據架構層次、各層數據采集、加載、治理等處理流程中的數據計算和存儲，支撐智慧高速全域數據的批量計算與實時計算業(yè)務。通過數據采集，可將數據加載到MPP分布式數據庫和大數據平臺，并進行數倉建模［7］。通過數據的存儲計算，在大數據平臺上生成原始庫和基礎庫，在MPP分布式數據庫上生成主題庫和專題庫。大數據平臺主要提供HDFS、Hbase、Hive等組件，負責大批量離線數據的存儲，并能提供分布式文件存儲、海量數據處理、實時數據分析、交互式查詢、數據檢索、安全認證與權限管理等功能。針對上層業(yè)務海量數據實時查詢需求，MPP分布式數據庫負責專題庫的數據存儲。

考慮到高速公路設備種類多、信息化系統(tǒng)繁雜的特點，智慧高速數據中臺應具備對多樣性數據采集的能力，包括結構化、半結構化以及非結構化等數據。數據來源上應包括但不限于各種數據庫數據、物聯數據、日志數據以及csv/json/xml等半結構化和非結構化文件數據等。實現海量多源異構數據的采集和導入，包括支持傳統(tǒng)數據庫、本地、FTP等多種數據源。實現結構化、半結構化、非結構化數據的采集和導入以及實現定時、實時等多種數據采集導入［7］。

2.1.1 業(yè)務系統(tǒng)集成

基于業(yè)務數據滿足將異構數據源的數據接入數據湖，數據中臺應具備離線數據和在線數據采集能力［8］。

針對離線數據，實現主流數據庫的數據批量采集，并具備Web Service、Rest類型接口，TXT、CSV、Excel、JSON、XML等非結構化數據以及Kafka、MQTT、IBM MQ、Active MQ等消息數據采集能力。

2.1.2 物聯系統(tǒng)集成

針對實時以及持久化的物聯數據，通過接口、物聯協議、庫表等多種方式采集，滿足實時分析和離線計算的業(yè)務需求。具備MQTT等協議采集方式，同時具備InfluxDB、ClickHouse等時序數據庫的數據接入能力。

2.1.3 日志&文件系統(tǒng)集成

平臺能將Excel、CSV、XML、JSON等日志類文件解析為結構化數據，并通過FTP、SFTP、HTTP等協議采集文件，實現日志數據采集入湖。

2.1.4 流式數據系統(tǒng)集成

實現傳感數據、告警數據、網絡監(jiān)控數據采集。通過Kafka抽取組件可以根據配置從Kafka消息系統(tǒng)中抽取數據，通過Kafka流抽取組件從Kafka抽取數據流，并運行子轉換，該轉換根據消息批量大小或持續(xù)時間執(zhí)行，可近乎實時地處理連續(xù)的數據流以及通過REST抽取組件從REST服務中抽取數據。

2.1.5 應用系統(tǒng)集成

在大數據湖倉的所有數據將以標準restful接口的形式對外提供［8］，為支撐整個高速公路信息化、智慧化建設提供標準的數據服務，實現數據價值的最大化。

2.2 數據治理平臺

建設集數據標準、數據質量和元數據管理、數據模型管理、數據血緣管理等功能為一體的一站式數據治理平臺，對數據中臺采集到的數據進行數據清洗治理，統(tǒng)一數據標準［9］，提高數據質量，沉淀數據資產，賦能智慧高速智能化應用，如安全應急指揮、道路養(yǎng)護決策、高速公路運營分析等。數據治理平臺功能架構如圖3所示。

智慧高速數據中臺位于承上啟下的中樞位置，向下匯聚各數據源，向上賦能高速公路管控智慧類應用，中間進行分層數據治理，共分為貼源層、主題庫、專題庫3層。其中貼源層負責對數據源進行全量抽取和全域匯聚；主題庫負責對數據進行清洗、數據格式轉換、數據標準統(tǒng)一、數據質量校驗，并按照業(yè)務主題進行數據匯總；專題庫負責各類業(yè)務指標的計算，生成應用層所需的各類業(yè)務指標。

數據中臺在完成數據歸集后，對于原始數據、治理數據、應用層數據實現可視化建表并對表進行管理，同時對對接入的外部數據進行數據治理；后續(xù)上層業(yè)務須要對數據建模，可以平滑升級。數據治理平臺集成了先進的大數據技術，配合數據集成平臺覆蓋數據集成、數據標準、數據開發(fā)、數據質量、數據資產、數據脫敏、數據管理等數據使用場景。其中數據開發(fā)具備實時計算、多維分析、全文檢索、數據管道等分析能力，支持結構化數據、非結構化數據等的分析和加工［9］。

數據治理平臺提供通用的平臺接口，上層應用核心邏輯只須聚焦到業(yè)務邏輯實現和數據展示，數據的轉換、提取、檢索、分析等統(tǒng)一由數據治理平臺屏蔽，把一些通用大數據平臺能力沉淀到數據治理平臺當中，極大地提高了數據治理平臺對可視化分析以及各種分析類應用的支撐能力，同時降低了應用開發(fā)者的使用門檻。

數據治理平臺功能包含以下4個方面。

2.2.1 標準管理

數據標準管理是對數據進行統(tǒng)一化、規(guī)范化的重要基礎，解決的是數據格式不統(tǒng)一，數據內容不規(guī)范的問題［10］，幫助用戶對現有數據進行梳理，對新數據進行規(guī)范約束。本文從系統(tǒng)層面建立標準體系，用流程化的方式構建新的標準。缺失標準管理這一環(huán)節(jié)，容易遇到因格式不一致、值域范圍不統(tǒng)一導致的數據之間無法有效關聯的問題，增加了數據價值挖掘的難度，降低了數據的可用性。因此，在全局范圍內建立標準體系，可以有效保障新數據的質量和使用價值。

2.2.2 主數據管理

在高速公路信息化系統(tǒng)建設過程中，基礎信息數據往往分散于各業(yè)務系統(tǒng)中。分散的數據容易形成數據孤島，不便于數據的共享與復用，因此需要主數據來解決這些問題。

為使主數據能夠方便地跨業(yè)務重復使用，須要對主數據進行統(tǒng)一管理。主數據管理功能支持將數據源配置為主數據源，并將數據表納入主數據源，以數據表為粒度，對主數據進行管理與維護，并支持查看主數據被各業(yè)務系統(tǒng)訂閱的日志信息。此外，主數據管理還提供了數據流向規(guī)劃功能，通過建立主數據表與業(yè)務系統(tǒng)間的UC矩陣，幫助用戶理順數據的產生（來源）和使用（去向），規(guī)劃主數據數據流向。

2.2.3 數據質量

數據質量在數據治理過程中扮演的是發(fā)現和分析問題的角色［10］。數據質量問題可能發(fā)生在數據流轉各個環(huán)節(jié)：源頭的數據為、經過集成的數據、經過計算的數據都有可能出現臟數據。對于數據管理者而言，保障數據的質量才能讓數據發(fā)揮出應有的價值。

數據質量提供的是主動發(fā)現數據問題的能力，支持對各個環(huán)節(jié)的結果數據進行監(jiān)控，監(jiān)控的對象單元是數據表中的數據列。使用規(guī)則模型與數據列進行關聯，定義質量監(jiān)控指標，指標執(zhí)行之后統(tǒng)計不符合指標規(guī)則的數據占比，以達到提前預警數據問題的目的。在指標執(zhí)行結果數據的基礎上，中臺提供數據表和指標結果趨勢報告，幫助數據管理者分析數據質量問題和質量變化趨勢。

2.2.4 數據資產

在實際的生產環(huán)境中，根據數據資產的管理情況，不同權限的數據使用人員，根據不同的業(yè)務屬性，完成數據不同的使命。

數據資產模塊提供元數據管理，厘清數據資產，通過數據血緣，可以全面掌握數據的全鏈路處理流程。通過對不同資產庫的元數據采集以及按照自定義的業(yè)務屬性對元數據分層分主題，實現多維度的資產圖表統(tǒng)計展示，并提供數據智能搜索。數據資產功能包括元數據管理、血緣關系管理、數據表管理等［10］。

3 結語

本文研究的智慧高速數據中臺，實現了高速公路建、管、養(yǎng)、運、服全生命周期數據資源在各高速公路管理單位之間的共享，消除數據孤島效應，增強了信息的時效性，將數據形成有價值的資產。通過建設本系統(tǒng)，利用大數據平臺能力，實現數據充分整合、高效傳輸。同時，數據共享能力可以大大減少各環(huán)節(jié)的人工成本，降低因數據流轉緩慢造成的時效價值流失。中臺的建設，將高速公路各類業(yè)務數據進行數據整合，統(tǒng)一數據治理體系，統(tǒng)一相關數據標準，統(tǒng)一存儲，形成數據資產中心，并為數據統(tǒng)計分析打下基礎。通過數據打通產業(yè)鏈數據，建設統(tǒng)計指標監(jiān)控管理，提前預警提示風險，為戰(zhàn)略決策及分析提供數據依據。系統(tǒng)經實際使用證明具備良好的經濟效益和社會效益。

參考文獻

［1］王玉煥，曹文斌，趙凜，等.高速公路數據資源開發(fā)利用關鍵技術研究［J］.交通工程，2024（4）：102-108.

［2］黃陳，胡漢橋，羅如意，等.基于多源數據融合的高速公路運行監(jiān)測與指揮調度平臺［J］.中國交通信息化，2024（增刊1）：363-365，372.

［3］高東明.高速公路智慧運營及信息化建設模式探討［J］.中國交通信息化，2024（增刊1）：168-170.

［4］陳功，楊思宇，賈云強.高速公路全壽命周期數據中臺設計［J］.中國交通信息化，2024（2）：97-100，105.

［5］姜鵬，陳思鵬.基于融合BIM技術的高速公路全周期建養(yǎng)數據中臺建設［J］.中國交通信息化，2024（1）：109-113.

［6］李孜，陳志濤，楊路，等.高速公路數據管理體系研究［J］.交通科技與管理，2023（19）：13-15.

［7］李彥一，劉英培，孟飛，等.基于數據中臺的高速公路數字化管理［J］.中國交通信息化，2023（9）：26-27，31.

［8］毛八生.基于多源數據融合的高速公路智慧出行服務系統(tǒng)探究與設計［J］.長江信息通信，2023（7）：235-237.

［9］李斌，梁軼濤.廣東省高速公路通行大數據應用研究與實踐［J］.交通工程，2022（6）：78-84.

［10］周曉亮，李季旸.公路行業(yè)數據資源治理與應用探討［J］.西部交通科技，2022（10）：193-195.

Research on the construction plan of smart expressway data platform

Abstract： China’s highways have the characteristics of wide distribution， long mileage， multiple mechanical and electrical equipment， complex management systems， and low level of intelligence. In recent years， with the development of information technology， various highway management companies have carried out a large amount of information construction， and these information systems have become an indispensable means of work for various units. However， the rapid expansion of information technology has also led to various problems such as a large number of information systems， scattered construction， segmented blocks， and poor integration. This article proposes a construction plan for a smart high-speed data platform， which utilizes the platform to achieve unified aggregation， governance， processing， and sharing of various management system data on highways. The system has strong practicality in practical use and can effectively control various types of data on highways.

Key words： smart expressway; data platform; data governance; data integration