高速公路數(shù)據(jù)資源中心建設(shè)實踐

摘要 高速公路建設(shè)發(fā)展迅速，已經(jīng)建設(shè)成一定規(guī)模的路網(wǎng)結(jié)構(gòu)，但已有的高速公路數(shù)字化建設(shè)缺失。因此建設(shè)高速公路數(shù)據(jù)資源中心勢在必行。該文調(diào)研了信息化建設(shè)現(xiàn)狀，提出了高速公路數(shù)據(jù)資源中心建設(shè)內(nèi)容，包括：數(shù)據(jù)匯聚、數(shù)據(jù)存儲、數(shù)據(jù)服務(wù)、數(shù)據(jù)全生命周期管控和數(shù)據(jù)安全建設(shè)。對于推動高速公路數(shù)字化建設(shè)具有重要意義。

關(guān)鍵詞 高速公路；數(shù)據(jù)資源中心；數(shù)據(jù)匯聚；數(shù)據(jù)安全

中圖分類號 U495 文獻(xiàn)標(biāo)識碼 A 文章編號 2096-8949（2024）14-0192-03

0 引言

經(jīng)過多年的發(fā)展，某省高速公路已經(jīng)建成了“四縱十五橫三十三聯(lián)”公路網(wǎng)，該成果對于推動經(jīng)濟(jì)發(fā)展、促進(jìn)鄉(xiāng)村振興、提升交通公共服務(wù)水平、服務(wù)國家戰(zhàn)略實施和支撐轉(zhuǎn)型發(fā)展具有重要意義[1-3]。

但目前來看，某省高速公路信息化建設(shè)現(xiàn)狀如下：高速公路管理公司在整合業(yè)務(wù)數(shù)據(jù)資源方面存在一定的不足，現(xiàn)有的信息化應(yīng)用呈現(xiàn)出“多、小、散”的特點，部分應(yīng)用系統(tǒng)采用“煙囪”式架構(gòu)，導(dǎo)致數(shù)據(jù)分散、整合效率低，數(shù)據(jù)一致性較差，存在較高的冗余度[4-5]。數(shù)據(jù)質(zhì)量不高，缺乏數(shù)據(jù)匯聚和挖掘分析的能力，無法有效支持高速公路智慧化發(fā)展。部分業(yè)務(wù)板塊在數(shù)字化管理方面存在缺失，對各個業(yè)務(wù)模塊的系統(tǒng)現(xiàn)狀進(jìn)行總結(jié)可以發(fā)現(xiàn)，目前大多數(shù)相關(guān)業(yè)務(wù)板塊都使用著業(yè)務(wù)系統(tǒng)，或者正在開發(fā)中但仍有部分業(yè)務(wù)尚未建立有效的管理信息系統(tǒng)來支持業(yè)務(wù)發(fā)展?；谏鲜鰡栴}，建設(shè)高速公路數(shù)據(jù)資源中心勢在必行。

1 某省份高速公路數(shù)據(jù)資源現(xiàn)狀

經(jīng)調(diào)研，某省高速公路具體運營業(yè)務(wù)系統(tǒng)情況，結(jié)合目前道路資產(chǎn)、養(yǎng)護(hù)業(yè)務(wù)、收費業(yè)務(wù)、交通運行監(jiān)測、服務(wù)區(qū)管理、能源業(yè)務(wù)、機電管理及運維等運營，綜合分析各運營業(yè)務(wù)板塊數(shù)據(jù)資源情況如表1所示。

2 高速公路數(shù)據(jù)處理流程

2.1 數(shù)據(jù)采集

通過連接原有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接口服務(wù)和人工數(shù)據(jù)填報，將收費數(shù)據(jù)、發(fā)行數(shù)據(jù)、路產(chǎn)基礎(chǔ)數(shù)據(jù)、路網(wǎng)基礎(chǔ)數(shù)據(jù)、路況數(shù)據(jù)、事件數(shù)據(jù)、處理數(shù)據(jù)、路產(chǎn)巡檢巡查數(shù)據(jù)、安全風(fēng)險隱患數(shù)據(jù)、路域經(jīng)濟(jì)投資收益數(shù)據(jù)、服務(wù)區(qū)基礎(chǔ)數(shù)據(jù)、機電設(shè)備數(shù)據(jù)等各行業(yè)基礎(chǔ)數(shù)據(jù)抽取并匯總至業(yè)務(wù)中臺。隨后，數(shù)據(jù)經(jīng)過統(tǒng)一的鑒權(quán)、通信內(nèi)容加解密及驗簽、自動化數(shù)據(jù)采集等一系列數(shù)據(jù)驗證操作后，方能傳輸至數(shù)據(jù)資源中心。

2.2 數(shù)據(jù)清洗與轉(zhuǎn)換

將所有原始數(shù)據(jù)經(jīng)過規(guī)范格式化處理，包含字段映射、數(shù)據(jù)過濾、數(shù)據(jù)替換、數(shù)據(jù)計算、數(shù)據(jù)驗證、數(shù)據(jù)加解密等清洗工作，以滿足數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。確保數(shù)據(jù)進(jìn)入綜合數(shù)據(jù)庫時質(zhì)量良好，保證數(shù)據(jù)的完整性、一致性、有效性和及時性等特性。

2.3 數(shù)據(jù)安全

在數(shù)據(jù)采集、清理和轉(zhuǎn)換的過程中，需要采取數(shù)據(jù)加密、數(shù)據(jù)分類、權(quán)限控制和數(shù)據(jù)脫敏等措施來保障數(shù)據(jù)的安全性，以確保數(shù)據(jù)得到有效保護(hù)并合法使用。

2.4 數(shù)據(jù)存儲

通過對行業(yè)基礎(chǔ)數(shù)據(jù)采集及梳理，建立原始數(shù)據(jù)庫、緩沖數(shù)據(jù)庫、主題數(shù)據(jù)庫、服務(wù)數(shù)據(jù)庫等四類數(shù)據(jù)庫，并組成數(shù)據(jù)庫群，將數(shù)據(jù)清洗與轉(zhuǎn)換的結(jié)果根據(jù)數(shù)據(jù)采集的內(nèi)容分析存儲至相應(yīng)類型數(shù)據(jù)庫中。

2.5 數(shù)據(jù)展示

數(shù)據(jù)資源中心經(jīng)過清洗和轉(zhuǎn)換的規(guī)范化數(shù)據(jù)，可推送至綜合運營管理平臺，實現(xiàn)數(shù)據(jù)可視化、地理信息可視化等綜合運營可視化展示，實現(xiàn)分類數(shù)據(jù)匯總展示、統(tǒng)計分項展示、指標(biāo)展示等內(nèi)容。

2.6 數(shù)據(jù)資源交換共享

將數(shù)據(jù)資源經(jīng)過清洗和轉(zhuǎn)換的規(guī)范化數(shù)據(jù)，以數(shù)據(jù)可視化、查詢、下載和報表等多種服務(wù)接口，以HTTP、Kafka、WebService等多種傳輸手段，提供統(tǒng)一的數(shù)據(jù)共享交換服務(wù)，實現(xiàn)與交通管理部門、省交通廳、省政府相關(guān)部門的數(shù)據(jù)資源交換共享。

3 數(shù)據(jù)資源中心建設(shè)

3.1 建立企業(yè)運營數(shù)據(jù)標(biāo)準(zhǔn)

以國標(biāo)和行標(biāo)為依據(jù)，建立數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系，對業(yè)務(wù)系統(tǒng)數(shù)據(jù)采集接入、數(shù)據(jù)存儲格式、數(shù)據(jù)內(nèi)容質(zhì)量、數(shù)據(jù)分類分級管理、數(shù)據(jù)共享交換等進(jìn)行約束和規(guī)范。

具體內(nèi)容包括數(shù)據(jù)字典規(guī)范，元數(shù)據(jù)管理規(guī)范，數(shù)據(jù)分類分級規(guī)范，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，數(shù)據(jù)接入規(guī)范，數(shù)據(jù)共享交換標(biāo)準(zhǔn)，數(shù)據(jù)治理規(guī)范。

3.2 數(shù)據(jù)匯聚

交通數(shù)據(jù)的匯聚意味著整合各種不同來源的數(shù)據(jù)到數(shù)據(jù)資源中心。為了應(yīng)對，數(shù)據(jù)的多樣性和復(fù)雜性，必須首先分析所需的各種業(yè)務(wù)應(yīng)用的數(shù)據(jù)需求，明確數(shù)據(jù)來源，并根據(jù)數(shù)據(jù)接入標(biāo)準(zhǔn)規(guī)范，采集并整合包括道路資產(chǎn)、養(yǎng)護(hù)、收費、路網(wǎng)運行監(jiān)測、公眾服務(wù)、運營安全、能源、建設(shè)、機電運維等多個業(yè)務(wù)領(lǐng)域的數(shù)據(jù)資源。

3.3 數(shù)據(jù)接入

（1）數(shù)據(jù)類型

根據(jù)交通數(shù)據(jù)資源內(nèi)容分析，按數(shù)據(jù)類型可包括靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)。根據(jù)數(shù)據(jù)數(shù)量和數(shù)據(jù)的多樣性，也可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)主要是以文本信息為主，非結(jié)構(gòu)化數(shù)據(jù)主要包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等。

（2）數(shù)據(jù)來源

數(shù)據(jù)資源中心接入的數(shù)據(jù)來源主要包括四類：一是現(xiàn)有業(yè)務(wù)系統(tǒng)，比如道路資產(chǎn)管理、養(yǎng)護(hù)業(yè)務(wù)運營、收費系統(tǒng)、運行監(jiān)測等應(yīng)用系統(tǒng)產(chǎn)生的基礎(chǔ)數(shù)據(jù)和動態(tài)數(shù)據(jù)。二是新建業(yè)務(wù)應(yīng)用，路網(wǎng)運行保障、能源業(yè)務(wù)管理等納入數(shù)據(jù)資源中心管理范圍。三是互聯(lián)網(wǎng)數(shù)據(jù)，通過服務(wù)購買或數(shù)據(jù)交換方式獲得的眾包數(shù)據(jù)。四是外部數(shù)據(jù)，橫向如部門如物流、旅游、氣象等數(shù)據(jù)；縱向如省廳、交通運輸部共享交換的數(shù)據(jù)。

（3）數(shù)據(jù)匯聚方式

根據(jù)接入數(shù)據(jù)來源，通過數(shù)據(jù)接口服務(wù)、Http、FTP、Socket或ETL等多種方式，從應(yīng)用系統(tǒng)（如道路資產(chǎn)管理、養(yǎng)護(hù)業(yè)務(wù)運營、收費系統(tǒng)、運行監(jiān)測等）等接入數(shù)據(jù)，實現(xiàn)行業(yè)應(yīng)用系統(tǒng)數(shù)據(jù)的全面匯聚。利用互聯(lián)網(wǎng)購買服務(wù)，根據(jù)業(yè)務(wù)需求獲取互聯(lián)網(wǎng)公開數(shù)據(jù)、網(wǎng)絡(luò)輿情數(shù)據(jù)。

對于既有系統(tǒng)和新建業(yè)務(wù)系統(tǒng)可通過以下幾種數(shù)據(jù)接入方式實現(xiàn)數(shù)據(jù)接入：一是結(jié)構(gòu)化數(shù)據(jù)接入：根據(jù)輕量級表或大批量實時數(shù)據(jù)，通過FTP、ETL工具實現(xiàn)文件交換、數(shù)據(jù)庫數(shù)據(jù)交換和專用接口（Socket、Http、JMS、WebService等）方式進(jìn)行服務(wù)交換等。二是非結(jié)構(gòu)化數(shù)據(jù)接入：非結(jié)構(gòu)化數(shù)據(jù)通過FTP方式接入，并將數(shù)據(jù)抽取至數(shù)據(jù)資源中心。三是視頻流數(shù)據(jù)接入：視頻流數(shù)據(jù)按照標(biāo)準(zhǔn)接口實現(xiàn)流接入，雖然數(shù)據(jù)資源中心不存儲視頻數(shù)據(jù)，但是其具備監(jiān)控和可視化展示能力。

3.4 數(shù)據(jù)清洗和轉(zhuǎn)換

數(shù)據(jù)資源中心建立在充分整合利用現(xiàn)有資源和技術(shù)手段的基礎(chǔ)之上，為業(yè)務(wù)數(shù)據(jù)提供統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)采集與整合服務(wù)，包括從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行解析、轉(zhuǎn)換，將解析和轉(zhuǎn)換后的數(shù)據(jù)裝載入數(shù)據(jù)庫中。

上述資源建設(shè)完成后，根據(jù)接入數(shù)據(jù)內(nèi)容不同，連接方式各異，需要對抽取接入數(shù)據(jù)按照標(biāo)準(zhǔn)化方式進(jìn)行數(shù)據(jù)清洗與轉(zhuǎn)換等操作，可以實現(xiàn)在數(shù)據(jù)采集的過程中，先將一部分垃圾數(shù)據(jù)過濾掉，提高數(shù)據(jù)質(zhì)量。

（1）數(shù)據(jù)解析

解析來自接口單元的格式化數(shù)據(jù)（含保存在格式化文件中的數(shù)據(jù)）。

（2）數(shù)據(jù)轉(zhuǎn)換

對所有進(jìn)入數(shù)據(jù)資源中心的原始數(shù)據(jù)進(jìn)行格式化和規(guī)范化，并根據(jù)數(shù)據(jù)質(zhì)量要求對記錄進(jìn)行必要的清洗和篩選，以保證進(jìn)入綜合數(shù)據(jù)庫的數(shù)據(jù)有良好的質(zhì)量。保證接入數(shù)據(jù)的完整性、一致性、有效性、時效性等幾個特性。主要處理方法：

以組件化的方式實現(xiàn)數(shù)據(jù)轉(zhuǎn)換。常用的數(shù)據(jù)轉(zhuǎn)換組件有字段映射、數(shù)據(jù)過濾、數(shù)據(jù)清洗、數(shù)據(jù)替換、數(shù)據(jù)計算、數(shù)據(jù)驗證、數(shù)據(jù)加解密、數(shù)據(jù)合并、數(shù)據(jù)拆分等。這些組件具有可插拔、可任意組裝、各組件之間通過數(shù)據(jù)總線共享數(shù)據(jù)等特點，數(shù)據(jù)轉(zhuǎn)換在數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)加工完成。

（3）數(shù)據(jù)裝載

將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫中通常是ETL過程的最后步驟。把經(jīng)過轉(zhuǎn)換，符合數(shù)據(jù)規(guī)范的數(shù)據(jù)記錄插入數(shù)據(jù)存儲即數(shù)據(jù)庫中。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類型以及需要裝入多少數(shù)據(jù)。當(dāng)目的庫是關(guān)系數(shù)據(jù)庫時，一般來說有兩種裝載方式，包括SQL語句操作、批量裝載。

3.5 數(shù)據(jù)存儲

經(jīng)過前期行業(yè)數(shù)據(jù)梳理和接入，建成數(shù)據(jù)庫群，將數(shù)據(jù)清洗與轉(zhuǎn)換的結(jié)果存儲到數(shù)據(jù)庫中。

（1）數(shù)據(jù)存儲架構(gòu)

根據(jù)對各類數(shù)據(jù)的分析整理成待整合的數(shù)據(jù)，按照不同數(shù)據(jù)類型、數(shù)據(jù)量、更新頻率，對數(shù)據(jù)存儲進(jìn)行合理規(guī)劃，在技術(shù)上實現(xiàn)關(guān)系型數(shù)據(jù)庫（一般指基礎(chǔ)和結(jié)果數(shù)據(jù)）、分析型數(shù)據(jù)庫、非結(jié)構(gòu)化數(shù)據(jù)庫（流數(shù)據(jù)、文本類，如視頻圖像等數(shù)據(jù)）分別存儲。

數(shù)據(jù)版本存儲：在數(shù)據(jù)資源中心的存儲中，基礎(chǔ)數(shù)據(jù)與來源的業(yè)務(wù)系統(tǒng)是定時更新的，大量的業(yè)務(wù)運行數(shù)據(jù)由于數(shù)據(jù)量原因，只有插入操作而沒有更新。當(dāng)前并未進(jìn)行歷史版本的存儲，因此當(dāng)業(yè)務(wù)系統(tǒng)基礎(chǔ)數(shù)據(jù)進(jìn)行更新后，數(shù)據(jù)資源中心無法追溯到上一版本。由于數(shù)據(jù)資源中心數(shù)據(jù)存儲周期長，并有數(shù)據(jù)統(tǒng)計分析的需要，當(dāng)對歷史數(shù)據(jù)進(jìn)行統(tǒng)計分析時，無法通過歷史數(shù)據(jù)版本關(guān)聯(lián)到正確結(jié)果。因此針對有分析需求的基礎(chǔ)數(shù)據(jù)，需要設(shè)計和制定版本存儲策略，對數(shù)據(jù)的更新創(chuàng)建新的版本，用于歷史數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)追溯。

數(shù)據(jù)分級存儲是根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量及時效性等，對當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)進(jìn)行劃分，將當(dāng)前業(yè)務(wù)數(shù)據(jù)存儲在調(diào)整存儲介質(zhì)上，用于統(tǒng)計分析。充分利用大數(shù)據(jù)技術(shù)，將歷史數(shù)據(jù)遷移到大數(shù)據(jù)平臺上，保證了數(shù)據(jù)的安全性，也可利用大數(shù)據(jù)技術(shù)對較大時間跨度的數(shù)據(jù)進(jìn)行分析，因此為提高數(shù)據(jù)利用效率，提高存儲設(shè)備的使用率，降低存儲成本，有必要對數(shù)據(jù)進(jìn)行分級存儲，數(shù)據(jù)的分級存儲也是簡化存儲管理的需要。

（2）數(shù)據(jù)庫規(guī)劃

根據(jù)數(shù)據(jù)采集的內(nèi)容分析，并按照相關(guān)技術(shù)要求，該項目將業(yè)務(wù)、歷史、元數(shù)據(jù)根據(jù)數(shù)據(jù)資源劃分為原始數(shù)據(jù)庫、緩沖數(shù)據(jù)庫、主題數(shù)據(jù)庫、服務(wù)數(shù)據(jù)庫。

原始數(shù)據(jù)庫主要作為數(shù)據(jù)整合業(yè)務(wù)系統(tǒng)的前置數(shù)據(jù)庫，數(shù)據(jù)的主要來源于各個業(yè)務(wù)部門和相關(guān)單位，統(tǒng)一存放在原始數(shù)據(jù)庫中，原始數(shù)據(jù)庫是為數(shù)據(jù)清洗、數(shù)據(jù)拆分、數(shù)據(jù)轉(zhuǎn)換做準(zhǔn)備的。

緩沖數(shù)據(jù)庫：主要來源于原始數(shù)據(jù)庫，需要按照統(tǒng)一的信息資源標(biāo)準(zhǔn)及編碼標(biāo)準(zhǔn)，從原始數(shù)據(jù)庫中對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、代碼映射、多源融合、統(tǒng)計分析等操作，經(jīng)過多級融合，建立統(tǒng)一標(biāo)準(zhǔn)的標(biāo)準(zhǔn)數(shù)據(jù)庫。

主題數(shù)據(jù)庫：數(shù)據(jù)內(nèi)容側(cè)重于某一專門的領(lǐng)域，如數(shù)據(jù)發(fā)布、應(yīng)急、兩客一危等。主題數(shù)據(jù)庫來源于指標(biāo)數(shù)據(jù)庫和標(biāo)準(zhǔn)數(shù)據(jù)庫，采用面向主題的方式，對原始數(shù)據(jù)分析與挖掘，形成針對某一主題的綜合數(shù)據(jù)庫，為綜合應(yīng)用提供數(shù)據(jù)支撐。

服務(wù)數(shù)據(jù)庫：按照業(yè)務(wù)運營需求，通過不同的計算模型和統(tǒng)計方法進(jìn)行數(shù)據(jù)聚合，生成不同的數(shù)據(jù)指標(biāo)，來指導(dǎo)行業(yè)運營和政策制定，滿足統(tǒng)計分析、領(lǐng)導(dǎo)決策的需求。

4 結(jié)語

綜上所述，建立高速公路數(shù)據(jù)資源中心是根據(jù)高速公路發(fā)展的需要，以梳理信息資源目錄為切入點，將信息資源開發(fā)利用作為核心，加速推進(jìn)數(shù)據(jù)資源規(guī)劃，加強行業(yè)數(shù)據(jù)資源整合，促進(jìn)跨部門、跨行業(yè)、跨地區(qū)數(shù)據(jù)資源共享和互聯(lián)互通，消除信息孤島，充分利用數(shù)據(jù)聚合、融合、數(shù)據(jù)治理、共享服務(wù)、智能分析能力，為業(yè)務(wù)協(xié)同、高速公路管理部門輔助決策等提供全面的數(shù)據(jù)支持。在遵循國家、行業(yè)和地方標(biāo)準(zhǔn)規(guī)范的基礎(chǔ)上，制定符合業(yè)務(wù)發(fā)展需求的行業(yè)數(shù)據(jù)及服務(wù)標(biāo)準(zhǔn)規(guī)范，全面提升了數(shù)據(jù)資產(chǎn)治理及服務(wù)水平。

參考文獻(xiàn)

[1]鄭如春，孫華明，傅哲祥.以場景為抓手夯實企業(yè)自身“數(shù)字新基建”[J].交通財會，2021（3）：39-43.

[2]阮詠華.基于財務(wù)視角的數(shù)據(jù)資產(chǎn)化重點與難點研究[J].商業(yè)會計，2020（4）：4-5.

[3]段琳，吳東洋，龍江喜.基于數(shù)據(jù)中臺概念下的財務(wù)數(shù)據(jù)治理研究和實踐[J].數(shù)字技術(shù)與應(yīng)用，2020（10）：219-221.

[4]王剛，鄭天嬌，葉明.集團(tuán)信息化環(huán)境下的財務(wù)中臺構(gòu)建路徑初探[J].財務(wù)與會計，2020（9）：64-66.

[5]涂子沛.大數(shù)據(jù)：正在到來的數(shù)據(jù)革命，以及它如何改變政府、商業(yè)與我們的生活[M].桂林：廣西師范大學(xué)出版社，2015.

收稿日期：2024-04-17

作者簡介：張慧燚（1971—），男，本科，高級工程師，研究方向：公路工程。