高速公路異構(gòu)數(shù)據(jù)源管理及訪問組件開發(fā)研究

羅志偉 肖楊 蘇強(qiáng) 趙志潔

摘要：近年我國高速公路現(xiàn)代化建設(shè)處于一個(gè)快速發(fā)展期，高速公路的建設(shè)、運(yùn)營、養(yǎng)護(hù)全生命周期過程中產(chǎn)生了海量的多源多維、異構(gòu)數(shù)據(jù)。這些數(shù)據(jù)隱藏著巨大的價(jià)值，但針對這些數(shù)據(jù)的融合、處理、管理、訪問和應(yīng)用上的研究仍然相對滯后。文章對高速公路建設(shè)、運(yùn)營、養(yǎng)護(hù)等全生命周期產(chǎn)生的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理關(guān)鍵技術(shù)進(jìn)行研究，開發(fā)基于云計(jì)算的高速公路異構(gòu)數(shù)據(jù)源管理及訪問組件，將數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、高質(zhì)量的可用數(shù)據(jù)集，并實(shí)現(xiàn)海量數(shù)據(jù)高并發(fā)、高效率的存儲(chǔ)、提取和計(jì)算，做到數(shù)據(jù)資產(chǎn)的高效訪問控制。

關(guān)鍵詞：高速公路;多源異構(gòu)數(shù)據(jù);數(shù)據(jù)融合;數(shù)據(jù)集成;云計(jì)算組件

中圖分類號：U412.36+6A441536

0 引言

我國高速公路經(jīng)過幾十年的快速建設(shè)，2016年底總里程已突破13萬 km，至2020年將達(dá)到16.9萬 km[1]。迅猛發(fā)展的高速公路建設(shè)讓高速公路運(yùn)營方面臨越來越繁重的運(yùn)營管理任務(wù)和壓力，如高速公路養(yǎng)護(hù)、交通擁堵、應(yīng)急管理，以及公眾便捷出行等各類主體多樣、迫切的需求。而這些需求是傳統(tǒng)業(yè)務(wù)系統(tǒng)、管理和服務(wù)手段所不能滿足的[2]。

此外，隨著信息化的普及，高速公路在信息化建設(shè)方面也有著持續(xù)大量的投入。隨著以互聯(lián)網(wǎng)、智能感知設(shè)備為代表的高速公路數(shù)據(jù)采集手段不斷豐富，收費(fèi)系統(tǒng)、監(jiān)控系統(tǒng)等基礎(chǔ)業(yè)務(wù)系統(tǒng)不斷完善，高速公路運(yùn)營管理部門能夠從不同角度獲取反映交通運(yùn)行特征的相關(guān)數(shù)據(jù)，可以說多源多維高速公路大數(shù)據(jù)已經(jīng)形成[3]。但在數(shù)據(jù)的融合、處理、管理、訪問和應(yīng)用上仍然相對滯后[4]。因此，整合獨(dú)立、分散的應(yīng)用系統(tǒng)數(shù)據(jù)與業(yè)務(wù)管理資源數(shù)據(jù)，實(shí)現(xiàn)對高速公路異構(gòu)數(shù)據(jù)源的統(tǒng)一管理及訪問，對促進(jìn)高速公路信息資源的充分共享利用具有重要意義[5]。而近年來飛速發(fā)展的云計(jì)算技術(shù)由于其容易部署、方便、安全等特點(diǎn)已成為實(shí)現(xiàn)以上技術(shù)目標(biāo)的技術(shù)手段[6]。

云計(jì)算[7]是分布式計(jì)算的一個(gè)種類，利用互聯(lián)網(wǎng)“云”將龐雜的數(shù)據(jù)進(jìn)行分解，并通過服務(wù)器集群分析處理返回結(jié)果。云計(jì)算可以讓信息和數(shù)據(jù)以最大效率進(jìn)行管理、訪問、共享。云計(jì)算技術(shù)讓用戶可以最低的成本完成資源計(jì)算。

本文主要對高速公路建設(shè)、運(yùn)營、養(yǎng)護(hù)等全生命周期產(chǎn)生的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理關(guān)鍵技術(shù)進(jìn)行研究，開發(fā)基于云計(jì)算的高速公路異構(gòu)數(shù)據(jù)源管理及訪問組件，將數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化、高質(zhì)量的可用數(shù)據(jù)集，并實(shí)現(xiàn)海量數(shù)據(jù)高并發(fā)、高效率的存儲(chǔ)、提取和計(jì)算，做到數(shù)據(jù)資產(chǎn)的高效訪問控制。

1 系統(tǒng)設(shè)計(jì)的目標(biāo)、建設(shè)內(nèi)容及技術(shù)路線

1.1 系統(tǒng)設(shè)計(jì)的總體目標(biāo)

基于云計(jì)算的高速公路異構(gòu)數(shù)據(jù)源管理及訪問組件設(shè)計(jì)開發(fā)是在關(guān)系數(shù)據(jù)庫管理平臺(tái)上云計(jì)算技術(shù)的多維度擴(kuò)展。異構(gòu)數(shù)據(jù)庫系統(tǒng)完成多領(lǐng)域、多層次的異構(gòu)數(shù)據(jù)源訪問及使用，實(shí)現(xiàn)多層結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)共享、大規(guī)模計(jì)算、虛擬機(jī)數(shù)據(jù)加載。該系統(tǒng)利用多層體系去控制數(shù)據(jù)訪問，并加入程序?qū)ο笥靡韵鄳?yīng)功能，優(yōu)化并集成了數(shù)據(jù)挖掘、大數(shù)據(jù)分析、數(shù)據(jù)模型加載技術(shù)，以實(shí)現(xiàn)對異構(gòu)數(shù)據(jù)資源和OLTP/ OLAP分析的統(tǒng)一支持，支持用戶自定義虛擬數(shù)據(jù)庫和虛擬表對象管理，并支持對虛擬數(shù)據(jù)庫資源和物理數(shù)據(jù)庫資源的訪問控制。系統(tǒng)建設(shè)將達(dá)到以下目標(biāo)：

（1）將獨(dú)立、分散的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行集成，將能夠提供數(shù)據(jù)提取、轉(zhuǎn)換，將加載和顯示服務(wù)的綜合基礎(chǔ)數(shù)據(jù)資源整合到信息資源平臺(tái)中，實(shí)現(xiàn)數(shù)據(jù)資源的統(tǒng)一管理和綜合利用。

（2）每個(gè)用戶可以根據(jù)對應(yīng)的權(quán)限獲取所需資源，同時(shí)確保資源信息的質(zhì)量、精準(zhǔn)和安全。

（3）根據(jù)Web的視覺表現(xiàn)并顯示信息名錄，可以高效且快速的預(yù)覽所需信息。不同權(quán)限的用戶都可以按需瀏覽并進(jìn)行資源共享。

（4）高效數(shù)據(jù)管理和長期更新機(jī)制，為資源的存儲(chǔ)、傳輸、交換和服務(wù)提供安全的操作環(huán)境。

1.2 系統(tǒng)的主要建設(shè)內(nèi)容

（1）基于異構(gòu)數(shù)據(jù)源，數(shù)據(jù)提取、清理實(shí)時(shí)同步，實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源訪問，資源映射驅(qū)動(dòng)?；跁r(shí)間和事件的數(shù)據(jù)抽取可智能調(diào)度算法。

（2）增量和全量的數(shù)據(jù)比對算法，優(yōu)化了全量抽取比對方法，引入臨時(shí)表作為全量抽取比對基線。

（3）文件數(shù)據(jù)注冊支持。

（4）概念數(shù)據(jù)模型定義，在數(shù)據(jù)建模的驅(qū)動(dòng)下，它支持從概念模型到物理模型以及用戶定義的概念模型的數(shù)據(jù)加載服務(wù);虛擬數(shù)據(jù)庫將注冊到物理模型，并根據(jù)物理模型映射將異構(gòu)數(shù)據(jù)加載到目標(biāo)虛擬機(jī)。

（5）物理模型數(shù)據(jù)注冊。

（6）基于模型的數(shù)據(jù)抽取、加載。

1.2.1 異構(gòu)數(shù)據(jù)源數(shù)據(jù)映射整合，基于物理異構(gòu)數(shù)據(jù)源的虛擬資源映射及基于虛擬映射資源的映射訪問管理

（1）異構(gòu)數(shù)據(jù)庫中間層數(shù)據(jù)處理方法，引入前置機(jī)智能調(diào)度控制算法。

（2）基于異構(gòu)數(shù)據(jù)庫物理表對象的映射集成管理。

（3）基于虛擬映射資源的映射整合管理。

1.2.2 異構(gòu)數(shù)據(jù)源的共享訪問，基于平臺(tái)的異構(gòu)數(shù)據(jù)資源訪問

（1）基于用戶、角色、權(quán)限的異構(gòu)數(shù)據(jù)庫系統(tǒng)的成分組件訪問控制管理。

（2）基于平臺(tái)、資源和渠道的異構(gòu)數(shù)據(jù)庫的過程管理和訪問方法。

（3）虛擬數(shù)據(jù)庫表對象訪問控制管理。

異構(gòu)數(shù)據(jù)清洗配置、數(shù)據(jù)審核、安全性驗(yàn)證控制。

1.3 技術(shù)路線

在用于異構(gòu)數(shù)據(jù)源管理和訪問應(yīng)用程序的云計(jì)算組件開發(fā)的設(shè)計(jì)和實(shí)現(xiàn)中，充分考慮了以下幾個(gè)主要因素：（1）其符合國家相關(guān)標(biāo)準(zhǔn)和規(guī)范;（2）采取領(lǐng)先技術(shù)構(gòu)建與實(shí)現(xiàn)云計(jì)算，包括多層中間件系統(tǒng)技術(shù);（3）它吸收了目前在數(shù)據(jù)資源交換管理平臺(tái)的實(shí)施和某些技術(shù)實(shí)施的可行性驗(yàn)證方面的經(jīng)驗(yàn)，從而達(dá)到客觀實(shí)用的系統(tǒng)設(shè)計(jì)，并以滿足業(yè)務(wù)應(yīng)用需求為主導(dǎo)。

異構(gòu)數(shù)據(jù)源管理和訪問應(yīng)用程序的云計(jì)算組件開發(fā)相對于傳統(tǒng)交換系統(tǒng)優(yōu)點(diǎn)突出。傳統(tǒng)的系統(tǒng)存在開發(fā)工期長，開發(fā)費(fèi)用高，接口難以統(tǒng)一等缺點(diǎn)。在本次項(xiàng)目中的云交換平臺(tái)采用了核心軟件——云數(shù)據(jù)庫系統(tǒng)GCDB，全稱G-Cloud DataBase，是一款云數(shù)據(jù)庫軟件，它可以連接海量的、物理分布和異構(gòu)的數(shù)據(jù)資源以形成虛擬數(shù)據(jù)資源處理庫，可以實(shí)現(xiàn)多個(gè)分離的業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)資源的共享。

異構(gòu)數(shù)據(jù)源管理及訪問應(yīng)用的云計(jì)算組件開發(fā)以信息資源庫為核心，通過信息資源交換平臺(tái)的建設(shè)，全面整合獨(dú)立、分散的應(yīng)用系統(tǒng)數(shù)據(jù)與業(yè)務(wù)管理資源數(shù)據(jù)，建立統(tǒng)一的信息資源管理功能與長效更新機(jī)制，建立操作支持環(huán)境，滿足信息資源的存儲(chǔ)、傳輸、交換、服務(wù)、應(yīng)用和安全管理的要求，促進(jìn)信息資源的充分共享和利用，滿足高速公路上各種業(yè)務(wù)系統(tǒng)的應(yīng)用需求。

信息資源云交換平臺(tái)在項(xiàng)目的總體框架中，兼顧了效率和實(shí)用。系統(tǒng)邏輯架構(gòu)如圖1所示。

云交換平臺(tái)的物理架構(gòu)中有四種類型的連接點(diǎn)，包括中繼數(shù)據(jù)服務(wù)連接點(diǎn)、服務(wù)連接點(diǎn)、前端機(jī)器和生產(chǎn)系統(tǒng)。中繼數(shù)據(jù)服務(wù)連接點(diǎn)存儲(chǔ)云數(shù)據(jù)庫的中繼數(shù)據(jù)，包括：

（1）VDBS的中繼信息，例如VDB的名字、關(guān)鍵連接點(diǎn)、包含列表、用戶角色信息。

（2）虛擬表的中繼信息：字名、種類、字長、完整度。

（3）角色：名字、權(quán)限、VDBS。

（4）用戶：姓名、密碼、VDBS。

一個(gè)服務(wù)連接點(diǎn)可以在多個(gè)虛擬數(shù)據(jù)庫上部署。整個(gè)系統(tǒng)有很多服務(wù)連接點(diǎn)，這些連接點(diǎn)可以提供同樣的服務(wù)，并且可以保持狀態(tài)均等。服務(wù)連接點(diǎn)在管理及數(shù)據(jù)等VDBS服務(wù)中擔(dān)任服務(wù)角色。服務(wù)管理為虛擬數(shù)據(jù)庫中的角色，用戶和虛擬表提供管理功能，例如角色和用戶的創(chuàng)建、修改、刪除、注冊以及創(chuàng)建虛擬表數(shù)據(jù)庫等。

云數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)源通過在前端中的各種分布式DBS提供的訪問機(jī)制與云數(shù)據(jù)庫系統(tǒng)內(nèi)部相聯(lián)結(jié)。并具備一個(gè)模塊可以同步信息并不時(shí)從生產(chǎn)系統(tǒng)中提取前端上的數(shù)據(jù)。系統(tǒng)物理架構(gòu)如圖2所示。

2 系統(tǒng)詳細(xì)設(shè)計(jì)

2.1 云數(shù)據(jù)庫系統(tǒng)

云數(shù)據(jù)庫系統(tǒng)集成了多源異構(gòu)數(shù)據(jù)庫和通用文件資源，以提供統(tǒng)一的數(shù)據(jù)訪問接口，從而達(dá)到以下目的：

（1）各應(yīng)用系統(tǒng)的資源互通。

（2）為統(tǒng)一資源檢索提供后臺(tái)待檢索數(shù)據(jù)。

（3）用戶數(shù)據(jù)統(tǒng)一管理，為單點(diǎn)登錄提供統(tǒng)一用戶數(shù)據(jù)的數(shù)據(jù)源。

該系統(tǒng)將異構(gòu)數(shù)據(jù)資源以物理形態(tài)分布的方式聯(lián)結(jié)在一起以形成一個(gè)虛擬數(shù)據(jù)庫，VDBS可以提供同樣的數(shù)據(jù)標(biāo)準(zhǔn)和訪問接口用于應(yīng)用程序，并支持對數(shù)據(jù)源的透明訪問。云數(shù)據(jù)庫系統(tǒng)可以獨(dú)立訪問分布式數(shù)據(jù)源，并通過數(shù)據(jù)虛擬化屏蔽了數(shù)據(jù)源的分布和異構(gòu)性。數(shù)據(jù)源被包裝器封裝后，系統(tǒng)中會(huì)進(jìn)行注冊以將虛擬表的格式一致化。數(shù)據(jù)源的物理位置可以保持不變，形成的單個(gè)虛擬數(shù)據(jù)庫就可以具有集成和統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。對各種主流數(shù)據(jù)庫，云數(shù)據(jù)庫系統(tǒng)支持直接訪問和統(tǒng)一訪問。如Oracle、SQL Server、MySQL、DB2等。因?yàn)殒I值可以看作是簡化的關(guān)系模式，所以當(dāng)前流行的鍵值文件系統(tǒng)或數(shù)據(jù)庫（例如HDFS，BigTable，HBase等）也可以輕松訪問云數(shù)據(jù)庫系統(tǒng)。

云數(shù)據(jù)庫系統(tǒng)中的虛擬表應(yīng)用一種模式組織和管理，這種模式被稱為社區(qū)表，如圖3所示，應(yīng)用端不再依賴于傳統(tǒng)形態(tài)的數(shù)據(jù)庫和物理表，而是使用社區(qū)表和虛擬表。用戶可以將社區(qū)動(dòng)態(tài)產(chǎn)生和刪除，以快速適應(yīng)商業(yè)需求變化發(fā)展。

該系統(tǒng)通過數(shù)據(jù)虛擬化，將數(shù)據(jù)源注冊到本系統(tǒng)，形成一個(gè)統(tǒng)一的數(shù)據(jù)中心。業(yè)務(wù)訪問和計(jì)算決策將基于虛擬視圖訪問數(shù)據(jù)源，而不需要通過指定的物理數(shù)據(jù)源。系統(tǒng)過程主要分為三個(gè)階段進(jìn)行：資源注冊，標(biāo)準(zhǔn)定義和數(shù)據(jù)訪問。

（1）資源注冊：將現(xiàn)有的數(shù)據(jù)物理源聯(lián)結(jié)到數(shù)據(jù)平臺(tái)，數(shù)據(jù)規(guī)格將根據(jù)原始系統(tǒng)形成基本數(shù)據(jù)模式和源。

（2）標(biāo)準(zhǔn)定義：基于現(xiàn)有的基本源（系統(tǒng)數(shù)據(jù)），在需求的基礎(chǔ)上，定義數(shù)據(jù)模式和關(guān)系映射，并提供一致的數(shù)據(jù)標(biāo)準(zhǔn)，用以發(fā)布和使用服務(wù)。

（3）數(shù)據(jù)訪問：數(shù)據(jù)平臺(tái)提供了統(tǒng)一的API，以提供對數(shù)據(jù)資源的訪問。

云交換平臺(tái)，利用云數(shù)據(jù)庫來構(gòu)建具有以下特點(diǎn)：

（1）在云數(shù)據(jù)庫中，數(shù)據(jù)以集群方式存在。

（2）分布式和異構(gòu)數(shù)據(jù)庫可以滿足災(zāi)難恢復(fù)、共享、容量擴(kuò)展和按需使用的需求。

云數(shù)據(jù)庫只需要一個(gè)密鑰，用戶即可使用，就像使用本地?cái)?shù)據(jù)庫一樣。

2.2 云交換接入服務(wù)

2.2.1 數(shù)據(jù)來源

信息資源共享平臺(tái)的建設(shè)涉及的數(shù)據(jù)資源內(nèi)容較多，不同的數(shù)據(jù)內(nèi)容現(xiàn)狀各不相同。有的數(shù)據(jù)尚不存在，需要采集;有的數(shù)據(jù)暫時(shí)以表文件的形式存儲(chǔ)，需要進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換;有的部門或組織信息化條件較好，已經(jīng)建設(shè)了信息系統(tǒng)，已有業(yè)務(wù)數(shù)據(jù)可以通過系統(tǒng)接口或數(shù)據(jù)接口方式接入，但由于系統(tǒng)結(jié)構(gòu)設(shè)計(jì)各不相同，其接口模式設(shè)計(jì)也要各自有相應(yīng)的針對性。

表1所示為針對不同的數(shù)據(jù)源格式，設(shè)計(jì)不同的數(shù)據(jù)獲取模式。

2.2.2 數(shù)據(jù)采集與處理

數(shù)據(jù)建設(shè)是系統(tǒng)建設(shè)的基礎(chǔ)，沒有數(shù)據(jù)，應(yīng)用系統(tǒng)只能是一個(gè)空殼。在系統(tǒng)建設(shè)之初，就需要對數(shù)據(jù)資源進(jìn)行詳盡的梳理，摸清已有數(shù)據(jù)資源可獲取數(shù)據(jù)資源的內(nèi)容、數(shù)據(jù)格式、數(shù)據(jù)量，分析數(shù)據(jù)獲取方式、更新頻率等。根據(jù)數(shù)據(jù)資源梳理的結(jié)果，才能夠進(jìn)行相應(yīng)數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)、庫表結(jié)構(gòu)設(shè)計(jì)、存儲(chǔ)容量設(shè)計(jì)、網(wǎng)絡(luò)帶寬設(shè)計(jì)、數(shù)據(jù)獲取方式與獲取能力設(shè)計(jì)、數(shù)據(jù)資源更新機(jī)制設(shè)計(jì)、共享交換模式設(shè)計(jì)等。本系統(tǒng)的前置數(shù)據(jù)庫的內(nèi)容如表1所示。

對于某些數(shù)據(jù)內(nèi)容目前沒有相應(yīng)的成熟數(shù)據(jù)，也沒有數(shù)據(jù)表文件采集或存儲(chǔ)，需要針對性地采集。

2.2.3 數(shù)據(jù)轉(zhuǎn)換

此功能將相異的數(shù)據(jù)源的格式轉(zhuǎn)換為一致的數(shù)據(jù)格式，根據(jù)轉(zhuǎn)換規(guī)律，原始數(shù)據(jù)將自動(dòng)被系統(tǒng)識別轉(zhuǎn)換為一致的格式。

（1）數(shù)據(jù)格式轉(zhuǎn)換的定義：從一種原始的數(shù)據(jù)格式，經(jīng)過系統(tǒng)、有規(guī)律地加工，轉(zhuǎn)變成目標(biāo)數(shù)據(jù)格式的過程。

（2）數(shù)據(jù)格式轉(zhuǎn)換的處理過程：根據(jù)系統(tǒng)事先確定好的若干規(guī)則完成轉(zhuǎn)換。

2.2.4 數(shù)據(jù)資源管理

該功能為處理數(shù)據(jù)庫和表結(jié)構(gòu)的中繼數(shù)據(jù)，定義和維護(hù)數(shù)據(jù)字典內(nèi)容。

通過該功能，數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)結(jié)構(gòu)等信息查詢變得非常便利，開發(fā)人員可以更好了解行業(yè)信息庫的現(xiàn)有信息。

2.3 云交換平臺(tái)功能

云交換平臺(tái)的功能包括數(shù)據(jù)橋、數(shù)據(jù)清洗審核融合、數(shù)據(jù)目錄、通信服務(wù)服務(wù)。此外，該平臺(tái)還提供數(shù)據(jù)轉(zhuǎn)發(fā)、用戶管理等功能，使云交換平臺(tái)可以實(shí)現(xiàn)基于云模式的分布式異構(gòu)數(shù)據(jù)的集成、整合和按需訪問。

2.3.1 數(shù)據(jù)橋接

數(shù)據(jù)橋接系統(tǒng)由兩大系統(tǒng)構(gòu)成，數(shù)據(jù)信息庫系統(tǒng)和數(shù)據(jù)信息交換系統(tǒng)。信息庫系統(tǒng)由企業(yè)數(shù)據(jù)信息庫、數(shù)據(jù)交接信息庫、部門數(shù)據(jù)信息庫等組成。交換子系統(tǒng)架構(gòu)如圖4所示。

（1）前置交換子系統(tǒng)：該系統(tǒng)負(fù)責(zé)在信息庫和傳輸子系統(tǒng)之間完成信息傳遞，完成數(shù)據(jù)提取轉(zhuǎn)換、發(fā)送和接收。

（2）交換橋接子系統(tǒng)：交換橋接子系統(tǒng)在每個(gè)交換前端系統(tǒng)之間建立可靠、高效、穩(wěn)定、安全的信息交換樞紐，提供信息打包、拆包、輸送、轉(zhuǎn)換等功能，并支持大文件傳輸。

（3）交換傳輸子系統(tǒng)：交換過程的布置，可以實(shí)現(xiàn)預(yù)交換信息庫與部門之間的信息處理和信息傳遞的穩(wěn)定可靠。

（4）交換管理子系統(tǒng)：數(shù)據(jù)交換系統(tǒng)操作指揮中心提供交互工具，用于系統(tǒng)的操作和監(jiān)督。實(shí)現(xiàn)對流程配置的監(jiān)視和管理，整個(gè)信息交換流程的部署和執(zhí)行以及整個(gè)信息交換系統(tǒng)的運(yùn)行。部門通過交換管理子系統(tǒng)交換所需信息到前端。在交換管理子系統(tǒng)的過程控制下，需要交換的信息通過交換傳輸子系統(tǒng)和前端交換子系統(tǒng)被定向到接收部門，共享信息被實(shí)時(shí)交換到共享信息庫。

2.3.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗一是為了解決數(shù)據(jù)質(zhì)量問題，二是讓數(shù)據(jù)更適合做挖掘。其主要功能包括：

（1）解決數(shù)據(jù)質(zhì)量問題：解決數(shù)據(jù)的完整性、唯一性、權(quán)威性、合法性、一致性。

（2）讓數(shù)據(jù)更適合做挖掘：解決數(shù)據(jù)的維度過高、維度過低、無關(guān)信息、字段冗余等問題。

2.3.3 數(shù)據(jù)審核

數(shù)據(jù)審核是用來驗(yàn)證數(shù)據(jù)是否統(tǒng)一。數(shù)據(jù)驗(yàn)證和比較可以完成一件或一批的數(shù)據(jù)比較。

對于服務(wù)數(shù)據(jù)的關(guān)鍵數(shù)據(jù)項(xiàng)，用戶提供要驗(yàn)證的原始數(shù)據(jù)，并通過系統(tǒng)的驗(yàn)證和比較來識別一致和不一致的狀態(tài)。

2.3.4 數(shù)據(jù)融合

采用云數(shù)據(jù)庫系統(tǒng)，數(shù)據(jù)審計(jì)后通過數(shù)據(jù)虛擬化向云數(shù)據(jù)庫系統(tǒng)注冊多個(gè)數(shù)據(jù)源，包括分布式異構(gòu)數(shù)據(jù)庫和文件等，形成統(tǒng)一的數(shù)據(jù)中心，實(shí)現(xiàn)創(chuàng)建、部署、訪問控制管理和復(fù)制在虛擬表模式下對統(tǒng)一數(shù)據(jù)視圖進(jìn)行管理，從而實(shí)現(xiàn)數(shù)據(jù)融合。

系統(tǒng)會(huì)分為三步去實(shí)現(xiàn)數(shù)據(jù)融合：

（1）數(shù)據(jù)連接：根據(jù)原始數(shù)據(jù)制式，將數(shù)據(jù)平臺(tái)與現(xiàn)有的物理數(shù)據(jù)源連接，形成基本數(shù)據(jù)源和模式。

（2）標(biāo)準(zhǔn)定義：來自多個(gè)數(shù)據(jù)源的數(shù)據(jù)和相關(guān)數(shù)據(jù)的信息相結(jié)合，以實(shí)現(xiàn)比單獨(dú)使用單個(gè)傳感器所不具備的準(zhǔn)確性。

（3）數(shù)據(jù)訪問：數(shù)據(jù)平臺(tái)提供了統(tǒng)一的API，以提供對數(shù)據(jù)資源的訪問。用戶請求被系統(tǒng)處理，分別發(fā)送到每個(gè)節(jié)點(diǎn)以用并行方式執(zhí)行，最后統(tǒng)計(jì)匯總結(jié)果。

3 結(jié)語

針對高速公路大數(shù)據(jù)多源多維、異構(gòu)、海量的特點(diǎn)，本研究開發(fā)了基于三層數(shù)據(jù)控制架構(gòu)和面向流程及基于成分的功能組件云計(jì)算系統(tǒng)。該系統(tǒng)基于虛擬數(shù)據(jù)庫資源注冊訪問，支持二級虛擬數(shù)據(jù)庫資源映射機(jī)制。同時(shí)，該系統(tǒng)還可以屏蔽數(shù)據(jù)庫訪問細(xì)節(jié)，結(jié)合云計(jì)算技術(shù)可擴(kuò)展性高、硬件成本低、資源按需使用等方面的優(yōu)勢，為異構(gòu)數(shù)據(jù)庫管理系統(tǒng)提供良好的集群存儲(chǔ)能力、并行計(jì)算能力、數(shù)據(jù)庫管理能力，達(dá)到系統(tǒng)性價(jià)比高、異構(gòu)數(shù)據(jù)源無縫共享的目標(biāo)。

參考文獻(xiàn)：

[1]國家發(fā)展改革委交通運(yùn)輸部關(guān)于進(jìn)一步貫徹落實(shí)“三大戰(zhàn)略”發(fā)揮高速公路支撐引領(lǐng)作用的實(shí)施意見[J].交通財(cái)會(huì)，2017（2）：85-86.

[2].王紅俊.高速公路管理信息化建設(shè)的需求分析[J].中外企業(yè)家，2019（35）：74.

[3].任金光.大數(shù)據(jù)在智能高速公路中的應(yīng)用[J].交通世界，2016（27）：14-15.

[4].楊仁懷，郎川萍，劉文美.高速公路大數(shù)據(jù)處理現(xiàn)狀與挑戰(zhàn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2014，23（9）：13-17.

[5]林 艷.大數(shù)據(jù)在我國高速公路中的應(yīng)用探討[J].北方交通，2016（5）：162-164.

[6]張建勛，古志民，鄭 超.云計(jì)算研究進(jìn)展綜述[J].計(jì)算機(jī)應(yīng)用研究，2010，27（2）：429-433.

[7]羅軍舟.云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào)，2011，32（7）：3-21.

收稿日期：2020-04-17