基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線*

曹　云，曹永忠，刁勁輝

基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線*

曹云1，曹永忠1，刁勁輝2

（1.揚(yáng)州大學(xué)信息工程學(xué)院，江蘇揚(yáng)州225000；2.揚(yáng)州環(huán)境保護(hù)局，江蘇揚(yáng)州225000）

環(huán)境監(jiān)測(cè)、收費(fèi)、統(tǒng)計(jì)等方面存在大量信息孤島，導(dǎo)致數(shù)據(jù)不一致及共享困難。立足于共享環(huán)境數(shù)據(jù)，將共享數(shù)據(jù)抽取到數(shù)據(jù)中心，利用元數(shù)據(jù)實(shí)現(xiàn)目錄化管理，并設(shè)計(jì)相應(yīng)粒度Web服務(wù)，在企業(yè)服務(wù)總線（Enterprise Service Bus，ESB）上實(shí)現(xiàn)數(shù)據(jù)共享。

環(huán)境數(shù)據(jù)；元數(shù)據(jù)；企業(yè)服務(wù)總線；數(shù)據(jù)共享

0　引言

目前，環(huán)境問(wèn)題已經(jīng)嚴(yán)重影響了人們的生活和健康。雖然各環(huán)保局大部分都建立了監(jiān)測(cè)系統(tǒng)，但是這些系統(tǒng)分屬不同部門管理，數(shù)據(jù)不能實(shí)現(xiàn)共享。運(yùn)用元數(shù)據(jù)實(shí)現(xiàn)環(huán)境數(shù)據(jù)目錄化管理，克服了傳統(tǒng)數(shù)據(jù)集成不完善問(wèn)題，從而使環(huán)境數(shù)據(jù)能夠得到更好的共享。

1　系統(tǒng)總體框架

各業(yè)務(wù)系統(tǒng)像一個(gè)個(gè)信息孤島，如何將各自獨(dú)立的環(huán)境數(shù)據(jù)集成到環(huán)境數(shù)據(jù)中心并在ESB上實(shí)現(xiàn)共享是研究重點(diǎn)。為了消除這些信息孤島，實(shí)現(xiàn)信息共享和資源整合［1］，應(yīng)用元數(shù)據(jù)管理技術(shù)建立元數(shù)據(jù)管理平臺(tái)，建立環(huán)境數(shù)據(jù)目錄管理體系，實(shí)現(xiàn)元數(shù)據(jù)增加、刪除、修改及檢索，并結(jié)合數(shù)據(jù)倉(cāng)庫(kù)技術(shù)對(duì)各類環(huán)境數(shù)據(jù)進(jìn)行抽取、清洗、加載，建立環(huán)境數(shù)據(jù)中心；再應(yīng)用中間件技術(shù)建立信息發(fā)布平臺(tái)以提供數(shù)據(jù)查詢、數(shù)據(jù)分析、自定義圖表和數(shù)據(jù)個(gè)性化定制等功能；在數(shù)據(jù)服務(wù)支持下建立環(huán)保服務(wù)總線架構(gòu)，實(shí)現(xiàn)環(huán)境數(shù)據(jù)資源共享。環(huán)境數(shù)據(jù)中心架構(gòu)圖如圖1所示。

圖1　環(huán)境監(jiān)測(cè)數(shù)據(jù)中心的架構(gòu)

數(shù)據(jù)資源中心將各業(yè)務(wù)節(jié)點(diǎn)的數(shù)據(jù)通過(guò)ETL過(guò)程存儲(chǔ)到中心數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)元數(shù)據(jù)的抽取和審核，建立完整的數(shù)據(jù)目錄并存儲(chǔ)在元數(shù)據(jù)庫(kù)中，同時(shí)在數(shù)據(jù)中心設(shè)計(jì)并建立粒度適當(dāng)?shù)腤eb服務(wù)。各業(yè)務(wù)系統(tǒng)可通過(guò)ESB向中心發(fā)出元數(shù)據(jù)查詢請(qǐng)求，獲得元數(shù)據(jù)后的業(yè)務(wù)系統(tǒng)可構(gòu)成數(shù)據(jù)服務(wù)請(qǐng)求，通過(guò)總線下載自己所需要的數(shù)據(jù)。這樣，可以在以后開(kāi)發(fā)的增值服務(wù)中很方便地使用整個(gè)數(shù)據(jù)域的數(shù)據(jù)，達(dá)到真正意義上消滅信息孤島的目的。

2　關(guān)鍵技術(shù)

2.1元數(shù)據(jù)管理

2.1.1元數(shù)據(jù)

在信息技術(shù)高速發(fā)展時(shí)代，從大量環(huán)境數(shù)據(jù)抽取有用數(shù)據(jù)進(jìn)行分析與加工成為難題。為此選擇了數(shù)據(jù)倉(cāng)庫(kù)作為存儲(chǔ)信息的平臺(tái)，將信息中的知識(shí)進(jìn)行抽取形成元數(shù)據(jù)，并存儲(chǔ)于元數(shù)據(jù)庫(kù)中［2］。元數(shù)據(jù)是一種結(jié)構(gòu)化的信息，用于對(duì)某項(xiàng)信息資源進(jìn)行描述、解釋、定位，使其易于提取和使用［3-4］。在已有Oracle數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上，以元數(shù)據(jù)管理技術(shù)將數(shù)據(jù)倉(cāng)庫(kù)中環(huán)境數(shù)據(jù)進(jìn)行目錄化管理，從而實(shí)現(xiàn)按用戶需求動(dòng)態(tài)地以層次化目錄形式管理環(huán)境數(shù)據(jù)。元數(shù)據(jù)管理框架如圖2所示。

圖2　元數(shù)據(jù)管理框架

客戶向門戶網(wǎng)站發(fā)出環(huán)境數(shù)據(jù)查詢申請(qǐng)，再通過(guò)注冊(cè)的用戶名登錄網(wǎng)站進(jìn)行元數(shù)據(jù)查詢；系統(tǒng)通過(guò)檢索元數(shù)據(jù)庫(kù)將客戶申請(qǐng)的元數(shù)據(jù)信息通過(guò)ESB共享并返回給客戶。

2.1.2元數(shù)據(jù)規(guī)范

元數(shù)據(jù)規(guī)范以XML/XSD格式定義，元數(shù)據(jù)規(guī)范中規(guī)定以下內(nèi)容：題名、名稱、標(biāo)示符、語(yǔ)種、語(yǔ)法、語(yǔ)義、客戶信息、版本信息、創(chuàng)建日期和Web Service信息等。XML Schema定義元數(shù)據(jù)部分信息如下：

＜xs：element name="Metadata"＞

＜xs：complexType＞

＜xs：sequence＞

＜xs：attribute name="definition"type="xs：string"/＞

＜xs：attribute name="date"type="xs：string"/＞

＜xs：attribute name="keywords"type="xs：string"/＞

＜xs：attribute name="classification"type="xs：string"/＞

＜/xs：sequence＞

＜/xs：complexType＞

＜/xs：element＞

2.1.3元數(shù)據(jù)環(huán)境管理

元數(shù)據(jù)管理系統(tǒng)的主要功能是將資源數(shù)據(jù)中心采集的環(huán)境數(shù)據(jù)進(jìn)行目錄化管理。元數(shù)據(jù)環(huán)境管理功能圖如圖3所示。

圖3　元數(shù)據(jù)環(huán)境管理功能圖

編輯元數(shù)據(jù)和導(dǎo)入、導(dǎo)出元數(shù)據(jù)負(fù)責(zé)元數(shù)據(jù)編輯；業(yè)務(wù)邏輯管理針對(duì)客戶，其定義和變化往往產(chǎn)生新的規(guī)則，成為數(shù)據(jù)規(guī)則管理的對(duì)象；環(huán)境數(shù)據(jù)規(guī)則管理包含了數(shù)據(jù)抽取和轉(zhuǎn)換規(guī)則、數(shù)據(jù)匯總和加載規(guī)則的管理；環(huán)境數(shù)據(jù)變更管理面向數(shù)據(jù)使用規(guī)則，跟蹤和協(xié)調(diào)業(yè)務(wù)使用要求的變化，更新元數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)；環(huán)境數(shù)據(jù)展現(xiàn)管理通過(guò)統(tǒng)一應(yīng)用程序編程接口和模式，建立統(tǒng)一的企業(yè)信息門戶標(biāo)準(zhǔn)和允許個(gè)性化定制的功能。

2.2企業(yè)服務(wù)總線技術(shù)

2.2.1ESB

ESB定義通常如下：它是由中間件技術(shù)實(shí)現(xiàn)并支持面向服務(wù)架構(gòu)的一組基礎(chǔ)架構(gòu)功能，支持異構(gòu)環(huán)境的服務(wù)、消息以及基于事件的交互，并且具有適當(dāng)?shù)姆?wù)級(jí)別和可管理性［5-7］。企業(yè)服務(wù)總線框架如圖4所示。

圖4　企業(yè)服務(wù)總線框架

客戶向門戶網(wǎng)站W(wǎng)eb服務(wù)注冊(cè)中心注冊(cè)登錄名，申請(qǐng)查詢Web元數(shù)據(jù)環(huán)境信息和系統(tǒng)內(nèi)部檢索元數(shù)據(jù)庫(kù)環(huán)境信息是元數(shù)據(jù)管理任務(wù)核心。系統(tǒng)將客戶申請(qǐng)查詢的信息上傳到ESB，ESB再將查詢結(jié)果共享給客戶。

2.2.2Web Service技術(shù)

Web Service是一種分布式技術(shù)，它所使用標(biāo)準(zhǔn)XML協(xié)議可以使得Web服務(wù)平臺(tái)、語(yǔ)言和發(fā)布者能夠互相獨(dú)立［8］。同時(shí)，Web Service基于SOAP、UDDI、WSDL等網(wǎng)間傳輸協(xié)議標(biāo)準(zhǔn)［9］。

Web Service運(yùn)行機(jī)制如下［10］：各環(huán)境監(jiān)測(cè)數(shù)據(jù)中心采集的異構(gòu)環(huán)境數(shù)據(jù)在UDDI服務(wù)注冊(cè)中心發(fā)布，并提供WSDL接口，Web Service根據(jù)接口將異構(gòu)的分布式數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，形成統(tǒng)一的XML形式發(fā)送至元數(shù)據(jù)庫(kù)中，客戶通過(guò)Web Service訪問(wèn)元數(shù)據(jù)。

其中，基于WSDL的描述為：客戶向Web服務(wù)注冊(cè)中心注冊(cè)登錄名、調(diào)用Web元數(shù)據(jù)庫(kù)以及訪問(wèn)WebService元數(shù)據(jù)接口。基于Web Service元數(shù)據(jù)接口WSDL定義部分信息如下：

＜message name="doMetadataSearchRequest"＞

＜part name="key"type="s：string"/＞

＜/message＞

＜message name="doMetadataSearchResponse"＞

＜part name="return"type="s0：doMetadataSearchResponse"/＞

＜/message＞

＜portType name="MetadataSearch"＞＜o(jì)peration name=" doMetadataSearch"＞

＜input name="key"message="s0：doMetadataSearchRequest"/＞

＜o(jì)utputname="return"message="s0：doMetadataSearchResponse"/＞

＜/operation＞

＜/portType＞

3　實(shí)施與驗(yàn)證

基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)服務(wù)總線技術(shù)已基本實(shí)現(xiàn)并在揚(yáng)州市環(huán)境監(jiān)測(cè)中心站完成試點(diǎn)應(yīng)用。系統(tǒng)已具備環(huán)境監(jiān)測(cè)各類實(shí)驗(yàn)室分析數(shù)據(jù)、質(zhì)控?cái)?shù)據(jù)的采集、綜合查詢、匯總統(tǒng)計(jì)、分析等功能。以揚(yáng)州市瓜洲水質(zhì)檢測(cè)為例，監(jiān)測(cè)的環(huán)境數(shù)據(jù)與MATLAB模擬的環(huán)境數(shù)據(jù)基本吻合，如圖5所示，驗(yàn)證了技術(shù)的穩(wěn)定性與準(zhǔn)確性。

圖5　瓜洲水質(zhì)監(jiān)測(cè)對(duì)比圖

4　結(jié)論

本文采用面向?qū)ο蠓治鲈O(shè)計(jì)方法，對(duì)目前比較成熟的企業(yè)服務(wù)總線技術(shù)進(jìn)行了創(chuàng)新并加入了元數(shù)據(jù)管理技術(shù)，實(shí)現(xiàn)了基于元數(shù)據(jù)的環(huán)境數(shù)據(jù)共享。幾個(gè)監(jiān)測(cè)站的試點(diǎn)表明，該技術(shù)應(yīng)用效果良好，在環(huán)境數(shù)據(jù)業(yè)務(wù)整合方面還不完善的今天，預(yù)期應(yīng)用前景將比較樂(lè)觀。

［1］李梓，楊斌.企業(yè)服務(wù)總線技術(shù)（ESB）在大型企業(yè)中的應(yīng)用［J］.信息技術(shù)，2013（2）：146-147.

［2］李艷，郝大鵬，徐行.圖書館元數(shù)據(jù)信息發(fā)布平臺(tái)及其應(yīng)用［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2014，24（2）：234-236.

［3］NISO Press.Understanding metadata［EB/OL］.［2004-09-01］. http：//www.niso.org/publications/press/UnderstandingMetadata.pdf.

［4］張宇，蔣東興，劉啟新.基于元數(shù)據(jù)的異構(gòu)數(shù)據(jù)集整合方案［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2009，49（7）：1037-1040.

［5］MICHELSON B M.Enterprise service bus Q&A［EB/OL］. ［2006-10-28］.http：//www.ebizq.net/hot-topics/esb/features/ 6117.htm l.

［6］CHAPPELL D.Enterprise service bus［M］.O′Reilly Publishing，2004.

［7］柴華，周興社，楊剛，等.基于企業(yè)服務(wù)總線的信息共享交換平臺(tái)研究［J］.微電子學(xué)與計(jì)算機(jī)，2008，25（4）：116-120. ［8］ROBERT V S，LAVETTE C T.Object oriented systems analysis and design with UML［M］.Prentice Hall，2004.

［9］謝紹鋒.基于Web Service的林業(yè)分布式多源異構(gòu)數(shù)據(jù)集成技術(shù)研究［J］.中南林業(yè)調(diào)查規(guī)劃，2011，29（4）：25-29.

［10］劉剛，余暉.利用WSDL和UDDI為公共Web Service建立統(tǒng)一接口［J］.計(jì)算機(jī)應(yīng)用研究，2003（5）：150-152.

Environmental data in ESB based on the metadata

Cao Yun1，Cao Yongzhong1，Diao Jinhui2
（1.School of Information and Engineering，Yangzhou University，Yangzhou 225000，China；2.Yangzhou Environmental Protection Bureau，Yangzhou 225000，China）

Environmental monitoring，charging，statistics and other aspects have a large number of information islands，which lead to data inconsistency and sharing difficultly.This article is based on the shared environmental data，and the shared data is extracted to the data center.It utilizes metadata to achieve the directory management.It designs corresponding granularity of web services in order to realize data sharing in ESB.

environmental data；metadata；ESB；data sharing

TP39

A

1674-7720（2015）04-0083-03

江蘇省科技型企業(yè)技術(shù)創(chuàng)新資金項(xiàng)目（SBC201211055）

（2014-09-18）

曹云（1990-），通信作者，女，碩士研究生，主要研究方向：嵌入式，Linux，數(shù)據(jù)庫(kù)。E-mail：18352764287@163.com

曹永忠（1968-），男，工學(xué)博士，副教授，碩士生導(dǎo)師，主要研究方向：Web服務(wù)組合，工作流技術(shù)。

刁勁輝（1977-），男，工程碩士，副主任，主要研究方向：元數(shù)據(jù)，GIS等。