基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型的研究

李 玥，楊成全

（山西大同大學(xué)物理與電子科學(xué)學(xué)院，山西大同 037009）

基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型的研究

李 玥，楊成全

（山西大同大學(xué)物理與電子科學(xué)學(xué)院，山西大同 037009）

通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)和分布式數(shù)據(jù)倉(cāng)庫(kù)體系構(gòu)架的分析，得出當(dāng)前分布式數(shù)據(jù)倉(cāng)庫(kù)存在的缺點(diǎn)：不能進(jìn)行靈活的定制，易用性差。分布式數(shù)據(jù)倉(cāng)庫(kù)為了保持全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)和局部數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)一致性，需購(gòu)買大量昂貴的存儲(chǔ)設(shè)備來(lái)保存兩份相同的數(shù)據(jù)。針對(duì)這些缺點(diǎn)，提出了一種基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型，模型的整體結(jié)構(gòu)基于SOA面向服務(wù)的體系結(jié)構(gòu)、分布式。引入了工作流技術(shù)來(lái)實(shí)現(xiàn)靈活定制數(shù)據(jù)提取需求、分析挖掘需求及結(jié)果可視化的需求，并將這些功能封裝成整體模型中的業(yè)務(wù)流程服務(wù)。在業(yè)務(wù)流程服務(wù)模型部分提出了數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)流程執(zhí)行語(yǔ)言、業(yè)務(wù)流程的可達(dá)性驗(yàn)證算法和優(yōu)化算法。

數(shù)據(jù)挖掘；SOA；工作流；分布式數(shù)據(jù)倉(cāng)庫(kù)

在競(jìng)爭(zhēng)日以激烈的當(dāng)今社會(huì)，企業(yè)通過(guò)快速響應(yīng)用戶的需求來(lái)提高自身的競(jìng)爭(zhēng)力，相繼實(shí)施或自主開(kāi)發(fā)了適合于自身業(yè)務(wù)的信息系統(tǒng)。這些系統(tǒng)大體分為兩類：一種是企業(yè)中通用的系統(tǒng)如ERP、CRM等，另一種是專門行業(yè)的業(yè)務(wù)系統(tǒng)，例如教育考試領(lǐng)域中的中考管理系統(tǒng)、高考管理系統(tǒng)等。通過(guò)使用這些系統(tǒng)，企業(yè)或組織內(nèi)逐漸積累起大量的數(shù)據(jù)。由此，出現(xiàn)了一個(gè)新的需求，即對(duì)大量已有的數(shù)據(jù)進(jìn)行分析挖掘以支持業(yè)務(wù)和高層決策的應(yīng)用。

由于人們對(duì)從大量數(shù)據(jù)中找到有用的知識(shí)的需求日漸強(qiáng)烈，隨即，一系列用來(lái)實(shí)現(xiàn)數(shù)據(jù)的分析與挖掘的理論和技術(shù)相繼產(chǎn)生，包括數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)以及分布式數(shù)據(jù)倉(cāng)庫(kù)等，這些理論和技術(shù)都可以被歸結(jié)為數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)挖掘以模糊數(shù)學(xué)、人工智能、統(tǒng)計(jì)學(xué)等學(xué)科為基礎(chǔ)的一門學(xué)科。

1 相關(guān)概念

數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提出取或“挖掘”知識(shí)［1］。數(shù)據(jù)挖掘的最終目的就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、模式的和最終可理解的知識(shí)。數(shù)據(jù)挖掘的廣義定義：數(shù)據(jù)挖掘就是從存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他信息庫(kù)中的數(shù)據(jù)中挖掘出知識(shí)的完整過(guò)程。

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、非易失的且隨時(shí)間變化的數(shù)據(jù)集合，用來(lái)支持管理人員決策［2］。數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、非易失的有組織的數(shù)據(jù)集合，支持管理的決策過(guò)程［3］。數(shù)據(jù)倉(cāng)庫(kù)也是一種數(shù)據(jù)的長(zhǎng)期存儲(chǔ)，這些數(shù)據(jù)來(lái)自多數(shù)據(jù)源，是經(jīng)過(guò)組織的，以便支持管理決策。這些數(shù)據(jù)在一種一致的模式下存放，并且通常是匯總的。數(shù)據(jù)倉(cāng)庫(kù)提供一些數(shù)據(jù)分析能力，稱作OLAP（聯(lián)機(jī)分析處理）。

分布式數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)（Distributed Data Warehouse System）［3］使用計(jì)算機(jī)網(wǎng)絡(luò)將多個(gè)物理上分散的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)聯(lián)接起來(lái)，形成了一個(gè)邏輯上相統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，以滿足分析挖掘的需要。

工作流建模工具（Workflow Formalism Modeling Tool）［4］的功能是定義工作流程邏輯的形式化工具，通常包括一組圖標(biāo)、標(biāo)簽和規(guī)則，同時(shí)為用戶還提供友好和可視化的界面，另外，有些工作流建模工具還包括工作流仿真、優(yōu)化、正確性驗(yàn)證等分析功能。工作流建模工具不僅提供了建立工作流邏輯的工具，而且還提供了統(tǒng)一的語(yǔ)言以便于不同的用戶之間進(jìn)行交流、討論。

2 業(yè)務(wù)流程服務(wù)模型建立

業(yè)務(wù)流程服務(wù)模型由業(yè)務(wù)流程服務(wù)和基于WEB的業(yè)務(wù)流程管理器及設(shè)計(jì)組成?；赪EB的業(yè)務(wù)流程管理器及設(shè)計(jì)器通過(guò)企業(yè)服務(wù)總線ESB調(diào)用業(yè)務(wù)流程服務(wù)的功能，務(wù)流程服務(wù)通過(guò)企業(yè)總線ESB調(diào)用其它原子服務(wù)［4］。模型如圖1所示。

圖1 業(yè)務(wù)流程服務(wù)模型

3 實(shí)例

下面是數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)流程執(zhí)行語(yǔ)言的實(shí)例，它的作用先更新C4.5決策樹(shù)數(shù)據(jù)挖掘模型。如果更新成功，則返回分析此挖掘模型的URL地址，如果更新失敗，則返回錯(cuò)誤消息。此業(yè)務(wù)流程只能通過(guò)用戶調(diào)用才可以執(zhí)行。詳細(xì)描述如下所示：

＜definition＞

＜business＞

＜name＞分析C4.5決策樹(shù)＜/name＞

＜business-type＞分析業(yè)務(wù)流程＜/business-type＞

＜description＞先將C4.5決策樹(shù)數(shù)據(jù)挖掘模型。如果成功，則返回

分析此模型的URL地址。如果失敗，則返回錯(cuò)誤消息。

＜/description＞

＜/business＞

＜trigger＞

＜invoke-trigger＞

＜enabled＞true＜/enabled＞

＜/invoke-trigger＞

＜timer_trigger＞

＜enabled＞false＜/enabled＞

＜frequents＞＜/frequents＞

＜/timer_trigger＞

＜/trigger＞

＜process＞

＜start/＞

＜refresh-mining-modeln name="refresh-C4.5-tree"＞

＜input＞

＜model-name＞C4.5決策樹(shù)模型＜/model-name＞

＜/input＞

＜/refresh-mining-model＞

＜if name="refresh-success-if"＞

＜logical-expression＞

refresh-C4.5-tree.output.success==true

＜/logical-expression＞

＜sub-process＞

＜analyze-mining-model name="C4.5-treeanalysis"＞

＜input＞

＜model-name＞C4.5決策樹(shù)模型

＜/model-name＞

＜/input＞

＜/analyze-mining-model＞

＜/sub-process＞

＜/if＞

＜if name="refresh-failure-if"＞

＜logical-expression＞

refresh-C4.5-tree.output.success==false

＜/logical-expression＞

＜sub-process＞

＜system-message name="failure-message"＞

＜input＞

＜message＞更新C4.5決策樹(shù)模型失敗＜/message＞

＜/input＞

＜/system-message＞

＜/sub-process＞

＜/if＞

＜end/＞

＜/process＞

＜/definition＞

4 性能試驗(yàn)設(shè)計(jì)說(shuō)明及對(duì)比方案

本論文的研究目標(biāo)：提出一種基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型。此模型是分布式的，可以靈活定制數(shù)據(jù)提取需求、分析挖掘需求及結(jié)果可視化需求，并且避免在局部數(shù)據(jù)倉(cāng)庫(kù)和全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)重復(fù)存儲(chǔ)相同的數(shù)據(jù)。還分析當(dāng)前國(guó)內(nèi)外的分布式數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)，并得出它們存在的缺點(diǎn)。為了克服當(dāng)前存在的缺點(diǎn)，就提出了一種分布式的、易用的、終端用戶可定制的、新型的分布式數(shù)據(jù)倉(cāng)庫(kù)模型。此模型基于SOA體系結(jié)構(gòu)、工作流技術(shù)及分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)［4-6］。如下圖2所示：

圖2 基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)

此模型分為兩部分：全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)和局部數(shù)據(jù)倉(cāng)庫(kù)。全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)和局部數(shù)據(jù)倉(cāng)庫(kù)是地理上分布的，例如，集團(tuán)式的公司在不同的地區(qū)設(shè)有辦事處或部門，辦事處或部門使用局部數(shù)據(jù)倉(cāng)庫(kù)分析本部分或辦事處的數(shù)據(jù)，集團(tuán)的總部使用全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)分析各局部數(shù)據(jù)倉(cāng)庫(kù)匯聚的數(shù)據(jù)。

全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)和局部數(shù)據(jù)倉(cāng)庫(kù)都基于SOA的體系結(jié)構(gòu)，將各種數(shù)據(jù)、統(tǒng)計(jì)分析和分析可視化功能都封裝成Web服務(wù)。業(yè)務(wù)流程服務(wù)用于組合各種功能的Web服務(wù)，為用戶提供定制分析挖掘的功能［4］。

5 總結(jié)與展望

本文通過(guò)分析當(dāng)前的數(shù)據(jù)倉(cāng)庫(kù)及分布式數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)架，得出它們的缺點(diǎn)：不能進(jìn)行靈活的定制、易用性差、分布式數(shù)據(jù)倉(cāng)庫(kù)為了保持局部數(shù)據(jù)倉(cāng)庫(kù)和全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)的一致性需要購(gòu)買昂貴及大量的設(shè)備。為了克服以上的數(shù)據(jù)倉(cāng)庫(kù)和分布式數(shù)據(jù)倉(cāng)庫(kù)的缺點(diǎn)，本文將多種流行的理論與技術(shù)引入到分布式數(shù)據(jù)倉(cāng)庫(kù)模型中，以此提出了一種基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型。并且對(duì)模型中的關(guān)鍵及創(chuàng)新部分進(jìn)行了詳細(xì)的敘述。本論文的主要工作是

1）提出了基于工作流的分布式數(shù)據(jù)倉(cāng)庫(kù)模型。此模型是分布式的、可靈活的定制數(shù)據(jù)提取需求、分析控制需求及可視化的需求，并且提出了局部數(shù)據(jù)倉(cāng)庫(kù)和虛擬全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)以此來(lái)解決當(dāng)前分布式數(shù)據(jù)倉(cāng)庫(kù)的缺點(diǎn)。

2）提出了業(yè)務(wù)流程服務(wù)的實(shí)現(xiàn)模型。結(jié)合實(shí)現(xiàn)應(yīng)用提出了一種數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)流程執(zhí)行語(yǔ)言，另外基于Petri網(wǎng)提出了數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)流程網(wǎng)對(duì)業(yè)務(wù)流程進(jìn)行可達(dá)性驗(yàn)證和優(yōu)化。

［1］韓家煒.數(shù)據(jù)挖掘：概念與技術(shù)［M］.北京：機(jī)械工業(yè)出版社，2000.

［2］Jensen M R，Moller T H，Pedersen T B.Specifying OLAP cubes on XML data［C］.Scientific and Statistical Database Management，2001.

［3］William H Inmon.Building the Data Warehouse［M］.HoboKen：John Wiley＆Sons Inc，1993.

［4］Jiangbo Dang，Huhns M N.Inferring，Validating，and Coordinating the Commitments in aWorkflow［C］.［s.l］：Web Services，2006.

［5］門鵬.基于Petri網(wǎng)的Web服務(wù)組合相關(guān)技術(shù)研究［D］.西安：西安電子科技大學(xué)，2009.

［6］毛波.基于分布式數(shù)據(jù)倉(cāng)庫(kù)的OLAP分析與研究［D］.北京：北京郵電大學(xué)，2004.

〔編輯 李?！?/p>

A Study of Workflow-based Distributed Warehouse Model

LI Yue，YANG Cheng-quan
（School of Physics and Electronic Science，Shanxi Datong University，Datong Shanxi，037009）

Based on the architecture of the data warehouse and distributed datawarehouse system of the analysis，here are the current shortcomings：not flexible customization，poor use for users，having to purchase large and expensive storage device to store the same data in duplicate in order to maintain data consistency between global and local data warehouse.In response to these drawbacks，this paper presents a workflow-based distributed data warehouse model，the odel＇s overall structure is based on service-oriented architecture SOA，distributed.In the part of the Business Process Service＇s model，it proposed Business Process Execution Language for Warehouse，accessibility validation algorithm and optimization algorithm.

datamining；SOA；workflow；distributed warehouse

O211.7

A

1674-0874（2011）03-0020-04

2011-03-25

李玥（1983-），女，山西大同人，碩士，助教，研究方向：信號(hào)與信息處理。