基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)*

李宏源，陳　梅，李　暉（1.貴州大學(xué)　計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州　貴陽　550025；2.貴州省先進(jìn)計(jì)算與醫(yī)療信息服務(wù)工程實(shí)驗(yàn)室，貴州　貴陽　550025）

基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)*

李宏源1，2，陳梅1，2，李暉1，2
（1.貴州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，貴州貴陽550025；2.貴州省先進(jìn)計(jì)算與醫(yī)療信息服務(wù)工程實(shí)驗(yàn)室，貴州貴陽550025）

隨著科技的發(fā)展，科學(xué)領(lǐng)域的研究人員在觀察和實(shí)驗(yàn)中產(chǎn)生的數(shù)據(jù)規(guī)模越來越大，科學(xué)分析任務(wù)也愈加復(fù)雜。新型的陣列數(shù)據(jù)庫和工作流技術(shù)逐漸被應(yīng)用到大規(guī)模科學(xué)數(shù)據(jù)的管理和分析中。結(jié)合陣列數(shù)據(jù)庫系統(tǒng)SciDB，研究并實(shí)現(xiàn)了一種基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)，用于滿足基于大規(guī)模數(shù)據(jù)的復(fù)雜科學(xué)數(shù)據(jù)分析需求。

SciDB；工作流；科學(xué)工作流；科學(xué)數(shù)據(jù)分析；科學(xué)大數(shù)據(jù)

0　引言

近年來，隨著科學(xué)觀測(cè)工具和科學(xué)實(shí)驗(yàn)操作儀器的不斷改進(jìn)以及科學(xué)觀測(cè)手段的不斷進(jìn)步，很多科學(xué)研究領(lǐng)域，尤其是一些基礎(chǔ)學(xué)科領(lǐng)域，例如高能物理學(xué)、生物信息學(xué)、大氣科學(xué)、天文學(xué)等，在實(shí)驗(yàn)過程中和實(shí)驗(yàn)后產(chǎn)生的可以用來分析的實(shí)驗(yàn)數(shù)據(jù)越來越多，其數(shù)據(jù)量越來越大；同時(shí)，科學(xué)過程也越來越完善，這意味著它變得越來越復(fù)雜，包含在其中的科學(xué)計(jì)算過程往往由成千上萬個(gè)步驟構(gòu)成。綜上，目前的科學(xué)分析甚至是一個(gè)簡(jiǎn)單的科學(xué)實(shí)驗(yàn)都需要對(duì)TB甚至PB量級(jí)的數(shù)據(jù)進(jìn)行分析查詢，才能夠?qū)φ麄€(gè)科學(xué)工程進(jìn)行進(jìn)一步的分析，從而找出規(guī)律，得出結(jié)論。因而，將大數(shù)據(jù)查詢的處理方法應(yīng)用到科學(xué)大數(shù)據(jù)，并將其做成一種簡(jiǎn)單、易上手的服務(wù)，對(duì)于提高科研人員的工作效率具有顯著的作用。同時(shí)，科學(xué)過程產(chǎn)生的是數(shù)據(jù)，其運(yùn)行的過程本身是由數(shù)據(jù)驅(qū)動(dòng)的，對(duì)于科學(xué)領(lǐng)域?qū)W者來說，數(shù)據(jù)是最重要的，科學(xué)數(shù)據(jù)是數(shù)據(jù)密集型的。

采用工作流技術(shù)可以將復(fù)雜查詢進(jìn)行拆分，實(shí)現(xiàn)查詢的可視化和動(dòng)態(tài)修改，使得科學(xué)分析服務(wù)簡(jiǎn)單、易上手。但是由于科學(xué)分析其以數(shù)據(jù)作為驅(qū)動(dòng)的特點(diǎn)，目前不能將傳統(tǒng)的工作流系統(tǒng)，即目前應(yīng)用在企業(yè)領(lǐng)域的BPM（Business Process Management），例如JBPM和Activiti直接應(yīng)用于科學(xué)領(lǐng)域，因而采用科學(xué)工作流系統(tǒng)。

在國外，Kepler科學(xué)工作流系作為一種科學(xué)分析的手段，已經(jīng)開始應(yīng)用于醫(yī)學(xué)數(shù)據(jù)分析領(lǐng)域和環(huán)境監(jiān)測(cè)數(shù)據(jù)分析領(lǐng)域，但是Kepler本身只是一個(gè)工作流執(zhí)行引擎，其所分析的科學(xué)過程中的每一個(gè)步驟經(jīng)常采用Hadoop作為分析的工具，而Hadoop執(zhí)行科學(xué)分析的效率不高，尤其在其所分析的科學(xué)數(shù)據(jù)的維度較大的情況下。同時(shí)，以SciDB作為科學(xué)分析工具的查詢服務(wù)在國外目前還處于起步階段。針對(duì)于Kepler，其所提供的可視化編輯是在軟件界面上實(shí)現(xiàn)的，將之應(yīng)用于網(wǎng)頁形式還是比較困難的。

在國內(nèi)，基于數(shù)據(jù)驅(qū)動(dòng)的科學(xué)數(shù)據(jù)處理的科學(xué)工作流系統(tǒng)的研究還處于起步階段，很多學(xué)者都只是提出了一個(gè)簡(jiǎn)單的僅僅應(yīng)用于一項(xiàng)甚至幾項(xiàng)相類似的科學(xué)研究的科學(xué)工作流框架，針對(duì)這些框架的實(shí)現(xiàn)較少，同時(shí)，這些框架基本上是基于關(guān)系型數(shù)據(jù)庫設(shè)計(jì)的，對(duì)于數(shù)組數(shù)據(jù)庫來說，不具有較好的數(shù)據(jù)可擴(kuò)展性。

1　科學(xué)數(shù)據(jù)庫系統(tǒng)SciDB

隨著科學(xué)學(xué)科領(lǐng)域觀測(cè)手段的不斷進(jìn)步，在很多科學(xué)領(lǐng)域產(chǎn)生的數(shù)據(jù)都開始呈現(xiàn)出爆炸性增長的趨勢(shì)。為了滿足針對(duì)這些數(shù)據(jù)的多種多樣的復(fù)雜分析操作，基于數(shù)組模型的數(shù)據(jù)管理和分析成為了科學(xué)數(shù)據(jù)管理和分析的趨勢(shì)。傳統(tǒng)的數(shù)組管理和分析軟件如MATLAB的基本思想是在主存中處理可以放在內(nèi)存中的少量數(shù)據(jù)，但是對(duì)于海量數(shù)據(jù)的處理比較困難。同時(shí)，對(duì)于科學(xué)家來說，使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫如SQLServer、Mysql、Oracle等來存儲(chǔ)和分析數(shù)組類型數(shù)據(jù)的過程過于復(fù)雜且低效，這是因?yàn)閭鹘y(tǒng)的關(guān)系型數(shù)據(jù)庫是基于關(guān)系數(shù)據(jù)模型來分析數(shù)據(jù)的，本身沒有針對(duì)數(shù)組類型科學(xué)數(shù)據(jù)的存儲(chǔ)和分析進(jìn)行優(yōu)化。進(jìn)一步說，傳統(tǒng)關(guān)系型數(shù)據(jù)庫的擴(kuò)展能力也制約著它們的海量科學(xué)數(shù)據(jù)處理能力［1-2］。

為了解決上述問題，以STONEBRAKER M為首的數(shù)據(jù)庫專家在收集并且深入探究了當(dāng)前領(lǐng)域?qū)W者對(duì)于科學(xué)數(shù)據(jù)的分析需求的基礎(chǔ)上，在列存儲(chǔ)的基礎(chǔ)上，結(jié)合科學(xué)研究所產(chǎn)生數(shù)據(jù)的結(jié)構(gòu)特點(diǎn)，在Paradigm4公司的贊助下研發(fā)了一套科學(xué)數(shù)據(jù)管理和分析的系統(tǒng)軟件，其社區(qū)免費(fèi)版本名為SciDB［3］。

SciDB不同于傳統(tǒng)的關(guān)系數(shù)據(jù)庫軟件，它側(cè)重于科學(xué)數(shù)據(jù)的分析操作，設(shè)計(jì)目標(biāo)是與R、MATLAB以及IDL等科學(xué)分析軟件結(jié)合來分析管理科學(xué)數(shù)據(jù)。

SciDB是一個(gè)開源的數(shù)據(jù)管理系統(tǒng)，主要為科學(xué)領(lǐng)域中的超大規(guī)模陣列數(shù)據(jù)而設(shè)計(jì)，其設(shè)計(jì)初衷旨在解決科學(xué)研究中數(shù)據(jù)量大、數(shù)據(jù)世襲等科學(xué)問題。與傳統(tǒng)DBMS不同的是，SciDB能夠?yàn)榭茖W(xué)應(yīng)用領(lǐng)域提供大規(guī)模的復(fù)雜分析支持，用以滿足其日益增長的需求。它采用陣列數(shù)據(jù)模型（一種具有數(shù)學(xué)中數(shù)組特性的數(shù)據(jù)模型），支持多維數(shù)據(jù)。其基本組成單元是cell，各個(gè)cell有相同的值類型。cell的值可以是一個(gè)或多個(gè)標(biāo)量值，也可以是一個(gè)或多個(gè)數(shù)組。

SciDB的基本架構(gòu)如圖1所示。在SciDB集群中有兩種類型的節(jié)點(diǎn)：Coordinate節(jié)點(diǎn)參與查詢執(zhí)行并且協(xié)調(diào)查詢行為；Worker節(jié)點(diǎn)是直接參與查詢執(zhí)行的節(jié)點(diǎn)，查詢后的結(jié)果會(huì)傳輸?shù)紺oordinate節(jié)點(diǎn)上輸出。在SciDB集群中，使用Postgresql數(shù)據(jù)庫（Postgresql數(shù)據(jù)庫，PG）作為集群元數(shù)據(jù)的存儲(chǔ)。

圖1　SciDB架構(gòu)圖

SciDB具有如下特性：

（1）SciDB事物的作用領(lǐng)域是一條SQL語句。每一條語句都涉及針對(duì)一個(gè)或者多個(gè)數(shù)組的很多操作。最后，事務(wù)結(jié)束后得到的結(jié)果存儲(chǔ)到目的數(shù)組中。

（2）SciDB實(shí)現(xiàn)了數(shù)組級(jí)鎖。在事務(wù)一開始，鎖就被獲取，該鎖在查詢執(zhí)行中一直處于活躍狀態(tài)。數(shù)組鎖在查詢執(zhí)行之后被釋放。如果取消了某個(gè)查詢，該查詢所涉及的數(shù)組的相應(yīng)操作在所有節(jié)點(diǎn)上都被取消，從而使得數(shù)據(jù)庫可以返回到初始狀態(tài)。

（3）SciDB支持追加操作。它使用不覆蓋存儲(chǔ)機(jī)制，每一次更新現(xiàn)有的數(shù)組中的數(shù)據(jù)，SciDB都會(huì)創(chuàng)建一個(gè)新的數(shù)組版本。這意味著如果往現(xiàn)有的數(shù)組中插入一系列的新數(shù)據(jù)，這些數(shù)據(jù)以及數(shù)組中原有的數(shù)據(jù)必須全部重新分布到SciDB節(jié)點(diǎn)中。如果數(shù)據(jù)量比較大，上述過程會(huì)花費(fèi)額外的大量時(shí)間。

2　科學(xué)工作流及其代表Kepler系統(tǒng)

工作流（Workflow），指業(yè)務(wù)過程的部分或整體在計(jì)算機(jī)應(yīng)用環(huán)境下的自動(dòng)化，是對(duì)工作流程及其各操作步驟之間業(yè)務(wù)規(guī)則的抽象、概括描述。

工作流管理聯(lián)盟（WfMC）對(duì)工作流的定義為：一類能夠完全或者部分自動(dòng)執(zhí)行的經(jīng)營過程，根據(jù)一系列過程規(guī)則、文檔、信息或任務(wù)能夠在不同的執(zhí)行者之間傳遞、執(zhí)行。

工作流其實(shí)是一個(gè)直接有向圖，它的執(zhí)行是有序的，目前一般將工作流的執(zhí)行信息存儲(chǔ)在擴(kuò)展標(biāo)記語言（eXtensible Markup Language，XML）文檔中［4］。

與傳統(tǒng)的工作流不同，科學(xué)工作流是以數(shù)據(jù)作為驅(qū)動(dòng)的，它也是由一系列的小的工作流程組成的，但是制約整個(gè)工作流程執(zhí)行的不僅僅是順序，同時(shí)還與數(shù)據(jù)有關(guān)，假如整個(gè)工作流程沒有需要的數(shù)據(jù)，該工作流便不能執(zhí)行；相反，假如存在數(shù)據(jù)，則整個(gè)工作流程可以重復(fù)執(zhí)行，這意味著科學(xué)工作流的執(zhí)行邏輯與傳統(tǒng)的工作流有些不同。同時(shí)，以SciDB作為科學(xué)分析的執(zhí)行引擎，這意味著需要針對(duì)SciDB單獨(dú)設(shè)計(jì)工作流執(zhí)行邏輯［5-7］?？傮w來說，科學(xué)工作流是獲取科學(xué)數(shù)據(jù)，并對(duì)所獲取到的數(shù)據(jù)執(zhí)行復(fù)雜分析的靈活的工具。

Kepler［8］主要面向科學(xué)家、分析專家以及計(jì)算機(jī)程序員，提供了一系列可以通用的科學(xué)分析框架。它可以操作不同格式、不同地區(qū)、不同介質(zhì)中的數(shù)據(jù)，同時(shí)提供了一系列可以擴(kuò)展的接口用于擴(kuò)展R或C語言用戶。Kepler的圖形界面允許用戶使用拖拽的形式來創(chuàng)建一個(gè)工作流，此時(shí)的工作流即以數(shù)據(jù)為驅(qū)動(dòng)的科學(xué)工作流。

Kepler是一個(gè)以Java作為主要開發(fā)語言的軟件，這意味著Kepler的api可以具有很好的跨平臺(tái)特性。一個(gè)簡(jiǎn)單的Kepler工作流如圖2所示。

圖2　一個(gè)簡(jiǎn)單的Kepler工作流

其中，SDF Director是流程控制器，Display是不同的actor組件，其功能類似于JBPM中的Process。

3　基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)

本文提出的基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)是云平臺(tái)上工作流作為服務(wù)（Workflow As a Service，WAS）系統(tǒng)的一部分，WAS架構(gòu)圖如圖3所示。

圖3　WAS系統(tǒng)架構(gòu)圖

WAS系統(tǒng)分為兩個(gè)主要的部分，即應(yīng)用部分和SciDB集群系統(tǒng)部分。

應(yīng)用部分是基于集群系統(tǒng)部分構(gòu)建的，目前主要由本文中提到的科學(xué)數(shù)據(jù)分析系統(tǒng)、WAS系統(tǒng)用戶管理、WAS系統(tǒng)用戶資源管理以及WAS系統(tǒng)負(fù)載均衡部分組成。針對(duì)第1節(jié)中提到的SciDB系統(tǒng)的相關(guān)特性，科學(xué)數(shù)據(jù)分析系統(tǒng)做了相應(yīng)的處理。WAS系統(tǒng)用戶管理、WAS系統(tǒng)用戶資源管理以及WAS系統(tǒng)負(fù)載均衡部分目前還只是處于初步階段，管理的用戶是WAS系統(tǒng)的全部用戶，這部分相應(yīng)的數(shù)據(jù)是存儲(chǔ)在關(guān)系型數(shù)據(jù)庫之中的，而且只有系統(tǒng)管理員才有相應(yīng)的管理和查看權(quán)限，實(shí)現(xiàn)了一定的數(shù)據(jù)保密性。

集群部分是基于SciDB構(gòu)建的分布式集群，相比關(guān)系型數(shù)據(jù)庫以及傳統(tǒng)的MATLAB等數(shù)據(jù)分析工具，該分布式集群具有較好的科學(xué)數(shù)據(jù)分析功能。

用戶登錄到WAS后，可以通過工作流系統(tǒng)執(zhí)行科學(xué)分析，并查看科學(xué)分析的執(zhí)行結(jié)果，并且可以同時(shí)從界面中導(dǎo)出。WAS系統(tǒng)同時(shí)實(shí)現(xiàn)了負(fù)載均衡和用戶使用過程中系統(tǒng)資源利用率的實(shí)時(shí)監(jiān)控。本文中的工作流系統(tǒng)是圖3中的工作流中的一部分，這部分系統(tǒng)的架構(gòu)圖如圖4所示。

該工作流系統(tǒng)由兩個(gè)部分組成，即Web客戶端界面以及工作流執(zhí)行引擎。

圖4　科學(xué)分析系統(tǒng)架構(gòu)圖

在Web客戶端界面中，用戶通過用戶管理界面與用戶信息庫之間的接口查看本賬戶中已經(jīng)執(zhí)行的科學(xué)工作流的執(zhí)行情況以及執(zhí)行過程中的資源占用率（如CPU占用率、主存的占用率、主存的占有量、磁盤的讀寫以及本帳戶所使用的集群的網(wǎng)絡(luò)數(shù)據(jù)傳輸速率）。其中的用戶管理與WAS系統(tǒng)的用戶管理不同。

而數(shù)據(jù)上傳界面、流程設(shè)計(jì)界面以及結(jié)果輸入界面都是通過接口與工作流執(zhí)行引擎交互的。用戶通過數(shù)據(jù)上傳界面將上傳文件的相關(guān)信息發(fā)給工作流執(zhí)行引擎，之后，工作流執(zhí)行引擎通過接口與SciDB集群通信，并將數(shù)據(jù)文件加載到SciDB數(shù)據(jù)庫中，再將加載后狀態(tài)信息返回給用戶。流程設(shè)計(jì)界面是一個(gè)Web版的流程設(shè)計(jì)器，用戶通過拖拽可以設(shè)計(jì)一個(gè)科學(xué)工作流，最后保存為XML文件交給工作流執(zhí)行引擎處理。結(jié)果輸入界面顯示出分析結(jié)果。一個(gè)簡(jiǎn)單的科學(xué)工作流如圖5所示。其中，左邊的圓點(diǎn)代表科學(xué)分析任務(wù)開始，右邊圓點(diǎn)代表科學(xué)分析任務(wù)結(jié)束，task1代表一個(gè)簡(jiǎn)單的科學(xué)分析過程。當(dāng)然，復(fù)雜的科學(xué)分析過程是由一系列的圖中的基本的科學(xué)分析子過程組成的。

圖5　一個(gè)簡(jiǎn)單的科學(xué)工作流

本文中提出的科學(xué)分析系統(tǒng)的執(zhí)行過程如下：

（1）工作流引擎在啟動(dòng)后進(jìn)行初始化，加載afl.properties文件，該文件中有SciDB的AFL函數(shù)相關(guān)信息。這部分信息可以用于在工作流執(zhí)行過程中的檢測(cè)。

（2）該系統(tǒng)的用戶在流程設(shè)計(jì)界面使用拖拽的方式拖拽基本組件，并連接這些組件組成類似于圖5的工作流。執(zhí)行這個(gè)工作流可以完成用戶需要的科學(xué)分析操作。用戶通過點(diǎn)擊保存按鈕將該工作流保存到XML和數(shù)據(jù)庫中。

（3）解析XML文件，并執(zhí)行該工作流完成用戶需要的科學(xué)分析操作。這部分操作的流程圖如圖6所示。

（4）用戶可以分別在結(jié)果輸入界面和用戶管理界面查看最終結(jié)果及系統(tǒng)執(zhí)行分析操作過程中的一系列系統(tǒng)參數(shù)變化情況。

以SciDB作為科學(xué)分析執(zhí)行引擎，其本質(zhì)上是針對(duì)SQL語句或類SQL語句的處理。

4　結(jié)論

本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于工作流的科學(xué)數(shù)據(jù)分析系統(tǒng)，該系統(tǒng)是基于SciDB獨(dú)立設(shè)計(jì)的執(zhí)行邏輯科學(xué)分析工作，具有較好的可擴(kuò)展性和可復(fù)用性，適用于科學(xué)數(shù)據(jù)分析，同時(shí)該系統(tǒng)與Kepler不同，該系統(tǒng)允許用戶在Web端使用。

圖6　執(zhí)行引擎操作流程圖

［1］DOBOS L，SZALAY A，BLAKELEY J，et al.Array requirements for scientific applications and an implementation for Microsoft SQL Server［EB/OL］.（2011-10-11）［2015-03-01］.www.docin.com/p-379013760.html.

［2］WIDMANN N，BAUMANN P.Efficient execution of operations in a DBMS for multidimensional arrays［C］.Proceedings of SSDBM′98，Capri，Italy，1998，7：155-165.

［3］THAKAR A R，SZALAY A S，KUNSZT P Z，et al.Migrating a multiterabyte archive from objectto relational databases［J］.Computing in Science＆Engineering，2003：16-29.

［4］羅海濱，范玉順，吳澄.工作流技術(shù)綜述［J］.軟件學(xué)報(bào)，2000，11（7）：899-907.

［5］肖飛，張為華，王東輝.面向科學(xué)過程的工作流技術(shù)研究現(xiàn)狀與趨勢(shì)［J］.計(jì)算機(jī)應(yīng)用研究，2011，28（11）：4013-4019.

［6］張衛(wèi)民，劉燦燦，駱志剛.科學(xué)工作流技術(shù)研究綜述［J］.國防科技大學(xué)學(xué)報(bào)，2011，33（3）：56-65.

［7］宋琳琳.E-Science發(fā)展情況簡(jiǎn)介［J］.圖書館學(xué)研究，2005（7）：21-23.

［8］Wang Jianwu，CRAWL D，ALTINTAS I.Kepler+hadoop：a general architecture facilitating data-intensive applications in scientific workflow systems［C］.Proceedings of the Fourth Workshop on Workflows in Support of Large-Scale Science（WORKS09）at Supercomputing 2009（SC2009）Conference，ACM 2009.

Workflow-based scientific data analysis system

Li Hongyuan1，2，Chen Mei1，2，Li Hui1，2
（1.College of Computer Science and Technology，Guizhou University，Guiyang 550025，China；2.Guizhou Engineering Laboratory for Advanced Computing and Medical Information Services，Guiyang 550025，China）

With the development of scientific technology，the data generated during scientific observations and experiments becomes huge.In order to facilitate the massive scientific data management and analysis，array database system and workflow are often combined in corresponding areas.In this paper，we study the critical issues and focus on describing how to design the scientific data analysis system by combining array database system SciDB with workflow techniques.

SciDB；workflow；scientific workflow；scientific data analysis；big data

TP319

A

1674-7720（2015）10-0016-04

2015-03-06）

李宏源（1987-），男，碩士研究生，主要研究方向：分布式數(shù)據(jù)庫、工作流。

陳梅（1964-），女，教授，主要研究方向：數(shù)據(jù)庫新技術(shù)、應(yīng)用系統(tǒng)開發(fā)。

李暉（1982-），通信作者，男，博士，副教授，主要研究方向：大規(guī)模數(shù)據(jù)管理與分析，高性能數(shù)據(jù)庫，云計(jì)算。E-mail：cse.HuiLi@gzu.edu.cn。

國家自然科學(xué)基金（61462012）；貴州省應(yīng)用基礎(chǔ)研究重大項(xiàng)目子課題（黔科合JZ字［2014］2001-05）；貴州大學(xué)研究生創(chuàng)新基金（研理工2014010）