面向數(shù)據(jù)倉(cāng)庫(kù)的ETL工具的研究與實(shí)現(xiàn)

林昆

摘 要：闡述了ETL工具在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建設(shè)過(guò)程中所處的重要地位，提出了一個(gè)基于工作流引擎的ETL系統(tǒng)設(shè)計(jì)。系統(tǒng)實(shí)現(xiàn)一個(gè)輕量級(jí)的工作流引擎作為ETL流程的調(diào)度中心，利用元數(shù)據(jù)保存記錄ETL流程的信息，創(chuàng)建基于數(shù)據(jù)庫(kù)引擎的ETL操作組件庫(kù)來(lái)完成從數(shù)據(jù)源到數(shù)據(jù)目標(biāo)的數(shù)據(jù)映射，并初步實(shí)現(xiàn)了對(duì)大數(shù)據(jù)環(huán)境數(shù)據(jù)抽取的支持，從而構(gòu)建了一個(gè)具有良好可擴(kuò)展性和開(kāi)放性的ETL系統(tǒng)。

關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù);ETL;工作流引擎;元數(shù)據(jù)管理

中圖分類號(hào)：TP311.1

文獻(xiàn)標(biāo)志碼：A

1 引 言

數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持經(jīng)營(yíng)管理中的決策制定過(guò)程[1]。服務(wù)于商業(yè)智能的數(shù)據(jù)倉(cāng)庫(kù)的成功實(shí)施，體現(xiàn)著對(duì)新的觀念和解決方案日益增長(zhǎng)的需求[2-4]。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)源自于不同的業(yè)務(wù)系統(tǒng)，這些數(shù)據(jù)的異構(gòu)性、空缺或冗余等問(wèn)題是制約數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)質(zhì)量的重要因素[5]。此外，供決策使用的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是統(tǒng)計(jì)性數(shù)據(jù)，而來(lái)自日常系統(tǒng)的細(xì)節(jié)數(shù)據(jù)的簡(jiǎn)單堆砌無(wú)法滿足商業(yè)智能的要求。

數(shù)據(jù)倉(cāng)庫(kù)化建設(shè)作為建立數(shù)據(jù)倉(cāng)庫(kù)的必要步驟，通常需要建立從數(shù)據(jù)源到數(shù)據(jù)目標(biāo)的多對(duì)一的映射關(guān)系，ETL（Extraction-TransformatiorrLoad，抽取一轉(zhuǎn)換一加載）工具提供一個(gè)方便使用的倉(cāng)庫(kù)化建設(shè)方法，使用戶可以有效的構(gòu)建從異構(gòu)數(shù)據(jù)源到數(shù)據(jù)目標(biāo)的映射關(guān)系。

2 ETL相關(guān)概念

ETL，即數(shù)據(jù)抽取（Extraction）、轉(zhuǎn)換（Trans-formation）和加載（Load），是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的必要步驟。數(shù)據(jù)管理員根據(jù)實(shí)際需求，定義特定的映射關(guān)系，實(shí)現(xiàn)從業(yè)務(wù)系統(tǒng)數(shù)據(jù)源到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的遷移，并在遷移過(guò)程數(shù)據(jù)完成了必要的轉(zhuǎn)換和清洗，如圖1所示。

2.1 ETL的具體步驟

數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的一個(gè)重要環(huán)節(jié)是將數(shù)據(jù)從各個(gè)具體的業(yè)務(wù)系統(tǒng)中抽取出來(lái)，清除數(shù)據(jù)存在的缺陷和不一致性，完成必須的加工處理，最后將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中[6]。這一過(guò)程形成了一個(gè)模塊化、流程化和易修改的模型。下面詳細(xì)介紹各個(gè)步驟的細(xì)節(jié)。

1）數(shù)據(jù)抽取（ Extraction）

ETL過(guò)程的第一個(gè)環(huán)節(jié)，從數(shù)據(jù)源中抽取數(shù)據(jù)，為后續(xù)各個(gè)處理操作提供數(shù)據(jù)準(zhǔn)備。

業(yè)務(wù)數(shù)據(jù)源中包含了大量的細(xì)節(jié)數(shù)據(jù)，抽取需要根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的預(yù)定義模型，挑選對(duì)倉(cāng)庫(kù)主題有貢獻(xiàn)的部分，再將其抽取進(jìn)入ETL系統(tǒng)。這一過(guò)程中需要考慮到：

·數(shù)據(jù)源來(lái)自哪些表或文件。

·數(shù)據(jù)庫(kù)模型的一致性。

·需要抽取哪些字段，是否設(shè)置抽取條件。

2）數(shù)據(jù)轉(zhuǎn)換（ Transformation）

通過(guò)抽取操作進(jìn)入ETL系統(tǒng)的數(shù)據(jù)，往往存在著嚴(yán)重的異構(gòu)性。這些數(shù)據(jù)雖然都是數(shù)據(jù)倉(cāng)庫(kù)必需的，但是由于來(lái)源于異構(gòu)數(shù)據(jù)源，數(shù)據(jù)在格式、命名方式、值范圍表示方式等方面都存在著差異。

針對(duì)這些差異，數(shù)據(jù)轉(zhuǎn)換主要完成兩方面的任務(wù)：一是把不同數(shù)據(jù)源、格式不一致的“臟數(shù)據(jù)”清洗成一致的數(shù)據(jù);二是對(duì)原始數(shù)據(jù)進(jìn)行必要的轉(zhuǎn)換處理以滿足數(shù)據(jù)倉(cāng)庫(kù)的要求[7]。

3）數(shù)據(jù)加載（Load）

數(shù)據(jù)加載的任務(wù)就是將前面兩個(gè)步驟處理完成的數(shù)據(jù)，加載到數(shù)據(jù)目標(biāo)中，完成數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)準(zhǔn)備[8]。

3 ETL系統(tǒng)的架構(gòu)設(shè)計(jì)

如圖2所示，ETL系統(tǒng)的設(shè)計(jì)思想是以工作流為控制調(diào)度中心，利用元數(shù)據(jù)信息保存和記錄ETL過(guò)程信息，定義ETL過(guò)程中各種轉(zhuǎn)換規(guī)則的工作以組件的形式存在，并提供可視化界面供用戶定義、修改ETL的流程，系統(tǒng)通過(guò)數(shù)據(jù)訪問(wèn)模塊訪問(wèn)數(shù)據(jù)源和數(shù)據(jù)目標(biāo)。

將工作流技術(shù)和元數(shù)據(jù)技術(shù)應(yīng)用到ETL工具中已經(jīng)是目前ETL工具發(fā)展的一種趨勢(shì)。利用這兩種技術(shù)，ETL流程的靈活性和可控制性將大大提高，用戶可以根據(jù)需要自由的選擇數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換操作，并按照數(shù)據(jù)處理的流程靈活的編排所選擇的操作;同時(shí)ETL工具的可擴(kuò)展性也得到增強(qiáng)，在工作流技術(shù)的支持下，所有的數(shù)據(jù)清洗和轉(zhuǎn)換操作都成為工作流活動(dòng)的資源，因此工具可以根據(jù)需要靈活的添加清洗和轉(zhuǎn)換操作，從而擴(kuò)展相應(yīng)的處理能力。

3.1 元數(shù)據(jù)管理

元數(shù)據(jù)是對(duì)ETL過(guò)程的形式化定義，它包括ETL流程信息的定義和ETL操作規(guī)則的定義兩個(gè)主要部分。流程信息主要記錄了ETL過(guò)程中包含的各種操作，以及操作之間的先后順序關(guān)系;操作規(guī)則信息主要記錄了每個(gè)操作的具體轉(zhuǎn)換規(guī)則設(shè)置，如過(guò)濾器的過(guò)濾條件，投影操作的字段列表選擇等等。

如圖3所示，ETL系統(tǒng)的元數(shù)據(jù)呈樹形的層次關(guān)系，ETL流程包含了若干任務(wù)和轉(zhuǎn)移信息，轉(zhuǎn)移信息用來(lái)標(biāo)識(shí)任務(wù)先后順序，從而確定ETL流程中各任務(wù)的關(guān)系圖;在ETL系統(tǒng)中，操作組件被指派給工作流任務(wù)，作為任務(wù)的執(zhí)行應(yīng)用程序;每個(gè)操作組件包含著特定的轉(zhuǎn)換規(guī)則設(shè)置和操作屬性，轉(zhuǎn)換規(guī)則是指操作中處理的各個(gè)字段的映射關(guān)系，如源表A的year，month，day三個(gè)字段映射到目標(biāo)表B的date字段，操作屬性是指針對(duì)數(shù)據(jù)行記錄的處理屬性，如只處理源表中工齡字段值大于10年的記錄。

ETL系統(tǒng)的元數(shù)據(jù)的樹形關(guān)系特點(diǎn)使得元數(shù)據(jù)信息很適合用XML文件來(lái)記錄。XML樹結(jié)構(gòu)直觀地表現(xiàn)出元數(shù)據(jù)的關(guān)系，并提供方便的操作方法。

3.2 工作流引擎

為了提供靈活的控制調(diào)度能力，本系統(tǒng)構(gòu)建輕量級(jí)工作流引擎，調(diào)度中心接收到由元數(shù)據(jù)管理模塊解析生成的流程定義數(shù)據(jù)，檢查ETL任務(wù)之間的依賴關(guān)系、轉(zhuǎn)發(fā)控制等關(guān)聯(lián)，從而確定任務(wù)執(zhí)行的實(shí)際流程，并按照這個(gè)流程調(diào)度活動(dòng)進(jìn)行執(zhí)行，工作流調(diào)度流程如圖4所示：

3.3

ETL操作組件庫(kù)

ETL系統(tǒng)中，最終完成從數(shù)據(jù)源到數(shù)據(jù)目標(biāo)的映射轉(zhuǎn)換的工作是由ETL操作組件來(lái)承擔(dān)的。一個(gè)功能健全的ETL操作組件庫(kù)，是ETL系統(tǒng)必備的部分。

在本系統(tǒng)中，完成這項(xiàng)工作的操作部件以組件庫(kù)的形式發(fā)布，供工作流引擎調(diào)度執(zhí)行;同時(shí)，操作組件遵循統(tǒng)一的接口開(kāi)發(fā)，并添加到組件庫(kù)中;從而大大增強(qiáng)了系統(tǒng)的可擴(kuò)展性。系統(tǒng)現(xiàn)有的操作組件庫(kù)如表1所示：

4 ETL系統(tǒng)的實(shí)現(xiàn)

4.1 基于XML的元數(shù)據(jù)管理

在ETL系統(tǒng)中，元數(shù)據(jù)庫(kù)是一個(gè)基礎(chǔ)元素，它保存記錄了ETL過(guò)程中所需的各種輔助信息，是ETL過(guò)程正確執(zhí)行的關(guān)鍵。這些輔助信息主要包含了如下信息：

·映射元數(shù)據(jù)（mapping meta_data，MM）：這一模型用于描述映射規(guī)則及其映射表達(dá)式。我們使用映射表達(dá)式來(lái)表示標(biāo)識(shí)目標(biāo)字段如何從一系列源字段映射而來(lái)所需要的信息。

·源模型（ source model，SM）：用于描述業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的模型。

·目標(biāo)模型（ target model，TM）和源模型類似，它描述一個(gè)目標(biāo)數(shù)據(jù)模型。

ETL系統(tǒng)中擁有一個(gè)豐富的ETL操作組件庫(kù)，這些組件是完成數(shù)據(jù)映射的最終實(shí)現(xiàn)者，為了保存記錄各種操作組件信息，為工作流引擎提供一個(gè)統(tǒng)一的使用接口，系統(tǒng)利用面向?qū)ο笤O(shè)計(jì)的思路，構(gòu)建元數(shù)據(jù)繼承體系，抽象得到一個(gè)統(tǒng)一的接口，屏蔽了復(fù)雜、相異的具體實(shí)現(xiàn)。

元數(shù)據(jù)管理實(shí)現(xiàn)中，元數(shù)據(jù)信息以XML文件的形式保存，元數(shù)據(jù)中各種對(duì)象信息用一個(gè)節(jié)點(diǎn)表示，對(duì)象之間的關(guān)系，則在樹形層次關(guān)系中得以體現(xiàn)。元數(shù)據(jù)管理包括了內(nèi)存對(duì)象到文件信息的編輯、更新以及文件信息到內(nèi)存對(duì)象的解析、構(gòu)造兩個(gè)部分。

4.2 輕量級(jí)的工作流引擎

工作流引擎對(duì)ETL流程的執(zhí)行進(jìn)行總體控制，是ETL系統(tǒng)的調(diào)度中心。工作流引擎負(fù)責(zé)從ETL流程定義形成的圖結(jié)構(gòu)中，分析出各個(gè)階段中處于就緒狀態(tài)的任務(wù)，分配相應(yīng)的資源，并啟動(dòng)任務(wù)執(zhí)行，如圖5所示，工作流引擎的主要工作包括：

（1）解析流程定義文件，分析出流程中包含的任務(wù);

（2）分析流程圖中各任務(wù)的狀態(tài);

（3）為就緒狀態(tài)的任務(wù)分配系統(tǒng)資源;

（4）啟動(dòng)得到資源的任務(wù);

（5）循環(huán)步驟2～步驟4，直到整個(gè)流程執(zhí)行完成。

在整個(gè)流程的調(diào)度過(guò)程中，工作流引擎維持著三個(gè)隊(duì)列一一未就緒任務(wù)隊(duì)列、就緒狀態(tài)任務(wù)隊(duì)列和已完成任務(wù)隊(duì)列，三個(gè)隊(duì)列的管理如下：

·流程剛啟動(dòng)的時(shí)候，就緒狀態(tài)任務(wù)隊(duì)列包含了流程的啟動(dòng)任務(wù);

·系統(tǒng)存在空閑資源時(shí)，引擎將處于就緒狀態(tài)任務(wù)隊(duì)列隊(duì)頭的任務(wù)出隊(duì)，為其分配資源，并啟動(dòng)執(zhí)行;

·任務(wù)執(zhí)行成功后，引擎將任務(wù)被加入到已完成任務(wù)隊(duì)列中。

·當(dāng)有新任務(wù)進(jìn)入已完成任務(wù)隊(duì)列時(shí)，啟動(dòng)任務(wù)狀態(tài)分析工作，分析任務(wù)的轉(zhuǎn)移信息，更新?tīng)顟B(tài)的就緒狀態(tài)，并將已處于就緒狀態(tài)的任務(wù)加入到就緒隊(duì)列。

當(dāng)所有的任務(wù)均成功執(zhí)行后，引擎便完成對(duì)ETL流程的調(diào)度。

4.3 基于數(shù)據(jù)庫(kù)引擎的ETL操作組件

基本數(shù)據(jù)庫(kù)引擎的ETL操作組件實(shí)現(xiàn)中，我們?cè)试S數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）在作為數(shù)據(jù)存儲(chǔ)介質(zhì)的同時(shí)，扮演數(shù)據(jù)轉(zhuǎn)換引擎的角色。ETL系統(tǒng)中的各種轉(zhuǎn)換映射規(guī)則，可以以soL查詢的形式體現(xiàn)，soL查詢可以用于任何構(gòu)造過(guò)程，包括數(shù)據(jù)抽取、直接存儲(chǔ)、清洗過(guò)程和整個(gè)流程的映射規(guī)則信息傳送。

從ETL映射規(guī)則到soL查詢的產(chǎn)生過(guò)程，由soL生成器完成。生成器可以從元數(shù)據(jù)庫(kù)中讀取必要的參數(shù)和映射規(guī)則來(lái)創(chuàng)建一個(gè)soL轉(zhuǎn)換。具體來(lái)說(shuō)，一個(gè)映射元數(shù)據(jù)作為生成器的參數(shù)輸入，從而生成操作的soL查詢。在這個(gè)過(guò)程中，所有的控制和檢查都應(yīng)用于數(shù)據(jù)，因此，這些查詢不僅僅是對(duì)數(shù)據(jù)的修飾;它裝載數(shù)據(jù)模式結(jié)構(gòu)和有效的值集。我們使用soL查詢是因?yàn)樗鼈円子诶斫猓以贒BMS中非常高效?，F(xiàn)有的工具大都創(chuàng)建一系列的程序來(lái)完成轉(zhuǎn)換過(guò)程，對(duì)這些工具進(jìn)行優(yōu)化是相當(dāng)不容易的。相反，soL生成器使用查詢優(yōu)化來(lái)得到高性能。

4.4 ETL系統(tǒng)的可擴(kuò)展性與開(kāi)放性

ETL系統(tǒng)的核心實(shí)現(xiàn)包括了wfProcess（工作流流程）、wfActivity（工作流活動(dòng)）、wfTransition（工作流轉(zhuǎn)移）、ETLLib（ETL操作組件庫(kù)）和Re-pository（元數(shù)據(jù)管理）五大部分，其中wfProcess、wfActivity和wfTransition組成了ETL系統(tǒng)的流程管理內(nèi)核，負(fù)責(zé)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)化過(guò)程編排和執(zhí)行;ETLLib是數(shù)據(jù)抽取、轉(zhuǎn)移、清洗和加載操作的具體實(shí)現(xiàn)，包含了若干種具體操作組件，流程執(zhí)行時(shí)，ETLLib操作組件作為一種資源依附到wfAc-tivity中，從而得到執(zhí)行;Repository則負(fù)責(zé)整個(gè)ETL過(guò)程的記錄和持久化工作。

ETL系統(tǒng)的實(shí)現(xiàn)形成了wfProcess-wfActivity-ETLLib三層管理模式，從而實(shí)現(xiàn)了ETL流程管理與操作組件庫(kù)的解耦，同時(shí)ETLLib定義了簡(jiǎn)明規(guī)范的接口，在面對(duì)不斷變化的數(shù)據(jù)處理需求時(shí)，一方面可以遵循ETLLib接口，開(kāi)發(fā)新的內(nèi)置操作組件，擴(kuò)展系統(tǒng)的處理功能;另一方面，對(duì)于特殊的小眾需求，用戶可自行開(kāi)發(fā)符合接口規(guī)范的外部組件，并通過(guò)相關(guān)參數(shù)設(shè)置，將外部組件依附到wfActivity中，成為ETL流程的一環(huán);內(nèi)置組件的簡(jiǎn)易擴(kuò)展和對(duì)外部組件的支持，使ETL系統(tǒng)具備良好的可擴(kuò)展性和開(kāi)放性。

4.5 ETL系統(tǒng)對(duì)大數(shù)據(jù)環(huán)境的支持

近年來(lái)，大數(shù)據(jù)技術(shù)發(fā)展迅猛，以Hadoop為代表的業(yè)界主流技術(shù)日趨成熟和穩(wěn)定，越來(lái)越多的企業(yè)和單位開(kāi)始將生產(chǎn)和管理數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)平臺(tái)上，ETL系統(tǒng)操作組件庫(kù)增加了兩個(gè)實(shí)驗(yàn)性的操作組件，如表2所示，以增強(qiáng)ETL系統(tǒng)對(duì)大數(shù)據(jù)環(huán)境的支持。

5 結(jié)束語(yǔ)

面向數(shù)據(jù)倉(cāng)庫(kù)的ETL工具從數(shù)據(jù)倉(cāng)庫(kù)化建設(shè)的角度實(shí)現(xiàn)多平臺(tái)數(shù)據(jù)環(huán)境和異構(gòu)數(shù)據(jù)環(huán)境的數(shù)據(jù)集成，利用工作流技術(shù)和元數(shù)據(jù)管理技術(shù)實(shí)現(xiàn)ETL流程的靈活定義、更新和調(diào)度執(zhí)行已經(jīng)是ETL系統(tǒng)發(fā)展的一個(gè)趨勢(shì)。

本文闡述了ETL的過(guò)程及其在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)中所處的重要地位，展示了一個(gè)基于輕量級(jí)工作流引擎的ETL系統(tǒng)設(shè)計(jì)，并且以組件的形式定制ETL轉(zhuǎn)換規(guī)則操作，使系統(tǒng)具有較好的開(kāi)放性和可擴(kuò)展性;同時(shí)，系統(tǒng)初步實(shí)現(xiàn)了對(duì)大數(shù)據(jù)環(huán)境數(shù)據(jù)抽取的支持，使得ETL工具能夠更好的適應(yīng)大數(shù)據(jù)環(huán)境的數(shù)據(jù)處理需求。在后續(xù)的研究中，我們將以ETL流程優(yōu)化和對(duì)大數(shù)據(jù)環(huán)境的全面支持作為研究重點(diǎn)，通過(guò)對(duì)流程的分析，利用合理的交換、提取/分發(fā)、合并/分解等手段，將ETL流程中的選擇操作向前推、數(shù)據(jù)處理操作向后推，從而提高整個(gè)ETL流程的執(zhí)行效率，并提升ETL工具對(duì)大數(shù)據(jù)時(shí)代發(fā)展需求的支持。

參考文獻(xiàn)

[1]WILLIAN H I.數(shù)據(jù)倉(cāng)庫(kù)[M].北京：機(jī)械工業(yè)出版社，2006.

[2]孟維一，基于數(shù)據(jù)倉(cāng)庫(kù)的保險(xiǎn)商業(yè)智能系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京交通大學(xué)，2016.

[3]李娜.基于數(shù)據(jù)倉(cāng)庫(kù)的商務(wù)智能經(jīng)營(yíng)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2016，39（15）：140-144.

[4]王新蓓，謝文閣，王中權(quán)，數(shù)據(jù)倉(cāng)庫(kù)解決方案在電子商務(wù)中的應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2015，（4）：101-101.

[5] 李蕓，基于增強(qiáng)ETL過(guò)程的大數(shù)據(jù)策略研究[J].電腦知識(shí)與技術(shù)，2014，（34）：8081-8082.

[6] 曾志浩，姚貝，張瓊林，等.基于Hadoop平臺(tái)的用戶行為挖掘[J].計(jì)算技術(shù)與自動(dòng)化，2015，（2）：100-103.

[7] 張春亮.基于ETL的企業(yè)數(shù)據(jù)交換平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].哈爾濱工業(yè)大學(xué)，2016.

[8] 王彥慈，銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)導(dǎo)入的分析與設(shè)計(jì)[J].軟件，2012，33（9）：147-148.

[9]徐俊剛，裴瑩，數(shù)據(jù)ETL研究綜述[J].計(jì)算機(jī)科學(xué)，2011，38（4）：15-20.

[10] 林建昌，電力行業(yè)分布式ETL數(shù)據(jù)集成系統(tǒng)研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2015.