基于多種遷移策略的元數(shù)據(jù)驅(qū)動數(shù)據(jù)遷移研究

張杰

摘要：該文從遷移策略上介紹了包括歷史數(shù)據(jù)遷移、實時數(shù)據(jù)遷移、手動數(shù)據(jù)遷移多種策略。從遷移的形式上介紹了包括了從增量遷移和全量遷移；實際中采用了元數(shù)據(jù)驅(qū)動技術，構建從舊系統(tǒng)到新系統(tǒng)的映射元模型并制定了映射規(guī)則；技術上使用了優(yōu)秀的JavaScript框架——Jquery和SQL語句完成了數(shù)據(jù)庫數(shù)據(jù)的遷移。目前該系統(tǒng)已在數(shù)據(jù)中心建設中得到應用。

關鍵詞：歷史數(shù)據(jù)遷移；實時數(shù)據(jù)遷移；元數(shù)據(jù)驅(qū)動技術；映射元模型； 增量遷移；全量遷移

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2015）08-0251-03

Abstract： This paper describes the migration strategy， including historical data on migration， real-time data migration， data migration manually variety of strategies. From the migration way ，Introduced Incremental migration and Full amount of migration， Realization of using metadata driven technology； From implementation using metadata driven technology， building a mapping meta-model from the old system to the new system and developed mapping rules； From the technology use good JavaScript framework - Jquery and SQL statements to complete the database data migration. Currently the system has been applied in China Petroleum.

Key words： historical data migration； real-time data migration； metadata-driven technology； mapping meta-model； incremental migration； full amount of migration

1 概述

隨著目前企業(yè)信息化進程的加速，企業(yè)數(shù)據(jù)中心的建設日益重要。很多企業(yè)的應用系統(tǒng)已經(jīng)運行數(shù)年或者更長的時間，因此積累了大量的數(shù)據(jù)。如“中石油大慶油田公司A2施工總結數(shù)據(jù)”。數(shù)據(jù)遷移是將這些舊應用系統(tǒng)的數(shù)據(jù)遷移到新系統(tǒng)中，而有些舊系統(tǒng)還會繼續(xù)運行，還會產(chǎn)生新的數(shù)據(jù)，根據(jù)實際情況迫切需要找到將歷史數(shù)據(jù)實時合理地遷移到新系統(tǒng)中去的一種新方法.

2 介紹傳統(tǒng)數(shù)據(jù)的遷移方法

四種傳統(tǒng)的遷移方法有：先遷后錄[1]、先錄后遷、分次遷、一次性遷。

先遷后錄是指：在系統(tǒng)單軌運行前通過市場用的遷移工具或自行開發(fā)的程序，將老系統(tǒng)數(shù)據(jù)轉入到新系統(tǒng)模型中，再利用新系統(tǒng)功能，也可自行開發(fā)配套程序，把遷移到新系統(tǒng)中的老數(shù)據(jù)，再根據(jù)需要生成原有的結果數(shù)據(jù)。這種方法大大減少遷移量。

先錄后遷是指：在系統(tǒng)單軌前，首先把部分數(shù)據(jù)輸?shù)叫孪到y(tǒng)中，系統(tǒng)單軌時再把以前的老數(shù)據(jù)導入新系統(tǒng)數(shù)據(jù)庫中。這種方法主要適用于新老系統(tǒng)數(shù)據(jù)結構差別很大情況，不能將重要的歷史數(shù)據(jù)導入到新系統(tǒng)中。這些必須的重要數(shù)據(jù)在應用新系統(tǒng)前通過手工錄入到新系統(tǒng)中。

分次遷移是指：利用市場用的遷移工具或自行開發(fā)的程序，把老數(shù)據(jù)庫中的重要的歷史數(shù)據(jù)分幾次做遷移。這種方法把大任務分成小任務，避免了數(shù)據(jù)量大和宕機時間短之間的相矛盾的發(fā)生。這種方法的缺點是：由于數(shù)據(jù)多次合并導致了出錯的概率升高，同時為了保持整體數(shù)據(jù)的一致性，這種方法要求把先導入的數(shù)據(jù)進行同步，由此使導入數(shù)據(jù)的難度增加。

一次遷移是指：利用市場用的遷移工具或自行開發(fā)的程序，把老數(shù)據(jù)庫中的數(shù)據(jù)通過這種方法一次性全部導入到新數(shù)據(jù)庫中。這種方法的優(yōu)點是：過程用時短，與分次遷移相比較，問題涉及的較少，風險較低，其缺點是：遷移過程不太受控，而且勞動強度大。

而這些遷移策略不能夠滿足用戶對于數(shù)據(jù)及時遷移的需要。因此本文提出了歷史數(shù)據(jù)遷移、實時數(shù)據(jù)遷移、手動數(shù)據(jù)遷移多種策略，這些策略滿足了數(shù)據(jù)進入新系統(tǒng)的及時性要求，目前此系統(tǒng)已經(jīng)在中石油大慶油田井下數(shù)據(jù)中心中投入使用。

3 數(shù)據(jù)遷移策略框架體系模型設計

圖1為基于多種遷移策略的遷移體系結構模型。對于歷史數(shù)據(jù)和實時數(shù)據(jù)給予不同的遷移策略，實現(xiàn)了多種形式數(shù)據(jù)的遷移。

3.1 數(shù)據(jù)模型映射

數(shù)據(jù)模型映射[2]通過多種遷移方法來實現(xiàn)。什么是數(shù)據(jù)模型映射？它是通過一個映射規(guī)則，建立起一個目標模型和源模型之間的關系。在源模型和目標模型的描述已存在的情況下開始映射。模型映射即是數(shù)據(jù)映射。

一些數(shù)據(jù)映射關系的基本概念如下：

映射屬性和映射實體。反映源系統(tǒng)與目標系統(tǒng)在概念模型上的對應關系[3]是用戶可以見到的較高視圖的映射實體。也是映射關系的最底層，屬于規(guī)則處理的最小單位。表格與實體的對應，說明了引用和實體的完整性，屬性映射是實現(xiàn)映射實體和映射屬性的基礎。不論引用完整性和實體完整性，都需要屬性來實現(xiàn)。映射實體可分為目標映射實體和源映射實體；映射屬性又可分為：分為目標映射屬性和源映射屬性。

映射關系

映射關系是指：目標實體和源實體屬性之間的關系。有向線段和映射模式（MM）構成映射關系。映射源映射實體的映射屬性就是映射關聯(lián)起始節(jié)點，映射的目標實體的映射屬性就是映射關聯(lián)的目標節(jié)點。

三種形式的映射模式分別為為：語義映射模式（SEMA_MM）[4]、數(shù)據(jù)映射模式和算數(shù)映射模式。語義映射模式用于解決屬性概念的語義計算。數(shù)據(jù)映射模式表示常量數(shù)值。算數(shù)映射用于表示屬性間的加減等算數(shù)操作運算。

什么是數(shù)據(jù)映射關系

數(shù)據(jù)映射關系是： 如M就是一個三元組，映射關系名稱用M表示，映射關聯(lián)集合用R表示，映射算子集合用MO表示。映射關系語法的表示方法可用BNF范式表示，術語符號用”...”：表示；尖括號表示必須選擇項；定義為用：：=表示；中括號用業(yè)表示可選項；大括號表示可重復無限次；左右兩邊的任意選擇項用|：表示；分組用于（...）表示：；參數(shù)用斜體字表示。描述映射關系規(guī)則如下：映射關系的語法描述如下。

3.2 元數(shù)據(jù)設計

根據(jù)以上對映射關系描述，映射模式又可分類為：從源映射實體到目標映射實體間的映射關系，對每一類映射關系又可定義為一類映射模式。但是，每一類映射模式又是一類數(shù)據(jù)轉換規(guī)則；通過對油田A2數(shù)據(jù)模型的研究，由映射模式的三大類，被細分為16種映射模式。由支撐元數(shù)據(jù)可定制映射模式元數(shù)據(jù)。對應數(shù)據(jù)庫間對應字段的映射模式是映射模式元數(shù)據(jù)的核心，它定義了數(shù)據(jù)表結構的轉換以及處理方式，這些信息集中存儲在元模型中。映射元數(shù)據(jù)模型見圖 2映射元數(shù)據(jù)模型圖。

3.3多策略數(shù)據(jù)遷移系統(tǒng)工具框架結構圖

工具的總體設計思想是：由于遷移的數(shù)據(jù)量很大，首先對歷史數(shù)據(jù)進行歷史數(shù)據(jù)遷移；對于各個應用系統(tǒng)產(chǎn)生的實時數(shù)據(jù)，通過定時遷移模塊進行定時觸發(fā)遷移；還提供了手動觸發(fā)遷移模式，在手動觸發(fā)模塊中用戶可以通過選擇表及其父表、選擇實體（井、施工事件）實現(xiàn)實時數(shù)據(jù)遷移的觸發(fā)。歷史數(shù)據(jù)和實時數(shù)據(jù)在遷移的過程中產(chǎn)生的遷移日志存入相應的文件中（圖 3多策略數(shù)據(jù)遷移系統(tǒng)工具框架結構圖）

4 工具實現(xiàn)與應用

4.1手動遷移模塊的具體實現(xiàn)

手動遷移模塊中提供了兩種對象間的對應關系：實體對應關系；表格對應關系。

篩選重復表：

在A2施工總結遷移工具中，不僅提供單表之間的對應關系還提供單表及其父表的對應關系。當用戶在選擇表的時候可能會出現(xiàn)多個表的父表重復的情況。如果對每一個被選擇的表及其父表都進行遷移必然會增加系統(tǒng)負擔，降低執(zhí)行效率，因此需要對用戶選擇的所有表進行遍歷，形成一個有序的集合進行遷移。

有兩種基本機構：在初始化的過程中，把A2施工總結中所有的表組成一個順序線性鏈表[5]，每張表相當于樹中的一個節(jié)點，每個節(jié)點存儲著表代碼（code）、確認標志（sign）、節(jié)點路徑（path）三種節(jié)點信息。而樹的繼承關系由表的父子關系來描述的。（如圖 4表組成的有序樹與節(jié)點所示）

步驟1：初始化樹節(jié)點

當選擇表格以后，首先對樹的節(jié)點進行初始化，所有節(jié)點形成一個順序線性鏈表。節(jié)點的順序使用各個表所在的父子關系來描述。在映射表順序信息中每個表的繼承順序采用目錄方式進行存儲，實現(xiàn)的SQL語句如下所示：

Select * from sequ_t t where t.sequence is not null order by length（t.sequence），t.sequence

步驟2：得到被選擇的一個表的順序表

對于選擇的第i個節(jié)點使用遞歸方式找出其所有的父表，得到一個順序表：Ui{Tmi，Tmi+1，T mi+2，…….，T mi+n}。使用Li代表節(jié)點Ti的路徑的目錄數(shù)，prev（）是獲得上一級節(jié)點的函數(shù)，那么得到節(jié)點Ti根節(jié)點遞歸表達式為：

步驟3：修改順序線性鏈表

然后與初始化得到的順序數(shù)進行比對并修改確認標志。

重復以上的過程直到最后一個被選擇的節(jié)點操作完畢。操作過程如圖 5 篩選重復表流程

4.2實現(xiàn)歷史遷移模塊的過程

4.2.1、實時獲取遷移信息

由于歷史數(shù)據(jù)遷移量較大，客戶端向服務器的請求時間很長，所以出現(xiàn)了頁面失效的問題。故采用Ajax[7]異步方式使遷移模塊在服務器后臺運行來實現(xiàn)歷史數(shù)據(jù)的遷移，并把遷移過程中產(chǎn)生的日志信息存入日志文件中。為了讀取所產(chǎn)生的日志信息，采用Jquery [6] 定時器定時以同步方式從服務器取回遷移信息，并在客戶端進行顯示，使用Jquery框架能夠很好的實現(xiàn)前臺與后臺的交互。如圖 6同步獲取遷移信息的流程

5 結束語

該文描述了一個基于多種遷移策略的數(shù)據(jù)遷移的架構，構建了元數(shù)據(jù)模型，點討論了映射規(guī)則和具體的實現(xiàn)，解決了各個應用系統(tǒng)的歷史數(shù)據(jù)和實時數(shù)據(jù)的遷移。以上提到的遷移策略在實際工作中已經(jīng)被采用，順利的實現(xiàn)的源系統(tǒng)與目標系統(tǒng)數(shù)據(jù)的遷移，保證了系統(tǒng)的正常運轉。

參考文獻：

[1] 王東，文必龍，林冬梅.數(shù)據(jù)映射工具設計[J].大慶石油學院學報，1997（4）.

[2] 徐茜，呂良雙. MIS數(shù)據(jù)遷移中的映射規(guī)則[J].計算機與現(xiàn)代化，2007（8）.

[3] 張小波，成良玉，邱科寧，.基于協(xié)同數(shù)據(jù)庫的數(shù)據(jù)遷移模型研究與實現(xiàn)[J].計算機工程與設計，2005（5）.

[4] 張珈珣.用電管理系統(tǒng)數(shù)據(jù)遷移的設計與實現(xiàn)[D].吉林大學，2009.

[5] 左正康，游珍，薛錦云.后序遍歷二叉樹非遞歸算法的推導及形式化證明[J].計算機工程與科學，2010（3）.

[6] jQuery官方網(wǎng)站[EB/OL].http：//www.jquery.com.

[7] 陽峰，徐建波. AJAX技術的性能改進研究[J].計算機工程與科學，2008（6）.