• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于多種遷移策略的元數(shù)據(jù)驅(qū)動數(shù)據(jù)遷移研究

    2015-05-15 05:51:12張杰
    電腦知識與技術 2015年8期

    張杰

    摘要:該文從遷移策略上介紹了包括歷史數(shù)據(jù)遷移、實時數(shù)據(jù)遷移、手動數(shù)據(jù)遷移多種策略。從遷移的形式上介紹了包括了從增量遷移和全量遷移;實際中采用了元數(shù)據(jù)驅(qū)動技術,構建從舊系統(tǒng)到新系統(tǒng)的映射元模型并制定了映射規(guī)則;技術上使用了優(yōu)秀的JavaScript框架——Jquery和SQL語句完成了數(shù)據(jù)庫數(shù)據(jù)的遷移。目前該系統(tǒng)已在數(shù)據(jù)中心建設中得到應用。

    關鍵詞:歷史數(shù)據(jù)遷移;實時數(shù)據(jù)遷移;元數(shù)據(jù)驅(qū)動技術;映射元模型; 增量遷移;全量遷移

    中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2015)08-0251-03

    Abstract: This paper describes the migration strategy, including historical data on migration, real-time data migration, data migration manually variety of strategies. From the migration way ,Introduced Incremental migration and Full amount of migration, Realization of using metadata driven technology; From implementation using metadata driven technology, building a mapping meta-model from the old system to the new system and developed mapping rules; From the technology use good JavaScript framework - Jquery and SQL statements to complete the database data migration. Currently the system has been applied in China Petroleum.

    Key words: historical data migration; real-time data migration; metadata-driven technology; mapping meta-model; incremental migration; full amount of migration

    1 概述

    隨著目前企業(yè)信息化進程的加速,企業(yè)數(shù)據(jù)中心的建設日益重要。很多企業(yè)的應用系統(tǒng)已經(jīng)運行數(shù)年或者更長的時間,因此積累了大量的數(shù)據(jù)。如“中石油大慶油田公司A2施工總結數(shù)據(jù)”。數(shù)據(jù)遷移是將這些舊應用系統(tǒng)的數(shù)據(jù)遷移到新系統(tǒng)中,而有些舊系統(tǒng)還會繼續(xù)運行,還會產(chǎn)生新的數(shù)據(jù),根據(jù)實際情況迫切需要找到將歷史數(shù)據(jù)實時合理地遷移到新系統(tǒng)中去的一種新方法.

    2 介紹傳統(tǒng)數(shù)據(jù)的遷移方法

    四種傳統(tǒng)的遷移方法有:先遷后錄[1]、先錄后遷、分次遷、一次性遷。

    先遷后錄是指:在系統(tǒng)單軌運行前通過市場用的遷移工具或自行開發(fā)的程序,將老系統(tǒng)數(shù)據(jù)轉入到新系統(tǒng)模型中,再利用新系統(tǒng)功能,也可自行開發(fā)配套程序,把遷移到新系統(tǒng)中的老數(shù)據(jù),再根據(jù)需要生成原有的結果數(shù)據(jù)。這種方法大大減少遷移量。

    先錄后遷是指:在系統(tǒng)單軌前,首先把部分數(shù)據(jù)輸?shù)叫孪到y(tǒng)中,系統(tǒng)單軌時再把以前的老數(shù)據(jù)導入新系統(tǒng)數(shù)據(jù)庫中。這種方法主要適用于新老系統(tǒng)數(shù)據(jù)結構差別很大情況,不能將重要的歷史數(shù)據(jù)導入到新系統(tǒng)中。這些必須的重要數(shù)據(jù)在應用新系統(tǒng)前通過手工錄入到新系統(tǒng)中。

    分次遷移是指:利用市場用的遷移工具或自行開發(fā)的程序,把老數(shù)據(jù)庫中的重要的歷史數(shù)據(jù)分幾次做遷移。這種方法把大任務分成小任務,避免了數(shù)據(jù)量大和宕機時間短之間的相矛盾的發(fā)生。這種方法的缺點是:由于數(shù)據(jù)多次合并導致了出錯的概率升高,同時為了保持整體數(shù)據(jù)的一致性,這種方法要求把先導入的數(shù)據(jù)進行同步,由此使導入數(shù)據(jù)的難度增加。

    一次遷移是指:利用市場用的遷移工具或自行開發(fā)的程序,把老數(shù)據(jù)庫中的數(shù)據(jù)通過這種方法一次性全部導入到新數(shù)據(jù)庫中。這種方法的優(yōu)點是:過程用時短,與分次遷移相比較,問題涉及的較少,風險較低,其缺點是:遷移過程不太受控,而且勞動強度大。

    而這些遷移策略不能夠滿足用戶對于數(shù)據(jù)及時遷移的需要。因此本文提出了歷史數(shù)據(jù)遷移、實時數(shù)據(jù)遷移、手動數(shù)據(jù)遷移多種策略,這些策略滿足了數(shù)據(jù)進入新系統(tǒng)的及時性要求,目前此系統(tǒng)已經(jīng)在中石油大慶油田井下數(shù)據(jù)中心中投入使用。

    3 數(shù)據(jù)遷移策略框架體系模型設計

    圖1為基于多種遷移策略的遷移體系結構模型。對于歷史數(shù)據(jù)和實時數(shù)據(jù)給予不同的遷移策略,實現(xiàn)了多種形式數(shù)據(jù)的遷移。

    3.1 數(shù)據(jù)模型映射

    數(shù)據(jù)模型映射[2]通過多種遷移方法來實現(xiàn)。什么是數(shù)據(jù)模型映射?它是通過一個映射規(guī)則,建立起一個目標模型和源模型之間的關系。在源模型和目標模型的描述已存在的情況下開始映射。模型映射即是數(shù)據(jù)映射。

    一些數(shù)據(jù)映射關系的基本概念如下:

    映射屬性和映射實體。反映源系統(tǒng)與目標系統(tǒng)在概念模型上的對應關系[3]是用戶可以見到的較高視圖的映射實體。也是映射關系的最底層,屬于規(guī)則處理的最小單位。表格與實體的對應,說明了引用和實體的完整性,屬性映射是實現(xiàn)映射實體和映射屬性的基礎。不論引用完整性和實體完整性,都需要屬性來實現(xiàn)。映射實體可分為目標映射實體和源映射實體;映射屬性又可分為:分為目標映射屬性和源映射屬性。

    映射關系

    映射關系是指:目標實體和源實體屬性之間的關系。有向線段和映射模式(MM)構成映射關系。映射源映射實體的映射屬性就是映射關聯(lián)起始節(jié)點,映射的目標實體的映射屬性就是映射關聯(lián)的目標節(jié)點。

    三種形式的映射模式分別為為:語義映射模式(SEMA_MM)[4]、數(shù)據(jù)映射模式和算數(shù)映射模式。語義映射模式用于解決屬性概念的語義計算。數(shù)據(jù)映射模式表示常量數(shù)值。算數(shù)映射用于表示屬性間的加減等算數(shù)操作運算。

    什么是數(shù)據(jù)映射關系

    數(shù)據(jù)映射關系是: 如M就是一個三元組,映射關系名稱用M表示,映射關聯(lián)集合用R表示,映射算子集合用MO表示。映射關系語法的表示方法可用BNF范式表示,術語符號用”...”:表示;尖括號表示必須選擇項;定義為用::=表示;中括號用業(yè)表示可選項;大括號表示可重復無限次;左右兩邊的任意選擇項用|:表示;分組用于(...)表示:;參數(shù)用斜體字表示。描述映射關系規(guī)則如下:映射關系的語法描述如下。

    3.2 元數(shù)據(jù)設計

    根據(jù)以上對映射關系描述,映射模式又可分類為:從源映射實體到目標映射實體間的映射關系,對每一類映射關系又可定義為一類映射模式。但是,每一類映射模式又是一類數(shù)據(jù)轉換規(guī)則;通過對油田A2數(shù)據(jù)模型的研究,由映射模式的三大類,被細分為16種映射模式。由支撐元數(shù)據(jù)可定制映射模式元數(shù)據(jù)。對應數(shù)據(jù)庫間對應字段的映射模式是映射模式元數(shù)據(jù)的核心,它定義了數(shù)據(jù)表結構的轉換以及處理方式,這些信息集中存儲在元模型中。映射元數(shù)據(jù)模型見圖 2映射元數(shù)據(jù)模型圖。

    3.3多策略數(shù)據(jù)遷移系統(tǒng)工具框架結構圖

    工具的總體設計思想是:由于遷移的數(shù)據(jù)量很大,首先對歷史數(shù)據(jù)進行歷史數(shù)據(jù)遷移;對于各個應用系統(tǒng)產(chǎn)生的實時數(shù)據(jù),通過定時遷移模塊進行定時觸發(fā)遷移;還提供了手動觸發(fā)遷移模式,在手動觸發(fā)模塊中用戶可以通過選擇表及其父表、選擇實體(井、施工事件)實現(xiàn)實時數(shù)據(jù)遷移的觸發(fā)。歷史數(shù)據(jù)和實時數(shù)據(jù)在遷移的過程中產(chǎn)生的遷移日志存入相應的文件中(圖 3多策略數(shù)據(jù)遷移系統(tǒng)工具框架結構圖)

    4 工具實現(xiàn)與應用

    4.1手動遷移模塊的具體實現(xiàn)

    手動遷移模塊中提供了兩種對象間的對應關系:實體對應關系;表格對應關系。

    篩選重復表:

    在A2施工總結遷移工具中,不僅提供單表之間的對應關系還提供單表及其父表的對應關系。當用戶在選擇表的時候可能會出現(xiàn)多個表的父表重復的情況。如果對每一個被選擇的表及其父表都進行遷移必然會增加系統(tǒng)負擔,降低執(zhí)行效率,因此需要對用戶選擇的所有表進行遍歷,形成一個有序的集合進行遷移。

    有兩種基本機構:在初始化的過程中,把A2施工總結中所有的表組成一個順序線性鏈表[5],每張表相當于樹中的一個節(jié)點,每個節(jié)點存儲著表代碼(code)、確認標志(sign)、節(jié)點路徑(path)三種節(jié)點信息。而樹的繼承關系由表的父子關系來描述的。(如圖 4表組成的有序樹與節(jié)點所示)

    步驟1:初始化樹節(jié)點

    當選擇表格以后,首先對樹的節(jié)點進行初始化,所有節(jié)點形成一個順序線性鏈表。節(jié)點的順序使用各個表所在的父子關系來描述。在映射表順序信息中每個表的繼承順序采用目錄方式進行存儲,實現(xiàn)的SQL語句如下所示:

    Select * from sequ_t t where t.sequence is not null order by length(t.sequence),t.sequence

    步驟2:得到被選擇的一個表的順序表

    對于選擇的第i個節(jié)點使用遞歸方式找出其所有的父表,得到一個順序表:Ui{Tmi,Tmi+1,T mi+2,…….,T mi+n}。使用Li代表節(jié)點Ti的路徑的目錄數(shù),prev()是獲得上一級節(jié)點的函數(shù),那么得到節(jié)點Ti根節(jié)點遞歸表達式為:

    步驟3:修改順序線性鏈表

    然后與初始化得到的順序數(shù)進行比對并修改確認標志。

    重復以上的過程直到最后一個被選擇的節(jié)點操作完畢。操作過程如圖 5 篩選重復表流程

    4.2實現(xiàn)歷史遷移模塊的過程

    4.2.1、實時獲取遷移信息

    由于歷史數(shù)據(jù)遷移量較大,客戶端向服務器的請求時間很長,所以出現(xiàn)了頁面失效的問題。故采用Ajax[7]異步方式使遷移模塊在服務器后臺運行來實現(xiàn)歷史數(shù)據(jù)的遷移,并把遷移過程中產(chǎn)生的日志信息存入日志文件中。為了讀取所產(chǎn)生的日志信息,采用Jquery [6] 定時器定時以同步方式從服務器取回遷移信息,并在客戶端進行顯示,使用Jquery框架能夠很好的實現(xiàn)前臺與后臺的交互。如圖 6同步獲取遷移信息的流程

    5 結束語

    該文描述了一個基于多種遷移策略的數(shù)據(jù)遷移的架構,構建了元數(shù)據(jù)模型,點討論了映射規(guī)則和具體的實現(xiàn),解決了各個應用系統(tǒng)的歷史數(shù)據(jù)和實時數(shù)據(jù)的遷移。以上提到的遷移策略在實際工作中已經(jīng)被采用,順利的實現(xiàn)的源系統(tǒng)與目標系統(tǒng)數(shù)據(jù)的遷移,保證了系統(tǒng)的正常運轉。

    參考文獻:

    [1] 王東,文必龍,林冬梅.數(shù)據(jù)映射工具設計[J].大慶石油學院學報,1997(4).

    [2] 徐茜,呂良雙. MIS數(shù)據(jù)遷移中的映射規(guī)則[J].計算機與現(xiàn)代化,2007(8).

    [3] 張小波,成良玉,邱科寧,.基于協(xié)同數(shù)據(jù)庫的數(shù)據(jù)遷移模型研究與實現(xiàn)[J].計算機工程與設計,2005(5).

    [4] 張珈珣.用電管理系統(tǒng)數(shù)據(jù)遷移的設計與實現(xiàn)[D].吉林大學,2009.

    [5] 左正康,游珍,薛錦云.后序遍歷二叉樹非遞歸算法的推導及形式化證明[J].計算機工程與科學,2010(3).

    [6] jQuery官方網(wǎng)站[EB/OL].http://www.jquery.com.

    [7] 陽峰,徐建波. AJAX技術的性能改進研究[J].計算機工程與科學,2008(6).

    道孚县| 思茅市| 灵山县| 武邑县| 高阳县| 如东县| 江西省| 南阳市| 麦盖提县| 镇坪县| 专栏| 达尔| 陵水| 马公市| 中阳县| 兴安盟| 大洼县| 门头沟区| 湾仔区| 龙山县| 新津县| 霍林郭勒市| 崇左市| 天津市| 拉萨市| 苏州市| 岢岚县| 从江县| 三门峡市| 鄄城县| 恩施市| 瑞金市| 白城市| 比如县| 明水县| 兴义市| 望奎县| 定陶县| 武汉市| 丰镇市| 河池市|