淺析跨存儲(chǔ)數(shù)據(jù)遷移技術(shù)

張 瑛

ZHANG Ying

（中航飛機(jī)西安飛機(jī)分公司，西安 710089）

0 引言

企業(yè)通常采用上一套應(yīng)用配置一套服務(wù)器和存儲(chǔ)的項(xiàng)目式系統(tǒng)建設(shè)模式，經(jīng)過一段時(shí)間的發(fā)展，在IT系統(tǒng)架構(gòu)內(nèi)往往積累了多套各種類型及品牌的存儲(chǔ)設(shè)備。較有實(shí)力的企業(yè)，都搭建了基于SAN的存儲(chǔ)網(wǎng)絡(luò)，接入了核心存儲(chǔ)設(shè)備及服務(wù)器，但管理上可能仍然是一套應(yīng)用配一套服務(wù)器及存儲(chǔ)設(shè)備的豎井模式。由企業(yè)業(yè)務(wù)系統(tǒng)的持續(xù)快速增長(zhǎng)帶來數(shù)據(jù)膨脹的壓力也帶來了更多的數(shù)據(jù)遷移需求，無論是硬件設(shè)備還是應(yīng)用系統(tǒng)的更新?lián)Q代都將面臨數(shù)據(jù)遷移的問題。

1 數(shù)據(jù)遷移技術(shù)比較

數(shù)據(jù)遷移技術(shù)屬于存儲(chǔ)管理的核心技術(shù)，承擔(dān)著存儲(chǔ)設(shè)備升級(jí)、維護(hù)以及數(shù)據(jù)備份、歸檔及恢復(fù)過程中數(shù)據(jù)遷移、調(diào)度的繁重任務(wù)，數(shù)據(jù)遷移的效率及可靠性直接影響著整個(gè)系統(tǒng)的性能優(yōu)劣及數(shù)據(jù)安全。本文將對(duì)存儲(chǔ)系統(tǒng)中現(xiàn)行的各種數(shù)據(jù)遷移技術(shù)逐一進(jìn)行介紹，并對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行比較。

存儲(chǔ)系統(tǒng)的數(shù)據(jù)遷移技術(shù)[2]從其操作層面上可以分為應(yīng)用層、系統(tǒng)層和存儲(chǔ)層三個(gè)層面。它們的執(zhí)行方式、效率以及對(duì)業(yè)務(wù)系統(tǒng)的影響都不盡相同。系統(tǒng)管理人員在執(zhí)行數(shù)據(jù)遷移項(xiàng)目時(shí)必須對(duì)當(dāng)前系統(tǒng)的現(xiàn)狀進(jìn)行充分的調(diào)研，對(duì)各種數(shù)據(jù)遷移技術(shù)進(jìn)行充分的評(píng)估，在保證數(shù)據(jù)安全的前提下選擇對(duì)業(yè)務(wù)系統(tǒng)影響小的遷移技術(shù)，并且在項(xiàng)目實(shí)施過程中必須進(jìn)行充分的測(cè)試工作。

1.1 應(yīng)用層

在軟件層面實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)位置的遷移可以大致分為兩種，一種是利用應(yīng)用軟件自身的遷移功能，另一種是利用專業(yè)的數(shù)據(jù)管理軟件進(jìn)行自動(dòng)的數(shù)據(jù)遷移。雖然兩種遷移技術(shù)都可以實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)位置的改變，但兩種遷移技術(shù)的目標(biāo)和功能顯然不同。

許多應(yīng)用軟件都帶有數(shù)據(jù)遷移功能，例如Oracle數(shù)據(jù)庫的impdp/expdp、RMAN、表空間遷移等方式都可以實(shí)現(xiàn)數(shù)據(jù)遷移。利用應(yīng)用軟件自帶工具進(jìn)行數(shù)據(jù)遷移具有對(duì)業(yè)務(wù)運(yùn)行影響較大、遷移時(shí)間較長(zhǎng)的缺點(diǎn)，但也具有可靠成熟、數(shù)據(jù)安全性高、可以實(shí)現(xiàn)跨平臺(tái)遷移（部分應(yīng)用）等優(yōu)點(diǎn)。

數(shù)據(jù)備份歸檔軟件、分層存儲(chǔ)管理軟件（HSM）等專業(yè)的數(shù)據(jù)管理軟件可以實(shí)現(xiàn)數(shù)據(jù)在不同性能的存儲(chǔ)設(shè)備之間自動(dòng)遷移，當(dāng)然這是依據(jù)用戶事先制定的策略來執(zhí)行。備份軟件的功能是將某一時(shí)間點(diǎn)的生產(chǎn)數(shù)據(jù)存放在不同的存儲(chǔ)位置或存儲(chǔ)介質(zhì)，當(dāng)生產(chǎn)系統(tǒng)發(fā)生故障或?yàn)?zāi)難時(shí)可以利用仍然存在的數(shù)據(jù)副本對(duì)生產(chǎn)數(shù)據(jù)進(jìn)行恢復(fù)，從而保證了數(shù)據(jù)安全。分層存儲(chǔ)管理軟件則依據(jù)一定的規(guī)則自動(dòng)的將數(shù)據(jù)遷移到更高性能或更低成本的存儲(chǔ)介質(zhì)上，從而提高存儲(chǔ)系統(tǒng)的總體利用率并降低總體成本。很明顯，這些數(shù)據(jù)遷移是依據(jù)策略自動(dòng)執(zhí)行的，而并非為了應(yīng)對(duì)硬件或應(yīng)用系統(tǒng)升級(jí)改造。雖然可以利用備份軟件的備份和恢復(fù)功能來實(shí)現(xiàn)數(shù)據(jù)的跨存儲(chǔ)遷移，但這可能是更為復(fù)雜的方式。

1.2 系統(tǒng)層

在系統(tǒng)層面可以利用操作系統(tǒng)自帶的功能實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)位置的遷移，如基于文件系統(tǒng)的復(fù)制、邏輯卷遷移、邏輯卷鏡像、磁盤鏡像等等。基于文件系統(tǒng)的復(fù)制在所有操作系統(tǒng)下都支持，就是大家都非常熟悉的將文件從一個(gè)目錄拷貝到另一個(gè)目錄。當(dāng)然這個(gè)目標(biāo)目錄可以在本機(jī)或網(wǎng)絡(luò)上的某個(gè)位置，目標(biāo)目錄與源目錄位于不同的存儲(chǔ)設(shè)備就實(shí)現(xiàn)了數(shù)據(jù)的存儲(chǔ)遷移。文件復(fù)制的方式需要中斷業(yè)務(wù)運(yùn)行，遷移速度取決于鏈路及存儲(chǔ)性能以及數(shù)據(jù)量的大小。遷移完成后需要對(duì)應(yīng)用程序進(jìn)行設(shè)置，并可能需要調(diào)整新位置的用戶權(quán)限。基于文件系統(tǒng)復(fù)制的遷移方式優(yōu)點(diǎn)是操作過程較簡(jiǎn)單，缺點(diǎn)是對(duì)業(yè)務(wù)運(yùn)行影響較大，遷移速度較慢，而且在一些應(yīng)用程序直接訪問磁盤的模式下也不被支持。在應(yīng)用程序支持，應(yīng)用模式簡(jiǎn)單，遷移時(shí)間充足或數(shù)據(jù)量較小的情況下，文件復(fù)制可能是最簡(jiǎn)單的數(shù)據(jù)遷移方式。

在某些基于邏輯卷管理的操作系統(tǒng)中（如AIX），支持在后臺(tái)將存儲(chǔ)數(shù)據(jù)的邏輯卷從一塊磁盤遷移到另一塊磁盤，如果兩塊磁盤位于不同的存儲(chǔ)則實(shí)現(xiàn)了數(shù)據(jù)的跨存儲(chǔ)遷移。這種遷移是在線的、對(duì)應(yīng)用程序透明的遷移，在應(yīng)用程序單機(jī)運(yùn)行的環(huán)境中，遷移過程無需中斷應(yīng)用的運(yùn)行也無需對(duì)應(yīng)用程序進(jìn)行任何修改，但在高可用集群等復(fù)雜應(yīng)用模式下，則必須對(duì)集群軟件、應(yīng)用程序等一系列相關(guān)參數(shù)進(jìn)行調(diào)整才能完成數(shù)據(jù)的遷移。

通過對(duì)存儲(chǔ)數(shù)據(jù)的磁盤或邏輯卷創(chuàng)建跨存儲(chǔ)的鏡像后再拆除鏡像也可以實(shí)現(xiàn)數(shù)據(jù)的跨存儲(chǔ)遷移。與邏輯卷遷移類似，在單機(jī)運(yùn)行的簡(jiǎn)單應(yīng)用部署模式下這種遷移過程僅在操作系統(tǒng)層面執(zhí)行，對(duì)應(yīng)用程序幾乎是透明的，而面對(duì)集群等復(fù)雜的應(yīng)用模式，遷移過程也變得復(fù)雜。

1.3 存儲(chǔ)層

現(xiàn)在基于SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）的存儲(chǔ)系統(tǒng)已經(jīng)在大、中型數(shù)據(jù)中心普及，在存儲(chǔ)層面利用SAN網(wǎng)絡(luò)在存儲(chǔ)設(shè)備之間直接遷移數(shù)據(jù)成為更簡(jiǎn)單有效的海量數(shù)據(jù)遷移方案，既能保證大量信息遷移的可靠性，又能保證遷移效率。存儲(chǔ)層的數(shù)據(jù)遷移不再依賴于應(yīng)用服務(wù)器，而是直接在SAN網(wǎng)絡(luò)中的存儲(chǔ)設(shè)備之間進(jìn)行，利用SAN網(wǎng)絡(luò)的高帶寬優(yōu)勢(shì)，可以大幅度提高數(shù)據(jù)遷移效率。應(yīng)用服務(wù)器也由此得以從繁重的數(shù)據(jù)搬遷任務(wù)中解脫出來，系統(tǒng)管理人員則專注于諸如策略制訂、資源分配、任務(wù)調(diào)度及管理監(jiān)控等應(yīng)用層面的服務(wù)。

基于存儲(chǔ)層的數(shù)據(jù)遷移主要有兩種方式，即通過高端智能存儲(chǔ)系統(tǒng)的遷移工具來遷移數(shù)據(jù)和通過虛擬化存儲(chǔ)來遷移數(shù)據(jù)。許多高端智能存儲(chǔ)系統(tǒng)都具有數(shù)據(jù)復(fù)制、遷移、鏡像等功能，例如EMC的SRDF、SANCopy，IBM的Metro Mirror、Global Mirror，HDS的TrueCopy等。下面以IBM XIV存儲(chǔ)系統(tǒng)的Data Migration數(shù)據(jù)遷移工具為例來簡(jiǎn)要說明將數(shù)據(jù)從源存儲(chǔ)遷移到XIV存儲(chǔ)的過程：

1）在SAN交換機(jī)上創(chuàng)建XIV存儲(chǔ)到源存儲(chǔ)設(shè)備和生產(chǎn)主機(jī)之間的zoning；

2）在XIV上面定義遷移的Target，向Target增加用于數(shù)據(jù)遷移的端口；

3）定義XIV的端口與數(shù)據(jù)遷移端口之間的連接，并將XIV定義為L(zhǎng)inux主機(jī)；

4）停止生產(chǎn)主機(jī)上應(yīng)用程序運(yùn)行；

5）在原有存儲(chǔ)產(chǎn)品上修改mapping，去除需要遷移的LUN到生產(chǎn)主機(jī)的映射關(guān)系并將其映射到XIV存儲(chǔ)；

6）在XIV上定義數(shù)據(jù)遷移關(guān)系，測(cè)試并激活數(shù)據(jù)遷移關(guān)系；

7）在XIV上將遷移LUN映射到生產(chǎn)主機(jī)；

8）在生產(chǎn)主機(jī)上安裝XIV的驅(qū)動(dòng)程序并識(shí)別XIV的LUN，導(dǎo)入卷組，啟動(dòng)應(yīng)用；

9）數(shù)據(jù)遷移完成后，在XIV上面刪除數(shù)據(jù)遷移關(guān)系，在SAN交換機(jī)上刪除XIV與源存儲(chǔ)設(shè)備的zoning。

我們可以看到，這個(gè)遷移過程實(shí)際上是修改了存儲(chǔ)映射關(guān)系，由源存儲(chǔ)的生產(chǎn)卷直接映射到主機(jī)改為通過XIV存儲(chǔ)透明映射到主機(jī)，這是遷移的關(guān)鍵，映射關(guān)系的更改并沒有影響主機(jī)對(duì)磁盤的識(shí)別，應(yīng)用程序可以立即恢復(fù)運(yùn)行。主機(jī)業(yè)務(wù)的運(yùn)行在映射關(guān)系調(diào)整過程中必須中斷，但如果準(zhǔn)備充分中斷時(shí)間將會(huì)很短。實(shí)際的數(shù)據(jù)復(fù)制和同步過程對(duì)主機(jī)是透明的，對(duì)主機(jī)業(yè)務(wù)運(yùn)行的影響很小，由于是利用SAN網(wǎng)絡(luò)在存儲(chǔ)之間復(fù)制數(shù)據(jù)，所以吞吐量很大，數(shù)據(jù)遷移效率很高。由于主要工作在存儲(chǔ)層面完成，即使應(yīng)用部署在集群模式的多臺(tái)主機(jī)上，在主機(jī)及應(yīng)用程序上需要執(zhí)行的操作也很少，整個(gè)遷移過程的實(shí)施并不復(fù)雜。

目前，許多大型數(shù)據(jù)中心都在構(gòu)建虛擬化的存儲(chǔ)環(huán)境，所謂存儲(chǔ)虛擬化，簡(jiǎn)單的講就是在服務(wù)器與存儲(chǔ)設(shè)備之間插入一個(gè)中間層，將存儲(chǔ)的物理實(shí)體與存儲(chǔ)的邏輯表示分離開來，服務(wù)器只與分配給它們的存儲(chǔ)邏輯卷打交道，而不必關(guān)心其數(shù)據(jù)存放在哪個(gè)物理存儲(chǔ)上。存儲(chǔ)虛擬化解決了異構(gòu)存儲(chǔ)系統(tǒng)在兼容性、擴(kuò)展性、可靠性、數(shù)據(jù)遷移等方面的問題。利用虛擬化存儲(chǔ)來實(shí)現(xiàn)跨存儲(chǔ)的數(shù)據(jù)遷移類似于在操作系統(tǒng)上創(chuàng)建鏡像再拆除鏡像，只不過這一操作在虛擬存儲(chǔ)層完成，與主機(jī)無關(guān)。與前面各種遷移方法比較基于虛擬存儲(chǔ)的數(shù)據(jù)遷移都更加高效，如果已經(jīng)構(gòu)建了虛擬化存儲(chǔ)環(huán)境，那么數(shù)據(jù)遷移過程將不需要在主機(jī)上執(zhí)行任何操作，無論應(yīng)用系統(tǒng)是單機(jī)運(yùn)行還是集群部署?；谔摂M化存儲(chǔ)的數(shù)據(jù)遷移，兼容現(xiàn)有主流存儲(chǔ)設(shè)備，支持不同廠商不同品牌存儲(chǔ)設(shè)備間的數(shù)據(jù)遷移，遷移效率高，對(duì)主機(jī)透明，適合于頻繁移動(dòng)數(shù)據(jù)的大型企業(yè)，但在執(zhí)行數(shù)據(jù)遷移前必須完成對(duì)存儲(chǔ)系統(tǒng)的虛擬化改造。

2 結(jié)束語

與其他存儲(chǔ)技術(shù)相比，數(shù)據(jù)遷移屬精密度高、復(fù)雜度大、專業(yè)性強(qiáng)的技術(shù)。對(duì)系統(tǒng)管理人員來說，數(shù)據(jù)遷移極具挑戰(zhàn)性，一旦措施不當(dāng)，珍貴的數(shù)據(jù)資源將面臨丟失的危險(xiǎn)，要成功地實(shí)現(xiàn)數(shù)據(jù)平滑遷移，需要周密計(jì)劃和充分準(zhǔn)備，并按照詳細(xì)的步驟來完成。

各種數(shù)據(jù)遷移方法都有各自的優(yōu)缺點(diǎn)，適用于不同的數(shù)據(jù)遷移需求，通常在有在線遷移要求且遷移數(shù)據(jù)量大的情況下，推薦采用基于存儲(chǔ)層的數(shù)據(jù)遷移方法或邏輯卷鏡像方法來實(shí)現(xiàn)數(shù)據(jù)遷移，相對(duì)簡(jiǎn)單、高效。如果系統(tǒng)沒有邏輯卷管理軟件或沒有高端存儲(chǔ)設(shè)備，可以考慮采用應(yīng)用程序自身的備份恢復(fù)方式來實(shí)現(xiàn)遷移，這種方式步驟較復(fù)雜，但使用可靠、成熟，在滿足遷移窗口要求的情況下，也是一種很好的選擇。對(duì)于遷移數(shù)據(jù)量不大的情況，可以考慮采用脫機(jī)遷移的方式，這種方式下，如果應(yīng)用是部署在文件系統(tǒng)上，采用直接拷貝的方式就顯得簡(jiǎn)單、快捷。

在一個(gè)大型的存儲(chǔ)體系規(guī)劃建設(shè)過程中，會(huì)涉及到很多不同的應(yīng)用，數(shù)據(jù)特點(diǎn)也各不相同，因此，在整體的數(shù)據(jù)遷移過程中，往往會(huì)用到各種各樣數(shù)據(jù)遷移方法，能夠靈活的掌握這些數(shù)據(jù)遷移方法，才能夠安全高效的完成數(shù)據(jù)遷移任務(wù)。

[1]李鐘雋.基于XML數(shù)據(jù)遷移中間件的研究[D].哈爾濱工程大學(xué),2007.

[2]舒清錄.基于NET的異構(gòu)數(shù)據(jù)源數(shù)據(jù)遷移技術(shù)[J].計(jì)算機(jī)技術(shù)與發(fā)展,2010.