電信業(yè)務(wù)支撐系統(tǒng)存儲的管理和優(yōu)化

摘要:本篇文章針對電信業(yè)務(wù)支撐系統(tǒng)存儲的管理現(xiàn)狀進(jìn)行分析，通過對數(shù)據(jù)生命周期管理、分級存儲、存儲虛擬化技術(shù)分析，提出存儲系統(tǒng)管理和優(yōu)化的合理建議。

關(guān)鍵詞:信息生命周期管理;虛擬存儲;分級存儲

1 概述

海量的數(shù)據(jù)存儲，需要一個綜合全面的、完善的、有效的管理措施，以提高系統(tǒng)的利用率，提高系統(tǒng)的運行效率;同時系統(tǒng)的不斷優(yōu)化也會有效的提高系統(tǒng)的運行效能，節(jié)省存儲空間，節(jié)約投資。

目前電信運營商建設(shè)的側(cè)重點在于業(yè)務(wù)系統(tǒng)的功能完善，對數(shù)據(jù)的存儲缺乏統(tǒng)一管理 。因此為提高系統(tǒng)中存儲設(shè)備的利用率，滿足日益增長的存儲需求，進(jìn)行存儲的管理與優(yōu)化研究，以降低存儲設(shè)備投資成本，發(fā)揮每臺存儲設(shè)備的最大經(jīng)濟(jì)效益是必要的。

2 問題分析

電信運營商的業(yè)務(wù)支撐系統(tǒng)大多數(shù)采用成熟的FC SAN網(wǎng)絡(luò)，利用IP SAN和ISCSI的很少。在FC SAN中存儲系統(tǒng)由于RAID的劃分和LUN的劃分都或多或少對存儲的可用容量有影響，因此真正能被服務(wù)器識別的卷的大小占得比例很小?，F(xiàn)有的存儲系統(tǒng)容量分配都是為某項工作或某個用戶組專門構(gòu)建，無法通過動態(tài)分配完成，造成存儲利用率很低并且不同廠家硬件存儲之間無法進(jìn)行互操作。電信運營商業(yè)務(wù)支撐系統(tǒng)普遍存在的問題包括:隨著系統(tǒng)的發(fā)展及規(guī)模的增大，管理越來越復(fù)雜; 存儲設(shè)備的采購按照各個系統(tǒng)建設(shè)周期進(jìn)行，需要統(tǒng)一的規(guī)劃和資源分配; 眾多的業(yè)務(wù)系統(tǒng)數(shù)據(jù)采用單一的高端存儲方式，成本高; 存儲環(huán)境復(fù)雜，節(jié)點眾多，維護(hù)管理難度大; 歷史數(shù)據(jù): 大量的歷史數(shù)據(jù)沒有與現(xiàn)網(wǎng)數(shù)據(jù)分離，導(dǎo)致數(shù)據(jù)庫越來越大，系統(tǒng)備份恢復(fù)時間越來越長，對系統(tǒng)安全性造成威脅。

2.1 很多歷史數(shù)據(jù)已經(jīng)不再參與業(yè)務(wù)處理，他們的存在使系統(tǒng)處理效率降低

2.2 這些巨大的數(shù)據(jù)量不但降低了系統(tǒng)的運行效率，而且會引起混亂，也導(dǎo)致數(shù)據(jù)庫存儲空間非常緊張

2.3 數(shù)據(jù)瘦身

數(shù)據(jù)庫物理結(jié)構(gòu)需要調(diào)整、優(yōu)化

3 存儲管理和優(yōu)化演進(jìn)路線

電信業(yè)務(wù)運營支撐系統(tǒng)存儲管理和優(yōu)化路線如下:

存儲環(huán)境評估→存儲環(huán)境虛擬化→分級存儲→ILM管理→數(shù)據(jù)庫系統(tǒng)優(yōu)化。

存儲環(huán)境評估:對系統(tǒng)現(xiàn)有的存儲環(huán)境進(jìn)行評估和存儲現(xiàn)狀調(diào)查為后續(xù)優(yōu)化做準(zhǔn)備，包括數(shù)據(jù)年齡、大小、擁有者、浪費的空間、增長率、使用率，數(shù)據(jù)浪費、遷移、保留、歸檔、容量等方面存在的問題。

構(gòu)建存儲虛擬化架構(gòu)，搭建虛擬存儲平臺，存儲虛擬化一共有三種方案分別為主機虛擬化、網(wǎng)絡(luò)虛擬化、存儲設(shè)備虛擬化。三種方案各有優(yōu)缺點。

方案一:主機虛擬化

基于主機(應(yīng)用服務(wù)器)上的虛擬化一般通過運行在存儲管理軟件上加以實現(xiàn)。管理軟件的作用就是向系統(tǒng)輸出一個單獨的虛擬存儲設(shè)備(或者可以說一個虛擬存儲池)，通過這種模式，用戶不需要直接去控制管理這些獨立的物理存儲設(shè)備。當(dāng)存儲空間不夠的時候，管理軟件會從空閑的磁盤空間中映像更多的空間輸出給系統(tǒng)，而系統(tǒng)看來它所使用的虛擬存儲設(shè)備的空間在動態(tài)的增加，并沒有影響到它的使用。

方案二:存儲網(wǎng)絡(luò)虛擬化

基于網(wǎng)絡(luò)上的虛擬化一般通過互聯(lián)設(shè)備(服務(wù)器)或路由器來實現(xiàn)。

基于互聯(lián)設(shè)備的虛擬化方法在專用服務(wù)器上運行，使用標(biāo)準(zhǔn)操作系統(tǒng)或供應(yīng)商提供的操作系統(tǒng)。

基于路由器的方法是在路由器固件上實現(xiàn)存儲虛擬化功能。在此方案中，路由器被放置于每個主機到存儲網(wǎng)絡(luò)的數(shù)據(jù)通道中，用來截取網(wǎng)絡(luò)中任何一個從主機到存儲系統(tǒng)的命令。

方案三:存儲設(shè)備的虛擬化

存儲虛擬化技術(shù)可以在存儲設(shè)備內(nèi)部或存儲子系統(tǒng)內(nèi)部加以實現(xiàn)。

基于存儲設(shè)備或存儲子系統(tǒng)的虛擬通過特定的算法或者映射表把邏輯存儲單元映射到物理設(shè)備之上。最終實現(xiàn)的就是卷獨立于其所屬的存儲設(shè)備。

方案比較:

方案一。優(yōu)點:容易實現(xiàn)、設(shè)備成本低、產(chǎn)品相對成熟、對現(xiàn)有硬件連接改動小、便于實施;缺點:占用主機資源、影響系統(tǒng)安全和穩(wěn)定性、主機故障容易影響系統(tǒng)數(shù)據(jù)完整性、靈活性不好，異構(gòu)存儲之間互操作性不好。

方案二。優(yōu)點:基于路由器虛擬網(wǎng)絡(luò)數(shù)據(jù)安全性高、在異構(gòu)操作系統(tǒng)和異構(gòu)設(shè)備廠家之間提供互操作性;缺點:設(shè)備成本高、對現(xiàn)有硬件連接改動大、不利于實施、多層故障點。

方案三。優(yōu)點:容易實現(xiàn)、容易管理、對用戶和管理人員透明;缺點:不完全的虛擬化、如果沒有第三方軟件支持容易造成供應(yīng)商單一和對簡單存儲的排斥。

方案選擇:

方案比較及選擇:

方案二是最完全的虛擬化存儲解決方案，但是考慮技術(shù)的成熟程度和實施難易程度兩方面，本方案作為虛擬化存儲的最后一個階段更為合適。

方案一和方案三在存儲系統(tǒng)管理優(yōu)化初始階段實施較為合適，方案一占用主機資源，相對存儲系統(tǒng)透明，方案三對異構(gòu)存儲之間共享成熟度不高，互操作性也不好，因此方案一相對于方案三更適合作為存儲虛擬化剛開始的解決方案。

因此存儲虛擬化第一階段采用主機虛擬化，隨著虛擬化技術(shù)標(biāo)準(zhǔn)化程度提高和實施經(jīng)驗增加后考慮過渡到網(wǎng)絡(luò)虛擬化方案。分級存儲管理是一種將離線存儲與在線存儲、近線存儲融合的技術(shù)。分級存儲根據(jù)數(shù)據(jù)的綜合因素考慮將數(shù)據(jù)存儲形式分為:

在線存儲:在線存儲多采用高速磁盤陣列等存儲設(shè)備，存取速度快 ，價格昂貴

離線存儲:離線存儲采用磁帶作為存儲介質(zhì)，其訪問速度低，但能實現(xiàn)海量存儲，同時價格低廉

近線存儲:定位于客戶在線存儲和離線存儲之間的應(yīng)用。指將并不是經(jīng)常用到，或者說數(shù)據(jù)的訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設(shè)備上。但同時對這些的設(shè)備要求是尋址迅速、傳輸率高。

根據(jù)數(shù)據(jù)的可用性、性能、成本綜合考慮將數(shù)據(jù)分為普通數(shù)據(jù)、重要數(shù)據(jù)、核心數(shù)據(jù)。普通數(shù)據(jù)放置在低端存儲內(nèi)，重要數(shù)據(jù)放置在中端存儲內(nèi)，核心數(shù)據(jù)放置在高端存儲內(nèi)。

生命周期管理。信息生命周期管理一般包括數(shù)據(jù)的創(chuàng)建、保護(hù)、訪問、遷移、歸檔、回收六個階段，概括起來就是將適當(dāng)?shù)臄?shù)據(jù)，在適當(dāng)?shù)臅r間以適當(dāng)?shù)馁M用存儲在適當(dāng)?shù)脑O(shè)備上。

數(shù)據(jù)生命周期管理是個漫長的過程，整理數(shù)據(jù)，各業(yè)務(wù)部門達(dá)成共識:

數(shù)據(jù)進(jìn)行梳理，根據(jù)數(shù)據(jù)性質(zhì)、使用頻度等進(jìn)行整理。確定主要數(shù)據(jù)性質(zhì)及使用周期，業(yè)務(wù)部門進(jìn)行確認(rèn)，形成數(shù)據(jù)表檔案。

制定數(shù)據(jù)管理規(guī)范，制定數(shù)據(jù)管理規(guī)范及個人數(shù)據(jù)操作規(guī)范，包括各種數(shù)據(jù)的命名，使用，處理及保留時間等。

建立數(shù)據(jù)遷移流程，數(shù)據(jù)遷移清理要嚴(yán)格按照數(shù)據(jù)遷移流程進(jìn)行，通過各個角色的協(xié)同合作，保證數(shù)據(jù)遷移的安全可靠。

進(jìn)行數(shù)據(jù)庫優(yōu)化

數(shù)據(jù)庫系統(tǒng)優(yōu)化包括:

索引建立和REBUILD的方案，建立聚集索引等;按數(shù)據(jù)內(nèi)容的穩(wěn)定性的不同，數(shù)據(jù)訪問頻率的 高低來分開存放，如表、索引、大表的不同部分、數(shù)據(jù)庫對象、日志文件分別存放在不同的物理盤上等;并發(fā)用戶數(shù)，并發(fā)打開數(shù)據(jù)庫對象數(shù)，使用的緩沖區(qū)長度/個數(shù)、時間片大小、數(shù)據(jù)庫的大小、裝填因子、鎖的數(shù)目，這些參數(shù)值影響存取時間和存儲空間分配。

4 存儲系統(tǒng)管理和優(yōu)化效益分析

電信業(yè)務(wù)支撐系統(tǒng)存儲實施管理和優(yōu)化策略后能帶來以下效益:

提高效率:程序訪問效率提高，改善存儲的I/O性能;降低成本:清理數(shù)據(jù)減少了存儲空間，分級存儲降低了高端存儲使用率;減少風(fēng)險:減少了核心生產(chǎn)庫的數(shù)據(jù)量，使故障率降低;維護(hù)方面:系統(tǒng)備份、恢復(fù)效率更高，數(shù)據(jù)遷移、管理更方便。

結(jié)束語

電信業(yè)務(wù)運營支撐系統(tǒng)存儲的管理和優(yōu)化是個復(fù)雜的過程，鑒于現(xiàn)有業(yè)務(wù)運營支撐系統(tǒng)的龐大，復(fù)雜，重要性，對數(shù)據(jù)分析和梳理要面面俱到，因此項目實施起來有一定的困難，。同時各個設(shè)備廠家存儲的虛擬化方案還沒有一個固定的標(biāo)準(zhǔn)，在方案實施前和實施過程中一定要考慮全面、細(xì)致。盡管前面荊棘密布，電信業(yè)務(wù)支撐系統(tǒng)的管理和優(yōu)化還是迫在眉睫的。