存儲在電力資源池中配比算法研究

◆薛永軍 毛正雄

（云南電網(wǎng)有限責(zé)任公司信息中心 云南 650217）

存儲在電力資源池中配比算法研究

◆薛永軍 毛正雄

（云南電網(wǎng)有限責(zé)任公司信息中心 云南 650217）

在所有解決方案和云計算架構(gòu)中，存儲都被視為基礎(chǔ)平臺，這說明存儲在云計算中是處于不可或缺的基礎(chǔ)條件。時至今日，許多企業(yè)的云數(shù)據(jù)中心對存儲陣列的使用還是處于傳統(tǒng)粗放的階段，只是一味地使用存儲空間，而不考慮存儲空間的精細(xì)化使用。

云數(shù)據(jù)中心；存儲精細(xì)化；電力資源

0 引言

在物理機時代的煙囪式基礎(chǔ)架構(gòu)時代，存儲往往就提供一個或幾個系統(tǒng)存儲空間服務(wù)，容量的單位是G及T，機頭往往是2個。其承載單一的業(yè)務(wù)，單一的應(yīng)用類型，存儲需求明確，可控性強。相比傳統(tǒng)模式，資源池的存儲系統(tǒng)承載了更多的、相互沒有關(guān)系的業(yè)務(wù)系統(tǒng)。一般情況下，虛擬機的“本地硬盤”和“數(shù)據(jù)盤”都是通過中、高端的存儲提供的。存儲的性能和容量與傳統(tǒng)的存儲相比有更高的要求。中型企業(yè)的資源池內(nèi)的存儲容量都已經(jīng)接近或者使用P級，能有多機頭來提高存儲性能，用來支持快速的線性擴容，但是這種方法只是單一地從存儲這一側(cè)提高存儲陣列性而已，沒有基于資源池、業(yè)務(wù)系統(tǒng)角度來精細(xì)化存儲性能。

1 資源池下的存儲需求

在云計算快速發(fā)展下，更多的業(yè)務(wù)系統(tǒng)遷移或者部署在資源池上，這就出現(xiàn)了不同業(yè)務(wù)系統(tǒng)部署在同一個存儲上，導(dǎo)致存儲的IO呈現(xiàn)更多的隨機特征，這對傳統(tǒng)的Cache技術(shù)提出挑戰(zhàn)。而且多業(yè)務(wù)系統(tǒng)的同時并發(fā)訪問，要求存儲系統(tǒng)能具備協(xié)調(diào)虛擬機訪問競爭，能保證每個虛擬機的IO性能在基本要求的基礎(chǔ)上，還要確保QoS要求高的虛擬機獲取到更多的資源。而傳統(tǒng)的存儲是一個開放共享的平臺，在資源的分配上采取無管控的“競爭”的關(guān)系，存儲的網(wǎng)絡(luò)就像一條高速公路，所有的IO都擠在高速公路上，公路上沒有進行流量控制和管理交通手段。而存儲只管響應(yīng)網(wǎng)絡(luò)上的請求。存儲本身相對于存儲網(wǎng)絡(luò)來說就是一個處理瓶頸，就像高速出口常常引起高速公路擁堵一樣。這樣，并不是每個應(yīng)用都可以獲取滿足基本需要的IO性能，如果出現(xiàn)突發(fā)的大IO，還可能會影響所有承載在這個存儲下的應(yīng)用。

2 存儲技術(shù)發(fā)展情況

2.1 傳統(tǒng)RAID技術(shù)

眾所周知，傳統(tǒng)RAID在數(shù)據(jù)重構(gòu)方面表現(xiàn)極差，當(dāng)一塊盤發(fā)生故障之后，需要幾十個小時才能將故障盤中的數(shù)據(jù)恢復(fù)。特別在數(shù)據(jù)重構(gòu)的過程中，上層文件系統(tǒng)的性能也會受到極大的影響。并且在應(yīng)用數(shù)據(jù)壓力的情況下，數(shù)據(jù)重構(gòu)的IO和應(yīng)用的IO交錯在一起，導(dǎo)致惡性循環(huán)，使得數(shù)據(jù)重構(gòu)和應(yīng)用IO性能都表現(xiàn)極差。

大容量磁盤對傳統(tǒng)RAID的最大挑戰(zhàn)就在于此。存儲界的很多公司開始尋找下一代磁盤RAID的技術(shù)，其中最有可能和新意的就是DDP（Dynamic Disk Pool），國內(nèi)的華為將這種技術(shù)稱之為RAID2.0。DDP最大的特征在于將RAID構(gòu)建在一系列隨意的CHUNK之上，而不是將若干個磁盤做成RAID。這些CHUNK是磁盤中的資源塊，可以是1GB或者更大的容量。在DDP中普遍會存在Storage Pool的概念，這個概念會將這些CHUNK資源塊組織起來，池化。在這個池中通過一定的算法獲取一些資源塊CHUNK，然后在這些CHUNK的基礎(chǔ)上組建RAID。目前，應(yīng)該有很多的存儲公司都在研發(fā)這種新型的RAID。咋看一眼，這種技術(shù)好像很簡單，其實在現(xiàn)象的表面隱藏了很多的技術(shù)問題，并且不是很容易解決的。

傳統(tǒng)RAID技術(shù)在面臨大容量磁盤的時候顯得有點力不從心，這主要由于大容量磁盤技術(shù)的引入使得RAID的數(shù)據(jù)重構(gòu)時間急劇變長，并且整體IO性能也受到了嚴(yán)重影響。所以很多人預(yù)測，傳統(tǒng)RAID技術(shù)作為存儲核心的時代即將過去，大容量磁盤的數(shù)據(jù)管理需要其它的數(shù)據(jù)保護技術(shù)。我也曾經(jīng)在一些文章中分析過，傳統(tǒng)RAID如果不進行架構(gòu)級別的革新，那么數(shù)據(jù)重構(gòu)時間（reconstruction time）和一致性性能（consistent performance）將會無法得到徹底解決。

2.2 存儲池技術(shù)

在2012年的時候DELL，NetApp也推出了在架構(gòu)上非常類似的系統(tǒng)，該系統(tǒng)就是Dynamic Disk Pool，簡稱DDP。2013年底，華為也發(fā)布了他們最新的磁盤陣列系統(tǒng)RAID2.0，該架構(gòu)和DDP也是類似的。這種架構(gòu)的核心思想是將傳統(tǒng)RAID中的數(shù)據(jù)保護層從磁盤管理組（DiskGroup）中剝離出來。數(shù)據(jù)保護在邏輯域中完成，磁盤管理在物理域中實現(xiàn)。通過這種分離，數(shù)據(jù)保護域和磁盤物理域之間可以進行很靈活的映射。這種架構(gòu)上的靈活性可以提高數(shù)據(jù)重構(gòu)的性能，并且使得數(shù)據(jù)重構(gòu)性能隨著磁盤數(shù)量的增加而提升。

下面首先來看一下DDP的技術(shù)特征。DDP也將數(shù)據(jù)保護域和磁盤物理域進行了分離。從圖1可以看出，DDP將所有的物理磁盤分成D-Piece，通過映射算法映射之后，若干個D-Piece組成一個D-Stripe；每個D-Stripe內(nèi)部和傳統(tǒng)的RAID-6的布局是相同的。也就是說，一個D-Stripe由多個傳統(tǒng)的Stripe（條帶）構(gòu)成。由于這種虛擬化是底層虛擬化，為了降低虛擬化技術(shù)所引入的overhead，D-Piece的容量往往會大于512MB。

圖1 DDP的物理盤分解示意圖

3 存儲的實際應(yīng)用

3.1 VAAI技術(shù)

為了獲得最佳存儲性能，虛擬化技術(shù)都使用支持 VAAI 的存儲硬件。VAAI 可提高海量虛擬機置備和精簡置備的虛擬磁盤的性能和其他大規(guī)模部署中尤為顯著。

3.2 存儲訪問方法

大多數(shù)虛擬化技術(shù)都支持裸設(shè)備映射 (RDM)，允許將裸SCSI 磁盤或 LUN 作為 V存儲文件管理和訪問。RDM是存儲卷中充當(dāng)裸設(shè)備代理的特殊文件。RDM文件包含用于管理和重定向?qū)ξ锢碓O(shè)備進行磁盤訪問的元數(shù)據(jù)。

3.3 磁盤的使用

建議大部分虛擬磁盤存儲使用虛擬化產(chǎn)品所自有的文件磁盤，但在某些情況下，裸磁盤會發(fā)揮很好的效果。同時也可以在虛擬兼容模式或物理兼容模式中使用 RDM。

（1）虛擬模式指定映射設(shè)備的完全虛擬化，允許客戶機操作系統(tǒng)將 RDM 與磁盤卷中的其他任何虛擬磁盤文件同等對待，并且允許使用重做日志獲取 RDM 快照。

（2）物理模式指定映射設(shè)備的最小 SCSI 虛擬化，可實現(xiàn)在虛擬機中運行的 SAN 管理軟件或其他基于 SCSI目標(biāo)的軟件的最大靈活性。

3.4 存儲空間在電力行業(yè)配置算法

存儲技術(shù)高速更新?lián)Q代，2014年以后的存儲陣列已經(jīng)達(dá)到很高的性能，基本滿足大多數(shù)業(yè)務(wù)需求。電力行業(yè)的業(yè)務(wù)量大，系統(tǒng)運行需要使用高端的存儲陣列。在選用具體的存儲平臺時，應(yīng)該多考慮本行業(yè)內(nèi)業(yè)務(wù)系統(tǒng)真實使用情況，同時兼顧服務(wù)器虛擬化產(chǎn)品參數(shù)。

4 結(jié)束語

存儲在云計算中是處于不可或缺的基礎(chǔ)條件。電力企業(yè)的云數(shù)據(jù)中心對存儲陣列的使用，應(yīng)當(dāng)考慮存儲空間的精細(xì)化使用。傳統(tǒng)的存儲技術(shù)和平臺難以滿足現(xiàn)代電力業(yè)務(wù)的需要，因此，企業(yè)在存儲優(yōu)化過程中，應(yīng)基于資源池、業(yè)務(wù)系統(tǒng)角度來精細(xì)化存儲性能，考慮使用現(xiàn)金的虛擬化管理技術(shù)，實現(xiàn)存儲效率與安全的平衡。

[1]Yellow bricks. VMFS-5 LUN Sizing[EB/OL]. http://www.yellow-bricks.com/2011/07/29/vmfs-5-lun-sizing /.

[2]希賽云閱讀.系統(tǒng)分析師教程_虛擬存儲技術(shù)[EB/OL].http://www.educity.cn/jiaocheng/698982.html.