數(shù)據(jù)存儲(chǔ)技術(shù)研究

于賽賽

【摘要】信息技術(shù)的高速發(fā)展推動(dòng)人類社會(huì)全面進(jìn)入數(shù)字時(shí)代，突出表現(xiàn)在信息總量和交換量的迅猛增長，不斷出現(xiàn)新興的應(yīng)用領(lǐng)域。傳輸、處理和存儲(chǔ)如此龐大的數(shù)據(jù)量使存儲(chǔ)系統(tǒng)面臨前所未有的機(jī)遇和挑戰(zhàn)。本文在對(duì)當(dāng)前的數(shù)據(jù)存儲(chǔ)技術(shù)研究的基礎(chǔ)上，介紹了基本存儲(chǔ)設(shè)備和基本存儲(chǔ)設(shè)施；討論了存儲(chǔ)技術(shù)存在的問題；分析了數(shù)據(jù)存儲(chǔ)優(yōu)化的途徑。

【關(guān)鍵詞】數(shù)據(jù)存儲(chǔ) 存儲(chǔ)設(shè)備 優(yōu)化

由硬盤作為基本單元，通過各種總線、網(wǎng)絡(luò)連接成不同層次和不同規(guī)模的存儲(chǔ)系統(tǒng)，構(gòu)成了我們目前的存儲(chǔ)系統(tǒng)。由于存儲(chǔ)成本的大幅下降，數(shù)據(jù)的收集不再存在固有的局限性，大量信息可以被廉價(jià)地捕獲和記錄。此外，數(shù)據(jù)也并不僅限于特定的用途，它可以為同一目的而被多次使用，也可用于其他目的，其價(jià)值從最基本的用途轉(zhuǎn)變?yōu)槲磥淼臐撛谟猛尽?/p>

一、數(shù)據(jù)存儲(chǔ)技術(shù)概述

在計(jì)算機(jī)系統(tǒng)中存儲(chǔ)系統(tǒng)具有層次性的結(jié)構(gòu)，根據(jù)與處理器的距離可分為多個(gè)層次，每個(gè)層次的存儲(chǔ)器在數(shù)據(jù)存取時(shí)間、數(shù)據(jù)傳輸帶寬和容量上是不同的。如下圖所示，第0層一般是指處理器的內(nèi)部寄存器組、一級(jí)、二級(jí)和三級(jí)Cache；第1層是指主板上的隨機(jī)存儲(chǔ)器，習(xí)慣稱為內(nèi)存或主存儲(chǔ)器。處理器可以通過指令直接訪問隨機(jī)存儲(chǔ)器中的數(shù)據(jù)。一般而言，第2層以下統(tǒng)稱為外部存儲(chǔ)器。相對(duì)于內(nèi)存儲(chǔ)器，外存儲(chǔ)器不能被處理器直接訪問，必須通過I/O通道進(jìn)行存取。但是外部存儲(chǔ)器可以提供廉價(jià)的、大容量和非易失的數(shù)據(jù)存儲(chǔ)能力。典型的外存儲(chǔ)器就是硬盤（磁盤或固態(tài)硬盤）。目前流行的是以網(wǎng)絡(luò)連接的方式掛載到本地計(jì)算機(jī)的存儲(chǔ)方式，由于與硬件無關(guān)，它提供巨大的便捷性。

二、數(shù)據(jù)存儲(chǔ)技術(shù)存在的問題

存儲(chǔ)技術(shù)面臨的主要問題可歸納為如下幾個(gè)方面：

（1）大數(shù)據(jù)存儲(chǔ)架構(gòu)的挑戰(zhàn)：磁盤讀寫性能差，與主存的速度差距正在逐漸增大，使得傳統(tǒng)的主存一磁盤存儲(chǔ)架構(gòu)越來越無法適應(yīng)大數(shù)據(jù)管理的要求。

（2）大數(shù)據(jù)管理算法的挑戰(zhàn)：隨著新型存儲(chǔ)介質(zhì)越來越多地被運(yùn)用于大規(guī)模分布式存儲(chǔ)中，大規(guī)模分布式數(shù)據(jù)庫中傳統(tǒng)的持久化策略、索引結(jié)構(gòu)、查詢執(zhí)行、查詢優(yōu)化、恢復(fù)策略等均是基于磁盤存儲(chǔ)設(shè)計(jì)的，新型存儲(chǔ)介質(zhì)具有完全不同于磁盤的物理特性，因此無法發(fā)揮新型存儲(chǔ)的優(yōu)勢(shì)。

（3）大數(shù)據(jù)管理的能耗挑戰(zhàn)：能耗在現(xiàn)有大型數(shù)據(jù)管理系統(tǒng)（通常是數(shù)據(jù)中心）中的費(fèi)用比例逐年升高（目前大約占總能耗的16%左右），給企業(yè)帶來了沉重的經(jīng)濟(jì)負(fù)擔(dān)。

三、數(shù)據(jù)存儲(chǔ)優(yōu)化方法

數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能改善一般從三個(gè)方面入手：一是設(shè)備固有物理性能的提升，例如在預(yù)算允許的情況下使用固態(tài)硬盤；二是系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)和優(yōu)化，包括系統(tǒng)邏輯結(jié)構(gòu)和數(shù)據(jù)流動(dòng)通路；三是針對(duì)特定應(yīng)用程序，對(duì)I/O負(fù)載進(jìn)行優(yōu)化，提高特定存儲(chǔ)模式下的存儲(chǔ)性能。

一些常用提高存儲(chǔ)系統(tǒng)性能的原則是：分析數(shù)據(jù)定義格式和數(shù)據(jù)訪問規(guī)律，針對(duì)經(jīng)常性行為進(jìn)行系統(tǒng)設(shè)計(jì)優(yōu)化；通過并發(fā)性訪問提高系統(tǒng)吞吐量；使用緩沖和預(yù)取技術(shù)優(yōu)化存儲(chǔ)系統(tǒng)讀取性能；使用冗余、校驗(yàn)的方式提高系統(tǒng)的可靠性。下面列舉幾種常用的優(yōu)化方法：

（1）針對(duì)設(shè)備存取特征進(jìn)行優(yōu)化。根據(jù)存儲(chǔ)介質(zhì)的物理特征，優(yōu)化數(shù)據(jù)訪問過程是提高單一設(shè)備性能的有效方法。例如一種在磁盤的磁道邊界內(nèi)定位，進(jìn)行數(shù)據(jù)訪問的技術(shù)，用來減小跨磁道的訪問延遲。通過該方法可以將中等大小的數(shù)據(jù)（100-500KB）的訪問性能提高50%。此外，對(duì)于磁盤驅(qū)動(dòng)器，還可以根據(jù)外道的訪問速率高于內(nèi)道的特點(diǎn)，把熱點(diǎn)數(shù)據(jù)組織到外道上，在一定程度上減小這些數(shù)據(jù)的響應(yīng)延遲。

（2）數(shù)據(jù)布局的優(yōu)化。對(duì)于一個(gè)特定系統(tǒng)，不同數(shù)據(jù)塊的訪問熱度是不相同。如果能夠根據(jù)數(shù)據(jù)的訪問情況，并結(jié)合各個(gè)部件的存取特征，在各存儲(chǔ)層次合理管理、組織數(shù)據(jù)就會(huì)有更好的整體性能。

在存儲(chǔ)層次的縱方向上，將熱點(diǎn)數(shù)據(jù)存放在靠近處理器的設(shè)備中。而在存儲(chǔ)層次的橫方向上，將熱點(diǎn)數(shù)據(jù)存放在具有較高性能的設(shè)備中。合理的數(shù)據(jù)布局使得數(shù)據(jù)更接近處理設(shè)備從而提高系統(tǒng)的整體性能。

（3）I/O并發(fā)和負(fù)載平衡。I/O平衡是指把I/O請(qǐng)求均勻分布在多個(gè)存儲(chǔ)設(shè)備中，從而避免由于某一存儲(chǔ)設(shè)備負(fù)載過重而影響系統(tǒng)的整體性能的情況。在固態(tài)硬盤中，存儲(chǔ)空間由多個(gè)閃存芯片組成，控制器盡量均匆地把數(shù)據(jù)分配到所有的閃存芯片上，通過閃存芯片的并發(fā)傳輸來提高系統(tǒng)的整體吞吐率。同時(shí)，考慮到閃存有限的擦除次數(shù)，盡量分散負(fù)載還能起到損耗平衡的作用。此外，RAIDO也是一種很好的I/O并發(fā)和平衡的實(shí)例。

（4）數(shù)據(jù)緩存和預(yù)取。在存儲(chǔ)系統(tǒng)中，利用數(shù)據(jù)在空間的局域性和時(shí)間的局域性設(shè)計(jì)緩存機(jī)制，是一種常用的提高計(jì)算機(jī)系統(tǒng)性能的有效方法。利用不同存儲(chǔ)設(shè)備在性能和容量之間的差異，使用上層高速存儲(chǔ)設(shè)備作為下層低速存儲(chǔ)設(shè)備的緩存媒介，達(dá)到提升系統(tǒng)性能的目的。同時(shí)，在存儲(chǔ)系統(tǒng)的每一層也都大量使用了緩存技術(shù)。

（5）合并小數(shù)據(jù)的訪問。訪問無論大小，往往都需要對(duì)請(qǐng)求本身進(jìn)行處理，對(duì)于磁盤存儲(chǔ)系統(tǒng)而言，處理大I/O比處理小I/O能更好的發(fā)揮其吞吐率。這種思想在普文件系統(tǒng)調(diào)度中使用，如常用的電梯調(diào)度算法，調(diào)度程序把多個(gè)分離的合并成一個(gè)大的順序。

事實(shí)上，還有其他很多方法可以提高存儲(chǔ)系統(tǒng)的性能，而且這些方法往往是交叉在一起使用。

四、結(jié)語

隨著閃存、PCM、SCM等新型存儲(chǔ)介質(zhì)的出現(xiàn)，未來數(shù)據(jù)存儲(chǔ)體系中將以多介質(zhì)混合存儲(chǔ)為主流，這與目前RAM、磁盤、磁帶共存的現(xiàn)象類似。在大數(shù)據(jù)應(yīng)用中，將數(shù)據(jù)集中存儲(chǔ)是不可行的，因?yàn)榫薮蟮臄?shù)據(jù)量將導(dǎo)致性能低下。因此，必須建立一種新的層次化的多介質(zhì)存儲(chǔ)體系，根據(jù)數(shù)據(jù)的不同特性以及不同存儲(chǔ)介質(zhì)的特性合理地分配數(shù)據(jù)存儲(chǔ)位置，從而實(shí)現(xiàn)海量存儲(chǔ)、高性能以及低能耗的設(shè)計(jì)目標(biāo)。endprint