面向云計算的企業(yè)級硬盤基準(zhǔn)測試

郭亮 中國信息通信研究院技術(shù)與標(biāo)準(zhǔn)研究所，云計算標(biāo)準(zhǔn)與測試驗證北京市重點實驗室高級工程師

網(wǎng)絡(luò)技術(shù)——云計算專題

面向云計算的企業(yè)級硬盤基準(zhǔn)測試

郭亮 中國信息通信研究院技術(shù)與標(biāo)準(zhǔn)研究所，云計算標(biāo)準(zhǔn)與測試驗證北京市重點實驗室高級工程師

近幾年，各類云服務(wù)發(fā)展非常迅猛，對底層重要部件企業(yè)級硬盤的需求量越來越大。為了上層云服務(wù)的穩(wěn)定運行，非常有必要對企業(yè)級硬盤進(jìn)行全面的基準(zhǔn)測試。本文就企業(yè)級硬盤的市場規(guī)模、技術(shù)發(fā)展、云服務(wù)流量模型做了研究，并對企業(yè)級硬盤基準(zhǔn)測試提出了具體建議。

機械硬盤；固態(tài)硬盤；基準(zhǔn)測試

1 引言

近幾年，云計算、大數(shù)據(jù)蓬勃發(fā)展，其產(chǎn)生的數(shù)據(jù)量越來越多。研究顯示，2020年一年將會產(chǎn)生數(shù)十ZB的數(shù)據(jù)，僅存儲這些數(shù)據(jù)就需要數(shù)百億個1T硬盤。更多的數(shù)據(jù)需要存儲和處理，使存儲系統(tǒng)的重要性得到顯著提升。人們對存儲系統(tǒng)的關(guān)注度日益升溫，而對存儲系統(tǒng)的穩(wěn)定性、安全性和可靠性起到?jīng)Q定作用的企業(yè)級硬盤卻一直隱藏在人們的視線之外。

作為服務(wù)器中的重要部件，硬盤的各項功能和性能對于服務(wù)器的穩(wěn)定運行以及業(yè)務(wù)的正常使用至關(guān)重要。固態(tài)硬盤在啟動速度、讀寫速度、質(zhì)量、抗震上相比HDD傳統(tǒng)硬盤有著絕對的優(yōu)勢，而HDD發(fā)展至今，在價格、壽命和數(shù)據(jù)恢復(fù)方面的成績也是SSD無法取代的。這兩種硬盤技術(shù)在很長時間內(nèi)會同時存在，各自也在不斷演進(jìn)當(dāng)中，如HDD領(lǐng)域出現(xiàn)了氦氣密封式硬盤、SSD的3Dnano技術(shù)等。使用合適的方法對硬盤進(jìn)行基準(zhǔn)測試以獲得性能、功能相關(guān)的準(zhǔn)確結(jié)果，給系統(tǒng)部署提供參考數(shù)據(jù)，是一個迫切需要深入研究的課題。

2 市場規(guī)模和技術(shù)趨勢

2.1 市場規(guī)模

近來各類云服務(wù)層出不窮，而且云服務(wù)也成為了各大互聯(lián)網(wǎng)公司的主戰(zhàn)場。承載云服務(wù)的各類IT基礎(chǔ)設(shè)施，包括服務(wù)器、存儲、交換機等，采購量一直穩(wěn)中有增。

在收購HGST之后，企業(yè)級硬盤市場由西數(shù)、希捷和東芝三分天下。但是近幾年隨著SSD技術(shù)的日漸成熟，三星、英特爾等SSD廠商逐漸嶄露頭角而且占據(jù)主動。傳統(tǒng)的HDD廠商也在尋求不斷的并購和研發(fā)，三大傳統(tǒng)HDD廠商也都有了自己的SSD產(chǎn)品，以求在這個新興的領(lǐng)域分得一杯羹。

根據(jù)Gartner的分析報告，關(guān)鍵任務(wù)的企業(yè)級HDD的復(fù)合年均增長率（CAGR，Compound Annual Growth Rate）為7.6%；關(guān)鍵商務(wù)的企業(yè)級HDD的CAGR為12.1%。總體來說，HDD保持了一個穩(wěn)定增長的態(tài)勢。而服務(wù)器級的企業(yè)級SSD的CAGR為15.7%，存儲級的企業(yè)級SSD復(fù)合年均增長率更是達(dá)到了驚人的31.5%，具體參見圖1。

從區(qū)域來看，根據(jù)Gartner的研究報告，由于美國擁有眾多的大型互聯(lián)網(wǎng)公司，其企業(yè)級SSD的采購量占到了全球近一半的規(guī)模；亞太地區(qū)占全球的22%，中國占其中的44%；歐盟占全球的23%。企業(yè)級SSD的采購量也在一定程度上反映了該地區(qū)的互聯(lián)網(wǎng)發(fā)展水平。在全球的SSD市場（包括企業(yè)級和PC級）中，Top3的企業(yè)三星、Intel和Sandisk（已被西數(shù)收購）總共占到市場份額的60%以上，可見大公司的產(chǎn)品受到了市場的重點青睞。

圖1 企業(yè)級硬盤發(fā)展趨勢

總體而言，由于特點不同，企業(yè)級HDD和SSD將長時間內(nèi)同時存在，而企業(yè)級SSD的總量將逐漸超過HDD，成為服務(wù)器和存儲的主要硬盤部件。

2.2 技術(shù)趨勢

技術(shù)是市場發(fā)展的基礎(chǔ)，企業(yè)級SSD的發(fā)展勢頭如此之猛，是跟其技術(shù)發(fā)展息息相關(guān)的。當(dāng)硬盤接口從SATA到SAS，再升級到PCIe之后，速率也從SATA3.0的6Gbit/s飆升到PCIe3.0x4的32Gbit/s。對SSD的應(yīng)用開發(fā)在不斷地創(chuàng)新中，全閃陣列和PCIe陣列是目前比較新穎的產(chǎn)品。

SSD與HDD相比，最大的優(yōu)勢在于它的IOPS，也就是隨機讀寫的能力，相對于SATA接口HDD的數(shù)百量級，PCIe接口的SSD的IOPS可以提高數(shù)千倍；即使同為SATA接口的SSD，也比相同接口的HDD的IOPS要高上百倍。不過從單盤上升到陣列，并不只是用SSD替換HDD那么簡單。磁盤陣列的基礎(chǔ)是磁盤，由于磁盤存在尋道時間開銷，所以不太擅長處理隨機I/O，所以磁盤陣列設(shè)計核心是盡可能處理連續(xù)I/O。與之不同的是，SSD的優(yōu)勢是延遲低，但不耐擦寫。為了物盡其用，全閃陣列的設(shè)計要盡量避免對SSD多次擦寫，而不是讓其處理連續(xù)數(shù)據(jù)的I/O請求。此外，還需要考慮快照、克隆、精簡配置和重復(fù)數(shù)據(jù)刪除等功能的實現(xiàn)，雖然這些在磁盤陣列中已經(jīng)非常成熟，但同樣的設(shè)計并不一定完全適用于全閃架構(gòu)。

與通過RAID組成陣列不同，PCIe陣列直接使用SSD的PCIe接口連接PCIe交換機，形成一個類似網(wǎng)絡(luò)存儲的結(jié)構(gòu)。這樣的話，每個主機都能高速訪問幾十上百個SSD，相比以太網(wǎng)或者Infiniband獲得了低延時和低成本的優(yōu)勢。目前，PCIe交換技術(shù)有非透明橋NTB（Non Transparent Bridge）、動態(tài)分區(qū)（Dynamic Partitioning）、SR-IOV（Single Root I/O Virtualization）、多主機系統(tǒng)等多種方式，這些方式各自也在不斷地演進(jìn)當(dāng)中，尚未有定論。PCIe存儲網(wǎng)絡(luò)不需要昂貴的交換機和HBA，成本相對Infiniband要低，性能優(yōu)異且功耗低，不過需要解決PCIe交換機的標(biāo)準(zhǔn)化問題。

隨著超融合架構(gòu)概念的落地，存儲作為其中重要一部分，不管是以磁盤陣列、全閃陣列亦或是PCIe陣列，必將與計算、網(wǎng)絡(luò)和服務(wù)器虛擬化等資源一起，依靠緩存加速、重復(fù)數(shù)據(jù)刪除、在線數(shù)據(jù)壓縮、備份軟件、快照技術(shù)等技術(shù)，形成統(tǒng)一的資源池，實現(xiàn)模塊化的無縫橫向擴(kuò)展，為各類云服務(wù)提供穩(wěn)定、可靠且可擴(kuò)展的基礎(chǔ)設(shè)施。

3 常見云服務(wù)流量模型

各類服務(wù)，如搜索、游戲、電子商務(wù)，對于存儲系統(tǒng)來說其流量模型是不盡相同的。把流量模型數(shù)字化到最底層，那么體現(xiàn)出來的就是字節(jié)長度和對應(yīng)的百分比的各種組合。

表1是全球SSD領(lǐng)先企業(yè)三星的DSLR（Device Statistics Log Repository）工具分析出來的具體應(yīng)用及其對應(yīng)的字節(jié)大小和百分比?？梢院苊黠@地看到，對于網(wǎng)頁服務(wù)器來說都是隨機讀的流量，其中4KB、512KB和8KB字節(jié)的占比總計達(dá)到50%以上；對于文件服務(wù)器，讀占了80%，其中4KB占比60%；對于郵件服務(wù)器來說，都是32KB的讀寫操作，其中讀占了80%、寫占了20%。

表1 主流業(yè)務(wù)流量模型

另外，比較常見的有大數(shù)據(jù)處理系統(tǒng)。大數(shù)據(jù)處理集群的數(shù)據(jù)節(jié)點通常由數(shù)十臺或者上百臺服務(wù)器構(gòu)成，每臺服務(wù)器上分別存儲分布式文件系統(tǒng)的部分?jǐn)?shù)據(jù)，需要對存儲數(shù)據(jù)進(jìn)行頻繁操作和處理，因此要求每臺服務(wù)器支持與CPU、網(wǎng)絡(luò)IO能力相匹配的硬盤存儲空間，通常集群每個服務(wù)器節(jié)點配置一定數(shù)量的企業(yè)級硬盤保證存儲容量，同時配置部分SSD硬盤作為高速緩存進(jìn)行IOPS和吞吐率性能加速。OLTP/數(shù)據(jù)庫測試代表了處理在線事務(wù)任務(wù)時帶來的大量事物負(fù)載。測試模式為8K隨機測試讀67%、寫33%。

因此，對于不同的應(yīng)用，其數(shù)字化模型是不同的，對存儲盤的需求和配比也是有一定差異的。作為基準(zhǔn)測試，這就要求在制定測試項目時能夠考慮到不同的字節(jié)、占比等，綜合各種因素，做出較全面的設(shè)計。

4 基準(zhǔn)測試項目設(shè)計

傳統(tǒng)而言，最受用戶關(guān)注的企業(yè)級硬盤技術(shù)指標(biāo)包括吞吐量和IOPS，這跟傳統(tǒng)的HDD有很大關(guān)系。對于HDD來說，由于其物理結(jié)構(gòu)的原因會比較擅長順序讀寫，所以一般會將對HDD的順序讀寫定義為吞吐量。此時，HDD能夠得到最快的讀寫速度，也就是每秒能夠讀或者寫的字節(jié)數(shù)。隨機讀寫被定義為IOPS，也就是每秒進(jìn)行讀寫（I/O）操作的次數(shù)，衡量硬盤的隨機訪問性能。

在設(shè)計測試項目的時候，首先需要有項目能測量出在隨機塊大小和不同讀寫比例下的IOPS，以了解其隨機訪問性能；其次，測量穩(wěn)態(tài)下的多種塊大?。ㄈ缧K、大塊等）在順序讀、順序?qū)懬闆r下的吞吐量，目的是測量被測設(shè)備在沒有IO總線限制的情況下能以多快的速度傳輸順序數(shù)據(jù)。此外，對于SSD來說，還需要有項目能夠觀察被測設(shè)備從PURGEDFOB狀態(tài)開始對持續(xù)的隨機小字節(jié)寫的響應(yīng)，這個項目可以持續(xù)24h或者4倍于被測SSD的容量，以檢查被測SSD對長時間小字節(jié)隨機寫的IOPS穩(wěn)定性。由于實際的訪問流量不都是小字節(jié)的，考慮到極限情況，還需要對被測SSD的大小字節(jié)的變化做相關(guān)測試，可以觀察被測SSD對大塊順序?qū)?、小塊隨機寫、大塊順序?qū)懙奶幚砬闆r，目的是衡量被測SSD在不同相鄰負(fù)載下的相互作用。必須注意的是，性能測試中對相關(guān)的參數(shù)需要精確定義，以便測出并能描述被測硬盤的真實性能。

除了性能部分，被測硬盤的穩(wěn)定性和功耗也非常受關(guān)注。

穩(wěn)定性一般需要被測硬盤在一定壓力下長時間運行不出問題?？紤]到實際應(yīng)用情況，這個項目需要在Windows和Linux兩種OS下進(jìn)行。與長時間運行相反，重復(fù)復(fù)位測試是被測硬盤在服務(wù)器不斷重啟的狀況下進(jìn)行數(shù)據(jù)的拷貝和比較，以檢驗被測硬盤在這種極限情況下的重復(fù)復(fù)位能力。對于穩(wěn)定性而言，環(huán)境測試也是一個重要的組成部分，很有必要對被測設(shè)備在高溫高濕和低溫環(huán)境下進(jìn)行儲存和運行測試。

隨著IDC規(guī)模越來越大，其功耗也逐漸引起人們的重視。作為IDC中的基本部件，硬盤的功耗非常重要，特別是對于存儲類服務(wù)器，動輒近20塊硬盤，如果是HDD的話其啟動功耗將會非常大，這些硬盤同時開機對IDC的用電會產(chǎn)生很大的沖擊，需要有一定的策略去解決這個問題。IOPS/Watt指標(biāo)對于衡量SSD是否高效非常重要，一些高性能的PCIeSSD耗電比單個的HDD可能會高，但它們的性能極為出眾，使用IOPS/Watt指標(biāo)后將能更加準(zhǔn)確地反映被測設(shè)備的能耗效率比。

5 結(jié)束語

硬盤是云數(shù)據(jù)中心的核心部件，不僅關(guān)系到云計算與大數(shù)據(jù)的服務(wù)、計算和性能，更關(guān)系到整個云數(shù)據(jù)中心平臺的TCO。在云計算和大數(shù)據(jù)時代，爆炸式數(shù)據(jù)增長對容量要求越來越大，企業(yè)級硬盤對于上層應(yīng)用穩(wěn)定、可靠運行肩負(fù)著重要的責(zé)任。對企業(yè)級硬盤進(jìn)行全面的基準(zhǔn)測試設(shè)計，建立全面衡量企業(yè)級硬盤產(chǎn)品的標(biāo)桿方法，這樣產(chǎn)生的測試結(jié)果對各行業(yè)都將具有非常重要的參考意義。

Enterprise hard disk benchmark oriented cloud computing

GUO Liang

In recent years various types of cloud services are developing very fast. The demand for enterprise level disk as the important components of the bottom layer is more and more large. In order to stable the operation of the upper cloud services， it is necessary to conduct a comprehensive enterprise disk benchmark. This paper makes research on the market scale、technology development and the cloud service flow model of the enterprise disk， and puts forward some concrete suggestions on the enterprise disk benchmark.

hard disk drive；solid state disk；benchmark

2016-09-20）