• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)據(jù)中心統(tǒng)一存儲(chǔ)環(huán)境的關(guān)鍵指標(biāo)研究

    2011-09-07 10:16:54程志銳張慧琳常曉磊
    關(guān)鍵詞:存儲(chǔ)設(shè)備磁盤鏈路

    程志銳, 王 茜, 張慧琳, 常曉磊

    (清華大學(xué)計(jì)算機(jī)與信息管理中心,北京100084)

    0 引 言

    云計(jì)算概念的推廣促使數(shù)據(jù)中心逐步向高伸縮、高可用和高度資源共享的方向發(fā)展,將單個(gè)的分散的硬件設(shè)施進(jìn)行整合、優(yōu)化,從而形成集成的、按需分配的共享資源池已成為一種趨勢(shì)。面對(duì)新的形勢(shì),建立用于評(píng)價(jià)數(shù)據(jù)中心建設(shè)成效并指導(dǎo)未來工作的數(shù)據(jù)中心指標(biāo)體系越來越重要,已成為一個(gè)新的研究課題?;萜展居诮晏岢隽恕斑m應(yīng)性基礎(chǔ)設(shè)施成熟度模型(AIMM)”。AIMM旨在幫助企業(yè)評(píng)估其數(shù)據(jù)中心現(xiàn)狀,并根據(jù)企業(yè)的業(yè)務(wù)優(yōu)先級(jí),就企業(yè)如何達(dá)到理想的“未來狀態(tài)”制定一個(gè)可驗(yàn)證的實(shí)施規(guī)劃。該模型根據(jù)行業(yè)準(zhǔn)則的標(biāo)準(zhǔn)指標(biāo)和大量的企業(yè)實(shí)踐,從運(yùn)行效率、成本、服務(wù)質(zhì)量和變更響應(yīng)時(shí)間等方面來進(jìn)行評(píng)估和衡量,將數(shù)據(jù)中心的基礎(chǔ)設(shè)施分為5個(gè)成熟階段,即獨(dú)立分隔的基礎(chǔ)設(shè)施、標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施、優(yōu)化的基礎(chǔ)設(shè)施、面向服務(wù)的基礎(chǔ)設(shè)施和適應(yīng)性、共享的基礎(chǔ)設(shè)施。但該模型將數(shù)據(jù)中心的技術(shù)和體系架構(gòu)作為一個(gè)整體進(jìn)行評(píng)估,對(duì)作為數(shù)據(jù)中心核心基礎(chǔ)設(shè)施的統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)和運(yùn)行情況卻缺乏相應(yīng)的評(píng)估和指導(dǎo)。

    NetAPP公司提供一種在NAS服務(wù)器上集成了FC、ISCSI等協(xié)議的統(tǒng)一存儲(chǔ)設(shè)備來構(gòu)建統(tǒng)一存儲(chǔ)環(huán)境,以期通過一套集中存儲(chǔ)來完成多種應(yīng)用的支撐,EMC、HDS、華賽等廠商通過在FC陣列的基礎(chǔ)上增加NAS控制器來構(gòu)建統(tǒng)一存儲(chǔ)環(huán)境。這兩種架構(gòu)都有大量的應(yīng)用案例,都為統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)積累了寶貴的運(yùn)行經(jīng)驗(yàn)。

    此外,非營利組織SPEC和SPC分別為NAS和FC陣列提供了性能基準(zhǔn)測(cè)試。SPEC的基準(zhǔn)測(cè)試為NAS提供了OPS(每秒操作數(shù))-操作時(shí)延曲線,期望以這兩個(gè)參數(shù)及其對(duì)應(yīng)關(guān)系描述設(shè)備的性能情況。相應(yīng)地SPC為FC陣列提供了IOPS(每秒I/O數(shù))-I/O時(shí)延曲線。還有一些機(jī)構(gòu)為存儲(chǔ)設(shè)備提供了排名,這些嘗試都在為建立存儲(chǔ)的評(píng)估指標(biāo)提供參考。

    在此背景下,本文從統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)實(shí)踐著手,分析了當(dāng)前遇到的主要問題,從設(shè)備的高可用、高可靠和高性能等方面進(jìn)行總結(jié),并給予SPC和SPEC的基準(zhǔn)測(cè)試提出了改進(jìn)的性能指標(biāo),力圖為統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)建立一套有指導(dǎo)意義的指標(biāo)集,同時(shí)也為了推動(dòng)數(shù)據(jù)中心評(píng)估指標(biāo)體系的研究和建設(shè)工作。

    1 統(tǒng)一存儲(chǔ)環(huán)境建設(shè)中的問題

    本文將以清華數(shù)據(jù)中心為例,闡述存儲(chǔ)系統(tǒng)中存在的一些比較突出的問題。清華自2004年引入了統(tǒng)一存儲(chǔ)設(shè)備來構(gòu)建統(tǒng)一存儲(chǔ)環(huán)境,以滿足 FC、NFS、CIFS、ISCSI、FTP 等應(yīng)用并存的需求,為多變的開發(fā)運(yùn)行環(huán)境提供服務(wù)保障和快速的響應(yīng)時(shí)間,極大地方便了存儲(chǔ)系統(tǒng)的管理和維護(hù)。但多年的運(yùn)行也暴露了該環(huán)境在高可用性、磁盤系統(tǒng)可靠性等方面的問題,同時(shí)應(yīng)用的新需求及新技術(shù)的出現(xiàn)也對(duì)現(xiàn)有的存儲(chǔ)環(huán)境提出了挑戰(zhàn)。

    1.1 存儲(chǔ)架構(gòu)不能保證高可用

    統(tǒng)一存儲(chǔ)采用控制器、磁盤系統(tǒng)雙冗余架構(gòu),每控制器除了可驅(qū)動(dòng)自身的磁盤系統(tǒng)外,還可通過FC-LOOP鏈路接管另一控制器的磁盤系統(tǒng)。其結(jié)構(gòu)如圖1所示。

    圖1 雙控冗余的統(tǒng)一存儲(chǔ)架構(gòu)

    該結(jié)構(gòu)的優(yōu)點(diǎn)在于控制器和磁盤系統(tǒng)都是獨(dú)立的兩套,既可以互不干擾地獨(dú)立工作,也可以實(shí)現(xiàn)冗余備份功能。

    問題在于控制器發(fā)生故障時(shí),NAS系統(tǒng)的切換時(shí)間較長,導(dǎo)致另一控制器接管時(shí)間長達(dá)60~180s,對(duì)于NFS應(yīng)用這樣的延遲還可以恢復(fù)運(yùn)行,但對(duì)于I/O響應(yīng)時(shí)間敏感的Oracle數(shù)據(jù)庫等應(yīng)用,會(huì)因誤判存儲(chǔ)發(fā)生故障而做出事故響應(yīng),導(dǎo)致服務(wù)中斷。

    1.2 性能方面存在的問題

    統(tǒng)一存儲(chǔ)采用FC和NAS混用模式,在應(yīng)用過程中發(fā)生過數(shù)據(jù)庫因I/O不響應(yīng)宕機(jī)的問題。經(jīng)分析排查,原因有兩點(diǎn)。一是因?yàn)榻y(tǒng)一存儲(chǔ)設(shè)備因?qū)C與NFS集成在一套設(shè)備中,當(dāng)NFS或FC應(yīng)用有大量寫操作時(shí),會(huì)導(dǎo)致控制器CPU和緩存占用過高,從而影響其他應(yīng)用。數(shù)據(jù)庫宕機(jī)是由于其對(duì)I/O響應(yīng)時(shí)間敏感,因I/O響應(yīng)緩慢而誤判存儲(chǔ)發(fā)生故障,從而中斷了服務(wù)。NFS應(yīng)用因?qū)Σ僮鲿r(shí)延的容忍度較高而表現(xiàn)稍好,往往在系統(tǒng)掛起一段時(shí)間后自動(dòng)恢復(fù),也出現(xiàn)過系統(tǒng)因NFS文件系統(tǒng)掛起而不能恢復(fù)工作的狀況。二是因?yàn)榭刂破鞯腃PU及緩存配置較低,出現(xiàn)“小馬拉大車”現(xiàn)象,導(dǎo)致控制器過載響應(yīng)緩慢,使得磁盤系統(tǒng)在遠(yuǎn)沒有達(dá)到滿負(fù)荷的情況下控制器因過載而成為性能瓶頸。

    1.3 磁盤系統(tǒng)的潛在威脅

    存儲(chǔ)設(shè)備的磁盤大都以磁盤箱為單位,通過FC-LOOP鏈路與控制器相連,目前常見的保護(hù)措施有Raid技術(shù)、全局熱備技術(shù)以及雙FC-LOOP鏈路,可以涵蓋絕大部分磁盤系統(tǒng)的故障。但是磁盤箱發(fā)生故障時(shí)這些措施都將失效。磁盤箱的故障不一定會(huì)影響到磁盤的運(yùn)行,清華數(shù)據(jù)中心發(fā)生的磁盤箱故障就屬于這類。但磁盤箱往往附帶各種監(jiān)控設(shè)備,其故障將導(dǎo)致控制器無法獲取磁盤的狀態(tài)信息。為恢復(fù)磁盤箱,目前只能安排停機(jī)更換,對(duì)業(yè)務(wù)連續(xù)性影響較大。如果故障導(dǎo)致存儲(chǔ)系統(tǒng)崩潰,則不得不采用備用存儲(chǔ)或?yàn)?zāi)備存儲(chǔ)。

    1.4 不能滿足自動(dòng)分級(jí)的需求

    早期數(shù)據(jù)中心存儲(chǔ)的重點(diǎn)在于數(shù)據(jù)集中,但經(jīng)過多年的積累,數(shù)據(jù)容量激增的問題日益突出,存儲(chǔ)成本越來越高,尤其是歷史數(shù)據(jù),雖然通過二級(jí)存儲(chǔ)可以降低維護(hù)成本,但帶來了管理和數(shù)據(jù)訪問的不方便,同時(shí)也增加了設(shè)備的維護(hù)量和能耗。而且新的應(yīng)用趨勢(shì)表明,應(yīng)用的數(shù)據(jù)本身也存在不同的訪問級(jí)別,完全可以分級(jí)處理。應(yīng)用的發(fā)展需要更細(xì)粒度的分級(jí)處理技術(shù)支持。

    2 統(tǒng)一存儲(chǔ)環(huán)境關(guān)鍵指標(biāo)設(shè)計(jì)

    統(tǒng)一存儲(chǔ)環(huán)境建設(shè)的目的是為了提高存儲(chǔ)系統(tǒng)可用性、性能和資源共享能力,能根據(jù)需要快速響應(yīng)應(yīng)用需求,能方便地管理和擴(kuò)充,具有更大的彈性(伸縮性),而云計(jì)算對(duì)存儲(chǔ)基礎(chǔ)環(huán)境的要求也恰恰體現(xiàn)了這些特征。為此,本文將重點(diǎn)從以下4方面考慮建立相應(yīng)的指標(biāo),為設(shè)備選型和架構(gòu)設(shè)計(jì)提供依據(jù)。

    2.1 高可用指標(biāo)

    (1)控制器高可用指標(biāo)

    首先是存儲(chǔ)架構(gòu),不管是NAS還是FC陣列,要實(shí)現(xiàn)高可用目前主要有3種架構(gòu),除圖1之外,還有2種架構(gòu),這2種架構(gòu)均采用共享磁盤系統(tǒng),區(qū)別在于控制器是分離的還是集成在一個(gè)背板之中。架構(gòu)如圖2所示。

    圖2 共享磁盤的雙控冗余存儲(chǔ)架構(gòu)

    從架構(gòu)上考慮,磁盤及控制器雙冗余的架構(gòu)可靠性最高,關(guān)鍵數(shù)據(jù)可以實(shí)現(xiàn)鏡像。共享背板的雙控冗余架構(gòu)風(fēng)險(xiǎn)最高,磁盤及背板都存在單點(diǎn)故障風(fēng)險(xiǎn),而且背板硬件需特制,提高了成本,優(yōu)點(diǎn)是結(jié)構(gòu)緊湊,節(jié)省了空間。性價(jià)比最高的是磁盤共享雙控冗余的架構(gòu)。架構(gòu)的選擇要根據(jù)實(shí)際情況而定,3種結(jié)構(gòu)各有所長。對(duì)于在FC陣列基礎(chǔ)上增加NAS控制器構(gòu)建統(tǒng)一存儲(chǔ)環(huán)境的情況,要重點(diǎn)考察其FC陣列的架構(gòu)。

    另一個(gè)控制器的關(guān)鍵指標(biāo)是控制器發(fā)生故障時(shí)的接管時(shí)間。由于NAS系統(tǒng)控制器切換時(shí)需接管文件系統(tǒng)和服務(wù)IP,切換時(shí)間較長。如有Oracle數(shù)據(jù)庫等對(duì)I/O敏感的FC應(yīng)用,應(yīng)避免選用統(tǒng)一存儲(chǔ)設(shè)備,或者將數(shù)據(jù)庫等高I/O敏感的FC應(yīng)用單獨(dú)采用FC陣列提供服務(wù)。以O(shè)racleRAC為例,其對(duì)I/O響應(yīng)時(shí)間要求較高,一般設(shè)置在30s左右,根據(jù)對(duì)主流FC陣列的調(diào)研,切換時(shí)間基本都控制在10s以內(nèi),切換時(shí)間指標(biāo)可設(shè)定不超過20s。NAS控制器的切換時(shí)間可適當(dāng)延長,根據(jù)主流廠商的調(diào)研可設(shè)置為不超過120s。

    (2)鏈路高可用指標(biāo)

    存儲(chǔ)設(shè)備的鏈路涉及前端鏈路與后端鏈路。主流的存儲(chǔ)后端采用FC-LOOP實(shí)現(xiàn)磁盤與控制器的連接,為保證磁盤鏈路的可靠性和磁盤箱替換的問題,一般要求雙LOOP連接。前端鏈路FC陣列與NAS略有不同。FC陣列要求提供MultiPath FC鏈路冗余功能,而NAS的指標(biāo)是IP鏈路的聚合或容錯(cuò)。

    (3)磁盤系統(tǒng)高可用指標(biāo)

    根據(jù)1.3節(jié)的描述,磁盤系統(tǒng)的典型指標(biāo)有Raid技術(shù)、熱備技術(shù)和雙FC-LOOP鏈路。但針對(duì)磁盤箱的可靠性,應(yīng)該要考慮兩種情況下的指標(biāo)。一種是不影響存儲(chǔ)運(yùn)行的情況,另一種是導(dǎo)致存儲(chǔ)系統(tǒng)崩潰的情況。針對(duì)第一種情況,要求提供可在線替換磁盤箱的技術(shù)指標(biāo),滿足該指標(biāo)的技術(shù)有在線數(shù)據(jù)遷移技術(shù),可以在不中斷服務(wù)的情況下將故障磁盤箱內(nèi)磁盤上的數(shù)據(jù)遷移至其他磁盤,然后在線替換該磁盤箱。第二種情況將肯定有數(shù)據(jù)損失,為保證數(shù)據(jù)可恢復(fù),要求提供備份或?yàn)?zāi)備設(shè)備,其關(guān)鍵是RTO(服務(wù)恢復(fù)時(shí)間)和RPO指標(biāo)(可恢復(fù)數(shù)據(jù)的時(shí)間點(diǎn))。這兩個(gè)指標(biāo)越小越好,但相應(yīng)的成本也越高,實(shí)際操作中要根據(jù)數(shù)據(jù)的重要性、行業(yè)標(biāo)準(zhǔn)或國標(biāo)以及可投資的預(yù)算來設(shè)定。

    2.2 性能指標(biāo)

    SPEC和SPC組織提供主流設(shè)備的OPS和IOPS的指標(biāo),該組織鼓勵(lì)廠商提供的測(cè)試硬件能發(fā)揮出其設(shè)備的性能最大值。兩個(gè)組織的網(wǎng)站上公開的測(cè)試報(bào)告也可以看出,各廠商送測(cè)設(shè)備的配置有較大的差別,測(cè)試結(jié)果不能反映實(shí)際應(yīng)用情況,只能作為性能的參考指標(biāo)。為此,必須從多個(gè)角度綜合考慮,找到一套相對(duì)適用的性能指標(biāo)。

    1.2 節(jié)中描述了控制器的性能瓶頸問題,反映了控制器的兩個(gè)主要性能指標(biāo),即CPU頻率和緩存大小。根據(jù)這兩個(gè)指標(biāo)將廠商新型號(hào)與現(xiàn)有型號(hào)進(jìn)行對(duì)比,以及與其他廠商同檔次設(shè)備進(jìn)行比較,可以大致判斷控制器的檔次和處理能力。

    控制器配置不足會(huì)導(dǎo)致性能瓶頸,反過來磁盤配置不足也會(huì)導(dǎo)致性能瓶頸。磁盤有I/O訪問次數(shù)的物理上限,所以磁盤數(shù)量對(duì)I/O性能有顯著的影響。所以存儲(chǔ)設(shè)備能驅(qū)動(dòng)的最大磁盤數(shù)量也是一個(gè)重要性能指標(biāo)。但各廠商的最大磁盤數(shù)量不具有可比性,為保證該數(shù)據(jù)的可信度,本文在SPC和SPEC性能評(píng)測(cè)基礎(chǔ)上建立一個(gè)輔助指標(biāo),即I/O性能增益。該指標(biāo)利用OPS/IOPS-時(shí)延曲線的數(shù)據(jù),計(jì)算100%負(fù)荷下其IOPS/OPS實(shí)測(cè)值與理論預(yù)估值的比率。該參數(shù)可根據(jù)式(1)計(jì)算

    按照SPEC和SPC組織的建議,要最大化地發(fā)揮送測(cè)設(shè)備的性能表現(xiàn)??梢约俣?00%負(fù)荷下存儲(chǔ)設(shè)備的IOPS達(dá)到其磁盤極限。即單盤 IOPS理論值。雖然磁盤本身的緩存對(duì)IOPS理論值有一定影響,但在同樣轉(zhuǎn)速的情況下基本可以忽略其影響。因此,相比于OPS和IOPS因?yàn)闇y(cè)試條件不同導(dǎo)致的不可比性,采用I/O性能增值比率可基本實(shí)現(xiàn)不同設(shè)備的性能比較。此參數(shù)越大,則性能表現(xiàn)越好。

    決定磁盤IOPS理論值的參數(shù)有磁盤旋轉(zhuǎn)時(shí)延、平均尋道時(shí)間以及命令的傳輸及執(zhí)行時(shí)間,其中旋轉(zhuǎn)時(shí)延取磁盤旋轉(zhuǎn)一圈的平均值,以15000 RPM(每分鐘15000轉(zhuǎn))的磁盤為例,其旋轉(zhuǎn)時(shí)延可根據(jù)式(2)獲得

    平均尋道時(shí)間、命令的傳輸及執(zhí)行時(shí)間均與廠商密切相關(guān),可以從廠商得到其數(shù)值。一般這3個(gè)參數(shù)也可以歸并到平均尋道時(shí)間中。典型情況下,SAS盤與FC盤的內(nèi)部機(jī)械結(jié)構(gòu)相同,15000轉(zhuǎn)的磁盤為4ms左右,10000轉(zhuǎn)的磁盤為6ms左右,7200轉(zhuǎn)的SATA盤則在8.3ms左右。這樣單盤的IOPS理論值可根據(jù)式(3)計(jì)算

    另一個(gè)不容忽視的問題是應(yīng)用間的干擾問題,如1.2節(jié)中的FC和NFS應(yīng)用互相干擾導(dǎo)致的數(shù)據(jù)庫宕機(jī)。該問題主要存在于采用集成FC和NFS等協(xié)議的設(shè)備環(huán)境中,如NetAPP的統(tǒng)一存儲(chǔ)設(shè)備或EMC在FC陣列上增加NAS控制器構(gòu)建的統(tǒng)一存儲(chǔ)環(huán)境。針對(duì)以上類似應(yīng)用場(chǎng)景,服務(wù)質(zhì)量控制機(jī)制(QoS)是必須具備的指標(biāo),以便為高級(jí)別的應(yīng)用提供預(yù)留的資源,避免資源競(jìng)爭(zhēng)而導(dǎo)致服務(wù)質(zhì)量下降或服務(wù)失效。

    2.3 分級(jí)存儲(chǔ)指標(biāo)

    隨著歷史數(shù)據(jù)的處理要求和應(yīng)用數(shù)據(jù)本身分級(jí)處理的要求不斷增加,支持?jǐn)?shù)據(jù)按照使用頻率自動(dòng)分級(jí)已成為當(dāng)前存儲(chǔ)環(huán)境建設(shè)的一大重要指標(biāo)。自動(dòng)分級(jí)存儲(chǔ)已成為當(dāng)前存儲(chǔ)虛擬化領(lǐng)域發(fā)展最迅速的技術(shù)之一。自動(dòng)分級(jí)存儲(chǔ)將大量不經(jīng)?;顒?dòng)的數(shù)據(jù)遷移至低速、低成本的磁盤系統(tǒng)上,將直接降低存儲(chǔ)的采購成本和能耗。

    分級(jí)存儲(chǔ)的發(fā)展經(jīng)過了3個(gè)階段。第一代產(chǎn)品是提供二級(jí)甚至多級(jí)存儲(chǔ),將不經(jīng)常使用的數(shù)據(jù)遷移至低檔次的存儲(chǔ)設(shè)備上,但此方案以來手工操作,增加了設(shè)備采購和維護(hù)工作量。第二代產(chǎn)品采用了lun級(jí)虛擬化,數(shù)據(jù)可在位于高速磁盤區(qū)的lun和低速磁盤區(qū)的lun之間流動(dòng),實(shí)現(xiàn)了在一套存儲(chǔ)系統(tǒng)內(nèi)提供自動(dòng)分級(jí)存儲(chǔ)的能力,減少了設(shè)備采購和維護(hù)工作量。但是該方案的不足之處是lun的粒度太粗。第三代產(chǎn)品采用塊級(jí)虛擬化技術(shù),可以在數(shù)據(jù)塊級(jí)提供自動(dòng)分級(jí)存儲(chǔ),將不同級(jí)別的磁盤組成磁盤池,根據(jù)數(shù)據(jù)本身的使用頻率決定其是處于高速磁盤區(qū)還是低速磁盤區(qū)。數(shù)據(jù)塊級(jí)自動(dòng)分級(jí)存儲(chǔ)已經(jīng)得到大量成熟應(yīng)用,可作為分級(jí)存儲(chǔ)指標(biāo)。

    2.4 高伸縮性指標(biāo)

    存儲(chǔ)的伸縮性主要體現(xiàn)在性能、功能和容量的擴(kuò)展3方面。性能可通過控制器數(shù)量和緩存數(shù)量擴(kuò)展。FC陣列的性能擴(kuò)展指標(biāo)是可擴(kuò)展的控制器數(shù)和緩存數(shù)。NAS控制器因需要與CPU處理能力匹配,一般緩存是固定的,其擴(kuò)展指標(biāo)是可擴(kuò)展控制器數(shù)量。功能擴(kuò)展指標(biāo)包括軟件和對(duì)未來新硬件的支持能力,即存儲(chǔ)是否留有擴(kuò)展板卡的余地。比如一些老存儲(chǔ)設(shè)備無法支持今天的SSD盤,影響了功能和性能的提升。容量擴(kuò)展的主要指標(biāo)是最大可擴(kuò)展數(shù)量。對(duì)于FC陣列,很多中低端設(shè)備最多只能做到雙控制器驅(qū)動(dòng),限制了其擴(kuò)展能力,從長遠(yuǎn)來講,這可能是統(tǒng)一存儲(chǔ)環(huán)境建設(shè)的一個(gè)技術(shù)瓶頸。

    2.5 兼容性指標(biāo)

    存儲(chǔ)設(shè)備的兼容性主要是主機(jī)與存儲(chǔ)間的 FC接口和MultiPath軟件的兼容。兼容性問題來自于產(chǎn)品軟硬件設(shè)計(jì)缺陷或測(cè)試不全面所致,目前各廠商提供其產(chǎn)品的兼容性列表,但用戶方還沒有一個(gè)規(guī)范性的兼容性列表要求,導(dǎo)致選型時(shí)工作量極大,甚至在設(shè)備安裝后遇到難以解決的兼容性問題,將兼容性列表作為指標(biāo)需要了解不同行業(yè)的系統(tǒng)環(huán)境,有較大的難度。目前的解決方案是針對(duì)行業(yè)區(qū)別對(duì)待。

    3 實(shí)驗(yàn)與結(jié)果分析

    根據(jù)SPC評(píng)測(cè)數(shù)據(jù)計(jì)算各廠商FC陣列的I/O性能增益,找到數(shù)值比較接近的產(chǎn)品,同時(shí)根據(jù)本文中的性能相關(guān)存儲(chǔ)指標(biāo),進(jìn)一步判斷廠商所提供的產(chǎn)品是否處于同一檔次。根據(jù)SPC評(píng)測(cè)數(shù)據(jù)得到的結(jié)果見表1。

    表1 性能指標(biāo)接近的中端FC陣列

    3PAR的F400在國內(nèi)比較少見,但根據(jù)該表很容易地判斷其所處檔次,從而為設(shè)備選型提供參考。

    4 結(jié)束語

    統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)已有不短的時(shí)間,但統(tǒng)一存儲(chǔ)環(huán)境的建設(shè)指標(biāo)卻是一個(gè)新課題。本文從清華大學(xué)數(shù)據(jù)中心運(yùn)行維護(hù)工作中遇到的問題出發(fā),對(duì)統(tǒng)一存儲(chǔ)環(huán)境建設(shè)過程中出現(xiàn)的各類問題進(jìn)行分析匯總,從存儲(chǔ)架構(gòu)的高可用性、性能需求、分級(jí)存儲(chǔ)需求、伸縮性和兼容性等方面加以闡述論證,提出了存儲(chǔ)架構(gòu)高可用指標(biāo)、鏈路高可用指標(biāo)、磁盤系統(tǒng)高可用指標(biāo)、性能指標(biāo)、分級(jí)存儲(chǔ)指標(biāo)、伸縮性指標(biāo)和兼容性指標(biāo),力圖為統(tǒng)一存儲(chǔ)環(huán)境建設(shè)建立一套適用的參考指標(biāo)體系。但限于作者的經(jīng)驗(yàn)及考察的范圍和應(yīng)用案例,這項(xiàng)工作仍有很大的改進(jìn)余地,在架構(gòu)設(shè)計(jì)、性能評(píng)估、高伸縮性、應(yīng)用集成等方面還有許多工作值得研究。對(duì)該課題的持續(xù)研究不僅對(duì)存儲(chǔ)技術(shù)的發(fā)展有促進(jìn)作用,也為數(shù)據(jù)中心的建設(shè)模式和思路提供了參考,有助于促進(jìn)對(duì)新一代數(shù)據(jù)中心建設(shè)具有指導(dǎo)意義的指標(biāo)體系的研究。

    [1]朱偉雄.新一代數(shù)據(jù)中心建設(shè)理論與實(shí)踐[M].北京:人民郵電出版社,2009:188-194.

    [2]Assessing storage efficiency within NetApp's data centers[EB/OL].http://media.netapp.com/documents/storage-efficiency-casestudy.pdf,2009:1-10.

    [3]王紀(jì)奎.存儲(chǔ)從入門到精通[M].北京:清華大學(xué)出版社,2009:80-85.

    [4]曾雷杰,張延園,李戰(zhàn)懷,等.一種SAN上的數(shù)據(jù)遷移算法設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2009,35(4):53-55.

    [5]李樹全,吳躍,陳志飛.SAN存儲(chǔ)虛擬化研究[J].微電子學(xué)與計(jì)算機(jī),2009,20(1):39-41.

    [6]SPECsfs2008 User's Guide[EB/OL].http://www.spec.org/sfs2008/docs/usersguide.pdf,2008.

    [7]SPC benchmark 1TM(SPC-1)official specifcation[EB/OL].http://www.storageperformance.org/specs/SPC-1_SPC-1E_v1.12.pdf,2009:53-62.

    [8]SPC benchmark-2TM(SPC-2)official specifcation[EB/OL].http://www.storageperformance.org/specs/spc2_v1.3.pdf,2009:41-59.

    猜你喜歡
    存儲(chǔ)設(shè)備磁盤鏈路
    家紡“全鏈路”升級(jí)
    天空地一體化網(wǎng)絡(luò)多中繼鏈路自適應(yīng)調(diào)度技術(shù)
    解決Windows磁盤簽名沖突
    電腦愛好者(2019年2期)2019-10-30 03:45:31
    修改磁盤屬性
    磁盤組群組及iSCSI Target設(shè)置
    Windows 7下USB存儲(chǔ)設(shè)備接入痕跡的證據(jù)提取
    創(chuàng)建VSAN群集
    基于Flash芯片的新型存儲(chǔ)設(shè)備數(shù)據(jù)恢復(fù)技術(shù)研究
    用批處理管理計(jì)算機(jī)USB設(shè)備的使用
    基于3G的VPDN技術(shù)在高速公路備份鏈路中的應(yīng)用
    少妇的丰满在线观看| 久久久精品区二区三区| 69精品国产乱码久久久| 欧美精品一区二区大全| 国产一区二区三区在线臀色熟女 | 亚洲国产看品久久| 王馨瑶露胸无遮挡在线观看| 国产成人av激情在线播放| 成人黄色视频免费在线看| 亚洲熟妇熟女久久| 乱人伦中国视频| 亚洲国产成人一精品久久久| 亚洲精品中文字幕在线视频| 麻豆乱淫一区二区| 黑人猛操日本美女一级片| 亚洲人成伊人成综合网2020| 欧美人与性动交α欧美精品济南到| 亚洲av第一区精品v没综合| 99国产精品免费福利视频| 美女午夜性视频免费| 一个人免费看片子| 国产在线观看jvid| 国产高清激情床上av| 亚洲国产看品久久| 日本欧美视频一区| 在线观看人妻少妇| 亚洲少妇的诱惑av| 热re99久久精品国产66热6| 欧美国产精品va在线观看不卡| 99九九在线精品视频| 一区二区三区乱码不卡18| 国产亚洲精品一区二区www | 人人妻人人添人人爽欧美一区卜| 91麻豆av在线| 777米奇影视久久| 国产激情久久老熟女| 国产亚洲欧美精品永久| 一本色道久久久久久精品综合| 精品国产一区二区久久| 国产精品久久久久久人妻精品电影 | 怎么达到女性高潮| 欧美精品av麻豆av| 母亲3免费完整高清在线观看| 十八禁网站网址无遮挡| 丁香六月天网| 麻豆成人av在线观看| 在线观看舔阴道视频| 一级毛片精品| a级毛片黄视频| 手机成人av网站| 精品国内亚洲2022精品成人 | 久久狼人影院| 精品视频人人做人人爽| 久久久水蜜桃国产精品网| 国产一区二区三区在线臀色熟女 | 久久国产亚洲av麻豆专区| 精品卡一卡二卡四卡免费| 色老头精品视频在线观看| 热99国产精品久久久久久7| 久久精品亚洲精品国产色婷小说| 成年人午夜在线观看视频| 九色亚洲精品在线播放| 国产亚洲av高清不卡| 精品国产超薄肉色丝袜足j| 一边摸一边做爽爽视频免费| 久久久久久免费高清国产稀缺| 国产日韩欧美视频二区| 777久久人妻少妇嫩草av网站| 日日夜夜操网爽| 日韩中文字幕视频在线看片| 热99re8久久精品国产| 菩萨蛮人人尽说江南好唐韦庄| 日韩中文字幕视频在线看片| 国产单亲对白刺激| 国产一区二区在线观看av| 一级,二级,三级黄色视频| 桃红色精品国产亚洲av| 久久性视频一级片| 如日韩欧美国产精品一区二区三区| 色精品久久人妻99蜜桃| 18在线观看网站| 制服诱惑二区| 69精品国产乱码久久久| 国产成人av教育| 一区二区日韩欧美中文字幕| 亚洲va日本ⅴa欧美va伊人久久| 成人永久免费在线观看视频 | 天天躁狠狠躁夜夜躁狠狠躁| 欧美黄色片欧美黄色片| 国产亚洲欧美在线一区二区| 日韩欧美三级三区| 美女高潮喷水抽搐中文字幕| 久久久水蜜桃国产精品网| 久久久水蜜桃国产精品网| 日韩成人在线观看一区二区三区| 久久久久久人人人人人| 极品少妇高潮喷水抽搐| 搡老岳熟女国产| 精品乱码久久久久久99久播| 国产有黄有色有爽视频| 久久精品91无色码中文字幕| 精品福利永久在线观看| 99国产精品一区二区蜜桃av | 亚洲综合色网址| 国产在线免费精品| 巨乳人妻的诱惑在线观看| 天堂俺去俺来也www色官网| 亚洲全国av大片| 亚洲美女黄片视频| 91精品三级在线观看| a级毛片在线看网站| 日韩有码中文字幕| 99香蕉大伊视频| bbb黄色大片| 在线av久久热| 啦啦啦中文免费视频观看日本| 一本—道久久a久久精品蜜桃钙片| 性少妇av在线| 国产亚洲欧美精品永久| 亚洲 欧美一区二区三区| 一级毛片女人18水好多| 亚洲av片天天在线观看| 中文字幕精品免费在线观看视频| 中文亚洲av片在线观看爽 | 一本久久精品| 国产精品熟女久久久久浪| 91老司机精品| 久久久久国产一级毛片高清牌| 女性生殖器流出的白浆| 国产精品.久久久| 日韩欧美免费精品| 久久精品亚洲av国产电影网| 女警被强在线播放| 婷婷丁香在线五月| 国产精品久久电影中文字幕 | 国产精品九九99| 国产av精品麻豆| av超薄肉色丝袜交足视频| 高清毛片免费观看视频网站 | 成人精品一区二区免费| 成年人午夜在线观看视频| av线在线观看网站| 黑人巨大精品欧美一区二区蜜桃| 亚洲第一青青草原| 欧美日本中文国产一区发布| 十八禁网站免费在线| 国产三级黄色录像| 欧美日韩亚洲综合一区二区三区_| 天天添夜夜摸| 香蕉丝袜av| 久久免费观看电影| 一级,二级,三级黄色视频| 久久精品成人免费网站| 国产熟女午夜一区二区三区| av一本久久久久| 黄色毛片三级朝国网站| 亚洲自偷自拍图片 自拍| 妹子高潮喷水视频| 亚洲全国av大片| 国产精品久久久av美女十八| 两个人免费观看高清视频| 一进一出好大好爽视频| 成年人免费黄色播放视频| 丝袜美腿诱惑在线| 久久天躁狠狠躁夜夜2o2o| 免费观看a级毛片全部| 可以免费在线观看a视频的电影网站| 亚洲成国产人片在线观看| av天堂久久9| 精品卡一卡二卡四卡免费| 成年版毛片免费区| 欧美日韩精品网址| 狠狠精品人妻久久久久久综合| 91字幕亚洲| 80岁老熟妇乱子伦牲交| 免费观看av网站的网址| 满18在线观看网站| 成人黄色视频免费在线看| 国产一区二区在线观看av| 国产高清国产精品国产三级| 一本久久精品| 不卡av一区二区三区| 黄色视频,在线免费观看| 啦啦啦 在线观看视频| 国产欧美日韩精品亚洲av| 欧美黄色片欧美黄色片| 免费在线观看完整版高清| 久久亚洲精品不卡| 精品一区二区三卡| 国产主播在线观看一区二区| 亚洲第一青青草原| 亚洲七黄色美女视频| 精品一区二区三区四区五区乱码| 91老司机精品| 午夜两性在线视频| 丝袜喷水一区| a级片在线免费高清观看视频| 人成视频在线观看免费观看| 国产欧美日韩一区二区精品| 少妇的丰满在线观看| 久久 成人 亚洲| 精品久久久精品久久久| 成年版毛片免费区| 国产精品久久久久久精品电影小说| 大片免费播放器 马上看| 窝窝影院91人妻| 日本av手机在线免费观看| 成人18禁在线播放| 色综合欧美亚洲国产小说| 一本—道久久a久久精品蜜桃钙片| 日韩一卡2卡3卡4卡2021年| 69精品国产乱码久久久| tocl精华| 男女边摸边吃奶| av网站免费在线观看视频| 男女下面插进去视频免费观看| 免费观看人在逋| 国产男女超爽视频在线观看| 成在线人永久免费视频| 日韩熟女老妇一区二区性免费视频| 19禁男女啪啪无遮挡网站| www.999成人在线观看| 国产精品二区激情视频| www.999成人在线观看| 亚洲久久久国产精品| 国产不卡av网站在线观看| 国产精品香港三级国产av潘金莲| 少妇精品久久久久久久| 波多野结衣av一区二区av| 欧美av亚洲av综合av国产av| 成人国产一区最新在线观看| 黑人巨大精品欧美一区二区蜜桃| 亚洲少妇的诱惑av| 免费黄频网站在线观看国产| 一个人免费看片子| 搡老岳熟女国产| 亚洲第一av免费看| 美女午夜性视频免费| 国产精品香港三级国产av潘金莲| 欧美午夜高清在线| 91精品三级在线观看| 19禁男女啪啪无遮挡网站| 十八禁网站网址无遮挡| 免费看十八禁软件| 波多野结衣一区麻豆| 国产国语露脸激情在线看| 欧美久久黑人一区二区| 757午夜福利合集在线观看| 亚洲专区中文字幕在线| 久久久久精品人妻al黑| 中国美女看黄片| 日韩大片免费观看网站| 夫妻午夜视频| 免费一级毛片在线播放高清视频 | 一本—道久久a久久精品蜜桃钙片| 9191精品国产免费久久| 999精品在线视频| 另类亚洲欧美激情| 麻豆av在线久日| 国产aⅴ精品一区二区三区波| 黑人操中国人逼视频| 日本黄色视频三级网站网址 | 久久ye,这里只有精品| 少妇猛男粗大的猛烈进出视频| 又紧又爽又黄一区二区| 99国产极品粉嫩在线观看| 久久久水蜜桃国产精品网| 电影成人av| 成人国产av品久久久| 国产高清videossex| 亚洲va日本ⅴa欧美va伊人久久| 丝瓜视频免费看黄片| 欧美日韩中文字幕国产精品一区二区三区 | 国产成人av教育| 国产日韩一区二区三区精品不卡| a级毛片黄视频| 男女无遮挡免费网站观看| 俄罗斯特黄特色一大片| 亚洲国产av新网站| 亚洲欧洲日产国产| 丁香六月欧美| 久久精品人人爽人人爽视色| 69av精品久久久久久 | 999久久久精品免费观看国产| 人妻 亚洲 视频| 18在线观看网站| 亚洲第一欧美日韩一区二区三区 | 天天躁夜夜躁狠狠躁躁| 1024香蕉在线观看| 麻豆av在线久日| 50天的宝宝边吃奶边哭怎么回事| 麻豆乱淫一区二区| 国产精品国产av在线观看| 欧美日韩成人在线一区二区| 国产成人啪精品午夜网站| 美女国产高潮福利片在线看| 色在线成人网| 亚洲欧美一区二区三区黑人| 国产区一区二久久| 国产亚洲精品一区二区www | 老熟妇仑乱视频hdxx| videosex国产| 国产97色在线日韩免费| 高清欧美精品videossex| 80岁老熟妇乱子伦牲交| 日韩人妻精品一区2区三区| 91麻豆av在线| 麻豆乱淫一区二区| 日韩制服丝袜自拍偷拍| 精品一品国产午夜福利视频| 免费女性裸体啪啪无遮挡网站| 麻豆av在线久日| 在线观看免费高清a一片| 午夜福利视频在线观看免费| 性高湖久久久久久久久免费观看| 国产欧美日韩综合在线一区二区| 天天躁日日躁夜夜躁夜夜| 另类亚洲欧美激情| 免费人妻精品一区二区三区视频| 国产片内射在线| 成人av一区二区三区在线看| 丝袜美腿诱惑在线| 制服人妻中文乱码| 少妇粗大呻吟视频| 一个人免费在线观看的高清视频| 中文字幕色久视频| 下体分泌物呈黄色| 99re6热这里在线精品视频| 亚洲国产欧美在线一区| 亚洲精品在线美女| 国产av精品麻豆| 久久久精品94久久精品| 欧美日韩黄片免| 中文字幕另类日韩欧美亚洲嫩草| 丰满人妻熟妇乱又伦精品不卡| 日韩中文字幕欧美一区二区| videosex国产| 亚洲avbb在线观看| 999精品在线视频| 肉色欧美久久久久久久蜜桃| 久久午夜综合久久蜜桃| 99久久人妻综合| 母亲3免费完整高清在线观看| 久久青草综合色| 亚洲成人免费av在线播放| 欧美日韩成人在线一区二区| 欧美日韩国产mv在线观看视频| 1024香蕉在线观看| 日韩大片免费观看网站| 蜜桃国产av成人99| 久久久国产成人免费| 精品国产亚洲在线| 亚洲天堂av无毛| 日本黄色视频三级网站网址 | 夜夜夜夜夜久久久久| av线在线观看网站| 最新在线观看一区二区三区| 日韩成人在线观看一区二区三区| 欧美一级毛片孕妇| 亚洲精品久久成人aⅴ小说| 一级片'在线观看视频| 欧美在线黄色| 亚洲国产中文字幕在线视频| 久久久欧美国产精品| 久久久久精品国产欧美久久久| 久久狼人影院| 高清在线国产一区| 久久av网站| 欧美久久黑人一区二区| 久久久久精品人妻al黑| 美女福利国产在线| 叶爱在线成人免费视频播放| 99国产精品一区二区三区| 性色av乱码一区二区三区2| 国产精品久久久久成人av| 国产伦人伦偷精品视频| 欧美人与性动交α欧美软件| 国产成人精品无人区| www日本在线高清视频| 在线看a的网站| 岛国在线观看网站| 男女边摸边吃奶| 97人妻天天添夜夜摸| 亚洲国产欧美一区二区综合| 国产日韩欧美视频二区| 亚洲天堂av无毛| 亚洲国产成人一精品久久久| 亚洲国产av新网站| 天天躁狠狠躁夜夜躁狠狠躁| 美女扒开内裤让男人捅视频| 久久毛片免费看一区二区三区| 国产高清videossex| 国产不卡av网站在线观看| 91大片在线观看| 久久av网站| 人人妻人人添人人爽欧美一区卜| 国产精品.久久久| 色播在线永久视频| 精品免费久久久久久久清纯 | 日韩精品免费视频一区二区三区| 国产高清videossex| 亚洲精品一二三| 国产在线精品亚洲第一网站| 亚洲精品国产精品久久久不卡| 啦啦啦在线免费观看视频4| 五月开心婷婷网| 精品国内亚洲2022精品成人 | 久久99一区二区三区| 亚洲一区中文字幕在线| 这个男人来自地球电影免费观看| 国产精品久久久久久精品古装| 后天国语完整版免费观看| 国产高清视频在线播放一区| 免费不卡黄色视频| 巨乳人妻的诱惑在线观看| 亚洲国产中文字幕在线视频| 免费在线观看完整版高清| xxxhd国产人妻xxx| 性高湖久久久久久久久免费观看| 日韩免费高清中文字幕av| 亚洲av第一区精品v没综合| 在线观看舔阴道视频| 老汉色av国产亚洲站长工具| 最新美女视频免费是黄的| 在线观看一区二区三区激情| 国产精品一区二区在线观看99| 国产人伦9x9x在线观看| 久久精品熟女亚洲av麻豆精品| 国产欧美日韩综合在线一区二区| 黄色视频在线播放观看不卡| 极品教师在线免费播放| 国产日韩一区二区三区精品不卡| av在线播放免费不卡| 99热国产这里只有精品6| 一区二区三区激情视频| 狠狠婷婷综合久久久久久88av| 一级毛片女人18水好多| 久久久欧美国产精品| 桃花免费在线播放| 纯流量卡能插随身wifi吗| 丝袜人妻中文字幕| a在线观看视频网站| 一本大道久久a久久精品| 亚洲中文av在线| 制服人妻中文乱码| 精品乱码久久久久久99久播| 亚洲精品自拍成人| 一边摸一边抽搐一进一出视频| 91成年电影在线观看| 久久影院123| 久久精品aⅴ一区二区三区四区| 亚洲人成伊人成综合网2020| 中文亚洲av片在线观看爽 | 亚洲人成77777在线视频| 国产亚洲欧美精品永久| 午夜精品国产一区二区电影| 99国产精品一区二区蜜桃av | 99精国产麻豆久久婷婷| 麻豆av在线久日| 色综合婷婷激情| 国产真人三级小视频在线观看| 91国产中文字幕| 岛国在线观看网站| 成人免费观看视频高清| 国产精品免费大片| 精品亚洲成a人片在线观看| 日韩视频一区二区在线观看| 久久 成人 亚洲| 日韩欧美三级三区| 国产亚洲欧美精品永久| 国产在线一区二区三区精| 香蕉国产在线看| 日韩中文字幕欧美一区二区| 久久精品91无色码中文字幕| 美女国产高潮福利片在线看| 国产亚洲精品久久久久5区| 黑人操中国人逼视频| 亚洲中文av在线| 国产av国产精品国产| 99国产精品免费福利视频| 精品第一国产精品| 久久久欧美国产精品| 丰满人妻熟妇乱又伦精品不卡| 国产淫语在线视频| 欧美一级毛片孕妇| 国产成人系列免费观看| aaaaa片日本免费| 三上悠亚av全集在线观看| 欧美人与性动交α欧美精品济南到| 激情视频va一区二区三区| 视频在线观看一区二区三区| 黄色视频在线播放观看不卡| 99国产精品一区二区蜜桃av | 久久久久久免费高清国产稀缺| 人人妻人人澡人人看| 日韩视频在线欧美| 人人澡人人妻人| 极品教师在线免费播放| 亚洲欧美日韩另类电影网站| 精品国产一区二区久久| 日韩欧美一区视频在线观看| 久久 成人 亚洲| 亚洲av日韩在线播放| 丰满饥渴人妻一区二区三| 老司机午夜十八禁免费视频| 在线永久观看黄色视频| 中文字幕高清在线视频| av超薄肉色丝袜交足视频| 少妇粗大呻吟视频| 精品午夜福利视频在线观看一区 | 亚洲欧洲日产国产| 国产午夜精品久久久久久| 热99国产精品久久久久久7| 在线观看免费日韩欧美大片| 国产亚洲精品第一综合不卡| 制服人妻中文乱码| 亚洲九九香蕉| 成人特级黄色片久久久久久久 | 婷婷成人精品国产| 首页视频小说图片口味搜索| 亚洲,欧美精品.| 欧美乱码精品一区二区三区| 亚洲人成电影观看| 91成人精品电影| 久久午夜综合久久蜜桃| 丝袜美腿诱惑在线| 一区二区三区激情视频| 成人国产av品久久久| 夫妻午夜视频| 亚洲av日韩精品久久久久久密| 激情在线观看视频在线高清 | 国精品久久久久久国模美| 亚洲av日韩在线播放| 老司机靠b影院| 狂野欧美激情性xxxx| 一本一本久久a久久精品综合妖精| 99久久99久久久精品蜜桃| 视频在线观看一区二区三区| av天堂在线播放| 正在播放国产对白刺激| 99精国产麻豆久久婷婷| 亚洲中文字幕日韩| 一本—道久久a久久精品蜜桃钙片| 国产伦理片在线播放av一区| 午夜福利影视在线免费观看| 成年人黄色毛片网站| 久久久国产欧美日韩av| 久久人妻av系列| 中文字幕人妻丝袜制服| 999精品在线视频| 777米奇影视久久| 亚洲熟妇熟女久久| 老熟妇乱子伦视频在线观看| 日本一区二区免费在线视频| 80岁老熟妇乱子伦牲交| 亚洲欧美一区二区三区久久| 一区二区三区精品91| 亚洲专区中文字幕在线| 高清在线国产一区| 99精国产麻豆久久婷婷| 妹子高潮喷水视频| 成人三级做爰电影| 女人久久www免费人成看片| 9热在线视频观看99| 国产成人av教育| 国产精品国产av在线观看| 天天躁日日躁夜夜躁夜夜| 久久性视频一级片| 巨乳人妻的诱惑在线观看| 国产av国产精品国产| 电影成人av| 97在线人人人人妻| 91大片在线观看| 性色av乱码一区二区三区2| 飞空精品影院首页| 欧美国产精品一级二级三级| 国产男女超爽视频在线观看| 亚洲中文字幕日韩| 久久久久国产一级毛片高清牌| 亚洲精品粉嫩美女一区| 下体分泌物呈黄色| 国产精品秋霞免费鲁丝片| 亚洲成人国产一区在线观看| 一本久久精品| 波多野结衣一区麻豆| 在线观看免费视频网站a站| 精品卡一卡二卡四卡免费| 99riav亚洲国产免费| 欧美精品高潮呻吟av久久| 亚洲精品av麻豆狂野| 中国美女看黄片| 精品亚洲成国产av| av国产精品久久久久影院| 久久天躁狠狠躁夜夜2o2o| 十八禁高潮呻吟视频| 精品一区二区三区av网在线观看 | 亚洲欧美一区二区三区久久| 中文欧美无线码| 精品视频人人做人人爽| 精品卡一卡二卡四卡免费| 两性夫妻黄色片| 成年动漫av网址| 精品国产乱子伦一区二区三区| 日韩欧美免费精品| 一级黄色大片毛片| 欧美日韩一级在线毛片| 精品亚洲成a人片在线观看| 国产激情久久老熟女| 黄片小视频在线播放| 亚洲伊人久久精品综合| 亚洲欧美色中文字幕在线| 成人影院久久| netflix在线观看网站| 国产亚洲欧美在线一区二区| 一本久久精品|