• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    云計(jì)算時(shí)代的企業(yè)級(jí)存儲(chǔ)之特性

    2016-10-27 06:59:24葉毓睿
    關(guān)鍵詞:存儲(chǔ)資源虛擬化數(shù)據(jù)中心

    葉毓睿

    (VMware公司 北京 100190)

    ?

    云計(jì)算時(shí)代的企業(yè)級(jí)存儲(chǔ)之特性

    葉毓睿

    (VMware公司 北京 100190)

    云計(jì)算勢(shì)不可擋,在未來(lái)較長(zhǎng)的時(shí)間段內(nèi),私有云和混合云是主流。作為數(shù)據(jù)中心的基礎(chǔ)部件之一,企業(yè)級(jí)存儲(chǔ)面臨了新的挑戰(zhàn),云計(jì)算要求存儲(chǔ)具有如下特性:自助服務(wù)、存儲(chǔ)池化、彈性擴(kuò)展、快速部署、按量計(jì)費(fèi)等。軟件定義存儲(chǔ)是解決這一挑戰(zhàn)的最佳選擇。

    企業(yè)級(jí)存儲(chǔ);云計(jì)算;軟件定義數(shù)據(jù)中心;軟件定義存儲(chǔ)

    一、什么是企業(yè)級(jí)存儲(chǔ)?

    企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)有著額外的需求,它的高標(biāo)準(zhǔn)體現(xiàn)在:高可靠性、高可用性、可維護(hù)性、高性能、大容量、可擴(kuò)展性和高級(jí)的數(shù)據(jù)保護(hù)(備份和容災(zāi))。

    有別于個(gè)人用戶(hù)使用的移動(dòng)硬盤(pán)、U盤(pán)等消費(fèi)級(jí)存儲(chǔ),企業(yè)級(jí)存儲(chǔ)因?yàn)槭瞧髽I(yè)信息資產(chǎn)存放的地方,需要極高的可靠性、穩(wěn)定性。而且,在當(dāng)今信息化逐漸深入的時(shí)代背景下,大多數(shù)行業(yè)都需要借助信息技術(shù)(簡(jiǎn)稱(chēng)IT)去提高管理效率,維護(hù)客戶(hù)關(guān)系,快速響應(yīng)訊息萬(wàn)變的商業(yè)環(huán)境,并給領(lǐng)導(dǎo)者提供值得信賴(lài)的決策信息。這使得IT數(shù)據(jù)的產(chǎn)生、存放、傳輸、保護(hù)變得日益重要,對(duì)于重要的關(guān)鍵業(yè)務(wù)應(yīng)用,還需要通過(guò)備份、容災(zāi)等手段,更好地將數(shù)據(jù)保護(hù)起來(lái),以應(yīng)對(duì)可能突如其來(lái)的災(zāi)難事件。例如:15年前,也就是2001年的911事件中,許多金融機(jī)構(gòu)聚集的世貿(mào)大廈里的大量數(shù)據(jù)化為烏有。其中,紐約銀行的數(shù)據(jù)中心遭到嚴(yán)重破壞,由于缺乏可靠的災(zāi)備系統(tǒng),在30天后關(guān)閉一些分支機(jī)構(gòu),幾月后只能破產(chǎn)清盤(pán)。而摩根士丹利(Morgan Stanley)在世貿(mào)大廈租用了高達(dá)25層的辦公室,許多人以為它的運(yùn)營(yíng)將受到重創(chuàng)。然而,摩根士丹利宣布,全球營(yíng)業(yè)部第二天可以照常工作。因?yàn)橄惹敖⒌臄?shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng),保護(hù)了重要的數(shù)據(jù)。不得不承認(rèn),數(shù)據(jù)備份和遠(yuǎn)程容災(zāi)系統(tǒng)在這時(shí)挽救了Morgan Stanley。

    據(jù)統(tǒng)計(jì),金融業(yè)在信息系統(tǒng)遭到破壞的兩天內(nèi),遭受的損失為日營(yíng)業(yè)額的一半,如果14天內(nèi)無(wú)法恢復(fù)信息系統(tǒng),3/4的公司業(yè)務(wù)不得不停頓,43%的公司將永久停業(yè),沒(méi)有實(shí)施災(zāi)備措施的公司3/5將在災(zāi)難發(fā)生后的兩到三年間破產(chǎn)。這里提到的災(zāi)難備份,都是企業(yè)級(jí)存儲(chǔ)技術(shù)中的重要一環(huán)。

    此外,數(shù)據(jù)7x24小時(shí)可以被持續(xù)訪(fǎng)問(wèn),也越來(lái)越重要。有些企業(yè),停機(jī)1分鐘,甚至都會(huì)導(dǎo)致數(shù)十萬(wàn),甚至數(shù)百萬(wàn)美元的損失;丟失數(shù)據(jù)則被視為更嚴(yán)重的事故。

    二、什么是云計(jì)算?

    云計(jì)算發(fā)端于十年前,至今已經(jīng)推動(dòng)著IT洪流,滾滾向前,極大地影響了整個(gè)IT產(chǎn)業(yè)的格局。云計(jì)算其實(shí)并不特指一種或幾種技術(shù),實(shí)際上是使用IT資源的模式的創(chuàng)新。雖然一萬(wàn)個(gè)人的眼里,就有一萬(wàn)個(gè)不同的云計(jì)算的定義,不過(guò)被大家公認(rèn)的,接受度比較高的是NIST(美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)委員會(huì))對(duì)于云計(jì)算的定義[1],如圖1所示[2]。

    圖1美國(guó)NIST關(guān)于云計(jì)算的定義

    NIST認(rèn)為,云計(jì)算有如下五個(gè)核心本質(zhì)特征:

    1.按需提供的自助服務(wù)

    消費(fèi)者可以單方面地按需自動(dòng)獲取計(jì)算能力,如服務(wù)器時(shí)間和網(wǎng)絡(luò)存儲(chǔ),從而免去了與每個(gè)服務(wù)提供者進(jìn)行交互的過(guò)程。

    2.通過(guò)網(wǎng)絡(luò)廣泛訪(fǎng)問(wèn)

    網(wǎng)絡(luò)中提供許多可用功能,可通過(guò)各種統(tǒng)一的標(biāo)準(zhǔn)機(jī)制從多樣化的瘦客戶(hù)端或者胖客戶(hù)端平臺(tái)獲取(例如,手機(jī)、筆記本電腦、或臺(tái)式機(jī))。

    3.資源的池化整合

    服務(wù)提供者將計(jì)算資源匯集到資源池中,通過(guò)多租戶(hù)模式共享給多個(gè)消費(fèi)者,根據(jù)消費(fèi)者的需求對(duì)不同的物理資源和虛擬資源進(jìn)行動(dòng)態(tài)分配或重分配。資源的所在地具有保密性,消費(fèi)者通常不知道資源的確切位置,也無(wú)力控制資源的分配,但是可以指定較精確的概要位置(如,國(guó)家、省或數(shù)據(jù)中心)。資源類(lèi)型包括存儲(chǔ)、處理、內(nèi)存、帶寬和虛擬機(jī)等。

    4.快速而彈性的部署

    能夠快速而靈活地提供各種功能以實(shí)現(xiàn)擴(kuò)展,并且可以快速釋放資源來(lái)實(shí)現(xiàn)收縮。對(duì)消費(fèi)者來(lái)說(shuō),可取用的功能是應(yīng)有盡有的,并且可以在任何時(shí)間進(jìn)行任意數(shù)量的購(gòu)買(mǎi)。

    5.可量化的服務(wù)

    云系統(tǒng)利用一種計(jì)量功能(通常是通過(guò)一個(gè)付費(fèi)使用的業(yè)務(wù)模式)來(lái)自動(dòng)調(diào)控和優(yōu)化資源利用,根據(jù)不同的服務(wù)類(lèi)型按照合適的度量指標(biāo)進(jìn)行計(jì)量(如存儲(chǔ)、處理、帶寬和活躍用戶(hù)賬戶(hù))。監(jiān)控、控制和報(bào)告資源使用情況,提升服務(wù)提供者和服務(wù)消費(fèi)者的透明度。

    從業(yè)務(wù)交付模式來(lái)看,包括如下三種:

    1.軟件即服務(wù)(SaaS)

    該模式的云服務(wù),是在云基礎(chǔ)設(shè)施上運(yùn)行的,由提供者提供的應(yīng)用程序。這些應(yīng)用程序可以被各種不同的客戶(hù)端設(shè)備,通過(guò)像Web瀏覽器(例如:基于Web的電子郵件)這樣的瘦客戶(hù)端界面所訪(fǎng)問(wèn)。消費(fèi)者不直接管理或控制底層云基礎(chǔ)設(shè)施,包括網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能,但有限的特定于用戶(hù)的應(yīng)用程序配置設(shè)置則可能是個(gè)例外。

    2.平臺(tái)即服務(wù)(PaaS)

    該模式的云服務(wù),是將消費(fèi)者創(chuàng)建或獲取的應(yīng)用程序,利用資源提供者指定的編程語(yǔ)言和工具部署到云的基礎(chǔ)設(shè)施上。消費(fèi)者不直接管理或控制包括網(wǎng)絡(luò)、服務(wù)器、運(yùn)行系統(tǒng)、存儲(chǔ),甚至單個(gè)應(yīng)用的功能在內(nèi)的底層云基礎(chǔ)設(shè)施,但可以控制部署的應(yīng)用程序,也有可能配置應(yīng)用的托管環(huán)境。

    3.基礎(chǔ)設(shè)施即服務(wù)(IaaS)

    該模式的云服務(wù),是租用處理、存儲(chǔ)、網(wǎng)絡(luò)和其它基本的計(jì)算資源,消費(fèi)者能夠在上面部署和運(yùn)行任意軟件,包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不管理或控制底層的云計(jì)算基礎(chǔ)設(shè)施,但可以控制操作系統(tǒng)、存儲(chǔ)、部署的應(yīng)用,也有可能選擇網(wǎng)絡(luò)構(gòu)件(例如:主機(jī)防火墻)。

    在筆者看來(lái),這三種交付模式的不同,其實(shí)對(duì)應(yīng)的就是三類(lèi)不同的使用者的角色。SAAS對(duì)應(yīng)業(yè)務(wù)應(yīng)用的用戶(hù),例如著名的Salesforce,許多外企都在使用其云端的客戶(hù)關(guān)系管理軟件,通過(guò)瀏覽器即可使用;PAAS對(duì)應(yīng)開(kāi)發(fā)部署人員,例如開(kāi)源PAAS平臺(tái)提供商Cloud Foundry;而IAAS對(duì)應(yīng)運(yùn)維管理人員,公有云領(lǐng)域中,最著名的有亞馬遜AWS、微軟Azure,另外還有谷歌GCE、IBM Softlayer、VMware vCloud Air等。

    從架構(gòu)部署模型來(lái)看,包括如下四種:

    1.公共云(Public cloud)

    公共云對(duì)一般公眾或一個(gè)大型的行業(yè)組織公開(kāi)可用,由銷(xiāo)售云服務(wù)的組織機(jī)構(gòu)所有。

    2.私有云(Private cloud)

    私有云是為一個(gè)用戶(hù)/機(jī)構(gòu)單獨(dú)使用而構(gòu)建的,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在預(yù)置(on premise)和外置(off premise)兩個(gè)狀態(tài)。

    3.團(tuán)體云,也叫社區(qū)云(Community cloud)

    社區(qū)云是指一些由有著共同利益(如任務(wù)、安全需求、政策、遵約考慮等)并打算共享基礎(chǔ)設(shè)施的組織共同創(chuàng)立的云,可以由該用戶(hù)/機(jī)構(gòu)或第三方管理,存在on premise或off premise兩個(gè)狀態(tài)。

    4.混合云(Hybrid cloud)

    混合云由兩個(gè)或兩個(gè)以上的云(私有云、社區(qū)云或公共云)組成,它們各自獨(dú)立,但通過(guò)標(biāo)準(zhǔn)化技術(shù)或?qū)S屑夹g(shù)綁定在一起,云之間實(shí)現(xiàn)了數(shù)據(jù)和應(yīng)用程序的可移植性(例如,解決云之間負(fù)載均衡的云爆發(fā)(cloud bursting))。

    在筆者看來(lái),公有云意味著用戶(hù)的所有權(quán)和使用權(quán)相分離;私有云意味著用戶(hù)不僅有使用權(quán)還有所有權(quán)。團(tuán)體云通常專(zhuān)注在具體行業(yè)或地域?;旌显疲櫭剂x,業(yè)務(wù)可以在不同于以上三種不同部署模型云之間漂移。例如,鐵路系統(tǒng)的購(gòu)票網(wǎng)站12306,平時(shí)運(yùn)行在鐵道部自己的私有云上;春運(yùn)高峰時(shí)期,12306會(huì)將車(chē)票查詢(xún)業(yè)務(wù)放到阿里云(公有云)計(jì)算平臺(tái)上。從長(zhǎng)遠(yuǎn)來(lái)看,公有云的份額或越來(lái)越大,但在中期、近期的時(shí)間段內(nèi),考慮到安全性、政府合規(guī)、管理、兼容性、慣性、遷移成本等因素,許多用戶(hù)仍然會(huì)選擇將業(yè)務(wù)繼續(xù)存放在私有云上,而一些非關(guān)鍵業(yè)務(wù)或許可能考慮放在公有云上,這意味著掌握混合云的技術(shù)越來(lái)越重要。

    三、云計(jì)算和存儲(chǔ)的關(guān)系

    由于云計(jì)算涉及的范圍過(guò)于廣泛,難以在一篇文章中面面俱到。本篇文章里所提到的云計(jì)算主要指私有云,是當(dāng)前絕大多數(shù)企事業(yè)單位主流的部署模型。圖2為傳統(tǒng)數(shù)據(jù)中心的典型的拓補(bǔ)圖,可以看到傳統(tǒng)數(shù)據(jù)中心中,包含了幾個(gè)基礎(chǔ)組件:服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)。存儲(chǔ)實(shí)際上應(yīng)對(duì)場(chǎng)景的不同,包含了NAS(提供文件共享空間,存放非結(jié)構(gòu)化數(shù)據(jù))和SAN(提供塊數(shù)據(jù)的訪(fǎng)問(wèn),通常用于存放結(jié)構(gòu)化數(shù)據(jù),例如數(shù)據(jù)庫(kù)、郵件等業(yè)務(wù)應(yīng)用的數(shù)據(jù))。企業(yè)級(jí)存儲(chǔ)通常還包含了備份或容災(zāi)體系,例如圖2所示,其中還有專(zhuān)門(mén)的備份存儲(chǔ)[3]。

    云計(jì)算出現(xiàn)以后,對(duì)數(shù)據(jù)中心提出了新的挑戰(zhàn)和要求,不過(guò)仍然包含服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)這三大基礎(chǔ)組件,但是對(duì)于組件的呈現(xiàn)形態(tài),以及控制方式有了很大的變化,即軟件定義的數(shù)據(jù)中心(Software Defined Data Center,簡(jiǎn)稱(chēng)SDDC)。SDDC可以視為私有云的云計(jì)算平臺(tái)的最佳落地方式,而軟件定義的存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)是其中的重要組成部分。實(shí)際上可以說(shuō):軟件定義,為云而生。

    圖2傳統(tǒng)數(shù)據(jù)中心拓補(bǔ)圖

    結(jié)合NIST對(duì)云計(jì)算的定義可知,云計(jì)算對(duì)于新一代存儲(chǔ)提出了如下要求:存儲(chǔ)即服務(wù)(Storage as a Service),存儲(chǔ)資源池化,能夠快速而彈性地部署存儲(chǔ)資源,存儲(chǔ)資源可以按量計(jì)費(fèi)。而這些要求,剛好與軟件定義存儲(chǔ)的特征十分吻合。云計(jì)算時(shí)代所需要的企業(yè)級(jí)存儲(chǔ),即軟件定義存儲(chǔ),當(dāng)今IT正在逐漸踏入軟件定義的世界。

    四、軟件定義的世界

    2011年8月21日,Netscape創(chuàng)始人馬克·安德森在華爾街日?qǐng)?bào)上發(fā)表《軟件正在吞噬整個(gè)世界》,認(rèn)為當(dāng)今的軟件應(yīng)用無(wú)所不在,并且正在吞噬整個(gè)世界: “越來(lái)越多的大型企業(yè)及行業(yè)將離不開(kāi)軟件,網(wǎng)絡(luò)服務(wù)將無(wú)所不在,從電影、農(nóng)業(yè)到國(guó)防。許多贏(yíng)家將是硅谷式的創(chuàng)新科技公司,它們侵入并推翻了已經(jīng)建立起來(lái)的行業(yè)結(jié)構(gòu)。未來(lái)十年,我預(yù)計(jì)將有更多的行業(yè)被軟件所瓦解”。安德森以亞馬遜顛覆圖書(shū)零售巨頭Borders(已于2011年2月破產(chǎn))、Netflix顛覆視頻行業(yè)、蘋(píng)果顛覆音樂(lè)行業(yè)、Skype顛覆電信行業(yè)、LinkedIn顛覆招聘、PayPal顛覆支付等為例,指出基于互聯(lián)網(wǎng)的服務(wù)將讓新創(chuàng)建全球性軟件初創(chuàng)公司變得容易。時(shí)至今日,新的顛覆仍然不斷出現(xiàn),例如Uber顛覆出租車(chē)行業(yè),Airbnb顛覆住宿業(yè)。

    中國(guó)也是如此,包括BAT(百度阿里騰訊)、京東、滴滴、美團(tuán)、大眾點(diǎn)評(píng)、小米、去哪兒、餓了嗎等互聯(lián)網(wǎng)公司在內(nèi)的軟件公司,深刻地影響了我們每一個(gè)人的生活,也已經(jīng)或正在逐步地顛覆著教育、零售、金融、通信、交通、物流、醫(yī)療等行業(yè)。

    2013年10月Gartner發(fā)布的2014年十大戰(zhàn)略技術(shù)中,重要的組成部分就有:軟件定義一切。Gartner認(rèn)為:軟件定義一切囊括了在基礎(chǔ)設(shè)施可編程性標(biāo)準(zhǔn)提升下不斷增長(zhǎng)的市場(chǎng)勢(shì)頭,由云計(jì)算內(nèi)在自動(dòng)化驅(qū)動(dòng)的數(shù)據(jù)中心互通性,DevOps和快速的基礎(chǔ)設(shè)施提供等。軟件定義一切還包括各種舉措,如OpenStack、Open Flow、Open Compute Project和Open Rack,共享相同的愿景。開(kāi)放性將成為供應(yīng)商的目標(biāo),SDN(網(wǎng)絡(luò))、SDDC(數(shù)據(jù)中心)、SDS(存儲(chǔ))和SDI(基礎(chǔ)架構(gòu))技術(shù)的供應(yīng)商都力圖成為所在領(lǐng)域的領(lǐng)導(dǎo)。

    五、軟件定義的數(shù)據(jù)中心(SDDC)

    2012年8月,VMware在其VMworld 2012大會(huì)上首次提出軟件定義數(shù)據(jù)中心(SDDC)的概念[4]。

    圖3VMware首次提出軟件定義的數(shù)據(jù)中心

    如圖3所示,VMware認(rèn)為,軟件定義的數(shù)據(jù)中心,是 IT 演變的下一個(gè)階段,是迄今為止最有效、恢復(fù)能力最強(qiáng)和最經(jīng)濟(jì)高效的云計(jì)算基礎(chǔ)架構(gòu)方法。SDDC方法論將對(duì)存儲(chǔ)、網(wǎng)絡(luò)連接、安全和可用性應(yīng)用抽象、池化和自動(dòng)化,整個(gè)數(shù)據(jù)中心由軟件自動(dòng)控制?;A(chǔ)架構(gòu)提供的服務(wù)將聚合起來(lái),并與基于策略的智能調(diào)配、自動(dòng)化和監(jiān)控功能結(jié)合在一起使用。應(yīng)用編程接口和其它連接器支持無(wú)縫延展到私有云、混合云和公有云平臺(tái)。SDDC概念的核心包括:1)軟件定義的數(shù)據(jù)中心由軟件自動(dòng)控制;2)軟件定義包括三個(gè)階段:抽象、池化和自動(dòng)化;3)軟件定義的數(shù)據(jù)中心包括五大組成部分:計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、管理和安全。

    它與傳統(tǒng)的數(shù)據(jù)中心的最大的不同在于:SDDC旗幟鮮明地提出了數(shù)據(jù)中心由軟件自動(dòng)控制。在傳統(tǒng)的數(shù)據(jù)中心里,用戶(hù)的IT基礎(chǔ)架構(gòu)是“煙囪式”的,或稱(chēng)“豎井式"的,如圖4所示。傳統(tǒng)的數(shù)據(jù)中心里,通常一個(gè)業(yè)務(wù)應(yīng)用需要配備一套系統(tǒng),包含計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等IT基礎(chǔ)架構(gòu)的各個(gè)組件。這種模式普遍存在如下問(wèn)題:

    (一)初次采購(gòu)浪費(fèi)較嚴(yán)重

    一般需要考慮新應(yīng)用未來(lái)3~5年,甚至更長(zhǎng)時(shí)間,以及最高負(fù)載時(shí)對(duì)系統(tǒng)資源的需求,往往會(huì)在初次采購(gòu)時(shí),選擇高出實(shí)際需求許多的硬件規(guī)格。而實(shí)際上新應(yīng)用上線(xiàn)后的很長(zhǎng)時(shí)間,負(fù)載需求都遠(yuǎn)低于初次采購(gòu)的硬件規(guī)格,硬件利用率低,造成了很大的浪費(fèi)。并且,硬件的發(fā)展速度日新月異,相同的硬件配置幾年后成本會(huì)降低不少,很難做到按需購(gòu)買(mǎi)。

    (二)難以共享使用

    傳統(tǒng)模式下,每一個(gè)業(yè)務(wù)應(yīng)用有自己專(zhuān)屬的IT系統(tǒng),即使某些應(yīng)用在某一時(shí)段,所需資源遠(yuǎn)低于其硬件配置能提供的,也無(wú)法共享給其它應(yīng)用使用。這樣,整體資源利用率都比較低下,而且占用過(guò)多的空間和能源。隨著應(yīng)用系統(tǒng)的增多或者應(yīng)用的規(guī)模迅速增大,擴(kuò)展性和可管理性都面臨巨大的挑戰(zhàn)。

    (三)難以即刻交付

    新上線(xiàn)的業(yè)務(wù)應(yīng)用,經(jīng)過(guò)調(diào)查需求、申請(qǐng)購(gòu)買(mǎi)軟硬件設(shè)備、批復(fù)、采購(gòu)、安裝、部署等多個(gè)環(huán)節(jié),通常需要幾個(gè)星期、幾個(gè)月、甚至半年以上的時(shí)間周期。

    圖4傳統(tǒng)的數(shù)據(jù)中心 - 煙囪式或豎井式

    然而,軟件定義的數(shù)據(jù)中心(SDDC),通過(guò)抽象、池化,將計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)都聚合成資源池,能夠按需分配,靈活擴(kuò)展,也能在資源使用停止后進(jìn)行回收。再通過(guò)自動(dòng)化,即可實(shí)現(xiàn)按照用戶(hù)對(duì)服務(wù)水平的要求(類(lèi)似QoS),動(dòng)態(tài)地,即刻地交付新上線(xiàn)業(yè)務(wù)的資源。將資源的分配和部署從原來(lái)幾十天,縮短到幾十分鐘,甚至幾分鐘。

    六、軟件定義存儲(chǔ)的定義

    軟件定義的存儲(chǔ)(SDS)是一個(gè)不斷進(jìn)化的概念,在現(xiàn)階段看來(lái),SDS是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、外置存儲(chǔ)甚至云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)基于策略驅(qū)動(dòng)的部署、變更、管理和監(jiān)控,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。不過(guò),截止目前為止,對(duì)于SDS尚未出現(xiàn)一個(gè)被大多數(shù)人員或機(jī)構(gòu)所認(rèn)可的定義。

    (1)VMware對(duì)SDS的定義

    作為VMware軟件定義數(shù)據(jù)中心五大組成部分之一,軟件定義存儲(chǔ)(Software Defined Storage,簡(jiǎn)稱(chēng)SDS)的概念在2012年8月,也在全球范圍內(nèi),首次被提出。VMware認(rèn)為:軟件定義的存儲(chǔ)是將工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)提供出來(lái)并通過(guò)軟件控制層面實(shí)現(xiàn)存儲(chǔ)的自動(dòng)化和池化。它將存儲(chǔ)的置備和管理的方法簡(jiǎn)化到了極致,并利用工業(yè)標(biāo)準(zhǔn)服務(wù)器的存儲(chǔ)大大降低了成本[5]。

    VMware的軟件定義存儲(chǔ)主要分為兩大部分,如圖5所示。

    圖5VMware 的SDS 定義

    1) 控制平面,即Storage Policy Based Management(基于存儲(chǔ)策略的管理),簡(jiǎn)稱(chēng)SPBM。

    2) 數(shù)據(jù)平面,即Virtual Data Services。分別有三個(gè)子類(lèi)構(gòu)成:Virtual SAN,Virtual Volumes和Cloud/Object Storage。

    (2)SNIA對(duì)SDS的定義

    全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)SNIA(Storage Networking Industry Association)在SDS的定義中提到,SDS允許異構(gòu)的或者專(zhuān)有的平臺(tái)。必須滿(mǎn)足的是,這個(gè)平臺(tái)能夠提供部署和管理其虛擬存儲(chǔ)空間的自助服務(wù)接口。除此之外,SDS應(yīng)該包括:

    ·自動(dòng)化-簡(jiǎn)化管理,降低維護(hù)存儲(chǔ)架構(gòu)的成本;

    ·標(biāo)準(zhǔn)接口-提供應(yīng)用編程接口,用于管理、部署和維護(hù)存儲(chǔ)設(shè)備和存儲(chǔ)服務(wù);

    ·虛擬數(shù)據(jù)路徑-提供塊、文件和對(duì)象的接口,支持應(yīng)用通過(guò)這些接口寫(xiě)入數(shù)據(jù);

    ·擴(kuò)展性-無(wú)需中斷應(yīng)用,也能提供可靠性和性能的無(wú)縫擴(kuò)展;

    ·透明性-提供存儲(chǔ)消費(fèi)者對(duì)存儲(chǔ)使用狀況及成本的監(jiān)控和管理。

    SNIA認(rèn)為,存儲(chǔ)服務(wù)的接口需要允許數(shù)據(jù)擁有者(存儲(chǔ)用戶(hù))同時(shí)表達(dá)對(duì)于數(shù)據(jù)和所需服務(wù)水準(zhǔn)的需求。數(shù)據(jù)的需求,就是SDS建立在數(shù)據(jù)路徑(Data Path)的虛擬化,而控制路徑(Control Path)也需要被抽象化成為存儲(chǔ)服務(wù)。云數(shù)據(jù)中心和存儲(chǔ)系統(tǒng),或者數(shù)據(jù)管理員能夠被用于部署這個(gè)服務(wù)(指Control Path)。

    在SNIA對(duì)SDS的定義中,貢獻(xiàn)最大,也是最有價(jià)值的部分,應(yīng)該是SNIA關(guān)于Data Path(數(shù)據(jù)路徑)和Control Path(控制路徑),以及手動(dòng)傳送數(shù)據(jù)請(qǐng)求和應(yīng)用通過(guò)元數(shù)據(jù)來(lái)傳送請(qǐng)求的對(duì)比描述。這有助于清晰地了解兩者的區(qū)別,并描繪了未來(lái)理想的SDS的藍(lán)圖,為如何發(fā)展SDS指明了方向。

    SDS包括數(shù)據(jù)路徑和控制路徑。數(shù)據(jù)路徑由以往的標(biāo)準(zhǔn)接口(塊、文件和對(duì)象)組成??刂坡窂皆趥鹘y(tǒng)存儲(chǔ)中,是指存儲(chǔ)管理員為數(shù)據(jù)提供部署數(shù)據(jù)的服務(wù)。在使用傳統(tǒng)存儲(chǔ)的大多數(shù)情況下,每一個(gè)數(shù)據(jù)服務(wù)有著各自的管理接口。變更數(shù)據(jù)服務(wù),會(huì)導(dǎo)致所有存放在相應(yīng)虛擬存儲(chǔ)空間的數(shù)據(jù)都受到影響。

    i)傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求的方式

    圖6SNIA 傳統(tǒng)方式下傳遞數(shù)據(jù)請(qǐng)求

    如圖6所示,存儲(chǔ)用戶(hù)的控制路徑是在帶外,通過(guò)傳統(tǒng)、人工的方式將數(shù)據(jù)請(qǐng)求傳遞給存儲(chǔ)管理員,例如對(duì)于數(shù)據(jù)保護(hù)、可用性、性能、安全性的要求。存儲(chǔ)管理員進(jìn)入存儲(chǔ)管理界面,按存儲(chǔ)用戶(hù)的請(qǐng)求分配存儲(chǔ)資源。這種情況是當(dāng)前普遍存在的主流方式。其實(shí)是:存儲(chǔ)管理員定義。這種存儲(chǔ)部署方式存在一個(gè)最大的問(wèn)題,擴(kuò)容或升級(jí)非常艱難。由于剛性架構(gòu)限制系統(tǒng)資源只能靜態(tài)分配,這就意味著后續(xù)新部署的資源難以歸入原先存儲(chǔ)體系。

    ii)理想方式下傳遞數(shù)據(jù)請(qǐng)求的方式

    圖7SNIA 理想方式下傳遞數(shù)據(jù)請(qǐng)求

    如圖7所示,理想的SDS,其傳遞數(shù)據(jù)請(qǐng)求的方式是:讓?xiě)?yīng)用通過(guò)元數(shù)據(jù)來(lái)請(qǐng)求相應(yīng)的數(shù)據(jù)服務(wù)。如:空間部署,數(shù)據(jù)保護(hù)(快照、克隆),數(shù)據(jù)高可用(容災(zāi)、雙活),性能,安全等。理想的SDS實(shí)現(xiàn)了存儲(chǔ)基礎(chǔ)架構(gòu)的自動(dòng)化機(jī)制,極大地降低了人工管理運(yùn)維成本,數(shù)據(jù)請(qǐng)求需直接傳達(dá)至自動(dòng)化軟件。它能夠直接應(yīng)對(duì)請(qǐng)求,分配應(yīng)用人員所需的存儲(chǔ)資源,而無(wú)需人工干預(yù)。存儲(chǔ)管理員可以從枯燥重復(fù)的建卷、映射卷等工作中,從疲于修補(bǔ)那些導(dǎo)致存儲(chǔ)服務(wù)水準(zhǔn)降低的突發(fā)故障中脫身出來(lái),轉(zhuǎn)向更高級(jí)的任務(wù),例如定義存儲(chǔ)策略。

    iii)SNIA之SDS全局示意圖

    圖8為SNIA關(guān)于理想的SDS的全局示意圖,很好的概括了未來(lái)理想的SDS所涵蓋的各個(gè)方面。(1)存儲(chǔ)管理。將來(lái)自服務(wù)器本地的閃存盤(pán)、機(jī)械盤(pán)、存儲(chǔ)陣列、JBOD等存儲(chǔ)資源,通過(guò)存儲(chǔ)管理協(xié)議(如SMI-S等),進(jìn)行特性描述和虛擬化,構(gòu)建出存儲(chǔ)資源池。(2)數(shù)據(jù)服務(wù)。存儲(chǔ)資源池化后,數(shù)據(jù)服務(wù)即可按照用戶(hù)對(duì)存儲(chǔ)服務(wù)級(jí)別(如金銀銅)的要求提供。數(shù)據(jù)服務(wù)包含:空間部署、數(shù)據(jù)保護(hù)、數(shù)據(jù)可用性、性能、數(shù)據(jù)安全性。(3)數(shù)據(jù)請(qǐng)求。存儲(chǔ)資源的使用者,如軟件開(kāi)發(fā)人員通過(guò)數(shù)據(jù)管理接口(如CDMI),向SDS發(fā)起數(shù)據(jù)請(qǐng)求。由于SDS開(kāi)放了豐富的API供調(diào)用,因此SDS能夠滿(mǎn)足用戶(hù)的數(shù)據(jù)請(qǐng)求,按照服務(wù)級(jí)別,提供相應(yīng)的存儲(chǔ)資源。

    圖8SNIA之SDS全局示意圖

    除了VMware、SNIA之外,Gartner、IDC,以及EMC、IBM、HP、DELL等,都提出了各自對(duì)SDS的定義或闡述。雖然對(duì)SDS的定義各有不同,但易于擴(kuò)展(主要指在線(xiàn)橫向擴(kuò)展)、自動(dòng)化、基于策略或者應(yīng)用的驅(qū)動(dòng)都幾乎成為大家定義中的必備特征。而這也是軟件定義數(shù)據(jù)中心的重要特征,只有具備自動(dòng)化的能力,才能實(shí)現(xiàn)敏捷交付,簡(jiǎn)單管理,節(jié)省部署和運(yùn)維成本。自動(dòng)化也成為各家SDS方案是否愿意走向更高階段的試金石。

    (3)筆者對(duì)SDS的定義

    筆者不揣淺陋,嘗試著作出了如下定義[7]:軟件定義的存儲(chǔ)(SDS),是指存儲(chǔ)資源由軟件自動(dòng)控制,通過(guò)抽象、池化和自動(dòng)化,將標(biāo)準(zhǔn)服務(wù)器內(nèi)置存儲(chǔ)、直連存儲(chǔ)、外置存儲(chǔ)或云存儲(chǔ)等存儲(chǔ)資源整合起來(lái),實(shí)現(xiàn)應(yīng)用感知,或者基于策略驅(qū)動(dòng)的部署、變更和管理,最終達(dá)到存儲(chǔ)即服務(wù)的目標(biāo)。

    七、SDS的分類(lèi)

    軟件定義存儲(chǔ)的概念很大,筆者試著將SDS分兩大類(lèi):控制平面和數(shù)據(jù)平面,如圖9。

    圖9SDS的分類(lèi)

    i)Control Plane (控制平面)

    SDS的Control Plane(控制平面)所做的事情,就是將以往通過(guò)存儲(chǔ)管理員傳送的數(shù)據(jù)請(qǐng)求,轉(zhuǎn)為由軟件來(lái)處理。簡(jiǎn)而言之,控制平面負(fù)責(zé)存儲(chǔ)資源的部署和管理,它包括分發(fā)數(shù)據(jù)請(qǐng)求(也即存儲(chǔ)策略驅(qū)動(dòng)),控制數(shù)據(jù)流向,完成數(shù)據(jù)的部署、管理和保護(hù),從而增加了存儲(chǔ)的靈活性、擴(kuò)展性和自動(dòng)化能力。

    在SDS Control Plane這一層,比較著名的有:

    1.VMware SPBM (Storage Policy Base Management, 基于存儲(chǔ)策略的管理);

    2.OpenStack Cinder。Cinder是OpenStack云平臺(tái)的一個(gè)組件,用來(lái)提供塊存儲(chǔ)服務(wù);

    3.EMC ViPR。目標(biāo)是實(shí)現(xiàn)EMC存儲(chǔ)、異構(gòu)存儲(chǔ)、商用硬件本地存儲(chǔ)資源的存儲(chǔ)虛擬化(包括互操作性);

    4.先智數(shù)據(jù)(ProphetStor)的Federator;

    5.還有其它一些產(chǎn)品。

    衡量產(chǎn)品是否屬于控制平面這個(gè)分類(lèi),關(guān)鍵在于它是否能驅(qū)動(dòng)底層存儲(chǔ)資源的部署,并調(diào)用底層存儲(chǔ)的數(shù)據(jù)服務(wù)(也即存儲(chǔ)功能)。VMware SPBM、OpenStack Cinder、EMC ViPR和ProphetStor的Federator都能做到。

    ii)Data Plane (數(shù)據(jù)平面)

    SDS的Data Plane(控制平面)所做的事情,就是所謂的Data Service(數(shù)據(jù)服務(wù))之類(lèi)的存儲(chǔ)功能,由它來(lái)完成數(shù)據(jù)的處理和優(yōu)化。這里面包含了很多的內(nèi)容,包括分級(jí)、快照、去重、壓縮等。需要注意的是,控制平面和數(shù)據(jù)平面并不是涇渭分明的,隨著技術(shù)的發(fā)展,控制平面的功能會(huì)逐漸從數(shù)據(jù)平面中逐漸解耦、抽取出來(lái),進(jìn)一步增強(qiáng)它的功能。

    在SDS數(shù)據(jù)平面這一層,老牌存儲(chǔ)廠(chǎng)商和初創(chuàng)存儲(chǔ)廠(chǎng)商的類(lèi)型和數(shù)量非常多,構(gòu)成也比較復(fù)雜。筆者試著將數(shù)據(jù)平面分為:

    1) Based on Commodity Hardware (基于商用的硬件)

    基于商用的硬件(Based on Commodity Hardware)是最難分類(lèi)的,種類(lèi)繁多,命名還不容易。首先,它包括了IDC分類(lèi)中Virtual Storage Appliance(簡(jiǎn)稱(chēng)VSA,存儲(chǔ)控制器運(yùn)行在虛機(jī)上)和Physical Storage Appliance兩類(lèi)。筆者認(rèn)為,控制平面與數(shù)據(jù)平面的分離之意義大于硬件與軟件的分離,部署方式的這兩種不同,并沒(méi)有帶來(lái)本質(zhì)的差異。舉例來(lái)說(shuō),分布式文件系統(tǒng)VSAN FS(VSAN File System)之于EVO:RAIL或EMC VxRail,或NDFS(Nutanix Distributed File System)之于Nutanix一體機(jī),差別主要在于是否與硬件捆綁。

    Server SAN屬于這個(gè)子類(lèi)。Server SAN在它的原始定義里,是一個(gè)Hyperscale(橫向擴(kuò)展)的分布式存儲(chǔ)。筆者認(rèn)為Server SAN既然是SAN的一種,它還需要支持Block(塊)的訪(fǎng)問(wèn)方式,或者對(duì)外(如iSCSI),或者對(duì)內(nèi)。Server SAN在它的原始定義里,應(yīng)該是一個(gè)橫向擴(kuò)展的分布式存儲(chǔ),它至少需要支持3個(gè)以上節(jié)點(diǎn)。這樣,對(duì)于那些僅支持兩個(gè)控制器做為集群的存儲(chǔ),就不在Server SAN這個(gè)分類(lèi)里了。需要注意的是,有些Server SAN 支持融合模式和分離模式兩種部署方式,例如EMC ScaleIO和華為Fusion Storage。后面提到的超融合架構(gòu)僅指該存儲(chǔ)在融合模式下。下面以EMC ScaleIO為例,簡(jiǎn)要介紹融合模式和分離模式。

    a)分離模式,計(jì)算資源和存儲(chǔ)資源分開(kāi),存儲(chǔ)服務(wù)器不運(yùn)行應(yīng)用程序。

    如圖10的EMC ScaleIO選擇單獨(dú)的存儲(chǔ)服務(wù)器作為存儲(chǔ)集群,運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件[8]。

    b)融合模式,計(jì)算資源和存儲(chǔ)資源在一起,存儲(chǔ)服務(wù)器同時(shí)運(yùn)行應(yīng)用程序。

    如圖11的EMC ScaleIO集群里,服務(wù)器運(yùn)行應(yīng)用程序,同時(shí)運(yùn)行ScaleIO分布式塊存儲(chǔ)軟件。

    圖10 EMC ScaleIO 分離模式

    圖11EMC ScaleIO 融合模式

    HCI(超融合架構(gòu))屬于Server SAN的一種,它不僅提供存儲(chǔ)資源,還提供計(jì)算資源。HCI比較著名的產(chǎn)品有:Nutanix、VMware VSAN或EVO:RAIL或EMC VxRail、融合模式下的EMC ScaleIO、HP StoreVirtual、思科HyperFlex、聯(lián)想ThinkCloud AIO、SimpliVity、Scale Computing、Pivot3、Maxta;國(guó)內(nèi)有:融合模式下的華為FusionStorage、華三 UIS、青云HCI一體機(jī)、志凌海納SmartX、深信服HCI、愛(ài)數(shù)AnyVM、領(lǐng)航盛輝ZettaKit、杉巖、鵬云網(wǎng)絡(luò)、凱翔;開(kāi)源的有Open vStorage(類(lèi)似Nutanix架構(gòu))。不過(guò),由于HCI(以及應(yīng)用一體機(jī))還提供了計(jì)算資源,把它歸類(lèi)為存儲(chǔ)這個(gè)大類(lèi),并不完全準(zhǔn)確。但為了容易理解,本文在分類(lèi)時(shí),暫且只考慮它的存儲(chǔ)屬性。

    而屬于Server SAN,但不屬于HCI的,指的就是節(jié)點(diǎn)只提供存儲(chǔ)資源,不提供計(jì)算資源。這里還包括利用商用的標(biāo)準(zhǔn)硬件實(shí)現(xiàn)存儲(chǔ)虛擬化的產(chǎn)品。這類(lèi)產(chǎn)品有:分離模式下的EMC ScaleIO和華為FusionStorage、Ceph、DELL Fluid Cache、Microsoft Storage Spaces、達(dá)沃時(shí)代YeeStor、華云網(wǎng)際FusionStor等;一些基于分布式文件系統(tǒng)衍生出來(lái)的存儲(chǔ),如基于GlusterFS衍生出來(lái)的存儲(chǔ)。

    僅支持兩個(gè)控制器做為集群的存儲(chǔ),雖然不在Server SAN這個(gè)分類(lèi)里,但它支持商用的硬件,如果還支持被控制平面的產(chǎn)品驅(qū)動(dòng)調(diào)用,依然屬于軟件定義存儲(chǔ)這個(gè)大的分類(lèi)里。這類(lèi)存儲(chǔ)有:Nexenta,以及其它由Solaris ZFS衍生出來(lái)的存儲(chǔ),如開(kāi)源的FreeNAS。

    另外還有一些存儲(chǔ)虛擬化的專(zhuān)業(yè)產(chǎn)品,主要實(shí)現(xiàn)的是將異構(gòu)存儲(chǔ)統(tǒng)一管理起來(lái),例如飛康Freestor、EMC VPlex、IBM SVC是其中的佼佼者,其他還有DataCore、信核等。

    注意在Server SAN這個(gè)分類(lèi)里,不包括傳統(tǒng)的外置磁盤(pán)陣列。此外,商用的硬件,并不只有X86服務(wù)器,也包括ARM等其它架構(gòu)的服務(wù)器。

    2) Traditional SAN/NAS(External Storage)

    指的是傳統(tǒng)的外置磁盤(pán)陣列,包括SAN存儲(chǔ)或者NAS存儲(chǔ)。例如:EMC VNX,NetApp FAS系列,HDS HUS,DELL SC系列和PS系列,HP 3PAR,IBM V系列和DS系列;國(guó)內(nèi)的有華為OceanStor系列、宏杉存儲(chǔ)等。這些存儲(chǔ)勁旅,不甘人后,也紛紛加入到SDS浪潮里,采取的方式有:

    一是與Control Plane更多的API對(duì)接,例如,支持VMware SPBM之下的Virtual Volumes,或者支持OpenStack Cinder(可查詢(xún)https://wiki.openstack.org/wiki/CinderSupportMatrix 獲得)等??紤]到目前VMware SPBM的技術(shù)先進(jìn)性和豐富性,存儲(chǔ)廠(chǎng)商與VMware SPBM對(duì)接,也即支持VMware的Virtual Volumes應(yīng)當(dāng)是首選。

    二是通過(guò)收購(gòu)或自己研發(fā),去逐步實(shí)現(xiàn)SDS抽象(解耦)、池化、自動(dòng)化的階段,典型的就有HP將LeftHand與原有硬件解耦,形成VSA版StorVirtual;NetApp推出Data ONTAP的VSA版ONTAP Edge VSA;IBM推出XIV的軟件版Spectrum Accelerate;EMC推出VNX的虛擬化版本,也即vVNX等。另外,DELL的Fluid Cache脫胎于之前收購(gòu)的內(nèi)存虛擬化軟件RNA,本身已經(jīng)具備抽象池化的SDS基因。

    相信隨著SDS浪潮的到來(lái),會(huì)有越來(lái)越多的傳統(tǒng)大牌存儲(chǔ)支持與控制平面對(duì)接或者推出類(lèi)似的方案。

    3) Cloud/Object Storage

    它作為Data Plane的組成部分,實(shí)際上是以后端存儲(chǔ)的身份為VM/App提供存儲(chǔ)資源。VM/App可以通過(guò)RESTful API等接口與對(duì)象存儲(chǔ)進(jìn)行數(shù)據(jù)的輸入輸出,目前有三種RESTful API:亞馬遜S3、SNIA CDMI和OpenStack SWIFT。

    從云存儲(chǔ)來(lái)看,隨著混合云的逐漸深入,用戶(hù)自然會(huì)期待在自己的私有云和公有云之間,能夠?qū)崿F(xiàn)除了在VM/App級(jí)別,還能在存儲(chǔ)級(jí)別,也能實(shí)現(xiàn)如同本地?cái)?shù)據(jù)中心之間的同構(gòu)存儲(chǔ)之間的高級(jí)功能,例如備份、歸檔和容災(zāi)。此時(shí),運(yùn)行在公有云之上的VSA,也即虛擬存儲(chǔ)控制器(其實(shí)與在Hypervisor之上的VSA相類(lèi)似),即可與本地存儲(chǔ)建立數(shù)據(jù)連接。

    以NetApp的Cloud ONTAP為例。它是在A(yíng)WS EC2的實(shí)例中運(yùn)行Data ONTAP(FAS存儲(chǔ)的操作系統(tǒng))軟件,充當(dāng)虛擬存儲(chǔ)控制器,對(duì)下接管AWS EBS作為自己的存儲(chǔ)空間,對(duì)上給運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供存儲(chǔ)服務(wù),包括塊(iSCSI)和文件(NFS、CIFS)。把NetApp的FAS存儲(chǔ)直接放到AWS或Microsoft Azure里去,是不太現(xiàn)實(shí)的。但NetApp可以通過(guò)軟件定義的方法,把存儲(chǔ)控制器做成虛機(jī),后端磁盤(pán)柜換成塊存儲(chǔ)服務(wù)(AWS EBS),為業(yè)務(wù)虛機(jī)提供專(zhuān)業(yè)的、高級(jí)的存儲(chǔ)服務(wù)。類(lèi)似的還有SoftNAS,也是以虛機(jī)方式運(yùn)行在A(yíng)WS EC2實(shí)例上,可以為運(yùn)行業(yè)務(wù)應(yīng)用的EC2實(shí)例提供包括塊(iSCSI)和文件(NFS、CIFS)的存儲(chǔ)服務(wù)。

    4) 其它

    被OpenStack Cinder驅(qū)動(dòng)的是塊存儲(chǔ)。實(shí)際上,業(yè)務(wù)或應(yīng)用軟件可以通過(guò)RESTful API驅(qū)動(dòng)Openstack Swift,這個(gè)Swift就是分布式對(duì)象存儲(chǔ),可以把它視為可被應(yīng)用軟件定義的存儲(chǔ)。Swift除了使用X86服務(wù)器之外,還可以采用ARM等架構(gòu)的服務(wù)器。在國(guó)內(nèi),初創(chuàng)公司北京優(yōu)立方就推出了基于A(yíng)RM的服務(wù)器,并基于A(yíng)RM服務(wù)器研制出功耗低、靈活高效的冷存儲(chǔ)。冷存儲(chǔ)的出現(xiàn),也是源于數(shù)據(jù)迅猛增長(zhǎng),據(jù)統(tǒng)計(jì),冷數(shù)據(jù)一般占數(shù)據(jù)總量的80%以上。冷存儲(chǔ)適用于包含備份、存檔、災(zāi)難恢復(fù)和圖片、文檔、音頻、視頻及社交媒體等,這些場(chǎng)景有著類(lèi)似的特征:較低的數(shù)據(jù)訪(fǎng)問(wèn)頻率,而且需要最大限度地降低每一GB存儲(chǔ)數(shù)據(jù)的成本。

    八、SDS的產(chǎn)生背景

    人類(lèi)各項(xiàng)發(fā)明、創(chuàng)新,大多都是為了更加的高效、方便、靈活,并且節(jié)省成本。例如,從種植業(yè)、畜牧業(yè)的出現(xiàn),到蒸汽機(jī)的發(fā)明,到自來(lái)水、集中供電的出現(xiàn),再到互聯(lián)網(wǎng)的出現(xiàn)(信息傳遞更快更高效,更省成本),無(wú)一不是如此。IT也不例外,存儲(chǔ)也不例外。伴隨著需求,還有兩大背景:一是隨著個(gè)性化、物聯(lián)網(wǎng)、萬(wàn)聯(lián)網(wǎng)的發(fā)展,數(shù)據(jù)以前所未有的速度迅猛增長(zhǎng);2014年4月,IDC發(fā)現(xiàn)數(shù)據(jù)的增長(zhǎng)超過(guò)其在2012年的預(yù)期,預(yù)計(jì)2020年將達(dá)44ZB的數(shù)據(jù)量。因此,數(shù)據(jù)需要更高效,更省成本的方式存放。二是虛擬化、云計(jì)算和硬件技術(shù)的發(fā)展,使得軟件定義成為可能。隨著虛擬化和云計(jì)算的普及,用戶(hù)的思維方式也發(fā)生了轉(zhuǎn)變,逐漸意識(shí)到,快速、敏捷、靈活地獲取計(jì)算資源已經(jīng)成為可能,并且逐漸要求能按需使用,按需付費(fèi)。因此,做為虛擬化和云計(jì)算里重要的組成部分,存儲(chǔ)也應(yīng)適應(yīng)新的需求而不斷完善,做到存儲(chǔ)即服務(wù),實(shí)現(xiàn)快速交付,動(dòng)態(tài)調(diào)整。

    下面剖析一下,是哪些技術(shù)的發(fā)展,使得SDS,尤其是SDS的重要組成部分Server SAN在未來(lái)5年內(nèi)會(huì)成為主流?

    二三十年前,CPU的處理能力較弱,內(nèi)存較小,單塊磁盤(pán)的性能和容量都較小。為了不搶占寶貴的CPU和內(nèi)存資源,也為了提高數(shù)據(jù)的性能、可靠性(如RAID保護(hù))、可用性(如快照,容災(zāi),雙活等)、擴(kuò)展性,以及提供方便易用的集中管理,誕生了外置磁盤(pán)陣列(也叫集中存儲(chǔ)),陣列本身自帶智能控制器,能夠組織管理數(shù)據(jù),并提供快照、容災(zāi)等高級(jí)的軟件功能。有些高端存儲(chǔ)甚至能在一個(gè)單一陣列里提供1000乃至數(shù)千塊盤(pán),如EMC VMAX,HDS VSP和華為OceanStor等。

    然而,近幾年來(lái),新的技術(shù)顯著地改變了存儲(chǔ)架構(gòu)。包括:

    (1)SSD

    SSD的延時(shí)從磁盤(pán)的毫秒級(jí)縮短到亞毫秒級(jí)(0.1毫秒),讀寫(xiě)性能從單塊15K(1萬(wàn)5千轉(zhuǎn))磁盤(pán)的180 IOPS,猛增到單塊SSD的8000 IOPS(當(dāng)SSD內(nèi)嵌在外置磁盤(pán)陣列里),甚至到單塊SSD的36000 IOPS(內(nèi)嵌在服務(wù)器里的SAS或SAT接口的SSD,或者PCIe SSD);閃存價(jià)格的下降速度比硬盤(pán)更快,根據(jù)IDC預(yù)測(cè),兩者價(jià)格曲線(xiàn)將于2015至2017年出現(xiàn)交叉,屆時(shí)單位GB的SSD的價(jià)格甚至低于單位GB的15K磁盤(pán)的價(jià)格。

    2014年4月,SanDisk發(fā)布世界上第一款4TB SSD,并計(jì)劃2015年發(fā)布8TB,2016年發(fā)布16TB SSD。2015年3月,SanDisk推出的InfiniFlash全閃存陣列里內(nèi)置了64個(gè)單卡容量達(dá)8TB的閃存卡。2015年3月,在美國(guó)2015 OCP峰會(huì)上,來(lái)自中國(guó)的初創(chuàng)公司NetBric全閃存陣列也是內(nèi)置了8TB閃存卡,每個(gè)陣列共64個(gè)。2015年08月,三星在閃存峰會(huì)上公布世界容量最大的2.5英寸SSD盤(pán):16TB SSD PM1633a。相比之下,當(dāng)時(shí)希捷或西部數(shù)據(jù)制造的容量最大的機(jī)械硬盤(pán)只有8TB或10TB。2015年9月,東芝在IFA2015(柏林國(guó)際消費(fèi)電子展)宣布,2018年將推出128TB SSD。如圖12所示[9],東芝計(jì)劃在2016年推出32TB,2017年推出64TB。而HDD硬盤(pán)在2020也只有20-40TB??梢詳喽ǎ琒SD的發(fā)展遠(yuǎn)遠(yuǎn)快于磁盤(pán)的發(fā)展。

    圖12東芝在IFA2015宣布,2018年將推出128TB SSD

    除了國(guó)外Intel、西部數(shù)據(jù)、Fusion-IO(2014年6月被SanDisk收購(gòu))、Micron、SanDisk(2015年10月被西部數(shù)據(jù)收購(gòu))、SamSung、Seagate、Toshiba、HGST(2011年3月被西部數(shù)據(jù)合并,2015年10月中國(guó)政府放行此次合并)、Greenliant(綠芯)等SSD廠(chǎng)商之外,中國(guó)也涌現(xiàn)出不少SSD廠(chǎng)商,除了華為自研SSD之外,還有MemBlaze(憶恒創(chuàng)源)、Shannon(中文名叫寶存,2015年4月被Silicon Motion公司收購(gòu))、RunCore(源科)、蘇州恒成芯興等SSD廠(chǎng)商。

    (2)存儲(chǔ)控制器標(biāo)準(zhǔn)化

    實(shí)際上,早在四、五年前甚至更早時(shí)期,各大外置磁盤(pán)陣列的存儲(chǔ)廠(chǎng)商的存儲(chǔ)控制器(包括EMC, IBM, DELL等)都已經(jīng)是X86架構(gòu),各個(gè)部件也都逐漸采用業(yè)界的標(biāo)準(zhǔn)硬件和標(biāo)準(zhǔn)服務(wù)器差別不大。因此硬件已經(jīng)趨于同質(zhì)化,存儲(chǔ)廠(chǎng)商也早已開(kāi)始比拼豐富的軟件功能。不過(guò),值得思考的是,即便是外置磁盤(pán)陣列的控制器,除了X86架構(gòu)之外,未來(lái)是不是會(huì)出現(xiàn)ARM架構(gòu)或者其它呢?

    (3)CPU多核技術(shù)

    服務(wù)器的CPU多核早已被業(yè)務(wù)應(yīng)用利用起來(lái),尤其在虛擬化環(huán)境里,多核處理器功不可沒(méi),既提高了處理器利用率,也提高了單臺(tái)服務(wù)器上用戶(hù)對(duì)更多I/O的需求,這其實(shí)也驅(qū)動(dòng)著底層存儲(chǔ)的變革。如前所述,絕大多數(shù)存儲(chǔ)控制器采用了X86架構(gòu),但真正利用其多核處理I/O,大約從最近三、四年才逐漸開(kāi)始。例如,DELL Compellent Storage Center 6.3在2012年11月推出多核技術(shù);EMC VNX 2在2013年9月推出MCx多核技術(shù);而作為純軟件方式的存儲(chǔ)Nexenta,也利用多核技術(shù)去實(shí)現(xiàn)其在線(xiàn)的壓縮功能;正是有了CPU多核的利用,分布式存儲(chǔ)才能在處理業(yè)務(wù)應(yīng)用之外,心有余力地去處理I/O,實(shí)現(xiàn)豐富多彩的軟件功能。

    (4)高速網(wǎng)絡(luò)技術(shù)

    分布式存儲(chǔ)借助于節(jié)點(diǎn)之間的緩存(用SSD存放)的同步復(fù)制來(lái)確保數(shù)據(jù)的冗余性,也得益于近些年來(lái)網(wǎng)絡(luò)的高速發(fā)展。通常推薦采用萬(wàn)兆網(wǎng)絡(luò),甚至有的采用四萬(wàn)兆(40GbE)的網(wǎng)絡(luò)。目前,萬(wàn)兆網(wǎng)絡(luò)的延遲非常小,大約在100 微秒左右,遠(yuǎn)小于PCIe閃存的延遲1毫秒;如果采用RDMA技術(shù),延遲能更小,低至微秒級(jí)。

    (5)大容量服務(wù)器和磁盤(pán)

    分布式存儲(chǔ)借助于大容量的服務(wù)器和磁盤(pán),也能夠提供以往外置磁盤(pán)陣列才能支持的大存儲(chǔ)容量。例如,DELL PowerEdge R730XD支持高達(dá)16個(gè)3.5寸近線(xiàn)SAS盤(pán),采用6TB的盤(pán),可達(dá)近100TB的裸容量。而且,單塊的機(jī)械磁盤(pán)容量也越來(lái)越大,例如,2015年03月,HGST首次向公眾展示了10TB的機(jī)械硬盤(pán)。不遠(yuǎn)的未來(lái),僅憑服務(wù)器內(nèi)置磁盤(pán),即可支持?jǐn)?shù)百TB的裸容量。如果分布式存儲(chǔ)還支持服務(wù)器連接JBOD、直連存儲(chǔ)來(lái)進(jìn)行Scale Up(縱向擴(kuò)展),容量就更大了。

    (6)存儲(chǔ)技術(shù)逐漸成熟

    分布式存儲(chǔ)的技術(shù)逐漸成熟,互聯(lián)網(wǎng)巨頭如Google、Facebook、Yahoo和百度阿里騰訊大規(guī)模采用分布式存儲(chǔ)驗(yàn)證了這一技術(shù)的可行性。另外,面向?qū)ο蟠鎯?chǔ)的技術(shù)逐漸成熟。

    (7)虛擬化和云計(jì)算逐漸普及

    虛擬化和云計(jì)算要求更智能的存儲(chǔ),能夠調(diào)用API,配合上層實(shí)現(xiàn)更靈活敏捷地部署、管理和變更存儲(chǔ)資源。在這些需求和技術(shù)的推動(dòng)下,軟件定義存儲(chǔ)(當(dāng)前以分布式存儲(chǔ)為主流)做為軟件定義數(shù)據(jù)中心不可或缺的一環(huán),已經(jīng)逐漸普及開(kāi)來(lái)。九、SDS的現(xiàn)狀

    其實(shí),前面提到的SDS分類(lèi)相當(dāng)于描述了SDS的現(xiàn)狀。目前,存儲(chǔ)市場(chǎng)上絕大多數(shù)都是做數(shù)據(jù)平面的。做控制平面的SDS廠(chǎng)商,尤其是初創(chuàng)廠(chǎng)商,需要巨大的勇氣和魄力。因?yàn)閺?fù)雜度高,而且在短時(shí)間內(nèi)很難看到回報(bào)。大部分做數(shù)據(jù)平面的廠(chǎng)商,絕大部分還在抽象、池化這兩個(gè)階段。其中,抽象做的是軟硬件解耦。池化做的是存儲(chǔ)虛擬化。

    池化包括存儲(chǔ)虛擬化和存儲(chǔ)標(biāo)準(zhǔn)化,而存儲(chǔ)虛擬化指所有存儲(chǔ)資源的虛擬化,包括:1)外置磁盤(pán)陣列內(nèi)的虛擬化;2)跨外置磁盤(pán)陣列的虛擬化(也即異構(gòu)存儲(chǔ)的管理);3)分布式存儲(chǔ)服務(wù)器內(nèi)的存儲(chǔ)虛擬化。

    抽象是第一步,沒(méi)有解耦,硬件被鎖定,無(wú)法靈活調(diào)用;第二步,池化,這樣才能隨需分配,動(dòng)態(tài)擴(kuò)展;第三步是自動(dòng)化,存儲(chǔ)資源由軟件(Hypervisor,云管理)來(lái)自動(dòng)分配和管理。目前觀(guān)察到的自動(dòng)化其實(shí)是根據(jù)不同的工作負(fù)載來(lái)動(dòng)態(tài)分配或管理存儲(chǔ)資源。

    以何來(lái)判斷工作負(fù)載的特點(diǎn)?最好是Hypervisor/OS ,或者云管理軟件,它們具有先天的優(yōu)勢(shì)。所以,存儲(chǔ)通過(guò)和Hypervisor、云管理軟件對(duì)接,是一個(gè)比較現(xiàn)實(shí)可行的方法。這就是前面提到的與VMware SPBM對(duì)接,或者與OpenStack Cinder,EMC ViPR,先智Federator等對(duì)接。

    十、結(jié)束語(yǔ)

    云計(jì)算已然成為不可阻擋的趨勢(shì),在當(dāng)前占絕大多數(shù)用戶(hù)主流的是私有云平臺(tái)的建設(shè),其實(shí)也是從傳統(tǒng)數(shù)據(jù)中心逐步轉(zhuǎn)向軟件定義數(shù)據(jù)中心的過(guò)程。在這一過(guò)程中,信息存放之地——企業(yè)級(jí)存儲(chǔ),也面臨前所未有的挑戰(zhàn)。如何實(shí)現(xiàn)私有云技術(shù)平臺(tái)所需的自助服務(wù),快速部署,彈性擴(kuò)展以及按量計(jì)費(fèi)? 軟件定義存儲(chǔ)是迄今為止最好的方式,也是被IT領(lǐng)袖廠(chǎng)商驗(yàn)證過(guò)的最佳實(shí)踐。總結(jié)為一句話(huà)就是:云計(jì)算時(shí)代,我們需要軟件定義存儲(chǔ)。

    [1] NIST云計(jì)算定義[EB/OL].http://blog.csdn.net/seu_lyr/article/details/9169391 ,2013-06-25.

    [2] 企業(yè)核心業(yè)務(wù)應(yīng)用系統(tǒng)支撐云平臺(tái)[EB/OL].http://www.zxin.net.cn/product/ProductIntroduce.aspx?pid=7315.

    [3] 華為融易存儲(chǔ)共建數(shù)字法院[EB/OL].http://www.doit.com.cn/article/2014-10-30/3824055.shtml,2014-10-30.

    [4] VMware軟件定義的數(shù)據(jù)中心[EB/OL].http://www.vmware.com/cn/solutions/software-defined-datacenter.html.

    [5] VMware軟件定義的存儲(chǔ)[EB/OL].http://www.vmware.com/cn/products/software-defined-storage.html.

    [6] 全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)(SNIA)對(duì)SDS的闡述[EB/OL]. http://www.snia.org/sds.

    [7] 葉毓睿,雷迎春,李炫輝,王豪邁.《軟件定義存儲(chǔ):原理、實(shí)踐與生態(tài)》[M].北京:機(jī)械工業(yè)出版社,2016.

    [8] EMC SCALEIO[EB/OL].http://china.emc.com/storage/scaleio/index.htm.

    [9] 東芝公布SSD固態(tài)硬盤(pán)路線(xiàn)圖:2018年容量可達(dá)128TB[EB/OL].http://mt.sohu.com/20150826/n419737385.shtml.

    (責(zé)任編輯夏侯國(guó)論)

    The characteristic of Enterprise Storage during the Cloud Computing Era

    YEYu-rui

    (VMware, Inc. Beijing 100190, China)

    With the growing fast of Cloud Computing, as the important part of data center, Enterprise Storage faced much more challenge from private cloud and hybrid cloud. According to the definition of NIST for cloud, customer need storage have features: self-service, storage pooling, elastic, storage provisioning automatically and quickly, can be charge and billing. Actually, Software Defined Data Center (SDDC) is the best practice for the new data center under cloud time, and Software Defined Storage (SDS) is the best for private and hybrid cloud.

    enterprise storage, cloud; SDDC, SDS, control plane, data plane

    2016-08-20

    葉毓睿,男,VMware存儲(chǔ)架構(gòu)師,曾任職于EMC, Compellent, DELL, "樂(lè)生活與愛(ài)IT" 微信公眾號(hào)的作者。

    TP309.2

    A

    1674-0408(2016)03-0037-11

    猜你喜歡
    存儲(chǔ)資源虛擬化數(shù)據(jù)中心
    酒泉云計(jì)算大數(shù)據(jù)中心
    一種基于區(qū)塊鏈的存儲(chǔ)資源可信分配方法
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    民航綠色云數(shù)據(jù)中心PUE控制
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    用SSD提升私有云存儲(chǔ)性能
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用
    Overlay Network技術(shù)在云計(jì)算數(shù)據(jù)中心中的應(yīng)用
    河南科技(2014年11期)2014-02-27 14:16:49
    久久婷婷人人爽人人干人人爱| 麻豆国产97在线/欧美| 国国产精品蜜臀av免费| 国产片特级美女逼逼视频| 久久精品国产亚洲av天美| 两性午夜刺激爽爽歪歪视频在线观看| 亚洲真实伦在线观看| 亚洲av成人av| 日本一二三区视频观看| 别揉我奶头 嗯啊视频| 国产伦精品一区二区三区四那| 欧美三级亚洲精品| 五月玫瑰六月丁香| 久久久色成人| 亚洲欧美日韩高清在线视频| 日韩欧美 国产精品| 亚洲av.av天堂| 最近中文字幕高清免费大全6| 麻豆成人午夜福利视频| 久久久精品大字幕| 欧美精品一区二区大全| 色吧在线观看| 精品久久久久久久末码| 久久人妻av系列| 网址你懂的国产日韩在线| 黄片wwwwww| 成人漫画全彩无遮挡| 好男人在线观看高清免费视频| 欧美成人免费av一区二区三区| 国产伦理片在线播放av一区 | 久久精品影院6| 日韩高清综合在线| 天堂网av新在线| av福利片在线观看| 久久精品国产亚洲av香蕉五月| 欧美日韩乱码在线| 人妻系列 视频| 免费一级毛片在线播放高清视频| 天堂中文最新版在线下载 | 桃色一区二区三区在线观看| 国产伦一二天堂av在线观看| 日日啪夜夜撸| 久久综合国产亚洲精品| 老司机福利观看| 欧美激情国产日韩精品一区| 91aial.com中文字幕在线观看| 青春草亚洲视频在线观看| 国产美女午夜福利| 亚洲欧美成人精品一区二区| 日日啪夜夜撸| 亚洲最大成人av| 国产精品一区www在线观看| 中文字幕久久专区| 国内少妇人妻偷人精品xxx网站| 国产精品一区二区三区四区久久| 亚洲精品久久国产高清桃花| 国产成人精品一,二区 | 久久综合国产亚洲精品| 日本免费a在线| 综合色av麻豆| 国产精品爽爽va在线观看网站| 观看美女的网站| 亚洲国产精品成人综合色| 欧美成人a在线观看| 男女视频在线观看网站免费| 日本欧美国产在线视频| 熟女人妻精品中文字幕| 青春草国产在线视频 | 少妇高潮的动态图| 99国产极品粉嫩在线观看| 亚洲无线在线观看| 熟女人妻精品中文字幕| 欧美人与善性xxx| 99国产极品粉嫩在线观看| 国产一区二区三区在线臀色熟女| 久久精品国产亚洲网站| 天天一区二区日本电影三级| 国产精品久久久久久精品电影| 欧美色欧美亚洲另类二区| 麻豆精品久久久久久蜜桃| 蜜桃亚洲精品一区二区三区| 国产亚洲av片在线观看秒播厂 | 五月玫瑰六月丁香| 一级二级三级毛片免费看| 亚洲av熟女| 国产人妻一区二区三区在| 亚洲久久久久久中文字幕| 国产伦精品一区二区三区四那| 三级男女做爰猛烈吃奶摸视频| 国产乱人视频| 国产精品免费一区二区三区在线| 日本免费a在线| 亚洲欧美中文字幕日韩二区| 国产精品永久免费网站| 国产激情偷乱视频一区二区| 久久久午夜欧美精品| 97在线视频观看| 国产麻豆成人av免费视频| 午夜视频国产福利| 91av网一区二区| 欧美zozozo另类| 一卡2卡三卡四卡精品乱码亚洲| 网址你懂的国产日韩在线| 搡女人真爽免费视频火全软件| 亚洲欧美日韩卡通动漫| 天堂影院成人在线观看| 身体一侧抽搐| a级毛片a级免费在线| 麻豆乱淫一区二区| 日本熟妇午夜| 国产私拍福利视频在线观看| 国产精品久久久久久精品电影小说 | 18禁在线无遮挡免费观看视频| 亚洲图色成人| 欧美精品一区二区大全| 嫩草影院新地址| 成熟少妇高潮喷水视频| 国产白丝娇喘喷水9色精品| 国产精品,欧美在线| 男人的好看免费观看在线视频| 观看免费一级毛片| 一个人看的www免费观看视频| 91午夜精品亚洲一区二区三区| 国产成人a区在线观看| 夜夜爽天天搞| 校园春色视频在线观看| 日韩国内少妇激情av| 国产精品福利在线免费观看| 乱人视频在线观看| 最近2019中文字幕mv第一页| 久久99热6这里只有精品| 一本精品99久久精品77| 少妇高潮的动态图| 哪个播放器可以免费观看大片| 观看美女的网站| 成人鲁丝片一二三区免费| 日本一本二区三区精品| 日本黄色视频三级网站网址| 日韩精品有码人妻一区| 麻豆国产97在线/欧美| 一级毛片我不卡| 国产亚洲欧美98| 三级毛片av免费| 久久久久久久久久久丰满| 久久久欧美国产精品| 人体艺术视频欧美日本| 五月伊人婷婷丁香| 日韩强制内射视频| 国产亚洲精品久久久com| 午夜福利成人在线免费观看| 国产激情偷乱视频一区二区| 在线观看66精品国产| 午夜福利在线在线| 亚洲18禁久久av| 欧美在线一区亚洲| 麻豆精品久久久久久蜜桃| 国产亚洲精品av在线| 永久网站在线| 国产精品人妻久久久影院| 亚洲av免费高清在线观看| 中文字幕久久专区| 亚洲精品成人久久久久久| av卡一久久| 国产91av在线免费观看| 一卡2卡三卡四卡精品乱码亚洲| 亚洲欧美成人综合另类久久久 | 国产午夜福利久久久久久| 亚洲成人精品中文字幕电影| 中文精品一卡2卡3卡4更新| 亚洲aⅴ乱码一区二区在线播放| 久久久久性生活片| 国产成人精品一,二区 | 欧美zozozo另类| 国产视频内射| 国产欧美日韩精品一区二区| 欧美不卡视频在线免费观看| 国产精品综合久久久久久久免费| 免费观看人在逋| 国产91av在线免费观看| 欧美一区二区精品小视频在线| 18禁在线播放成人免费| 国内久久婷婷六月综合欲色啪| 精品熟女少妇av免费看| 国产一区二区三区在线臀色熟女| 国产av一区在线观看免费| 人妻夜夜爽99麻豆av| 嫩草影院精品99| 午夜精品国产一区二区电影 | 日韩av在线大香蕉| 欧美变态另类bdsm刘玥| 亚州av有码| 中文字幕精品亚洲无线码一区| 九草在线视频观看| 国产精品三级大全| 亚洲精华国产精华液的使用体验 | 搡老妇女老女人老熟妇| 日韩 亚洲 欧美在线| 欧美变态另类bdsm刘玥| 亚洲精品久久久久久婷婷小说 | 国产成人精品婷婷| 精品一区二区三区视频在线| 国产在线精品亚洲第一网站| 精品一区二区三区人妻视频| 久久精品综合一区二区三区| 国产中年淑女户外野战色| 91精品一卡2卡3卡4卡| 自拍偷自拍亚洲精品老妇| 青青草视频在线视频观看| 亚洲精品456在线播放app| 一个人看的www免费观看视频| 成年女人永久免费观看视频| 十八禁国产超污无遮挡网站| 男女下面进入的视频免费午夜| 老司机影院成人| 天天一区二区日本电影三级| 久久精品影院6| 午夜精品国产一区二区电影 | 给我免费播放毛片高清在线观看| 国内精品一区二区在线观看| 淫秽高清视频在线观看| 在线播放国产精品三级| 2022亚洲国产成人精品| 99久国产av精品国产电影| 亚洲国产日韩欧美精品在线观看| 国产亚洲91精品色在线| 久久精品国产鲁丝片午夜精品| 亚洲激情五月婷婷啪啪| 禁无遮挡网站| 一个人看的www免费观看视频| 成年女人永久免费观看视频| av在线老鸭窝| 久久精品夜夜夜夜夜久久蜜豆| 麻豆国产av国片精品| 久久精品国产亚洲av涩爱 | 欧美激情国产日韩精品一区| 亚洲欧洲日产国产| 国产综合懂色| 在线观看一区二区三区| 日韩一区二区三区影片| 国产一级毛片七仙女欲春2| 免费看美女性在线毛片视频| 免费观看精品视频网站| 草草在线视频免费看| 最近2019中文字幕mv第一页| av天堂中文字幕网| 欧美性感艳星| 联通29元200g的流量卡| 丰满的人妻完整版| 麻豆av噜噜一区二区三区| 欧美日韩一区二区视频在线观看视频在线 | 高清毛片免费观看视频网站| 尾随美女入室| 变态另类丝袜制服| 乱码一卡2卡4卡精品| 自拍偷自拍亚洲精品老妇| 国产亚洲精品久久久com| 国内精品一区二区在线观看| 18禁在线播放成人免费| 欧美变态另类bdsm刘玥| 99在线人妻在线中文字幕| 免费黄网站久久成人精品| 欧美一区二区精品小视频在线| 国产精品久久视频播放| 成人高潮视频无遮挡免费网站| 色哟哟·www| 精品人妻一区二区三区麻豆| 亚洲欧美日韩无卡精品| 国产日本99.免费观看| 你懂的网址亚洲精品在线观看 | 国产一级毛片在线| 男人舔奶头视频| 春色校园在线视频观看| 婷婷亚洲欧美| 天美传媒精品一区二区| 国产成人午夜福利电影在线观看| 亚洲国产欧美人成| 日韩视频在线欧美| 亚洲av男天堂| 亚洲第一电影网av| 欧美bdsm另类| 一级av片app| 国内少妇人妻偷人精品xxx网站| 国产高清有码在线观看视频| 国产伦理片在线播放av一区 | 中文在线观看免费www的网站| 欧美日韩在线观看h| 欧美色视频一区免费| 黄色日韩在线| 六月丁香七月| 欧美+日韩+精品| 国产一区二区激情短视频| 在线播放国产精品三级| 草草在线视频免费看| 欧美3d第一页| 男的添女的下面高潮视频| 最后的刺客免费高清国语| 日韩,欧美,国产一区二区三区 | 免费在线观看成人毛片| 国内少妇人妻偷人精品xxx网站| 一级毛片我不卡| 看免费成人av毛片| 午夜亚洲福利在线播放| 中文资源天堂在线| 丰满乱子伦码专区| 成人一区二区视频在线观看| 国产精品国产三级国产av玫瑰| 久久韩国三级中文字幕| 欧美成人免费av一区二区三区| 小蜜桃在线观看免费完整版高清| 国产三级中文精品| 欧美性猛交╳xxx乱大交人| 桃色一区二区三区在线观看| 欧美人与善性xxx| 色噜噜av男人的天堂激情| 一级毛片我不卡| 一级毛片aaaaaa免费看小| 欧美又色又爽又黄视频| 一个人免费在线观看电影| 日本在线视频免费播放| 亚洲成人av在线免费| 国产国拍精品亚洲av在线观看| 久久精品夜色国产| 伦精品一区二区三区| 国产一区二区三区av在线 | 亚洲欧美精品自产自拍| 精品免费久久久久久久清纯| 国产在线男女| 在线免费观看的www视频| 午夜福利成人在线免费观看| 97人妻精品一区二区三区麻豆| 国产成人aa在线观看| 你懂的网址亚洲精品在线观看 | 欧洲精品卡2卡3卡4卡5卡区| 最新中文字幕久久久久| 99热这里只有精品一区| 在线观看一区二区三区| 老司机福利观看| 国产av在哪里看| 麻豆成人午夜福利视频| 三级国产精品欧美在线观看| 在现免费观看毛片| 寂寞人妻少妇视频99o| 99国产精品一区二区蜜桃av| 日韩,欧美,国产一区二区三区 | 亚洲欧美日韩无卡精品| 欧美激情在线99| 乱码一卡2卡4卡精品| 欧美+亚洲+日韩+国产| 91在线精品国自产拍蜜月| 国产亚洲av片在线观看秒播厂 | 18禁裸乳无遮挡免费网站照片| 国产探花在线观看一区二区| 国产亚洲5aaaaa淫片| 日韩av在线大香蕉| 久久久精品大字幕| 国产av在哪里看| 亚洲高清免费不卡视频| 麻豆一二三区av精品| 日日撸夜夜添| 久久人人爽人人片av| 日本成人三级电影网站| 国产视频首页在线观看| 成人亚洲精品av一区二区| 两个人的视频大全免费| 最近中文字幕高清免费大全6| 啦啦啦观看免费观看视频高清| 久久久久久伊人网av| 色尼玛亚洲综合影院| 婷婷色综合大香蕉| 亚洲人成网站在线播| 五月伊人婷婷丁香| 精品久久久久久成人av| 国产蜜桃级精品一区二区三区| 欧美高清性xxxxhd video| 亚洲精品成人久久久久久| 一级av片app| 哪个播放器可以免费观看大片| 美女高潮的动态| 国产三级在线视频| 亚洲一区高清亚洲精品| 色噜噜av男人的天堂激情| 成熟少妇高潮喷水视频| 搡女人真爽免费视频火全软件| 亚洲国产精品久久男人天堂| 日日撸夜夜添| 天堂网av新在线| 变态另类丝袜制服| 中文字幕av在线有码专区| 色综合站精品国产| 人人妻人人看人人澡| 舔av片在线| 18+在线观看网站| 日韩强制内射视频| 伦精品一区二区三区| 国产黄片视频在线免费观看| 欧美不卡视频在线免费观看| 午夜福利在线观看吧| 亚洲人成网站在线播放欧美日韩| 久久九九热精品免费| 国内精品美女久久久久久| 1024手机看黄色片| 波多野结衣高清无吗| 狂野欧美白嫩少妇大欣赏| 国产精品久久久久久亚洲av鲁大| 欧美丝袜亚洲另类| 久久国产乱子免费精品| 精品久久久久久成人av| 亚洲av男天堂| 欧美一级a爱片免费观看看| 亚洲内射少妇av| a级一级毛片免费在线观看| 亚洲无线在线观看| 麻豆成人av视频| 免费大片18禁| 伦理电影大哥的女人| 午夜福利在线观看吧| 高清午夜精品一区二区三区 | 91午夜精品亚洲一区二区三区| 狂野欧美白嫩少妇大欣赏| 亚洲精品久久久久久婷婷小说 | 午夜久久久久精精品| 3wmmmm亚洲av在线观看| 精品久久久久久久久久久久久| 色吧在线观看| 免费一级毛片在线播放高清视频| 听说在线观看完整版免费高清| 国产午夜精品论理片| 国产高清有码在线观看视频| 在线a可以看的网站| 一本久久精品| 久久精品人妻少妇| 性欧美人与动物交配| 久久国产乱子免费精品| 精品久久久久久久久久久久久| 在线免费观看的www视频| 青春草视频在线免费观看| 久久久久久久午夜电影| 中文资源天堂在线| 欧美在线一区亚洲| 亚洲中文字幕一区二区三区有码在线看| 麻豆成人午夜福利视频| 亚洲真实伦在线观看| 一级av片app| 成人国产麻豆网| 中文在线观看免费www的网站| 国产成人91sexporn| 直男gayav资源| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 黄片wwwwww| 国产av一区在线观看免费| 亚洲精品色激情综合| 波多野结衣巨乳人妻| 欧美性感艳星| 国语自产精品视频在线第100页| 18禁在线无遮挡免费观看视频| 欧美日韩一区二区视频在线观看视频在线 | 国产成人精品一,二区 | 亚洲经典国产精华液单| 午夜福利视频1000在线观看| 久久精品人妻少妇| 极品教师在线视频| www.色视频.com| 欧美最黄视频在线播放免费| 青春草亚洲视频在线观看| 亚洲欧美日韩东京热| 99国产精品一区二区蜜桃av| 国产探花极品一区二区| 成人漫画全彩无遮挡| 国产激情偷乱视频一区二区| www.色视频.com| 亚洲精品456在线播放app| 一进一出抽搐gif免费好疼| 少妇被粗大猛烈的视频| 日韩三级伦理在线观看| 麻豆av噜噜一区二区三区| 精华霜和精华液先用哪个| 免费观看人在逋| 伦精品一区二区三区| 亚洲无线在线观看| av专区在线播放| 日韩三级伦理在线观看| 老师上课跳d突然被开到最大视频| 看非洲黑人一级黄片| 成人二区视频| 久久人人精品亚洲av| 麻豆成人午夜福利视频| 久久草成人影院| 国产精品福利在线免费观看| 干丝袜人妻中文字幕| av在线观看视频网站免费| 成人性生交大片免费视频hd| 91久久精品电影网| 久久人人爽人人片av| 美女大奶头视频| 成年免费大片在线观看| 久久热精品热| 热99re8久久精品国产| 此物有八面人人有两片| 三级毛片av免费| 亚洲精品日韩在线中文字幕 | 久久精品国产亚洲av涩爱 | 久久亚洲国产成人精品v| 乱人视频在线观看| 国产精品不卡视频一区二区| 成人漫画全彩无遮挡| 尾随美女入室| 校园人妻丝袜中文字幕| 欧美一级a爱片免费观看看| 精品午夜福利在线看| 国产色婷婷99| 国产成人福利小说| 少妇的逼水好多| 美女大奶头视频| 在线免费观看不下载黄p国产| 此物有八面人人有两片| 国产视频内射| 深夜a级毛片| 成人亚洲精品av一区二区| 国内揄拍国产精品人妻在线| 极品教师在线视频| 国产三级在线视频| 蜜桃亚洲精品一区二区三区| 日本色播在线视频| 热99re8久久精品国产| 2021天堂中文幕一二区在线观| 蜜桃亚洲精品一区二区三区| 男女下面进入的视频免费午夜| 免费黄网站久久成人精品| 国产精品久久久久久精品电影| 欧洲精品卡2卡3卡4卡5卡区| 99久久久亚洲精品蜜臀av| 久久午夜福利片| 精品少妇黑人巨大在线播放 | 卡戴珊不雅视频在线播放| 岛国毛片在线播放| 少妇猛男粗大的猛烈进出视频 | 看非洲黑人一级黄片| 婷婷色av中文字幕| 国产精品福利在线免费观看| 又爽又黄无遮挡网站| 黄片wwwwww| 直男gayav资源| 亚州av有码| 久久久精品大字幕| 九色成人免费人妻av| 99精品在免费线老司机午夜| 久久人人爽人人爽人人片va| 波多野结衣巨乳人妻| 中国国产av一级| 伦精品一区二区三区| av在线播放精品| 欧美不卡视频在线免费观看| av在线播放精品| 看十八女毛片水多多多| 男女视频在线观看网站免费| 免费av不卡在线播放| 中国美女看黄片| av福利片在线观看| 久久韩国三级中文字幕| 三级经典国产精品| 69av精品久久久久久| 97超碰精品成人国产| 亚洲精品国产成人久久av| 欧美变态另类bdsm刘玥| 国产精品三级大全| 精品久久久久久久人妻蜜臀av| 欧美一区二区国产精品久久精品| 国产激情偷乱视频一区二区| 有码 亚洲区| 可以在线观看毛片的网站| 波多野结衣高清作品| 国产日韩欧美在线精品| 国产精品人妻久久久影院| 国产色婷婷99| 天堂√8在线中文| 99久久精品一区二区三区| 国产精品日韩av在线免费观看| 99久久精品一区二区三区| 国产精品日韩av在线免费观看| a级一级毛片免费在线观看| 99在线人妻在线中文字幕| 亚洲在线观看片| 长腿黑丝高跟| 精品国内亚洲2022精品成人| 亚洲国产欧洲综合997久久,| 中文在线观看免费www的网站| 久久久成人免费电影| 又爽又黄a免费视频| av免费在线看不卡| 真实男女啪啪啪动态图| 99在线人妻在线中文字幕| 欧美潮喷喷水| 欧美一区二区国产精品久久精品| 伦精品一区二区三区| 色播亚洲综合网| 免费av不卡在线播放| 国产老妇伦熟女老妇高清| 久久人人精品亚洲av| 国产久久久一区二区三区| 亚州av有码| kizo精华| 免费人成视频x8x8入口观看| 欧美区成人在线视频| 成人av在线播放网站| 亚洲精品日韩在线中文字幕 | 两个人的视频大全免费| 国产中年淑女户外野战色| 国产精品久久久久久亚洲av鲁大| 亚洲精品456在线播放app| 在线观看一区二区三区| 丝袜喷水一区| 成年女人永久免费观看视频| 色5月婷婷丁香| 日日摸夜夜添夜夜爱| 人妻制服诱惑在线中文字幕|