• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV硬件資源池規(guī)劃建設(shè)重點

    2018-07-03 08:33:12沈蕾王芳吳麗華
    電信科學(xué) 2018年6期
    關(guān)鍵詞:磁盤陣列網(wǎng)元機架

    沈蕾,王芳,吳麗華

    ?

    NFV硬件資源池規(guī)劃建設(shè)重點

    沈蕾,王芳,吳麗華

    (中國移動通信集團設(shè)計院有限公司,北京 100080)

    目前各大運營商均陸續(xù)商用部署NFV,NFV軟硬件解耦后,硬件、軟件需要分別規(guī)劃建設(shè)。硬件資源池及機房基礎(chǔ)設(shè)施是部署虛擬層及虛擬化網(wǎng)元的前提和基礎(chǔ),基于NFV部署初期建設(shè)需求,分析了硬件資源池及機房基礎(chǔ)設(shè)施規(guī)劃建設(shè)應(yīng)重點考慮的因素,闡述了計算、存儲、網(wǎng)絡(luò)設(shè)備配置要求,對比了刀片與機架服務(wù)器、磁陣與分布式存儲、增強二層與SDN組網(wǎng)等硬件及網(wǎng)絡(luò)配置,研究了硬件配置模式及重點考慮因素,分析了不同場景下的硬件冗余要求,得出了NFV硬件資源池規(guī)劃建設(shè)重點需求。

    硬件資源池;計算;存儲;網(wǎng)絡(luò);數(shù)據(jù)中心

    1 引言

    網(wǎng)絡(luò)功能虛擬化(network function virtualization,NFV)是將傳統(tǒng)電信設(shè)備功能通過軟件實現(xiàn),運行于通用硬件設(shè)備之上,并采用虛擬化技術(shù)實現(xiàn)業(yè)務(wù)敏捷迭代、網(wǎng)絡(luò)演進(jìn)支撐、整體成本降低的目標(biāo),是應(yīng)對移動互聯(lián)網(wǎng)時代業(yè)務(wù)快速變化的有效手段,是向5G演進(jìn)的基礎(chǔ)性技術(shù)和重要網(wǎng)絡(luò)基礎(chǔ)。

    NFV軟硬件解耦背景下,硬件采用IT通用硬件,并且與軟件分別規(guī)劃建設(shè)。硬件及機房基礎(chǔ)設(shè)施是部署虛擬層及虛擬化網(wǎng)元的前提和基礎(chǔ),本文將基于NFV部署初期建設(shè)需求,分析硬件及機房基礎(chǔ)設(shè)施規(guī)劃建設(shè)應(yīng)重點考慮的因素。

    2 硬件資源池配置重點考慮因素

    NFV建設(shè)初期實現(xiàn)軟硬件解耦下,硬件資源池主要包括計算、存儲、網(wǎng)絡(luò)資源,可提供的主要硬件資源如下。

    ? 計算類:虛擬化服務(wù)器。

    ? 存儲類:磁盤陣列、分布式存儲。

    ? 網(wǎng)絡(luò)類:TOR(top of rack,架頂交換機)、EOR(end of row)。

    后續(xù)隨著VNF類型的增加,硬件資源池還將提供存儲類服務(wù)器、轉(zhuǎn)發(fā)類服務(wù)器、數(shù)據(jù)庫服務(wù)器、安全設(shè)備等硬件資源。未來三層解耦后,資源池還應(yīng)統(tǒng)籌考慮虛擬層、部分中間件、數(shù)據(jù)庫、操作系統(tǒng)等資源需求。

    2.1 計算資源配置重點考慮因素

    服務(wù)器配置一般需要考慮以下因素:服務(wù)器選型、網(wǎng)元側(cè)服務(wù)器需求和資源冗余因素。

    2.1.1 服務(wù)器選型

    服務(wù)器選型需考慮服務(wù)器形態(tài)和服務(wù)器規(guī)格,具體如下。

    (1)服務(wù)器形態(tài)

    通用x86 COTS服務(wù)器主流形態(tài)有刀片式、機架式和多節(jié)點服務(wù)器等。從規(guī)劃、運營維護(以下簡稱運維)角度,服務(wù)器形態(tài)應(yīng)盡量少,以減小規(guī)劃運維復(fù)雜度。服務(wù)器選型應(yīng)首先明確服務(wù)器形態(tài)。

    現(xiàn)階段多節(jié)點服務(wù)器尚未得到充分的驗證。NFV建設(shè)初期,綜合考慮標(biāo)準(zhǔn)化程度、資源共享粒度等因素,建議優(yōu)選機架式服務(wù)器。刀片、機架服務(wù)器主要對比見表1。

    表1 刀片、機架服務(wù)器主要對比

    (2)服務(wù)器規(guī)格

    服務(wù)器規(guī)格需要考慮的因素較多,主要應(yīng)考慮CPU性能及核數(shù)、內(nèi)存容量、硬盤容量、網(wǎng)卡配置、擴展能力等性能及功能因素。

    ? 在控制面網(wǎng)元及業(yè)務(wù)平臺虛擬化場景下,對內(nèi)存及計算性能需求較高,對網(wǎng)卡隔離要求較高,并需支持VT-x、超線程等功能。

    ? 面向大容量存儲的網(wǎng)元,對服務(wù)器的硬盤配置要求較高。

    ? 面向轉(zhuǎn)發(fā)面網(wǎng)元,對服務(wù)器網(wǎng)卡處理能力有較高需求,可能需要配置25 Gbit/s或40 Gbit/s網(wǎng)卡,并需支持網(wǎng)卡直通SR-IOV等功能。

    2.1.2 網(wǎng)元側(cè)計算資源需求

    軟件、硬件解耦后,硬件資源池與VNF項目獨立建設(shè),網(wǎng)元側(cè)與硬件資源池側(cè)應(yīng)有效銜接、合理分工、避免重復(fù)冗余。網(wǎng)元側(cè)提交計算資源需求時,應(yīng)基于硬件資源池可提供的資源類型提供資源需求,并重點考慮以下因素。

    ? 網(wǎng)元自身利用率要求,可延續(xù)現(xiàn)網(wǎng)物理網(wǎng)元利用率要求。

    ? 網(wǎng)元內(nèi)部容災(zāi)備份要求,如所有業(yè)務(wù)模塊均應(yīng)采用+或+方式部署。

    ? 跨安全域部署要求,當(dāng)單個網(wǎng)元部署在多個安全域時,如有CMNet連接需求的業(yè)務(wù)平臺,應(yīng)區(qū)分安全域并分別提交各域資源需求。

    ? 跨AZ(availability zone,可用區(qū))部署要求,當(dāng)單個網(wǎng)元跨AZ部署時,如MANO等管理類網(wǎng)元,應(yīng)區(qū)分AZ并分別提交各AZ資源需求。

    ? 在二層解耦場景(虛擬層與VNF未解耦)下,硬件資源池側(cè)還需考慮虛擬層資源消耗需求,一般單服務(wù)器需要為Hypervisor+ OVS預(yù)留4核左右的資源。

    ? 硬件資源池側(cè)還需結(jié)合網(wǎng)元之間備份要求,將有容災(zāi)備份關(guān)系的網(wǎng)元部署在不同的硬件資源池。

    2.1.3 資源冗余因素

    服務(wù)器資源冗余需要綜合考慮以下因素。

    (1)服務(wù)器故障因素

    為保障業(yè)務(wù)可用性,服務(wù)器出現(xiàn)故障后,資源池內(nèi)應(yīng)有足夠的冗余資源保障虛擬機由故障主機遷移至可用主機。

    (2)資源碎片因素

    資源池一定程度上實現(xiàn)了資源共享,但多個因素均可造成資源碎片,一般服務(wù)器數(shù)量越多、資源可共享的范圍越大,資源碎片越??;服務(wù)器分組越多、資源共享范圍越小,資源碎片越大。

    資源碎片需主要考慮以下因素。

    ? 多VIM劃分因素:單個硬件資源池如部署多個廠商的VIM,多個廠商服務(wù)器資源獨立、無法共享。

    ? 多HA(host aggregate,主機組)劃分因素:HA劃分可包含多個維度,如按安全域、硬件規(guī)格、虛擬層參數(shù)、其他運維策略等,各HA資源獨立、無法共享。

    ? VM反親和部署因素:有容災(zāi)備份關(guān)系的VM要求反親和性,具有反親和性要求的VM應(yīng)部署在不同的服務(wù)器或不同的AZ,無法共享。

    ? 部分VM規(guī)格較大:當(dāng)部分VM規(guī)格較大,超出物理機剩余可用核數(shù)時,則不能部署在剩余核數(shù)較少的物理機。

    資源碎片同時也和VIM資源部署算法以及可靠性有一定關(guān)系。一般來說,VM資源部署越分散,可靠性越高,單個服務(wù)器故障不影響網(wǎng)元整體性能;VM資源分布越集中,則單個服務(wù)器出現(xiàn)故障,將造成一定性能損失。

    (3)彈性伸縮預(yù)留

    彈性伸縮(auto scaling)是虛擬化的優(yōu)勢之一,可根據(jù)業(yè)務(wù)需求和彈性策略,自動調(diào)整彈性計算資源。

    (4)升級等遷移預(yù)留

    當(dāng)硬件非熱插拔更換部件、VNF軟件、虛擬層軟件非在線升級時,都可能涉及虛擬資源需要從一部分物理機遷移至另一部分物理機,需要考慮該部分預(yù)留。

    缺陷分析時需要計算一些分析指標(biāo),使分析結(jié)果得到定量描述,以便進(jìn)行直觀地對比。度量分析指標(biāo)能夠為定量分析缺陷提供基礎(chǔ)。對軟件產(chǎn)品發(fā)布后缺陷分析而言,分析指標(biāo)主要包括:

    綜合考慮硬件故障、資源碎片、彈性擴容、遷移等預(yù)留需求及投資效益,服務(wù)器冗余系數(shù)建議取值在30%~40%,推薦值見表2。

    2.2 存儲資源配置重點考慮因素

    存儲配置一般需要考慮以下因素:存儲技術(shù)選型、網(wǎng)元側(cè)資源存儲需求和資源冗余因素。

    表2 服務(wù)器冗余系數(shù)推薦值

    2.2.1 存儲技術(shù)選型

    (1)磁盤陣列與分布式存儲對比

    磁盤陣列(redundant arrays of independent disk,RAID),把多塊獨立的硬盤(物理硬盤)按不同的方式組合起來形成一個硬盤組(邏輯硬盤),從而提供比單個硬盤更高的存儲性能和數(shù)據(jù)備份。

    不同的磁陣組成和讀寫方式構(gòu)成了不同的RAID級別。磁盤陣列可提供的RADI級別包括RAID0、RAID1、RAID3、RAID5和RADI10等,具體見表3。

    表3 主要RAID方式對比

    分布式存儲通過分布式存儲軟件實現(xiàn)將數(shù)據(jù)存儲在不同的服務(wù)器硬盤上,將分散在不同服務(wù)器的存儲資源構(gòu)成一個虛擬的存儲設(shè)備。與集中的磁盤陣列不同,分布式存儲通過在服務(wù)器上加載分布式存儲軟件,數(shù)據(jù)通過分布式存儲算法計算出對應(yīng)的主、副本硬盤,副本數(shù)據(jù)通過主硬盤相關(guān)進(jìn)程將數(shù)據(jù)復(fù)制到副本硬盤中,如圖1所示。

    圖1 分布式存儲原理示意

    分布式存儲的核心是分布式存儲軟件與存儲設(shè)備相結(jié)合,通過應(yīng)用軟件來實現(xiàn)存儲設(shè)備向存儲服務(wù)的轉(zhuǎn)變。與傳統(tǒng)的磁盤陣列存儲方式相比,分布式存儲不僅是一個硬件,還是一個由網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、分布式存儲軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的存儲系統(tǒng)。各部分以存儲設(shè)備為核心,通過分布式存儲軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。

    表4 磁陣與存儲服務(wù)器對比

    從功能、性能、可靠性、管理和可擴展性等方面看,磁盤陣列和分布式存儲均可以滿足NFV硬件資源池需求,見表4。

    分布式存儲適用于大容量、高IOPS(input/ output operations per second,每秒進(jìn)行讀寫次數(shù))需求場景,NFV資源池的存儲數(shù)據(jù)主要為讀寫要求不高、安全性要求高、數(shù)據(jù)存儲量需求不高的數(shù)據(jù)(包括用戶數(shù)據(jù)、話單數(shù)據(jù)、報表數(shù)據(jù)等)。對于基于存儲型服務(wù)器架構(gòu)的分布式架構(gòu),與傳統(tǒng)磁盤陣列存儲方式相比,在存儲容量較小場景下,其優(yōu)勢并不能得到充分發(fā)揮。

    未來,隨著數(shù)據(jù)存儲量的不斷增長以及資源池規(guī)模的不斷擴大,分布式存儲優(yōu)勢可充分顯現(xiàn),可考慮引入計算、存儲融合架構(gòu)的分布式存儲,進(jìn)一步發(fā)揮其簡單、快速部署的優(yōu)勢,解決傳統(tǒng)集中式存儲方式的單點故障問題。

    (2)磁盤陣列規(guī)格

    磁盤陣列規(guī)格要考慮的因素較多,在性能方面應(yīng)主要考慮以下因素。

    ? 控制器數(shù)量及IOPS、緩存大小等。

    ? 硬盤容量(如900 GB、1 200 GB等)、硬盤轉(zhuǎn)速(如高速、低速或固態(tài)硬盤)。

    ? 前端接口、后端接口數(shù)量、類型、速率等因素。

    在控制面網(wǎng)元及業(yè)務(wù)平臺虛擬化場景下,存儲容量及IOPS等性能需求一般不高,部分管理類網(wǎng)元有高IOPS需求,一般中端磁盤陣列即可滿足業(yè)務(wù)需求。

    在功能方面,需結(jié)合業(yè)務(wù)、組網(wǎng)需求,按需選擇是否支持負(fù)載均衡、自動精簡配置、分層存儲、快照、克隆、鏡像、同步、異步遠(yuǎn)程復(fù)制、存儲虛擬化、存儲在線遷移、支持多租戶等功能。

    2.2.2 網(wǎng)元側(cè)資源存儲需求

    網(wǎng)元側(cè)提交存儲資源需求時,應(yīng)基于硬件資源池可提供的資源類型提供資源需求,并重點考慮以下因素。

    ? 網(wǎng)元有效存儲容量需求,應(yīng)結(jié)合網(wǎng)元利用率考慮有效容量需求。

    ? 結(jié)合硬件資源池可提供的資源類型,在磁盤陣列場景下,網(wǎng)元側(cè)應(yīng)提交RAID方式需求;在分布式存儲場景下,網(wǎng)元側(cè)應(yīng)提交副本數(shù)量需求。

    ? IOPS及讀寫比例需求。

    ? 存儲介質(zhì)要求,如使用服務(wù)器本地硬盤或外接磁盤陣列、分布式存儲等。

    ? 跨AZ部署要求,當(dāng)單個網(wǎng)元跨AZ部署時,如MANO等管理類網(wǎng)元,應(yīng)區(qū)分AZ并分別提交各AZ存儲資源需求。

    2.2.3 資源冗余因素

    存儲資源配置,主要應(yīng)考慮以下冗余因素。

    (1)對于集中塊存儲,需要考慮RADI利用率,常用RAID利用率如下。

    ? RAID10的存儲空間利用率為/2,取50%。

    ? RAID5的存儲空間利用率為(?1)/,一般取75%。

    ? RAID6的存儲空間利用率為(?2)/,一般取60%。

    對于分布式存儲,則需要結(jié)合副本數(shù)量(一般2~4個不等),考慮存儲容量需求。

    (2)對于存儲容量配置,還需考慮存儲廠商與網(wǎng)元側(cè)存儲容量換算單位差異,以1 TB機械硬盤來計算,1 TB實際容量為1×1 000×1 000× 1 000×1 000/1 024/1 024/1 024=931 GB空間,單位差異系數(shù)約為8%。

    (3)對于磁盤陣列,還需考慮熱備盤需求及磁盤陣列自身元數(shù)據(jù)等開銷,可取10%~15%的冗余。

    2.3 網(wǎng)絡(luò)資源配置重點考慮因素

    網(wǎng)絡(luò)設(shè)備配置一般需要考慮以下因素:組網(wǎng)架構(gòu)及組網(wǎng)技術(shù)、網(wǎng)元側(cè)網(wǎng)絡(luò)資源需求和資源冗余因素。

    2.3.1 組網(wǎng)技術(shù)

    NFV資源池規(guī)劃建設(shè)首先應(yīng)明確組網(wǎng)技術(shù)選擇,不同的組網(wǎng)技術(shù)對組網(wǎng)架構(gòu)、設(shè)備選型均有不同要求。

    面向未來網(wǎng)絡(luò)演進(jìn),應(yīng)采用SDN組網(wǎng)實現(xiàn)網(wǎng)絡(luò)自動化配置、增強網(wǎng)絡(luò)服務(wù)化能力及橫向擴展能力。但目前NFV場景下,SDN控制器北向與VIM接口以及南向與轉(zhuǎn)發(fā)設(shè)備之間的接口尚未標(biāo)準(zhǔn)化。如由VIM廠商統(tǒng)一提供SDN軟硬件設(shè)備,則造成了軟硬件的耦合,不滿足NFV現(xiàn)階段軟硬件解耦要求。

    現(xiàn)階段NFV仍可考慮采用方案較為成熟的增強二層組網(wǎng)技術(shù),目前該技術(shù)較為成熟,廠商支持情況較好,支持異廠商組網(wǎng)。能有效規(guī)避二層環(huán)路,無需啟用STP,當(dāng)網(wǎng)絡(luò)中出現(xiàn)設(shè)備或鏈路級故障,可以快速收斂故障點實現(xiàn)電信級可靠性保護。后續(xù)應(yīng)推動SDN接口標(biāo)準(zhǔn)化,并向SDN組網(wǎng)演進(jìn)。

    網(wǎng)絡(luò)設(shè)備選型方面,需結(jié)合交換機性能、功能,在性能方面,主要考慮線速轉(zhuǎn)發(fā)端口數(shù)需求。規(guī)格建議見表5。

    表5 網(wǎng)絡(luò)設(shè)備規(guī)格建議

    2.3.2 網(wǎng)元側(cè)網(wǎng)絡(luò)資源需求

    網(wǎng)元側(cè)提交網(wǎng)絡(luò)資源需求時,應(yīng)重點考慮以下與硬件資源池協(xié)同因素。

    (1)網(wǎng)元側(cè)提供計算、存儲資源需求,硬件資源池側(cè)基于多網(wǎng)絡(luò)、多網(wǎng)元需求,統(tǒng)籌考慮資源池網(wǎng)絡(luò)設(shè)備端口及規(guī)格需求。

    (2)網(wǎng)元側(cè)提供南北流量需求,南北流量既網(wǎng)元對外接口流量,虛擬化網(wǎng)元的對外接口流量及承載原則,與原有物理網(wǎng)元保持一致;新增網(wǎng)元如MANO,應(yīng)提交南北流量及承載要求。

    (3)網(wǎng)元側(cè)提供東西流量需求,東西流量既網(wǎng)元內(nèi)部多個VM之間的流量,資源池側(cè)應(yīng)結(jié)合網(wǎng)元東西、南北流量及組網(wǎng)架構(gòu),統(tǒng)籌考慮網(wǎng)絡(luò)設(shè)備上行、下行鏈路收斂比需求。

    2.3.3 資源冗余因素

    網(wǎng)絡(luò)設(shè)備冗余配置主要考慮以下因素。

    ? 考慮高可靠性,網(wǎng)絡(luò)設(shè)備應(yīng)成對配置。

    ? 硬件分區(qū)要求,結(jié)合服務(wù)器、磁陣硬件分區(qū)要求分別部署TOR、成對EOR分別部署在兩個分區(qū)。

    ? 各類端口可建議考慮20%的冗余。

    ? 對于框式網(wǎng)絡(luò)設(shè)備,其業(yè)務(wù)板卡應(yīng)成對配置,至同一臺/對設(shè)備的多條鏈路應(yīng)分配到不同板卡的端口上,提高網(wǎng)絡(luò)可靠性。

    3 機房及基礎(chǔ)設(shè)施配套重點考慮因素

    3.1 機房布局

    未來網(wǎng)絡(luò)布局將由現(xiàn)有“以網(wǎng)元為中心”向“以數(shù)據(jù)中心為中心”轉(zhuǎn)型,機房整體布局應(yīng)面向未來、長遠(yuǎn)規(guī)劃,按照滿足5~10年業(yè)務(wù)發(fā)展需求,提前規(guī)劃建設(shè)數(shù)據(jù)中心機房基礎(chǔ)設(shè)施。

    初期應(yīng)主要滿足控制面網(wǎng)元集中建設(shè)需求,結(jié)合運營商組網(wǎng)策略,可選擇全國集中、大區(qū)集中、省集中等方式。為滿足網(wǎng)元地理容災(zāi)要求,全國/每大區(qū)/每省應(yīng)選擇兩個或以上互為地理容災(zāi)的局址部署硬件資源池,互為地理容災(zāi)的局址應(yīng)具備不同方向的市電和傳送。后續(xù)應(yīng)考慮轉(zhuǎn)發(fā)面等網(wǎng)元對地市及以下層面機房的需求。

    NFV機房面積及機架數(shù)除考慮NFV資源池需求外,應(yīng)統(tǒng)籌考慮周邊安全管控、信令監(jiān)測等系統(tǒng)對機房的需求。NFV機房還應(yīng)具備虛擬化網(wǎng)元相關(guān)的承載、傳輸?shù)染W(wǎng)絡(luò)資源。

    3.2 機房環(huán)境及工藝

    機房環(huán)境和工藝應(yīng)滿足IT硬件裝機需求,主要考慮以下因素。

    (1)散熱要求

    傳統(tǒng)專用硬件長期工作溫度一般在+5℃~ +40℃,IT硬件長期工作溫度范圍一般在+10℃~+35℃,進(jìn)風(fēng)口溫度一般要求在25±2℃(23℃~27℃);對于高保障、高密度的IT設(shè)備,進(jìn)風(fēng)口溫度可適當(dāng)調(diào)低。

    (2)送風(fēng)方式

    傳統(tǒng)專用硬件一般采用前進(jìn)后出送風(fēng)方式,IT硬件長期以前進(jìn)后出送風(fēng)為主,部分網(wǎng)絡(luò)設(shè)備有前進(jìn)側(cè)出、左右送風(fēng)等多種送風(fēng)方式,需要考慮送風(fēng)方式和散熱方式的匹配。

    (3)承重

    應(yīng)綜合考慮機架重量、設(shè)備重量,并結(jié)合單位機架占地面積,換算為機房承重要求。磁盤陣列等較重的設(shè)備應(yīng)安裝在承重較好的柱子列。

    (4)走線槽道

    部分NFV服務(wù)器網(wǎng)卡數(shù)量較多,造成服務(wù)器線纜較多。以單機架安裝約14臺服務(wù)器、2臺業(yè)務(wù)/存儲/管理TOR、1臺硬件管理TOR估算,單個機架約需布放236條尾纖+26條網(wǎng)線,需要綜合考慮尾纖槽道及尾纖下線槽的規(guī)格及數(shù)量。

    ? 單個機架內(nèi),服務(wù)器共需出線14×12(6個10GE口)條單芯尾纖+14×1(硬件管理GE口)條網(wǎng)線,其中約14×4+14×1可終結(jié)在機柜內(nèi)部,仍有14×8=112條尾纖需要連接至其他機架TOR。

    ? 其他機架約有26臺設(shè)備,需連接至本機架TOR,共需約26×4+26×1=104條尾纖+26條網(wǎng)線。

    ? TOR互聯(lián)及上聯(lián)約需20條單芯尾纖。

    ? 本機架出入線口共需布放約236條單芯尾纖+26條網(wǎng)線。

    數(shù)據(jù)中心裝機條件能較好滿足IT硬件裝機需求,應(yīng)優(yōu)選省級/省內(nèi)數(shù)據(jù)中心機房,對于無數(shù)據(jù)中心機房或數(shù)據(jù)中心機房暫不具備裝機條件的省份,應(yīng)選擇傳統(tǒng)通信機房進(jìn)行DC化改造。

    3.3 設(shè)備供電

    IT硬件供電方式應(yīng)與機房供電方式相匹配。為滿足IT設(shè)備較高密度部署需求、降低機房使用成本,建議優(yōu)選單機架功耗5 kW及以上機架,不建議選擇單機架功耗3 kW以下機架。

    3.4 機架配置

    新增機架應(yīng)采用19英寸標(biāo)準(zhǔn)機架(600 mm寬),機架深度需滿足IT設(shè)備安裝需求,建議不小于1 000 mm深(不含水冷前門及熱板背板深度),并結(jié)合機房具體條件,合理規(guī)劃機架尺寸。

    為縮短線纜走線長度、盡量減少出機架線纜數(shù)量,服務(wù)器應(yīng)與TOR共機架部署,鄰近的服務(wù)器機架應(yīng)共用業(yè)務(wù)、存儲、管理、硬件管理接入TOR,成對配置的TOR應(yīng)部署在不同的機架。不建議服務(wù)器與磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備共用機架。

    磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備,應(yīng)結(jié)合設(shè)備滿配功耗和單機架功耗實際情況,選擇是否共用機架。當(dāng)單機架功耗大于磁盤陣列、核心層及以上網(wǎng)絡(luò)設(shè)備滿配功耗時,可共用機架。

    4 結(jié)束語

    NFV硬件資源池及機房基礎(chǔ)設(shè)施是虛擬層及虛擬化網(wǎng)元部署的前提和基礎(chǔ),本文基于NFV部署初期建設(shè)需求,綜合考慮電信網(wǎng)元業(yè)務(wù)需求、解耦模式、容災(zāi)要求等特點,從計算、存儲、網(wǎng)絡(luò)、機房資源等多層面,深入分析規(guī)劃建設(shè)重點考慮因素,為后續(xù)中國移動NFV商用部署提出了方案及建議。

    [1] 孫振正, 龔靖, 段勇, 等. 面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究[J]. 電信科學(xué), 2014, 30(1): 39-43.

    SUN Z Z, GONG J, DUAN Y, et al. Research on software defined storage technology for the next-generation data center [J]. Telecommunications Science, 2014, 30(1): 39-43.

    [2] 顧戎, 王瑞雪, 李晨, 等. 云數(shù)據(jù)中心SDN/NFV組網(wǎng)方案、測試及問題分析[J]. 電信科學(xué), 2016, 32(1): 126-130.

    GU R, WANG R X, LI C, et al. Analysis on network scheme and resolution test of SDN/NFV technology co-deployed in cloud datacenter [J]. Telecommunications Science, 2016, 32(1): 126-130.

    [3] 李晨, 段曉東, 陳煒, 等. SDN和NFV的思考與實踐[J]. 電信科學(xué), 2014, 30(8): 23-27.

    LI C, DUAN X D, CHEN W, et al. Thoughts and practices about SDN and NFV [J]. Telecommunications Science, 2014, 30(8): 23-27.

    [4] ETSI. Network functions virtualisation whitepaper#3[S]. 2015.

    [5] ETSI. Network functions virtualisation (NFV); usecases: GS NFV 001 [S]. 2015.

    [6] ETSI. Network Functions Virtualisation (NFV); architectural framework: GS NFV 002[S]. 2015.

    Key point of NFV hardware resource pool planning and construction

    SHEN Lei, WANG Fang, WU Lihua

    China Mobile Group Design Institute Co., Ltd., Beijing 100080, China

    Major operators have been deploying NFV in succession, after hardware and software decoupling of NFV, hardware and software need to be separately planned and constructed. Based on the initial construction requirements of NFV deployment, the key factors were analyzed which should be considered in the planning and construction of the hardware resource pool and the machine room infrastructure. The calculation, storage, network equipment matching requirements were expounded. And the blade and rack service was compared.The hardware and network configuration of two layers and SDN networks were enhanced by the hardware, magnetic array and distributed storage. The hardware configuration mode and key considerations were studied.The hardware redundancy requirements under dif scenes were analyzed, and the key requirements of the NFV hardware pool planning and construction were obtained.

    hardware resource pool, computing, storage, network, data center

    TP393

    A

    10.11959/j.issn.1000?0801.2018201

    沈蕾(1980?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要研究方向為NFV、網(wǎng)絡(luò)能力開放、數(shù)字化業(yè)務(wù)和未來網(wǎng)絡(luò)規(guī)劃。

    王芳(1982?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要從事核心網(wǎng)及互聯(lián)網(wǎng)領(lǐng)域的方案設(shè)計和規(guī)劃咨詢工作。

    吳麗華(1982?),女,中國移動通信集團設(shè)計院有限公司高級工程師,主要從事NFV、IMS網(wǎng)絡(luò)、RCS、物聯(lián)網(wǎng)等方案設(shè)計和咨詢工作。

    2018?04?06;

    2018?06?08

    猜你喜歡
    磁盤陣列網(wǎng)元機架
    別忽略它的存在!“意大利新一代架皇”BAS Accordeon(雅歌頓)XL4 2.0發(fā)燒機架
    一種全網(wǎng)時鐘同步管理方法
    更換磁盤陣列磁盤
    熱軋拉矯機機架加工討論
    光網(wǎng)絡(luò)設(shè)備ECC常見問題解決思路剖析
    中國新通信(2014年5期)2014-10-17 01:49:03
    電視播出機房磁盤陣列預(yù)防性維護
    Java EE平臺在綜合網(wǎng)元管理系統(tǒng)中的應(yīng)用研究
    S1字節(jié)和SDH網(wǎng)絡(luò)時鐘保護倒換原理
    雙機架平整機板形控制算法及其應(yīng)用
    上海金屬(2013年6期)2013-12-20 07:58:02
    提高機架輥壽命的改進(jìn)措施
    軸承(2010年2期)2010-07-28 02:25:46
    变态另类丝袜制服| 1000部很黄的大片| 久久香蕉精品热| 国产毛片a区久久久久| 熟女人妻精品中文字幕| 久久久久久大精品| 国产又色又爽无遮挡免费看| 婷婷六月久久综合丁香| 老熟妇乱子伦视频在线观看| 人妻丰满熟妇av一区二区三区| 国产又黄又爽又无遮挡在线| 制服人妻中文乱码| 欧美一级a爱片免费观看看| 老司机午夜十八禁免费视频| 九九久久精品国产亚洲av麻豆 | 亚洲黑人精品在线| 老司机午夜福利在线观看视频| 国产精品电影一区二区三区| 国产一级毛片七仙女欲春2| 精品国产三级普通话版| 母亲3免费完整高清在线观看| 精品午夜福利视频在线观看一区| 麻豆一二三区av精品| 999久久久精品免费观看国产| 国产伦精品一区二区三区视频9 | 欧美成人一区二区免费高清观看 | 欧美在线黄色| 两个人视频免费观看高清| av在线天堂中文字幕| 亚洲成av人片免费观看| 一级毛片高清免费大全| 国产av在哪里看| a级毛片a级免费在线| av女优亚洲男人天堂 | 99国产综合亚洲精品| 国产麻豆成人av免费视频| 怎么达到女性高潮| 一区二区三区激情视频| 国产成年人精品一区二区| 国模一区二区三区四区视频 | 亚洲中文av在线| 麻豆国产av国片精品| 日本一本二区三区精品| 成人av一区二区三区在线看| 此物有八面人人有两片| 色综合站精品国产| 性色avwww在线观看| 丰满人妻熟妇乱又伦精品不卡| 老司机在亚洲福利影院| 国产精品免费一区二区三区在线| 麻豆成人午夜福利视频| 9191精品国产免费久久| 国产一区在线观看成人免费| 欧美成人一区二区免费高清观看 | 久久久久久大精品| 国产v大片淫在线免费观看| 无限看片的www在线观看| 女人高潮潮喷娇喘18禁视频| 两个人视频免费观看高清| 色综合欧美亚洲国产小说| 免费在线观看视频国产中文字幕亚洲| 久久精品aⅴ一区二区三区四区| 69av精品久久久久久| 亚洲欧美精品综合久久99| 欧美绝顶高潮抽搐喷水| 午夜a级毛片| а√天堂www在线а√下载| xxxwww97欧美| xxx96com| 亚洲精品在线美女| 精品乱码久久久久久99久播| 国产真实乱freesex| 精品久久久久久久久久免费视频| 一区二区三区激情视频| 亚洲av免费在线观看| 黄片大片在线免费观看| 日本在线视频免费播放| 亚洲欧美日韩东京热| 不卡一级毛片| 国产精品爽爽va在线观看网站| 国产美女午夜福利| 亚洲一区二区三区不卡视频| 国产成人系列免费观看| 久久精品91无色码中文字幕| 国产探花在线观看一区二区| 日本五十路高清| 天天添夜夜摸| 老司机午夜福利在线观看视频| 两性午夜刺激爽爽歪歪视频在线观看| 99re在线观看精品视频| 精品久久久久久久末码| 国产久久久一区二区三区| 亚洲专区国产一区二区| 十八禁网站免费在线| 精品欧美国产一区二区三| 真实男女啪啪啪动态图| 男人舔奶头视频| 在线观看免费午夜福利视频| 久久久久久久久中文| 久久欧美精品欧美久久欧美| а√天堂www在线а√下载| 非洲黑人性xxxx精品又粗又长| 欧美最黄视频在线播放免费| 免费在线观看影片大全网站| 黄色视频,在线免费观看| 午夜激情福利司机影院| 超碰成人久久| 国产蜜桃级精品一区二区三区| 这个男人来自地球电影免费观看| 免费观看精品视频网站| 国产野战对白在线观看| 免费搜索国产男女视频| 99精品在免费线老司机午夜| 少妇人妻一区二区三区视频| 久久精品91无色码中文字幕| 美女扒开内裤让男人捅视频| 一级毛片女人18水好多| 成人18禁在线播放| 视频区欧美日本亚洲| 久久中文字幕人妻熟女| 亚洲精华国产精华精| 女警被强在线播放| 蜜桃久久精品国产亚洲av| 日日夜夜操网爽| 成人国产综合亚洲| 成年女人看的毛片在线观看| 亚洲成人精品中文字幕电影| 18禁国产床啪视频网站| 听说在线观看完整版免费高清| a级毛片在线看网站| 精品一区二区三区视频在线 | 在线免费观看不下载黄p国产 | 综合色av麻豆| 久久久国产成人精品二区| 亚洲午夜精品一区,二区,三区| 久久久成人免费电影| 高清毛片免费观看视频网站| 怎么达到女性高潮| 亚洲国产精品sss在线观看| 老鸭窝网址在线观看| 高清在线国产一区| 神马国产精品三级电影在线观看| 欧美黑人巨大hd| 亚洲天堂国产精品一区在线| 神马国产精品三级电影在线观看| 欧美黑人巨大hd| 在线播放国产精品三级| 国产三级中文精品| 视频区欧美日本亚洲| 国产69精品久久久久777片 | 夜夜夜夜夜久久久久| www日本在线高清视频| 三级国产精品欧美在线观看 | 欧美激情久久久久久爽电影| 久久久水蜜桃国产精品网| 免费在线观看成人毛片| 国内精品久久久久精免费| 国产欧美日韩精品一区二区| 俺也久久电影网| 成人亚洲精品av一区二区| 99国产精品99久久久久| 夜夜看夜夜爽夜夜摸| 97人妻精品一区二区三区麻豆| 国产91精品成人一区二区三区| 亚洲无线在线观看| 天天躁日日操中文字幕| 女警被强在线播放| 法律面前人人平等表现在哪些方面| 一个人看视频在线观看www免费 | 中文字幕久久专区| 亚洲专区国产一区二区| 1024香蕉在线观看| 母亲3免费完整高清在线观看| 99久国产av精品| 免费在线观看视频国产中文字幕亚洲| 色哟哟哟哟哟哟| 97人妻精品一区二区三区麻豆| 亚洲精品国产精品久久久不卡| 日日干狠狠操夜夜爽| 美女扒开内裤让男人捅视频| 亚洲国产日韩欧美精品在线观看 | 亚洲精品在线美女| 免费电影在线观看免费观看| 狠狠狠狠99中文字幕| 女警被强在线播放| 看免费av毛片| 久久精品亚洲精品国产色婷小说| 久久久久亚洲av毛片大全| 午夜福利免费观看在线| 99精品久久久久人妻精品| 久久久精品大字幕| 成人av一区二区三区在线看| 深夜精品福利| 日韩av在线大香蕉| 在线看三级毛片| 天堂av国产一区二区熟女人妻| 亚洲片人在线观看| 国产成人欧美在线观看| 男人舔女人下体高潮全视频| 香蕉丝袜av| tocl精华| 欧美乱色亚洲激情| 国产成年人精品一区二区| 听说在线观看完整版免费高清| aaaaa片日本免费| 久久热在线av| 99久久综合精品五月天人人| 精品免费久久久久久久清纯| 国产精华一区二区三区| 成年女人毛片免费观看观看9| 黄色丝袜av网址大全| 最近最新中文字幕大全电影3| 日韩欧美国产在线观看| 国产激情偷乱视频一区二区| 一级毛片高清免费大全| 91老司机精品| 亚洲国产欧美网| 午夜日韩欧美国产| 窝窝影院91人妻| 国产aⅴ精品一区二区三区波| 级片在线观看| 特大巨黑吊av在线直播| 欧美日韩黄片免| 国产一区二区三区在线臀色熟女| 久久伊人香网站| 免费在线观看影片大全网站| 最近最新中文字幕大全免费视频| 精品久久久久久久久久免费视频| 亚洲成人中文字幕在线播放| 99在线视频只有这里精品首页| 成人永久免费在线观看视频| 久久香蕉国产精品| 在线播放国产精品三级| 村上凉子中文字幕在线| 99在线视频只有这里精品首页| 欧美绝顶高潮抽搐喷水| 黄片小视频在线播放| 国产麻豆成人av免费视频| 国产毛片a区久久久久| 欧美午夜高清在线| 国产成人欧美在线观看| 亚洲 国产 在线| 99国产精品一区二区蜜桃av| 人人妻人人看人人澡| 精品国产三级普通话版| 老司机午夜十八禁免费视频| 动漫黄色视频在线观看| 欧美成人性av电影在线观看| 中文字幕高清在线视频| 色吧在线观看| 特大巨黑吊av在线直播| 日本五十路高清| 丝袜人妻中文字幕| 日韩欧美国产在线观看| 精品日产1卡2卡| 99热只有精品国产| 亚洲 国产 在线| 每晚都被弄得嗷嗷叫到高潮| 亚洲欧美精品综合一区二区三区| 国产精品国产高清国产av| 99久久精品热视频| 久久精品国产99精品国产亚洲性色| 三级男女做爰猛烈吃奶摸视频| 丰满人妻一区二区三区视频av | 熟女电影av网| 变态另类成人亚洲欧美熟女| 国产精品久久久久久久电影 | xxx96com| 色av中文字幕| 非洲黑人性xxxx精品又粗又长| 美女高潮的动态| 亚洲欧美精品综合久久99| 蜜桃久久精品国产亚洲av| 九色国产91popny在线| 久久久久久久久免费视频了| 久久久久久久久中文| 亚洲专区国产一区二区| 亚洲乱码一区二区免费版| 久久久久久久久久黄片| 亚洲七黄色美女视频| 18禁裸乳无遮挡免费网站照片| 高清在线国产一区| 男人舔女人下体高潮全视频| 亚洲精品456在线播放app | 国产亚洲av嫩草精品影院| 欧美乱色亚洲激情| 成人特级av手机在线观看| 高清在线国产一区| 午夜福利欧美成人| 很黄的视频免费| 国产黄片美女视频| 国内毛片毛片毛片毛片毛片| 精品久久久久久久人妻蜜臀av| 在线永久观看黄色视频| 欧美成人免费av一区二区三区| 久久久久久人人人人人| 男插女下体视频免费在线播放| 又黄又爽又免费观看的视频| 欧美性猛交╳xxx乱大交人| 高清在线国产一区| 一a级毛片在线观看| bbb黄色大片| 亚洲精品一卡2卡三卡4卡5卡| 嫩草影院精品99| 亚洲av成人精品一区久久| 国产一区在线观看成人免费| 欧美色欧美亚洲另类二区| 亚洲专区国产一区二区| 免费大片18禁| 亚洲无线观看免费| 色综合站精品国产| 看免费av毛片| 99精品欧美一区二区三区四区| 亚洲av电影不卡..在线观看| 久久久国产欧美日韩av| 免费在线观看亚洲国产| 午夜福利高清视频| 精品欧美国产一区二区三| 黄色日韩在线| 69av精品久久久久久| 黑人操中国人逼视频| www.999成人在线观看| 国产久久久一区二区三区| 亚洲美女黄片视频| 成人av在线播放网站| 精品不卡国产一区二区三区| 亚洲国产欧美一区二区综合| 成人国产综合亚洲| 精品久久蜜臀av无| 国产三级中文精品| 亚洲成人久久爱视频| 夜夜看夜夜爽夜夜摸| 国产成人精品久久二区二区91| 欧美高清成人免费视频www| 九九久久精品国产亚洲av麻豆 | 国产亚洲精品av在线| 国产精品久久久久久精品电影| 亚洲成av人片免费观看| 亚洲欧美精品综合一区二区三区| 亚洲国产欧美一区二区综合| 亚洲精品一卡2卡三卡4卡5卡| 亚洲av熟女| netflix在线观看网站| АⅤ资源中文在线天堂| 精品国产乱子伦一区二区三区| 亚洲激情在线av| 日韩欧美在线二视频| 久久久久亚洲av毛片大全| 在线观看日韩欧美| ponron亚洲| 午夜精品在线福利| 999精品在线视频| 俺也久久电影网| 国产精品98久久久久久宅男小说| 夜夜爽天天搞| 亚洲欧美精品综合一区二区三区| www.www免费av| 国产乱人伦免费视频| 91久久精品国产一区二区成人 | 九九在线视频观看精品| a在线观看视频网站| 国产精品一区二区精品视频观看| 最近最新免费中文字幕在线| av天堂中文字幕网| 久久久久国内视频| 午夜福利在线观看免费完整高清在 | 国产精品98久久久久久宅男小说| 一边摸一边抽搐一进一小说| 熟女电影av网| 亚洲欧美日韩高清专用| 亚洲成人久久性| 欧美成狂野欧美在线观看| 亚洲人成网站在线播放欧美日韩| 18禁裸乳无遮挡免费网站照片| 欧美日韩综合久久久久久 | 国产免费男女视频| 免费大片18禁| 成人国产综合亚洲| 免费看十八禁软件| 身体一侧抽搐| 久99久视频精品免费| 成人av一区二区三区在线看| 亚洲色图 男人天堂 中文字幕| 亚洲国产高清在线一区二区三| 亚洲五月天丁香| 国产乱人伦免费视频| 亚洲精华国产精华精| 三级男女做爰猛烈吃奶摸视频| 精品久久久久久久末码| 国产视频一区二区在线看| 欧美xxxx黑人xx丫x性爽| 国产精品1区2区在线观看.| 免费搜索国产男女视频| 亚洲成人免费电影在线观看| 久久久国产成人免费| 999精品在线视频| 一级作爱视频免费观看| 欧美+亚洲+日韩+国产| 好男人在线观看高清免费视频| 午夜福利在线观看免费完整高清在 | 久久久久国内视频| 麻豆国产av国片精品| 欧美精品啪啪一区二区三区| 久久中文字幕人妻熟女| 高潮久久久久久久久久久不卡| 日韩人妻高清精品专区| 国产成人精品无人区| 久久热在线av| 在线视频色国产色| 午夜福利视频1000在线观看| 在线观看舔阴道视频| 欧美在线黄色| 中亚洲国语对白在线视频| 亚洲一区二区三区不卡视频| 欧美成人性av电影在线观看| 国产亚洲av高清不卡| 香蕉国产在线看| 免费在线观看影片大全网站| 国产视频内射| av欧美777| svipshipincom国产片| 日本 av在线| 国产av一区在线观看免费| 午夜免费观看网址| 国内精品久久久久精免费| 亚洲精品美女久久av网站| 国产精品野战在线观看| 制服丝袜大香蕉在线| 老熟妇乱子伦视频在线观看| 俺也久久电影网| 99久久久亚洲精品蜜臀av| 精品无人区乱码1区二区| 亚洲欧美日韩无卡精品| 日韩欧美在线二视频| 欧美性猛交╳xxx乱大交人| 欧美日韩国产亚洲二区| 亚洲国产欧美一区二区综合| 999久久久精品免费观看国产| 午夜精品在线福利| 午夜福利在线在线| 久久久久国产一级毛片高清牌| 国产伦精品一区二区三区视频9 | 成人18禁在线播放| 久久精品影院6| 小蜜桃在线观看免费完整版高清| 国产精品女同一区二区软件 | 欧美色视频一区免费| 日韩免费av在线播放| aaaaa片日本免费| 国产一区在线观看成人免费| 国产人伦9x9x在线观看| 哪里可以看免费的av片| 国产精品亚洲美女久久久| 岛国在线免费视频观看| 国产视频一区二区在线看| 久久久色成人| 午夜福利在线在线| 欧美中文综合在线视频| 久久久久久久久久黄片| 9191精品国产免费久久| 国产成人精品无人区| 全区人妻精品视频| 国产成人aa在线观看| 人人妻人人澡欧美一区二区| 欧美另类亚洲清纯唯美| 久久久久久久久久黄片| 亚洲午夜理论影院| 老鸭窝网址在线观看| 日本黄大片高清| 国产成人av教育| 五月伊人婷婷丁香| 在线播放国产精品三级| 久久久久久国产a免费观看| 香蕉久久夜色| 天天躁日日操中文字幕| 999精品在线视频| 亚洲成a人片在线一区二区| 99re在线观看精品视频| 午夜精品一区二区三区免费看| 国产精品自产拍在线观看55亚洲| 手机成人av网站| 免费看十八禁软件| 久久久久久九九精品二区国产| 桃色一区二区三区在线观看| 亚洲美女视频黄频| 国产综合懂色| 麻豆国产97在线/欧美| 老司机深夜福利视频在线观看| 国产精品 国内视频| 国产高潮美女av| 最新在线观看一区二区三区| 国产精品一及| 波多野结衣巨乳人妻| 亚洲av第一区精品v没综合| 亚洲人成网站在线播放欧美日韩| 亚洲人成伊人成综合网2020| 日韩成人在线观看一区二区三区| 九色国产91popny在线| 久久久精品欧美日韩精品| 国产精品国产高清国产av| 男人和女人高潮做爰伦理| 日本与韩国留学比较| x7x7x7水蜜桃| 亚洲美女视频黄频| 国产av麻豆久久久久久久| 国产伦人伦偷精品视频| 国语自产精品视频在线第100页| 亚洲成av人片免费观看| 日韩成人在线观看一区二区三区| 久久国产精品人妻蜜桃| 国内毛片毛片毛片毛片毛片| 亚洲熟女毛片儿| 国内精品久久久久久久电影| 国产高清激情床上av| 丁香六月欧美| 亚洲欧美日韩卡通动漫| 亚洲电影在线观看av| 免费在线观看亚洲国产| 久久精品国产清高在天天线| 看黄色毛片网站| 免费人成视频x8x8入口观看| 1000部很黄的大片| 人妻久久中文字幕网| 深夜精品福利| 天天一区二区日本电影三级| 国产欧美日韩一区二区精品| 欧美+亚洲+日韩+国产| 蜜桃久久精品国产亚洲av| 国产一区二区激情短视频| 手机成人av网站| 久99久视频精品免费| av欧美777| 真人做人爱边吃奶动态| 久久天躁狠狠躁夜夜2o2o| 国产爱豆传媒在线观看| 欧洲精品卡2卡3卡4卡5卡区| 女生性感内裤真人,穿戴方法视频| 成人国产综合亚洲| 国产美女午夜福利| avwww免费| 99热精品在线国产| 岛国在线免费视频观看| 久久久久久九九精品二区国产| 精品久久久久久成人av| 床上黄色一级片| 亚洲av五月六月丁香网| 成人性生交大片免费视频hd| 午夜福利欧美成人| 国产激情偷乱视频一区二区| 中亚洲国语对白在线视频| 久久久久亚洲av毛片大全| 午夜久久久久精精品| 噜噜噜噜噜久久久久久91| 亚洲欧美精品综合一区二区三区| 很黄的视频免费| 久久中文看片网| 久久久久免费精品人妻一区二区| 国产成人影院久久av| 精品久久久久久,| 国产精品一区二区免费欧美| а√天堂www在线а√下载| 欧美日韩黄片免| 欧美极品一区二区三区四区| 国产成人福利小说| 曰老女人黄片| 国内精品久久久久久久电影| 国产精品免费一区二区三区在线| 好看av亚洲va欧美ⅴa在| 午夜精品在线福利| 国产不卡一卡二| 国产激情偷乱视频一区二区| 在线观看午夜福利视频| 日韩成人在线观看一区二区三区| 国产探花在线观看一区二区| 日本 欧美在线| 最好的美女福利视频网| 精品国产乱子伦一区二区三区| 日韩av在线大香蕉| 久久久久亚洲av毛片大全| 久久人妻av系列| 一个人免费在线观看电影 | 国产视频内射| 天堂动漫精品| 欧美日韩精品网址| 精品无人区乱码1区二区| 精品乱码久久久久久99久播| 老司机深夜福利视频在线观看| 成人av在线播放网站| 久久精品aⅴ一区二区三区四区| 中文字幕高清在线视频| 国产精华一区二区三区| 国产不卡一卡二| 国产亚洲精品综合一区在线观看| 性色avwww在线观看| 无遮挡黄片免费观看| 国产精品电影一区二区三区| 成人无遮挡网站| 日本与韩国留学比较| 脱女人内裤的视频| 母亲3免费完整高清在线观看| 神马国产精品三级电影在线观看| 久久午夜综合久久蜜桃| 欧美日韩乱码在线| 999久久久国产精品视频| 99久久成人亚洲精品观看| 亚洲九九香蕉| 久久久久久九九精品二区国产| 天堂影院成人在线观看| 在线观看美女被高潮喷水网站 | 波多野结衣巨乳人妻| 男插女下体视频免费在线播放| 亚洲国产看品久久| 国产亚洲精品av在线| 国产淫片久久久久久久久 | 亚洲熟女毛片儿|