• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于網(wǎng)卡虛擬化的高性能容器網(wǎng)絡(luò)設(shè)計(jì)

    2022-07-14 13:11:36臧迪楊志剛王晶姚治成張偉功
    計(jì)算機(jī)工程 2022年7期
    關(guān)鍵詞:長(zhǎng)鏈網(wǎng)卡虛擬化

    臧迪,楊志剛,王晶,姚治成,張偉功

    (1.首都師范大學(xué)信息工程學(xué)院,北京 100048;2.中國(guó)科學(xué)院計(jì)算技術(shù)研究所先進(jìn)計(jì)算機(jī)系統(tǒng)研究中心,北京 100080;3.首都師范大學(xué)高可靠嵌入式系統(tǒng)技術(shù)北京市工程中心,北京 100048)

    0 概述

    云計(jì)算具有資源利用率高、靈活和部署便利等特點(diǎn),因此,越來(lái)越多的企業(yè)逐漸從傳統(tǒng)模式過(guò)渡到云計(jì)算模式。然而,云計(jì)算需要數(shù)據(jù)中心做支撐,當(dāng)數(shù)據(jù)包通過(guò)互聯(lián)網(wǎng)到達(dá)數(shù)據(jù)中心時(shí),數(shù)據(jù)中心會(huì)采用防火墻、深度報(bào)文檢測(cè)、入侵檢測(cè)、網(wǎng)絡(luò)地址轉(zhuǎn)換等[1]技術(shù)對(duì)數(shù)據(jù)包進(jìn)行處理。網(wǎng)絡(luò)中間件與Web 業(yè)務(wù)緊密耦合,能夠滿(mǎn)足運(yùn)營(yíng)商電信級(jí)的業(yè)務(wù)要求。隨著云平臺(tái)規(guī)模的不斷擴(kuò)大,專(zhuān)用中間件的部署需求不斷增加,導(dǎo)致傳統(tǒng)軟硬一體化的封閉式結(jié)構(gòu)功能單一、不靈活、價(jià)格昂貴的缺點(diǎn)逐漸顯現(xiàn)。然而,軟件定義網(wǎng)絡(luò)(Software Define Network,SDN)結(jié)合軟硬解耦原理對(duì)網(wǎng)絡(luò)功能進(jìn)行虛擬化。這種網(wǎng)絡(luò)功能虛擬化(Network Function Virtualization,NFV)使得網(wǎng)絡(luò)架構(gòu)更靈活、功能更豐富、價(jià)格更低廉,推動(dòng)云計(jì)算平臺(tái)的發(fā)展,加快了容器技術(shù)、虛擬交換機(jī)技術(shù)和網(wǎng)卡虛擬化技術(shù)的成熟和推廣。

    NFV 技術(shù)實(shí)現(xiàn)了軟硬件解耦,并且具有靈活的網(wǎng)絡(luò)部署和動(dòng)態(tài)擴(kuò)展的特點(diǎn)。傳統(tǒng)的NFV 平臺(tái)主要依靠虛擬機(jī)技術(shù),基于虛擬機(jī)的NFV 架構(gòu)能夠?qū)⒖臻g資源隔離,具有較優(yōu)的靈活性和按需分配性,但是虛擬機(jī)帶來(lái)的資源消耗較大[2]。例如,在NFV 開(kāi)放平臺(tái)(OPNFV)[3]框架下,使用OpenStack 虛擬機(jī)技術(shù)與OpenDaylight 構(gòu)建虛擬化基礎(chǔ)設(shè)施管理器,產(chǎn)生的資源消耗較大。

    容器技術(shù)是一種基于內(nèi)核命名空間的資源隔離技術(shù),近年來(lái),作為下一代虛擬化技術(shù)進(jìn)入快速普及階段。由于容器技術(shù)沒(méi)有硬件損失,因此具有接近裸機(jī)的性能。此外,容器技術(shù)的啟動(dòng)速度可以達(dá)到毫秒級(jí),因此在資源利用率和靈活部署方面有很大優(yōu)勢(shì)。采用容器技術(shù)構(gòu)建虛擬網(wǎng)絡(luò)功能能夠有效解決資源開(kāi)銷(xiāo)大的問(wèn)題[4-5]?;谌萜骷夹g(shù)構(gòu)建虛擬網(wǎng)絡(luò)功能通常采用Linux 自帶的橋接模式、overlay網(wǎng)絡(luò)或者虛擬交換機(jī)部署[6-7]。這種模式雖然可以實(shí)現(xiàn)流量轉(zhuǎn)發(fā),但是在跨主機(jī)情況下,流量經(jīng)過(guò)網(wǎng)卡需要兩次轉(zhuǎn)發(fā),導(dǎo)致延遲敏感型應(yīng)用產(chǎn)生較大的性能損失,并且CPU 的負(fù)載較大,導(dǎo)致帶寬下降。

    本文提出目標(biāo)感知的容器網(wǎng)絡(luò)用于NFV 長(zhǎng)鏈場(chǎng)景。結(jié)合硬件虛擬化技術(shù)和軟件模擬技術(shù)判斷流量的目的地址,尋找最優(yōu)的流量轉(zhuǎn)發(fā)路徑,優(yōu)化NFV場(chǎng)景下經(jīng)過(guò)每個(gè)業(yè)務(wù)節(jié)點(diǎn)的網(wǎng)絡(luò)延遲和吞吐量,同時(shí)利用基于腳本程序的自動(dòng)化部署模塊對(duì)每個(gè)節(jié)點(diǎn)業(yè)務(wù)進(jìn)行配置,便于用戶(hù)對(duì)網(wǎng)絡(luò)進(jìn)行管理和修改。

    1 相關(guān)工作

    在NFV 部署中,NFV 服務(wù)鏈的優(yōu)化技術(shù)和網(wǎng)絡(luò)I/O 虛擬化技術(shù)是影響網(wǎng)絡(luò)性能最直接的因素。

    在NFV 服務(wù)鏈的優(yōu)化技術(shù)方面,文獻(xiàn)[8]將整條服務(wù)鏈的網(wǎng)絡(luò)功能拆分成若干個(gè)子模塊,消除原有服務(wù)鏈中的冗余模塊,加快服務(wù)鏈的處理速度。文獻(xiàn)[9]通過(guò)拷貝、合并等方式對(duì)原有的串行處理且無(wú)依賴(lài)關(guān)系的網(wǎng)絡(luò)功能進(jìn)行并行化包處理,優(yōu)化整條服務(wù)鏈的延遲和吞吐量性能。文獻(xiàn)[10]提出IETF(Internet Engineering Task Force),在云數(shù)據(jù)中心通過(guò)優(yōu)化虛擬網(wǎng)絡(luò)功能的調(diào)度完成時(shí)間來(lái)減少延遲。

    現(xiàn)有的網(wǎng)絡(luò)I/O 虛擬化技術(shù)分為單根I/O 虛擬化(Single Root I/O Virtualization,SR-IOV)技術(shù)、軟件模擬虛擬化技術(shù)和網(wǎng)卡直通技術(shù)。SR-IOV 技術(shù)是由PCI-SIG 制定的輸入輸出虛擬化標(biāo)準(zhǔn)[11],通過(guò)直接I/O 技術(shù)減少額外包復(fù)制帶來(lái)的性能損失,達(dá)到接近主機(jī)的性能。文獻(xiàn)[12]提出在標(biāo)準(zhǔn)X86 服務(wù)器上使用SR-IOV 技術(shù)部署虛擬化網(wǎng)絡(luò)功能,以達(dá)到提高吞吐量的目的。基于軟件模擬的網(wǎng)絡(luò)I/O 虛擬化技術(shù)又稱(chēng)虛擬交換機(jī)技術(shù)。虛擬交換機(jī)技術(shù)的工作原理與物理交換機(jī)類(lèi)似,其兩端分別連接著物理網(wǎng)卡和多塊虛擬網(wǎng)卡,同時(shí)虛擬交換機(jī)內(nèi)部會(huì)維護(hù)一張映射表,根據(jù)MAC 地址尋找對(duì)應(yīng)的虛擬機(jī)鏈路進(jìn)而完成數(shù)據(jù)轉(zhuǎn)發(fā)。文獻(xiàn)[13]提出一種虛擬交換機(jī)開(kāi)源軟件OpenVSwitch。文獻(xiàn)[14]對(duì)NFV 場(chǎng)景下虛擬交換機(jī)的性能進(jìn)行評(píng)估與分析。網(wǎng)卡直通技術(shù)使用硬件輔助虛擬化技術(shù),將宿主機(jī)中的物理PCI 設(shè)備直接分配給客戶(hù)機(jī)使用,客戶(hù)機(jī)以獨(dú)占方式訪(fǎng)問(wèn)該宿主機(jī)的PCI/PCI-E 設(shè)備[15]。文獻(xiàn)[16]對(duì)X86 的網(wǎng)卡直通技術(shù)進(jìn)行分析,指出物理網(wǎng)卡直通更容易受到“拒絕攻擊”,從而影響每個(gè)服務(wù)器的性能。由于網(wǎng)卡直通技術(shù)只能被一個(gè)虛擬機(jī)獨(dú)享,安全性也存在隱患,因此逐漸被單根虛擬化技術(shù)和軟件模擬虛擬化技術(shù)所取代。

    單根I/O 虛擬化技術(shù)和軟件模擬虛擬化技術(shù)已成為主流技術(shù),為容器提供網(wǎng)橋的功能。但是單根I/O虛擬化技術(shù)在主機(jī)內(nèi)部傳輸方面比軟件模擬虛擬化技術(shù)性能差,而單根虛擬化技術(shù)在跨主機(jī)的性能要優(yōu)于軟件模擬虛擬化技術(shù)。在NFV 長(zhǎng)鏈的場(chǎng)景下,需要同時(shí)采用主機(jī)內(nèi)部的傳輸和主機(jī)外部的傳輸,使用單一某種技術(shù)難以滿(mǎn)足NFV 長(zhǎng)鏈場(chǎng)景的需求。針對(duì)上述問(wèn)題,本文提出一種目標(biāo)感知的容器網(wǎng)絡(luò),通過(guò)優(yōu)化SR-IOV 技術(shù)在NFV 場(chǎng)景下的性能,降低NFV 場(chǎng)景下網(wǎng)絡(luò)的延遲并且提高網(wǎng)絡(luò)吞吐量。

    2 目標(biāo)感知的容器網(wǎng)絡(luò)

    目標(biāo)感知的容器網(wǎng)絡(luò)設(shè)計(jì)方案主要是對(duì)硬件虛擬化進(jìn)行改進(jìn)。傳統(tǒng)的SR-IOV[17]技術(shù)是通過(guò)驅(qū)動(dòng)把單一的物理網(wǎng)卡虛擬出獨(dú)立的虛擬網(wǎng)卡,并通過(guò)驅(qū)動(dòng)將網(wǎng)卡劃分為多個(gè)地址段。SR-IOV 技術(shù)主要有虛擬功能(Virtualization Function,VF)和物理功能(Physical Function,PF)。SR-IOV 技術(shù)原理示意圖如圖1 所示。

    圖1 SR-IOV 技術(shù)原理示意圖Fig.1 Schematic diagram of SR-IOV technology principle

    SR-IOV 技術(shù)主要分為3 層,最底層是支持SR-IOV 技術(shù)的硬件網(wǎng)卡,中間層是操作系統(tǒng)內(nèi)核,最上層是提供某種服務(wù)的容器。SR-IOV 技術(shù)的原理是網(wǎng)卡通過(guò)SR-IOV 技術(shù)虛擬出多個(gè)虛擬功能,虛擬出的VF 可以跨過(guò)操作系統(tǒng)內(nèi)核直接分配給提供某種服務(wù)的容器,但是在NFV 級(jí)聯(lián)的場(chǎng)景下,單獨(dú)使用SR-IOV 技術(shù)會(huì)導(dǎo)致其性能下降,因此針對(duì)NFV場(chǎng)景,本文設(shè)計(jì)目標(biāo)感知的容器網(wǎng)絡(luò)。

    在NFV 場(chǎng)景下需要將各容器相互級(jí)聯(lián),但是對(duì)于圖1 的設(shè)計(jì),單獨(dú)使用SR-IOV 技術(shù)的網(wǎng)絡(luò)性能會(huì)出現(xiàn)瓶頸。因此,為解決SR-IOV 技術(shù)在NFV 場(chǎng)景下的性能瓶頸問(wèn)題,本文提出目標(biāo)感知的容器網(wǎng)絡(luò),其結(jié)構(gòu)如圖2 所示。

    圖2 目標(biāo)感知的容器網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of container network for target perception

    該網(wǎng)絡(luò)結(jié)構(gòu)的最頂層是使用容器技術(shù)把每個(gè)NFV 獨(dú)立應(yīng)用分別放在不同的容器中,使得容器之間的應(yīng)用相互隔離,如果需要某種應(yīng)用,可以直接使用特定功能的容器鏡像,以便于維護(hù),例如容器應(yīng)用支持防火墻、深度包檢測(cè)、網(wǎng)絡(luò)地址轉(zhuǎn)換和負(fù)載均衡等功能。本文網(wǎng)絡(luò)利用SR-IOV 技術(shù)跨過(guò)操作系統(tǒng)內(nèi)核,通過(guò)軟交換實(shí)現(xiàn)容器與容器之間的交互,因此在網(wǎng)卡流量發(fā)送到主機(jī)時(shí)需要判斷流量發(fā)送位置。當(dāng)網(wǎng)卡跨過(guò)操作系統(tǒng)內(nèi)核到容器的網(wǎng)絡(luò)中間件時(shí),目標(biāo)感知的容器網(wǎng)絡(luò)通過(guò)轉(zhuǎn)發(fā)模塊判斷目標(biāo)的目的地址,通過(guò)目的地址判斷網(wǎng)絡(luò)流量的方向,之后提交給最頂層。

    2.1 轉(zhuǎn)發(fā)模塊

    目標(biāo)感知的容器網(wǎng)絡(luò)結(jié)合網(wǎng)絡(luò)地址轉(zhuǎn)換(NAT)和OpenFlow[18-19]對(duì)轉(zhuǎn)發(fā)模塊進(jìn)行設(shè)計(jì),主要依據(jù)軟件虛擬技術(shù)實(shí)現(xiàn)流量轉(zhuǎn)發(fā)。OpenVSwitch 是目前主流的軟件模擬技術(shù),它提供OpenFlow 協(xié)議并且OpenVSwitch 的轉(zhuǎn)發(fā)性能比Linux 下的網(wǎng)橋模式較優(yōu)。因此,轉(zhuǎn)發(fā)模塊使用基于NAT 和OpenVSwitch的網(wǎng)絡(luò)設(shè)計(jì)實(shí)現(xiàn)流量的轉(zhuǎn)發(fā)。當(dāng)前轉(zhuǎn)發(fā)分為單根虛擬化的虛擬網(wǎng)卡和OpenVSwitch 的虛擬網(wǎng)卡2 個(gè)方向。流量轉(zhuǎn)發(fā)會(huì)判斷發(fā)送的目的地址是否在NFV長(zhǎng)鏈中,如果在NFV 長(zhǎng)鏈中,轉(zhuǎn)發(fā)模塊將流量提交到上層并對(duì)數(shù)據(jù)包進(jìn)行處理,例如深度包檢測(cè)或者負(fù)載均衡等服務(wù),如果不在NFV 長(zhǎng)鏈中,轉(zhuǎn)發(fā)模塊就會(huì)丟棄該流量。轉(zhuǎn)發(fā)模塊還可以根據(jù)用戶(hù)輸入的OpenFlow 語(yǔ)法更改路徑,使用戶(hù)調(diào)整轉(zhuǎn)發(fā)路徑,實(shí)現(xiàn)靈活轉(zhuǎn)發(fā),即可以對(duì)容器的流量進(jìn)行靈活規(guī)劃。

    2.2 自動(dòng)化部署模塊

    本文網(wǎng)絡(luò)在原有的基礎(chǔ)上增加了軟件交換技術(shù)和轉(zhuǎn)發(fā)模塊配置,因此提高了部署的復(fù)雜性。為便于部署,本文使用基于腳本程序的自動(dòng)化部署方案,無(wú)需手動(dòng)干預(yù),并且對(duì)每個(gè)節(jié)點(diǎn)業(yè)務(wù)進(jìn)行配置。配置包括整體網(wǎng)絡(luò)框架配置、轉(zhuǎn)發(fā)模塊配置、網(wǎng)絡(luò)中間件設(shè)計(jì)以及服務(wù)節(jié)點(diǎn)設(shè)計(jì)。自動(dòng)化部署序列圖如圖3 所示。

    圖3 自動(dòng)化部署序列圖Fig.3 Sequence diagram of automatic deployment

    自動(dòng)化部署模塊主要分為3 個(gè)部分:1)部署選擇,主要是配置容器環(huán)境以及虛擬交換機(jī)和單根虛擬化;2)部署的環(huán)境配置,當(dāng)用戶(hù)啟動(dòng)自動(dòng)化部署模塊時(shí),自動(dòng)化部署會(huì)讓用戶(hù)選擇自動(dòng)化部署模式,進(jìn)而選擇中間件,例如容器提供的服務(wù)(防火墻服務(wù)、深度包檢測(cè)服務(wù)、負(fù)載均衡服務(wù)、網(wǎng)頁(yè)服務(wù)以及無(wú)服務(wù)等);3)對(duì)轉(zhuǎn)發(fā)模塊進(jìn)行配置,轉(zhuǎn)發(fā)模塊分為使用網(wǎng)絡(luò)地址轉(zhuǎn)換和使用OpenFlow 協(xié)議自定義轉(zhuǎn)換。轉(zhuǎn)發(fā)模塊配置完成之后,整體網(wǎng)絡(luò)實(shí)現(xiàn)自動(dòng)化部署。

    自動(dòng)化部署模塊的整體架構(gòu)如圖4 所示。從圖4 可以看出,最底層使用SR-IOV 技術(shù)生成虛擬網(wǎng)卡,應(yīng)用層使用Docker 容器技術(shù),系統(tǒng)內(nèi)核層中的軟交換使用OpenVSwitch。自動(dòng)化部署模塊能夠自動(dòng)配置轉(zhuǎn)發(fā)模塊規(guī)則以及整體的網(wǎng)絡(luò)拓?fù)洹?/p>

    圖4 自動(dòng)化部署模塊的整體架構(gòu)Fig.4 Overall architecture of automatic deployment module

    3 實(shí)驗(yàn)與結(jié)果分析

    3.1 實(shí)驗(yàn)環(huán)境與配置

    本文使用兩個(gè)測(cè)試工具,分別是對(duì)網(wǎng)絡(luò)性能進(jìn)行測(cè)試的Netperf[20]和對(duì)請(qǐng)求數(shù)進(jìn)行測(cè)試的Apache Benchmark,測(cè)試的內(nèi)容為長(zhǎng)鏈NFV 的網(wǎng)絡(luò)延遲帶寬和每秒請(qǐng)求數(shù)。

    Web 服務(wù)器軟件Apache2 網(wǎng)頁(yè)應(yīng)用和Haproxy[21]負(fù)載均衡應(yīng)用主要是用于測(cè)試負(fù)載。Haproxy 具有較高的可用性和負(fù)載均衡能力,適用于負(fù)載大的Web 站點(diǎn)。

    本文選擇Docker容器[22-23],在容器中運(yùn)行Netperf 網(wǎng)絡(luò)性能評(píng)測(cè)工具,主要針對(duì)TCP 或UDP 的傳輸,針對(duì)不同應(yīng)用進(jìn)行不同模式的網(wǎng)絡(luò)性能測(cè)試。軟件虛擬化使用開(kāi)源OpenVSwitch,硬件虛擬化使用SR-IOV 技術(shù)。本文實(shí)驗(yàn)的硬件環(huán)境采用型號(hào)Intel E5620 X2 和主頻2.4 GHz 的CPU,內(nèi)存16 GB,內(nèi)存頻率1 333 MHz,型號(hào)82599 和帶寬為10 Gb/s的網(wǎng)卡。

    本文實(shí)驗(yàn)的基本環(huán)境是使用2 臺(tái)服務(wù)器。每臺(tái)服務(wù)器有2 個(gè)主頻2.4 GHz 的E 5620 處理器,使用Intel 82599 網(wǎng)卡,選擇Centos 系統(tǒng)。

    3.2 實(shí)驗(yàn)設(shè)計(jì)

    本文配置了SR-IOV 和OpenVSwitch 的實(shí)驗(yàn)環(huán)境,并在容器中運(yùn)行Netperf 應(yīng)用、防火墻、Apache2網(wǎng)頁(yè)和Haproxy 負(fù)載均衡應(yīng)用。目標(biāo)感知的容器網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖5 所示。

    圖5 目標(biāo)感知的容器網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)Fig.5 Topology structure of container network for target perception

    在NFV 長(zhǎng)鏈下,如果外部請(qǐng)求需要訪(fǎng)問(wèn)Apache2 網(wǎng)頁(yè),經(jīng)過(guò)NAT、Haproxy、防火墻等一系列長(zhǎng)鏈服務(wù)才能夠請(qǐng)求成功。在這種情景下,如果單獨(dú)使用SR-IOV 會(huì)存在一定的不足,但是目標(biāo)感知的容器網(wǎng)絡(luò)可以解決這個(gè)問(wèn)題。

    當(dāng)外部只訪(fǎng)問(wèn)NFV 長(zhǎng)鏈中的某一個(gè)應(yīng)用時(shí),本文網(wǎng)絡(luò)能夠解決OpenVSwitch 經(jīng)過(guò)操作系統(tǒng)內(nèi)核后性能降低的問(wèn)題。

    本文網(wǎng)絡(luò)主要使用內(nèi)網(wǎng)轉(zhuǎn)發(fā)技術(shù),在容器中增加兩個(gè)網(wǎng)卡,外部提供訪(fǎng)問(wèn)的網(wǎng)卡使用SR-IOV 網(wǎng)卡,內(nèi)部使用OpenVSwitch 網(wǎng)卡,通過(guò)內(nèi)網(wǎng)轉(zhuǎn)發(fā)將OpenVSwitch 網(wǎng)卡相連接。從圖5 可以看出,當(dāng)外部訪(fǎng)問(wèn)時(shí),在整個(gè)長(zhǎng)鏈NFV 的請(qǐng)求中選擇一條最優(yōu)的路徑。當(dāng)外部請(qǐng)求NFV 長(zhǎng)鏈中的某一項(xiàng)服務(wù)時(shí),可以抽象為圖5 的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),這種情況通常出現(xiàn)在排查網(wǎng)絡(luò)故障和內(nèi)部數(shù)據(jù)維護(hù)的時(shí)候。

    3.3 實(shí)驗(yàn)結(jié)果

    首先搭建SR-IOV 與OpenVSwitch 的環(huán)境,分別在SR-IOV 和OpenVSwitch 環(huán)境下部署不同應(yīng)用,使用Netperf 和Apache Benchmark 壓力測(cè)試工具進(jìn)行精確測(cè)試并分析SR-IOV 的性能;然后部署SR-IOV與OpenVSwitch 混合策略,與未優(yōu)化前的數(shù)據(jù)進(jìn)行對(duì)比,在NFV 長(zhǎng)鏈下,對(duì)目標(biāo)感知容器網(wǎng)絡(luò)技術(shù)與單獨(dú)的SR-IOV 與OpenVSwitch 技術(shù)的性能進(jìn)行對(duì)比。

    在對(duì)外提供服務(wù)的場(chǎng)景中,網(wǎng)絡(luò)需要訪(fǎng)問(wèn)NFV長(zhǎng)鏈中的所有節(jié)點(diǎn),以保證服務(wù)的安全性和完整性。

    3.3.1 延遲測(cè)試

    本文使用Netperf 測(cè)試工具分別測(cè)試SR-IOV 網(wǎng)絡(luò)、OpenVSwitch 網(wǎng)絡(luò)和本文網(wǎng)絡(luò)的延遲。每個(gè)實(shí)驗(yàn)測(cè)試次數(shù)為10 次,最終結(jié)果為10 次的平均值,測(cè)試結(jié)果如圖6 所示。

    圖6 NFV 長(zhǎng)鏈下不同網(wǎng)絡(luò)的Netperf 延遲測(cè)試結(jié)果對(duì)比Fig.6 Netperf delay test results comparison among different networks in NFV long chain

    從圖6 可以看出,在NFV 長(zhǎng)鏈下,單獨(dú)使用SR-IOV 技術(shù)的網(wǎng)絡(luò)延遲為 9.745 ms,使 用OpenVSwitch 技術(shù)的網(wǎng)絡(luò)延遲為7.406 ms,使用本文技術(shù)得到的網(wǎng)絡(luò)延遲為7.637 ms。因此,本文網(wǎng)絡(luò)性能比單獨(dú)的SR-IOV 性能提高21.6%。在NFV 長(zhǎng)鏈的應(yīng)用場(chǎng)景中,OpenVSwitch 技術(shù)的延遲最優(yōu),本文網(wǎng)絡(luò)與OpenVSwitch 持平。

    3.3.2 NFV 長(zhǎng)鏈下每秒請(qǐng)求數(shù)測(cè)試

    本文在NFV 長(zhǎng)鏈應(yīng)用場(chǎng)景下,使用Apache Benchmark 對(duì)SR-IOV、OpenVSwitch 和本文網(wǎng)絡(luò)進(jìn)行請(qǐng)求數(shù)測(cè)試,測(cè)試結(jié)果如圖7 所示。

    圖7 不同網(wǎng)絡(luò)的每秒請(qǐng)求數(shù)測(cè)試結(jié)果Fig.7 Test results of requests per second for different networks

    從圖7 可以看出,在Apache Benchmark 的負(fù)載下,當(dāng)本文訪(fǎng)問(wèn)NFV 長(zhǎng)鏈服務(wù)時(shí),其請(qǐng)求數(shù)是每秒12 718 個(gè),OpenVSwitch 網(wǎng)絡(luò)的每秒請(qǐng)求數(shù)12 812 個(gè),SR-IOV 網(wǎng)絡(luò)的每秒請(qǐng)求數(shù)10 310 個(gè)。在NFV 長(zhǎng)鏈的應(yīng)用場(chǎng)景下,SR-IOV 的每秒請(qǐng)求數(shù)是最差的,本文網(wǎng)絡(luò)的每秒請(qǐng)求數(shù)與OpenVSwitch 持平,本文網(wǎng)絡(luò)比SR-IOV 性能提高了23.35%。

    3.3.3 某一項(xiàng)服務(wù)延遲測(cè)試

    在Netperf 負(fù)載下,不同網(wǎng)絡(luò)訪(fǎng)問(wèn)NFV 長(zhǎng)鏈中某一項(xiàng)服務(wù)的延遲對(duì)比如圖8 所示。

    圖8 不同網(wǎng)絡(luò)訪(fǎng)問(wèn)NFV 長(zhǎng)鏈某一項(xiàng)服務(wù)的延遲對(duì)比Fig.8 Comparison of delay of accessing a service in NFV long chain by different networks

    從圖8 可以看出,當(dāng)訪(fǎng)問(wèn)NFV 長(zhǎng)鏈某一項(xiàng)服務(wù)時(shí),SR-IOV 的延遲為1 983 μs,OpenVSwitch 的延遲為2 312 μs,本文網(wǎng)絡(luò)的延遲為1 964 μs。因此,當(dāng)訪(fǎng)問(wèn)單獨(dú)服務(wù)時(shí),OpenVSwitch 的性能最差,本文網(wǎng)絡(luò)的性能與SR-IOV 的性能持平。

    3.3.4 某一項(xiàng)服務(wù)的請(qǐng)求數(shù)測(cè)試

    本文實(shí)驗(yàn)對(duì)NFV 長(zhǎng)鏈中單獨(dú)Apache2 服務(wù)進(jìn)行請(qǐng)求數(shù)測(cè)試,測(cè)試結(jié)果如圖9 所示。

    圖9 不同網(wǎng)絡(luò)的Apache2 服務(wù)請(qǐng)求數(shù)Fig.9 The number of Apache2 service requests of different networks

    從圖9 可以看出,在Apache Benchmark 負(fù)載下,本文網(wǎng)絡(luò)訪(fǎng)問(wèn)單獨(dú)服務(wù)的請(qǐng)求數(shù)是每秒50 937 個(gè),OpenVSwitch 的每秒請(qǐng)求數(shù)是45 068 個(gè),SR-IOV 的每秒請(qǐng)求數(shù)是50 132 個(gè)。本文在訪(fǎng)問(wèn)單獨(dú)服務(wù)時(shí)與SR-IOV 的結(jié)果持平。

    綜上可知,本文網(wǎng)絡(luò)在長(zhǎng)鏈NFV 下的性能優(yōu)于單獨(dú)使用SR-IOV 和OpenVSwitch 的性能,并且綜合OpenVSwitch 和SR-IOV 的優(yōu)點(diǎn)。在長(zhǎng)鏈NFV 中,本文網(wǎng)絡(luò)比SR-IOV 的性能提高約20%,在直通訪(fǎng)問(wèn)時(shí),本文網(wǎng)絡(luò)比軟件模擬網(wǎng)絡(luò)性能提高15%。

    4 結(jié)束語(yǔ)

    針對(duì)網(wǎng)絡(luò)功能虛擬化場(chǎng)景下網(wǎng)絡(luò)I/O 性能瓶頸,本文設(shè)計(jì)一種目標(biāo)感知的高性能容器網(wǎng)絡(luò),通過(guò)轉(zhuǎn)發(fā)模塊和基于腳本程序的自動(dòng)化部署模塊,尋找最優(yōu)的流量轉(zhuǎn)發(fā)路徑,并對(duì)每個(gè)節(jié)點(diǎn)進(jìn)行業(yè)務(wù)配置,實(shí)現(xiàn)容器網(wǎng)絡(luò)流量的靈活轉(zhuǎn)發(fā),便于用戶(hù)對(duì)網(wǎng)絡(luò)進(jìn)行管理和修改。實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的容器網(wǎng)絡(luò)能夠有效提高NFV 長(zhǎng)鏈場(chǎng)景下的網(wǎng)絡(luò)性能,為解決數(shù)據(jù)中心網(wǎng)絡(luò)I/O 虛擬化問(wèn)題提供新思路。下一步將在單根I/O 虛擬化技術(shù)的基礎(chǔ)上增加OpenFlow 流量轉(zhuǎn)發(fā)規(guī)則,以提高平臺(tái)流量轉(zhuǎn)發(fā)的效率。

    猜你喜歡
    長(zhǎng)鏈網(wǎng)卡虛擬化
    在DDS 中間件上實(shí)現(xiàn)雙冗余網(wǎng)卡切換的方法
    長(zhǎng)鏈非編碼RNA APTR、HEIH、FAS-ASA1、FAM83H-AS1、DICER1-AS1、PR-lncRNA在肺癌中的表達(dá)
    基于OpenStack虛擬化網(wǎng)絡(luò)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
    電子制作(2019年10期)2019-06-17 11:45:10
    Server 2016網(wǎng)卡組合模式
    對(duì)基于Docker的虛擬化技術(shù)的幾點(diǎn)探討
    電子制作(2018年14期)2018-08-21 01:38:20
    虛擬化技術(shù)在計(jì)算機(jī)技術(shù)創(chuàng)造中的應(yīng)用
    存儲(chǔ)虛擬化還有優(yōu)勢(shì)嗎?
    長(zhǎng)鏈磷腈衍生物的制備及其在聚丙烯中的阻燃應(yīng)用
    挑戰(zhàn)Killer網(wǎng)卡Realtek網(wǎng)游專(zhuān)用Dragon網(wǎng)卡
    長(zhǎng)鏈非編碼RNA與腫瘤的相關(guān)研究進(jìn)展
    亚洲精品乱久久久久久| 亚洲精品中文字幕在线视频 | 十八禁国产超污无遮挡网站| 91久久精品国产一区二区三区| 国产熟女欧美一区二区| 精品99又大又爽又粗少妇毛片| av一本久久久久| 夜夜看夜夜爽夜夜摸| 91精品国产九色| 国产一区亚洲一区在线观看| 成年女人看的毛片在线观看| 久久久久性生活片| 黑人高潮一二区| 永久免费av网站大全| 亚洲三级黄色毛片| 91精品伊人久久大香线蕉| 婷婷色综合大香蕉| 久久久久久久久久成人| 美女高潮的动态| 午夜亚洲福利在线播放| 3wmmmm亚洲av在线观看| 三级经典国产精品| 午夜福利成人在线免费观看| 搡老妇女老女人老熟妇| 精品一区二区免费观看| 99热这里只有是精品50| 激情 狠狠 欧美| 国产毛片a区久久久久| av女优亚洲男人天堂| 一级毛片我不卡| av网站免费在线观看视频 | 三级毛片av免费| 免费av毛片视频| 亚洲最大成人中文| 亚洲一区高清亚洲精品| 国产一区二区亚洲精品在线观看| 熟女电影av网| 别揉我奶头 嗯啊视频| 日本免费a在线| 日韩伦理黄色片| 白带黄色成豆腐渣| 美女高潮的动态| 视频中文字幕在线观看| 在线观看一区二区三区| 网址你懂的国产日韩在线| 一级av片app| 亚洲av在线观看美女高潮| 人妻少妇偷人精品九色| 麻豆成人午夜福利视频| av在线老鸭窝| 日韩av在线大香蕉| 久久人人爽人人爽人人片va| 婷婷色综合大香蕉| 大话2 男鬼变身卡| 伊人久久精品亚洲午夜| 青春草视频在线免费观看| 久热久热在线精品观看| 午夜精品在线福利| 国产免费视频播放在线视频 | 如何舔出高潮| 六月丁香七月| 狂野欧美激情性xxxx在线观看| 国产伦精品一区二区三区视频9| 91午夜精品亚洲一区二区三区| 99久久九九国产精品国产免费| 午夜久久久久精精品| 麻豆av噜噜一区二区三区| 一二三四中文在线观看免费高清| 亚洲一级一片aⅴ在线观看| 国产 一区精品| 国产精品久久久久久久电影| 国产午夜精品一二区理论片| 国产亚洲av片在线观看秒播厂 | 国产精品伦人一区二区| 亚洲精品国产成人久久av| 日本wwww免费看| 91久久精品国产一区二区成人| h日本视频在线播放| 在线观看人妻少妇| 国产淫片久久久久久久久| 亚洲真实伦在线观看| 亚洲,欧美,日韩| 国产精品国产三级国产专区5o| 少妇的逼好多水| 少妇高潮的动态图| 18+在线观看网站| 国产乱人偷精品视频| 极品教师在线视频| 国产精品一区www在线观看| 美女内射精品一级片tv| 视频中文字幕在线观看| 久久久久久久久久黄片| 国产午夜精品久久久久久一区二区三区| 一级毛片黄色毛片免费观看视频| 看黄色毛片网站| 亚洲精品一区蜜桃| 国产视频内射| 国产精品久久久久久精品电影小说 | 99久久人妻综合| 一级二级三级毛片免费看| 22中文网久久字幕| 国产成人一区二区在线| 国产亚洲av片在线观看秒播厂 | 亚洲va在线va天堂va国产| 在线免费观看的www视频| 亚洲精品亚洲一区二区| 女人久久www免费人成看片| 99热全是精品| 舔av片在线| 亚洲自拍偷在线| 国产精品久久久久久久电影| 精品一区二区三卡| 超碰97精品在线观看| 国产精品久久视频播放| 亚洲av男天堂| 日韩一本色道免费dvd| 插逼视频在线观看| 精品国内亚洲2022精品成人| 日韩一区二区三区影片| 国产精品久久久久久精品电影| 成人欧美大片| 69av精品久久久久久| 我的老师免费观看完整版| 午夜激情欧美在线| 菩萨蛮人人尽说江南好唐韦庄| 中文字幕av在线有码专区| 六月丁香七月| 黄片wwwwww| 午夜视频国产福利| 一区二区三区免费毛片| 久久久久久久午夜电影| 国内揄拍国产精品人妻在线| 人人妻人人看人人澡| 一个人观看的视频www高清免费观看| 午夜福利网站1000一区二区三区| 麻豆av噜噜一区二区三区| 七月丁香在线播放| 免费大片黄手机在线观看| 久久久欧美国产精品| 又爽又黄a免费视频| 成年免费大片在线观看| 久久久久精品性色| 一区二区三区乱码不卡18| 国产黄色小视频在线观看| 超碰av人人做人人爽久久| 国国产精品蜜臀av免费| 亚洲综合色惰| 热99在线观看视频| 黄片wwwwww| 又大又黄又爽视频免费| 欧美日韩精品成人综合77777| 久久精品人妻少妇| 中文天堂在线官网| 国内精品美女久久久久久| 寂寞人妻少妇视频99o| 最近中文字幕2019免费版| 大陆偷拍与自拍| 国产精品一区二区在线观看99 | 欧美bdsm另类| 亚洲欧美精品专区久久| 人妻夜夜爽99麻豆av| 欧美xxⅹ黑人| 国产一级毛片七仙女欲春2| 全区人妻精品视频| 精品国产一区二区三区久久久樱花 | 欧美xxxx性猛交bbbb| 日韩欧美精品免费久久| 大片免费播放器 马上看| 一夜夜www| 少妇裸体淫交视频免费看高清| 深爱激情五月婷婷| av在线天堂中文字幕| 国产精品爽爽va在线观看网站| 午夜激情久久久久久久| 777米奇影视久久| 爱豆传媒免费全集在线观看| 美女主播在线视频| 在线观看一区二区三区| eeuss影院久久| eeuss影院久久| 亚洲欧美精品专区久久| 91午夜精品亚洲一区二区三区| 成人一区二区视频在线观看| 婷婷色综合www| 婷婷色综合大香蕉| 久久亚洲国产成人精品v| 精品一区二区三区视频在线| 亚洲美女视频黄频| av福利片在线观看| 午夜精品一区二区三区免费看| 天天躁日日操中文字幕| av国产免费在线观看| 国产毛片a区久久久久| 中文字幕制服av| 美女内射精品一级片tv| 夫妻午夜视频| 汤姆久久久久久久影院中文字幕 | av网站免费在线观看视频 | 日韩精品有码人妻一区| 五月伊人婷婷丁香| 免费av毛片视频| 亚洲一级一片aⅴ在线观看| 在线免费观看的www视频| 2018国产大陆天天弄谢| 久久久国产一区二区| 国产成人福利小说| av在线天堂中文字幕| 日日干狠狠操夜夜爽| 免费观看无遮挡的男女| 久久97久久精品| 欧美激情在线99| 国精品久久久久久国模美| 天天躁日日操中文字幕| 国模一区二区三区四区视频| 国产亚洲精品久久久com| 久久国内精品自在自线图片| 亚洲精品国产av成人精品| 18禁裸乳无遮挡免费网站照片| 日本欧美国产在线视频| 一本一本综合久久| 51国产日韩欧美| 中文在线观看免费www的网站| 久久鲁丝午夜福利片| 看非洲黑人一级黄片| 久久99热这里只有精品18| 国产精品一区二区三区四区久久| 国产国拍精品亚洲av在线观看| 欧美一区二区亚洲| 亚洲va在线va天堂va国产| 国产精品一区www在线观看| 三级国产精品片| 国产精品蜜桃在线观看| 午夜福利成人在线免费观看| 最近最新中文字幕大全电影3| 久久久欧美国产精品| 国产毛片a区久久久久| 九九在线视频观看精品| 在线观看av片永久免费下载| 人人妻人人澡欧美一区二区| 国产黄色视频一区二区在线观看| 狂野欧美激情性xxxx在线观看| 久久精品久久精品一区二区三区| 日本欧美国产在线视频| 国产欧美另类精品又又久久亚洲欧美| 国产成人91sexporn| 亚洲av成人av| 综合色av麻豆| 色综合亚洲欧美另类图片| 日韩一区二区视频免费看| 黄片wwwwww| 一二三四中文在线观看免费高清| 欧美极品一区二区三区四区| 久久草成人影院| 亚洲一区高清亚洲精品| 色尼玛亚洲综合影院| 久久久久久久久中文| 色5月婷婷丁香| 大陆偷拍与自拍| freevideosex欧美| 亚洲欧洲国产日韩| 亚洲欧洲日产国产| 精品人妻熟女av久视频| av在线亚洲专区| 国内少妇人妻偷人精品xxx网站| 亚洲精品日韩av片在线观看| 亚洲伊人久久精品综合| 亚洲内射少妇av| 超碰av人人做人人爽久久| 毛片女人毛片| 韩国高清视频一区二区三区| 国产综合懂色| 国产伦一二天堂av在线观看| av.在线天堂| 少妇人妻一区二区三区视频| 久久人人爽人人爽人人片va| 欧美日韩视频高清一区二区三区二| 97热精品久久久久久| 天堂俺去俺来也www色官网 | 99久久精品一区二区三区| 白带黄色成豆腐渣| 亚洲激情五月婷婷啪啪| 日韩强制内射视频| 三级毛片av免费| 特大巨黑吊av在线直播| 啦啦啦韩国在线观看视频| 女人久久www免费人成看片| 亚洲自拍偷在线| 久久久久久久久久黄片| 搡老妇女老女人老熟妇| 亚洲欧美中文字幕日韩二区| 亚洲成人一二三区av| 国产亚洲av片在线观看秒播厂 | 精品熟女少妇av免费看| 精品人妻视频免费看| 2018国产大陆天天弄谢| 国产精品久久久久久av不卡| 久久人人爽人人片av| 成年av动漫网址| 天堂av国产一区二区熟女人妻| 欧美不卡视频在线免费观看| 日韩精品青青久久久久久| 亚洲一级一片aⅴ在线观看| 观看美女的网站| 精品一区二区三区视频在线| 亚洲图色成人| 高清视频免费观看一区二区 | 欧美zozozo另类| 熟女人妻精品中文字幕| 国产大屁股一区二区在线视频| 久久久久免费精品人妻一区二区| 人体艺术视频欧美日本| 精品人妻视频免费看| 国产黄a三级三级三级人| 欧美成人a在线观看| 能在线免费观看的黄片| 免费黄频网站在线观看国产| 国产伦理片在线播放av一区| 国产精品综合久久久久久久免费| 男人舔女人下体高潮全视频| 91久久精品国产一区二区三区| 久久午夜福利片| 99久国产av精品国产电影| 女的被弄到高潮叫床怎么办| 国产日韩欧美在线精品| 欧美不卡视频在线免费观看| 国产精品一区二区性色av| av免费观看日本| 国产成人福利小说| 男女视频在线观看网站免费| 99热全是精品| 精品一区二区三卡| 人人妻人人澡人人爽人人夜夜 | 99热网站在线观看| 成人漫画全彩无遮挡| 在现免费观看毛片| 欧美高清性xxxxhd video| 91精品一卡2卡3卡4卡| 日韩欧美 国产精品| 亚洲国产av新网站| 亚洲av电影在线观看一区二区三区 | 色网站视频免费| 91aial.com中文字幕在线观看| 国产国拍精品亚洲av在线观看| 一个人观看的视频www高清免费观看| 久热久热在线精品观看| 国产精品不卡视频一区二区| 91久久精品电影网| 欧美精品国产亚洲| 婷婷色综合www| 精品亚洲乱码少妇综合久久| 久久久久国产网址| 肉色欧美久久久久久久蜜桃 | 看黄色毛片网站| 午夜福利在线观看免费完整高清在| 日本wwww免费看| 日日干狠狠操夜夜爽| 美女高潮的动态| 91精品一卡2卡3卡4卡| 午夜福利网站1000一区二区三区| 最近最新中文字幕免费大全7| 91精品伊人久久大香线蕉| 欧美丝袜亚洲另类| 黄色欧美视频在线观看| 亚洲欧美精品自产自拍| 国产欧美另类精品又又久久亚洲欧美| 亚洲国产精品成人综合色| 超碰97精品在线观看| 免费观看精品视频网站| 岛国毛片在线播放| 亚洲欧洲国产日韩| 18禁在线无遮挡免费观看视频| 高清毛片免费看| 欧美日韩综合久久久久久| 97人妻精品一区二区三区麻豆| 国产黄片视频在线免费观看| 欧美极品一区二区三区四区| av福利片在线观看| 亚洲精品乱久久久久久| 亚洲av免费高清在线观看| 成人一区二区视频在线观看| 日本黄大片高清| 日本猛色少妇xxxxx猛交久久| 水蜜桃什么品种好| av在线亚洲专区| 精品久久久久久久久亚洲| 一二三四中文在线观看免费高清| 九九爱精品视频在线观看| .国产精品久久| 久久久久久久久久黄片| 国产人妻一区二区三区在| 日韩欧美一区视频在线观看 | 男女边摸边吃奶| 欧美日韩视频高清一区二区三区二| 老女人水多毛片| 国产高潮美女av| 舔av片在线| 成人亚洲精品av一区二区| 久久久久久久久久人人人人人人| 国产 亚洲一区二区三区 | 色播亚洲综合网| 乱码一卡2卡4卡精品| 身体一侧抽搐| 淫秽高清视频在线观看| 蜜桃亚洲精品一区二区三区| 免费av不卡在线播放| 777米奇影视久久| 少妇人妻精品综合一区二区| 尾随美女入室| 亚洲欧美日韩无卡精品| 国产免费视频播放在线视频 | 又大又黄又爽视频免费| 成人无遮挡网站| 男女那种视频在线观看| 国产精品综合久久久久久久免费| 一级毛片久久久久久久久女| 成年av动漫网址| 日本-黄色视频高清免费观看| 亚洲精品乱久久久久久| 久久国内精品自在自线图片| 国产淫语在线视频| 午夜福利在线在线| 亚洲欧美日韩卡通动漫| 国产亚洲av片在线观看秒播厂 | 国产真实伦视频高清在线观看| 国产综合精华液| 成年免费大片在线观看| 欧美高清成人免费视频www| 美女大奶头视频| 午夜免费激情av| 国产午夜精品一二区理论片| 国产午夜精品久久久久久一区二区三区| 久久97久久精品| 国产精品麻豆人妻色哟哟久久 | 亚洲精品久久午夜乱码| 精品亚洲乱码少妇综合久久| 亚洲av日韩在线播放| 国产亚洲最大av| 又爽又黄无遮挡网站| 久久久久久久久久人人人人人人| 日日撸夜夜添| 国产精品一区www在线观看| 国产精品不卡视频一区二区| 男人舔女人下体高潮全视频| 午夜精品在线福利| 尾随美女入室| 免费av毛片视频| 国产中年淑女户外野战色| 特级一级黄色大片| 国产不卡一卡二| 性色avwww在线观看| 秋霞伦理黄片| 亚洲成人中文字幕在线播放| 午夜老司机福利剧场| 亚洲丝袜综合中文字幕| 亚洲精品乱码久久久久久按摩| 在线免费观看的www视频| 少妇熟女欧美另类| 免费无遮挡裸体视频| 久久久国产一区二区| 欧美3d第一页| av福利片在线观看| 国产成人福利小说| 婷婷色av中文字幕| 国产有黄有色有爽视频| 亚洲欧洲日产国产| 狠狠精品人妻久久久久久综合| 精品一区二区三区人妻视频| 久久久精品欧美日韩精品| 女的被弄到高潮叫床怎么办| 永久网站在线| 超碰av人人做人人爽久久| 亚洲在久久综合| www.色视频.com| 国产成人aa在线观看| 国产一区二区三区综合在线观看 | 少妇被粗大猛烈的视频| 一本久久精品| 久久精品国产亚洲av涩爱| 亚洲av成人av| 91精品国产九色| 麻豆久久精品国产亚洲av| 国产高清有码在线观看视频| 国产日韩欧美在线精品| 亚洲熟女精品中文字幕| 国产精品嫩草影院av在线观看| 内射极品少妇av片p| av又黄又爽大尺度在线免费看| 成人二区视频| 国产女主播在线喷水免费视频网站 | 啦啦啦中文免费视频观看日本| 啦啦啦韩国在线观看视频| 3wmmmm亚洲av在线观看| 亚洲国产色片| 精品酒店卫生间| 淫秽高清视频在线观看| 中文在线观看免费www的网站| 人人妻人人澡欧美一区二区| 国产亚洲av嫩草精品影院| 国产精品99久久久久久久久| 黑人高潮一二区| 国产91av在线免费观看| 男女边摸边吃奶| 亚洲国产最新在线播放| 国产伦一二天堂av在线观看| 亚洲18禁久久av| 免费黄网站久久成人精品| 国产黄色免费在线视频| 国内精品宾馆在线| 亚洲最大成人中文| 丰满乱子伦码专区| 国产高清三级在线| 少妇丰满av| 人妻系列 视频| 精品熟女少妇av免费看| 久久99热这里只频精品6学生| 啦啦啦啦在线视频资源| 久久精品久久久久久久性| 非洲黑人性xxxx精品又粗又长| 嫩草影院入口| 亚洲av男天堂| 2022亚洲国产成人精品| 蜜臀久久99精品久久宅男| 男人爽女人下面视频在线观看| 岛国毛片在线播放| 青青草视频在线视频观看| 精品久久久久久久人妻蜜臀av| 99久久中文字幕三级久久日本| 干丝袜人妻中文字幕| 久久热精品热| 久久国内精品自在自线图片| 国产毛片a区久久久久| 亚洲国产欧美人成| 精品久久久久久久久久久久久| 国产真实伦视频高清在线观看| 日韩 亚洲 欧美在线| 免费观看av网站的网址| 69av精品久久久久久| 亚洲性久久影院| 精品一区在线观看国产| 久久久a久久爽久久v久久| 亚洲欧美成人综合另类久久久| 女人被狂操c到高潮| 日韩一本色道免费dvd| 午夜免费激情av| 国产精品.久久久| 青青草视频在线视频观看| 美女被艹到高潮喷水动态| 97超视频在线观看视频| 欧美成人午夜免费资源| 久久久久精品久久久久真实原创| 18禁动态无遮挡网站| 日韩制服骚丝袜av| 国产综合懂色| 高清日韩中文字幕在线| 高清毛片免费看| 日韩精品有码人妻一区| 99热全是精品| 亚洲精品乱码久久久久久按摩| 亚洲av免费高清在线观看| 欧美激情久久久久久爽电影| 超碰av人人做人人爽久久| 少妇的逼水好多| 床上黄色一级片| 国产成人a区在线观看| 国产精品av视频在线免费观看| 久久久久久久大尺度免费视频| 深夜a级毛片| 亚洲成人一二三区av| 亚洲乱码一区二区免费版| 日韩 亚洲 欧美在线| 精品一区二区三区人妻视频| 亚洲高清免费不卡视频| 白带黄色成豆腐渣| 91久久精品国产一区二区成人| 免费看光身美女| 综合色丁香网| 特级一级黄色大片| av在线播放精品| 欧美不卡视频在线免费观看| 最近中文字幕高清免费大全6| 尾随美女入室| 中国国产av一级| 亚洲欧美成人精品一区二区| 国产男人的电影天堂91| 亚洲人成网站高清观看| 最近最新中文字幕免费大全7| 日韩欧美国产在线观看| 99热网站在线观看| 精品亚洲乱码少妇综合久久| 久久这里只有精品中国| 极品教师在线视频| 黄片wwwwww| 精品久久久久久成人av| 少妇被粗大猛烈的视频| 中文字幕亚洲精品专区| 国产不卡一卡二| 蜜桃久久精品国产亚洲av| 日韩精品有码人妻一区| 狠狠精品人妻久久久久久综合| 男人舔女人下体高潮全视频| 蜜桃亚洲精品一区二区三区| 哪个播放器可以免费观看大片| 久热久热在线精品观看| 五月伊人婷婷丁香| 成人二区视频| 日韩伦理黄色片| 内地一区二区视频在线| 色综合亚洲欧美另类图片| 日本三级黄在线观看| 又大又黄又爽视频免费| 精品亚洲乱码少妇综合久久| 亚洲综合色惰| 国产高清三级在线| xxx大片免费视频| 日韩视频在线欧美|