• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    NFV中單節(jié)點(diǎn)啟發(fā)式資源分配方法

    2020-06-09 07:21:08暢海峰楊雅婷
    計算機(jī)工程與應(yīng)用 2020年11期
    關(guān)鍵詞:占用率資源分配實例

    暢海峰,嵩 天,楊雅婷

    北京理工大學(xué) 計算機(jī)學(xué)院,北京100081

    1 引言

    網(wǎng)絡(luò)功能虛擬化[1](Network Functions Virtualization,NFV)的目標(biāo)在于:使用基于x86 的通用標(biāo)準(zhǔn)服務(wù)器代替?zhèn)鹘y(tǒng)網(wǎng)絡(luò)中的專用電信網(wǎng)元設(shè)備,通過虛擬化技術(shù)實現(xiàn)軟硬件解耦,使網(wǎng)絡(luò)功能不再依賴于專用硬件。

    然而,與傳統(tǒng)專用電信設(shè)備相比,將網(wǎng)絡(luò)功能(Network Functions,NFs)以軟件形式部署在虛擬環(huán)境中會導(dǎo)致網(wǎng)絡(luò)功能報文處理能力下降。虛擬化技術(shù)的固有性能損失會直接影響NFs性能。此外,基于通用設(shè)備的軟件NFs 與專用電信設(shè)備之間的報文處理能力仍存在較大差距。DPDK[2](Intel Data Plane Development Kit)是Intel 提供的數(shù)據(jù)平面開發(fā)工具集,專注于網(wǎng)絡(luò)數(shù)據(jù)包的高性能處理,已在很多場景中被用來加速虛擬網(wǎng)絡(luò)功能。

    NFV使用通用標(biāo)準(zhǔn)服務(wù)器作為統(tǒng)一計算平臺,在有限物理資源條件下,如何在合理分配資源的前提下部署虛擬網(wǎng)絡(luò)功能(Virtual Network Function,VNF),以滿足用戶各種業(yè)務(wù)需求,是網(wǎng)絡(luò)功能發(fā)展過程中重要的挑戰(zhàn)之一。現(xiàn)有網(wǎng)絡(luò)功能虛擬化資源分配的相關(guān)研究多數(shù)是從編排層面提出部署方案,決定VNFs 的物理部署位置。本文則考慮實際部署環(huán)節(jié),針對單物理節(jié)點(diǎn)部署多VNFs場景,采用DPDK加速虛擬網(wǎng)絡(luò)功能,并研究網(wǎng)絡(luò)功能虛擬化中的單節(jié)點(diǎn)資源分配問題(NFV Single Node Resource Allocation,NFV-SNRA)。

    2 網(wǎng)絡(luò)功能虛擬化發(fā)展現(xiàn)狀

    NFV將網(wǎng)絡(luò)功能從專用網(wǎng)元設(shè)備中抽象出來,以軟件形式實現(xiàn),并部署在通用標(biāo)準(zhǔn)服務(wù)器上,從而實現(xiàn)網(wǎng)絡(luò)功能的靈活部署。NFV架構(gòu)[3]由三部分構(gòu)成:網(wǎng)絡(luò)服務(wù)、網(wǎng)絡(luò)功能虛擬化基礎(chǔ)設(shè)施(Network Functions Virtualization Infrastructure,NFVI)以及網(wǎng)絡(luò)功能虛擬化管理和協(xié)調(diào)控制器。

    運(yùn)營商通過軟件方式定制網(wǎng)絡(luò)功能,通過組織一系列VNFs 實現(xiàn)特定的網(wǎng)絡(luò)服務(wù),從而更靈活快速地部署新服務(wù)。NFV 架構(gòu)使用通用標(biāo)準(zhǔn)服務(wù)器作為統(tǒng)一計算平臺,運(yùn)營商能夠更靈活高效地利用虛擬化基礎(chǔ)設(shè)施物理資源[4]。

    2.1 網(wǎng)絡(luò)功能虛擬化面臨的挑戰(zhàn)

    目前NFV已被學(xué)術(shù)界廣泛接受,具有美好的前景,但NFV技術(shù)整體上仍處于起步階段,在性能、資源分配等方均面臨挑戰(zhàn)。

    2.1.1 性能

    VNFs通常運(yùn)行在虛擬環(huán)境中,相較宿主設(shè)備,虛擬設(shè)備(例如,虛擬磁盤、虛擬網(wǎng)卡)的訪問性能明顯下降。Passthrough 技術(shù)可以支持虛擬機(jī)直接訪問外圍設(shè)備,提高虛擬機(jī)對外圍設(shè)備的訪問性能。但該技術(shù)下,設(shè)備以獨(dú)占方式分配給某個客戶域,無法在多客戶域之間共享。SR-IOV[5](Single Root I/O Virtualization)規(guī)范定義了一個標(biāo)準(zhǔn)化的硬件虛擬化機(jī)制,原生地支持多客戶機(jī)共享物理設(shè)備,使設(shè)備資源得到充分利用。

    網(wǎng)絡(luò)I/O 能力是VNF 性能的核心關(guān)鍵。傳統(tǒng)模式中,Linux 內(nèi)核態(tài)網(wǎng)卡驅(qū)動基于異步中斷模式處理網(wǎng)絡(luò)讀寫事件。DPDK 則采用用戶態(tài)網(wǎng)卡驅(qū)動基于輪詢(PMD)或者輪詢中斷混雜模式處理網(wǎng)絡(luò)讀寫事件。相較中斷方式,輪詢方式避免了上下文切換造成的性能損失。另一方面,用戶態(tài)PMD 驅(qū)動將網(wǎng)卡設(shè)備直接映射到用戶空間,通過旁路Linux內(nèi)核網(wǎng)絡(luò)協(xié)議棧,減少內(nèi)存拷貝次數(shù),進(jìn)而提升報文轉(zhuǎn)發(fā)能力。

    Passthrough 技術(shù)、SR-IOV 技術(shù)以及DPDK 從多個不同方面縮小了基于通用設(shè)備的VNF與專用電信設(shè)備之間的性能差距。

    2.1.2 資源分配

    網(wǎng)絡(luò)功能虛擬化資源分配問題[6-9](Network Functions Virtualization Resource Allocation,NFV-RA)一直是NFV發(fā)展過程中的研究熱點(diǎn)之一。相關(guān)研究以QoS、利潤最高、容錯、負(fù)載平衡、節(jié)省能源等為目標(biāo),同時考慮性能、能耗、安全等多方面因素,解決構(gòu)建虛擬網(wǎng)絡(luò)功能鏈[10-12]、部署虛擬網(wǎng)絡(luò)功能[13-15]、調(diào)度虛擬網(wǎng)絡(luò)功能[16]等方面的資源分配問題。

    其中,部署虛擬網(wǎng)絡(luò)功能階段解決如何將VNFs 映射到NFVI 中的物理節(jié)點(diǎn),虛擬網(wǎng)絡(luò)功能部署問題已被證明是NP 難問題。在網(wǎng)絡(luò)規(guī)模較小時,使用線性規(guī)劃能夠得到最優(yōu)解。但網(wǎng)絡(luò)規(guī)模越大,線性規(guī)劃模型越復(fù)雜,無法在可接受時間內(nèi)得到全局最優(yōu)解。使用啟發(fā)式算法或元啟發(fā)式算法能夠在線性時間內(nèi)得到近似最優(yōu)解。

    2.2 相關(guān)工作

    為解決網(wǎng)絡(luò)功能部署和編排問題,Chi 等[17]提出一種基于3-tire 樹形結(jié)構(gòu)的VNF 部署和流量調(diào)度算法。Cohen等[18]對VNF部署問題進(jìn)行線性約束建模,提出一種近似最優(yōu)的部署算法;Sang 等[19]將VNF 部署問題規(guī)約為集合覆蓋問題,基于貪心算法提出一種可驗證的高效部署方案。段通等[20]考慮硬件加速資源,提出一套VNF硬件加速資源編排機(jī)制。然而,上述研究都是從編排和部署方案層面分析NFV 資源分配問題,卻鮮有涉及VNF 具體部署環(huán)節(jié),即對于部署到同一個物理節(jié)點(diǎn)上的所有VNFs,如何更高效地共享該節(jié)點(diǎn)的物理資源。畢軍等[21]考慮VNF并行加速,根據(jù)網(wǎng)絡(luò)功能之間的依賴性,提出一個高性能編排框架,但仍屬于編排設(shè)計層面,未解決具體的節(jié)點(diǎn)資源分配問題。

    本文考慮實際部署環(huán)節(jié),針對單物理節(jié)點(diǎn)部署多VNFs場景,使用DPDK加速虛擬網(wǎng)絡(luò)功能,研究虛擬網(wǎng)絡(luò)功能的資源分配問題,使用最少的物理資源滿足所有VNFs性能需求。

    3 DPDK性能測試與分析

    通過實驗深入分析DPDK 對虛擬網(wǎng)絡(luò)功能的加速效果,測試內(nèi)核協(xié)議棧方式和DPDK方式的網(wǎng)絡(luò)包轉(zhuǎn)發(fā)性能及CPU資源消耗情況。

    基于2 臺配備有兩塊Intel?Xeon?E3-1220 v3 @3.10 GHz CPU,32 GB 內(nèi)存和一塊雙端口Intel?82599 10 Gbit網(wǎng)卡的服務(wù)器組成實驗平臺,進(jìn)行性能測試。虛擬機(jī)以Passthrough 方式獲得網(wǎng)卡的訪問權(quán)限。內(nèi)核協(xié)議棧發(fā)包程序采用Linux 內(nèi)核發(fā)包模塊pktgen,內(nèi)核協(xié)議棧收包程序基于libpcap實現(xiàn);DPDK收發(fā)包程序基于DPDK-16.11.3實現(xiàn)。

    圖1(a)為普通虛擬網(wǎng)絡(luò)功能配置結(jié)構(gòu),圖1(b)為經(jīng)過Passthrough、DPDK加速后的虛擬網(wǎng)絡(luò)功能配置結(jié)構(gòu)。普通配置結(jié)構(gòu)中,物理網(wǎng)卡和虛擬網(wǎng)卡均由Linux內(nèi)核驅(qū)動控制;后者以Passthrough方式將網(wǎng)卡直接分配給虛擬機(jī),并通過DPDK用戶態(tài)驅(qū)動將網(wǎng)卡直接映射到用戶空間。

    3.1 轉(zhuǎn)發(fā)性能測試

    網(wǎng)絡(luò)包發(fā)送測試結(jié)果如圖2所示。

    圖1 (a) 普通配置

    圖1 (b) 經(jīng)Passthrough和DPDK加速的配置

    圖2 不同包長的網(wǎng)絡(luò)包發(fā)送性能

    對比虛擬機(jī)中DPDK 和pktgen 的網(wǎng)絡(luò)包速發(fā)送速率。不同包長情況下,pktgen 發(fā)送速率均處于較低水平;而DPDK發(fā)送速率在不同包長情況下變化顯著。包長越小,pktgen與DPDK的性能差距越明顯。發(fā)送64 B小包時,DPDK 網(wǎng)絡(luò)包發(fā)送速率為pktgen 的7.7 倍。發(fā)送1 500 B 大包時,DPDK 發(fā)送速率提升約2.5%。實驗結(jié)果表明,在虛擬機(jī)中,包長越小,DPDK對網(wǎng)絡(luò)包發(fā)送性能提升越大,當(dāng)包長達(dá)到最大時,二者性能間幾乎不存在差距。

    對比物理機(jī)中DPDK 的網(wǎng)絡(luò)包發(fā)送速率與10 Gb鏈路的理論帶寬值。物理機(jī)中DPDK 的發(fā)送速率接近10 Gb鏈路的理論帶寬。最差情況是發(fā)送64 B小包,此時DPDK的發(fā)送速率為10 Gb鏈路理論帶寬的97.2%。實驗結(jié)果表明,物理機(jī)中DPDK 的發(fā)送速度幾乎達(dá)到10 Gb鏈路的理論帶寬。

    圖3 顯示libpcap 與DPDK 在不同環(huán)境、不同包長情況下的網(wǎng)絡(luò)包接收速率。與圖2 中規(guī)律相似,相較libpcap,DPDK 處理小包的優(yōu)勢明顯。在虛擬機(jī)中,DPDK接收64 B小包速率是libpcap的18倍。

    圖3 不同包長的網(wǎng)絡(luò)包接收性能

    上述實驗結(jié)果表明,DPDK能夠顯著提升虛擬網(wǎng)絡(luò)功能的網(wǎng)絡(luò)包轉(zhuǎn)發(fā)性能。

    3.2 CPU資源消耗測試

    測試pktgen和DPDK的CPU資源消耗情況,對比在虛擬環(huán)境中不同包長、不同發(fā)送速率情況下,兩種方式的CPU占用率。

    如圖4所示,pktgen的CPU占用率隨發(fā)送速率增加而升高,當(dāng)發(fā)送速率超過9.95 kp/s 時,其CPU 占用率為100%;DPDK的CPU占用率始終為100%。

    圖4 pktgen和DPDK的CPU占用率

    綜上,DPDK 能夠更好地處理高負(fù)載網(wǎng)絡(luò),但在處理低負(fù)載網(wǎng)絡(luò)時,CPU 有效利用率低?;谝陨习l(fā)現(xiàn),針對不同網(wǎng)絡(luò)負(fù)載大小,采用不同方式(Linux 內(nèi)核或DPDK)實現(xiàn)的VNF 實例。負(fù)載較低時,采用傳統(tǒng)基于Linux內(nèi)核實現(xiàn)的實例,使用較低CPU資源即可滿足網(wǎng)絡(luò)負(fù)載;負(fù)載較高時,傳統(tǒng)方式VNF實例的CPU占用率升高,并發(fā)生頻繁丟包,此時切換采用基于DPDK 實現(xiàn)的VNF實例。

    4 啟發(fā)式資源分配方法

    針對單物理節(jié)點(diǎn)部署多VNFs場景,如圖5所示,在考慮利用DPDK加速虛擬網(wǎng)絡(luò)功能的基礎(chǔ)上,提出一種基于貪心算法的啟發(fā)式資源分配方法,保證虛擬網(wǎng)絡(luò)功能性能的同時,降低CPU資源消耗。

    圖5 單節(jié)點(diǎn)部署多個VNFs

    針對網(wǎng)絡(luò)流量負(fù)載的潮汐現(xiàn)象,提出一種基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案,根據(jù)實時網(wǎng)絡(luò)負(fù)載自動切換VNF實例,滿足網(wǎng)絡(luò)負(fù)載需求的同時,降低CPU計算資源消耗。

    4.1 基于貪心算法的虛擬資源分配方法

    DPDK 能顯著提升VNF 的轉(zhuǎn)發(fā)性能,其CPU 親和性特點(diǎn)要求特定任務(wù)只在特定CPU 核上運(yùn)行。然而,普通部署方法中,虛擬CPU 核與物理CPU 核之間的對應(yīng)關(guān)系具有不確定性,這導(dǎo)致DPDK特定任務(wù)實際綁定的物理CPU 核不固定,違背了DPDK 的CPU 親和性原則,從而造成性能損失。

    基于上述發(fā)現(xiàn),提出一種基于貪心算法的啟發(fā)式資源分配算法,確定虛擬CPU與物理CPU的對應(yīng)關(guān)系,并在保證虛擬網(wǎng)絡(luò)功能性能需求的同時,將CPU 資源占用降低到最小。

    4.1.1 問題描述

    NFV-SNRA問題相關(guān)定義如下:

    (1)F={f1,f2,…,fm} ,F(xiàn) 表示部署在一個物理節(jié)點(diǎn)上的所有虛擬網(wǎng)絡(luò)功能集合。|F|=m ,表示該物理節(jié)點(diǎn)共部署m 個虛擬網(wǎng)絡(luò)功能。

    (2)R={r1,r2,…,rn},R 表示物理節(jié)點(diǎn)各CPU 核的計算資源量,可用CPU核數(shù)為n 個。

    (5)Xij表示是否將虛擬網(wǎng)絡(luò)功能fj部署在CPU核i 上,1表示是,0表示否。

    (6)L={l1,l2,…,ln},L 表示一個可行解,li表示CPU核i 上部署的虛擬網(wǎng)絡(luò)功能集合。

    (7)E(i)表示CPU 核i 上是否部署了虛擬網(wǎng)絡(luò)功能。若CPU 核i 沒有被分配給任何虛擬網(wǎng)絡(luò)功能,則E(i)為0;否則為1,表示CPU 核i 上至少部署了一個虛擬網(wǎng)絡(luò)功能。

    NFV-SNRA 所解決的問題是,在滿足所有VNF 需求的前提下占用最少CPU資源,形式化描述如下:

    目標(biāo):

    滿足:

    其中,公式(3)表示,部署在CPU核i 上所有虛擬網(wǎng)絡(luò)功能的CPU 需求量之和不超過該CPU 核的CPU 資源量。公式(4)表示,所有虛擬網(wǎng)絡(luò)功能都應(yīng)得到資源分配,即滿足所有虛擬網(wǎng)絡(luò)功能的CPU資源需求。目標(biāo)是使用最少CPU核。

    4.1.2 困難性分析

    集合覆蓋問題是一個經(jīng)典NP 難問題,通過將集合覆蓋問題規(guī)約到NFV-SNRA 問題,證明NFV-SNRA 問題是NP難類型。

    集合覆蓋問題中,集合U={e1,e2,…,em}共有m 個元素,Φ={u1,u2,…,un}是集合U 的n 個子集,Φ 中所有子集的并集等于集合U 。其目標(biāo)是使用最少子集ui,使其并集等于U 。

    以下證明NFV-SNRA是NP難問題。

    證明 給定一個集合覆蓋問題實例(U,Φ),構(gòu)造一個NFV-SNRA問題實例(F,S,C)。對集合U 中的每個元素ej,構(gòu)造一個虛擬網(wǎng)絡(luò)功能fj。對Φ 中的每個子集ui,構(gòu)造一個VNF集合li,表示在CPU核i 上部署集合li中的所有VNFs。集合S 表示CPU 核負(fù)載情況,si表示CPU 核i 當(dāng)前可用資源量。NFV-SNRA 問題的目標(biāo)是,使用最少CPU 核滿足所有VNFs 需求,即使用最少集合li覆蓋所有fj。這與集合覆蓋問題使用最少子集ui覆蓋U 中所有元素ej的目標(biāo)一致。由此證明,NFV-SNRA是NP難問題。

    4.1.3 基于貪心算法的啟發(fā)式資源分配算法

    對于集合覆蓋問題,貪心算法能夠在多項式時間內(nèi)得到近似最優(yōu)解,本節(jié)提出一種基于貪心算法的啟發(fā)式資源分配算法。

    假設(shè),某物理節(jié)點(diǎn)需部署m 個虛擬網(wǎng)絡(luò)功能,用集合F 表示。物理節(jié)點(diǎn)當(dāng)前CPU 負(fù)載為S0。各虛擬網(wǎng)絡(luò)功能的最大CPU 占用率為C0。集合L 表示CPU 資源分配方案,初始值為空。集合U 表示未被分配的虛擬網(wǎng)絡(luò)功能集合,初始值為F。

    基于貪心算法,每次選擇包含未分配VNFs 最多的集合,直到所有VNFs都得到資源分配。

    算法1 VNF-SNRA啟發(fā)式資源分配算法

    輸入:虛擬網(wǎng)絡(luò)功能集F、虛擬網(wǎng)絡(luò)功能最大CPU 占用率C0、物理節(jié)點(diǎn)CPU核負(fù)載情況S0。

    輸出:VNF資源分配方案L。

    1. 令集合Φ 為集合F 的所有子集集合。

    2. 對于Φ 中的元素uk,若所有CPU核si都無法滿足uk中所有VNFs的CPU需求之和,則將uk從Φ 中移除。

    3.令U 為未分配的VNFs 集合。初始化U=F。令li∈L,i=1,2,…,n 為空集。

    4. while U ≠? do

    5. 選擇元素個數(shù)最多的子集u*,依據(jù)S0判斷是否存在CPU 核能夠滿足u*中所有VNFs 的需求,若存在一個或多個滿足需求的CPU核,選擇數(shù)值最小的核i*。

    6. 令li*=u*,更新

    7. 更新集合Φ,刪除Φ中所有包含子集u*中元素的子集。

    8.更新集合U ,移除子集u*所包含的所有元素。

    9.end while

    4.2 基于網(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案

    由3.2節(jié)實驗結(jié)果可知,網(wǎng)絡(luò)負(fù)載較低時,傳統(tǒng)方式在保證VNF性能的同時,消耗CPU資源更少,但隨著網(wǎng)絡(luò)負(fù)載升高,傳統(tǒng)方式將消耗更多CPU資源,同時會產(chǎn)生可靠性問題,例如頻繁丟包;而DPDK 能更加可靠地處理高負(fù)載網(wǎng)絡(luò),但在網(wǎng)絡(luò)負(fù)載較低時,CPU 有效利用率低。

    綜上所述,考慮到網(wǎng)絡(luò)功能流量負(fù)載的潮汐現(xiàn)象,提出一種基于網(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案。網(wǎng)絡(luò)負(fù)載較低時,采用基于Linux 內(nèi)核方式的VNF 實例,以較少CPU資源處理低負(fù)載網(wǎng)絡(luò)。當(dāng)網(wǎng)絡(luò)負(fù)載超過一定閾值時,使用DPDK方式的VNF實例,高速處理網(wǎng)絡(luò)包?;诰W(wǎng)絡(luò)負(fù)載的VNF實例自動切換方案相關(guān)定義如下:(1)Ht={},表示t 時刻虛擬網(wǎng)絡(luò)功能fj的網(wǎng)絡(luò)負(fù)載。

    (2)H*={} ,表示虛擬網(wǎng)絡(luò)功能fj的實例切換閾值。

    切換VNF 實例后,該VNF 對應(yīng)的CPU 資源需求量隨之改變。更新集合C 后,根據(jù)算法1 對該節(jié)點(diǎn)的VNFs重新進(jìn)行資源分配。

    5 實驗與評估

    對單物理節(jié)點(diǎn)部署多VNFs 進(jìn)行模擬實驗,評估資源分配算法和自動切換方案的效果?;趦膳_配備有兩塊Intel?Xeon?E3-1220 v3@3.10 GHz CPU,32 GB內(nèi)存,一塊雙端口Intel?82599 10 Gbit網(wǎng)卡和一塊四端口Intel?I350 1 Gbit網(wǎng)卡的服務(wù)器組成實驗平臺,進(jìn)行模擬實驗。服務(wù)器運(yùn)行環(huán)境為CentOS7,使用KVM 虛擬化技術(shù)運(yùn)行VNF。

    5.1 資源分配算法評估

    在單節(jié)點(diǎn)啟發(fā)式資源分配算法實驗中,以一個物理節(jié)點(diǎn)部署6個VNF為例,每個VNF實例分別部署在獨(dú)立的虛擬機(jī)中。每個虛擬機(jī)分配4個CPU核,以Passthrough方式訪問網(wǎng)卡端口,其中VNF1和VNF2對應(yīng)萬兆網(wǎng)口,VNF3~VNF6 對應(yīng)千兆網(wǎng)口。以網(wǎng)絡(luò)包發(fā)送速率作為VNF性能測量指標(biāo)。

    實驗采用普通部署方法和算法1兩種方式進(jìn)行VNFs部署。對兩種不同的部署方法,分別進(jìn)行10次實驗,每次實驗持續(xù)10 min,記錄VNFs實例的網(wǎng)絡(luò)包發(fā)送速率,取10次實驗數(shù)據(jù)的平均值。

    實驗結(jié)果如圖6 所示,使用啟發(fā)式資源分配算法,VNF1的性能提高了30%,VNF2、VNF3和VNF4的性能提高了10%。普通部署方法中,由宿主操作系統(tǒng)決定虛擬CPU與物理CPU的綁定關(guān)系,但這種綁定并不固定,在綁定關(guān)系發(fā)生變化時,會產(chǎn)生上下文切換、cache 失效,從而造成性能損失。VNF5 和VNF6 的性能略有下降,但都不超過3%。需要說明的一點(diǎn)是,凡是完成部署的VNFs 實例,分配給VNFs 實例的CPU 資源總能滿足其當(dāng)前所需。

    圖6 兩種部署方案的VNF網(wǎng)絡(luò)包發(fā)送性能

    5.2 VNF實例自動切換方案評估

    在VNF 實例自動切換方案實驗中,發(fā)送端使用基于DPDK-16.11.3 實現(xiàn)的發(fā)包工具,模擬潮汐規(guī)律產(chǎn)生網(wǎng)絡(luò)流量,發(fā)送流量從100~600 kp/s潮汐變化,如圖7所示。接收端使用基于libpcap 和DPDK 實現(xiàn)的收包工具模擬VNF 實例,記錄虛擬網(wǎng)絡(luò)功能實例的網(wǎng)絡(luò)包接收速率、丟包率以及CPU占用率。

    圖7 發(fā)送端發(fā)送潮汐流量

    分別進(jìn)行以下三組實驗:

    (1)VNF實例全部采用libpcap方式實現(xiàn);

    (2)VNF實例全部采用DPDK方式實現(xiàn);

    (3)VNF實例根據(jù)流量負(fù)載自動切換。

    如表1 所示,數(shù)據(jù)包長為1 500 B 時,libpcap的最大接收速率為287 656 p/s,僅為10 Gb 鏈路理論帶寬的35.0%;當(dāng)數(shù)據(jù)包長為64 B 時,libpcap 的最大接收速率756 550 p/s 僅為10 Gb 鏈路理論帶寬的5.1%。本實驗以300 kp/s 作為切換閾值,確保VNF 實例能夠處理300 kp/s 以上的高速網(wǎng)絡(luò)。切換閾值可以根據(jù)具體場景、具體目標(biāo)進(jìn)行設(shè)置。

    表1 libpcap網(wǎng)絡(luò)包接收性能

    圖8 顯示接收端使用libpcap 方式VNF 實例的收包情況,負(fù)載為500~600 kp/s區(qū)間時,平均丟包率為16.9%;負(fù)載為100~200 kp/s區(qū)間時,平均丟包率為1.7%。

    圖8 接收端使用libpcap實現(xiàn)的VNF實例

    圖9 顯示接收端使用DPDK 方式VNF 實例的收包情況,在實驗期間均未發(fā)生網(wǎng)絡(luò)包丟失。

    圖9 接收端使用DPDK實現(xiàn)的VNF實例

    圖10 顯示接收端基于網(wǎng)絡(luò)負(fù)載自動切換VNF實例的收包情況。實驗中,切換閾值設(shè)為300 kp/s。網(wǎng)絡(luò)負(fù)載在100~200 kp/s區(qū)間時,采用libpcap方式實現(xiàn)的VNF實例;負(fù)載在500~600 kp/s 區(qū)間時,采用DPDK 方式實現(xiàn)的VNF 實例。實驗結(jié)果顯示,在高負(fù)載區(qū)間內(nèi)未發(fā)生網(wǎng)絡(luò)包丟失。

    圖10 接收端自動切換VNF實例

    圖11 為三種方式的CPU資源消耗情況。libpcap方式下,CPU 占用率隨網(wǎng)絡(luò)負(fù)載線性變化。DPDK 方式下,CPU 占用率始終為100%。自動切換方式下,使用libpcap方式VNF 實例時,CPU 占用率較低,使用DPDK方式VNF實例時,CPU占用率為100%。

    圖11 三種方式的CPU占用率

    基于上述實驗結(jié)果,得出以下結(jié)論:

    (1)網(wǎng)絡(luò)負(fù)載較高時,libpcap方式的VNF實例會消耗更多CPU資源,且伴隨頻繁丟包現(xiàn)象。

    (2)DPDK 方式實現(xiàn)的VNF 實例CPU 占用率始終為100%,在網(wǎng)絡(luò)負(fù)載較低時浪費(fèi)CPU資源。

    (3)自動切換方案在網(wǎng)絡(luò)負(fù)載較低時采用libpcap方式的VNF 實例,以較低CPU 資源消耗處理低負(fù)載網(wǎng)絡(luò);網(wǎng)絡(luò)負(fù)載較高時,采用DPDK 方式的VNF 實例,以較高CPU資源消耗高效處理高網(wǎng)絡(luò)負(fù)載,相較libpcap,性能提升了20%。

    綜上所述,本文所提基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案能夠在保證VNF 報文處理性能的同時,降低CPU資源消耗。

    6 結(jié)語

    首先分析了NFV技術(shù)在性能和資源分配方面遇到的挑戰(zhàn)。然后,通過實驗測試了DPDK 對VNF 的加速效果及對CPU 資源的利用情況。實驗結(jié)果顯示,在虛擬環(huán)境中使用DPDK,網(wǎng)絡(luò)包接收速率是傳統(tǒng)方法的18倍,網(wǎng)絡(luò)包發(fā)送速率是傳統(tǒng)方法的7.7倍。

    在此基礎(chǔ)上,針對單物理節(jié)點(diǎn)部署多VNFs場景,提出了一種基于貪心算法的啟發(fā)式資源分配算法。實驗結(jié)果顯示,所提算法能夠顯著提升VNF實例性能,提升10%~30%。

    考慮到網(wǎng)絡(luò)負(fù)載的潮汐現(xiàn)象,提出了一種基于網(wǎng)絡(luò)負(fù)載的VNF 實例自動切換方案。實驗結(jié)果顯示,該方案能夠在保證VNF 報文處理性能的同時,降低CPU 資源消耗,在高網(wǎng)絡(luò)負(fù)載情況下,VNF性能較普通方式提高了20%。

    總的來說,本文以高效利用物理節(jié)點(diǎn)CPU 計算資源為優(yōu)化目標(biāo)進(jìn)行方法設(shè)計。在未來的工作中,將會引入存儲資源、帶寬資源等其他資源因素,進(jìn)行更全面的資源分配研究。

    猜你喜歡
    占用率資源分配實例
    新研究揭示新冠疫情對資源分配的影響 精讀
    英語文摘(2020年10期)2020-11-26 08:12:20
    降低CE設(shè)備子接口占用率的研究與應(yīng)用
    魅力中國(2019年6期)2019-07-21 07:12:10
    一種基于價格競爭的D2D通信資源分配算法
    基于排隊論的區(qū)域路內(nèi)停車最優(yōu)泊位占用率研究
    完形填空Ⅱ
    完形填空Ⅰ
    OFDMA系統(tǒng)中容量最大化的資源分配算法
    阿朗CDMA尋呼信道瘦身增效優(yōu)化
    小而強(qiáng)大的音樂播放器.AirPlay
    動態(tài)規(guī)劃在資源分配中的應(yīng)用
    亚洲图色成人| 国产成人免费观看mmmm| 免费观看性生交大片5| 中文天堂在线官网| 不卡视频在线观看欧美| 乱人伦中国视频| 亚洲欧美一区二区三区国产| 青青草视频在线视频观看| 亚洲美女视频黄频| 国产在线免费精品| 国产免费又黄又爽又色| 国产精品嫩草影院av在线观看| 最近最新中文字幕免费大全7| 亚洲av二区三区四区| 欧美变态另类bdsm刘玥| 五月天丁香电影| 日韩成人av中文字幕在线观看| 桃花免费在线播放| 成人毛片60女人毛片免费| 亚洲美女搞黄在线观看| 人妻人人澡人人爽人人| 精品久久久久久久久av| 亚洲怡红院男人天堂| 亚洲精品自拍成人| 伦理电影大哥的女人| 欧美精品高潮呻吟av久久| 亚洲欧美日韩另类电影网站| 天堂8中文在线网| 日本wwww免费看| 欧美精品人与动牲交sv欧美| 在线播放无遮挡| 狠狠精品人妻久久久久久综合| 久久国内精品自在自线图片| 国产精品三级大全| 国产精品偷伦视频观看了| 国产精品一区二区三区四区免费观看| 精品亚洲成国产av| 日本欧美国产在线视频| 国产亚洲最大av| 日韩中字成人| 日韩av不卡免费在线播放| 久久久久久久久久成人| 久久久精品免费免费高清| 国产精品蜜桃在线观看| 秋霞在线观看毛片| 国产老妇伦熟女老妇高清| 黄色毛片三级朝国网站 | 亚洲欧美日韩卡通动漫| 久久99蜜桃精品久久| 成人国产av品久久久| a级一级毛片免费在线观看| 特大巨黑吊av在线直播| 热99国产精品久久久久久7| 免费观看性生交大片5| 狂野欧美激情性xxxx在线观看| 观看av在线不卡| 男的添女的下面高潮视频| 欧美最新免费一区二区三区| 中国美白少妇内射xxxbb| 欧美精品高潮呻吟av久久| 国产精品一二三区在线看| 亚洲va在线va天堂va国产| 一级二级三级毛片免费看| 精品久久久久久电影网| av免费观看日本| 久久久亚洲精品成人影院| 中文字幕亚洲精品专区| 久久99热6这里只有精品| 好男人视频免费观看在线| 校园人妻丝袜中文字幕| 色吧在线观看| 黄片无遮挡物在线观看| 国产黄片美女视频| 精品一区二区三卡| av黄色大香蕉| 丝袜在线中文字幕| 最近的中文字幕免费完整| 一本大道久久a久久精品| 国产免费视频播放在线视频| 在线观看国产h片| 18禁裸乳无遮挡动漫免费视频| 国产精品秋霞免费鲁丝片| h视频一区二区三区| 亚洲av综合色区一区| 欧美xxxx性猛交bbbb| 最后的刺客免费高清国语| 一级二级三级毛片免费看| 一级a做视频免费观看| 看非洲黑人一级黄片| 成人亚洲欧美一区二区av| 精品人妻熟女毛片av久久网站| 国产精品久久久久成人av| 国产黄片视频在线免费观看| 国产男人的电影天堂91| 一本—道久久a久久精品蜜桃钙片| 26uuu在线亚洲综合色| 欧美日韩视频精品一区| 国产极品天堂在线| 国产精品成人在线| 久久热精品热| 亚洲欧美一区二区三区黑人 | 婷婷成人精品国产| 人人澡人人妻人| 人人澡人人妻人| 亚洲色图综合在线观看| 丝袜美足系列| 亚洲精品久久午夜乱码| 亚洲国产中文字幕在线视频| 久久久国产一区二区| 国产国语露脸激情在线看| 亚洲天堂av无毛| 国产一区二区在线观看av| 精品国产一区二区久久| 蜜桃在线观看..| 欧美黄色片欧美黄色片| 国产精品麻豆人妻色哟哟久久| 搡老岳熟女国产| 青春草视频在线免费观看| 亚洲久久久国产精品| 国产欧美日韩一区二区三 | 狠狠精品人妻久久久久久综合| 国产精品国产三级国产专区5o| 一边摸一边做爽爽视频免费| 久久国产精品影院| 超碰97精品在线观看| 伊人久久大香线蕉亚洲五| 亚洲熟女毛片儿| 欧美亚洲日本最大视频资源| 侵犯人妻中文字幕一二三四区| 下体分泌物呈黄色| 动漫黄色视频在线观看| 国产精品久久久久久精品古装| 成人av一区二区三区在线看 | 国产av国产精品国产| 亚洲精品国产色婷婷电影| 欧美精品av麻豆av| 国产成人av激情在线播放| 咕卡用的链子| 99久久99久久久精品蜜桃| 美国免费a级毛片| 一二三四在线观看免费中文在| 国产精品久久久久久精品古装| av天堂在线播放| 国产日韩欧美在线精品| 日韩欧美一区二区三区在线观看 | 亚洲精华国产精华精| 男人操女人黄网站| 久久久精品国产亚洲av高清涩受| 亚洲欧美成人综合另类久久久| 精品国产乱子伦一区二区三区 | 一本综合久久免费| 精品国产乱码久久久久久小说| 国产欧美亚洲国产| 少妇裸体淫交视频免费看高清 | 国产成人系列免费观看| 亚洲第一av免费看| 下体分泌物呈黄色| 亚洲精品国产区一区二| 另类精品久久| 黄色 视频免费看| 丝袜在线中文字幕| 精品国产国语对白av| 精品国产国语对白av| 精品国产乱子伦一区二区三区 | 日日爽夜夜爽网站| 热99国产精品久久久久久7| 日本a在线网址| 久久久水蜜桃国产精品网| 日本欧美视频一区| 亚洲少妇的诱惑av| 中文字幕制服av| 动漫黄色视频在线观看| 美女国产高潮福利片在线看| 国产精品久久久久久精品电影小说| 午夜福利影视在线免费观看| 亚洲精品av麻豆狂野| 2018国产大陆天天弄谢| 久久精品久久久久久噜噜老黄| av在线app专区| 少妇精品久久久久久久| 日韩电影二区| 人人妻人人爽人人添夜夜欢视频| 日本黄色日本黄色录像| 国产av精品麻豆| 交换朋友夫妻互换小说| 中国美女看黄片| 如日韩欧美国产精品一区二区三区| 精品熟女少妇八av免费久了| 成人国产av品久久久| 久热爱精品视频在线9| 丝瓜视频免费看黄片| 在线观看人妻少妇| 精品人妻一区二区三区麻豆| 亚洲av美国av| 天天添夜夜摸| 国产成人影院久久av| 一本—道久久a久久精品蜜桃钙片| 熟女少妇亚洲综合色aaa.| 亚洲欧美日韩高清在线视频 | 欧美久久黑人一区二区| 色94色欧美一区二区| 国产一区二区激情短视频 | 欧美另类亚洲清纯唯美| 免费不卡黄色视频| 黄片播放在线免费| 真人做人爱边吃奶动态| 久久国产精品影院| 老司机靠b影院| 久久中文看片网| 中文字幕另类日韩欧美亚洲嫩草| 18在线观看网站| 久久久国产一区二区| 亚洲va日本ⅴa欧美va伊人久久 | 亚洲专区国产一区二区| av不卡在线播放| 免费久久久久久久精品成人欧美视频| 脱女人内裤的视频| 操美女的视频在线观看| 叶爱在线成人免费视频播放| 狠狠狠狠99中文字幕| 国产欧美日韩一区二区精品| 黑人巨大精品欧美一区二区蜜桃| 欧美 日韩 精品 国产| 精品国产一区二区三区四区第35| 国产91精品成人一区二区三区 | 丝袜人妻中文字幕| 国产成人免费观看mmmm| 中文精品一卡2卡3卡4更新| 国产亚洲欧美精品永久| 精品一区二区三区四区五区乱码| 久久九九热精品免费| 成年美女黄网站色视频大全免费| 妹子高潮喷水视频| 99精品久久久久人妻精品| 一个人免费看片子| 亚洲欧洲精品一区二区精品久久久| 自拍欧美九色日韩亚洲蝌蚪91| 国产欧美日韩精品亚洲av| 在线观看一区二区三区激情| 欧美变态另类bdsm刘玥| 亚洲成人免费av在线播放| 男人舔女人的私密视频| 欧美日韩av久久| 国产成+人综合+亚洲专区| 国产精品久久久久成人av| 狂野欧美激情性bbbbbb| 国产精品1区2区在线观看. | 亚洲自偷自拍图片 自拍| 久久国产精品人妻蜜桃| 久久久久久久精品精品| 在线 av 中文字幕| 建设人人有责人人尽责人人享有的| 99久久精品国产亚洲精品| 精品欧美一区二区三区在线| 一区二区三区四区激情视频| 在线观看舔阴道视频| 一边摸一边做爽爽视频免费| 夜夜骑夜夜射夜夜干| 黑人欧美特级aaaaaa片| 99久久综合免费| 国产精品免费大片| 91大片在线观看| 真人做人爱边吃奶动态| 欧美乱码精品一区二区三区| 精品少妇内射三级| 美国免费a级毛片| 三上悠亚av全集在线观看| 麻豆乱淫一区二区| 男女床上黄色一级片免费看| 国内毛片毛片毛片毛片毛片| 香蕉国产在线看| 久久影院123| 50天的宝宝边吃奶边哭怎么回事| 老司机影院成人| 美女视频免费永久观看网站| 日韩免费高清中文字幕av| 免费在线观看视频国产中文字幕亚洲 | 亚洲少妇的诱惑av| 欧美在线黄色| 亚洲久久久国产精品| 国产成人精品在线电影| 国产av又大| 国产亚洲精品久久久久5区| 51午夜福利影视在线观看| 亚洲精品中文字幕一二三四区 | 国产亚洲欧美精品永久| 日韩大片免费观看网站| 熟女少妇亚洲综合色aaa.| 少妇猛男粗大的猛烈进出视频| 免费在线观看影片大全网站| 亚洲av成人不卡在线观看播放网 | 国产精品99久久99久久久不卡| 亚洲精品中文字幕在线视频| 国产欧美日韩精品亚洲av| 欧美亚洲 丝袜 人妻 在线| 日韩一卡2卡3卡4卡2021年| 国产日韩一区二区三区精品不卡| 午夜视频精品福利| 久久天堂一区二区三区四区| 色精品久久人妻99蜜桃| 交换朋友夫妻互换小说| 麻豆国产av国片精品| cao死你这个sao货| 好男人电影高清在线观看| 搡老岳熟女国产| 日韩熟女老妇一区二区性免费视频| 99国产精品免费福利视频| 日韩人妻精品一区2区三区| 极品人妻少妇av视频| 伦理电影免费视频| 国产成人av激情在线播放| 日韩免费高清中文字幕av| 777久久人妻少妇嫩草av网站| 精品一品国产午夜福利视频| 51午夜福利影视在线观看| 亚洲成人国产一区在线观看| 黄频高清免费视频| 亚洲欧美日韩高清在线视频 | 欧美中文综合在线视频| 免费观看a级毛片全部| 伦理电影免费视频| 国产免费一区二区三区四区乱码| av一本久久久久| 亚洲中文av在线| 欧美精品高潮呻吟av久久| 在线十欧美十亚洲十日本专区| 亚洲精品一卡2卡三卡4卡5卡 | 黄色a级毛片大全视频| 国产成人a∨麻豆精品| 免费在线观看视频国产中文字幕亚洲 | 国产成+人综合+亚洲专区| 国产高清视频在线播放一区 | 国产成人精品久久二区二区91| 久久精品成人免费网站| 免费不卡黄色视频| 亚洲色图综合在线观看| av电影中文网址| 人人妻,人人澡人人爽秒播| a级片在线免费高清观看视频| 亚洲九九香蕉| 中国美女看黄片| 欧美精品一区二区免费开放| 成年女人毛片免费观看观看9 | 午夜福利,免费看| 中亚洲国语对白在线视频| www.熟女人妻精品国产| 搡老熟女国产l中国老女人| 亚洲精品国产色婷婷电影| 亚洲欧美一区二区三区久久| 久久av网站| 香蕉国产在线看| 精品卡一卡二卡四卡免费| 欧美日韩亚洲高清精品| 久久中文字幕一级| 亚洲精品乱久久久久久| 亚洲中文日韩欧美视频| 国产欧美日韩一区二区三 | 精品久久久精品久久久| 热re99久久精品国产66热6| 国产成人精品在线电影| 国产精品一区二区免费欧美 | 成年美女黄网站色视频大全免费| 18禁裸乳无遮挡动漫免费视频| 丰满饥渴人妻一区二区三| 欧美变态另类bdsm刘玥| 在线av久久热| 在线观看www视频免费| 国产亚洲精品久久久久5区| 脱女人内裤的视频| 欧美午夜高清在线| 日韩大片免费观看网站| 黄片大片在线免费观看| 国产不卡av网站在线观看| 人妻 亚洲 视频| 纵有疾风起免费观看全集完整版| 黄色片一级片一级黄色片| 久久人人爽av亚洲精品天堂| 美女国产高潮福利片在线看| 日韩精品免费视频一区二区三区| 两个人免费观看高清视频| 亚洲九九香蕉| 成年女人毛片免费观看观看9 | 欧美成狂野欧美在线观看| 亚洲免费av在线视频| 国产亚洲精品一区二区www | 亚洲av美国av| 汤姆久久久久久久影院中文字幕| 777米奇影视久久| av不卡在线播放| 一区福利在线观看| 日本a在线网址| 后天国语完整版免费观看| 久久ye,这里只有精品| 国产老妇伦熟女老妇高清| 狠狠精品人妻久久久久久综合| 久久精品aⅴ一区二区三区四区| 狠狠婷婷综合久久久久久88av| 欧美日韩成人在线一区二区| 一本—道久久a久久精品蜜桃钙片| 亚洲国产欧美网| 一级黄色大片毛片| 国产三级黄色录像| 亚洲综合色网址| 欧美日韩av久久| 国产精品国产三级国产专区5o| 捣出白浆h1v1| 18在线观看网站| 日本猛色少妇xxxxx猛交久久| 高潮久久久久久久久久久不卡| 麻豆乱淫一区二区| 久久精品aⅴ一区二区三区四区| 国产精品.久久久| av超薄肉色丝袜交足视频| 菩萨蛮人人尽说江南好唐韦庄| 中文字幕精品免费在线观看视频| 亚洲av成人不卡在线观看播放网 | 亚洲精品国产精品久久久不卡| 最近最新中文字幕大全免费视频| 极品人妻少妇av视频| svipshipincom国产片| 在线 av 中文字幕| 91字幕亚洲| 亚洲精品国产区一区二| 麻豆乱淫一区二区| 在线亚洲精品国产二区图片欧美| 欧美日韩亚洲高清精品| 亚洲男人天堂网一区| 最近最新免费中文字幕在线| 亚洲精品乱久久久久久| 一级a爱视频在线免费观看| 国产主播在线观看一区二区| 纵有疾风起免费观看全集完整版| 90打野战视频偷拍视频| 丰满人妻熟妇乱又伦精品不卡| 91成年电影在线观看| 在线观看一区二区三区激情| 国产成人av激情在线播放| 老司机影院毛片| 菩萨蛮人人尽说江南好唐韦庄| 精品乱码久久久久久99久播| 每晚都被弄得嗷嗷叫到高潮| 国产1区2区3区精品| 青春草视频在线免费观看| 建设人人有责人人尽责人人享有的| 国产男女内射视频| 欧美xxⅹ黑人| 在线观看www视频免费| 一级a爱视频在线免费观看| 久久这里只有精品19| 别揉我奶头~嗯~啊~动态视频 | 久久午夜综合久久蜜桃| 国产深夜福利视频在线观看| 亚洲成国产人片在线观看| 色精品久久人妻99蜜桃| 欧美97在线视频| 波多野结衣av一区二区av| 国产一区二区 视频在线| 成人av一区二区三区在线看 | 一级毛片电影观看| 亚洲成人国产一区在线观看| 国产深夜福利视频在线观看| 日韩免费高清中文字幕av| 亚洲国产中文字幕在线视频| 91九色精品人成在线观看| 亚洲国产毛片av蜜桃av| 日本黄色日本黄色录像| 青草久久国产| 夫妻午夜视频| 国产精品熟女久久久久浪| 在线观看一区二区三区激情| cao死你这个sao货| 国产成人啪精品午夜网站| 五月天丁香电影| 乱人伦中国视频| 91av网站免费观看| 中文字幕最新亚洲高清| 亚洲va日本ⅴa欧美va伊人久久 | 国产精品欧美亚洲77777| 免费一级毛片在线播放高清视频 | 丝袜美腿诱惑在线| 狂野欧美激情性xxxx| 久久精品人人爽人人爽视色| 91国产中文字幕| 国产成人av教育| 久久中文字幕一级| 亚洲精品乱久久久久久| 女人爽到高潮嗷嗷叫在线视频| 久久 成人 亚洲| 亚洲三区欧美一区| 午夜福利视频在线观看免费| 亚洲成人国产一区在线观看| 亚洲av日韩在线播放| 亚洲第一欧美日韩一区二区三区 | 欧美中文综合在线视频| 热99国产精品久久久久久7| 日本欧美视频一区| av视频免费观看在线观看| a在线观看视频网站| 脱女人内裤的视频| 国产在线一区二区三区精| 国产91精品成人一区二区三区 | 久久久久久免费高清国产稀缺| 丰满少妇做爰视频| 精品福利永久在线观看| 国产成人免费观看mmmm| a 毛片基地| 精品亚洲成国产av| 久久中文字幕一级| 欧美黄色淫秽网站| 啦啦啦中文免费视频观看日本| 亚洲成人免费电影在线观看| 午夜福利乱码中文字幕| 女人精品久久久久毛片| 黄色 视频免费看| 久久久久久久久久久久大奶| 咕卡用的链子| 国产欧美日韩精品亚洲av| 国产97色在线日韩免费| 久久久精品区二区三区| 国产男女超爽视频在线观看| 欧美久久黑人一区二区| 精品一品国产午夜福利视频| 亚洲成国产人片在线观看| 12—13女人毛片做爰片一| 肉色欧美久久久久久久蜜桃| av网站在线播放免费| 97人妻天天添夜夜摸| 精品少妇黑人巨大在线播放| 精品久久蜜臀av无| 午夜视频精品福利| 欧美人与性动交α欧美精品济南到| 狂野欧美激情性bbbbbb| 亚洲精品粉嫩美女一区| 后天国语完整版免费观看| 一级毛片精品| 午夜影院在线不卡| 亚洲av国产av综合av卡| 高清av免费在线| 又黄又粗又硬又大视频| 免费少妇av软件| 久久天躁狠狠躁夜夜2o2o| 一级毛片电影观看| 国产视频一区二区在线看| 亚洲精品久久成人aⅴ小说| 91国产中文字幕| 高清欧美精品videossex| 美女午夜性视频免费| 久久精品熟女亚洲av麻豆精品| 国产91精品成人一区二区三区 | 免费女性裸体啪啪无遮挡网站| 成年女人毛片免费观看观看9 | 十分钟在线观看高清视频www| 亚洲中文日韩欧美视频| 日本欧美视频一区| 永久免费av网站大全| 69精品国产乱码久久久| 久久 成人 亚洲| 黑人巨大精品欧美一区二区mp4| 脱女人内裤的视频| 午夜91福利影院| 另类精品久久| 亚洲av电影在线进入| 亚洲成国产人片在线观看| 悠悠久久av| 美女高潮到喷水免费观看| 一区二区av电影网| 曰老女人黄片| 亚洲精品美女久久av网站| 亚洲欧美一区二区三区黑人| 91精品国产国语对白视频| 午夜免费观看性视频| 在线观看免费视频网站a站| 在线观看免费日韩欧美大片| 一本久久精品| 日韩三级视频一区二区三区| 一级,二级,三级黄色视频| 亚洲 欧美一区二区三区| 一二三四社区在线视频社区8| 菩萨蛮人人尽说江南好唐韦庄| 99热全是精品| 美女脱内裤让男人舔精品视频| 久久久久视频综合| 少妇猛男粗大的猛烈进出视频| 成年人免费黄色播放视频| 亚洲av成人一区二区三| 久久人妻福利社区极品人妻图片| 不卡av一区二区三区| 新久久久久国产一级毛片| 97在线人人人人妻| 精品人妻在线不人妻| 大香蕉久久成人网| 久久国产精品影院| 一本综合久久免费| 亚洲专区国产一区二区| 国产1区2区3区精品| 欧美97在线视频| 人人妻人人澡人人看| 国产在视频线精品| 精品乱码久久久久久99久播| 汤姆久久久久久久影院中文字幕| 亚洲欧美日韩高清在线视频 | 极品少妇高潮喷水抽搐| 色精品久久人妻99蜜桃| 夫妻午夜视频| 超碰97精品在线观看| 日本wwww免费看| 亚洲精品国产区一区二| 午夜福利在线观看吧| 免费在线观看日本一区| 日韩 欧美 亚洲 中文字幕| 久久香蕉激情| 性色av一级| 18禁国产床啪视频网站| 精品福利永久在线观看| 少妇猛男粗大的猛烈进出视频|