• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    支持多個(gè)網(wǎng)絡(luò)功能共存的可編程數(shù)據(jù)平面虛擬化

    2023-11-18 08:49:12李子勇胡宇翔田裴金川
    電子與信息學(xué)報(bào) 2023年10期
    關(guān)鍵詞:管理程序流水線數(shù)據(jù)包

    李子勇 胡宇翔田 樂(lè) 裴金川

    (解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué) 鄭州 450002)

    1 引言

    隨著網(wǎng)絡(luò)技術(shù)的深入發(fā)展和各種新型網(wǎng)絡(luò)業(yè)務(wù)的大量涌現(xiàn),尤其是工業(yè)互聯(lián)網(wǎng)、自動(dòng)駕駛、全息通信、物聯(lián)網(wǎng)等新型服務(wù)模式的興起,當(dāng)前互聯(lián)網(wǎng)在高效性、安全性、移動(dòng)性、可擴(kuò)展性等方面正在遭受著難以克服的挑戰(zhàn)[1]。面對(duì)萬(wàn)物互聯(lián)的時(shí)代,未來(lái)將會(huì)有海量差異化的通信主體接入網(wǎng)絡(luò),因此,未來(lái)網(wǎng)絡(luò)應(yīng)支持多樣化的標(biāo)識(shí)表達(dá)。同時(shí),由于多元化通信主體的接入和各種異構(gòu)化網(wǎng)絡(luò)的互聯(lián)互通。未來(lái)網(wǎng)絡(luò)應(yīng)支持多種網(wǎng)絡(luò)協(xié)議體系共存和多樣化的尋址路由能力。然而,當(dāng)前互聯(lián)網(wǎng)采用以IP/TCP為核心的“盡力而為”的傳輸模式,難以提供海量和差異化服務(wù),且多種協(xié)議體系共存又面臨兼容問(wèn)題,已難以滿足萬(wàn)戶互聯(lián)的多元化服務(wù)需求[2]。

    針對(duì)當(dāng)前互聯(lián)網(wǎng)體系架構(gòu)存在的缺陷與不足,近年來(lái),以IPv4/IPv6標(biāo)識(shí)過(guò)渡[3]、內(nèi)容標(biāo)識(shí)[4]、身份標(biāo)識(shí)[5]、地理位置標(biāo)識(shí)[6]等多樣化的尋址與路由技術(shù)紛紛被提出,并在部分場(chǎng)景得到運(yùn)用。為了應(yīng)對(duì)未來(lái)時(shí)變且多元化的網(wǎng)絡(luò)需求,我國(guó)鄔江興院士提出了“多模態(tài)網(wǎng)絡(luò)[7]”的概念,指出未來(lái)網(wǎng)絡(luò)應(yīng)支持多種網(wǎng)絡(luò)技術(shù)體系以“網(wǎng)絡(luò)模態(tài)”的形式協(xié)同發(fā)展,每一種網(wǎng)絡(luò)技術(shù)體系或網(wǎng)絡(luò)模態(tài)可針對(duì)一種服務(wù)模式或用網(wǎng)需求,運(yùn)行自定義的報(bào)文格式、尋址與路由協(xié)議,支持多樣化的數(shù)據(jù)平面處理邏輯。多模態(tài)網(wǎng)絡(luò)要求底層網(wǎng)絡(luò)設(shè)備能同時(shí)支持多種網(wǎng)絡(luò)模態(tài)的共存并實(shí)現(xiàn)不同網(wǎng)絡(luò)模態(tài)之間的隔離,且具備較高的轉(zhuǎn)發(fā)性能和靈活可編程能力。網(wǎng)絡(luò)虛擬化可實(shí)現(xiàn)在同一網(wǎng)絡(luò)基礎(chǔ)設(shè)施中運(yùn)行多個(gè)虛擬網(wǎng)絡(luò)以適應(yīng)多元化的網(wǎng)絡(luò)需求,然而,當(dāng)前網(wǎng)絡(luò)虛擬化主要通過(guò)虛擬機(jī)或容器技術(shù)實(shí)現(xiàn)了多個(gè)虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上靈活高效的部署,但其導(dǎo)致了較大的I/O開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)吞吐量[8]。隨著可編程數(shù)據(jù)平面的深入研究,尤其是可編程協(xié)議無(wú)關(guān)報(bào)文處理語(yǔ)言P4的出現(xiàn),網(wǎng)絡(luò)運(yùn)營(yíng)商能夠自定義新的網(wǎng)絡(luò)協(xié)議和數(shù)據(jù)平面處理邏輯[9]。然而,當(dāng)前可編程數(shù)據(jù)平面提供了獨(dú)占的數(shù)據(jù)平面抽象,難以同時(shí)支持多個(gè)網(wǎng)絡(luò)環(huán)境[10],且相互嵌套的P 4程序會(huì)引發(fā)新的問(wèn)題,如多個(gè)P4程序之間邏輯沖突,或一個(gè)程序消耗超過(guò)公平份額的資源導(dǎo)致資源沖突等。

    針對(duì)以上問(wèn)題,本文提出了一種支持并行流水線的虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)(V ir tua lized P4-based Programm able Data Plane architecture w ith Parallel Pipeline,VirtP6),支持多個(gè)網(wǎng)絡(luò)功能在同一物理數(shù)據(jù)平面上并行運(yùn)行。VirtP6可實(shí)現(xiàn)以下目標(biāo):(1)高性能:虛擬化的網(wǎng)絡(luò)功能保持較高的數(shù)據(jù)包轉(zhuǎn)發(fā)性能,具有較低的虛擬化開(kāi)銷;(2)隔離性:每個(gè)虛擬網(wǎng)絡(luò)功能都在彼此隔離的環(huán)境中運(yùn)行,尤其是數(shù)據(jù)平面所需的寄存器、流表資源彼此隔離,每個(gè)虛擬網(wǎng)絡(luò)功能都按照預(yù)先分配的資源轉(zhuǎn)發(fā)數(shù)據(jù)包,避免彼此搶占資源。(3)可擴(kuò)展性:支持多個(gè)虛擬網(wǎng)絡(luò)功能動(dòng)態(tài)添加和移除,且虛擬網(wǎng)絡(luò)功能的數(shù)量對(duì)物理數(shù)據(jù)平面的轉(zhuǎn)發(fā)性能影響較小。本文的主要貢獻(xiàn)如下:

    (1)提出一種虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)VirtP6,在物理資源平臺(tái)與虛擬網(wǎng)絡(luò)功能之間引入管理程序,以支持并行的數(shù)據(jù)包處理流水線,實(shí)現(xiàn)了可編程數(shù)據(jù)平面的虛擬化。

    (2)設(shè)計(jì)相應(yīng)的解析與隔離機(jī)制實(shí)現(xiàn)了同一設(shè)備上不同虛擬網(wǎng)絡(luò)功能之間的資源隔離、流量隔離和訪問(wèn)隔離。

    (3)在BM v2軟件交換機(jī)上實(shí)現(xiàn)了V irtP6原型,并對(duì)VirtP6的整體性能進(jìn)行了評(píng)估。仿真結(jié)果表明:VirtP6有效降低了虛擬化開(kāi)銷,將延遲減少了68%,吞吐量提高了75%,實(shí)現(xiàn)了接近NativeP4的性能,具有良好的隔離性和擴(kuò)展性。

    2 相關(guān)工作

    目前的網(wǎng)絡(luò)虛擬化技術(shù)主要采用主機(jī)虛擬化技術(shù)。主機(jī)虛擬化技術(shù)可以分為:完全虛擬化、半虛擬化和操作系統(tǒng)虛擬化。完全虛擬化通過(guò)在底層硬件和上層操作系統(tǒng)之間構(gòu)建一層虛擬中間層hypervisor,負(fù)責(zé)為不同操作系統(tǒng)管理底層物理資源,如VMware,KVM,但該方案引入了較大虛擬化開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)性能[11]。以XEN和UM L為代表的半虛擬化通過(guò)修改內(nèi)核允許一部分虛擬機(jī)指令直接操作系統(tǒng)平臺(tái),提高了系統(tǒng)性能,但其實(shí)現(xiàn)較為復(fù)雜。操作系統(tǒng)虛擬化是一種輕量級(jí)的虛擬化技術(shù),通過(guò)創(chuàng)建多個(gè)“容器”來(lái)承載多個(gè)數(shù)據(jù)平面功能,并預(yù)先為“容器”分配固定資源來(lái)實(shí)現(xiàn)物理資源的隔離[12]?;谥鳈C(jī)的網(wǎng)絡(luò)虛擬化技術(shù)支持多個(gè)虛擬網(wǎng)絡(luò)高效靈活的部署,但其導(dǎo)致了較大的I/O開(kāi)銷,嚴(yán)重降低了網(wǎng)絡(luò)吞吐量,隨著網(wǎng)絡(luò)帶寬和端口速度的不斷增加,主機(jī)虛擬化技術(shù)難以滿足網(wǎng)絡(luò)高性能需求[13]。

    可編程數(shù)據(jù)平面允許網(wǎng)絡(luò)管理員以可編程的方式在硬件交換機(jī)中添加新的網(wǎng)絡(luò)協(xié)議和定制數(shù)據(jù)包的處理邏輯,大大提高了網(wǎng)絡(luò)設(shè)備的可編程能力。許多研究嘗試將虛擬化技術(shù)引入可編程數(shù)據(jù)平面以解決網(wǎng)絡(luò)虛擬化的問(wèn)題。Hancock等人[14]通過(guò)在動(dòng)作匹配表中獨(dú)立編譯P4程序?qū)崿F(xiàn)了虛擬化可編程數(shù)據(jù)平面Hyper4。但Hyper4使用大量數(shù)據(jù)包再循環(huán)操作,造成了較大的性能損失。Zhang等人[15]通過(guò)快速解析、控制流排序和動(dòng)態(tài)階段映射技術(shù),使得多個(gè)P4處理邏輯可動(dòng)態(tài)映射到不同的匹配動(dòng)作階段,實(shí)現(xiàn)了數(shù)據(jù)平面的完全虛擬化,但其未實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化所需要的隔離要求。Zhou等人[16]提出了一種基于P4的模塊化編程架構(gòu)ClickP4,通過(guò)將單個(gè)P4程序分解為多個(gè)可重用網(wǎng)絡(luò)功能,并通過(guò)動(dòng)態(tài)編排為P4編程提供了更高的靈活性。Stoyanov等人[17]提出了一種多租戶可編程交換機(jī)架構(gòu)MTPSA,可在單個(gè)可編程交換機(jī)上為不同的租戶運(yùn)行不同的P4程序,并給出了隔離租戶的建議。但MTPSA沒(méi)有考慮訪問(wèn)隔離,這同樣存在安全威脅。Saquetti等人[18]通過(guò)改進(jìn)NetFPGA架構(gòu)提出了一種用于數(shù)據(jù)平面虛擬化的可重構(gòu)架構(gòu)P4VBox,實(shí)現(xiàn)了多個(gè)虛擬數(shù)據(jù)平面功能的并行執(zhí)行和在線配置,實(shí)驗(yàn)表明,與HyPer4,HyperVDP相比,P4VBox將帶寬提高了2倍,延遲減少了6倍,但P4VBox僅限于FPGA硬件,且缺乏靈活的資源調(diào)度能力。

    3 VirtP6整體架構(gòu)

    圖1所示為V irtP6整體架構(gòu),V irtP6在物理資源平臺(tái)和多個(gè)虛擬網(wǎng)絡(luò)功能之間引入VirtP6管理程序。VirtP6管理程序負(fù)責(zé)管理并行運(yùn)行的多個(gè)虛擬網(wǎng)絡(luò)功能,協(xié)調(diào)各個(gè)虛擬網(wǎng)絡(luò)功能共享硬件資源,同時(shí),也實(shí)施各個(gè)虛擬網(wǎng)絡(luò)功能之間的隔離。在VirtP6管理程序上,每個(gè)虛擬網(wǎng)絡(luò)功能聚焦于不同的網(wǎng)絡(luò)場(chǎng)景,在相互隔離的網(wǎng)絡(luò)環(huán)境里運(yùn)行不同的協(xié)議與路由等功能。本文主要考慮4個(gè)設(shè)計(jì)原則來(lái)實(shí)施V irtP6管理程序:并行流水線結(jié)構(gòu)、資源隔離、流量隔離、訪問(wèn)隔離。其中,VirtP6管理程序的關(guān)鍵在于如何同時(shí)支持多個(gè)虛擬網(wǎng)絡(luò)功能,為了解決該問(wèn)題,本文改變了可編程數(shù)據(jù)平面的單一流水線處理結(jié)構(gòu),引入并行流水線結(jié)構(gòu),使VirtP6管理程序可同時(shí)支持多個(gè)并行流水線運(yùn)行。VirtP6管理程序可在物理數(shù)據(jù)平面上編譯多個(gè)P4程序,并虛擬出多個(gè)網(wǎng)絡(luò)功能。同時(shí),為了防止多個(gè)虛擬網(wǎng)絡(luò)功能在同一物理設(shè)備上共存時(shí)導(dǎo)致資源競(jìng)爭(zhēng),通過(guò)設(shè)計(jì)合理的解析和隔離機(jī)制,可為每個(gè)虛擬網(wǎng)絡(luò)功能提供資源隔離、流量隔離、訪問(wèn)隔離。VirtP6在實(shí)現(xiàn)可編程數(shù)據(jù)平面虛擬化的同時(shí)可保持較低的虛擬化開(kāi)銷,實(shí)現(xiàn)了較高的轉(zhuǎn)發(fā)性能。

    圖1 VirtP6整體架構(gòu)

    4 設(shè)計(jì)細(xì)節(jié)

    本節(jié)將詳細(xì)介紹VirtP6的設(shè)計(jì)細(xì)節(jié)以支持多種虛擬網(wǎng)絡(luò)功能的共存,同時(shí)滿足多種虛擬網(wǎng)絡(luò)功能之間的隔離。

    4.1 虛擬化可編程數(shù)據(jù)平面處理模型

    圖2所示為協(xié)議無(wú)關(guān)的交換機(jī)架構(gòu)(P rotocol Independent Sw itch A rchitecture,PISA)。PISA架構(gòu)通過(guò)可編程的解析器、匹配動(dòng)作單元和逆解析器組成流水線,來(lái)實(shí)現(xiàn)數(shù)據(jù)包處理邏輯的可編程,其中流量管理器部署在入口流水線和出口流水線之間[19]。管理員可以按照P4語(yǔ)法規(guī)范編寫相應(yīng)的P4程序來(lái)定義數(shù)據(jù)包的解析/逆解析、控制流以及相應(yīng)的匹配動(dòng)作單元,并通過(guò)標(biāo)準(zhǔn)的P 4編譯器將P4程序編譯到具體的硬件位置上,從而達(dá)到自定義數(shù)據(jù)平面網(wǎng)絡(luò)功能的目的。

    圖2 協(xié)議無(wú)關(guān)的交換架構(gòu)(PISA架構(gòu))

    為了解決當(dāng)前可編程數(shù)據(jù)平面存在的獨(dú)占數(shù)據(jù)平面抽象問(wèn)題,同時(shí),最大限度地保留數(shù)據(jù)平面的可編程能力,本文分析可編程數(shù)據(jù)平面的組成結(jié)構(gòu),考慮對(duì)其部分組件進(jìn)行虛擬化。由于流量管理器的不可編程特性,這里考慮只對(duì)其解析器、匹配動(dòng)作單元、逆解析器進(jìn)行虛擬化,而保留流量管理器作為共享模塊。在處理數(shù)據(jù)包時(shí),解析器需要逐層解析數(shù)據(jù)包頭以得到所有的匹配項(xiàng),最終根據(jù)不同的匹配項(xiàng)執(zhí)行相應(yīng)的動(dòng)作。當(dāng)多個(gè)虛擬網(wǎng)絡(luò)功能共存時(shí),不同的網(wǎng)絡(luò)功能可能操作獨(dú)有的包頭結(jié)構(gòu)和處理動(dòng)作,這種“解析-匹配/動(dòng)作”分離的方式不利于可編程數(shù)據(jù)平面的虛擬化。如圖3所示為虛擬化可編程數(shù)據(jù)平面處理模型。該模型假設(shè)基于“解析-匹配/動(dòng)作-逆解析”的流水線結(jié)構(gòu)可以被部分虛擬化,并組合成多條并行的流水線,同時(shí)保留其余“解析-匹配/動(dòng)作-逆解析”組件作為共享流水線。具體地,以流量管理器為界,該處理模型將共享流水線分為兩部分:入口階段和出口階段,入口階段鏈接到多個(gè)并行的流水線,每個(gè)并行的流水線的末端鏈接到出口階段。由于不采用集中的解析、匹配動(dòng)作、逆解析操作,該處理模型將“解析-匹配動(dòng)作-逆解析”組件分布到數(shù)據(jù)包處理的不同階段,可避免1次解析所有數(shù)據(jù)包頭,做到“解析-匹配/動(dòng)作”同步進(jìn)行。因此,基于該模型,V irtP6改變了PISA架構(gòu)的單一流水線結(jié)構(gòu),可在同一數(shù)據(jù)平面上承載多個(gè)不同的網(wǎng)絡(luò)功能,每個(gè)網(wǎng)絡(luò)功能彼此隔離,運(yùn)行在一個(gè)單獨(dú)的網(wǎng)絡(luò)環(huán)境中。

    圖3 虛擬化可編程數(shù)據(jù)平面處理模型

    4.2 VirtP6的具體實(shí)現(xiàn)

    VirtP6的實(shí)現(xiàn)包含兩部分:共享流水線和虛擬出的并行流水線。共享流水線充當(dāng)類似Hypervisor的管理器(這里稱之為VirtP6管理程序),可訪問(wèn)每個(gè)并行的流水線,負(fù)責(zé)將進(jìn)入的數(shù)據(jù)包分發(fā)到不同的并行流水線來(lái)處理。每個(gè)并行的流水線是完整的“解析-匹配/動(dòng)作-逆解析”的數(shù)據(jù)包處理流水線,可承載多個(gè)具有不同網(wǎng)絡(luò)功能的P 4程序。如圖4為V irtP6的具體實(shí)現(xiàn)結(jié)構(gòu)。下面對(duì)VirtP6管理程序和并行的網(wǎng)絡(luò)功能流水線的作用進(jìn)行說(shuō)明:

    圖4 VirtP6的具體實(shí)現(xiàn)結(jié)構(gòu)

    VirtP6管理程序:VirtP6管理程序不執(zhí)行具體的數(shù)據(jù)包的轉(zhuǎn)發(fā)功能,僅負(fù)責(zé)將傳入的數(shù)據(jù)包分發(fā)到不同的流水線處理。VirtP6的入口階段負(fù)責(zé)解析數(shù)據(jù)包的外層標(biāo)簽,調(diào)用不同的網(wǎng)絡(luò)功能流水線來(lái)處理數(shù)據(jù)包,其出口階段接受來(lái)自經(jīng)過(guò)網(wǎng)絡(luò)功能流水線處理后的數(shù)據(jù)包,對(duì)其進(jìn)行逆解析,重新封裝數(shù)據(jù)包外層標(biāo)簽,并送往相應(yīng)的物理端口。同時(shí),VirtP6管理程序也負(fù)責(zé)管理和配置各流水線,實(shí)施各個(gè)流水線的帶寬分配、路由決策、擁塞控制等。

    網(wǎng)絡(luò)功能流水線:每個(gè)并行的流水線可運(yùn)行不同的網(wǎng)絡(luò)功能,對(duì)外提供訪問(wèn)接口,供VirtP6管理程序調(diào)用,并支持動(dòng)態(tài)獨(dú)立編譯。每個(gè)流水線運(yùn)行在獨(dú)立的運(yùn)行環(huán)境中,維護(hù)特定的流表、寄存器、計(jì)數(shù)器等存儲(chǔ)資源,彼此之間不能互相訪問(wèn)。

    本文根據(jù)BM v2軟件交換機(jī)v1model.P4原型[20]對(duì)VirtP6管理程序和網(wǎng)絡(luò)功能流水線的結(jié)構(gòu)體進(jìn)行了重新定義,VirtP6管理程序和網(wǎng)絡(luò)功能流水線的結(jié)構(gòu)體如算法1和算法2所示,與v1model.P4相比,VirtP6管理程序增加了元數(shù)據(jù)定義virtual_function_id,用來(lái)指示每個(gè)虛擬網(wǎng)絡(luò)功能的標(biāo)識(shí)符,定義了動(dòng)作函數(shù)select_function(.)用于獲取每一個(gè)數(shù)據(jù)包所屬的虛擬網(wǎng)絡(luò)功能ID,VirtP6管理程序通過(guò)解析+匹配表的方式為每個(gè)進(jìn)入的數(shù)據(jù)包添加元數(shù)據(jù)標(biāo)識(shí)virtual_function_id。為了在同一數(shù)據(jù)平面支持多個(gè)網(wǎng)絡(luò)功能共存,V irtP6管理程序利用extern擴(kuò)展來(lái)添加網(wǎng)絡(luò)功能流水線Virtual_Function_Pipeline(.),擴(kuò)展的網(wǎng)絡(luò)功能流水線位于VirtP6管理程序的入口流水線Ingress_Pipeline和出口流水線Egress_Pipeline之間。當(dāng)數(shù)據(jù)包進(jìn)入VirtP6管理程序,Ingress_Pipeline會(huì)解析數(shù)據(jù)包頭,通過(guò)匹配得到其virtual_function_id,并利用ex tern功能調(diào)用對(duì)應(yīng)的虛擬網(wǎng)絡(luò)功能V irtua l_Function_Pipeline來(lái)處理數(shù)據(jù)包,待處理完畢后,Egress_Pipeline將對(duì)數(shù)據(jù)包完成逆解析,并根據(jù)V irtual_Function_Pipeline的處理結(jié)果從相應(yīng)的端口轉(zhuǎn)發(fā)。與完整的v1model.P4定義的流水線相比,網(wǎng)絡(luò)功能流水線對(duì)其進(jìn)行了簡(jiǎn)化,V irtual_Function_Pipeline不再區(qū)分Ingress_Pipeline和Egress_Pipeline,將其統(tǒng)一為單一流水線VF_Pipeline。可以看出,V irtP6管理程序不參與每一個(gè)虛擬網(wǎng)絡(luò)功能的協(xié)議解析和匹配動(dòng)作邏輯,只負(fù)責(zé)數(shù)據(jù)包的分發(fā),而網(wǎng)絡(luò)功能流水線被設(shè)計(jì)為VirtP6管理程序的extern函數(shù),只關(guān)注本身的功能開(kāi)發(fā)。因此,VirtP6在不降低網(wǎng)絡(luò)功能的可編程能力的同時(shí),實(shí)現(xiàn)了在同一數(shù)據(jù)平面上支持多個(gè)網(wǎng)絡(luò)功能共存。

    算法1 VirtP6管理程序結(jié)構(gòu)體

    4.3 網(wǎng)絡(luò)功能隔離機(jī)制

    V irtP6允許多個(gè)虛擬網(wǎng)絡(luò)功能運(yùn)行在單個(gè)網(wǎng)絡(luò)設(shè)備中,網(wǎng)絡(luò)運(yùn)行過(guò)程中,若沒(méi)有相應(yīng)的隔離機(jī)制保證多個(gè)網(wǎng)絡(luò)功能間的資源隔離,極易導(dǎo)致資源搶占,影響傳輸性能。因此,當(dāng)多個(gè)虛擬網(wǎng)絡(luò)功能共存于同一網(wǎng)絡(luò)設(shè)備中時(shí),需要滿足以下隔離需求:(1)資源隔離;(2)流量隔離;(3)訪問(wèn)隔離。如圖5所示,下面分析VirtP6在滿足網(wǎng)絡(luò)功能隔離性方面的設(shè)計(jì)細(xì)節(jié)。

    圖5 網(wǎng)絡(luò)功能隔離機(jī)制

    資源隔離:VirtP6管理程序可接受多個(gè)承載不同網(wǎng)絡(luò)功能流水線的P4程序作為輸入。編譯器在編譯時(shí)會(huì)對(duì)每個(gè)P4程序進(jìn)行實(shí)例化,分配網(wǎng)絡(luò)功能ID,將其所需邏輯處理單元、流表、寄存器、計(jì)數(shù)器等資源限制在單獨(dú)的操作空間內(nèi),彼此之間不能訪問(wèn),實(shí)現(xiàn)了資源隔離。

    流量隔離:除了資源隔離外,在運(yùn)行過(guò)程中,還需要實(shí)施流量隔離。V irtP6通過(guò)解析-匹配表的方式為每個(gè)數(shù)據(jù)包指定其所屬的網(wǎng)絡(luò)功能流水線ID,并將數(shù)據(jù)包送入對(duì)應(yīng)的流水線處理,不同的流量只會(huì)被其所屬的流水線處理,而不會(huì)暴露給其它流水線,實(shí)現(xiàn)了流量隔離。同時(shí),當(dāng)添加、遷移或移除流水線時(shí),只需要在VirtP6管理程序中修改相應(yīng)的流表項(xiàng)即可,而不需要修改VirtP6管理程序。

    訪問(wèn)隔離:當(dāng)多個(gè)網(wǎng)絡(luò)功能流水線并行運(yùn)行時(shí),若不能有效地實(shí)施訪問(wèn)隔離,則非法用戶可能會(huì)惡意修改任一網(wǎng)絡(luò)功能流水線的運(yùn)行邏輯或數(shù)據(jù)。受Flow Visor[21]啟發(fā),本文通過(guò)改進(jìn)P4Run tim e[22]協(xié)議對(duì)網(wǎng)絡(luò)功能流水線實(shí)施訪問(wèn)控制。P4Runtime API允許多個(gè)用戶作為gRPC客戶端同時(shí)接入交換機(jī)gRPC服務(wù)器,gRPC服務(wù)器會(huì)預(yù)先明確每個(gè)用戶的角色配置ID。當(dāng)每個(gè)網(wǎng)絡(luò)功能流水線向控制器發(fā)起請(qǐng)求消息(如packet-in)時(shí),gRPC服務(wù)器則根據(jù)其流水線ID將請(qǐng)求消息發(fā)往對(duì)應(yīng)的用戶處理;待用戶處理完成后,gRPC服務(wù)器則根據(jù)角色I(xiàn)D將控制消息(如packet-out)發(fā)送到相應(yīng)的流水線實(shí)施管理決策。每個(gè)用戶只能訪問(wèn)其所屬網(wǎng)絡(luò)功能的流表、寄存器、計(jì)數(shù)器等資源,對(duì)其他網(wǎng)絡(luò)功能無(wú)權(quán)訪問(wèn),實(shí)現(xiàn)了訪問(wèn)隔離。

    5 性能分析

    本實(shí)驗(yàn)將從4個(gè)維度對(duì)所提VirtP6的性能進(jìn)行分析:(1)以吞吐量、時(shí)延、匹配動(dòng)作表數(shù)量作為指標(biāo),對(duì)其性能開(kāi)銷進(jìn)行評(píng)估;(2)對(duì)V irtP6的流量隔離性能分析;(3)對(duì)V irtP 6的可擴(kuò)展性分析;(4)以V irtP6原型系統(tǒng)搭建網(wǎng)絡(luò)拓?fù)浞治鼍W(wǎng)絡(luò)服務(wù)性能。

    實(shí)驗(yàn)環(huán)境介紹:本文在BM v2[20]軟件交換機(jī)的基礎(chǔ)上,通過(guò)重新定義VirtP6管理程序和網(wǎng)絡(luò)功能流水線結(jié)構(gòu)體,實(shí)現(xiàn)了VirtP6原型設(shè)計(jì)。實(shí)驗(yàn)在網(wǎng)絡(luò)仿真平臺(tái)M ininet[23]上進(jìn)行測(cè)試,數(shù)據(jù)平面交換機(jī)部署均為V irtP 6原型系統(tǒng)。虛擬機(jī)為Ubun tu Server16.04,搭載Intel Core i7-3770 3.40 GHz處理器,8GB內(nèi)存。實(shí)驗(yàn)結(jié)果通過(guò)分別測(cè)試VirtP6交換機(jī)上的轉(zhuǎn)發(fā)性能和運(yùn)行在其上面的網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)性能來(lái)評(píng)估VirtP6的性能開(kāi)銷、流量隔離和組網(wǎng)運(yùn)行性能。

    對(duì)比方案:為了對(duì)比VirtP6的性能,在這里與原生可編程數(shù)據(jù)平面NativeP4[19]、可編程數(shù)據(jù)平面虛擬化方案HyperP4[14]進(jìn)行對(duì)比,(1)NativeP4:基于原生P4的可編程數(shù)據(jù)平面,不支持多個(gè)虛擬網(wǎng)絡(luò)功能的并行操作。作為基準(zhǔn)對(duì)比方案,NativeP4無(wú)虛擬化開(kāi)銷,當(dāng)需要部署多個(gè)虛擬網(wǎng)絡(luò)功能時(shí),多個(gè)虛擬網(wǎng)絡(luò)功能程序需要整合到一個(gè)P 4程序中。(2)HyperP4:一種P4數(shù)據(jù)平面虛擬化方案,在硬件和P4程序之間添加類似Hypervisor的管理程序,其大量的重新提交和再循環(huán)操作實(shí)現(xiàn)不同數(shù)據(jù)包結(jié)構(gòu)的逐層解析,將不同的網(wǎng)絡(luò)功能轉(zhuǎn)化為不同表項(xiàng)的組合,可在單個(gè)可編程數(shù)據(jù)平面上虛擬化多個(gè)虛擬網(wǎng)絡(luò)功能。

    5.1 性能開(kāi)銷

    V irtP6通過(guò)設(shè)計(jì)并行流水線處理結(jié)構(gòu)實(shí)現(xiàn)了多種虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上運(yùn)行,相較于NativeP4的單一流水線結(jié)構(gòu),VirtP6增加了外層包頭解析與分發(fā)處理開(kāi)銷。為了量化V irtP6處理開(kāi)銷,本實(shí)驗(yàn)比較V irtP6,HyperP4和NativeP4的轉(zhuǎn)發(fā)時(shí)延和吞吐量,結(jié)果如圖6所示。

    圖6 時(shí)延和吞吐量對(duì)比

    從圖6(a)和圖6(b)可以看出,相較于NativeP4單一處理流水線結(jié)構(gòu),HyperP4實(shí)現(xiàn)了虛擬化的同時(shí)卻導(dǎo)致了3~4倍的時(shí)延,吞吐量也降低了76%,具有較大的虛擬化開(kāi)銷。這是因?yàn)镠yperP4需要通過(guò)多次重提交操作來(lái)逐層解析數(shù)據(jù)包,且需要為每個(gè)數(shù)據(jù)流動(dòng)作分配一個(gè)流水線,因此,其產(chǎn)生較大的虛擬化開(kāi)銷,嚴(yán)重降低了轉(zhuǎn)發(fā)性能。與HyperP4相比,VirtP6大大降低了虛擬化開(kāi)銷,將延遲減少了68%,吞吐量提高了75%,實(shí)現(xiàn)了接近NativeP4的性能。由于V irtP6采用相互隔離的并行流水線結(jié)構(gòu),采用統(tǒng)一的包頭描述內(nèi)部協(xié)議,避免了數(shù)據(jù)包的逐層解析,有效降低了HyperP4導(dǎo)致的虛擬化開(kāi)銷。

    5.2 隔離性

    隔離性是指多個(gè)虛擬網(wǎng)絡(luò)功能在同一網(wǎng)絡(luò)設(shè)備上運(yùn)行,相互獨(dú)立,性能互不影響,即一個(gè)虛擬網(wǎng)絡(luò)功能流量的增加或減少,不會(huì)影響其他虛擬網(wǎng)絡(luò)功能的轉(zhuǎn)發(fā)性能。為了驗(yàn)證VirtP6的隔離性能,我們進(jìn)行帶寬隔離實(shí)驗(yàn),實(shí)驗(yàn)拓?fù)淙鐖D7所示。實(shí)驗(yàn)過(guò)程中,由主機(jī)產(chǎn)生兩種業(yè)務(wù)流在共享鏈路上競(jìng)爭(zhēng)帶寬,共享鏈路帶寬為200 Mbit/s,在兩個(gè)交換機(jī)上均部署關(guān)于IPv4和IPv6標(biāo)識(shí)的轉(zhuǎn)發(fā)功能(2條流水線)。實(shí)驗(yàn)過(guò)程中,在主機(jī)h3和h4之間生成IPv6標(biāo)識(shí)的TCP流,在主機(jī)h1和h2生成IPv4標(biāo)識(shí)的以全鏈路帶寬(200 M bit/s)恒定速率發(fā)送的UDP業(yè)務(wù)流。實(shí)驗(yàn)分別比較在VirtP6管理程序中不啟用和啟用帶寬隔離時(shí)兩種業(yè)務(wù)流的轉(zhuǎn)發(fā)性能,啟用帶寬隔離時(shí),可通過(guò)VirtP6管理程序?yàn)椴煌摂M網(wǎng)絡(luò)功能指定帶寬分配IPv4網(wǎng)絡(luò):50 Mbit/s,IPv6網(wǎng)絡(luò):150 Mbit/s。實(shí)驗(yàn)結(jié)果如圖8所示,可以看出,在0~50 s時(shí),未啟用帶寬分配時(shí),IPv4網(wǎng)絡(luò)幾乎消耗完所有鏈路帶寬,IPv6網(wǎng)絡(luò)只消耗2%的帶寬,在啟用帶寬分配后,即使IPv4網(wǎng)絡(luò)的流量很大,也只能消耗25%的帶寬,通過(guò)為IPv6網(wǎng)絡(luò)分配了固定的帶寬,保證了其轉(zhuǎn)發(fā)性能。因此,VirtP6可為不同的虛擬網(wǎng)絡(luò)提供了良好的隔離性能。

    圖7 實(shí)驗(yàn)拓?fù)?/p>

    圖8 隔離性能

    5.3 可擴(kuò)展性

    可擴(kuò)展性是用來(lái)衡量交換機(jī)上部署的虛擬網(wǎng)絡(luò)功能的數(shù)量對(duì)其轉(zhuǎn)發(fā)性能的影響,可通過(guò)測(cè)量交換機(jī)的吞吐量和時(shí)延作為評(píng)價(jià)標(biāo)準(zhǔn)。實(shí)驗(yàn)過(guò)程中,在交換機(jī)上部署不同數(shù)量的虛擬網(wǎng)絡(luò)功能,每個(gè)虛擬網(wǎng)絡(luò)功能的帶寬平均分配,且每個(gè)虛擬網(wǎng)絡(luò)功能以全帶寬發(fā)送數(shù)據(jù),比較交換機(jī)上的轉(zhuǎn)發(fā)時(shí)延和吞吐量。實(shí)驗(yàn)結(jié)果如圖9所示,可以看出,當(dāng)虛擬網(wǎng)絡(luò)功能數(shù)量從1個(gè)增加到15個(gè),V irtP6的平均數(shù)據(jù)包時(shí)延和吞吐量無(wú)明顯變化。因此,本文提出的VirtP6采用并行流水線結(jié)構(gòu)可有效承載不同的虛擬網(wǎng)絡(luò),具有良好的可擴(kuò)展性。

    圖9 交換機(jī)轉(zhuǎn)發(fā)性能隨流水線的數(shù)量變化

    5.4 網(wǎng)絡(luò)適用性

    VirtP6的目標(biāo)是實(shí)現(xiàn)多種虛擬網(wǎng)絡(luò)在同一網(wǎng)絡(luò)基礎(chǔ)設(shè)施上共存,以促進(jìn)新興網(wǎng)絡(luò)技術(shù)體制在現(xiàn)有網(wǎng)絡(luò)架構(gòu)上增量部署。為了對(duì)所提VirtP6的網(wǎng)絡(luò)適用性進(jìn)行評(píng)估,本實(shí)驗(yàn)使用M ininet仿真器構(gòu)建網(wǎng)絡(luò)平臺(tái),網(wǎng)絡(luò)拓?fù)淙鐖D10所示,這里選取IPv4,IPv6和身份標(biāo)識(shí)3種網(wǎng)絡(luò),實(shí)驗(yàn)分別在h1與h2,h3與h4,h5與h6之間采用IPv4,IPv6,身份標(biāo)識(shí)等尋址與路由方式進(jìn)行通信,每個(gè)虛擬網(wǎng)絡(luò)的帶寬分配分別為100 M bit/s,60 M bit/s和40 M bit/s。如圖11所示為3個(gè)虛擬網(wǎng)絡(luò)的平均吞吐量和往返時(shí)間。從圖11可以看出,IPv4,IPv6和身份標(biāo)識(shí)網(wǎng)絡(luò)在時(shí)延性能上保持較小差異,平均RTT分別為4.43 m s,4.51 m s和4.42 m s,其平均吞吐量分別為89.9 M bit/s,58.7 M bit/s和38 M bit/s,每個(gè)虛擬網(wǎng)絡(luò)基本按照預(yù)先分配的帶寬轉(zhuǎn)發(fā)數(shù)據(jù)包,雖然總帶寬不到200 Mbit/s,這是因?yàn)閂irtP6實(shí)現(xiàn)多個(gè)虛擬網(wǎng)絡(luò)共存的同時(shí)仍存在較小的虛擬化開(kāi)銷。因此,本文所提出的VirtP6可實(shí)現(xiàn)多個(gè)虛擬網(wǎng)絡(luò)在同一物理設(shè)施上共存,并實(shí)現(xiàn)了良好的性能隔離。

    圖11 不同虛擬網(wǎng)絡(luò)的轉(zhuǎn)發(fā)性能

    6 結(jié)束語(yǔ)

    針對(duì)當(dāng)前可編程數(shù)據(jù)平面提供獨(dú)占的數(shù)據(jù)平面抽象難以同時(shí)支持多個(gè)虛擬網(wǎng)絡(luò)的問(wèn)題,本文提出了一種基于并行流水線的虛擬化可編程數(shù)據(jù)平面結(jié)構(gòu)VirtP6。VirtP6改變了可編程數(shù)據(jù)平面單一的流水線結(jié)構(gòu),并在物理資源平臺(tái)和多個(gè)虛擬網(wǎng)絡(luò)功能之間引入管理程序,以支持多個(gè)虛擬網(wǎng)絡(luò)功能的并行運(yùn)行,實(shí)現(xiàn)了可編程數(shù)據(jù)平面的虛擬化,并滿足不同虛擬網(wǎng)絡(luò)功能之間的資源隔離、流量隔離、訪問(wèn)隔離要求。最后,在BM v2軟件交換機(jī)上實(shí)現(xiàn)了VirtP6原型,并從虛擬化開(kāi)銷、隔離性、擴(kuò)展性和網(wǎng)絡(luò)適用性方面對(duì)VirtP6的性能進(jìn)行了評(píng)估。實(shí)驗(yàn)結(jié)果表明,VirtP6大大減少了虛擬化開(kāi)銷,具有良好的隔離性和擴(kuò)展性。本文的下一步工作將對(duì)VirtP6添加更多的資源管理策略,以滿足不同虛擬網(wǎng)絡(luò)的服務(wù)質(zhì)量要求,并在硬件平臺(tái)上實(shí)現(xiàn)VirtP6原型。

    猜你喜歡
    管理程序流水線數(shù)據(jù)包
    Gen Z Migrant Workers Are Leaving the Assembly Line
    軍事保密管理程序法治化及其對(duì)軍民協(xié)同創(chuàng)新發(fā)展的促進(jìn)研究
    流水線
    SmartSniff
    關(guān)于EPC總承包項(xiàng)目設(shè)計(jì)管理程序文件的研究
    報(bào)廢汽車拆解半自動(dòng)流水線研究
    基于Libpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲器的設(shè)計(jì)與實(shí)現(xiàn)
    SIMATIC IPC3000 SMART在汽車流水線領(lǐng)域的應(yīng)用
    FMC移動(dòng)性管理程序
    河南科技(2014年24期)2014-02-27 14:19:26
    視覺(jué)注意的數(shù)據(jù)包優(yōu)先級(jí)排序策略研究
    人妻 亚洲 视频| 男女国产视频网站| 最新的欧美精品一区二区| 久久人妻熟女aⅴ| 久热这里只有精品99| 一本大道久久a久久精品| 18禁在线无遮挡免费观看视频| 日韩伦理黄色片| 国产在线视频一区二区| 欧美日韩国产mv在线观看视频| 尾随美女入室| 五月伊人婷婷丁香| 尾随美女入室| 亚洲av成人精品一区久久| a 毛片基地| 五月天丁香电影| 亚洲国产精品一区三区| 国产精品国产三级专区第一集| 少妇熟女欧美另类| √禁漫天堂资源中文www| 色网站视频免费| 亚洲人与动物交配视频| 丰满乱子伦码专区| 亚洲精品乱久久久久久| 久久久久精品久久久久真实原创| 天天躁夜夜躁狠狠久久av| 九九爱精品视频在线观看| 成人国产麻豆网| 尾随美女入室| 久久人人爽av亚洲精品天堂| 日本黄色日本黄色录像| 天堂8中文在线网| 九草在线视频观看| 蜜桃国产av成人99| 亚洲精品色激情综合| 国产一区有黄有色的免费视频| 女性生殖器流出的白浆| 亚洲欧美中文字幕日韩二区| 3wmmmm亚洲av在线观看| 亚洲人成77777在线视频| 自线自在国产av| 久久午夜综合久久蜜桃| 男女免费视频国产| 我的女老师完整版在线观看| 欧美精品高潮呻吟av久久| 免费少妇av软件| 性色av一级| 99久国产av精品国产电影| 午夜老司机福利剧场| 插阴视频在线观看视频| 午夜福利影视在线免费观看| 99九九在线精品视频| 国产视频首页在线观看| 精品久久久久久久久亚洲| 国产精品无大码| 女性生殖器流出的白浆| av.在线天堂| 欧美成人午夜免费资源| 美女中出高潮动态图| 少妇熟女欧美另类| 日韩强制内射视频| 日产精品乱码卡一卡2卡三| 久久国内精品自在自线图片| 久久精品久久精品一区二区三区| 国产黄色免费在线视频| 不卡视频在线观看欧美| 国产无遮挡羞羞视频在线观看| 亚洲高清免费不卡视频| 免费观看在线日韩| 久久久欧美国产精品| 亚洲av不卡在线观看| a级毛片黄视频| 男女边吃奶边做爰视频| 亚洲天堂av无毛| 亚洲精品一二三| 三级国产精品片| 一本—道久久a久久精品蜜桃钙片| 成年人免费黄色播放视频| 夫妻午夜视频| 夜夜爽夜夜爽视频| 精品久久国产蜜桃| 久久久久久久久久人人人人人人| 在线观看www视频免费| 国产午夜精品久久久久久一区二区三区| 大陆偷拍与自拍| 国产在线一区二区三区精| 黑人猛操日本美女一级片| 男的添女的下面高潮视频| 男女无遮挡免费网站观看| 久久国产精品男人的天堂亚洲 | 国产女主播在线喷水免费视频网站| 日本av手机在线免费观看| 天天操日日干夜夜撸| 久久久a久久爽久久v久久| 大香蕉97超碰在线| 国产精品国产三级专区第一集| 国产精品蜜桃在线观看| 丰满乱子伦码专区| 日韩免费高清中文字幕av| 精品国产国语对白av| 国产成人a∨麻豆精品| 亚洲精品亚洲一区二区| 伦精品一区二区三区| 亚洲欧美日韩另类电影网站| 99久久精品国产国产毛片| 国产精品国产三级国产av玫瑰| 亚洲欧洲国产日韩| 91精品一卡2卡3卡4卡| 久久国产亚洲av麻豆专区| 国产免费现黄频在线看| 国产乱人偷精品视频| 免费观看的影片在线观看| 中国三级夫妇交换| 国产爽快片一区二区三区| 九色成人免费人妻av| 黄片播放在线免费| 欧美人与性动交α欧美精品济南到 | 91精品国产国语对白视频| 国产亚洲精品久久久com| 秋霞在线观看毛片| 丝瓜视频免费看黄片| 久久精品国产a三级三级三级| 99热国产这里只有精品6| 丰满少妇做爰视频| 亚洲精品日韩av片在线观看| 高清午夜精品一区二区三区| 久久久久久久大尺度免费视频| 一本一本综合久久| 插阴视频在线观看视频| 多毛熟女@视频| 日韩中字成人| 日产精品乱码卡一卡2卡三| 国产av精品麻豆| 91成人精品电影| 一级片'在线观看视频| 黑丝袜美女国产一区| 国产一区有黄有色的免费视频| 一级黄片播放器| 一本—道久久a久久精品蜜桃钙片| 亚洲av成人精品一区久久| 简卡轻食公司| 黑人欧美特级aaaaaa片| 久久久久国产网址| 18禁在线无遮挡免费观看视频| 如日韩欧美国产精品一区二区三区 | 热99久久久久精品小说推荐| 亚洲精品aⅴ在线观看| 香蕉精品网在线| 一边摸一边做爽爽视频免费| 内地一区二区视频在线| 亚洲人与动物交配视频| 一本一本综合久久| 99久久精品国产国产毛片| 9色porny在线观看| 国产成人freesex在线| 狠狠精品人妻久久久久久综合| 国产成人a∨麻豆精品| 精品久久国产蜜桃| 国产永久视频网站| 老女人水多毛片| 一本一本综合久久| 建设人人有责人人尽责人人享有的| 男男h啪啪无遮挡| 日韩制服骚丝袜av| 亚洲精品亚洲一区二区| 欧美老熟妇乱子伦牲交| 国产乱人偷精品视频| 久久精品夜色国产| 欧美性感艳星| 一区二区av电影网| 少妇丰满av| 这个男人来自地球电影免费观看 | 国产有黄有色有爽视频| 国产成人aa在线观看| 成人影院久久| 亚洲精品视频女| 这个男人来自地球电影免费观看 | 欧美精品一区二区大全| 极品少妇高潮喷水抽搐| 亚洲精品av麻豆狂野| 一本—道久久a久久精品蜜桃钙片| 久久久久视频综合| 日本免费在线观看一区| 麻豆成人av视频| 国产又色又爽无遮挡免| 精品亚洲成国产av| 欧美精品高潮呻吟av久久| 91久久精品国产一区二区成人| 亚洲精品一二三| 午夜91福利影院| 国产精品一区二区在线观看99| 亚洲第一av免费看| 久久久久国产精品人妻一区二区| 日本vs欧美在线观看视频| 亚洲丝袜综合中文字幕| 熟妇人妻不卡中文字幕| 一区二区av电影网| 制服丝袜香蕉在线| 热99久久久久精品小说推荐| 久久午夜福利片| 观看av在线不卡| 全区人妻精品视频| 亚洲人成77777在线视频| 韩国高清视频一区二区三区| 日本av免费视频播放| 三上悠亚av全集在线观看| 中文乱码字字幕精品一区二区三区| 亚洲怡红院男人天堂| 交换朋友夫妻互换小说| 18+在线观看网站| 国产精品人妻久久久久久| 黑人猛操日本美女一级片| 大码成人一级视频| 亚洲天堂av无毛| 国产极品粉嫩免费观看在线 | 亚洲激情五月婷婷啪啪| 天堂中文最新版在线下载| 91成人精品电影| 91精品伊人久久大香线蕉| 成人影院久久| 蜜臀久久99精品久久宅男| 午夜福利在线观看免费完整高清在| 精品国产一区二区三区久久久樱花| 女性生殖器流出的白浆| 国产高清不卡午夜福利| av线在线观看网站| 在线亚洲精品国产二区图片欧美 | 美女国产高潮福利片在线看| 国产精品嫩草影院av在线观看| 热re99久久国产66热| 精品卡一卡二卡四卡免费| 最近的中文字幕免费完整| 日韩欧美精品免费久久| 欧美日韩在线观看h| 日韩精品免费视频一区二区三区 | 亚洲内射少妇av| 亚洲欧美精品自产自拍| 80岁老熟妇乱子伦牲交| 在线观看免费高清a一片| 国产男人的电影天堂91| 欧美精品一区二区大全| 亚洲精品久久久久久婷婷小说| 久久青草综合色| 18禁在线无遮挡免费观看视频| 国产欧美另类精品又又久久亚洲欧美| 亚洲精品aⅴ在线观看| 亚洲少妇的诱惑av| 人人妻人人添人人爽欧美一区卜| 亚洲一区二区三区欧美精品| 99热国产这里只有精品6| 免费av中文字幕在线| 天堂8中文在线网| 2022亚洲国产成人精品| 狠狠婷婷综合久久久久久88av| 99久久精品一区二区三区| 久久人人爽人人片av| 婷婷成人精品国产| 国产乱人偷精品视频| 久久精品夜色国产| 国产精品一国产av| 蜜桃国产av成人99| 亚洲国产精品999| 日韩制服骚丝袜av| 精品少妇内射三级| 亚洲五月色婷婷综合| 久久精品国产亚洲av涩爱| 亚洲精品久久久久久婷婷小说| 91aial.com中文字幕在线观看| 国产国语露脸激情在线看| 汤姆久久久久久久影院中文字幕| 全区人妻精品视频| 91国产中文字幕| 大片免费播放器 马上看| 久久久a久久爽久久v久久| 日本-黄色视频高清免费观看| 亚洲av福利一区| 国产精品人妻久久久影院| 天堂8中文在线网| 曰老女人黄片| 久久久久久久久久久丰满| 欧美精品一区二区大全| 日本色播在线视频| av免费在线看不卡| 久久久久国产网址| 女人久久www免费人成看片| 午夜福利在线观看免费完整高清在| 波野结衣二区三区在线| 一区二区av电影网| 成人国产麻豆网| 久久久国产一区二区| 久久韩国三级中文字幕| 成人无遮挡网站| 91精品三级在线观看| 亚洲欧美成人精品一区二区| 男女无遮挡免费网站观看| 中国三级夫妇交换| www.色视频.com| 成人国产av品久久久| 亚洲婷婷狠狠爱综合网| 国产成人av激情在线播放 | 一区二区日韩欧美中文字幕 | 日日摸夜夜添夜夜爱| 午夜久久久在线观看| 又大又黄又爽视频免费| 欧美亚洲 丝袜 人妻 在线| 国产白丝娇喘喷水9色精品| 一级毛片aaaaaa免费看小| 热re99久久国产66热| 日本欧美国产在线视频| 一级毛片我不卡| 国产精品嫩草影院av在线观看| 飞空精品影院首页| 日本黄色片子视频| 国产成人免费无遮挡视频| 欧美日韩av久久| 三级国产精品片| 国产在线一区二区三区精| 涩涩av久久男人的天堂| 日韩成人伦理影院| 99视频精品全部免费 在线| 高清午夜精品一区二区三区| 少妇被粗大的猛进出69影院 | videos熟女内射| 国产不卡av网站在线观看| 全区人妻精品视频| 亚洲欧洲日产国产| 亚洲国产欧美日韩在线播放| 九草在线视频观看| 国产极品粉嫩免费观看在线 | 国产视频首页在线观看| 少妇 在线观看| 男女无遮挡免费网站观看| 中文天堂在线官网| 伦理电影免费视频| 久久久久国产精品人妻一区二区| 秋霞伦理黄片| 久久99一区二区三区| 亚洲国产精品一区三区| 一边摸一边做爽爽视频免费| 国产成人午夜福利电影在线观看| 我的老师免费观看完整版| 这个男人来自地球电影免费观看 | 国国产精品蜜臀av免费| 热re99久久国产66热| 另类精品久久| 国产亚洲av片在线观看秒播厂| 亚洲人成77777在线视频| 女人精品久久久久毛片| 好男人视频免费观看在线| 欧美精品高潮呻吟av久久| 亚洲精品aⅴ在线观看| 99热国产这里只有精品6| 亚洲精品久久午夜乱码| 丰满饥渴人妻一区二区三| 午夜视频国产福利| 欧美日韩精品成人综合77777| 免费观看的影片在线观看| 蜜桃在线观看..| 亚洲av国产av综合av卡| av一本久久久久| 久久久久视频综合| 中文字幕av电影在线播放| 在线亚洲精品国产二区图片欧美 | 国产成人免费观看mmmm| 最近手机中文字幕大全| 国产 精品1| 成人午夜精彩视频在线观看| 寂寞人妻少妇视频99o| 国产成人免费观看mmmm| 亚洲高清免费不卡视频| 久久久久久久国产电影| 国产成人freesex在线| 国产午夜精品久久久久久一区二区三区| 男女高潮啪啪啪动态图| 热99国产精品久久久久久7| tube8黄色片| 伦理电影大哥的女人| 精品国产乱码久久久久久小说| 久久久久久久精品精品| 超碰97精品在线观看| 亚洲无线观看免费| 日韩av在线免费看完整版不卡| 国产成人精品婷婷| 国产精品熟女久久久久浪| 少妇精品久久久久久久| 色94色欧美一区二区| 亚洲av成人精品一二三区| 有码 亚洲区| 国产精品一区www在线观看| 久久精品熟女亚洲av麻豆精品| 满18在线观看网站| 日韩中文字幕视频在线看片| 免费观看的影片在线观看| 亚洲三级黄色毛片| freevideosex欧美| 国产高清有码在线观看视频| 国产亚洲精品第一综合不卡 | 五月开心婷婷网| 91国产中文字幕| 校园人妻丝袜中文字幕| 18禁动态无遮挡网站| 在线天堂最新版资源| 国产精品一区二区在线不卡| 欧美3d第一页| 精品国产一区二区三区久久久樱花| 亚州av有码| 久久精品夜色国产| 18+在线观看网站| 亚洲精品日韩av片在线观看| 亚洲精品av麻豆狂野| av线在线观看网站| 美女大奶头黄色视频| av国产精品久久久久影院| 国产日韩欧美在线精品| 在线观看免费日韩欧美大片 | 精品视频人人做人人爽| 色94色欧美一区二区| 男人操女人黄网站| 久久国产亚洲av麻豆专区| videos熟女内射| 国产一区二区三区av在线| 精品久久久精品久久久| 另类亚洲欧美激情| 成人国产av品久久久| 中国美白少妇内射xxxbb| 蜜臀久久99精品久久宅男| 亚洲情色 制服丝袜| 高清毛片免费看| 午夜福利在线观看免费完整高清在| 久久午夜综合久久蜜桃| 熟妇人妻不卡中文字幕| 国产黄色免费在线视频| 精品久久久精品久久久| 久久久精品免费免费高清| 日韩精品有码人妻一区| 熟女人妻精品中文字幕| 亚洲人成77777在线视频| 国产亚洲最大av| 亚洲av在线观看美女高潮| 交换朋友夫妻互换小说| 观看美女的网站| 丁香六月天网| 午夜av观看不卡| 热99国产精品久久久久久7| av黄色大香蕉| 国产永久视频网站| xxxhd国产人妻xxx| 久久狼人影院| 菩萨蛮人人尽说江南好唐韦庄| 97精品久久久久久久久久精品| 国产精品.久久久| 亚洲欧洲精品一区二区精品久久久 | 国内精品宾馆在线| 永久网站在线| 两个人免费观看高清视频| 国产高清国产精品国产三级| 久久久久人妻精品一区果冻| 狂野欧美激情性bbbbbb| 少妇精品久久久久久久| 中文字幕免费在线视频6| 国产高清三级在线| 天天躁夜夜躁狠狠久久av| 高清午夜精品一区二区三区| 亚洲精品色激情综合| 九色亚洲精品在线播放| 少妇的逼水好多| 亚洲av日韩在线播放| 成人国产av品久久久| 国产综合精华液| 亚洲国产最新在线播放| 国产精品99久久99久久久不卡 | 亚洲精品日韩在线中文字幕| 只有这里有精品99| 日韩大片免费观看网站| 街头女战士在线观看网站| 久久青草综合色| 一本久久精品| 国产乱人偷精品视频| 制服诱惑二区| 人人澡人人妻人| 一级爰片在线观看| 免费高清在线观看视频在线观看| 国产日韩一区二区三区精品不卡 | 国产精品久久久久久精品古装| 女人久久www免费人成看片| 亚洲国产欧美在线一区| 久久人人爽人人片av| 精品久久久噜噜| 边亲边吃奶的免费视频| 一区二区av电影网| 亚洲精品国产av成人精品| 丝瓜视频免费看黄片| 欧美最新免费一区二区三区| 五月玫瑰六月丁香| 亚洲欧美清纯卡通| 老熟女久久久| 久久女婷五月综合色啪小说| 最黄视频免费看| 在线观看美女被高潮喷水网站| 乱人伦中国视频| 22中文网久久字幕| 校园人妻丝袜中文字幕| 在线观看一区二区三区激情| 你懂的网址亚洲精品在线观看| 久久精品久久精品一区二区三区| 亚洲av在线观看美女高潮| 成人亚洲精品一区在线观看| 午夜激情久久久久久久| a级毛色黄片| 日本-黄色视频高清免费观看| 免费观看无遮挡的男女| 日韩精品免费视频一区二区三区 | 丝袜在线中文字幕| 国产精品一区二区在线观看99| 有码 亚洲区| 一级黄片播放器| 肉色欧美久久久久久久蜜桃| 亚洲av电影在线观看一区二区三区| av在线app专区| 少妇丰满av| 制服人妻中文乱码| 黄色视频在线播放观看不卡| 亚洲图色成人| 寂寞人妻少妇视频99o| av在线播放精品| 亚洲丝袜综合中文字幕| 欧美日韩视频精品一区| 国产精品嫩草影院av在线观看| 久久久国产精品麻豆| 97在线视频观看| 18禁动态无遮挡网站| 国产精品国产三级专区第一集| 亚洲精品国产av成人精品| 午夜福利,免费看| 伦理电影免费视频| 欧美精品高潮呻吟av久久| 成人国产av品久久久| 亚洲av二区三区四区| 又粗又硬又长又爽又黄的视频| 中文字幕人妻熟人妻熟丝袜美| 午夜日本视频在线| 男人爽女人下面视频在线观看| 午夜免费观看性视频| 国产国语露脸激情在线看| 欧美日韩av久久| 岛国毛片在线播放| av福利片在线| 高清不卡的av网站| 欧美一级a爱片免费观看看| 91午夜精品亚洲一区二区三区| 91久久精品国产一区二区三区| 久久久a久久爽久久v久久| 制服诱惑二区| 免费黄色在线免费观看| 欧美日韩一区二区视频在线观看视频在线| 欧美精品国产亚洲| 亚洲成人一二三区av| 国产成人精品无人区| 18禁在线播放成人免费| tube8黄色片| 最黄视频免费看| 九色亚洲精品在线播放| 国产免费现黄频在线看| 成人影院久久| 新久久久久国产一级毛片| 哪个播放器可以免费观看大片| av女优亚洲男人天堂| 亚洲av日韩在线播放| 一区二区三区乱码不卡18| 大陆偷拍与自拍| 黑人欧美特级aaaaaa片| 日韩欧美一区视频在线观看| 成人国产麻豆网| 免费日韩欧美在线观看| www.av在线官网国产| 午夜免费鲁丝| 亚洲欧美成人精品一区二区| 久久久久人妻精品一区果冻| 午夜影院在线不卡| 亚洲国产精品专区欧美| 热re99久久精品国产66热6| 高清黄色对白视频在线免费看| 18禁在线播放成人免费| 国产精品麻豆人妻色哟哟久久| 制服诱惑二区| 久久人人爽人人片av| 汤姆久久久久久久影院中文字幕| 久久久久精品性色| 午夜福利网站1000一区二区三区| 在现免费观看毛片| 国产欧美亚洲国产| 免费观看无遮挡的男女| 成人亚洲精品一区在线观看| 国精品久久久久久国模美| 精品少妇黑人巨大在线播放| 国产精品一区二区在线不卡| av专区在线播放| 国产亚洲欧美精品永久| 国产精品国产三级国产专区5o| 精品人妻偷拍中文字幕| 九色亚洲精品在线播放| 国产精品偷伦视频观看了| 免费日韩欧美在线观看| 最近中文字幕2019免费版| 一边亲一边摸免费视频| 国产在线一区二区三区精| 精品人妻偷拍中文字幕| 女性被躁到高潮视频| 伊人久久精品亚洲午夜| 国产精品一区二区在线不卡| 国产精品不卡视频一区二区| 成人影院久久| 日日摸夜夜添夜夜添av毛片| 亚洲内射少妇av| 久久这里有精品视频免费|