• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于通用寬帶路由器的OpenFlow交換機(jī)設(shè)計(jì)

    2016-12-26 08:40:14方鈺權(quán)
    關(guān)鍵詞:表項(xiàng)路由器交換機(jī)

    邱 堃 方鈺權(quán) 陸 偉 趙 進(jìn)

    1(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海 201203)2(上海文廣互動(dòng)電視有限公司 上海 200072)3(網(wǎng)絡(luò)信息安全審計(jì)與監(jiān)控教育部工程研究中心 上海 201203)

    ?

    基于通用寬帶路由器的OpenFlow交換機(jī)設(shè)計(jì)

    邱 堃1,3方鈺權(quán)1,3陸 偉2趙 進(jìn)1,3

    1(復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 上海 201203)2(上海文廣互動(dòng)電視有限公司 上海 200072)3(網(wǎng)絡(luò)信息安全審計(jì)與監(jiān)控教育部工程研究中心 上海 201203)

    基于OpenFlow協(xié)議的軟件定義網(wǎng)絡(luò)離不開控制器與OpenFlow交換機(jī)。然而,支持OpenFlow協(xié)議的交換機(jī)異常昂貴且難于獲得。為了方便地獲得支持OpenFlow協(xié)議的交換機(jī),介紹一種基于通用寬帶路由器的OpenFlow交換機(jī)設(shè)計(jì)。該設(shè)計(jì)可以僅用市場(chǎng)上常見的通用寬帶路由器以及開源Linux軟件構(gòu)建出一款完整支持OpenFlow協(xié)議的交換機(jī)。實(shí)驗(yàn)結(jié)果顯示,該設(shè)計(jì)以可接受的性能實(shí)現(xiàn)現(xiàn)階段OpenFlow協(xié)議的所有功能。

    軟件定義網(wǎng)絡(luò) OpenFlow 交換機(jī) Open vSwitch Open Wrt 通用寬帶路由器 Linux

    0 引 言

    全球互聯(lián)網(wǎng)自20世紀(jì)末進(jìn)入商用領(lǐng)域以來發(fā)展迅速,現(xiàn)在已經(jīng)成為推動(dòng)世界發(fā)展的力量的一個(gè)重要組成部分。隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等新概念的興起,基于下一代網(wǎng)絡(luò)的創(chuàng)新活動(dòng)日益活躍。其中,軟件定義網(wǎng)絡(luò)SDN作為下一代網(wǎng)絡(luò)的核心理念受到了全球廣泛的關(guān)注。

    在傳統(tǒng)網(wǎng)絡(luò)中,網(wǎng)絡(luò)的業(yè)務(wù)發(fā)展依賴于網(wǎng)絡(luò)中硬件架構(gòu)的發(fā)展。隨著網(wǎng)絡(luò)規(guī)模的擴(kuò)大,網(wǎng)絡(luò)內(nèi)容正在爆炸式的增長(zhǎng)。云計(jì)算、物聯(lián)網(wǎng)、虛擬化等各種新技術(shù)不斷產(chǎn)生,改變了網(wǎng)絡(luò)業(yè)務(wù)發(fā)展的態(tài)勢(shì)。然而基于傳統(tǒng)網(wǎng)絡(luò)的業(yè)務(wù)發(fā)展模式難以滿足新興網(wǎng)絡(luò)應(yīng)用的發(fā)展速度,因此,基于軟件定義網(wǎng)絡(luò)的研究變得越來越重要?!败浖谡碱I(lǐng)世界,未來網(wǎng)絡(luò)與硬件無關(guān)?!?IT 產(chǎn)業(yè)的中心已經(jīng)從設(shè)備制造轉(zhuǎn)到軟件設(shè)計(jì),軟件定義網(wǎng)絡(luò)帶來了更大的靈活性與開放性。

    誕生于學(xué)術(shù)界的軟件定義網(wǎng)絡(luò)是由美國(guó)斯坦福大學(xué) Clean Slate 研究組所提出的。它把傳統(tǒng)的硬件封閉式的網(wǎng)絡(luò)轉(zhuǎn)變成一個(gè)開放式的環(huán)境,大大提高了網(wǎng)絡(luò)的可編程性與可管理性。軟件定義網(wǎng)絡(luò)中的核心技術(shù) OpenFlow[1]能夠?qū)?shù)據(jù)層與控制層很好地分離,這讓網(wǎng)絡(luò)控制者能夠方便地控制自己的數(shù)據(jù),使得網(wǎng)絡(luò)可以集中控制與部署,從而使得新業(yè)務(wù)可以快速上線和應(yīng)用。

    OpenFlow[1]網(wǎng)絡(luò)由 OpenFlow 交換機(jī)與控制器兩部分組成。為了實(shí)現(xiàn)數(shù)據(jù)層與控制層分離, OpenFlow 將原來由交換機(jī)與路由器所控制的轉(zhuǎn)發(fā)過程轉(zhuǎn)化為由 OpenFlow 交換機(jī)與控制器共同完成: OpenFlow 交換機(jī)進(jìn)行數(shù)據(jù)層的轉(zhuǎn)發(fā);控制器對(duì)網(wǎng)絡(luò)進(jìn)行集中控制。因此,控制層與數(shù)據(jù)層可以實(shí)現(xiàn)完全分離??刂破餍枰孪葘penFlow 交換機(jī)中的數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則設(shè)定好,從而達(dá)到控制數(shù)據(jù)轉(zhuǎn)發(fā)的目的。

    現(xiàn)階段,OpenFlow交換機(jī)主要由兩種類型組成:一種是硬交換機(jī),即主要使用硬件來處理數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則。例如HP 5400系列、OpenxNet-5016R、盛科V350等交換機(jī),在這些交換機(jī)中使用TCAM或者NetFPGA等硬件設(shè)備來保證高速的規(guī)則匹配。另外一種則由普通PC機(jī)來提供平臺(tái),通過Open vSwitch來完成規(guī)則匹配以及數(shù)據(jù)轉(zhuǎn)發(fā)相關(guān)工作。這兩種平臺(tái)各有利弊,第一種平臺(tái)轉(zhuǎn)發(fā)效率高,但是擴(kuò)展性差并且價(jià)格昂貴; 第二種平臺(tái)轉(zhuǎn)發(fā)效率適中,但是擴(kuò)展性好并且價(jià)格適中。但是,無論哪種平臺(tái),其成本都不適合作為小規(guī)模實(shí)驗(yàn)用。本文提出了一種在家用簡(jiǎn)單路由器上運(yùn)行的OpenFlow交換機(jī)系統(tǒng),該系統(tǒng)可以在目前常用的通用寬帶路由器上運(yùn)行,給通用寬帶路由器加上OpenFlow相關(guān)特性。

    1 OpenFlow交換機(jī)的發(fā)展

    1.1 OpenFlow交換機(jī)的發(fā)展

    網(wǎng)絡(luò)交換機(jī)是一種計(jì)算機(jī)網(wǎng)絡(luò)設(shè)備,這種設(shè)備將其他不同的網(wǎng)絡(luò)設(shè)備連接在一起,并在這些設(shè)備之間轉(zhuǎn)發(fā)數(shù)據(jù)。網(wǎng)絡(luò)交換機(jī)的功能強(qiáng)于集線器。網(wǎng)絡(luò)交換機(jī)只會(huì)把接收到的數(shù)據(jù)交換到數(shù)據(jù)所需要被轉(zhuǎn)發(fā)的網(wǎng)絡(luò)端口,而集線器則會(huì)把接收到的數(shù)據(jù)無條件轉(zhuǎn)發(fā)給所有網(wǎng)絡(luò)端口。

    一般來說,一個(gè)網(wǎng)絡(luò)交換機(jī)有許多個(gè)端口,這些端口與CPU一同被橋接在一起,用以提供在OSI模型中的第二層——數(shù)據(jù)交換功能。交換機(jī)內(nèi)的數(shù)據(jù)傳輸是異步的。假設(shè)有4臺(tái)計(jì)算機(jī)(A、B、C、D)連接上了某個(gè)交換機(jī)的四個(gè)端口,在任何時(shí)刻,任何組合都可以同時(shí)傳輸:A可以與B交換數(shù)據(jù),同時(shí)C可以與D交換數(shù)據(jù),并且兩者之間互不干擾。在全雙工模式下,A在發(fā)送數(shù)據(jù)給B的同時(shí),B也可以發(fā)送數(shù)據(jù)給C。

    對(duì)于現(xiàn)代網(wǎng)絡(luò)交換機(jī)而言,設(shè)備制造商通過擴(kuò)展設(shè)備內(nèi)不同的模塊可以實(shí)現(xiàn)對(duì)不同網(wǎng)絡(luò)類型的支持:以太網(wǎng)、光纖、ATM等。除了可以工作在OSI模型的第二層,還可以工作在OSI模型的第三層,可以工作在第三層的交換機(jī)一般被稱作路由器。為了保證網(wǎng)絡(luò)交換機(jī)的性能以及安全性,某些設(shè)備制造商會(huì)在網(wǎng)絡(luò)交換機(jī)中提供例如防火墻、網(wǎng)絡(luò)行為監(jiān)測(cè)以及性能分析等工具。

    網(wǎng)絡(luò)交換機(jī)中最為核心的部分是交換機(jī)芯片。在早期,規(guī)則匹配以及網(wǎng)絡(luò)交換行為是在OSI模型的第二層中實(shí)現(xiàn)的,因此在早期的交換芯片中只包含第二層協(xié)議(簡(jiǎn)稱MAC層)相關(guān)的處理機(jī)制。為了能夠傳輸數(shù)據(jù),還需要一套OSI模型第一層(物理層)處理芯片(簡(jiǎn)稱PHY)來將網(wǎng)絡(luò)數(shù)據(jù)與物理層信號(hào)進(jìn)行互相轉(zhuǎn)換,使得通信得以正常進(jìn)行。隨著大規(guī)模集成電路的廣泛應(yīng)用,現(xiàn)在已經(jīng)出現(xiàn)了將OSI第一層處理物理信號(hào)的芯片與第二層處理網(wǎng)絡(luò)數(shù)據(jù)的芯片集成在一起的交換機(jī)芯片。目前低速網(wǎng)絡(luò)設(shè)備已經(jīng)大量使用這種芯片,而高速網(wǎng)絡(luò)設(shè)備依舊需要專有的物理層處理芯片。現(xiàn)有的交換機(jī)芯片主要由Broadcom、Realtek以及VIA公司提供。Broadcaom公司作為數(shù)據(jù)通信行業(yè)的領(lǐng)導(dǎo)者,較早推出將MAC層與PHY層集成在一顆芯片上的解決方案。根據(jù)處理能力以及市場(chǎng)定位的不同,Broadcom公司推出了幾款不同的商用交換機(jī)芯片方案:

    1) 較為低端的BCM5312+BCM5248U+B5011A方案。其中,BCM5312為第二層(MAC層)數(shù)據(jù)處理芯片,內(nèi)部可以存儲(chǔ)4K個(gè)MAC地址。BCM5248U是一個(gè)8口百兆PHY,BCM5011A則是一個(gè)千兆PHY。整個(gè)產(chǎn)品的交換能力可以達(dá)到8.8 Gbps。

    2) 中、高端的產(chǎn)品使用的BCM5380芯片。這顆芯片中集成了一個(gè)8口百兆PHY與一個(gè)千兆PHY。若整個(gè)交換機(jī)使用3顆BCM5380芯片則可以組成一個(gè)24口百兆+6口千兆的產(chǎn)品。BCM5380芯片集成了一個(gè)12 MB的緩存用以數(shù)據(jù)包的轉(zhuǎn)發(fā),整個(gè)產(chǎn)品可以達(dá)到16.8 Gbps的交換能力。

    3) 集成度更高的產(chǎn)品使用BCM5324芯片,集成了24口百兆PHY的交換機(jī)芯片,集成度更高并且性能更好。BCM5324芯片集成了4 MB緩存用于數(shù)據(jù)包的存儲(chǔ)轉(zhuǎn)發(fā)。

    然而,無論是Broadcom或者Realtek或者其他芯片公司,他們的產(chǎn)品參數(shù)大同小異,但是在產(chǎn)品功能細(xì)化上卻有著較大的差異。無論如何,目前主流網(wǎng)絡(luò)交換機(jī)主要功能還是由第二層網(wǎng)絡(luò)芯片與第一層物理交換芯片組成。

    1.2 OpenFlow交換機(jī)

    OpenFlow交換機(jī)是一種在軟件定義網(wǎng)絡(luò)中使用的交換機(jī)設(shè)備,這種設(shè)備基于OpenFlow協(xié)議或與之兼容。

    在傳統(tǒng)的網(wǎng)絡(luò)交換機(jī)中,數(shù)據(jù)轉(zhuǎn)發(fā)(數(shù)據(jù)平面)與路由、防火墻(控制平面)等功能是在同一個(gè)設(shè)備當(dāng)中。在軟件定義網(wǎng)絡(luò)中,數(shù)據(jù)平面與控制平面從同一個(gè)設(shè)備當(dāng)中分離出來,數(shù)據(jù)平面仍然在交換機(jī)內(nèi)部實(shí)現(xiàn),但是控制平面則會(huì)獨(dú)立由OpenFlow控制器進(jìn)行控制。OpenFlow控制器可以實(shí)現(xiàn)高級(jí)別的交換機(jī)行為控制。OpenFlow交換機(jī)與OpenFlow控制器通過OpenFlow協(xié)議進(jìn)行信息交互。

    與傳統(tǒng)的網(wǎng)絡(luò)交換機(jī)不同,OpenFlow交換機(jī)必須遵守OpenFlow協(xié)議[3]。OpenFlow協(xié)議規(guī)范中規(guī)定,OpenFlow交換機(jī)需要支持如表1所示的表項(xiàng)以及流表。

    表1 OpenFlow表項(xiàng)內(nèi)容

    一個(gè) OpenFlow 流表由大量 OpenFlow 表項(xiàng)所組成。每一個(gè)表項(xiàng)包括:

    1) 匹配項(xiàng);

    2) 優(yōu)先級(jí);

    3) 計(jì)數(shù)器;

    4) 操作指令;

    5) 超時(shí);

    6) Cookie。

    每一個(gè)表項(xiàng)包括匹配項(xiàng)與優(yōu)先級(jí),匹配項(xiàng)與優(yōu)先級(jí)可以唯一地定義流表中的表項(xiàng)。若匹配項(xiàng)中所有項(xiàng)都是任意可取,則這樣的表項(xiàng)的優(yōu)先級(jí)永遠(yuǎn)是 0,并且這個(gè)表項(xiàng)被叫做失敗匹配項(xiàng)。

    數(shù)據(jù)包能否被匹配取決于數(shù)據(jù)包中的匹配項(xiàng)是否能夠被流表項(xiàng)中的匹配項(xiàng)所匹配。如果表項(xiàng)中的匹配項(xiàng)中有值是“ANY”(忽略該項(xiàng)),那么數(shù)據(jù)包中該匹配項(xiàng)在匹配時(shí)會(huì)被忽略。如果交換機(jī)的特性支持精確匹配,那么交換機(jī)可以對(duì)輸入流進(jìn)行更精確的匹配(例如 IP 地址前綴查找匹配、MAC地址前綴查找匹配)。如果數(shù)據(jù)包可以被多個(gè)流表中的表項(xiàng)匹配,那么只有優(yōu)先級(jí)別最高的表項(xiàng)可以被選擇。當(dāng)流表中的表項(xiàng)被匹配,對(duì)應(yīng)表項(xiàng)的計(jì)數(shù)器會(huì)被更新,表項(xiàng)所對(duì)應(yīng)的命令指令會(huì)被執(zhí)行。如果有復(fù)數(shù)個(gè)優(yōu)先級(jí)別相同的的表項(xiàng)被匹配, OpenFlow 對(duì)于這類操作是未定義的。在 OpenFlow Specification 1.3 中,定義了最新的 OpenFlow 匹配項(xiàng)的內(nèi)容。這些匹配項(xiàng)一共有 40多個(gè),不過交換機(jī)并不需要實(shí)現(xiàn)所有 40 多個(gè)匹配項(xiàng)的匹配功能??刂破骺梢酝ㄟ^查詢交換機(jī)來得知交換機(jī)支持哪些匹配項(xiàng)目。

    由上文可知,OpenFlow交換機(jī)的設(shè)計(jì)與傳統(tǒng)二層交換機(jī)區(qū)別甚大,因此OpenFlow交換機(jī)的交換芯片需要重新進(jìn)行設(shè)計(jì)。Specification 1.3中提出,由OpenFlow標(biāo)準(zhǔn)規(guī)定,流表中的字段可以自由組合進(jìn)行流表查找。在現(xiàn)在的芯片設(shè)計(jì)中,能夠?qū)崿F(xiàn)這種需求的只有TCAM芯片。TCAM芯片是一種三態(tài)內(nèi)容尋址存儲(chǔ)器,其設(shè)計(jì)的目的是快速查找訪問控制列表、路由表等表項(xiàng)。TCAM中每個(gè)比特位可以有三種狀態(tài):’0’、‘1’和‘don’t care’。第三種狀態(tài)的存在使得TCAM既可以精確匹配也可以模糊查找。雖然TCAM有這么多的優(yōu)點(diǎn),但是TCAM的成本非常高,其存儲(chǔ)空間的價(jià)格遠(yuǎn)遠(yuǎn)高于一般的SRAM,而且功耗也高于SRAM,占用芯片面積大。一條TCAM表項(xiàng)相當(dāng)于五六條DRAM表項(xiàng),幾十千比特的流表至少需要20 Mbit的TCAM,遠(yuǎn)超目前市場(chǎng)上最大交換芯片的TCAM大小。

    除了TCAM芯片,目前被用來作為OpenFlow交換機(jī)芯片的還有NetFPGA以及網(wǎng)絡(luò)處理器NP。NetFPGA與NP一樣,均是具有非常強(qiáng)大的可編程能力的芯片。這些芯片被用來作為OpenFlow交換機(jī)芯片的好處在于,設(shè)備商可以非常方便地對(duì)芯片的功能進(jìn)行更改。Stanford大學(xué)在研究OpenFlow的初期,就是使用基于FPGA開發(fā)的NetFPGA可編程平臺(tái)。在文獻(xiàn)[2]中,使用NetFPGA實(shí)現(xiàn)的OpenFlow交換機(jī),當(dāng)包大小為64 bytes時(shí),速度可以達(dá)到61 Kflows/s,在文獻(xiàn)[4,9]中,使用NP實(shí)現(xiàn)的OpenFlow交換機(jī)也有不錯(cuò)的性能。然而,使用NP或者NetFPGA來實(shí)現(xiàn)OpenFlow交換機(jī),在成本上與容量上都有著弊端。而且對(duì)于成品交換機(jī)來說,NP和NetFPGA的可編程性并沒有特別大意義,即對(duì)于用戶來說,內(nèi)部芯片是否可編程不會(huì)影響到OpenFlow交換機(jī)的功能。因此,使用NP以及NetFPGA來設(shè)計(jì)OpenFlow交換機(jī)更多的意義在于實(shí)現(xiàn)OpenFlow交換機(jī)功能的原型,或者作為商業(yè)OpenFlow交換機(jī)的補(bǔ)充。

    ONF組織(開放網(wǎng)絡(luò)組織)意識(shí)到為OpenFlow交換機(jī)重新設(shè)計(jì)芯片是一件較為困難的事情。因此,ONF在2012年提出了一個(gè)叫作TTP(Table Typing Patterns)的方案。TTP的目的在于使用現(xiàn)有的交換機(jī)芯片處理邏輯來達(dá)到OpenFlow交換機(jī)的功能。TTP在2013年重新改名為NDM(Negotiable Data-plane Model)。在傳統(tǒng)的商用交換機(jī)處理芯片中與OpenFlow邏輯類似的是ACL表,而NDM希望在保持與控制器接口不變的前提下,使用傳統(tǒng)商用交換機(jī)中的路由表、VLAN表、MPLS表等相關(guān)表項(xiàng)來實(shí)現(xiàn)OpenFlow的功能。雖然無法完全實(shí)現(xiàn)OpenFlow的功能,但是在大多數(shù)應(yīng)用下使用這些傳統(tǒng)表項(xiàng)就可以滿足了。在文獻(xiàn)[5]中,作者就使用VLAN來實(shí)現(xiàn)部分OpenFlow的功能。

    還有一種通過使用軟件來實(shí)現(xiàn)OpenFlow交換機(jī)的功能,這類交換機(jī)有著最好的可調(diào)整性與擴(kuò)展性。通過一臺(tái)普通的PC機(jī)與一些網(wǎng)卡以及開源軟件就可以搭建出一臺(tái)具有OpenFlow功能的交換機(jī)。這種交換機(jī)在本質(zhì)上還是一臺(tái)PC機(jī),沒有專有的轉(zhuǎn)發(fā)處理模塊,基本上使用多核CPU來進(jìn)行轉(zhuǎn)發(fā)匹配操作。也有在GPU上進(jìn)行流表匹配的相關(guān)研究[6-8],但是并沒有相應(yīng)的成品出現(xiàn)。一般使用的開源軟件主要搭配是Linux+Open vSwitch,目前Open vSwitch已經(jīng)將自身部分整合進(jìn)入了Linux內(nèi)核中。

    2 通用寬帶路由器及其系統(tǒng)架構(gòu)

    目前,得益于芯片制造工藝與性能的提升,通用寬帶路由器的進(jìn)入門檻變得越來越低。雖然市面上有著許多種通用寬帶路由器,但是根據(jù)它們所使用的芯片方案可以簡(jiǎn)單地將其進(jìn)行分類。目前,占據(jù)通用寬帶路由器市場(chǎng)份額前幾名的主要有Atheros、Braodcom以及Ralink等幾家公司所設(shè)計(jì)的芯片組。

    通用寬帶路由器與商用網(wǎng)絡(luò)交換機(jī)不同,商家根據(jù)市場(chǎng)需求,對(duì)商用網(wǎng)絡(luò)交換機(jī)的功能從各個(gè)方面進(jìn)行大幅度縮減,如表2所示。

    表2 通用寬帶路由器與商用網(wǎng)絡(luò)交換機(jī)功能對(duì)比

    由表2可知,通用寬帶路由器功能比商用網(wǎng)絡(luò)交換機(jī)少許多,但是在功耗上遠(yuǎn)低于商用網(wǎng)絡(luò)交換機(jī),并且在價(jià)格上也遠(yuǎn)比商用交換機(jī)便宜。因此,通用寬帶路由器多采用集成度較高的芯片方案,一般將交換機(jī)數(shù)據(jù)處理芯片與交換機(jī)芯片集成在一起以減少成本。Artheros官方給出了一套成熟的解決方案:AR9XXX解決方案。這款芯片可以支持32 MB的RAM,并且支持至少4 MB的Flash ROM。AR9XXX系列也有不同的細(xì)分產(chǎn)品,如表3所示。

    表3 AR9XXX系列路由器芯片

    使用AR9XXX系列的設(shè)備有許多,常見的有TP-LINK制造的TL-WR941N、TL-WR941ND以及D-LINK的DIR-615和水星的MWR300T+等。同樣,Artheros還給出了更為低端的AR7XXX系列,使用AR7XXX系列的設(shè)備主要有TP-LINK制造的TL-WR7XX、TL-WR8XX等許多通用寬帶路由器。

    Broadcom公司作為網(wǎng)絡(luò)芯片設(shè)計(jì)的標(biāo)桿也有許多通用寬帶路由器芯片產(chǎn)品。著名的Cisco無線路由器Linksys WRT54G便使用了Broadcom的brcm47xx系列芯片。brcm47xx系列芯片也有不同細(xì)分的產(chǎn)品,如表4所示。

    表4 brcm47xx系列路由器芯片

    由此可見,brcm47xx系列與AR9XXX系列在不同細(xì)分下標(biāo)準(zhǔn)不太相同,brcm47xx通過改變CPU的時(shí)鐘頻率來改變芯片性能。

    采用Broadcom解決方案的設(shè)備主要集中在較為高端的通用寬帶路由器中,如曾經(jīng)在Cisco旗下的Linksys推出的著名的WRT54G系統(tǒng)就采用了brcm47xx系列芯片。中國(guó)電信與中國(guó)聯(lián)通為普及寬帶向家庭用戶贈(zèng)送的上海貝爾RG100A-AA以及大亞DB120WG兩款路由器均是采用bcm6358芯片,性能與擴(kuò)展性都非常優(yōu)秀。

    還有其他路由器如華為HG255D、貝爾金 8235-4 V2采用了Ralink公司的芯片,D-Link的dir 615 rev.A 采用了 Marvell 88E6061。這些芯片在功能上與Atheros和Broadcom公司的芯片大同小異,但是在性能或者穩(wěn)定性上不如以上兩家公司的芯片,因此價(jià)格較為便宜,常用在低端通用寬帶路由器中。

    在軟件上,通用寬帶路由器普遍使用兩種操作系統(tǒng):Linux與VxWorks。由于通用寬帶路由器的主控芯片多為MIPS或者ARM架構(gòu),采用開源Linux系統(tǒng)作為通用寬帶路由占了大部分,Linksys的WRT54G早期版本即是使用開源Linux作為其操作系統(tǒng)。由于是開源軟件,所以就有可能對(duì)通用寬帶路由器進(jìn)行系統(tǒng)上的修改以達(dá)到添加用戶所需要的功能的目的。

    OpenWrt是一個(gè)主要在通用寬帶路由器上運(yùn)行的開源Linux發(fā)行版。由于Linksys的WRT54G使用了開源的Linux操作系統(tǒng),而Linux操作系統(tǒng)是遵守GPL協(xié)議的,所以Linksys公司被迫放出WRT54G系統(tǒng)的源代碼,經(jīng)過開源團(tuán)體的維護(hù)形成了以O(shè)penWrt為代表的在通用寬帶路由器運(yùn)行的開源Linux發(fā)行版。OpenWrt可以通過命令行以及Web頁面的方式對(duì)其進(jìn)行配置,到2015年6月為止,已經(jīng)有超過3500個(gè)左右的軟件包可供安裝,提供了非常強(qiáng)大的可擴(kuò)展性。OpenWrt支持超過50種不同的芯片,從上文所述的Broadcom、Atheros、Ralink到Intel的X86與X86-64都有支持。TP-LINK的TL-8XX系列、Linksys的WRT54G系列等均被成功移植OpenWrt系統(tǒng)。OpenWrt可以讓通用寬帶路由器擴(kuò)展出更多功能,如文件服務(wù)器(FTP)、P2P下載服務(wù)器等功能。由于OpenWrt是一個(gè)開源的Linux發(fā)行版本,大部份Linux應(yīng)用程序均可以工作在OpenWrt上,這為通用寬帶路由器的功能擴(kuò)展帶來了無限的可能性。

    3 通用寬帶路由器中添加OpenFlow功能

    如上文所述,大部分通用寬帶路由器實(shí)質(zhì)上是一個(gè)運(yùn)行著Linux操作系統(tǒng)的嵌入式系統(tǒng),因此移植本屬于在PC機(jī)上運(yùn)行的OpenFlow交換機(jī)軟件——Open vSwitch到運(yùn)行著OpenWrt系統(tǒng)的通用寬帶路由器當(dāng)中即可。

    對(duì)于大部分通用寬帶路由器來說,如圖1所示, 有兩類芯片控制著交換機(jī)的轉(zhuǎn)發(fā)過程。

    圖1 通用寬帶路由器中的控制芯片與交換芯片

    其中控制芯片與轉(zhuǎn)發(fā)芯片根據(jù)公司的不同會(huì)有不同的型號(hào)與封裝形式。Linksys公司的WRT54G v2.0使用的是bcm4712(控制芯片)+bcm5325(交換芯片)的組合,TP-LINK公司的TL-WR1043ND使用的是AR9132(控制芯片)+RTL8366RB(交換芯片)組合。然而該公司的TL-WR841N v7.0則使用了一個(gè)將兩者集成在一個(gè)芯片的型號(hào)AR7240,雖然兩芯片的物理部分集成在一起,但邏輯部分仍然是分開的。

    一般來說,控制芯片都是通用處理器,即可以由運(yùn)行在其上的Linux操作系統(tǒng)直接進(jìn)行控制。然而,交換機(jī)芯片則不同,根據(jù)不同的制造廠家,芯片的操作方式完全不同,這就需要在Linux操作系統(tǒng)上移植相應(yīng)的交換芯片驅(qū)動(dòng)程序以實(shí)現(xiàn)對(duì)交換芯片的配置。目前常用的交換芯片驅(qū)動(dòng)都已被移植入OpenWrt操作系統(tǒng),通過相應(yīng)的程序可以直接對(duì)交換芯片進(jìn)行功能的控制。有些芯片的驅(qū)動(dòng)程序并不完善(一些功能沒有被成功移植,例如VLAN等),因此還需要根據(jù)需求對(duì)驅(qū)動(dòng)程序進(jìn)行相應(yīng)的修改才能正常工作。

    Open vSwitch,有時(shí)也簡(jiǎn)稱Ovs,是一個(gè)高質(zhì)量的開源虛擬化交換機(jī)。Open vSwitch的目的在于提供一個(gè)僅使用普通PC硬件組成的網(wǎng)絡(luò)交換機(jī)。Open vSwitch不僅僅能夠滿足現(xiàn)有交換機(jī)的功能,還能夠組建兼容OpenFlow協(xié)議的OpenFlow交換機(jī)。Open vSwitch不僅可以像一個(gè)商用網(wǎng)絡(luò)交換機(jī)提供不同設(shè)備之間的數(shù)據(jù)交換服務(wù),還可以在單臺(tái)計(jì)算機(jī)中為不同的虛擬機(jī)提供虛擬交換機(jī)的服務(wù)。

    在計(jì)算機(jī)網(wǎng)絡(luò)中,網(wǎng)橋的概念與交換機(jī)類似。網(wǎng)橋可以在一臺(tái)計(jì)算機(jī)中連接幾個(gè)不同的局域網(wǎng)設(shè)備,根據(jù)程序的設(shè)定來轉(zhuǎn)發(fā)數(shù)據(jù)幀。一般來說,網(wǎng)橋會(huì)根據(jù)MAC地址來轉(zhuǎn)發(fā)數(shù)據(jù)幀,這種行為與網(wǎng)絡(luò)交換機(jī)十分類似。在Open vSwitch中,將需要組成交換機(jī)的端口加入Open vSwitch所控制的網(wǎng)橋后再將加入的端口配置成混雜模式即可。當(dāng)Open vSwitch被配置成OpenFlow交換機(jī)模式后,加入該網(wǎng)橋的所有端口就成為了一臺(tái)OpenFlow交換機(jī)。

    然而,如圖2所示,一般來說通用寬帶路由器的控制芯片是無法分辨數(shù)據(jù)是從交換芯片的哪一個(gè)端口送出來的(交換芯片的每一個(gè)端口對(duì)應(yīng)一個(gè)數(shù)據(jù)流,數(shù)據(jù)可能從1口傳送到控制芯片也可能從4口傳送到控制芯片,控制芯片無法分辨是從具體哪個(gè)端口傳送的),也無法直接將數(shù)據(jù)包發(fā)送到特定的端口。這是因?yàn)樵谝话愕脑O(shè)置下,交換機(jī)芯片只有一個(gè)端口與控制芯片進(jìn)行通信,這就造成了控制芯片無法對(duì)通用寬帶路由器具體端口進(jìn)行控制。這是因?yàn)橥ㄓ脤拵酚善鞯脑O(shè)計(jì)目標(biāo)是簡(jiǎn)單的數(shù)據(jù)交換,并不需要復(fù)雜的控制功能。若將通用寬帶路由器添加OpenFlow功能則需要控制芯片可以識(shí)別來自不同端口的數(shù)據(jù)包。

    圖2 通用寬帶路由器交換芯片與數(shù)據(jù)流示意圖

    如圖3所示,為了達(dá)成這個(gè)目的,可以使用VLAN技術(shù)對(duì)經(jīng)過不同端口的數(shù)據(jù)包加標(biāo)簽,使得控制芯片可以識(shí)別數(shù)據(jù)包是從哪一個(gè)端口進(jìn)入的。VLAN中文名為“虛擬局域網(wǎng)”。VLAN可以將一個(gè)交換機(jī)中的網(wǎng)絡(luò)從邏輯上劃分為不同的幾個(gè)網(wǎng)絡(luò),網(wǎng)絡(luò)之間互相無干擾,好似一個(gè)交換機(jī)被分隔成了幾個(gè)不同的交換機(jī)。VLAN的簡(jiǎn)單工作流程如圖4所示。

    圖3 使用VLAN技術(shù)對(duì)數(shù)據(jù)包加標(biāo)簽

    圖4 VLAN的工作流程

    由圖4中可以看出,當(dāng)數(shù)據(jù)包經(jīng)過某個(gè)交換機(jī)端口時(shí),如果這個(gè)端口屬于某個(gè)VLAN,則該數(shù)據(jù)包就會(huì)被打上該VLAN的標(biāo)簽。同時(shí)也可以通過設(shè)置端口,使得數(shù)據(jù)包在流出端口時(shí)將標(biāo)簽取消。一般標(biāo)簽都是一個(gè)數(shù)字,控制芯片可以根據(jù)這個(gè)標(biāo)簽來判斷該數(shù)據(jù)包屬于哪一個(gè)VLAN。具有相同標(biāo)簽數(shù)據(jù)包會(huì)被交換機(jī)認(rèn)為是一個(gè)網(wǎng)段數(shù)據(jù)包,可以被轉(zhuǎn)發(fā)到屬于該VLAN的端口或被控制芯片所接收,否則會(huì)被認(rèn)為是其他網(wǎng)段的數(shù)據(jù)包而不予轉(zhuǎn)發(fā)。

    圖5 控制芯片依據(jù)標(biāo)簽分辨數(shù)據(jù)據(jù)包進(jìn)入端口

    如圖5所示,為使通用寬帶路由器的控制芯片能夠分辨數(shù)據(jù)包具體從哪一個(gè)端口進(jìn)入,通過控制交換芯片給每一個(gè)端口都分配一個(gè)不同的VLAN。這樣數(shù)據(jù)包在從端口進(jìn)入的時(shí)候就會(huì)被打上標(biāo)簽,控制芯片就可以依據(jù)標(biāo)簽分辨數(shù)據(jù)包具體是從哪個(gè)端口進(jìn)入。同時(shí)還可以通過不同的VLAN屏蔽交換芯片本來的交換功能,將端口的控制權(quán)上交給控制芯片。

    對(duì)于OpenWrt系統(tǒng)來說,只要有相應(yīng)的交換芯片驅(qū)動(dòng),swconfig命令便可以簡(jiǎn)單地對(duì)交換芯片進(jìn)行控制。當(dāng)通過swconfig或者其他方式對(duì)交換芯片配置好以后,原本在OpenWrt中僅有的兩個(gè)端口擴(kuò)充到了4個(gè)或5個(gè)端口(根據(jù)交換芯片的能力與通用寬帶路由器的配置而定)。就像普通的局域網(wǎng)設(shè)備一樣,OpenWrt對(duì)這些端口有著完全的控制權(quán)。再將這些端口一一加入Open vSwitch的網(wǎng)橋中,由Open vSwitch接管所有端口的控制權(quán)。OpenFlow交換機(jī)除了數(shù)據(jù)平面外還需要有控制平面。如圖6所示, 將某一個(gè)端口設(shè)置為固定IP地址后,在Open vSwitch中設(shè)置該IP為該OpenFlow交換機(jī)的控制平面IP,再將該端口與OpenFlow控制器相連,OpenFlow控制器便可發(fā)現(xiàn)該OpenFlow交換機(jī)。

    圖6 設(shè)定的控制端口接受控制器的控制

    4 性能測(cè)試與分析

    4.1 實(shí)驗(yàn)環(huán)境

    本實(shí)驗(yàn)由一臺(tái)PC機(jī)作為控制器,移植了三臺(tái)不同的通用寬帶路由器成為OpenFlow交換機(jī)。

    路由器硬件情況如表5所示。

    表5 路由器硬件情況

    路由器軟件情況如表6所示。

    表6 路由器軟件情況

    控制器配置如表7所示。

    表7 控制器配置

    4.2 關(guān)閉交換芯片的MAC地址學(xué)習(xí)功能

    在移植過程中,OpenWrt的驅(qū)動(dòng)不支持關(guān)閉某些交換芯片的MAC地址學(xué)習(xí)功能。主要表現(xiàn)在交換芯片將ARP請(qǐng)求私自處理,導(dǎo)致ARP包無法從端口進(jìn)入Open vSwitch所構(gòu)建的網(wǎng)橋。因此在向某些通用寬帶路由器移植OpenFlow功能時(shí),需要首先檢查OpenWrt能否關(guān)閉芯片的MAC地址學(xué)習(xí)功能。如果無法打開混雜模式,則需要通過修改交換芯片的驅(qū)動(dòng)以打開混雜模式。在實(shí)驗(yàn)過程中,水星公司的MW150R(控制芯片為AR9331)以及TP-LINK公司的WR841N(控制芯片為AR7240)所集成的交換芯片的驅(qū)動(dòng)均不支持關(guān)閉交換芯片的MAC地址學(xué)習(xí),導(dǎo)致Open vSwitch無法接收某些數(shù)據(jù)包。在修改交換芯片的驅(qū)動(dòng)程序以后,該問題得到了解決。在實(shí)驗(yàn)過程中,其他型號(hào)的通用寬帶路由器所帶的交換芯片沒有出現(xiàn)如上所述的問題。

    4.3 實(shí)驗(yàn)結(jié)果與分析

    本文對(duì)上文所述的三種路由器進(jìn)行了性能測(cè)試。在控制器上運(yùn)行L2_Learning_Switch,同時(shí)進(jìn)行不同的上網(wǎng)應(yīng)用,記錄路由器以及控制器的CPU使用率。

    從圖7可以看出,CPU的頻率與路由器的性能有著非常大的關(guān)聯(lián)度。在日常上網(wǎng)的情況下,CPU頻率較低的Linksys WRT54G的占用率接近50%,而其他兩款路由器的CPU占用率在20%附近。當(dāng)開始全速下載時(shí),所有的路由器占用率均全部達(dá)到100%,即將所有的資源消耗殆盡。然而,不管在什么情況下,控制器的CPU使用率均沒有太大的變化,一直保持在4.5%左右。

    圖7 不同通用寬帶路由器在不同運(yùn)行場(chǎng)景下的CPU使用率

    圖8 在CPU使用率均達(dá)到100%時(shí)各路由器的傳輸速度

    如圖8所示,CPU的性能直接決定了路由器交換性能。在滿速下載文件時(shí),LinksysCPU頻率最低,因此交換性能非常低下,只有不到1000 Kbps;而其他兩款路由器均在5 Kbps以上。由于WR841N的CPU速度比MW150R快100 Mhz左右,所以整體傳輸速度也較快。

    5 結(jié) 語

    本文介紹了現(xiàn)代網(wǎng)絡(luò)交換機(jī)以及通用寬帶路由器的內(nèi)部硬件結(jié)構(gòu)以及軟件構(gòu)成。在使用開源路由器操作系統(tǒng)的環(huán)境下,通過控制通用寬帶路由器的交換芯片,通過VLAN技術(shù)將交換芯片的每個(gè)端口分割獨(dú)立,使得路由器的控制芯片可以直接控制每個(gè)端口狀態(tài)與輸入輸出;再由OpenFlow模式下的OpenVSwitch所創(chuàng)建的網(wǎng)橋控制每個(gè)端口,達(dá)到將通用寬帶路由器變成OpenFlow交換機(jī)的目的。在移植的過程中,發(fā)現(xiàn)一些芯片方案需要通過修改驅(qū)動(dòng)以關(guān)閉MAC地址學(xué)習(xí)功能才可正常接收數(shù)據(jù)包。使用通用寬帶路由器改造的OpenFlow交換機(jī)可以大幅度降低使用OpenFlow交換機(jī)的成本,同時(shí)由于通用寬帶路由器的小體積以及低功耗,在進(jìn)行OpenFlow相關(guān)的科研工作中可以大量采購(gòu)這種設(shè)備以更好地從事OpenFlow網(wǎng)絡(luò)以及軟件定義網(wǎng)絡(luò)的相關(guān)研究。

    本文還對(duì)這樣的OpenFlow交換機(jī)進(jìn)行了性能測(cè)試。測(cè)試結(jié)果表明在實(shí)驗(yàn)環(huán)境下,通用寬帶路由器改造的OpenFlow交換機(jī)的性能可以達(dá)到正常實(shí)驗(yàn)應(yīng)用的程度。

    [1] Mckeown N,Anderson T,Balakrishnan H,et al.OpenFlow:Enabling innovation in campus networks[J].ACM SIGCOMM Computer Communication Review,2008,38(2):69-74.

    [2] Khan A,Dave N.Enabling Hardware Exploration in Software-Defined Networking:A Flexible,Portable OpenFlow Switch[C]//Field-Programmable Custom Computing Machines (FCCM),2013 IEEE 21st Annual International Symposium on.IEEE,2013:145-148.

    [3] Paul Goransson,Chuck Black.Chapter 5- The OpenFlow Specification[J].Software Defined Networks,2014:81-118.

    [4] Sune M,Alvarez V,Jungel T,et al.An OpenFlow Implementation for Network Processors[C]//Software Defined Networks (EWSDN),2014 Third European Workshop on.IEEE,2014:123-124.

    [5] Hand R,Keller E.ClosedFlow:OpenFlow-like control over proprietary devices[C]//Proceedings of the third workshop on Hot topics in software defined networking.ACM,2014:7-12.

    [6] Han S,Jang K,Park K S,et al.PacketShader:A GPU-Accelerated Software Router[J].ACM SIGCOMM Computer Communication Review,2010,41(4):195-206.

    [7] Xiuhai L.An OpenFlow Switch Model using Kepler GPU[J].Journal of Software Engineering,2014,8(4):304-313.

    [8] Qiu K,Chen Z,Chen Y,et al.GFlow:Towards GPU-based high-performance table matching in OpenFlow switches[C]//2015 International Conference on Information Networking (ICOIN).IEEE Computer Society,2015:283-288.

    [9] Ferkouss O E,Snaiki I,Mounaouar O,et al.A 100Gig network processor platform for openflow[C]//Network and Service Management (CNSM),2011 7th International Conference on.IEEE,2011:1-4.

    A DESIGN OF OPENFLOW SWITCH BASED ON GENERAL BROADBAND ROUTER

    Qiu Kun1,3Fang Yuquan1,3Lu Wei2Zhao Jin1,3

    1(SchoolofComputerScience,FudanUniversity,Shanghai201203,China)2(ShanghaiInteractiveTelevisionCo.,Ltd,Shanghai200072,China)3(EngineeringResearchCenterofCyberSecurityAuditingandMonitoring,MinistryofEducation,Shanghai201203,China)

    OpenFlow protocol-based software-defined network has to rely on controller and OpenFlow switch. However the switches supporting OpenFlow protocol are extremely expensive and difficult to get. In order to facilitate the obtainment of switches supporting OpenFlow protocol, in this paper we introduce a general broadband router-based design of OpenFlow switch. The design can construct such a switch fully supporting OpenFlow protocol by only using general broadband router commonly found in markets and the open-source Linux software. Experimental results show that the design can implement all functions of OpenFlow protocol at current stage with an acceptable performance.

    Software-defined network OpenFlow Switch Open vSwitch Open Wrt General broadband router Linux

    2015-09-01。國(guó)家科技支撐計(jì)劃項(xiàng)目(2012BAH39F 06)。邱堃,碩士生,主研領(lǐng)域:未來網(wǎng)絡(luò)。方鈺權(quán),本科生。陸偉,工程師。趙進(jìn),副教授。

    TP3

    A

    10.3969/j.issn.1000-386x.2016.11.020

    猜你喜歡
    表項(xiàng)路由器交換機(jī)
    買千兆路由器看接口參數(shù)
    一種改進(jìn)的TCAM路由表項(xiàng)管理算法及實(shí)現(xiàn)
    基于ARMA模型預(yù)測(cè)的交換機(jī)流表更新算法
    修復(fù)損壞的交換機(jī)NOS
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    SDN數(shù)據(jù)中心網(wǎng)絡(luò)基于流表項(xiàng)轉(zhuǎn)換的流表調(diào)度優(yōu)化
    你所不知道的WIFI路由器使用方法?
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    羅克韋爾自動(dòng)化交換機(jī)Allen-Bradley ArmorStratix 5700
    無線路由器輻射可忽略
    国产一区有黄有色的免费视频| 日本免费在线观看一区| 亚洲国产高清在线一区二区三| 街头女战士在线观看网站| 久久久成人免费电影| 亚洲国产精品一区三区| av不卡在线播放| 久久久久久久久久久丰满| 精品视频人人做人人爽| 夫妻性生交免费视频一级片| 亚洲av国产av综合av卡| 国产一区亚洲一区在线观看| 九色成人免费人妻av| 99九九线精品视频在线观看视频| 最近的中文字幕免费完整| 精品亚洲成a人片在线观看 | 视频中文字幕在线观看| 免费观看的影片在线观看| 18禁动态无遮挡网站| 内地一区二区视频在线| 岛国毛片在线播放| 免费播放大片免费观看视频在线观看| 欧美性感艳星| 免费看日本二区| 91精品一卡2卡3卡4卡| 免费av不卡在线播放| 天天躁夜夜躁狠狠久久av| 亚洲av成人精品一二三区| 噜噜噜噜噜久久久久久91| 插阴视频在线观看视频| 精品亚洲乱码少妇综合久久| 久久久久国产网址| 视频区图区小说| 最近中文字幕高清免费大全6| 51国产日韩欧美| 日韩电影二区| 国产精品.久久久| 你懂的网址亚洲精品在线观看| 高清毛片免费看| 一区二区三区乱码不卡18| 成年免费大片在线观看| 中文字幕制服av| 国产无遮挡羞羞视频在线观看| 美女高潮的动态| 久热久热在线精品观看| 亚洲人成网站在线播| 夜夜爽夜夜爽视频| 插逼视频在线观看| 2022亚洲国产成人精品| 亚洲av成人精品一二三区| 免费av中文字幕在线| 国内少妇人妻偷人精品xxx网站| 韩国av在线不卡| 婷婷色av中文字幕| 久久久久久久大尺度免费视频| 日韩强制内射视频| 亚洲av成人精品一二三区| 国产女主播在线喷水免费视频网站| 一级毛片黄色毛片免费观看视频| 久久精品久久久久久噜噜老黄| 免费av中文字幕在线| 久久久色成人| 人妻 亚洲 视频| 男的添女的下面高潮视频| 亚洲av男天堂| 国产精品久久久久成人av| 中文字幕制服av| 女性生殖器流出的白浆| 午夜福利在线在线| 日本wwww免费看| 日韩精品有码人妻一区| 又粗又硬又长又爽又黄的视频| 舔av片在线| 91精品国产国语对白视频| 18禁裸乳无遮挡免费网站照片| 在现免费观看毛片| 日韩电影二区| 蜜臀久久99精品久久宅男| 免费久久久久久久精品成人欧美视频 | 久久精品久久久久久噜噜老黄| 视频中文字幕在线观看| 特大巨黑吊av在线直播| 内射极品少妇av片p| 亚洲av国产av综合av卡| 黑人猛操日本美女一级片| 国产精品嫩草影院av在线观看| 中文字幕制服av| 网址你懂的国产日韩在线| 五月伊人婷婷丁香| 最后的刺客免费高清国语| 蜜桃亚洲精品一区二区三区| 国产在线一区二区三区精| 国产人妻一区二区三区在| 国产免费一区二区三区四区乱码| 好男人视频免费观看在线| 国产69精品久久久久777片| videos熟女内射| 高清视频免费观看一区二区| 国产高清不卡午夜福利| 在线观看av片永久免费下载| 最近最新中文字幕免费大全7| 日韩av在线免费看完整版不卡| 亚洲国产高清在线一区二区三| 麻豆成人av视频| 国产成人精品一,二区| 中文字幕精品免费在线观看视频 | 自拍偷自拍亚洲精品老妇| 在线精品无人区一区二区三 | 午夜福利在线观看免费完整高清在| 亚洲国产毛片av蜜桃av| 大片免费播放器 马上看| 日韩制服骚丝袜av| 日韩制服骚丝袜av| 一本—道久久a久久精品蜜桃钙片| 欧美日韩一区二区视频在线观看视频在线| 插逼视频在线观看| 极品少妇高潮喷水抽搐| 午夜精品国产一区二区电影| 少妇 在线观看| 国产v大片淫在线免费观看| videos熟女内射| 成人亚洲精品一区在线观看 | 精品久久久久久久久av| 国产高清国产精品国产三级 | 少妇高潮的动态图| 久久99精品国语久久久| 久久国产乱子免费精品| 国国产精品蜜臀av免费| 国产黄片视频在线免费观看| 老司机影院成人| 高清在线视频一区二区三区| 在线观看免费视频网站a站| 99久久精品一区二区三区| 人妻 亚洲 视频| 五月开心婷婷网| 这个男人来自地球电影免费观看 | 久久97久久精品| 婷婷色综合www| 精品99又大又爽又粗少妇毛片| 91精品一卡2卡3卡4卡| 亚洲国产高清在线一区二区三| 国产精品国产三级专区第一集| 久久久欧美国产精品| 亚洲精品成人av观看孕妇| 日本黄色片子视频| 久久国产精品男人的天堂亚洲 | xxx大片免费视频| 国产精品爽爽va在线观看网站| 中国国产av一级| 精品人妻熟女av久视频| 涩涩av久久男人的天堂| 老司机影院毛片| 亚洲美女视频黄频| 在线观看一区二区三区| 欧美日韩在线观看h| 高清视频免费观看一区二区| 亚洲av中文字字幕乱码综合| 色网站视频免费| 成人高潮视频无遮挡免费网站| 波野结衣二区三区在线| 又大又黄又爽视频免费| 99九九线精品视频在线观看视频| 日本欧美国产在线视频| 日韩 亚洲 欧美在线| 亚洲不卡免费看| 高清视频免费观看一区二区| 91久久精品电影网| 国产精品三级大全| 欧美日韩国产mv在线观看视频 | 看十八女毛片水多多多| av在线观看视频网站免费| 一本—道久久a久久精品蜜桃钙片| 日本av手机在线免费观看| 最近2019中文字幕mv第一页| 精品一区二区三卡| 老司机影院毛片| 欧美日韩视频精品一区| 色吧在线观看| 亚洲欧美清纯卡通| av黄色大香蕉| 人人妻人人澡人人爽人人夜夜| 国产免费福利视频在线观看| 91aial.com中文字幕在线观看| 免费高清在线观看视频在线观看| av免费观看日本| xxx大片免费视频| 国产高清国产精品国产三级 | 久久精品国产鲁丝片午夜精品| 精品久久久噜噜| 免费看不卡的av| 这个男人来自地球电影免费观看 | 久久综合国产亚洲精品| 久久久久精品性色| 国产久久久一区二区三区| av专区在线播放| 国产av码专区亚洲av| 亚洲精品日韩在线中文字幕| 日韩伦理黄色片| 久久久久久久精品精品| 久久精品久久久久久久性| 国产成人freesex在线| 男女啪啪激烈高潮av片| 国产欧美另类精品又又久久亚洲欧美| 女人十人毛片免费观看3o分钟| 午夜激情福利司机影院| 伊人久久国产一区二区| 18+在线观看网站| 久久毛片免费看一区二区三区| 欧美区成人在线视频| 午夜福利高清视频| 精品国产乱码久久久久久小说| 少妇人妻一区二区三区视频| 亚洲av.av天堂| 我要看日韩黄色一级片| 亚洲高清免费不卡视频| a 毛片基地| 精品亚洲乱码少妇综合久久| 伦理电影大哥的女人| 日韩大片免费观看网站| 乱系列少妇在线播放| 内射极品少妇av片p| 久久久久精品久久久久真实原创| 高清欧美精品videossex| 精品一品国产午夜福利视频| 最新中文字幕久久久久| 亚洲欧美中文字幕日韩二区| 看十八女毛片水多多多| 亚洲av福利一区| 啦啦啦啦在线视频资源| 男女免费视频国产| 在线观看免费高清a一片| 亚洲av在线观看美女高潮| 九九在线视频观看精品| 丰满迷人的少妇在线观看| 欧美成人午夜免费资源| 永久网站在线| 毛片一级片免费看久久久久| 午夜视频国产福利| 色婷婷av一区二区三区视频| 男人爽女人下面视频在线观看| 日韩在线高清观看一区二区三区| 亚洲怡红院男人天堂| 插阴视频在线观看视频| 亚洲在久久综合| 大片电影免费在线观看免费| 免费在线观看成人毛片| 精品国产一区二区三区久久久樱花 | 两个人的视频大全免费| 亚洲av福利一区| 男人和女人高潮做爰伦理| 久久久久久久国产电影| 亚洲性久久影院| 国产精品国产三级专区第一集| 午夜激情久久久久久久| av女优亚洲男人天堂| 观看免费一级毛片| 高清日韩中文字幕在线| 久久久久人妻精品一区果冻| 97精品久久久久久久久久精品| 精品亚洲成国产av| 成人亚洲欧美一区二区av| 亚洲欧洲国产日韩| 国产在视频线精品| 日韩欧美一区视频在线观看 | 久久精品人妻少妇| 少妇裸体淫交视频免费看高清| 久久久久久人妻| 欧美亚洲 丝袜 人妻 在线| 少妇猛男粗大的猛烈进出视频| 精品一品国产午夜福利视频| 国产成人免费观看mmmm| 妹子高潮喷水视频| 日韩av在线免费看完整版不卡| 久久午夜福利片| 国产伦理片在线播放av一区| 国产男人的电影天堂91| 欧美成人精品欧美一级黄| 99视频精品全部免费 在线| 国产精品爽爽va在线观看网站| 在线亚洲精品国产二区图片欧美 | 亚洲经典国产精华液单| av一本久久久久| 夜夜爽夜夜爽视频| 国产精品秋霞免费鲁丝片| 国产中年淑女户外野战色| 九九在线视频观看精品| 啦啦啦视频在线资源免费观看| 夜夜爽夜夜爽视频| 久久久久久伊人网av| 精品一区二区三区视频在线| 80岁老熟妇乱子伦牲交| 欧美三级亚洲精品| 男人添女人高潮全过程视频| 国产探花极品一区二区| 黄片无遮挡物在线观看| 久久 成人 亚洲| 亚洲三级黄色毛片| 国产亚洲5aaaaa淫片| 大码成人一级视频| 国产无遮挡羞羞视频在线观看| 噜噜噜噜噜久久久久久91| 亚洲真实伦在线观看| 两个人的视频大全免费| 成人特级av手机在线观看| 香蕉精品网在线| 人妻一区二区av| 一本色道久久久久久精品综合| 人妻少妇偷人精品九色| 男女无遮挡免费网站观看| 国产黄色免费在线视频| 天堂8中文在线网| 中文字幕制服av| 国产白丝娇喘喷水9色精品| 在线观看一区二区三区| videossex国产| 80岁老熟妇乱子伦牲交| 五月伊人婷婷丁香| 亚洲欧美清纯卡通| 一级毛片aaaaaa免费看小| 男人舔奶头视频| 久久精品久久精品一区二区三区| 亚洲av不卡在线观看| 欧美高清成人免费视频www| 日韩欧美 国产精品| 丰满乱子伦码专区| a 毛片基地| 波野结衣二区三区在线| 国产精品免费大片| 国产欧美日韩一区二区三区在线 | av在线蜜桃| 欧美另类一区| 国产 一区 欧美 日韩| 久久久午夜欧美精品| av国产久精品久网站免费入址| 特大巨黑吊av在线直播| 91久久精品电影网| 欧美成人一区二区免费高清观看| 亚洲三级黄色毛片| 免费高清在线观看视频在线观看| 成人特级av手机在线观看| 毛片女人毛片| 人妻 亚洲 视频| 久久国产乱子免费精品| 久久精品久久精品一区二区三区| 国产精品蜜桃在线观看| 国产伦理片在线播放av一区| 中文字幕av成人在线电影| 国产精品欧美亚洲77777| 久久久久精品性色| 亚洲在久久综合| 国产伦精品一区二区三区视频9| 王馨瑶露胸无遮挡在线观看| 高清在线视频一区二区三区| 国产高清不卡午夜福利| 99热国产这里只有精品6| 一级二级三级毛片免费看| 国产精品久久久久久精品古装| 人人妻人人看人人澡| 亚洲天堂av无毛| 下体分泌物呈黄色| 日本黄大片高清| 亚洲va在线va天堂va国产| a级一级毛片免费在线观看| av国产免费在线观看| 一级毛片黄色毛片免费观看视频| 免费黄网站久久成人精品| 国产av码专区亚洲av| 久久人人爽人人爽人人片va| 国产精品久久久久久精品古装| 插逼视频在线观看| 日本av手机在线免费观看| tube8黄色片| 精品久久久久久久久亚洲| 亚洲欧美中文字幕日韩二区| 欧美日本视频| xxx大片免费视频| 青春草国产在线视频| 精品一品国产午夜福利视频| 国产真实伦视频高清在线观看| 欧美日韩国产mv在线观看视频 | 午夜福利在线在线| 性色avwww在线观看| 日韩一区二区视频免费看| 只有这里有精品99| 国产精品熟女久久久久浪| 在线精品无人区一区二区三 | 亚洲精品一区蜜桃| 亚洲精品亚洲一区二区| 久久人人爽av亚洲精品天堂 | 欧美精品一区二区免费开放| 欧美日韩国产mv在线观看视频 | 日本猛色少妇xxxxx猛交久久| 国产v大片淫在线免费观看| 全区人妻精品视频| 色视频在线一区二区三区| 日韩电影二区| 多毛熟女@视频| 成人午夜精彩视频在线观看| 国产男女内射视频| 人人妻人人看人人澡| 欧美少妇被猛烈插入视频| 国产免费又黄又爽又色| 国产亚洲欧美精品永久| 久久精品熟女亚洲av麻豆精品| 亚洲一级一片aⅴ在线观看| 亚洲精品乱码久久久v下载方式| 久久精品国产自在天天线| 青春草国产在线视频| 婷婷色麻豆天堂久久| 下体分泌物呈黄色| 国产亚洲5aaaaa淫片| 亚洲人与动物交配视频| 久久热精品热| 青春草国产在线视频| 欧美精品人与动牲交sv欧美| 国产精品久久久久久精品电影小说 | 五月玫瑰六月丁香| 日韩视频在线欧美| 噜噜噜噜噜久久久久久91| av线在线观看网站| 亚洲精品视频女| 制服丝袜香蕉在线| 男女国产视频网站| 亚洲av在线观看美女高潮| 成人亚洲精品一区在线观看 | 久久6这里有精品| 午夜免费观看性视频| 亚洲精品日韩av片在线观看| 毛片女人毛片| av.在线天堂| 久久国产亚洲av麻豆专区| 免费人成在线观看视频色| 国产成人91sexporn| 精品人妻一区二区三区麻豆| 一级毛片 在线播放| 久久精品国产亚洲av天美| 成人国产麻豆网| 久久精品国产亚洲av天美| 草草在线视频免费看| 熟妇人妻不卡中文字幕| 大香蕉97超碰在线| 欧美日本视频| 日本av手机在线免费观看| 久久久久久久久久成人| 一区二区三区四区激情视频| 伦精品一区二区三区| 久久久久久久精品精品| 少妇高潮的动态图| 久久精品久久精品一区二区三区| 小蜜桃在线观看免费完整版高清| 菩萨蛮人人尽说江南好唐韦庄| 最近2019中文字幕mv第一页| 在线天堂最新版资源| 欧美一区二区亚洲| 熟女av电影| 亚洲内射少妇av| 国产 一区 欧美 日韩| 日本av免费视频播放| 亚洲综合精品二区| 国产白丝娇喘喷水9色精品| 黑人猛操日本美女一级片| 国产深夜福利视频在线观看| 国产精品无大码| 秋霞在线观看毛片| 午夜日本视频在线| 精品人妻熟女av久视频| 最近中文字幕2019免费版| 色5月婷婷丁香| 2018国产大陆天天弄谢| 熟妇人妻不卡中文字幕| 黄片无遮挡物在线观看| 最近的中文字幕免费完整| 色网站视频免费| 六月丁香七月| h日本视频在线播放| 超碰av人人做人人爽久久| 在线观看免费视频网站a站| 精品久久久久久久久亚洲| 在线免费观看不下载黄p国产| 国产乱人视频| 国产精品久久久久久久久免| 少妇人妻久久综合中文| 男人添女人高潮全过程视频| 我要看日韩黄色一级片| 大香蕉久久网| 男人和女人高潮做爰伦理| 久久精品人妻少妇| 蜜桃久久精品国产亚洲av| 丰满人妻一区二区三区视频av| 亚洲国产毛片av蜜桃av| 成人特级av手机在线观看| 欧美人与善性xxx| 毛片一级片免费看久久久久| 日本黄大片高清| 欧美丝袜亚洲另类| 草草在线视频免费看| 亚洲av成人精品一区久久| 国产精品欧美亚洲77777| 高清视频免费观看一区二区| 男男h啪啪无遮挡| 永久网站在线| 免费看日本二区| 久久久久久伊人网av| 精品视频人人做人人爽| 一级毛片久久久久久久久女| 女人久久www免费人成看片| 日韩免费高清中文字幕av| 国产爱豆传媒在线观看| 日本黄色片子视频| 亚洲精品乱久久久久久| 午夜视频国产福利| 亚洲高清免费不卡视频| 亚洲av欧美aⅴ国产| 国产乱来视频区| 亚洲欧美成人综合另类久久久| videos熟女内射| 色哟哟·www| 色综合色国产| 最近2019中文字幕mv第一页| 哪个播放器可以免费观看大片| 97在线人人人人妻| 中国国产av一级| 99视频精品全部免费 在线| 国产 精品1| 日韩精品有码人妻一区| 日韩视频在线欧美| 亚洲欧美日韩卡通动漫| 亚洲欧美精品自产自拍| 天堂俺去俺来也www色官网| 少妇人妻 视频| 中文字幕久久专区| 人人妻人人添人人爽欧美一区卜 | 丰满迷人的少妇在线观看| 看十八女毛片水多多多| 精品一区二区三区视频在线| 黄片无遮挡物在线观看| 涩涩av久久男人的天堂| 多毛熟女@视频| 一个人看的www免费观看视频| 国产老妇伦熟女老妇高清| 街头女战士在线观看网站| 伊人久久国产一区二区| 黑人猛操日本美女一级片| 看免费成人av毛片| 丝袜脚勾引网站| 亚洲天堂av无毛| 国产精品麻豆人妻色哟哟久久| 国产精品免费大片| h日本视频在线播放| 国产精品久久久久久精品电影小说 | 婷婷色综合www| 只有这里有精品99| 成人美女网站在线观看视频| 久久久久人妻精品一区果冻| 伦理电影大哥的女人| 男人爽女人下面视频在线观看| 国产精品无大码| 成人综合一区亚洲| 午夜福利视频精品| 午夜福利在线在线| 少妇精品久久久久久久| 成人影院久久| 99视频精品全部免费 在线| 亚洲精品成人av观看孕妇| 亚洲欧洲国产日韩| 欧美日本视频| 99久国产av精品国产电影| 欧美日韩在线观看h| av黄色大香蕉| 成人漫画全彩无遮挡| 欧美区成人在线视频| 少妇熟女欧美另类| 一级毛片 在线播放| 91精品一卡2卡3卡4卡| 欧美成人a在线观看| 国产免费一级a男人的天堂| 欧美丝袜亚洲另类| 精品午夜福利在线看| 亚洲国产精品999| 国产亚洲精品久久久com| 日产精品乱码卡一卡2卡三| 又爽又黄a免费视频| 国产精品一区二区在线不卡| 一个人看的www免费观看视频| 欧美精品亚洲一区二区| 精品国产三级普通话版| 久久婷婷青草| 丰满少妇做爰视频| 亚洲精品久久久久久婷婷小说| 内地一区二区视频在线| 一边亲一边摸免费视频| 亚洲欧美日韩东京热| 男人和女人高潮做爰伦理| 观看av在线不卡| 精品一品国产午夜福利视频| 亚洲精品久久午夜乱码| 日本黄大片高清| 国产久久久一区二区三区| 亚洲精品国产色婷婷电影| 国产av精品麻豆| 欧美3d第一页| 黑人高潮一二区| 日本黄色日本黄色录像| 天天躁日日操中文字幕| 欧美日韩一区二区视频在线观看视频在线| 免费在线观看成人毛片| 色吧在线观看| 观看免费一级毛片| 亚洲精品国产成人久久av| 日日摸夜夜添夜夜添av毛片| 久久久国产一区二区| 欧美3d第一页| 3wmmmm亚洲av在线观看| 欧美3d第一页| 亚洲精品,欧美精品|