• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    支撐電力業(yè)務(wù)規(guī)劃的軟件定義網(wǎng)絡(luò)控制器時(shí)延性能分析

    2017-11-13 01:56:21李炳林黃紅兵
    電力系統(tǒng)自動(dòng)化 2017年17期
    關(guān)鍵詞:流表交換機(jī)數(shù)據(jù)包

    劉 川, 李炳林, 婁 征, 陳 雷, 黃紅兵

    (1. 全球能源互聯(lián)網(wǎng)研究院, 江蘇省南京市 210003; 2. 國(guó)家電網(wǎng)公司電力通信網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室, 江蘇省南京市 210003; 3. 國(guó)網(wǎng)江蘇省電力公司南京供電公司, 江蘇省南京市 210000; 4. 中國(guó)信息通信研究院, 北京市 100191;5. 國(guó)網(wǎng)浙江省電力公司, 浙江省杭州市 310007)

    支撐電力業(yè)務(wù)規(guī)劃的軟件定義網(wǎng)絡(luò)控制器時(shí)延性能分析

    劉 川1,2, 李炳林1,2, 婁 征3, 陳 雷4, 黃紅兵5

    (1. 全球能源互聯(lián)網(wǎng)研究院, 江蘇省南京市 210003; 2. 國(guó)家電網(wǎng)公司電力通信網(wǎng)絡(luò)技術(shù)實(shí)驗(yàn)室, 江蘇省南京市 210003; 3. 國(guó)網(wǎng)江蘇省電力公司南京供電公司, 江蘇省南京市 210000; 4. 中國(guó)信息通信研究院, 北京市 100191;5. 國(guó)網(wǎng)浙江省電力公司, 浙江省杭州市 310007)

    引入集中控制理念的軟件定義網(wǎng)絡(luò)(SDN)技術(shù)為網(wǎng)絡(luò)的智能化提供了新的思路,但也同時(shí)在業(yè)務(wù)的端到端傳輸時(shí)延中引入了控制時(shí)延。詳細(xì)闡述了SDN架構(gòu)下,硬件資源和流表下發(fā)模式對(duì)控制時(shí)延的影響,在仿真環(huán)境和實(shí)際測(cè)試中,開展了兩種流表下發(fā)模式下端到端時(shí)延對(duì)比和應(yīng)用系統(tǒng)控制時(shí)延對(duì)比。從數(shù)據(jù)分析中可以得出Reactive模式擁有較高的自動(dòng)化程度與靈活性,但會(huì)引入高控制時(shí)延,Proactive模式的控制時(shí)延很低,但需要人工干預(yù)和預(yù)配置?;趯?duì)比結(jié)論,結(jié)合現(xiàn)網(wǎng)業(yè)務(wù)承載方式,建議電力通信網(wǎng)中涉及路由的承載方式可采用SDN技術(shù)進(jìn)行優(yōu)化,通過預(yù)配置業(yè)務(wù)路徑,以Proactive模式保障實(shí)時(shí)性,同時(shí)支持Reactive模式,應(yīng)對(duì)復(fù)雜網(wǎng)絡(luò)的靈活性需求。

    電力通信網(wǎng); 軟件定義網(wǎng)絡(luò); 時(shí)延; 流表下發(fā)模式

    0 引言

    一次設(shè)備智能化后,電網(wǎng)狀態(tài)信息的實(shí)時(shí)交換、網(wǎng)絡(luò)化的視頻監(jiān)控和多媒體交互信息管理等業(yè)務(wù)將更多的數(shù)據(jù)匯聚到集控中心、調(diào)度中心和數(shù)據(jù)容災(zāi)中心,數(shù)據(jù)類業(yè)務(wù)成為電力通信網(wǎng)帶寬的主要消耗業(yè)務(wù)[1]。

    傳統(tǒng)電力通信網(wǎng)由于老舊設(shè)備攀升、受制于一次線路切改等原因,呈現(xiàn)出網(wǎng)絡(luò)結(jié)構(gòu)薄弱、智能化程度不高等不適應(yīng)性。因此,迫切需要引入全新的網(wǎng)絡(luò)技術(shù),以提高網(wǎng)絡(luò)資源控制的靈活性和帶寬的利用率,而軟件定義網(wǎng)絡(luò)(software defined networking,SDN)正是這樣一種技術(shù)。

    SDN最初是由美國(guó)斯坦福大學(xué)Clean Slate研究組提出的一種新型網(wǎng)絡(luò)架構(gòu),其設(shè)計(jì)初衷是解決無法利用現(xiàn)有網(wǎng)絡(luò)中的大規(guī)模真實(shí)流量和豐富應(yīng)用進(jìn)行試驗(yàn)的問題,同時(shí)研究如何提高網(wǎng)絡(luò)的速度、可靠性、能效性和安全性等問題。隨著研究的深入,SDN逐漸得到了學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)可,成為未來互聯(lián)網(wǎng)的主流發(fā)展方向[2]。

    由于電力業(yè)務(wù)在實(shí)時(shí)性與可靠性方面的極高要求,在將SDN技術(shù)引入電力系統(tǒng)的過程中,時(shí)延敏感業(yè)務(wù)[3-5]對(duì)SDN網(wǎng)絡(luò)的適應(yīng)性,成為論證SDN技術(shù)在電力通信網(wǎng)中應(yīng)用可行性的重要因素之一,也是軟件定義電網(wǎng)[6]概念下的重要研究方向。由于實(shí)時(shí)性并不是SDN技術(shù)本身所關(guān)注的問題,因此,業(yè)界對(duì)于SDN時(shí)延的研究仍以設(shè)備的轉(zhuǎn)發(fā)時(shí)延為主。

    本文研究了SDN控制器的時(shí)延性能,通過測(cè)試與仿真,確定硬件資源對(duì)時(shí)延性能的影響,詳細(xì)闡述了SDN流表下發(fā)模式中業(yè)務(wù)控制及傳輸時(shí)延的組成,并基于時(shí)延性能與電力業(yè)務(wù)需求,提出規(guī)劃建議,提高SDN技術(shù)與電力業(yè)務(wù)的適配性。

    1 業(yè)務(wù)時(shí)延需求分析

    繼電保護(hù)、電量數(shù)據(jù)采集、變電站視頻監(jiān)控等[7]電力業(yè)務(wù)對(duì)丟包和時(shí)延極為敏感,即使很小的響應(yīng)時(shí)間增加,都會(huì)對(duì)業(yè)務(wù)性能造成影響。以系統(tǒng)保護(hù)通信網(wǎng)的需求為例,考慮區(qū)域之間的通信需求,以區(qū)域內(nèi)最大傳輸距離3 000 km,區(qū)域間最大傳輸距離5 000 km估算,要求系統(tǒng)在60 ms內(nèi)實(shí)現(xiàn)電網(wǎng)發(fā)、輸、配及直流全景狀態(tài)監(jiān)測(cè),300 ms內(nèi)實(shí)現(xiàn)重要擾動(dòng)故障防御控制,而采集和控制通信時(shí)延均應(yīng)控制在50 ms以內(nèi)。

    精準(zhǔn)負(fù)荷控制系統(tǒng)(下文簡(jiǎn)稱精控系統(tǒng))作為系統(tǒng)保護(hù)的重要部分,在業(yè)務(wù)時(shí)延方面有著更加明確的需求,精控系統(tǒng)的時(shí)延需求如表1所示。

    表1 精控系統(tǒng)時(shí)延需求Table 1 Time delay demand of precise load control system

    2 SDN控制器時(shí)延性能

    SDN控制器的流表下發(fā)性能受到諸多因素的影響。在硬件層面,控制器流表下發(fā)的性能與硬件配置直接相關(guān)。在軟件層面,根據(jù)不同的流表下發(fā)模式,會(huì)涉及多個(gè)處理模塊與軟件接口。

    2.1 硬件資源對(duì)控制器時(shí)延性能的影響

    SDN控制器是安裝在通用硬件平臺(tái)上的一組軟件程序,硬件資源的各種配置直接影響軟件的運(yùn)行性能。服務(wù)器主要的硬件資源包括計(jì)算資源(CPU主頻)、存儲(chǔ)資源(內(nèi)存和硬盤)和網(wǎng)絡(luò)資源(網(wǎng)卡接口和速率)。因流表的下發(fā)一般不會(huì)涉及硬盤存儲(chǔ),故硬盤不作為流表下發(fā)時(shí)延產(chǎn)生的因素。

    2.1.1 網(wǎng)絡(luò)資源對(duì)流表下發(fā)性能的影響

    如果控制器和交換機(jī)分屬于不同的物理位置,南向接口的流表下發(fā)需要通過物理網(wǎng)卡,且本文考察流表下發(fā)成功以物理交換機(jī)接收到流表為考察點(diǎn),網(wǎng)絡(luò)資源對(duì)于流表下發(fā)性能的影響應(yīng)該考慮進(jìn)去。對(duì)于網(wǎng)卡接口速率對(duì)下發(fā)速度的影響,以通用服務(wù)器網(wǎng)卡線速1 000 Mbit/s,OpenFlow下發(fā)流表的Flow_MOD消息為例,以實(shí)際應(yīng)用中發(fā)送流表的Flow_MOD消息為200 B計(jì)算,則千兆網(wǎng)卡流表下發(fā)速度理論上可以達(dá)到655條/s。

    因此,如果使用Proactive模式(動(dòng)態(tài)模式)大規(guī)模部署流表,或者在小數(shù)據(jù)包大數(shù)據(jù)流量背景下的Reactive模式(靜態(tài)模式)下發(fā)流表,網(wǎng)卡速率有可能成為流表下發(fā)的瓶頸。

    同時(shí),考慮到整個(gè)網(wǎng)絡(luò)傳輸?shù)馁|(zhì)量,如線纜的質(zhì)量和網(wǎng)絡(luò)所通過連接設(shè)備的線速與轉(zhuǎn)發(fā)性能等各種綜合因素,以目前千兆網(wǎng)絡(luò)為主流的背景下,不建議流表下發(fā)速率規(guī)劃在500條/s之上。以現(xiàn)有網(wǎng)絡(luò)的狀況,更高的流表下發(fā)速率將難以保障網(wǎng)絡(luò)的可靠性與實(shí)時(shí)性[7]。

    2.1.2 內(nèi)存資源對(duì)流表下發(fā)性能的影響

    為了探討服務(wù)器內(nèi)存資源對(duì)流表下發(fā)的影響,本文使用VMWare虛擬機(jī)安裝開放式網(wǎng)絡(luò)操作系統(tǒng)(open network operating system,ONOS)控制器,每次測(cè)試重新分配虛擬機(jī)內(nèi)存,在其他條件不變的情況下,通過調(diào)整ONOS所在虛擬機(jī)的內(nèi)存大小,來觀察內(nèi)存大小變化對(duì)流表下發(fā)的影響。除內(nèi)存因素之外,其他不變因素見附錄A表A1。流表下發(fā)采用控制器的北向接口,通過表述性狀態(tài)轉(zhuǎn)移(representational state transfer,RESTful)在遠(yuǎn)端調(diào)用下發(fā)的方式轉(zhuǎn)換為控制器原語(yǔ),再經(jīng)由南向接口下發(fā)至交換設(shè)備進(jìn)行。測(cè)試結(jié)果如圖1所示。

    圖1 內(nèi)存資源對(duì)時(shí)延特性影響的測(cè)試結(jié)果Fig.1 Test result of impact of time delay characteristics on memory resource

    通過圖1可以看出,在10萬條流表下發(fā)的情況下,內(nèi)存資源在0~13 GB的變化區(qū)間內(nèi),時(shí)延的浮動(dòng)在7 s左右,這種時(shí)延的波動(dòng)是由于某一測(cè)試時(shí)間點(diǎn),控制器內(nèi)部運(yùn)行模塊調(diào)度等因素造成了運(yùn)行背景環(huán)境的差異而導(dǎo)致的,考慮到此種誤差因素,結(jié)合實(shí)際測(cè)試數(shù)據(jù),可以得出單條流表承載單個(gè)業(yè)務(wù)的控制邏輯時(shí),內(nèi)存對(duì)于流表下發(fā)性能的影響不大于0.07 ms,且該時(shí)延與內(nèi)存資源不存在線性比例關(guān)系。因此,在保證控制器正常運(yùn)轉(zhuǎn)的條件下,控制器的流表下發(fā)速率與內(nèi)存變化的關(guān)系不明顯,可以認(rèn)為內(nèi)存的大小與流表下發(fā)時(shí)延性能基本無關(guān)。

    2.1.3 CPU資源對(duì)流表下發(fā)性能的影響

    為了探討CPU資源對(duì)流表下發(fā)的影響,本文同樣使用VMWare虛擬機(jī)安裝ONOS控制器,在其他條件不變的情況下,每次測(cè)試調(diào)整CPU主頻與核數(shù),來觀察CPU資源對(duì)流表下發(fā)性能的影響。流表下發(fā)通過控制器的北向接口,通過使用RESTful在遠(yuǎn)端調(diào)用下發(fā)的方式轉(zhuǎn)換為控制器原語(yǔ),再經(jīng)由南向接口下發(fā)至交換設(shè)備進(jìn)行。

    分別測(cè)試流表下發(fā)性能在2 394 MHz(單核)、4 788 MHz(雙核)和7 183 MHz(三核)的主頻下的數(shù)據(jù),與內(nèi)存資源數(shù)據(jù)擬合,結(jié)果如圖2所示。除CPU因素之外,其他不變因素見附錄A表A2。

    圖2 CPU資源與內(nèi)存資源時(shí)延特性的數(shù)據(jù)擬合Fig.2 Data fitting of time delay characteristics of CPU resource and memory resource

    從圖2中可以看出,CPU的性能對(duì)控制器流表下發(fā)性能的影響較大,在提高CPU性能的條件下,流表下發(fā)時(shí)延明顯縮短,而這種提升存在一個(gè)CPU主頻的最優(yōu)值,即無法通過無限提高CPU主頻和核數(shù)來無限減少時(shí)延。

    2.2 控制器流表下發(fā)模式對(duì)時(shí)延性能的影響

    2.2.1 Proactive模式流表下發(fā)時(shí)延分析

    SDN控制器與交換機(jī)之間的OpenFlow通道建立后,由控制器向OpenFlow交換機(jī)預(yù)先發(fā)送流表項(xiàng)設(shè)定的設(shè)置稱為Proactive模式,也即動(dòng)態(tài)模式。Proactive模式是在大量數(shù)據(jù)包進(jìn)入交換機(jī)需要轉(zhuǎn)發(fā)之前,用控制器將流表預(yù)先下發(fā)給交換機(jī),這樣交換機(jī)在收到數(shù)據(jù)包時(shí),就能根據(jù)相關(guān)的流表進(jìn)行轉(zhuǎn)發(fā)。通過預(yù)先定義好所有流表的規(guī)則,并通過控制器下發(fā),在交換機(jī)中生效,該模式能夠避免交換機(jī)生成Packet-in消息所產(chǎn)生的時(shí)延,所有進(jìn)入交換機(jī)的數(shù)據(jù)包都可以按照線速轉(zhuǎn)發(fā)。

    SDN控制器流表的主動(dòng)下發(fā)過程,可以在控制器的北向接口使用RESTful風(fēng)格的Web調(diào)用,或使用超文本傳輸協(xié)議(HTTP)在遠(yuǎn)端進(jìn)行,也可以在控制器內(nèi)部通過內(nèi)嵌應(yīng)用(APP),利用嵌入式的應(yīng)用程序編程接口(application programming interface,API)直接下發(fā)流表[8]。一些支持如地址解析協(xié)議(address resolution protocol,ARP)解析等現(xiàn)有基本業(yè)務(wù)的流表下發(fā),就是通過內(nèi)嵌APP模塊的Proactive模式實(shí)現(xiàn)的。兩種Proactive模式下流表下發(fā)的過程見附錄B圖B1。

    對(duì)于Proactive模式的流表下發(fā),當(dāng)采用北向接口RESTful調(diào)用的方式時(shí),從控制器北向接口看,流表下發(fā)過程的時(shí)延TPRestful滿足:

    (1)

    式中:TN為SDN控制器北向接口處理RESTful HTTP請(qǐng)求的時(shí)延,該部分時(shí)延主要包括SDN控制器北向接口(可能是物理接口)的處理時(shí)延TNp和控制器北向接口對(duì)HTTP請(qǐng)求進(jìn)行協(xié)議處理,并將該請(qǐng)求轉(zhuǎn)化為控制器系統(tǒng)原語(yǔ)的時(shí)延TNh;TS為控制器南向接口流表下發(fā)時(shí)延,該部分時(shí)延主要包括控制器南向接口的OpenFlow協(xié)議棧生成OpenFlow流表下發(fā)消息的時(shí)延TSp和將流表下發(fā)的Flow Mod消息通過南向接口(可能是物理接口)轉(zhuǎn)發(fā)出去的時(shí)延TSh。

    當(dāng)Proactive模式的流表下發(fā)采用控制器內(nèi)嵌APP模塊方式實(shí)現(xiàn)時(shí),流表下發(fā)過程的時(shí)延TPAPP滿足:

    TPAPP=TC+TS

    (2)

    式中:TC為SDN控制器內(nèi)部業(yè)務(wù)邏輯處理時(shí)延。

    由于北向接口對(duì)HTTP請(qǐng)求進(jìn)行協(xié)議處理可能會(huì)經(jīng)歷復(fù)雜的迭代過程,且北向接口的實(shí)現(xiàn)方式與算法的不同都會(huì)影響到TNh這部分的時(shí)延,因此北向接口調(diào)用的處理時(shí)延TN要遠(yuǎn)大于控制器內(nèi)部業(yè)務(wù)邏輯的處理時(shí)延TC。因此,對(duì)于時(shí)延敏感業(yè)務(wù)的主動(dòng)流表下發(fā)處理,使用控制器內(nèi)嵌APP方式處理,比通過RESTful進(jìn)行遠(yuǎn)端調(diào)用實(shí)時(shí)性更高。

    2.2.2 Reactive模式流表下發(fā)時(shí)延分析

    Reactive模式,也即靜態(tài)模式,是當(dāng)一個(gè)新的數(shù)據(jù)包進(jìn)入交換機(jī)時(shí),交換機(jī)首先在流表中查找匹配規(guī)則,如果沒有發(fā)現(xiàn)匹配的流表,交換機(jī)根據(jù)不匹配數(shù)據(jù)包規(guī)則或者丟棄數(shù)據(jù)包或者使用OpenFlow的Packet_in消息將該數(shù)據(jù)包上送到控制器,控制器根據(jù)數(shù)據(jù)包的各種信息和預(yù)配置的相關(guān)規(guī)則計(jì)算創(chuàng)建一個(gè)流表項(xiàng),使用OpenFlow的Flow Mod消息通過南向接口發(fā)送給交換機(jī)[9-10]。交換機(jī)下一次收到類似的數(shù)據(jù)包時(shí)就可以直接轉(zhuǎn)發(fā)。

    Reactive模式的流表下發(fā)速率主要和控制器收到Packet-in消息并生成相關(guān)流表規(guī)則并下發(fā)的響應(yīng)時(shí)間有關(guān)。使用Reactive模式的流表下發(fā),控制器可根據(jù)上報(bào)的數(shù)據(jù)包,按照策略實(shí)時(shí)改變特定粒度業(yè)務(wù)的路徑,可能涉及流量或者業(yè)務(wù)的動(dòng)態(tài)調(diào)整,因此,該模式流表下發(fā)的各部分處理時(shí)延就顯得尤其重要。Reactive模式下流表下發(fā)過程見附錄B圖B2。對(duì)于Reactive模式的流表下發(fā),時(shí)延TR滿足:

    (3)

    式中:TF為SDN控制器收到Packet_in數(shù)據(jù)包,根據(jù)數(shù)據(jù)包內(nèi)容和應(yīng)用處理邏輯生成流表的時(shí)延,該部分時(shí)延主要包括控制器通過接口(可能是物理接口)收到Packet_in并做協(xié)議處理的時(shí)延TP和控制器根據(jù)內(nèi)部應(yīng)用處理邏輯產(chǎn)生流表項(xiàng)的時(shí)延TFL。

    2.3 SDN架構(gòu)下端到端業(yè)務(wù)傳輸時(shí)延分析

    在基于OpenFlow的SDN控制器與交換機(jī)環(huán)境下,端到端數(shù)據(jù)發(fā)送時(shí)延涉及的因素較多,除了鏈路傳送時(shí)延和交換機(jī)轉(zhuǎn)發(fā)時(shí)延以外,還要考慮OpenFlow流表處理機(jī)制對(duì)端到端數(shù)據(jù)包傳送的影響。如果端到端的數(shù)據(jù)包轉(zhuǎn)發(fā)之前,數(shù)據(jù)包經(jīng)過路徑的全部交換機(jī)都已通過控制器使用Proactive模式將流表下發(fā)好且流表生效,則端到端的數(shù)據(jù)包時(shí)延只需要考慮數(shù)據(jù)包經(jīng)過每個(gè)OpenFlow交換機(jī)流表匹配和轉(zhuǎn)發(fā)的時(shí)延,此種情況下,控制器流表下發(fā)的時(shí)間將不會(huì)對(duì)業(yè)務(wù)的端到端時(shí)延造成影響。

    如果該數(shù)據(jù)包在首個(gè)OpenFlow交換機(jī)中流表匹配未命中,而交換機(jī)的Table-Miss表規(guī)則是將未匹配的數(shù)據(jù)包轉(zhuǎn)發(fā)到控制器,就會(huì)觸發(fā)Reactive模式的流表下發(fā),如圖3所示。

    圖3 未知數(shù)據(jù)包在SDN網(wǎng)絡(luò)中的匹配過程Fig.3 Matching process of unknown packet in SDN network

    如圖3所示,當(dāng)觸發(fā)Reactive模式的流表下發(fā),端到端的數(shù)據(jù)傳輸時(shí)延TEnd-to-End除了數(shù)據(jù)在物理鏈路上的傳送時(shí)延以外,還滿足:

    TEnd-to-End=TPacket_in+TP_send+TF_send+TF_act+TR

    (4)

    TPacket_in=Tpim+Tpic+Tpis

    (5)

    TF_act=TFMc+Tset

    (6)

    式中:TPacket_in為交換機(jī)收到收據(jù)包后產(chǎn)生Packet_in報(bào)文的時(shí)延,該部分時(shí)延包括數(shù)據(jù)包在交換機(jī)內(nèi)部查找流表匹配的時(shí)延Tpim、交換機(jī)生成Packet_in消息的協(xié)議處理時(shí)延Tpic,以及Packet_in消息通過網(wǎng)絡(luò)接口的發(fā)送時(shí)延Tpis;TP_send為Packet_in報(bào)文通過OpenFlow通道的傳送時(shí)延;TF_send為流表通過OpenFlow通道的傳送時(shí)延;TF_act為流表在交換機(jī)中生效的時(shí)延,該時(shí)延包括了Flow Mod進(jìn)入交換機(jī)接口的處理時(shí)延TFMc和流表的安裝時(shí)延Tset。

    通過上述分析可以發(fā)現(xiàn),在Reactive模式下,所引入的端到端轉(zhuǎn)發(fā)時(shí)延因素要遠(yuǎn)多于Proactive模式下的數(shù)據(jù)包轉(zhuǎn)發(fā)。

    為了考察Proactive和Reactive兩種模式下端到端的時(shí)延情況,本文首先通過ONOS控制器和Mininet軟件交換機(jī)仿真環(huán)境進(jìn)行了以下實(shí)驗(yàn):使用Mininet創(chuàng)建7臺(tái)交換機(jī)的線形拓?fù)浜蜆湫瓮負(fù)?見附錄C圖C1、圖C2),分別模擬電力通信網(wǎng)絡(luò)中兩種典型的數(shù)據(jù)流向。線形拓?fù)淠M縱向交互的業(yè)務(wù)流向,如精控系統(tǒng)中,業(yè)務(wù)流僅在控制終端、控制子站、控制主站與控制中心站之間縱向交互,同一層級(jí)之間無數(shù)據(jù)交互;樹形拓?fù)淠M橫向交互的業(yè)務(wù)流向,如電力數(shù)據(jù)中心業(yè)務(wù)服務(wù)器之間的數(shù)據(jù)交互?;赟DN分層分域的控制架構(gòu),在同一個(gè)域間交互的業(yè)務(wù)一般不大于7跳。

    兩個(gè)主機(jī)分別下掛在路徑最遠(yuǎn)的兩個(gè)交換機(jī)下,考察端到端的數(shù)據(jù)傳送時(shí)延,結(jié)果見附錄C表C1。此次測(cè)試的轉(zhuǎn)發(fā)平面是基于服務(wù)器內(nèi)部采用軟件環(huán)境生成的OpenFlow交換機(jī),雖然沒有經(jīng)過實(shí)際的網(wǎng)卡和物理線路傳送,但對(duì)于兩種模式時(shí)延的比較結(jié)果沒有影響。從數(shù)據(jù)中可以得出,Proactive模式的端到端平均時(shí)延要遠(yuǎn)小于Reactive模式,并且可以滿足電力系統(tǒng)正常通信狀態(tài)和應(yīng)急通信狀態(tài)下的時(shí)延要求。

    在控制器上層通過北向接口加入應(yīng)用系統(tǒng)后,本文在并發(fā)數(shù)50,100,150三種情況下,對(duì)Reactive和Proactive兩種模式下業(yè)務(wù)的端到端控制時(shí)延進(jìn)行了實(shí)際測(cè)試,測(cè)試結(jié)果如表2所示。

    從測(cè)試結(jié)果中可以得出,Reactive模式在加入應(yīng)用系統(tǒng)后的控制時(shí)延較高,而Proactive模式的控制時(shí)延可以達(dá)到毫秒級(jí)。

    3 支撐電力業(yè)務(wù)時(shí)延需求的SDN應(yīng)用規(guī)劃模式建議

    3.1 硬件資源的選擇建議

    根據(jù)上文硬件資源對(duì)SDN控制器時(shí)延性能的研究結(jié)論發(fā)現(xiàn),在硬件資源的選擇上,如果考慮流表下發(fā)時(shí)延和下發(fā)速率等性能因素,應(yīng)首先保證服務(wù)器計(jì)算資源(CPU)的充足配置。

    表2 兩種流表下發(fā)模式下控制時(shí)延的測(cè)試結(jié)果Table 2 Test results of control time delay under two flow table release modes

    在流表下發(fā)性能規(guī)劃的考慮上,應(yīng)該考慮控制通道的網(wǎng)絡(luò)接口瓶頸,合理規(guī)劃和配置網(wǎng)絡(luò)的硬件配置(網(wǎng)卡接口極限和物理網(wǎng)絡(luò)極限),盡量保證控制通道的網(wǎng)絡(luò)帶寬不會(huì)成為瓶頸,減少控制器南向接口流表消息下發(fā)的pending狀態(tài)[9],以減少時(shí)延。

    3.2 流表下發(fā)模式選擇建議

    電力通信網(wǎng)組網(wǎng)中涉及路由的承載方式可以采用SDN的技術(shù)體制實(shí)現(xiàn)業(yè)務(wù)的統(tǒng)一管控與靈活調(diào)度。例如:精控系統(tǒng)中的秒級(jí)及分鐘級(jí)控制模式,由于其采集和控制指令通過營(yíng)銷控制大區(qū)的網(wǎng)絡(luò)傳送,涉及路由調(diào)度,因此適合用SDN的方式承載,而毫秒級(jí)控制模式的業(yè)務(wù)通道采用基于SDH的2 Mbit/s專線方式,利用骨干傳輸網(wǎng)分層傳輸,不具備靈活調(diào)度的條件,因此,不建議采用SDN方式承載。流表下發(fā)模式選擇建議如表3所示。

    表3 流表下發(fā)模式選擇建議Table 3 Suggestions on flow table release mode

    SDN技術(shù)最大的特色在于其靈活性與開放性,從某種意義上來說,SDN在某些場(chǎng)合反而會(huì)犧牲掉一定的實(shí)時(shí)性,正因如此,SDN在公網(wǎng)應(yīng)用中的優(yōu)勢(shì)一般體現(xiàn)在資源利用率的提升和運(yùn)維管理的智能化上。然而,電力業(yè)務(wù)與公網(wǎng)業(yè)務(wù)卻也有著不同特點(diǎn),首先,電力通信網(wǎng)作為輔助電力一次設(shè)備的基礎(chǔ)設(shè)施,其網(wǎng)絡(luò)相對(duì)固定,也即很少出現(xiàn)拓?fù)漕l繁變化的狀況;其次,電力業(yè)務(wù)數(shù)據(jù)流相對(duì)固定,業(yè)務(wù)流向與公網(wǎng)相反,一般以上行數(shù)據(jù)為主,也即電力業(yè)務(wù)一般不會(huì)伴隨高隨機(jī)性與高突發(fā)性?;谏鲜鲭娏I(yè)務(wù)特點(diǎn),SDN技術(shù)在電力通信網(wǎng)中的應(yīng)用可以采用策略預(yù)先配置的方式,以Proactive模式的流表下發(fā)來保障業(yè)務(wù)傳輸?shù)膶?shí)時(shí)性,同時(shí)輔以Reactive模式的流表下發(fā),來應(yīng)對(duì)大規(guī)模網(wǎng)絡(luò)或復(fù)雜網(wǎng)絡(luò)的靈活性需求。針對(duì)不同業(yè)務(wù)的時(shí)延需求和控制需求,引入Hybrid模式(混合模式)的流表下發(fā)機(jī)制,在業(yè)務(wù)傳輸時(shí)延可容忍的前提下,達(dá)到實(shí)時(shí)性與靈活性的平衡[11-12]。

    4 結(jié)論

    本文開展的面向電力業(yè)務(wù)規(guī)劃的SDN控制器時(shí)延性能分析,通過實(shí)際測(cè)試與仿真,從硬件資源和流表下發(fā)模式的角度詳細(xì)分析了各種情況下,網(wǎng)絡(luò)SDN化對(duì)承載業(yè)務(wù)時(shí)延造成的影響,并以系統(tǒng)保護(hù)精控系統(tǒng)的業(yè)務(wù)時(shí)延需求出發(fā),提出SDN技術(shù)引入及流表下發(fā)模式選擇的方案,可以得到如下結(jié)論。

    1)對(duì)于硬件資源,內(nèi)存和硬盤基本不會(huì)影響流表下發(fā)的時(shí)延,網(wǎng)卡會(huì)成為流表下發(fā)時(shí)延的瓶頸,CPU資源會(huì)明顯影響流表下發(fā)時(shí)延,但存在一個(gè)閾值。

    2)Proactive流表下發(fā)模式比Reactive流表下發(fā)模式擁有更低的時(shí)延,但Reactive模式的自動(dòng)化程度更高。

    3)考慮Hybrid模式理論上可以實(shí)現(xiàn)實(shí)時(shí)性與靈活性的平衡,但在實(shí)際網(wǎng)絡(luò)部署中,引入的環(huán)境因素將會(huì)更多,混合流表下發(fā)模式是否比單一流表下發(fā)模式更適用于實(shí)際部署還需要進(jìn)一步驗(yàn)證。

    在后續(xù)工作中,將進(jìn)一步優(yōu)化SDN技術(shù)在實(shí)時(shí)性與靈活性方面的平衡點(diǎn),引入更多環(huán)境變量進(jìn)行仿真和測(cè)試,使其更加適用于實(shí)際部署。

    附錄見本刊網(wǎng)絡(luò)版(http://www.aeps-info.com/aeps/ch/index.aspx)。

    [1] 劉川,黃輝,喻強(qiáng),等.基于SDN的電力通信集中控制高可靠性業(yè)務(wù)支撐機(jī)制研究[J].電力信息與通信技術(shù),2015,13(12):1-5.

    LIU Chuan, HUANG Hui, YU Qiang, et al. Research of high reliability business support mechanism for power communication system centralized control based on SDN[J]. Electric Power Information and Communication Technology, 2015, 13(12): 1-5.

    [2] 張朝昆,崔勇,唐翯祎,等.軟件定義網(wǎng)絡(luò)(SDN)研究進(jìn)展[J].軟件學(xué)報(bào),2015,26(1):62-81.

    ZHANG Chaokun, CUI Yong, TANG Heyi, et al. State-of-the-art survey on software defined networking (SDN)[J]. Journal of Software, 2015, 26(1): 62-81.

    [3] 張蕾,占震濱,魏路平,等.廣域測(cè)量系統(tǒng)分段時(shí)延測(cè)量及分析[J].電力系統(tǒng)自動(dòng)化,2016,40(6):101-106.DOI:10.7500/AEPS20150427008.

    ZHANG Lei, ZHAN Zhenbin, WEI Luping, et al. Test and analysis of piecewise delay in wide area measurement system[J]. Automation of Electric Power Systems, 2016, 40(6): 101-106. DOI: 10.7500/AEPS20150427008.

    [4] 劉文霞,羅紅,陳錦山.考慮網(wǎng)絡(luò)保護(hù)的廣域測(cè)量系統(tǒng)通信時(shí)延分析[J].電力系統(tǒng)自動(dòng)化,2011,35(21):68-73.

    LIU Wenxia, LUO Hong, CHEN Jinshan. Communication delay analysis of WAMS considering network protection mechanisms[J]. Automation of Electric Power Systems, 2011, 35(21): 68-73.

    [5] 陸子剛,衛(wèi)志農(nóng),孫國(guó)強(qiáng),等.相關(guān)量測(cè)下處理時(shí)延的電力系統(tǒng)動(dòng)態(tài)狀態(tài)更新法[J].電力系統(tǒng)自動(dòng)化,2015,39(11):132-138.DOI:10.7500/AEPS20140505003.

    LU Zigang, WEI Zhinong, SUN Guoqiang, et al. Power system dynamic state updating method in processing time delay with correlated measurement[J]. Automation of Electric Power Systems, 2015, 39(11): 132-138. DOI: 10.7500/AEPS20140505003.

    [6] 曹袖,黃瀚,王雪平,等.軟件定義電網(wǎng):概念、結(jié)構(gòu)與示例[J].電力系統(tǒng)自動(dòng)化,2016,40(6):1-9.DOI:10.7500/AEPS20150907009.

    CAO Xiu, HUANG Han, WANG Xueping, et al. Software defined grid: concept, architecture and samples[J]. Automation of Electric Power Systems, 2016, 40(6): 1-9. DOI: 10.7500/AEPS20150907009.

    [7] KREUTZ D, RAMOS F M V, ESTEVES VERISSIMO P, et al. Software-defined networking: a comprehensive survey[J]. Proceedings of the IEEE, 2015, 103(1): 10-13.

    [8] MCKEOWN N. Software-defined networking[C]// Proceedings of IEEE INFOCOM, April 19-25, 2009, Rio De Janeiro, Brazil.

    [9] MCKEOWN N, ANDERSON T, BALAKRISHNAN H,et al. OpenFlow: enabling innovation in campus networks[J]. ACM SIGCOMM Computer Communication Review, 2008, 38(2): 69-74.

    [10] MIT Technology Review. 10 breakthrough technologies,TR10: software-defined networking[EB/OL]. [2015-12-30]. http://www.technologyreview.com/article/412194/tr10-software-defined-networking/.

    [11] 王繼業(yè),劉川,吳軍民,等.軟件定義電力廣域網(wǎng)通信業(yè)務(wù)資源公平分配技術(shù)[J].電網(wǎng)技術(shù),2015,39(1):1425-1431.

    WANG Jiye, LIU Chuan, WU Junmin, et al. Research of software defined service resource equitable allocation technology of power WAN[J]. Power System Technology, 2015, 39(1): 1425-1431.

    [12] 左青云,陳鳴,趙廣松,等.基于OpenFlow的SDN技術(shù)研究[J].軟件學(xué)報(bào),2013,24(5):1078-1097.

    ZUO Qingyun, CHEN Ming, ZHAO Guangsong, et al. Research on OpenFlow-based SDN technologies[J]. Journal of Software, 2013, 24(5): 1078-1097.

    Analysis on Time Delay Performance of Software Defined Networking Controller in Support of Power Service Planning

    LIUChuan1,2,LIBinglin1,2,LOUZheng3,CHENLei4,HUANGHongbing5

    (1. Global Energy Interconnection Research Institute, Nanjing 210003, China; 2. State Grid Laboratory of Electric Power Communication Network Technology, Nanjing 210003, China; 3. Nanjing Power Supply Company, State Grid Jiangsu Electric Power Company, Nanjing 210000, China; 4. China Institute of Information and Communication, Beijing 100191, China; 5. State Grid Zhejiang Electric Power Company, Hangzhou 310007, China)

    The technology of software defined networking (SDN) has provided the intelligent network with a new line of thought. But at the same time, control delay is introduced into the end-to-end transmission delay of transaction. The influence of hardware resources and flow table release mode on control delay is described in detail under the SDN architecture. In the simulation environment and actual test, comparisons of end-to-end time delay and control time delay with application systems are made. From the data analysis, it can be seen that the Reactive mode has a high degree of automation and flexibility, but introduces high control delay. However, the Proactive mode has a low control delay, but requires manual intervention and pre-configuration. Based on the comparison conclusions and combined with business bearer of current network, it is suggested that the bearer mode involved in routing in the power communication network be optimized by SDN technology. Proactive mode guarantees real-time performance by pre-configuring service paths, while supporting Reactive mode to meet the flexibility requirements of complicated networks.

    This work is supported by State Grid Corporation of China.

    power communication network; software defined networking (SDN); time delay; flow table release mode

    2017-03-02;

    2017-06-12。

    上網(wǎng)日期: 2017-07-21。

    國(guó)家電網(wǎng)公司科技項(xiàng)目“面向電力通信多域交互的軟件定義光網(wǎng)絡(luò)關(guān)鍵技術(shù)研究”。

    劉 川(1986—),男,通信作者,碩士,高級(jí)工程師,主要研究方向:電力通信網(wǎng)絡(luò)與傳感、未來網(wǎng)絡(luò)技術(shù)。E-mail:liuchuan@geiri.sgcc.com.cn

    李炳林(1970—),男,碩士,研究員級(jí)高級(jí)工程師,主要研究方向:電力通信網(wǎng)絡(luò)與傳感。

    婁 征(1978—),男,碩士,高級(jí)工程師,主要研究方向:電力信息安全及計(jì)算機(jī)體系結(jié)構(gòu)。

    (編輯 章黎)

    猜你喜歡
    流表交換機(jī)數(shù)據(jù)包
    基于時(shí)序與集合的SDN流表更新策略
    SmartSniff
    基于緩存策略的OpenFlow流表存儲(chǔ)優(yōu)化方案研究
    修復(fù)損壞的交換機(jī)NOS
    簡(jiǎn)析yangUI流表控制
    軟件定義網(wǎng)絡(luò)中一種兩步式多級(jí)流表構(gòu)建算法
    使用鏈路聚合進(jìn)行交換機(jī)互聯(lián)
    PoE交換機(jī)雷擊浪涌防護(hù)設(shè)計(jì)
    基于Libpcap的網(wǎng)絡(luò)數(shù)據(jù)包捕獲器的設(shè)計(jì)與實(shí)現(xiàn)
    羅克韋爾自動(dòng)化交換機(jī)Allen-Bradley ArmorStratix 5700
    人人妻,人人澡人人爽秒播| 真人一进一出gif抽搐免费| 欧美色视频一区免费| 美女扒开内裤让男人捅视频| 色婷婷久久久亚洲欧美| 午夜福利18| 亚洲熟妇中文字幕五十中出| 高清毛片免费观看视频网站| 成熟少妇高潮喷水视频| 国产精品野战在线观看| 变态另类成人亚洲欧美熟女 | 成人亚洲精品av一区二区| 免费在线观看日本一区| 999精品在线视频| 婷婷六月久久综合丁香| 亚洲一码二码三码区别大吗| aaaaa片日本免费| 成年女人毛片免费观看观看9| 亚洲第一欧美日韩一区二区三区| 亚洲avbb在线观看| 天堂影院成人在线观看| 91大片在线观看| netflix在线观看网站| 曰老女人黄片| 亚洲av成人不卡在线观看播放网| 久久久国产欧美日韩av| 免费少妇av软件| 午夜免费观看网址| 90打野战视频偷拍视频| 成人18禁高潮啪啪吃奶动态图| 亚洲一区高清亚洲精品| 精品一区二区三区四区五区乱码| 日韩有码中文字幕| 久久久精品国产亚洲av高清涩受| 久久这里只有精品19| 老司机午夜福利在线观看视频| 精品日产1卡2卡| xxx96com| 日日摸夜夜添夜夜添小说| 免费在线观看视频国产中文字幕亚洲| 亚洲av成人一区二区三| 不卡av一区二区三区| 国产精品1区2区在线观看.| 欧美日韩黄片免| 亚洲全国av大片| 最好的美女福利视频网| 精品国产一区二区三区四区第35| 一a级毛片在线观看| 国产私拍福利视频在线观看| 男女床上黄色一级片免费看| 免费观看人在逋| 午夜免费激情av| 女人精品久久久久毛片| 在线十欧美十亚洲十日本专区| 在线视频色国产色| 欧美成人性av电影在线观看| 欧洲精品卡2卡3卡4卡5卡区| 日本黄色视频三级网站网址| 国产黄a三级三级三级人| tocl精华| 搡老熟女国产l中国老女人| 午夜免费成人在线视频| 亚洲精品中文字幕一二三四区| 精品欧美一区二区三区在线| 精品少妇一区二区三区视频日本电影| 亚洲av美国av| 三级毛片av免费| 精品国产国语对白av| 国产三级在线视频| 久久亚洲真实| 91老司机精品| 91字幕亚洲| 视频区欧美日本亚洲| 人人妻人人澡人人看| 午夜日韩欧美国产| 欧美在线黄色| 久久久久九九精品影院| 欧美一级a爱片免费观看看 | 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲五月天丁香| 一卡2卡三卡四卡精品乱码亚洲| 又黄又爽又免费观看的视频| 91麻豆精品激情在线观看国产| www.www免费av| 9色porny在线观看| 午夜免费成人在线视频| 99国产精品一区二区蜜桃av| 久久热在线av| 韩国精品一区二区三区| 日韩视频一区二区在线观看| 午夜久久久在线观看| 亚洲欧美精品综合一区二区三区| 十八禁网站免费在线| 欧美人与性动交α欧美精品济南到| 成人18禁高潮啪啪吃奶动态图| 亚洲一区中文字幕在线| 国产成人免费无遮挡视频| x7x7x7水蜜桃| 国产成人啪精品午夜网站| 国产精品电影一区二区三区| 757午夜福利合集在线观看| 午夜视频精品福利| 在线视频色国产色| 国产精品九九99| 久久九九热精品免费| 婷婷丁香在线五月| 精品久久久精品久久久| 超碰成人久久| 不卡一级毛片| 欧美激情 高清一区二区三区| 国产av一区二区精品久久| 精品国产美女av久久久久小说| 国产欧美日韩一区二区三| 国产亚洲欧美在线一区二区| 一级片免费观看大全| 国产成人一区二区三区免费视频网站| 日本在线视频免费播放| 一级毛片高清免费大全| 国产精品一区二区精品视频观看| 男人舔女人的私密视频| 日本 av在线| 美女高潮到喷水免费观看| 18禁裸乳无遮挡免费网站照片 | 午夜影院日韩av| 在线天堂中文资源库| 一级片免费观看大全| 夜夜夜夜夜久久久久| 看黄色毛片网站| 亚洲国产毛片av蜜桃av| 久久久久国内视频| 午夜日韩欧美国产| 欧美在线黄色| 在线观看免费午夜福利视频| 又黄又爽又免费观看的视频| 黄色视频不卡| 国产亚洲欧美98| 久久久久国产精品人妻aⅴ院| 国产精品久久久人人做人人爽| 久久性视频一级片| 国产免费男女视频| 国产一卡二卡三卡精品| 97超级碰碰碰精品色视频在线观看| 日韩精品中文字幕看吧| 天堂√8在线中文| 精品一区二区三区四区五区乱码| 在线观看免费视频日本深夜| 天天添夜夜摸| 天堂影院成人在线观看| av天堂在线播放| 欧美成人性av电影在线观看| 久久中文字幕人妻熟女| 欧美另类亚洲清纯唯美| 久久人人97超碰香蕉20202| 日韩欧美免费精品| 91老司机精品| 巨乳人妻的诱惑在线观看| 一边摸一边抽搐一进一小说| 黑人操中国人逼视频| 亚洲国产看品久久| 操出白浆在线播放| 变态另类成人亚洲欧美熟女 | 在线十欧美十亚洲十日本专区| 久久精品国产清高在天天线| 国产亚洲欧美98| av免费在线观看网站| 99国产精品免费福利视频| x7x7x7水蜜桃| 亚洲三区欧美一区| 久久人妻熟女aⅴ| 制服人妻中文乱码| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲一卡2卡3卡4卡5卡精品中文| 97人妻天天添夜夜摸| 长腿黑丝高跟| 国内久久婷婷六月综合欲色啪| 老汉色∧v一级毛片| 国产av精品麻豆| 伦理电影免费视频| 亚洲国产精品sss在线观看| 国产成人影院久久av| 真人做人爱边吃奶动态| 欧美激情 高清一区二区三区| 久久久精品国产亚洲av高清涩受| 夜夜看夜夜爽夜夜摸| 久久精品人人爽人人爽视色| www.精华液| 黄色 视频免费看| 精品免费久久久久久久清纯| 亚洲色图综合在线观看| 99re在线观看精品视频| bbb黄色大片| 亚洲av五月六月丁香网| 久久久国产精品麻豆| 99久久综合精品五月天人人| 亚洲全国av大片| 色播亚洲综合网| 中文字幕av电影在线播放| 啦啦啦免费观看视频1| 如日韩欧美国产精品一区二区三区| 香蕉久久夜色| 亚洲av成人av| 黄色丝袜av网址大全| 此物有八面人人有两片| 亚洲精华国产精华精| 久久 成人 亚洲| 国产精品香港三级国产av潘金莲| 可以在线观看的亚洲视频| 在线十欧美十亚洲十日本专区| 十八禁网站免费在线| 色综合欧美亚洲国产小说| 老司机靠b影院| 高清黄色对白视频在线免费看| 精品国产乱子伦一区二区三区| 美女免费视频网站| 99精品久久久久人妻精品| 少妇熟女aⅴ在线视频| 亚洲成av片中文字幕在线观看| 成人国语在线视频| 老熟妇仑乱视频hdxx| 国产成人精品无人区| 国产精品电影一区二区三区| 国产精品免费一区二区三区在线| 午夜福利成人在线免费观看| 神马国产精品三级电影在线观看 | 日本a在线网址| 91老司机精品| 久久天堂一区二区三区四区| 欧美一级毛片孕妇| 亚洲伊人色综图| 最近最新免费中文字幕在线| 搞女人的毛片| 日韩视频一区二区在线观看| 国产精品野战在线观看| 美女高潮喷水抽搐中文字幕| 午夜久久久在线观看| 久久久久亚洲av毛片大全| 一本久久中文字幕| 一本综合久久免费| 一二三四社区在线视频社区8| 亚洲av电影不卡..在线观看| 最好的美女福利视频网| bbb黄色大片| 国产视频一区二区在线看| 国内毛片毛片毛片毛片毛片| 99国产精品99久久久久| 亚洲成av片中文字幕在线观看| 午夜福利成人在线免费观看| 日韩成人在线观看一区二区三区| bbb黄色大片| 亚洲中文字幕日韩| 午夜福利在线观看吧| 久久精品亚洲精品国产色婷小说| 国产一区二区在线av高清观看| 亚洲国产精品久久男人天堂| 国产xxxxx性猛交| 国产精品美女特级片免费视频播放器 | 99精品欧美一区二区三区四区| 很黄的视频免费| 日韩中文字幕欧美一区二区| 久久人妻熟女aⅴ| 国产1区2区3区精品| 少妇被粗大的猛进出69影院| 午夜福利成人在线免费观看| 午夜免费成人在线视频| 精品熟女少妇八av免费久了| 亚洲电影在线观看av| 精品免费久久久久久久清纯| 精品卡一卡二卡四卡免费| 精品乱码久久久久久99久播| 久久伊人香网站| 亚洲精品一区av在线观看| 一区在线观看完整版| 老熟妇乱子伦视频在线观看| 日本免费a在线| 免费一级毛片在线播放高清视频 | 久久久久久久久中文| 国产精品免费一区二区三区在线| 亚洲精品国产色婷婷电影| 搡老岳熟女国产| 国产精品美女特级片免费视频播放器 | 久久人妻熟女aⅴ| 国产精品野战在线观看| 变态另类丝袜制服| 9色porny在线观看| 久久中文看片网| 精品日产1卡2卡| av中文乱码字幕在线| 69精品国产乱码久久久| 不卡一级毛片| 欧美乱妇无乱码| 一级a爱视频在线免费观看| 日本免费a在线| 热re99久久国产66热| 十八禁网站免费在线| 国产高清videossex| 欧美av亚洲av综合av国产av| 精品无人区乱码1区二区| 精品一区二区三区视频在线观看免费| 久久精品成人免费网站| 九色亚洲精品在线播放| 人成视频在线观看免费观看| 激情在线观看视频在线高清| av视频在线观看入口| 国产亚洲精品av在线| АⅤ资源中文在线天堂| 欧美一级a爱片免费观看看 | 色综合亚洲欧美另类图片| 成人三级做爰电影| 一级a爱片免费观看的视频| 美女 人体艺术 gogo| 国产一级毛片七仙女欲春2 | 久久伊人香网站| 老汉色∧v一级毛片| 91精品三级在线观看| 国产精品亚洲av一区麻豆| 少妇熟女aⅴ在线视频| 国产一卡二卡三卡精品| 麻豆国产av国片精品| 久久久久久久久中文| 久热这里只有精品99| 好男人在线观看高清免费视频 | 少妇熟女aⅴ在线视频| 午夜免费观看网址| e午夜精品久久久久久久| 动漫黄色视频在线观看| 黄色视频,在线免费观看| 成人18禁在线播放| 妹子高潮喷水视频| 黄色视频,在线免费观看| 日本在线视频免费播放| 国产精品综合久久久久久久免费 | 久久伊人香网站| 国产欧美日韩一区二区三区在线| 两个人视频免费观看高清| 人妻丰满熟妇av一区二区三区| 国产精品影院久久| 中亚洲国语对白在线视频| 黄色毛片三级朝国网站| 精品国产美女av久久久久小说| 久久精品国产99精品国产亚洲性色 | 国产成人欧美| 波多野结衣一区麻豆| 亚洲熟女毛片儿| 中亚洲国语对白在线视频| 成年版毛片免费区| 18美女黄网站色大片免费观看| 9热在线视频观看99| 一夜夜www| 美国免费a级毛片| 99国产综合亚洲精品| 波多野结衣巨乳人妻| 久久中文看片网| 91麻豆av在线| 欧美亚洲日本最大视频资源| 一进一出好大好爽视频| 日韩欧美一区二区三区在线观看| 男女之事视频高清在线观看| 欧美乱妇无乱码| 久久精品国产综合久久久| 精品久久久久久,| 久久久久国内视频| 国产精品电影一区二区三区| 天天躁夜夜躁狠狠躁躁| 啪啪无遮挡十八禁网站| 国产精品乱码一区二三区的特点 | 国产成人欧美在线观看| 亚洲精品国产区一区二| 女性生殖器流出的白浆| 首页视频小说图片口味搜索| 亚洲av五月六月丁香网| 91麻豆精品激情在线观看国产| 国内精品久久久久久久电影| 一边摸一边抽搐一进一出视频| 亚洲精品国产精品久久久不卡| 色av中文字幕| 欧美一区二区精品小视频在线| 亚洲国产精品成人综合色| 国产精品电影一区二区三区| 久久亚洲精品不卡| 日本一区二区免费在线视频| 久久国产精品影院| 黄色视频,在线免费观看| 亚洲在线自拍视频| 亚洲第一av免费看| bbb黄色大片| 午夜两性在线视频| 亚洲欧美一区二区三区黑人| 亚洲色图综合在线观看| 国产欧美日韩一区二区三| 最新在线观看一区二区三区| 亚洲一区二区三区色噜噜| 亚洲av熟女| 少妇熟女aⅴ在线视频| 亚洲aⅴ乱码一区二区在线播放 | 欧美精品啪啪一区二区三区| 久久久久久久久久久久大奶| 国产亚洲精品久久久久久毛片| 午夜免费激情av| 国产一区二区三区视频了| 久久香蕉激情| av中文乱码字幕在线| 亚洲免费av在线视频| 亚洲国产毛片av蜜桃av| svipshipincom国产片| 久久精品aⅴ一区二区三区四区| 久久久久精品国产欧美久久久| 国产精品,欧美在线| 91老司机精品| 淫秽高清视频在线观看| 天天一区二区日本电影三级 | 欧美日韩瑟瑟在线播放| 人人妻人人爽人人添夜夜欢视频| 成人国语在线视频| 91字幕亚洲| 给我免费播放毛片高清在线观看| 岛国在线观看网站| 男女床上黄色一级片免费看| www.熟女人妻精品国产| 美女免费视频网站| 久久久国产成人免费| 好看av亚洲va欧美ⅴa在| 国产精品,欧美在线| 成人三级做爰电影| 国产精品综合久久久久久久免费 | 黄片播放在线免费| 啦啦啦免费观看视频1| 热99re8久久精品国产| 亚洲va日本ⅴa欧美va伊人久久| 丝袜美腿诱惑在线| 成年版毛片免费区| 欧美成狂野欧美在线观看| 18禁观看日本| 久久草成人影院| 亚洲片人在线观看| 精品国产乱子伦一区二区三区| 成人免费观看视频高清| 欧美乱色亚洲激情| 久久天躁狠狠躁夜夜2o2o| 精品一区二区三区视频在线观看免费| 99久久国产精品久久久| 无遮挡黄片免费观看| www.精华液| 亚洲男人天堂网一区| 99精品在免费线老司机午夜| 国内毛片毛片毛片毛片毛片| 黄色成人免费大全| 国产欧美日韩一区二区精品| 国产三级在线视频| 国产精品av久久久久免费| 国产亚洲精品av在线| 香蕉丝袜av| 国产精品国产高清国产av| 99riav亚洲国产免费| 一区二区三区高清视频在线| 亚洲成国产人片在线观看| 婷婷六月久久综合丁香| 啦啦啦韩国在线观看视频| 国产精品爽爽va在线观看网站 | 女同久久另类99精品国产91| 国产91精品成人一区二区三区| 亚洲色图综合在线观看| 久久人妻熟女aⅴ| 久久国产精品影院| 18禁黄网站禁片午夜丰满| 国产在线观看jvid| 两个人看的免费小视频| 久久久精品欧美日韩精品| 欧美精品啪啪一区二区三区| 国产亚洲av嫩草精品影院| 18禁观看日本| 一卡2卡三卡四卡精品乱码亚洲| 91麻豆精品激情在线观看国产| 亚洲色图综合在线观看| 18禁美女被吸乳视频| 国产精品亚洲一级av第二区| 三级毛片av免费| 精品国产一区二区三区四区第35| 精品一区二区三区av网在线观看| 国产黄a三级三级三级人| 国产精品亚洲美女久久久| 午夜福利在线观看吧| 午夜视频精品福利| 狂野欧美激情性xxxx| 91麻豆精品激情在线观看国产| 亚洲 欧美一区二区三区| 欧美日韩乱码在线| 又紧又爽又黄一区二区| 国产精品美女特级片免费视频播放器 | 色播亚洲综合网| 999久久久精品免费观看国产| 午夜老司机福利片| 午夜a级毛片| 人妻丰满熟妇av一区二区三区| av在线天堂中文字幕| 亚洲专区国产一区二区| 日韩有码中文字幕| 男人舔女人下体高潮全视频| 免费在线观看日本一区| 亚洲七黄色美女视频| 在线观看www视频免费| 日本vs欧美在线观看视频| 国产主播在线观看一区二区| 国产激情欧美一区二区| 欧美成人性av电影在线观看| 亚洲精品中文字幕在线视频| 可以免费在线观看a视频的电影网站| 国产91精品成人一区二区三区| 看黄色毛片网站| 电影成人av| 久久久久久人人人人人| 亚洲精品国产一区二区精华液| 亚洲精品美女久久av网站| 熟妇人妻久久中文字幕3abv| 嫁个100分男人电影在线观看| 国产精品久久久久久亚洲av鲁大| 丰满人妻熟妇乱又伦精品不卡| 久久久久久国产a免费观看| 女性被躁到高潮视频| 男人操女人黄网站| 亚洲国产精品999在线| 最新美女视频免费是黄的| 日韩视频一区二区在线观看| 亚洲人成网站在线播放欧美日韩| av片东京热男人的天堂| 国产精品免费一区二区三区在线| 国产亚洲精品一区二区www| 1024视频免费在线观看| 99国产极品粉嫩在线观看| 国产av一区在线观看免费| 黄色视频不卡| 97人妻天天添夜夜摸| 女警被强在线播放| 精品一品国产午夜福利视频| 99国产精品99久久久久| 国产精品久久视频播放| 日本五十路高清| 制服人妻中文乱码| 欧美激情高清一区二区三区| 成人特级黄色片久久久久久久| 免费在线观看亚洲国产| 18禁国产床啪视频网站| 美国免费a级毛片| 久久性视频一级片| 免费少妇av软件| 我的亚洲天堂| 国产成人精品久久二区二区91| 午夜视频精品福利| 日本三级黄在线观看| 国产精品爽爽va在线观看网站 | www.自偷自拍.com| 正在播放国产对白刺激| 极品教师在线免费播放| 精品一区二区三区视频在线观看免费| 亚洲第一欧美日韩一区二区三区| 国产一区二区三区综合在线观看| 欧美不卡视频在线免费观看 | 香蕉国产在线看| 在线视频色国产色| 久久青草综合色| 亚洲国产精品成人综合色| 亚洲 国产 在线| 色综合欧美亚洲国产小说| 女生性感内裤真人,穿戴方法视频| 777久久人妻少妇嫩草av网站| 国产麻豆69| 精品乱码久久久久久99久播| 欧美性长视频在线观看| 在线观看免费午夜福利视频| av视频免费观看在线观看| 亚洲av片天天在线观看| 在线观看免费日韩欧美大片| 丁香欧美五月| 久久 成人 亚洲| 一边摸一边抽搐一进一小说| 午夜福利18| 啦啦啦韩国在线观看视频| av网站免费在线观看视频| 国产精品影院久久| 久久久久久久久免费视频了| 亚洲精品中文字幕一二三四区| 日韩免费av在线播放| 亚洲精品国产色婷婷电影| 欧美激情高清一区二区三区| 女人被躁到高潮嗷嗷叫费观| 午夜成年电影在线免费观看| 国产一区二区三区在线臀色熟女| 亚洲三区欧美一区| 自拍欧美九色日韩亚洲蝌蚪91| 色综合站精品国产| 黑人巨大精品欧美一区二区mp4| 女人被狂操c到高潮| 啦啦啦 在线观看视频| 久热爱精品视频在线9| 国产区一区二久久| 亚洲精品美女久久av网站| 国产精品98久久久久久宅男小说| 亚洲成a人片在线一区二区| 91精品三级在线观看| 国产精品一区二区精品视频观看| 夜夜夜夜夜久久久久| 亚洲精品美女久久av网站| 一级a爱视频在线免费观看| 在线av久久热| 欧美日本中文国产一区发布| 亚洲欧美日韩另类电影网站| 狂野欧美激情性xxxx| 亚洲av日韩精品久久久久久密| 一区二区三区激情视频| 欧美成人免费av一区二区三区| 午夜福利免费观看在线| 日韩中文字幕欧美一区二区| 亚洲avbb在线观看| 亚洲九九香蕉| 精品电影一区二区在线| 久久影院123|