• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    SDN中基于Q-learning的動態(tài)交換機(jī)遷移算法

    2016-07-06 01:33:36趙季紅
    電視技術(shù) 2016年6期
    關(guān)鍵詞:軟件定義網(wǎng)絡(luò)控制器

    趙季紅,張 彬,王 力,曲 樺,鄭 浪

    ( 1.西安郵電大學(xué) 通信與信息工程學(xué)院,西安 710061;2.西安交通大學(xué) 電子信息學(xué)院,陜西 西安 710049)

    SDN中基于Q-learning的動態(tài)交換機(jī)遷移算法

    趙季紅1,2,張彬1,王力2,曲樺2,鄭浪1

    ( 1.西安郵電大學(xué) 通信與信息工程學(xué)院,西安 710061;2.西安交通大學(xué) 電子信息學(xué)院,陜西 西安 710049)

    摘要:由于網(wǎng)絡(luò)流量動態(tài)變化,控制器負(fù)載均衡成為大規(guī)模部署軟件定義網(wǎng)絡(luò)研究的重點(diǎn)。提出基于Q-learning的動態(tài)交換機(jī)遷移算法,首先對軟件定義網(wǎng)絡(luò)中的控制器部署問題建模,再應(yīng)用Q-learning反饋機(jī)制學(xué)習(xí)實(shí)時(shí)網(wǎng)絡(luò)流量,最后根據(jù)Q表格將交換機(jī)從高負(fù)載控制器動態(tài)遷移到低負(fù)載控制器上,實(shí)現(xiàn)控制器的負(fù)載均衡。仿真結(jié)果表明,所提算法能夠獲得較低的控制器負(fù)載標(biāo)準(zhǔn)方差。

    關(guān)鍵詞:軟件定義網(wǎng)絡(luò);OpenFlow;控制器;Q學(xué)習(xí)

    軟件定義網(wǎng)絡(luò)(Software Defined Network,SDN)[1]具有控制與傳輸分離、集中式控制、軟件可編程特征,能夠使網(wǎng)絡(luò)控制與管理的成本降低,便于新業(yè)務(wù)的快速開發(fā)和部署,從而為網(wǎng)絡(luò)設(shè)計(jì)規(guī)劃與管理帶來了極大的靈活性,解決網(wǎng)絡(luò)結(jié)構(gòu)的僵化問題成為了目前網(wǎng)絡(luò)技術(shù)研究的重點(diǎn)之一[2]。

    SDN雖然能夠解決目前網(wǎng)絡(luò)中存在的問題,但是當(dāng)SDN部署在大規(guī)模網(wǎng)絡(luò)中,其集中式控制平面的可擴(kuò)展性和性能將會遇到極大的挑戰(zhàn)[3-4],onix[5]、HyperFlow[6]等項(xiàng)目通過在網(wǎng)絡(luò)中部署多個(gè)相互連接的控制器,構(gòu)建分布式控制平面成為解決上述問題的途徑。文獻(xiàn)[7]研究了SDN分布式控制平面中控制器的靜態(tài)部署問題,該方法使得交換機(jī)到控制器的時(shí)延最短,并保證控制器的處理能力能夠滿足其上所連接交換機(jī)上承載的業(yè)務(wù)需求。但是,在多控制器部署環(huán)境下,由于網(wǎng)絡(luò)負(fù)載動態(tài)變化,需要將交換機(jī)從負(fù)載較重的控制器動態(tài)遷移到負(fù)載較輕的控制器下,為了避免個(gè)別控制器因負(fù)載過重造成控制器宕機(jī),要求實(shí)現(xiàn)控制器之間的負(fù)載均衡。文獻(xiàn)[8]提出了彈性控制平面的概念,知識架構(gòu)以及遷移過程的簡述,但文章中并沒有給出具體的算法;文獻(xiàn)[9]定義了負(fù)載和時(shí)延等指標(biāo),但是控制器的狀態(tài)仍是處于靜態(tài);文獻(xiàn)[10]提出高可靠性控制器部署,但也是靜態(tài)情況下,且沒有考慮負(fù)載的變化情況;文獻(xiàn)[11]通過分析控制器和轉(zhuǎn)發(fā)平面之間的彈性控制關(guān)系,提出通過感知控制器部署和控制流量路由達(dá)到最大化快速故障切換率來提高控制平面彈性的機(jī)制。總之,交換機(jī)的動態(tài)遷移算法是目前研究的重點(diǎn)。

    本文提出軟件定義網(wǎng)絡(luò)中基于Q-learning的動態(tài)交換機(jī)遷移算法,首先基于Q-learning算法對SDN網(wǎng)絡(luò)中交換機(jī)動態(tài)遷移問題進(jìn)行數(shù)學(xué)建模,定義狀態(tài)空間、動作空間、即時(shí)回報(bào)函數(shù)、Q值更新函數(shù)、動作選擇策略,再提出基于Q-learning的動態(tài)交換機(jī)遷移算法,給出交換機(jī)遷移算法的流程,根據(jù)網(wǎng)絡(luò)負(fù)載的動態(tài)變化,應(yīng)用Q-learning算法確定交換機(jī)遷移方案,保證控制器負(fù)載均衡。

    1交換機(jī)遷移問題建模

    SDN網(wǎng)絡(luò)具有交換與傳輸分離的特征,用戶可以在控制平面上自定義網(wǎng)絡(luò)控制與管理策略,數(shù)據(jù)平面由只負(fù)責(zé)數(shù)據(jù)轉(zhuǎn)發(fā)的交換機(jī)互聯(lián)組成。在大規(guī)模部署的SDN網(wǎng)絡(luò)中,多個(gè)控制器相互連接構(gòu)成集中式控制平面,交換機(jī)連接在控制器上,數(shù)據(jù)包的轉(zhuǎn)發(fā)策略是由控制器下發(fā)給交換機(jī)的,而交換機(jī)只做數(shù)據(jù)交換。表1是交換機(jī)遷移的相關(guān)標(biāo)號。

    表1交換機(jī)遷移的相關(guān)標(biāo)號

    變量含義ci核心控制節(jié)點(diǎn)或者控制器si普通交換機(jī)連接si的外設(shè)普通交換機(jī)或者其他網(wǎng)絡(luò)設(shè)備

    s2從控制域1劃分到控制域2。交換機(jī)的遷移過程如圖1、圖2所示。

    圖1 交換機(jī)s1處于切片1中的c1控制器

    圖2 交換機(jī)處于切片1中的控制器

    si→cj表示交換機(jī)si連接在控制器cj上,si→ci?si→cj表示交換機(jī)si從控制器ci遷移到控制器cj上。如圖1~圖2所示,控制器c1上連接的交換機(jī)s1,s2等,s1上的總流量較多,控制器c2上連接的其他交換機(jī),其總負(fù)載較少,將交換機(jī)s1從控制器c1上遷移到控制器c2上,保證控制器的負(fù)載均衡,提高SDN網(wǎng)絡(luò)對用戶業(yè)務(wù)與應(yīng)用的響應(yīng)速度,進(jìn)而提升SDN網(wǎng)絡(luò)的性能和可擴(kuò)展性。

    2基于Q-learning的動態(tài)交換機(jī)遷

    移算法

    2.1基于Q-learning動態(tài)交換機(jī)遷移算法相關(guān)

    元素定義

    應(yīng)用Q-learning算法的感知管理特性,需要對相關(guān)的一些要素進(jìn)行確定,并動態(tài)選擇系統(tǒng)性能指標(biāo)的最優(yōu)化動作。基于Q-learning彈性控制器系統(tǒng)模塊與環(huán)境的交互示意圖如圖3所示。

    圖3 基于Q-learning彈性控制器系統(tǒng)模塊與環(huán)境的交互

    下面對應(yīng)用Q-learning算法所要確定的幾個(gè)重要因素進(jìn)行說明。

    1)狀態(tài)空間定義

    智能體合理選擇動作的基礎(chǔ)是先劃分狀態(tài)空間s={C1,C2,C3,C4},合理的狀態(tài)變量s應(yīng)具備兩個(gè)特性:(1)可知性,只有智能體可以提取和處理的信息才能作為狀態(tài)輸入;(2)無后效性,每一個(gè)狀態(tài)都與它的前一狀態(tài)有關(guān)系。

    2)動作空間定義

    由于系統(tǒng)中可采取的動作大于狀態(tài)空間(核心控制器的個(gè)數(shù)),而對于Q-learning,每個(gè)狀態(tài)只能選擇一個(gè)動作。所以在彈性控制器結(jié)構(gòu)中,本著就近原則,預(yù)先隨機(jī)把其余n個(gè)交換機(jī)分配給m個(gè)核心控制器管理。同時(shí),引入遷移代價(jià)的概念,即當(dāng)需要遷移的時(shí)候,采用dijkstra算法,交換機(jī)負(fù)載很小的時(shí)候,它也并不會遷移到較遠(yuǎn)的核心控制器的管理之下。

    3)即時(shí)回報(bào)函數(shù)

    回報(bào)函數(shù)r(s,a)設(shè)計(jì)是基于系統(tǒng)的性能指標(biāo)的,希望分配給核心交換機(jī)的slaver交換機(jī)在遷移代價(jià)是最小的,規(guī)定回報(bào)函數(shù)為正值,回報(bào)函數(shù)

    (1)

    4)搜索策略

    搜索策略用來平衡“探索”和“利用”?!疤剿鳌?explore)和“利用”(exploit)是Q-learning搜索策略的兩個(gè)重要方面。本文采用最常見的ε貪婪算法

    (2)

    式中:a表示選取在狀態(tài)s下以1-ε選擇具有最大Q值的動作。在系統(tǒng)運(yùn)行之前,根據(jù)就近原則把30個(gè)交換機(jī)連接到4個(gè)核心控制器,并由當(dāng)前核心控制器控制下一步遷移。

    5)Q值更新

    預(yù)先設(shè)置了一個(gè)m×n的Q矩陣,并把所有的初始值都設(shè)定為相同值,當(dāng)Q-learning運(yùn)行第一次的時(shí)候,根據(jù)dijkstra算法,計(jì)算出每個(gè)交換機(jī)分別到核心交換機(jī)的最短距離Lx={lx1,lx2,lx3,lx4}(其中l(wèi)x1表示標(biāo)號為x的交換機(jī)到標(biāo)號為1的核心交換機(jī)的最短距離,依次類推)。智能算法的控制策略即是選擇哪種學(xué)習(xí)策略,當(dāng)把累積回報(bào)值作為策略優(yōu)劣的評估函數(shù)時(shí),較好的控制策略對學(xué)習(xí)體產(chǎn)生盡可能大的累積回報(bào)值。 在此狀態(tài)下,此時(shí)的回報(bào)函數(shù)值以及所知的之前回報(bào)值都可以確定,后續(xù)狀態(tài)的回報(bào)值無法確定,因此,累積回報(bào)值計(jì)算將是個(gè)重要的問題。評估函數(shù)采用Q函數(shù)累計(jì)迭代運(yùn)算方程為

    (3)

    在當(dāng)前狀態(tài)s和當(dāng)前動作a下:r(s,a)為在智能體獲得的即時(shí)回報(bào)(reward);Snext∈S為系統(tǒng)將會轉(zhuǎn)入的下一狀態(tài);γ為折扣系數(shù)取值[0,1];b為Snext下可采取的動作;Q(s,a)為智能體總計(jì)期望回報(bào)的預(yù)計(jì)。

    2.2基于Q-learning的動態(tài)交換機(jī)遷移算法

    將Q-learning算法思想應(yīng)用于SDN控制器的動態(tài)遷移問題,建立基于Q-learning的控制器負(fù)載的動態(tài)感知,并能自適應(yīng)控制器的協(xié)調(diào)分配。

    基于Q-learning的遷移管理流程如下:

    1)初始化Q值矩陣[Q(s,a)]m×n,初始化矩陣所有的值全為1。

    2)對接下來的每個(gè)后續(xù)觸發(fā)搜索周期,自動重復(fù)以下動作:

    (1)局部控制域內(nèi),流量得不到處理或者處理能力嚴(yán)重過剩。系統(tǒng)自動查找Q陣,在Q表,每一個(gè)豎列有4個(gè)Q值。根據(jù)dijkstra算法得出相近的兩個(gè)核心控制器,并選取具有最大Q值的狀態(tài)作為當(dāng)前的激活狀態(tài)s;

    (2)根據(jù)ε貪婪算法,針對每一個(gè)slaver交換機(jī),在每一豎列中以1-ε機(jī)的概率選擇最大Q值的動作,并將該slaver交換機(jī)遷移到與相應(yīng)的核心控制的管理下;并記錄在每個(gè)周期內(nèi)發(fā)生遷移的交換機(jī)總個(gè)數(shù),設(shè)為Mi;

    (3)對于處于一個(gè)周期內(nèi)的slaver交換機(jī)的負(fù)載,用每個(gè)slaver交換機(jī)的負(fù)載除以在該周期內(nèi)每個(gè)核心控制器的總負(fù)載,得出r(s,a);

    (4)當(dāng)在狀態(tài)s下,選擇動作a后得到的Q值,如果在此狀態(tài)下Q值比原二維矩陣中的相應(yīng)位置Q值大,則更新,反之則不進(jìn)行更新,由于此列中相應(yīng)位置對應(yīng)得到的Q值已經(jīng)比此時(shí)得到的Q值小,所以就沒必要進(jìn)行更新;

    (5)選擇Q陣中每列具有最大Q值的狀態(tài)作為下一個(gè)狀態(tài),如果最大的Q值還是當(dāng)前位置的Q,則交換機(jī)不發(fā)生遷移,反之則遷移;同時(shí)更新狀態(tài)s的Snext;

    (6)回到步驟(2)運(yùn)行到狀態(tài)s,并依次循環(huán)。

    3仿真結(jié)果及分析

    3.1仿真環(huán)境

    考慮到目前還沒有類似Q-learning的自學(xué)習(xí)算法被用于解決交換機(jī)的動態(tài)遷移問題,本文只對參數(shù)進(jìn)行仿真,分析所提算法的收斂性,以及保證控制器負(fù)載均衡的能力。

    假定每個(gè)核心控制器所能承受的負(fù)載是有限的,當(dāng)負(fù)載變化超過核心控制器的控制范圍時(shí),根據(jù)Q學(xué)習(xí)算法和dijkstra算法,讓與其控制范圍相近周圍的其他核心交換機(jī)所控制的交換機(jī)遷移到它的控制范圍,讓其有能力處理短時(shí)的超負(fù)荷的負(fù)載。并且,當(dāng)其他核心交換機(jī)出現(xiàn)過載時(shí),此slaver交換機(jī)也可以遷移到其他的核心控制器的管理范圍之下。

    通過仿真,對一個(gè)核心交換機(jī)每個(gè)周期所管理交換機(jī)的負(fù)載之和與任一個(gè)slaver交換機(jī)的負(fù)載進(jìn)行分析,多次測試后發(fā)現(xiàn),此和的方差總是在經(jīng)過一段時(shí)間后趨于穩(wěn)定,并圍繞著某個(gè)值鋸齒形波動。而且隨著程序的進(jìn)行,每個(gè)周期內(nèi)遷移的交換機(jī)個(gè)數(shù)也趨于穩(wěn)定,最后也是圍繞某個(gè)值作鋸齒形波動,遷移代價(jià)越來越小。

    在本文中,設(shè)置該網(wǎng)絡(luò)拓?fù)浒?個(gè)核心控制器和30個(gè)普通交換機(jī),即前面m和n的值分別取值為4和30。仿真環(huán)境是以北美interent2為參照,共有34個(gè)總交換機(jī),在其中選出4個(gè)為核心控制器,其余30個(gè)交換機(jī)在仿真運(yùn)行開始之前就近劃分到4個(gè)核心控制器的控制域范圍中,控制器與交換機(jī)部署在統(tǒng)一物理位置,并且控制器的位置保持不變。交換機(jī)的流量服從μ=50,σ=0.15的正態(tài)分布。設(shè)定仿真環(huán)境中Q-learning為1 s的刷新周期.

    3.2算法仿真結(jié)果及性能分析

    在本文中,以文獻(xiàn)[7]中北美interent2(如圖4)為仿真架構(gòu),通過上面狀態(tài)、動作、遷移選擇等要素的選取可以看出,本文中的遷移管理算法實(shí)際上是通過回報(bào)值的設(shè)計(jì)和Q表值來指導(dǎo)控制器遷移調(diào)度策略的,盡管被遷移的普通控制器的負(fù)載、距離等屬性(遷移代價(jià))作為狀態(tài)空間沒有直接體現(xiàn)到整個(gè)拓?fù)浣Y(jié)構(gòu)中,但每個(gè)被遷移的控制器對當(dāng)個(gè)控制域的流量負(fù)載處理過程起到了良好的補(bǔ)充協(xié)助作用,且負(fù)載對遷移過程的影響是直接通過及時(shí)回報(bào)值來體現(xiàn)的。

    圖4 北美interent2網(wǎng)絡(luò)拓?fù)?/p>

    并且,Q-learning中的搜索策略使核心控制器不會總是選擇一個(gè)回報(bào)值最大的交換機(jī),而是以一定概率選擇,那么當(dāng)當(dāng)前回報(bào)值最大的控制器不在核心控制器的選擇范圍中,就有可能在其他核心控制器的選擇范圍之內(nèi),這種選擇機(jī)制就保證了核心控制器能夠在不同的選擇策略上積累經(jīng)驗(yàn),這也就支持了遷移任務(wù)的動態(tài)管理。

    3.3控制器負(fù)載分析

    單個(gè)核心控制器在運(yùn)行和不運(yùn)行Q-learning機(jī)制的負(fù)載均衡度(方差)如圖5所示。由圖5可以看出,當(dāng)剛開始運(yùn)行控制器系統(tǒng)時(shí),每個(gè)核心控制器所控制的交換機(jī)都是預(yù)先隨機(jī)分配的,因此系統(tǒng)并不認(rèn)為是理想的,所以每個(gè)周期剛開始運(yùn)行時(shí),每個(gè)周期都會有交換機(jī)的遷移(也包括由于受到遷移代價(jià)的影響,選擇次優(yōu)的核心交換機(jī)而引起的非最佳選擇遷移次數(shù))。此時(shí)遷移的交換機(jī)數(shù)很多,開始時(shí)遷移個(gè)數(shù)都基本在13左右,但是隨著時(shí)間的推移,程序會使整個(gè)系統(tǒng)越來越處于一個(gè)優(yōu)化狀態(tài),遷移次數(shù)或者頻率會越來越趨于平穩(wěn)。最后基本都處于每次只遷移4個(gè)交換機(jī)。由于程序存在缺陷,沒有記錄在此優(yōu)化過程中流量狀況不促發(fā)彈性控制器系統(tǒng)時(shí)的非核心交換機(jī)和核心交換機(jī)的狀態(tài)。

    圖5 是否采用Q-learning機(jī)制負(fù)載均衡度

    但是,而在此狀態(tài)下,系統(tǒng)整體也處于一個(gè)較為平穩(wěn)的狀態(tài),對于需要的系統(tǒng)何時(shí)運(yùn)行到一個(gè)較為平穩(wěn)的狀態(tài),可以根據(jù)單個(gè)核心控制器的方差平穩(wěn)狀態(tài)看出,交換機(jī)遷移的頻率達(dá)到較為穩(wěn)定的時(shí)間和單個(gè)核心交換機(jī)方差函數(shù)趨于平穩(wěn)的時(shí)間應(yīng)該是相對的。

    3.4Q-leaning參數(shù)對算法的影響

    通過對以往關(guān)于貪婪算法的研究,在一定范圍內(nèi)隨機(jī)賦給γ,ε,一定的值。并根據(jù)以往的經(jīng)驗(yàn),發(fā)現(xiàn)在給定某個(gè)ε后,隨著感知周期的運(yùn)行,對于單個(gè)核心控制節(jié)點(diǎn)的方差,γ越大,其方差收斂越慢,且其后續(xù)方差波動也越來越大。同時(shí),當(dāng)ε的值越大,系統(tǒng)對Q表值的選擇隨機(jī)性變大,當(dāng)其越小時(shí),又不能體現(xiàn)其選擇公平性。當(dāng)γ=0.25時(shí),單個(gè)核心控制器的方差總是收斂相對較快,后續(xù)也最穩(wěn)定。雖然當(dāng)γ=0.25,ε=0.3時(shí)收斂速度和負(fù)載均衡度也比較理想,但當(dāng)其平穩(wěn)后負(fù)載均衡度比γ=0.25,ε=0.2波動更大,所以最后認(rèn)定γ=0.25,ε=0.2的效果最理想。因數(shù)據(jù)量和篇幅的原因只錄入100個(gè)周期的數(shù)據(jù),同時(shí)當(dāng)γ=0.25,ε=0.2后續(xù)曲線相對平穩(wěn)。圖6給出了γ=0.15,ε=0.2;γ=0.15,ε=0.3;γ=0.25,ε=0.2;γ=0.25,ε=0.3的方差曲線??梢钥闯龌赒-learning的彈性控制器系統(tǒng)對于系統(tǒng)流量起到了很合理的調(diào)節(jié)分配作用,由此減少網(wǎng)絡(luò)中不必要的丟包而造成的網(wǎng)絡(luò)擁塞等。

    圖6 不同值下的網(wǎng)絡(luò)負(fù)載均衡度

    另一方面,在彈性控制器系統(tǒng)被觸發(fā)的周期內(nèi)會有交換機(jī)的來回遷移,整個(gè)網(wǎng)絡(luò)較多時(shí)候處于能夠處理負(fù)載的狀態(tài),只記錄了在觸發(fā)階段遷移的個(gè)數(shù),并且當(dāng)單個(gè)核心控制器處于穩(wěn)定狀態(tài)后,系統(tǒng)再次被觸發(fā)后,每次遷移的個(gè)數(shù)總是在3左右波動。由此確定,整個(gè)系統(tǒng)已達(dá)到比較穩(wěn)定的狀態(tài),處于收斂。

    4結(jié)束語

    本文在軟件定義網(wǎng)絡(luò)系統(tǒng)中應(yīng)用了智能控制理論中的Q-learning算法,在每個(gè)感知周期內(nèi),Q-learning算法中的狀態(tài)選擇是選擇每個(gè)核心控制范圍內(nèi)有額外負(fù)載處理能力的交換機(jī)與核心控制器的鏈接狀態(tài),將每個(gè)有額外處理能力的交換機(jī)調(diào)配到處理能力不夠的核心控制器下并受其管理作為在每個(gè)狀態(tài)下所采取的動作,收集到的流量來確定回報(bào),在感知活動中學(xué)習(xí)經(jīng)驗(yàn),從而提高優(yōu)化學(xué)習(xí)效率。

    參考文獻(xiàn):

    [1]QIN Z,DENKER G,GIANNELLI C,et al. A software defined networking architecture for the internet-of-things[C]. IEEE network operations & management symposium.[S.l.]:IEEE,2014:1-9.

    [2]The openflow switch[EB/OL].[2015-10-10].http://www.open-flowswitch.org.

    [3]LEVIN D,WUNDSAM A,HELLER B,et al. Logically centralized? state distribution trade-offs in software defined networks[C]//Proc. HotSDN’12 of ACM SICGCOMM. Helsinki,F(xiàn)inland:[s.n.],2012:1-6. DOI:10.1145/2342441. 2342443.

    [4]左青云,陳鳴,趙廣松,等. 基于OpenFlow的SDN技術(shù)研究[J]. 軟件學(xué)報(bào),2013,24(5):1078—1097. DOI:10.3724/SP.J.1001.2013.04390.

    [5]KOPONEN T,CASADO M,GUDE N,et al. Onix: a distributed control platform for large-scale production networks[C]//Proc. 9th USENIX conference on operating systems design and implementation.[S.l.]:ACM,2010:351-364.

    [6]TOOTOONCHIAN A,GANJALI Y. HyperFlow: a distributed control plane for OpenFlow[C]// Internet Network Management Conference on Research on Enterprise Networking.[S.l.]:ACM,2010:3-5.

    [7]HELLER B,SHERWOOD R,MCKEOWN N. The controller Placement problem[C]//Proceedings of the first workshop on Hot topics in software defined networks.[S.l.]:ACM,2012:7-12.

    [8]DIXIT A,HAO F,MUKHERJEE S,et al. Towards an elastic distributed SDN controller[J].ACM sigcomm computer communication review,2013,43(4):7-12.DOI:10.1145/2491185.2491193.

    [9]YAO G,BI J,LI Y.On the capacitated controller placement problem in software defined networks[J]. IEEE communications letters,2014,18(8):1339-1342.DOI:10.1109/LCOMM.2014.2332341.

    [10]HOCK D,HARTMANN M,GEBERT S,et al. Pareto-optimal resilient controller placement in SDN-based core networks[C]// International Teletraffic Congress.[S.l.]:IEEE,2013:1-2.DOI:10.1109/ITC.2013.6662939.

    [11]BEHESHTI N,ZHANG Y. Fast failover for control traffic in Software-defined NetWorks[C]// IEEE Global Communications Conference (GLOBECOM).Anaheim,CA:IEEE. 1930-529X .DOI:10.1109/GLOCOM.2012.6503519.

    趙季紅(1963— ),女,教授,博士生導(dǎo)師,研究方向?yàn)閿?shù)寬帶通信網(wǎng)、新一代網(wǎng)絡(luò)的管理與控制;

    張彬(1990— ),碩士生,研究方向?yàn)橐苿踊ヂ?lián)網(wǎng);

    王力(1985— ),博士研究生,研究方向?yàn)榫W(wǎng)絡(luò)控制與管理、SDN、未來網(wǎng)絡(luò);

    曲樺(1961— ),教授、博士生導(dǎo)師,主研領(lǐng)域?yàn)楝F(xiàn)代通信網(wǎng)、計(jì)算機(jī)網(wǎng)絡(luò)體系結(jié)構(gòu);

    鄭浪(1985— ),碩士生,研究方向?yàn)橐苿踊ヂ?lián)網(wǎng)。

    責(zé)任編輯:許盈

    Dynamic switch migration algorithm in software defined networks based on Q-learning

    ZHAO Jihong1,2, ZHANG Bin1, WANG Li2, QU Hua2, ZHENG Lang1

    (1.SchoolofTelecommunicationandInformationEngineering,Xi’anUniversityofPosts&Telecommunications,Xi’an710061,China;2.SchoolofElectronicandInformationEngineering,Xi’anJiaotongUniversity,Xi’an710049,China)

    Abstract:Load balance for controllers becomes an important research issue for large-scale deployed Software Defined Networks (SDN) with the dynamic network load. A dynamic switch migration algorithm based on Q-learning is proposed in this paper, which models controller placement problem firstly, then uses feedback scheme of Q-learning to learn the real time network load, and migrates switches from high-load controllers to low-load controllers on the bias of Q table lastly, to realize load balance of controllers. Simulation results show that the proposed algorithm gets low standard deviation of load born on controllers.

    Key words:software defined networks;OpenFlow;controller;Q-learning

    中圖分類號:TP393.0

    文獻(xiàn)標(biāo)志碼:A

    DOI:10.16280/j.videoe.2016.06.013

    基金項(xiàng)目:國家自然科學(xué)基金項(xiàng)目(61371087);國家“863”計(jì)劃項(xiàng)目(2015AA015702)

    作者簡介:

    收稿日期:2015-12-09

    文獻(xiàn)引用格式:趙季紅,張彬,王力,等. SDN中基于Q-learning的動態(tài)交換機(jī)遷移算法[J].電視技術(shù),2016,40(6):68-72.

    ZHAO J H,ZHANG B,WANG L,et al. Dynamic switch migration algorithm in software defined networks based on Q-learning[J].Video engineering,2016,40(6):68-72.

    專題SDN技術(shù)與應(yīng)用

    猜你喜歡
    軟件定義網(wǎng)絡(luò)控制器
    工商業(yè)IC卡控制器改造為物聯(lián)網(wǎng)控制器實(shí)踐
    中國聯(lián)通SDN的思考和應(yīng)用實(shí)例
    業(yè)務(wù)功能鏈技術(shù)及其應(yīng)用探析
    針對大規(guī)模軟件定義網(wǎng)絡(luò)的子域劃分及控制器部署方法
    一種新的SDN架構(gòu)下端到端網(wǎng)絡(luò)主動測量機(jī)制
    超高吞吐率Wi—Fi融合應(yīng)用新技術(shù)分析
    移動通信(2016年20期)2016-12-10 09:22:49
    基于DSP的復(fù)合跟蹤控制器的設(shè)計(jì)
    模糊PID控制器設(shè)計(jì)及MATLAB仿真
    MOXA RTU控制器ioPAC 5542系列
    自動化博覽(2014年9期)2014-02-28 22:33:17
    紅獅控制 PID控制器PXU系列
    自動化博覽(2014年4期)2014-02-28 22:31:14
    老司机靠b影院| 琪琪午夜伦伦电影理论片6080| 免费搜索国产男女视频| 色综合欧美亚洲国产小说| 丁香六月欧美| 欧美亚洲日本最大视频资源| 岛国视频午夜一区免费看| 亚洲黑人精品在线| 亚洲国产中文字幕在线视频| 欧美日韩瑟瑟在线播放| 亚洲精品在线观看二区| 俄罗斯特黄特色一大片| 人人妻人人澡人人看| 91老司机精品| 精品不卡国产一区二区三区| av欧美777| 制服丝袜大香蕉在线| 中文字幕精品亚洲无线码一区 | 18禁黄网站禁片免费观看直播| 露出奶头的视频| 午夜精品在线福利| 免费在线观看日本一区| 男人舔女人的私密视频| 亚洲av电影在线进入| 久久久国产成人免费| 50天的宝宝边吃奶边哭怎么回事| 麻豆久久精品国产亚洲av| 亚洲激情在线av| 母亲3免费完整高清在线观看| 国产精品亚洲av一区麻豆| netflix在线观看网站| 在线观看www视频免费| 在线永久观看黄色视频| 给我免费播放毛片高清在线观看| 中文字幕久久专区| 999久久久国产精品视频| 一二三四社区在线视频社区8| 丝袜人妻中文字幕| 久久久久久久久免费视频了| 老司机靠b影院| 免费高清视频大片| 18禁黄网站禁片午夜丰满| 窝窝影院91人妻| 国产一级毛片七仙女欲春2 | 亚洲国产精品合色在线| 日韩成人在线观看一区二区三区| 欧美午夜高清在线| 丁香欧美五月| 日本五十路高清| 午夜福利在线在线| 亚洲精品一区av在线观看| 亚洲自拍偷在线| 久久婷婷人人爽人人干人人爱| 亚洲精品粉嫩美女一区| 国产在线观看jvid| avwww免费| 亚洲,欧美精品.| 天堂动漫精品| 亚洲性夜色夜夜综合| 欧美成人性av电影在线观看| www.www免费av| 美女 人体艺术 gogo| 色综合欧美亚洲国产小说| 亚洲人成网站高清观看| 精品久久久久久久人妻蜜臀av| 亚洲最大成人中文| 久久久久久九九精品二区国产 | 久久香蕉国产精品| 成年免费大片在线观看| 色老头精品视频在线观看| 美女大奶头视频| 性色av乱码一区二区三区2| 欧美丝袜亚洲另类 | 淫妇啪啪啪对白视频| 久久精品91蜜桃| 在线免费观看的www视频| 男人的好看免费观看在线视频 | 欧美日韩黄片免| 国产精品一区二区三区四区久久 | 国产精品一区二区精品视频观看| 99热只有精品国产| 一进一出抽搐动态| 熟妇人妻久久中文字幕3abv| 欧美午夜高清在线| 午夜日韩欧美国产| 午夜影院日韩av| 欧美激情高清一区二区三区| 国内久久婷婷六月综合欲色啪| 在线观看66精品国产| 免费av毛片视频| www.www免费av| 高潮久久久久久久久久久不卡| 麻豆久久精品国产亚洲av| 国产一区二区在线av高清观看| 别揉我奶头~嗯~啊~动态视频| 日日摸夜夜添夜夜添小说| 精品电影一区二区在线| 欧美日韩亚洲综合一区二区三区_| 欧美丝袜亚洲另类 | 国产1区2区3区精品| 欧美+亚洲+日韩+国产| 淫秽高清视频在线观看| 成人三级做爰电影| 一二三四在线观看免费中文在| 国产av一区二区精品久久| 亚洲精品久久国产高清桃花| 啦啦啦观看免费观看视频高清| 午夜视频精品福利| 日本免费a在线| 成人三级做爰电影| 妹子高潮喷水视频| 国产精品av久久久久免费| 国产v大片淫在线免费观看| 欧美激情久久久久久爽电影| 日韩欧美一区视频在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 又黄又粗又硬又大视频| 国产蜜桃级精品一区二区三区| 视频在线观看一区二区三区| 免费一级毛片在线播放高清视频| 国产精品香港三级国产av潘金莲| 亚洲成av人片免费观看| 色播在线永久视频| 精品国产美女av久久久久小说| 在线观看免费日韩欧美大片| 国产伦在线观看视频一区| 国产在线观看jvid| 欧美色视频一区免费| 麻豆一二三区av精品| 久久国产乱子伦精品免费另类| 51午夜福利影视在线观看| 亚洲国产中文字幕在线视频| 91字幕亚洲| 精品国产乱码久久久久久男人| 老司机福利观看| 亚洲精品一卡2卡三卡4卡5卡| 免费电影在线观看免费观看| 可以在线观看的亚洲视频| 国产亚洲精品综合一区在线观看 | 欧美成人性av电影在线观看| 成人一区二区视频在线观看| 一级a爱片免费观看的视频| 18美女黄网站色大片免费观看| 日本一本二区三区精品| 午夜影院日韩av| 久久亚洲真实| 国产1区2区3区精品| 日韩成人在线观看一区二区三区| 18禁裸乳无遮挡免费网站照片 | 国产精品,欧美在线| 久9热在线精品视频| 韩国av一区二区三区四区| 男女下面进入的视频免费午夜 | 亚洲精品一卡2卡三卡4卡5卡| 国产成年人精品一区二区| 午夜老司机福利片| 国产精品98久久久久久宅男小说| 欧美性猛交黑人性爽| 可以免费在线观看a视频的电影网站| 色老头精品视频在线观看| 在线免费观看的www视频| 中文字幕精品亚洲无线码一区 | 日韩视频一区二区在线观看| 成熟少妇高潮喷水视频| 身体一侧抽搐| 亚洲欧美一区二区三区黑人| 久久青草综合色| 午夜福利18| 丝袜人妻中文字幕| 欧美乱色亚洲激情| 欧美黑人欧美精品刺激| 久久久久久亚洲精品国产蜜桃av| 日本黄色视频三级网站网址| 日日干狠狠操夜夜爽| 国产人伦9x9x在线观看| 亚洲欧美日韩无卡精品| 色播亚洲综合网| svipshipincom国产片| 国产成人av激情在线播放| 国内精品久久久久精免费| 亚洲五月色婷婷综合| 老司机靠b影院| 男女床上黄色一级片免费看| 久久中文字幕人妻熟女| 免费在线观看成人毛片| 在线观看66精品国产| 黄色视频不卡| 日本在线视频免费播放| 国产亚洲精品第一综合不卡| 国产亚洲av嫩草精品影院| 久久久久久久久中文| 男女下面进入的视频免费午夜 | 啦啦啦观看免费观看视频高清| 老汉色∧v一级毛片| 国产一区二区在线av高清观看| 久久九九热精品免费| 91大片在线观看| 白带黄色成豆腐渣| 久久久国产欧美日韩av| 长腿黑丝高跟| 香蕉国产在线看| 两个人看的免费小视频| 国产视频一区二区在线看| 久热这里只有精品99| 亚洲欧美一区二区三区黑人| 97超级碰碰碰精品色视频在线观看| 亚洲精品av麻豆狂野| 中文亚洲av片在线观看爽| 久久精品夜夜夜夜夜久久蜜豆 | 日本精品一区二区三区蜜桃| 中国美女看黄片| 法律面前人人平等表现在哪些方面| 国产精品国产高清国产av| 国产91精品成人一区二区三区| xxxwww97欧美| 久久久久久免费高清国产稀缺| 欧美日韩乱码在线| 看黄色毛片网站| 久久婷婷人人爽人人干人人爱| 91在线观看av| 两个人免费观看高清视频| 精品熟女少妇八av免费久了| 一级黄色大片毛片| 国产亚洲精品久久久久5区| 国产成人av激情在线播放| 亚洲第一av免费看| 18禁黄网站禁片午夜丰满| av免费在线观看网站| 国产精品日韩av在线免费观看| 熟女少妇亚洲综合色aaa.| 亚洲全国av大片| 啪啪无遮挡十八禁网站| 好看av亚洲va欧美ⅴa在| 宅男免费午夜| 欧美日韩亚洲国产一区二区在线观看| 好男人电影高清在线观看| 亚洲国产欧美一区二区综合| 免费在线观看视频国产中文字幕亚洲| 黄色视频不卡| 黄片播放在线免费| 久久婷婷人人爽人人干人人爱| 99热6这里只有精品| 中文亚洲av片在线观看爽| 国产亚洲精品久久久久5区| 久久青草综合色| 一区二区日韩欧美中文字幕| 国产精品亚洲av一区麻豆| 黄色 视频免费看| 成人午夜高清在线视频 | 大型av网站在线播放| 亚洲 欧美一区二区三区| 欧美黑人精品巨大| 狂野欧美激情性xxxx| 国内少妇人妻偷人精品xxx网站 | 午夜福利在线观看吧| 亚洲av成人一区二区三| 哪里可以看免费的av片| 男女那种视频在线观看| 日韩欧美一区二区三区在线观看| 色综合欧美亚洲国产小说| 成人国产一区最新在线观看| tocl精华| 亚洲熟女毛片儿| 国产亚洲精品久久久久5区| 我的亚洲天堂| 1024香蕉在线观看| www.精华液| 村上凉子中文字幕在线| 麻豆成人午夜福利视频| 亚洲熟女毛片儿| 国产成人精品久久二区二区91| 热re99久久国产66热| 18禁国产床啪视频网站| 亚洲男人的天堂狠狠| 人人妻,人人澡人人爽秒播| 给我免费播放毛片高清在线观看| 欧美精品亚洲一区二区| 日日干狠狠操夜夜爽| 亚洲午夜理论影院| 国产av不卡久久| svipshipincom国产片| 久久国产乱子伦精品免费另类| 欧美日韩福利视频一区二区| 色哟哟哟哟哟哟| 久久天躁狠狠躁夜夜2o2o| 熟妇人妻久久中文字幕3abv| 久久中文字幕一级| 91九色精品人成在线观看| 十八禁网站免费在线| 法律面前人人平等表现在哪些方面| 免费看a级黄色片| 欧美日韩福利视频一区二区| 少妇粗大呻吟视频| 在线观看免费日韩欧美大片| 中文亚洲av片在线观看爽| 亚洲国产精品成人综合色| netflix在线观看网站| 变态另类丝袜制服| 中文字幕久久专区| 久久精品影院6| 精品第一国产精品| 久久中文看片网| 狂野欧美激情性xxxx| 久久久久亚洲av毛片大全| 午夜精品久久久久久毛片777| av免费在线观看网站| 久久精品国产亚洲av高清一级| 亚洲av成人一区二区三| 嫩草影院精品99| 看免费av毛片| 久久精品影院6| 两个人看的免费小视频| 国产精品免费一区二区三区在线| 伦理电影免费视频| 两个人免费观看高清视频| 老司机福利观看| 国产亚洲精品第一综合不卡| 久久久久久亚洲精品国产蜜桃av| 午夜免费成人在线视频| 精品无人区乱码1区二区| 欧美一区二区精品小视频在线| www.www免费av| 亚洲欧美精品综合一区二区三区| 免费观看人在逋| 精品国产国语对白av| 亚洲熟妇熟女久久| 国产精品电影一区二区三区| 99精品欧美一区二区三区四区| 国产精品久久电影中文字幕| 波多野结衣av一区二区av| 国产极品粉嫩免费观看在线| 嫩草影视91久久| 操出白浆在线播放| 好男人电影高清在线观看| 午夜精品久久久久久毛片777| 动漫黄色视频在线观看| 精品欧美国产一区二区三| 日韩中文字幕欧美一区二区| 嫁个100分男人电影在线观看| 老熟妇乱子伦视频在线观看| 亚洲国产精品成人综合色| www日本在线高清视频| 99国产综合亚洲精品| 99久久99久久久精品蜜桃| 亚洲精品粉嫩美女一区| 久久久久久久久中文| 国产三级黄色录像| 真人做人爱边吃奶动态| 黑丝袜美女国产一区| 亚洲av片天天在线观看| 久久久精品欧美日韩精品| 亚洲中文日韩欧美视频| 亚洲狠狠婷婷综合久久图片| 中文资源天堂在线| 亚洲av美国av| 老司机午夜福利在线观看视频| 身体一侧抽搐| or卡值多少钱| 久久天躁狠狠躁夜夜2o2o| 成年女人毛片免费观看观看9| www日本在线高清视频| 日韩欧美一区视频在线观看| 99在线视频只有这里精品首页| 亚洲 欧美一区二区三区| 国产成人系列免费观看| 亚洲五月婷婷丁香| 黄色a级毛片大全视频| 欧美又色又爽又黄视频| 久久亚洲真实| 麻豆一二三区av精品| 欧美日本亚洲视频在线播放| 国产精品久久视频播放| 国产激情偷乱视频一区二区| 亚洲精品久久成人aⅴ小说| 中文字幕人妻熟女乱码| 无限看片的www在线观看| 国产精品,欧美在线| 成年免费大片在线观看| 女同久久另类99精品国产91| 天天添夜夜摸| 国产在线精品亚洲第一网站| 国产又爽黄色视频| 三级毛片av免费| 男人舔奶头视频| 老司机午夜十八禁免费视频| 精品久久久久久,| 老司机午夜福利在线观看视频| 18禁黄网站禁片免费观看直播| 精品日产1卡2卡| av欧美777| 久久伊人香网站| 婷婷六月久久综合丁香| 日本一本二区三区精品| 美女高潮到喷水免费观看| 成人精品一区二区免费| 欧美色视频一区免费| 黄色 视频免费看| 免费在线观看黄色视频的| 天天躁夜夜躁狠狠躁躁| 久久久久久亚洲精品国产蜜桃av| 国产又色又爽无遮挡免费看| 国产av一区在线观看免费| 久久精品国产亚洲av香蕉五月| 天堂影院成人在线观看| 99精品欧美一区二区三区四区| 日韩大尺度精品在线看网址| 女性生殖器流出的白浆| 熟妇人妻久久中文字幕3abv| 欧美黑人巨大hd| 熟女电影av网| 国产真实乱freesex| 午夜福利高清视频| 亚洲成人久久爱视频| 嫩草影视91久久| 国产亚洲欧美98| 久久久国产欧美日韩av| 法律面前人人平等表现在哪些方面| 在线永久观看黄色视频| 看免费av毛片| 99国产综合亚洲精品| 757午夜福利合集在线观看| 亚洲国产精品成人综合色| 精品少妇一区二区三区视频日本电影| 麻豆国产av国片精品| 日韩欧美国产一区二区入口| 欧美成人免费av一区二区三区| 婷婷六月久久综合丁香| 日韩大尺度精品在线看网址| 嫩草影院精品99| 日本熟妇午夜| a在线观看视频网站| 黄色 视频免费看| 久久这里只有精品19| 精品久久久久久,| 午夜久久久在线观看| 丰满的人妻完整版| 一级毛片精品| 久久中文字幕人妻熟女| 欧美精品亚洲一区二区| 欧美色视频一区免费| 日韩欧美国产一区二区入口| 午夜福利成人在线免费观看| 99热只有精品国产| 国产亚洲精品综合一区在线观看 | 久久精品国产99精品国产亚洲性色| 亚洲自偷自拍图片 自拍| 少妇裸体淫交视频免费看高清 | 午夜视频精品福利| 国产精品亚洲av一区麻豆| 国产主播在线观看一区二区| 啦啦啦观看免费观看视频高清| 亚洲无线在线观看| 亚洲最大成人中文| 91国产中文字幕| 国产精品综合久久久久久久免费| 国产精品亚洲av一区麻豆| 国产主播在线观看一区二区| 高潮久久久久久久久久久不卡| or卡值多少钱| 欧美日韩精品网址| 久9热在线精品视频| av中文乱码字幕在线| 中出人妻视频一区二区| 亚洲,欧美精品.| 一级毛片高清免费大全| 51午夜福利影视在线观看| 黑人巨大精品欧美一区二区mp4| 成人手机av| 国产一级毛片七仙女欲春2 | 麻豆久久精品国产亚洲av| 中亚洲国语对白在线视频| 色老头精品视频在线观看| 日本免费a在线| 在线观看舔阴道视频| 天堂√8在线中文| 欧美国产日韩亚洲一区| 男女午夜视频在线观看| 精品欧美国产一区二区三| 欧美成人午夜精品| 亚洲国产欧美一区二区综合| 欧美日韩瑟瑟在线播放| 中文字幕另类日韩欧美亚洲嫩草| 久久 成人 亚洲| 波多野结衣高清作品| 观看免费一级毛片| 国产精品免费一区二区三区在线| 中文字幕最新亚洲高清| 国产91精品成人一区二区三区| 色尼玛亚洲综合影院| 色综合亚洲欧美另类图片| 国内久久婷婷六月综合欲色啪| 国内揄拍国产精品人妻在线 | 国产精品1区2区在线观看.| cao死你这个sao货| 欧美精品啪啪一区二区三区| 亚洲av第一区精品v没综合| 亚洲自偷自拍图片 自拍| 免费女性裸体啪啪无遮挡网站| 亚洲av成人一区二区三| 免费高清在线观看日韩| 精品高清国产在线一区| 亚洲无线在线观看| 91在线观看av| 久久中文字幕一级| 不卡av一区二区三区| 免费观看人在逋| 不卡av一区二区三区| cao死你这个sao货| 欧美精品亚洲一区二区| 国产精品久久视频播放| 精品不卡国产一区二区三区| 给我免费播放毛片高清在线观看| 每晚都被弄得嗷嗷叫到高潮| 欧美中文日本在线观看视频| 亚洲,欧美精品.| 韩国av一区二区三区四区| 免费看十八禁软件| 韩国精品一区二区三区| 国产精品永久免费网站| 一个人免费在线观看的高清视频| 一二三四在线观看免费中文在| 女警被强在线播放| 久久精品国产亚洲av香蕉五月| 国产1区2区3区精品| 亚洲aⅴ乱码一区二区在线播放 | 日韩精品青青久久久久久| 一区二区三区精品91| 人人妻人人澡人人看| 日韩精品中文字幕看吧| 最近最新中文字幕大全免费视频| 老熟妇乱子伦视频在线观看| 亚洲一码二码三码区别大吗| 女性被躁到高潮视频| 中亚洲国语对白在线视频| 黄网站色视频无遮挡免费观看| 成年人黄色毛片网站| 在线观看66精品国产| 国产av又大| 日韩欧美国产一区二区入口| 欧美成人免费av一区二区三区| 香蕉av资源在线| 久久国产精品人妻蜜桃| 2021天堂中文幕一二区在线观 | 日本成人三级电影网站| 一夜夜www| 美女国产高潮福利片在线看| 母亲3免费完整高清在线观看| 欧美成人午夜精品| 麻豆国产av国片精品| 日韩精品青青久久久久久| 欧美黄色淫秽网站| 国产不卡一卡二| 国产高清videossex| 日本精品一区二区三区蜜桃| 日日摸夜夜添夜夜添小说| 欧美性猛交╳xxx乱大交人| 无限看片的www在线观看| 免费人成视频x8x8入口观看| 激情在线观看视频在线高清| 亚洲五月天丁香| 精品一区二区三区视频在线观看免费| 欧美日韩福利视频一区二区| 女人高潮潮喷娇喘18禁视频| 久久久久国产一级毛片高清牌| 亚洲国产看品久久| 国产aⅴ精品一区二区三区波| 18禁国产床啪视频网站| 脱女人内裤的视频| 久久久久久国产a免费观看| 国产熟女xx| 老鸭窝网址在线观看| 熟女电影av网| 很黄的视频免费| 亚洲av美国av| 亚洲一区中文字幕在线| 久久久精品国产亚洲av高清涩受| 久久亚洲精品不卡| 人人妻人人看人人澡| 大香蕉久久成人网| 中文字幕人成人乱码亚洲影| 欧美最黄视频在线播放免费| 久久久久久久精品吃奶| 日韩欧美国产一区二区入口| 国产在线精品亚洲第一网站| 大型av网站在线播放| 成人国产一区最新在线观看| 观看免费一级毛片| 亚洲av熟女| 亚洲国产欧美日韩在线播放| 国产精品久久电影中文字幕| 国产精品精品国产色婷婷| 欧美亚洲日本最大视频资源| 久久伊人香网站| 欧美激情高清一区二区三区| 久久久久久九九精品二区国产 | 好男人在线观看高清免费视频 | 亚洲精品av麻豆狂野| 免费看十八禁软件| 亚洲第一av免费看| 色综合婷婷激情| 香蕉国产在线看| 搡老岳熟女国产| 色综合婷婷激情| 国产av又大| 在线永久观看黄色视频| 超碰成人久久| 精品无人区乱码1区二区| 亚洲久久久国产精品| 国产精品一区二区精品视频观看| 国产97色在线日韩免费| 亚洲精品美女久久久久99蜜臀| 美女国产高潮福利片在线看| 日本撒尿小便嘘嘘汇集6| 亚洲精品美女久久av网站| 久久国产精品影院|