• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    多Agent MDPs中并行Rollout學習算法

    2014-02-28 07:38:46
    安徽工程大學學報 2014年2期
    關鍵詞:神經元網(wǎng)絡并行算法倉庫

    李 豹

    (中國人民銀行蕪湖市中心支行,安徽蕪湖 241000)

    目前,多Agent學習已成為人工智能領域的熱點,大多數(shù)研究工作是基在于Markov對策(Markov games)理論框架下研究.和單Agent學習不同,多Agent學習在Agent選擇動作或行為時,需要考慮所有Agent值函數(shù)的某種平衡解(equilibrium Learners),因此在本質上,Markov對策可看成是將馬爾科夫決策過程(MDPs)從單Agent擴展到多Agent領域.其算法成果包括Minimax-Q學習算法和Friend-or-Foe-Q(FFQ)學習算法[1-2]、Nash Q學習算法[3]、CE-Q學習算法[4]等.在實際中,大多數(shù)多Agent系統(tǒng),由于系統(tǒng)本身自有的特點,在多Agent學習時,其狀態(tài)空間和行動集合往往特別巨大.同時,多Agent之間行為預測也會擴大空間需求,為此,需要研究逼近的方法來降低空間需求.使用神經元動態(tài)規(guī)劃(NDP)理論來逐步逼近求解取得了重要的理論和應用成果[5-8].

    Bertsekas等在1997年提出了一個仿真優(yōu)化Rollout算法[9-10].它有兩個優(yōu)點:一是Rollout算法新策略即能通過離線仿真也可通過在線計算得到,并且比TD學習和Q學習優(yōu)化波動小.二是rollout算法有較強的并行性,更容易在多核系統(tǒng)或計算機集群上并行求解.從這兩點來,rollout算法更具有實際可操作性.文獻[11-12]發(fā)展了MDP性能勢的相關理論,為MDP性能分析和優(yōu)化提供了新的理論框架,產生許多基于理論計算或仿真的優(yōu)化算法[13-14],性能勢既能通過泊松方程求解得到,也能通過一條樣本軌道仿真學習得到,它因而能和Rollout算法很好地結合.

    1 多Agent MDPs模型

    定義1 Markov對策.Markov對策(MG)通常有5元組構成.其中n表示多個Agent的數(shù)量.X表示Agent的狀態(tài)集合.Ai表示Agent的行動集合.P表示Agent的狀態(tài)轉移概率函數(shù).fi表示Agenti的立即報酬代價函數(shù)X×A→f.

    在單Agent MDPs中,時間t下,Q學習更新公式為

    其中,αt為學習步長,可為常數(shù)或衰減步長,γ為折扣因子.

    由于單Agent無需考慮與其他Agent通信,其本質上就是經典的馬爾科夫決策過程.而多Agent需要所有Agent互相協(xié)作完成整個問題的求解,多Agent學習后Q值更新公式為

    ∈A定義為Agenti可選的行動集合,A為所有Agent的聯(lián)合行動空間,A=A1×A2×…×An.定義為Agenti在狀態(tài)中選擇某種Nash平衡下的值函數(shù),其算法有Minimax-Q、FFQ、Nash-Q及CE-Q學習等.

    定義2 性能勢.性能勢理論為MDP的優(yōu)化提供了一個統(tǒng)一的框架,運用性能勢理論,從泊松方程入手,可以在較少的假設條件下建立起MDP基于性能勢的最優(yōu)性原理和最優(yōu)性方程,且容易證明其最優(yōu)解的存在性定理.另一方面性能勢也可以定義在一條樣本軌道上,在系統(tǒng)模型未知的問題中可以建立基于樣本軌道的仿真和在線優(yōu)化算法.文獻[12]中給出了性能勢理論,Agenti在狀態(tài)x下的性能勢為

    2 基于rollout思想的多Agent學習算法

    在單Agent的Q學習算法中,更新Q值原則是按照最優(yōu)行動集合時的折扣累計代價值,而Rollout算法是建立一個初始策略v0,通過rollout產生更新策略v1,更新策略比初始策略更能接近Nash最優(yōu)平衡解.文獻[6]中,在性能勢理論框架下給出了rollout算法.基于此,Rollout算法Q值更新公式為

    將rollout算法推廣到多Agent學習中得到如下算法1.

    算法1 Multi-Agent rollout algorithms for Agenti

    Step1:初始策略v0,精度ε;Step2:對于Agenti,由初始策略v0仿真學習得到性能勢和平均代價對于狀態(tài)x∈X,隨機選擇一個行動a∈Ai,通過狀態(tài)轉移概率仿真下一個狀態(tài)x′,計算求得狀態(tài)x所有行動a的按下式計算

    作為狀態(tài)x的更新行動,這樣構成新策略v1;Step4:如果達到收斂條件,算法結束;否則令v0=v1,轉step2.v1(x)表示在x狀態(tài)在所有Agent的Nash平衡解下對應的更新策略,Nash平衡解可利用多AgentQ學習得到,例如使用極小極大學習的計算公式為

    算法1中,由v0得到的性能勢gv0結果,需要建立狀態(tài)與性能勢的一一對應數(shù)據(jù)表格,當系統(tǒng)狀態(tài)空間很大時,易造成“維數(shù)災”.我們可以利用神經元動態(tài)規(guī)劃方法,用一條神經網(wǎng)絡來近似逼近性能勢.此時計算機保存是神經元網(wǎng)絡的逼近結構,而不是狀態(tài)和性能勢的一一對應關系,從而加快算法的執(zhí)行效率.

    當Agent數(shù)量過大或每個Agent的狀態(tài)空間過多時,可能需要花費很長的時間才能獲得滿意的解,這對于那些實時性要求高的系統(tǒng)有很大局限.我們可以設計并行算法來加快學習收斂速度,真正地降低算法的執(zhí)行時間.并行算法的設計一般從串行算法入手,尋找可并行部分,包括劃分、計算、同步等階段[15].多Agent rollout算法可并行部分有:多個Agent學習、Agent的行動集合、Agent的狀態(tài)集及Nash平衡解的計算等.此外,若用神經元網(wǎng)絡逼近性能勢,神經網(wǎng)絡劃分等也可以采用并行算法.

    本文采用劃分行動集合的并行思想,即每個處理節(jié)點只初始化和更新某些行動集合,利用消息傳遞接口框架(Message Passing Interface,MPI)建立并行算法如算法2.

    算法2 Multi-Agent parallel rollout algorithms for Agenti.Step1:(劃分階段)假設有H個處理節(jié)點,將候選的行動集合D(i)劃分H個子集{U1,U2,…,UH}節(jié)點i只處理Uh;Step2:(計算階段)按照算法1,計算狀態(tài)-行動對進行全收集操作,將每個處理節(jié)點中收集起來;Step4:(計算階段)按照算法1的公式(6)計算v1(x),并將v1(x)廣播(MPI_Bcast)到所有處理節(jié)點;Step5:若滿足終止條件,結束算法;否則轉Step2.算法2的Step3中,MPI_ALLgather和MPI_Bcast為MPI中定義的標準函數(shù),前者表示把各個處理節(jié)點中某個變量全收集到每個處理節(jié)點中,后者含義是將某個變量廣播到所有處理節(jié)點中[15].

    衡量算法2性能需考慮并行加速比和執(zhí)行效率.并行加速比=并行執(zhí)行總時間/串行計算時間,執(zhí)行效率為并行加速比/處理節(jié)點數(shù).并行加速比越高,表明并行計算獲得性能提升越好;執(zhí)行效率越高,表明

    算法1中,由v0得到的性能勢gv0結果,需要建立狀態(tài)與性能勢的一一對應數(shù)據(jù)表格,當系統(tǒng)狀態(tài)空間很大時,易造成“維數(shù)災”.我們可以利用神經元動態(tài)規(guī)劃方法,用一條神經網(wǎng)絡來近似逼近性能勢.此時計算機保存是神經元網(wǎng)絡的逼近結構,而不是狀態(tài)和性能勢的一一對應關系,從而加快算法的執(zhí)行效率.

    當Agent數(shù)量過大或每個Agent的狀態(tài)空間過多時,可能需要花費很長的時間才能獲得滿意的解,這對于那些實時性要求高的系統(tǒng)有很大局限.我們可以設計并行算法來加快學習收斂速度,真正地降低算法的執(zhí)行時間.并行算法的設計一般從串行算法入手,尋找可并行部分,包括劃分、計算、同步等階段[15].多Agent rollout算法可并行部分有:多個Agent學習、Agent的行動集合、Agent的狀態(tài)集及Nash平衡解的計算等.此外,若用神經元網(wǎng)絡逼近性能勢,神經網(wǎng)絡劃分等也可以采用并行算法.

    本文采用劃分行動集合的并行思想,即每個處理節(jié)點只初始化和更新某些行動集合,利用消息傳遞接口框架(Message Passing Interface,MPI)建立并行算法如算法2.

    算法2 Multi-Agent parallel rollout algorithms for Agenti.Step1:(劃分階段)假設有H個處理節(jié)點,將候選的行動集合D(i)劃分H個子集{U1,U2,…,UH}節(jié)點i只處理Uh;Step2:(計算階段)按照算法處理節(jié)點的使用率越高.

    3 實例求解

    考慮一個多級倉庫商品庫存控制問題,把每級倉庫看出一個Agent,多級倉庫商品庫存控制構成了一個典型的多Agent MDPs.

    實例1:假設一種商品的倉庫共有兩級,商品需求量符合λ=4的泊松分布,兩級倉庫商品的單位定購費均為10,庫存費為10,缺貨損失費為20,第1級倉庫總容量為20,第2級倉庫總容量為16.該多Agent系統(tǒng)的狀態(tài)數(shù)量為21×17=357個.

    因為這兩級倉庫是純團隊合作的關系,即若每級倉庫利益最大化,那么兩級倉庫也能達到最大整體利益,團隊Q值更新公式為

    利用(9)更新公式求解上例,得到結果如表1.由表1可知,進行6次迭代后,實驗結果依然保持不變,這表明實驗結果已收斂.agenti=1時,rollout算法運行實驗結果如圖1所示.

    圖1 算法1求解例1迭代結果(Agent i=1)

    表1 算法1求解例1結果

    實例2:為驗證Rollout算法的并行效果,考慮一個狀態(tài)集合較多庫存問題.假設5級倉庫,每級倉庫容量均為6,各級倉庫商品的庫存費用Cb={5,3,4,2,3},缺貨損失費用Cl={6,8,7,8,9},定購費用Cd={2,3,5,3,6},需求量分布為:λ1=2,λ2=3,λ3=1,λ4=2,λ5=3泊松分布,系統(tǒng)狀態(tài)為16 807個.

    若使用Q學習算法求解該例,在計算機中保存的是Q因子(狀態(tài)-行動對),由于狀態(tài)集合很大,往往會出現(xiàn)“維數(shù)災”,導致問題不可解.而使用rollout算法,利用性能勢理論,借助于神經元動態(tài)規(guī)劃的泛化能力,將性能勢的計算從高維空間映射到低維空間,從而節(jié)約存貯空間,在上例中可使用28×15×1BP神經網(wǎng)絡逼近性能勢,二值化后,28×15×1網(wǎng)絡結構最多可表示16384個狀態(tài),而28×15×1網(wǎng)絡結構只有435個權值,這樣大大減少了內存的消耗.令迭代次數(shù)為20,在MPIICH2-1.0.5環(huán)境,CPU為雙至強E5620(8個處理節(jié)點)的高性能服務器下,使用并行處理算法2得到的實驗結果如表2所示.由表2還可以看出,當庫存控制狀態(tài)數(shù)增大時,并行執(zhí)行效率總體是趨優(yōu)的.

    表2 算法2求解例2的實驗結果

    4 結論

    Rollout算法是一個很好的逼近最優(yōu)解算法.在多Agent學習中,在性能勢的框架里運用Rollout算法,使用神經元網(wǎng)絡逼近性能勢,既可以解決模型未知的情況克服“建模難”的問題,也可以大大減少多A-gent學習程序對空間的需求,從而克服“維數(shù)災”的問題.同時,由于Rollout算法比其他仿真算法具有更強的內在并行性,在rollout算法基礎上進行多Agent學習,具有良好的可行性和有效性.

    由于多Agent學習重要的一點是如何計算和選擇平衡解的問題.在本文中,利用已有多Agent Q學習的求平衡解算法,如何在性能勢的框架內,利用rollout算法本身的特點建立更優(yōu)秀算法是下一步所要考慮的問題.

    [1] Littman M.Markov games as a framework for multi-Agent reinforcement learning[C]//Proceedings of the Eleventh International Conference on Machine Learning.San.Francisco:Morgan Kaufmann Publishers,1994:157-163.

    [2] Littman M.Friend or foe Q-learning in general-sum Markov games[C]//Proceedings of Eighteenth International Conference on Machine Learning.Williams,College,MA,San Mateo,CA:Morgan Kaufmann Publishers,2001:322-328.

    [3] Hu J,Wellman M.Nash Q-learning for general-sum stochastic games[J].Machine Learning Research,2003,4:1 039-1 069.

    [4] Greenwald A,Hall K.Correlated Q-learning[C]//Proceedings of the Twentieth International Conference on Machine Learning.Washington DC,USA:AAAI Press,2003:242-249.

    [5] 殷保群,奚宏生,周亞平.排隊系統(tǒng)性能分析與Markov控制過程[M].合肥:中國科學技術大學出版社,2004.

    [6] 李豹,程文娟,周雷,等.rollout及其并行求解算法在多類商品庫存控制中的應用[J].系統(tǒng)仿真學報,2007,19(17):3 883-3 887.

    [7] Bertsekas D P.Dynamic Programming and Optimal Control,Vol.Ⅱ,4th Edition:Approximate Dynamic Programming[M].Belmont:MA,Athena Scientific,2012.

    [8] Sutton R S,Barto A G.Reinforcement learning:an introduction[M].Cambridge:MA,MIT Press,1998.

    [9] Bertsekas D P,Tsitsiklis J N,Wu C.Rollout algorithms for combinatorial optimization[J].Heuristics,1997,3:245-262.

    [10]Bertsekas D P.Rollout Algorithms for Discrete Optimization:A Survey[C]//Handbook of Combinatorial Optimization.Berlin:springer,2005:2 989-3 014.

    [11]Li X,Cao X R.Performance optimization of queueing systems with perturbation realization[J].European Journal of Operations Research,2012,218(2):293-304.

    [12]Cao X R.Stochastic Learning and Optimization-A Sensitivity-Based Approach[M].New York:Springer,2007.

    [13]Cao X R,Wang D X,Lu T,et al.Stochastic Control via Direct Comparison[J].Discrete Event Dynamic Systems:Theory and Applications,2011,21:11-38.

    [14]Yin B Q,Lu S,Guo D.Analysis of Admission Control in P2P-Based Media Delivery Network Based on POMDP[J].International Journal of Innovative Computing,Information and Control,2011,7(7B):4 411-4 422.

    [15]陳國良.并行算法的設計與分析[M].北京:高等教育出版社,2009.

    猜你喜歡
    神經元網(wǎng)絡并行算法倉庫
    倉庫里的小偷
    地圖線要素綜合化的簡遞歸并行算法
    填滿倉庫的方法
    四行倉庫的悲壯往事
    學生天地(2020年34期)2020-06-09 05:50:40
    ML神經元網(wǎng)絡自適應同步的抗擾特性研究
    基于GPU的GaBP并行算法研究
    基于改進PID神經元網(wǎng)絡的多變量系統(tǒng)控制算法
    電子科技(2016年6期)2016-07-04 06:33:10
    模塊神經元網(wǎng)絡中耦合時滯誘導的簇同步轉遷*
    消防設備
    基于GPU的分類并行算法的研究與實現(xiàn)
    伦理电影大哥的女人| 乱人视频在线观看| 国产精品电影一区二区三区| 欧美日韩福利视频一区二区| 久久午夜福利片| 久久6这里有精品| 嫁个100分男人电影在线观看| 日韩 亚洲 欧美在线| 又爽又黄a免费视频| 人人妻人人看人人澡| 国产毛片a区久久久久| 一区二区三区高清视频在线| 深夜精品福利| 在线观看美女被高潮喷水网站 | 中文亚洲av片在线观看爽| 2021天堂中文幕一二区在线观| 搡老岳熟女国产| 有码 亚洲区| 性色avwww在线观看| 国产成人欧美在线观看| 91狼人影院| 一进一出抽搐gif免费好疼| 国产精品av视频在线免费观看| 听说在线观看完整版免费高清| 国产亚洲精品久久久com| 亚洲男人的天堂狠狠| 国产亚洲精品av在线| 精品一区二区三区视频在线观看免费| av欧美777| 欧美成人a在线观看| 亚洲成人久久爱视频| 国产大屁股一区二区在线视频| 欧美+日韩+精品| 一进一出抽搐gif免费好疼| 国产精品久久久久久精品电影| 国产精品女同一区二区软件 | 夜夜躁狠狠躁天天躁| 少妇高潮的动态图| 国内揄拍国产精品人妻在线| 女人十人毛片免费观看3o分钟| 一级黄片播放器| 亚洲av电影不卡..在线观看| 一个人看视频在线观看www免费| 好男人电影高清在线观看| 国产主播在线观看一区二区| 免费大片18禁| 一级av片app| 午夜日韩欧美国产| av天堂在线播放| 一二三四社区在线视频社区8| 久久午夜福利片| 欧美另类亚洲清纯唯美| 国产精品一区二区三区四区免费观看 | 国产精品三级大全| 狂野欧美白嫩少妇大欣赏| 国产精品一区二区免费欧美| 夜夜看夜夜爽夜夜摸| 国产爱豆传媒在线观看| 麻豆av噜噜一区二区三区| 91午夜精品亚洲一区二区三区 | 中文字幕av成人在线电影| 性色av乱码一区二区三区2| 美女xxoo啪啪120秒动态图 | 97超视频在线观看视频| 欧美绝顶高潮抽搐喷水| 两人在一起打扑克的视频| 国产一区二区在线av高清观看| 亚洲一区二区三区色噜噜| 夜夜躁狠狠躁天天躁| 在线观看66精品国产| 亚洲国产精品999在线| 九色成人免费人妻av| 午夜老司机福利剧场| 中文字幕免费在线视频6| 91狼人影院| 亚洲真实伦在线观看| 九色成人免费人妻av| 久9热在线精品视频| 最近最新中文字幕大全电影3| 国产乱人伦免费视频| 3wmmmm亚洲av在线观看| 女人十人毛片免费观看3o分钟| 男人狂女人下面高潮的视频| 黄色配什么色好看| 久久久成人免费电影| 久久久久久久精品吃奶| 国产精品久久电影中文字幕| 在线观看66精品国产| 国产一区二区在线观看日韩| 国产伦人伦偷精品视频| 一卡2卡三卡四卡精品乱码亚洲| 国产午夜精品论理片| 久久久久亚洲av毛片大全| 国产一区二区在线av高清观看| 日韩亚洲欧美综合| 9191精品国产免费久久| 搡老岳熟女国产| 嫩草影院新地址| 亚洲精品456在线播放app | 又粗又爽又猛毛片免费看| 亚洲精品粉嫩美女一区| 中文字幕精品亚洲无线码一区| 免费人成在线观看视频色| 亚洲精品在线美女| 欧美日韩中文字幕国产精品一区二区三区| 成年免费大片在线观看| 少妇高潮的动态图| 97超视频在线观看视频| 欧美日韩福利视频一区二区| 亚洲午夜理论影院| 久久国产乱子免费精品| 一区二区三区免费毛片| 脱女人内裤的视频| 中文字幕av成人在线电影| 亚洲精品粉嫩美女一区| 老司机午夜十八禁免费视频| 国产精品亚洲美女久久久| 国产真实伦视频高清在线观看 | 在线看三级毛片| 脱女人内裤的视频| 国产av在哪里看| 欧美一区二区亚洲| 中出人妻视频一区二区| av福利片在线观看| 我的女老师完整版在线观看| 男女视频在线观看网站免费| 中文在线观看免费www的网站| 国内精品一区二区在线观看| 色综合亚洲欧美另类图片| 亚洲国产精品成人综合色| 亚洲人成网站在线播| 激情在线观看视频在线高清| 我的女老师完整版在线观看| 能在线免费观看的黄片| 欧美激情国产日韩精品一区| 热99在线观看视频| 精品欧美国产一区二区三| 99热这里只有是精品50| 男人舔奶头视频| 乱人视频在线观看| 国产精品永久免费网站| 国产精品综合久久久久久久免费| 亚洲无线在线观看| 亚洲av电影不卡..在线观看| 亚洲 欧美 日韩 在线 免费| 亚洲av日韩精品久久久久久密| 国产麻豆成人av免费视频| 人人妻人人看人人澡| 最好的美女福利视频网| 日韩av在线大香蕉| 亚洲欧美日韩高清在线视频| 日本五十路高清| 51午夜福利影视在线观看| 精品99又大又爽又粗少妇毛片 | 精品一区二区免费观看| 美女cb高潮喷水在线观看| 怎么达到女性高潮| 成人三级黄色视频| 美女cb高潮喷水在线观看| 99热这里只有是精品50| 国产三级在线视频| 欧美黑人巨大hd| 又爽又黄a免费视频| 亚洲一区二区三区色噜噜| 欧美日韩中文字幕国产精品一区二区三区| 蜜桃亚洲精品一区二区三区| 九九在线视频观看精品| 亚洲av电影在线进入| 亚洲第一欧美日韩一区二区三区| 在线观看66精品国产| 亚洲国产欧洲综合997久久,| 桃色一区二区三区在线观看| 国产精品亚洲一级av第二区| 亚洲内射少妇av| 精品无人区乱码1区二区| 性欧美人与动物交配| 久久久久久大精品| 91在线观看av| 国产一区二区亚洲精品在线观看| 国产成人av教育| 久久精品国产亚洲av涩爱 | 小说图片视频综合网站| 亚洲avbb在线观看| 中文资源天堂在线| 亚洲av五月六月丁香网| 精品久久久久久,| 久久久久久久久大av| 国产黄色小视频在线观看| 午夜激情福利司机影院| 脱女人内裤的视频| 老熟妇乱子伦视频在线观看| 国产精品综合久久久久久久免费| 午夜a级毛片| 国产一区二区三区在线臀色熟女| 久久九九热精品免费| 又爽又黄a免费视频| 久久国产精品影院| 精华霜和精华液先用哪个| 一个人免费在线观看的高清视频| 久久久久国内视频| 欧美高清性xxxxhd video| 免费看光身美女| 亚洲国产精品999在线| 国产国拍精品亚洲av在线观看| 老鸭窝网址在线观看| 国产精华一区二区三区| 97超视频在线观看视频| 精品免费久久久久久久清纯| 非洲黑人性xxxx精品又粗又长| 精品久久久久久久久久久久久| 黄色配什么色好看| 一区福利在线观看| 69人妻影院| 首页视频小说图片口味搜索| 亚洲国产日韩欧美精品在线观看| 亚洲精品亚洲一区二区| 亚洲国产欧美人成| 久99久视频精品免费| 成人一区二区视频在线观看| 人妻夜夜爽99麻豆av| 床上黄色一级片| 麻豆成人午夜福利视频| 国产探花在线观看一区二区| 亚洲 国产 在线| 久久久精品欧美日韩精品| 免费在线观看亚洲国产| 在线观看66精品国产| 国产一区二区激情短视频| 欧美日韩亚洲国产一区二区在线观看| 成人国产一区最新在线观看| 国产亚洲av嫩草精品影院| 老司机深夜福利视频在线观看| 亚洲18禁久久av| 国产精品伦人一区二区| 91午夜精品亚洲一区二区三区 | 精品一区二区三区视频在线| 精品不卡国产一区二区三区| 舔av片在线| 日韩欧美国产在线观看| 在线观看一区二区三区| 欧美中文日本在线观看视频| 免费在线观看影片大全网站| 欧美成人性av电影在线观看| 99久久精品一区二区三区| 男人舔女人下体高潮全视频| 热99re8久久精品国产| 午夜两性在线视频| 免费人成视频x8x8入口观看| 亚洲午夜理论影院| 国产精品三级大全| 日韩大尺度精品在线看网址| 国产91精品成人一区二区三区| 色视频www国产| 亚洲精品在线美女| 日韩高清综合在线| 在线观看舔阴道视频| 亚州av有码| 欧美另类亚洲清纯唯美| 午夜免费成人在线视频| 毛片女人毛片| 九九在线视频观看精品| 欧美zozozo另类| 波多野结衣巨乳人妻| www.色视频.com| 日本黄色片子视频| 久久欧美精品欧美久久欧美| 精品熟女少妇八av免费久了| 欧美日韩综合久久久久久 | 性插视频无遮挡在线免费观看| 久久久久久久久中文| 亚州av有码| 国产精品久久电影中文字幕| 午夜福利18| 国产淫片久久久久久久久 | 天美传媒精品一区二区| 18+在线观看网站| 88av欧美| 国产高清三级在线| 男女下面进入的视频免费午夜| 国产中年淑女户外野战色| 欧美日韩综合久久久久久 | 午夜福利在线观看吧| 国产伦一二天堂av在线观看| 亚洲欧美日韩卡通动漫| 女生性感内裤真人,穿戴方法视频| 亚洲国产精品成人综合色| 看片在线看免费视频| 国产91精品成人一区二区三区| 如何舔出高潮| 久久国产乱子伦精品免费另类| 麻豆成人午夜福利视频| 不卡一级毛片| 给我免费播放毛片高清在线观看| 国产精品久久久久久久电影| 日韩高清综合在线| h日本视频在线播放| 午夜亚洲福利在线播放| 日日摸夜夜添夜夜添av毛片 | 最近中文字幕高清免费大全6 | 精品福利观看| 丝袜美腿在线中文| 天天一区二区日本电影三级| 99国产综合亚洲精品| 亚洲三级黄色毛片| 日本精品一区二区三区蜜桃| 日本在线视频免费播放| 99久久精品热视频| 99久国产av精品| 人人妻,人人澡人人爽秒播| 成年人黄色毛片网站| 国产精品99久久久久久久久| 嫩草影院精品99| 脱女人内裤的视频| 亚洲精品粉嫩美女一区| 99热精品在线国产| 久久人人爽人人爽人人片va | 欧美在线黄色| 久久精品国产99精品国产亚洲性色| 久久精品人妻少妇| 午夜精品久久久久久毛片777| 亚洲第一区二区三区不卡| 欧美成人一区二区免费高清观看| 国产精品国产高清国产av| 制服丝袜大香蕉在线| 欧美高清成人免费视频www| 床上黄色一级片| 黄色丝袜av网址大全| 男女下面进入的视频免费午夜| 欧美色欧美亚洲另类二区| 好男人电影高清在线观看| 国产淫片久久久久久久久 | 一区二区三区免费毛片| 小说图片视频综合网站| 嫁个100分男人电影在线观看| 久久国产精品影院| 欧美成人a在线观看| 成人永久免费在线观看视频| 一级毛片久久久久久久久女| 欧美绝顶高潮抽搐喷水| 成人午夜高清在线视频| 黄色配什么色好看| 色播亚洲综合网| 天天一区二区日本电影三级| 丝袜美腿在线中文| 网址你懂的国产日韩在线| 搡老妇女老女人老熟妇| 日韩精品中文字幕看吧| 性插视频无遮挡在线免费观看| 婷婷亚洲欧美| 久久亚洲真实| 国产精品亚洲一级av第二区| 国产亚洲av嫩草精品影院| 成人特级黄色片久久久久久久| 午夜老司机福利剧场| 在线a可以看的网站| 日本 欧美在线| 少妇高潮的动态图| 97热精品久久久久久| 国产白丝娇喘喷水9色精品| 一区二区三区四区激情视频 | 美女cb高潮喷水在线观看| 中文亚洲av片在线观看爽| 十八禁人妻一区二区| 久久国产精品影院| 久久九九热精品免费| 精品国产亚洲在线| 日韩亚洲欧美综合| 老熟妇仑乱视频hdxx| 国产精品嫩草影院av在线观看 | 老熟妇仑乱视频hdxx| 1024手机看黄色片| 日韩欧美 国产精品| 毛片女人毛片| 1000部很黄的大片| 在线免费观看不下载黄p国产 | 久久久久久久午夜电影| 赤兔流量卡办理| 哪里可以看免费的av片| 国产欧美日韩精品一区二区| 亚洲最大成人av| 在线国产一区二区在线| 免费大片18禁| 欧美不卡视频在线免费观看| 亚洲精华国产精华精| 国产精品1区2区在线观看.| 欧美黑人巨大hd| 变态另类成人亚洲欧美熟女| 午夜免费激情av| 国产一级毛片七仙女欲春2| 给我免费播放毛片高清在线观看| 国产精品综合久久久久久久免费| 日本撒尿小便嘘嘘汇集6| 亚洲精品一区av在线观看| 亚洲成a人片在线一区二区| 国产野战对白在线观看| 如何舔出高潮| 他把我摸到了高潮在线观看| 亚洲欧美日韩高清在线视频| 午夜福利免费观看在线| 亚洲国产日韩欧美精品在线观看| 亚洲七黄色美女视频| 一个人看视频在线观看www免费| а√天堂www在线а√下载| 伦理电影大哥的女人| 国产精品久久视频播放| 日本黄大片高清| 一级作爱视频免费观看| 久久久久亚洲av毛片大全| 欧美丝袜亚洲另类 | 我要搜黄色片| 网址你懂的国产日韩在线| 日韩高清综合在线| 亚洲第一区二区三区不卡| 成年人黄色毛片网站| 99久久久亚洲精品蜜臀av| 热99re8久久精品国产| 欧美日本亚洲视频在线播放| 亚洲人成网站在线播| 一进一出好大好爽视频| 免费人成在线观看视频色| 欧美性猛交黑人性爽| 在线观看舔阴道视频| 51午夜福利影视在线观看| 精品福利观看| 精品欧美国产一区二区三| 中文字幕av成人在线电影| 夜夜夜夜夜久久久久| 国产男靠女视频免费网站| 最新在线观看一区二区三区| 在线观看一区二区三区| 国产在线精品亚洲第一网站| 90打野战视频偷拍视频| 国产精品乱码一区二三区的特点| 中亚洲国语对白在线视频| 动漫黄色视频在线观看| 99热6这里只有精品| 国产真实伦视频高清在线观看 | 一个人看的www免费观看视频| 99riav亚洲国产免费| 精品一区二区三区视频在线观看免费| 国产麻豆成人av免费视频| 色在线成人网| 久久久久精品国产欧美久久久| 国产精品一区二区三区四区久久| 欧美成人免费av一区二区三区| eeuss影院久久| 国产av一区在线观看免费| 国产精品女同一区二区软件 | 国产高清激情床上av| 级片在线观看| 久久久久久久午夜电影| 人妻制服诱惑在线中文字幕| 男插女下体视频免费在线播放| 国产精品一区二区性色av| x7x7x7水蜜桃| av欧美777| 亚洲人成网站高清观看| 我要看日韩黄色一级片| 国语自产精品视频在线第100页| 男人的好看免费观看在线视频| 欧美日韩综合久久久久久 | 又爽又黄无遮挡网站| 草草在线视频免费看| 精品久久久久久久久久免费视频| 亚洲av电影在线进入| 亚洲国产精品合色在线| 午夜免费激情av| 91字幕亚洲| 亚洲精品456在线播放app | 午夜免费激情av| 亚洲精品在线美女| 免费在线观看成人毛片| 亚洲美女视频黄频| 日韩大尺度精品在线看网址| 制服丝袜大香蕉在线| av天堂中文字幕网| 中国美女看黄片| 久久久久久九九精品二区国产| 99热这里只有是精品在线观看 | 亚洲三级黄色毛片| 欧美日韩乱码在线| 九九在线视频观看精品| 精品无人区乱码1区二区| 一a级毛片在线观看| 九色国产91popny在线| 90打野战视频偷拍视频| 一个人看的www免费观看视频| 好男人在线观看高清免费视频| 午夜福利在线在线| 国产精品久久电影中文字幕| 九色成人免费人妻av| 国产精品99久久久久久久久| 男插女下体视频免费在线播放| 亚洲精品亚洲一区二区| 蜜桃久久精品国产亚洲av| 长腿黑丝高跟| 搡老熟女国产l中国老女人| 欧美成人a在线观看| 国产高清视频在线播放一区| 老司机福利观看| 精品午夜福利在线看| 亚洲一区二区三区不卡视频| 欧美xxxx黑人xx丫x性爽| 国产高潮美女av| 国产v大片淫在线免费观看| 99热只有精品国产| 色5月婷婷丁香| 丝袜美腿在线中文| 1000部很黄的大片| 国产精品久久久久久久久免 | 亚洲不卡免费看| 一二三四社区在线视频社区8| 亚洲,欧美,日韩| 在线观看午夜福利视频| 在线天堂最新版资源| 久久久久性生活片| 国产免费av片在线观看野外av| 天堂av国产一区二区熟女人妻| 99国产精品一区二区蜜桃av| 身体一侧抽搐| 色综合欧美亚洲国产小说| 十八禁网站免费在线| 两性午夜刺激爽爽歪歪视频在线观看| 欧美乱妇无乱码| 人人妻人人澡欧美一区二区| 高清在线国产一区| 露出奶头的视频| 亚洲色图av天堂| 国产成人aa在线观看| 少妇丰满av| 日日摸夜夜添夜夜添小说| 欧美在线一区亚洲| 每晚都被弄得嗷嗷叫到高潮| 亚洲第一欧美日韩一区二区三区| 亚洲熟妇中文字幕五十中出| 欧美日韩瑟瑟在线播放| 国产人妻一区二区三区在| 午夜福利欧美成人| 国产综合懂色| 美女xxoo啪啪120秒动态图 | 97超级碰碰碰精品色视频在线观看| 久久精品国产亚洲av香蕉五月| 中文字幕高清在线视频| 天天躁日日操中文字幕| 大型黄色视频在线免费观看| 亚洲国产精品久久男人天堂| 亚洲最大成人av| 99视频精品全部免费 在线| 久久99热6这里只有精品| 色吧在线观看| 国产午夜精品论理片| 欧美xxxx黑人xx丫x性爽| 精品人妻1区二区| 乱码一卡2卡4卡精品| 亚洲av一区综合| 精品一区二区三区视频在线观看免费| 免费看日本二区| 国产精品一区二区三区四区久久| 亚洲国产精品合色在线| 一进一出抽搐动态| 久久久成人免费电影| 91在线观看av| 久久九九热精品免费| av国产免费在线观看| 国产欧美日韩精品一区二区| 日本 欧美在线| 日本五十路高清| 久久久久久久亚洲中文字幕 | 在线观看66精品国产| 少妇人妻精品综合一区二区 | 免费看日本二区| 哪里可以看免费的av片| 91在线观看av| 男人的好看免费观看在线视频| 久久国产乱子免费精品| av专区在线播放| 一个人观看的视频www高清免费观看| 日本免费一区二区三区高清不卡| 欧洲精品卡2卡3卡4卡5卡区| 亚洲狠狠婷婷综合久久图片| 午夜两性在线视频| 亚洲欧美精品综合久久99| 久久久久久国产a免费观看| 小说图片视频综合网站| 国产单亲对白刺激| 床上黄色一级片| 变态另类成人亚洲欧美熟女| 欧美黄色淫秽网站| 少妇的逼好多水| 在线观看66精品国产| 首页视频小说图片口味搜索| 九色成人免费人妻av| 在线观看66精品国产| 性欧美人与动物交配| 亚洲熟妇熟女久久| h日本视频在线播放| 成年免费大片在线观看| 亚洲av成人av| 在线观看66精品国产| 一级av片app| 国产三级黄色录像| 中文亚洲av片在线观看爽| 欧美成人免费av一区二区三区| 九九热线精品视视频播放| 欧美三级亚洲精品| 性欧美人与动物交配| 国产亚洲欧美在线一区二区| 在线a可以看的网站| 免费看日本二区| 亚洲av日韩精品久久久久久密| 夜夜看夜夜爽夜夜摸| 亚洲人成网站在线播| 99国产综合亚洲精品| 一进一出抽搐gif免费好疼| 中文字幕人妻熟人妻熟丝袜美|