• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法

    2022-11-19 06:17:52張明英華冰張宇光李海東鄭墨泓
    關(guān)鍵詞:鴿群算例魯棒性

    張明英,華冰,張宇光,李海東,鄭墨泓

    基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法

    張明英1,華冰2,張宇光1,李海東1,鄭墨泓3

    (1. 中國電子技術(shù)標(biāo)準(zhǔn)化研究院,北京 100007;2. 南京航空航天大學(xué)航天學(xué)院,江蘇 南京 211106;3. 中國電子科技集團(tuán)公司第七研究所,廣東 廣州 510000)

    強(qiáng)化學(xué)習(xí)是一種人工智能算法,具有計(jì)算邏輯清晰、模型易擴(kuò)展的優(yōu)點(diǎn),可以在較少甚至沒有先驗(yàn)信息的前提下,通過和環(huán)境交互并最大化值函數(shù),調(diào)優(yōu)策略性能,有效地降低物理模型引起的復(fù)雜性?;诓呗蕴荻鹊膹?qiáng)化學(xué)習(xí)算法目前已成功應(yīng)用于圖像智能識別、機(jī)器人控制、自動駕駛路徑規(guī)劃等領(lǐng)域。然而強(qiáng)化學(xué)習(xí)高度依賴采樣的特性決定了其訓(xùn)練過程需要大量樣本來收斂,且決策的準(zhǔn)確性易受到與仿真環(huán)境中不匹配的輕微干擾造成嚴(yán)重影響。特別是當(dāng)強(qiáng)化學(xué)習(xí)應(yīng)用于控制領(lǐng)域時,由于無法保證算法的收斂性,難以對其穩(wěn)定性進(jìn)行證明,為此,需要對強(qiáng)化學(xué)習(xí)進(jìn)行改進(jìn)。考慮到群體智能算法可通過群體協(xié)作解決復(fù)雜問題,具有自組織性及穩(wěn)定性強(qiáng)的特征,利用其對強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化求解是一個提高強(qiáng)化學(xué)習(xí)模型穩(wěn)定性的有效途徑。結(jié)合群體智能中的鴿群算法,對基于策略梯度的強(qiáng)化學(xué)習(xí)進(jìn)行改進(jìn):針對求解策略梯度時存在迭代求解可能無法收斂的問題,提出了基于鴿群的強(qiáng)化學(xué)習(xí)算法,以最大化未來獎勵為目的求解策略梯度,將鴿群算法中的適應(yīng)性函數(shù)和強(qiáng)化學(xué)習(xí)結(jié)合估計(jì)策略的優(yōu)劣,避免求解陷入死循環(huán),提高了強(qiáng)化學(xué)習(xí)算法的穩(wěn)定性。在具有非線性關(guān)系的兩輪倒立擺機(jī)器人控制系統(tǒng)上進(jìn)行仿真驗(yàn)證,實(shí)驗(yàn)結(jié)果表明,基于鴿群的強(qiáng)化學(xué)習(xí)算法能夠提高系統(tǒng)的魯棒性,降低計(jì)算量,減少算法對樣本數(shù)據(jù)庫的依賴。

    鴿群算法;強(qiáng)化學(xué)習(xí);策略梯度;魯棒性

    0 引言

    強(qiáng)化學(xué)習(xí)是一種典型的人工智能算法,具有需要先驗(yàn)信息少、計(jì)算邏輯清晰等優(yōu)點(diǎn),適用于機(jī)器人控制、路徑規(guī)劃、游戲策略等問題求解,近年來在多個領(lǐng)域獲得了廣泛應(yīng)用[1-7]。當(dāng)強(qiáng)化學(xué)習(xí)應(yīng)用于控制領(lǐng)域時,具有僅需要少量先驗(yàn)信息、甚至無須對物理系統(tǒng)建模的優(yōu)點(diǎn),能夠有效地降低物理模型引起的復(fù)雜性,且可以靈活地處理不確定性問題。然而,強(qiáng)化學(xué)習(xí)應(yīng)用于控制領(lǐng)域存在計(jì)算量較大和魯棒性較差的問題,且由于無法保證算法的收斂性,難以對其進(jìn)行穩(wěn)定性證明。

    強(qiáng)化學(xué)習(xí)主要包括3類[8-15]:策略梯度(policy gradient)、值函數(shù)學(xué)習(xí)、結(jié)合兩者的演員?評論家(actor-critic)模型?;诓呗蕴荻确椒ㄒ蛑苯觾?yōu)化策略,可實(shí)現(xiàn)隨機(jī)策略(stochastic policy)的求解,且具有較好的收斂性。因此,基于策略梯度的強(qiáng)化學(xué)習(xí)算法得到了廣泛的應(yīng)用,其主要計(jì)算復(fù)雜度體現(xiàn)在策略梯度的求解。群體智能算法啟發(fā)于具有社會行為的昆蟲群體,對其行為進(jìn)行模擬,包括狼群算法、粒子群算法、蟻群算法、遺傳算法、鴿群算法等。鴿群算法是一種新型優(yōu)化計(jì)算方法,具有執(zhí)行效率高的優(yōu)點(diǎn)。本文采用鴿群算法對基于確定性策略梯度的強(qiáng)化學(xué)習(xí)算法進(jìn)行改進(jìn),一方面基于鴿群算法的演化規(guī)律減少迭代過程,從而優(yōu)化求解其策略梯度,減小計(jì)算量以及對樣本數(shù)據(jù)庫的依賴;另一方面,通過及時糾正迭代的方向,增強(qiáng)系統(tǒng)魯棒性。

    1 智能算法模型

    1.1 強(qiáng)化學(xué)習(xí)模型

    基于策略梯度的強(qiáng)化學(xué)習(xí)根據(jù)式(1)更新策略。

    圖1 基于群體智能優(yōu)化算法改進(jìn)強(qiáng)化學(xué)習(xí)算法的流程

    Figure 1 Process of improving reinforcement learning algorithm based on swarm intelligence optimization algorithm

    1.2 經(jīng)典鴿群算法模型

    經(jīng)典鴿群算法[16-20]是基于鴿子在歸巢過程中的動態(tài)導(dǎo)航過程發(fā)展而成的,鴿子依靠地球磁場以及太陽的位置進(jìn)行導(dǎo)航,在到達(dá)目的地附近時依靠地標(biāo)進(jìn)行導(dǎo)航。鴿群算法存在兩個算子:地圖指南針?biāo)阕雍偷貥?biāo)算子。

    1.2.1 地圖指南針?biāo)阕?/p>

    1.2.2 地標(biāo)算子

    經(jīng)典鴿群算法在經(jīng)過一定次數(shù)的地圖指南針?biāo)阕拥牡?,將切換至地標(biāo)算子進(jìn)行運(yùn)算以達(dá)到快速收斂以及對之前迭代中產(chǎn)生的精英個體篩選保留的目的。其演化規(guī)律可表達(dá)如下:

    2 基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)方法

    基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)算法流程如圖2所示。

    圖2 基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)方法流程

    Figure 2 Process of improved reinforcement learning method based on pigeon-inspired optimization

    步驟6 計(jì)算頭鴿位置。

    步驟7 更新種群位置和鴿群迭代次數(shù)。

    步驟9 計(jì)算策略梯度。

    3 仿真建模

    3.1 仿真模型

    其中,

    考慮沿直線運(yùn)動的情況,即

    需要注意的是,基于鴿群的強(qiáng)化學(xué)習(xí)算法無須對物理系統(tǒng)進(jìn)行建模,式(17)~式(24)的兩輪倒立擺機(jī)器人模型僅用于搭建數(shù)值仿真中的動力學(xué)與運(yùn)動學(xué)模塊。

    (1)數(shù)據(jù)庫與任務(wù)匹配

    (2)數(shù)據(jù)庫與任務(wù)不匹配

    圖3 數(shù)據(jù)庫樣例

    Figure 3 Sample database

    3.2 仿真分析

    本節(jié)驗(yàn)證上述基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)算法應(yīng)用于控制任務(wù)時的性能,并與無改進(jìn)基于策略梯度的強(qiáng)化學(xué)習(xí)算法進(jìn)行對比,仿真參數(shù)如表1所示。其中,數(shù)據(jù)庫采用式(17)~式(24)構(gòu)建的物理系統(tǒng)輸入指定的控制力矩后產(chǎn)生的數(shù)據(jù)進(jìn)行構(gòu)建。

    表1 仿真參數(shù)

    兩輪倒立擺機(jī)器人系統(tǒng)參數(shù)如表2所示。

    表2 兩輪倒立擺機(jī)器人系統(tǒng)參數(shù)

    仿真要求兩輪倒立擺機(jī)器人跟蹤隨時間變化的目標(biāo)姿態(tài)。

    算例1的仿真結(jié)果如圖4所示,在數(shù)據(jù)庫與任務(wù)匹配的前提下,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法能夠完成控制任務(wù)。

    圖4 算例1的仿真結(jié)果

    Figure 4 Simulation results of example 1

    算例2的仿真結(jié)果如圖5所示,由圖5(b)可知,數(shù)據(jù)庫與任務(wù)不匹配,但采用基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)算法控制后,機(jī)器人仍能完成控制任務(wù)。

    算例3的仿真結(jié)果如圖6所示,在數(shù)據(jù)庫與任務(wù)匹配時,基于策略梯度的強(qiáng)化學(xué)習(xí)算法可以完成控制任務(wù)。

    算例4的仿真結(jié)果如圖7所示,在數(shù)據(jù)庫與任務(wù)不匹配時,基于策略梯度的強(qiáng)化學(xué)習(xí)算法難以判斷控制力矩更新的方向,無法完成控制任務(wù)。

    圖5 算例2的仿真結(jié)果

    Figure 5 Simulation results of example 2

    圖6 算例3的仿真結(jié)果

    Figure 6 Simulation results of example 3

    圖7 算例4的仿真結(jié)果

    Figure 7 Simulation results of example 4

    算例1~算例4的控制力矩誤差隨時間變化如圖8所示,無論數(shù)據(jù)庫與任務(wù)匹配與否,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法都能得到較小的誤差;基于策略梯度的強(qiáng)化學(xué)習(xí)算法在數(shù)據(jù)庫與任務(wù)匹配時存在誤差狀況不穩(wěn)定的情況,在數(shù)據(jù)庫與任務(wù)不匹配時誤差明顯,不能完成控制任務(wù)。

    圖8 算例1~算例4的控制力矩誤差

    Figure 8 Control torque errors from example 1 to example 4

    算例1~算例4的對比如表3所示,得到以下結(jié)論。

    1) 當(dāng)數(shù)據(jù)庫與任務(wù)匹配時,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法和基于策略梯度的強(qiáng)化學(xué)習(xí)算法均能完成控制任務(wù)。

    表3 算例對比

    2) 當(dāng)數(shù)據(jù)庫與任務(wù)不匹配時,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法仍能較好地完成控制任務(wù),而基于策略梯度的強(qiáng)化學(xué)習(xí)算法無法完成控制任務(wù)。

    3) 針對同一個控制任務(wù),基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法完成1次訓(xùn)練的時間小于基于策略梯度的強(qiáng)化學(xué)習(xí)算法。

    綜上所述,相比基于策略梯度的強(qiáng)化學(xué)習(xí)算法,基于鴿群改進(jìn)的強(qiáng)化學(xué)習(xí)算法具有以下優(yōu)點(diǎn)。

    1) 計(jì)算量小,并且不存在無法判斷策略梯度的情況,無須強(qiáng)制跳出循環(huán)。

    2) 基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法的收斂速度更快,控制精度更高,因此,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法的魯棒性優(yōu)于基于策略梯度的強(qiáng)化學(xué)習(xí)算法。

    3) 當(dāng)任務(wù)時間較長時,由于迭代過程更復(fù)雜,基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法的計(jì)算量稍大,但可以通過修改種群規(guī)模減小計(jì)算量。

    4 結(jié)束語

    強(qiáng)化學(xué)習(xí)是一種基于機(jī)器學(xué)習(xí)的算法,具有需要先驗(yàn)信息少等優(yōu)點(diǎn),適用于圖像識別、控制、路徑規(guī)劃等領(lǐng)域。當(dāng)強(qiáng)化學(xué)習(xí)應(yīng)用于控制領(lǐng)域時,能夠有效地降低物理模型引起的復(fù)雜性,且靈活地處理不確定性問題。然而,強(qiáng)化學(xué)習(xí)應(yīng)用于控制領(lǐng)域存在計(jì)算量較大和魯棒性較差的問題,且由于無法保證算法的收斂性,難以對其進(jìn)行穩(wěn)定性證明。本文采用鴿群算法對強(qiáng)化學(xué)習(xí)進(jìn)行改進(jìn),優(yōu)化算法性能,采用鴿群改進(jìn)強(qiáng)化學(xué)習(xí)算法能夠大幅度增加魯棒性,降低了計(jì)算量,同時減少了算法對樣本數(shù)據(jù)庫的依賴。

    [1] PETERS J, SCHAAL S. Policy gradient methods for robotics[C]//2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. 2006: 2219-2225.

    [2] BAUM Y, AMICO M, HOWELL S, et al. Experimental deep reinforcement learning for error-robust gate-set design on a superconducting quantum computer[J]. PRX Quantum, 2021, 2(4): 040324.

    [3] HUA J, ZENG L, LI G, et al. Learning for a robot: deep reinforcement learning, imitation learning, transfer learning[J]. Sensors, 2021, 21(4): 1278.

    [4] SIVAK V V, EICKBUSCH A, LIU H, et al. Model-free quantum control with reinforcement learning[J]. Physical Review X, 2022, 12(1): 011059.

    [5] AGARWAL N, HAZAN E, MAJUMDAR A, et al. A regret minimization approach to iterative learning control[C]//International Conference on Machine Learning (PMLR). 2021: 100-109.

    [6] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems. 2012: 1097-1105.

    [7] YARATS D, FERGUS R, LAZARIC A, et al. Reinforcement learning with prototypical representations[C] //International Conference on Machine Learning (PMLR). 2021: 11920-11931.

    [8] DAHL G E, YU D, DENG L, et al. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2011: 30-42.

    [9] HAOXIANG W, SMYS S. Overview of configuring adaptive activation functions for deep neural networks—a comparative study[J]. Journal of Ubiquitous Computing and Communication Technologies (UCCT), 2021, 3(1): 10-22.

    [10] MISHRA A, LATORRE J A, Pool J, et al. Accelerating sparse deep neural networks[J]. arXiv preprint arXiv:2104.08378, 2021.

    [11] SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of go with deep neural networks and tree search[J]. Nature, 2016, 529: 484.

    [12] VINYALS O, BABUSCHKIN I, CZARNECKI W M, et al. Grandmaster level in StarCraft II using multi-agent reinforcement learning[J]. Nature, 2019, 575: 350-354.

    [13] HEESS N, WAYNE G, SILVER D, et al. Learning continuous control policies by stochastic value gradients[C]//Advances in Neural Information Processing Systems. 2015: 28

    [14] CHEN Z, CHEN B, XIE S, et al. Efficiently training on-policy actor-critic networks in robotic deep reinforcement learning with demonstration-like sampled exploration[C]//2021 3rd International Symposium on Robotics & Intelligent Manufacturing Technology (ISRIMT). 2021: 292-298.

    [15] WANG C, LING Y. Actor-critic tracking with precise scale estimation and advantage function[J]. Journal of Physics Conference Series, 2021, 1827(1): 012064.

    [16] ZHANG S, DUAN H. Gaussian pigeon-inspired optimization approach to orbital spacecraft formation reconfiguration [J]. Chinese Journal of Aeronautics, 2015, 28 (1): 200-205.

    [17] ZHANG B, DUAN H. Three-dimensional path planning for uninhabited combat aerial vehicle based on predator-prey pigeon-inspired optimization in dynamic environment[J]. IEEE/ACM Transactions on Computational Biology & Bioinformatics, 2017, 14 (1): 97-107.

    [18] 周雨鵬. 基于鴿群算法的函數(shù)優(yōu)化問題求解[D]. 長春: 東北師范大學(xué), 2016.

    ZHOU Y P. Function optimization problem solving based on pigeon swarm algorithm[D]. Changchun: Northeast Normal University, 2016.

    [19] 顧清華, 孟倩倩. 優(yōu)化復(fù)雜函數(shù)的粒子群?鴿群混合優(yōu)化算法[J].計(jì)算機(jī)工程與應(yīng)用, 2019, 55(22): 46-52.

    GU Q H, MENG Q Q. Hybrid particle swarm optimization and pigeon—inspired optimization algorithm for solving complex functions[J]. Computer Engineering and Applications, 2019, 55(22): 46-52.

    [20] 胡耀龍, 馮強(qiáng), 海星朔, 等. 基于自適應(yīng)學(xué)習(xí)策略的改進(jìn)鴿群優(yōu)化算法[J]. 北京航空航天大學(xué)學(xué)報(bào), 2020, 46(12): 2348-2356.

    HU Y L, FENG Q, HAI X S, et al. Improved pigeon-inspired optimization algorithm based on adaptive learning strategy[J]. Journal of Beijing University of Aeronautics and Astronautics, 2020, 46(12) : 2348-2356.

    Robust reinforcement learning algorithm based on pigeon-inspired optimization

    ZHANG Mingying1, HUA Bing2, ZHANG Yuguang1, LI Haidong1, ZHENG Mohong3

    1. China Electronics Standardization Institute, Beijing 100007, China 2. College of Astronautics, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China 3. The 7th Research Institute of China Electronics Technology Group Corporation, Guangzhou 510000, China

    Reinforcement learning(RL) is an artificial intelligence algorithm with the advantages of clear calculation logic and easy expansion of the model. Through interacting with the environment and maximizing value functions on the premise of obtaining little or no prior information, RL can optimize the performance of strategies and effectively reduce the complexity caused by physical models . The RL algorithm based on strategy gradient has been successfully applied in many fields such as intelligent image recognition, robot control and path planning for automatic driving. However, the highly sampling-dependent characteristics of RL determine that the training process needs a large number of samples to converge, and the accuracy of decision making is easily affected by slight interference that does not match with the simulation environment. Especially when RL is applied to the control field, it is difficult to prove the stability of the algorithm because the convergence of the algorithm cannot be guaranteed. Considering that swarm intelligence algorithm can solve complex problems through group cooperation and has the characteristics of self-organization and strong stability, it is an effective way to be used for improving the stability of RL model. The pigeon-inspired optimization algorithm in swarm intelligence was combined to improve RL based on strategy gradient. A RL algorithm based on pigeon-inspired optimization was proposed to solve the strategy gradient in order to maximize long-term future rewards. Adaptive function of pigeon-inspired optimization algorithm and RL were combined to estimate the advantages and disadvantages of strategies, avoid solving into an infinite loop, and improve the stability of the algorithm. A nonlinear two-wheel inverted pendulum robot control system was selected for simulation verification. The simulation results show that the RL algorithm based on pigeon-inspired optimization can improve the robustness of the system, reduce the computational cost, and reduce the algorithm’s dependence on the sample database.

    pigeon-inspired optimization algorithm, strengthen learning, policy gradient, robustness

    TP393

    A

    10.11959/j.issn.2096?109x.2022064

    2022?05?22;

    2022?07?15

    張明英,zhangmy@cesi.cn

    科技創(chuàng)新2030重大項(xiàng)目(2020AAA0107804)

    Science and Technology Innovation 2030 Major Project (2020AAA0107804)

    張明英, 華冰, 張宇光, 等. 基于鴿群的魯棒強(qiáng)化學(xué)習(xí)算法[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2022, 8(5): 66-74.

    Format: ZHANG M Y, HUA B, ZHANG Y G, et al. Robust reinforcement learning algorithm based on pigeon-inspired optimization[J]. Chinese Journal of Network and Information Security, 2022, 8(5): 66-74.

    張明英(1985?),男,廣西北海人,中國電子技術(shù)標(biāo)準(zhǔn)化研究院高級工程師,主要研究方向?yàn)槿斯ぶ悄?、知識圖譜、大數(shù)據(jù)。

    華冰(1978?),女,江蘇南京人,南京航空航天大學(xué)副研究員,主要研究方向?yàn)轱w行器導(dǎo)航、智能數(shù)據(jù)處理。

    張宇光(1991?),男,內(nèi)蒙古包頭人,中國電子技術(shù)標(biāo)準(zhǔn)化研究院工程師,主要研究方向?yàn)閿?shù)據(jù)安全、人工智能安全、個人信息保護(hù)、計(jì)算機(jī)視覺、視覺生成。

    李海東(1992?),男,湖北孝感人,中國電子技術(shù)標(biāo)準(zhǔn)化研究院工程師,主要研究方向?yàn)槿斯ぶ悄馨踩?、大?shù)據(jù)安全、個人信息保護(hù)。

    鄭墨泓(1995?),女,廣東潮陽人,中國電子科技集團(tuán)公司第七研究所助理工程師,主要研究方向?yàn)楹教炱髯藨B(tài)控制、無人機(jī)組網(wǎng)。

    猜你喜歡
    鴿群算例魯棒性
    鴿群即景
    一起種鴿新城疫病因分析與防治
    一個鴿群飛過的黃昏
    文苑(2020年4期)2020-05-30 12:35:22
    荒漠綠洲區(qū)潛在生態(tài)網(wǎng)絡(luò)增邊優(yōu)化魯棒性分析
    基于確定性指標(biāo)的弦支結(jié)構(gòu)魯棒性評價
    鴿群與鴿哨
    基于非支配解集的多模式裝備項(xiàng)目群調(diào)度魯棒性優(yōu)化
    西南交通大學(xué)學(xué)報(bào)(2016年6期)2016-05-04 04:13:11
    基于振蕩能量的低頻振蕩分析與振蕩源定位(二)振蕩源定位方法與算例
    互補(bǔ)問題算例分析
    精品久久久久久久末码| 国产探花极品一区二区| 别揉我奶头 嗯啊视频| 热re99久久精品国产66热6| 丝袜脚勾引网站| av卡一久久| 国产精品女同一区二区软件| 国产成人免费观看mmmm| 哪个播放器可以免费观看大片| 国产成人一区二区在线| 精品99又大又爽又粗少妇毛片| 欧美高清成人免费视频www| 国产黄色视频一区二区在线观看| 亚州av有码| 国产成人91sexporn| 视频区图区小说| 成年女人看的毛片在线观看| 黄色欧美视频在线观看| 欧美成人午夜免费资源| 国产精品一区www在线观看| 国产av国产精品国产| 国产精品爽爽va在线观看网站| av网站免费在线观看视频| 一个人看的www免费观看视频| 久久久精品免费免费高清| 男人添女人高潮全过程视频| 久久精品国产a三级三级三级| 一本久久精品| 性插视频无遮挡在线免费观看| 国产成人精品婷婷| 久久久久久伊人网av| 亚洲成人中文字幕在线播放| 免费观看av网站的网址| 国产精品一区二区三区四区免费观看| 一级av片app| 禁无遮挡网站| 超碰av人人做人人爽久久| 夫妻午夜视频| 国产欧美另类精品又又久久亚洲欧美| 日日啪夜夜撸| 精品国产一区二区三区久久久樱花 | 精品久久久久久久人妻蜜臀av| 久久久久性生活片| 好男人视频免费观看在线| 激情 狠狠 欧美| 一级a做视频免费观看| 午夜亚洲福利在线播放| 免费观看性生交大片5| 精品一区在线观看国产| 国产男女内射视频| 99热网站在线观看| 欧美日韩在线观看h| 亚洲精品久久久久久婷婷小说| 女人久久www免费人成看片| 国产精品人妻久久久久久| 欧美变态另类bdsm刘玥| 真实男女啪啪啪动态图| 免费看av在线观看网站| 熟女人妻精品中文字幕| 91久久精品国产一区二区成人| 丰满人妻一区二区三区视频av| 国产精品无大码| av网站免费在线观看视频| 国产免费福利视频在线观看| 亚洲精品aⅴ在线观看| 男女啪啪激烈高潮av片| 亚洲av日韩在线播放| 麻豆久久精品国产亚洲av| 日日摸夜夜添夜夜添av毛片| 久热这里只有精品99| 成人欧美大片| 97在线人人人人妻| 精品人妻一区二区三区麻豆| 欧美成人午夜免费资源| 久久久久久久大尺度免费视频| 日本一二三区视频观看| 九色成人免费人妻av| 日韩制服骚丝袜av| 亚洲综合色惰| www.色视频.com| 亚洲精品乱久久久久久| 亚洲伊人久久精品综合| 草草在线视频免费看| 亚洲自拍偷在线| 少妇丰满av| 少妇人妻一区二区三区视频| 亚洲精品亚洲一区二区| 日本黄大片高清| 亚洲,欧美,日韩| 亚洲人成网站在线观看播放| 小蜜桃在线观看免费完整版高清| 91精品国产九色| 免费在线观看成人毛片| 一区二区三区乱码不卡18| 性插视频无遮挡在线免费观看| 欧美另类一区| 最近最新中文字幕免费大全7| 国产伦精品一区二区三区视频9| 欧美性感艳星| 插阴视频在线观看视频| 一二三四中文在线观看免费高清| 久久精品综合一区二区三区| 亚洲av.av天堂| 免费av毛片视频| 免费av毛片视频| 一级a做视频免费观看| 久久久久久久午夜电影| 国产一区亚洲一区在线观看| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 亚洲天堂av无毛| 欧美日韩精品成人综合77777| 22中文网久久字幕| 久久久午夜欧美精品| 亚洲天堂av无毛| 在线观看一区二区三区| 欧美日韩精品成人综合77777| 欧美日韩在线观看h| eeuss影院久久| 亚洲av男天堂| 欧美精品国产亚洲| 久久久精品94久久精品| 欧美另类一区| 搡老乐熟女国产| 久久综合国产亚洲精品| 亚洲国产精品成人综合色| 亚洲国产欧美人成| 国产一区亚洲一区在线观看| 国产国拍精品亚洲av在线观看| 国产精品人妻久久久影院| 激情 狠狠 欧美| 国产av国产精品国产| 99久国产av精品国产电影| 在线免费观看不下载黄p国产| 99热这里只有是精品在线观看| 99热这里只有是精品在线观看| 如何舔出高潮| 国产91av在线免费观看| videos熟女内射| 亚洲人成网站在线观看播放| 免费看光身美女| 在线精品无人区一区二区三 | 国产精品一二三区在线看| 国产精品伦人一区二区| 久久久久久久国产电影| 极品少妇高潮喷水抽搐| a级一级毛片免费在线观看| 色5月婷婷丁香| 国产伦在线观看视频一区| 亚洲性久久影院| 白带黄色成豆腐渣| 久久精品国产亚洲av涩爱| 精品酒店卫生间| 国产精品久久久久久久电影| 欧美精品人与动牲交sv欧美| 亚洲精品久久久久久婷婷小说| 人妻夜夜爽99麻豆av| 欧美精品一区二区大全| 国产永久视频网站| 久久精品久久久久久噜噜老黄| 午夜日本视频在线| 精品酒店卫生间| 夜夜看夜夜爽夜夜摸| 一级毛片黄色毛片免费观看视频| 久久女婷五月综合色啪小说 | eeuss影院久久| 成人国产av品久久久| 九色成人免费人妻av| 久久人人爽人人爽人人片va| 在线观看国产h片| 欧美一区二区亚洲| 国产成人免费无遮挡视频| 性插视频无遮挡在线免费观看| 久久韩国三级中文字幕| 亚洲精品日本国产第一区| 少妇熟女欧美另类| 直男gayav资源| 免费人成在线观看视频色| 三级经典国产精品| 99久久九九国产精品国产免费| 精品久久久久久久人妻蜜臀av| 精品久久久久久久人妻蜜臀av| 日韩一区二区视频免费看| 久久精品国产a三级三级三级| 亚洲最大成人手机在线| av在线天堂中文字幕| 一级片'在线观看视频| 久久99热这里只频精品6学生| 校园人妻丝袜中文字幕| 亚洲,一卡二卡三卡| 亚洲国产色片| 最近2019中文字幕mv第一页| 久久久久久久国产电影| 一级爰片在线观看| 麻豆成人av视频| 成人高潮视频无遮挡免费网站| 成年版毛片免费区| 亚洲一区二区三区欧美精品 | 一本久久精品| 国产精品99久久99久久久不卡 | 一区二区av电影网| 一级毛片 在线播放| 综合色av麻豆| 男女国产视频网站| 黄色怎么调成土黄色| 下体分泌物呈黄色| 精品99又大又爽又粗少妇毛片| 日日啪夜夜爽| 久久久欧美国产精品| 少妇高潮的动态图| 永久网站在线| 亚洲真实伦在线观看| 日韩av在线免费看完整版不卡| 婷婷色麻豆天堂久久| 最近最新中文字幕免费大全7| 各种免费的搞黄视频| 亚洲精品国产成人久久av| 最近手机中文字幕大全| 美女高潮的动态| 成人亚洲精品av一区二区| 欧美极品一区二区三区四区| av在线app专区| 大又大粗又爽又黄少妇毛片口| 亚洲天堂国产精品一区在线| 中文字幕亚洲精品专区| 超碰97精品在线观看| 国产色爽女视频免费观看| 亚洲无线观看免费| 在线精品无人区一区二区三 | 成人午夜精彩视频在线观看| 免费大片黄手机在线观看| 大话2 男鬼变身卡| 亚洲美女视频黄频| 日韩制服骚丝袜av| 日韩强制内射视频| 成人无遮挡网站| 禁无遮挡网站| 国产精品精品国产色婷婷| 欧美性感艳星| 在线 av 中文字幕| 香蕉精品网在线| 国产淫语在线视频| 三级男女做爰猛烈吃奶摸视频| 全区人妻精品视频| 天天躁夜夜躁狠狠久久av| 色吧在线观看| 精品久久久久久久久av| av卡一久久| 免费黄色在线免费观看| 久久久久久久亚洲中文字幕| 国产成人freesex在线| 中国美白少妇内射xxxbb| 亚洲经典国产精华液单| 国产一区二区三区av在线| 2018国产大陆天天弄谢| 一区二区三区乱码不卡18| 日韩一区二区三区影片| 中文字幕亚洲精品专区| 精品久久久久久久人妻蜜臀av| 日韩成人伦理影院| 美女脱内裤让男人舔精品视频| 在线a可以看的网站| 制服丝袜香蕉在线| 婷婷色综合大香蕉| 国产精品三级大全| 好男人视频免费观看在线| 秋霞在线观看毛片| av专区在线播放| .国产精品久久| 久久精品国产自在天天线| 亚洲精品国产成人久久av| 婷婷色综合www| 精品99又大又爽又粗少妇毛片| 99热这里只有是精品50| 国产精品国产av在线观看| 国产一区二区三区综合在线观看 | 一个人观看的视频www高清免费观看| 日本一二三区视频观看| 最近2019中文字幕mv第一页| 中文字幕人妻熟人妻熟丝袜美| 久久这里有精品视频免费| 制服丝袜香蕉在线| 久久精品久久久久久噜噜老黄| 欧美bdsm另类| 黄色怎么调成土黄色| 国产乱来视频区| 午夜视频国产福利| 国产女主播在线喷水免费视频网站| 2022亚洲国产成人精品| 亚洲精品乱久久久久久| 毛片一级片免费看久久久久| 国产人妻一区二区三区在| 国产大屁股一区二区在线视频| 美女被艹到高潮喷水动态| 成人免费观看视频高清| 国产精品无大码| 一级毛片久久久久久久久女| 欧美一级a爱片免费观看看| 91狼人影院| 男女啪啪激烈高潮av片| 18禁裸乳无遮挡动漫免费视频 | 欧美成人午夜免费资源| 亚洲国产日韩一区二区| 日本午夜av视频| 日韩成人av中文字幕在线观看| 亚洲精品影视一区二区三区av| 青春草国产在线视频| 一级毛片aaaaaa免费看小| 国产熟女欧美一区二区| 男女下面进入的视频免费午夜| 高清av免费在线| 美女内射精品一级片tv| 18禁动态无遮挡网站| 免费av观看视频| 大话2 男鬼变身卡| av免费在线看不卡| 日日摸夜夜添夜夜爱| 又爽又黄无遮挡网站| 国产久久久一区二区三区| 麻豆成人av视频| 国产精品偷伦视频观看了| 国产精品爽爽va在线观看网站| 国产在视频线精品| 在线观看人妻少妇| 亚洲国产高清在线一区二区三| 亚洲精品成人久久久久久| 在线观看美女被高潮喷水网站| 亚洲精品日本国产第一区| 男女那种视频在线观看| 黄色日韩在线| 久久99精品国语久久久| 亚洲天堂av无毛| 色视频在线一区二区三区| 麻豆乱淫一区二区| 亚洲精品一二三| 一区二区三区精品91| 久久久久久久午夜电影| 精品久久久久久久末码| 男人和女人高潮做爰伦理| 丝瓜视频免费看黄片| 久久久久久久久久久免费av| 国产黄频视频在线观看| 精品一区在线观看国产| 久久久久国产精品人妻一区二区| 涩涩av久久男人的天堂| 久久久久久久久久人人人人人人| 国产极品天堂在线| 男女国产视频网站| 午夜激情福利司机影院| 又黄又爽又刺激的免费视频.| 免费看光身美女| 欧美精品一区二区大全| 九色成人免费人妻av| 午夜福利视频1000在线观看| 又爽又黄无遮挡网站| 在线播放无遮挡| 22中文网久久字幕| 国产男人的电影天堂91| 久久久久网色| 少妇的逼水好多| 国产老妇女一区| 欧美精品国产亚洲| 人妻少妇偷人精品九色| 亚洲丝袜综合中文字幕| 亚洲精品,欧美精品| 综合色丁香网| 中文字幕免费在线视频6| 在线a可以看的网站| 午夜日本视频在线| 成人漫画全彩无遮挡| 亚洲精品456在线播放app| 日韩国内少妇激情av| 一区二区av电影网| 亚洲国产最新在线播放| 精品人妻一区二区三区麻豆| 欧美日韩综合久久久久久| 97超视频在线观看视频| 听说在线观看完整版免费高清| 在线免费十八禁| 欧美激情国产日韩精品一区| 国产精品av视频在线免费观看| 91在线精品国自产拍蜜月| 高清在线视频一区二区三区| 午夜福利高清视频| 精品一区二区免费观看| 男人和女人高潮做爰伦理| 国产高清三级在线| 国产av码专区亚洲av| 亚洲国产欧美人成| 精品一区二区三区视频在线| 日韩一区二区视频免费看| 日日啪夜夜撸| 国产成人a∨麻豆精品| 久久久a久久爽久久v久久| 美女脱内裤让男人舔精品视频| 国内揄拍国产精品人妻在线| av一本久久久久| 天堂俺去俺来也www色官网| 十八禁网站网址无遮挡 | 男男h啪啪无遮挡| av在线老鸭窝| av在线观看视频网站免费| 99久久中文字幕三级久久日本| 国产高清有码在线观看视频| 免费观看性生交大片5| 欧美性感艳星| 国产精品秋霞免费鲁丝片| 久久99精品国语久久久| 国产午夜福利久久久久久| 日本三级黄在线观看| 三级国产精品片| 欧美变态另类bdsm刘玥| 3wmmmm亚洲av在线观看| 国产免费一区二区三区四区乱码| 欧美成人精品欧美一级黄| 在线a可以看的网站| 国产精品一及| 日韩成人av中文字幕在线观看| 69av精品久久久久久| 精品久久久噜噜| 2021天堂中文幕一二区在线观| 国产成人a区在线观看| 久久久久久九九精品二区国产| 一级a做视频免费观看| 国产精品久久久久久精品古装| 伦精品一区二区三区| 亚洲综合色惰| 亚洲va在线va天堂va国产| 中文字幕制服av| 中国美白少妇内射xxxbb| 91午夜精品亚洲一区二区三区| 日韩av不卡免费在线播放| 深爱激情五月婷婷| videos熟女内射| 2021天堂中文幕一二区在线观| 久久影院123| videos熟女内射| 午夜日本视频在线| 男男h啪啪无遮挡| 午夜免费观看性视频| 少妇被粗大猛烈的视频| 日本一二三区视频观看| 日韩视频在线欧美| 哪个播放器可以免费观看大片| 色播亚洲综合网| 丝袜喷水一区| 街头女战士在线观看网站| 亚洲婷婷狠狠爱综合网| 欧美变态另类bdsm刘玥| 少妇被粗大猛烈的视频| 久久久久精品性色| 久久鲁丝午夜福利片| 国产男人的电影天堂91| 国产一级毛片在线| 国产免费一级a男人的天堂| 国产综合精华液| 夜夜爽夜夜爽视频| eeuss影院久久| 丝袜脚勾引网站| h日本视频在线播放| 一级毛片 在线播放| 国产精品一二三区在线看| 欧美三级亚洲精品| 国产成人精品婷婷| 精品99又大又爽又粗少妇毛片| 国产av码专区亚洲av| 99九九线精品视频在线观看视频| 亚洲精品国产av蜜桃| 成人毛片a级毛片在线播放| 毛片一级片免费看久久久久| 亚洲av中文字字幕乱码综合| 国产极品天堂在线| 春色校园在线视频观看| 亚洲,欧美,日韩| 国产男人的电影天堂91| 久久久久久久国产电影| 欧美精品人与动牲交sv欧美| 91久久精品国产一区二区成人| 国产免费视频播放在线视频| 国产淫语在线视频| 免费观看a级毛片全部| 国产精品嫩草影院av在线观看| 80岁老熟妇乱子伦牲交| 亚洲美女视频黄频| 国产片特级美女逼逼视频| 亚洲欧美日韩东京热| 日韩制服骚丝袜av| 性色av一级| 日本黄大片高清| 日韩强制内射视频| 亚洲国产精品国产精品| 91aial.com中文字幕在线观看| av国产久精品久网站免费入址| 午夜精品一区二区三区免费看| 汤姆久久久久久久影院中文字幕| 观看美女的网站| 亚洲国产精品国产精品| 男人舔奶头视频| 日韩成人av中文字幕在线观看| 亚洲精品一区蜜桃| 街头女战士在线观看网站| 中文乱码字字幕精品一区二区三区| 在线播放无遮挡| xxx大片免费视频| 伊人久久国产一区二区| 国产精品成人在线| 国产人妻一区二区三区在| 人体艺术视频欧美日本| 亚洲av电影在线观看一区二区三区 | 亚洲精品中文字幕在线视频 | 欧美日韩视频精品一区| 久久午夜福利片| 免费看光身美女| 最近最新中文字幕免费大全7| 最近的中文字幕免费完整| 天堂中文最新版在线下载 | 大香蕉97超碰在线| 少妇高潮的动态图| 免费大片18禁| 国产探花在线观看一区二区| 国产永久视频网站| 嫩草影院入口| 伦精品一区二区三区| 国产国拍精品亚洲av在线观看| 久久久久久久国产电影| 两个人的视频大全免费| av卡一久久| 国产成人freesex在线| 美女xxoo啪啪120秒动态图| 另类亚洲欧美激情| 亚洲欧洲日产国产| 日韩视频在线欧美| 免费不卡的大黄色大毛片视频在线观看| 国产一级毛片在线| 亚洲精品,欧美精品| 免费黄色在线免费观看| 日韩av不卡免费在线播放| 老司机影院成人| 精品熟女少妇av免费看| 插阴视频在线观看视频| 精品酒店卫生间| 日韩成人av中文字幕在线观看| 国产高清三级在线| 九九久久精品国产亚洲av麻豆| 女人被狂操c到高潮| 久久热精品热| 色播亚洲综合网| 欧美变态另类bdsm刘玥| 久久久精品94久久精品| 国产成人午夜福利电影在线观看| 午夜激情久久久久久久| 国产精品麻豆人妻色哟哟久久| 亚洲欧美精品专区久久| 干丝袜人妻中文字幕| av播播在线观看一区| 免费看av在线观看网站| av播播在线观看一区| 女人被狂操c到高潮| 日本午夜av视频| 中文字幕免费在线视频6| 欧美bdsm另类| 亚洲不卡免费看| 精品久久久久久电影网| 高清在线视频一区二区三区| 日本wwww免费看| 亚洲av在线观看美女高潮| 搡女人真爽免费视频火全软件| 热re99久久精品国产66热6| 91aial.com中文字幕在线观看| 免费黄色在线免费观看| 国内少妇人妻偷人精品xxx网站| 2021少妇久久久久久久久久久| 亚洲色图av天堂| 色视频在线一区二区三区| 十八禁网站网址无遮挡 | 午夜免费男女啪啪视频观看| 国产亚洲最大av| 中国美白少妇内射xxxbb| 亚洲av一区综合| 十八禁网站网址无遮挡 | 国产午夜精品一二区理论片| 精品一区在线观看国产| 国产精品人妻久久久久久| 久久人人爽av亚洲精品天堂 | 成人欧美大片| 久久久国产一区二区| 成人一区二区视频在线观看| 日韩大片免费观看网站| 亚洲久久久久久中文字幕| 亚洲怡红院男人天堂| 亚洲av成人精品一区久久| 丰满人妻一区二区三区视频av| 亚洲精品一区蜜桃| 日韩制服骚丝袜av| 97在线人人人人妻| 七月丁香在线播放| 国产爽快片一区二区三区| 一区二区av电影网| 亚洲精品乱码久久久v下载方式| 91午夜精品亚洲一区二区三区| 亚洲aⅴ乱码一区二区在线播放| 欧美日韩亚洲高清精品| 国产黄色免费在线视频| 热re99久久精品国产66热6| 亚洲精品成人久久久久久| 老司机影院成人| 亚洲真实伦在线观看| 狂野欧美白嫩少妇大欣赏| 国产老妇女一区| 日本一二三区视频观看| 熟女av电影| 色视频在线一区二区三区| 人妻 亚洲 视频| 舔av片在线| 日韩电影二区| 亚洲自偷自拍三级|