• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于優(yōu)先級經(jīng)驗回放的SAC強化學習算法

    2021-04-22 09:19:06劉慶強劉鵬云
    吉林大學學報(信息科學版) 2021年2期
    關鍵詞:經(jīng)驗誤差樣本

    劉慶強, 劉鵬云

    (東北石油大學 電氣信息工程學院, 黑龍江 大慶 163318)

    0 引 言

    相對于有監(jiān)督學習需要人工標注數(shù)據(jù)集標簽進行學習, 強化學習算法通過自行與環(huán)境(Environment)交互, 嘗試最大化從環(huán)境中得到的獎勵(Reward)獲得最優(yōu)的策略。在DQN(Deep Q-Learning)算法[1]之后, 強化學習與深度神經(jīng)網(wǎng)絡相結合, 使強化學習算法能處理更復雜, 維度更高的問題, 其表現(xiàn)效果得到了迅速提升, 并在圍棋[2-3]、 游戲[4-5]、 投資交易[6-8]、 推薦系統(tǒng)[9-10]以及導航規(guī)劃[11-12]上得到了廣泛應用。

    強化學習算法[13]總體可被分為三大類: Actor方法, Critic方法和Actor-Critic方法。Actor方法直接嘗試學習出最優(yōu)決策過程; Critic方法通過評估當前狀態(tài)采取不同動作可得到的累計回報期望, 選擇期望最大的動作間接學習最優(yōu)策略; Actor-Critic是兩種算法的結合, 算法的Critic部分學習以更好的誤差擬合值函數(shù), Actor與環(huán)境交互并根據(jù)Critic的反饋迭代自身參數(shù), 嘗試學習出最優(yōu)策略。

    近期, 深度強化學習領域獲得了顯著的研究進展, OpenAI提出基于隱式課程學習模式[14]的強化學習算法, 使智能體可以不斷找到新任務, 學習新策略。Mendonca等[15]提出基于監(jiān)督學習的元強化學習算法, 能有效幫助探索, 利于在稀疏獎勵環(huán)境中有效學習。Efroni等[16]提出基于有限時域前瞻策略(Finite-Horizon Lookahead Policies)的強化學習算法, 利用最佳樹路徑返回值備份根節(jié)點后代值, 取得了良好的效果。Ciosek等[17]提出OAC(Optimistic Actor Critic)算法, 使用兩個置信區(qū)間估計value值, 高的指導探索, 低的防止過擬合。Haarnoja等[18]提出SAC(Soft Actor Critic)算法, 通過引入最大熵增強了Actor Critic算法的探索能力和穩(wěn)定性, 并在隨后的升級算法[19]中加入了熵權重的自動調(diào)整, 在訓練前期熵部分的權重較大, 引導Agent更主動探索環(huán)境, 并在后期逐漸衰減熵的權重, 讓Agent收斂更加穩(wěn)定。

    針對SAC算法中經(jīng)驗池所有樣本都以等概率隨機采樣, 忽略不同樣本具有不同重要性的信息, 造成訓練速度慢, 訓練過程不穩(wěn)定的缺點, 筆者提出基于優(yōu)先級經(jīng)驗采樣的SAC算法(PER-SAC: Prioritized Experience Replay Soft Actor Critic), 通過在訓練過程中引入優(yōu)先級經(jīng)驗采樣機制, 同時根據(jù)Critic和Actor的誤差計算TD(Temporal-Difference)誤差, 使TD誤差較大的樣本有更大的概率被采樣及訓練, 并使網(wǎng)絡優(yōu)先訓練估值誤差較大和策略表現(xiàn)不好的樣本。實驗結果表明, 所提PER-SAC(Prioritized Experience Replay Soft Actor Critic)算法訓練效率和穩(wěn)定性相較于原始SAC算法有明顯提升, 具有較好的性能。

    1 強化學習, SAC算法及優(yōu)先經(jīng)驗回放

    1.1 強化學習

    (1)

    其動作值Qπ(s,a)=E[Rt|st=s,a], 則最優(yōu)策略為始終選擇當前狀態(tài)下Q值最大的動作, 可表示為

    (2)

    通過Bellman方程迭代動作值函數(shù)可表示為

    Q*(st,at)=E[rt+γmaxQ*(st+1,at+1)]

    (3)

    在引入深度神經(jīng)網(wǎng)絡后, 強化學習算法中動作值函數(shù)Q和狀態(tài)值函數(shù)V都可以使用多層神經(jīng)網(wǎng)絡近似, 深度神經(jīng)網(wǎng)絡理論上可以擬合任意復雜度的函數(shù), 該特性使強化學習算法能被用于解決更加復雜的控制和決策問題。但神經(jīng)網(wǎng)絡具備的“黑盒”復雜特性, 也使深度強化學習算法面臨訓練效率低, 穩(wěn)定性差, 對超參數(shù)敏感等問題。

    1.2 SAC算法

    SAC算法通過在原有的直接最大化獎勵期望的基礎上, 引入了最大熵, 此時算法的目標變成同時最大化獎勵期望和熵, 可表示如下

    (4)

    其中H是策略π在狀態(tài)st時的動作的熵,α是權重系數(shù)。通過引入熵鼓勵策略探索更多動作, 與PPO(Proximal Policy Optimization)[20], A3C(Asynchronous Advantage Actor-Critic)[21]等算法將動作熵作為正則項不同, SAC直接將最大化熵內(nèi)置于目標函數(shù)中。SAC算法分為2部分: 策略評估和策略提升。

    策略評估。SAC算法定義SoftQ值如下

    Qsoft(st,at)=r(st,at)+γE[Vsoft(st+1)]

    (5)

    Soft版本狀態(tài)值函數(shù)V定義如下

    Vsoft(st)=E[Q(st,at)]-logπ(at|st)

    (6)

    策略提升。使用KL散度(Kullback-Leibler Divergence)優(yōu)化策略

    (7)

    其中Zπold(st)是歸一化分布配分函數(shù)。策略πφ的輸出是一個概率分布, SAC算法中使用了重參數(shù)技巧(Reparameterization Trick), 將策略πφ重新定義為

    at=fφ(εt;st)

    (8)

    其中εt是重參數(shù)技巧中隨機變量。根據(jù)上述定義, 訓練過程中, Soft Q函數(shù)的更新梯度為

    (9)

    φJπ(φ)=φlogπφ(at,st)+(atlogπφ(at,st)-atQ(at,st))φfφ(εt;st)

    (10)

    SAC算法還支持自動調(diào)整熵的溫度系數(shù)α, 算法初始溫度系數(shù)較大, 鼓勵智能體進行探索, 隨著智能體慢慢收斂, 溫度系數(shù)能自適應衰減。

    1.3 優(yōu)先經(jīng)驗回放

    SAC算法訓練時, 隨機從經(jīng)驗池(Replay Buffer)中抽取一批樣本訓練, 不同樣本間被選中的概率相等。優(yōu)先經(jīng)驗回放通過賦予更重要的樣本較大的權重, 訓練采樣時權重較大的樣本能以更大的概率被抽取到, 因此, 如何確定樣本的權重是關鍵問題。強化學習算法通過TD誤差衡量算法修正幅度, TD誤差的絕對值越大, 說明該樣本對網(wǎng)絡的校正效果越大。另外, TD誤差較大的樣本, 可能是該狀態(tài)出現(xiàn)的次數(shù)較少, 智能體對該狀態(tài)不熟悉故而表現(xiàn)不佳, 提高此類樣本的出現(xiàn)概率能提高樣本利用率, 加快智能體的學習速度。在優(yōu)先級經(jīng)驗回放DQN[22]算法中, TD誤差δj定義為

    δj=r(st,at)+λQ′(st+1,at+1)-Q(st,at)

    (11)

    其中Q,Q′分別是Q網(wǎng)絡和targetQ網(wǎng)絡。樣本j的采樣概率

    (12)

    其中參數(shù)λ是優(yōu)先級控制系數(shù),δj是樣本j的權重系數(shù)。使用概率采樣機制能保證TD誤差較小的樣本仍然可以被采樣, 保證了算法訓練時樣本的多樣性。優(yōu)先級回放改變了樣本的采樣頻率, 因此需要引入重要性采樣更新樣本計算梯度時的誤差權重

    (13)

    2 基于優(yōu)先經(jīng)驗回放的SAC算法

    PER-SAC算法通過將優(yōu)先經(jīng)驗回放機制引入SAC算法提高算法的訓練速度和穩(wěn)定性。算法在訓練時, 不再以等概率隨機從經(jīng)驗池中抽取數(shù)據(jù), 而是給重要的樣本更大的權重, 增大其被采樣概率, 同時隨著訓練的進行, 動態(tài)調(diào)整不同樣本的權重, PER-SAC算法定義樣本權重為樣本訓練時的TD誤差。

    2.1 綜合全網(wǎng)絡誤差

    值得注意的是, 在優(yōu)先級經(jīng)驗回放DQN算法中只有一個Q網(wǎng)絡, 其TD誤差的計算方式也僅為單個Q網(wǎng)絡的誤差統(tǒng)計。而SAC算法為了減少值函數(shù)的估計偏差, 提高訓練穩(wěn)定性, 使用了兩個Q網(wǎng)絡, 訓練時使用較小的Q值用于梯度計算, 加上策略π網(wǎng)絡, SAC算法一共有3個網(wǎng)絡, 分別為Q1,Q2,π網(wǎng)絡。PER-SAC算法中的TD誤差因此需要同時考慮3個網(wǎng)絡的誤差, 一個簡單的方式是將3個誤差直接相加

    δj=abs(Td(Q1))+abs(Td(Q2))+abs(Td(π))

    (14)

    2.2 帶調(diào)整系數(shù)的綜合TD誤差

    直接將3個網(wǎng)絡各自的絕對誤差相加得到一個總誤差。但由于Q網(wǎng)絡與策略π網(wǎng)絡的輸出意義有著本質(zhì)區(qū)別:Q網(wǎng)絡的輸出是對當前狀態(tài)采取動作后得到累計回報的期望, 該值因不同環(huán)境差異很大, 通常遠大于1。而策略π網(wǎng)絡的輸出是當前環(huán)境Agent采取不同動作的概率, 概率值不超過1。直接將3個網(wǎng)絡的誤差絕對值相加將導致策略π網(wǎng)絡的誤差部分對總體誤差評估的影響較小, 降低算法的性能。PER-SAC算法通過在策略π網(wǎng)絡的誤差部分引入調(diào)整參數(shù)β將其適當放大, 解決了這個問題, 引入調(diào)整參數(shù)β后的總TD誤差計算方法為

    δj=abs(Td(Q1))+abs(Td(Q2))+βabs(Td(π))

    (15)

    在PER-SAC算法中, 前期探索階段時網(wǎng)絡還未訓練, 因此誤差信息未知, 默認設置所有樣本TD誤差為1, 此時算法退化為原始SAC算法。當網(wǎng)絡開始從經(jīng)驗池抽取樣本訓練時, 以TD誤差值統(tǒng)計每個樣本的被采樣概率。當某個批次樣本訓練完成后, 將其最新的TD誤差更新回經(jīng)驗池。隨著訓練進行, 整個經(jīng)驗池的樣本的TD誤差都將被替換為真實的TD誤差, 能最大程度發(fā)揮算法性能。圖1給出了PER-SAC算法的結構及訓練流程圖, 在探索階段Policy與環(huán)境交互得到樣本并存儲至經(jīng)驗池, 并將TD誤差設置為1。當經(jīng)驗池樣本滿足訓練要求后算法即可開始訓練; 以TD誤差統(tǒng)計各樣本的采樣概率進行采樣。Q1和Q2分別計算其TD誤差并更新梯度; 為降低訓練偏差, 使用較小的Q值計算策略網(wǎng)絡的誤差; 根據(jù)式(15)計算總的TD誤差, 并更新經(jīng)驗池中對應樣本的TD誤差。

    PER-SAC算法的結構如圖1所示。PER-SAC算法首先使用Actor與環(huán)境交互, 并通過重參數(shù)引入隨機噪聲加大網(wǎng)絡對新狀態(tài)和動作的探索力度, 然后將樣本存儲至經(jīng)驗池中。在訓練階段, 算法從經(jīng)驗池中根據(jù)權重進行概率采樣, 更新兩個Critic網(wǎng)絡的參數(shù), 同時選取輸出值較小的Q網(wǎng)絡指導Policy網(wǎng)絡更新。最終根據(jù)3個網(wǎng)絡的誤差重新計算TD誤差, 并將其更新至經(jīng)驗池中對應的樣本。

    圖1 PER-SAC算法網(wǎng)絡結構圖Fig.1 PER_SAC algorithm network structure diagram

    PER-SAC算法步驟如下。

    2) for each iteration do

    3) for each environment step do

    4) 根據(jù)狀態(tài)st, 策略πφ采樣得到動作at

    5) 執(zhí)行動作at, 獲得立即獎勵rt和下一狀態(tài)st+1

    6) 將經(jīng)驗樣本(st,at,rt,st+1)存入經(jīng)驗池B中, 樣本的TD誤差初始化為1

    7) 在經(jīng)驗池B, 根據(jù)樣本的TD誤差歸一化作為概率pj進行樣本采樣用于訓練

    8) end for

    9) for each gradient step do

    10) 更新Critic網(wǎng)絡參數(shù)

    θi←θi-λθiJQ(θi) fori∈{1,2}

    11) 更新Policy網(wǎng)絡參數(shù)

    φ←φ-λπφJπ(φ)

    12) 更新溫度系數(shù)α←α-λαJ(α)

    13) 計算各個樣本的TD誤差, 更新到經(jīng)驗池B

    14) 更新各個target網(wǎng)絡參數(shù)

    15) end For

    16) end For

    3 實 驗

    為驗證PER-SAC算法對比SAC算法的優(yōu)越性, 在2個不同的連續(xù)強化學習訓練環(huán)境分別進行訓練與測試, 并繪圖觀察兩種算法在訓練及測試中不同網(wǎng)絡的誤差更正情況。為了顯示算法對優(yōu)化算法的魯棒性及對比其他強化學習算法的優(yōu)越性, 在不同優(yōu)化算法和環(huán)境中, 將PER-SAC算法與雙延遲確定性策略算法(TD3: Twin Delayed Deep Deterministic policy), DDPG(Deep Deterministic Policy Gradient), SAC(Soft Actor Critic)算法進行了實驗比較。實驗證明PER-SAC算法在收斂速度, 訓練穩(wěn)定性, 智能體測試期間表現(xiàn)上均具有優(yōu)異的表現(xiàn)。

    3.1 實驗環(huán)境

    筆者分別選擇強化學習Gym的鐘擺環(huán)境(Pendulum-v0)和小車爬山環(huán)境(Mountain Car Continuous), 在不同的任務環(huán)境, 優(yōu)化算法下分別將PER-SAC算法與SAC算法進行對比。實驗使用的操作系統(tǒng)為Win10, 使用Python 3.7語言開發(fā), Pytorch1.3-CPU版本搭建神經(jīng)網(wǎng)絡及訓練。

    鐘擺環(huán)境(Pendulum-v0)是一個經(jīng)典的強化學習訓練和評估環(huán)境,圖2給出了鐘擺環(huán)境圖。 該環(huán)境的目標是將鐘擺保持垂直向上的姿態(tài), 智能體需要通過觀察鐘擺的角速度、 正弦、 余弦值, 同時輸出[-2, 2]間的連續(xù)值控制電機扭矩。

    小車爬山環(huán)境也是一個連續(xù)空間的強化學習環(huán)境,圖3給出了小車爬山環(huán)境圖。該環(huán)境是一個一維的山坡, 目標是控制一輛動力不足的小車爬山坡, 小車自身動力無法直接完成該任務, 因此需要控制小車反復助跑蓄力沖上山坡, 在到達山頂前環(huán)境每一步的獎勵反饋都是-1。該環(huán)境中智能體需要觀察小車的位置和速度, 并輸出[-1,1]間的連續(xù)值控制小車前進后退的力度。

    圖2 鐘擺環(huán)境 圖3 小車爬山環(huán)境Fig.2 Pendulum environment Fig.3 Mountain car environment

    3.2 實驗參數(shù)

    為對比PER-SAC算法的改進效果, PER-SAC算法的參數(shù)與SAC算法完全一致, 實驗部分環(huán)境將分別嘗試鐘擺環(huán)境和小車爬山環(huán)境; 優(yōu)化算法分別嘗試Adam和SGD。同時與TD3和DDPG算法進行了對比試驗, 其他實驗參數(shù)為SAC算法默認參數(shù)(見表1)。

    表1 實驗參數(shù)設置Tab.1 Experimental parameter setting

    3.3 實驗結果與分析

    與有監(jiān)督學習算法直接計算預測值與標簽值衡量模型效果的方法不同, 強化學習以自身與環(huán)境不斷探索試錯逐步迭代出更優(yōu)決策模型, 筆者將分別從Critic誤差, Actor的誤差及回合的累計獎勵等角度評價算法性能。

    圖4給出了在鐘擺環(huán)境下, 采用Adam優(yōu)化算法, 批次大小設置為32時PER-SAC算法(綠色)與SAC(橙色)在訓練及測試期間的表現(xiàn)情況。由圖4a可以看出, 在整個訓練過程中, PER-SAC的Q1網(wǎng)絡的估計誤差收斂比SAC算法更迅速, 更穩(wěn)定。在訓練至15 000次時PER-SAC算法的Q1誤差已經(jīng)接近1, 而SAC算法的Q1誤差表現(xiàn)得更為震蕩且紊亂, 在訓練至15 000次時誤差震蕩上升至接近10。造成Q1和Q2網(wǎng)絡訓練誤差先由小變大再由大變小的原因主要為網(wǎng)絡隨機初始化時神經(jīng)元參數(shù)都比較小。隨著訓練參數(shù)逐漸增大, 其輸出值也變大, 由于強化學習算法高方差和高偏差的特性, Critic的誤差也在逐漸增大; 隨著訓練的繼續(xù), Critic對環(huán)境的評估越來越精準, 誤差又逐漸下降, 值函數(shù)逐漸收斂。圖4b中Q2網(wǎng)絡的訓練估計誤差也表現(xiàn)出和Q1類似的特性, 這說明PER-SAC算法的兩個值網(wǎng)絡的訓練效率和穩(wěn)定性都得到了提高。圖4c代表策略網(wǎng)絡在訓練期間的誤差情況, 策略網(wǎng)絡的誤差描述的是策略網(wǎng)絡與值網(wǎng)絡分布的KL散度。在訓練初期由于值網(wǎng)絡和策略網(wǎng)絡參數(shù)都比較小, KL散度的值也比較小。隨著訓練的進行, 值網(wǎng)絡對狀態(tài)的評估更加準確, 此時值網(wǎng)絡與策略網(wǎng)絡的KL散度會逐漸增大, 然而隨著策略網(wǎng)絡在不斷根據(jù)KL散度的反饋迭代參數(shù), 策略網(wǎng)絡與值網(wǎng)絡之間的KL散度接著又會逐漸減小, 在總體訓練期間策略誤差表現(xiàn)出先增大后減小。由圖4c可觀察出PER-SAC算法的策略誤差收斂更加迅速, 加入優(yōu)先經(jīng)驗回放使策略網(wǎng)絡修正誤差更加迅速, 同時由于PER-SAC算法的2個Q網(wǎng)絡收斂比SAC算法更加快速穩(wěn)定, 其對策略網(wǎng)絡的梯度反饋在全局角度也更加精確, 能減少策略網(wǎng)絡無意義的更新次數(shù), 這使PER-SAC算法的策略的收斂效率相比于SAC算法有了較大提升。圖4d和圖4e分別代表了算法在訓練期間的回合累計獎勵, PER-SAC算法的表現(xiàn)優(yōu)于SAC算法, 不僅增長更快速而且更加穩(wěn)定。圖4f表示熵的權重(溫度系數(shù))在訓練期間的衰減情況, 總體兩個算法都能使溫度系數(shù)保持穩(wěn)定的衰減, 利于策略的收斂, 引入優(yōu)先經(jīng)驗回放并不會明顯影響該過程。

    圖4 PER-SAC與SAC在訓練及測試期間誤差收斂及獎勵增長情況Fig.4 Error convergence and reward growth of PER-SAC and SAC during training and testing

    表2給出了在兩個環(huán)境, 不同的優(yōu)化算法下, PER-SAC與其他3個比較算法在訓練15 000步的測試表現(xiàn), 采用的指標是指數(shù)平滑后的回合累計獎勵, 采用指數(shù)平滑的方式能綜合策略前面的回合的表現(xiàn), 降低隨機干擾。表格前兩行是鐘擺環(huán)境下的算法表現(xiàn), 在Adam優(yōu)化算法下, TD3,DDPG與SAC算法的表現(xiàn)較為接近, 在-700~-800范圍內(nèi)波動, 而PER-SAC算法表現(xiàn)明顯優(yōu)于前幾個算法, 達到了-259.2。而在SGD優(yōu)化算法中, SAC與PER-SAC算法較為接近, 而TD3與DDPG算法表現(xiàn)則差于Adam算法的結果。在小車爬山連續(xù)環(huán)境中, 無論在Adam還是SGD環(huán)境下, 4個算法均未能爬到山頂, 而選擇了降低油耗的策略, 但通過其獎勵仍然能反映出算法收斂的速度。TD3與DDPG算法在2種優(yōu)化算法下的獎勵均小于-2, 而SAC算法與PER-SAC算法均大于-1。在所有的試驗中, SAC類算法表現(xiàn)都優(yōu)于TD3和DDPG算法, 證明其最大熵策略的有效性。本次實驗設置的步數(shù)為15 000, 相對普通強化學習實驗的次數(shù)更低, 更能體現(xiàn)算法前期的收斂性能與學習速度, 而PER-SAC算法表現(xiàn)均優(yōu)于SAC算法, 說明引入優(yōu)先級回放機制能給SAC算法帶來穩(wěn)定的性能提升, 證明了PER-SAC算法的有效性。

    表2 算法在不同環(huán)境及配置下訓練最終回合平滑累計獎勵(平滑系數(shù)為0.8)Tab.2 Cumulative reward of algorithm training in different environments and configurations (smoothing coefficientis 0.8)

    4 結 語

    筆者提出了PER-SAC算法, 通過將優(yōu)先級經(jīng)驗回放機制引入SAC算法, 提升了算法的訓練速度和穩(wěn)定性, 并在不同環(huán)境, 不同優(yōu)化算法等情況下與其他強化學習算法做了對比實驗, 驗證了所提算法的有效性。PER-SAC算法在衡量樣本優(yōu)先級時, 直接將3個網(wǎng)絡的TD誤差的絕對值相加, 樣本重要性的評估方式較為簡單, 引入的訓練信息不夠充分, 下一步的研究方向可以考慮引入更多環(huán)境獎勵信息或訓練信息幫助更好地評估樣本優(yōu)先級, 進一步優(yōu)化算法訓練性能。

    猜你喜歡
    經(jīng)驗誤差樣本
    2021年第20期“最值得推廣的經(jīng)驗”評選
    黨課參考(2021年20期)2021-11-04 09:39:46
    用樣本估計總體復習點撥
    角接觸球軸承接觸角誤差控制
    哈爾濱軸承(2020年2期)2020-11-06 09:22:26
    Beidou, le système de navigation par satellite compatible et interopérable
    經(jīng)驗
    壓力容器制造誤差探究
    2018年第20期“最值得推廣的經(jīng)驗”評選
    黨課參考(2018年20期)2018-11-09 08:52:36
    推動醫(yī)改的“直銷樣本”
    隨機微分方程的樣本Lyapunov二次型估計
    九十億分之一的“生死”誤差
    山東青年(2016年2期)2016-02-28 14:25:41
    寂寞人妻少妇视频99o| 午夜久久久久精精品| 国产一区二区亚洲精品在线观看| 国产高清三级在线| 色哟哟·www| 大型黄色视频在线免费观看| 淫妇啪啪啪对白视频| 国产亚洲精品久久久com| 国产精品,欧美在线| 午夜福利高清视频| 国产在线男女| 久久久久性生活片| 亚洲性夜色夜夜综合| 亚洲自拍偷在线| 国内精品一区二区在线观看| 尤物成人国产欧美一区二区三区| 欧美成人a在线观看| 亚洲精品色激情综合| 国产精品久久久久久亚洲av鲁大| 亚洲性久久影院| 校园春色视频在线观看| 高清毛片免费观看视频网站| 国产黄a三级三级三级人| 男女啪啪激烈高潮av片| 国产色爽女视频免费观看| 日本欧美国产在线视频| 村上凉子中文字幕在线| 99热精品在线国产| 麻豆成人午夜福利视频| 亚洲国产欧美人成| 22中文网久久字幕| 免费一级毛片在线播放高清视频| 18禁在线无遮挡免费观看视频 | 嫩草影视91久久| 少妇的逼水好多| 在现免费观看毛片| 成人特级av手机在线观看| 亚洲精品日韩av片在线观看| 国语自产精品视频在线第100页| 久久草成人影院| 人人妻人人澡欧美一区二区| 日本熟妇午夜| 亚洲第一电影网av| 日本一二三区视频观看| 国产国拍精品亚洲av在线观看| 中文字幕av成人在线电影| 国产伦在线观看视频一区| 99热这里只有精品一区| 精品久久久久久久末码| 久久人人爽人人爽人人片va| 亚洲精品日韩在线中文字幕 | 美女 人体艺术 gogo| 亚洲精品粉嫩美女一区| 2021天堂中文幕一二区在线观| 在线观看66精品国产| 国产在线精品亚洲第一网站| 中文字幕精品亚洲无线码一区| 淫秽高清视频在线观看| 一a级毛片在线观看| 欧美区成人在线视频| av在线老鸭窝| 在线免费十八禁| 综合色丁香网| 在线观看一区二区三区| 精品福利观看| 男女那种视频在线观看| 麻豆av噜噜一区二区三区| 69人妻影院| 在线免费观看的www视频| 国产三级在线视频| 伊人久久精品亚洲午夜| 国产乱人偷精品视频| 国产欧美日韩一区二区精品| 欧美zozozo另类| 91在线精品国自产拍蜜月| 搡老岳熟女国产| 日本成人三级电影网站| 午夜视频国产福利| 亚洲精品456在线播放app| 免费人成视频x8x8入口观看| АⅤ资源中文在线天堂| 国产成人freesex在线 | 成人永久免费在线观看视频| 男人和女人高潮做爰伦理| 少妇人妻一区二区三区视频| 干丝袜人妻中文字幕| 日韩欧美免费精品| 18禁黄网站禁片免费观看直播| 看十八女毛片水多多多| 成人美女网站在线观看视频| 成年av动漫网址| 精品人妻熟女av久视频| 亚洲欧美日韩卡通动漫| 波多野结衣高清作品| 国产精品无大码| 亚洲电影在线观看av| 亚洲av中文字字幕乱码综合| 国产精品久久久久久久久免| 国产亚洲精品久久久com| 黄色视频,在线免费观看| 精品国产三级普通话版| 国产精品一区二区性色av| 搡老熟女国产l中国老女人| 欧美国产日韩亚洲一区| 人妻少妇偷人精品九色| 久久午夜福利片| 国产国拍精品亚洲av在线观看| 最新中文字幕久久久久| av天堂在线播放| 女同久久另类99精品国产91| 亚洲三级黄色毛片| 一级av片app| 好男人在线观看高清免费视频| 久久精品综合一区二区三区| 久久精品国产自在天天线| 亚洲人成网站在线播放欧美日韩| a级一级毛片免费在线观看| 日本黄色片子视频| 亚洲va在线va天堂va国产| 免费高清视频大片| 少妇被粗大猛烈的视频| 国产亚洲精品久久久久久毛片| 小蜜桃在线观看免费完整版高清| 成人毛片a级毛片在线播放| 免费人成在线观看视频色| 极品教师在线视频| 一边摸一边抽搐一进一小说| 噜噜噜噜噜久久久久久91| 国产成人91sexporn| 日韩人妻高清精品专区| 看十八女毛片水多多多| 精品一区二区三区av网在线观看| 欧美色欧美亚洲另类二区| 男插女下体视频免费在线播放| 欧美激情在线99| 国产黄色小视频在线观看| 女生性感内裤真人,穿戴方法视频| 丰满的人妻完整版| 免费看a级黄色片| 免费观看在线日韩| 九九在线视频观看精品| 一个人看的www免费观看视频| 亚洲国产精品合色在线| av在线亚洲专区| 麻豆一二三区av精品| 亚洲欧美日韩高清在线视频| 欧美极品一区二区三区四区| 免费在线观看成人毛片| 亚洲人与动物交配视频| 99久久精品国产国产毛片| 国产精品久久视频播放| 嫩草影院新地址| 国产精品精品国产色婷婷| 99九九线精品视频在线观看视频| 九色成人免费人妻av| 亚洲av美国av| 亚洲av免费在线观看| 97超视频在线观看视频| 香蕉av资源在线| 国产伦精品一区二区三区视频9| 欧美bdsm另类| 亚洲乱码一区二区免费版| av中文乱码字幕在线| 欧美一区二区精品小视频在线| 精品人妻熟女av久视频| 亚洲av电影不卡..在线观看| 国产伦在线观看视频一区| 小说图片视频综合网站| 国产精品久久久久久久久免| 六月丁香七月| 日韩av在线大香蕉| 亚洲最大成人av| 俄罗斯特黄特色一大片| 日韩欧美免费精品| 亚洲av一区综合| 一级毛片久久久久久久久女| 免费大片18禁| 天堂动漫精品| 精品久久久久久久久亚洲| 男女啪啪激烈高潮av片| 日本免费一区二区三区高清不卡| 亚洲色图av天堂| 熟妇人妻久久中文字幕3abv| 亚洲欧美日韩高清在线视频| 国产av一区在线观看免费| 亚洲第一电影网av| 蜜桃久久精品国产亚洲av| 免费看日本二区| 中出人妻视频一区二区| 日本黄色片子视频| 乱系列少妇在线播放| 一边摸一边抽搐一进一小说| 亚洲五月天丁香| 中国美女看黄片| 乱系列少妇在线播放| 国产精品一区www在线观看| 久久午夜亚洲精品久久| 午夜精品在线福利| 精品久久国产蜜桃| 免费高清视频大片| 一进一出好大好爽视频| 欧美+亚洲+日韩+国产| 久久热精品热| 国产高清视频在线播放一区| 国产成人精品久久久久久| 你懂的网址亚洲精品在线观看 | 在线观看免费视频日本深夜| 久久久久国产精品人妻aⅴ院| 老熟妇乱子伦视频在线观看| 伦精品一区二区三区| 久久久久久久久中文| 少妇的逼水好多| 午夜免费男女啪啪视频观看 | 少妇熟女欧美另类| 欧美激情在线99| 男女之事视频高清在线观看| 69人妻影院| 久久6这里有精品| 最近视频中文字幕2019在线8| 变态另类丝袜制服| 久久综合国产亚洲精品| 成人午夜高清在线视频| 欧美成人一区二区免费高清观看| 99久久精品国产国产毛片| 国产黄色视频一区二区在线观看 | 看黄色毛片网站| 精品久久久久久久人妻蜜臀av| 久久久久免费精品人妻一区二区| 久久久久国产精品人妻aⅴ院| 黄色日韩在线| 中文亚洲av片在线观看爽| 欧美三级亚洲精品| 日本-黄色视频高清免费观看| 免费观看在线日韩| 老熟妇仑乱视频hdxx| 色在线成人网| 五月伊人婷婷丁香| www.色视频.com| 国产精品,欧美在线| АⅤ资源中文在线天堂| 激情 狠狠 欧美| 一个人观看的视频www高清免费观看| 99riav亚洲国产免费| 国产真实乱freesex| 日本黄色片子视频| 尤物成人国产欧美一区二区三区| 亚洲av成人精品一区久久| 成人精品一区二区免费| 亚洲专区国产一区二区| 日韩一本色道免费dvd| 亚洲精品日韩在线中文字幕 | 伊人久久精品亚洲午夜| 大香蕉久久网| 寂寞人妻少妇视频99o| 欧美日韩精品成人综合77777| 亚洲无线在线观看| 日日干狠狠操夜夜爽| 最近手机中文字幕大全| 日本黄色片子视频| 别揉我奶头 嗯啊视频| 欧美日本视频| 又爽又黄a免费视频| 中文字幕精品亚洲无线码一区| 好男人在线观看高清免费视频| 国产黄色小视频在线观看| 午夜福利在线观看吧| 别揉我奶头~嗯~啊~动态视频| 女人被狂操c到高潮| 国内久久婷婷六月综合欲色啪| 国产精品野战在线观看| 亚洲国产日韩欧美精品在线观看| 亚洲专区国产一区二区| 亚洲精品在线观看二区| 国产伦精品一区二区三区视频9| 99在线人妻在线中文字幕| 91久久精品国产一区二区三区| 91在线精品国自产拍蜜月| 亚洲成人久久爱视频| 欧洲精品卡2卡3卡4卡5卡区| 国产成人a区在线观看| 中文资源天堂在线| 久久鲁丝午夜福利片| 免费在线观看影片大全网站| 亚洲欧美日韩无卡精品| 国产私拍福利视频在线观看| 日韩强制内射视频| 免费人成视频x8x8入口观看| 精品一区二区三区视频在线| 成人二区视频| 久久久a久久爽久久v久久| 在线播放无遮挡| 国产老妇女一区| 国产精品久久久久久亚洲av鲁大| 亚洲欧美成人综合另类久久久 | 久久国内精品自在自线图片| 亚洲欧美日韩高清专用| 99热6这里只有精品| 日本在线视频免费播放| 尾随美女入室| 国语自产精品视频在线第100页| 又粗又爽又猛毛片免费看| 九九久久精品国产亚洲av麻豆| 一级毛片电影观看 | 69av精品久久久久久| 99久国产av精品国产电影| 国产69精品久久久久777片| 亚洲人成网站在线观看播放| 婷婷亚洲欧美| 日本黄色视频三级网站网址| 成人三级黄色视频| 精品久久久久久久久av| 国模一区二区三区四区视频| 国产成人91sexporn| 热99在线观看视频| 精品久久国产蜜桃| 亚洲精品影视一区二区三区av| 非洲黑人性xxxx精品又粗又长| 国产又黄又爽又无遮挡在线| 大香蕉久久网| 午夜福利在线在线| 天堂动漫精品| 夜夜爽天天搞| 99热全是精品| 亚洲丝袜综合中文字幕| 国产精品久久久久久久电影| 一a级毛片在线观看| 亚洲精品国产成人久久av| 久久久久九九精品影院| 午夜精品国产一区二区电影 | 国产精品乱码一区二三区的特点| 人妻夜夜爽99麻豆av| 国产成人91sexporn| 噜噜噜噜噜久久久久久91| 久久国内精品自在自线图片| 欧美另类亚洲清纯唯美| 日韩成人伦理影院| 国产av在哪里看| 日韩欧美三级三区| 天天躁日日操中文字幕| 欧美丝袜亚洲另类| 人妻丰满熟妇av一区二区三区| 婷婷亚洲欧美| 国产精品福利在线免费观看| 亚洲熟妇中文字幕五十中出| 日本a在线网址| 亚洲国产精品成人久久小说 | 毛片女人毛片| 干丝袜人妻中文字幕| 看片在线看免费视频| 夜夜看夜夜爽夜夜摸| 国产 一区精品| 日韩强制内射视频| 亚洲欧美日韩高清专用| 国产综合懂色| 看免费成人av毛片| 婷婷精品国产亚洲av在线| 亚洲av免费在线观看| 97热精品久久久久久| 亚洲在线自拍视频| 国内少妇人妻偷人精品xxx网站| 国产精品av视频在线免费观看| or卡值多少钱| 99久国产av精品国产电影| 精品午夜福利在线看| 亚洲国产欧洲综合997久久,| 综合色丁香网| 简卡轻食公司| 国产av一区在线观看免费| 免费av观看视频| 亚洲中文字幕日韩| 少妇被粗大猛烈的视频| 日本爱情动作片www.在线观看 | 国产精品亚洲美女久久久| 精品熟女少妇av免费看| 草草在线视频免费看| 天美传媒精品一区二区| 久久久久性生活片| 国产亚洲精品av在线| 嫩草影视91久久| 国产精品人妻久久久影院| 一级毛片我不卡| 精品久久久久久久久久久久久| .国产精品久久| 黄片wwwwww| 91久久精品国产一区二区成人| 精品午夜福利视频在线观看一区| 天天一区二区日本电影三级| 最好的美女福利视频网| 久久久久久国产a免费观看| 熟女人妻精品中文字幕| 午夜视频国产福利| 亚洲精品日韩在线中文字幕 | av在线观看视频网站免费| 亚洲最大成人av| 午夜爱爱视频在线播放| 99久久精品一区二区三区| 日本-黄色视频高清免费观看| 亚洲精品色激情综合| 亚洲av免费高清在线观看| 久久久精品大字幕| 欧美最新免费一区二区三区| 国产 一区精品| 国产精品爽爽va在线观看网站| 亚洲国产精品成人久久小说 | 国产美女午夜福利| 欧美高清性xxxxhd video| 俺也久久电影网| 性插视频无遮挡在线免费观看| 欧美激情在线99| 日韩欧美免费精品| 日韩成人av中文字幕在线观看 | 麻豆一二三区av精品| 波野结衣二区三区在线| eeuss影院久久| 99国产精品一区二区蜜桃av| 欧美高清性xxxxhd video| 九九在线视频观看精品| 97超视频在线观看视频| 老司机影院成人| a级一级毛片免费在线观看| 欧美又色又爽又黄视频| 黄色视频,在线免费观看| 免费看日本二区| 国产白丝娇喘喷水9色精品| 亚洲不卡免费看| 精品福利观看| 91麻豆精品激情在线观看国产| 亚洲最大成人手机在线| 成人一区二区视频在线观看| 嫩草影视91久久| 一个人免费在线观看电影| 成年av动漫网址| 高清午夜精品一区二区三区 | 久久热精品热| 黄色视频,在线免费观看| 午夜福利成人在线免费观看| 在线观看66精品国产| 黑人高潮一二区| 日韩 亚洲 欧美在线| 成人永久免费在线观看视频| 最新中文字幕久久久久| 亚洲va在线va天堂va国产| 久久久久久久亚洲中文字幕| 嫩草影视91久久| 91在线精品国自产拍蜜月| 国产精品永久免费网站| 成人av一区二区三区在线看| 亚洲精品国产成人久久av| 欧美成人免费av一区二区三区| 高清午夜精品一区二区三区 | 成人国产麻豆网| 亚洲高清免费不卡视频| 日本一本二区三区精品| 久久精品人妻少妇| 乱人视频在线观看| 欧美高清性xxxxhd video| 高清午夜精品一区二区三区 | 波多野结衣高清无吗| 深爱激情五月婷婷| 精品日产1卡2卡| 免费无遮挡裸体视频| 日日撸夜夜添| 最近2019中文字幕mv第一页| 日日摸夜夜添夜夜添av毛片| 在线观看一区二区三区| 久久久久国内视频| 成人一区二区视频在线观看| 亚洲精品日韩在线中文字幕 | 99热只有精品国产| 中文字幕精品亚洲无线码一区| 亚洲电影在线观看av| 国产不卡一卡二| 日本一二三区视频观看| 午夜免费男女啪啪视频观看 | 久久精品国产亚洲网站| 国内精品一区二区在线观看| 国产男人的电影天堂91| 99热这里只有是精品在线观看| 日本成人三级电影网站| 亚洲精品国产成人久久av| 中文字幕免费在线视频6| 国产午夜福利久久久久久| 成人漫画全彩无遮挡| 精品久久久久久久久久久久久| 日韩人妻高清精品专区| 日日摸夜夜添夜夜爱| 最近2019中文字幕mv第一页| 熟妇人妻久久中文字幕3abv| 美女黄网站色视频| aaaaa片日本免费| 小说图片视频综合网站| 亚洲最大成人av| 国产精品永久免费网站| 中文字幕av成人在线电影| 69av精品久久久久久| 啦啦啦观看免费观看视频高清| 久久国产乱子免费精品| 免费观看的影片在线观看| 国产成人一区二区在线| 深夜精品福利| 国产精品久久久久久久久免| 亚洲成人久久性| 91在线精品国自产拍蜜月| 真实男女啪啪啪动态图| 亚洲欧美日韩无卡精品| 亚洲最大成人手机在线| 国产精品乱码一区二三区的特点| 97超视频在线观看视频| 亚洲一区高清亚洲精品| 国产一级毛片七仙女欲春2| 深爱激情五月婷婷| 99热这里只有是精品50| 亚洲国产精品sss在线观看| 春色校园在线视频观看| 久久久久久久久久成人| 在线免费观看的www视频| 干丝袜人妻中文字幕| 国产成人精品久久久久久| 搡老妇女老女人老熟妇| 小蜜桃在线观看免费完整版高清| 九九久久精品国产亚洲av麻豆| 国产成人aa在线观看| 国产黄片美女视频| 成人特级av手机在线观看| 亚洲国产精品久久男人天堂| 少妇高潮的动态图| 亚洲内射少妇av| 久久久久精品国产欧美久久久| 人人妻人人澡欧美一区二区| 国产精华一区二区三区| 久久精品国产亚洲av涩爱 | 嫩草影视91久久| 18禁在线无遮挡免费观看视频 | 日本精品一区二区三区蜜桃| 午夜福利成人在线免费观看| 国产乱人视频| 春色校园在线视频观看| 欧美绝顶高潮抽搐喷水| 久久精品影院6| 亚洲第一电影网av| 国产午夜精品久久久久久一区二区三区 | av天堂中文字幕网| 国产精品女同一区二区软件| 国产探花在线观看一区二区| 亚洲美女视频黄频| 麻豆av噜噜一区二区三区| 欧美一区二区精品小视频在线| 国产亚洲欧美98| 国产亚洲精品久久久久久毛片| 精品免费久久久久久久清纯| 成人精品一区二区免费| 国产精品人妻久久久影院| 老司机福利观看| 日本与韩国留学比较| 老司机影院成人| 国产老妇女一区| 日日干狠狠操夜夜爽| 午夜免费男女啪啪视频观看 | 精品99又大又爽又粗少妇毛片| 2021天堂中文幕一二区在线观| 少妇人妻精品综合一区二区 | 精品人妻一区二区三区麻豆 | 97在线视频观看| 国产精品一区二区免费欧美| 国产精品av视频在线免费观看| 一级av片app| 最好的美女福利视频网| 一进一出抽搐动态| 成人av一区二区三区在线看| 国产成人影院久久av| 亚洲精品一卡2卡三卡4卡5卡| 搡老妇女老女人老熟妇| 国产精品不卡视频一区二区| 亚洲熟妇熟女久久| 国产色婷婷99| 精品午夜福利在线看| 亚洲人成网站高清观看| 一进一出好大好爽视频| 欧美国产日韩亚洲一区| 一区福利在线观看| 一卡2卡三卡四卡精品乱码亚洲| 国产精品无大码| 男人狂女人下面高潮的视频| 人人妻,人人澡人人爽秒播| 国产黄色视频一区二区在线观看 | 乱人视频在线观看| 波多野结衣巨乳人妻| 免费高清视频大片| 99久久成人亚洲精品观看| www日本黄色视频网| 久久久国产成人精品二区| 村上凉子中文字幕在线| 亚洲成a人片在线一区二区| 波多野结衣高清无吗| 乱系列少妇在线播放| 亚洲一区二区三区色噜噜| 亚洲va在线va天堂va国产| 变态另类成人亚洲欧美熟女| 亚洲五月天丁香| 免费av不卡在线播放| 日本免费a在线| 久久亚洲国产成人精品v| 深爱激情五月婷婷| 色5月婷婷丁香| 99九九线精品视频在线观看视频| 小蜜桃在线观看免费完整版高清| 少妇的逼好多水| 国产激情偷乱视频一区二区| 久久久久久国产a免费观看| 国产av麻豆久久久久久久| 精品久久国产蜜桃| 真人做人爱边吃奶动态| 成人特级av手机在线观看| 在线国产一区二区在线| 亚洲最大成人av|