• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于模糊強(qiáng)化學(xué)習(xí)的雙輪機(jī)器人姿態(tài)平衡控制

    2021-04-07 07:21:44董朝陽(yáng)何康輝
    關(guān)鍵詞:進(jìn)動(dòng)陀螺傾角

    閆 安, 陳 章, 董朝陽(yáng), 何康輝

    (1.北京航空航天大學(xué)航空科學(xué)與工程學(xué)院, 北京 100191;2.清華大學(xué)自動(dòng)化系, 北京 100084)

    0 引 言

    單軌雙輪機(jī)器人因其高度的平穩(wěn)性、較強(qiáng)的越障能力等性能在生活服務(wù)型機(jī)器人中表現(xiàn)出其強(qiáng)大的優(yōu)勢(shì),可以廣泛應(yīng)用于軍事、交通、安保、工業(yè)生產(chǎn)等領(lǐng)域。同時(shí),與倒立擺系統(tǒng)類似,雙輪機(jī)器人有多變量、非線性、強(qiáng)耦合、高階次、參數(shù)不確定性等動(dòng)力學(xué)特性,是自動(dòng)控制領(lǐng)域研究的重要對(duì)象[1-3]。目前,雙輪機(jī)器人的控制方法仍以傳統(tǒng)控制理論居多,最常見(jiàn)的方法是將建模得到的非線性系統(tǒng)做線性化處理,通過(guò)比例-積分-微分(簡(jiǎn)稱為PID)控制器或者狀態(tài)反饋控制器來(lái)實(shí)現(xiàn)控制[4-5]。由于機(jī)器人存在著固有的靜態(tài)不穩(wěn)定問(wèn)題,Keo等[6]提出了利用控制陀螺力矩來(lái)實(shí)現(xiàn)機(jī)器人的傾角穩(wěn)定;Lam等[7]在此基礎(chǔ)上通過(guò)比例微分控制器實(shí)現(xiàn)了傾角穩(wěn)定,具有較好的魯棒性和效率。He等[8]采用極點(diǎn)配置法設(shè)計(jì)狀態(tài)反饋控制器實(shí)現(xiàn)控制系統(tǒng)的穩(wěn)定,但極點(diǎn)位置和數(shù)目的設(shè)計(jì)對(duì)經(jīng)驗(yàn)的依賴較大。Hsieh等[9]采用模糊滑模控制器和陀螺平衡器,具有系統(tǒng)響應(yīng)快、抗干擾能力強(qiáng)等優(yōu)點(diǎn)。Jian等[10]提出了一種基于粒子群算法的自平衡控制方法,根據(jù)線性二次型調(diào)節(jié)器(linear quadratic regulator, LQR)控制方法對(duì)LQR控制器的參數(shù)矩陣進(jìn)行優(yōu)化,速度快,超調(diào)量小。然而,上述傳統(tǒng)算法均受到系統(tǒng)模型的制約,對(duì)于非線性、時(shí)變的、多變量復(fù)雜系統(tǒng)往往難以滿足控制要求,且多依賴于經(jīng)驗(yàn)。

    強(qiáng)化學(xué)習(xí)[11-12]是一種不需要先驗(yàn)知識(shí),與環(huán)境直接進(jìn)行交互試錯(cuò),通過(guò)反復(fù)迭代得到的反饋信息來(lái)獲取最優(yōu)策略的人工智能算法,因而被廣泛應(yīng)用于控制領(lǐng)域中[13-14]。強(qiáng)化學(xué)習(xí)根據(jù)求解方法不同可以分為策略迭代法和值函數(shù)迭代法。其中,策略迭代法[15]從一個(gè)初始化策略出發(fā),通過(guò)策略評(píng)估,迭代改進(jìn)直至收斂來(lái)得到最優(yōu)策略。但在離散空間問(wèn)題上不能很好地評(píng)估單個(gè)策略,容易陷于局部最小值,且該方法得到的隨機(jī)性策略在實(shí)際應(yīng)用中的可靠性難以保證。而值函數(shù)迭代法則是根據(jù)狀態(tài)選擇動(dòng)作,得到相應(yīng)策略。其中,Q-learning算法[16-17]是一種典型的與模型無(wú)關(guān)的強(qiáng)化學(xué)習(xí)算法,其狀態(tài)收斂與初值無(wú)關(guān),無(wú)需知道模型就可以保證收斂。在狀態(tài)空間不大的情況下能夠很好地構(gòu)建Q值表,得到最優(yōu)控制策略。

    傳統(tǒng)的Q-learning算法主要針對(duì)離散狀態(tài)和離散動(dòng)作,但實(shí)際問(wèn)題中存在很多連續(xù)變量,因此處理連續(xù)的動(dòng)作和狀態(tài)成為了此類強(qiáng)化學(xué)習(xí)研究的關(guān)鍵。文獻(xiàn)[18]提出了一種線性擬合方法,結(jié)合插值函數(shù)實(shí)現(xiàn)了連續(xù)動(dòng)作輸出。本文在以上研究的基礎(chǔ)上,針對(duì)傳統(tǒng)Q-learning在機(jī)器人控制方面的不足,引入模糊算法,提出了一種基于模糊強(qiáng)化學(xué)習(xí)(簡(jiǎn)稱為Fuzzy-Q)算法的雙輪機(jī)器人側(cè)傾控制方法,實(shí)現(xiàn)較大傾角下(0.15°)機(jī)器人的姿態(tài)控制,使機(jī)器人能夠抑制跌倒且快速恢復(fù)平衡狀態(tài)。本文的主要研究?jī)?nèi)容如下:①建立單軌雙輪機(jī)器人的非線性動(dòng)力學(xué)模型,確定系統(tǒng)的狀態(tài)轉(zhuǎn)移方程;②針對(duì)傳統(tǒng)Q-learning算法的不足,引入模糊推理方法泛化系統(tǒng)動(dòng)作空間,建立輸出連續(xù)的Fuzzy-Q算法;③基于雙輪機(jī)器人特性,設(shè)計(jì)算法的狀態(tài)空間和動(dòng)作空間,并結(jié)合機(jī)器人傾角動(dòng)態(tài)變化設(shè)計(jì)回報(bào)函數(shù),提高訓(xùn)練效率;④通過(guò)仿真實(shí)驗(yàn),對(duì)比分析傳統(tǒng)Q-learning和Fuzzy-Q的學(xué)習(xí)能力和控制精度,驗(yàn)證所設(shè)計(jì)算法的有效性和魯棒性。

    1 基于控制力矩陀螺的雙輪機(jī)器人動(dòng)力學(xué)模型

    1.1 控制力矩陀螺

    控制力矩陀螺(control moment gyro, CMG)廣泛應(yīng)用于航天器、船舶、自動(dòng)潛航器等裝置的姿態(tài)調(diào)整[19-20],也在機(jī)器人、單軌列車等領(lǐng)域有相關(guān)的學(xué)術(shù)性研究[21]。本文的CMG安裝右側(cè)視圖如圖1所示。其中,O-XYZ是慣性坐標(biāo)系,車體圍繞Y軸旋轉(zhuǎn),是一個(gè)近似的倒立擺,車身傾角為θ。Ob-xbybzb是固連在車體上的坐標(biāo)系。陀螺框架在CMG進(jìn)動(dòng)軸力矩τp的作用下圍繞xb軸進(jìn)動(dòng),進(jìn)動(dòng)角為γ。Og-xgygzg是固連在陀螺框架上的坐標(biāo)系。陀螺飛輪圍繞zg軸自轉(zhuǎn),角速度為Ω。其核心是一個(gè)高速旋轉(zhuǎn)的飛輪,飛輪安裝在陀螺框架上,框架繞與自轉(zhuǎn)軸垂直方向進(jìn)動(dòng)時(shí),飛輪的角動(dòng)量方向會(huì)隨之發(fā)生改變,由于系統(tǒng)滿足角動(dòng)量守恒定律,系統(tǒng)會(huì)產(chǎn)生一個(gè)與自轉(zhuǎn)軸和框架轉(zhuǎn)軸方向正交的反作用力矩。

    圖1 CMG右側(cè)視圖

    1.2 系統(tǒng)組成及平衡原理

    如圖2所示,本文設(shè)計(jì)的CMG機(jī)器人系統(tǒng)主要由兩個(gè)對(duì)稱安裝的CMG和平衡車架組成。

    圖2 基于CMG的機(jī)器人模型

    兩個(gè)CMG自轉(zhuǎn)速度大小相等、方向相反,靜止穩(wěn)定控制時(shí),進(jìn)動(dòng)角速度大小相等,方向相反。分析可知,當(dāng)機(jī)器人產(chǎn)生一定的傾斜角時(shí),進(jìn)動(dòng)電機(jī)施加扭矩使飛輪轉(zhuǎn)子在自轉(zhuǎn)的同時(shí)相對(duì)車體進(jìn)動(dòng)。根據(jù)陀螺力矩效應(yīng),陀螺進(jìn)動(dòng)過(guò)程中受到沿進(jìn)動(dòng)軸方向外力矩的同時(shí)會(huì)對(duì)車體產(chǎn)生一個(gè)反作用力矩τp來(lái)抵消重力矩分量以及外界干擾力矩。反作用力矩可表示為

    (1)

    1.3 系統(tǒng)動(dòng)力學(xué)模型

    雙輪機(jī)器人處于運(yùn)動(dòng)狀態(tài)時(shí),其運(yùn)動(dòng)速度與車身傾角和車把轉(zhuǎn)向角之間存在著非線性的耦合關(guān)系[22-24]。而在靜止?fàn)顟B(tài),雙輪機(jī)器人存在固有的靜態(tài)不穩(wěn)定問(wèn)題,需借助配重或車把來(lái)保持平衡。因此,本文通過(guò)CMG的方式來(lái)實(shí)現(xiàn)機(jī)器人的姿態(tài)平衡控制。

    在使用拉格朗日法建立系統(tǒng)的動(dòng)力學(xué)模型和控制模型前,先對(duì)系統(tǒng)作如下假設(shè)[25-26]:

    假設(shè)1雙輪機(jī)器人處于靜止?fàn)顟B(tài),即Y向速度為0;

    假設(shè)2陀螺框架、飛輪都是剛體,車身不考慮車把轉(zhuǎn)向,也是剛體;

    假設(shè)3輪胎與地面為點(diǎn)接觸,不考慮輪胎形變;

    假設(shè)4不考慮進(jìn)動(dòng)方向的摩擦。

    同時(shí),選取車身傾角θ,陀螺進(jìn)動(dòng)角γ為廣義坐標(biāo),系統(tǒng)動(dòng)能為

    (2)

    式中,mg、mb、mf分別表示陀螺框架質(zhì)量、車身質(zhì)量和飛輪質(zhì)量;Igx、Igy、Igz分別表示陀螺框架主軸慣量;Ifx、Ify、Ifz分別表示飛輪主軸慣量;hb、hf、hg分別表示車身質(zhì)心高度、飛輪質(zhì)心高度和陀螺框架質(zhì)心高度;Iby表示車身主軸慣量。

    系統(tǒng)勢(shì)能可表示為

    V=(2mghg+2mfhf+mbhb)gcosθ

    (3)

    根據(jù)拉格朗日方程:

    (4)

    得到系統(tǒng)的動(dòng)力學(xué)模型:

    (2mfhf+2mghg+mbhb)gsinθ-

    (5)

    (6)

    式中,τp作為系統(tǒng)的控制輸入,用來(lái)保持系統(tǒng)平衡。對(duì)于本文的單軌雙輪機(jī)器人,強(qiáng)化學(xué)習(xí)的目標(biāo)是通過(guò)大量的學(xué)習(xí)訓(xùn)練使機(jī)器人能在具有初始傾角的情況下根據(jù)經(jīng)驗(yàn)策略實(shí)現(xiàn)自主的靜止穩(wěn)定控制。

    2 強(qiáng)化學(xué)習(xí)與Fuzzy-Q算法

    2.1 Q-learning算法原理

    Q-learning算法是Watkings在1989年提出的一種與模型無(wú)關(guān)的離線學(xué)習(xí)算法[27]。Q-learning算法在建立Q值表的基礎(chǔ)上,通過(guò)機(jī)器和環(huán)境的交互,得到對(duì)應(yīng)的回報(bào)值,再通過(guò)不斷改進(jìn)Q值表,使得回報(bào)值越來(lái)越高[28-29],隨之機(jī)器人的動(dòng)作也趨于最優(yōu)。Q-learning算法的基本形式為

    Q(st,at)=α[rt+βmaxQ(st+1,at+1)]+

    (1-α)Q(st,at)

    (7)

    式中,α和β分別表示學(xué)習(xí)率和折扣因子;α越大則學(xué)習(xí)速率越快,但受到干擾后的影響越大,可能導(dǎo)致算法不收斂;β表示未來(lái)獎(jiǎng)勵(lì)對(duì)決策的影響程度,β越大系統(tǒng)更關(guān)注長(zhǎng)時(shí)間內(nèi)的決策,β越小則更關(guān)注最近的決策的影響;st為t時(shí)刻機(jī)器人的狀態(tài),控制器在機(jī)器人st狀態(tài)下輸出at,使其狀態(tài)更新為st+1,并得到獎(jiǎng)賞回報(bào)rt,表示機(jī)器人從st狀態(tài)到st+1狀態(tài)獲得的回報(bào)值;動(dòng)作at∈A,A為動(dòng)作空間;狀態(tài)st∈S,S為狀態(tài)空間。maxQ(st+1,at+1)表示控制器從動(dòng)作空間中選擇一個(gè)動(dòng)作at+1使得Q(st+1,at+1)的取值最大[30]。Q-learning通過(guò)式(7)進(jìn)行更新,經(jīng)過(guò)N次訓(xùn)練迭代,可得

    Q(st,at)=[1-(1-αn)](rt+βQ(st+1,at+1))+

    (1-α)Q(st,at)

    (8)

    由于0<α<1,故當(dāng)n→∞時(shí),Q(st,at)將收斂于最優(yōu)值rt+βQ(st+1,at+1)。Q-learning算法本質(zhì)上屬于一種時(shí)間差分(temporal difference, TD)算法。與一般TD算法不同,Q-learning的策略核心是狀態(tài)-動(dòng)作值函數(shù)Q(s,a),即Q-learning將每個(gè)狀態(tài)與動(dòng)作視為一個(gè)整體考慮其性能,并對(duì)狀態(tài)-動(dòng)作值函數(shù)Q(s,a)進(jìn)行增量式更新,針對(duì)Q值表中的值函數(shù)Q(s,a),動(dòng)作選擇通常采用ε貪心算法,策略表示為

    (9)

    即Q值表中最大的Q值對(duì)應(yīng)的動(dòng)作被選擇的概率最大,其他動(dòng)作被選擇的概率相同,以便盡可能地利用已知信息,并保證所有的狀態(tài)空間都有被探索的機(jī)會(huì)[31-32]。

    Q-learning的算法流程的最終目標(biāo)就是通過(guò)迭代、更新,使得Q值函數(shù)收斂[33]。使用Q-learning算法實(shí)現(xiàn)機(jī)器人的控制,可以直接分析每個(gè)狀態(tài)-動(dòng)作對(duì),在每個(gè)狀態(tài)下對(duì)所能采取的動(dòng)作進(jìn)行評(píng)價(jià),且Q-learning算法通過(guò)離散化的Q值表形式進(jìn)行了簡(jiǎn)化,適合作為實(shí)現(xiàn)機(jī)器人控制的強(qiáng)化學(xué)習(xí)方法探索。

    2.2 Fuzzy-Q算法設(shè)計(jì)及優(yōu)化

    在初步仿真中發(fā)現(xiàn)傳統(tǒng)的Q-learning算法由于動(dòng)作空間離散化,控制器的輸出存在高頻振蕩。實(shí)際執(zhí)行機(jī)構(gòu)難以輸出如此劇烈變化的量,且容易對(duì)CMG造成損害,同時(shí)機(jī)器人恢復(fù)平衡后的控制精度也有待提高。因此,本文考慮將模糊控制算法與Q-learning算法相結(jié)合,即當(dāng)控制器接收到當(dāng)前機(jī)器人的狀態(tài)向量之后,通過(guò)模糊推理選擇一種更合適的動(dòng)作執(zhí)行,使執(zhí)行機(jī)構(gòu)的輸出量更加平滑??紤]到模糊控制器的特點(diǎn),選擇以機(jī)器人傾角和傾角角速度作為模糊優(yōu)化的輸入量,模糊推理的輸出量為控制力矩。

    (10)

    式中,x為狀態(tài)空間變量;a、b為待定系數(shù),根據(jù)論域范圍和模糊空間劃分來(lái)確定。綜合考慮控制性能和模型特點(diǎn),模糊空間分割采取不等間距劃分。在橫向比較多種隸屬度函數(shù)后,本文選用效果最佳的三角形隸屬度函數(shù)進(jìn)行模糊化,如圖3所示。

    圖3 傾角隸屬度函數(shù)

    對(duì)于系統(tǒng)輸出的連續(xù)狀態(tài),在劃分狀態(tài)區(qū)間時(shí),通過(guò)隸屬度函數(shù)將區(qū)間模糊化并計(jì)算其隸屬度,此時(shí)每個(gè)狀態(tài)都以相應(yīng)的隸屬度劃分到兩個(gè)子狀態(tài)中。如T時(shí)刻機(jī)器人傾角為0.25 rad,則對(duì)應(yīng)以70%隸屬于第一狀態(tài),以30%隸屬于第二狀態(tài),傾角角速度的狀態(tài)區(qū)間劃分同理,則此時(shí)共有4種機(jī)器人狀態(tài)。這4種狀態(tài)均為強(qiáng)化學(xué)習(xí)的狀態(tài),且每個(gè)狀態(tài)的隸屬度為對(duì)應(yīng)兩項(xiàng)的隸屬度乘積。在每次迭代時(shí),選擇4種狀態(tài)中對(duì)應(yīng)最大的Q值進(jìn)行學(xué)習(xí)更新,并通過(guò)面積重心法對(duì)各個(gè)狀態(tài)的輸出進(jìn)行反模糊化,即

    (11)

    式中,μk為狀態(tài)xk對(duì)應(yīng)的隸屬度函數(shù);v0為各狀態(tài)的反模糊化輸出值。在更新Q值時(shí),選擇對(duì)隸屬度大于30%的狀態(tài)進(jìn)行更新,系統(tǒng)通過(guò)反模糊化后得到最終的控制器輸出。由于結(jié)合模糊理論后算法涉及的狀態(tài)空間更廣,運(yùn)算量更大,因此需要較長(zhǎng)的訓(xùn)練時(shí)間才能達(dá)到收斂,但學(xué)習(xí)效果和控制性能比傳統(tǒng)的強(qiáng)化學(xué)習(xí)更優(yōu),且抗干擾能力更好。

    3 基于強(qiáng)化學(xué)習(xí)的控制器設(shè)計(jì)

    3.1 狀態(tài)空間設(shè)計(jì)

    表1 傾角離散區(qū)間劃分

    表2 傾角角速度離散區(qū)間劃分

    這樣狀態(tài)空間中的每個(gè)元素都對(duì)應(yīng)以上10×10個(gè)狀態(tài),因此也就生成了100個(gè)強(qiáng)化學(xué)習(xí)狀態(tài)。

    3.2 動(dòng)作空間設(shè)計(jì)

    在整個(gè)控制過(guò)程中,機(jī)器人的傾角變化由控制器輸出的陀螺力矩決定,為避免動(dòng)作搜索空間過(guò)大,對(duì)控制器的輸出動(dòng)作進(jìn)行離散化。根據(jù)控制經(jīng)驗(yàn),具體的劃分如表3所示。

    表3 動(dòng)作離散區(qū)間劃分

    3.3 回報(bào)函數(shù)設(shè)計(jì)

    強(qiáng)化學(xué)習(xí)通過(guò)狀態(tài)轉(zhuǎn)移產(chǎn)生的回報(bào)函數(shù)來(lái)對(duì)選擇的動(dòng)作進(jìn)行評(píng)估,從而調(diào)整Q值表。即回報(bào)函數(shù)直接決定了Q-learning算法的控制效果和收斂效果,雙輪機(jī)器人控制的最終目的是使車身傾角θ趨于0,由此設(shè)計(jì)Q-learning算法回報(bào)函數(shù)為

    (12)

    式中,α1和α2表示回報(bào)系數(shù),其大小主要由回報(bào)評(píng)價(jià)項(xiàng)的重要性和相對(duì)值來(lái)決定。為優(yōu)化回報(bào)函數(shù),本文同時(shí)將機(jī)器人傾角和傾角角速度作為評(píng)價(jià)量,車身傾角越大,回報(bào)懲罰越大,平方項(xiàng)用來(lái)加快收斂速度。使得機(jī)器人傾角較大時(shí),以角度為回報(bào)函數(shù)的主要評(píng)價(jià)項(xiàng);當(dāng)傾角較小時(shí)(|φ|<5 rad),以傾角角速度為主要評(píng)價(jià)項(xiàng),保證機(jī)器人在傾角接近0 rad的時(shí)候減速,盡量保持在平衡點(diǎn)附近擺動(dòng)。

    3.4 算法流程設(shè)計(jì)

    Q-learning算法采用離散化的Q值表進(jìn)行值函數(shù)的迭代,通過(guò)將系統(tǒng)狀態(tài)和動(dòng)作人為分割為若干離散序列,從而把連續(xù)問(wèn)題轉(zhuǎn)化為離散的表格化問(wèn)題。算法的最終目標(biāo)是使得Q值表中的Q(si,ai)收斂于Q*(si,ai),智能體可根據(jù)Q值表做出正確的動(dòng)作。系統(tǒng)的結(jié)構(gòu)框圖如圖4所示。

    圖4 系統(tǒng)結(jié)構(gòu)框圖

    基于強(qiáng)化學(xué)習(xí)的單軌雙輪機(jī)器人控制算法流程圖如圖5所示。

    圖5 算法流程圖

    4 仿真結(jié)果

    本文的算法基于Matlab R2018a環(huán)境,訓(xùn)練在英偉達(dá) GeForce GTX 1080 GPU上完成,在訓(xùn)練開(kāi)始時(shí),任意狀態(tài)-動(dòng)作對(duì)的Q值初始化為0,且機(jī)器人的初始傾角10 rad,CMG的進(jìn)動(dòng)軸力矩大小由強(qiáng)化學(xué)習(xí)算法得到的動(dòng)作輸出獲得,當(dāng)機(jī)器人傾角大于30 rad,則整個(gè)環(huán)境進(jìn)行復(fù)位,重新學(xué)習(xí),直到傾角能夠保持在0 rad左右并維持一段時(shí)間。整個(gè)訓(xùn)練過(guò)程中,系統(tǒng)模型參數(shù)基于機(jī)器人實(shí)物如圖6所示,涉及的具體參數(shù)和數(shù)值如表4所示。

    圖6 機(jī)器人實(shí)物圖

    表4 機(jī)器人模型參數(shù)

    4.1 Q-learning算法下的姿態(tài)穩(wěn)定控制

    采用Q-learning算法實(shí)現(xiàn)機(jī)器人控制,在經(jīng)過(guò)約5分鐘的反復(fù)訓(xùn)練后,仿真結(jié)果如圖7所示。

    圖7 Q-learning算法下機(jī)器人控制仿真結(jié)果

    可以看到訓(xùn)練成功后,機(jī)器人的傾角在3 s左右就可以趨于收斂,控制精度為0.025 rad,同時(shí)傾角角速度的變化范圍為±0.2 rad/s,這主要是通過(guò)動(dòng)作空間中的大幅度動(dòng)作(±10N)配合小幅度調(diào)整動(dòng)作(±1 N)以及靜止動(dòng)作(0 N)來(lái)實(shí)現(xiàn)的。說(shuō)明在模型未知且無(wú)任何先驗(yàn)知識(shí)的條件下,控制器通過(guò)強(qiáng)化學(xué)習(xí)可以很快的控制平衡,且控制精度較高。

    圖8為訓(xùn)練過(guò)程中的回報(bào)函數(shù)值。可以看出,在訓(xùn)練初期,由于動(dòng)作的選擇處于探索階段,具有一定的隨機(jī)性,因此獲得的回報(bào)值較小。但在經(jīng)歷了1 000次左右的學(xué)習(xí)之后,Q值表逐漸得到完善,智能體獲得的獎(jiǎng)勵(lì)也越來(lái)越高,算法最終達(dá)到收斂。

    圖8 Q-learning算法的回報(bào)函數(shù)

    4.2 Fuzzy-Q算法下的姿態(tài)穩(wěn)定控制

    從仿真結(jié)果可以看到,由于Q-learning算法的離散化,控制器輸出振蕩幅度較大。為改善控制器輸出并提高控制精度,本文在強(qiáng)化學(xué)習(xí)的基礎(chǔ)上改進(jìn)并設(shè)計(jì)了Fuzzy-Q算法,其仿真結(jié)果如圖9所示。

    圖9 Fuzzy-Q算法下機(jī)器人控制仿真結(jié)果

    圖9(c)是采用了Fuzzy-Q算法的控制器輸出,可以看到,在訓(xùn)練成功后的控制周期內(nèi),陀螺力矩的輸出值較為平滑,未發(fā)生劇烈的突變,整個(gè)控制過(guò)程較為平順。

    同時(shí),在采用了Fuzzy-Q算法之后,機(jī)器人的控制精度為±0.01 rad,且傾角角速度收斂于±0.2 rad/s。由此可以證明整個(gè)訓(xùn)練過(guò)程是成功的,機(jī)器人在此時(shí)已經(jīng)學(xué)習(xí)到了一個(gè)最優(yōu)策略,達(dá)到了較高的控制精度。同時(shí),控制器的輸出為連續(xù)信號(hào),比傳統(tǒng)強(qiáng)化學(xué)習(xí)的控制效果更好。證明了在傳統(tǒng)強(qiáng)化學(xué)習(xí)的基礎(chǔ)上引入模糊算法,可以將離散控制器轉(zhuǎn)化為連續(xù)控制器,控制效果上可以得到明顯改善。

    圖10為訓(xùn)練過(guò)程中的回報(bào)函數(shù)值變化曲線??梢钥吹?累積回報(bào)值在訓(xùn)練開(kāi)始時(shí)并不穩(wěn)定,隨著訓(xùn)練周期及次數(shù)增加,總體變化趨勢(shì)逐漸增大,即隨著訓(xùn)練次數(shù)的增加最終趨于穩(wěn)定值。證明算法實(shí)現(xiàn)收斂,且訓(xùn)練次數(shù)比Q-learning算法更短,學(xué)習(xí)能力更強(qiáng)。

    圖10 Fuzzy-Q算法的回報(bào)函數(shù)

    4.3 外加力矩干擾下的姿態(tài)穩(wěn)定控制

    為分析系統(tǒng)的抗干擾能力,在訓(xùn)練成功后,人為地加入擾動(dòng),具體做法為在21 s時(shí)對(duì)處于平衡狀態(tài)的機(jī)器人施加脈沖干擾力矩(9 N·m),傾角受到擾動(dòng)后恢復(fù)情形的仿真結(jié)果如圖11所示。

    圖11 受干擾時(shí)機(jī)器人控制仿真結(jié)果

    可以很明顯地看到,在加入干擾之后,車身傾角出現(xiàn)了輕微增加,偏離角度約為0.116 rad,同時(shí)控制器迅速做出反應(yīng)調(diào)整輸出,最終使機(jī)器人傾角平穩(wěn)地恢復(fù)到了平衡位置,整個(gè)過(guò)程花費(fèi)時(shí)間約為1 s,證明了Fuzzy-Q算法具有較強(qiáng)的魯棒性,在受到干擾后傾角偏離角度較小且恢復(fù)時(shí)間短。

    5 結(jié) 論

    本文設(shè)計(jì)了一種基于CMG和Q-learning算法的機(jī)器人側(cè)傾姿態(tài)穩(wěn)定控制方法,實(shí)現(xiàn)了[-0.01,0.01]rad控制精度內(nèi)的機(jī)器人靜止平衡控制。在傳統(tǒng)強(qiáng)化學(xué)習(xí)的基礎(chǔ)上,結(jié)合模糊理論建立了Fuzzy-Q算法,以模糊輸出代替Q值函數(shù)輸出,解決了Q-learning算法存在的控制器輸出高頻振蕩的問(wèn)題,避免了在實(shí)際應(yīng)用中對(duì)執(zhí)行機(jī)構(gòu)造成損傷。同時(shí)基于機(jī)器人特性優(yōu)化回報(bào)函數(shù),提高了學(xué)習(xí)效率。結(jié)果表明,經(jīng)過(guò)訓(xùn)練后,本文所設(shè)計(jì)的Fuzzy-Q算法能夠快速平穩(wěn)地實(shí)現(xiàn)機(jī)器人的側(cè)傾穩(wěn)定控制。相較于傳統(tǒng)的強(qiáng)化學(xué)習(xí)方法,Fuzzy-Q算法學(xué)習(xí)時(shí)間更短,控制精度更高且具有較強(qiáng)的抗干擾能力,能夠?qū)崿F(xiàn)單軌雙輪機(jī)器人側(cè)傾穩(wěn)定的控制目標(biāo)。

    猜你喜歡
    進(jìn)動(dòng)陀螺傾角
    地球軸傾角的改斜歸正
    激光傾角儀在CT引導(dǎo)下經(jīng)皮肺穿刺活檢中的應(yīng)用
    車輪外傾角和前束角匹配研究
    北京汽車(2021年3期)2021-07-17 08:25:42
    做個(gè)紙陀螺
    玩陀螺
    陀螺轉(zhuǎn)轉(zhuǎn)轉(zhuǎn)
    軍事文摘(2018年24期)2018-12-26 00:58:18
    我最喜歡的陀螺
    基于窄帶雷達(dá)網(wǎng)的彈道目標(biāo)三維進(jìn)動(dòng)特征提取
    進(jìn)動(dòng)錐體目標(biāo)平動(dòng)補(bǔ)償及微多普勒提取
    基于雷達(dá)距離像的錐體目標(biāo)進(jìn)動(dòng)參數(shù)估計(jì)方法
    亚洲国产精品成人久久小说| 人妻少妇偷人精品九色| 久久精品久久久久久久性| 精品一区二区三卡| 亚洲国产高清在线一区二区三| 国产精品成人在线| 黄片wwwwww| kizo精华| 女人十人毛片免费观看3o分钟| 综合色丁香网| 亚洲欧洲日产国产| 九色成人免费人妻av| 久久精品久久久久久噜噜老黄| 亚洲欧美精品自产自拍| 欧美人与善性xxx| 新久久久久国产一级毛片| 免费看av在线观看网站| 99热这里只有是精品在线观看| 久久 成人 亚洲| 黑人高潮一二区| 九色成人免费人妻av| 激情五月婷婷亚洲| 啦啦啦在线观看免费高清www| 亚洲国产欧美在线一区| 免费观看a级毛片全部| 又大又黄又爽视频免费| 在线看a的网站| 中文天堂在线官网| 黑人猛操日本美女一级片| 国产视频首页在线观看| 国产亚洲精品久久久com| 亚洲av在线观看美女高潮| 看免费成人av毛片| 亚洲美女视频黄频| 18禁裸乳无遮挡免费网站照片| 内地一区二区视频在线| 99精国产麻豆久久婷婷| av免费在线看不卡| 2021少妇久久久久久久久久久| 97在线人人人人妻| 午夜福利在线观看免费完整高清在| 精品久久久久久电影网| 亚洲高清免费不卡视频| 国产深夜福利视频在线观看| 插逼视频在线观看| 日本vs欧美在线观看视频 | 国产精品av视频在线免费观看| 最近中文字幕高清免费大全6| 美女高潮的动态| 欧美高清成人免费视频www| 22中文网久久字幕| 国产精品欧美亚洲77777| 在线 av 中文字幕| 赤兔流量卡办理| 久久热精品热| 国产亚洲午夜精品一区二区久久| 久久久久性生活片| 伊人久久精品亚洲午夜| av国产免费在线观看| 一级毛片久久久久久久久女| 中文字幕免费在线视频6| 国产在线视频一区二区| 九九久久精品国产亚洲av麻豆| 卡戴珊不雅视频在线播放| 久久久久久久大尺度免费视频| www.av在线官网国产| 美女主播在线视频| 能在线免费看毛片的网站| 丝瓜视频免费看黄片| 女性生殖器流出的白浆| 日韩大片免费观看网站| 亚洲欧美中文字幕日韩二区| 久久亚洲国产成人精品v| 一区二区三区精品91| 噜噜噜噜噜久久久久久91| 2021少妇久久久久久久久久久| 免费看av在线观看网站| 欧美极品一区二区三区四区| 精品亚洲乱码少妇综合久久| 99久久人妻综合| av在线app专区| 中文字幕制服av| 97精品久久久久久久久久精品| 中文字幕精品免费在线观看视频 | 妹子高潮喷水视频| 亚洲,欧美,日韩| 只有这里有精品99| 欧美性感艳星| 午夜精品国产一区二区电影| 欧美区成人在线视频| 26uuu在线亚洲综合色| 亚洲色图综合在线观看| 女的被弄到高潮叫床怎么办| 国产精品.久久久| 精品国产三级普通话版| 国产亚洲精品久久久com| 日本欧美视频一区| freevideosex欧美| 亚洲色图综合在线观看| 久久国产精品男人的天堂亚洲 | 国语对白做爰xxxⅹ性视频网站| 少妇被粗大猛烈的视频| 中文天堂在线官网| 美女主播在线视频| 国产男人的电影天堂91| 天堂8中文在线网| 亚洲av综合色区一区| 一个人看视频在线观看www免费| 成人黄色视频免费在线看| av国产精品久久久久影院| 中文字幕亚洲精品专区| 免费观看av网站的网址| 丰满乱子伦码专区| 中文字幕亚洲精品专区| 纵有疾风起免费观看全集完整版| 免费大片18禁| 在线亚洲精品国产二区图片欧美 | 夜夜爽夜夜爽视频| 欧美精品人与动牲交sv欧美| 日本爱情动作片www.在线观看| 内地一区二区视频在线| 在线观看av片永久免费下载| 免费观看性生交大片5| 亚洲精品乱码久久久v下载方式| 成人亚洲欧美一区二区av| 成人国产av品久久久| 亚洲天堂av无毛| 亚洲无线观看免费| 亚洲精品日本国产第一区| 秋霞在线观看毛片| 日本黄色片子视频| 三级国产精品片| 妹子高潮喷水视频| 日日啪夜夜爽| 国产大屁股一区二区在线视频| 久久久久久久亚洲中文字幕| 老师上课跳d突然被开到最大视频| 高清在线视频一区二区三区| 一级av片app| 插阴视频在线观看视频| 一级黄片播放器| 成人美女网站在线观看视频| 亚洲av中文字字幕乱码综合| 99国产精品免费福利视频| 亚洲电影在线观看av| 午夜福利在线观看免费完整高清在| 全区人妻精品视频| 在线看a的网站| 欧美bdsm另类| 亚洲自偷自拍三级| 91久久精品国产一区二区成人| 日韩欧美精品免费久久| 嘟嘟电影网在线观看| 男人爽女人下面视频在线观看| 观看美女的网站| av卡一久久| 中文字幕精品免费在线观看视频 | 性色av一级| 亚洲国产日韩一区二区| 美女国产视频在线观看| 性色av一级| 伦理电影大哥的女人| 久久精品久久久久久噜噜老黄| 日韩免费高清中文字幕av| 大又大粗又爽又黄少妇毛片口| 永久免费av网站大全| 国产精品爽爽va在线观看网站| 青春草国产在线视频| 99国产精品免费福利视频| 精品久久久久久电影网| 日韩 亚洲 欧美在线| 尾随美女入室| 亚洲av男天堂| 青春草国产在线视频| 成人免费观看视频高清| 亚洲国产欧美人成| 久久久久久人妻| 国产精品久久久久久久电影| 日韩av免费高清视频| 99热6这里只有精品| 久久精品国产亚洲av涩爱| 菩萨蛮人人尽说江南好唐韦庄| 亚洲四区av| 久久国产精品男人的天堂亚洲 | 干丝袜人妻中文字幕| 老司机影院毛片| 国产精品免费大片| 香蕉精品网在线| 全区人妻精品视频| 午夜免费鲁丝| 亚洲三级黄色毛片| 久久99热这里只有精品18| 国产精品99久久99久久久不卡 | 蜜桃在线观看..| 性高湖久久久久久久久免费观看| 我的老师免费观看完整版| 日本-黄色视频高清免费观看| 成人毛片60女人毛片免费| 3wmmmm亚洲av在线观看| 五月玫瑰六月丁香| 亚洲精品久久午夜乱码| 色婷婷久久久亚洲欧美| 欧美成人午夜免费资源| 国产av码专区亚洲av| 亚洲欧洲日产国产| 一个人免费看片子| 精华霜和精华液先用哪个| 国产精品熟女久久久久浪| 午夜免费男女啪啪视频观看| 国产黄频视频在线观看| 久久精品久久精品一区二区三区| 嫩草影院入口| 亚洲第一区二区三区不卡| 交换朋友夫妻互换小说| av播播在线观看一区| 国产一区亚洲一区在线观看| 一二三四中文在线观看免费高清| 国产亚洲一区二区精品| 国产精品人妻久久久久久| 九九久久精品国产亚洲av麻豆| 97精品久久久久久久久久精品| av天堂中文字幕网| 舔av片在线| 久久久a久久爽久久v久久| 国产真实伦视频高清在线观看| 夜夜骑夜夜射夜夜干| 高清视频免费观看一区二区| 精品久久国产蜜桃| 免费黄频网站在线观看国产| 少妇丰满av| 亚洲欧美中文字幕日韩二区| 免费av不卡在线播放| 久久影院123| 涩涩av久久男人的天堂| 亚洲精品,欧美精品| 日韩免费高清中文字幕av| 亚洲,欧美,日韩| 中文精品一卡2卡3卡4更新| 91精品国产九色| 91久久精品电影网| 久久 成人 亚洲| 午夜免费男女啪啪视频观看| 国产亚洲欧美精品永久| 极品少妇高潮喷水抽搐| 精品国产三级普通话版| 国产v大片淫在线免费观看| 身体一侧抽搐| 春色校园在线视频观看| 网址你懂的国产日韩在线| 一边亲一边摸免费视频| 国产亚洲av片在线观看秒播厂| 一区二区三区精品91| 女性被躁到高潮视频| 网址你懂的国产日韩在线| 久久久久人妻精品一区果冻| 亚洲av中文字字幕乱码综合| 一级毛片 在线播放| 国产69精品久久久久777片| 亚洲欧美精品自产自拍| 一本久久精品| 国产成人freesex在线| 精品久久国产蜜桃| 青春草视频在线免费观看| 国产精品国产三级专区第一集| 免费大片18禁| 久久久久久九九精品二区国产| 插阴视频在线观看视频| 国产精品久久久久久久久免| 国产免费又黄又爽又色| 精品国产露脸久久av麻豆| 人体艺术视频欧美日本| 搡女人真爽免费视频火全软件| 欧美最新免费一区二区三区| 亚洲国产精品一区三区| 久久人人爽av亚洲精品天堂 | 国产黄色视频一区二区在线观看| 一区二区三区乱码不卡18| 一区二区av电影网| 丰满迷人的少妇在线观看| 97精品久久久久久久久久精品| 国产精品.久久久| 亚洲国产欧美人成| 国产91av在线免费观看| 欧美精品一区二区大全| 国国产精品蜜臀av免费| 夜夜骑夜夜射夜夜干| 黄色欧美视频在线观看| 国产精品无大码| 成人18禁高潮啪啪吃奶动态图 | 日韩伦理黄色片| 久久久久精品性色| 亚洲人成网站在线观看播放| 高清黄色对白视频在线免费看 | 中文字幕精品免费在线观看视频 | 日韩精品有码人妻一区| 舔av片在线| 高清在线视频一区二区三区| 性高湖久久久久久久久免费观看| 免费观看在线日韩| 免费久久久久久久精品成人欧美视频 | 人人妻人人爽人人添夜夜欢视频 | av天堂中文字幕网| 亚洲欧洲日产国产| 欧美日韩亚洲高清精品| av.在线天堂| 我要看日韩黄色一级片| 亚洲精品一区蜜桃| 人妻夜夜爽99麻豆av| 国产精品一区二区在线不卡| 内地一区二区视频在线| 男的添女的下面高潮视频| 在线观看美女被高潮喷水网站| 成人二区视频| 这个男人来自地球电影免费观看 | 女人十人毛片免费观看3o分钟| 亚洲国产精品999| 精品久久久久久久久av| 国产欧美日韩精品一区二区| 有码 亚洲区| 国产免费又黄又爽又色| 一级片'在线观看视频| 观看免费一级毛片| 亚洲熟女精品中文字幕| 久热久热在线精品观看| 最黄视频免费看| 青春草国产在线视频| 久久精品人妻少妇| 99热全是精品| 一区二区三区精品91| 国产黄色视频一区二区在线观看| 午夜福利在线观看免费完整高清在| 五月玫瑰六月丁香| 国产精品蜜桃在线观看| 黄色视频在线播放观看不卡| 亚洲精品日本国产第一区| 久久亚洲国产成人精品v| 一区二区av电影网| 美女高潮的动态| 熟女电影av网| 欧美性感艳星| 精品一品国产午夜福利视频| 日韩制服骚丝袜av| 亚洲欧美日韩另类电影网站 | 日韩成人av中文字幕在线观看| 日韩 亚洲 欧美在线| 亚洲国产日韩一区二区| 国产精品秋霞免费鲁丝片| 亚洲精品国产av成人精品| 99久久精品一区二区三区| 日韩av不卡免费在线播放| 男女边吃奶边做爰视频| 狂野欧美激情性bbbbbb| 中国美白少妇内射xxxbb| 亚洲美女搞黄在线观看| 成人亚洲欧美一区二区av| 亚洲精品国产成人久久av| 欧美极品一区二区三区四区| 亚洲av欧美aⅴ国产| 综合色丁香网| 国产乱人偷精品视频| 久久久午夜欧美精品| 男人和女人高潮做爰伦理| 亚洲成色77777| 国产精品一区二区在线不卡| 亚洲av成人精品一区久久| 欧美日韩精品成人综合77777| 欧美xxxx性猛交bbbb| 日本免费在线观看一区| av在线播放精品| 国产免费又黄又爽又色| 草草在线视频免费看| 久久久久国产精品人妻一区二区| 人人妻人人澡人人爽人人夜夜| 成人影院久久| 老熟女久久久| 国产极品天堂在线| 超碰成人久久| 中文字幕人妻丝袜一区二区| 亚洲av成人精品一二三区| 中文字幕av电影在线播放| 新久久久久国产一级毛片| 十八禁人妻一区二区| 女人爽到高潮嗷嗷叫在线视频| 女人久久www免费人成看片| 日日夜夜操网爽| 在线天堂中文资源库| 啦啦啦在线免费观看视频4| 国产一区二区激情短视频 | 免费一级毛片在线播放高清视频 | 日本91视频免费播放| 一本—道久久a久久精品蜜桃钙片| 嫩草影视91久久| 人人妻人人澡人人看| 亚洲av在线观看美女高潮| 七月丁香在线播放| 精品亚洲成国产av| 熟女少妇亚洲综合色aaa.| 国产精品麻豆人妻色哟哟久久| 国产精品秋霞免费鲁丝片| 久久人人爽av亚洲精品天堂| www.av在线官网国产| 午夜福利视频精品| 免费观看人在逋| 高清欧美精品videossex| 国产熟女欧美一区二区| 91老司机精品| 欧美成人精品欧美一级黄| 大片免费播放器 马上看| 精品亚洲乱码少妇综合久久| 少妇裸体淫交视频免费看高清 | 男人添女人高潮全过程视频| 成人免费观看视频高清| 亚洲国产av影院在线观看| 男人爽女人下面视频在线观看| kizo精华| 中文字幕人妻熟女乱码| 精品久久久精品久久久| 欧美97在线视频| cao死你这个sao货| av天堂久久9| 国产一区有黄有色的免费视频| 国产黄频视频在线观看| 热99国产精品久久久久久7| 亚洲成色77777| 久久国产精品人妻蜜桃| 国产又爽黄色视频| 99热国产这里只有精品6| 久久人人爽人人片av| 最近最新中文字幕大全免费视频 | 黄色视频不卡| √禁漫天堂资源中文www| 女人被躁到高潮嗷嗷叫费观| 国产精品av久久久久免费| 狂野欧美激情性xxxx| 飞空精品影院首页| 国产女主播在线喷水免费视频网站| 久久久精品94久久精品| 欧美 日韩 精品 国产| 美女高潮到喷水免费观看| 亚洲av男天堂| 成年人午夜在线观看视频| 国产男女超爽视频在线观看| 久久青草综合色| 亚洲视频免费观看视频| 欧美日韩亚洲国产一区二区在线观看 | 日韩伦理黄色片| 晚上一个人看的免费电影| 后天国语完整版免费观看| 大片免费播放器 马上看| 中文字幕人妻丝袜一区二区| 男女边吃奶边做爰视频| 黄色视频在线播放观看不卡| 肉色欧美久久久久久久蜜桃| 亚洲精品久久午夜乱码| 久久鲁丝午夜福利片| 日日夜夜操网爽| 亚洲av电影在线进入| 欧美性长视频在线观看| 1024视频免费在线观看| 美女视频免费永久观看网站| 菩萨蛮人人尽说江南好唐韦庄| 亚洲第一av免费看| 免费av中文字幕在线| 欧美黄色片欧美黄色片| 国精品久久久久久国模美| 黑丝袜美女国产一区| 成年人午夜在线观看视频| 视频在线观看一区二区三区| 丝袜在线中文字幕| 女人精品久久久久毛片| 热99久久久久精品小说推荐| 一区二区三区四区激情视频| 狠狠婷婷综合久久久久久88av| 曰老女人黄片| 国产色视频综合| 久久久久久久大尺度免费视频| 两人在一起打扑克的视频| 亚洲国产看品久久| 国产精品一区二区免费欧美 | 在线观看免费午夜福利视频| 在线观看人妻少妇| 男女国产视频网站| 久久久国产精品麻豆| 久久精品亚洲熟妇少妇任你| 汤姆久久久久久久影院中文字幕| 亚洲精品国产av蜜桃| 少妇的丰满在线观看| 亚洲人成网站在线观看播放| av在线播放精品| 国产亚洲精品久久久久5区| www日本在线高清视频| 免费观看人在逋| 亚洲国产最新在线播放| 国产精品二区激情视频| 国产人伦9x9x在线观看| 黄色 视频免费看| 国产精品偷伦视频观看了| 国产黄色视频一区二区在线观看| 啦啦啦 在线观看视频| 少妇的丰满在线观看| 亚洲欧美一区二区三区国产| 亚洲人成网站在线观看播放| 日本色播在线视频| 中文字幕精品免费在线观看视频| 大香蕉久久网| 欧美国产精品一级二级三级| 午夜福利视频在线观看免费| 视频在线观看一区二区三区| 国产av国产精品国产| 精品视频人人做人人爽| 免费人妻精品一区二区三区视频| 欧美性长视频在线观看| 中文字幕人妻丝袜一区二区| av一本久久久久| 成人午夜精彩视频在线观看| 日韩av免费高清视频| 久热这里只有精品99| √禁漫天堂资源中文www| 久久久精品免费免费高清| 少妇的丰满在线观看| www日本在线高清视频| 久久精品国产亚洲av高清一级| 日韩免费高清中文字幕av| 19禁男女啪啪无遮挡网站| 成人影院久久| 飞空精品影院首页| 精品免费久久久久久久清纯 | 久久热在线av| 1024香蕉在线观看| 国产成人啪精品午夜网站| 国产成人一区二区在线| 无限看片的www在线观看| 国产成人影院久久av| 日本五十路高清| 激情五月婷婷亚洲| 天天添夜夜摸| 国产视频一区二区在线看| av片东京热男人的天堂| 免费看不卡的av| 丝袜美足系列| 丝袜人妻中文字幕| 亚洲av在线观看美女高潮| av一本久久久久| 色94色欧美一区二区| 丝袜脚勾引网站| 精品熟女少妇八av免费久了| 国产主播在线观看一区二区 | 久久人妻熟女aⅴ| 久久久精品区二区三区| 日韩中文字幕视频在线看片| 亚洲第一青青草原| 一级毛片我不卡| 亚洲精品自拍成人| 在线观看免费午夜福利视频| 美女中出高潮动态图| 一区二区三区四区激情视频| cao死你这个sao货| 免费看av在线观看网站| 大码成人一级视频| 亚洲国产精品999| 亚洲精品国产av成人精品| 十八禁人妻一区二区| 国产亚洲精品第一综合不卡| 国产精品免费大片| videosex国产| 国产精品免费视频内射| 国产成人91sexporn| 人妻 亚洲 视频| 99九九在线精品视频| 精品福利永久在线观看| 欧美成人精品欧美一级黄| 亚洲伊人久久精品综合| 欧美av亚洲av综合av国产av| 99香蕉大伊视频| 午夜老司机福利片| 男人舔女人的私密视频| 中文字幕人妻熟女乱码| 女人被躁到高潮嗷嗷叫费观| 久久精品亚洲av国产电影网| 免费看av在线观看网站| 日本av免费视频播放| 久久精品亚洲熟妇少妇任你| 亚洲欧美一区二区三区黑人| 又黄又粗又硬又大视频| 大型av网站在线播放| 亚洲精品日本国产第一区| 少妇裸体淫交视频免费看高清 | 男女下面插进去视频免费观看| 亚洲国产成人一精品久久久| 丰满人妻熟妇乱又伦精品不卡| 看十八女毛片水多多多| 亚洲欧美激情在线| 一级毛片 在线播放| 国产在线视频一区二区| 五月天丁香电影| bbb黄色大片| 一区二区日韩欧美中文字幕| 好男人视频免费观看在线| 欧美日韩成人在线一区二区| 欧美av亚洲av综合av国产av| 日日爽夜夜爽网站| 一级片免费观看大全| 亚洲国产精品国产精品| 成人影院久久| 亚洲av日韩在线播放| 国产高清视频在线播放一区 | 2021少妇久久久久久久久久久| 欧美人与性动交α欧美精品济南到| 亚洲图色成人| 一本—道久久a久久精品蜜桃钙片| 欧美日韩精品网址| 精品视频人人做人人爽| 美女扒开内裤让男人捅视频| 少妇被粗大的猛进出69影院| 日本av手机在线免费观看|