• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    城市交通信號(hào)局部博弈交互下的學(xué)習(xí)協(xié)調(diào)控制

    2020-12-07 08:20:52夏新海
    關(guān)鍵詞:交通信號(hào)交通流交叉口

    夏新海

    廣州航海學(xué)院 港口與航運(yùn)管理學(xué)院,廣州 510725

    1 引言

    效率低下的交通信號(hào)控制造成的交叉口延誤占城市交通凈延誤的5%至10%[1]。城市交通信號(hào)控制系統(tǒng)優(yōu)化可以減少行程延誤、交叉口延誤和交叉口停車次數(shù)。自適應(yīng)交通信號(hào)控制系統(tǒng),如SCOOT、SCATS、PRODYN、OPAC、RHODES、UTOPIA、CRONOS、TUC比固定配時(shí)和感應(yīng)式交通信號(hào)控制系統(tǒng)的控制方案的性能更好。然而,自適應(yīng)交通信號(hào)控制方案往往在可擴(kuò)展性和魯棒性等方面受到限制。其中許多交通信號(hào)控制系統(tǒng)(如SCOOT和SCATS)是基于實(shí)時(shí)交通數(shù)據(jù)運(yùn)行的集中控制系統(tǒng),并且一些系統(tǒng)(如OPAC和RHODES)應(yīng)用動(dòng)態(tài)優(yōu)化來(lái)尋找控制方案。然而,它們不能自適應(yīng)地從環(huán)境中學(xué)習(xí),并且隨著交叉口數(shù)目的增加,計(jì)算復(fù)雜度呈指數(shù)級(jí)增加。此外,一些學(xué)者、研究人員也應(yīng)用了神經(jīng)模糊網(wǎng)絡(luò)、tabu 搜索、自組織協(xié)調(diào)圖、情感算法、遺傳算法等來(lái)改進(jìn)交通信號(hào)控制方案。然而這些算法存在兩個(gè)主要局限性,分別是需要大量的數(shù)據(jù)來(lái)校準(zhǔn)大規(guī)模路網(wǎng)的參數(shù)和指數(shù)復(fù)雜性。為了克服這些局限性,研究人員還探索了基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等來(lái)替代實(shí)時(shí)自適應(yīng)控制算法。

    在較高飽和度交通環(huán)境下,城市路網(wǎng)中各交叉口處的交通流存在較大相互關(guān)聯(lián)性,因此引入博弈學(xué)習(xí)方法能更有效地進(jìn)行城市區(qū)域路網(wǎng)交通的交通信號(hào)控制。

    近十年來(lái),在交通信號(hào)控制領(lǐng)域,RL(強(qiáng)化學(xué)習(xí))的實(shí)現(xiàn)已經(jīng)得到了很好的研究。Thorpe 利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)等待時(shí)間,并應(yīng)用在線策略RL(SARSA)來(lái)進(jìn)行信號(hào)控制[2]。Mikami 和Kakazu 結(jié)合進(jìn)化算法和強(qiáng)化學(xué)習(xí)技術(shù)提出了合作交通信號(hào)控制方案[3]。Bingham提出了基于模糊邏輯的規(guī)則,其根據(jù)車輛數(shù)量分配綠燈時(shí)間[4]。

    Abdulhai等應(yīng)用了離線策略(Q-Learning)算法來(lái)優(yōu)化孤立交叉口的交通信號(hào)控制[5]。由于聯(lián)合狀態(tài)動(dòng)作的空間呈指數(shù)級(jí)增長(zhǎng),其在更大路網(wǎng)中的應(yīng)用具有挑戰(zhàn)性。后來(lái),Wiering 等提出了考慮車輛等待時(shí)間的網(wǎng)絡(luò)級(jí)合作學(xué)習(xí)算法,并使用基于車輛的值函數(shù)將狀態(tài)空間減少到合理數(shù)量[6]。然而,其等待時(shí)間的預(yù)測(cè)并不準(zhǔn)確,交通模擬器缺少車道變換和動(dòng)態(tài)路徑選擇等重要模塊。研究人員還研究了合作多agent系統(tǒng)在城市交通控制的應(yīng)用[7-9]。近年來(lái),El-Tantawy 等提出了基于鄰域協(xié)調(diào)RL的信號(hào)控制,并描述了一個(gè)聯(lián)合決策來(lái)介紹多agent框架[10]。盡管Q-Learning 和SARSA 是最廣泛使用的時(shí)間差分技術(shù),但研究人員還應(yīng)用了其他算法,如actorcritic時(shí)間差分、帶函數(shù)逼近的Q-Learning及依賴于動(dòng)作的自適應(yīng)動(dòng)態(tài)規(guī)劃[11-13]。Abdul Aziz H M 等將R-馬爾可夫平均回報(bào)技術(shù)(R-Markov Average Reward Technology)應(yīng)用于交通信號(hào)控制,在強(qiáng)化學(xué)習(xí)狀態(tài)定義中添加相鄰交叉口擁擠信息[14]。

    總的來(lái)說(shuō),上述研究沒(méi)有充分考慮與相鄰交通信號(hào)控制agent 之間的信息交互,或者相鄰交叉口交通信號(hào)控制agent 沒(méi)有明確的交互和協(xié)調(diào),未涉及聯(lián)合狀態(tài)動(dòng)作空間的最優(yōu)性。相鄰交通信號(hào)控制agent信息提供了周圍控制agent的擁塞狀態(tài)等信息,其有助于agent更好地學(xué)習(xí)。假設(shè)某一特定交叉口的相鄰交叉口交通負(fù)荷過(guò)重,從而該交叉口在不久的將來(lái)也將承受過(guò)重的交通負(fù)荷。僅使用本地局部信息,agent 無(wú)法知道將出現(xiàn)的即時(shí)擁塞。如果相鄰交叉口交換擁塞狀態(tài)等信息時(shí),若相鄰交叉口發(fā)生擁擠,agent 將通過(guò)學(xué)習(xí)來(lái)調(diào)整交通信號(hào)設(shè)置。

    由于城市路網(wǎng)中交叉口間的交通流是相互影響的,通過(guò)相鄰交叉口擁擠信息、策略和效用等信息的交換,使得交叉口交通信號(hào)控制agent間能實(shí)現(xiàn)通信,此控制問(wèn)題可用博弈框架來(lái)建模,從而有利于緩解維數(shù)災(zāi)難問(wèn)題,并且有效地平衡城市路網(wǎng)交通信號(hào)控制系統(tǒng)整體和交叉口局部交通信號(hào)控制性能。本文在建立城市區(qū)域交通信號(hào)控制系統(tǒng)模型的基礎(chǔ)上,設(shè)計(jì)基于交叉口局部信息交互的博弈學(xué)習(xí)方法,其利用路網(wǎng)拓?fù)渲芯植拷徊婵诮煌飨嗷ビ绊懙年P(guān)系,保證區(qū)域交通信號(hào)控制系統(tǒng)效率在分布化機(jī)制下能夠?qū)崿F(xiàn)最優(yōu)化。在博弈學(xué)習(xí)過(guò)程中交叉口交通信號(hào)控制agent進(jìn)行局部交通控制信息交互,自主學(xué)習(xí)控制策略,從而逐漸收斂到最優(yōu)策略。最后通過(guò)仿真實(shí)驗(yàn)分析此算法的有效性和收斂性。

    2 城市區(qū)域交通信號(hào)控制系統(tǒng)模型

    利用節(jié)點(diǎn)表示城市區(qū)域交通網(wǎng)絡(luò)中的交叉路口,弧線表示交通流。假設(shè)Sr1、τr1分別為交通流r1的飽和流率和轉(zhuǎn)彎率,且為可測(cè)的常數(shù)。此外,交叉口i的周期Ci,相位p的有效綠燈時(shí)間yi,p,及損失時(shí)間Li滿足,其中Fi是允許車輛離開(kāi)交叉口i的相位集合,以交叉口1為基準(zhǔn)交叉口,交叉口i相對(duì)于交叉口1 相位差為θi。為了對(duì)區(qū)域路網(wǎng)交通信號(hào)控制進(jìn)行協(xié)調(diào),對(duì)于任意一個(gè)交叉口i,考慮從交叉口j流向交叉口i的單向交通流r,交通流r在時(shí)刻k+1 末的車輛排隊(duì)長(zhǎng)度等于在時(shí)刻k末,交叉口到來(lái)的車輛流量Ii,r加上剩余的車輛排隊(duì)長(zhǎng)度,減去在有效綠燈時(shí)間內(nèi)駛出的車輛流量Oi,r[15]。

    建立交通流r的動(dòng)態(tài)離散時(shí)間模型如下:

    其中,xi,r(k)表示當(dāng)?shù)趉個(gè)交通信號(hào)控制周期開(kāi)始時(shí),交叉口i的交通流r上的車輛數(shù)量。xi,r(k+1)表示第k+1 個(gè)交通信號(hào)控制周期開(kāi)始時(shí),交叉口i的交通流r上的車輛數(shù)量。T表示交通信號(hào)控制時(shí)間間隔,為一個(gè)交通信號(hào)控制周期C。Ii,r(k)和Oi,r(k)分別表示交通流r的駛?cè)肓髁亢婉偝隽髁俊?/p>

    對(duì)于交通流r,駛?cè)氲能嚵鱽?lái)自于相鄰交叉口j中的交通流w1、w2、w3,并且只有交通流w1中的左轉(zhuǎn)車流最終會(huì)流入交通流r。假設(shè)左轉(zhuǎn)車流占整個(gè)交通流w1的比例為τj,w1;i,r,稱之為轉(zhuǎn)彎率,即τj,w1;i,r表示從交叉口j的w1交通流流入到交叉口i的交通流r的轉(zhuǎn)彎率。同理交通流w2中只有直行車流駛?cè)虢煌鱮,相應(yīng)地τj,w2;i,r稱為直行率。交通流w3中只有右轉(zhuǎn)車流駛?cè)虢煌鱮,相應(yīng)地τj,w3;i,r稱為右轉(zhuǎn)率。故r的流入量Ii,r(k)=τj,w1;i,rOj,w1(k)+τj,w2;i,rOj,w2(k)+τj,w3;i,rOj,w3(k)。因此交通流r的流入量Ir,k(k)可以表示為:

    其中,G表示交叉口j中駛?cè)虢煌鱮的車流的集合,即G=w1,w2,w3。τj,w;i,r表示從交叉口j的交通流w轉(zhuǎn)入到交叉口i的交通流r的轉(zhuǎn)彎率。

    對(duì)于駛出車流量Oi,r(k),它是由單位交通信號(hào)控制周期內(nèi)的釋放的車流量q和相位的綠燈時(shí)間yi,p(k)決定的,因此交通流r的駛出流量Oi,r(k)可以表示成:

    其中,vi,r表示交叉口i允許交通流r通行的相位的集合,qi,r表示交通流r的車流量。

    令zi,p(k)=qi,r yi,p(k)作為系統(tǒng)控制變量。將式(2)和(3)及zi,p(k)=qi,r yi,p(k)代入式(1)得:

    根據(jù)式(3)中Or,w(k)的定義,式(4)中的Oj,w(k)可以寫成以及T=C。所以式(4)可以寫成:

    接下來(lái),整個(gè)區(qū)域交通路網(wǎng)都應(yīng)用式(5),可得到整個(gè)區(qū)域交通路網(wǎng)的離散狀態(tài)時(shí)空表達(dá)式:

    另外,若區(qū)域路網(wǎng)中交通流只有外界輸入交通流量,則式(2)和(4)必須表示成:

    其中,di,r表示交叉口i進(jìn)入交通流r的交通需求。為了簡(jiǎn)化,假定di,r已知。于是式(6)可以寫成:

    其中,X(k)、Z(k)、d(k)分別表示系統(tǒng)的狀態(tài)向量、交通信號(hào)控制向量、交通需求向量,且d(k)是常數(shù)向量。狀態(tài)矩陣B為單位矩陣,H是包含網(wǎng)絡(luò)特性(如拓?fù)浣Y(jié)構(gòu)、飽和流率、轉(zhuǎn)彎率)的控制輸入矩陣,D是需求矩陣[16]。

    交通信號(hào)控制agent 通過(guò)無(wú)線網(wǎng)絡(luò)與其他agent 進(jìn)行通信和協(xié)調(diào)。為此,提出交通信號(hào)控制agent 之間博弈學(xué)習(xí)方法,通過(guò)它們之間的交互,并通過(guò)實(shí)時(shí)采集的交通流來(lái)最小化車輛在交叉口的等待時(shí)間,以最小化整個(gè)路網(wǎng)中的等待時(shí)間。

    3 城市區(qū)域交叉口交通信號(hào)博弈協(xié)調(diào)控制框架

    傳統(tǒng)分布式交通信號(hào)控制系統(tǒng)雖然開(kāi)銷較少,但系統(tǒng)協(xié)調(diào)效率受限,并且存在維數(shù)災(zāi)難問(wèn)題,因此這里引入局部交互思想,將交通信號(hào)控制優(yōu)化問(wèn)題建模為交叉口交通信號(hào)控制agent 局部合作博弈,通過(guò)相鄰交叉口交通信號(hào)控制agent間的信息交互實(shí)現(xiàn)系統(tǒng)協(xié)調(diào)效率與優(yōu)化開(kāi)銷的有效折中[17]。

    定義城市區(qū)域路網(wǎng)交通系統(tǒng)由N個(gè)交叉口構(gòu)成,定義博弈模型為元組:

    其中,M={1,2,…,N}為系統(tǒng)中交叉口交通信號(hào)控制agent 的集合;Am為系統(tǒng)中第m個(gè)交叉口交通信號(hào)控制agent 的可用的策略集合,即決策空間,由Am=Xm×Zm;X和Z含義見(jiàn)式(6)和式(9),分別表示m的狀態(tài)空間和動(dòng)作空間;Jm是交叉口交通信號(hào)控制agentm相鄰交叉口交通信號(hào)控制agent 的集合;U(mam,a-m)為交叉口交通信號(hào)控制agentm的效用函數(shù)。其中am是交叉口交通信號(hào)控制agentm執(zhí)行的策略,a-m是除交叉口交通信號(hào)控制agentm以外其他交叉口交通信號(hào)控制agent執(zhí)行的策略[18]。

    設(shè)gm(am,aJm)為交叉口交通信號(hào)控制agentm的滿意效用,是關(guān)于交通流r上的車輛數(shù)量、綠燈相位持續(xù)時(shí)間內(nèi)釋放的車流量的函數(shù),且:

    xm(h+1)=fdxi(x(h),zm(h),z-m(k)) 由式(5)定義,Q和R為對(duì)角元素為正的對(duì)角矩陣,上標(biāo)T 表示轉(zhuǎn)置操作符,x(h|k)為在周期k時(shí)給定條件下在周期h時(shí)的s的預(yù)測(cè)值,z(h)表示在周期h的動(dòng)作。

    根據(jù)單個(gè)交叉口交通信號(hào)控制agent的滿意效用定義,定義城市區(qū)域網(wǎng)絡(luò)交通滿意效用為所有交叉口交通信號(hào)控制agent滿意效用之和。

    城市區(qū)域路網(wǎng)交通信號(hào)控制系統(tǒng)的整體目標(biāo)是通過(guò)尋找最優(yōu)聯(lián)合策略,使得系統(tǒng)滿意效用達(dá)到最大,即:

    根據(jù)第2章分析,相鄰交叉口之間交通流相互影響較大,并不是任意兩個(gè)交叉口的交通信號(hào)控制都有明顯的相互干擾,因此Um(am,a-m)可以表示為Um(am,aJm)。這里定義U(mam,aJm)如下:

    交叉口交通信號(hào)控制agent的效用函數(shù)由自身滿意效用和相鄰交叉口交通信號(hào)控制agent的滿意效用之和組成。因此每個(gè)交叉口交通信號(hào)控制agent的決策不僅要考慮提高自身滿意效用,還要盡可能地減少對(duì)相鄰交叉口交通信號(hào)控制agent滿意效用的影響。通過(guò)這種局部合作方式,每個(gè)交叉口交通信號(hào)控制agent 在決策時(shí)將大大降低其自利性,并且可以使得此博弈問(wèn)題能夠收斂到最優(yōu)聯(lián)合策略。為了實(shí)現(xiàn)局部交互,相鄰交叉口交通信號(hào)控制agent 之間需要交換信息,其中包括交叉口交通信號(hào)控制agent的滿意效用和策略選擇。局部交互博弈模型可以表示為:

    記交叉口交通信號(hào)控制agent 聯(lián)合策略為a*=,若任意交叉口交通信號(hào)控制agent 不能獨(dú)自地改變策略增加其效用值,稱a*為博弈G的純策略納什均衡點(diǎn),則路網(wǎng)滿意效用最大化問(wèn)題P1的全局最優(yōu)解構(gòu)成博弈G的一個(gè)純策略納什均衡點(diǎn)[17]。

    4 基于交叉口交通信號(hào)控制agent 局部博弈交互的學(xué)習(xí)算法

    傳統(tǒng)的學(xué)習(xí)算法如最佳動(dòng)態(tài)響應(yīng)、非遺憾學(xué)習(xí)和虛擬對(duì)策都能使得勢(shì)能博弈收斂到某一純策略納什均衡點(diǎn),但往往無(wú)法達(dá)到最優(yōu)。因此設(shè)計(jì)一種基于局部信息博弈交互的學(xué)習(xí)算法來(lái)確保路網(wǎng)中每個(gè)交叉口交通信號(hào)控制agent在博弈中收斂到最優(yōu)策略并最大化網(wǎng)絡(luò)滿意效用。

    4.1 算法描述

    算法基于交叉口交通信號(hào)控制agent 局部博弈交互的學(xué)習(xí)算法

    (1)初始化。設(shè)置k=0,令每個(gè)交叉口交通信號(hào)控制agentm∈M以相等概率從其可行控制策略集合Am中選擇初始控制策略am(0)。

    (2)交叉口交通信號(hào)控制agent 與其相鄰交叉口交通信號(hào)控制agent交換信息,包括效用值和策略選擇。

    (3)任意選擇一個(gè)交叉口交通信號(hào)控制agenti∈M,其他所有交叉口交通信號(hào)控制agent重復(fù)上一次迭代的策略,即a-i(k+1)=a-i(k)。而對(duì)于交叉口交通信號(hào)控制agenti,它將根據(jù)一個(gè)離散概率分布來(lái)選擇k+1 時(shí)刻的策略ai(k+1) 。記交叉口交通信號(hào)控制agenti策略選擇為ai(k+1)=ai∈Ai時(shí),其效用函數(shù)值可表示為Ui(ai,aJi(k))。根據(jù)式(15)可以計(jì)算得到交叉口交通信號(hào)控制agenti選擇ai(k+1)=ai的概率:

    其中,γ為折扣因子表示交叉口交通信號(hào)控制agenti執(zhí)行Ai中的所有策略可以獲得的效用之和。因此,交叉口交通信號(hào)控制agenti會(huì)以概率執(zhí)行策略ai。

    (4)如果迭代次數(shù)達(dá)到預(yù)設(shè)的最大值tmax,所有交叉口交通信號(hào)控制agent停止更新策略;否則,回到步驟(2),算法繼續(xù)。在算法中,γ取值必須合理。如果γ過(guò)大,博弈學(xué)習(xí)可能不能收斂到最優(yōu)的純策略納什均衡點(diǎn);如果γ過(guò)小,將會(huì)減慢收斂速度。故在設(shè)計(jì)γ值時(shí)需要綜合考慮性能表現(xiàn)和收斂速度。

    在算法的每次迭代中,隨機(jī)選擇一個(gè)交叉口交通信號(hào)控制agent更新控制策略而保持其他交叉口交通信號(hào)控制agent的策略不變。重復(fù)該過(guò)程直到滿足某些準(zhǔn)則時(shí)才停止。如步驟(3),選中的交叉口交通信號(hào)控制agent按照概率進(jìn)行策略更新。此概率分布的計(jì)算由交叉口交通信號(hào)控制agent當(dāng)前策略及其鄰居的策略共同決定,見(jiàn)式(15)所示。根據(jù)式(15)的設(shè)計(jì),交叉口交通信號(hào)控制agent會(huì)以更高的概率選擇使其獲得更大效用的策略。在數(shù)次迭代后,每個(gè)交叉口交通信號(hào)控制agent的策略選擇都會(huì)以無(wú)限接近于1 的概率收斂到最優(yōu)策略。該結(jié)論將在4.2節(jié)進(jìn)行分析。在局部博弈交互學(xué)習(xí)過(guò)程中,相鄰交叉口交通信號(hào)控制agent 間還需交換必要的信息,如交叉口交通信號(hào)控制agent 的效用值和控制策略選擇[19]。

    4.2 算法最優(yōu)性和收斂性分析

    若所有交叉口交通信號(hào)控制agent 執(zhí)行算法,聯(lián)合策略a∈A1?A2?…?AM的平穩(wěn)概率分布可以表示為,其中A=A1?A2?…?AM表示交叉口交通信號(hào)控制agent聯(lián)合策略集合[17]。

    記使路網(wǎng)交通信號(hào)控制系統(tǒng)滿意效用最大化的最優(yōu)聯(lián)合策略為a*:

    當(dāng)γ值足夠大時(shí),有exp{γφ(a*)}>exp{γφ(a)},?a∈{Aa*},則a*的平穩(wěn)概率分布可以計(jì)算為:

    式(17)表示以任意接近1的概率得到最優(yōu)解。因此當(dāng)γ值足夠大時(shí),博弈學(xué)習(xí)算法可以任意接近1的概率達(dá)到問(wèn)題P1的最優(yōu)解。

    5 案例研究

    應(yīng)用MATLAB實(shí)現(xiàn)博弈學(xué)習(xí)算法,利用VISSIM微觀交通仿真平臺(tái)進(jìn)行仿真,構(gòu)建路網(wǎng),設(shè)計(jì)不同的交通情景,加載博弈學(xué)習(xí)控制算法插件。案例分析用到的路網(wǎng)采用比較常用的來(lái)分析交通信號(hào)控制相關(guān)問(wèn)題的allsop和charlesworth的著名測(cè)試道路網(wǎng)絡(luò),其基本布局見(jiàn)圖1,其包括23條路段和21個(gè)信號(hào)設(shè)置變量,分別位于6個(gè)信號(hào)控制交叉口[20]。基本初始路網(wǎng)相位方案見(jiàn)表1,各連接上的交通流量見(jiàn)表2(即式(9)中路網(wǎng)交通需求矩陣D)。

    表1 路網(wǎng)的交通信號(hào)相位方案

    圖1 分析用到的路網(wǎng)

    案例分析其借鑒英國(guó)交通與道路研究所提出的離線優(yōu)化交通網(wǎng)絡(luò)信號(hào)配時(shí)所采用的路網(wǎng)性能性能指標(biāo)(Performance Evaluation Index,PEI),見(jiàn)式(18),把時(shí)間與費(fèi)用統(tǒng)一考慮,其是路網(wǎng)流量和路網(wǎng)交通信號(hào)配時(shí)參數(shù)的函數(shù)[21]。

    其中,dl是連接l的延誤,l∈L,L是路網(wǎng)所有連接的集合,是連接l上的延誤的特定加權(quán)因子。K是停車懲罰系數(shù),表示停車次數(shù)相對(duì)于延誤的重要性。Sl是連接l上每秒停車的次數(shù)。是連接l上停車次數(shù)S的連接特定加權(quán)因子。

    表2 路網(wǎng)連接車流量

    案例用到仿真參數(shù)設(shè)置如下:最小和最大周期時(shí)長(zhǎng)為36 s和120 s;相位最小綠燈時(shí)間為7 s,每個(gè)相位的綠燈間隔時(shí)間為5 s,包括4 s黃燈和1 s全紅。感應(yīng)控制單位綠燈延長(zhǎng)時(shí)間為2 s,最大綠燈時(shí)間為80 s。=1,K=1。Sl學(xué)習(xí)率(α)為0.8。在博弈學(xué)習(xí)過(guò)程中,算法的學(xué)習(xí)因子γ可隨迭代的進(jìn)行而變化,并且在第i次迭代中設(shè)置γ=i。最大學(xué)習(xí)次數(shù)(tmax)為500。轉(zhuǎn)彎率τj,w;i,r可由表1和表2的數(shù)據(jù)計(jì)算得到。

    5.1 情景1:基準(zhǔn)情景

    在測(cè)試交通需求增加產(chǎn)生的可能影響之前,博弈學(xué)習(xí)使用現(xiàn)有的連接交通流需求(D1)應(yīng)用于基準(zhǔn)情景,模型的收斂性如圖2 所示。在第338 次的學(xué)習(xí),該算法收斂,得到評(píng)價(jià)指標(biāo)值為364.30,而在第一次學(xué)習(xí)時(shí)評(píng)價(jià)指標(biāo)值為528.30。換句話說(shuō),相對(duì)于評(píng)價(jià)指標(biāo)的初始值,改進(jìn)率為45%。在算法的運(yùn)行過(guò)程中,各交叉口交通信號(hào)控制agent 通過(guò)交互局部效用值和策略,利用減小搜索空間,并圍繞最優(yōu)信號(hào)配時(shí)設(shè)置的參數(shù)來(lái)搜索全局最優(yōu),避免陷入局部最優(yōu)解。

    圖2 基準(zhǔn)情景下博弈學(xué)習(xí)方法的收斂性

    基準(zhǔn)情景下博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法運(yùn)行收斂后得到的最優(yōu)評(píng)價(jià)指標(biāo)值分別為364.30、443.50、365.20,總旅行時(shí)間分別為170 veh·h、203 veh·h、170 veh·h。采用博弈學(xué)習(xí)和遺傳算法所得評(píng)價(jià)指標(biāo)結(jié)果非常接近。然而,由于該方法比具有二進(jìn)制編碼/解碼過(guò)程的遺傳算法更容易應(yīng)用,因此可以認(rèn)為該方法優(yōu)于遺傳算法。此外,所提出的模型與感應(yīng)控制相比,評(píng)價(jià)指標(biāo)的最終值提高了22%。表3 中給出了三種方法在基準(zhǔn)情景下的運(yùn)行收斂后得到的最優(yōu)交通信號(hào)配時(shí)方案。其中相位差是絕對(duì)相位差,交叉口1為基準(zhǔn)交叉口。

    表3 基準(zhǔn)情景下最優(yōu)信號(hào)配時(shí)方案

    5.2 情景2

    在路網(wǎng)的基準(zhǔn)情景交通需求的基礎(chǔ)上增加20%(D2=120%D1)。這種情景下,所提出的模型算法的收斂性如圖3所示。

    圖3 情景2下博弈學(xué)習(xí)方法的收斂性

    從圖3 可看出,經(jīng)過(guò)478 次學(xué)習(xí)過(guò)程,博弈學(xué)習(xí)達(dá)到收斂,收斂后的方案的評(píng)價(jià)指標(biāo)值781.80,而評(píng)價(jià)指標(biāo)在第一次學(xué)習(xí)時(shí)評(píng)價(jià)指標(biāo)為1 043.50。在情景2 下,博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法達(dá)到收斂的評(píng)價(jià)指標(biāo)值分別為781.80、891.20、804.50,總旅行時(shí)間分別為356 veh·h、405 veh·h、365 veh·h,因此博弈學(xué)習(xí)優(yōu)于另外兩種方法。相對(duì)于基準(zhǔn)情景,交通需求增加20%,其評(píng)價(jià)指標(biāo)的最終值大約增長(zhǎng)1 倍。對(duì)于情景2,三種方法收斂后的交通信號(hào)配時(shí)方案見(jiàn)表4??梢钥闯鼋煌ㄐ枨蟮脑鲩L(zhǎng)導(dǎo)致路網(wǎng)周期時(shí)間相對(duì)于基準(zhǔn)情景也增加。

    表4 情景2收斂后的交通信號(hào)配時(shí)方案

    5.3 情景3

    在這種情況下,為了表明博弈學(xué)習(xí)在高交通需求條件下的有效性,將基準(zhǔn)情景下的路網(wǎng)中連接流量增加到50%(D3=150%D1)。相對(duì)于初始解,博弈學(xué)習(xí)的最終評(píng)價(jià)指標(biāo)值改進(jìn)了20%。在第551 次學(xué)習(xí)過(guò)程內(nèi)算法停止,發(fā)現(xiàn)路網(wǎng)評(píng)價(jià)指標(biāo)的最優(yōu)值為2 137.50,如圖4所示。算法運(yùn)行過(guò)程中,路網(wǎng)評(píng)價(jià)指標(biāo)值比情景2下有更高的波動(dòng)趨勢(shì),其根本原因是交通需求的增加導(dǎo)致了交通擁擠的加劇,使得交通信號(hào)配時(shí)優(yōu)化問(wèn)題的最優(yōu)解難以找到。在情景3下,博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法的達(dá)到收斂的評(píng)價(jià)指標(biāo)值分別為2 137.5、2 286.5、2 228.5,總旅行時(shí)間分別為965 veh·h、1 034 veh·h、1 006 veh·h,因此博弈學(xué)習(xí)優(yōu)于另外兩種方法。表5 給出了收斂后的信號(hào)配時(shí)和相應(yīng)的參數(shù)值,其中博弈學(xué)習(xí)的優(yōu)化周期達(dá)到了設(shè)定的最大周期120 s。

    圖4 情景3下博弈學(xué)習(xí)方法的收斂性

    表5 情景3收斂后的交通信號(hào)配時(shí)方案

    因此,在路網(wǎng)交通需求量較大的情況下,博弈學(xué)習(xí)也能收斂到全局最優(yōu)的解,并比遺傳算法和感應(yīng)控制產(chǎn)生更好的評(píng)價(jià)指標(biāo)值。

    6 結(jié)束語(yǔ)

    本文在建立城市區(qū)域交通信號(hào)控制系統(tǒng)模型的基礎(chǔ)上,設(shè)計(jì)基于交叉口局部信息交互的博弈學(xué)習(xí)方法,其利用網(wǎng)絡(luò)拓?fù)渲芯植肯嗷ビ绊懙年P(guān)系,保證區(qū)域交通系統(tǒng)效率在分布化機(jī)制下能夠?qū)崿F(xiàn)最優(yōu)化。在博弈學(xué)習(xí)過(guò)程中交叉口進(jìn)行局部信息交互,自主調(diào)整策略使其逐漸收斂到最優(yōu)策略,具有更好的交通需求管控能力和收斂性能。以路網(wǎng)平均延誤和平均停車次數(shù)通過(guò)加權(quán)構(gòu)建算法性能指標(biāo),在某中等規(guī)模路網(wǎng)的三種交通需求情景下,利用博弈學(xué)習(xí)方法均優(yōu)于遺傳算法方法和感應(yīng)控制方法,并且博弈學(xué)習(xí)均能收斂到最優(yōu)解。博弈學(xué)習(xí)能更有效地判斷最佳聯(lián)合策略,能夠與新興的通信技術(shù)協(xié)同工作,有助于異構(gòu)智能交通控制系統(tǒng)集成方案的解決。在未來(lái)的研究中,可以考慮基于云架構(gòu)的分布式學(xué)習(xí)機(jī)制,進(jìn)一步分析學(xué)習(xí)率參數(shù)和折扣因子對(duì)算法的影響,并應(yīng)用于更大規(guī)模的路網(wǎng),提高系統(tǒng)交通信號(hào)配時(shí)決策效率。同時(shí)可考慮通過(guò)引入車聯(lián)網(wǎng)環(huán)境中的I2I通信技術(shù)允許交叉口交通信號(hào)控制agent與其他交叉口交通信號(hào)控制agent 交換信息,實(shí)現(xiàn)博弈學(xué)習(xí)算法與車聯(lián)網(wǎng)技術(shù)模式相結(jié)合,有望在下一代智能交通系統(tǒng)中發(fā)揮重要作用[22]。

    猜你喜歡
    交通信號(hào)交通流交叉口
    《城市軌道交通信號(hào)圖冊(cè)》正式出版
    《城市軌道交通信號(hào)設(shè)備》正式出版
    城市軌道交通信號(hào)設(shè)備監(jiān)測(cè)技術(shù)探討
    信號(hào)交叉口延誤參數(shù)獲取綜述
    交通信號(hào)智能指揮模型
    交通流隨機(jī)行為的研究進(jìn)展
    一種Y型交叉口設(shè)計(jì)方案的選取過(guò)程
    路內(nèi)停車對(duì)交通流延誤影響的定量分析
    考慮黃燈駕駛行為的城市交叉口微觀仿真
    具有負(fù)壓力的Aw-Rascle交通流的Riemann問(wèn)題
    高清午夜精品一区二区三区| av.在线天堂| 亚洲av成人精品一区久久| 欧美一级a爱片免费观看看| 在线免费观看不下载黄p国产| 一区二区av电影网| 91精品伊人久久大香线蕉| 禁无遮挡网站| 超碰97精品在线观看| 性色av一级| 小蜜桃在线观看免费完整版高清| 成人免费观看视频高清| 身体一侧抽搐| 亚洲精品日韩av片在线观看| 丝袜美腿在线中文| 亚洲美女搞黄在线观看| 老司机影院毛片| 亚洲精品成人久久久久久| 深爱激情五月婷婷| 极品教师在线视频| 日本熟妇午夜| 精品国产乱码久久久久久小说| 免费大片18禁| 亚洲成人一二三区av| 可以在线观看毛片的网站| 天天一区二区日本电影三级| 久久久久精品久久久久真实原创| 69人妻影院| 久久久久性生活片| 午夜免费观看性视频| 欧美xxⅹ黑人| 各种免费的搞黄视频| 18禁在线无遮挡免费观看视频| 久热久热在线精品观看| 看十八女毛片水多多多| 99久久中文字幕三级久久日本| 一区二区三区免费毛片| tube8黄色片| 99视频精品全部免费 在线| 日本wwww免费看| 女人十人毛片免费观看3o分钟| 亚洲精品中文字幕在线视频 | 男女国产视频网站| 亚洲欧美中文字幕日韩二区| 国产成人精品一,二区| 美女脱内裤让男人舔精品视频| 少妇人妻 视频| 久久99热这里只频精品6学生| 美女高潮的动态| 日日摸夜夜添夜夜添av毛片| 国产乱人视频| 欧美日韩视频高清一区二区三区二| 韩国av在线不卡| 18+在线观看网站| 男女啪啪激烈高潮av片| 噜噜噜噜噜久久久久久91| 亚洲成人久久爱视频| 国产探花在线观看一区二区| 欧美亚洲 丝袜 人妻 在线| 国产一区二区亚洲精品在线观看| 日本黄色片子视频| 伦精品一区二区三区| 日本与韩国留学比较| 舔av片在线| 少妇人妻精品综合一区二区| 伦精品一区二区三区| 少妇人妻一区二区三区视频| 美女内射精品一级片tv| 99热这里只有是精品50| 亚洲精品久久久久久婷婷小说| 搡老乐熟女国产| 亚洲精品成人av观看孕妇| 小蜜桃在线观看免费完整版高清| av国产免费在线观看| 久久99热这里只频精品6学生| 如何舔出高潮| 精品少妇黑人巨大在线播放| 亚洲真实伦在线观看| 亚洲av电影在线观看一区二区三区 | 久久精品国产鲁丝片午夜精品| 久久久久久久久久人人人人人人| 一本色道久久久久久精品综合| 久久久色成人| 亚洲无线观看免费| 国产精品av视频在线免费观看| av卡一久久| 国产乱人偷精品视频| 在线a可以看的网站| 免费av毛片视频| 欧美成人一区二区免费高清观看| 欧美潮喷喷水| 91aial.com中文字幕在线观看| 少妇裸体淫交视频免费看高清| 亚洲成人一二三区av| 国产一区二区三区综合在线观看 | 亚洲精品久久午夜乱码| 亚洲国产精品国产精品| 国产免费一级a男人的天堂| 精品久久国产蜜桃| 韩国高清视频一区二区三区| h日本视频在线播放| 18禁裸乳无遮挡动漫免费视频 | 91aial.com中文字幕在线观看| 91在线精品国自产拍蜜月| 熟妇人妻不卡中文字幕| 国产成人精品久久久久久| 国产一区二区亚洲精品在线观看| 中文字幕亚洲精品专区| 亚洲第一区二区三区不卡| 亚洲内射少妇av| 97精品久久久久久久久久精品| 亚洲欧美成人精品一区二区| 国产精品秋霞免费鲁丝片| kizo精华| 欧美精品人与动牲交sv欧美| 观看美女的网站| 在线亚洲精品国产二区图片欧美 | 精品人妻熟女av久视频| 亚洲国产日韩一区二区| 黑人高潮一二区| 美女cb高潮喷水在线观看| 亚洲av成人精品一区久久| 在线观看av片永久免费下载| 18禁在线播放成人免费| 国产91av在线免费观看| av.在线天堂| 97在线视频观看| 国产视频内射| 三级男女做爰猛烈吃奶摸视频| 日韩伦理黄色片| 能在线免费看毛片的网站| 亚洲人成网站高清观看| 2021天堂中文幕一二区在线观| 欧美激情在线99| 久久久久久久久久久丰满| 天堂中文最新版在线下载 | 老师上课跳d突然被开到最大视频| 欧美三级亚洲精品| 少妇裸体淫交视频免费看高清| 欧美高清性xxxxhd video| 精品国产露脸久久av麻豆| 亚洲欧洲日产国产| 久久精品久久久久久久性| 99久久九九国产精品国产免费| 一级毛片 在线播放| 亚洲国产色片| 国产一区二区三区综合在线观看 | 午夜福利视频1000在线观看| 麻豆成人av视频| 久久久久精品久久久久真实原创| 人妻少妇偷人精品九色| 精品酒店卫生间| 国产欧美另类精品又又久久亚洲欧美| 亚洲精品中文字幕在线视频 | 免费黄频网站在线观看国产| 纵有疾风起免费观看全集完整版| 黄色怎么调成土黄色| 精品亚洲乱码少妇综合久久| 午夜日本视频在线| 王馨瑶露胸无遮挡在线观看| 国产伦理片在线播放av一区| 免费电影在线观看免费观看| 女人被狂操c到高潮| 亚洲经典国产精华液单| 欧美少妇被猛烈插入视频| 18禁动态无遮挡网站| 99精国产麻豆久久婷婷| 成人特级av手机在线观看| 欧美成人精品欧美一级黄| 成人亚洲欧美一区二区av| 一级片'在线观看视频| 99热全是精品| 国产av码专区亚洲av| 久久精品综合一区二区三区| 亚洲av在线观看美女高潮| 午夜福利网站1000一区二区三区| 91在线精品国自产拍蜜月| 日本一本二区三区精品| 3wmmmm亚洲av在线观看| 亚洲成人久久爱视频| www.av在线官网国产| 18禁裸乳无遮挡动漫免费视频 | 久久精品久久久久久噜噜老黄| 婷婷色综合www| 少妇的逼水好多| 欧美bdsm另类| 免费黄色在线免费观看| 国产av码专区亚洲av| 搡老乐熟女国产| 久久久久久久久久久丰满| 国产乱人视频| 午夜福利视频1000在线观看| 久久鲁丝午夜福利片| 亚洲av免费在线观看| 午夜激情福利司机影院| 国产午夜福利久久久久久| 在线观看国产h片| 亚洲精品乱码久久久v下载方式| 日韩欧美 国产精品| 观看美女的网站| 日本一本二区三区精品| 少妇丰满av| 国产淫片久久久久久久久| 人妻一区二区av| 亚洲综合色惰| 女的被弄到高潮叫床怎么办| 欧美精品一区二区大全| 国产免费一区二区三区四区乱码| 91狼人影院| 久久久久久伊人网av| 日韩一区二区三区影片| 纵有疾风起免费观看全集完整版| 能在线免费看毛片的网站| 欧美高清成人免费视频www| 精品久久久久久电影网| 嘟嘟电影网在线观看| 免费观看在线日韩| 欧美zozozo另类| 青春草视频在线免费观看| 少妇被粗大猛烈的视频| 国产精品一二三区在线看| 亚洲国产高清在线一区二区三| 久久久精品欧美日韩精品| 亚洲天堂国产精品一区在线| 男女下面进入的视频免费午夜| 国产精品久久久久久精品电影小说 | 国产伦在线观看视频一区| 成人国产av品久久久| 汤姆久久久久久久影院中文字幕| 国产亚洲av嫩草精品影院| 日日摸夜夜添夜夜添av毛片| 色吧在线观看| 亚洲人成网站在线播| 亚洲av欧美aⅴ国产| 69av精品久久久久久| 亚洲人成网站在线观看播放| 黑人高潮一二区| 特大巨黑吊av在线直播| 日本与韩国留学比较| 亚洲av免费高清在线观看| www.av在线官网国产| 欧美另类一区| 成人美女网站在线观看视频| 九九久久精品国产亚洲av麻豆| 最近2019中文字幕mv第一页| 天堂中文最新版在线下载 | 国产又色又爽无遮挡免| 五月玫瑰六月丁香| 精品人妻一区二区三区麻豆| 精品国产乱码久久久久久小说| 狂野欧美白嫩少妇大欣赏| av福利片在线观看| 国产成人免费无遮挡视频| 午夜免费男女啪啪视频观看| 啦啦啦在线观看免费高清www| 极品教师在线视频| 欧美+日韩+精品| 哪个播放器可以免费观看大片| 97在线视频观看| 午夜激情福利司机影院| 成人午夜精彩视频在线观看| 亚洲精品自拍成人| 我要看日韩黄色一级片| 韩国av在线不卡| 国产精品99久久久久久久久| 国产午夜精品久久久久久一区二区三区| 青春草亚洲视频在线观看| 国产视频内射| 大香蕉久久网| 亚洲一级一片aⅴ在线观看| 日本欧美国产在线视频| 国产欧美日韩精品一区二区| 国产极品天堂在线| 亚洲国产精品成人综合色| 亚洲精品一区蜜桃| 亚洲欧美精品自产自拍| 青春草亚洲视频在线观看| 九九爱精品视频在线观看| 制服丝袜香蕉在线| 久久久久久国产a免费观看| 欧美高清性xxxxhd video| 久久99蜜桃精品久久| 好男人在线观看高清免费视频| 国产成人精品福利久久| 啦啦啦中文免费视频观看日本| 日韩一区二区视频免费看| www.色视频.com| 欧美 日韩 精品 国产| 天天躁夜夜躁狠狠久久av| 一区二区三区乱码不卡18| 免费大片黄手机在线观看| 激情五月婷婷亚洲| 日韩电影二区| 一边亲一边摸免费视频| 新久久久久国产一级毛片| 久久国产乱子免费精品| 男人狂女人下面高潮的视频| 亚洲成人精品中文字幕电影| 人妻系列 视频| 国产女主播在线喷水免费视频网站| 能在线免费看毛片的网站| 国产成人精品福利久久| 国精品久久久久久国模美| av在线亚洲专区| 久久精品综合一区二区三区| 国产伦精品一区二区三区四那| 国产一区亚洲一区在线观看| 亚洲av成人精品一区久久| 亚洲伊人久久精品综合| 高清在线视频一区二区三区| 亚洲美女视频黄频| 久久精品国产亚洲av天美| 日本色播在线视频| 国内精品宾馆在线| 十八禁网站网址无遮挡 | 国产av码专区亚洲av| 亚洲,一卡二卡三卡| 中文资源天堂在线| 国产精品女同一区二区软件| 中文资源天堂在线| 欧美一区二区亚洲| 搞女人的毛片| 国产黄片视频在线免费观看| 日韩国内少妇激情av| 亚洲最大成人av| 亚洲丝袜综合中文字幕| 亚洲欧洲日产国产| 波多野结衣巨乳人妻| 国产精品人妻久久久影院| 亚洲天堂国产精品一区在线| 一本色道久久久久久精品综合| 国产在线一区二区三区精| 久久精品国产自在天天线| 欧美丝袜亚洲另类| 国产精品偷伦视频观看了| 一级黄片播放器| 中文字幕av成人在线电影| 99久国产av精品国产电影| 国产男女超爽视频在线观看| 性色avwww在线观看| 夫妻性生交免费视频一级片| 日韩欧美精品免费久久| 日本免费在线观看一区| 国产精品熟女久久久久浪| 欧美日韩一区二区视频在线观看视频在线 | 成人二区视频| 亚洲天堂av无毛| 色视频www国产| 免费高清在线观看视频在线观看| 久久久久性生活片| 国产午夜精品久久久久久一区二区三区| 少妇熟女欧美另类| 欧美亚洲 丝袜 人妻 在线| 在线免费观看不下载黄p国产| 国产乱人视频| 国产精品国产三级国产专区5o| 午夜日本视频在线| 天堂俺去俺来也www色官网| 日韩av在线免费看完整版不卡| 黄色视频在线播放观看不卡| 亚洲av国产av综合av卡| 色视频www国产| 亚洲精品,欧美精品| 一级黄片播放器| 神马国产精品三级电影在线观看| 久久精品久久久久久久性| av播播在线观看一区| 日韩一区二区三区影片| 日本与韩国留学比较| 成年免费大片在线观看| 亚洲欧美日韩无卡精品| 欧美 日韩 精品 国产| 美女主播在线视频| 18禁动态无遮挡网站| 久久精品国产自在天天线| 成人亚洲精品av一区二区| 日韩伦理黄色片| 成年av动漫网址| 在线观看一区二区三区| 九九爱精品视频在线观看| 国产精品秋霞免费鲁丝片| 亚洲精品一区蜜桃| 国产欧美另类精品又又久久亚洲欧美| 国产探花在线观看一区二区| 亚洲精品国产成人久久av| 18+在线观看网站| 成人漫画全彩无遮挡| 高清视频免费观看一区二区| 国产黄片视频在线免费观看| 黄色日韩在线| 久久久久九九精品影院| 边亲边吃奶的免费视频| 欧美xxxx性猛交bbbb| 日韩人妻高清精品专区| 久久精品久久久久久久性| 精品人妻视频免费看| 亚洲精品456在线播放app| av免费观看日本| 国产91av在线免费观看| 免费电影在线观看免费观看| 免费人成在线观看视频色| 国产亚洲午夜精品一区二区久久 | 91久久精品国产一区二区成人| h日本视频在线播放| 国模一区二区三区四区视频| 亚洲av日韩在线播放| 国产精品一区www在线观看| 日韩av不卡免费在线播放| 久久人人爽人人片av| 中文欧美无线码| 亚洲精品中文字幕在线视频 | 网址你懂的国产日韩在线| 国模一区二区三区四区视频| 在线看a的网站| 国产淫片久久久久久久久| 日韩av不卡免费在线播放| 国产乱来视频区| 91aial.com中文字幕在线观看| 女的被弄到高潮叫床怎么办| 免费av毛片视频| 国产日韩欧美在线精品| 综合色av麻豆| 色5月婷婷丁香| 综合色丁香网| 欧美最新免费一区二区三区| 国产精品熟女久久久久浪| 两个人的视频大全免费| 人妻系列 视频| 哪个播放器可以免费观看大片| 成年免费大片在线观看| 免费观看a级毛片全部| 欧美极品一区二区三区四区| av免费在线看不卡| 99久久精品一区二区三区| 成人漫画全彩无遮挡| www.av在线官网国产| 六月丁香七月| 夜夜看夜夜爽夜夜摸| 亚洲最大成人手机在线| 久久久亚洲精品成人影院| 久久久久国产精品人妻一区二区| 网址你懂的国产日韩在线| 一本久久精品| 欧美精品一区二区大全| 免费看av在线观看网站| 日韩制服骚丝袜av| 成年女人在线观看亚洲视频 | 欧美最新免费一区二区三区| 男女啪啪激烈高潮av片| 国产人妻一区二区三区在| 亚洲精品久久久久久婷婷小说| 成人二区视频| 亚洲伊人久久精品综合| 美女被艹到高潮喷水动态| 嫩草影院精品99| 久久久久国产网址| 午夜福利视频1000在线观看| 日日啪夜夜撸| 内地一区二区视频在线| 亚洲精品乱久久久久久| 18+在线观看网站| av国产精品久久久久影院| 99精国产麻豆久久婷婷| 亚洲成人久久爱视频| 深夜a级毛片| 别揉我奶头 嗯啊视频| 国产亚洲91精品色在线| 麻豆成人av视频| 大片免费播放器 马上看| 亚洲欧美精品自产自拍| 麻豆精品久久久久久蜜桃| 在线观看一区二区三区| 日韩视频在线欧美| 国产精品女同一区二区软件| 国产高清不卡午夜福利| 欧美xxxx性猛交bbbb| 亚洲成人中文字幕在线播放| 观看免费一级毛片| 久久久久久久午夜电影| 免费大片黄手机在线观看| 亚洲欧美清纯卡通| 男女啪啪激烈高潮av片| 国产91av在线免费观看| 高清av免费在线| 色5月婷婷丁香| 好男人视频免费观看在线| 永久网站在线| 韩国高清视频一区二区三区| 国产成人91sexporn| 国产伦精品一区二区三区四那| 日韩成人av中文字幕在线观看| 色网站视频免费| 乱系列少妇在线播放| av免费观看日本| av在线老鸭窝| 深爱激情五月婷婷| 精品国产露脸久久av麻豆| 久久精品夜色国产| 黄片wwwwww| 99热这里只有是精品50| 免费大片18禁| 亚洲国产高清在线一区二区三| 韩国av在线不卡| 看非洲黑人一级黄片| 欧美一级a爱片免费观看看| 欧美一区二区亚洲| 全区人妻精品视频| 久久人人爽人人片av| 少妇人妻 视频| 秋霞伦理黄片| 色播亚洲综合网| 寂寞人妻少妇视频99o| 干丝袜人妻中文字幕| 99久久中文字幕三级久久日本| 看黄色毛片网站| 国产免费视频播放在线视频| 亚洲av欧美aⅴ国产| 极品教师在线视频| 又粗又硬又长又爽又黄的视频| 欧美日本视频| 午夜老司机福利剧场| 神马国产精品三级电影在线观看| 久久久久久久久久久丰满| 欧美另类一区| 人人妻人人澡人人爽人人夜夜| 亚洲精品日本国产第一区| 日本色播在线视频| 亚洲三级黄色毛片| av在线播放精品| 精品熟女少妇av免费看| 啦啦啦啦在线视频资源| 97超视频在线观看视频| 国产成人一区二区在线| 国语对白做爰xxxⅹ性视频网站| 2022亚洲国产成人精品| videos熟女内射| 亚洲精品国产色婷婷电影| 欧美最新免费一区二区三区| 久久人人爽人人片av| 久久久久久伊人网av| 国产精品不卡视频一区二区| 一本久久精品| 91aial.com中文字幕在线观看| 国产高清三级在线| 在线观看美女被高潮喷水网站| av.在线天堂| 国产精品久久久久久精品古装| 亚洲自偷自拍三级| 欧美激情国产日韩精品一区| 日韩亚洲欧美综合| 哪个播放器可以免费观看大片| 欧美97在线视频| 欧美zozozo另类| 久久热精品热| av线在线观看网站| 亚洲av电影在线观看一区二区三区 | 深爱激情五月婷婷| 欧美日韩一区二区视频在线观看视频在线 | 在线播放无遮挡| 一区二区三区乱码不卡18| 久久99蜜桃精品久久| 亚洲av成人精品一区久久| 日本爱情动作片www.在线观看| 国产免费一级a男人的天堂| 久久久久久久国产电影| 97在线视频观看| 在线a可以看的网站| 成年免费大片在线观看| 亚洲国产欧美在线一区| 日韩国内少妇激情av| 亚洲欧美中文字幕日韩二区| 少妇丰满av| 午夜视频国产福利| 亚洲高清免费不卡视频| 2021天堂中文幕一二区在线观| 亚洲人成网站高清观看| 国产av国产精品国产| 天天躁夜夜躁狠狠久久av| 亚洲国产精品国产精品| 国产综合精华液| 寂寞人妻少妇视频99o| 精品99又大又爽又粗少妇毛片| 国产亚洲午夜精品一区二区久久 | 51国产日韩欧美| 亚洲国产av新网站| 亚洲精华国产精华液的使用体验| 高清欧美精品videossex| 国产真实伦视频高清在线观看| 亚洲三级黄色毛片| 亚洲aⅴ乱码一区二区在线播放| 日韩av在线免费看完整版不卡| 亚洲精品一区蜜桃| 在线观看美女被高潮喷水网站| 免费av不卡在线播放| 少妇人妻精品综合一区二区| 亚洲av男天堂| 亚洲最大成人中文| 最近2019中文字幕mv第一页| 我的女老师完整版在线观看| 亚洲最大成人中文| 免费黄色在线免费观看| 亚洲av.av天堂| 中文资源天堂在线| 国内精品宾馆在线| 亚洲欧美成人综合另类久久久| 看黄色毛片网站| 国内精品宾馆在线| 亚洲欧美成人综合另类久久久| 黄色欧美视频在线观看| 男男h啪啪无遮挡| 街头女战士在线观看网站| 免费少妇av软件| 卡戴珊不雅视频在线播放| 免费看a级黄色片| 国产淫语在线视频|