• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    城市交通信號(hào)局部博弈交互下的學(xué)習(xí)協(xié)調(diào)控制

    2020-12-07 08:20:52夏新海
    關(guān)鍵詞:交通信號(hào)交通流交叉口

    夏新海

    廣州航海學(xué)院 港口與航運(yùn)管理學(xué)院,廣州 510725

    1 引言

    效率低下的交通信號(hào)控制造成的交叉口延誤占城市交通凈延誤的5%至10%[1]。城市交通信號(hào)控制系統(tǒng)優(yōu)化可以減少行程延誤、交叉口延誤和交叉口停車次數(shù)。自適應(yīng)交通信號(hào)控制系統(tǒng),如SCOOT、SCATS、PRODYN、OPAC、RHODES、UTOPIA、CRONOS、TUC比固定配時(shí)和感應(yīng)式交通信號(hào)控制系統(tǒng)的控制方案的性能更好。然而,自適應(yīng)交通信號(hào)控制方案往往在可擴(kuò)展性和魯棒性等方面受到限制。其中許多交通信號(hào)控制系統(tǒng)(如SCOOT和SCATS)是基于實(shí)時(shí)交通數(shù)據(jù)運(yùn)行的集中控制系統(tǒng),并且一些系統(tǒng)(如OPAC和RHODES)應(yīng)用動(dòng)態(tài)優(yōu)化來(lái)尋找控制方案。然而,它們不能自適應(yīng)地從環(huán)境中學(xué)習(xí),并且隨著交叉口數(shù)目的增加,計(jì)算復(fù)雜度呈指數(shù)級(jí)增加。此外,一些學(xué)者、研究人員也應(yīng)用了神經(jīng)模糊網(wǎng)絡(luò)、tabu 搜索、自組織協(xié)調(diào)圖、情感算法、遺傳算法等來(lái)改進(jìn)交通信號(hào)控制方案。然而這些算法存在兩個(gè)主要局限性,分別是需要大量的數(shù)據(jù)來(lái)校準(zhǔn)大規(guī)模路網(wǎng)的參數(shù)和指數(shù)復(fù)雜性。為了克服這些局限性,研究人員還探索了基于數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等來(lái)替代實(shí)時(shí)自適應(yīng)控制算法。

    在較高飽和度交通環(huán)境下,城市路網(wǎng)中各交叉口處的交通流存在較大相互關(guān)聯(lián)性,因此引入博弈學(xué)習(xí)方法能更有效地進(jìn)行城市區(qū)域路網(wǎng)交通的交通信號(hào)控制。

    近十年來(lái),在交通信號(hào)控制領(lǐng)域,RL(強(qiáng)化學(xué)習(xí))的實(shí)現(xiàn)已經(jīng)得到了很好的研究。Thorpe 利用神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)等待時(shí)間,并應(yīng)用在線策略RL(SARSA)來(lái)進(jìn)行信號(hào)控制[2]。Mikami 和Kakazu 結(jié)合進(jìn)化算法和強(qiáng)化學(xué)習(xí)技術(shù)提出了合作交通信號(hào)控制方案[3]。Bingham提出了基于模糊邏輯的規(guī)則,其根據(jù)車輛數(shù)量分配綠燈時(shí)間[4]。

    Abdulhai等應(yīng)用了離線策略(Q-Learning)算法來(lái)優(yōu)化孤立交叉口的交通信號(hào)控制[5]。由于聯(lián)合狀態(tài)動(dòng)作的空間呈指數(shù)級(jí)增長(zhǎng),其在更大路網(wǎng)中的應(yīng)用具有挑戰(zhàn)性。后來(lái),Wiering 等提出了考慮車輛等待時(shí)間的網(wǎng)絡(luò)級(jí)合作學(xué)習(xí)算法,并使用基于車輛的值函數(shù)將狀態(tài)空間減少到合理數(shù)量[6]。然而,其等待時(shí)間的預(yù)測(cè)并不準(zhǔn)確,交通模擬器缺少車道變換和動(dòng)態(tài)路徑選擇等重要模塊。研究人員還研究了合作多agent系統(tǒng)在城市交通控制的應(yīng)用[7-9]。近年來(lái),El-Tantawy 等提出了基于鄰域協(xié)調(diào)RL的信號(hào)控制,并描述了一個(gè)聯(lián)合決策來(lái)介紹多agent框架[10]。盡管Q-Learning 和SARSA 是最廣泛使用的時(shí)間差分技術(shù),但研究人員還應(yīng)用了其他算法,如actorcritic時(shí)間差分、帶函數(shù)逼近的Q-Learning及依賴于動(dòng)作的自適應(yīng)動(dòng)態(tài)規(guī)劃[11-13]。Abdul Aziz H M 等將R-馬爾可夫平均回報(bào)技術(shù)(R-Markov Average Reward Technology)應(yīng)用于交通信號(hào)控制,在強(qiáng)化學(xué)習(xí)狀態(tài)定義中添加相鄰交叉口擁擠信息[14]。

    總的來(lái)說(shuō),上述研究沒(méi)有充分考慮與相鄰交通信號(hào)控制agent 之間的信息交互,或者相鄰交叉口交通信號(hào)控制agent 沒(méi)有明確的交互和協(xié)調(diào),未涉及聯(lián)合狀態(tài)動(dòng)作空間的最優(yōu)性。相鄰交通信號(hào)控制agent信息提供了周圍控制agent的擁塞狀態(tài)等信息,其有助于agent更好地學(xué)習(xí)。假設(shè)某一特定交叉口的相鄰交叉口交通負(fù)荷過(guò)重,從而該交叉口在不久的將來(lái)也將承受過(guò)重的交通負(fù)荷。僅使用本地局部信息,agent 無(wú)法知道將出現(xiàn)的即時(shí)擁塞。如果相鄰交叉口交換擁塞狀態(tài)等信息時(shí),若相鄰交叉口發(fā)生擁擠,agent 將通過(guò)學(xué)習(xí)來(lái)調(diào)整交通信號(hào)設(shè)置。

    由于城市路網(wǎng)中交叉口間的交通流是相互影響的,通過(guò)相鄰交叉口擁擠信息、策略和效用等信息的交換,使得交叉口交通信號(hào)控制agent間能實(shí)現(xiàn)通信,此控制問(wèn)題可用博弈框架來(lái)建模,從而有利于緩解維數(shù)災(zāi)難問(wèn)題,并且有效地平衡城市路網(wǎng)交通信號(hào)控制系統(tǒng)整體和交叉口局部交通信號(hào)控制性能。本文在建立城市區(qū)域交通信號(hào)控制系統(tǒng)模型的基礎(chǔ)上,設(shè)計(jì)基于交叉口局部信息交互的博弈學(xué)習(xí)方法,其利用路網(wǎng)拓?fù)渲芯植拷徊婵诮煌飨嗷ビ绊懙年P(guān)系,保證區(qū)域交通信號(hào)控制系統(tǒng)效率在分布化機(jī)制下能夠?qū)崿F(xiàn)最優(yōu)化。在博弈學(xué)習(xí)過(guò)程中交叉口交通信號(hào)控制agent進(jìn)行局部交通控制信息交互,自主學(xué)習(xí)控制策略,從而逐漸收斂到最優(yōu)策略。最后通過(guò)仿真實(shí)驗(yàn)分析此算法的有效性和收斂性。

    2 城市區(qū)域交通信號(hào)控制系統(tǒng)模型

    利用節(jié)點(diǎn)表示城市區(qū)域交通網(wǎng)絡(luò)中的交叉路口,弧線表示交通流。假設(shè)Sr1、τr1分別為交通流r1的飽和流率和轉(zhuǎn)彎率,且為可測(cè)的常數(shù)。此外,交叉口i的周期Ci,相位p的有效綠燈時(shí)間yi,p,及損失時(shí)間Li滿足,其中Fi是允許車輛離開(kāi)交叉口i的相位集合,以交叉口1為基準(zhǔn)交叉口,交叉口i相對(duì)于交叉口1 相位差為θi。為了對(duì)區(qū)域路網(wǎng)交通信號(hào)控制進(jìn)行協(xié)調(diào),對(duì)于任意一個(gè)交叉口i,考慮從交叉口j流向交叉口i的單向交通流r,交通流r在時(shí)刻k+1 末的車輛排隊(duì)長(zhǎng)度等于在時(shí)刻k末,交叉口到來(lái)的車輛流量Ii,r加上剩余的車輛排隊(duì)長(zhǎng)度,減去在有效綠燈時(shí)間內(nèi)駛出的車輛流量Oi,r[15]。

    建立交通流r的動(dòng)態(tài)離散時(shí)間模型如下:

    其中,xi,r(k)表示當(dāng)?shù)趉個(gè)交通信號(hào)控制周期開(kāi)始時(shí),交叉口i的交通流r上的車輛數(shù)量。xi,r(k+1)表示第k+1 個(gè)交通信號(hào)控制周期開(kāi)始時(shí),交叉口i的交通流r上的車輛數(shù)量。T表示交通信號(hào)控制時(shí)間間隔,為一個(gè)交通信號(hào)控制周期C。Ii,r(k)和Oi,r(k)分別表示交通流r的駛?cè)肓髁亢婉偝隽髁俊?/p>

    對(duì)于交通流r,駛?cè)氲能嚵鱽?lái)自于相鄰交叉口j中的交通流w1、w2、w3,并且只有交通流w1中的左轉(zhuǎn)車流最終會(huì)流入交通流r。假設(shè)左轉(zhuǎn)車流占整個(gè)交通流w1的比例為τj,w1;i,r,稱之為轉(zhuǎn)彎率,即τj,w1;i,r表示從交叉口j的w1交通流流入到交叉口i的交通流r的轉(zhuǎn)彎率。同理交通流w2中只有直行車流駛?cè)虢煌鱮,相應(yīng)地τj,w2;i,r稱為直行率。交通流w3中只有右轉(zhuǎn)車流駛?cè)虢煌鱮,相應(yīng)地τj,w3;i,r稱為右轉(zhuǎn)率。故r的流入量Ii,r(k)=τj,w1;i,rOj,w1(k)+τj,w2;i,rOj,w2(k)+τj,w3;i,rOj,w3(k)。因此交通流r的流入量Ir,k(k)可以表示為:

    其中,G表示交叉口j中駛?cè)虢煌鱮的車流的集合,即G=w1,w2,w3。τj,w;i,r表示從交叉口j的交通流w轉(zhuǎn)入到交叉口i的交通流r的轉(zhuǎn)彎率。

    對(duì)于駛出車流量Oi,r(k),它是由單位交通信號(hào)控制周期內(nèi)的釋放的車流量q和相位的綠燈時(shí)間yi,p(k)決定的,因此交通流r的駛出流量Oi,r(k)可以表示成:

    其中,vi,r表示交叉口i允許交通流r通行的相位的集合,qi,r表示交通流r的車流量。

    令zi,p(k)=qi,r yi,p(k)作為系統(tǒng)控制變量。將式(2)和(3)及zi,p(k)=qi,r yi,p(k)代入式(1)得:

    根據(jù)式(3)中Or,w(k)的定義,式(4)中的Oj,w(k)可以寫成以及T=C。所以式(4)可以寫成:

    接下來(lái),整個(gè)區(qū)域交通路網(wǎng)都應(yīng)用式(5),可得到整個(gè)區(qū)域交通路網(wǎng)的離散狀態(tài)時(shí)空表達(dá)式:

    另外,若區(qū)域路網(wǎng)中交通流只有外界輸入交通流量,則式(2)和(4)必須表示成:

    其中,di,r表示交叉口i進(jìn)入交通流r的交通需求。為了簡(jiǎn)化,假定di,r已知。于是式(6)可以寫成:

    其中,X(k)、Z(k)、d(k)分別表示系統(tǒng)的狀態(tài)向量、交通信號(hào)控制向量、交通需求向量,且d(k)是常數(shù)向量。狀態(tài)矩陣B為單位矩陣,H是包含網(wǎng)絡(luò)特性(如拓?fù)浣Y(jié)構(gòu)、飽和流率、轉(zhuǎn)彎率)的控制輸入矩陣,D是需求矩陣[16]。

    交通信號(hào)控制agent 通過(guò)無(wú)線網(wǎng)絡(luò)與其他agent 進(jìn)行通信和協(xié)調(diào)。為此,提出交通信號(hào)控制agent 之間博弈學(xué)習(xí)方法,通過(guò)它們之間的交互,并通過(guò)實(shí)時(shí)采集的交通流來(lái)最小化車輛在交叉口的等待時(shí)間,以最小化整個(gè)路網(wǎng)中的等待時(shí)間。

    3 城市區(qū)域交叉口交通信號(hào)博弈協(xié)調(diào)控制框架

    傳統(tǒng)分布式交通信號(hào)控制系統(tǒng)雖然開(kāi)銷較少,但系統(tǒng)協(xié)調(diào)效率受限,并且存在維數(shù)災(zāi)難問(wèn)題,因此這里引入局部交互思想,將交通信號(hào)控制優(yōu)化問(wèn)題建模為交叉口交通信號(hào)控制agent 局部合作博弈,通過(guò)相鄰交叉口交通信號(hào)控制agent間的信息交互實(shí)現(xiàn)系統(tǒng)協(xié)調(diào)效率與優(yōu)化開(kāi)銷的有效折中[17]。

    定義城市區(qū)域路網(wǎng)交通系統(tǒng)由N個(gè)交叉口構(gòu)成,定義博弈模型為元組:

    其中,M={1,2,…,N}為系統(tǒng)中交叉口交通信號(hào)控制agent 的集合;Am為系統(tǒng)中第m個(gè)交叉口交通信號(hào)控制agent 的可用的策略集合,即決策空間,由Am=Xm×Zm;X和Z含義見(jiàn)式(6)和式(9),分別表示m的狀態(tài)空間和動(dòng)作空間;Jm是交叉口交通信號(hào)控制agentm相鄰交叉口交通信號(hào)控制agent 的集合;U(mam,a-m)為交叉口交通信號(hào)控制agentm的效用函數(shù)。其中am是交叉口交通信號(hào)控制agentm執(zhí)行的策略,a-m是除交叉口交通信號(hào)控制agentm以外其他交叉口交通信號(hào)控制agent執(zhí)行的策略[18]。

    設(shè)gm(am,aJm)為交叉口交通信號(hào)控制agentm的滿意效用,是關(guān)于交通流r上的車輛數(shù)量、綠燈相位持續(xù)時(shí)間內(nèi)釋放的車流量的函數(shù),且:

    xm(h+1)=fdxi(x(h),zm(h),z-m(k)) 由式(5)定義,Q和R為對(duì)角元素為正的對(duì)角矩陣,上標(biāo)T 表示轉(zhuǎn)置操作符,x(h|k)為在周期k時(shí)給定條件下在周期h時(shí)的s的預(yù)測(cè)值,z(h)表示在周期h的動(dòng)作。

    根據(jù)單個(gè)交叉口交通信號(hào)控制agent的滿意效用定義,定義城市區(qū)域網(wǎng)絡(luò)交通滿意效用為所有交叉口交通信號(hào)控制agent滿意效用之和。

    城市區(qū)域路網(wǎng)交通信號(hào)控制系統(tǒng)的整體目標(biāo)是通過(guò)尋找最優(yōu)聯(lián)合策略,使得系統(tǒng)滿意效用達(dá)到最大,即:

    根據(jù)第2章分析,相鄰交叉口之間交通流相互影響較大,并不是任意兩個(gè)交叉口的交通信號(hào)控制都有明顯的相互干擾,因此Um(am,a-m)可以表示為Um(am,aJm)。這里定義U(mam,aJm)如下:

    交叉口交通信號(hào)控制agent的效用函數(shù)由自身滿意效用和相鄰交叉口交通信號(hào)控制agent的滿意效用之和組成。因此每個(gè)交叉口交通信號(hào)控制agent的決策不僅要考慮提高自身滿意效用,還要盡可能地減少對(duì)相鄰交叉口交通信號(hào)控制agent滿意效用的影響。通過(guò)這種局部合作方式,每個(gè)交叉口交通信號(hào)控制agent 在決策時(shí)將大大降低其自利性,并且可以使得此博弈問(wèn)題能夠收斂到最優(yōu)聯(lián)合策略。為了實(shí)現(xiàn)局部交互,相鄰交叉口交通信號(hào)控制agent 之間需要交換信息,其中包括交叉口交通信號(hào)控制agent的滿意效用和策略選擇。局部交互博弈模型可以表示為:

    記交叉口交通信號(hào)控制agent 聯(lián)合策略為a*=,若任意交叉口交通信號(hào)控制agent 不能獨(dú)自地改變策略增加其效用值,稱a*為博弈G的純策略納什均衡點(diǎn),則路網(wǎng)滿意效用最大化問(wèn)題P1的全局最優(yōu)解構(gòu)成博弈G的一個(gè)純策略納什均衡點(diǎn)[17]。

    4 基于交叉口交通信號(hào)控制agent 局部博弈交互的學(xué)習(xí)算法

    傳統(tǒng)的學(xué)習(xí)算法如最佳動(dòng)態(tài)響應(yīng)、非遺憾學(xué)習(xí)和虛擬對(duì)策都能使得勢(shì)能博弈收斂到某一純策略納什均衡點(diǎn),但往往無(wú)法達(dá)到最優(yōu)。因此設(shè)計(jì)一種基于局部信息博弈交互的學(xué)習(xí)算法來(lái)確保路網(wǎng)中每個(gè)交叉口交通信號(hào)控制agent在博弈中收斂到最優(yōu)策略并最大化網(wǎng)絡(luò)滿意效用。

    4.1 算法描述

    算法基于交叉口交通信號(hào)控制agent 局部博弈交互的學(xué)習(xí)算法

    (1)初始化。設(shè)置k=0,令每個(gè)交叉口交通信號(hào)控制agentm∈M以相等概率從其可行控制策略集合Am中選擇初始控制策略am(0)。

    (2)交叉口交通信號(hào)控制agent 與其相鄰交叉口交通信號(hào)控制agent交換信息,包括效用值和策略選擇。

    (3)任意選擇一個(gè)交叉口交通信號(hào)控制agenti∈M,其他所有交叉口交通信號(hào)控制agent重復(fù)上一次迭代的策略,即a-i(k+1)=a-i(k)。而對(duì)于交叉口交通信號(hào)控制agenti,它將根據(jù)一個(gè)離散概率分布來(lái)選擇k+1 時(shí)刻的策略ai(k+1) 。記交叉口交通信號(hào)控制agenti策略選擇為ai(k+1)=ai∈Ai時(shí),其效用函數(shù)值可表示為Ui(ai,aJi(k))。根據(jù)式(15)可以計(jì)算得到交叉口交通信號(hào)控制agenti選擇ai(k+1)=ai的概率:

    其中,γ為折扣因子表示交叉口交通信號(hào)控制agenti執(zhí)行Ai中的所有策略可以獲得的效用之和。因此,交叉口交通信號(hào)控制agenti會(huì)以概率執(zhí)行策略ai。

    (4)如果迭代次數(shù)達(dá)到預(yù)設(shè)的最大值tmax,所有交叉口交通信號(hào)控制agent停止更新策略;否則,回到步驟(2),算法繼續(xù)。在算法中,γ取值必須合理。如果γ過(guò)大,博弈學(xué)習(xí)可能不能收斂到最優(yōu)的純策略納什均衡點(diǎn);如果γ過(guò)小,將會(huì)減慢收斂速度。故在設(shè)計(jì)γ值時(shí)需要綜合考慮性能表現(xiàn)和收斂速度。

    在算法的每次迭代中,隨機(jī)選擇一個(gè)交叉口交通信號(hào)控制agent更新控制策略而保持其他交叉口交通信號(hào)控制agent的策略不變。重復(fù)該過(guò)程直到滿足某些準(zhǔn)則時(shí)才停止。如步驟(3),選中的交叉口交通信號(hào)控制agent按照概率進(jìn)行策略更新。此概率分布的計(jì)算由交叉口交通信號(hào)控制agent當(dāng)前策略及其鄰居的策略共同決定,見(jiàn)式(15)所示。根據(jù)式(15)的設(shè)計(jì),交叉口交通信號(hào)控制agent會(huì)以更高的概率選擇使其獲得更大效用的策略。在數(shù)次迭代后,每個(gè)交叉口交通信號(hào)控制agent的策略選擇都會(huì)以無(wú)限接近于1 的概率收斂到最優(yōu)策略。該結(jié)論將在4.2節(jié)進(jìn)行分析。在局部博弈交互學(xué)習(xí)過(guò)程中,相鄰交叉口交通信號(hào)控制agent 間還需交換必要的信息,如交叉口交通信號(hào)控制agent 的效用值和控制策略選擇[19]。

    4.2 算法最優(yōu)性和收斂性分析

    若所有交叉口交通信號(hào)控制agent 執(zhí)行算法,聯(lián)合策略a∈A1?A2?…?AM的平穩(wěn)概率分布可以表示為,其中A=A1?A2?…?AM表示交叉口交通信號(hào)控制agent聯(lián)合策略集合[17]。

    記使路網(wǎng)交通信號(hào)控制系統(tǒng)滿意效用最大化的最優(yōu)聯(lián)合策略為a*:

    當(dāng)γ值足夠大時(shí),有exp{γφ(a*)}>exp{γφ(a)},?a∈{Aa*},則a*的平穩(wěn)概率分布可以計(jì)算為:

    式(17)表示以任意接近1的概率得到最優(yōu)解。因此當(dāng)γ值足夠大時(shí),博弈學(xué)習(xí)算法可以任意接近1的概率達(dá)到問(wèn)題P1的最優(yōu)解。

    5 案例研究

    應(yīng)用MATLAB實(shí)現(xiàn)博弈學(xué)習(xí)算法,利用VISSIM微觀交通仿真平臺(tái)進(jìn)行仿真,構(gòu)建路網(wǎng),設(shè)計(jì)不同的交通情景,加載博弈學(xué)習(xí)控制算法插件。案例分析用到的路網(wǎng)采用比較常用的來(lái)分析交通信號(hào)控制相關(guān)問(wèn)題的allsop和charlesworth的著名測(cè)試道路網(wǎng)絡(luò),其基本布局見(jiàn)圖1,其包括23條路段和21個(gè)信號(hào)設(shè)置變量,分別位于6個(gè)信號(hào)控制交叉口[20]。基本初始路網(wǎng)相位方案見(jiàn)表1,各連接上的交通流量見(jiàn)表2(即式(9)中路網(wǎng)交通需求矩陣D)。

    表1 路網(wǎng)的交通信號(hào)相位方案

    圖1 分析用到的路網(wǎng)

    案例分析其借鑒英國(guó)交通與道路研究所提出的離線優(yōu)化交通網(wǎng)絡(luò)信號(hào)配時(shí)所采用的路網(wǎng)性能性能指標(biāo)(Performance Evaluation Index,PEI),見(jiàn)式(18),把時(shí)間與費(fèi)用統(tǒng)一考慮,其是路網(wǎng)流量和路網(wǎng)交通信號(hào)配時(shí)參數(shù)的函數(shù)[21]。

    其中,dl是連接l的延誤,l∈L,L是路網(wǎng)所有連接的集合,是連接l上的延誤的特定加權(quán)因子。K是停車懲罰系數(shù),表示停車次數(shù)相對(duì)于延誤的重要性。Sl是連接l上每秒停車的次數(shù)。是連接l上停車次數(shù)S的連接特定加權(quán)因子。

    表2 路網(wǎng)連接車流量

    案例用到仿真參數(shù)設(shè)置如下:最小和最大周期時(shí)長(zhǎng)為36 s和120 s;相位最小綠燈時(shí)間為7 s,每個(gè)相位的綠燈間隔時(shí)間為5 s,包括4 s黃燈和1 s全紅。感應(yīng)控制單位綠燈延長(zhǎng)時(shí)間為2 s,最大綠燈時(shí)間為80 s。=1,K=1。Sl學(xué)習(xí)率(α)為0.8。在博弈學(xué)習(xí)過(guò)程中,算法的學(xué)習(xí)因子γ可隨迭代的進(jìn)行而變化,并且在第i次迭代中設(shè)置γ=i。最大學(xué)習(xí)次數(shù)(tmax)為500。轉(zhuǎn)彎率τj,w;i,r可由表1和表2的數(shù)據(jù)計(jì)算得到。

    5.1 情景1:基準(zhǔn)情景

    在測(cè)試交通需求增加產(chǎn)生的可能影響之前,博弈學(xué)習(xí)使用現(xiàn)有的連接交通流需求(D1)應(yīng)用于基準(zhǔn)情景,模型的收斂性如圖2 所示。在第338 次的學(xué)習(xí),該算法收斂,得到評(píng)價(jià)指標(biāo)值為364.30,而在第一次學(xué)習(xí)時(shí)評(píng)價(jià)指標(biāo)值為528.30。換句話說(shuō),相對(duì)于評(píng)價(jià)指標(biāo)的初始值,改進(jìn)率為45%。在算法的運(yùn)行過(guò)程中,各交叉口交通信號(hào)控制agent 通過(guò)交互局部效用值和策略,利用減小搜索空間,并圍繞最優(yōu)信號(hào)配時(shí)設(shè)置的參數(shù)來(lái)搜索全局最優(yōu),避免陷入局部最優(yōu)解。

    圖2 基準(zhǔn)情景下博弈學(xué)習(xí)方法的收斂性

    基準(zhǔn)情景下博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法運(yùn)行收斂后得到的最優(yōu)評(píng)價(jià)指標(biāo)值分別為364.30、443.50、365.20,總旅行時(shí)間分別為170 veh·h、203 veh·h、170 veh·h。采用博弈學(xué)習(xí)和遺傳算法所得評(píng)價(jià)指標(biāo)結(jié)果非常接近。然而,由于該方法比具有二進(jìn)制編碼/解碼過(guò)程的遺傳算法更容易應(yīng)用,因此可以認(rèn)為該方法優(yōu)于遺傳算法。此外,所提出的模型與感應(yīng)控制相比,評(píng)價(jià)指標(biāo)的最終值提高了22%。表3 中給出了三種方法在基準(zhǔn)情景下的運(yùn)行收斂后得到的最優(yōu)交通信號(hào)配時(shí)方案。其中相位差是絕對(duì)相位差,交叉口1為基準(zhǔn)交叉口。

    表3 基準(zhǔn)情景下最優(yōu)信號(hào)配時(shí)方案

    5.2 情景2

    在路網(wǎng)的基準(zhǔn)情景交通需求的基礎(chǔ)上增加20%(D2=120%D1)。這種情景下,所提出的模型算法的收斂性如圖3所示。

    圖3 情景2下博弈學(xué)習(xí)方法的收斂性

    從圖3 可看出,經(jīng)過(guò)478 次學(xué)習(xí)過(guò)程,博弈學(xué)習(xí)達(dá)到收斂,收斂后的方案的評(píng)價(jià)指標(biāo)值781.80,而評(píng)價(jià)指標(biāo)在第一次學(xué)習(xí)時(shí)評(píng)價(jià)指標(biāo)為1 043.50。在情景2 下,博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法達(dá)到收斂的評(píng)價(jià)指標(biāo)值分別為781.80、891.20、804.50,總旅行時(shí)間分別為356 veh·h、405 veh·h、365 veh·h,因此博弈學(xué)習(xí)優(yōu)于另外兩種方法。相對(duì)于基準(zhǔn)情景,交通需求增加20%,其評(píng)價(jià)指標(biāo)的最終值大約增長(zhǎng)1 倍。對(duì)于情景2,三種方法收斂后的交通信號(hào)配時(shí)方案見(jiàn)表4??梢钥闯鼋煌ㄐ枨蟮脑鲩L(zhǎng)導(dǎo)致路網(wǎng)周期時(shí)間相對(duì)于基準(zhǔn)情景也增加。

    表4 情景2收斂后的交通信號(hào)配時(shí)方案

    5.3 情景3

    在這種情況下,為了表明博弈學(xué)習(xí)在高交通需求條件下的有效性,將基準(zhǔn)情景下的路網(wǎng)中連接流量增加到50%(D3=150%D1)。相對(duì)于初始解,博弈學(xué)習(xí)的最終評(píng)價(jià)指標(biāo)值改進(jìn)了20%。在第551 次學(xué)習(xí)過(guò)程內(nèi)算法停止,發(fā)現(xiàn)路網(wǎng)評(píng)價(jià)指標(biāo)的最優(yōu)值為2 137.50,如圖4所示。算法運(yùn)行過(guò)程中,路網(wǎng)評(píng)價(jià)指標(biāo)值比情景2下有更高的波動(dòng)趨勢(shì),其根本原因是交通需求的增加導(dǎo)致了交通擁擠的加劇,使得交通信號(hào)配時(shí)優(yōu)化問(wèn)題的最優(yōu)解難以找到。在情景3下,博弈學(xué)習(xí)、感應(yīng)控制、遺傳算法的達(dá)到收斂的評(píng)價(jià)指標(biāo)值分別為2 137.5、2 286.5、2 228.5,總旅行時(shí)間分別為965 veh·h、1 034 veh·h、1 006 veh·h,因此博弈學(xué)習(xí)優(yōu)于另外兩種方法。表5 給出了收斂后的信號(hào)配時(shí)和相應(yīng)的參數(shù)值,其中博弈學(xué)習(xí)的優(yōu)化周期達(dá)到了設(shè)定的最大周期120 s。

    圖4 情景3下博弈學(xué)習(xí)方法的收斂性

    表5 情景3收斂后的交通信號(hào)配時(shí)方案

    因此,在路網(wǎng)交通需求量較大的情況下,博弈學(xué)習(xí)也能收斂到全局最優(yōu)的解,并比遺傳算法和感應(yīng)控制產(chǎn)生更好的評(píng)價(jià)指標(biāo)值。

    6 結(jié)束語(yǔ)

    本文在建立城市區(qū)域交通信號(hào)控制系統(tǒng)模型的基礎(chǔ)上,設(shè)計(jì)基于交叉口局部信息交互的博弈學(xué)習(xí)方法,其利用網(wǎng)絡(luò)拓?fù)渲芯植肯嗷ビ绊懙年P(guān)系,保證區(qū)域交通系統(tǒng)效率在分布化機(jī)制下能夠?qū)崿F(xiàn)最優(yōu)化。在博弈學(xué)習(xí)過(guò)程中交叉口進(jìn)行局部信息交互,自主調(diào)整策略使其逐漸收斂到最優(yōu)策略,具有更好的交通需求管控能力和收斂性能。以路網(wǎng)平均延誤和平均停車次數(shù)通過(guò)加權(quán)構(gòu)建算法性能指標(biāo),在某中等規(guī)模路網(wǎng)的三種交通需求情景下,利用博弈學(xué)習(xí)方法均優(yōu)于遺傳算法方法和感應(yīng)控制方法,并且博弈學(xué)習(xí)均能收斂到最優(yōu)解。博弈學(xué)習(xí)能更有效地判斷最佳聯(lián)合策略,能夠與新興的通信技術(shù)協(xié)同工作,有助于異構(gòu)智能交通控制系統(tǒng)集成方案的解決。在未來(lái)的研究中,可以考慮基于云架構(gòu)的分布式學(xué)習(xí)機(jī)制,進(jìn)一步分析學(xué)習(xí)率參數(shù)和折扣因子對(duì)算法的影響,并應(yīng)用于更大規(guī)模的路網(wǎng),提高系統(tǒng)交通信號(hào)配時(shí)決策效率。同時(shí)可考慮通過(guò)引入車聯(lián)網(wǎng)環(huán)境中的I2I通信技術(shù)允許交叉口交通信號(hào)控制agent與其他交叉口交通信號(hào)控制agent 交換信息,實(shí)現(xiàn)博弈學(xué)習(xí)算法與車聯(lián)網(wǎng)技術(shù)模式相結(jié)合,有望在下一代智能交通系統(tǒng)中發(fā)揮重要作用[22]。

    猜你喜歡
    交通信號(hào)交通流交叉口
    《城市軌道交通信號(hào)圖冊(cè)》正式出版
    《城市軌道交通信號(hào)設(shè)備》正式出版
    城市軌道交通信號(hào)設(shè)備監(jiān)測(cè)技術(shù)探討
    信號(hào)交叉口延誤參數(shù)獲取綜述
    交通信號(hào)智能指揮模型
    交通流隨機(jī)行為的研究進(jìn)展
    一種Y型交叉口設(shè)計(jì)方案的選取過(guò)程
    路內(nèi)停車對(duì)交通流延誤影響的定量分析
    考慮黃燈駕駛行為的城市交叉口微觀仿真
    具有負(fù)壓力的Aw-Rascle交通流的Riemann問(wèn)題
    两个人免费观看高清视频| 国产精品麻豆人妻色哟哟久久| 下体分泌物呈黄色| www.熟女人妻精品国产| 两性夫妻黄色片| 99精国产麻豆久久婷婷| 国产色婷婷99| 热re99久久精品国产66热6| 精品卡一卡二卡四卡免费| 日韩三级伦理在线观看| 亚洲精品自拍成人| 久久久久久久久久久免费av| 国产又爽黄色视频| 成人二区视频| 国产在视频线精品| 国产亚洲最大av| 久久精品国产自在天天线| 天堂中文最新版在线下载| 尾随美女入室| 欧美av亚洲av综合av国产av | 国产视频首页在线观看| 国产国语露脸激情在线看| 人成视频在线观看免费观看| 99re6热这里在线精品视频| 国产在线一区二区三区精| 午夜激情av网站| 久久韩国三级中文字幕| 亚洲精品国产一区二区精华液| 青草久久国产| 黄频高清免费视频| 日本-黄色视频高清免费观看| 伊人久久大香线蕉亚洲五| 好男人视频免费观看在线| 国产精品欧美亚洲77777| 看非洲黑人一级黄片| 两性夫妻黄色片| 国产熟女欧美一区二区| 国产毛片在线视频| 涩涩av久久男人的天堂| 亚洲三区欧美一区| 一本大道久久a久久精品| 综合色丁香网| 久久久久国产一级毛片高清牌| 国产极品天堂在线| 国产在线视频一区二区| 国产又爽黄色视频| 18禁观看日本| 国产成人aa在线观看| 亚洲婷婷狠狠爱综合网| 中国国产av一级| 可以免费在线观看a视频的电影网站 | 国产无遮挡羞羞视频在线观看| 色婷婷久久久亚洲欧美| 国精品久久久久久国模美| 国产精品三级大全| 国产麻豆69| 黄片无遮挡物在线观看| 久久99一区二区三区| 欧美激情极品国产一区二区三区| 成人午夜精彩视频在线观看| 高清在线视频一区二区三区| 人妻系列 视频| 国产老妇伦熟女老妇高清| 在线观看免费高清a一片| 国产亚洲最大av| 国产精品人妻久久久影院| 欧美bdsm另类| 丝袜人妻中文字幕| 国产成人精品无人区| 90打野战视频偷拍视频| 亚洲精华国产精华液的使用体验| 伊人久久国产一区二区| 亚洲精品在线美女| 亚洲国产精品成人久久小说| 欧美日韩国产mv在线观看视频| 国产高清国产精品国产三级| 成年女人毛片免费观看观看9 | 香蕉丝袜av| 精品酒店卫生间| 国产伦理片在线播放av一区| 亚洲三级黄色毛片| 亚洲美女搞黄在线观看| 久久精品久久久久久久性| 午夜激情av网站| 欧美 亚洲 国产 日韩一| 日日爽夜夜爽网站| 丰满迷人的少妇在线观看| 亚洲国产欧美在线一区| 精品国产一区二区久久| 如日韩欧美国产精品一区二区三区| 欧美精品人与动牲交sv欧美| 久久鲁丝午夜福利片| 亚洲精华国产精华液的使用体验| 美女午夜性视频免费| 亚洲少妇的诱惑av| 久久久久久人妻| 成人二区视频| 一区二区三区激情视频| 国产 精品1| 男人爽女人下面视频在线观看| 欧美日韩国产mv在线观看视频| 久久精品久久精品一区二区三区| 久久ye,这里只有精品| 夫妻午夜视频| 一边亲一边摸免费视频| 日韩中文字幕视频在线看片| 亚洲综合色惰| 搡女人真爽免费视频火全软件| 波多野结衣一区麻豆| 免费人妻精品一区二区三区视频| 一级片免费观看大全| 满18在线观看网站| 亚洲欧美一区二区三区黑人 | 亚洲情色 制服丝袜| 夫妻午夜视频| 国产精品三级大全| 国产亚洲欧美精品永久| 最近最新中文字幕免费大全7| 性少妇av在线| 99热网站在线观看| 啦啦啦中文免费视频观看日本| 男女边吃奶边做爰视频| 国产精品亚洲av一区麻豆 | 欧美人与性动交α欧美精品济南到 | 免费不卡的大黄色大毛片视频在线观看| 视频区图区小说| 国产国语露脸激情在线看| 久久精品国产自在天天线| 国产熟女午夜一区二区三区| 国产 一区精品| 成人黄色视频免费在线看| 91aial.com中文字幕在线观看| 2022亚洲国产成人精品| 视频在线观看一区二区三区| 久久久亚洲精品成人影院| 一级片免费观看大全| 久久久亚洲精品成人影院| 日韩人妻精品一区2区三区| 欧美精品人与动牲交sv欧美| 交换朋友夫妻互换小说| 交换朋友夫妻互换小说| 精品福利永久在线观看| 欧美精品人与动牲交sv欧美| 美女大奶头黄色视频| 中文天堂在线官网| 男女边摸边吃奶| 日韩一本色道免费dvd| 亚洲精品视频女| 汤姆久久久久久久影院中文字幕| 视频在线观看一区二区三区| 亚洲人成电影观看| av在线观看视频网站免费| 国产精品偷伦视频观看了| 久久精品亚洲av国产电影网| 亚洲美女黄色视频免费看| 两性夫妻黄色片| 婷婷色综合大香蕉| 国产免费福利视频在线观看| 久久国产精品大桥未久av| 精品亚洲成国产av| 国产精品久久久av美女十八| videos熟女内射| 免费少妇av软件| 一区福利在线观看| 日韩在线高清观看一区二区三区| 人人妻人人爽人人添夜夜欢视频| 久久久久精品人妻al黑| 免费大片黄手机在线观看| 亚洲成色77777| 美女高潮到喷水免费观看| 人人妻人人澡人人爽人人夜夜| 人体艺术视频欧美日本| 一级毛片黄色毛片免费观看视频| 永久网站在线| 欧美精品人与动牲交sv欧美| 亚洲精品久久久久久婷婷小说| 如日韩欧美国产精品一区二区三区| 日韩中字成人| 国产精品秋霞免费鲁丝片| 色吧在线观看| 免费久久久久久久精品成人欧美视频| 97在线视频观看| 国产日韩一区二区三区精品不卡| 在线观看美女被高潮喷水网站| 中文字幕av电影在线播放| 色播在线永久视频| 亚洲av免费高清在线观看| 最近2019中文字幕mv第一页| 热re99久久精品国产66热6| 精品99又大又爽又粗少妇毛片| 伊人久久大香线蕉亚洲五| 丝袜喷水一区| 考比视频在线观看| 欧美日本中文国产一区发布| 亚洲人成77777在线视频| 男女免费视频国产| 男女边摸边吃奶| 哪个播放器可以免费观看大片| 日韩一卡2卡3卡4卡2021年| 大片电影免费在线观看免费| 亚洲国产精品一区三区| 卡戴珊不雅视频在线播放| 亚洲四区av| 亚洲精品第二区| 18禁动态无遮挡网站| 久久久国产欧美日韩av| 国产淫语在线视频| 久久亚洲国产成人精品v| 女性生殖器流出的白浆| 免费观看av网站的网址| freevideosex欧美| 日本午夜av视频| 爱豆传媒免费全集在线观看| 亚洲欧洲精品一区二区精品久久久 | 18+在线观看网站| 国产成人精品福利久久| 亚洲欧美精品自产自拍| 婷婷色麻豆天堂久久| 亚洲色图 男人天堂 中文字幕| 又大又黄又爽视频免费| 人人妻人人添人人爽欧美一区卜| 欧美国产精品va在线观看不卡| 狂野欧美激情性bbbbbb| 在线亚洲精品国产二区图片欧美| 波多野结衣av一区二区av| 欧美变态另类bdsm刘玥| 欧美精品人与动牲交sv欧美| 国产精品偷伦视频观看了| 性少妇av在线| 国产片内射在线| 王馨瑶露胸无遮挡在线观看| 中文字幕精品免费在线观看视频| 一边摸一边做爽爽视频免费| www.自偷自拍.com| 久久婷婷青草| 女性生殖器流出的白浆| 高清黄色对白视频在线免费看| 如日韩欧美国产精品一区二区三区| 一级毛片 在线播放| 青春草亚洲视频在线观看| 午夜91福利影院| 久久人人爽人人片av| 亚洲精品一区蜜桃| 国产成人午夜福利电影在线观看| 国产成人精品在线电影| 高清黄色对白视频在线免费看| av免费观看日本| 亚洲一级一片aⅴ在线观看| 国产精品一区二区在线不卡| 亚洲国产最新在线播放| 日韩一区二区三区影片| 国产野战对白在线观看| 免费在线观看完整版高清| 欧美日韩综合久久久久久| 亚洲av国产av综合av卡| av免费在线看不卡| 成人漫画全彩无遮挡| 国语对白做爰xxxⅹ性视频网站| 韩国av在线不卡| 日本91视频免费播放| 99国产精品免费福利视频| 欧美xxⅹ黑人| 亚洲天堂av无毛| 国产激情久久老熟女| 大片免费播放器 马上看| 少妇 在线观看| 精品亚洲成国产av| 十八禁网站网址无遮挡| av网站免费在线观看视频| 26uuu在线亚洲综合色| 男女高潮啪啪啪动态图| 美国免费a级毛片| 国产精品久久久久久久久免| h视频一区二区三区| 久久久久久久久久人人人人人人| av在线观看视频网站免费| 日韩中文字幕视频在线看片| 高清不卡的av网站| 亚洲欧美日韩另类电影网站| 丝袜喷水一区| 大香蕉久久网| 麻豆av在线久日| 亚洲伊人久久精品综合| 国产综合精华液| 9热在线视频观看99| 亚洲伊人色综图| 欧美老熟妇乱子伦牲交| 久久99一区二区三区| 菩萨蛮人人尽说江南好唐韦庄| 9色porny在线观看| 曰老女人黄片| 涩涩av久久男人的天堂| 在线天堂中文资源库| 汤姆久久久久久久影院中文字幕| 在线观看三级黄色| videossex国产| 欧美日韩亚洲高清精品| 赤兔流量卡办理| 亚洲av日韩在线播放| 日韩不卡一区二区三区视频在线| 亚洲av电影在线观看一区二区三区| 在现免费观看毛片| 日日啪夜夜爽| 国产在线免费精品| 亚洲美女黄色视频免费看| 多毛熟女@视频| 99久国产av精品国产电影| 熟妇人妻不卡中文字幕| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 大香蕉久久成人网| 国产亚洲午夜精品一区二区久久| 午夜福利影视在线免费观看| 亚洲精品国产av蜜桃| 在线精品无人区一区二区三| 视频在线观看一区二区三区| 高清av免费在线| 久久国内精品自在自线图片| 高清在线视频一区二区三区| 欧美激情极品国产一区二区三区| 91国产中文字幕| 国产片内射在线| 777久久人妻少妇嫩草av网站| 亚洲欧美色中文字幕在线| 国产高清不卡午夜福利| 99香蕉大伊视频| 欧美日韩视频高清一区二区三区二| 亚洲五月色婷婷综合| 成年女人在线观看亚洲视频| 叶爱在线成人免费视频播放| 成人国产麻豆网| 免费观看无遮挡的男女| 国产成人欧美| 99re6热这里在线精品视频| 大香蕉久久成人网| 制服人妻中文乱码| 久久精品夜色国产| 两个人免费观看高清视频| 交换朋友夫妻互换小说| av网站在线播放免费| 国产精品熟女久久久久浪| 午夜福利视频在线观看免费| 男女啪啪激烈高潮av片| 成人影院久久| 亚洲四区av| 天天影视国产精品| 日本免费在线观看一区| 女人精品久久久久毛片| 亚洲成人手机| 亚洲三级黄色毛片| 叶爱在线成人免费视频播放| 少妇人妻 视频| 丝袜美足系列| 天天躁夜夜躁狠狠躁躁| 亚洲欧美成人精品一区二区| a级毛片在线看网站| 精品午夜福利在线看| 热99国产精品久久久久久7| 久久久国产欧美日韩av| 精品国产露脸久久av麻豆| 欧美bdsm另类| 国产成人a∨麻豆精品| av线在线观看网站| 久久久久久久久久久免费av| 免费播放大片免费观看视频在线观看| 啦啦啦在线免费观看视频4| 久久久久久久国产电影| 国产免费现黄频在线看| 日韩制服骚丝袜av| 日韩欧美精品免费久久| 亚洲av在线观看美女高潮| 成人亚洲欧美一区二区av| 女人精品久久久久毛片| 99久久精品国产国产毛片| 久久久久久久亚洲中文字幕| 永久网站在线| 日本猛色少妇xxxxx猛交久久| 97人妻天天添夜夜摸| 赤兔流量卡办理| 只有这里有精品99| xxxhd国产人妻xxx| 欧美日韩亚洲高清精品| 国产白丝娇喘喷水9色精品| 亚洲伊人久久精品综合| 日韩免费高清中文字幕av| 欧美在线黄色| 精品人妻偷拍中文字幕| 久久久久人妻精品一区果冻| 另类精品久久| 美女高潮到喷水免费观看| 精品一区二区三区四区五区乱码 | 久久久久久久大尺度免费视频| 欧美激情极品国产一区二区三区| 亚洲欧洲国产日韩| 精品久久久精品久久久| 亚洲欧美色中文字幕在线| 中文天堂在线官网| 亚洲欧洲精品一区二区精品久久久 | 日本黄色日本黄色录像| 免费在线观看黄色视频的| 毛片一级片免费看久久久久| 丁香六月天网| 伊人亚洲综合成人网| 国产人伦9x9x在线观看 | 天天操日日干夜夜撸| 丰满乱子伦码专区| 久久久久久免费高清国产稀缺| 亚洲第一青青草原| 欧美日韩视频精品一区| 国产精品久久久久久av不卡| 波多野结衣av一区二区av| 电影成人av| 人人妻人人添人人爽欧美一区卜| 熟妇人妻不卡中文字幕| 免费观看在线日韩| 激情五月婷婷亚洲| 老汉色∧v一级毛片| 成人亚洲欧美一区二区av| 欧美精品国产亚洲| 亚洲三区欧美一区| 久久久久久久久久久免费av| 国产一区亚洲一区在线观看| 秋霞在线观看毛片| 精品酒店卫生间| 爱豆传媒免费全集在线观看| 国产精品免费视频内射| 亚洲国产日韩一区二区| 十分钟在线观看高清视频www| a 毛片基地| 人人妻人人爽人人添夜夜欢视频| 一区二区av电影网| 美女国产高潮福利片在线看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 欧美少妇被猛烈插入视频| 久久久久久免费高清国产稀缺| 亚洲经典国产精华液单| 啦啦啦在线观看免费高清www| 青春草国产在线视频| 亚洲经典国产精华液单| 亚洲内射少妇av| 国产精品久久久久久精品古装| 成人亚洲欧美一区二区av| 国产亚洲午夜精品一区二区久久| 亚洲精品中文字幕在线视频| 欧美xxⅹ黑人| 久久热在线av| 精品亚洲成国产av| 超色免费av| 丰满少妇做爰视频| 午夜免费男女啪啪视频观看| 26uuu在线亚洲综合色| 男人爽女人下面视频在线观看| 欧美人与善性xxx| 成人国产av品久久久| 日本免费在线观看一区| 国产精品一区二区在线不卡| 久久精品国产亚洲av天美| 满18在线观看网站| 人人澡人人妻人| 精品亚洲成a人片在线观看| 美女大奶头黄色视频| 黄色毛片三级朝国网站| 巨乳人妻的诱惑在线观看| 一区二区三区精品91| 好男人视频免费观看在线| 在线精品无人区一区二区三| 高清av免费在线| 国产精品蜜桃在线观看| 国产福利在线免费观看视频| 久久99热这里只频精品6学生| 欧美精品高潮呻吟av久久| freevideosex欧美| 午夜日韩欧美国产| 久久久精品免费免费高清| 咕卡用的链子| 宅男免费午夜| 中国三级夫妇交换| 免费看av在线观看网站| 中文字幕人妻丝袜制服| 两个人看的免费小视频| tube8黄色片| 69精品国产乱码久久久| 亚洲国产精品成人久久小说| 蜜桃在线观看..| 国产精品秋霞免费鲁丝片| 秋霞在线观看毛片| 精品国产乱码久久久久久男人| 国产综合精华液| 美女午夜性视频免费| 久久精品久久久久久噜噜老黄| 国产精品99久久99久久久不卡 | 人人妻人人爽人人添夜夜欢视频| 中国三级夫妇交换| 晚上一个人看的免费电影| 亚洲av欧美aⅴ国产| 黄色毛片三级朝国网站| 久久毛片免费看一区二区三区| 99热网站在线观看| 国产精品久久久久久精品古装| 满18在线观看网站| 大片免费播放器 马上看| 亚洲第一青青草原| 国产男人的电影天堂91| 伊人久久大香线蕉亚洲五| 免费高清在线观看视频在线观看| 国产精品久久久久成人av| 黄色配什么色好看| 国产视频首页在线观看| 天天影视国产精品| 少妇人妻 视频| 热re99久久精品国产66热6| 亚洲精品aⅴ在线观看| 好男人视频免费观看在线| 国产精品二区激情视频| 国产激情久久老熟女| videos熟女内射| 看非洲黑人一级黄片| 青春草国产在线视频| 精品福利永久在线观看| av电影中文网址| 亚洲国产日韩一区二区| 国产高清国产精品国产三级| 免费少妇av软件| 日韩一卡2卡3卡4卡2021年| 美女视频免费永久观看网站| 1024视频免费在线观看| 亚洲av免费高清在线观看| 人人妻人人澡人人爽人人夜夜| 久久久久久久久免费视频了| 精品视频人人做人人爽| 色婷婷av一区二区三区视频| 欧美 日韩 精品 国产| 大香蕉久久成人网| 国产精品99久久99久久久不卡 | 色网站视频免费| 亚洲 欧美一区二区三区| 蜜桃在线观看..| 欧美中文综合在线视频| 91成人精品电影| 日本wwww免费看| 国产欧美日韩一区二区三区在线| 成人手机av| 99热全是精品| 欧美精品人与动牲交sv欧美| 久久国内精品自在自线图片| 夫妻性生交免费视频一级片| 啦啦啦中文免费视频观看日本| 熟女av电影| 亚洲精品国产色婷婷电影| 久久婷婷青草| 国产成人精品婷婷| 一个人免费看片子| 久久久久久伊人网av| 国产爽快片一区二区三区| 午夜av观看不卡| 啦啦啦啦在线视频资源| 汤姆久久久久久久影院中文字幕| 97人妻天天添夜夜摸| 永久免费av网站大全| 免费日韩欧美在线观看| 中文字幕人妻丝袜制服| 咕卡用的链子| 成人亚洲欧美一区二区av| 亚洲成人手机| 看十八女毛片水多多多| 黄色毛片三级朝国网站| 欧美激情极品国产一区二区三区| 黄色怎么调成土黄色| 99国产精品免费福利视频| 美女xxoo啪啪120秒动态图| 18+在线观看网站| av一本久久久久| 亚洲视频免费观看视频| 亚洲欧洲日产国产| 人妻 亚洲 视频| 国产精品三级大全| 久久精品aⅴ一区二区三区四区 | 我要看黄色一级片免费的| 你懂的网址亚洲精品在线观看| 欧美日韩国产mv在线观看视频| 欧美最新免费一区二区三区| 精品少妇内射三级| 欧美最新免费一区二区三区| 精品国产国语对白av| 国产av精品麻豆| 婷婷色综合www| 黄频高清免费视频| 色婷婷久久久亚洲欧美| 亚洲精品aⅴ在线观看| 下体分泌物呈黄色| 日韩一本色道免费dvd| 亚洲欧美日韩另类电影网站| 最新的欧美精品一区二区| 三级国产精品片| 欧美精品一区二区免费开放| 国产精品久久久久久精品古装| 波多野结衣一区麻豆| 女的被弄到高潮叫床怎么办| 国产欧美日韩综合在线一区二区| 女人被躁到高潮嗷嗷叫费观| 99热国产这里只有精品6| 久久人人97超碰香蕉20202| 精品久久久久久电影网| 91成人精品电影| 亚洲国产欧美在线一区| 久久婷婷青草| 国产高清国产精品国产三级| 亚洲男人天堂网一区| 国产成人av激情在线播放| 免费大片黄手机在线观看| 99久久综合免费| 亚洲成色77777| 亚洲精品国产av成人精品| 国产福利在线免费观看视频| 777久久人妻少妇嫩草av网站| 婷婷色麻豆天堂久久|