• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)可變限速控制對擁堵路段交通流的優(yōu)化

    2017-10-09 00:47:07程鵬謝小年
    山東交通學(xué)院學(xué)報 2017年3期
    關(guān)鍵詞:交通流匝道主線

    程鵬,謝小年

    (重慶交通大學(xué) 交通運輸學(xué)院,重慶 400041)

    基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)可變限速控制對擁堵路段交通流的優(yōu)化

    程鵬,謝小年

    (重慶交通大學(xué) 交通運輸學(xué)院,重慶 400041)

    為提高可變限速(variable speed limits,VSL)控制對高速公路交通流的控制效能,提出一種連續(xù)狀態(tài)下BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制方法。以路網(wǎng)總通行時間、路段內(nèi)平均速度、平均密度和平均流量為評價指標(biāo),應(yīng)用VISSIM4.30與MATLAB軟件對比分析采用與不采用BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制時,入口匝道和主線合流區(qū)域附近潛在擁堵路段對交通流的影響。結(jié)果表明,基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)型VSL控制方法對主線瓶頸區(qū)域上游易擁堵路段的交通流有明顯的優(yōu)化作用。

    BP神經(jīng)網(wǎng)絡(luò);Q-學(xué)習(xí);可變限速控制;交通流優(yōu)化

    VSL控制是主線控制的一種,通過VSL標(biāo)志來控制主線上車輛的行駛速度,并且標(biāo)志上的速度隨著主線上車輛數(shù)量的變化而變化。文獻(xiàn)[1]認(rèn)為安裝VSL標(biāo)志對改善高速公路交通流具有積極作用。VSL標(biāo)志能夠顯示限速信息,不但可以通過限制速度控制交通流,達(dá)到降低交通擁堵的目的,還能向駕駛員傳遞前面路段的交通狀況,提高交通安全[2]。文獻(xiàn)[3]以道路上的車輛數(shù)量為基礎(chǔ),分別利用BP神經(jīng)網(wǎng)絡(luò)、模糊控制、模糊神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)與遺傳算法相結(jié)合的方法對各影響因素進(jìn)行建模,并比較這4種方法在VSL控制中的性能。文獻(xiàn)[4]把可變限速過程控制定義為馬爾科夫決策過程,利用強(qiáng)化學(xué)習(xí)無需建立環(huán)境模型的特點對高速路主線交通流進(jìn)行主動控制。文獻(xiàn)[5]從實際快速路交通流數(shù)據(jù)出發(fā),分析VSL控制對交通流的影響,并運用改進(jìn)的元胞傳輸仿真模型,利用單目標(biāo)反饋法VSL策略以及強(qiáng)化學(xué)習(xí)VSL控制對主線合流擁堵區(qū)域進(jìn)行控制,達(dá)到防止主線交通擁堵,提高交通安全的目的。

    近年來,強(qiáng)化學(xué)習(xí)法(reinforcement learning approach,RL)在解決交通控制系統(tǒng)問題方面得到廣泛應(yīng)用。文獻(xiàn)[6]把RL用于控制高速公路入口匝道的車輛數(shù)以使主線的交通流處于最佳狀態(tài)。盡管RL在匝道交通調(diào)節(jié)和交通信號控制等方面已得到很多應(yīng)用,但RL在其傳統(tǒng)形式的離散狀態(tài)下,用于處理中型和大型的交通控制問題時,缺乏學(xué)習(xí)效率,遇到“維數(shù)災(zāi)”問題。本文利用函數(shù)逼近器BP神經(jīng)網(wǎng)絡(luò)來解決這一問題,通過BP神經(jīng)網(wǎng)絡(luò)存儲動作-狀態(tài)對的評價值,減少RL的存儲空間。在VSL控制時,根據(jù)高速公路入口匝道和主線合流區(qū)附近車輛的流量、速度和密度對高速公路限速分配進(jìn)行主動學(xué)習(xí),以降低高度公路的交通擁堵。

    1 RL與Q-學(xué)習(xí)算法

    1.1 RL

    RL是受到人類學(xué)習(xí)時的試錯行為啟發(fā)而提出的一種人工智能學(xué)習(xí)法。在學(xué)習(xí)過程中,智能體通過所處環(huán)境的交互作用和試錯,對每個狀態(tài)的最佳動作進(jìn)行學(xué)習(xí),以使它們接收的累計回報最大化。RL問題可以看作是馬爾科夫決策過程,是一個構(gòu)建序貫決策問題的數(shù)學(xué)模型框架[7]。定義在每個狀態(tài)下使智能體未來接收的期望折扣回報值最大化所得評價函數(shù)

    式中:γ為折扣系數(shù),γ∈[0,1];rt為時間步t所接收的回報。

    1.2 Q-學(xué)習(xí)算法

    本文使用的收斂效果較好的Q-學(xué)習(xí)算法是RL中應(yīng)用最廣泛的一種算法。在Q-學(xué)習(xí)算法中,用函數(shù)Q(s,a)評價給定狀態(tài)下采取動作的好壞,并以表格的形式存儲其評價值,即Q值[8-9]。假設(shè)在環(huán)境狀態(tài)s下采取的動作為a,Q函數(shù)對相應(yīng)的Q值進(jìn)行評價和存儲,反應(yīng)的是控制系統(tǒng)處于狀態(tài)s下采取動作a的長期累計回報值。

    設(shè)t時刻Q學(xué)習(xí)的時間差分

    (1)

    根據(jù)時間差分算法可得訓(xùn)練樣本更新Q函數(shù)

    Q(st,at)′=Q(st,at)+α(st,at)δt,

    (2)

    式中:Q(st,at)′為更新后Q的存儲值,表示新的學(xué)習(xí)經(jīng)驗;α(st,at)為學(xué)習(xí)率,0<α(st,at)≤1。

    由式(1)(2)得

    (3)

    在Q-學(xué)習(xí)過程中,無需知道環(huán)境模型,而是通過比較狀態(tài)s下的每個動作所產(chǎn)生的Q值來確定最優(yōu)策略,使決策過程更加簡便。

    2 基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法

    在交通控制問題過程中往往關(guān)系到多維連續(xù)空間,使用Q-學(xué)習(xí)算法做決策時,要把連續(xù)狀態(tài)空間離散化或者使用參數(shù)化表示的函數(shù)逼近法。多維連續(xù)狀態(tài)空間下的離散化會使Q值的存儲空間隨著維數(shù)的增加呈指數(shù)增長,出現(xiàn)“維數(shù)災(zāi)”問題,因此還要權(quán)衡學(xué)習(xí)速度和控制系統(tǒng)的最優(yōu)問題[10-12]。本文選擇BP神經(jīng)網(wǎng)絡(luò)作為值函數(shù)逼近器:可以解決大型交通系統(tǒng)控制的連續(xù)狀態(tài)空間的RL參數(shù)化表示問題;可以存儲和記憶Q值,避免狀態(tài)變量數(shù)呈指數(shù)增長的記憶需求;能夠自動除去已經(jīng)學(xué)過的經(jīng)驗,提高學(xué)習(xí)效率。

    圖1 單隱含層BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

    2.1 BP神經(jīng)網(wǎng)絡(luò)

    BP神經(jīng)網(wǎng)絡(luò)是一種誤差反向傳播的前向型神經(jīng)網(wǎng)絡(luò),通常由1個輸入層、1個輸出層和1個隱含層構(gòu)成,輸出層一般含有1個神經(jīng)元,隱含層一般含有多個神經(jīng)元。其結(jié)構(gòu)如圖1所示。

    隱含層的每個神經(jīng)元都有一個非線性s型激活函數(shù)。設(shè)網(wǎng)絡(luò)的輸入變量為Xi=[x1,x2,…,xk],(i=1,2,…,k)預(yù)輸出變量為Y=[y1,y2,…,ym],輸入層與隱含層之間的權(quán)值為wij=[w11,w12,…,wkn],(j=1,2,…,n)隱含層與輸出層之間的權(quán)值為wj=[w1,w2,…,wn]。則網(wǎng)絡(luò)輸出公式為:

    2.2 BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法

    假設(shè)離散狀態(tài)下狀態(tài)集S和動作集A中的每個狀態(tài)都會有與之對應(yīng)的Q值,RL環(huán)境下的神經(jīng)網(wǎng)絡(luò)中,狀態(tài)變量s作為輸入,Q值作為輸出,首先利用S中的狀態(tài)s和對應(yīng)的Q值進(jìn)行訓(xùn)練,調(diào)整網(wǎng)絡(luò)中的權(quán)值使誤差最小化。然后智能體感知環(huán)境狀態(tài)s,神經(jīng)網(wǎng)絡(luò)根據(jù)學(xué)習(xí)的經(jīng)驗對Q值進(jìn)行預(yù)測,智能體根據(jù)預(yù)測的Q值對環(huán)境采取動作,并接收到回報值。根據(jù)式(3)進(jìn)行更新,更新之后的狀態(tài)動作對也即新的Q值存儲到神經(jīng)網(wǎng)絡(luò)中,作為下一次預(yù)測的經(jīng)驗,這是一個不斷優(yōu)化的過程,隨著整個系統(tǒng)的學(xué)習(xí)經(jīng)驗越來越多,采取的動作也就越來越優(yōu)。

    BP神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過程中通過誤差反向傳播和梯度下降法修正各層之間的權(quán)值使預(yù)測誤差最小化,從而達(dá)到逼近函數(shù)的目的。誤差公式為:

    (4)

    式中:Jt為RL環(huán)境下t時刻的預(yù)測誤差;Wt為t時刻迭代時包含所有權(quán)重的參數(shù)向量,Wt=[w1,w2,…,wn,w11,w2n,…,wkn];et為網(wǎng)絡(luò)訓(xùn)練時實際輸出與理論輸出之差。

    梯度下降學(xué)習(xí)法的權(quán)重更新

    (5)

    式中:Wt+1為t+1時刻迭代時包含所有權(quán)重的參數(shù)向量;aN為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率。

    2.3基于基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制

    通過基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)智能算法控制VSL標(biāo)志的速度(限速值),從而控制車道上的交通流。首先,系統(tǒng)根據(jù)車輛行駛狀態(tài)采用神經(jīng)網(wǎng)絡(luò)預(yù)測Q值,然后根據(jù)Q值發(fā)布限速值,以路網(wǎng)總通行時間T為控制目標(biāo)對發(fā)布限速值后車輛的行駛狀態(tài)進(jìn)行評價,系統(tǒng)再根據(jù)該評價結(jié)果通過式(3)更新Q值并存儲到神經(jīng)網(wǎng)絡(luò)中,根據(jù)式(4)(5)對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行修正,如此循環(huán)往復(fù)。因此,該系統(tǒng)控制是一個不斷學(xué)習(xí)優(yōu)化的過程。

    3 實例分析

    將微觀仿真軟件VISSIM4.30與MATLAB軟件相結(jié)合對模型進(jìn)行仿真驗證。假設(shè)一條里程為9 km的單車道高速公路,把它分為N1~N66段,每段長度為1.5 km,如圖2所示?;疑珔^(qū)域為入口匝道與主線合流區(qū)域附近易擁堵的路段,為VSL控制區(qū),檢測器1、2可提供主線交通狀況數(shù)據(jù),如速度、占有率和流量等[13-16]。路段N6為限速解除的加速區(qū)域,匝道不進(jìn)行任何控制。

    圖2 可變限速布局圖

    在該研究案例中,假設(shè)交通優(yōu)化過程為馬爾科夫決策過程,定義數(shù)據(jù)檢測器檢測的速度、流量和密度為狀態(tài)變量。交通控制的主要目的是緩解交通擁堵,降低出行時間,所以定義路網(wǎng)總通行時間

    式中:Tc為控制周期;N(p)為控制周期為p時的車輛數(shù);c為仿真時間與周期之比。

    3.1參數(shù)設(shè)計

    主線自由流速度設(shè)置為100 km/h,交通需求設(shè)置為2 200輛/h,臨界密度為24輛/km,仿真時間跨度3 600 s,數(shù)據(jù)檢測器時間間隔設(shè)置為20 s,即每20 s采集1次速度、流量和密度,VSL控制周期為Tc=2 min,c=30,仿真精度為10,其它參數(shù)采用默認(rèn)值。把限速值進(jìn)行離散化,即Q-學(xué)習(xí)動作空間A= {50,60,70,80,90,100},α∈A,折扣系數(shù)γ=0.8。

    在BP神經(jīng)網(wǎng)絡(luò)中,參數(shù)的設(shè)置與網(wǎng)絡(luò)的結(jié)構(gòu)和每次迭代訓(xùn)練收斂情況有關(guān)。BP神經(jīng)網(wǎng)絡(luò)的輸入層設(shè)置3個節(jié)點,對應(yīng)的輸入分別為速度、流量和密度;輸出層節(jié)點為1個,對應(yīng)的是動作-狀態(tài)對評價值Q值;隱含層的神經(jīng)元數(shù)量要比輸入層多的多,并且使用反向傳播算法進(jìn)行訓(xùn)練,在經(jīng)過對不同隱含層神經(jīng)元的數(shù)量多次試驗之后,BP神經(jīng)網(wǎng)絡(luò)的隱層神經(jīng)元的數(shù)量定為18;學(xué)習(xí)率設(shè)為0.01,訓(xùn)練目標(biāo)誤差為0.001,迭代次數(shù)為3 000[17-18]。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本分為70%的訓(xùn)練數(shù)據(jù)和30%的測試數(shù)據(jù)。為精簡樣本,對網(wǎng)絡(luò)的輸入和輸出進(jìn)行歸一化處理,其值處于0~1。在BP神經(jīng)網(wǎng)絡(luò)的迭代學(xué)習(xí)中,最好是避免呈現(xiàn)來自狀態(tài)空間相同的區(qū)域的連續(xù)樣本,以避免權(quán)重偏置。此外,在整個學(xué)習(xí)過程中,樣本應(yīng)覆蓋狀態(tài)空間的不同區(qū)域,以提供良好的推廣。

    3.2仿真結(jié)果

    圖3分別為未實施和實施基于BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)VSL控制(以下簡稱VSL控制)時入口匝道和主線合流區(qū)域車輛的速度、密度和流量圖。未實施VSL控制時,由圖3a)、c)、e)可知:當(dāng)t=500 s時,合流區(qū)域的流量接近道路的通行能力2 200 輛/h。當(dāng)t>800 s時,流量隨著時間的增加持續(xù)降低,說明此時VSL控制區(qū)域上游產(chǎn)生了交通擁堵;在擁堵產(chǎn)生時VSL控制區(qū)域上游的車流密度保持較高水平;在t=500 s之后速度下降明顯,并且在仿真結(jié)束之前一直處于降低水平。

    圖3 入口匝道和主線合流區(qū)域的速度、密度和流量曲線

    實施VSL控制時,由圖3b)、d)、f)可知:在t=500 s之前,車輛的速度、密度和流量與未實施VSL控制時基本相同;在t=500 s之后,VSL被激活,進(jìn)入合流區(qū)域的交通流被拖延,使交通狀況保持穩(wěn)定,防止交通擁堵的發(fā)生[19-21];在t>800 s時,通行能力有所上升,速度有明顯的回升,密度始終保持在臨界密度以下。與未控制的情況相比,VSL控制的路網(wǎng)通行時間降低了19.2%,控制路段的平均流量增加了4.7%,平均速度增加31.4%,速度的變化更趨向于平穩(wěn),消除了擁堵時瓶頸區(qū)域車輛走走停停的狀況,平均密度降低了12.5%。

    仿真結(jié)果對比表明:基于BP的Q-學(xué)習(xí)VSL控制能夠使主線車輛速度提高,且變化均勻,增加瓶頸區(qū)域的通行能力,在緩解主線交通擁堵,降低出行時間等方面效果明顯。

    4 結(jié)論

    1)采用BP神經(jīng)網(wǎng)絡(luò)的Q-學(xué)習(xí)算法解決連續(xù)狀態(tài)問題,用神經(jīng)網(wǎng)絡(luò)存儲Q值,并根據(jù)輸入狀態(tài)預(yù)測對應(yīng)的Q值。利用速度、密度和流量定義公路上的交通流,使用RL進(jìn)行限速分配,旨在沿著主線降低車速,以此降低交通擁堵。

    2)以路網(wǎng)車輛總通行時間、路段內(nèi)車輛的平均速度、平均密度和流量為評價指標(biāo),通過MATLAB和VISSIM仿真分析入口匝道和主線合流區(qū)域的交通擁堵狀況,表明基于BP的Q-學(xué)習(xí)VSL控制對瓶頸區(qū)域的交通流優(yōu)化作用明顯。

    [1]DGEORGIOU M, KOSMATOPOULOS E,PAPARMICHAIL I.Effect of variable speed limits on motorway traffic flow[J]. Transportation Research Record Journal of the Transportation Research Board,2008,2047 (2047) : 37-48.

    [2]陳建陽.高速公路可變限速標(biāo)志的作用及控制[J].同濟(jì)大學(xué)學(xué)報,1993,21(8):387-391. CHEN Jianyang.Action and control of freeway variable speed signs[J].Journal of Tongji Univercity, 1993,21(8): 387-391.

    [3]陳大山.高速公路主線可變限速控制研究[D].西安:長安大學(xué),2009. CHEN Dashan.Variable speed control of highway[D].Xi′an: Chang′an Univercity, 2009.

    [4]王薇,梁紅梅,李立超,等.高速公路可變限速控制算法研究[J].北華大學(xué)學(xué)報(自然科學(xué)版),2014,15(1):122-125. WANG Wei,LIANG Hongmei,LI Lichao,et al.On variable speed-limit control algorithms of expressways[J].Journal of Beihua Univercity (Natural Science), 2014,15(1):122-125.

    [5]李志斌.快速道路可變限速控制技術(shù)[D].南京: 東南大學(xué),2014. LI Zhibin.Variable speed limit control technique on expressway[D].Nanjing: Southeast University,2014.

    [6]王興舉,宮城俊彥.強(qiáng)化學(xué)習(xí)型匝道控制模型研究[J].石家莊鐵道大學(xué)學(xué)報(自然科學(xué)版),2010,23(2):104-108. WANG Xingju,MIYAGI Toshikiho.Reinforcement learning ramp metering[J].Journal of Shijiazhuang Tiedao University (Natural Sciences) , 2010,23(2):104-108.

    [7]虞靖靚.基于Q學(xué)習(xí)的Agent智能決策的研究與實現(xiàn)[D].合肥:合肥工業(yè)大學(xué),2005. YU Jingliang.The research and implementation of agent intelligent decision based on Q-learning[D].Hefei: Hefei University of Technology,2008.

    [8]孫晟.基于強(qiáng)化學(xué)習(xí)的動態(tài)單機(jī)調(diào)度研究[D].上海:上海交通大學(xué),2007. SUN Cheng.Reinforcement learning based dynamic single machine scheduling[D].Shanghai:Shanghai Jiao Tong University,2007.

    [9]張汝波,顧國昌,劉照德,等.強(qiáng)化學(xué)習(xí)理論、算法及應(yīng)用[J].控制理論與應(yīng)用,2000,17(5):637-642. ZHANG Rubo,GU Guochang,LIU Zhaode,et al.Reinforcement learning theory ,algorithms and its application[J].Control Theory and Applications,2000,17(5): 637-642.

    [10]陸鑫,高陽,李寧.基于神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)算法研究[J].計算機(jī)研究與發(fā)展,2002,39(8):981-985. LU Xin,GAO Yang,LI Ning.Research on a reinforcement learning algorithm based on neural network[J].Journal of Computer Research and Development, 2002,39(8):981-985.

    [11]蔣國飛,吳滄浦.基于Q學(xué)習(xí)算法和BP神經(jīng)網(wǎng)絡(luò)的倒立擺控制[J].自動化學(xué)報,5(24):662-666. JIANG Guofei,WU Cangpu.Learning to control an inverted pendulum using Q-learning and neural networks[J].Action Automatic Sinica,5(24):662-666.

    [12]夏麗麗.連續(xù)狀態(tài):連續(xù)行動強(qiáng)化學(xué)習(xí)[J].電腦知識與技術(shù),2011,19(7): 4669-4672. XIA Lili.Reinforcement learning with continuous state:continuous action[J].Computer Konwledge and Technology, 2011,19(7): 4669-4672.

    [13]李楊.高速公路可變速度控制方法研究[D].西安:長安大學(xué),2011. LI Yang.New variable speed control approach for freeway[D]. Xi′an: Chang′an Univercity,2011.

    [14]劉慶全,黃春平.公路主線可變限速模糊控制及仿真研究[J].計算機(jī)仿真,2010,27(12):335-338,400. LIU Qingquan,HUANG Chunping.Fuzzy control for variable speed limits and simulation on highway mainstream[J].Journal of Compter Simulaiton,2010,27(12):335-338,400.

    [15]WILLIAMS Ackaah,KLAUS Bogenberger.Advanced evaluation methods for variable speed limit systems[J].Transportation Research Procedia,2016,15:652-663.

    [16]CHO Hyerim,KIM Youngchan.Analysis of traffic flow with variable speed limit on highways[J].KSCE Journal of Civil Engineering,2012,6(16):1048-1049.

    [17]KUMAR K,PARIDA M,KATIYARV K.Short term traffic flow prediction for a non urban highway using artificial neural network[J].Procedia-Social and Behavioral Sciences,2013,104:755-764.

    [18]何玉婉.基于Elman 神經(jīng)網(wǎng)絡(luò)的高速公路入口匝道預(yù)測控制仿真研究[D].成都:西南交通大學(xué),2008. HE Yuwan.Research and simulation on neural network predictive control for freeway ramp based on Elman[D].Chengdu: Southwest Jiaotong University, 2008.

    [19]陳雪平,曾盛,胡剛.基于BP神經(jīng)網(wǎng)絡(luò)的短時交通流預(yù)測[J].公路交通技術(shù),2008:,3:115-117. CHEN Xueping,ZENG Sheng,HU Gang.Short-time traffic flow prediction based on BP neural network[J].Technology of Highway and Transport, 2008,3:115-117.

    [20]段薈,劉攀,李志斌,等.基于強(qiáng)化學(xué)習(xí)的匯流瓶頸區(qū)可變限速策略研究[J].交通運輸系統(tǒng)工程與息,2015,1(15):55-61. DUAN Hui,LIU Pan,LI Zhibin,et al.Variable speed limit control at freeway merge bottlenecks based on reinforcement learning[J].Journal of Transportation System Engineering and Information Technology, 2015,1(15):55-61.

    [21]蒲云,胡路,蔣陽升,等.高速公路主線收費站可變限速控制[J].交通運輸工程學(xué)報,2012,5(12):119-126. PU Yun,HU Lu,JIANG Yangsheng,et al.Variable speed-limit control before expressway mainline toll station[J].Journal of Traffic and Transportation Engineering, 2012,5(12):119-126.

    OptimizationforTrafficFlowofRoadCongestionBasedonQ-LearningVSLControlofBPNeuralNetwork

    CHENGPeng,XIEXiaonian

    (SchoolofTraffic&Transportation,ChongqingJiaotongUniversity,Chongqing400074,China)

    To improve the efficiency of VSL control over the freeway traffic flow, this paper proposes a new approach of Q-learning VSL control in the continuous BP neural network. Used the total traveling time of the road network, average speed of the road section and average flow as evaluation indexes, VISSIM4.30 and MATLAB are adopted to make the comparative analysis of the influence of the potential congestion section on the traffic flow at the on-ramp and nearby the merging area of the mainstream with and without the Q-learning VSL control of BP neural network. The results show that the Q-learning VSL control method based BP neural network plays an obvious role in the optimization of the traffic flow at the congested section of the upstream bottleneck of the mainstream.

    BP neural networks;Q-learning; VSL control;traffic flow optimization

    U491.54

    :A

    :1672-0032(2017)03-0038-06

    (責(zé)任編輯:楊秀紅)

    2017-02-19

    程鵬(1993—),男,安徽六安人,碩士研究生,主要研究方向為交通運輸規(guī)劃與管理,E-mail:1850083367@qq.com.

    10.3969/j.issn.1672-0032.2017.03.006

    猜你喜歡
    交通流匝道主線
    山東首套ETC匝道準(zhǔn)自由流預(yù)交易系統(tǒng)正式運行
    高速公路出入口匝道控制系統(tǒng)研究
    人物報道的多維思考、主線聚焦與故事呈現(xiàn)
    活力(2019年17期)2019-11-26 00:42:32
    更加突出主線 落實四個到位 推動主題教育取得實實在在成效
    淺談匝道ETC自由流應(yīng)用
    數(shù)字主線
    交通流隨機(jī)行為的研究進(jìn)展
    路內(nèi)停車對交通流延誤影響的定量分析
    下沉和整合 遼寧醫(yī)改主線
    具有負(fù)壓力的Aw-Rascle交通流的Riemann問題
    99香蕉大伊视频| 校园人妻丝袜中文字幕| 国产精品99久久99久久久不卡 | 亚洲久久久国产精品| 国产精品av久久久久免费| av在线观看视频网站免费| 2022亚洲国产成人精品| 精品一区二区免费观看| 亚洲成人手机| 国产欧美日韩一区二区三区在线| 亚洲在久久综合| 熟女电影av网| 一级毛片 在线播放| 高清不卡的av网站| 久久久久久久大尺度免费视频| 人妻 亚洲 视频| 中文字幕人妻丝袜制服| 色婷婷av一区二区三区视频| 亚洲,一卡二卡三卡| 亚洲精品第二区| 天天影视国产精品| 欧美xxⅹ黑人| 各种免费的搞黄视频| 在线观看免费高清a一片| 精品国产超薄肉色丝袜足j| 考比视频在线观看| 亚洲精品日韩在线中文字幕| 男女边吃奶边做爰视频| 欧美日韩精品网址| 在线观看免费视频网站a站| 丝袜美腿诱惑在线| 国产成人免费观看mmmm| 性色avwww在线观看| 男人舔女人的私密视频| 久久女婷五月综合色啪小说| 久久这里只有精品19| 校园人妻丝袜中文字幕| 999久久久国产精品视频| 欧美黄色片欧美黄色片| 欧美日韩视频精品一区| 精品第一国产精品| 啦啦啦啦在线视频资源| 99re6热这里在线精品视频| 午夜日本视频在线| av天堂久久9| 最近2019中文字幕mv第一页| 天天躁狠狠躁夜夜躁狠狠躁| 欧美激情高清一区二区三区 | 美女福利国产在线| 久久精品国产鲁丝片午夜精品| 亚洲国产日韩一区二区| 亚洲av成人精品一二三区| 啦啦啦中文免费视频观看日本| 国产精品免费视频内射| 啦啦啦啦在线视频资源| 搡老乐熟女国产| av在线老鸭窝| 久久久久久久大尺度免费视频| 天堂俺去俺来也www色官网| 久久久久久久国产电影| 伊人久久大香线蕉亚洲五| 国产在线一区二区三区精| 97在线人人人人妻| 天天影视国产精品| 国产精品不卡视频一区二区| 午夜福利在线免费观看网站| 国产免费现黄频在线看| 国产有黄有色有爽视频| 天堂中文最新版在线下载| 久久免费观看电影| freevideosex欧美| 两性夫妻黄色片| freevideosex欧美| 亚洲一级一片aⅴ在线观看| 在线观看国产h片| 国产片特级美女逼逼视频| 久久久国产欧美日韩av| 久久99一区二区三区| 日韩大片免费观看网站| 2021少妇久久久久久久久久久| 欧美av亚洲av综合av国产av | 在线天堂最新版资源| 日日撸夜夜添| 欧美日韩国产mv在线观看视频| 亚洲伊人色综图| 亚洲在久久综合| 欧美变态另类bdsm刘玥| 亚洲一区二区三区欧美精品| 久久人妻熟女aⅴ| 成人毛片60女人毛片免费| 只有这里有精品99| 久久99精品国语久久久| 人人妻人人澡人人看| xxx大片免费视频| 亚洲欧洲精品一区二区精品久久久 | 国产爽快片一区二区三区| 国产xxxxx性猛交| 欧美激情 高清一区二区三区| 99精国产麻豆久久婷婷| 如日韩欧美国产精品一区二区三区| 国产一区二区 视频在线| 性色av一级| 亚洲,欧美,日韩| av在线观看视频网站免费| 国产精品一区二区在线不卡| 国产精品久久久久久久久免| 在线天堂最新版资源| 日韩中文字幕视频在线看片| 日日啪夜夜爽| 免费观看在线日韩| 中文字幕最新亚洲高清| 婷婷色av中文字幕| 国产av码专区亚洲av| 99久久中文字幕三级久久日本| 午夜福利影视在线免费观看| 考比视频在线观看| 国产欧美日韩综合在线一区二区| 夜夜骑夜夜射夜夜干| 波多野结衣av一区二区av| 午夜福利在线观看免费完整高清在| 国产精品人妻久久久影院| 中文字幕精品免费在线观看视频| 久久毛片免费看一区二区三区| 午夜日本视频在线| 毛片一级片免费看久久久久| 国产又爽黄色视频| 欧美日韩成人在线一区二区| av卡一久久| 精品人妻一区二区三区麻豆| 亚洲av中文av极速乱| 久久人人爽av亚洲精品天堂| 乱人伦中国视频| 天堂中文最新版在线下载| 高清av免费在线| 男人爽女人下面视频在线观看| 久久精品熟女亚洲av麻豆精品| 久久久亚洲精品成人影院| av一本久久久久| 三级国产精品片| 欧美激情极品国产一区二区三区| 成人国语在线视频| 狂野欧美激情性bbbbbb| 国产成人一区二区在线| 精品国产乱码久久久久久小说| 9191精品国产免费久久| 美女中出高潮动态图| 母亲3免费完整高清在线观看 | 亚洲伊人色综图| 亚洲第一区二区三区不卡| 多毛熟女@视频| 在线观看www视频免费| 国产成人精品福利久久| 大片电影免费在线观看免费| 久热久热在线精品观看| 最近中文字幕2019免费版| 七月丁香在线播放| 久久久久网色| 日韩,欧美,国产一区二区三区| 精品一区二区免费观看| 五月天丁香电影| 久久久欧美国产精品| 亚洲熟女精品中文字幕| 亚洲av免费高清在线观看| 少妇被粗大的猛进出69影院| 国产国语露脸激情在线看| 咕卡用的链子| 黄片小视频在线播放| 亚洲欧美成人综合另类久久久| 高清欧美精品videossex| 80岁老熟妇乱子伦牲交| 精品久久久久久电影网| 一级黄片播放器| 看免费成人av毛片| 久久久国产一区二区| 久久精品久久久久久久性| 成人亚洲精品一区在线观看| 黑人猛操日本美女一级片| 999精品在线视频| 夫妻性生交免费视频一级片| 男女边吃奶边做爰视频| 亚洲精品一区蜜桃| 国产黄频视频在线观看| 亚洲四区av| 亚洲欧美成人精品一区二区| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美精品综合一区二区三区 | 午夜久久久在线观看| 丰满饥渴人妻一区二区三| 国产精品.久久久| 精品午夜福利在线看| 国产日韩欧美视频二区| 欧美激情高清一区二区三区 | 欧美成人午夜精品| 狠狠婷婷综合久久久久久88av| 亚洲欧洲精品一区二区精品久久久 | 老司机影院成人| 国产伦理片在线播放av一区| 国产精品人妻久久久影院| 日韩中文字幕欧美一区二区 | 免费在线观看完整版高清| 亚洲国产av新网站| 国产精品一二三区在线看| 亚洲人成77777在线视频| 午夜久久久在线观看| 亚洲国产欧美日韩在线播放| 美女大奶头黄色视频| 亚洲,一卡二卡三卡| 精品亚洲乱码少妇综合久久| 婷婷色麻豆天堂久久| 91精品伊人久久大香线蕉| 精品一品国产午夜福利视频| 亚洲美女视频黄频| 建设人人有责人人尽责人人享有的| 女人久久www免费人成看片| 中文精品一卡2卡3卡4更新| 青春草国产在线视频| 夫妻性生交免费视频一级片| 我的亚洲天堂| 91成人精品电影| 久久久国产精品麻豆| 麻豆av在线久日| 99热国产这里只有精品6| 国产高清国产精品国产三级| 丝瓜视频免费看黄片| 精品少妇黑人巨大在线播放| 两性夫妻黄色片| 色视频在线一区二区三区| 另类精品久久| 日韩,欧美,国产一区二区三区| 欧美日韩视频精品一区| 综合色丁香网| 成人二区视频| 不卡视频在线观看欧美| 午夜av观看不卡| 综合色丁香网| 老女人水多毛片| 这个男人来自地球电影免费观看 | 欧美成人午夜免费资源| 街头女战士在线观看网站| 精品国产国语对白av| 赤兔流量卡办理| 日韩一卡2卡3卡4卡2021年| 国产日韩欧美视频二区| 永久免费av网站大全| 啦啦啦在线免费观看视频4| 日本欧美视频一区| 久久这里只有精品19| videossex国产| 午夜福利视频在线观看免费| 哪个播放器可以免费观看大片| 在线 av 中文字幕| 久久国产精品大桥未久av| 男女边吃奶边做爰视频| 国产日韩欧美亚洲二区| 亚洲熟女精品中文字幕| 麻豆乱淫一区二区| 伊人亚洲综合成人网| 久久韩国三级中文字幕| 日韩视频在线欧美| av片东京热男人的天堂| 中文字幕制服av| a级毛片在线看网站| 午夜91福利影院| 人妻一区二区av| 亚洲成国产人片在线观看| 香蕉精品网在线| av网站免费在线观看视频| 男男h啪啪无遮挡| 亚洲欧美成人精品一区二区| www.精华液| 日日啪夜夜爽| 成人国产麻豆网| 人妻系列 视频| 精品国产露脸久久av麻豆| 2018国产大陆天天弄谢| 久久久精品区二区三区| 伊人亚洲综合成人网| 国精品久久久久久国模美| 三上悠亚av全集在线观看| 在线看a的网站| 人人澡人人妻人| 国产色婷婷99| 中文字幕色久视频| 极品少妇高潮喷水抽搐| 26uuu在线亚洲综合色| 国产精品免费视频内射| 交换朋友夫妻互换小说| 夜夜骑夜夜射夜夜干| 亚洲中文av在线| 中文字幕最新亚洲高清| 午夜福利一区二区在线看| 国产精品亚洲av一区麻豆 | 亚洲精品美女久久av网站| 各种免费的搞黄视频| 国产爽快片一区二区三区| 免费高清在线观看视频在线观看| 丝袜脚勾引网站| 国产av精品麻豆| 最近中文字幕高清免费大全6| 两个人免费观看高清视频| 最近最新中文字幕免费大全7| 女的被弄到高潮叫床怎么办| 国产精品成人在线| 青春草国产在线视频| 午夜福利网站1000一区二区三区| av不卡在线播放| 成年人免费黄色播放视频| 97在线视频观看| 天天躁狠狠躁夜夜躁狠狠躁| 色婷婷av一区二区三区视频| 丝瓜视频免费看黄片| 亚洲av中文av极速乱| av电影中文网址| 久久久精品免费免费高清| 肉色欧美久久久久久久蜜桃| 国产有黄有色有爽视频| 老司机影院毛片| 精品午夜福利在线看| 一二三四在线观看免费中文在| 欧美激情 高清一区二区三区| 亚洲精品,欧美精品| 校园人妻丝袜中文字幕| 18禁观看日本| 亚洲成色77777| 亚洲欧洲精品一区二区精品久久久 | 久久久久久久久久久久大奶| av国产精品久久久久影院| videos熟女内射| 亚洲精品久久久久久婷婷小说| 日韩欧美精品免费久久| 在线观看一区二区三区激情| 91国产中文字幕| av国产久精品久网站免费入址| 免费看不卡的av| 涩涩av久久男人的天堂| 久久精品国产鲁丝片午夜精品| 亚洲欧美精品自产自拍| 在线观看国产h片| 久久精品国产亚洲av天美| 色网站视频免费| 大片电影免费在线观看免费| 婷婷成人精品国产| 久久久久国产网址| 99久久中文字幕三级久久日本| 国产精品国产三级国产专区5o| 成年人免费黄色播放视频| 一本—道久久a久久精品蜜桃钙片| 2021少妇久久久久久久久久久| 天天影视国产精品| 天天操日日干夜夜撸| 国产精品欧美亚洲77777| 欧美日韩精品网址| 国产精品不卡视频一区二区| 人人妻人人澡人人看| 99九九在线精品视频| 久久这里有精品视频免费| 婷婷色综合大香蕉| 免费在线观看视频国产中文字幕亚洲 | 亚洲精品国产色婷婷电影| 久久久久久久大尺度免费视频| 纵有疾风起免费观看全集完整版| 人人妻人人添人人爽欧美一区卜| 精品人妻一区二区三区麻豆| 午夜日本视频在线| 久久精品国产综合久久久| 国产成人午夜福利电影在线观看| 日韩制服骚丝袜av| 久久国产亚洲av麻豆专区| 亚洲国产看品久久| 久久久久精品人妻al黑| 久久国产精品男人的天堂亚洲| 男女啪啪激烈高潮av片| 日本午夜av视频| tube8黄色片| 男女啪啪激烈高潮av片| 亚洲成人手机| 日韩精品免费视频一区二区三区| 亚洲精品,欧美精品| 国产在视频线精品| 午夜福利,免费看| 中国三级夫妇交换| 国产亚洲一区二区精品| 日本-黄色视频高清免费观看| 亚洲情色 制服丝袜| 久久久久久人妻| 1024视频免费在线观看| 丰满少妇做爰视频| 久久亚洲国产成人精品v| 色吧在线观看| 成人二区视频| 五月伊人婷婷丁香| a 毛片基地| 香蕉丝袜av| av一本久久久久| 国产深夜福利视频在线观看| 天天躁夜夜躁狠狠久久av| av电影中文网址| 中文字幕另类日韩欧美亚洲嫩草| 国产精品嫩草影院av在线观看| 免费女性裸体啪啪无遮挡网站| videossex国产| 亚洲av电影在线进入| 国产精品久久久久久av不卡| 丝袜美腿诱惑在线| 国产老妇伦熟女老妇高清| 国产福利在线免费观看视频| 下体分泌物呈黄色| 亚洲人成电影观看| 国产 精品1| 男女啪啪激烈高潮av片| 亚洲精品第二区| 1024视频免费在线观看| 青春草国产在线视频| 欧美日韩成人在线一区二区| 侵犯人妻中文字幕一二三四区| 汤姆久久久久久久影院中文字幕| 一区二区三区激情视频| 国产一区二区三区av在线| 丝袜在线中文字幕| 欧美日韩视频精品一区| 老汉色∧v一级毛片| 中文字幕人妻熟女乱码| 十八禁高潮呻吟视频| 精品一区二区免费观看| 免费少妇av软件| 精品午夜福利在线看| 成年女人在线观看亚洲视频| 2018国产大陆天天弄谢| 日韩在线高清观看一区二区三区| 国产成人av激情在线播放| 黄色配什么色好看| 美女福利国产在线| 日本-黄色视频高清免费观看| 久久国内精品自在自线图片| 久久精品国产亚洲av高清一级| 欧美日韩精品网址| 国产精品成人在线| 在线亚洲精品国产二区图片欧美| 色婷婷av一区二区三区视频| 男人添女人高潮全过程视频| 欧美国产精品一级二级三级| 99国产精品免费福利视频| 啦啦啦在线免费观看视频4| 在线天堂中文资源库| 男男h啪啪无遮挡| 一级毛片黄色毛片免费观看视频| 9热在线视频观看99| 亚洲av欧美aⅴ国产| 亚洲一区中文字幕在线| 国产精品一区二区在线观看99| 肉色欧美久久久久久久蜜桃| 男女边吃奶边做爰视频| 日本91视频免费播放| 一区二区av电影网| 国产成人欧美| 狠狠婷婷综合久久久久久88av| 国产精品久久久久久av不卡| 尾随美女入室| 男女边吃奶边做爰视频| 国产亚洲av片在线观看秒播厂| 免费观看a级毛片全部| 一本大道久久a久久精品| 亚洲久久久国产精品| 色哟哟·www| 久久精品国产a三级三级三级| 一区在线观看完整版| av不卡在线播放| 成人毛片60女人毛片免费| 99热全是精品| 国产 一区精品| 中文字幕亚洲精品专区| 成人国语在线视频| 午夜免费观看性视频| 久久人人爽av亚洲精品天堂| 午夜福利在线免费观看网站| 丝袜脚勾引网站| 成人手机av| 国产深夜福利视频在线观看| 一级片'在线观看视频| 亚洲视频免费观看视频| 久久 成人 亚洲| av.在线天堂| 97精品久久久久久久久久精品| 国产精品成人在线| 乱人伦中国视频| 一边亲一边摸免费视频| 国产又色又爽无遮挡免| 最近中文字幕高清免费大全6| 国产av精品麻豆| 国产片特级美女逼逼视频| 免费人妻精品一区二区三区视频| 18禁动态无遮挡网站| 日本vs欧美在线观看视频| 国产免费又黄又爽又色| 黄片播放在线免费| 国产精品一区二区在线观看99| 不卡av一区二区三区| 亚洲人成电影观看| 欧美成人午夜免费资源| 亚洲精品国产一区二区精华液| 亚洲,欧美,日韩| 丰满少妇做爰视频| 午夜日本视频在线| 久久久久久人妻| 欧美日韩亚洲国产一区二区在线观看 | 91国产中文字幕| 亚洲av在线观看美女高潮| 又粗又硬又长又爽又黄的视频| 亚洲国产精品999| 一二三四中文在线观看免费高清| 欧美日韩一区二区视频在线观看视频在线| 久久人人爽人人片av| 哪个播放器可以免费观看大片| 日本91视频免费播放| 国产精品欧美亚洲77777| 久久毛片免费看一区二区三区| 黑人欧美特级aaaaaa片| 国产av码专区亚洲av| 亚洲精品第二区| 一区二区av电影网| 两个人免费观看高清视频| 日韩成人av中文字幕在线观看| 日韩免费高清中文字幕av| 免费女性裸体啪啪无遮挡网站| 国产乱来视频区| 一区二区三区精品91| 在线免费观看不下载黄p国产| 亚洲av欧美aⅴ国产| 久久久久网色| 国产女主播在线喷水免费视频网站| 午夜91福利影院| 国产白丝娇喘喷水9色精品| 天美传媒精品一区二区| 热99久久久久精品小说推荐| 日本午夜av视频| 免费看av在线观看网站| 免费人妻精品一区二区三区视频| 亚洲五月色婷婷综合| 老鸭窝网址在线观看| 久久精品夜色国产| 国产精品偷伦视频观看了| 韩国av在线不卡| 免费高清在线观看视频在线观看| 国产精品嫩草影院av在线观看| 在线免费观看不下载黄p国产| 大陆偷拍与自拍| 亚洲国产精品成人久久小说| 满18在线观看网站| 亚洲一区中文字幕在线| 亚洲av国产av综合av卡| 蜜桃国产av成人99| 五月伊人婷婷丁香| 欧美成人午夜免费资源| 日日撸夜夜添| 精品国产一区二区三区四区第35| 2018国产大陆天天弄谢| 男女无遮挡免费网站观看| 欧美中文综合在线视频| 日韩电影二区| 免费av中文字幕在线| 久久亚洲国产成人精品v| 日韩成人av中文字幕在线观看| 黄色配什么色好看| 好男人视频免费观看在线| 大陆偷拍与自拍| 欧美国产精品va在线观看不卡| 欧美精品一区二区大全| 精品少妇一区二区三区视频日本电影 | 啦啦啦中文免费视频观看日本| 免费大片黄手机在线观看| 美女福利国产在线| 精品国产一区二区三区久久久樱花| 欧美人与性动交α欧美软件| 国产 一区精品| 国产又爽黄色视频| 一区二区三区四区激情视频| 母亲3免费完整高清在线观看 | 男的添女的下面高潮视频| www.自偷自拍.com| 97在线视频观看| 99精国产麻豆久久婷婷| 超碰97精品在线观看| 少妇的丰满在线观看| 看免费成人av毛片| 欧美国产精品va在线观看不卡| 久久精品国产自在天天线| 一区福利在线观看| videossex国产| 精品人妻偷拍中文字幕| 999久久久国产精品视频| 国产亚洲最大av| 免费高清在线观看日韩| 激情视频va一区二区三区| 国产成人精品婷婷| 美女高潮到喷水免费观看| 少妇人妻精品综合一区二区| 日日撸夜夜添| 老汉色av国产亚洲站长工具| 亚洲欧美中文字幕日韩二区| 亚洲av成人精品一二三区| 午夜免费男女啪啪视频观看| 亚洲国产最新在线播放| 国产 一区精品| 欧美在线黄色| 免费观看无遮挡的男女| 满18在线观看网站| 国产深夜福利视频在线观看| 一边亲一边摸免费视频| videosex国产| 亚洲欧美日韩另类电影网站| 亚洲美女视频黄频| 亚洲,欧美精品.| 亚洲一区中文字幕在线| 国产麻豆69| 亚洲国产精品999|