基于3D卷積深度強(qiáng)化學(xué)習(xí)的交通燈配時優(yōu)化技術(shù)研究

沈國慶

沈陽理工大學(xué) 遼寧 沈陽 110000

1 基于時間和空間序列的交通配時模型設(shè)計

（1）交叉口和路網(wǎng)模型。我們考慮使用的由兩車道組成的交叉口模型，交叉口的車輛在交通信號的控制下行駛：綠燈表示車輛可以穿過交叉口；紅燈表示車輛必須停車。

路網(wǎng)主要由多個交叉口和連接交叉口的道路組成，路網(wǎng)中所有的道路方向都不是規(guī)則的正北正南，道路也不規(guī)定為固定的長短，這樣的設(shè)定更貼合實際的路網(wǎng)。在當(dāng)前的信號時長結(jié)束后，通過調(diào)整路網(wǎng)中所有交叉口下一信號時長的相位，處理不同的交通狀況。

（2）將路網(wǎng)狀態(tài)數(shù)據(jù)規(guī)范化。一般的CNN（卷積神經(jīng)網(wǎng)絡(luò)）應(yīng)用于圖像處理中[1]，圖像是二維的空間結(jié)構(gòu)，感受也可以在空間維度上進(jìn)行卷積來獲取特征。而本文提出的3D CNN在對路網(wǎng)中的車輛數(shù)據(jù)進(jìn)行預(yù)處理時需要提取出路網(wǎng)狀態(tài)的時間和空間特征的能力，由于路網(wǎng)中的車輛數(shù)據(jù)不同于圖像這種本身就自帶自然的時間和空間結(jié)構(gòu)，因此需要將路網(wǎng)狀態(tài)數(shù)據(jù)規(guī)范化，使得不同拓?fù)浣Y(jié)構(gòu)的節(jié)點可以獲取相同大小的感受野，為之后輸入卷積神經(jīng)網(wǎng)絡(luò)計算提供了保障。我們在路網(wǎng)中建立的感受野相互之間都有重疊的部分，這樣既能保證了相鄰道路之間數(shù)據(jù)的相關(guān)性，又保證了整體道路感知的全局性。

（3）構(gòu)建3DCNN模型。本課題雖采用卷積神經(jīng)網(wǎng)絡(luò)對路網(wǎng)進(jìn)行特征提取，但基本CNN網(wǎng)絡(luò)的輸出無法滿足本課題路網(wǎng)中多個交叉點同時決策和提取時間特征的要求，所以通過閱讀文獻(xiàn)與學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域的新技術(shù)，3DCNN模型[2]的初步設(shè)計如下：已知路網(wǎng)中有80個交叉口，有51個交通燈。輸入路網(wǎng)的三維車輛密度矩陣，先經(jīng)過三層卷積層后將第三層平均分成51份后進(jìn)行扁平化處理，再經(jīng)過一層全連接層后輸出102個Q值，每個交叉口的交通燈對應(yīng)兩個動作值0或1，選擇Q值較大的動作值，完成對相應(yīng)交叉口的動作決策。

（4）采用深度強(qiáng)化學(xué)習(xí)算法模型。在本課題的算法中，將控制問題建模為強(qiáng)化學(xué)習(xí)問題，如果把由交通信號控制系統(tǒng)當(dāng)成一個智能體（Agent），將與交通信號所影響的路網(wǎng)和車輛當(dāng)成“環(huán)境”，通過如下方式就可以構(gòu)造深度強(qiáng)化學(xué)習(xí)交通信號控制系統(tǒng)進(jìn)行配時優(yōu)化。首先從環(huán)境里獲取觀測狀態(tài)（例如：路網(wǎng)中車輛密度），傳遞給智能體，智能體中采用的深度強(qiáng)化學(xué)習(xí)算法選擇動作來執(zhí)行（例如：當(dāng)前相位保持綠燈或者切換成紅燈），并對執(zhí)行效果進(jìn)行回饋（例如：采用車輛平均行駛時長作為回報函數(shù)），系統(tǒng)根據(jù)回報結(jié)果，調(diào)整系統(tǒng)的參數(shù)。這樣就形成一個循環(huán)的過程，就能實現(xiàn)不斷地學(xué)習(xí)與改進(jìn)。

2 結(jié)果討論

通過對車輛滯留時間、路網(wǎng)車輛數(shù)量的仿真，將我們提出的基于3D卷積深度強(qiáng)化學(xué)習(xí)的交通燈配時優(yōu)化的方法與基于2D卷積的深度強(qiáng)化學(xué)習(xí)的交通燈配時優(yōu)化的方法進(jìn)行比較，分析本文提出的表現(xiàn)。

首先，我們對通過仿真器實驗得出的結(jié)果進(jìn)行了驗證，證明我們的智能體確實學(xué)到了有效地減少車輛滯留時間、減少路網(wǎng)中車輛數(shù)量并緩解交通壓力的良好行動策略（即交通信號控制策略），并且我們的算法在做出控制決策時是穩(wěn)定的，即不會使結(jié)果數(shù)據(jù)在好的和壞的行動策略之間搖擺，甚至轉(zhuǎn)向不良行為政策。

本次實驗是在不同流量下進(jìn)行的結(jié)果對比，在80個結(jié)點的路網(wǎng)以及表1中的3個流量等級下，對于本文提出方法的結(jié)果進(jìn)行分析，一級流量下的路網(wǎng)擁擠度較低，發(fā)現(xiàn)在擁擠度較低的路網(wǎng)中本文提出的方法的車輛平均滯留時間比基于2DCNN減少了0.3%。在路網(wǎng)車輛數(shù)量上比2DCNN減少了11.6%，從中我們發(fā)現(xiàn)在路網(wǎng)車輛用極度較低的情況下，本文提出的方法在路網(wǎng)車輛數(shù)量上前期展現(xiàn)出了巨大的優(yōu)勢。雖然隨著路網(wǎng)車輛擁擠度逐漸上升，本文提出的方法的效果有所下降，但是，還是保有明顯的優(yōu)勢。

3 結(jié)束語

本文采用深度學(xué)習(xí)提取城市路網(wǎng)空間和時間上的特征，通過與強(qiáng)化學(xué)習(xí)相結(jié)合，一同實現(xiàn)對城市路網(wǎng)交叉口交通燈的控制決策。通過引入聚類對路網(wǎng)進(jìn)行預(yù)處理，既能實現(xiàn)對感受野的劃分保證感受野之間存在聯(lián)系，又能實現(xiàn)在聚類的基礎(chǔ)上對路網(wǎng)規(guī)范化實現(xiàn)對卷積神經(jīng)網(wǎng)絡(luò)的輸入。因為3D卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在空間和時間上信息提取特征的優(yōu)越性能，我們利用3D卷積神經(jīng)網(wǎng)絡(luò)提取路網(wǎng)擁擠度特征和時間序列特征并作出動作決策。我們通過實驗結(jié)果可以看到，我們提出的方法對比前人提出基于2DCNN的控制策略有所提升。