基于CAS-FQL算法的區(qū)域交通控制

李文，劉智勇,2

基于CAS-FQL算法的區(qū)域交通控制

李文1，劉智勇1,2

（1. 五邑大學(xué) 信息工程學(xué)院，廣東 江門(mén) 529020；2. 江門(mén)職業(yè)技術(shù)學(xué)院，廣東 江門(mén) 529000）

針對(duì)Q-學(xué)習(xí)算法收斂慢、易陷入局部最優(yōu)的缺陷，提出了一種基于災(zāi)變模糊Q-學(xué)習(xí)(CAS-FQL)算法的區(qū)域交通協(xié)調(diào)控制方法，即將災(zāi)變策略引入到模糊Q-學(xué)習(xí)算法的學(xué)習(xí)過(guò)程中，以提高和改進(jìn)Q-學(xué)習(xí)的尋優(yōu)能力和學(xué)習(xí)效率. 具體是，利用CAS-FQL算法分別優(yōu)化路網(wǎng)中各交叉口的周期和相位差，綠信比則采用常規(guī)方法優(yōu)化. TSIS軟件交通仿真的結(jié)果表明，相比基于Q-學(xué)習(xí)的控制方法，CAS-FQL算法能顯著加快算法的收斂速度、提高交通效率.

區(qū)域交通控制；CAS-FQL；災(zāi)變策略；Q-學(xué)習(xí)；模糊控制

近年來(lái)，通過(guò)各國(guó)研究者對(duì)城市交通運(yùn)輸系統(tǒng)管理方法和控制技術(shù)的不斷研究與探索，相繼研發(fā)了綠信比、周期、相位差優(yōu)化技術(shù)系統(tǒng)（SCOOTS）、悉尼自適應(yīng)交通控制系統(tǒng)（SCATS）等經(jīng)典的交通控制系統(tǒng)[1]，以減輕城市交通擁堵. 但由于城市交通系統(tǒng)具有典型的非線性、動(dòng)態(tài)時(shí)變性和不確定性，難以構(gòu)造出與之匹配的精確的數(shù)學(xué)模型，導(dǎo)致經(jīng)典交通控制系統(tǒng)達(dá)不到理想的控制效果. 隨著智能控制理論研究的不斷深入，基于人工智能的交通控制方法越來(lái)越受到人們的關(guān)注. 目前，采用強(qiáng)化學(xué)習(xí)理論研究交通信號(hào)的協(xié)調(diào)控制是一個(gè)研究熱點(diǎn)，其中Q-學(xué)習(xí)是一種被廣泛應(yīng)用的強(qiáng)化學(xué)習(xí)算法. 它的優(yōu)勢(shì)不僅在于不需要建立交通路網(wǎng)的數(shù)學(xué)模型，而且能實(shí)現(xiàn)對(duì)非線性復(fù)雜系統(tǒng)進(jìn)行有效學(xué)習(xí)的能力，適用于城市區(qū)域交通路網(wǎng)協(xié)調(diào)控制[2]. 然而，Q-學(xué)習(xí)算法本身亟待克服收斂較慢、易陷入局部最優(yōu)等缺陷. 為此，本文提出添加災(zāi)變策略，即在模糊Q-學(xué)習(xí)基礎(chǔ)上構(gòu)造災(zāi)變模糊Q-學(xué)習(xí)（CAS-FQL）算法，利用災(zāi)變算子的突變性來(lái)改進(jìn)Q-學(xué)習(xí)的學(xué)習(xí)效率，提高其收斂速度.

1 CAS-FQL算法

1.1 模糊Q-學(xué)習(xí)（FQL）算法及其收斂條件

2.2 CAS-FQL算法的基本原理

CAS-FQL算法是在FQL算法的基礎(chǔ)上添加災(zāi)變策略. 災(zāi)變[4-5]是指生物在連續(xù)不斷的演化進(jìn)程中，由于其生活環(huán)境發(fā)生了巨大變化而造成該地區(qū)絕大部分物種瀕臨絕種，只剩下那些具有特別強(qiáng)生存能力的種群或個(gè)體能繼續(xù)存活繁衍[6-7]. 災(zāi)變策略的隨機(jī)性和突變性可在FQL算法得到局部最優(yōu)動(dòng)作后，改變選擇動(dòng)作，提高對(duì)環(huán)境的空間遍歷，加快收斂速度. 文獻(xiàn)[8]證明了災(zāi)變策略能有效避免粒子群算法的早熟收斂，并能提高粒子群算法的收斂速率. 本文提出的新算法旨在通過(guò)災(zāi)變策略提高模糊Q-學(xué)習(xí)的優(yōu)化效率. 在構(gòu)造災(zāi)變算子的過(guò)程中，以余維數(shù)為2的尖點(diǎn)災(zāi)變模型作為參考模型，它的具體表達(dá)形式如公式（2）所示：

圖1 尖點(diǎn)災(zāi)變模型

不滿(mǎn)足式（5）時(shí)，保持原有的Q-學(xué)習(xí)算法；滿(mǎn)足式（5）時(shí)，Agent進(jìn)行如下兩步災(zāi)變操作：

1）增大選擇非最優(yōu)Q值動(dòng)作的概率；

2）自由搜索[9-10]，按公式（6）產(chǎn)生新的動(dòng)作選擇方式：

其動(dòng)作范圍修正策略為：

2.3 CAS-FQL算法的步驟

CAS-FQL算法具體步驟如下：

步驟1：將模糊化的值賦初值，并根據(jù)經(jīng)驗(yàn)設(shè)定最大災(zāi)變次數(shù)；

步驟2：Agent感知環(huán)境此刻的實(shí)時(shí)狀態(tài)變量；

步驟4：利用式(1)對(duì)值進(jìn)行更新；

3 區(qū)域交通的CAS-FQL算法控制

3.1 區(qū)域交通控制的優(yōu)化控制策略

設(shè)城市區(qū)域交通路網(wǎng)如圖2[13]所示，本算法的控制變量為該模型內(nèi)的9個(gè)交叉口的周期、相位差和綠信比. 控制的目標(biāo)：使9個(gè)交叉口的車(chē)流類(lèi)飽和度保持在目標(biāo)區(qū)間0.90左右，通過(guò)相位差的及時(shí)優(yōu)化調(diào)整使同一干線上的區(qū)間平均車(chē)速達(dá)到實(shí)時(shí)最優(yōu).

圖2 區(qū)域交通3×3路網(wǎng)

具體的控制策略為：在圖2所示的區(qū)域交通路網(wǎng)模型內(nèi)，根據(jù)以往路網(wǎng)中各路口的平均交通流量大小劃定3條干線，將路口1、4、7設(shè)置為這3條干線的關(guān)鍵路口. 在每一個(gè)優(yōu)化時(shí)間段（設(shè)置為5個(gè)周期）中，區(qū)域內(nèi)各路口的周期和干線上的相位差保持不變，各路口的綠信比根據(jù)實(shí)際車(chē)流量進(jìn)行常規(guī)優(yōu)化調(diào)整，以反應(yīng)各個(gè)方向上交通流的隨機(jī)變化. 每一個(gè)優(yōu)化時(shí)間段內(nèi)周期和相位差的大小由CAS-FQL算法實(shí)時(shí)優(yōu)化上一個(gè)優(yōu)化時(shí)間段內(nèi)各路口的飽和度和區(qū)間平均車(chē)速得到的最優(yōu)解來(lái)確定.

路網(wǎng)中的車(chē)流量是通過(guò)車(chē)輛檢測(cè)器實(shí)時(shí)檢測(cè)的，未來(lái)車(chē)流量按式（8）進(jìn)行粗略預(yù)測(cè)：

3.2 CAS-FQL算法的優(yōu)化控制過(guò)程

設(shè)置交叉口1為整個(gè)路網(wǎng)的關(guān)鍵交叉口，即將交叉口1的周期設(shè)置為路網(wǎng)的公共周期. CAS-FQL算法進(jìn)行交通信號(hào)協(xié)調(diào)優(yōu)化控制的過(guò)程如下：

步驟1：根據(jù)以往的控制經(jīng)驗(yàn)，9個(gè)交叉口的Agent選擇路網(wǎng)關(guān)鍵交叉口1的周期作為各自運(yùn)行的起始周期，各相位的起始時(shí)刻以交叉口1的相位起始時(shí)刻作為參考標(biāo)準(zhǔn)，3條干線上各交叉口的相位差由以往的交通信息和控制經(jīng)驗(yàn)依次給出；

3.3 交通控制參數(shù)模糊化

.

類(lèi)飽和度的語(yǔ)言值隸屬度如表1所示. 將周期的增量作為Agent在優(yōu)化周期時(shí)的動(dòng)作并將其模糊化，模糊變量記為，其論域?yàn)椋?/p>

，單位為.

周期的語(yǔ)言值隸屬度如表2所示. 本文對(duì)相位差的優(yōu)化控制策略是通過(guò)調(diào)整干線上相鄰交叉口之間的車(chē)流速度來(lái)實(shí)施的. 相位差的大小與車(chē)流速度成反比，即車(chē)速高，相鄰交叉口相位差小；車(chē)速低，相位差大[12].

表1 類(lèi)飽和度u隸屬度賦值表

表2 周期的增量c隸屬度賦值表

優(yōu)化相位差時(shí)，將區(qū)間平均速度作為狀態(tài)并模糊化，模糊變量記為，其論域?yàn)椋?/p>

，單位為km/h.

平均速度的隸屬度如表3所示. 將相位差的調(diào)整量作為狀態(tài)并模糊化，用來(lái)實(shí)時(shí)改變各個(gè)路口的相位差. 模糊變量記為，其論域?yàn)椋?/p>

相位差的隸屬度如表4所示.

表3 區(qū)間平均速度隸屬度賦值表

表4 相位差增量g隸屬度賦值表

3.4 CAS-FQL算法的TSIS仿真結(jié)果

表5 3×3路網(wǎng)各入口的初始交通流量

表6 3種Q-學(xué)習(xí)算法仿真結(jié)果比較

從表6可以看出，CAS-FQL算法降低了路網(wǎng)中的車(chē)輛平均延誤，并提高了車(chē)流速度. 在仿真過(guò)程中，SA-FQL和C-FQL算法的收斂步數(shù)分別是65步和57步，CAS-FQL算法的收斂步數(shù)是44步，收斂速度得到進(jìn)一步的提高. 通過(guò)對(duì)3種算法的分析，產(chǎn)生差異的原因?yàn)镾A-FQL算法初始溫度和降溫公比對(duì)不同的優(yōu)化問(wèn)題需要不同的初始設(shè)置，且很難準(zhǔn)確設(shè)置初始值，此方法的性能和收斂速度受到了較大的影響；而C-FQL算法中混沌變量如果取值不合適，比如偏大或者偏小，容易使算法陷入次優(yōu)解或局部最優(yōu)解，故算法的收斂性能也受到了較大影響，學(xué)習(xí)步數(shù)增多. 而CAS-FQL算法通過(guò)災(zāi)變動(dòng)作改進(jìn)Agent選擇動(dòng)作的方式，并利用災(zāi)變的突變性提高算法對(duì)環(huán)境的遍歷性能，從而更快更好地適應(yīng)環(huán)境的隨機(jī)變化，提高控制效率.

4 結(jié)論

[1] 劉智勇. 智能交通控制理論及應(yīng)用[M]. 北京：科學(xué)出版社，2003.

[2] 劉智勇，馬鳳偉. 城市交通信號(hào)的在線強(qiáng)化學(xué)習(xí)控制[C]. 中國(guó)控制會(huì)議論文集. 張家界：[s.n.], 2007: 34-37.

[3] WATKINS C J C H, DAYAN P. Q-Learning[J]. Boston: Kluwer Academic Publishers. Machine Learning, 1992, 8: 279-292.

[4] POSTON T, STEWART I. Catastrophe theory and its application[M]. London: Pitman, 1978.

[5] 桑德斯 P T. 災(zāi)變理論入門(mén)[M]. 凌復(fù)華，譯. 上海：上?？茖W(xué)技術(shù)文獻(xiàn)出版社，1983.

[6] LACORRE P. Predation and generation processes through a new representation of the cusp catastrophe[J]. Acta Biotheoretica, 1997: 45(2): 93-115.

[7] ALEXANDER C, DAVID P, GERSHON T. Critical elaboration and empirical investigation of the cusp catastrophe model: a lesson for practioners[J]. Journal of Applied Sport Psychology, 2003, 15(2): 144-159.

[8] 董超俊，劉智勇，邱祖廉. 災(zāi)變粒子群優(yōu)化算法及其在交通控制中的應(yīng)用[J]. 系統(tǒng)仿真學(xué)報(bào)，2005, 41(29): 19-23.

[9] 杜長(zhǎng)海. 計(jì)算智能及其在城市交通誘導(dǎo)系統(tǒng)中的應(yīng)用研究[D]. 重慶：重慶大學(xué)，2009.

[10] 付曉剛，俞金壽. 一種基于災(zāi)變策略的改進(jìn)差分進(jìn)化算法[J]. 系統(tǒng)仿真學(xué)報(bào)，2009, 21(24): 7767-7772.

[11] 劉智勇，宋正東. 基于C-FQL算法的區(qū)域交通控制[J]. 計(jì)算機(jī)工程與應(yīng)用，2012, 48(4): 207-210.

[12]Mitchell T M，機(jī)器學(xué)習(xí)[M]. 曾華軍，譯. 北京：機(jī)械工業(yè)出版社，2003, 48(4): 207-210.

[13] 鄧軍，劉智勇. 基于SA-FQL算法的區(qū)域交通控制[J]. 計(jì)算機(jī)工程與應(yīng)用，2010, 46(27): 231-233.

[14] 金希東，李治. 遺傳-災(zāi)變算法及其在非線性控制系統(tǒng)中的應(yīng)用[J]. 系統(tǒng)仿真學(xué)報(bào)，1997, 9(2): 111-114.

Urban Traffic Control Based on Catastrophe-Fuzzy Q-Learning

LIWen1, LIUZhi-yong1,2

(1. School of Information Engineering, Wuyi University, Jiangmen 529020, China; 2. Jiangmen Polytechnic College, Jiangmen 529000, China)

In order to solve the problems of Q-learning algorithm’s slow convergence and easily running into the local optimum, this paper puts forward a kind of regional transportation coordination controlling method which is based on Catastrophe-Fuzzy Q-Learning (CAS-FQL) algorithm. The catastrophe strategy is combined into the learning process of the fuzzy Q-learning algorithm to enhance and improve its optimization ability and learning efficiency. Concretely, CAS-FQL algorithm is applied to optimize the cycles and offsets of each intersection in the traffic network, and the split is optimized by conventional method. The results from ISIS traffic simulation platform shows that the catastrophe strategy can accelerate the algorithm convergence speed significantly and improving the traffic efficiency.

area traffic control; CAS-FQL; the catastrophe strategy; Q-learning; fuzzy control

1006-7302（2012）03-0067-07

TP391

A

2012-04-09

廣東省自然科學(xué)基金資助項(xiàng)目（8152902001000014）；廣東省高等學(xué)校自然科學(xué)重點(diǎn)研究項(xiàng)目（05Z025）.

李文（1985—），男，湖南懷化人，在讀碩士生，主要研究方向?yàn)橹悄芙煌刂?；劉智勇，教授，博士，碩士生導(dǎo)師，主要研究方向?yàn)橹悄芙煌刂?、模式識(shí)別與人工智能等.