基于深度Q網(wǎng)絡(luò)的軌道交通客流控制

張 輝，郭建媛，豆 飛，唐雨昕，杜佳敏

（1. 北京交通大學(xué)交通運(yùn)輸學(xué)院，北京 100044；2. 北京地鐵運(yùn)營有限公司，北京 100044）

城市軌道交通因具有方便準(zhǔn)時(shí)等優(yōu)點(diǎn)，吸引和承載了大量乘客的交通出行，這使得車站經(jīng)常出現(xiàn)大客流聚集的情況。尤其是在高峰時(shí)段，當(dāng)有限的線路運(yùn)輸能力不能及時(shí)滿足出行需求時(shí)，許多乘客會(huì)聚集在站臺(tái)上無法上車，如果在站臺(tái)等候的乘客數(shù)量超過了站臺(tái)的設(shè)計(jì)容納人數(shù)，那么車站將會(huì)產(chǎn)生運(yùn)營安全隱患。因此，在早晚高峰時(shí)期，對(duì)客流常采取控制措施，以緩解車站的客流壓力。

近年來，國內(nèi)外許多學(xué)者對(duì)軌道交通車站客流控制問題進(jìn)行了研究。姜曼以城市軌道交通單線多站系統(tǒng)為研究對(duì)象，采取結(jié)合客流需求管理的運(yùn)力資源配置方法，研究了擁擠客流的控制問題[1]。李登輝等以乘客總等待時(shí)間最少和客運(yùn)周轉(zhuǎn)量最大為目標(biāo)，建立了線路客流協(xié)同控制線性規(guī)劃模型[2]。趙鵬等以乘客延誤損失最小化和客運(yùn)周轉(zhuǎn)量最大化為優(yōu)化目標(biāo)，利用所求解的控流率為限流措施，制定提供量化的依據(jù)[3]。Shi 等以特定線網(wǎng)下各車站乘客等待時(shí)間和風(fēng)險(xiǎn)總和最小化為目標(biāo)，建立了一個(gè)雙目標(biāo)整數(shù)線性規(guī)劃模型，用來描述乘客控制過程[4]。Li 等以最小化地鐵線路的時(shí)刻表和發(fā)車間隔偏差為目標(biāo)，建立了針對(duì)車站每列車的出發(fā)時(shí)間和載客量演變的耦合狀態(tài)空間模型[5]。Zhang 等將列車運(yùn)行和乘客上下車過程作為約束，以乘客總出行時(shí)間最小為目標(biāo)，建立了非線性非凸規(guī)劃模型[6]。

同時(shí)，從模型構(gòu)建上可以分為線性規(guī)劃模型[2-4]、二次規(guī)劃模型[5]和非線性組合優(yōu)化模型[6]。非線性組合優(yōu)化客流控制模型能夠更充分地刻畫優(yōu)化的安全和效率目標(biāo)，對(duì)此傳統(tǒng)的運(yùn)籌學(xué)方法無法在短時(shí)間內(nèi)做出動(dòng)態(tài)決策。

為此，有學(xué)者嘗試使用強(qiáng)化學(xué)習(xí)的方式進(jìn)行客流控制優(yōu)化求解。Jiang 等以最小化地鐵車站乘客的滯留次數(shù)和候車時(shí)間為目標(biāo)，提出基于強(qiáng)化學(xué)習(xí)方法來優(yōu)化每個(gè)車站一定時(shí)間內(nèi)的進(jìn)站量，得到了比較好的優(yōu)化效果[7]。另外，他們又以全線乘客滯留的懲罰值最小為目標(biāo)，提出了將協(xié)調(diào)客流控制與列車重調(diào)度策略相結(jié)合的線路優(yōu)化方案[8]。

綜上所述，一方面，在目前的研究中，客流控制以提高乘客出行效率為主要的模型優(yōu)化目標(biāo)，相對(duì)較少考慮過多客流控制對(duì)乘客出行造成的不便，而過度的客流控制會(huì)增加乘客的等待時(shí)間，影響乘客的出行效率；另一方面，強(qiáng)化學(xué)習(xí)在客流控制問題上僅有初次嘗試，還具有很大的研究空間。 因此，筆者建立了多目標(biāo)多站客流協(xié)調(diào)控制模型，目的是在滿足列車容量約束下，最小化地鐵車站乘客的站臺(tái)超限量、平均等待時(shí)間，提高客流控制強(qiáng)度的綜合效益；并基于強(qiáng)化學(xué)習(xí)深度Q 網(wǎng)絡(luò)，優(yōu)化每個(gè)車站在一定時(shí)間內(nèi)的進(jìn)站量，以緩解車站站臺(tái)的乘客擁堵，保障乘客的出行效率。

1 客流協(xié)調(diào)控制模型建立

1.1 模型假設(shè)

為構(gòu)建模型，對(duì)相關(guān)影響因素作如下假設(shè)：

1) 列車按運(yùn)行計(jì)劃開行，不存在晚點(diǎn)。

2) 控制乘客進(jìn)站，不會(huì)導(dǎo)致高峰期乘客出行需求減少。

3) 在地鐵線路上，各車站可實(shí)施乘客進(jìn)站控制策略。

4) 乘客遵循先到先上的原則。

1.2 目標(biāo)函數(shù)

相關(guān)的參數(shù)以及所用變量在表1 中列出，目標(biāo)函數(shù)如下：

模型目標(biāo)是在客流控制強(qiáng)度較小時(shí)，盡量減少乘客在站臺(tái)等待的超限數(shù)及等待時(shí)間。

約束條件如下：

表1 變量及參數(shù)定義 Table 1 Definition of variables and parameters

式(2)表示到達(dá)站臺(tái)時(shí)間等于乘客到達(dá)站外時(shí)間與站外等候時(shí)間以及站內(nèi)走行時(shí)間之和；式(3)表示站臺(tái)等待時(shí)間等于登上列車時(shí)間減去到達(dá)站臺(tái)時(shí)間；式(4)表示乘客的平均等待時(shí)間等于車站外以及站臺(tái)等待時(shí)間之和與總乘客數(shù)的比值；式(5)表示上車人數(shù)要小于列車定員與最大滿載率的乘積；式(6)表示乘客的上車時(shí)間等于列車到站時(shí)間；式(7)～(9)指乘客到達(dá)、進(jìn)站候車和登上列車3 種不同狀態(tài)的0～1 變量；式(10)～(12)表示在站外等候、站臺(tái)等候以及上車的累計(jì)乘客數(shù)量；式(13)表示站臺(tái)等待人數(shù)等于上車人數(shù)及滯留站臺(tái)人數(shù)之和；式(14)表示客流進(jìn)站率為進(jìn)站乘客數(shù)量與到站總?cè)藬?shù)之比；式(15)表示站臺(tái)超限人數(shù)等于站臺(tái)人數(shù)與站臺(tái)容量之差；式(16)為客流控制強(qiáng)度約束，允許乘客進(jìn)站比率越大，客流控制強(qiáng)度越小。

2 深度Q 網(wǎng)絡(luò)客流協(xié)調(diào)控制

2.1 深度Q 網(wǎng)絡(luò)

上面提出的客流控制模型屬于典型的復(fù)雜約束下的非線性模型，下面使用深度Q網(wǎng)絡(luò)進(jìn)行該模型的求解，給出客流協(xié)調(diào)控制的深度Q 網(wǎng)絡(luò)模型框架和算法流程。

如圖1 所示，基于深度Q 網(wǎng)絡(luò)的客流控制強(qiáng)化學(xué)習(xí)框架包括環(huán)境、狀態(tài)、動(dòng)作集，首先智能體將各車站的初始乘客數(shù)作為狀態(tài)，輸入到深度Q 網(wǎng)絡(luò)中，網(wǎng)絡(luò)根據(jù)Q 值更新公式，選擇各車站客流控制率作為動(dòng)作，將狀態(tài)和動(dòng)作輸入到環(huán)境中進(jìn)行乘客與列車之間的交互，得到下一個(gè)狀態(tài)與獎(jiǎng)勵(lì)后再次輸入到網(wǎng)絡(luò)中去，以此不斷迭代更新。

圖1 基于深度Q 網(wǎng)絡(luò)的客流控制強(qiáng)化學(xué)習(xí)框架 Figure 1 Reinforcement learning framework for passenger flow control based on deep q-network

2.2 客流環(huán)境

該環(huán)境可以仿真單條地鐵線路上各個(gè)車站的客流到達(dá)直至上車離開的過程，通常包括3 個(gè)子流程：到達(dá)車站、進(jìn)入車站、上車-下車[9]。如果單位時(shí)間內(nèi)進(jìn)站量的控制率大于0，則被限制進(jìn)入站臺(tái)的乘客應(yīng)在站外等待，并根據(jù)下一階段的控制率和上一階段站外等候乘客的到達(dá)順序進(jìn)入車站。

2.3 車站狀態(tài)

車站狀態(tài)是指在單條線路某個(gè)時(shí)間步長上每個(gè)車站的進(jìn)站客流需求量。每個(gè)車站的進(jìn)站率隨控制時(shí)間步長發(fā)生改變，而車站狀態(tài)隨進(jìn)站率不同發(fā)生改變。

將總仿真時(shí)間分為M 個(gè)控制時(shí)間步長，控制站的進(jìn)站率將會(huì)每15 min 改變一次。在控制乘客進(jìn)站量的情況下，將控制時(shí)間步長m(0＜m≤M)內(nèi)車站n 的狀態(tài)Sm,n定義為

式中，Dm,n為在控制時(shí)間步長m 內(nèi)車站n 的到站人數(shù)，為第m-1 時(shí)段車站n 的進(jìn)站人數(shù)。

控制乘客進(jìn)站量時(shí)，一些在步長m-1 內(nèi)到達(dá)車站的乘客可能需要在車站外等候，直到下一個(gè)步長m 才允許進(jìn)入車站，所以表示步長m-1 內(nèi)在站外等候的乘客數(shù)量。

2.4 動(dòng)作集

動(dòng)作ai指的是在每個(gè)控制時(shí)間步長m 內(nèi)車站n 所選擇的動(dòng)作，表示在步長m 內(nèi)車站n 允許乘客進(jìn)站數(shù)量的百分比，即控制下的進(jìn)站率，則動(dòng)作集A 包含了單條線路上某車站的進(jìn)站量控制率。假設(shè)在控制時(shí)間步長m 內(nèi)有100 人希望進(jìn)入車站n，A={0.2，0.4，0.6，0.8，1.0}，對(duì)車站n 執(zhí)行動(dòng)作a1=0.2，則在步長m 內(nèi)允許進(jìn)站的乘客數(shù)量為20 人，動(dòng)作a5=1.0 表示允許所有乘客進(jìn)入車站。

2.5 獎(jiǎng)勵(lì)函數(shù)

獎(jiǎng)勵(lì)函數(shù)定義了強(qiáng)化學(xué)習(xí)問題的目標(biāo)[10]。在本研究中，目標(biāo)是在客流控制強(qiáng)度較小的情況下，盡量減少乘客在站臺(tái)等待的超限數(shù)及乘客的平均等待時(shí)間。因此，獎(jiǎng)勵(lì)函數(shù)為

2.6 算法過程

強(qiáng)化學(xué)習(xí)算法過程如下：

?

6 遍歷線路上的車站 7 根據(jù)當(dāng)前狀態(tài)選擇動(dòng)作，將動(dòng)作與環(huán)境交互 8 根據(jù)環(huán)境函數(shù)得出下一狀態(tài)，獎(jiǎng)勵(lì)值及站臺(tái)超限人數(shù) 9 記錄當(dāng)前狀態(tài)，動(dòng)作，下一狀態(tài)，獎(jiǎng)勵(lì) 10 將記錄的參數(shù)傳入網(wǎng)絡(luò)進(jìn)行訓(xùn)練 11 更新狀態(tài)并打印動(dòng)作及站臺(tái)超限人數(shù) 12 end for 13 每一時(shí)間步長的獎(jiǎng)勵(lì)求和并更新時(shí)間步長m 14 如果m 達(dá)到需要控制的時(shí)間步長，循環(huán)結(jié)束15 end while 16 計(jì)算客流控制時(shí)段內(nèi)一條線路所有乘客平均等待時(shí)間17 END

3 軌道交通客流控制實(shí)例

3.1 仿真場景

這里用一個(gè)真實(shí)線路的仿真實(shí)例來評(píng)估強(qiáng)化學(xué)習(xí)方法在地鐵的客流協(xié)調(diào)控制中的可用性。選取北京地鐵八通線在2019 年某工作日8:00—9:30 時(shí)間段進(jìn)行實(shí)驗(yàn)，該線路的車站情況如圖2 所示。

圖2 北京地鐵八通線線路圖 Figure 2 Route map of Metro Batong Line

使用當(dāng)日八通線的實(shí)際工作日運(yùn)營時(shí)間表，獲取當(dāng)日AFC 數(shù)據(jù)OD 客流量作為實(shí)驗(yàn)輸入，各車站分時(shí)進(jìn)站量如圖3 所示。該模擬在TensorFlow2.0 中調(diào)用keras 庫實(shí)現(xiàn)，所用參數(shù)如表2 所示。共做了100 次訓(xùn)練，并與未采用本客流控制模型的目標(biāo)參數(shù)進(jìn)行比較。

3.2 結(jié)果分析

訓(xùn)練曲線如圖4 所示。實(shí)施客流控制策略的獎(jiǎng)勵(lì)值越高，在該線路上客流控制強(qiáng)度較低，乘客平均等待時(shí)間和車站乘客超限人數(shù)的綜合指標(biāo)將會(huì)減小。由訓(xùn)練結(jié)果和訓(xùn)練曲線可知，在第38 次訓(xùn)練時(shí)候，獎(jiǎng)勵(lì)值達(dá)到最大，即：車站站臺(tái)乘客超限量與該線路上乘客平均等待時(shí)間的綜合指標(biāo)最小。

圖3 不同時(shí)段的進(jìn)站客流量 Figure 3 Inbound passenger flow in different periods

表2 實(shí)驗(yàn)參數(shù)設(shè)定 Table 2 Experimental parameter setting

圖4 訓(xùn)練曲線 Figure 4 Training curve

如表3 所示，與未采取客流控制相比較，采取客流控制后超限人數(shù)明顯減少。同時(shí)，如表4 所示，采取客流控制的情況下，乘客平均等待時(shí)間從4 min 43 s縮短到4 min 20 s。對(duì)應(yīng)的客流進(jìn)站率如表5 所示。

3.3 應(yīng)用討論

本研究提出的模型，使用實(shí)際的線路、車站與列車運(yùn)行計(jì)劃以及實(shí)際刷卡的客流數(shù)量進(jìn)行驗(yàn)證。在實(shí)驗(yàn)環(huán)境下，于15 min 之內(nèi)完成了100 次迭代，并在10 min

內(nèi)可以達(dá)到收斂，并開始趨于穩(wěn)定。在時(shí)間效率和數(shù)據(jù)規(guī)模與特征上，均可以對(duì)實(shí)際應(yīng)用實(shí)施提供支撐。

表3 各時(shí)段乘客站臺(tái)超限量 Table 3 Platform overrun in each period 人

表4 平均等待時(shí)間 Table 4 Average waiting time

表5 地鐵八通線控制車站的客流進(jìn)站率 Table 5 passenger flow control strategy of Metro Batong Line

同時(shí)，本研究提出的模型在應(yīng)用實(shí)施時(shí)，也需要滿足一定的條件，并且還有待于進(jìn)一步細(xì)化和完善，列舉如下：

1) 在應(yīng)用實(shí)施時(shí)，本研究提出的模型需要獲取基本的數(shù)據(jù)輸入，包括線路車站節(jié)點(diǎn)序列、列車運(yùn)行計(jì)劃、高峰期乘客出行OD 需求，各個(gè)車站的進(jìn)站走行時(shí)間和站臺(tái)的安全容量，并設(shè)置控流下的列車最大滿載率。

2) 在模型應(yīng)用實(shí)施時(shí)，可根據(jù)現(xiàn)場的要求和條件，進(jìn)一步加強(qiáng)模型約束，并轉(zhuǎn)換控制方案的表達(dá)形式。例如，根據(jù)應(yīng)用要求，縮小客流控制的車站和時(shí)間范圍，將進(jìn)站率轉(zhuǎn)化成單位時(shí)間的進(jìn)站人數(shù)，以利用實(shí)施。

3) 本模型適用于線路單向大客流的控制，更適用于潮汐明顯的郊區(qū)向市中心連接的線路，如果應(yīng)用于線路雙向大客流的控制，還需要對(duì)模型進(jìn)行改進(jìn)。

4 結(jié)語

本研究提出了一種基于深度Q 網(wǎng)絡(luò)的多站客流協(xié)調(diào)控制模型，目標(biāo)是在滿足站臺(tái)容量約束條件下，最小化地鐵車站乘客的站臺(tái)超限量、平均等待時(shí)間，提高客流控制強(qiáng)度的綜合效益。使用北京地鐵八通線，驗(yàn)證了該模型和方法的可用性。與未采取客流控制的結(jié)果相比，采取客流控制策略，可以有效降低乘客等待時(shí)間，減少車站站臺(tái)乘客的超限人數(shù)，提高乘客出行效率。