基于深度強(qiáng)化學(xué)習(xí)的車車通信智能頻譜共享

趙軍輝，陳垚，張青苗

(華東交通大學(xué) 信息工程學(xué)院，江西 南昌 330013)

在現(xiàn)代化城市建設(shè)中，城市軌道交通系統(tǒng)發(fā)揮著越來(lái)越重要的作用。作為城市軌道交通系統(tǒng)的大腦和中樞，基于通信的列車控制(Communica‐tion Based Train Control,CBTC)系統(tǒng)是當(dāng)前常用的列車控制系統(tǒng)。CBTC 系統(tǒng)通過(guò)無(wú)線通信方式實(shí)現(xiàn)列車運(yùn)行狀態(tài)和控制信息的傳遞，以保障列車高效安全運(yùn)行，其主要有車地(Train-to-Ground,T2G)通信和車車(Train-to-Train,T2T)通信2 種基本通信模式。T2G 通信是利用車載設(shè)備和軌旁設(shè)備及控制中心的信息交換進(jìn)行列車控制，是目前實(shí)際運(yùn)行的CBTC通信模式，這種通信模式下軌旁設(shè)備繁多、系統(tǒng)結(jié)構(gòu)復(fù)雜。T2T通信是列車之間直接通信模式，減少系統(tǒng)對(duì)控制中心的依賴，降低系統(tǒng)復(fù)雜度，能夠顯著提升列車的運(yùn)行效率，因此，T2T通信已經(jīng)被研究人員視為下一代軌道交通列車通信模式[1-2]。徐紀(jì)康[3]根據(jù)法國(guó)里爾1 號(hào)線的CBTC系統(tǒng)模型，提出了一種基于T2T 的新型CBTC 系統(tǒng)，并對(duì)該系統(tǒng)的系統(tǒng)結(jié)構(gòu)、系統(tǒng)功能、數(shù)據(jù)傳輸特性進(jìn)行了理論分析和深入的研究。林俊亭等[4]對(duì)列車防碰撞系統(tǒng)進(jìn)行了研究，指出列車間通信存在的必要性。林俊亭等[5]對(duì)列車防碰撞系統(tǒng)進(jìn)行了建模分析，得出了T2T 通信有助于增強(qiáng)系統(tǒng)安全性的重要結(jié)論。王鵬等[6]研究了T2T 通信的通信方案，并對(duì)不同的方案進(jìn)行了分析比較，得出適合當(dāng)前系統(tǒng)的最佳通信方案。這些研究為T(mén)2T 通信的實(shí)際應(yīng)用提供了理論基礎(chǔ)，但未考慮T2T 通信和T2G 通信共存的問(wèn)題。目前，系統(tǒng)中的軌旁設(shè)備仍然是必需的，例如，當(dāng)相鄰的2 列車通過(guò)T2T通信獲取彼此的位置和狀態(tài)信息時(shí)，列車仍需要與軌旁設(shè)備通信。但如今，隨著各種無(wú)線通信設(shè)備數(shù)量的急劇增加，無(wú)線通信資源已經(jīng)嚴(yán)重不足，這已經(jīng)成為制約無(wú)線網(wǎng)絡(luò)發(fā)展的重要因素[7]。為了能夠充分利用有限的頻譜資源，頻率復(fù)用已被證明是一種有效的技術(shù)[8]。但不幸的是，頻譜復(fù)用必然會(huì)帶來(lái)同信道干擾，從而影響無(wú)線通信的服務(wù)質(zhì)量(Quality of Service,QoS)。在T2T 通信與T2G 通信并存的情況下，合理地利用頻譜資源是一大挑戰(zhàn)。目前，對(duì)T2T 通信資源分配的研究較少。ZHOU 等[9]基于博弈論的方法，提出了一種應(yīng)用于列車控制系統(tǒng)上行鏈路的通信資源分配方案。ZHAO 等[10]提出了一種基于多智能體深度Q 網(wǎng)絡(luò)(Multi-Agent Deep Q-Network,MADQN)的T2T 通信信道選擇和傳輸功率選擇算法以減少同信道干擾，但是，該方案中每個(gè)智能體都學(xué)習(xí)基于自身行動(dòng)和觀測(cè)的分散策略，將其他因素視為環(huán)境的一部分，這將導(dǎo)致環(huán)境不穩(wěn)定，從而破壞學(xué)習(xí)的準(zhǔn)確性。本文針對(duì)T2T 通信和T2G 通信鏈路復(fù)用引起的干擾問(wèn)題，提出了一種基于深度強(qiáng)化學(xué)習(xí)的T2T 通信智能頻譜共享方案。本文的主要?jiǎng)?chuàng)新點(diǎn)如下：

1) 以T2T 通信鏈路為智能體，將頻譜共享建模為多智能體深度強(qiáng)化學(xué)習(xí)(Multi-Agent Deep Re‐inforcement Learning,MADRL)問(wèn)題，并設(shè)置合適的獎(jiǎng)勵(lì)函數(shù)，以最大化系統(tǒng)的信道容量。

2) 引入能夠表征智能體行動(dòng)軌跡的低維指紋(Low-Dimensional Fingerprint,LDF)信息，以提升深度強(qiáng)化學(xué)習(xí)的穩(wěn)定性。

1 系統(tǒng)模型

T2T 通信系統(tǒng)模型如圖1 所示。為了降低軌旁設(shè)備的復(fù)雜性，列車和軌旁控制器集成了區(qū)域控制器(Zone Controller,ZC)、列車自動(dòng)監(jiān)控(Auto‐matic Train Supervision,ATS)和計(jì)算機(jī)互鎖(Com‐puter Interlock,CI)功能，每輛列車都可以通過(guò)列車控制模塊中的T2G 通信終端與軌旁設(shè)備進(jìn)行通信，軌旁設(shè)備可以根據(jù)列車發(fā)送的路線信息直接控制道岔的旋轉(zhuǎn)和打開(kāi)[11-12]。不僅如此，相鄰列車還可以通過(guò)T2T 終端直接通信，以傳達(dá)列車速度和位置等關(guān)鍵信息。相比于傳統(tǒng)的T2G 通信，這種直接通信的方式可以使列車獲取信息更及時(shí)，從而提升列車運(yùn)行的安全性。由于列車運(yùn)行環(huán)境的特殊性，城市軌道交通列車通信網(wǎng)絡(luò)中的基站是沿軌道線性分布的，且每個(gè)蜂窩小區(qū)的列車數(shù)量是有限的。假設(shè)在單個(gè)小區(qū)中，存在M個(gè)T2G 通信鏈路，存在N個(gè)T2T 通信鏈路，可用帶寬被分為R個(gè)資源塊，不失一般性，定義R=M，每個(gè)T2G通信鏈路使用單個(gè)資源塊，即T2G 鏈路之間沒(méi)有頻譜共享。

圖1 T2T通信系統(tǒng)模型Fig.1 T2T communication system model

在一個(gè)相干時(shí)間段內(nèi)，在第m個(gè)資源塊上第t個(gè)T2T通信鏈路的信道功率增益表示為：

其中：αt為大規(guī)模衰落系數(shù)，包括路徑損耗和陰影衰落；為小規(guī)模衰落功率分量。在資源塊m上，設(shè)第t個(gè)T2T 列車和第t＇個(gè)T2T 列車之間的信道增益表示為第t個(gè)T2T 列車和軌旁基站(Base station,BS)之間的信道增益可以表示為，第m個(gè)T2G 列車和軌旁BS之間的信道增益可以表示為，第m個(gè)T2G 列車和第t個(gè)T2T列車之間的信道增益可以表示為。

因此，在資源塊m上，第m個(gè)T2G 通信鏈路的信干噪比(Signal to Interference Plus Noise Ratio,SINR)可以表示為：

第t個(gè)T2T通信鏈路的SINR可以表示為：

其中：表示第m個(gè)T2G列車的發(fā)射功率；表示第t個(gè)T2T 列車的發(fā)射功率；σ2表示噪聲功率；表示頻譜資源共享指標(biāo)；=1時(shí)表示第t個(gè)T2T通信鏈路使用第m個(gè)資源塊；=0 時(shí)表示不使用。

表1 重要符號(hào)說(shuō)明表Table 1 Table of important symbols

因此，第m個(gè)T2G 通信鏈路使用第m個(gè)資源塊時(shí)的信道容量可表示為：

其中：B為每個(gè)頻譜的帶寬。

第t個(gè)T2T 通信鏈路使用第m個(gè)資源塊時(shí)的信道容量可表示為：

2 智能頻譜共享方案

2.1 MADRL學(xué)習(xí)模型

在使用MADRL 的頻譜共享問(wèn)題中，將所有T2T通信鏈路當(dāng)作智能體共同探索列車所處的通信環(huán)境[13-14]。如圖2 所示，展示了智能體與通信環(huán)境交互的過(guò)程。在一個(gè)相干時(shí)間段k內(nèi)，給定當(dāng)前環(huán)境狀態(tài)Sk，此時(shí)，第t個(gè)智能體從環(huán)境中獲取的觀測(cè)值，然后采取動(dòng)作，根據(jù)智能體采取的動(dòng)作，可以獲得相應(yīng)的獎(jiǎng)勵(lì)Rk+1，環(huán)境狀態(tài)會(huì)以p(s＇,r|s,a)的概率進(jìn)入下一個(gè)狀態(tài)Sk+1，此時(shí)每個(gè)智能體將得到新的觀測(cè)值，在整個(gè)環(huán)境中，所有智能體都共享同一獎(jiǎng)勵(lì)。

圖2 智能體與通信環(huán)境交互示意圖Fig.2 Schematic diagram of interaction between agents and communication environment

在實(shí)際交互中，不妨假設(shè)，在第t個(gè)T2T 通信鏈路在一個(gè)相干時(shí)間段k的開(kāi)始階段便能準(zhǔn)確估計(jì)其他信道狀態(tài)信息，并且該類信息能夠及時(shí)獲取。在一個(gè)相干時(shí)間段k內(nèi)，可以從軌旁BS 處對(duì)信道狀態(tài)信息估計(jì)，然后以廣播的方式發(fā)送給小區(qū)內(nèi)其他列車，這樣可以減小信令開(kāi)銷。在本地觀測(cè)空間中，智能體t的觀測(cè)函數(shù)可以表示為：

其中：Gm為T(mén)2G 通信鏈路信道狀態(tài)信息；Ht為T(mén)2T通信鏈路信道狀態(tài)信息；Bt和Tt分別表示列車傳輸數(shù)據(jù)包大小以及傳輸數(shù)據(jù)所用時(shí)長(zhǎng)。

在解決MADRL問(wèn)題時(shí)，研究者通常采用獨(dú)立的Q 學(xué)習(xí)算法[15]。但是，將神經(jīng)網(wǎng)絡(luò)與獨(dú)立的Q 學(xué)習(xí)算法簡(jiǎn)單的結(jié)合起來(lái)會(huì)出現(xiàn)不兼容的問(wèn)題，因?yàn)樵趯W(xué)習(xí)過(guò)程中，每個(gè)智能體都面臨一個(gè)不穩(wěn)定的環(huán)境，所有智能體都在學(xué)習(xí)并調(diào)整自己的行為。隨著經(jīng)驗(yàn)池的不斷擴(kuò)大，不兼容的問(wèn)題變得更加嚴(yán)重，此時(shí)，從經(jīng)驗(yàn)池獲取的樣本已經(jīng)不再反映當(dāng)前智能體的狀態(tài)，從而破壞學(xué)習(xí)的準(zhǔn)確性。為了解決這個(gè)問(wèn)題，研究人員通常采用加入低維指紋的方法，該方法的具體思想是通過(guò)估計(jì)其他智能體的行動(dòng)策略來(lái)擴(kuò)大每個(gè)智能體的觀測(cè)空間，從而避免環(huán)境的不穩(wěn)定性[16-17]。但是，動(dòng)作值函數(shù)中包含的所有參數(shù)并不是都能夠作為輸入的，因?yàn)槊總€(gè)智能體的行動(dòng)策略都由高維深度Q 網(wǎng)絡(luò)(Deep Q-Network,DQN)組成，將所有參數(shù)均作為輸入將會(huì)導(dǎo)致網(wǎng)絡(luò)變得十分復(fù)雜，因此，就需要將輸入變成在文獻(xiàn)[17]中提到的包含重要信息的低維指紋，該指紋能夠跟蹤其他智能體行動(dòng)策略的變化軌跡，從而起到表征智能體特征的效果。進(jìn)一步的分析表明，在Q 學(xué)習(xí)廣泛使用的ε貪婪策略中，每個(gè)智能體的行動(dòng)策略更改都與訓(xùn)練迭代次數(shù)e及其探索率ε高度相關(guān)，因此，本文將ε和e都包含在智能體的觀測(cè)空間中。此時(shí)觀測(cè)空間可以表示為：

列車通信鏈路的資源共享方案是基于T2T 通信鏈路頻譜選擇和傳輸功率控制設(shè)計(jì)的。本文共設(shè)置了R個(gè)不相交的子帶，每個(gè)子帶都由一個(gè)T2G通信鏈路占據(jù)，智能體的每個(gè)動(dòng)作會(huì)對(duì)應(yīng)頻譜和功率選擇的一種特定組合。

強(qiáng)化學(xué)習(xí)(Reinforcement Learning,RL)算法由于獎(jiǎng)勵(lì)設(shè)計(jì)很靈活，所以常被用來(lái)解決難以優(yōu)化的問(wèn)題。設(shè)置合適的獎(jiǎng)勵(lì)函數(shù)，使其與優(yōu)化目標(biāo)相關(guān)，可以極大地提高系統(tǒng)性能。本文的主要目標(biāo)是最大化系統(tǒng)的總?cè)萘?，并在一定的時(shí)間內(nèi)增加T2T 通信鏈路數(shù)據(jù)傳輸?shù)某晒Ω怕?。因此，本文將?jiǎng)勵(lì)函數(shù)設(shè)置為：

其中：λ為T(mén)2G 通信鏈路信道容量在整個(gè)系統(tǒng)中所占權(quán)重；分別表示T2G 通信鏈路與T2T通信鏈路在相干時(shí)間k內(nèi)的信道容量。

2.2 算法步驟

基于MADRL 的頻譜復(fù)用方案分為2 個(gè)階段：第1個(gè)階段為訓(xùn)練階段，第2個(gè)階段為測(cè)試階段。

在訓(xùn)練階段，利用深度Q 學(xué)習(xí)和經(jīng)驗(yàn)重播對(duì)多個(gè)智能體進(jìn)行訓(xùn)練[18]，使智能體能夠有效地學(xué)習(xí)頻譜共享策略。Q 學(xué)習(xí)算法是基于策略π的動(dòng)作-值函數(shù)Q(s,a)來(lái)采取行動(dòng)的一種算法，其定義為從狀態(tài)s跟隨行動(dòng)策略π采取動(dòng)作a，可以將動(dòng)作-值函數(shù)表示為：

其中：Gk為經(jīng)過(guò)折扣后的獎(jiǎng)勵(lì)。

在Q 學(xué)習(xí)算法中，智能體所采用的策略π和其動(dòng)作-值函數(shù)息息相關(guān)。一般來(lái)講，智能體會(huì)選擇Q值最大的動(dòng)作a，并以此來(lái)更新策略π，然后再通過(guò)新的策略π來(lái)更新Q值，反復(fù)迭代直到Q值收斂到最優(yōu)值Q＊(s,a)。因此，可以將動(dòng)作-值函數(shù)的迭代式表示為：

其中：α是學(xué)習(xí)速率；γ是折扣因子。在Q 學(xué)習(xí)算法中，Q值存儲(chǔ)在Q表中，Q表的大小為|A||S|。

在T2T 通信的頻譜共享問(wèn)題中，由于狀態(tài)空間S很大，進(jìn)而導(dǎo)致Q 表也變大，因此本文采用能夠處理該問(wèn)題的DQN。如圖3 所示，將觀測(cè)到的狀態(tài)視為神經(jīng)網(wǎng)絡(luò)的輸入，將每個(gè)動(dòng)作對(duì)應(yīng)的Q值當(dāng)作神經(jīng)網(wǎng)絡(luò)的輸出值，此時(shí)Q表已經(jīng)可以被Q網(wǎng)絡(luò)所替代。

圖3 DQN結(jié)構(gòu)Fig.3 Structure of Deep Q-Network

在智能體的學(xué)習(xí)過(guò)程中，主要存在2 個(gè)問(wèn)題：一是目標(biāo)不穩(wěn)定，參數(shù)學(xué)習(xí)的目標(biāo)取決于參數(shù)本身；二是樣本之間有很強(qiáng)的相關(guān)性。為了解決這2個(gè)問(wèn)題，DQN 算法主要采取2 種措施：一是凍結(jié)目標(biāo)網(wǎng)絡(luò)，即在一定時(shí)期內(nèi)固定目標(biāo)網(wǎng)絡(luò)中的參數(shù)以穩(wěn)定學(xué)習(xí)目標(biāo)；二是經(jīng)驗(yàn)重放，建立體驗(yàn)池以消除數(shù)據(jù)依賴性[19-20]。本文提出的算法在這2 種措施的基礎(chǔ)上，引入能夠表征智能體行動(dòng)軌跡的低維指紋信息，該算法的具體過(guò)程如下所示：

步驟1 初始化神經(jīng)網(wǎng)絡(luò)參數(shù)；

步驟2 啟動(dòng)環(huán)境模擬器；

步驟3 啟動(dòng)循環(huán)；

步驟4 從環(huán)境獲取初始狀態(tài)：s∈S；

步驟5 根據(jù)策略π選擇頻譜；

步驟6 產(chǎn)生下一個(gè)狀態(tài)和獎(jiǎng)勵(lì)；

步驟7 更新列車位置和信道狀態(tài)信息；

步驟8 將數(shù)據(jù)項(xiàng){sk,ak,rk,sk+1}保存到經(jīng)驗(yàn)池中；

步驟9 從經(jīng)驗(yàn)池中隨機(jī)選擇一部分?jǐn)?shù)據(jù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)；

步驟10 選擇最大Q值對(duì)應(yīng)的動(dòng)作；

步驟11 定期更新目標(biāo)Q網(wǎng)絡(luò)；

步驟12 結(jié)束循環(huán)。

在測(cè)試階段，在一個(gè)相干時(shí)間段k內(nèi)，每個(gè)智能體首先估計(jì)環(huán)境觀測(cè)值，然后根據(jù)已經(jīng)訓(xùn)練完成的Q 網(wǎng)絡(luò)，智能體自主選擇策略價(jià)值最大的策略π＊，最后智能體根據(jù)選定策略采取行動(dòng)，確定的發(fā)射功率和頻譜資源開(kāi)始傳輸數(shù)據(jù)。

3 實(shí)驗(yàn)仿真對(duì)比分析

在本小節(jié)中，在Python 環(huán)境下對(duì)頻譜共享算法的系統(tǒng)性能仿真，并對(duì)仿真結(jié)果進(jìn)行解釋說(shuō)明。結(jié)合相關(guān)文獻(xiàn)以及列車的實(shí)際運(yùn)行情況，在城市軌道交通T2T 通信場(chǎng)景中采用Winner II 路徑損耗模型。每列列車上都可以同時(shí)存在T2T 通信模式和T2G通信模式，主要仿真參數(shù)列于表2中。

表2 主要仿真參數(shù)Table 2 Main simulation parameters

如圖4所示，隨著訓(xùn)練次數(shù)的不斷增加，累積的獎(jiǎng)勵(lì)不斷提高，這說(shuō)明了所提出訓(xùn)練算法的有效性。當(dāng)訓(xùn)練次數(shù)達(dá)到大約1 000 次時(shí)，盡管在城市軌道交通環(huán)境中，由移動(dòng)性引起的信道衰落會(huì)導(dǎo)致一些波動(dòng)，但系統(tǒng)的整體性能仍然呈現(xiàn)出收斂的趨勢(shì)?；谶@樣的觀測(cè)，在后續(xù)評(píng)估T2T 和T2G鏈路的性能時(shí)，將每個(gè)智能體的Q網(wǎng)絡(luò)均訓(xùn)練了1 500次，以此來(lái)保證模型均收斂。

圖4 訓(xùn)練次數(shù)及獲取平均獎(jiǎng)勵(lì)Fig.4 Training times and average reward

如圖5 所示，隨著T2T 鏈路傳輸數(shù)據(jù)包大小的增加，最大信道容量、引入低維指紋的MADRL與MADRL 方案的性能都會(huì)下降。顯而易見(jiàn)，當(dāng)傳輸?shù)臄?shù)據(jù)包大小增加時(shí)，為了提高T2T 鏈路數(shù)據(jù)傳輸成功的概率，需要T2T 鏈路增加傳輸數(shù)據(jù)的時(shí)長(zhǎng)以及提高T2T鏈路的發(fā)射功率。隨著T2T鏈路傳輸數(shù)據(jù)的時(shí)間變長(zhǎng)，由于頻譜共享，T2T 鏈路對(duì)T2G 鏈路也會(huì)造成更強(qiáng)的干擾。由圖5 中可以看出，本文所提方案在不同的T2T 傳輸數(shù)據(jù)包大小上相對(duì)于其他方案能夠達(dá)到更好的性能。這也進(jìn)一步說(shuō)明，本文所提方案在引入多智能體低維指紋之后，經(jīng)驗(yàn)復(fù)用池的穩(wěn)定性大大提升，使得訓(xùn)練結(jié)果更加準(zhǔn)確。

圖5 數(shù)據(jù)包大小與信道容量關(guān)系Fig.5 Relationship between data packet size and channel capacity

如圖6所示，在使用相同大小數(shù)據(jù)包訓(xùn)練模型情況下，隨著需要傳輸數(shù)據(jù)包大小增大，除最大信道容量外，加入低維指紋的MADRL 和MADRL方案的成功率都在逐漸變小，相比于未加入低維指紋的MADRL方案，本文所提方案的傳輸成功概率更接近于最大信道容量下的傳輸概率且下降幅度很低。結(jié)合圖6的觀察結(jié)果，可以得出結(jié)論：本文所提方案訓(xùn)練后的DQN，在數(shù)據(jù)包大小發(fā)生變化后，即使在未重新訓(xùn)練的情況下，也能達(dá)到較好的效果。

圖6 數(shù)據(jù)包大小與數(shù)據(jù)傳輸成功概率關(guān)系Fig.6 Relationship between data packet size and data transmission success probability

4 結(jié)論

1) 在現(xiàn)有研究的基礎(chǔ)上，提出一種新的頻譜選擇方案，降低了不同通信模式的列車之間產(chǎn)生的干擾對(duì)整個(gè)通信系統(tǒng)帶來(lái)的影響。

2) 在傳統(tǒng)多智能體強(qiáng)化學(xué)習(xí)算法的基礎(chǔ)上創(chuàng)新性地引入多智能體低維指紋，大大降低Q 函數(shù)的維數(shù)，從而提高學(xué)習(xí)的穩(wěn)定性。

3) 有效提高T2T 通信系統(tǒng)的信道容量，應(yīng)用在城市軌道交通T2T 通信的環(huán)境中，具有較強(qiáng)的實(shí)用性。