基于多圖卷積和注意力的長時交通預(yù)測研究

錢淑韻

（同濟(jì)大學(xué)電子與信息工程學(xué)院，上海 200092）

0 引言

智慧交通系統(tǒng)是智慧城市的一個重要組成部分，為出行者提供便利、安全、智能的交通運輸服務(wù)。在智能交通系統(tǒng)中，長時交通預(yù)測是一個重要問題，準(zhǔn)確地預(yù)測未來某段時間內(nèi)的交通狀態(tài)變化有利于交通線路規(guī)劃、防止交通擁堵等。

基于短時的預(yù)測模型進(jìn)行簡單的迭代也可以實現(xiàn)長時預(yù)測，但隨著預(yù)測序列的長度增加，誤差會不斷累積，并且在捕獲未來時間序列的趨勢性和周期性方面具有一定的缺陷。Encoder-Decoder 模型是序列預(yù)測問題的一個通用框架，Seq2Seq（sequence-to-sequence）屬于Encoder-Decoder 的一類方法的統(tǒng)稱，其優(yōu)點是輸入序列和輸出序列的長度可變，被廣泛應(yīng)用于長時交通預(yù)測問題。

本文將動態(tài)時間規(guī)整算法（dynamic time warping,DTW）［1］納入長時預(yù)測方法的評估體系，考慮模型預(yù)測交通趨勢性的能力。在國內(nèi)外相關(guān)研究的基礎(chǔ)上將多圖卷積和注意力機(jī)制納入Seq2Seq 結(jié)構(gòu)中，提出一個基于多圖卷積和注意力的長時交通預(yù)測框架，其中編碼器是一個納入多圖卷積的GRU 網(wǎng)絡(luò)，編碼器的輸出通過注意力機(jī)制層后輸入解碼器，得到最終的預(yù)測結(jié)果。此外，探討不同的解碼器結(jié)構(gòu)對長時交通預(yù)測的影響。最后，在紐約自行車真實數(shù)據(jù)集上進(jìn)行實驗，驗證所提出的框架在城市區(qū)域長時交通預(yù)測場景的性能。

1 相關(guān)技術(shù)與問題定義

1.1 Seq2Seq結(jié)構(gòu)

Seq2Seq 由編碼器和解碼器組成，編碼器基于輸入的序列生成一個中間向量，解碼器基于該中間向量輸出預(yù)測序列。

常用的解碼器結(jié)構(gòu)主要包括全連接層FC、卷積神經(jīng)網(wǎng)絡(luò)CNN 這類簡單的網(wǎng)絡(luò)，以及循環(huán)神經(jīng)網(wǎng)絡(luò)?；诤唵尉W(wǎng)絡(luò)的解碼器通常堆疊多個層，每個層的輸出映射為未來某個時間片的預(yù)測值。STSGCN［2］和DSTAGCN［3］使用多個全連接層網(wǎng)絡(luò)，AGCRN［4］則使用CNN 作為解碼器，它們用于紐約高速公路車輛速度的長時預(yù)測。這種網(wǎng)絡(luò)結(jié)構(gòu)簡單，計算速度快，但是捕獲信息的能力有限。

基于循環(huán)神經(jīng)網(wǎng)絡(luò)的解碼器通常將中間向量作為解碼器的初始隱藏狀態(tài)，DCRNN［5］的編碼器和解碼器都基于門循環(huán)單元（gate recurrent unit，GRU），解碼器的每個GRU單元的輸出對應(yīng)未來某個時間片的預(yù)測結(jié)果。Multi-Graph［6］預(yù)訓(xùn)練階段的編碼器和解碼器都基于長短期記憶神經(jīng)網(wǎng)絡(luò)（long short term memory network，LSTM），測試階段的解碼器基于全連接層。

在編碼階段和解碼階段可能會出現(xiàn)信息丟失， GMAN［7］為了減少解碼階段的誤差傳播效應(yīng)，結(jié)合注意力機(jī)制計算未來每個時間片和歷史時間片的相關(guān)性，得到的中間向量作為解碼器的輸入。

1.2 長時交通預(yù)測問題形式化

基于Seq2Seq結(jié)構(gòu)的長時交通預(yù)測問題定義如下：給定城市的交通圖結(jié)構(gòu)G，一組由歷史P個時間片的觀察組成的時間序列，區(qū)域進(jìn)出總流量{Xt|t=T-P+ 1,…,T- 1,T}和區(qū)域間的轉(zhuǎn)移流量{St|T-P+ 1,…,T- 1,T}，構(gòu)建編碼器模型ME和解碼器MD，學(xué)習(xí)它們的最優(yōu)參數(shù)ΘE和ΘD，ME基于歷史交通數(shù)據(jù)生成編碼特征Emd，MD基于編碼特征預(yù)測未來Q個時間間隔的城市每個區(qū)域的交通狀況。形式化表示為

1.3 基于DTW的長時交通預(yù)測評估

短時序列預(yù)測的評估常采用每個時間片按點對點計算該時間片內(nèi)的誤差，然后取平均值，如MAE、RMSE 等。對于長時預(yù)測，不僅需要關(guān)注每個對應(yīng)時間片的誤差，未來時間序列的趨勢性也很重要。例如某個方法可以捕獲到未來時間序列的趨勢，但存在著一定的滯后或提前，這種情況下只使用點對點的指標(biāo)評估會忽略方法捕獲趨勢性的能力，而面向由于惡劣天氣、道路突發(fā)事件等引起的交通擁堵等場景，未來時間序列的趨勢性很重要。

動態(tài)時間規(guī)整算法（DTW）［1］用于計算兩個序列的相似性，其中序列的每個時間片可以和另一個序列的一個或多個時間片匹配。因此，本文基于DTW 算法計算真實序列和預(yù)測序列的相似性，將其納入長時交通預(yù)測的評估體系，使長時交通預(yù)測方法的評估更豐富。

2 基于多圖卷積和注意力的長時交通預(yù)測框架

2.1 整體框架

考慮區(qū)域之間三種不同的依賴關(guān)系：①鄰居關(guān)系：鄰接的區(qū)域之間的關(guān)系很密切，并且某個區(qū)域與每個鄰接區(qū)域的密切關(guān)系是可以不同的；②流量交互關(guān)系：由于交通便利，不鄰接的區(qū)域之間也可能存在頻繁的流量交互，并且這種關(guān)系會隨時間動態(tài)變化；③交通模式關(guān)系：有些區(qū)域之間沒有頻繁的流量交互，但具有相似的交通模式，如距離較遠(yuǎn)的兩個學(xué)校。

本文基于Seq2Seq結(jié)構(gòu)，提出基于多圖卷積和注意力的長時交通預(yù)測框架（multi-graph convolution and attention network for long-term traffic prediction，MGANL）?？蚣艿慕Y(jié)構(gòu)如圖1 所示，主要由以下四個部分組成：①多圖生成模塊：基于上文介紹的三種依賴關(guān)系，分別構(gòu)建鄰居圖，流量交互圖和交通模式圖。②編碼器：一個納入多圖卷積的GRU，用于同時建模時間相關(guān)依賴和多尺度的空間相關(guān)依賴，生成特征編碼。③注意力機(jī)制層：引入注意力機(jī)制，對特征編碼進(jìn)行處理，生成解碼器可用的中間向量。④解碼器：基于中間向量和歷史輸入數(shù)據(jù)進(jìn)行解碼，得到最終的預(yù)測結(jié)果。本文不限定解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，僅提出一個預(yù)測框架，并探討不同的解碼器結(jié)構(gòu)對長時預(yù)測的影響。

圖1 基于多圖卷積和注意力的長時交通預(yù)測框架

2.2 基于多圖卷積的編碼器

多圖生成模塊構(gòu)建三個圖來編碼區(qū)域之間不同的依賴關(guān)系。其中鄰居圖AN編碼鄰接區(qū)域之間的關(guān)系，定義如公式（1）和公式（2）所示；流量交互圖AF編碼有頻繁流量交互的區(qū)域之間的關(guān)系，通過歸一化歷史區(qū)域之間轉(zhuǎn)移的流量來構(gòu)建；交通模式圖AP挖掘隱藏在歷史交通數(shù)據(jù)中的依賴關(guān)系，t時間間隔內(nèi)的交通模式圖定義如公式（3）和公式（4）所示。其中，W和We為可學(xué)習(xí)的參數(shù)，Et∈?N×d，We∈?d×N，N為城市區(qū)域（圖節(jié)點）個數(shù)，d為節(jié)點嵌入維度。

MGANL 的編碼器使用納入多圖卷積的GRU（MGGCU），使用多圖卷積替換GRU 中的MLP層，如公式（5）至（9）所示。其中，Et為交通模式圖中學(xué)習(xí)的參數(shù)，W(·)和b(·)均為可學(xué)習(xí)的參數(shù)。連接編碼器中每個MGGRU 單元的輸出生成特征編碼，即H=[h0,…,hP-1]∈?P×N×H，H為編碼器的輸出特征維度。

2.3 注意力機(jī)制層

當(dāng)輸入或輸出序列較長時，在編碼階段和解碼階段可能會發(fā)生信息丟失，注意力機(jī)制為緩解該問題提供了一個方向。本框架主要使用兩種注意力機(jī)制：基于線性變換的注意力機(jī)制和基于點積的注意力機(jī)制。

編碼器生成的特征向量H包含了編碼過程中的上下文信息，記編碼器中最后一個MGGRU單元的隱藏狀態(tài)為Emd。對于解碼器為非循環(huán)神經(jīng)網(wǎng)絡(luò)的模型，計算特征向量H和Emd的相似度，為編碼過程中產(chǎn)生的上下文信息分配一個相應(yīng)的權(quán)重，上下文信息的加權(quán)和作為中間向量C0。

對于解碼器為循環(huán)神經(jīng)網(wǎng)絡(luò)的模型，將Emd作為解碼器的初始隱藏狀態(tài)，將中間向量C0和距離預(yù)測序列最近的歷史交通狀態(tài)堆疊作為解碼器的輸入。每次得到新的隱藏狀態(tài)后更新Emd，重新計算H和Emd的相似度，得到新的中間向量Ci。

相似度的計算主要包含以下兩種方式，分別為線性層變換（LA）和內(nèi)積相乘（DA）?；诰€性層變換的相似度計算過程如公式（10）至公式（12）所示。其中VT和Wh為可學(xué)習(xí)的參數(shù)，α?i為hi所對應(yīng)的歸一化權(quán)重。

內(nèi)積相乘（DA）不再將H和Emd堆疊，而是分別輸入線性層，然后計算輸出的內(nèi)積。具體計算方式如公式（13）和公式（14）所示。其中，Wk和Wq為可學(xué)習(xí)的參數(shù)。dk是隱藏特征的維度，用于縮放點積。

2.4 不同的解碼器網(wǎng)絡(luò)結(jié)構(gòu)

本文為短時預(yù)測模型擴(kuò)展到長時預(yù)測提供參考，由于目前先進(jìn)的交通預(yù)測方法大多基于動態(tài)圖卷積，它們需要實時計算鄰接矩陣，考慮到模型的復(fù)雜性，本框架使用一些較為簡單的網(wǎng)絡(luò)結(jié)構(gòu)作為解碼器，包括全連接層FC、卷積神經(jīng)網(wǎng)絡(luò)CNN和GRU。

FC 和CNN 結(jié)構(gòu)簡單，參數(shù)量少，運算速度快。基于FC 或CNN 的解碼器可以有效降低模型的復(fù)雜性。使用多個FC 層或CNN 卷積核，如圖2 所示，每個FC 或CNN 把中間向量映射為一維的時間維度，使每個時間片有獨立的參數(shù)空間，其中C'為需要預(yù)測的屬性個數(shù)。

圖2 基于FC/CNN的解碼器結(jié)構(gòu)

基于GRU 的解碼器相較于第一類結(jié)構(gòu)，預(yù)測的多個時間片之間可以傳遞信息，但是計算速度相對較慢。如圖3所示，中間向量作為解碼器的初始隱藏狀態(tài)，并且堆疊歷史輸入序列作為解碼器新的輸入。使用2.3 小節(jié)中介紹的相似度計算方法計算Emd和H的相似度，得到新中間向量C0∈?N×H。距離預(yù)測序列最近的Q個歷史交通狀態(tài)經(jīng)過一個線性層后得到嵌入X'∈?Q×N×H。X't和Ci-1堆疊作為解碼器中GRU單元新的輸入，計算該單元的輸出h'i和H的相似度，得到新中間向量Ci。解碼器的第i個GRU單元的輸出h'i通過一個線性層后映射為t+i時間片的預(yù)測結(jié)果。

圖3 基于GRU的解碼器結(jié)構(gòu)

3 實驗與結(jié)果分析

3.1 實驗設(shè)置

本文的實驗平臺為Windows10 系統(tǒng)，Intel（R）Xeon（R）CPU E5-2620 v4@2.10 GHz，NVIDIA GeForce GTX 1080Ti GPU。算法采用PyTorch1.8.0GPU框架和Python 3.6實現(xiàn)。

本文使用NYCBike［8］這個公開的真實交通數(shù)據(jù)集進(jìn)行實驗，評估本文所提出的長時交通預(yù)測框架。將紐約劃分為10 × 20 的網(wǎng)格區(qū)域，NYCBike 數(shù)據(jù)集包含紐約市2016 年7 月～8 月的自行車租賃數(shù)據(jù)，每個時間片為30 分鐘，數(shù)據(jù)采用Z-score的歸一化方法進(jìn)行預(yù)處理。

使用五個指標(biāo)評估模型的預(yù)測性能，包括計算點對點誤差的MAE、RMSE、MAPE、PCC指標(biāo)，以及評估模型面向長時預(yù)測捕獲趨勢性能力的DTW指標(biāo)。

3.2 實驗結(jié)果與分析

基于歷史12 個時間片內(nèi)的交通流量數(shù)據(jù)，預(yù)測未來6 個時間片每個區(qū)域的流量進(jìn)出情況，比較各個方法的總體性能，結(jié)果如表1所示。表格中的1 h，2 h和3 h三列分別表示第2，第4和第6個時間片的預(yù)測結(jié)果的誤差，加粗的數(shù)值為該指標(biāo)在當(dāng)前時間片的最優(yōu)結(jié)果。

表1 NYCBike數(shù)據(jù)集上各方法的總體性能比較

實驗驗證所提出的MGANL 框架在長時交通預(yù)測場景的有效性，關(guān)注不同解碼器結(jié)構(gòu)對于長時預(yù)測的影響。其中GRU-Decoder 表示編碼器為GRU 的預(yù)測方法，MGNL 表示去除注意力機(jī)制的MGANL方法。

相比編碼器為簡單GRU 的方法，基于MGGRU 的方法明顯表現(xiàn)較好，該類方法考慮區(qū)域間的多種相關(guān)依賴，可以取得更好的預(yù)測效果。對于編碼器結(jié)構(gòu)較為簡單的情況，直接使用簡單網(wǎng)絡(luò)作為解碼器表現(xiàn)相對較差。對于編碼器結(jié)構(gòu)較為復(fù)雜的情況，由于編碼器具有良好的時空建模能力，解碼器僅基于FC 和CNN 的方法表現(xiàn)優(yōu)異，結(jié)合注意力機(jī)制的MGANL 方法與MGNL 方法相比預(yù)測性能有所提升，這驗證了在編碼階段可能有一些信息存在丟失，而注意力機(jī)制可以補(bǔ)充這些丟失的信息。同時，這些信息可能會影響模型對序列趨勢性的預(yù)測。

綜上所述，通過對比各個模型面向長時預(yù)測問題的實驗結(jié)果可以驗證所提出的基于多圖卷積和注意力的長時交通預(yù)測框架的有效性，注意力機(jī)制可以緩解在編碼和解碼過程中信息丟失的問題，有助于提高長時的交通預(yù)測性能。

4 結(jié)語

面向城市區(qū)域長時交通預(yù)測問題，將衡量模型捕獲長時趨勢性能力的指標(biāo)DTW 納入評估體系，并提出一種基于多圖卷積和注意力的長時交通預(yù)測框架。提出的框架基于Seq2Seq 結(jié)構(gòu)，編碼器基于納入多圖卷積的GRU，同時建模時間相關(guān)依賴和多尺度的空間相關(guān)依賴，生成特征編碼。注意力機(jī)制層基于特征編碼生成中間向量，減少編碼和解碼過程中的信息丟失。解碼器基于中間向量和歷史交通狀態(tài)預(yù)測未來長時間的交通流量的變化情況。此外，研究不同解碼器結(jié)構(gòu)對長時預(yù)測的影響，有助于其他短時預(yù)測模型擴(kuò)展到長時預(yù)測場景。通過在紐約自行車數(shù)據(jù)集上的實驗驗證了所提框架在長時交通預(yù)測場景的有效性。