基于圖小波注意力門控循環(huán)神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測(cè)

李松江 黃小莉 王 鵬

(長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院 吉林 長(zhǎng)春 130022)

0 引 言

近年來(lái)，深度學(xué)習(xí)在捕獲交通數(shù)據(jù)的復(fù)雜時(shí)空相關(guān)性方面取得了很好的成果。由于交通流預(yù)測(cè)是基于歷史序列數(shù)據(jù)，大多數(shù)現(xiàn)有深度學(xué)習(xí)模型是建立在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)及其變體的基礎(chǔ)上[1]，如LSTM和GRU，它們雖然可以有效地利用自循環(huán)機(jī)制學(xué)習(xí)交通數(shù)據(jù)的時(shí)間依賴關(guān)系，但是忽略了城市道路的空間結(jié)構(gòu)特征，使得交通數(shù)據(jù)的變化不受城市路網(wǎng)的約束，無(wú)法準(zhǔn)確預(yù)測(cè)交通流量。充分利用時(shí)空相關(guān)性是解決交通流預(yù)測(cè)問題的關(guān)鍵[2]。通過卷積神經(jīng)網(wǎng)絡(luò)(CNN)與RNN或其變體(RNNs)結(jié)合的方法捕捉交通數(shù)據(jù)的時(shí)空特征以預(yù)測(cè)交通流量，該方法具有一定的局限性。一方面，RNNs主要提取靜態(tài)的時(shí)間相關(guān)性，適用于短期的交通預(yù)測(cè)[3]?？紤]到注意機(jī)制在依賴關(guān)系建模方面的高效率和靈活性[4]，將注意力機(jī)制應(yīng)用于交通預(yù)測(cè)以捕獲時(shí)間序列的長(zhǎng)期動(dòng)態(tài)依賴關(guān)系。另一方面，傳統(tǒng)的卷積運(yùn)算只能捕捉規(guī)則網(wǎng)格結(jié)構(gòu)的特征，無(wú)法處理復(fù)雜的城市網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的交通流數(shù)據(jù)。隨著圖卷積網(wǎng)絡(luò)模型(GCN)的發(fā)展[5]，它可以捕獲圖網(wǎng)絡(luò)結(jié)構(gòu)的交通流特征，為上述的問題提供了一個(gè)很好的解決方案。基于譜圖理論[6]提出了用于交通預(yù)測(cè)的時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)[7]、擴(kuò)散卷積遞歸神經(jīng)網(wǎng)絡(luò)[8]、圖卷積遞歸神經(jīng)網(wǎng)絡(luò)[9]。由于圖卷積網(wǎng)絡(luò)不能提取圖中局部空間特征，在這些基于圖卷積的模型中，交通數(shù)據(jù)局部特征的提取過程缺乏靈活性仍然是一個(gè)大問題[10]。小波變換能夠解決圖卷積中局部化的問題，文獻(xiàn)[11]提出了圖小波卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖數(shù)據(jù)進(jìn)行高效卷積來(lái)解決半監(jiān)督分類問題。受圖小波神經(jīng)網(wǎng)絡(luò)的啟發(fā)，考慮了交通網(wǎng)絡(luò)的局部圖結(jié)構(gòu)和交通數(shù)據(jù)的動(dòng)態(tài)時(shí)空模式，同時(shí)采用圖小波卷積和注意力門控循環(huán)單元捕獲交通數(shù)據(jù)的時(shí)空特性，以達(dá)到對(duì)圖結(jié)構(gòu)的交通數(shù)據(jù)進(jìn)行流量預(yù)測(cè)的目的。

1 預(yù)測(cè)模型

1.1 交通流時(shí)空特性分析

由于時(shí)變的交通模式和道路網(wǎng)絡(luò)的空間結(jié)構(gòu)具有一定的規(guī)律性，通過分析交通數(shù)據(jù)的特性能夠?yàn)榻⒔煌黝A(yù)測(cè)模型提供有效的依據(jù)。一方面，在城市路網(wǎng)拓?fù)浣Y(jié)構(gòu)的限制下，上下游路段之間的交通狀態(tài)會(huì)相互作用，相距較遠(yuǎn)路段之間的交通狀態(tài)也會(huì)相互產(chǎn)生間接的影響，這表明交通流在空間維度上呈現(xiàn)出局部和全局依賴關(guān)系。另一方面，由于城市道路上的交通狀況會(huì)隨著時(shí)間的推移逐漸向鄰近區(qū)域擴(kuò)散，相鄰的歷史時(shí)間序列對(duì)其影響較大；交通流量的變化在不同工作日可能呈現(xiàn)出相似的模式，圖1(a)展示了某一周交通流量的變化趨勢(shì)，可以看出工作日的交通流量變化趨勢(shì)大致相似，非工作日的交通流變化趨勢(shì)大致相似。圖1(b)為2019年8月1日到2019年8月12日連續(xù)兩周每周一的交通流量折線圖，可以看出，以周為單位的相同工作日的交通流的波動(dòng)情況大約一致，反映了人們?cè)诠ぷ魅盏某鲂幸?guī)律，故交通流在時(shí)間維度方面具有很強(qiáng)的動(dòng)態(tài)性和長(zhǎng)期性。

(a) 一周交通流的變化趨勢(shì)

(b) 連續(xù)兩周每周一的交通流量圖1 交通流情況

1.2 模型設(shè)計(jì)

該節(jié)描述了如何使用GW-AGRU模型來(lái)實(shí)現(xiàn)基于城市道路的交通流預(yù)測(cè)任務(wù)。GW-AGRU模型主要由兩部分組成：圖小波卷積神經(jīng)網(wǎng)絡(luò)和注意力門控循環(huán)單元。如圖2所示，根據(jù)路網(wǎng)的拓?fù)浣Y(jié)構(gòu)構(gòu)造一個(gè)無(wú)向圖G=(V,E,A)，其中：V是一組節(jié)點(diǎn)集，V={v1,v2,…,vN}；N為節(jié)點(diǎn)數(shù)；E表示節(jié)點(diǎn)間連通性的一組邊；A∈RN×N表示節(jié)點(diǎn)間的連接性的鄰接矩陣。將路網(wǎng)流量信息轉(zhuǎn)換為交通流特征向量X=[X1,X2，…,Xt,…,XT]∈RT×N，Xt∈RN表示在時(shí)間戳t處的交通流信息，T為歷史序列的長(zhǎng)度。由于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)無(wú)法處理非歐幾里得結(jié)構(gòu)的交通數(shù)據(jù)，不能準(zhǔn)確地捕捉交通數(shù)據(jù)的空間依賴關(guān)系。為了能夠處理任意圖形結(jié)構(gòu)的交通數(shù)據(jù)并捕獲城市道路的局部特征，利用圖小波卷積神經(jīng)網(wǎng)絡(luò)從每個(gè)圖節(jié)點(diǎn)中學(xué)習(xí)鄰近特征以提取交通流的局部空間特征。循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是處理時(shí)間序列數(shù)據(jù)應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型，但存在梯度呈指數(shù)增長(zhǎng)或衰減[12]，LSTM模型和GRU模型是循環(huán)神經(jīng)網(wǎng)絡(luò)的變體，已證明可以解決上述問題。GRU模型結(jié)構(gòu)相對(duì)簡(jiǎn)單、參數(shù)較少而且訓(xùn)練能力較快，但對(duì)于長(zhǎng)期的預(yù)測(cè)，距離預(yù)測(cè)時(shí)段較遠(yuǎn)的交通狀態(tài)對(duì)交通流的影響可能會(huì)被低估，而不能得到準(zhǔn)確的預(yù)測(cè)結(jié)果。為了捕捉交通流的長(zhǎng)期動(dòng)態(tài)時(shí)間特征，將得到的具有空間特征的序列和注意力機(jī)制融入到門控循環(huán)單元，并通過單元之間的信息傳遞來(lái)捕獲交通流特征的動(dòng)態(tài)變化。最后結(jié)合全連接層預(yù)測(cè)整個(gè)路網(wǎng)的交通流量。

圖2 模型整體設(shè)計(jì)

1.3 基于圖小波的空間特征提取

(1)

式中：z為卷積核，⊙為哈達(dá)瑪積。由于圖的卷積運(yùn)算是基于U定義的，圖卷積算子的接受域覆蓋了整個(gè)圖的結(jié)構(gòu)，圖的卷積在頂點(diǎn)域不是局部的。為了克服這個(gè)限制，文獻(xiàn)[13]提出了一個(gè)多項(xiàng)式濾波器，利用相鄰頂點(diǎn)的k跳信號(hào)對(duì)一個(gè)頂點(diǎn)進(jìn)行圖卷積，在傳統(tǒng)的CNN中作為局部接受域，過濾器定義為：

(2)

式中：K是確定節(jié)點(diǎn)鄰域范圍的超參數(shù)；θ∈RK是多項(xiàng)式系數(shù)的向量；Λk是K階拉普拉斯對(duì)角特征值矩陣。但使用多項(xiàng)式逼近限制了在圖上定義卷積的靈活性，即當(dāng)使用較小的K，很難用自由參數(shù)來(lái)逼近對(duì)角矩陣Λk。當(dāng)使用較大的K時(shí)，將不再保證局部性。因此，本文通過用圖小波變換代替圖的傅里葉變換以解決交通流的局部相關(guān)性問題。

(3)

式中：g(sλi)=eλis,λi是拉普拉斯矩陣L的第i個(gè)特征值。再運(yùn)用傅里葉反變換可以得到:

(4)

式中：m∈{0,1,…,N-1}是圖中第m個(gè)頂點(diǎn)的索引。根據(jù)式(3)，將小波變換應(yīng)用到脈沖函數(shù)δn上，計(jì)算出單頂點(diǎn)n上的譜圖小波變換如下：

(5)

式中：ψs,n∈RN。類比式(4)，任意頂點(diǎn)m對(duì)頂點(diǎn)n進(jìn)行小波變換得到：

(6)

(7)

(8)

1.4 基于注意力門控循環(huán)單元的時(shí)間特征提取

hT-i=GRU(yT-i-1,hT-i-1)

(9)

(10)

(11)

(12)

(13)

式中：Wh為注意力層的權(quán)重參數(shù)；[]表示兩個(gè)向量相連接。

圖3 注意力門控循環(huán)單元的示意圖

1.5 圖小波注意力門控循環(huán)神經(jīng)網(wǎng)絡(luò)

(14)

(15)

(16)

(17)

通過全連接層將預(yù)測(cè)值yT+1輸出，如式(18)所示。

(18)

圖4 GW-AGRU模型的體系結(jié)構(gòu)

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)描述

該模型以青島市126個(gè)交通卡口的過車信息作為數(shù)據(jù)集，包含了2019年8月1日至2019年8月23日的過車量。以5分鐘為時(shí)間間隔匯總卡口的交通流量，并使用線性插值的方法來(lái)填充數(shù)據(jù)中的缺失值。此外，將80%的數(shù)據(jù)作為訓(xùn)練集，其余的20%作為測(cè)試集，預(yù)測(cè)未來(lái)時(shí)間序列的交通流量。

2.2 評(píng)價(jià)標(biāo)準(zhǔn)

使用四個(gè)指標(biāo)評(píng)估GW-AGRU模型的預(yù)測(cè)性能，均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)、準(zhǔn)確率(Accuracy)、決定系數(shù)(R2)，它們的定義如下：

2.3 設(shè)置模型參數(shù)

手動(dòng)調(diào)整學(xué)習(xí)率為0.001，批量大小為32，將隱藏單元的數(shù)量設(shè)置為64，訓(xùn)練迭代次數(shù)為1 000，此外，使用Adam optimizer來(lái)優(yōu)化模型。

2.4 實(shí)驗(yàn)結(jié)果與分析

2.4.1預(yù)測(cè)值與實(shí)際值對(duì)比分析

為了更好地展示GW-AGRU模型預(yù)測(cè)的效果，選取路網(wǎng)中某一個(gè)探測(cè)點(diǎn)在8月19日的交通流量進(jìn)行分析，并將GW-AGRU模型的測(cè)試集的預(yù)測(cè)結(jié)果可視化。圖5顯示了5分鐘、15分鐘、30分鐘、60分鐘預(yù)測(cè)區(qū)間的可視化結(jié)果，可以看出，無(wú)論預(yù)測(cè)的范圍如何，GW-AGRU模型的預(yù)測(cè)結(jié)果與實(shí)際值基本相符，較為準(zhǔn)確地反映交通流變化趨勢(shì)，該特征有助于分析預(yù)測(cè)交通擁擠和其他交通現(xiàn)象。

(a) 5分鐘可視化結(jié)果

(b) 15分鐘可視化結(jié)果

(c) 30分鐘可視化結(jié)果

(d) 60分鐘可視化結(jié)果圖5 可視化結(jié)果

2.4.2與基線模型比較

將GW-AGRU模型的性能與5個(gè)基線方法進(jìn)行了比較。自回歸綜合移動(dòng)平均模型(ARIMA)[14]，一種將移動(dòng)平均和自回歸相結(jié)合的時(shí)間序列預(yù)測(cè)模型；支持向量回歸模型(SVR)[15]，利用歷史數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，得到輸入與輸出之間的關(guān)系，通過訓(xùn)練后的模型預(yù)測(cè)未來(lái)的交通數(shù)據(jù)；長(zhǎng)短時(shí)記憶(LSTM)和門控循環(huán)單元模型(GRU)[16]，由輸入門、輸出門和遺忘門組成，考慮了時(shí)間相關(guān)性，但不捕獲空間相關(guān)性；圖卷積網(wǎng)絡(luò)模型(GCN)[17]，能夠處理任意結(jié)構(gòu)圖上的信號(hào)。表1顯示了GW-AGRU模型和其他基線方法在數(shù)據(jù)集上平均的預(yù)測(cè)性能。GW-AGRU模型在幾乎所有評(píng)價(jià)指標(biāo)下都獲得了最佳的預(yù)測(cè)性能，證明了該模型對(duì)時(shí)空交通預(yù)測(cè)任務(wù)的有效性。

表1 與基線模型預(yù)測(cè)性能的比較

相比于基準(zhǔn)模型，GW-AGRU具有以下優(yōu)勢(shì)：

(1) 較高的預(yù)測(cè)精度?？梢园l(fā)現(xiàn)，基于神經(jīng)網(wǎng)絡(luò)的方法，包括GW-AGRU模型、GRU模型，LSTM模型，強(qiáng)調(diào)了時(shí)間特征建模的重要性，通常比其他的基線，如ARIMA模型和SVR模型具有更好的預(yù)測(cè)精度。例如，GW-AGRU模型的RMSE誤差與GRU模型和LSTM模型相比分別減少了約8.13%和9.34%，準(zhǔn)確率分別提高了約0.93%和1.18%。而GRU與LSTM模型都是RNN的變體，各種性能指標(biāo)都相差不多。GW-AGRU模型和GRU模型的RMSE誤差分別比ARIMA模型降低了約48.5%和43.9%，兩種模型的準(zhǔn)確率分別提高了25.8%和24.3%。與SVR模型相比，GW-AGRU模型和GRU模型的RMSE誤差分別降低了36.8%和31.2%，分別比SVR模型提高了約12.5%和11.4%。這主要是由于ARIMA和SVR等方法難以處理復(fù)雜的非平穩(wěn)時(shí)間序列數(shù)據(jù)。GCN模型的預(yù)測(cè)效果較低，因?yàn)镚CN只考慮了全局空間特征，而忽略了局部空間特征以及交通數(shù)據(jù)是典型的時(shí)間序列數(shù)據(jù)。

(2) 時(shí)空預(yù)測(cè)能力。為了驗(yàn)證GW-AGRU模型是否具有從交通數(shù)據(jù)中描繪時(shí)空特征的能力，將GW-AGRU模型與GCN模型和GRU模型進(jìn)行比較。如圖6所示，基于時(shí)空特征的方法(GW-AGRU)比基于單因素(GCN，GRU)的方法具有更好的預(yù)測(cè)精度，這說(shuō)明GW-AGRU模型可以從交通數(shù)據(jù)中捕獲時(shí)空特征。例如，在15分鐘預(yù)測(cè)中，與只考慮空間特征的GCN模型相比，RMSE減少了約38.1%，而在45分鐘交通預(yù)測(cè)中，GW-AGRU模型的RMSE減少了41.1%，表明GW-AGRU模型能夠捕獲空間依賴關(guān)系。與只考慮時(shí)間特征的GRU模型相比，在15分鐘和30分鐘的交通預(yù)測(cè)中，GW-AGRU模型的RMSE誤差分別降低了約20.7%和22.3%，說(shuō)明GW-AGRU模型能夠很好地捕捉時(shí)空依賴關(guān)系。

圖6 不同模型RMSE的對(duì)比

(3) 長(zhǎng)期預(yù)測(cè)的能力。無(wú)論預(yù)測(cè)步長(zhǎng)如何變化，與基本的模型相比，GW-AGRU模型都可以通過訓(xùn)練獲得最佳的預(yù)測(cè)性能。而且隨著預(yù)測(cè)范圍的增大，這種性能的優(yōu)勢(shì)越明顯。圖7分別顯示了所有模型在不同預(yù)測(cè)步長(zhǎng)時(shí)RMSE和Accuracy的變化?？梢钥闯?，GW-AGRU模型與不同層次的基型相比誤差增加的程度較小，而且精度下降的趨勢(shì)不大，具有一定的穩(wěn)定性。

圖7 不同模型RMSE和Accuracy的變化

2.4.3GW-AGRU與其變體模型的比較

為評(píng)估GW-AGRU模型中各個(gè)模塊的有效性，將GW-AGRU模型與其變體模型進(jìn)行比較，變體模型如下：

(1) G-GRU模型：該模型是在GW-AGRU模型基礎(chǔ)上，用圖卷積代替圖小波，并去掉注意力機(jī)制。

(2) GW-GRU模型：該模型是在GW-AGRU模型基礎(chǔ)上，去掉注意力機(jī)制。

(3) G-AGRU模型：該模型是在GW-AGRU模型基礎(chǔ)上，用圖卷積替換圖小波。

表2為變體模型的實(shí)驗(yàn)結(jié)果，可以看出，相比三個(gè)變體模型，GW-AGRU模型的誤差最小，且精度及相關(guān)性最高，表明圖小波卷積和注意力機(jī)制均對(duì)GW-AGRU模型產(chǎn)生影響，將其組合能夠得到更好的預(yù)測(cè)性能。由于圖小波卷積可以有效地提取交通數(shù)據(jù)的局部和全局空間性，GW-GRU模型在預(yù)測(cè)精度方面的性能優(yōu)于G-GRU模型，GW-AGRU模型優(yōu)于G-AGRU模型。將GW-AGRU模型和GW-GRU模型對(duì)比可以發(fā)現(xiàn)，納入注意力機(jī)制能夠捕獲較遠(yuǎn)序列的交通流特征，有助于提高交通流的預(yù)測(cè)效果。

表2 變體模型預(yù)測(cè)性能比較

3 結(jié) 語(yǔ)

本文提出一種新的圖小波注意力門控循環(huán)神經(jīng)網(wǎng)絡(luò)(GW-AGRU)的交通流預(yù)測(cè)方法。由于道路上的交通狀況受上上游/下游路段和附近路網(wǎng)的影響較大，使用圖形式表示道路網(wǎng)絡(luò)的空間信息，將圖小波卷積神經(jīng)網(wǎng)絡(luò)作為提取空間特征的重要組成部分，從每個(gè)圖節(jié)點(diǎn)中靈活地學(xué)習(xí)鄰近特征。這樣既考慮了路網(wǎng)的底層拓?fù)浣Y(jié)構(gòu)，還考慮了路網(wǎng)的交通狀態(tài)，能夠克服圖卷積不能很好地局部化的問題，且提高了計(jì)算的效率。通過注意力機(jī)制對(duì)門控循環(huán)單元進(jìn)行改進(jìn)，不僅捕捉了交通流的時(shí)間依賴性，而且彌補(bǔ)了門控循環(huán)神經(jīng)網(wǎng)絡(luò)的短期預(yù)測(cè)的缺陷。因此，該模型具有同時(shí)捕獲交通流的時(shí)空特性的能力。為了驗(yàn)證GW-AGRU模型的有效性，在真實(shí)城市路網(wǎng)的交通流數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，并選取了ARIMA、SVR、LSTM、GRU和GCN五種廣泛應(yīng)用于交通預(yù)測(cè)的方法，及GW-AGRU的三種變體模型，在同一數(shù)據(jù)集上進(jìn)行對(duì)比。實(shí)驗(yàn)數(shù)值表明，GW-AGRU模型在不同的預(yù)測(cè)水平下均能獲得更好的性能，這表明該模型在捕獲交通數(shù)據(jù)的時(shí)空特征及相關(guān)性方面具有優(yōu)勢(shì)，可以很好地應(yīng)用于大規(guī)模路網(wǎng)流量預(yù)測(cè)。