基于信息增強(qiáng)傳輸?shù)臅r(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)交通流預(yù)測

倪慶劍 彭文強(qiáng) 張志政 翟玉慶

1(東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 南京 211189) 2(東南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院 南京 211189)

隨著經(jīng)濟(jì)社會(huì)的高速發(fā)展，交通問題日益受到人們的關(guān)注，與日俱增的汽車帶來了日益擁堵的交通.為解決交通問題，越來越多的國家開始重視智能交通系統(tǒng)(intelligent transportation system, ITS)的建設(shè).交通流預(yù)測是智能交通系統(tǒng)中不可缺少的部分，交通流是指道路上的車流量，其可以很好地反映道路的狀況.如果能提前準(zhǔn)確預(yù)測交通流，就能有效地避免交通擁堵，方便人們的出行.然而，交通流預(yù)測是一個(gè)復(fù)雜的時(shí)空預(yù)測問題，空間上，每個(gè)節(jié)點(diǎn)交通流的變化都不是獨(dú)立的，其他節(jié)點(diǎn)交通流對(duì)其也存在著影響，且影響程度是隨時(shí)間、天氣等因素變化的，例如早高峰是上班方向的車輛較多，晚高峰是下班方向的車輛較多，惡劣天氣也會(huì)影響道路上的車流量，因此，交通流的變化存在動(dòng)態(tài)的空間關(guān)系.時(shí)間上，不同時(shí)間間隔的歷史交通流對(duì)未來交通流的影響是不同的，可能時(shí)間間隔久的影響更大，也可能時(shí)間間隔短影響更大.例如，如果某一時(shí)刻道路上發(fā)生了交通事故，那可能對(duì)當(dāng)前道路以及其他關(guān)聯(lián)道路這一時(shí)刻后很長一段時(shí)間內(nèi)的交通流的影響都是很大的，但如果沒有發(fā)生交通事故，那這一時(shí)刻的交通流對(duì)未來交通流對(duì)影響程度會(huì)沒那么大，持續(xù)時(shí)間也沒那么久.相同時(shí)間間隔在不同時(shí)間段內(nèi)對(duì)未來交通流的影響也會(huì)動(dòng)態(tài)變化的，例如高峰時(shí)刻，一旦某一時(shí)刻發(fā)生交通擁堵，那可能會(huì)導(dǎo)致?lián)矶鲁掷m(xù)很久，但如果不是高峰時(shí)刻，道路上發(fā)生擁堵，可能很快道路通暢，因此，交通流的變化存在動(dòng)態(tài)的時(shí)間關(guān)系.同時(shí)，交通流數(shù)據(jù)是存在線性、非線性以及周期性變化的特征的，如何捕獲動(dòng)態(tài)交通流的線性、非線性以及周期性特征同樣是個(gè)復(fù)雜問題.交通流的這些特性導(dǎo)致準(zhǔn)確地預(yù)測交通流具有挑戰(zhàn)性.

近些年來，研究者們?yōu)榻鉀Q交通流預(yù)測問題嘗試了許多的方法，這些方法可以大致分為傳統(tǒng)的方法和深度學(xué)習(xí)的方法.傳統(tǒng)的統(tǒng)計(jì)學(xué)方法的代表有歷史平均(historical average, HA)、差分自回歸移動(dòng)平均模型(auto-regressive integrated moving average model, ARIMA)、向量自回歸(vector auto-regressive, VAR)，文獻(xiàn)[1-2]采用改進(jìn)的ARIMA對(duì)交通流進(jìn)行預(yù)測.統(tǒng)計(jì)學(xué)方法是線性預(yù)測方法，這種方法不能捕獲數(shù)據(jù)間的復(fù)雜非線性關(guān)系，預(yù)測能力十分有限.傳統(tǒng)的機(jī)器學(xué)習(xí)方法例如支持向量機(jī)回歸(support vector regression, SVR)，相比于統(tǒng)計(jì)學(xué)方法預(yù)測效果有不錯(cuò)的提升，但其不僅需要良好的特征工程，且挖掘復(fù)雜時(shí)空關(guān)系能力有限，因此預(yù)測效果依然不太理想.隨著深度學(xué)習(xí)的快速發(fā)展，研究者們開始將循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)及其變體長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)/門控循環(huán)單元(gated recurrent unit, GRU)以及卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)引入到交通預(yù)測當(dāng)中.循環(huán)神經(jīng)網(wǎng)絡(luò)可以很好捕獲交通數(shù)據(jù)時(shí)間上的關(guān)聯(lián)性，卷積神經(jīng)網(wǎng)絡(luò)可以捕獲空間之間的關(guān)聯(lián)性，文獻(xiàn)[9]采用循環(huán)卷積網(wǎng)絡(luò)，旨在挖掘數(shù)據(jù)的空間特征.然而由于卷積是針對(duì)歐幾里得空間的，且只能應(yīng)用于標(biāo)準(zhǔn)網(wǎng)格數(shù)據(jù)，其不能很好地建模復(fù)雜的交通網(wǎng)絡(luò)的空間關(guān)系.為了更好地建模交通網(wǎng)絡(luò)的空間關(guān)系，圖卷積神經(jīng)網(wǎng)絡(luò)(graph convolutional neural networks, GCN)被研究者們引入，對(duì)于非歐幾里得空間的交通數(shù)據(jù)，圖神經(jīng)網(wǎng)絡(luò)能夠更好挖掘出其中的空間依賴關(guān)系.

根據(jù)對(duì)交通數(shù)據(jù)的時(shí)間關(guān)系挖掘的方法，基于圖神經(jīng)網(wǎng)絡(luò)的方法可以大致分為2種，一種是利用RNN去提取時(shí)間關(guān)系，另一種是利用卷積去提取時(shí)間關(guān)系.文獻(xiàn)[15]將GRU與GCN結(jié)合，提出T-GCN(temporal graph convolutional network)進(jìn)行交通預(yù)測，其利用GRU提取時(shí)間關(guān)系，利用GCN生成GRU的門.DCRNN(diffusion convolutional recurrent neural network)也是基于GRU的，但是它使用雙向的隨機(jī)游走的擴(kuò)散GCN去提取空間依賴.同樣，AGCRN(adaptive graph convolutional recurrent network)在T-GCN的基礎(chǔ)上，使用自適應(yīng)的圖結(jié)構(gòu)去捕獲空間關(guān)系.T-MGCN(temporal multi-graph convolutional network)則是使用4個(gè)不同的圖結(jié)構(gòu)處理數(shù)據(jù)的空間關(guān)系.這些方法都充分利用RNN在捕獲時(shí)間依賴上的優(yōu)勢，他們的區(qū)別是在GCN網(wǎng)絡(luò)結(jié)構(gòu)上.利用卷積提取時(shí)間關(guān)系的方法有STGCN(spatial-temporal graph convolution network),ASTGCN(attention based spatial-temporal graph convolutional networks),AM-GCN(adaptive multi-channel graph convolutional networks),Graph Wavenet,MTGNN(multivariate time series forecasting with graph neural networks),GMAN(graph multi-attention network),STSGCN(spatial-temporal synchronous graph convolutional network),LSGCN(long short-term traffic prediction with graph convolutional networks),STFGNN(spatial-temporal fusion graph neural networks)等.文獻(xiàn)[19]提出STGCN，第一次利用卷積捕獲時(shí)間關(guān)系，利用GCN捕獲空間關(guān)系.ASTGCN和GMAN從注意力機(jī)制的角度出發(fā)，采用了多種注意力機(jī)制.Graph Wavenet和MTGNN使用門控的膨脹卷積結(jié)構(gòu)去處理數(shù)據(jù)的時(shí)間關(guān)系.AM-GCN從多圖的角度出發(fā)，采用多個(gè)圖結(jié)構(gòu)，不同的圖結(jié)構(gòu)體現(xiàn)不同的數(shù)據(jù)關(guān)系，通過結(jié)合不同的圖的卷積結(jié)果去挖掘更多的信息.STSGCN可以同步地提取局部時(shí)空關(guān)系.文獻(xiàn)[26]提出基于圖卷積和線性門控(gated linear units, GLU)的LSGCN挖掘短期和長期的依賴關(guān)系.STFGNN將時(shí)間和空間模塊融合在一起，提出一種時(shí)間圖.文獻(xiàn)[28]采用矩陣分解的方法解決數(shù)據(jù)稀疏問題，利用圖卷積擴(kuò)展的循環(huán)神經(jīng)網(wǎng)絡(luò)捕獲時(shí)間關(guān)系.

為了更好地捕獲交通網(wǎng)絡(luò)的時(shí)空關(guān)系，取得更好的交通流預(yù)測的準(zhǔn)確度，本文提出一種信息增強(qiáng)傳輸?shù)臅r(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)(information enhanced transmission spatial-temporal graph neural network, STEGN)的交通流預(yù)測模型，該模型能夠動(dòng)態(tài)地捕獲交通流數(shù)據(jù)復(fù)雜的時(shí)空特征.本文的重要貢獻(xiàn)有4個(gè)方面：

1) 提出一種多特征注意力機(jī)制捕獲交通數(shù)據(jù)復(fù)雜的特征關(guān)系.具體來說，多特征注意力機(jī)制將交通速度、交通時(shí)間占有率、交通流周期特征等特征信息有效地結(jié)合起來，從而更好地學(xué)習(xí)交通流的變化規(guī)律.

2) 設(shè)計(jì)了一種信息增強(qiáng)傳輸機(jī)制捕獲交通數(shù)據(jù)復(fù)雜的動(dòng)態(tài)空間依賴.它包含一個(gè)自適應(yīng)的動(dòng)態(tài)圖學(xué)習(xí)結(jié)構(gòu)以及信息傳輸增強(qiáng)機(jī)制，自適應(yīng)圖學(xué)習(xí)結(jié)構(gòu)可以動(dòng)態(tài)地學(xué)習(xí)節(jié)點(diǎn)間的依賴關(guān)系，增強(qiáng)信息傳輸機(jī)制可以增大信息傳輸?shù)膮^(qū)域，以捕獲更豐富的空間信息，并通過注意力機(jī)制選擇有效信息，剔除無效信息.

3) 在解碼器部分，提出一種時(shí)間注意力機(jī)制，它能自適應(yīng)地挖掘編碼器輸出結(jié)果的所有時(shí)間序列與預(yù)測目標(biāo)之間的依賴關(guān)系，將編碼器和解碼器有機(jī)地結(jié)合起來，幫助更好地預(yù)測.

4) 設(shè)計(jì)了一種數(shù)據(jù)線性與非線性融合機(jī)制，該機(jī)制包含線性和非線性部分，2個(gè)部分分別捕獲數(shù)據(jù)的線性和非線性特征，然后進(jìn)行融合.實(shí)驗(yàn)結(jié)果表明該機(jī)制可以有效地提高模型的預(yù)測精度.

1 相關(guān)工作

1.1 問題建模

{,,…,}=

model

(,,…,)

.

(1)

1.2 圖卷積

傳統(tǒng)的卷積是利用卷積核在標(biāo)準(zhǔn)的網(wǎng)格數(shù)據(jù)上進(jìn)行滑動(dòng)，每次將網(wǎng)格數(shù)據(jù)與卷積核對(duì)應(yīng)元素相乘再相加，但現(xiàn)實(shí)生活中多數(shù)的數(shù)據(jù)集是一種圖的形式存儲(chǔ)的，例如交通數(shù)據(jù)集就是一個(gè)標(biāo)準(zhǔn)的圖的形式.傳統(tǒng)的卷積無法應(yīng)用在圖結(jié)構(gòu)上，因此需要圖卷積來執(zhí)行.圖卷積包含譜域圖卷積和空域圖卷積，譜域圖卷積是通過傅立葉變換將時(shí)域信號(hào)轉(zhuǎn)換到頻域，然后進(jìn)行過濾器操作，再將結(jié)果通過傅立葉反變換轉(zhuǎn)換到時(shí)域.空域圖卷積則直接在空域上對(duì)圖上節(jié)點(diǎn)和其鄰居進(jìn)行聚合操作.圖卷積(GCN)屬于譜域圖卷積的一種，其通式為

H

+1=

f

(

H

,),

(2)

(3)

1.3 注意力機(jī)制

注意力機(jī)制在各個(gè)領(lǐng)域都有著廣泛的應(yīng)用，如圖像標(biāo)注、機(jī)器翻譯等.注意力機(jī)制借鑒了人類的視覺注意力，例如人在看到一幅圖像后，會(huì)獲得關(guān)注的重要部分而抑制其他部分，這可以幫助人們從眾多信息中提取對(duì)當(dāng)前目標(biāo)有用的信息.注意力機(jī)制，其本質(zhì)是一種通過網(wǎng)絡(luò)自主學(xué)習(xí)出的一組權(quán)重系數(shù)，并以“動(dòng)態(tài)加權(quán)”的方式來強(qiáng)調(diào)本文所感興趣的區(qū)域同時(shí)抑制不相關(guān)背景區(qū)域的機(jī)制.近年來，注意力機(jī)制也被應(yīng)用到了時(shí)空數(shù)據(jù)預(yù)測問題上.文獻(xiàn)[30]提出一種序列到序列的注意力時(shí)空模型預(yù)測交通流，取得不錯(cuò)的效果.注意力機(jī)制本身是一種思想，并沒有規(guī)定死的公式，獲取注意力權(quán)重的方法多種多樣，具體的方法需要結(jié)合具體的應(yīng)用背景來使用.

2 STEGN模型

2.1 總體框架

本文提出的STEGN模型的總體框架如圖1所示.模型的輸入為圖結(jié)構(gòu)以及交通特征數(shù)據(jù)：交通流、交通速度、交通時(shí)間占有率以及交通流周期性，其數(shù)據(jù)格式為(節(jié)點(diǎn)，特征，時(shí)間)，輸出為預(yù)測的交通流.模型基于門控循環(huán)單元(gate recurrent unit, GRU)編碼器-解碼器架構(gòu)，在編碼器部分，本文利用多特征注意力機(jī)制對(duì)不同交通特征進(jìn)行建模，挖掘交通流與交通速度、交通時(shí)間占有率等其他交通特征之的關(guān)系以及自身變化的周期性規(guī)律，同時(shí)，本文設(shè)計(jì)了一種信息增強(qiáng)傳輸機(jī)制對(duì)交通網(wǎng)絡(luò)復(fù)雜且動(dòng)態(tài)的結(jié)構(gòu)進(jìn)行建模.在解碼器部分，本文引入了時(shí)間注意力機(jī)制對(duì)編碼器不同時(shí)刻的隱藏層狀態(tài)進(jìn)行動(dòng)態(tài)的學(xué)習(xí).最后，本文提出一種線性與非線性的融合機(jī)制，該機(jī)制很好地結(jié)合了數(shù)據(jù)的線性與非線性特征.

Fig. 1 Model architecture of the proposed STEGN圖1 本文提出模型STEGN的總體架構(gòu)

2.2 多特征注意力

交通數(shù)據(jù)特征包含交通流、交通速度、交通時(shí)間占有率等多種特征，不同交通數(shù)據(jù)特征都可以在不同的角度反應(yīng)當(dāng)前道路的交通情況.例如，交通流越大，則說明當(dāng)前道路通行車輛越多；交通速度若相對(duì)較大，則說明當(dāng)前道路的通行情況比較順暢；交通時(shí)間占有率越大，則當(dāng)前道路越擁堵.

圖2展示了交通流、交通速度、交通時(shí)間占有率的變化關(guān)系，數(shù)據(jù)都分別進(jìn)行了歸一化，從圖2中可以看出，3種交通特征的變化規(guī)律很相似，因此，可以看出不同交通特征之間存在著可待挖掘的隱藏關(guān)系，因此，本文引入了交通速度、交通時(shí)間占有率這2個(gè)交通數(shù)據(jù)特征幫助預(yù)測交通流.

Fig. 2 Relationship between traffic flow, traffic speed and traffic time occupy圖2 交通流與交通速度、交通時(shí)間占有率之間的關(guān)系

數(shù)據(jù)的周期性是數(shù)據(jù)的重要特征之一，若能良好地運(yùn)用交通流的周期性特點(diǎn)，這將更好地學(xué)習(xí)到交通流的變化規(guī)律，圖3展示了交通流第1周和第2周的數(shù)據(jù)變化情況，從圖3可以看出，交通流第1周和第2周的變化規(guī)律十分相似，表明交通流的變化的周期為1周，因此，本文引入了交通流的周期性特征.

Fig. 3 Periodicity of traffic flow圖3 交通流的周期性

(4)

(5)

通過將各個(gè)特征與對(duì)應(yīng)權(quán)值相乘，得到多特征注意力模塊的輸出

(6)

2.3 信息增強(qiáng)傳輸機(jī)制

當(dāng)前節(jié)點(diǎn)的交通流變化不僅與自身歷史狀況有關(guān)系，同樣也與相鄰或相似的節(jié)點(diǎn)有關(guān).圖4是某一交通道路的模擬圖.

Fig. 4 Traffic roads simulation diagram圖4 交通道路模擬圖

由于車輛的運(yùn)行存在著自主性，道路上的車流量是動(dòng)態(tài)變化的，從而節(jié)點(diǎn)間的相互影響也是隨著時(shí)間動(dòng)態(tài)變化的，如圖5所示，其中圓點(diǎn)和五角星都是代表道路上的傳感器，五角星代表目標(biāo)節(jié)點(diǎn)，節(jié)點(diǎn)間的連接顏色深淺代表影響大小不同，隨著時(shí)間的變化，節(jié)點(diǎn)間的影響關(guān)系也是動(dòng)態(tài)變化的，因此，挖掘節(jié)點(diǎn)間復(fù)雜且動(dòng)態(tài)的空間關(guān)系具有挑戰(zhàn)性.

Fig. 5 Dynamic spatial-temporal relationship of traffic network圖5 交通網(wǎng)絡(luò)動(dòng)態(tài)時(shí)空關(guān)系示意圖

(7)

Fig. 6 Information enhanced propagation mechanism圖6 信息增強(qiáng)傳輸機(jī)制

其他節(jié)點(diǎn)對(duì)當(dāng)前節(jié)點(diǎn)的影響通過圖卷積傳輸?shù)疆?dāng)前節(jié)點(diǎn)，但圖卷積只會(huì)將局部連通節(jié)點(diǎn)的信息傳輸?shù)疆?dāng)前節(jié)點(diǎn)，那些沒有連通的節(jié)點(diǎn)信息無法傳輸?shù)疆?dāng)前節(jié)點(diǎn)，對(duì)于復(fù)雜的交通網(wǎng)絡(luò)結(jié)構(gòu)來說，僅僅這樣無法很好的捕獲節(jié)點(diǎn)間的空間依賴關(guān)系

.

本文提出的信息增強(qiáng)傳輸機(jī)制可以將沒有連通的節(jié)點(diǎn)信息傳輸?shù)疆?dāng)前節(jié)點(diǎn)，擴(kuò)大了信息傳輸?shù)姆秶?，增?qiáng)了交通網(wǎng)絡(luò)信息的傳輸能力

.

如圖6所示，為了方便描述，本文將沒有直接與當(dāng)前節(jié)點(diǎn)連接，而是與當(dāng)前節(jié)點(diǎn)的連接節(jié)點(diǎn)有連接關(guān)系的節(jié)點(diǎn)稱為當(dāng)前節(jié)點(diǎn)的一跳連接

.

例1.

節(jié)點(diǎn)

a

與節(jié)點(diǎn)

b

相連，節(jié)點(diǎn)

b

與節(jié)點(diǎn)

c

相連，而節(jié)點(diǎn)

a

與節(jié)點(diǎn)

c

沒有連接關(guān)系，則稱節(jié)點(diǎn)

c

為節(jié)點(diǎn)

a

的一跳連接節(jié)點(diǎn)，

n

跳連接依此類推，圖6僅展示了一跳、兩跳、三跳的情況

.

若通過人工將節(jié)點(diǎn)分成多個(gè)不同跳數(shù)多集合，則針對(duì)每個(gè)節(jié)點(diǎn)都需要進(jìn)行一次劃分，這樣做的成本太高，也不便于實(shí)際的應(yīng)用，本文利用圖卷積的原理，通過簡單的方式實(shí)現(xiàn)了上述思想

.

節(jié)點(diǎn)信息通過圖卷積在圖網(wǎng)絡(luò)中進(jìn)行傳輸，一次圖卷積則信息在圖網(wǎng)絡(luò)中傳輸了一次

.

例2.

緊接例1，一次圖卷積后，節(jié)點(diǎn)

c

的信息傳輸?shù)搅斯?jié)點(diǎn)

b

，節(jié)點(diǎn)

b

的信息傳輸?shù)搅斯?jié)點(diǎn)

a

，若想要將節(jié)點(diǎn)

c

的信息傳輸?shù)焦?jié)點(diǎn)

a

，只需要再進(jìn)行一次卷積即可，因此，經(jīng)過2次圖卷積之后，一跳節(jié)點(diǎn)的進(jìn)行傳輸?shù)搅水?dāng)前節(jié)點(diǎn)，

n

跳節(jié)點(diǎn)信息傳輸依次類推

.

第一次信息傳輸?shù)墓綖?p>

(8)

若簡單進(jìn)行多次圖卷積來傳輸信息，則會(huì)造成信息的冗余以及累計(jì)錯(cuò)誤無用的信息，本文通過將后一次圖卷積減去前一次圖卷積的方式將各個(gè)跳數(shù)節(jié)點(diǎn)信息獨(dú)立出來，具體的公式為

(9)

不同跳數(shù)節(jié)點(diǎn)的信息有效性不同，若簡單地將他們的作用看作是一樣顯然是不合理的，因此，本文提出一種多跳注意力機(jī)制，學(xué)習(xí)不同跳數(shù)節(jié)點(diǎn)信息的有效性，使得圖網(wǎng)絡(luò)可以更好的傳播有用的信息，多跳注意力的計(jì)算公式為

ω

=·

σ

(-1++),

(10)

(11)

將每跳信息與對(duì)應(yīng)權(quán)值相乘，得到信息增強(qiáng)信息傳輸模塊的輸出

(12)

2.4 時(shí)間注意力

交通數(shù)據(jù)在時(shí)間維度上同樣表現(xiàn)著高度的動(dòng)態(tài)性，未來的交通流與歷史測量值存在著動(dòng)態(tài)依賴關(guān)系，未來時(shí)刻

t

+1的交通流可能與時(shí)間間隔較小的時(shí)刻

t

交通流情況更相關(guān)，也可能與時(shí)間間隔較大的時(shí)刻

t

-

γ

更相關(guān)，例如，時(shí)刻

t

-

γ

可能發(fā)生了交通事故，導(dǎo)致了交通擁堵，這樣的話時(shí)刻

t

+1的交通流受時(shí)刻

t

-

γ

的影響就較大，且不同道路相同時(shí)間間隔的歷史交通流對(duì)未來交通流的影響也是不同

.

為了解決這一問題，本文設(shè)計(jì)了一種時(shí)間注意力機(jī)制來自適應(yīng)的捕獲數(shù)據(jù)流不同時(shí)間間隔之間的動(dòng)態(tài)依賴關(guān)系，挖掘出交通流變化的時(shí)間模式，具體的來說，在解碼器部分自適應(yīng)的學(xué)習(xí)編碼器不同時(shí)刻的隱藏層狀態(tài)對(duì)于預(yù)測目標(biāo)的重要性，計(jì)算公式為

(13)

(14)

時(shí)間注意力模塊的輸出為

(15)

2.5 線性與非線性融合機(jī)制

交通流數(shù)據(jù)存在著線性和非線性2種特性，目前的方法一般都只考慮其中一種，要么只考慮線性特征，要么只考慮非線性特征，而交通流的線性和非線性特征對(duì)于預(yù)測都是很重要的，本文提出一種線性與非線性融合的機(jī)制，同時(shí)考慮交通數(shù)據(jù)的線性與非線性特點(diǎn)，并將兩者有效地融合起來.具體來說，分別利用線性層和卷積層對(duì)編碼器-解碼器架構(gòu)的輸出進(jìn)行處理，提取經(jīng)過多層模型處理后的數(shù)據(jù)的線性與非線性特征，同時(shí)，利用線性層提取原始交通流數(shù)據(jù)的線性特征，然后通過一個(gè)0～1之間的可學(xué)習(xí)變量將提取出來的線性與非線性特征融合，進(jìn)行預(yù)測.計(jì)算公式為

Linear

=+,

(16)

1=

Linear

(

out

),

(17)

=

Conv

2

d

(

out

),

(18)

2=

Linear

(),

(19)

=

λ

+(1-

λ

)(1+2),

(20)

本文提出的融合機(jī)制簡單有效，沒有過多的參數(shù)，沒有使用門控機(jī)制進(jìn)行融合是因?yàn)殚T控機(jī)制參數(shù)太多，實(shí)驗(yàn)結(jié)果也表明門控機(jī)制效果不如本文提出的融合機(jī)制好

.

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)所使用的數(shù)據(jù)集來源于美國加利福尼亞州2個(gè)真實(shí)的高速公路交通數(shù)據(jù)，數(shù)據(jù)由加州高速路網(wǎng)(Caltrans performance measurement system, PeMS)收集，數(shù)據(jù)每30 s采集一次，然后聚合成時(shí)間間隔為5 min的數(shù)據(jù)，包含的數(shù)據(jù)特征有交通流、交通速度、交通時(shí)間占有率，數(shù)據(jù)集詳情如表1所示:

Table 1 The Details for the Datasets表1 數(shù)據(jù)集詳情

PeMSD4為舊金山灣區(qū)(San Francisco Bay Area)的交通數(shù)據(jù)，包含29條道路上的307個(gè)傳感器，包含340條邊，時(shí)間跨度為2018-01-01—2018-02-28，共59天，數(shù)據(jù)的格式為(16 992,307,3)，代表數(shù)據(jù)長度為16 992，節(jié)點(diǎn)數(shù)為307，數(shù)據(jù)特征數(shù)量為3個(gè)，分別是交通流、交通速度、交通時(shí)間占有率.

PeMSD8為圣貝納迪諾地區(qū)(San Bernardino Area)的交通數(shù)據(jù)，包含8條道路上的170個(gè)傳感器，包含295條邊，時(shí)間跨度為2016-07-01—2016-08-31，共62天，數(shù)據(jù)的格式為(17 856,170,3)，代表數(shù)據(jù)長度為17 856，節(jié)點(diǎn)數(shù)為170，數(shù)據(jù)特征數(shù)量為3個(gè)，分別是交通流、交通速度、交通時(shí)間占有率.

本文按照6∶2∶2的比例將數(shù)據(jù)集切分成訓(xùn)練集、驗(yàn)證集和測試集.

3.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)環(huán)境為：2顆至強(qiáng)金牌6226R處理器，頻率為2.9 GHz；運(yùn)行內(nèi)存為256 GB；顯卡為3塊Titan RTX，每塊顯卡的顯存為24 GB；操作系統(tǒng)為Ubuntu 18.04.5.

本文利用歷史時(shí)間步

window

=12(1小時(shí))的交通流數(shù)據(jù)去預(yù)測未來時(shí)間步

p

=12(1小時(shí))的交通流.本文選擇L1 loss作為損失函數(shù)，優(yōu)化器為Adam，初始學(xué)習(xí)率為0.003，門控循環(huán)單元(GRU)的單元數(shù)為64，層數(shù)為2，批處理大小為64，自適應(yīng)圖結(jié)構(gòu)的嵌入維度為10，信息增強(qiáng)傳輸模塊的跳數(shù)為3.

3.3 評(píng)價(jià)指標(biāo)

本文采用均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)、平均絕對(duì)百分比誤差(MAPE)這3種評(píng)價(jià)指標(biāo)來評(píng)測模型的精度.3種評(píng)價(jià)指標(biāo)的計(jì)算公式如下:

(21)

(22)

(23)

3.4 基 線

本文將提出模型與以下12個(gè)基線進(jìn)行比較：

1) historical average(HA).該模型將交通狀況建模為一個(gè)季節(jié)性過程，并使用歷史平均值作為預(yù)測結(jié)果.

2) auto-regressive integrated moving average(ARIMA).該模型是在自回歸移動(dòng)平均模型的基礎(chǔ)上加上差分項(xiàng).

3) vector auto-regressive(VAR).該模型考慮時(shí)空關(guān)系，能夠捕獲各交通流序列之間的成對(duì)相關(guān)性.

4) long short-term memory network(LSTM).LSTM是一種特殊的RNN，它解決了RNN的長期依賴問題，LSTM的單元數(shù)設(shè)置和本文的模型一樣.

5) dual self-attention network(DSANeT).采用2個(gè)不同卷積核對(duì)輸入進(jìn)行處理，然后分別使用自注意力，最后結(jié)合得到結(jié)果.

6) diffusion convolutional recurrent neural network(DCRNN).提出擴(kuò)散卷積去捕獲時(shí)空特征，其擴(kuò)散過程基于圖上的隨機(jī)游走.

7) spatial-temporal graph convolution network(STGCN).使用時(shí)間卷積塊和空間卷積塊分別提取時(shí)間和空間特征.

8) Graph WaveNet.采用門控時(shí)間卷積結(jié)合多個(gè)圖卷積的結(jié)構(gòu).

9) attention based spatial-temporal graph con-volutional networks(ASTGCN).采用多種注意力機(jī)制，結(jié)合卷積網(wǎng)絡(luò)去提取動(dòng)態(tài)的時(shí)空特征.

10) spatial-temporal synchronous graph con-volutional network(STSGCN).提出一種時(shí)空同步機(jī)制，將不同時(shí)間的節(jié)點(diǎn)間的信息結(jié)合起來.

11) adaptive graph convolutional recurrent network(AGCRN).提出一種基于RNN的自適應(yīng)的圖卷積網(wǎng)絡(luò)，圖卷積作為RNN的門控.

12) long short-term traffic prediction with graph convolutional networks(LSGCN).提出余弦圖注意力機(jī)制，采用新的注意力機(jī)制去捕獲空間特征.

3.5 實(shí)驗(yàn)結(jié)果與分析

表2展示了本文提出模型與基線在PeMSD4和PeMSD8兩個(gè)真實(shí)數(shù)據(jù)集上的性能對(duì)比.

Table 2 Average Performance of Different Models in

從表2可以看出，本文提出的模型在2個(gè)數(shù)據(jù)集上的所有評(píng)價(jià)指標(biāo)都要優(yōu)于對(duì)比的基線.傳統(tǒng)的預(yù)測方法HA和ARIMA的預(yù)測結(jié)果不好，因?yàn)樗鼈儧]有考慮到交通數(shù)據(jù)的空間特征，且都是線性的模型，而VAR則考慮了空間特征，因此其預(yù)測結(jié)果要好于HA和ARIMA.相對(duì)于傳統(tǒng)的方法，深度學(xué)習(xí)的方法在交通流預(yù)測方面存在著優(yōu)勢，LSTM在PeMSD4數(shù)據(jù)集上的3個(gè)評(píng)價(jià)指標(biāo)都要好于3種傳統(tǒng)的方法，但其在PeMSD8數(shù)據(jù)集上的預(yù)測效果不如VAR，因此LSTM也僅僅考慮交通流時(shí)間上的特征，并沒有考慮到空間特征，因此其模型的適應(yīng)性上表現(xiàn)不佳.DSANet在循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入了雙向的注意力機(jī)制，這使它的預(yù)測性能得到了明顯的提升，這說明了注意力機(jī)制能夠提升模型的學(xué)習(xí)能力.以上的方法都只考慮時(shí)間特征，而交通網(wǎng)絡(luò)是存在很明顯的空間特征的，因此，基于圖結(jié)構(gòu)的時(shí)空模型能夠更好的預(yù)測交通流.DCRNN利用循環(huán)神經(jīng)網(wǎng)絡(luò)提取時(shí)間特征，與其不同的STGCN則使用一維卷積去提取時(shí)間特征，兩者都引入了圖結(jié)構(gòu)去提取空間特征，從預(yù)測結(jié)果來看，STGCN在PeMSD4數(shù)據(jù)集上表現(xiàn)較好，DCRNN在PeMSD8數(shù)據(jù)集上表現(xiàn)較好，這說明了圖結(jié)構(gòu)的優(yōu)勢，同時(shí)也表明這2個(gè)模型的適應(yīng)性仍然不佳，但兩者的預(yù)測性能都要好于只考慮交通數(shù)據(jù)時(shí)間關(guān)系的模型.Graph WaveNet是基于圖結(jié)構(gòu)的模型中預(yù)測效果最差的，這是因?yàn)樗哪Ｐ徒Y(jié)構(gòu)過于復(fù)雜，模型參數(shù)過多，導(dǎo)致模型很難訓(xùn)練，與Graph WaveNet模型相比，AGCRN的模型結(jié)構(gòu)就簡單的多，模型參數(shù)少很多，預(yù)測結(jié)果也好很多，這表明過于復(fù)雜的模型預(yù)測效果反而可能會(huì)更差.同樣基于注意力機(jī)制的ASTGCN的預(yù)測效果要比LSGCN差不少，這說明了不同的注意力機(jī)制的效果是不同的，注意力機(jī)制的設(shè)計(jì)好壞對(duì)模型的性能影響很大.STSGCN的預(yù)測效果不錯(cuò)，但其只考慮局部的信息的特點(diǎn)也是導(dǎo)致了其預(yù)測性能不高的原因.

與基線模型相比，本文提出的模型在2個(gè)數(shù)據(jù)集上的性能都要明顯好于基線，這也表明了本文提出的模型的對(duì)數(shù)據(jù)的適應(yīng)性強(qiáng).本文針對(duì)不同場景設(shè)計(jì)了多種適應(yīng)性的注意力機(jī)制，本文的模型的結(jié)構(gòu)也比較簡單，在實(shí)現(xiàn)方面沒有一味地堆積網(wǎng)絡(luò)層數(shù)，增加模型參數(shù)，而是采用多種策略去減少模型的參數(shù)，例如在編碼器部分對(duì)隱藏層狀態(tài)的處理方面使用了共享的參數(shù)，在將線性與非線性融合的時(shí)候沒有使用參數(shù)繁多的門控機(jī)制，這是本文模型效果要好于基線的原因之一.此外，本文提出的多特征注意力模塊和信息增強(qiáng)傳輸模塊，極大地利用了數(shù)據(jù)的信息，不僅考慮了局部的數(shù)據(jù)信息，同時(shí)考慮全局的以及其他交通特征信息，引入了交通流的周期性特點(diǎn)，這是本文模型性能好的原因之二.傳統(tǒng)方法側(cè)重?cái)?shù)據(jù)線性挖掘能力，深度學(xué)習(xí)方法側(cè)重非線性挖掘能力，而本文則將兩者都考慮了進(jìn)來，這是本文模型性能好的原因之三.

Fig. 7 Prediction results of different time steps of models on PeMSD4圖7 各個(gè)模型在PeMSD4上不同時(shí)間步的預(yù)測結(jié)果

Fig. 8 Prediction results of different time steps of models on PeMSD8圖8 各個(gè)模型在PeMSD8上不同時(shí)間步的預(yù)測結(jié)果

為了進(jìn)一步對(duì)比本文提出的模型與基線之間的預(yù)測性能，將表2中ASTGCN，STSGCN，AGCRN這3個(gè)模型預(yù)測的每一步的結(jié)果與本文提出的模型進(jìn)行比較，如圖7和圖8所示，橫坐標(biāo)代表時(shí)間步，縱坐標(biāo)代表指標(biāo)的值.圖7展示了各個(gè)模型在PeMSD4數(shù)據(jù)集上的3個(gè)評(píng)價(jià)指標(biāo)的結(jié)果，圖8展示了各個(gè)模型在PeMSD8數(shù)據(jù)集上的3個(gè)評(píng)價(jià)指標(biāo)的結(jié)果.可以看出，本文的模型每一步的預(yù)測結(jié)果在3個(gè)評(píng)價(jià)指標(biāo)上都明顯好于對(duì)比模型.ASTGCN與STSGCN的預(yù)測結(jié)果差不多，在不同的指標(biāo)上各有優(yōu)勢，AGCRN在一步預(yù)測上的表現(xiàn)要弱于另外2個(gè)，但隨著預(yù)測步數(shù)的增加，其結(jié)果都要好于另外2個(gè).

3.6 消融分析

為了評(píng)估本文提出模型的各個(gè)模塊的作用，本文對(duì)模型進(jìn)行了消融分析實(shí)驗(yàn).以本文模型(STEGN)為基礎(chǔ)，移除多特征注意力模塊的模型命名為STEGN-M，移除信息增強(qiáng)傳輸模塊的模型命名為STEGN-S，移除時(shí)間注意力機(jī)制模塊的模型命名為STEGN-T，移除線性和非線性模塊的模型命名為STEGN-L.

基于PeMSD4數(shù)據(jù)集，本文將各個(gè)變種模型進(jìn)行了實(shí)驗(yàn)，表3展示了各個(gè)模型的實(shí)驗(yàn)結(jié)果:

Table 3 Performance Comparison of Various Variant Models on PeMSD4

從表3可以看出，本文提出模型的4個(gè)組成部分都能提高模型的預(yù)測性能，其中信息增強(qiáng)傳輸模塊對(duì)模型的影響最大，提高的預(yù)測精度最高，這說明信息增強(qiáng)傳輸模塊的確能擴(kuò)大和增強(qiáng)交通網(wǎng)路的信息傳輸，提高模型捕獲空間依賴關(guān)系的能力.線性與非線性融合模塊是對(duì)模型影響第二大的模塊，這表明該模塊能夠彌補(bǔ)單一線性或非線性的不足之處，提高模型挖掘數(shù)據(jù)特征的能力.多特征注意力模塊和時(shí)間注意力模塊對(duì)模型的影響分別為第三和第四，這2個(gè)模塊同樣能很好提升模型的預(yù)測精度.綜上所述，本文提出模型的各個(gè)模塊都很有效果，能夠幫助模型更好地挖掘交通流的變化規(guī)律.

4 總結(jié)與展望

本文提出一種基于信息增強(qiáng)傳輸?shù)臅r(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型(STEGN)用于交通流預(yù)測.針對(duì)交通流數(shù)據(jù)的動(dòng)態(tài)性、時(shí)空性、周期性、線性與非線性等特點(diǎn)，采用多特征注意力機(jī)制去捕獲多種交通特征之間的內(nèi)在關(guān)系；提出信息增強(qiáng)傳輸機(jī)制，增強(qiáng)信息傳輸?shù)姆秶?，用于捕獲動(dòng)態(tài)的空間關(guān)系；同時(shí)，充分考慮了交通流線性與非線性的特點(diǎn)，提出線性與非線性融合機(jī)制用于挖掘數(shù)據(jù)的線性與非線性特征.本文在真實(shí)交通數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文提出的模型在2個(gè)數(shù)據(jù)集上的表現(xiàn)都要好于現(xiàn)有的先進(jìn)的模型，這表明本文提出的模型可以很好地捕獲復(fù)雜動(dòng)態(tài)的交通網(wǎng)絡(luò)的變化規(guī)律，從而更好預(yù)測交通流.同時(shí)，消融實(shí)驗(yàn)的結(jié)果表明本文提出的模型的每個(gè)模塊都能有效的提高模型的預(yù)測精度.

在未來的工作中，將開展進(jìn)一步的研究，提高模型多步、長時(shí)間的預(yù)測精度，并引入天氣等外部因素以實(shí)現(xiàn)更精準(zhǔn)的預(yù)測，同時(shí)，還將擴(kuò)展模型的應(yīng)用范圍，將本文提出的模型應(yīng)用于交通速度、交通時(shí)間占有率等其他交通數(shù)據(jù).

作者貢獻(xiàn)聲明

：倪慶劍負(fù)責(zé)實(shí)驗(yàn)思路構(gòu)思、實(shí)驗(yàn)方法設(shè)計(jì)、實(shí)驗(yàn)指導(dǎo)、數(shù)據(jù)整理與分析、論文的寫作與修改；彭文強(qiáng)進(jìn)行實(shí)驗(yàn)設(shè)計(jì)與探究、代碼實(shí)現(xiàn)、實(shí)驗(yàn)、論文寫作和修改；張志政進(jìn)行實(shí)驗(yàn)指導(dǎo)、初稿的審閱和修改；翟玉慶進(jìn)行實(shí)驗(yàn)指導(dǎo)、初稿的審閱和修改.