桂智明,李壯壯,郭黎敏
北京工業(yè)大學(xué) 信息學(xué)部,北京 100124
根據(jù)公安部交通管理局發(fā)布的數(shù)據(jù),截止到2019年6月,全國(guó)機(jī)動(dòng)車保有量達(dá)3.4億輛,機(jī)動(dòng)車駕駛?cè)诉_(dá)4.2 億人。隨著全國(guó)機(jī)動(dòng)車保有量的不斷增加,城市交通擁堵問(wèn)題越來(lái)越嚴(yán)重。交通擁堵不僅耽誤人們出行,減少社會(huì)活動(dòng)效率,造成經(jīng)濟(jì)損失,還會(huì)浪費(fèi)大量資源,造成城市空氣污染。為了解決交通擁堵問(wèn)題,智能交通系統(tǒng)(Intelligent Transport System,ITS)應(yīng)運(yùn)而生。交通流預(yù)測(cè)是ITS 的核心功能之一。由于交通流具有時(shí)變性,所以一般采用短時(shí)預(yù)測(cè)來(lái)對(duì)交通系統(tǒng)進(jìn)行誘導(dǎo)。短時(shí)交通流預(yù)測(cè)是指利用地磁、傳感線圈等設(shè)備實(shí)時(shí)獲取的交通流數(shù)據(jù)去預(yù)測(cè)未來(lái)半小時(shí)內(nèi)的交通流量。通過(guò)預(yù)測(cè)短時(shí)交通流不僅可以為公眾出行提供服務(wù),改善導(dǎo)航系統(tǒng),還可以為交通管理部門(mén)提供有效技術(shù)支持,提高道路資源的利用率。
道路交通系統(tǒng)是一個(gè)典型的復(fù)雜系統(tǒng),周末節(jié)假日、交通出行早晚高峰、天氣狀況等因素以非線性方式相互作用,導(dǎo)致傳統(tǒng)的淺層預(yù)測(cè)模型在實(shí)際應(yīng)用中往往失效。近年來(lái),深度學(xué)習(xí)在圖像識(shí)別、自然語(yǔ)言處理等研究領(lǐng)域取得了一系列突破。交通流數(shù)據(jù)與深度學(xué)習(xí)常用領(lǐng)域中的研究數(shù)據(jù)類似,具有豐富的時(shí)空特征,結(jié)合深度學(xué)習(xí)進(jìn)行短時(shí)交通流預(yù)測(cè)具有很大的研究?jī)r(jià)值。
本文將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)、門(mén)控循環(huán)單元(Gated Recurrent Unit,GRU)以及注意力機(jī)制技術(shù)應(yīng)用到交通流預(yù)測(cè)領(lǐng)域,提出基于深度神經(jīng)網(wǎng)絡(luò)的短時(shí)交通流預(yù)測(cè)模型,準(zhǔn)確預(yù)估未來(lái)時(shí)刻的交通流量。本文的主要貢獻(xiàn)總結(jié)為:
(1)提出了一種結(jié)合注意力機(jī)制的卷積門(mén)控循環(huán)單元預(yù)測(cè)模型,利用CNN和GRU提取交通流數(shù)據(jù)的時(shí)空特征,通過(guò)引入注意力機(jī)制,計(jì)算不同時(shí)刻交通流特征的重要性,同時(shí)利用交通流數(shù)據(jù)的周相似性提取周期特征。
(2)在公開(kāi)交通數(shù)據(jù)集上,對(duì)所提出的短時(shí)交通流預(yù)測(cè)模型進(jìn)行實(shí)驗(yàn)驗(yàn)證,并與傳統(tǒng)預(yù)測(cè)模型進(jìn)行對(duì)比分析。實(shí)驗(yàn)表明,本文提出的模型提升了交通流的預(yù)測(cè)精度,可以更好地解決短時(shí)交通流預(yù)測(cè)問(wèn)題。
國(guó)內(nèi)外很多學(xué)者都對(duì)短時(shí)交通流預(yù)測(cè)進(jìn)行了研究,使用的統(tǒng)計(jì)理論模型主要包括歷史平均模型、卡爾曼濾波模型和差分自回歸移動(dòng)平均模型(ARIMA)。Zhang等人[1]提出了具有周期性的季節(jié)性ARIMA 模型的一般表達(dá)式,給出了利用季節(jié)性ARIMA 模型建模和預(yù)測(cè)交通流的步驟,研究實(shí)驗(yàn)表明,季節(jié)ARIMA模型可以對(duì)實(shí)際高速公路交通流進(jìn)行建模和預(yù)測(cè),獲取較好的預(yù)測(cè)效果。Kumar 等人[2]提出了一種基于季節(jié)的ARIMA(SARIMA)預(yù)測(cè)模型,該模型相比傳統(tǒng)的ARIMA 考慮了不同季節(jié)對(duì)交通流量的影響。
由于交通流具有非線性和隨機(jī)性特點(diǎn),為了更好地捕獲交通流數(shù)據(jù)之間的特征,一些機(jī)器學(xué)習(xí)方法被廣泛應(yīng)用于短時(shí)交通流預(yù)測(cè)。Hong[3]使用混沌模擬退火算法優(yōu)化SVR 的參數(shù),提升了支持向量機(jī)回歸模型的學(xué)習(xí)能力,并以臺(tái)灣北部的交通流量數(shù)據(jù)為例,驗(yàn)證了所提出模型的預(yù)測(cè)準(zhǔn)確率。Hu 等人[4]將粒子群優(yōu)化(PSO)算法和SVR 算法相結(jié)合,采用PSO 來(lái)優(yōu)化SVR的參數(shù),從而提升了交通流的預(yù)測(cè)效果。為了提高短時(shí)交通流預(yù)測(cè)的準(zhǔn)確率,Liu等人[5]基于非參數(shù)回歸和SVR提出了一種KNN-SVR 模型,采用k近鄰算法重建與當(dāng)前交通流相似的歷史交通流序列,然后利用SVR 進(jìn)行交通流預(yù)測(cè)。
隨著深度學(xué)習(xí)在語(yǔ)音、圖像和自然語(yǔ)言處理等研究領(lǐng)域的廣泛應(yīng)用,人們提出了許多深度學(xué)習(xí)方法來(lái)預(yù)測(cè)短時(shí)交通流[6-7]。Tian等人[8]發(fā)現(xiàn)大多數(shù)時(shí)間序列預(yù)測(cè)模型的輸入長(zhǎng)度是靜態(tài)的,不能準(zhǔn)確地確定最佳的時(shí)間滯后,因此使用長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)預(yù)測(cè)交通流量序列,克服了最佳時(shí)間滯后的確定問(wèn)題,并將LSTM 與支持向量機(jī)、單層前饋神經(jīng)網(wǎng)絡(luò)和層疊自動(dòng)編碼器等幾個(gè)著名模型進(jìn)行了比較。Fu 等人[9]分別使用LSTM、GRU和ARIMA三個(gè)模型進(jìn)行短時(shí)交通流預(yù)測(cè),并通過(guò)PeMS公開(kāi)交通數(shù)據(jù)集論證了GRU 網(wǎng)絡(luò)具有最好的預(yù)測(cè)效果。王祥雪等人[10]首先對(duì)交通流時(shí)間序列進(jìn)行重構(gòu)和標(biāo)準(zhǔn)化處理,然后使用LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)短時(shí)交通流量,對(duì)比BP網(wǎng)絡(luò)模型,預(yù)測(cè)精度得到了大幅改進(jìn)。
由于LSTM 和GRU 只關(guān)注交通流數(shù)據(jù)的時(shí)間特征,忽略了空間特征,而CNN 網(wǎng)絡(luò)更關(guān)注空間特征,因此出現(xiàn)了很多CNN-RNN預(yù)測(cè)模型。晏臻等人[11]提出將CNN和LSTM相結(jié)合的短時(shí)交通流預(yù)測(cè)模型,并驗(yàn)證了考慮時(shí)空特征進(jìn)行交通流預(yù)測(cè)的有效性。Liu等人[12]將CNN 中的一維卷積和LSTM 相結(jié)合,構(gòu)成Conv-LSTM模塊提取交通流的時(shí)空特征,并使用Bi-LSTM 模塊提取交通流的周期特征,最后將特征融合,獲取交通流量的預(yù)測(cè)值。閆楊等人[13]用GRU代替LSTM,結(jié)合 Conv-GRU 和 Bi-GRU 預(yù)測(cè)交通流量,與 Conv-LSTM 方法相比,訓(xùn)練時(shí)間更短且不失預(yù)測(cè)性能。
為了更好地挖掘交通流時(shí)空特征,一些學(xué)者將注意力機(jī)制應(yīng)用到短時(shí)交通流預(yù)測(cè)。李志帥等人[14]結(jié)合圖卷積網(wǎng)絡(luò)獲取路網(wǎng)流量的空間特征,并使用注意力機(jī)制調(diào)整網(wǎng)絡(luò)輸出,進(jìn)而提升交通流預(yù)測(cè)精度。Guo等人[15]提出一種結(jié)合注意力機(jī)制的時(shí)空?qǐng)D卷積網(wǎng)絡(luò)來(lái)解決交通流預(yù)測(cè)問(wèn)題,通過(guò)注意力機(jī)制有效捕獲交通數(shù)據(jù)中的動(dòng)態(tài)時(shí)空關(guān)聯(lián)。
基于上述研究,本文將CNN 和GRU 相結(jié)合,構(gòu)成卷積門(mén)控循環(huán)單元有效提取交通流數(shù)據(jù)的時(shí)空特征,并利用交通流數(shù)據(jù)的周相似性提取周期特征??紤]到不同時(shí)刻的交通流特征對(duì)預(yù)測(cè)時(shí)刻流量的影響具有差異性,在GRU層后面引入注意力機(jī)制層,自動(dòng)捕獲不同時(shí)刻輸入特征的影響,形成含有注意力概率分布的交通流特征表示,以提升交通流的預(yù)測(cè)效果。
交通流數(shù)據(jù)具有很強(qiáng)的規(guī)律性,通過(guò)分析交通流數(shù)據(jù)的特點(diǎn),可以為短時(shí)交通流預(yù)測(cè)模型的建立提供參考依據(jù)。與常規(guī)時(shí)間序列預(yù)測(cè)數(shù)據(jù)不同,交通流數(shù)據(jù)具有以下幾個(gè)特點(diǎn):
(1)交通流數(shù)據(jù)具有豐富的時(shí)空特征。在時(shí)間上,一個(gè)觀測(cè)點(diǎn)可以在各個(gè)時(shí)刻持續(xù)收集交通流數(shù)據(jù),形成一個(gè)隨時(shí)間變化的交通流量序列。由于道路上車輛的聚集和發(fā)散是一個(gè)漸進(jìn)過(guò)程,所以之前時(shí)刻的交通流量會(huì)影響下一時(shí)刻的交通流量。在空間上,相鄰觀測(cè)點(diǎn)之間的交通流量是密切相關(guān)的。單個(gè)道路上下游觀測(cè)點(diǎn)的交通流量存在時(shí)延關(guān)系,分叉道路不同觀測(cè)點(diǎn)的交通流量存在和差關(guān)系。
(2)交通流數(shù)據(jù)具有周期特征。人們每天的工作時(shí)間通常是固定的,因此出行產(chǎn)生的交通流量存在以日、周、月為單位的相似規(guī)律。在各個(gè)周期單位中,以周為時(shí)間尺度的交通流量具有最強(qiáng)的相似規(guī)律,如星期二的交通流量曲線與上周星期二的交通流量曲線趨勢(shì)相似,相似度較高,與本周星期一和上周末的交通流量曲線相似度較低。
(3)交通流數(shù)據(jù)構(gòu)成的時(shí)間序列具有復(fù)雜的相關(guān)性。通常來(lái)說(shuō),交通流量在相鄰時(shí)間點(diǎn)之間會(huì)表現(xiàn)出更強(qiáng)的相關(guān)性。然而,交通流量會(huì)受到天氣、交通擁堵等外部因素的影響,對(duì)于交通流預(yù)測(cè),較遠(yuǎn)過(guò)去時(shí)間點(diǎn)的重要性不一定低于較近過(guò)去時(shí)間點(diǎn)。不能只依靠時(shí)間上的臨近程度去區(qū)分不同時(shí)刻的重要程度。
短時(shí)交通流預(yù)測(cè)的難點(diǎn)在于如何有效利用數(shù)據(jù)的時(shí)空特征、周期特征和時(shí)間上的復(fù)雜相關(guān)性。交通流數(shù)據(jù)復(fù)雜多變,不同觀測(cè)點(diǎn)和不同時(shí)間點(diǎn)上的交通流量相互影響,使得準(zhǔn)確預(yù)測(cè)交通流變得十分困難。
針對(duì)交通流數(shù)據(jù)的特點(diǎn),本文提出了一種結(jié)合注意力機(jī)制的卷積門(mén)控循環(huán)單元預(yù)測(cè)模型(Attention-based CNN-GRU,ACGRU)。如圖1 所示,ACGRU 模型主要由四部分構(gòu)成,第一部分使用CNN 層提取交通流的空間特征;第二部分是時(shí)間特征提取,使用一個(gè)引入注意力機(jī)制的GRU 網(wǎng)絡(luò)完成,注意力機(jī)制可以計(jì)算交通流特征在各個(gè)時(shí)間步的重要性,綜合考慮各個(gè)時(shí)間步上的信息;第三部分是另一個(gè)通道上的周期特征提取,同樣使用一個(gè)引入注意力機(jī)制的GRU 網(wǎng)絡(luò);第四部分是一個(gè)全連接層,綜合時(shí)空特征和周期特征進(jìn)行回歸預(yù)測(cè)。下面的章節(jié)將對(duì)模型各部分進(jìn)行詳細(xì)介紹。
道路上某個(gè)觀測(cè)點(diǎn)的交通流量不僅與自身歷史交通流量有關(guān),還與相鄰觀測(cè)點(diǎn)上的交通流量有關(guān)。卷積神經(jīng)網(wǎng)絡(luò)是一種經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu),具有強(qiáng)大的特征提取能力。本文選用卷積神經(jīng)網(wǎng)絡(luò)來(lái)挖掘交通流數(shù)據(jù)的空間特征。卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層和全連接層三部分組成,具有局部連接和權(quán)值共享等特性。這些特性可以大大減少網(wǎng)絡(luò)的參數(shù)數(shù)量,加速訓(xùn)練速度,降低特征提取的復(fù)雜度。
為了充分提取交通流數(shù)據(jù)的時(shí)空特征,首先需要將原始一維交通流數(shù)據(jù)轉(zhuǎn)換為二維的交通流量矩陣,矩陣的兩個(gè)維度分別為時(shí)間維度和空間維度。假設(shè)需要對(duì)S個(gè)觀測(cè)點(diǎn)的交通流量進(jìn)行預(yù)測(cè),每個(gè)觀測(cè)點(diǎn)收集了連續(xù)T個(gè)時(shí)刻的交通流數(shù)據(jù),用xts表示第s個(gè)觀測(cè)點(diǎn)在t時(shí)刻收集到的交通流量,那么所有觀測(cè)點(diǎn)在t時(shí)刻的交通流量可以表示為F=(xt1,xt2,…,xts),將S個(gè)觀測(cè)點(diǎn)T個(gè)時(shí)刻的交通流數(shù)據(jù)進(jìn)行組合得到的交通流量輸入矩陣可以表示為:
卷積層主要是使用不同的卷積核來(lái)對(duì)上一層的輸入特征進(jìn)行卷積運(yùn)算來(lái)提取不同的局部特征,卷積核的所有參數(shù)通過(guò)反向傳播算法計(jì)算。本文使用一維卷積來(lái)處理交通流量輸入矩陣中的每一行元素,通過(guò)滑動(dòng)一維卷積的卷積核獲取相鄰觀測(cè)點(diǎn)的空間特征。本文使用以下公式表示卷積操作:
公式中,Wc、bc為需要學(xué)習(xí)的參數(shù),f表示激活函數(shù)。因?yàn)槎虝r(shí)交通流預(yù)測(cè)任務(wù)中交通數(shù)據(jù)的空間維度往往是有限的,為了充分保留特征,不使用池化層來(lái)對(duì)特征矩陣進(jìn)行壓縮,只使用卷積層提取特征。
RNN 是一種用于處理時(shí)間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。與基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)不同,RNN 隱藏層中的節(jié)點(diǎn)不再是無(wú)連接的而是有連接的,隱藏層的輸入不僅含有輸入層的輸出,還含有上一時(shí)刻隱藏層的輸出。傳統(tǒng)的RNN網(wǎng)絡(luò)處理長(zhǎng)期依賴問(wèn)題時(shí)存在梯度消失問(wèn)題,LSTM神經(jīng)網(wǎng)絡(luò)的提出解決了該問(wèn)題,被廣泛運(yùn)用在時(shí)間序列數(shù)據(jù)預(yù)測(cè)領(lǐng)域中。然而LSTM的內(nèi)部結(jié)構(gòu)十分復(fù)雜,導(dǎo)致網(wǎng)絡(luò)訓(xùn)練需要耗費(fèi)大量時(shí)間,因此在LSTM的基礎(chǔ)上又出現(xiàn)了GRU 網(wǎng)絡(luò)。與LSTM 相比,GRU 的網(wǎng)絡(luò)參數(shù)更少,容易進(jìn)行訓(xùn)練,同時(shí)還保持了LSTM 的預(yù)測(cè)效果。GRU單元通過(guò)以下公式計(jì)算得到隱藏層狀態(tài)ht:
圖1 ACGRU模型結(jié)構(gòu)圖
圖2 觀測(cè)點(diǎn)分布圖
公式中,zt和rt分別表示更新門(mén)和重置門(mén),表示ht的候選狀態(tài),σ表示sigmoid 激活函數(shù),W*,U*,b*為需要學(xué)習(xí)的參數(shù)。更新門(mén)為L(zhǎng)STM 遺忘門(mén)和輸入門(mén)的組合,用于控制前一時(shí)刻有多少狀態(tài)信息被帶入到當(dāng)前狀態(tài),重置門(mén)控制前一時(shí)刻狀態(tài)信息的忽略程度。本文將CNN 層提取的流量模式作為GRU 層的輸入,使交通流量模式保持時(shí)間上的連續(xù)性。
注意力機(jī)制通過(guò)模擬人腦注意力的特點(diǎn),對(duì)重要的信息給予更多的關(guān)注。由于各個(gè)時(shí)刻的交通流特征對(duì)預(yù)測(cè)時(shí)刻流量的影響程度不同,所以需要在傳統(tǒng)的GRU 層后面,引入注意力機(jī)制層。通過(guò)注意力機(jī)制計(jì)算各個(gè)時(shí)刻輸入特征的重要性,生成含有注意力概率分布的交通流特征表示。針對(duì)GRU單元輸出的隱藏層狀態(tài)ht,本文采用以下注意力機(jī)制公式:
公式中,ve,We,be為需要學(xué)習(xí)的參數(shù),et為第t個(gè)時(shí)刻GRU單元輸出向量ht對(duì)應(yīng)的注意力評(píng)分值。本文使用softmax函數(shù)對(duì)et進(jìn)行歸一化得到αt,然后將各個(gè)時(shí)刻對(duì)應(yīng)的權(quán)重系數(shù)αt和輸出ht相乘求和得到輸出c。向量c對(duì)GRU 單元的輸出進(jìn)行了加權(quán),表示含有注意力概率分布的交通流特征。
受人們每天的作息規(guī)律影響,交通流數(shù)據(jù)具有周期特征。對(duì)于預(yù)測(cè)時(shí)刻的交通流,前一周相同時(shí)刻和前后相鄰時(shí)刻的交通流都包含有用信息。本文利用交通流數(shù)據(jù)的周相似性建立以周為單位的周期特征,構(gòu)造周期流量輸入矩陣如下:
其中,t表示預(yù)測(cè)時(shí)刻在前一周相對(duì)應(yīng)的同一時(shí)刻,n表示周期時(shí)間步長(zhǎng),本文取前一周相同預(yù)測(cè)時(shí)刻和該時(shí)刻前后各n個(gè)時(shí)刻的數(shù)據(jù)作為輸入,S表示需要預(yù)測(cè)的觀測(cè)點(diǎn)的數(shù)量。對(duì)于周期特征,不同觀測(cè)點(diǎn)的空間影響較小,僅需提取時(shí)序特征,因此使用一個(gè)引入注意力機(jī)制的GRU網(wǎng)絡(luò)進(jìn)行特征提取。通過(guò)去掉周期通道上的空間卷積可以減小ACGRU模型的網(wǎng)絡(luò)規(guī)模,加快模型的訓(xùn)練速度。將提取的周期特征和時(shí)空特征合并,一起輸入到全連接層中處理,最終輸出所有觀測(cè)點(diǎn)下一時(shí)刻的交通流量。
為了評(píng)估本文模型的有效性,選取美國(guó)加利福尼亞州的交通局性能測(cè)量系統(tǒng)(Caltrans Performance Measurement System,PeMS)數(shù)據(jù)集進(jìn)行分析,該數(shù)據(jù)集是短時(shí)交通流預(yù)測(cè)最常用的數(shù)據(jù)集。PeMS系統(tǒng)通過(guò)布設(shè)在道路上的各種傳感器,包括感應(yīng)線圈探測(cè)器、高頻雷達(dá)等,持續(xù)地檢測(cè)交通流數(shù)據(jù),并以30 s 一次的頻率向工作站發(fā)送檢測(cè)數(shù)據(jù)。這些交通流數(shù)據(jù)(包括交通流量、占有率和速度)被聚合成間隔為5 min的聚合數(shù)據(jù)發(fā)布到網(wǎng)絡(luò)上,供人們出行參考和學(xué)術(shù)研究。本文選取I10高速公路上連續(xù)16個(gè)觀測(cè)點(diǎn)作為預(yù)測(cè)的目標(biāo)站點(diǎn),觀測(cè)點(diǎn)的分布如圖2 所示。以2018 年5 月26 日到2018年7月31日共67天的交通流量作為實(shí)驗(yàn)數(shù)據(jù),并選取前60天的數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),后7天的數(shù)據(jù)作為測(cè)試數(shù)據(jù)。
圖3 為 2018 年 6 月 18 日 到 2018 年 7 月 9 日連續(xù)四周每個(gè)周一的交通流數(shù)據(jù)折線圖。從圖中可以看出交通流數(shù)據(jù)具有強(qiáng)烈的周相似性,早高峰和晚高峰的時(shí)間基本一致,反映了人們?cè)诠ぷ魅盏某鲂幸?guī)律。
圖3 連續(xù)四個(gè)周一的交通流
本文選用回歸問(wèn)題最常用的三個(gè)評(píng)價(jià)指標(biāo)來(lái)對(duì)短時(shí)交通流預(yù)測(cè)模型進(jìn)行評(píng)價(jià),三個(gè)指標(biāo)分別是平均絕對(duì)誤差(MAE)、均方根誤差(RMSE)和平均絕對(duì)百分比誤差(MAPE)。三個(gè)指標(biāo)的定義如下所示:
公式中,Pi表示觀測(cè)點(diǎn)的交通流預(yù)測(cè)值,F(xiàn)i表示相應(yīng)的交通流真實(shí)值,N是預(yù)測(cè)值的個(gè)數(shù)。MAE、RMSE和MAPE的值越小,表明模型的預(yù)測(cè)效果越好。
本實(shí)驗(yàn)將時(shí)間窗口設(shè)置為12,即使用之前60 min的數(shù)據(jù)去預(yù)測(cè)未來(lái)5 min 的交通流量,周期窗口設(shè)置為13,將前一周相同預(yù)測(cè)時(shí)刻和該時(shí)刻前后各30 min的數(shù)據(jù)作為輔助輸入代表周期特征。本文提出的ACGRU模型主要有5個(gè)網(wǎng)絡(luò)參數(shù)需要調(diào)節(jié),分別是CNN層卷積核的個(gè)數(shù)m,卷積核的大小s,CNN 的層數(shù)n,GRU 層的隱藏單元數(shù)p,GRU 的層數(shù)q。使用網(wǎng)格搜索對(duì)這些參數(shù)尋優(yōu),多次實(shí)驗(yàn)表明CNN 設(shè)置為2 層,每層卷積核個(gè)數(shù)設(shè)置為12,卷積核大小設(shè)置為3,GRU 設(shè)置為2層,每層單元個(gè)數(shù)設(shè)置為48,在測(cè)試集上可以達(dá)到最佳預(yù)測(cè)效果。模型訓(xùn)練階段,將批大小(Batch Size)設(shè)為64,訓(xùn)練輪數(shù)設(shè)為100,采用Adam 優(yōu)化器,學(xué)習(xí)率設(shè)為0.001,使用早停法(Early Stop)防止過(guò)擬合。
4.4.1 模型預(yù)測(cè)結(jié)果
本文選取第9號(hào)觀測(cè)點(diǎn)在7月30日的交通流量進(jìn)行分析,預(yù)測(cè)結(jié)果如圖4 所示。從圖中可以看出ACGRU預(yù)測(cè)模型具有良好的預(yù)測(cè)效果,各個(gè)時(shí)間點(diǎn)的預(yù)測(cè)值與真實(shí)值基本吻合,較為準(zhǔn)確地反映了交通流的變化趨勢(shì)。
圖4 第9號(hào)觀測(cè)點(diǎn)的交通流預(yù)測(cè)結(jié)果
4.4.2 基準(zhǔn)模型比較
為了比較ACGRU模型的預(yù)測(cè)性能,本文選取了已有工作中的五個(gè)經(jīng)典預(yù)測(cè)模型作為基準(zhǔn)對(duì)比模型。五個(gè)模型分別是:線性回歸算法LASSO[16]、非線性回歸算法SVR、棧式自編碼神經(jīng)網(wǎng)絡(luò)SAE[17]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)和門(mén)控循環(huán)單元(GRU)。其中LASSO是帶有正則項(xiàng)的線性回歸模型,相比傳統(tǒng)的線性回歸模型可以有效防止過(guò)擬合。SVR采用徑向基函數(shù)作為核函數(shù),懲罰參數(shù)C設(shè)置為1.0。SAE是由多個(gè)隱含層構(gòu)成的深度學(xué)習(xí)模型,不同于傳統(tǒng)的BP網(wǎng)絡(luò),SAE網(wǎng)絡(luò)隱含層的權(quán)重參數(shù)通過(guò)預(yù)訓(xùn)練得到,隱含層可以看成對(duì)原始數(shù)據(jù)的抽象表示。SAE 在預(yù)訓(xùn)練結(jié)束后,需要加入一個(gè)BP 網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)回歸。
表1 給出了所有模型的預(yù)測(cè)結(jié)果誤差。從該表中可以看出,ACGRU 模型相對(duì)其他基準(zhǔn)模型的各類誤差均更小,RMSE指標(biāo)平均降低了9%,相比最好的基準(zhǔn)模型GRU 降低了5%。該結(jié)果表明,本文提出的ACGRU模型的預(yù)測(cè)性能相對(duì)基準(zhǔn)模型而言有明顯的提高。
表1 模型預(yù)測(cè)性能比較
為了更加直觀比較模型預(yù)測(cè)效果,本文選取預(yù)測(cè)性能較好的CNN、GRU 模型來(lái)與ACGRU 模型對(duì)比。預(yù)測(cè)目標(biāo)為4 號(hào)觀測(cè)點(diǎn)早上8 點(diǎn)到8 點(diǎn)55 分的交通流量。對(duì)比結(jié)果如圖5 所示,從圖中可見(jiàn)ACGRU 模型的擬合效果最好。
圖5 模型預(yù)測(cè)結(jié)果對(duì)比
圖6為所有模型對(duì)各個(gè)觀測(cè)點(diǎn)的RMSE指標(biāo)對(duì)比,從圖中可見(jiàn),ACGRU模型在16個(gè)觀測(cè)點(diǎn)的預(yù)測(cè)誤差都比基準(zhǔn)模型低。
圖6 各個(gè)觀測(cè)點(diǎn)預(yù)測(cè)性能評(píng)估
4.4.3 變體模型比較
為評(píng)估ACGRU 模型各個(gè)模塊的有效性,本小節(jié)將ACGRU 模型與其他變體模型相比較,變體模型如下所示。
(1)ACGRU-nCNN 模型:在 ACGRU 模型基礎(chǔ)上,去掉提取空間特征的卷積層。
(2)ACGRU-nPeriod 模型:在ACGRU 模型基礎(chǔ)上,去掉周期特征提取模塊。
(3)ACGRU-nAttention 模型:在ACGRU 模型基礎(chǔ)上,去掉注意力機(jī)制層。
表2 給出了所有變體模型的實(shí)驗(yàn)結(jié)果。從該表中可以看出,相比三個(gè)變體模型,ACGRU模型的各個(gè)誤差指標(biāo)均最小,表明ACGRU 模型的各個(gè)模塊均有作用,組合在一起可以獲得最好的預(yù)測(cè)性能。因?yàn)镃NN網(wǎng)絡(luò)可以有效提取交通流數(shù)據(jù)的空間特征,所以ACGRU-nCNN模型的預(yù)測(cè)效果比ACGRU模型差。對(duì)比ACGRU模型和ACGRU-nPeriod 模型可以發(fā)現(xiàn),周期特征可以作為交通流預(yù)測(cè)的一個(gè)輔助特征,提升預(yù)測(cè)準(zhǔn)確率。將ACGRU模型和ACGRU-nAttention模型對(duì)比可以發(fā)現(xiàn),引入注意力機(jī)制層可以計(jì)算不同時(shí)刻交通流特征的重要性,使模型更關(guān)注重要性大的交通流特征,從而提升交通流預(yù)測(cè)效果。
表2 變體模型預(yù)測(cè)性能比較
本文提出了一種ACGRU 深度學(xué)習(xí)模型來(lái)進(jìn)行短時(shí)交通流預(yù)測(cè)。該模型利用CNN 和GRU 提取交通流數(shù)據(jù)的時(shí)空特征,并在GRU層后面引入注意力機(jī)制層,綜合考慮各個(gè)時(shí)刻的交通流特征,同時(shí)添加周期特征作為輔助模塊來(lái)提升預(yù)測(cè)性能。實(shí)驗(yàn)結(jié)果表明,ACGRU預(yù)測(cè)模型可以有效提升短時(shí)交通流預(yù)測(cè)的預(yù)測(cè)精度,與CNN 模型和GRU 模型相比,誤差評(píng)價(jià)指標(biāo)MAE 和RMSE值均有明顯降低,其預(yù)測(cè)結(jié)果對(duì)緩解城市交通壓力有著十分重要的意義。然而,本文預(yù)測(cè)的交通流區(qū)域不夠大,以后可以擴(kuò)大研究范圍,采用更加復(fù)雜的路網(wǎng)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。交通流會(huì)受到天氣、交通事故等其他因素的影響,如何利用這些輔助信息來(lái)提高預(yù)測(cè)精度也是以后的重要研究點(diǎn)。