基于PSO優(yōu)化Bi-LSTM的交通流量預(yù)測

樊 沖

(錦州市大數(shù)據(jù)中心，遼寧 錦州 121000)

0 引言

交通運輸是一個廣泛的以人為本的領(lǐng)域，有各種各樣的、具有挑戰(zhàn)性的問題有待解決。運輸系統(tǒng)、服務(wù)、成本、基礎(chǔ)設(shè)施、車輛和控制系統(tǒng)的特征和性能通常是在定量評價其主要作用的基礎(chǔ)上定義的。大多數(shù)交通決策都是在不精確、不確定和不完全真實的情況下做出的，有些目標(biāo)和約束通常難以用清晰的值來衡量。傳統(tǒng)的分析技術(shù)在處理變量之間的依賴關(guān)系過于復(fù)雜或定義不清的問題時被發(fā)現(xiàn)是無效的。此外，硬計算模型不能有效地處理交通流量的不確定性。為了解決以上問題，在過去的十年中，人們對交通和運輸系統(tǒng)的軟計算應(yīng)用進(jìn)行了研究，并且在此領(lǐng)域取得了一些重要成果[1]。

使用軟計算方法建模和分析交通運輸系統(tǒng)不僅可以處理定量或定性的問題，還可以有效地解決涉及不精確和不確定性的復(fù)雜問題。軟計算可以用來彌補(bǔ)交通運輸研究中規(guī)范決策模型和描述性決策模型之間的差距。交通問題可以分為四個主要領(lǐng)域：交通控制和管理、交通規(guī)劃和管理、物流、交通設(shè)施的設(shè)計和建設(shè)。本課題所研究的交通流預(yù)測屬于第一個研究領(lǐng)域。自20世紀(jì)90年代以來，軟計算界一直在研究、攻克這個領(lǐng)域的相關(guān)問題。其中，Pamula等人[2]基于神經(jīng)網(wǎng)絡(luò)在城市交通管理系統(tǒng)中的應(yīng)用，提出了一種基于神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測方法。Bucur等人[3]建議使用自適應(yīng)模糊神經(jīng)網(wǎng)絡(luò)[4-9]進(jìn)行交通預(yù)測，提出一種可以跟蹤由于天氣條件、季節(jié)或其他因素造成的概率分布漂移的架構(gòu)。文獻(xiàn)[10]構(gòu)建了實時交通流量模型，構(gòu)建模型時將自回歸滑動平均模型與支持向量回歸模型進(jìn)行結(jié)合，克服了預(yù)測過程中的非線性問題。文獻(xiàn)[11]為了解決模型在預(yù)測過程中會陷入局部最優(yōu)問題，采用蟻群算法對基于BP神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測模型的參數(shù)進(jìn)行了優(yōu)化。文獻(xiàn)[12]構(gòu)建了季節(jié)性差分自回歸滑動平均模型和BP的組合模型，并以實測數(shù)據(jù)對構(gòu)建的交通流量預(yù)測模型進(jìn)行了驗證。文獻(xiàn)[13]對城市交通流量預(yù)測時，對其進(jìn)行了短時流量預(yù)測，并取得了較好的預(yù)測效果。文獻(xiàn)[14]采用灰色極限學(xué)習(xí)機(jī)模型，實現(xiàn)了短時交通流量預(yù)測模型的構(gòu)建，并驗證了所提模型的有效性。以上研究均使用神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行交通流量預(yù)測，未能很好地應(yīng)對交通流量強(qiáng)隨機(jī)性對于預(yù)測結(jié)果的影響。鑒于此，本文研究了強(qiáng)隨機(jī)性對交通流量預(yù)測結(jié)果的影響，提出了更高預(yù)測精度的城市交通流量預(yù)測模型。首先，基于雙向長短時記憶(Bi-directional Long Short-Term Memory，Bi-LSTM)算法，建立了交通流量短期預(yù)測模型；其次，為了進(jìn)一步提升Bi-LSTM的交通流量短期預(yù)測模型性能，采用粒子群優(yōu)化算法(Particle Swarm Optimization，PSO)對Bi-LSTM模型的超參數(shù)進(jìn)行尋優(yōu)，確定預(yù)測模型的最優(yōu)超參數(shù)組合，有效提升預(yù)測模型的泛化性，實現(xiàn)交通流量的精準(zhǔn)預(yù)測。

1 基于Bi-LSTM的交通流量預(yù)測模型

因城市交通流量具有較強(qiáng)的波動性，選取的交通流量模型需要具有強(qiáng)泛化性。所以本文選擇Bi-LSTM算法構(gòu)建研究所需的交通流量預(yù)測模型。

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)是一種很擅長處理時間序列數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。然而，在反向傳播時，RNN不能學(xué)習(xí)到序列中早期的數(shù)據(jù)信息。由于時間序列的長度逐漸增加，神經(jīng)網(wǎng)絡(luò)會遇到梯度消失的問題。針對這一問題，長短時記憶(Long Short-Term Memory，LSTM)神經(jīng)網(wǎng)絡(luò)解決了RNN的這個局限。LSTM網(wǎng)絡(luò)是一種特殊類型的RNN，可以學(xué)習(xí)長期依賴的信息。圖1為RNN和LSTM基本結(jié)構(gòu)單元。

圖1 RNN和LSTM基本結(jié)構(gòu)單元

LSTM網(wǎng)絡(luò)的特殊結(jié)構(gòu)避免了由于復(fù)雜的重復(fù)鏈模塊而產(chǎn)生的長期依賴問題。LSTM網(wǎng)絡(luò)的關(guān)鍵結(jié)構(gòu)是記憶單元Ct和“門”結(jié)構(gòu)。LSTM網(wǎng)絡(luò)由輸入門、遺忘門和輸出門組成，用于將信息更新和刪除到存儲單元。特別地，遺忘門可以決定過去的信息是否從一個單元狀態(tài)中刪除；輸入門可以更新信息；輸出門決定單元輸出。不同門的表達(dá)式如下：

其中，xt和ht-1由隱含層的激活函數(shù)決定；Wf表示相應(yīng)的權(quán)重矩陣；bf為網(wǎng)絡(luò)偏置；ft、it分別為遺忘門、輸入門的狀態(tài)；sigmoid為激活函數(shù)。Ct是輸入在t時刻的臨時狀態(tài)，tanh()是單元格的輸出。ot為輸出門。

在單向循環(huán)神經(jīng)網(wǎng)絡(luò)中，將學(xué)習(xí)到的前置信息用來驅(qū)動后續(xù)信息。然而，在許多情況下，預(yù)測通常需要使用整個序列的信息。雙向遞歸神經(jīng)網(wǎng)絡(luò)結(jié)合了一個遞歸神經(jīng)網(wǎng)絡(luò)，預(yù)測時可實現(xiàn)向前和向后雙向移動。LSTM網(wǎng)絡(luò)可以將前向序列和后向序列結(jié)合起來作為遞歸神經(jīng)網(wǎng)絡(luò)的一種變體。在預(yù)測中，Bi-LSTM網(wǎng)絡(luò)能夠較好地考慮前后數(shù)據(jù)的內(nèi)在規(guī)律。Bi-LSTM結(jié)構(gòu)如圖2所示。

圖2 Bi-LSTM結(jié)構(gòu)

對于Bi-LSTM網(wǎng)絡(luò)，每一層的隱層狀態(tài)可以表示為：

式中，LSTM()表示LSTM網(wǎng)絡(luò)的傳統(tǒng)運行過程；ht是隱含層前向狀態(tài)；hi是隱含層后向狀態(tài)；at和bt分別為隱含層前向和隱含層后向的輸出權(quán)值；Ct為隱含層在t時刻的偏移優(yōu)化參數(shù)；h～i為隱含層狀態(tài)。

2 PSO優(yōu)化的Bi-LSTM預(yù)測模型

為了進(jìn)一步提升模型的性能，采用PSO算法對Bi-LSTM模型的超參數(shù)進(jìn)行優(yōu)化，提升交通流量預(yù)測模型的泛化性與魯棒性，實現(xiàn)城市交通流量的有效預(yù)測。PSO的目的是分析群體中每個個體對環(huán)境的適應(yīng)度。PSO確定該區(qū)域在環(huán)境中的最佳位置，并通過協(xié)作和信息共享向最佳位置移動。模型的性能在很大程度上取決于神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中模型的參數(shù)，不恰當(dāng)?shù)膮?shù)會降低模型的預(yù)測能力。神經(jīng)網(wǎng)絡(luò)參數(shù)調(diào)整的目的是獲得一組能產(chǎn)生最佳預(yù)測性能的最優(yōu)參數(shù)值。因此，采用PSO算法來識別神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)，在進(jìn)行參數(shù)尋優(yōu)時將所需參數(shù)定義為粒子群算法中的每個粒子，通過調(diào)整和迭代獲得最優(yōu)種群。PSO算法優(yōu)化過程可以大大減少模型訓(xùn)練過程中的人工干預(yù)，確保最終模型具有最佳的預(yù)測效果。PSO優(yōu)化Bi-LSTM模型流程如圖3所示。

圖3 PSO優(yōu)化Bi-LSTM模型流程圖

PSO優(yōu)化Bi-LSTM模型的主要步驟如下：

(1)確定Bi-LSTM交通流量預(yù)測模型的超參數(shù)組合值范圍；

(2)對Bi-LSTM交通流量預(yù)測模型的超參數(shù)組合進(jìn)行初始化；

(3)計算Bi-LSTM交通流量預(yù)測模型的超參數(shù)組合的適應(yīng)度函數(shù)；

(4)根據(jù)Bi-LSTM交通流量預(yù)測模型的超參數(shù)組合的適應(yīng)度函數(shù)，進(jìn)一步更新超參數(shù)組合，并判斷是否滿足誤差需求，若不滿足要求，繼續(xù)更新超參數(shù)組合；

(5)若滿足誤差需求，確定最優(yōu)超參數(shù)和適應(yīng)度函數(shù)，由此確定本文研究所需的交通流量預(yù)測模型。

3 算例分析

為了驗證本文提出的預(yù)測模型的性能優(yōu)勢，本研究采用絕對值平均誤差(Mean Absolute Percentage Error，MAPE)、相對均方根誤差(Relative Root Mean Square Error，rRMSE)、相對平均絕對誤差(Relative Mean Absolute Error，rMAE)、均 方 根 誤 差(Root Mean Square Error，RMSE)四個預(yù)測精度指標(biāo)進(jìn)行評估，各指標(biāo)的計算公式如下：

為了能夠有效開展交通流量預(yù)測研究，獲取完備的交通流量數(shù)據(jù)集是關(guān)鍵環(huán)節(jié)之一。因此，在河北省唐山市某城市路段進(jìn)行實測交通流量數(shù)據(jù)采集。獲取的數(shù)據(jù)集包含該路段300天的交通流量數(shù)據(jù)，數(shù)據(jù)的采樣間隔包括5 min、10 min和15 min 3種，每種時間間隔累積的樣本數(shù)各為300個。在預(yù)測交通流量時，將獲取的實測交通流量數(shù)據(jù)集中80%作為訓(xùn)練集，20%作為測試集。交通流量預(yù)測模型輸入的特征包括待預(yù)測日前兩天全部流量數(shù)據(jù)、前一天t時刻流量數(shù)據(jù)與日期類型共98維。

圖4展示了5 min、10 min、15 min三個時間分辨率下的原始數(shù)據(jù)。采集到不同時間間隔下的交通流量數(shù)據(jù)樣本后，可以基于不同時間分辨率的數(shù)據(jù)集開展交通流量預(yù)測。訓(xùn)練基于PSO-Bi-LSTM的交通流量預(yù)測模型時，采用數(shù)據(jù)集中80%的交通流量數(shù)據(jù)對模型進(jìn)行訓(xùn)練。模型通過對歷史交通流量數(shù)據(jù)的不斷學(xué)習(xí)，掌握交通流量數(shù)據(jù)的變化規(guī)律，進(jìn)而確定預(yù)測模型的參數(shù)。通過訓(xùn)練結(jié)果得出基于PSO-Bi-LSTM的流量預(yù)測模型節(jié)點個數(shù)、學(xué)習(xí)率的最優(yōu)參數(shù)值分別為50和0.005 8。

圖4 不同時間分辨率下原始數(shù)據(jù)展示

在不同的時段，城市的交通流量大小變化很大。工作日，人口流動較為頻繁，流量波動性會相對較強(qiáng)；非工作日，人口流動程度稀疏，流量波動性會相對較小。為了驗證本文提出的基于PSO-Bi-LSTM的交通流量預(yù)測模型的性能優(yōu)勢，在測試集中選擇春、夏、秋、冬四個季節(jié)的交通流量數(shù)據(jù)，同時包含了工作日和非工作日的不同日期類型，采用Bi-LSTM模型和PSO-Bi-LSTM模型分別對上述測試集的交通流量數(shù)據(jù)進(jìn)行預(yù)測。開展預(yù)測時，分別采用了5 min、10 min、15 min三個分辨率下的交通流量數(shù)據(jù)。以采樣間隔為15 min分辨率的數(shù)據(jù)集為例，預(yù)測分析獲取的四季交通流量預(yù)測結(jié)果如圖5所示。從圖5可以看出，相較于Bi-LSTM模型，PSO-Bi-LSTM模型獲取的交通流量預(yù)測值能夠更準(zhǔn)確地反映出交通流量的變化，并且與實際值更接近。

圖5 兩個模型不同季節(jié)的交通流量預(yù)測結(jié)果

為了進(jìn)一步量化說明PSO-Bi-LSTM交通流量預(yù)測模型的優(yōu)勢，計算各模型預(yù)測結(jié)果的四個評價指標(biāo)值，結(jié)果如表1所示。表1展示了四季典型日下，兩個模型在不同采樣間隔數(shù)據(jù)驅(qū)動下獲取的交通流量預(yù)測結(jié)果評價指標(biāo)值。通過對Bi-LSTM模型和PSO-Bi-LSTM模型預(yù)測結(jié)果評價指標(biāo)的對比分析可知，PSO-Bi-LSTM模型獲取的預(yù)測結(jié)果評價指標(biāo)值均小于Bi-LSTM模型，效果更好。其中RMSE本身就是用來衡量觀測值與真實值之間偏差的指標(biāo)，其值越小，代表著與真實值之間誤差越小。通過RMSE指標(biāo)可以看出，本研究方法獲取的預(yù)測結(jié)果與實際值更接近。由此，證明了PSO-Bi-LSTM模型對城市交通流量預(yù)測的有效性，并且此模型在不同時間采樣間隔數(shù)據(jù)集下都展現(xiàn)出優(yōu)越性能，獲取了準(zhǔn)確的交通流量預(yù)測結(jié)果。

表1 兩個模型不同季節(jié)交通流量預(yù)測結(jié)果的評價指標(biāo)

4 結(jié)論

為有效解決交通流量具有的強(qiáng)隨機(jī)性對預(yù)測結(jié)果的影響，本文提出了基于PSO優(yōu)化雙向LSTM的交通流量預(yù)測方法，實現(xiàn)了對城市交通流量的有效預(yù)測。取得的主要研究成果如下：

(1)為解決交通流量強(qiáng)波動性的影響，采用了雙向LSTM模型構(gòu)建交通流量預(yù)測模型；

(2)為進(jìn)一步提升交通流量預(yù)測模型泛化性與魯棒性，采用PSO算法優(yōu)化雙向LSTM模型的超參數(shù)，實現(xiàn)了對交通流量預(yù)測模型性能的進(jìn)一步提升。