基于 LSTM-Transformer 的船閘通航流量預(yù)測(cè)研究

基金項(xiàng)目：

2021年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目（編號(hào)：2021KY1131）；2024年度廣西高校中青年教師科研基礎(chǔ)能力提升項(xiàng)目“新一代信息技術(shù)背景下船閘安全風(fēng)險(xiǎn)預(yù)警閉環(huán)管控系統(tǒng)研究與應(yīng)用”（編號(hào)：2024KY1185）

作者簡介：

張 舜（1990—），碩士，講師，主要從事云計(jì)算、計(jì)算機(jī)應(yīng)用技術(shù)研究工作。

摘要：文章提出了一種基于LSTM-Transformer混合模型的船閘通航流量預(yù)測(cè)方法。該方法采用LSTM與Transformer混合模型解決了在船閘通航流量預(yù)測(cè)中的問題。通過在西江船閘過閘數(shù)據(jù)集上進(jìn)行試驗(yàn)驗(yàn)證，該方法相較于傳統(tǒng)方法具有更高的準(zhǔn)確率，也證明了其在船閘通航流量預(yù)測(cè)領(lǐng)域的應(yīng)用前景和可行性。

關(guān)鍵詞：船閘通航；LSTM-Transformer模型；流量預(yù)測(cè)

中圖分類號(hào)：U641.7+3文獻(xiàn)標(biāo)識(shí)碼：A 62 204 3

0 引言

通過對(duì)船閘通航流量的精確預(yù)測(cè)，可對(duì)船閘的運(yùn)行情況進(jìn)行有效掌握。同時(shí)，對(duì)通航流量的準(zhǔn)確預(yù)測(cè)可以有效地預(yù)測(cè)整個(gè)航道的交通流壓力，實(shí)時(shí)進(jìn)行風(fēng)險(xiǎn)評(píng)估與制定預(yù)處理方案。因此，對(duì)于船閘通行流量進(jìn)行準(zhǔn)確的預(yù)測(cè)是很有必要的。

1 研究方法概述

目前，西江黃金水道管理部門根據(jù)國家相關(guān)規(guī)定部署了船閘聯(lián)合調(diào)度系統(tǒng)，在船舶過閘之前會(huì)在手機(jī)端通過該系統(tǒng)進(jìn)行預(yù)報(bào)操作。本文獲取了船閘聯(lián)合調(diào)度系統(tǒng)中預(yù)報(bào)的過閘數(shù)據(jù)，并對(duì)其進(jìn)行處理，按照一定的時(shí)間間隔統(tǒng)計(jì)各個(gè)船閘不同時(shí)間段的過閘數(shù)據(jù)，并將得到的船舶過閘數(shù)量輸入LSTM-Transformer混合預(yù)測(cè)模型，通過訓(xùn)練更好地提取數(shù)據(jù)的時(shí)間序列特征，以達(dá)到更準(zhǔn)確的預(yù)測(cè)效果。

1.1 LSTM

LSTM［1］是RNN的一種變體，能夠有效解決RNN訓(xùn)練過程中的梯度爆炸和梯度消失問題，在處理長時(shí)間依賴的時(shí)序數(shù)據(jù)問題上更有優(yōu)勢(shì)。LSTM由輸入門、遺忘門和輸出門構(gòu)成，并通過激活函數(shù)引入了非線性要素。LSTM的核心在于引入門機(jī)制來控制特征的流通和損失。

1.2 Transformer

Transformer模型的結(jié)構(gòu)主要由編碼器-解碼器組成。輸入的歷史序列首先經(jīng)過詞編碼和位置編碼，然后輸入到編碼器中，目標(biāo)序列為解碼器的輸入。編碼器-解碼器由多個(gè)編碼層和解碼層堆疊組成，每個(gè)編碼層和解碼層都包含多個(gè)注意力和歸一化等神經(jīng)網(wǎng)絡(luò)層。為了便于理解公式中矩陣的含義，設(shè)定公式中矩陣的對(duì)應(yīng)時(shí)間序列，矩陣的行對(duì)應(yīng)時(shí)間序列的時(shí)長，短陣的列對(duì)應(yīng)時(shí)間序列變量個(gè)數(shù)。編碼器提取歷史序列的特征信息作為被查詢向量，K、V為內(nèi)容向量，將解碼器中目標(biāo)序列經(jīng)過歸一化的輸出作為查詢向量Q。Transformer是一種基于自注意力機(jī)制的深度學(xué)習(xí)模型，通過多層自注意力機(jī)制和注意力權(quán)重，能夠捕捉輸入序列中的長期依賴關(guān)系。

1.3 時(shí)間序列預(yù)測(cè)

在時(shí)間序列預(yù)測(cè)中，Transformer能夠有效地處理復(fù)雜的非線性關(guān)系，提高預(yù)測(cè)精度。Transformer將輸入序列分為兩部分：編碼器輸入和解碼器輸入。編碼器負(fù)責(zé)對(duì)輸入序列進(jìn)行特征提取和編碼，而解碼器則將編碼器的輸出作為輸入，并逐步預(yù)測(cè)未來的時(shí)間步。

2 基于LSTM-Transformer的船閘通航流量預(yù)測(cè)模型構(gòu)建

2.1 LSTM-Transformer模型構(gòu)建

Transformer框架主要用于NLP領(lǐng)域，在將其運(yùn)用到船閘通航流量預(yù)測(cè)之前，需要將Transformer框架進(jìn)行一定的改動(dòng)。由于船閘通航流量預(yù)測(cè)數(shù)據(jù)是典型的多變量輸入單變量輸出的時(shí)間序列數(shù)據(jù)，不需要解碼器的并行計(jì)算，因此可以取消解碼器的設(shè)置。在編碼器的前饋神經(jīng)網(wǎng)絡(luò)部分使用一維卷積層代替全連接層，在編碼器層后增加平均池化層，使用多層感知機(jī)和全連接層輸出結(jié)果，從而增強(qiáng)Transformer的局部特征捕捉能力。將改進(jìn)的Transformer框架與LSTM相耦合以增強(qiáng)對(duì)時(shí)序數(shù)據(jù)的捕捉能力，構(gòu)建如圖1所示的LSTM-Transformer模型。此模型由多個(gè)LSTM單元、多個(gè)編碼層、池化層、MLP層和輸出層組成。

2.2 LSTM-Transformer模型的船閘通航流量預(yù)測(cè)流程

基于LSTM-Transformer船閘通航流量預(yù)測(cè)模型預(yù)測(cè)流程如圖2所示。

（1）獲取長洲船閘的通航數(shù)據(jù)，對(duì)缺失值進(jìn)行線性插補(bǔ)。

（2）將處理后的數(shù)據(jù)進(jìn)行歸一化并按照比例劃分訓(xùn)練集和測(cè)試集。

（3）使用滑動(dòng)窗口的方法對(duì)輸入的數(shù)據(jù)進(jìn)行分割，將分割好的數(shù)據(jù)輸入模型，并將模型的均方根誤差作為粒子的適應(yīng)度進(jìn)行超參數(shù)優(yōu)化，從而得到最優(yōu)參數(shù)組合并保存訓(xùn)練的模型。

（4）將測(cè)試集的數(shù)據(jù)分割并輸入模型進(jìn)行預(yù)測(cè)，將輸出反歸一化得到預(yù)測(cè)結(jié)果，將其和預(yù)測(cè)集數(shù)據(jù)進(jìn)行比較，評(píng)價(jià)模型精度。

基于LSTM-Transformer的船閘通航流量預(yù)測(cè)研究/張 舜

模型采用平均絕對(duì)誤差（MAE）、均方根誤差（RMSE）和決定系數(shù)R2（R-squared）3 個(gè)評(píng)價(jià)指標(biāo)來進(jìn)行綜合評(píng)估。評(píng)價(jià)指標(biāo)公式如下：

MAE=1N∑Ni=1|ypre（i）-ytrue（i）|

（1）

RMSE=1N∑Ni=1（ypre（i）-ytrue（i））2

（2）

R2=1-［∑Ni=1ypre（i）-ytrue（i）2/∑Ni=1y-（i）-ytrue（i）2］

（3）

式中：ypre、y-——測(cè)試集樣本的真實(shí)值和平均值；

N——樣本數(shù)；

ytrue——模型輸出值。

3 西江船閘實(shí)例試驗(yàn)

3.1 數(shù)據(jù)集的選取

本文以廣西西江航運(yùn)干線上的12座船閘作為研究對(duì)象，開展基于LSTM-Transformer的船閘通航流量預(yù)測(cè)模型研究。西江航運(yùn)干線是我國南方重要的內(nèi)河航運(yùn)通道，由5個(gè)梯級(jí)共12座船閘構(gòu)成，包括大藤峽、西津、貴港、長洲等船閘。這些船閘在保障內(nèi)河航運(yùn)安全、促進(jìn)區(qū)域經(jīng)濟(jì)發(fā)展等方面發(fā)揮著重要作用。本文選用12座船閘2023-03-01至2023-05-01的船舶過閘數(shù)據(jù)，取5 min作為時(shí)間間隔，因船閘聯(lián)合調(diào)度系統(tǒng)在船舶過閘時(shí)會(huì)多次記錄數(shù)據(jù)，同一船閘每5 min內(nèi)同一艘船只統(tǒng)計(jì)一次。

3.2 試驗(yàn)結(jié)果

本文詳細(xì)闡述一個(gè)使用PyTorch 1.10.1和CUDA 11.3環(huán)境的LSTM-Transformer模型試驗(yàn)。該試驗(yàn)通過優(yōu)化超參數(shù)、調(diào)整模型結(jié)構(gòu)以及使用合適的數(shù)據(jù)處理方法，實(shí)現(xiàn)了對(duì)時(shí)間序列數(shù)據(jù)的有效預(yù)測(cè)。

本文選擇了ADAM優(yōu)化器和MSELoss函數(shù)來訓(xùn)練LSTM-Transformer模型。ADAM優(yōu)化器是一種自適應(yīng)學(xué)習(xí)率的優(yōu)化算法，其在訓(xùn)練過程中能夠動(dòng)態(tài)調(diào)整學(xué)習(xí)率，從而加快模型的收斂速度。而MSELoss函數(shù)則用于計(jì)算模型預(yù)測(cè)值與真實(shí)值之間的均方誤差，以評(píng)估模型的性能。

為了充分發(fā)揮模型的性能，進(jìn)行了細(xì)致的調(diào)參試驗(yàn)。經(jīng)過多次嘗試，確定了最佳的超參數(shù)組合，包括隱藏單元數(shù)、學(xué)習(xí)率和批量大小等。試驗(yàn)結(jié)果顯示，當(dāng)批量大小為32時(shí)，模型既能保證訓(xùn)練速度，又能避免顯存溢出的問題。同時(shí)，學(xué)習(xí)率設(shè)為10-3時(shí)，模型能夠在300個(gè)訓(xùn)練周期內(nèi)達(dá)到較好的收斂效果。

在處理時(shí)間序列數(shù)據(jù)時(shí)，采用了滑動(dòng)窗口方法。具體而言，就是將時(shí)間序列數(shù)據(jù)切分為大小為7的窗口，并以步長為1的方式依次提取窗口內(nèi)的數(shù)據(jù)作為模型的輸入數(shù)據(jù)。這種方法既能夠捕捉時(shí)間序列的局部特征，又能夠保持?jǐn)?shù)據(jù)之間的連續(xù)性。

在模型結(jié)構(gòu)方面，采用了2層卷積和LSTM的組合。其中，卷積層用于提取輸入數(shù)據(jù)的局部特征，而LSTM層則用于捕捉時(shí)間序列數(shù)據(jù)中的長期依賴關(guān)系。為了充分利用LSTM的特性，將LSTM的回溯步長設(shè)為6，即模型在預(yù)測(cè)當(dāng)前時(shí)刻的數(shù)據(jù)時(shí)，會(huì)考慮過去6個(gè)時(shí)刻的信息。

此外，根據(jù)輸入、隱藏和輸出層的需求，分別設(shè)置了特征數(shù)為3、128和3的神經(jīng)元。這樣的設(shè)置既能滿足模型的計(jì)算需求，又能保持模型的簡潔性。

綜上所述，通過優(yōu)化超參數(shù)、調(diào)整模型結(jié)構(gòu)以及使用合適的數(shù)據(jù)處理方法，在PyTorch 1.10.1和CUDA 11.3環(huán)境下成功訓(xùn)練了一個(gè)性能良好的LSTM-Transformer模型。該模型在處理時(shí)間序列數(shù)據(jù)時(shí)表現(xiàn)出色，為實(shí)現(xiàn)更精確的預(yù)測(cè)提供了有力支持。

為驗(yàn)證LSTM-Transformer模型預(yù)測(cè)船閘通航流量的效果，將其與ChebNet［2］、LSTM、GCNN［3］和GAT模型進(jìn)行了比較，各個(gè)船閘的各模型預(yù)測(cè)結(jié)果見表1。結(jié)果表明，LSTM-Transformer模型擬合效果更佳，預(yù)測(cè)精度更高。盡管ChebNet、LSTM和GCNN的預(yù)測(cè)效果稍遜，但仍符合流量變化趨勢(shì)，而GAT模型預(yù)測(cè)效果不穩(wěn)定，原因在于其難以有效提取區(qū)域船舶流量數(shù)據(jù)空間特征。

綜合各模型的試驗(yàn)數(shù)據(jù)，LSTM-Transformer預(yù)測(cè)模型的3個(gè)評(píng)價(jià)指標(biāo)結(jié)果都是最好的，這表明單一神經(jīng)網(wǎng)絡(luò)模型難以同時(shí)處理時(shí)間和空間特性，而混合模型更能有效捕獲時(shí)空特征。

4 結(jié)語

本文提出了一種基于LSTM-Transformer混合模型的船閘通航流量預(yù)測(cè)方法。采用LSTM與Transformer混合模型解決了在船閘通航流量預(yù)測(cè)中的問題。通過在西江船閘過閘數(shù)據(jù)集上進(jìn)行試驗(yàn)驗(yàn)證，結(jié)論如下：

（1）LSTM-Transformer模型比 LSTM、ChebNet等模型在訓(xùn)練數(shù)據(jù)較少的情況下預(yù)測(cè)精度更高，模型的魯棒性和泛化能力更強(qiáng)。

（2）LSTM-Transformer模型在預(yù)測(cè)分鐘級(jí)的船閘通航數(shù)據(jù)中有著良好的泛化能力與預(yù)測(cè)精度，改善了傳統(tǒng) RNN 類模型出現(xiàn)的時(shí)間滯后性現(xiàn)象。

與傳統(tǒng)的預(yù)測(cè)模型相比，優(yōu)化后的模型檢測(cè)能力得到了提升，對(duì)于船閘通航流量預(yù)測(cè)效率更高，可滿足實(shí)際應(yīng)用的條件。

參考文獻(xiàn)

［1］MALHOTRA P，VIG L，SHROFF G，et al. Long short term memory networks for anomaly detection in time series［C］.23rd European Symposium on Artificial Neural Networks，2015.

［2］DEFFERRARD M，BRESSON X，VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering［J/OL］.https：//doi.org/10.48550/arXiv.1606.09375，2022-11-12.

［3］WU ZH，PANSR，CHENFW，et al. A comprehensive survey on graph neural networks［J］.IEEE Transactions on Neural Networks and Learning Systems，2021，32（1）：4-24.