基于時(shí)間跨度注意力機(jī)制的多變量時(shí)間序列預(yù)測(cè)方法

李文豪，嚴(yán) 華

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

多變量時(shí)間序列預(yù)測(cè)已被廣泛應(yīng)用于交通預(yù)測(cè)［1-2］、匯率預(yù)測(cè)［3］、用電消耗預(yù)測(cè)［4-5］、河流水位預(yù)測(cè)［6］等領(lǐng)域。如果能實(shí)現(xiàn)精準(zhǔn)的預(yù)測(cè)并應(yīng)用在這些領(lǐng)域，將會(huì)幫助人們進(jìn)行重大決策。

多變量時(shí)間序列預(yù)測(cè)的關(guān)鍵是充分捕獲其長、短期的依賴。現(xiàn)實(shí)世界的應(yīng)用通常需要短期和長期重復(fù)模式的混合［7］。然而傳統(tǒng)的方法，例如線性移動(dòng)平均模型［8］、支持向量機(jī)線性回歸［9］大多采用統(tǒng)計(jì)模型來研究時(shí)間序列的演化，可能無法捕捉到復(fù)雜的潛在非線性關(guān)系［10］。遞歸神經(jīng)網(wǎng)絡(luò)（RNN）［11］是一種專為序列建模而設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)，因其在捕捉非線性關(guān)系方面的靈活性而受到廣泛關(guān)注。DA?RNN［12］使用了RNN 來捕捉時(shí)間序列的長期時(shí)間依賴，但它沒有使用專門的方法來提取時(shí)間序列的短期模式。在計(jì)算機(jī)視覺領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）［13?14］模型通過成功提取局部和平移不變特征表現(xiàn)出了在輸入圖像的不同粒度級(jí)別方面的出色性能。LSTNet［7］利用了CNN 的長處去發(fā)現(xiàn)多維輸入變量之間的短期模式。然而，與LSTNet 相同，近年來提出的網(wǎng)絡(luò)MTNet［10］和TPA［15］都只使用了一種大小的卷積核來提取多變量時(shí)間序列的短期模式，這使得時(shí)間序列的短期模式并沒有被充分提取。

僅僅將不同時(shí)間跨度的短期模式提取出來還不夠，還要選擇性地加以利用。因?yàn)樵趯?duì)不同的數(shù)據(jù)集和預(yù)測(cè)范圍進(jìn)行預(yù)測(cè)時(shí)，模型對(duì)不同時(shí)間跨度的短期模式的依賴是不同的。雖然MTGNN［16］使用了不同尺寸CNN 卷積核來提取不同范圍內(nèi)的時(shí)間特征，但是沒有對(duì)不同卷積輸出進(jìn)行選擇，而是將它們不加區(qū)分地拼接在一起。

針對(duì)上述問題，本文提出了基于多尺度特征表示和時(shí)間跨度注意力的網(wǎng)絡(luò)結(jié)構(gòu)。多變量時(shí)間序列首先經(jīng)過包含多尺寸卷積核的CNN 模塊來獲得不同時(shí)間跨度的短期模式，然后通過時(shí)間跨度注意力模塊來為短期模式分配權(quán)重。之后，將時(shí)間跨度注意力模塊的輸出送入RNN模塊來進(jìn)一步提取長期模式。與LSTNet 相同，本文也引入了線性回歸模塊來提高模型的魯棒性。但與LSTNet 直接將非線性部分和線性部分的輸出相加不同，本文采用了一個(gè)權(quán)重學(xué)習(xí)模塊來整合非線性部分和線性部分的輸出。在四個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的模型能有效提高多變量時(shí)間序列預(yù)測(cè)的準(zhǔn)確度。

1 TSANN

1.1 概述

本文提出的時(shí)間跨度注意力神經(jīng)網(wǎng)絡(luò)（a deep neural network based time span attention，TSANN）的結(jié)構(gòu)如圖1所示。其主體結(jié)構(gòu)分為線性和非線性兩部分。在非線性部分，將多變量時(shí)間序列數(shù)據(jù)輸入到有多個(gè)分支的多尺度卷積模塊來提取不同時(shí)間跨度的短期模式。多個(gè)分支的輸出被裁剪成相同尺寸后在通道維度上拼接。之后，多尺度卷積模塊的輸出被送入不同的短期模式賦予權(quán)重的時(shí)間跨度注意力模塊。圖1中時(shí)間跨度注意力模塊的輸出被賦予了不同的權(quán)重。然后，時(shí)間跨度注意力模塊的輸出被送入迭代模塊進(jìn)一步提取長期模式。最后，通過全連接層得到非線性部分的輸出。

圖1 時(shí)間跨度注意力神經(jīng)網(wǎng)絡(luò)

取非線性部分輸入中近期的數(shù)據(jù)作為線性部分的輸入。線性部分的輸出通過簡單的AR 模塊得到。最后，通過權(quán)重學(xué)習(xí)模塊將兩部分的輸出加起來得到最后的預(yù)測(cè)結(jié)果。

1.2 多尺度卷積模塊

多尺度卷積模塊的目標(biāo)在于充分提取時(shí)間維度上不同時(shí)間跨度的短期時(shí)間模式和變量間的局部依賴。在該模塊的多個(gè)CNN 分支中，不同分支間CNN 卷積核寬度w不同，高度n相同。其中w表示不同的時(shí)間跨度，n表示變量個(gè)數(shù)。這樣，模型就能提取到多時(shí)間跨度的短期模式。

多尺度卷積模塊中包含6 個(gè)分支，其卷積核寬度w分別為｛3，6，7，12，24，36｝。每個(gè)分支中都設(shè)置N個(gè)相同的卷積核。下文通過實(shí)驗(yàn)說明w設(shè)置的依據(jù)。第k個(gè)分支中的第i個(gè)卷積核掃描輸入矩陣X，并產(chǎn)生如下關(guān)系：

其中：*表示卷積操作，輸出hki是一個(gè)向量，RELU函數(shù)為RELU(x)=max(0,x)。

1.3 時(shí)間跨度注意力模塊

當(dāng)預(yù)測(cè)任務(wù)不同時(shí)（數(shù)據(jù)集不同或預(yù)測(cè)時(shí)間步長Q不同），網(wǎng)絡(luò)模型對(duì)不同時(shí)間跨度的短期模式的依賴是不同的，所以要對(duì)不同時(shí)間跨度的短期模式進(jìn)行選擇性的利用。

多尺度卷積模塊一共提取到了6種不同時(shí)間跨度的短期模式，每種短期模式有4個(gè)通道。所以卷積模塊的輸出一共有24 個(gè)通道，表示為H∈R24×T×1。時(shí)間跨度注意力推斷出一個(gè)一維通道注意地圖Ms∈R24×1×1。整體注意過程可以概括為

其中，?表示元素級(jí)相乘。

圖2 描述了時(shí)間跨度注意力圖的計(jì)算過程。時(shí)間跨度注意力計(jì)算公式為

圖2 時(shí)間跨度注意力模塊示意圖

其中，σ表示sigmoid函數(shù)。

1.4 循環(huán)神經(jīng)網(wǎng)絡(luò)模塊

在經(jīng)過多尺度卷積模塊和時(shí)間跨度注意力模塊之后，模型已經(jīng)提取到了不同重要程度的短期模式。但時(shí)間序列中還存在更為長期的依賴關(guān)系，能幫助提高預(yù)測(cè)的準(zhǔn)確度。本文使用了擅長記憶歷史信息的GRU［17］來組成循環(huán)神經(jīng)網(wǎng)絡(luò)模塊。

時(shí)間跨度注意力模塊的輸出被輸入到循環(huán)模塊中。在時(shí)間為t時(shí)，循環(huán)單元的隱藏狀態(tài)計(jì)算公式為

其中：?表示元素級(jí)相乘；σ表示激活函數(shù)；xt為模塊在時(shí)間t時(shí)的輸出。

1.5 權(quán)重學(xué)習(xí)模塊

預(yù)測(cè)結(jié)果的準(zhǔn)確度不僅依賴于長期數(shù)據(jù)中包含的周期，也依賴于短期數(shù)據(jù)的線性關(guān)系。目前使用線性和非線性兩部分進(jìn)行預(yù)測(cè)的網(wǎng)絡(luò)，都是直接將兩部分的預(yù)測(cè)結(jié)果相加得到最終預(yù)測(cè)結(jié)果，但是這樣做忽略了預(yù)測(cè)結(jié)果對(duì)兩者的依賴程度。為了更加準(zhǔn)確地表示預(yù)測(cè)結(jié)果對(duì)線性部分和非線性部分的依賴關(guān)系并提高預(yù)測(cè)精度，本文設(shè)計(jì)了權(quán)重學(xué)習(xí)模塊。該模塊包含兩個(gè)可學(xué)習(xí)參數(shù)，分別來學(xué)習(xí)對(duì)線性和非線性部分的依賴程度。TSANN最終的預(yù)測(cè)結(jié)果計(jì)算如下：

其中，α和β為兩個(gè)可學(xué)習(xí)的參數(shù)。

2 實(shí)驗(yàn)

為了驗(yàn)證TSANN 的有效性，本文將TSANN在四個(gè)常用基準(zhǔn)數(shù)據(jù)集上與八種方法進(jìn)行了對(duì)比，其中包括四種傳統(tǒng)方法和四種近幾年提出來的先進(jìn)方法。

2.1 數(shù)據(jù)集描述

LSTNet 發(fā)布了四個(gè)公開可用的多元基準(zhǔn)數(shù)據(jù)集。表1展示了數(shù)據(jù)集的相關(guān)統(tǒng)計(jì)信息。為了便于驗(yàn)證，所有的數(shù)據(jù)集按照時(shí)間順序分為訓(xùn)練集（60%）、驗(yàn)證集（20%）和測(cè)試集（20%）。

表1 四個(gè)基準(zhǔn)數(shù)據(jù)集的描述信息

2.2 對(duì)比方法

參與比較的九種方法的描述如下：

AR：一個(gè)標(biāo)準(zhǔn)的自回歸模型。

LRidge：具有L2 正則化的向量自回歸模型，曾經(jīng)是最流行的多元時(shí)間序列預(yù)測(cè)模型。

GP：用于時(shí)間序列預(yù)測(cè)的高斯過程模型［18?19］。

RNN?GRU：使用GRU單元的RNN模型。

LSTNet：使用CNN 提取短期模式和使用RNN提取長期模式的模型［7］。

MTNet：一種使用記憶網(wǎng)絡(luò)捕捉極長期模式的模型［10］。

TPA：使用時(shí)間模式注意力來選擇相關(guān)時(shí)間序列的模型，并使用其頻域信息進(jìn)行多元預(yù)測(cè)［15］。

MTGNN：使用圖神經(jīng)網(wǎng)絡(luò)和圖學(xué)習(xí)模塊自動(dòng)提取變量之間的單向關(guān)系的模型［16］。

TSANN：本文提出的模型。

對(duì)于前面提到的單值輸出方法，例如GP、LRidge 和AR，本文為每個(gè)變量訓(xùn)練一個(gè)模型。例如Solar?Energy 數(shù)據(jù)集有137 個(gè)變量，因此本文總共訓(xùn)練了137個(gè)模型。

2.3 實(shí)驗(yàn)指標(biāo)

由于在相同的數(shù)據(jù)集上對(duì)TSANN與LSTNet、MTNet、TPA 和MTGNN 進(jìn)行比較，因此繼續(xù)使用相同的評(píng)估指標(biāo)：RSE和CORR。

根相對(duì)平方誤差（RSE）：

經(jīng)驗(yàn)相關(guān)系數(shù)（CORR）：

其中：Y表示真實(shí)值；表示模型的預(yù)測(cè)值。對(duì)于RSE，值越低越好；而對(duì)于CORR，值越高越好。

2.4 實(shí)驗(yàn)結(jié)果

表2列出了所有實(shí)驗(yàn)的結(jié)果。遵循以往的慣常做法，設(shè)置Q={3,6,12,24}，并使用RSE和CORR兩個(gè)指標(biāo)來評(píng)估模型。Q越大，預(yù)測(cè)難度越大。在表2中，每個(gè)數(shù)據(jù)集和每個(gè)指標(biāo)的最優(yōu)結(jié)果被加粗突出顯示。在所有的32 個(gè)最優(yōu)結(jié)果中，TSANN 占了19 個(gè)，遠(yuǎn)多于其他方法，證明了本文提出方法的優(yōu)越性。在其他方法中，MTGNN 的 最優(yōu)結(jié)果 占了10 個(gè)，TPA 占 了2 個(gè)，LRidge占了1個(gè)。

表2 九種方法在四個(gè)數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)結(jié)果

TSANN之所以能取得優(yōu)于其他方法的結(jié)果，主要是因?yàn)槭褂昧硕喑叨染矸e模塊來充分提取多變量時(shí)間序列的短期模式，并使用時(shí)間跨度注意模塊進(jìn)行選擇性的利用。

文獻(xiàn)［7］對(duì)這四個(gè)數(shù)據(jù)集進(jìn)行了分析，發(fā)現(xiàn)Solar?Energy、Traffic 和Electricity 都具有明顯的周期性，而Exchange?Rate 則沒有。LSTNet 在Exchange?Rate 上的表現(xiàn)不如AR、LRidge 等傳統(tǒng)方法，是因?yàn)榫€性模型比深度學(xué)習(xí)方法更適合該數(shù)據(jù)集。本文提出的方法能在Exchange?Rate上取得最優(yōu)結(jié)果，是因?yàn)槭褂昧藱?quán)重學(xué)習(xí)模塊，能夠根據(jù)不同數(shù)據(jù)集動(dòng)態(tài)調(diào)整模型對(duì)線性模塊和非線性模塊的依賴程度。

本文方法在Traffic 數(shù)據(jù)集上的表現(xiàn)不如MTGNN，可能是因?yàn)镸TGNN 使用了圖神經(jīng)網(wǎng)絡(luò)，使其具有更強(qiáng)的提取變量間依賴關(guān)系的能力。在這四個(gè)數(shù)據(jù)集中，Traffic具有最多的變量數(shù)（862），而MTGNN 中復(fù)雜的圖神經(jīng)網(wǎng)絡(luò)在變量數(shù)較大時(shí)表現(xiàn)出了一定的優(yōu)勢(shì)。

2.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文所提方法中關(guān)鍵模塊的有效性，在Solar-Energy 數(shù)據(jù)集上進(jìn)行了充分的消融實(shí)驗(yàn)，每次移除TSANN 中的一個(gè)模塊，并將它們命名如下。

w/o MC：TSANN 去除多尺度卷積模塊。按照LSTNet 的設(shè)置，只使用寬度為6 的CNN 卷積核來代替多尺度卷積模塊進(jìn)行短期模式的提取。

w/o TSA：TSANN 去除時(shí)間跨度注意力模塊。不同時(shí)間跨度的短期模式被不加選擇地利用。

w/o WL：TSANN 去除權(quán)重學(xué)習(xí)模塊。將線性部分和非線性部分的輸出直接相加。

w/o AR：TSANN 去除線性模塊。預(yù)測(cè)結(jié)果僅由非線性部分輸出得到。

在進(jìn)行消融實(shí)驗(yàn)時(shí)，Q取難度最大值24。實(shí)驗(yàn)結(jié)果如表3所示。

表3 消融實(shí)驗(yàn)結(jié)果

消融實(shí)驗(yàn)結(jié)果表明，TSANN 引入的關(guān)鍵模塊都提升了網(wǎng)絡(luò)結(jié)構(gòu)的性能。多尺度卷積模塊的引入極大地提升了實(shí)驗(yàn)結(jié)果，因?yàn)樗艹浞痔崛〔煌瑫r(shí)間跨度的短期模式來幫助模型進(jìn)行預(yù)測(cè)。權(quán)重學(xué)習(xí)模塊帶來的效果也很明顯，因?yàn)樗苷{(diào)整最終預(yù)測(cè)結(jié)果對(duì)線性部分預(yù)測(cè)結(jié)果和非線性部分預(yù)測(cè)結(jié)果的依賴關(guān)系，實(shí)現(xiàn)更準(zhǔn)確的預(yù)測(cè)。實(shí)驗(yàn)結(jié)果也進(jìn)一步驗(yàn)證了LSTNet 中提出的AR 模塊的有效性。時(shí)間跨度注意力模塊在多尺度卷積模塊的基礎(chǔ)上進(jìn)一步提升了預(yù)測(cè)結(jié)果的準(zhǔn)確度，因?yàn)樗鼘?duì)不同時(shí)間跨度的短期模式進(jìn)行了選擇性的利用。

3 結(jié)語

本文提出了一種基于多尺度卷積和時(shí)間跨度注意力的深度學(xué)習(xí)框架（TSANN），來進(jìn)行多變量時(shí)間序列的預(yù)測(cè)。TSANN 中的多尺度卷積模塊能充分提取時(shí)間序列的短期模式。時(shí)間跨度注意力模塊能對(duì)這些短期模式進(jìn)行選擇性的利用，以應(yīng)對(duì)不同的數(shù)據(jù)集和未來時(shí)間步Q。另外，權(quán)重學(xué)習(xí)模塊能動(dòng)態(tài)調(diào)整最終預(yù)測(cè)結(jié)果對(duì)線性和非線性輸出的依賴程度，從而提高預(yù)測(cè)精度。大量的實(shí)驗(yàn)在四個(gè)公開數(shù)據(jù)集上進(jìn)行，實(shí)驗(yàn)結(jié)果證明了本文方法的有效性。

本文中短期模式的時(shí)間跨度是通過實(shí)驗(yàn)確定的。未來的工作將致力于找到一種能根據(jù)數(shù)據(jù)集和未來時(shí)間步Q自動(dòng)確定時(shí)間跨度的方法。