基于GRU-Attention的無(wú)監(jiān)督多變量時(shí)間序列異常檢測(cè)

鄭育靖,何強(qiáng)*,張長(zhǎng)倫,2,王恒友

(1.北京建筑大學(xué) 理學(xué)院,北京 100044;2.北京建筑大學(xué) 北京未來(lái)城市設(shè)計(jì)高精尖創(chuàng)新中心,北京 100044)

0 引言

時(shí)間序列數(shù)據(jù)異常檢測(cè)一直是學(xué)術(shù)界和工業(yè)界的熱點(diǎn)問(wèn)題。對(duì)異常點(diǎn)的檢測(cè)以及對(duì)異常區(qū)域的定位可以在關(guān)鍵時(shí)刻提供重要信息,人們才能有針對(duì)性地干預(yù)異常事件,達(dá)到防止或消除異常的效果。時(shí)間序列數(shù)據(jù)異常檢測(cè)在工業(yè)、金融、軍事、醫(yī)療、保險(xiǎn)、關(guān)鍵系統(tǒng)安全、機(jī)器人、多智能體、網(wǎng)絡(luò)安全、物聯(lián)網(wǎng)等領(lǐng)域[1-2]都受到人們的關(guān)注。

所謂時(shí)間序列的異常檢測(cè),就是在時(shí)間序列數(shù)據(jù)中檢測(cè)出少部分具有離群、震蕩等異常情況的點(diǎn)。通常情況下異常占整體時(shí)間序列的比例很低,人們希望通過(guò)算法,學(xué)習(xí)到原始數(shù)據(jù)的分布或其他特征來(lái)實(shí)現(xiàn)對(duì)異常點(diǎn)的成功捕捉。單變量異常檢測(cè)是對(duì)僅存在一個(gè)特征的時(shí)間序列上展開(kāi)的,由于只有一個(gè)維度的數(shù)據(jù),可以應(yīng)用很多傳統(tǒng)濾波算法,例如Spectral Residual算法[3]。多變量時(shí)間序列異常檢測(cè)指對(duì)具有多個(gè)特征的時(shí)序數(shù)據(jù)進(jìn)行異常檢測(cè),這類問(wèn)題是在單變量時(shí)序異常檢測(cè)的基礎(chǔ)上擴(kuò)展而來(lái)。多變量時(shí)序數(shù)據(jù)異常的出現(xiàn)往往是由多個(gè)特征共同決定,對(duì)每個(gè)特征單獨(dú)分析無(wú)法準(zhǔn)確判斷異常。所以更合理的方法是對(duì)多個(gè)特征序列綜合分析,進(jìn)而識(shí)別出多個(gè)變量共同作用下的異常。

目前,多元時(shí)序異常檢測(cè)在深度學(xué)習(xí)領(lǐng)域的研究取得了顯著的進(jìn)展。例如,Malhotra 等人[4]提出基于LSTM的編碼器解碼器網(wǎng)絡(luò),該網(wǎng)絡(luò)對(duì)“正?！睍r(shí)間序列的重構(gòu)概率進(jìn)行建模,利用重構(gòu)誤差在多個(gè)傳感器中檢測(cè)異常。Hundman等人[5]利用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)來(lái)檢測(cè)基于預(yù)測(cè)誤差的航天器多元時(shí)間序列。Ding等人[6]提出了一個(gè)基于分層時(shí)間記憶(Hierarchical Temporal Memory, HTM)和貝葉斯網(wǎng)絡(luò)(Bayesian Network, BN)的實(shí)時(shí)異常檢測(cè)算法RADM,提高了實(shí)時(shí)異常檢測(cè)的性能。然而,已提出的模型往往依賴循環(huán)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)的性質(zhì)或分布,沒(méi)有考慮特征間的關(guān)系和數(shù)據(jù)固有的周期性等性質(zhì),故本文提出了基于GRU-Attention的無(wú)監(jiān)督算法,從時(shí)間維度和特征維度兩個(gè)角度充分利用數(shù)據(jù)信息進(jìn)行異常檢測(cè)。

本文的主要貢獻(xiàn)如下:

(1)提出了一種新的無(wú)監(jiān)督多變量時(shí)間序列異常檢測(cè)框架,模型在三個(gè)公共數(shù)據(jù)集上展示了優(yōu)越性能。

(2)模型在預(yù)測(cè)部分利用GRU-skip彌補(bǔ)傳統(tǒng)預(yù)測(cè)模塊在長(zhǎng)期記憶上的缺陷。

(3)模型通過(guò)案例的圖像分析部分,驗(yàn)證貢獻(xiàn)大的特征對(duì)識(shí)別異常的重要性。

(4)本文模型對(duì)于異常點(diǎn)具有較好的可解釋性。

本文在第1節(jié)給時(shí)間序列異常檢測(cè)相關(guān)工作。在第2節(jié)介紹基于GRU-Attention的無(wú)監(jiān)督檢測(cè)方法。在第3節(jié)從實(shí)驗(yàn)上驗(yàn)證本文所提方法的有效性。最后總結(jié)全文。

1 時(shí)間序列異常檢測(cè)

異常檢測(cè)在其他相關(guān)領(lǐng)域也被稱為新穎性檢測(cè)、離群值檢測(cè)或事件檢測(cè)[7]。時(shí)間序列異常檢測(cè)是其中一個(gè)深受人們關(guān)注的問(wèn)題。根據(jù)在訓(xùn)練過(guò)程中是否使用標(biāo)簽可以分為監(jiān)督,半監(jiān)督以及無(wú)監(jiān)督異常檢測(cè)。監(jiān)督學(xué)習(xí)方法[8]需要標(biāo)記數(shù)據(jù)進(jìn)行模型訓(xùn)練,只能識(shí)別已知的異常類型[9],因此應(yīng)用范圍有限。時(shí)序異常檢測(cè)研究方法主要關(guān)注無(wú)監(jiān)督問(wèn)題。根據(jù)數(shù)據(jù)中特征的個(gè)數(shù)可以將問(wèn)題分為單變量時(shí)序異常檢測(cè)和多變量時(shí)序異常檢測(cè)。單變量時(shí)序異常檢測(cè)[3,10-11]只考慮特征是否符合長(zhǎng)期特性,當(dāng)數(shù)據(jù)值與總體分布有較大差異時(shí)將其視為異常實(shí)例[12-17]。多變量問(wèn)題在每個(gè)時(shí)間戳上有多個(gè)特征[18]?，F(xiàn)有的多元時(shí)間序列異常檢測(cè)方法主要可以分為兩類:一、基于單變量的異常檢測(cè)[19]:通過(guò)單變量算法對(duì)每個(gè)特征進(jìn)行單獨(dú)監(jiān)控,最后將結(jié)果匯總給出最終判斷。二、直接進(jìn)行異常檢測(cè)[5,20-23]:將多個(gè)特征同時(shí)考慮,從而進(jìn)行算法分析。Zong等人[24]提出的利用深度自編碼器來(lái)生成低維的數(shù)據(jù),表示每個(gè)輸入數(shù)據(jù)點(diǎn)的重構(gòu)誤差,輸入到高斯混合模型中(GMM)來(lái)進(jìn)行多變量異常檢測(cè)。LSTM-VAE算法[7]是基于編碼解碼器的LSTM網(wǎng)絡(luò),對(duì)時(shí)間序列進(jìn)行誤差重構(gòu),運(yùn)用重構(gòu)誤差對(duì)若干傳感器進(jìn)行異常檢測(cè)。LSTM-NDT[5]是一種無(wú)參數(shù)閾值選取的無(wú)監(jiān)督算法,該文目標(biāo)是在沒(méi)有利用隨機(jī)信息的情況下,建立一個(gè)異常檢測(cè)系統(tǒng)來(lái)監(jiān)測(cè)航天器發(fā)回的由相關(guān)領(lǐng)域?qū)＜覙?biāo)記好的數(shù)據(jù)。Gugulothu等人[25]通過(guò)端到端學(xué)習(xí)框架,將非時(shí)間維度約簡(jiǎn)技術(shù)和周期性自動(dòng)編碼器結(jié)合起來(lái),用于時(shí)間序列建模。OmniAnomaly[26]提出了一種隨機(jī)遞歸神經(jīng)網(wǎng)絡(luò),通過(guò)隨機(jī)變量建模數(shù)據(jù)分布,從而捕獲多變量時(shí)序的正常模式。

本文針對(duì)無(wú)監(jiān)督的多維時(shí)間序列異常檢測(cè),對(duì)多條線數(shù)據(jù)直接進(jìn)行預(yù)測(cè),并考慮異常點(diǎn)的可解釋性。模型的可解釋性部分與OmniAnomaly模型相比,不僅考慮了預(yù)測(cè)與實(shí)值的均方根誤差,還考慮了特征的信息,對(duì)于數(shù)據(jù)信息的利用更全面可靠。

1 基于GRU-Attention的無(wú)監(jiān)督檢測(cè)方法

1.1 問(wèn)題闡述

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

本文模型分為兩部分:預(yù)測(cè)部分與誤差閾值選取部分。如圖1所示,多變量時(shí)間序列數(shù)據(jù)同時(shí)輸入到基于時(shí)間預(yù)測(cè)層和基于特征預(yù)測(cè)層中,所得結(jié)果拼接后進(jìn)行線性變換即為預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果與真實(shí)值的均方根誤差輸入到誤差閾值選取部分,超過(guò)設(shè)定的誤差上限則認(rèn)為該時(shí)刻出現(xiàn)異常。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Overall structure

模型從兩個(gè)方面對(duì)多變量時(shí)序進(jìn)行預(yù)測(cè):

1) 基于時(shí)間預(yù)測(cè)層:為了更好地捕捉時(shí)間序列長(zhǎng)期特征,本文運(yùn)用Gated Recurrent Unit (GRU)進(jìn)行時(shí)序預(yù)測(cè)。考慮到數(shù)據(jù)可能存在周期性以及GRU無(wú)法記憶長(zhǎng)期歷史數(shù)據(jù),運(yùn)用GRU-skip來(lái)彌補(bǔ)這些缺陷,捕獲時(shí)序數(shù)據(jù)之間的更深層關(guān)系。相關(guān)內(nèi)容將在1.3節(jié)解釋。

2) 基于特征預(yù)測(cè)層:在特征維度上運(yùn)用注意力機(jī)制,得到每個(gè)變量對(duì)預(yù)測(cè)時(shí)刻的貢獻(xiàn),從而幫助進(jìn)行時(shí)序預(yù)測(cè)。相關(guān)內(nèi)容將于1.4節(jié)講述。

1.3 基于時(shí)間預(yù)測(cè)層

GRU細(xì)胞內(nèi)的結(jié)構(gòu)經(jīng)過(guò)精心設(shè)計(jì),以更好地記憶歷史信息,緩解RNN的梯度消失問(wèn)題,從而捕獲信息之間的長(zhǎng)期關(guān)系。然而,GRU在實(shí)際應(yīng)用中往往不能捕捉到長(zhǎng)時(shí)間變量的相關(guān)性,仍舊存在梯度消失的問(wèn)題。根據(jù)文獻(xiàn)[27],可以在GRU中增加一個(gè)跳躍組件來(lái)緩解這個(gè)問(wèn)題,本文將這一結(jié)構(gòu)稱為GRU-skip。此組件針對(duì)具有周期性這一特性的數(shù)據(jù),具體來(lái)說(shuō)就是在當(dāng)前隱藏單元與相鄰周期內(nèi)同一相位的隱藏單元增加跳轉(zhuǎn)鏈接,更新過(guò)程如公式(1)。

rt=σ(Wr·[ht-p,xt])

zt=σ(Wz·[ht-p,xt])

yts=σ(Wo·ht) 。

(1)

GRU-skip的輸入是CNN的輸出。其中p是一個(gè)超參數(shù),表示當(dāng)前隱藏單元與其向前跨越p個(gè)單元建立了鏈接。這個(gè)跳躍鏈接的建立對(duì)于周期不太明顯或是具有動(dòng)態(tài)周期的數(shù)據(jù)集而言效果欠佳。

(2)

圖2 基于時(shí)間預(yù)測(cè)層Fig.2 Time-based prediction layer

1.4 基于特征預(yù)測(cè)層

對(duì)于多維時(shí)間序列而言,不同變量的重要性不同,即對(duì)于待測(cè)點(diǎn)的權(quán)重不同。特征維度的信息對(duì)于異常檢測(cè)十分關(guān)鍵,以往模型并沒(méi)有重視此維度的信息。文獻(xiàn)[28]將注意力機(jī)制運(yùn)用到時(shí)間序列預(yù)測(cè)中得到了良好的效果。因此為了充分利用特征維度上每個(gè)變量的重要性這一信息,本文在特征維度上應(yīng)用了注意力機(jī)制。

目前,注意力模型被廣泛應(yīng)用于深度學(xué)習(xí)的各個(gè)領(lǐng)域,如圖像處理、自然語(yǔ)言處理、語(yǔ)音識(shí)別等。它的核心操作是從序列中學(xué)習(xí)每個(gè)元素的重要性,得到每個(gè)元素對(duì)應(yīng)的權(quán)值參數(shù),然后根據(jù)重要性合并元素,權(quán)重參數(shù)是由這個(gè)注意力系統(tǒng)分配給元素的系數(shù)。

如圖3所示，將原始數(shù)據(jù)Xt={xt-w,xt-w+1,…,xt-1,xt}∈Rw×m輸入到維持特征維度不變的GRU層中，得到輸出Gt={gt-w,gt-w+1,…,gt-1,gt}∈Rw×m，gt是t時(shí)刻GRU的輸出。之后，用k2個(gè)1×w的卷積核(w是滑動(dòng)窗口大小)對(duì)Gt的行向量進(jìn)行卷積操作，得到每個(gè)變量在時(shí)間維度上的深層特征，卷積結(jié)果用不同顏色正方形表示。所有卷積核掃過(guò)隱藏狀態(tài)的m個(gè)特征得到矩陣HC∈m×k2,此處激活函數(shù)仍選擇ReLu。卷積輸出指的是第j個(gè)卷積核掃過(guò)gt-w+1,gt-w+2,…,gt-1的第i個(gè)變量的結(jié)果，接下來(lái)通過(guò)得分函數(shù)計(jì)算每個(gè)變量的得分α，即每個(gè)變量對(duì)預(yù)測(cè)時(shí)刻的重要性。傳統(tǒng)的注意力機(jī)制的得分函數(shù)如下：

(3)

(4)

(5)

(6)

為減少參數(shù)提高效率，本文選擇(3)作為得分函數(shù)。得分函數(shù)：1×k2×Rk2×11,αi∈R1。αi越大意味著變量i對(duì)預(yù)測(cè)時(shí)刻t的貢獻(xiàn)越大，影響也越大。最后選擇sigmoid函數(shù)是因?yàn)樵诖蠖鄶?shù)情況下，softmax函數(shù)用于分類問(wèn)題，輸出是互斥的。sigmoid函數(shù)的輸出并不互斥，意味著可以同時(shí)選擇多個(gè)變量。在這里，我們希望得到每個(gè)變量的重要性，而不僅僅是重要性最大的變量，故激活函數(shù)選擇sigmoid。

(7)

(8)

(9)

1.5 誤差閾值選取

預(yù)測(cè)模型的損失函數(shù)選擇均方根誤差(RMSE)：

(10)

將測(cè)試集輸入到訓(xùn)練好的預(yù)測(cè)模型中，得到的測(cè)試集中每個(gè)觀測(cè)點(diǎn)的預(yù)測(cè)值與真實(shí)值的均方根誤差記為{l1,l2,…,lQ}∈Q，并運(yùn)用極值理論(EVT)中的POT(Peaks over Threshold)模型對(duì)這個(gè)子序列選取閾值。

極值理論是尋找序列中極值規(guī)律的一種統(tǒng)計(jì)理論，一般認(rèn)為極值在異常檢測(cè)問(wèn)題中就是要尋找的異常點(diǎn),它們?cè)诖蠖鄶?shù)情況下位于分布的尾部。極值理論的優(yōu)勢(shì)在于無(wú)需對(duì)數(shù)據(jù)分布進(jìn)行假設(shè)并且可以通過(guò)參數(shù)選取達(dá)到自動(dòng)設(shè)置閾值的目的。其第二定理POT表明：大于某閾值的樣本服從廣義帕累托分布(GPD)。因此，通過(guò)POT去選取閾值th：

(11)

(12)

q是L>th的比例，Q是觀測(cè)值個(gè)數(shù)，Qth是L>th的個(gè)數(shù)。用POT做閾值選取，需要調(diào)參過(guò)程。

圖3 基于特征預(yù)測(cè)層Fig.3 Feature-based prediction layer

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集描述與數(shù)據(jù)預(yù)處理

為驗(yàn)證該模型的有效性，在以下三個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn):MSL (Mars Science Laboratory rover)、SMAP (Soil Moisture Active Passive satellite)和SMD (Server Machine Dataset)。其中，MSL和SMAP是美國(guó)NASA的兩個(gè)航天器公共數(shù)據(jù)集[29]。SMD數(shù)據(jù)集[26]來(lái)自一家大型互聯(lián)網(wǎng)公司長(zhǎng)達(dá)五周的服務(wù)器數(shù)據(jù)，數(shù)據(jù)已發(fā)布在GitHub上。SMD分為數(shù)據(jù)大小相同的兩部分，第一部分是訓(xùn)練集，第二部分是測(cè)試集。測(cè)試集上的異常數(shù)據(jù)已經(jīng)由相關(guān)領(lǐng)域的專家進(jìn)行了標(biāo)記，其中，訓(xùn)練集和測(cè)試集分別包含28組數(shù)據(jù)，需要分開(kāi)訓(xùn)練和測(cè)試，即訓(xùn)練集中第1組數(shù)據(jù)訓(xùn)練的模型，由測(cè)試集中第1組數(shù)據(jù)進(jìn)行測(cè)試。最終SMD數(shù)據(jù)集中指標(biāo)得分取的是28組數(shù)據(jù)的平均值。

MSL和SMAP數(shù)據(jù)集保持時(shí)間順序被分成訓(xùn)練集(60%)、驗(yàn)證集(20%)和測(cè)試集(20%)，SMD數(shù)據(jù)集是已經(jīng)分好的28組訓(xùn)練集與測(cè)試集中，分別訓(xùn)練之后一一對(duì)應(yīng)分別測(cè)試。

表1 數(shù)據(jù)集信息

表1給出了三個(gè)數(shù)據(jù)集的詳細(xì)信息，包括變量個(gè)數(shù)、訓(xùn)練集大小、測(cè)試集大小以及測(cè)試集中異常樣本比例。對(duì)于多維時(shí)間序列而言不同變量的量綱不同，為了不讓這種數(shù)值大小差異影響模型預(yù)測(cè)和閾值選擇，運(yùn)用最大最小歸一化方法對(duì)所有數(shù)據(jù)進(jìn)行預(yù)處理：

(13)

表2 模型性能比較

2.2 評(píng)價(jià)指標(biāo)與參數(shù)設(shè)置

與大多異常檢測(cè)問(wèn)題相同，本文使用精度、召回率和F1-score來(lái)評(píng)估GRU-Attention和其他算法。計(jì)算方法如下：

Precision(P)=TP/(TP+FP)，

(14)

Recall(R)=TP/(TP+FN)，

(15)

(16)

其中，TP和FP分別表示真正例數(shù)和假正例數(shù),FN指假負(fù)例數(shù)。上述三個(gè)指標(biāo)的值越高，表明模型魯棒性越強(qiáng)。

模型參數(shù)設(shè)置：滑動(dòng)窗口w都取100,使用Adam優(yōu)化器訓(xùn)練100次，學(xué)習(xí)率是0.1，GRU-skip中的p=20,兩個(gè)預(yù)測(cè)層中卷積核個(gè)數(shù)k1=k2=200，基于時(shí)間預(yù)測(cè)層中d=6,GRU隱藏層維度為300，閾值選取中q=0.001。

2.3 模型比較

本部分將展示與其他4種模型在三個(gè)數(shù)據(jù)集上的比較結(jié)果，比較的模型包括有LSTM-NDT[5]、LSTM-VAE[7]、DAGMM[24]、OmniAnomaly[26]。如表2所示，GRU-Attention具有良好的泛化能力,在兩個(gè)數(shù)據(jù)集上取得最高的F1值，在SMAP略低于最優(yōu)結(jié)果。

LSTM-NDT在SMAP上有很高得分，但是在MSL和SMD數(shù)據(jù)集上表現(xiàn)較差，體現(xiàn)出該模型對(duì)不同場(chǎng)景十分敏感。而本文模型在不同數(shù)據(jù)集上表現(xiàn)穩(wěn)定且性能優(yōu)異。

短期信息對(duì)于多元時(shí)序也很重要，DAGMM的性能不夠理想的原因是沒(méi)考慮短期信息。模型GRU-Attention使用GRU以及GRU-skip來(lái)捕捉時(shí)序的短期和長(zhǎng)期的依賴性，這些設(shè)計(jì)有助于獲得比DAGMM更好的魯棒性。本文還進(jìn)行附加消融實(shí)驗(yàn)(見(jiàn)2.4節(jié))以比較不同部分設(shè)計(jì)的有效性。OmniAnomaly應(yīng)用了隨機(jī)模型，將變量看成隨機(jī)變量進(jìn)而學(xué)習(xí)其分布，在三個(gè)數(shù)據(jù)集上都有很高的性能體現(xiàn)。該模型局限性在于沒(méi)有利用特征維度上變量間的關(guān)系，GRU-Attention在特征維度應(yīng)用注意力機(jī)制有效提高了模型性能，在三個(gè)數(shù)據(jù)集上得分都高于OmniAnomaly。

2.4 模塊有效性

為了更好說(shuō)明預(yù)測(cè)部分每個(gè)組件設(shè)計(jì)的必要性和有效性，本文增加了四組對(duì)比試驗(yàn)。分別在原始模型中的預(yù)測(cè)部分去掉基于時(shí)間預(yù)測(cè)部分、基于特征預(yù)測(cè)部分、基于時(shí)間預(yù)測(cè)部分的GRU和GRU-skip模塊再進(jìn)行訓(xùn)練，最后進(jìn)行測(cè)試。并且對(duì)于去掉不同組件之后的模型，都將參數(shù)個(gè)數(shù)調(diào)整到與原始模型參數(shù)個(gè)數(shù)相近，從而避免模型復(fù)雜度對(duì)于各個(gè)模塊有效性分析的影響。

去掉時(shí)間預(yù)測(cè)層中的傳統(tǒng)預(yù)測(cè)部分GRU：模型記為w/o GRU。預(yù)測(cè)層的輸出直接為特征預(yù)測(cè)層與GRU-skip結(jié)果拼接后進(jìn)行線性變換得到。

去掉時(shí)間預(yù)測(cè)層中的GRU-skip部分：模型記為w/o GRU-skip。預(yù)測(cè)層的輸出直接為特征預(yù)測(cè)層與GRU-skip結(jié)果拼接后進(jìn)行線性變換得到。

從表3來(lái)看，不同模塊對(duì)于不同數(shù)據(jù)集的影響不同。對(duì)于MSL數(shù)據(jù)集而言，去掉特征預(yù)測(cè)層后F1值降低15%，GRU-skip對(duì)其影響次之。時(shí)間預(yù)測(cè)層對(duì)SMAP影響最大，其他部分的影響比較平均。在SMD上的數(shù)據(jù)顯示所有的組件對(duì)于異常檢測(cè)都很關(guān)鍵，F(xiàn)1值降低超過(guò)18%，尤其是GRU部分的缺失使得模型性能降低了近27%。通過(guò)這一部分的實(shí)驗(yàn)，說(shuō)明本文模型每個(gè)模塊的設(shè)計(jì)是必要且有效的。

2.5 異常點(diǎn)解釋性評(píng)估

多變量異常檢測(cè)比單變量異常檢測(cè)復(fù)雜的原因在于異常的出現(xiàn)可能是多個(gè)特征共同作用的結(jié)果，因此能否找到導(dǎo)致異常出現(xiàn)的特征至關(guān)重要。異常點(diǎn)解釋性評(píng)估指評(píng)估模型找到導(dǎo)致異常出現(xiàn)的關(guān)鍵特征的能力。SMD數(shù)據(jù)集的28個(gè)測(cè)試集標(biāo)出了導(dǎo)致異常出現(xiàn)的特征，其他數(shù)據(jù)集均沒(méi)有相關(guān)信息，故本文僅在SMD數(shù)據(jù)集上做異常點(diǎn)解釋性的評(píng)估計(jì)算。將特征對(duì)觀測(cè)點(diǎn)xt的重要性定義為ASt：

表3 模塊有效性比較

圖4 案例分析Fig.4 Case study

ASt=losst+at，

(17)

losst=(yt-xt)2∈Rm，

(18)

其中，yt是預(yù)測(cè)模型對(duì)t時(shí)刻的預(yù)測(cè)值，xt是真實(shí)值，losst為預(yù)測(cè)值與真實(shí)值的均方根誤差，yt,i與xt,i(i=1,2,…,m)之間誤差越大意味著第i個(gè)特征出現(xiàn)異常的可能性越大，對(duì)xt的影響也越大。αt∈1×m是特征預(yù)測(cè)層中注意力機(jī)制得到的每個(gè)特征對(duì)預(yù)測(cè)點(diǎn)的貢獻(xiàn)，αt越大顯然對(duì)xt影響越大。因此，本文將這兩部分相加定義為特征對(duì)于待測(cè)點(diǎn)的重要性。

之后，將ASt中的值按重要性大小排序，將其對(duì)應(yīng)的特征記錄在ASLt中，故ASLt中就是按照重要性大小排序的特征。將SMD數(shù)據(jù)集中提供的對(duì)xt起主要影響的特征記為GTt，由于尚無(wú)評(píng)估異常點(diǎn)解釋性的標(biāo)準(zhǔn)度量，故本文采用文獻(xiàn)[17]相同的評(píng)估方法：

(19)

此處，|GTt|是真實(shí)情況下造成t時(shí)刻出現(xiàn)異常的特征個(gè)數(shù)。Hit@P×|GTt|是指ASLt中的前P×|GTt|個(gè)特征與GTt中的特征重疊的個(gè)數(shù)，P取1和1.5。假設(shè)xt是異常點(diǎn)，模型得到的導(dǎo)致異常出現(xiàn)的特征降序?yàn)锳SLt={3，6，15，21，10，18}，GTt={6，15}，則P=1時(shí)，HitRate@P=0.5；P=1.5時(shí)，HitRate@P=1。在SMD中的28個(gè)數(shù)據(jù)集分別進(jìn)行上述過(guò)程后取平均值之后得到HitRate@1=0.740 8；HitRate@1.5=0.794 3?？梢?jiàn)，多數(shù)導(dǎo)致異常出現(xiàn)的特征都能被準(zhǔn)確找到。

2.6 案例研究

前文提到注意力機(jī)制旨在將多條線對(duì)當(dāng)前預(yù)測(cè)結(jié)果的貢獻(xiàn)度進(jìn)行量化，為了驗(yàn)證注意力機(jī)制獲得得分的實(shí)際價(jià)值，在本節(jié)通過(guò)圖4展示正常和異常點(diǎn)部分特征的原始圖像進(jìn)行分析。圖4(a)展示數(shù)據(jù)正常時(shí)的情況：抽取該時(shí)間點(diǎn)的8個(gè)特征，按照注意力機(jī)制得到的得分α降序畫出8個(gè)特征的原始數(shù)據(jù)曲線圖,綠線是正常點(diǎn)的對(duì)應(yīng)時(shí)刻。這個(gè)正常點(diǎn)得分高的特征有特征23、6、14、24。具有較高貢獻(xiàn)度的特征23和特征6具有顯著的周期性，并且周期性沒(méi)有出現(xiàn)明顯的震蕩或者波動(dòng)，貢獻(xiàn)度較低的特征同樣處于穩(wěn)定狀態(tài)。說(shuō)明正常情況下，注意力機(jī)制側(cè)重于關(guān)注周期性明顯的特征，這些特征對(duì)于預(yù)測(cè)更為重要，故給予較高權(quán)重。對(duì)于長(zhǎng)期是定值或是正常情況下取值范圍波動(dòng)較小的特征給予較少關(guān)注。

圖4(b)展示數(shù)據(jù)異常時(shí)的情況，紅線是異常點(diǎn)出現(xiàn)的時(shí)刻。可以看到貢獻(xiàn)度最高的特征23的周期性被打破，明顯出現(xiàn)異常。第二和第三條曲線代表的特征14和9都出現(xiàn)了明顯的尖峰，顯著的區(qū)別于之前正常情況下的平穩(wěn)狀態(tài)。第四條曲線可以看到異常時(shí)刻特征24的取值發(fā)生下降，顯然不在正常時(shí)刻的取值范圍內(nèi)。得分較低的后四個(gè)特征取值沒(méi)有出現(xiàn)異常。

通過(guò)以上的案例分析，得知注意力機(jī)制能夠有效得到每個(gè)特征對(duì)于待測(cè)點(diǎn)xt的權(quán)重(即每個(gè)特征的重要性)。因此，注意力機(jī)制中得到的每個(gè)特征的得分可以作為衡量特征對(duì)預(yù)測(cè)點(diǎn)重要性ASt值(2.5節(jié)提到)的一部分。

3 結(jié)論

本文提出了一種新的多變量時(shí)間序列異常檢測(cè)框架。通過(guò)利用多元時(shí)間序列的時(shí)間關(guān)系和特征關(guān)系聯(lián)合進(jìn)行預(yù)測(cè)。模型在三個(gè)公共數(shù)據(jù)集上優(yōu)于其他的4種模型。除此之外，該模型擁有良好的異常點(diǎn)解釋性，能夠有效幫助人們尋找異常事件的實(shí)際根源，定位到出現(xiàn)異常的特征。未來(lái)的工作可能來(lái)自于兩方面，第一，嘗試將預(yù)測(cè)模型與重構(gòu)模型結(jié)合，有望進(jìn)一步提升模型的精度；第二,目前的異常診斷是在相對(duì)簡(jiǎn)單的場(chǎng)景下進(jìn)行的，之后可以將模型來(lái)應(yīng)用于復(fù)雜案例。