基于圖框架變換的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型

楊圣鵬, 施建棟, 周斯煒, 李 明

(1.浙江師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,浙江 金華 321004;2.浙江師范大學(xué) 浙江省智能教育技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室,浙江 金華 321004)

0 引 言

自基于深度學(xué)習(xí)的數(shù)據(jù)分析方法在學(xué)術(shù)界取得系列成果以來,已經(jīng)有大量的模型應(yīng)用深度學(xué)習(xí)技術(shù)對(duì)各類數(shù)據(jù)進(jìn)行分析和處理,并在多個(gè)領(lǐng)域取得了廣泛的應(yīng)用.然而,目前大部分的模型僅適用于處理歐氏空間的網(wǎng)格型數(shù)據(jù).Kipf等[1]指出,由于非歐結(jié)構(gòu)的圖數(shù)據(jù)不具備歐氏空間中的規(guī)則性和均勻性,所以傳統(tǒng)的卷積操作無法直接應(yīng)用于圖數(shù)據(jù)的特征提取;Bruna等[2]指出,由于圖數(shù)據(jù)的頻譜特性和傳統(tǒng)信號(hào)處理中的頻譜特性存在差異,所以歐氏空間中的頻域處理方法也無法直接應(yīng)用于非歐結(jié)構(gòu)的圖數(shù)據(jù);Hamilton等[3]也明確了由于非歐結(jié)構(gòu)的圖數(shù)據(jù)具有復(fù)雜的連接關(guān)系和異構(gòu)節(jié)點(diǎn)屬性,傳統(tǒng)的特征聚合方法無法充分捕捉到圖數(shù)據(jù)的全局結(jié)構(gòu)和節(jié)點(diǎn)之間的復(fù)雜交互.而在數(shù)據(jù)表現(xiàn)形式繁多的大數(shù)據(jù)時(shí)代,非歐結(jié)構(gòu)圖數(shù)據(jù)的應(yīng)用背景又非常廣泛.例如,在社交網(wǎng)絡(luò)分析領(lǐng)域,通過分析社交網(wǎng)絡(luò)中的節(jié)點(diǎn)和邊的連接模式,可以揭示社會(huì)關(guān)系、社交影響力、社區(qū)發(fā)現(xiàn)等信息,從而實(shí)現(xiàn)更精準(zhǔn)的個(gè)性化推薦和媒體營銷[4].在交通網(wǎng)絡(luò)規(guī)劃中,通過分析交通網(wǎng)絡(luò)中節(jié)點(diǎn)和邊的連接關(guān)系,可以進(jìn)行路徑規(guī)劃、交通流量預(yù)測(cè)等工作,有助于改善交通運(yùn)輸系統(tǒng)[5].此外,圖數(shù)據(jù)還在知識(shí)圖譜、網(wǎng)絡(luò)安全、推薦系統(tǒng)等領(lǐng)域得到了廣泛的應(yīng)用,通過構(gòu)建和分析圖數(shù)據(jù),能夠從復(fù)雜的關(guān)系中發(fā)現(xiàn)隱藏的模式和知識(shí),從而實(shí)現(xiàn)智能搜索、語義理解、智能推薦等功能[6].歐氏空間網(wǎng)格型數(shù)據(jù)與非歐空間圖結(jié)構(gòu)數(shù)據(jù)特征如圖1所示.

(a)歐氏空間網(wǎng)格型數(shù)據(jù) (b)非歐空間圖結(jié)構(gòu)數(shù)據(jù)

動(dòng)態(tài)圖是非歐空間圖結(jié)構(gòu)數(shù)據(jù)中一類特殊的數(shù)據(jù)形式,具有豐富的時(shí)間和空間演變特征.在以往的研究中,Wang等[7]提出了通過聚合鄰居節(jié)點(diǎn)特征來更新中心節(jié)點(diǎn)表示的動(dòng)態(tài)圖卷積模型,并與傳統(tǒng)的靜態(tài)圖卷積模型在分類任務(wù)和分割任務(wù)上進(jìn)行了實(shí)驗(yàn)對(duì)比,發(fā)現(xiàn)用圖卷積網(wǎng)絡(luò)等靜態(tài)圖模型對(duì)動(dòng)態(tài)圖進(jìn)行表示學(xué)習(xí)會(huì)導(dǎo)致信息丟失,使實(shí)驗(yàn)結(jié)果變差;Manessi等[8]在靜態(tài)圖中引入時(shí)間維度,將靜態(tài)圖擴(kuò)展為動(dòng)態(tài)圖并提出了用鄰居節(jié)點(diǎn)信息和時(shí)間維度的變化更新節(jié)點(diǎn)特征的動(dòng)態(tài)圖卷積模型,分別完成了圖分類和圖預(yù)測(cè)任務(wù),發(fā)現(xiàn)靜態(tài)圖卷積模型無法處理動(dòng)態(tài)圖數(shù)據(jù)中節(jié)點(diǎn)的新增、刪除和連接關(guān)系的變化,無法直接對(duì)動(dòng)態(tài)圖數(shù)據(jù)的時(shí)空演變進(jìn)行建模;Pareja等[9]提出了將RNN[10]和GCN[11]結(jié)合使用的動(dòng)態(tài)圖表示學(xué)習(xí)方法,并指出因?yàn)殪o態(tài)圖模型無法自適應(yīng)地學(xué)習(xí)圖結(jié)構(gòu)和特征隨時(shí)間變化時(shí)的演變特征,所以靜態(tài)圖表示學(xué)習(xí)方法在動(dòng)態(tài)圖中并不適用.因此,動(dòng)態(tài)圖表示學(xué)習(xí)領(lǐng)域吸引了眾多研究者的關(guān)注,提出了各種方法來處理這種動(dòng)態(tài)圖數(shù)據(jù).例如,Sankar等[12]在動(dòng)態(tài)圖表示學(xué)習(xí)中引入注意力機(jī)制,構(gòu)建不同時(shí)間下圖演變的時(shí)間和空間信息;Liu等[13]在RNN[10]和GCN[11]之中引入Z核結(jié)構(gòu),進(jìn)一步考慮了動(dòng)態(tài)圖單個(gè)時(shí)間戳中的同一局部不同細(xì)粒度的相似信息,提高了后續(xù)任務(wù)的效果;Yu等[14]通過深層自編碼器和圖距離游走方式對(duì)動(dòng)態(tài)圖進(jìn)行重新編碼,實(shí)時(shí)更新節(jié)點(diǎn)狀態(tài)并進(jìn)行圖聚類分析;Liu等[15]綜合考慮動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)在同一時(shí)刻的全局信息、局部信息和動(dòng)態(tài)演變信息,在多個(gè)動(dòng)態(tài)圖異常檢測(cè)基準(zhǔn)數(shù)據(jù)集上取得了最佳效果.

基于上述處理歐氏結(jié)構(gòu)的特征提取方式并不適用于非歐結(jié)構(gòu),且靜態(tài)圖表示學(xué)習(xí)模型也無法準(zhǔn)確捕獲動(dòng)態(tài)圖中的時(shí)空演變特征的論述,本文提出一種針對(duì)動(dòng)態(tài)圖表示學(xué)習(xí)的模型,主要?jiǎng)?chuàng)新和貢獻(xiàn)總結(jié)如下：

1)將動(dòng)態(tài)圖表示學(xué)習(xí)與非歐空間圖框架理論結(jié)合起來,提出了一種基于圖變換框架的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型,進(jìn)一步拓展基于譜方法的動(dòng)態(tài)圖表示學(xué)習(xí)技術(shù);

2)通過兼顧低通濾波器和高通濾波器,所提模型能夠有效地挖掘動(dòng)態(tài)圖的低頻、高頻信息及其演變模式,提升了動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)的表達(dá)能力;

3)所提模型在3個(gè)動(dòng)態(tài)圖公共基準(zhǔn)數(shù)據(jù)集上的精度優(yōu)于已有動(dòng)態(tài)圖表示學(xué)習(xí)算法,驗(yàn)證了基于圖框架變換的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型的潛在優(yōu)勢(shì).

1 動(dòng)態(tài)圖與動(dòng)態(tài)圖表示學(xué)習(xí)的定義

1.1 動(dòng)態(tài)圖

根據(jù)數(shù)據(jù)的時(shí)序處理角度可以把動(dòng)態(tài)圖劃分為兩大類：一類是在固定的時(shí)間戳中記錄圖數(shù)據(jù),稱為離散動(dòng)態(tài)圖,如圖2(a)所示;另一類是記錄連續(xù)時(shí)間下的圖數(shù)據(jù),稱為連續(xù)動(dòng)態(tài)圖,如圖2(b)所示.

(a)離散動(dòng)態(tài)圖 (b)連續(xù)動(dòng)態(tài)圖

本文基于離散動(dòng)態(tài)圖結(jié)構(gòu),根據(jù)離散動(dòng)態(tài)圖中頂點(diǎn)和邊的動(dòng)態(tài)特性進(jìn)一步把它劃分為如下3類圖形.

第1類：圖3表示帶有動(dòng)態(tài)特征的靜態(tài)圖結(jié)構(gòu),它是圖矩陣G和節(jié)點(diǎn)特征矩陣X的有序集合D={(G,X1),(G,X2),…,(G,XT)},其中節(jié)點(diǎn)特征矩陣滿足Xt∈R|V|×d,?t∈{1,2,…,T}為時(shí)間序列中單個(gè)時(shí)間戳,V={v1,v2,v3,…},vi(i=1,2,…)為節(jié)點(diǎn),|V|表示節(jié)點(diǎn)數(shù)量,d表示特征維度.即在該類動(dòng)態(tài)圖中,節(jié)點(diǎn)特征隨著時(shí)間的流逝而發(fā)生改變,圖形的結(jié)構(gòu)在各個(gè)時(shí)刻中均不發(fā)生改變.

圖3 特征演變的動(dòng)態(tài)圖結(jié)構(gòu)

第2類：圖4表示帶有靜態(tài)特征的動(dòng)態(tài)圖結(jié)構(gòu),它是圖矩陣和節(jié)點(diǎn)特征矩陣的有序集合D={(G1,X),(G2,X),…,(GT,X)},其中Gt為t時(shí)刻的圖矩陣,節(jié)點(diǎn)集合滿足Vt=V,?t∈{1,2,…,T},節(jié)點(diǎn)特征矩陣滿足X∈R|V|×d.即在該類動(dòng)態(tài)圖中,節(jié)點(diǎn)特征在各個(gè)時(shí)刻中均不發(fā)生改變,圖形的結(jié)構(gòu)隨著時(shí)間的流逝而發(fā)生改變.

圖4 圖結(jié)構(gòu)演變的動(dòng)態(tài)圖

第3類：圖5表示帶有動(dòng)態(tài)特征的動(dòng)態(tài)圖結(jié)構(gòu),它是圖矩陣和節(jié)點(diǎn)特征矩陣的有序集合D={(G1,X1),(G2,X2),…,(GT,XT)},其中節(jié)點(diǎn)集合滿足Vt=V,?t∈{1,2,…,T},節(jié)點(diǎn)特征矩陣滿足Xt∈R|V|×d,?t∈{1,2,…,T}.即在該類動(dòng)態(tài)圖中,節(jié)點(diǎn)特征和圖形結(jié)構(gòu)在不同時(shí)刻均發(fā)生改變.

圖5 特征及結(jié)構(gòu)同時(shí)演變的動(dòng)態(tài)圖

1.2 動(dòng)態(tài)圖表示學(xué)習(xí)

動(dòng)態(tài)圖表示學(xué)習(xí)是指從動(dòng)態(tài)圖數(shù)據(jù)中學(xué)習(xí)節(jié)點(diǎn)和邊嵌入的任務(wù).給定動(dòng)態(tài)圖=(V,E,T)作為模型輸入,其中E表示邊集合,然后用神經(jīng)網(wǎng)絡(luò)的方法設(shè)計(jì)一個(gè)函數(shù)F表示可以映射節(jié)點(diǎn)和邊特征的模型,使得在具體的時(shí)間戳t下,動(dòng)態(tài)圖中每個(gè)節(jié)點(diǎn)v∈V和邊e∈E,有hv(t)=F(v,t),he(t)=F(e,t)分別對(duì)節(jié)點(diǎn)v和邊e進(jìn)行嵌入,旨在捕捉動(dòng)態(tài)圖中節(jié)點(diǎn)和邊在時(shí)空演變過程中的關(guān)聯(lián)性和變化模式,為后續(xù)的圖分析、預(yù)測(cè)和推薦等任務(wù)提供有意義的指導(dǎo).

2 基于圖框架變換的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型

目前大部分的圖神經(jīng)網(wǎng)絡(luò)都是基于空間建模的,如GCN[11],GAT[16]等,這些方法通過空間消息傳遞的方式計(jì)算鄰居節(jié)點(diǎn)的信息,并通過圖卷積技術(shù)將源節(jié)點(diǎn)和目標(biāo)節(jié)點(diǎn)的信息匯聚整合,經(jīng)過多層網(wǎng)絡(luò)堆疊訓(xùn)練,最終實(shí)現(xiàn)全圖特征學(xué)習(xí).然而,這些基于空域建模的方法存在一些局限性,淺層圖卷積技術(shù)無法有效傳播節(jié)點(diǎn)標(biāo)簽,而深層圖卷積堆疊會(huì)導(dǎo)致特征過度平滑,難以區(qū)分不同類別的節(jié)點(diǎn)[6,11].另一種建模方法是通過傅里葉變換把信號(hào)傳入譜域,先將空域信號(hào)投影到傅里葉基上,以此確定信號(hào)在譜圖中的幅值大小,進(jìn)行系列操作后再通過逆傅里葉變換無差別地將信號(hào)傳回空域,這種基于譜域的數(shù)據(jù)分析和建模方法對(duì)于頻率隨著時(shí)間發(fā)生改變的非平穩(wěn)信號(hào)有著很大的局限性[17].

為了彌補(bǔ)基于空域和譜域建模的缺陷,考慮到小波變換比較適用于處理非平穩(wěn)過程的信號(hào)特點(diǎn),決定引入小波變換.在現(xiàn)有的研究中,Xu等[18]在傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上引入了小波變換,在不同的頻率尺度上提取圖結(jié)構(gòu)和特征信息,從而實(shí)現(xiàn)更全面的圖表示學(xué)習(xí),但模型整體結(jié)構(gòu)注重局部鄰域的信息,對(duì)全局圖結(jié)構(gòu)表示相對(duì)較弱,這導(dǎo)致在一些全局性圖任務(wù)學(xué)習(xí)或者具有長(zhǎng)程依賴關(guān)系的圖數(shù)據(jù)上性能受限.Zheng等[19]提出了用小波圖框架來增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)的性能,將信號(hào)分解為不同的頻域子空間來更好地表示信號(hào)的細(xì)節(jié)和整體特征,從而提高圖神經(jīng)網(wǎng)絡(luò)對(duì)于圖結(jié)構(gòu)的特征提取能力,該模型只考慮了靜態(tài)圖結(jié)構(gòu),并沒有進(jìn)一步將小波變換用于動(dòng)態(tài)圖結(jié)構(gòu)中.本文受此啟發(fā),首先將空域信號(hào)投影到小波基上,然后對(duì)低頻信號(hào)和高頻信號(hào)有區(qū)分地進(jìn)行濾波操作,并在譜空間設(shè)計(jì)激活函數(shù)進(jìn)行信號(hào)壓縮和去噪,從而構(gòu)建了一個(gè)針對(duì)動(dòng)態(tài)圖信號(hào)提取的譜域卷積模型,再用整個(gè)卷積模塊替換長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)中的乘積操作,利用長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)數(shù)據(jù)中長(zhǎng)程依賴關(guān)系的特性,捕捉動(dòng)態(tài)圖的演變特征,構(gòu)建了基于圖卷積框架變換的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型,即dynamic graph neural network model based on graph frameles transform(GFTLSTM),模型結(jié)構(gòu)如圖6所示.

2.1 基于圖框架變換的多尺度圖卷積

2.1.1 動(dòng)態(tài)圖信號(hào)轉(zhuǎn)換

圖6 基于圖框架變換的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型框架示意圖

(1)

(2)

由于深度學(xué)習(xí)訓(xùn)練的數(shù)據(jù)是張量形式,所以式(1)和式(2)在具體實(shí)現(xiàn)時(shí)將傅里葉變換替換成小波變換后,對(duì)于圖信號(hào)s的轉(zhuǎn)換可以通過信號(hào)分解矩陣Wr,j(r=0,1,…,n)和信號(hào)重構(gòu)矩陣Br,j來執(zhí)行[19].由信號(hào)分解矩陣可以構(gòu)成一個(gè)長(zhǎng)度為nJ+1的矩陣集合Q,如式(3) 所示[20].

Q={Wr,j|r=1,2,…,m;j=1,2,…,J}∪{W0,J}.

(3)

2.1.2 多尺度圖卷積

綜合上述動(dòng)態(tài)圖信號(hào)轉(zhuǎn)換知識(shí),為了更好地捕獲動(dòng)態(tài)圖演變特征,本文將t-1時(shí)刻的隱狀態(tài)矩陣ht-1與當(dāng)前時(shí)刻的輸入特征矩陣Xt作為卷積模型的輸入特征,卷積計(jì)算過程如式(4)和式(5)所示.

(4)

(5)

Ss(x)=sgn(x)(|x|-δ)+;

(6)

Sh(x)=x(|x|-δ).

(7)

式(6)和式(7)中：Ss和Sh分別為Shrinkage-soft和Shrinkage-hard信號(hào)壓縮函數(shù);sgn()為符號(hào)函數(shù);x為輸入特征;δ作為一個(gè)門限值,可以控制信號(hào)分量值,進(jìn)一步壓縮信號(hào).

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory networks,LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)中的一種,主要用于解決長(zhǎng)序列訓(xùn)練過程中的梯度消失和梯度爆炸問題[21].本文將圖卷積操作與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)相融合,將長(zhǎng)短期記憶網(wǎng)絡(luò)中輸入矩陣Xt與上一時(shí)刻的外部狀態(tài)ht-1同權(quán)重矩陣Aξ,Uξ(ξ∈{i,f,c,o})的乘積操作替換成基于圖框架變換的多尺度圖卷積.具體處理過程如式(8)所示.

(8)

式(8)中：*表示基于圖框架變換的多尺度卷積操作;bξ表示偏置矩陣;mρ(ρ∈{i,f,o})表示對(duì)角矩陣;ct-1表示上一時(shí)刻的內(nèi)部狀態(tài),記錄了時(shí)序中到上一時(shí)刻為止的所有歷史信息;輸入門it的作用是對(duì)當(dāng)前輸入數(shù)據(jù)進(jìn)行選擇性記憶,減少不重要信息的輸入;遺忘門ft的作用是選擇性地忘記上一時(shí)刻的內(nèi)部狀態(tài)信息,刪除不重要的信息;ct表示當(dāng)前時(shí)刻的內(nèi)部狀態(tài),用于更新需要保留的信息;輸出門ot的作用是控制當(dāng)前時(shí)刻的內(nèi)部狀態(tài)ct有多少信息需要輸出給外部狀態(tài)ht.

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集簡(jiǎn)介

1)Chickenpox Hungary[22]

匈牙利官方報(bào)告的2005—2015年匈牙利每周水痘病例動(dòng)態(tài)圖數(shù)據(jù)集,節(jié)點(diǎn)是縣城,邊表示縣城之間的鄰接關(guān)系,預(yù)測(cè)目標(biāo)是下一周的患病數(shù)量.

2)Pedal Me London[22]

一個(gè)描述2020—2021年倫敦貨運(yùn)自行車物流公司每周交付訂單量的動(dòng)態(tài)圖數(shù)據(jù)集,節(jié)點(diǎn)是地理位置單元,邊描述的是節(jié)點(diǎn)的空間連接關(guān)系,預(yù)測(cè)目標(biāo)是下一周的交貨數(shù)量.

3)Wikipedia Math[22]

一個(gè)描述2019年3月到2020年3月用戶每天訪問維基百科次數(shù)的動(dòng)態(tài)圖數(shù)據(jù)集,是一個(gè)有向加權(quán)的動(dòng)態(tài)圖,節(jié)點(diǎn)是維基百科中關(guān)于數(shù)學(xué)話題的頁面,邊的權(quán)重表示在源維基百科鏈接到目標(biāo)維基百科的數(shù)量,預(yù)測(cè)目標(biāo)是下一天的頁面訪問量.

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在3個(gè)動(dòng)態(tài)圖數(shù)據(jù)集上采用如下2種不同的訓(xùn)練方式：

1)Incremental：動(dòng)態(tài)圖中的每個(gè)時(shí)序快照都會(huì)更新?lián)p失和訓(xùn)練權(quán)重.

2)Cumulative：動(dòng)態(tài)圖中的每個(gè)時(shí)序快照中的損失會(huì)被累積后再進(jìn)行反向傳播.

在Incremental訓(xùn)練方式上,采用Shrinkage-hard函數(shù),硬性閾值特性能夠?qū)⑤^小的權(quán)重壓縮為0,減少舊數(shù)據(jù)的影響,使得模型更快地適應(yīng)新的動(dòng)態(tài)圖變化;在Cumulative訓(xùn)練方式上,采用Shrinkage-soft函數(shù),軟閾值特性可以對(duì)權(quán)重進(jìn)行平滑收縮,減少權(quán)重的幅度,但不將其直接壓縮為0,有助于保留歷史數(shù)據(jù)信息,綜合考慮整個(gè)動(dòng)態(tài)圖的演變關(guān)聯(lián)特征.本文模型中的超參數(shù)設(shè)置見表1.

表1 模型超參數(shù)

3.3 評(píng)估指標(biāo)

第1個(gè)評(píng)估指標(biāo)是均方誤差(MSE),是指樣本估計(jì)值與樣本真實(shí)值之差平方的期望值.

(9)

式(9)中：Ly為樣本均方誤差;yi表示真實(shí)的樣本值;o={o1,o2,…,oN}表示模型輸出值.

第2個(gè)指標(biāo)是標(biāo)準(zhǔn)差,是用來度量一組數(shù)據(jù)平均值分散程度的指標(biāo),可以反映數(shù)據(jù)的準(zhǔn)確程度.一個(gè)較大的標(biāo)準(zhǔn)差,代表大部分?jǐn)?shù)值和其平均值之間差異較大,反之,代表這些數(shù)值接近平均值.

(10)

3.4 實(shí)驗(yàn)結(jié)果與討論

本文實(shí)驗(yàn)的對(duì)比數(shù)據(jù)和對(duì)比模型均引自文獻(xiàn)[22],以監(jiān)督學(xué)習(xí)的方式,把動(dòng)態(tài)圖數(shù)據(jù)集按時(shí)序輸入模型中,然后輸出下一時(shí)刻的預(yù)測(cè)結(jié)果.每一個(gè)數(shù)據(jù)集在2種不同的訓(xùn)練方式下重復(fù)10次實(shí)驗(yàn),縱向比較其他模型的預(yù)測(cè)結(jié)果,引入均方誤差來評(píng)價(jià)模型的性能并計(jì)算標(biāo)準(zhǔn)差用于輔助驗(yàn)證,實(shí)驗(yàn)結(jié)果見表2.

從表2數(shù)據(jù)可見,本文提出的GFTLSTM模型在譜域使用Shrinkage作為激活函數(shù)后,無論是以Incremental還是Cumulative方式進(jìn)行訓(xùn)練,在處理離散動(dòng)態(tài)圖數(shù)據(jù)時(shí)優(yōu)于大多數(shù)對(duì)比模型,這表明本文模型確實(shí)可以較好地捕獲動(dòng)態(tài)圖的內(nèi)部演化和關(guān)聯(lián)特征,為動(dòng)態(tài)圖表示學(xué)習(xí)提供進(jìn)一步參考.然而,在Wikipedia Math數(shù)據(jù)集中,以Incremental為訓(xùn)練方式的實(shí)驗(yàn)結(jié)果雖然優(yōu)于絕大多數(shù)模型,但并未達(dá)到SOTA效果,相比之下,以Cumulative方式進(jìn)行訓(xùn)練時(shí),實(shí)驗(yàn)結(jié)果遠(yuǎn)超其他縱向?qū)Ρ饶Ｐ?造成這個(gè)現(xiàn)象主要有2個(gè)原因.首先,Incremental方法是一種基于增量學(xué)習(xí)的方式,按照時(shí)間順序逐漸添加新的動(dòng)態(tài)圖快照進(jìn)行訓(xùn)練,能夠及時(shí)捕獲圖數(shù)據(jù)的演變特征,適用于實(shí)時(shí)數(shù)據(jù)的變化,側(cè)重捕捉數(shù)據(jù)的動(dòng)態(tài)特性;而Cumulative方法是一種累積式學(xué)習(xí)方法,將所有動(dòng)態(tài)圖快照同時(shí)輸入模型進(jìn)行訓(xùn)練,能夠綜合考慮整個(gè)動(dòng)態(tài)圖的演變歷史,捕捉更全面的動(dòng)態(tài)圖特征,側(cè)重捕捉數(shù)據(jù)的關(guān)聯(lián)關(guān)系.由于本文模型在譜域進(jìn)行低通和高通濾波后,會(huì)在空域進(jìn)行再次整合,并使用長(zhǎng)短期記憶網(wǎng)絡(luò)來捕捉數(shù)據(jù)中的長(zhǎng)程依賴關(guān)系,與Cumulative訓(xùn)練方式更契合,這同時(shí)也解釋了為什么在Chickenpox Hungary和Pedal Me London數(shù)據(jù)集中,以Cumulative訓(xùn)練方式得到的實(shí)驗(yàn)結(jié)果優(yōu)于Incremental訓(xùn)練結(jié)果的原因.其次,Wikpedia Math數(shù)據(jù)集規(guī)模龐大,包含大量的節(jié)點(diǎn)和邊連接關(guān)系,因此,在Incremental學(xué)習(xí)過程中需要處理更大規(guī)模的動(dòng)態(tài)數(shù)據(jù),每個(gè)時(shí)序快照中的損失和參數(shù)都需要更新,這增加了計(jì)算復(fù)雜性,加大了模型訓(xùn)練時(shí)間和擬合難度,對(duì)模型提出了更高的要求.

表2 算法比較(均方誤差±標(biāo)準(zhǔn)差)

3.5 消融實(shí)驗(yàn)及激活函數(shù)對(duì)比研究

為了驗(yàn)證本文模型在譜域空間中引入Shrinkage函數(shù)取代空域激活函數(shù)ReLU的有效性,進(jìn)行消融實(shí)驗(yàn).在實(shí)驗(yàn)中,本文將去除函數(shù)Shrinkage后的模型標(biāo)記為GFTLSTM-S.同時(shí),為了進(jìn)一步驗(yàn)證模型在譜域空間使用多頻分析的有效性,在空域中引入了ReLU激活函數(shù),并去除了譜域Shrinkage函數(shù),將該類模型標(biāo)記為GFTLSTMR.重復(fù)進(jìn)行10次試驗(yàn),具體的實(shí)驗(yàn)結(jié)果見表3.

表3 消融實(shí)驗(yàn)及激活函數(shù)對(duì)比實(shí)驗(yàn)(均方誤差±標(biāo)準(zhǔn)差)

根據(jù)表3的結(jié)果,在譜域空間去除Shrinkage函數(shù)后,通過與表2中的GFTLSTM模型相比,實(shí)驗(yàn)結(jié)果的均方誤差和標(biāo)準(zhǔn)差均有不同程度的提升,這表明模型的性能下降了,驗(yàn)證了引入Shrinkage函數(shù)對(duì)模型的作用.此外,GFTLSTMR在均方誤差或標(biāo)準(zhǔn)差指標(biāo)上數(shù)值都有一定程度的提升,說明實(shí)驗(yàn)結(jié)果再次變差.因此,在處理離散動(dòng)態(tài)圖數(shù)據(jù)集時(shí),在譜域空間中使用Shrinkage函數(shù)來代替ReLU作為激活函數(shù)得到的效果更好,這驗(yàn)證了用Shrinkage函數(shù)在多頻分析中進(jìn)行信號(hào)壓縮的價(jià)值.

3.6 超參數(shù)敏感性實(shí)驗(yàn)分析

通過超參數(shù)敏感性實(shí)驗(yàn)分析可以系統(tǒng)地評(píng)估不同超參數(shù)對(duì)模型性能的影響,從而找到最優(yōu)的超參數(shù)組合.本文模型中的超參數(shù)δ用來控制信號(hào)壓縮的程度,原始信號(hào)中大于該閾值的數(shù)值才會(huì)被輸入模型中進(jìn)行訓(xùn)練;另一個(gè)超參數(shù)r表示譜域空間中高通濾波器的數(shù)量,它與信號(hào)刻畫程度j共同作用,不同的選擇會(huì)改變輸入特征的維度.

在超參數(shù)δ敏感性分析實(shí)驗(yàn)過程中,取r=2,設(shè)置不同閾值δ后得到的均方誤差如表4所示.

表4 超參數(shù)δ敏感性分析實(shí)驗(yàn)

在超參數(shù)r敏感性分析實(shí)驗(yàn)過程中,取δ=1e-4,設(shè)置不同高階濾波器數(shù)量r后得到的均方誤差如表5所示.

表5 超參數(shù)r敏感性分析實(shí)驗(yàn)

如表4和表5所示,加粗的數(shù)值表示不同超參數(shù)取值中得到的最優(yōu)結(jié)果.可見在上述2個(gè)超參數(shù)敏感性實(shí)驗(yàn)中,在給定的實(shí)驗(yàn)條件下,結(jié)果呈現(xiàn)一定的波動(dòng),沒有明確的最優(yōu)解,這可能是受到數(shù)據(jù)集大小、模型的復(fù)雜性以及超參數(shù)之間的相互影響等因素導(dǎo)致的.在實(shí)際應(yīng)用中,根據(jù)具體任務(wù)和需求進(jìn)行超參數(shù)的調(diào)整更為重要,而不是過于追求單一的最佳設(shè)置.

4 結(jié) 語

本文提出了一個(gè)動(dòng)態(tài)圖表示學(xué)習(xí)的通用框架,初次嘗試將小波分析理論、多頻分析與動(dòng)態(tài)圖表示學(xué)習(xí)相結(jié)合,并在多個(gè)動(dòng)態(tài)圖數(shù)據(jù)集上驗(yàn)證了模型的有效性.在未來的工作中,將嘗試把模型用于圖結(jié)構(gòu)演變的動(dòng)態(tài)圖、特征及結(jié)構(gòu)同時(shí)演變的動(dòng)態(tài)圖及連續(xù)動(dòng)態(tài)圖中,并結(jié)合具體的應(yīng)用場(chǎng)景,進(jìn)一步驗(yàn)證模型在不同動(dòng)態(tài)圖表示學(xué)習(xí)任務(wù)中的通用性.