自適應(yīng)頻率和動態(tài)節(jié)點嵌入的圖卷積網(wǎng)絡(luò)

摘要：圖卷積網(wǎng)絡(luò)由于能夠直接處理圖結(jié)構(gòu)數(shù)據(jù)的優(yōu)點而受到廣泛研究。當(dāng)前的多數(shù)圖卷積網(wǎng)絡(luò)是基于圖信號的平滑性（低頻信息），且不能根據(jù)各節(jié)點適合的接受域生成對應(yīng)的節(jié)點嵌入，隨著網(wǎng)絡(luò)層數(shù)的增加，易出現(xiàn)圖卷積網(wǎng)絡(luò)特有的過平滑問題而導(dǎo)致性能下降。為此，提出了基于自適應(yīng)頻率和動態(tài)節(jié)點嵌入的圖卷積網(wǎng)絡(luò)模型（adaptive frequency and dynamic node embedding based graph convolutional network，F(xiàn)DGCN）。FDGCN模型能夠自適應(yīng)聚合不同頻率的信息，同時利用每層網(wǎng)絡(luò)的輸出，平衡每個節(jié)點來自全局和局部領(lǐng)域的信息，動態(tài)地調(diào)節(jié)節(jié)點嵌入。通過在4個公共數(shù)據(jù)集上進行實驗，對比了6個現(xiàn)有模型，證明了FDGCN模型的有效性。

關(guān)鍵詞：圖神經(jīng)網(wǎng)絡(luò)；圖卷積神經(jīng)網(wǎng)絡(luò)；過平滑；節(jié)點分類；頻率自適應(yīng)

中圖分類號：TP18

文獻標(biāo)志碼：A 文章編號：1672-4348（2023）01-0078-06

An adaptive frequency and dynamic node embedding based graph convolutional network

CHEN Linkai¹， MAO Guojun^{1， 2}

（1. School of Computer Science and Mathematics， Fujian University of Technology， Fuzhou 350118， China;

2. Fujian Provincial Key Laboratory of Big Data Mining and Applications， Fuzhou 350118， China）

Abstract： Graph convolutional networks have been extensively studied due to their advantages of being able to directly handle graph-structured data. Most of the current graph convolutional networks are based on the smoothness of the graph signal （low frequency information） and cannot generate corresponding node embedding according to the suitable acceptance domain of each node. However， as the number of network layers increases， the problem of over-smoothing unique to graph convolutional networks is prone to occur， resulting in performance degradation. Therefore， an adaptive frequency and dynamic node embedding based graph convolutional network （FDGCN） was proposed. FDGCN model is capable of adaptively aggregating information at different frequencies; meanwhile， it dynamically adjusts node embedding by using the output of each network layer to balance the information from the global and local domains of each node. Experiments were conducted on four public datasets comparing six existing models to demonstrate the effectiveness of the FDGCN model.

Keywords： graph neural networks; graph convolutional neural networks; over-smoothing; node classification; frequency adaptation

收稿日期：2022-10-15

基金項目：國家重點研發(fā)項目（2019YFD0900805）

第一作者簡介：陳林凱（1996—），男，廣東揭陽人，碩士研究生，研究方向：圖神經(jīng)網(wǎng)絡(luò)。

近年來，學(xué)術(shù)界對圖卷積網(wǎng)絡(luò)的研究取得了一定的進展，但是在實踐中發(fā)現(xiàn)，堆疊多層的圖卷積網(wǎng)絡(luò)的性能比少層的性能明顯下降，文獻[1]表明重復(fù)堆疊許多層可能導(dǎo)致無法區(qū)分來自不同類別的節(jié)點的表示，從而使模型出現(xiàn)過平滑現(xiàn)象。圖卷積網(wǎng)絡(luò)（graph convolutional network， GCN）的過平滑問題使得目前較為成功的GCN基本都是淺層結(jié)構(gòu)，即在2～4層就幾乎收斂到某個固定狀態(tài)。但是，僅使用2～4層卷積層的圖卷積網(wǎng)絡(luò)模型很難完成大型網(wǎng)絡(luò)的處理任務(wù)。因此，如何緩解圖卷積網(wǎng)絡(luò)的過平滑問題、改善圖卷積網(wǎng)絡(luò)學(xué)習(xí)能力受到廣泛關(guān)注。

2020年，Chen等^[2]將殘差卷積、恒等映射融入GCN，提出了基于初始?xì)埐詈秃愕扔成涞膱D卷積網(wǎng)絡(luò) （graph convolutional network via initial residual and identity mapping， GCNII）模型。2021年，Bo等^[3]的實驗結(jié)果表明低頻信息和高頻信息都有助于學(xué)習(xí)節(jié)點的表示。Xu等^[4]提出了跳越知識網(wǎng)絡(luò) （jumping knowledge networks， JKNet）模型，證明了跳躍鏈接對于提高圖卷積神經(jīng)網(wǎng)絡(luò)性能的作用。DropEdge^[5]在每個訓(xùn)練階段之前隨機刪除一定比例的邊，以緩解過平滑問題。

文獻[6]表明，信號的平滑性即低頻信息，是GCN成功的關(guān)鍵。多數(shù)圖神經(jīng)網(wǎng)絡(luò)模型在學(xué)習(xí)中保留節(jié)點特征的共性（低頻信息），這種機制適用于協(xié)調(diào)性網(wǎng)絡(luò)，即同類別節(jié)點傾向于相互連接的圖數(shù)據(jù)。然而，僅利用低頻信息不可避免會忽略節(jié)點特征信息之間的差異。此外，每個節(jié)點適合的接受域，即節(jié)點能聚合到其他節(jié)點信息的范圍，是不一樣的，不合適的節(jié)點接受域?qū)?dǎo)致模型性能下降^[7]。

為了緩解圖學(xué)習(xí)中產(chǎn)生的過平滑問題，本研究引入自適應(yīng)頻率和動態(tài)節(jié)點嵌入機制，使得模型可以合理利用圖信號的低頻信息和高頻信息；同時根據(jù)每個節(jié)點適合的接受域，動態(tài)地平衡每個節(jié)點來自全局和局部領(lǐng)域的信息，生成更具區(qū)別性的節(jié)點嵌入。

1 FDGCN模型設(shè)計

1.1 自適應(yīng)頻率聚合函數(shù)

圖卷積網(wǎng)絡(luò)模型可以看成特殊形式的濾波器，根據(jù)聚合函數(shù)的不同，可以分為低通濾波器、高通濾波器等。若給定輸入節(jié)點特征矩陣Z={z₁，z₂，…，z_N}∈R^N×P，N為節(jié)點個數(shù)，P為節(jié)點特征的維度，則特征矩陣經(jīng)過FDGCN的聚合函數(shù)的節(jié)點嵌入更新如公式（1）：

其中，z^k_i表示第k層節(jié)點i的節(jié)點嵌入，V_i為節(jié)點i的一階鄰居節(jié)點集，d_i為節(jié)點i的度，a^L_ij和a^H_ij分別表示節(jié)點i聚合節(jié)點j的低頻和高頻信息的比例系數(shù)，μ∈[0，1]是一個超參數(shù)。a^G_ij數(shù)學(xué)表達(dá)式如公式（2）：

式中，g是可學(xué)習(xí)的映射向量，[·||·]表示拼接操作，tanh（·）是激活函數(shù)。a^G_ij∈[-1，1]是一個門控系數(shù)，用于控制低頻信息和高頻信息的比例。F_H代表高通濾波器，用于提取高頻信息，F(xiàn)_L低通濾波器用于提取低頻信號，如公式（3）、公式（4）所示：

A、D和I分別為鄰接矩陣、度矩陣及單位矩陣，拉普拉斯矩陣L=D-A。此外，z⁰_i=MLP（z_i）∈R^1×P，MLP（multilayer perceptron）為多層感知機，即將原始特征先進行線性變換，傳播過程中不再進行特征變換。

1.2 動態(tài)節(jié)點嵌入調(diào)節(jié)機制

節(jié)點的接受域隨著網(wǎng)絡(luò)層數(shù)的增加而增大，但每個節(jié)點的最佳接受域都不一樣。為此，本研究在進行特征傳播后引入動態(tài)節(jié)點嵌入機制。即利用一個可學(xué)習(xí)的映射向量來生成比例系數(shù)，該映射向量通過Xavier初始化方法進行初始化操作并由所有節(jié)點共享。其中隨著模型訓(xùn)練的迭代更新為公式（5），l=[ylog?+（1-y）log（1-?）]表示含有可學(xué)習(xí)映射向量t（t∈R^P×1）的交叉熵?fù)p失函數(shù)，lr表示學(xué)習(xí)率。

1.3 FDGCN模型

圖1為FDGCN的結(jié)構(gòu)示意圖。輸入鄰接矩陣A、節(jié)點特征矩陣Z。首先將節(jié)點特征矩陣Z經(jīng)過多層感知機進行特征變換，壓縮特征維度生成原始節(jié)點嵌入Z⁰再根據(jù)輸入的鄰接矩陣A得到每個節(jié)點的鄰居集合進行特征傳播，傳播過程中每次聚合保留一定比例的原始節(jié)點嵌入μZ⁰，生成K層節(jié)點嵌入Z^k（k=1，…，K）。然后將K+1層的節(jié)點嵌入（包含原始節(jié)點嵌入Z⁰）與映射向量t運算生成系數(shù)矩陣S=（S₀，…，S_K）。根據(jù)系數(shù)矩陣S與K+1層節(jié)點嵌入的運算，生成每個節(jié)點最佳的節(jié)點嵌入。最后再經(jīng)過多層感知機和softmax激活函數(shù)輸出Z_out，根據(jù)輸出Z_out進行節(jié)點分類等下游任務(wù)。

算法1給出了利用FDGCN網(wǎng)絡(luò)對圖的節(jié)點進行概率分類的具體流程。

其中，stack（·）、squeeze（·）操作為數(shù)據(jù)維度進行重新排列，以便在計算過程中進行維度匹配；σ（·）為激活函數(shù)；t∈R^P×1為可訓(xùn)練的映射向量，通過映射向量t與不同的網(wǎng)絡(luò)層的節(jié)點特征嵌入Z^k（k=0，…，K）進行運算生成系數(shù)矩陣S，系數(shù)矩陣S用于調(diào)節(jié)來自不同網(wǎng)絡(luò)層的每個節(jié)點嵌入表示的比例，動態(tài)地衡量每個節(jié)點在不同接受域范圍下生成的節(jié)點特征嵌入的重要性。

2 實驗分析

2.1 實驗環(huán)境配置

實驗在NVIDIA RTX 3060Ti服務(wù)器上進行，Python版本為3.7，PyTorch版本為1.7，CUDA版本為11.0。

2.2 數(shù)據(jù)集

本研究使用3個標(biāo)準(zhǔn)的引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed^[8]以及1個來自維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel^[9]來進行半監(jiān)督節(jié)點分類，其中Cora、Citeseer和Pubmed為協(xié)調(diào)性數(shù)據(jù)集，而Squirrel為非協(xié)調(diào)性數(shù)據(jù)集。實驗對所有數(shù)據(jù)集均按照無向圖處理。

引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed中的節(jié)點對應(yīng)于文檔，邊代表了兩篇論文之間的引文關(guān)系（無向的），節(jié)點特征是論文的詞袋向量，標(biāo)簽（類別）是論文的領(lǐng)域。在每個網(wǎng)絡(luò)中，使用每個類別20個標(biāo)記節(jié)點進行訓(xùn)練，500個節(jié)點用于驗證，1 000個節(jié)點用于測試。

維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel的節(jié)點代表網(wǎng)頁，邊表示兩個頁面之間的超鏈接，節(jié)點特征是頁面中的一些關(guān)鍵信息名詞，標(biāo)簽對應(yīng)于頁面的流量級別。在數(shù)據(jù)集Squirrel中，使用20%作為驗證集，20%為測試集，訓(xùn)練集比例為60%。

表1包含Cora、Citeseer、Pubmed和Squirrel數(shù)據(jù)集的協(xié)調(diào)性、節(jié)點數(shù)、邊數(shù)等相關(guān)信息，協(xié)調(diào)性的數(shù)值越高，數(shù)據(jù)集同類節(jié)點趨向相連的特性越顯著。在本研究的實驗中，Cora、Citeseer和Pubmed數(shù)據(jù)集學(xué)習(xí)率lr設(shè)為0.01，剪輸出系數(shù)設(shè)為dropout 0.6，原始特征比例μ分別設(shè)為0.2、0.2、0.3，權(quán)重衰減β設(shè)為1e-3；對于Squirrel數(shù)據(jù)集學(xué)習(xí)率lr設(shè)為0.01，剪輸出系數(shù)dropout設(shè)為0.5，原始特征比例μ設(shè)為0.3，權(quán)重衰減β設(shè)為5e-5。

2.3 模型對比實驗

為驗證模型的有效性，將FDGCN與目前現(xiàn)有的模型作對比，進行節(jié)點分類精度實驗。對比模型包括基于譜域的圖神經(jīng)網(wǎng)絡(luò)模型，如SGC（simplifying graph convolutional networks）^[10]、切比雪夫網(wǎng)絡(luò)（ChebNet）^[11]，基于空域的圖神經(jīng)網(wǎng)絡(luò)模型，如圖同構(gòu)網(wǎng)絡(luò)（graph isomorphism network， GIN） ^[12]、圖注意力網(wǎng)絡(luò) （graph attention network， GAT）^[13]、APPNP（approximate personalized propagation of neural predictions）^[14]、GraphSAGE（sample and aggregate）^[15]。表2為不同模型在不同數(shù)據(jù)集上的對比實驗結(jié)果（實驗結(jié)果采用30次平均值）。

在Cora、Citeseer、Pubmed和Squirrel數(shù)據(jù)集上，F(xiàn)DGCN模型的實驗精度分別達(dá)到84.7%、72.7%、79.4%、65.3%。實驗結(jié)果表明，與對比的模型相比，F(xiàn)DGCN模型在協(xié)調(diào)性網(wǎng)絡(luò)和非協(xié)調(diào)性網(wǎng)絡(luò)上都具有更高的性能，獲得的精度更高，分類效果更好。而且，相對于在協(xié)調(diào)性網(wǎng)絡(luò)上的提升，F(xiàn)DGCN模型在非協(xié)調(diào)性網(wǎng)絡(luò)上獲得更為顯著的效果。

訓(xùn)練時長也是評價模型優(yōu)劣的重要指標(biāo)之一。在相同的實驗參數(shù)下，每個對比模型訓(xùn)練300個epoch，圖2展示了在4個數(shù)據(jù)集上每個對比模型的平均訓(xùn)練時長。從圖2可以看出：在不同數(shù)據(jù)集上SGC和GraphSAGE模型的訓(xùn)練效率優(yōu)于其他模型；對比GAT、APPNP模型，F(xiàn)DGCN模型的訓(xùn)練時長更少；在不同數(shù)據(jù)集上，F(xiàn)DGCN與ChebNet、GIN模型的訓(xùn)練效率各有高低。

SGC是通過移除GCN層之間的非線性，達(dá)到減少參數(shù)量簡化GCN的目的；而GraphSAGE是對鄰居節(jié)點進行采樣，再聚合采樣鄰居的節(jié)點信息更新節(jié)點表示。SGC和GraphSAGE獲得較高訓(xùn)練效率，但模型精度會有所不足。與其他模型相比，F(xiàn)DGCN在訓(xùn)練效率相差不大的情況下，取得了較大的精度提升。

2.4 自適應(yīng)頻率和動態(tài)節(jié)點嵌入的有效性分析

為驗證技術(shù)融合的有效性，根據(jù)本研究使用的自適應(yīng)頻率 （簡稱F）、動態(tài)節(jié)點嵌入（簡稱D）技術(shù)，在不同的網(wǎng)絡(luò)層數(shù)k下，對使用不同技術(shù)的FDGCN模型在Cora、Citeseer、Pubmed及Squirrel數(shù)據(jù)集上進行實驗，其節(jié)點分類精度結(jié)果如表3～表6所示，實驗結(jié)果采用30次平均值。

從表3～表6可以看出，各個模型在隨著網(wǎng)絡(luò)層數(shù)增加時，不會出現(xiàn)性能急劇下降的情況；僅使用自適應(yīng)頻率技術(shù)的模型在Cora、Citeseer和Pubmed數(shù)據(jù)集上性能較弱；僅使用動態(tài)節(jié)點嵌入技術(shù)的模型在Squirrel數(shù)據(jù)集上性能較弱；融合了自適應(yīng)頻率和動態(tài)節(jié)點嵌入技術(shù)的模型在4個數(shù)據(jù)集上均獲得最高的精度。

為了更直觀地展示使用自適應(yīng)頻率的有效性，驗證FDGCN是否可以學(xué)習(xí)不同的系數(shù)來適應(yīng)不同的網(wǎng)絡(luò)，將FDGCN最后一層中的系數(shù)a^G_ij提取并進行可視化操作。圖3展示了在不同數(shù)據(jù)集上系數(shù)a^G_ij的變化，在3個引文網(wǎng)絡(luò)數(shù)據(jù)集Cora、Citeseer和Pubmed上，系數(shù)a^G_ij的數(shù)值集中在0.8～1.0之間。而在維基百科的網(wǎng)絡(luò)數(shù)據(jù)集Squirrel上，系數(shù)a^G_ij的數(shù)值多為負(fù)值。即在協(xié)調(diào)性數(shù)據(jù)集Cora、Citeseer和Pubmed上，低頻信息起到主要作用，模型著重學(xué)習(xí)節(jié)點之間的共性。而在非協(xié)調(diào)性數(shù)據(jù)集Squirrel上，高頻信息起到主要作用，模型著重學(xué)習(xí)節(jié)點之間的差異。

3 結(jié)語

隨著對圖學(xué)習(xí)的研究不斷深入，過平滑問題在一定程度上影響著圖神經(jīng)網(wǎng)絡(luò)的發(fā)展。本研究提出的網(wǎng)絡(luò)模型FDGCN可以自適應(yīng)地聚合不同頻率信息，再利用動態(tài)節(jié)點嵌入機制平衡來自每個節(jié)點的局部和全局鄰域的信息，生成更具鑒別性的節(jié)點嵌入。實驗結(jié)果明，F(xiàn)DGCN模型在Cora、Citeseer、Pubmed及Squirrel數(shù)據(jù)集上的精度獲得不同程度提升。FDGCN模型為緩解圖卷積神經(jīng)網(wǎng)絡(luò)中的過平滑問題提供了一個有效途徑。

參考文獻：

[1]LI Q M，HAN Z C，WU X M. Deeper insights into graph convolutional networks for semi-supervised learning[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2018，32（1）：3538-3545.

[2]CHEN M，WEI Z W，HUANG Z F，et al. Simple and deep graph convolutional networks[EB/OL]. 2020：arXiv：2007.02133[cs.LG]. https：∥arxiv.org/abs/2007.02133.

[3]BO D Y，WANG X，SHI C，et al. Beyond low-frequency information in graph convolutional networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（5）：3950-3957.

[4]XU K， LI C， TIAN Y， et al. Representation learning on graphs with jumping knowledge networks[C]∥ International Conference on Machine Learning. New York： ACM， 2018： 5453-5462.

[5]RONG Y， HUANG W， XU T， et al. DropEdge： towards deep graph convolutional networks on node classification[C]∥International Conference on Learning Representations. Addis Ababa， Ethiopia： OpenReview.net， 2019.

[6]XU B B，SHEN H W，CAO Q，et al. Graph convolutional networks using heat kernel for semi-supervised learning[C]∥Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. California：International Joint Conferences on Artificial Intelligence Organization，2019：1928-1934.

[7]LIU M，GAO H Y，JI S W. Towards deeper graph neural networks[C]∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM，2020：338-348.

[8]SEN P，NAMATA G，BILGIC M，et al. Collective classification in network data[J]. AI Magazine，2008，29（3）：93.

[9]TANG J，SUN J M，WANG C，et al. Social influence analysis in large-scale networks[C]∥Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining-KDD’09. New York：ACM Press，2009：807-816.

[10]WU F， SOUZA A， ZHANG T， et al. Simplifying graph convolutional networks[C]∥International Conference on Machine Learning. California， 2019： 6861-6871.

[11]DEFFERRARD M，BRESSON X，VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering[C]∥NIPS’16：Proceedings of the 30th International Conference on Neural Information Processing Systems， 2016：3844-3852.

[12]XU K， HU W， LESKOVEC J， et al. How powerful are graph neural networks？[C]∥International Conference on Learning Representations. New Orleans， 2019.

[13]VELI?KOVI? P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks[C]∥International Conference on Learning Representations， Vancouver， 2018.

[14]GASTEIGER J， BOJCHEVSKI A， GüNNEMANN S. Predict then propagate： graph neural networks meet personalized PageRank[C]∥International Conference on Learning Representations， 2018.

[15]HAMILTON W L，YING R，LESKOVEC J. Inductive representation learning on large graphs[EB/OL]. 2017：arXiv：1706.02216[cs.SI]. https：∥arxiv.org/abs/1706.02216.

（責(zé)任編輯：方素華）