基于局部圖互信息最大化的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)方法①

朱志華 范鑫鑫 畢經(jīng)平 武 超*

(*中國(guó)科學(xué)院大學(xué) 北京100049)

(**中國(guó)科學(xué)院計(jì)算技術(shù)研究所 北京100190)

(***中國(guó)電子科技集團(tuán)公司電子科學(xué)研究院 北京100041)

0 引言

異構(gòu)圖(heterogeneous graph,HG)作為數(shù)據(jù)挖掘中一個(gè)新的發(fā)展方向[1],為研究者提供了一種融合多種異質(zhì)信息的有效工具。同時(shí),圖表示學(xué)習(xí)[2]作為一種學(xué)習(xí)節(jié)點(diǎn)低維向量表征的便捷工具,為下游各種應(yīng)用,如推薦[3]、檢索[4]、用戶去匿名化[5]等,提供有效的支持。相比于傳統(tǒng)的異構(gòu)圖表示學(xué)習(xí)方法,異構(gòu)圖神經(jīng)網(wǎng)絡(luò)(heterogeneous graph neural network,HGNN)由于其強(qiáng)大的表達(dá)能力及有效結(jié)合節(jié)點(diǎn)屬性特征與結(jié)構(gòu)信息的特點(diǎn),開始成為研究重點(diǎn)。然而,當(dāng)前大部分的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)都是半監(jiān)督模式的,即需要充足的帶標(biāo)簽的樣本進(jìn)行模型的訓(xùn)練。但是,在現(xiàn)實(shí)場(chǎng)景中,通常無法獲得充足的帶標(biāo)簽的數(shù)據(jù),從而限制了這些算法的使用。

為了應(yīng)對(duì)訓(xùn)練樣本稀缺的問題,無監(jiān)督的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)引起了學(xué)者們的廣泛研究興趣?，F(xiàn)有的無監(jiān)督的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)主要分為兩類,即基于近鄰的方法[6-7]和基于互信息的方法[8]。其中,基于近鄰的方法僅可以保留有限范圍(低價(jià))的節(jié)點(diǎn)相似度,缺乏保留高價(jià)甚至是全局結(jié)構(gòu)信息的機(jī)制。為了保留圖的全局結(jié)構(gòu)信息,深度圖互信息最大化(deep graph infomax,DGI)[8]與深度異構(gòu)圖互信息最大化(heterogeneous deep graph infomax,HDGI)[9]等方法提供了一種同時(shí)考慮全局和局部圖結(jié)構(gòu)的新方向,即最大化節(jié)點(diǎn)局部表征與全局圖表征之間的互信息,并獲得了很好的效果。但是,全局圖表征通常只能夠?qū)Υ至６鹊慕Y(jié)構(gòu)信息進(jìn)行保留,無法表達(dá)節(jié)點(diǎn)局部結(jié)構(gòu)中近鄰的特征及其分布的信息,易導(dǎo)致節(jié)點(diǎn)表征發(fā)生過平滑(over-smoothing);同時(shí),DGI與HDGI 中使用的圖讀出操作(readout)需要滿足單射(injective)限制,但在實(shí)際情況下該限制過于嚴(yán)格。如果圖讀出操作不是單射的,則全局圖表征中包含的輸入圖信息將隨著圖大小的增加而減少,從而導(dǎo)致節(jié)點(diǎn)局部表征質(zhì)量下降。

針對(duì)該問題,Peng 等人[10]提出圖互信息(graphical mutual information,GMI)的概念,通過比較由節(jié)點(diǎn)k階近鄰組成的子圖與每個(gè)節(jié)點(diǎn)的表征向量直接獲得互信息,實(shí)現(xiàn)對(duì)近鄰的特征及其分布等細(xì)粒度信息的提取。然而,該概念僅針對(duì)同構(gòu)圖提出,無法直接應(yīng)用到異構(gòu)圖當(dāng)中。換句話說,GMI 無法適應(yīng)異構(gòu)圖中異質(zhì)性(heterogeneity)產(chǎn)生的各異節(jié)點(diǎn)分布與節(jié)點(diǎn)輸入特征。此外,異構(gòu)圖中節(jié)點(diǎn)間通常存在不同語義的關(guān)系,并且這些關(guān)系之間表現(xiàn)出不同程度的兼容性。在沒有先驗(yàn)知識(shí)的指導(dǎo)下,會(huì)使得模型更傾向于最大化某些特定關(guān)系上的圖互信息,從而忽略其他可能存在的語義關(guān)系,即使得模型發(fā)生語義層面上的過擬合問題。

針對(duì)上述問題,本文提出了一種無監(jiān)督的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)方法,即基于局部異構(gòu)圖互信息最大化(heterogeneous graphical mutual infomax,HGMI)的方法。該方法首先利用元路徑(meta-path)[1]對(duì)異構(gòu)圖中涉及的語義關(guān)系進(jìn)行建模,然后利用圖卷積模塊和語義級(jí)別的注意力機(jī)制來融合不同的關(guān)系語義,并為每個(gè)節(jié)點(diǎn)生成有效的局部表征。該方法將圖互信息應(yīng)用到異構(gòu)圖中,通過最大化單個(gè)節(jié)點(diǎn)與局部子圖間在拓?fù)湟约拜斎胩卣魃系幕バ畔?來處理無監(jiān)督的設(shè)置;同時(shí)通過在目標(biāo)函數(shù)中共享語義級(jí)別的注意力權(quán)重,使得模型對(duì)所有語義關(guān)系均保持一定的關(guān)注度,以解決語義層面上可能發(fā)生的過擬合問題。本文的主要貢獻(xiàn)如下:(1)提出了一種無監(jiān)督的、基于局部圖互信息的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型;(2)提出了一種注意力平衡機(jī)制,用于防止語義層面過擬合的發(fā)生;(3)基于真實(shí)的異構(gòu)圖數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),相比基于全局圖互信息的方法,可以將數(shù)據(jù)集DBLP/IMDB 上的節(jié)點(diǎn)分類任務(wù)的micro-F1提高大約3%/9%,同時(shí)將DBLP/IMDB 上的節(jié)點(diǎn)聚類任務(wù)的調(diào)整蘭德系數(shù)(adjusted Rand index,ARI)提高約23%/46%。

本文剩余部分總結(jié)如下。第1 節(jié)介紹了異構(gòu)圖表示學(xué)習(xí)與異構(gòu)圖神經(jīng)網(wǎng)絡(luò)的相關(guān)工作。第2 節(jié)介紹了本文中使用的基本符號(hào)和相關(guān)問題定義,包括異構(gòu)圖與圖互信息的定義。第3 節(jié)詳細(xì)描述了本文提出的基于局部圖互信息最大化的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型HGMI。第4 節(jié)通過充分的實(shí)驗(yàn)對(duì)本研究中提出的方法進(jìn)行了有效的驗(yàn)證。第5 節(jié)對(duì)全文內(nèi)容進(jìn)行了總結(jié)。

1 相關(guān)工作

現(xiàn)實(shí)世界中圖結(jié)構(gòu)具有普遍性,圖表示學(xué)習(xí)已成為一個(gè)備受關(guān)注的主題[2]。作為包含豐富結(jié)構(gòu)信息的數(shù)據(jù)類型,許多模型[11-12]基于圖的結(jié)構(gòu)學(xué)習(xí)節(jié)點(diǎn)的向量表征。DeepWalk[13]利用Skip-Gram,通過在圖上進(jìn)行一組隨機(jī)游走來學(xué)習(xí)節(jié)點(diǎn)嵌入。此外,一些方法[14-15]則通過矩陣分解來提取結(jié)構(gòu)信息。但是,以上所有方法只能用于同構(gòu)圖,無法解決異構(gòu)圖中的圖表示學(xué)習(xí)問題。

為了處理圖的異質(zhì)性,metapath2vec[16]利用預(yù)先定義的元路徑指導(dǎo)隨機(jī)游走進(jìn)行采樣,并通過異構(gòu)圖中的Skip-Gram 學(xué)習(xí)節(jié)點(diǎn)的表征。HIN2Vec[17]則在執(zhí)行預(yù)測(cè)任務(wù)的同時(shí),學(xué)習(xí)節(jié)點(diǎn)和元路徑的表征向量。Wang 等人[18]通過添加注意力機(jī)制,使得模型可以有效地學(xué)習(xí)來自多個(gè)、由元路徑定義的同構(gòu)圖的信息。從屬性圖的角度進(jìn)行考慮,SHNE[19]通過異構(gòu)Skip-Gram 和深度語義編碼的聯(lián)合優(yōu)化來捕獲結(jié)構(gòu)緊密性和非結(jié)構(gòu)化語義關(guān)系。另外,許多面向知識(shí)圖譜的方法[20-22]通常也可以應(yīng)用于其他異構(gòu)圖。

隨著深度學(xué)習(xí)的成功,圖神經(jīng)網(wǎng)絡(luò)在圖表示學(xué)習(xí)中取得了巨大的進(jìn)展。圖神經(jīng)網(wǎng)絡(luò)的核心思想是通過神經(jīng)網(wǎng)絡(luò)聚合鄰居的特征信息,學(xué)習(xí)結(jié)合節(jié)點(diǎn)獨(dú)立信息和圖中相應(yīng)結(jié)構(gòu)信息的新的特征。大多數(shù)的圖神經(jīng)網(wǎng)絡(luò)是基于半監(jiān)督/監(jiān)督學(xué)習(xí)的,包括圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)[23]、圖注意力網(wǎng)絡(luò)(graph attention network,GAT)[24]、GraphRNN[25]和SplineCNN[26]。而無監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)主要分為基于隨機(jī)游走的方法[27-28]和基于互信息的方法[8]。

與傳統(tǒng)的圖神經(jīng)網(wǎng)絡(luò)不同,異構(gòu)圖神經(jīng)網(wǎng)絡(luò)需要解決異構(gòu)圖中異質(zhì)性帶來的一系列問題,如不同類型、不同語義的節(jié)點(diǎn)與邊。同樣,大多數(shù)的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)也是基于半監(jiān)督/監(jiān)督學(xué)習(xí)的,包括關(guān)系圖卷積網(wǎng)絡(luò)(relational graph convolutional network,RGCN)[20]和異構(gòu)圖注意力網(wǎng)絡(luò)(heterogeneous graph attention network,HAN)[18]等。而無監(jiān)督的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)則主要分為基于近鄰的方法和基于互信息的方法。

2 問題定義

2.1 異構(gòu)圖

一個(gè)異構(gòu)圖可以表示為節(jié)點(diǎn)與邊的集合G=(V,E),該圖具有一個(gè)節(jié)點(diǎn)類型映射函數(shù)φ:V→T和一個(gè)邊類型映射函數(shù)ψ:E→R,并且滿足| T| +| R| ＞2。另外,節(jié)點(diǎn)的屬性和內(nèi)容可以編碼為初始特征矩陣X∈R|V | ×D。

異構(gòu)圖表示學(xué)習(xí)任務(wù)旨在學(xué)習(xí)包含G的結(jié)構(gòu)信息和X的節(jié)點(diǎn)屬性信息的低維節(jié)點(diǎn)表征H∈R|V | ×d。本文使用Vt表示目標(biāo)類型的節(jié)點(diǎn)集合。為了簡(jiǎn)化問題設(shè)置,利用對(duì)稱且無向的元路徑來表示目標(biāo)類型節(jié)點(diǎn)Vt之間的緊密度。形式上,路徑被定義為節(jié)點(diǎn)vt1和vtn之間的元路徑。進(jìn)一步地,本文將使用的元路徑集表示為Φ={Φ1,Φ2,…,ΦP},其中Φi表示第i個(gè)元路徑類型?；诙x的元路徑可以生成相應(yīng)的鄰接矩陣集合,其中,。

2.2 圖互信息

形式上,節(jié)點(diǎn)vi的表征hi和其局部子圖Gi=(Xi,Ai) 之間的圖互信息可以表示為局部互信息(即節(jié)點(diǎn)與一個(gè)近鄰間的互信息)的加權(quán)和[10]:

其中,in表示Xi中節(jié)點(diǎn)的數(shù)目,aij是鄰接矩陣Ai中的邊權(quán)重,wij表示局部互信息I(hi;xj) 對(duì)全局互信息I(hi;Gi) 的貢獻(xiàn)。

相應(yīng)地,在異構(gòu)圖中,給定鄰接矩陣集合AΦ,異構(gòu)圖互信息可以表示為不同鄰接矩陣中給定節(jié)點(diǎn)vi與其對(duì)應(yīng)子圖間互信息的和:

3 基于局部圖互信息最大化的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型

3.1 模型框架

基于局部圖互信息最大化的異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型主要由2 個(gè)模塊組成,即基于元路徑的局部表征編碼器與局部圖互信息計(jì)算模塊,整體框架如圖1所示。

圖1 HGMI 的模型框架

首先,給定由一組元路徑定義的鄰接矩陣,局部表征編碼器將分別在每個(gè)鄰接矩陣中利用圖卷積模塊生成目標(biāo)類型節(jié)點(diǎn)的表征。然后,通過語義級(jí)別的注意力機(jī)制整合各個(gè)鄰接矩陣中生成的節(jié)點(diǎn)表征。之后,局部圖互信息計(jì)算模塊將利用生成的節(jié)點(diǎn)表征與采樣到的、各個(gè)鄰接矩陣中的局部子圖,計(jì)算相應(yīng)的局部圖互信息。最終,以最大化互信息作為目標(biāo)函數(shù),實(shí)現(xiàn)對(duì)模型參數(shù)的訓(xùn)練,并得到優(yōu)化后的節(jié)點(diǎn)表征。

3.2 基于元路徑的節(jié)點(diǎn)局部表征

在鄰接矩陣集合AΦ中,每一個(gè)鄰接矩陣表示一個(gè)同構(gòu)圖,因此,使用一個(gè)節(jié)點(diǎn)級(jí)的編碼器生成包含初始節(jié)點(diǎn)特征X和AΦi信息的節(jié)點(diǎn)表征:

其中,fΦi(·) 表示節(jié)點(diǎn)級(jí)的編碼器。為了能夠獲得更大的感受野,以獲得更多參與運(yùn)算的信息量,同時(shí)有效地整合節(jié)點(diǎn)熟悉特征與局部結(jié)構(gòu)特征,選擇圖卷積網(wǎng)絡(luò)(GCN)作為節(jié)點(diǎn)級(jí)編碼器,來生成每個(gè)鄰接矩陣中的節(jié)點(diǎn)表征:

基于特定鄰接矩陣學(xué)習(xí)的節(jié)點(diǎn)表征僅包含特定的語義信息。為了獲得包含多種關(guān)系語義的節(jié)點(diǎn)表征,一種直觀且有效的解決方案是探索每個(gè)元路徑應(yīng)為最終節(jié)點(diǎn)表征貢獻(xiàn)多少,然后將各自的貢獻(xiàn)作為權(quán)重聚合各個(gè)獨(dú)立的節(jié)點(diǎn)表征。這里通過添加一個(gè)語義注意力層Latt來學(xué)習(xí)相應(yīng)權(quán)重/貢獻(xiàn):

具體通過式(8)～式(10)來計(jì)算元路徑Φi的重要性。

其中,Wsem表示線性變換參數(shù)矩陣,q表示需要學(xué)習(xí)的注意力語義向量。然后,利用softmax 函數(shù)對(duì)生成的集合進(jìn)行正則化,以獲得元路徑Φi的重要性權(quán)重βΦi:

最終,異構(gòu)圖節(jié)點(diǎn)表示H將通過節(jié)點(diǎn)表征集合的線性組合獲得:

雖然本文的語義注意力層是受到HAN[18]的啟發(fā),但在模型優(yōu)化上仍存在著差異。HAN 利用分類交叉熵作為損失函數(shù),學(xué)習(xí)方向?qū)⒂捎?xùn)練集中標(biāo)簽樣本指導(dǎo)。由于對(duì)標(biāo)簽樣本的依賴,HAN 容易受到訓(xùn)練集中標(biāo)簽分布的影響,使得模型優(yōu)化方向向有利于部分占比大的標(biāo)簽的方向偏移,進(jìn)而造成語義級(jí)別注意力權(quán)重的分配失衡,并最終影響節(jié)點(diǎn)表征的質(zhì)量。

而在本文的方法中,模型學(xué)習(xí)的注意力權(quán)重是由二元交叉熵?fù)p失(binary cross-entropy loss)指導(dǎo)的,即指導(dǎo)模型判斷給定節(jié)點(diǎn)是否屬于指定的局部子圖。因此,模型學(xué)習(xí)到的權(quán)重有助于衡量節(jié)點(diǎn)在不同分布下與其近鄰節(jié)點(diǎn)的相似程度,即節(jié)點(diǎn)輸入特征與其近鄰節(jié)點(diǎn)的輸入特征越相似,分配的權(quán)重越大。同時(shí),由于不涉及分類標(biāo)簽,因此權(quán)重不會(huì)因已知標(biāo)簽而產(chǎn)生偏差。

元路徑之間通常表現(xiàn)出不同程度的兼容性,換句話說,不同元路徑間可能存在相似的節(jié)點(diǎn)分布,同樣也可能存在極大差異的節(jié)點(diǎn)分布。例如在學(xué)術(shù)社交網(wǎng)絡(luò)中,以論文作目標(biāo)節(jié)點(diǎn),論文涉及的領(lǐng)域作為標(biāo)簽。那么,“論文引用關(guān)系”與“論文共作關(guān)系”之間的兼容性要強(qiáng)于“論文引用關(guān)系”與“術(shù)語共用關(guān)系”之間的兼容性。這是因?yàn)?同一作者的論文更大概率上是關(guān)注同一個(gè)研究領(lǐng)域的,而相同術(shù)語可以被多個(gè)領(lǐng)域的論文共用。因此,在沒有先驗(yàn)知識(shí)的指導(dǎo)下,注意力機(jī)制會(huì)使得模型更傾向于關(guān)注出現(xiàn)頻率較高的語義所代表的元路徑,從而忽略其他出現(xiàn)頻率較低的語義所代表的元路徑,即使得模型發(fā)生語義層面上的過擬合問題。針對(duì)該問題,本文提出了一種注意力平衡機(jī)制,用于防止語義層面過擬合的發(fā)生,詳細(xì)內(nèi)容將在下節(jié)進(jìn)行描述。

3.3 局部圖互信息最大化

考慮到語義級(jí)別注意力機(jī)制可能導(dǎo)致的語義過擬合問題,設(shè)計(jì)了一種注意力平衡機(jī)制,使得模型對(duì)所有元路徑均保持一定的關(guān)注度,而不是僅關(guān)注一部分特定的元路徑。具體通過將局部表征編碼器中注意力模塊生成的注意力權(quán)重以的形式加入到式(3)中,使得從不受關(guān)注的元路徑獲得的互信息可以對(duì)模型訓(xùn)練產(chǎn)生一定的影響。換句話說,注意力平衡機(jī)制可以在模型優(yōu)化的過程中,根據(jù)生成的注意力權(quán)重βΦi實(shí)時(shí)調(diào)整互信息損失所占比重,使得模型可以在一個(gè)較為全面的感受野中進(jìn)行參數(shù)更新,直到收斂。

局部圖互信息中主要計(jì)算的是節(jié)點(diǎn)表征與其近鄰輸入特征間的互信息。如果將添加為I(hi;xj) 的權(quán)重,則會(huì)干擾注意力權(quán)重的選取,導(dǎo)致節(jié)點(diǎn)表征聚合過多的噪音信息,使得模型無法得到有效的收斂。相反,如果將添加為的權(quán)重,一方面,可以使得節(jié)點(diǎn)表征保留不同元路徑下的結(jié)構(gòu)信息;另一方面,避免了節(jié)點(diǎn)表征在注意力權(quán)重的干預(yù)下聚合過多不必要的噪音信息。因此,式(3)可以變換為

參考MINE[29]的方法,直接最大化式(11)。需要注意的是,MINE 采用Donsker-Varadhan[30]表示聯(lián)合分布概率與邊緣概率乘積之間的KL 散度(Kullback-Leibler divergence)來估計(jì)互信息的下界。然而,當(dāng)更多地關(guān)注最大化互信息而不是獲得其特定值時(shí),可以使用其他非KL 替代方案,例如Jensen-Shannon 互信息估計(jì)器(JSD)[31]和噪聲對(duì)比估計(jì)器(infoNCE)[32],來代替KL 散度。在本文中,參考GMI的實(shí)驗(yàn)結(jié)果[10],出于有效性和效率的考慮,采用JSD 估計(jì)器來最大化式(11)。換句話說,可以通過訓(xùn)練一個(gè)判別器/雙線性函數(shù)D來對(duì)采樣的正負(fù)樣本集合進(jìn)行區(qū)分,即判斷一個(gè)節(jié)點(diǎn)的表征是否屬于給定的局部子圖,以此來估計(jì)和最大化互信息。

具體地,利用式(12)來計(jì)算I(hi;xj)。

其中,Dw:D × D′表示由一個(gè)參數(shù)為w的神經(jīng)網(wǎng)絡(luò)構(gòu)成的判別器,x′j為從假設(shè)的經(jīng)驗(yàn)概率分布P 中采樣的負(fù)樣本,sp(x)=log(1+ex) 表示softplus 函數(shù)?？紤]到不同元路徑構(gòu)成的鄰接矩陣中節(jié)點(diǎn)的分布不同,使用同一判別器將不利于建模每個(gè)元路徑的語義信息。因此,本文分別構(gòu)建不同的判別器對(duì)不同鄰接矩陣中節(jié)點(diǎn)與局部子圖間的關(guān)系進(jìn)行判斷。給定一個(gè)鄰接矩陣AΦt,節(jié)點(diǎn)vi與其鄰居節(jié)點(diǎn)的互信息I(hi;xj) 可以表示為

為了有效捕獲節(jié)點(diǎn)的結(jié)構(gòu)特征,本文將鄰接矩陣定義為無權(quán)重的鄰接矩陣,然后利用交叉熵替代JSD 估計(jì)器來最大化:

綜上所述,結(jié)合式(11)～式(14),可以得到最終的目標(biāo)函數(shù):

其中,I(hi;xj) 用以計(jì)算節(jié)點(diǎn)表征向量與近鄰屬性特征向量之間的互信息,通過最大化該互信息將促使節(jié)點(diǎn)表征捕獲子圖中屬性特征的分布,進(jìn)而在全局視角中,使得具有相似屬性特征分布的節(jié)點(diǎn)生成相似的表征;而則計(jì)算2 個(gè)節(jié)點(diǎn)間存在邊鏈接的概率。通過最大化此概率,可以保證節(jié)點(diǎn)表征保留低價(jià)近似度(low-proximity),進(jìn)而在局部視角中,使得相連節(jié)點(diǎn)間具有相似的表征。因此,通過對(duì)目標(biāo)函數(shù)式(15)進(jìn)行優(yōu)化,既可以保證全局視角中具有相似屬性特征的節(jié)點(diǎn)表征的相似性,又可以保留局部視角中結(jié)構(gòu)的近似性。此外,通過注意力平衡機(jī)制權(quán)衡多個(gè)元路徑下的損失,有利于節(jié)點(diǎn)表征捕獲語義上下文信息。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 數(shù)據(jù)集

分別在DBLP 與IMDB 2 種異構(gòu)圖數(shù)據(jù)集上評(píng)估本文提出的HGMI 方法,相關(guān)統(tǒng)計(jì)數(shù)據(jù)如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)信息

DBLP 數(shù)據(jù)集是一種研究論文集,其中每篇論文包含相應(yīng)的發(fā)表會(huì)議、作者與關(guān)鍵詞等信息。作者節(jié)點(diǎn)可劃分為4 個(gè)研究領(lǐng)域,即數(shù)據(jù)庫、數(shù)據(jù)挖掘、信息檢索和機(jī)器學(xué)習(xí)。本文選擇作者作為目標(biāo)節(jié)點(diǎn),并使用作者所屬的研究領(lǐng)域作為標(biāo)簽。最初的特征則是根據(jù)作者的個(gè)人資料利用詞袋模型生成的。

IMDB 數(shù)據(jù)集是關(guān)于電影的知識(shí)圖數(shù)據(jù),可以分為3 種類型,即動(dòng)作、喜劇和戲劇。本文選擇電影作為目標(biāo)節(jié)點(diǎn),并使用電影的類型作為標(biāo)簽。電影的特征則由色彩、標(biāo)題、語言、關(guān)鍵字、國(guó)家、評(píng)分、年份以及TF-IDF 編碼組成。

4.2 對(duì)比方法與相關(guān)設(shè)置

本文將對(duì)比方法分成兩類,分別是無監(jiān)督的圖表示學(xué)習(xí)方法和有監(jiān)督的圖表示學(xué)習(xí)方法。

其中,無監(jiān)督的圖表示學(xué)習(xí)方法包括:(1)Raw Feature,即將初始的輸入特征作為節(jié)點(diǎn)表征;(2)3 個(gè)異構(gòu)圖表示學(xué)習(xí)方法,即Metapath2vec (M2V)、HDGIC與HDGIA,其中HDGIC表示使用GCN 作為特征生成模塊的HDGI,而HDGIA則表示使用GAT 作為特征生成模塊的HDGI;(3)2 個(gè)同構(gòu)圖表示學(xué)習(xí)方法DGI[8]與GMI[10]。

有監(jiān)督的圖表示學(xué)習(xí)方法包括2 個(gè)異構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型RGCN[20]與HAN 和2 個(gè)同構(gòu)圖神經(jīng)網(wǎng)絡(luò)模型GCN 和GAT。

需要注意的是,對(duì)于專為同構(gòu)圖而設(shè)計(jì)的方法,即DGI、GMI、GCN、GAT,不考慮圖的異質(zhì)性,而是構(gòu)造基于元路徑的鄰接矩陣,報(bào)告其中最佳的結(jié)果。

本文提出的HGMI 方法使用Adam 優(yōu)化器進(jìn)行優(yōu)化,并設(shè)定學(xué)習(xí)率為0.01。同時(shí)設(shè)定節(jié)點(diǎn)表征的維度為512,注意力表征的維度為8。使用Pytorch來實(shí)現(xiàn)本文的模型,并在帶有2 個(gè)GTX-1080ti GPU的服務(wù)器中進(jìn)行實(shí)驗(yàn)。

4.3 實(shí)驗(yàn)結(jié)果與分析

在節(jié)點(diǎn)分類任務(wù)中,本文為無監(jiān)督學(xué)習(xí)方法訓(xùn)練邏輯回歸分類器進(jìn)行分類,而有監(jiān)督方法則作為端到端模型直接輸出分類結(jié)果。分別取數(shù)據(jù)集的20%和80%作為訓(xùn)練集進(jìn)行實(shí)驗(yàn)。另外,選擇10%的數(shù)據(jù)作為驗(yàn)證集,以及10%的數(shù)據(jù)作為測(cè)試集。為了保證結(jié)果的穩(wěn)定性,將分類任務(wù)重復(fù)10 次,計(jì)算平均的宏F1 值(macro-F1)和微F1 值(micro-F1)。

考慮到實(shí)驗(yàn)所用的數(shù)據(jù)集以及相關(guān)的評(píng)估方法、指標(biāo)均與HGDI[9]相同,因此,直接與文獻(xiàn)[9]中的實(shí)驗(yàn)結(jié)果進(jìn)行比較。實(shí)驗(yàn)結(jié)果如表2 所示。

表2 節(jié)點(diǎn)分類任務(wù)結(jié)果

從表2 中不難看出,基于異構(gòu)圖的方法,即HAN、HDGI 和HGMI,通常要優(yōu)于面向同構(gòu)圖的方法,即GCN、GAT、DGI 和GMI,這說明挖掘與保留異構(gòu)圖中的豐富語義信息有利于提高節(jié)點(diǎn)表征的質(zhì)量。同時(shí),對(duì)比以輸入特征直接作為節(jié)點(diǎn)表征的實(shí)驗(yàn)結(jié)果,可以有效排除輸入特征是導(dǎo)致模型獲得較好性能的主要因素的可能性。同樣,對(duì)比僅利用語義關(guān)系/網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行表示學(xué)習(xí)的M2V,有效結(jié)合輸入特征與結(jié)構(gòu)信息的異構(gòu)圖表示學(xué)習(xí)方法通?？梢垣@得更好的節(jié)點(diǎn)表征。

與有監(jiān)督的圖神經(jīng)網(wǎng)絡(luò)方法的實(shí)驗(yàn)結(jié)果相比,基于互信息的無監(jiān)督圖神經(jīng)網(wǎng)絡(luò)方法同樣可以獲得較好的實(shí)驗(yàn)效果,甚至是表現(xiàn)得更好,如HGMI 與HDGI。這表明在缺少監(jiān)督信息的場(chǎng)景下,基于互信息的無監(jiān)督圖神經(jīng)網(wǎng)絡(luò)方法會(huì)是很好的選擇。該觀察結(jié)果還表明,通過有監(jiān)督的方式在圖結(jié)構(gòu)中學(xué)習(xí)到的特征可能存在局限性,即易受來自數(shù)據(jù)標(biāo)簽的分布或是下游任務(wù)表現(xiàn)出的偏好的影響。而這些局限性可能嚴(yán)重影響表示學(xué)習(xí)方法在真實(shí)場(chǎng)景中的應(yīng)用。

此外,對(duì)比HGMI 與HDGI 的結(jié)果,可以發(fā)現(xiàn)本文方法的分類效果在2 個(gè)數(shù)據(jù)集中均有提升,這充分反映了在同時(shí)考慮多個(gè)、具有不同結(jié)構(gòu)的鄰接矩陣時(shí),引入局部圖互信息以及注意力平衡機(jī)制的必要性。一方面,局部圖互信息可以使模型更關(guān)注節(jié)點(diǎn)近鄰的信息,而不是全圖的信息,從而避免引入不必要的噪音信息;另一方面,注意力平衡機(jī)制可以使得模型對(duì)所有的元路徑均保留一定的關(guān)注,而不是過度關(guān)注某個(gè)/部分元路徑,從而使得節(jié)點(diǎn)表征獲得來自其余語義關(guān)系的信息。

另外,在IMDB 數(shù)據(jù)集中,GMI 的效果要差于DGI 的效果。這主要是因?yàn)?在IMDB 數(shù)據(jù)集中,目標(biāo)節(jié)點(diǎn)間通過元路徑構(gòu)建的關(guān)聯(lián)關(guān)系往往是弱相關(guān)的,例如,同一個(gè)導(dǎo)演可能指導(dǎo)不同類型的影片,而同一個(gè)演員也可能出演不同類型的影片。因此,這種弱相關(guān)性往往會(huì)引入較多的噪音,即具體不同輸入特征的鄰居節(jié)點(diǎn)。不同于GMI,HGMI 通過注意力機(jī)制聚合不同鄰接矩陣中近鄰的信息,從而過濾噪音信息,保證節(jié)點(diǎn)表征的質(zhì)量。

在節(jié)點(diǎn)聚類任務(wù)中,利用K-mean 算法對(duì)生成的節(jié)點(diǎn)表征進(jìn)行聚類。其中,聚類的簇?cái)?shù)被設(shè)定為目標(biāo)節(jié)點(diǎn)的類別種類的數(shù)目。在該任務(wù)中,僅比較無監(jiān)督的方法,即Raw、M2V、DGI、GMI、HDGI 與HGMI。同樣重復(fù)進(jìn)行10 次聚類任務(wù),并在表3 中展示平均的標(biāo)準(zhǔn)互信息(normalized mutual information,NMI)和調(diào)整蘭德系數(shù)(ARI)。

表3 節(jié)點(diǎn)聚類任務(wù)結(jié)果

從表3 中不難看出HGMI 始終要優(yōu)于其他的對(duì)比方法。結(jié)合節(jié)點(diǎn)分類任務(wù)的結(jié)果,發(fā)現(xiàn)對(duì)比方法均存在不同程度的過平滑問題,即局部結(jié)構(gòu)中的節(jié)點(diǎn)表征變得過于相似。換句話說,相似的節(jié)點(diǎn)表征在一定程度上有利于分類器對(duì)節(jié)點(diǎn)進(jìn)行分類;反之,在進(jìn)行節(jié)點(diǎn)聚類時(shí),相似的節(jié)點(diǎn)表征則會(huì)使得節(jié)點(diǎn)聚集在一起,從而變得無法區(qū)分。而通過綜合考慮多個(gè)鄰接矩陣下的近鄰的分布情況,以及有選擇地從中提取有用的信息,HGMI 可以有效地防止過平滑問題的發(fā)生。

為了進(jìn)一步說明注意力平衡機(jī)制起到的作用,分別可視化HGMI、HDGI 以及去除注意力平衡機(jī)制的HGMIna在IMDB 數(shù)據(jù)集上最終的注意力權(quán)重,結(jié)果如圖2 所示。

從圖2 中可以看出,HDGI 主要關(guān)注MKM 關(guān)系;相反,HGMIna則主要關(guān)注MDM 與MAM 關(guān)系。這不難理解,MKM 通過電影間相同的關(guān)鍵詞構(gòu)建關(guān)系,由于多數(shù)關(guān)鍵詞的通用性,使得電影節(jié)點(diǎn)連接得更為緊密、表征變得更為相似,導(dǎo)致圖讀出操作(readout)生成的全局圖表征與節(jié)點(diǎn)表征具有更大的互信息,從而使得MKM獲得較大的關(guān)注。反之,MDM 與MAM 往往會(huì)使得少量、具有相似屬性/特征的節(jié)點(diǎn)聚集在一起,使得局部子圖與節(jié)點(diǎn)表征間的互信息變大。

圖2 IMDB 數(shù)據(jù)集中不同元路徑的注意力權(quán)重

而在加入了注意力平衡機(jī)制后,HGMI 不僅可以對(duì)MDM 與MAM 保持較高的注意力權(quán)重,同時(shí),也會(huì)為MKM 分配一定的權(quán)重,而不是直接將其忽略。通過這種方式,HGMI 可以聚合到在MDM 與MAM 中接觸不到的節(jié)點(diǎn)的特征。

5 結(jié)論

本文主要討論了利用圖互信息進(jìn)行無監(jiān)督的異構(gòu)圖表示學(xué)習(xí)的方法。首先通過元路徑將異構(gòu)圖轉(zhuǎn)化為多個(gè)具有特定語義的同構(gòu)圖;然后在每個(gè)同構(gòu)圖中進(jìn)行圖卷積操作,并利用注意力機(jī)制對(duì)相同節(jié)點(diǎn)的不同表征進(jìn)行融合;在此基礎(chǔ)上,最大化每個(gè)圖中局部子圖與節(jié)點(diǎn)表征間的互信息,使得節(jié)點(diǎn)表征可以有效聚合不同語義關(guān)系下近鄰的輸入特征。同時(shí),為防止語義過擬合的發(fā)生,引入注意力平衡機(jī)制,使得模型對(duì)所有語義關(guān)系均保持一定的關(guān)注度。實(shí)驗(yàn)結(jié)果表明,本文方法相比于其他方法,可以在節(jié)點(diǎn)分類與節(jié)點(diǎn)聚類任務(wù)中獲得更好的效果。