基于GNN的文本分類算法研究

高 貴,趙 陽,于舒娟,姚成杰,黃麗亞

(南京郵電大學(xué) 電子與光學(xué)工程學(xué)院,江蘇 南京 210046)

0 引 言

在信息數(shù)字化的21世紀(jì),自然語言處理(Natural Language Processing,NLP)在人工智能研究中的地位越來越重要。作為NLP領(lǐng)域的重要分支之一,文本分類技術(shù)常被用于處理復(fù)雜多樣的文本信息,其主要工作是根據(jù)特征對文本進(jìn)行分類,并為其分配不同的標(biāo)簽。基于文本分類技術(shù),用戶可以通過搜索關(guān)鍵詞或查找相應(yīng)標(biāo)簽,快速準(zhǔn)確地找到所需信息。

在基于深度學(xué)習(xí)的文本分類技術(shù)中,圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)對非歐幾里德數(shù)據(jù)的獨(dú)特建模方式吸引了學(xué)者們的廣泛研究。2004年,Mihalcea等人[1]首次將圖模型應(yīng)用于文本分類任務(wù),TextRank通過圖論將自然語言中的文本重新定義表示,包括單詞、短語、完整句子等。Defferrard等人[2]提出了基于圖的卷積神經(jīng)網(wǎng)絡(luò)模型Graph-CNN,首次將文本轉(zhuǎn)化為一組詞的圖的集合,利用圖卷積對每個子圖進(jìn)行卷積運(yùn)算。Yao等人[3]構(gòu)建了一個簡單高效的圖卷積網(wǎng)絡(luò)TextGCN,模型基于詞的共現(xiàn)性和詞與詞之間的相互關(guān)系,將待分類的整個文本數(shù)據(jù)集構(gòu)建成文本圖。該方法考慮了節(jié)點(diǎn)的高階鄰域信息,有效提高了文本分類性能。

然而,雖然這些圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制方法在文本分類任務(wù)上取得了成功,但是在圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)以及關(guān)鍵信息的權(quán)重計(jì)算方面還應(yīng)用較少。在研究中發(fā)現(xiàn),由于GNN的特殊圖文轉(zhuǎn)換特征,其在訓(xùn)練數(shù)據(jù)集較少時容易出現(xiàn)過擬合的問題。此外,由于傳統(tǒng)GNN模型的詞嵌入方式對高階領(lǐng)域信息捕捉能力不足,當(dāng)訓(xùn)練數(shù)據(jù)稀疏時會對模型性能帶來負(fù)面影響。

基于以上GNN模型在文本分類任務(wù)中所遇到的問題,該文提出了Att-DASA-ReGNN模型。該模型主要有如下三點(diǎn)創(chuàng)新改進(jìn):

(1)針對模型訓(xùn)練中容易出現(xiàn)的過擬合問題,在模型的數(shù)據(jù)特征提取階段應(yīng)用了EDA技術(shù)和Self-Attention技術(shù)。該技術(shù)在擴(kuò)充數(shù)據(jù)集的同時加強(qiáng)了單詞級別的相互聯(lián)系,改善了過擬合問題。

(2)針對原模型詞嵌入方式對維度很高且稀疏情況下的高階鄰域信息捕捉能力不足的問題,在模型中引入了區(qū)域詞嵌入技術(shù)。該技術(shù)進(jìn)一步加強(qiáng)了詞級之間的關(guān)系,使得模型更容易捕捉高階鄰域信息,從而減輕數(shù)據(jù)稀疏帶來的影響。

(3)為了進(jìn)一步提升模型的文本分類準(zhǔn)確率,在模型的圖詞特征交互階段改進(jìn)了注意力權(quán)重提取方式。通過引入三種不同的注意力機(jī)制驗(yàn)證模型性能的提升效果,最終確定為Soft-Attention作為該階段的注意力權(quán)重提取方式。

1 相關(guān)工作

前饋神經(jīng)網(wǎng)絡(luò)是最早用于文本分類的深度學(xué)習(xí)模型。它們使用詞嵌入模型來學(xué)習(xí)文檔中文本表示,將文本中的詞向量相加的和或平均值作為輸出將其送入前饋神經(jīng)網(wǎng)絡(luò)中[7]。2015年,Zhou等人結(jié)合CNN和RNN兩者的優(yōu)勢,提出了一個C-LSTM模型[8]。該模型首先利用CNN提取高層次的特征,然后將特征送入LSTM以獲得句子表示。2017年,王俊麗等人提出了一個ResLCNN模型[9]。該模型不僅將LSTM與CNN結(jié)合起來提取更復(fù)雜的抽象特征,而且還使用殘差來緩解LSTM梯度消失的問題。2018年,譚詠梅等人利用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合雙向LSTM從文本中提取特征[10]。該模型將得到的特征輸入全連接層,然后利用語義規(guī)則進(jìn)一步處理分類結(jié)果,最終提高了中文文本的分類性能。

圖神經(jīng)網(wǎng)絡(luò)以其在分類精度的優(yōu)越性,被廣大研究學(xué)者應(yīng)用于文本分類領(lǐng)域。Bruna等人將歐幾里德空間卷積轉(zhuǎn)移到圖網(wǎng)絡(luò)中,并為譜域和空間域提出了相應(yīng)的圖卷積方法[11]。Henaff等人將圖卷積應(yīng)用于神經(jīng)網(wǎng)絡(luò),對有和無輸入標(biāo)簽的大型數(shù)據(jù)集都進(jìn)行分類[12]。Defferrard等人[2]在圖譜域定義并應(yīng)用卷積,解決了Bruna等人的計(jì)算高復(fù)雜性和濾波器的非局部問題。Li等人提出了一種能夠處理任何圖結(jié)構(gòu)的圖網(wǎng)絡(luò),以解決以前的圖卷積神經(jīng)網(wǎng)絡(luò)面臨的固定濾波器和圖結(jié)構(gòu)的問題[13]。Huang等人重新改進(jìn)了圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),將單個文本視作圖,用詞共現(xiàn)方法構(gòu)建詞之間的關(guān)系,最后用圖卷積神經(jīng)網(wǎng)絡(luò)提取特征,在提升模型性能的同時還減少了不必要的內(nèi)存消耗[14]。Zhang等人使用門控圖神經(jīng)網(wǎng)絡(luò)提出了一種基于GNN的歸納式文本分類方法,同時提出了不同的構(gòu)建文本圖的方法[15]。該方法通過訓(xùn)練樣本獲得詞之間的相互關(guān)系,該模型對于有較多新詞的文本分類數(shù)據(jù)集效果更好。

數(shù)據(jù)采樣部分如圖1所示,簡單數(shù)據(jù)增強(qiáng)技術(shù)EDA是Wei等人提出來的一種數(shù)據(jù)增強(qiáng)方法,包含了四種類型,分別是:

(1)同義詞替換:在一個句子中隨機(jī)抽取其中的詞,用這些詞的近似詞進(jìn)行同義替換,形成新的句子。

(2)隨機(jī)插入:在一個句子中隨機(jī)選擇一個詞,之后用該詞的同義詞隨機(jī)插入該句子中的任意位置。

(3)隨機(jī)交換:將一個句子中任意選定的兩個單詞進(jìn)行互換位置。

(4)隨機(jī)刪除:將一個句子中的任意單詞以概率p進(jìn)行概率性隨機(jī)刪除。

使用EDA對文本進(jìn)行數(shù)據(jù)增強(qiáng)后,可以得到數(shù)倍于原數(shù)據(jù)的有效數(shù)據(jù)。

接著,Att-DASA-ReGNN模型在EDA數(shù)據(jù)增強(qiáng)后引入了自注意力機(jī)制Self-attention。這樣做的目的是將增強(qiáng)后的數(shù)據(jù)集通過兩個神經(jīng)網(wǎng)絡(luò)層和一個歸一化層組成的模塊,讓提取到的特征擁有更多的細(xì)節(jié)。自注意力的計(jì)算公式可以表示為:

圖1 Att-DASA-ReGNN模型

Att(Q,K,V)=ω(QKT)V

(1)

其中,Q是查詢向量矩陣,K是鍵向量矩陣,V是值向量矩陣。

如圖2所示,Xi為詞嵌入產(chǎn)生的詞向量。接著詞向量Xi分別與三個矩陣W(q)、W(k)、W(v)相乘得到三個矩陣向量Q、K、V。每一個Qi與所有的Ki進(jìn)行矩陣乘法得到αij,其中Qi與Ki進(jìn)行相乘之后需要除一個d,d是Qi與Ki的維度。最后,每一個αij經(jīng)過SoftMax層之后得到了βij,之后將所有的βij相加即可得到輸出b1,即詞Xi的自注意力機(jī)制得分。

圖2 自注意力機(jī)制流程示意圖

區(qū)域詞嵌入是專注于學(xué)習(xí)文本區(qū)域特征的詞嵌入方法。該方法在進(jìn)行區(qū)域特征表示的同時保留了原本數(shù)據(jù)集的內(nèi)部結(jié)構(gòu)信息。其中,區(qū)域可以理解為文本中固定長度的連續(xù)子序列,用wi表示句子中的第i個詞,用region(i,c)表示當(dāng)前第i個詞與該詞前后一共2c+1個詞組成的短語。Att-DASA-ReGNN模型中,區(qū)域詞嵌入方式用ew表示第w個詞的嵌入,該嵌入可以用矩陣E∈Rh×v表示,其中v表示詞匯的大小,h表示嵌入的大小。區(qū)域詞嵌入的具體流程如圖3所示。

為了利用單詞的相對位置和本地語境的信息,除了學(xué)習(xí)單詞嵌入外,還為每個單詞學(xué)習(xí)了一個局部的語境單元,表示為矩陣Kwi∈Rh×(2c+1),Kwi中的每一列都可以用來與相應(yīng)的wi進(jìn)行相對位置上的上下文詞的交互。

(2)

2 Att-DASA-ReGNN模型

Att-DASA-ReGNN主要由四個部分組成:第一部分是自注意力機(jī)制Self attention和EDA結(jié)合生成的數(shù)據(jù)增強(qiáng)數(shù)據(jù)采樣部分;第二部分是利用滑動窗口進(jìn)行圖形構(gòu)建;第三部分為基于門控圖神經(jīng)網(wǎng)絡(luò)(Gated Graph Neural Network,GGNN)的詞特征交互;最后將提取到的特征送入兩個多層感知機(jī)(Multi-Layer Perceptron,MLP)完成文本的預(yù)測分類。圖1為DASA-GNN模型的結(jié)構(gòu)框圖。

2.1 圖形構(gòu)建和詞特征交互

如圖1所示,首先將句子中選中的單詞表示為節(jié)點(diǎn),接著用單詞之間的共現(xiàn)形式表示為邊來進(jìn)行圖形構(gòu)建,圖可以用G=(V,E)表示,其V表示圖形的節(jié)點(diǎn),E表示圖形的邊。共現(xiàn)指的是在滑動窗口中單詞的相關(guān)性,其中滑動窗口大小一般默認(rèn)設(shè)定為3,其中的邊都為無向邊。Nikolentzos等人[16]將滑動窗口的大小定義為2。他們將圖視為密集連接的圖,其模型中圖消息的傳遞機(jī)制主要是用一個特定的基本節(jié)點(diǎn)與其他每一個節(jié)點(diǎn)相連,因此在該圖中只能得到模糊的結(jié)構(gòu)消息。而門控圖神經(jīng)網(wǎng)絡(luò)GGNN中為避免圖的密集連接導(dǎo)致的單詞特征信息模糊,會首先初始化文本數(shù)據(jù)的詞特征來進(jìn)行節(jié)點(diǎn)的嵌入表示,接著將任意一個文檔都進(jìn)行了單獨(dú)子圖表示,因此在模型中詞交互階段部分,單詞特征信息能夠清晰地傳播到上下文中[17]。

圖3 區(qū)域詞嵌入流程

2.2 特征交互的注意力權(quán)重提取方式

為了進(jìn)一步提升Att-DASA-ReGNN模型的準(zhǔn)確率,從模型的圖詞特征交互的角度出發(fā),在特征交互的注意力權(quán)重提取中分別引入了硬注意力、軟注意力和多頭注意力機(jī)制。

p(st,i=1|sj

(3)

(4)

在分類問題中,經(jīng)常被提到的就是軟注意力機(jī)制。其主要思想是,首先將Source中的構(gòu)成元素想象成是由一系列的數(shù)據(jù)對構(gòu)成,此時給定Target中的某個元素Query,通過計(jì)算Query和各個Key的相似性或者相關(guān)性,得到每個Key對應(yīng)Value的權(quán)重系數(shù),然后對Value進(jìn)行加權(quán)求和,得到了最終需要的注意力數(shù)值。所以,本質(zhì)上軟注意力機(jī)制是對Source中元素的ValueValue值進(jìn)行加權(quán)求和,而Query和KeyKey用來計(jì)算對應(yīng)Value的權(quán)重系數(shù)。即可以將其本質(zhì)思想表示為式(5)。

Attention(Query,Source)=

(5)

多頭注意力機(jī)制是對注意力機(jī)制的每個頭進(jìn)行運(yùn)算,是對于輸入Query、Key、Value進(jìn)行的運(yùn)算,然后把每個頭的輸出拼起來乘以一個矩陣進(jìn)行線性變換,得到最終的輸出,其表達(dá)式為式(6)。

(6)

3 實(shí) 驗(yàn)

本節(jié)將在多個不同的數(shù)據(jù)集上進(jìn)行一系列實(shí)驗(yàn),驗(yàn)證所提模型的文本分類性能,而且為更精確地展現(xiàn)Att-DASA-ReGNN模型的分類性能,選取了文本分類方面的幾種經(jīng)典算法模型以及最新的研究成果模型作為實(shí)驗(yàn)的對照組。

3.1 實(shí)驗(yàn)數(shù)據(jù)集

為了驗(yàn)證模型的性能及其穩(wěn)定性,挑選5種不同的英文數(shù)據(jù)集來比較模型的分類效果。這些數(shù)據(jù)集是:

(1)MR:MR數(shù)據(jù)集屬于電影評論領(lǐng)域。它是一個二分類數(shù)據(jù)集,其中每個評論僅包含一句話,分為正面評論和負(fù)面評論。

(2)R8:R8數(shù)據(jù)集屬于新聞領(lǐng)域。它是從路透社的新聞專線中收集分類得到的,總共分為8類。

(3)SST1:SST1數(shù)據(jù)集屬于社會領(lǐng)域。它來自于斯坦福情感樹庫,包括非常消極、消極、中性、積極、非常積極五種類型的數(shù)據(jù)。

(4)SST2數(shù)據(jù)集與SST1數(shù)據(jù)集相同,但去掉了中性評論和二進(jìn)制標(biāo)簽,只保留了兩類標(biāo)簽。

(5)SUBJ數(shù)據(jù)集是主觀性數(shù)據(jù)集,該數(shù)據(jù)集用主客觀的指標(biāo)將句子進(jìn)行二分類。

(6)TREC數(shù)據(jù)集為問句類型的數(shù)據(jù)集。

這些實(shí)驗(yàn)數(shù)據(jù)集的詳細(xì)信息如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集詳細(xì)信息

3.2 對比模型

為更精確地展現(xiàn)DASA-GNN模型的分類性能,本章選取了文本分類方面的幾種經(jīng)典算法模型以及最新的研究成果模型作為實(shí)驗(yàn)的對照組。所選模型按照原理大致可以分為深層神經(jīng)網(wǎng)絡(luò)模型和基于圖的網(wǎng)絡(luò)模型,具體介紹如下:

(1)CNN(non-static):該模型將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于文本分類,并使用了隨機(jī)初始化單詞嵌入來提取句子的關(guān)鍵信息。

(2)CNN(rand):該模型同樣基于卷積神經(jīng)網(wǎng)絡(luò),與CNN(non-static)不同的是,它使用了預(yù)訓(xùn)練單詞嵌入來提取句子關(guān)鍵信息。

(3)BiLSTM(RNN):該模型使用雙向LSTM結(jié)構(gòu)進(jìn)行文本分類,并使用了預(yù)訓(xùn)練單詞嵌入提取信息。

(4)Texting(GNN):Texting為每個文檔構(gòu)成單獨(dú)的圖,并利用GGNN進(jìn)行文本分類。

(5)TextGCN(GCN):TextGCN將整個語料庫構(gòu)成一個圖,并應(yīng)用GCN進(jìn)行文本分類。

3.3 評價指標(biāo)

為評價文中改進(jìn)模型對文本分類的有效性,采用準(zhǔn)確率作為評價指標(biāo)。其公式可以表示為:

(7)

其中,TP表示真正例,TN表示真反例,FP表示假正例,FN表示假反例。

3.4 實(shí)驗(yàn)結(jié)果

為了對DASA-GNN模型進(jìn)行全面分析,本節(jié)設(shè)計(jì)了多組實(shí)驗(yàn)。實(shí)驗(yàn)1:基于自注意力機(jī)制的EDA的數(shù)據(jù)增強(qiáng)效果驗(yàn)證實(shí)驗(yàn);實(shí)驗(yàn)2:基于Dropedge技術(shù)的區(qū)域詞嵌入對模型性能提升效果驗(yàn)證實(shí)驗(yàn);實(shí)驗(yàn)3:三種不同的注意力權(quán)重提取方式對模型性能提升效果驗(yàn)證實(shí)驗(yàn);實(shí)驗(yàn)4:模型超參數(shù)設(shè)置對模型分類性能的影響實(shí)驗(yàn)。具體分析如下:

(1)為了更好地了解EDA數(shù)據(jù)增強(qiáng)的作用及其對DASA-GNN模型的性能影響,實(shí)驗(yàn)1選擇了Texting作為對照模型,并選擇了不同百分比訓(xùn)練數(shù)據(jù)下的準(zhǔn)確率作為對比結(jié)果考量。實(shí)驗(yàn)結(jié)果如表2所示,對于MR、SST2和SUBJ數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果而言,DASA-GNN模型的最佳性能對比Texting模型有2.93百分點(diǎn)、1.52百分點(diǎn)和 0.15百分點(diǎn)的提升,且最佳性能都在30%數(shù)據(jù)量時出現(xiàn)。對于R8和SST1數(shù)據(jù)集而言,服務(wù)器上得出的最佳結(jié)果盡管略微不如Texting模型,但是符合實(shí)驗(yàn)預(yù)期的結(jié)果。由此可見,在模型的數(shù)據(jù)增強(qiáng)部分加入自注意力層后可以進(jìn)一步改善數(shù)據(jù)質(zhì)量,提升模型性能。

(2)將引入?yún)^(qū)域詞嵌入的DASA-ReGNN模型與七個深度學(xué)習(xí)領(lǐng)域的算法進(jìn)行對比,最終對比結(jié)果見表3。表中模型在不同數(shù)據(jù)集上的最佳準(zhǔn)確率用加粗字體表示,次優(yōu)準(zhǔn)確率用下劃線表示。從表3中可以看出,DASA-ReGNN模型在多個數(shù)據(jù)集上都表現(xiàn)出了優(yōu)異的性能。其中,在R8、SUBJ數(shù)據(jù)集上顯示圖神經(jīng)網(wǎng)絡(luò)具有良好的分類性能,而DASA-ReGNN通過引入?yún)^(qū)域詞嵌入表現(xiàn)得更為優(yōu)異;與其余六個深度學(xué)習(xí)領(lǐng)域的經(jīng)典以及最新的算法的最佳性能相比,DASA-ReGNN還提升了0.36百分點(diǎn)和0.24百分點(diǎn)的分類精度。在除SST1以外的其余五個數(shù)據(jù)集上DASA-ReGNN都提升了一定的分類精度,表現(xiàn)出了良好的模型性能。

表2 引入自注意力機(jī)制的模型性能比較

表3 引入?yún)^(qū)域詞嵌入的GNN與其他網(wǎng)絡(luò)模型的準(zhǔn)確率比較

(3)實(shí)驗(yàn)中采用了三種不同的注意力權(quán)重提取方式對模型性能提升效果進(jìn)行驗(yàn)證,其結(jié)果如表4所示。從四個模型在不同數(shù)據(jù)集上的分類結(jié)果對比可以得出,在Att-DASA-GNN模型中引入不同的注意力機(jī)制可以有效提升文本分類的性能。例如在MR數(shù)據(jù)集上,DASA-ReGNN的分類準(zhǔn)確率為0.829 4,而引入硬注意力機(jī)制的Att-DASA-ReGNN模型的準(zhǔn)確率可達(dá)0.830 0,引入軟注意力機(jī)制和多頭注意力機(jī)制的模型準(zhǔn)確率提升效果更好,分別為0.841 0和0.832 4。在其他數(shù)據(jù)集上的提升效果也較明顯。

表4 不同注意力權(quán)重提取方式效果對比

表5為三種不同注意力機(jī)制的Att-DASA-ReGNN模型與傳統(tǒng)文本分類模型的性能比較實(shí)驗(yàn)結(jié)果。由表5可以得出,相對于一些傳統(tǒng)模型,三種Att-DASA-ReGNN模型的文本分類準(zhǔn)確率均有不同程度的提高,其中以軟注意力機(jī)制模型Att-DASA-ReGNN+Soft的分類準(zhǔn)確率最佳。例如,在MR數(shù)據(jù)中,性能表現(xiàn)最好的傳統(tǒng)模型CNN(non-static)的分類準(zhǔn)確率為0.815 0,而三種Att-DASA-ReGNN模型的分類準(zhǔn)確率分別為0.830 0、0.841 0和0.832 4,均超過其他對照模型。此外,軟注意力機(jī)制模型Att-DASA-ReGNN+Soft的分類性能在4個數(shù)據(jù)集上的分類準(zhǔn)確率最高。由此可見,在模型圖詞特征交互中加入注意力機(jī)制的方法可以有效提升文本分類準(zhǔn)確率,并且軟注意力機(jī)制的提升效果最為有效。

表5 Att-DASA-ReGNN模型與其他的

(4)最后,為探究兩個重要超參數(shù)learning rate和hidden size對模型性能的影響,選擇了在R8、SST2、SUBJ和SST1數(shù)據(jù)集上進(jìn)行模型訓(xùn)練做進(jìn)一步測試。實(shí)驗(yàn)結(jié)果如圖4所示。

當(dāng)hidden size參數(shù)不變時,DASA-GNN模型的準(zhǔn)確率在learning rate參數(shù)數(shù)值為0.005時達(dá)到最大;當(dāng)learning rate參數(shù)不變時,hidden size參數(shù)為 96模型準(zhǔn)確率達(dá)到最高。例如在SUBJ數(shù)據(jù)集上,從圖4(c)中可以看到,hidden size參數(shù)為96的柱形圖為模型準(zhǔn)確率的最高值,并且其隨著learning rate參數(shù)的提升而不斷升高。由此可見,DASA-ReGNN模型訓(xùn)練中的超參數(shù)learning rate和hidden size最優(yōu)值依舊為0.005和96,模型性能穩(wěn)定可靠。

圖4 Att-DASA-ReGNN模型在不同learning rate和hidden size下的準(zhǔn)確性比較

4 結(jié)束語

針對現(xiàn)有的基于圖神經(jīng)網(wǎng)絡(luò)的文本分類方法存在的過擬合、特征稀疏和特征多樣性不足等問題,提出了Att-DASA-ReGNN。Att-DASA-ReGNN模型在保留圖神經(jīng)網(wǎng)絡(luò)中圖形編碼特性的同時,使用了基于自注意力機(jī)制的EDA數(shù)據(jù)增強(qiáng)技術(shù),同時在圖詞特征交互階段引入了區(qū)域詞嵌入技術(shù)改善了高階領(lǐng)域信息的捕捉問題,最后在圖詞特征交互階段改進(jìn)了注意力權(quán)重提取方式。實(shí)驗(yàn)表明,相較于其他現(xiàn)有模型,Att-DASA-ReGNN模型在多個不同種類數(shù)據(jù)集上的分類準(zhǔn)確率均有不同程度的提升,性能優(yōu)越性顯著。