基于小樣本學(xué)習(xí)的中文文本關(guān)系抽取方法

季一木，張 旺，劉 強(qiáng)，2，劉尚東，洪 程，邱晨陽，朱金森，惠 巖，肖 婉

(1.南京郵電大學(xué) 計(jì)算機(jī)學(xué)院，江蘇 南京 210023 2.南京郵電大學(xué)高性能計(jì)算與大數(shù)據(jù)處理研究所，江蘇南京 210023 3.國家高性能計(jì)算中心南京分中心，江蘇 南京 210023 4.南京郵電大學(xué)高性能計(jì)算與智能處理工程研究中心，江蘇 南京 210023 5.南京郵電大學(xué) 教育科學(xué)與技術(shù)學(xué)院，江蘇 南京 210023)

隨著互聯(lián)網(wǎng)的快速發(fā)展，數(shù)據(jù)越來越多樣化，文本作為信息傳播的主要形式之一，不斷地更新［1］。實(shí)體關(guān)系抽取作為文本挖掘和信息抽取的核心任務(wù)，是知識圖譜構(gòu)建過程中的關(guān)鍵一環(huán)。 其主要目的是對句子中實(shí)體與實(shí)體之間的關(guān)系進(jìn)行識別，抽取句子中的三元組信息，即實(shí)體1-實(shí)體2-關(guān)系三元組，得到的三元組信息可以提供給知識圖譜的構(gòu)建、問答、機(jī)器閱讀等下游自然語言處理（Natural Language Processing， NLP）［2］任務(wù)。 由于近年來自然語言處理的發(fā)展與應(yīng)用，關(guān)系抽取也吸引了許多研究者。 有監(jiān)督的關(guān)系抽取方法如CNN、RNN、LSTM 等［2］在該任務(wù)上已取得非常好的效果。 但是，有監(jiān)督的關(guān)系抽取的準(zhǔn)確率往往過于依賴高質(zhì)量的數(shù)據(jù)集，而人工標(biāo)準(zhǔn)數(shù)據(jù)集往往需要耗費(fèi)大量精力。 為了快速構(gòu)造有標(biāo)簽的大規(guī)模數(shù)據(jù)集， Mintz等［3］提出了遠(yuǎn)程監(jiān)督的思想，用來生成帶標(biāo)簽的大規(guī)模數(shù)據(jù)集。 該思想基于這樣一個假設(shè)：如果一個句子中含有一個關(guān)系涉及的實(shí)體對，那這個句子就是描述的這個關(guān)系。 因此，遠(yuǎn)程監(jiān)督的數(shù)據(jù)里存在大量噪聲。 為了緩解噪聲數(shù)據(jù)問題，Zeng 等［4］使用分段卷積神經(jīng)網(wǎng)絡(luò)（PCNN）提取特征，基于該模型的擴(kuò) 展 有PCNN ＋MIL［4］、PCNN ＋ATT［5］、PCNN ＋BAG［6］等。 雖然這些模型在公共關(guān)系上取得了令人滿意的結(jié)果，但當(dāng)某些關(guān)系的訓(xùn)練實(shí)例很少時，它們的分類性能仍然會急劇下降［7］。 且現(xiàn)有的遠(yuǎn)程監(jiān)督模型忽略了長尾關(guān)系的問題，這使得這些模型難以從純文本中提取全面的信息。

在小樣本學(xué)習(xí)（Few-shot Learning）方法中，僅僅需要幾個樣本實(shí)例就能使模型學(xué)會區(qū)分不同關(guān)系類型的能力［8］，從而緩解大量無標(biāo)簽數(shù)據(jù)帶來的標(biāo)注壓力。 小樣本學(xué)習(xí)的概念最早從計(jì)算機(jī)視覺（Computer Vision）領(lǐng)域興起，近幾年受到廣泛關(guān)注，在圖像分類任務(wù)中已有很多性能優(yōu)異的算法模型，但是在自然語言處理領(lǐng)域發(fā)展得較為緩慢，主要原因是與圖像相比，文本更加多樣化和嘈雜［9］。 最近，隨著元學(xué)習(xí)方法［10－11］（Mate-Learning）、圖卷積神經(jīng)網(wǎng)絡(luò)［12］（Graph Convolutional Network， GCN）等概念的提出，使得模型能快速地從少量的樣本中進(jìn)行學(xué)習(xí)。 Han 等［13］構(gòu)建了一個用于小樣本關(guān)系抽取的數(shù)據(jù)集FewRel，并基于不同的少樣本模型對其進(jìn)行了評估。 在這些模型中， 基于原型網(wǎng)絡(luò)（Prototypical Network）［14］和 匹 配 網(wǎng) 絡(luò)（Matching Network）［15］的方法能快速有效地對小樣本進(jìn)行學(xué)習(xí)并取得比較好的效果。 但是FewRel 是針對英文文本構(gòu)建的關(guān)系抽取數(shù)據(jù)集，而相對于英文來說，中文更為復(fù)雜，具體表現(xiàn)在：（1） 在中文里，最小的語義單位是字，而字與字之間又能組成不同語義的詞，所以在處理中文分詞時容易遇到歧義問題；（2） 隨著互聯(lián)網(wǎng)的發(fā)展，會對一些詞賦予新的含義，同時組合不同的字也會產(chǎn)生一些新的詞匯，給模型的訓(xùn)練帶來了不小的難度；（3） 中文還有一個特點(diǎn)是重意合而不重形式，句子結(jié)構(gòu)比較松散，不易于提取特征。

為了解決上述問題，本文以FinRE［16］為基礎(chǔ)，重新構(gòu)建了中文關(guān)系抽取數(shù)據(jù)集，使用語義關(guān)系的網(wǎng)絡(luò)HowNet［17］對抽取實(shí)體進(jìn)行語義細(xì)分，同時基于改進(jìn)后的Clues-BERT［18－19］對輸入的文本進(jìn)行編碼，使用少樣本學(xué)習(xí)中的原型網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行關(guān)系抽取。 同時，為了減少噪聲數(shù)據(jù)對結(jié)果準(zhǔn)確率的影響，考慮到每一次訓(xùn)練中，不同的實(shí)例對結(jié)果的影響不同，這里使用了基于實(shí)例級別的注意力機(jī)制對模型進(jìn)行優(yōu)化。

綜上所述，本文的主要貢獻(xiàn)如下：

（1） 基于FinRE 重新構(gòu)建了適合少樣本學(xué)習(xí)的中文數(shù)據(jù)集。

（2） 在對句子級的注意力機(jī)制的基礎(chǔ)上，使用HowNet［17］對實(shí)體進(jìn)行語義拆分，引入了實(shí)體級別編碼層面的注意力機(jī)制，使模型關(guān)注質(zhì)量更高的特征，提高實(shí)例編碼質(zhì)量。

（3） 為了評測該方法的有效性，人工地在訓(xùn)練集里加入了一定比例的噪聲數(shù)據(jù)進(jìn)行訓(xùn)練。 結(jié)果顯示，基于注意力機(jī)制的原型網(wǎng)絡(luò)要優(yōu)于原始原型網(wǎng)絡(luò)，關(guān)系抽取的準(zhǔn)確率提升在1%～2%之間。

1 相關(guān)工作

關(guān)系抽取是非常重要的一項(xiàng)任務(wù)，許多研究者提出了各種不同的解決方法。 處理關(guān)系抽取任務(wù)的第一步就是需要將文本字符編碼成計(jì)算機(jī)可以理解的數(shù)值常量，以便于提取特征。 Mikolov 等［20］開源了一款用于詞向量計(jì)算的工具——Word2Vec，用于計(jì)算非常大數(shù)據(jù)集中單詞的連續(xù)矢量表示。 但是由于計(jì)算出來的詞和向量是一對一的關(guān)系，所以一次多義的問題無法解決。 這種缺點(diǎn)在中文上表現(xiàn)得比較明顯，因?yàn)橹形睦飭为?dú)的字的含義就非常豐富，組合成詞的語義就更為繁多復(fù)雜。 Google 發(fā)布的BERT［18］模型在處理輸入的中文序列時，將每個字視為最小的語義單位，使用雙向Transforme 進(jìn)行編碼， 使得每個詞都要和該句子中的所有詞進(jìn)行注意力計(jì)算，從而學(xué)習(xí)句子內(nèi)部的詞依賴關(guān)系，捕獲句子的內(nèi)部結(jié)構(gòu)。 目前，BERT 在NLP 的多個研究領(lǐng)域中都取得良好效果。 但是，原始的BERT 模型參數(shù)眾多，導(dǎo)致模型訓(xùn)練速度慢，且對中文詞向量的表示效果遠(yuǎn)不如英文。 本文使用Xu 等［19］提供的基于BERT 的預(yù)訓(xùn)練模型CLUE-BERT，該模型使用100 GB的原始語料庫，包含350 億個漢字。 與Google 發(fā)布的原生模型BERT-Base 相比較，在保證準(zhǔn)確率不受影響的情況下，訓(xùn)練和預(yù)測速度均有提高。

在將句子編碼為向量后，如何優(yōu)化關(guān)系抽取模型也是研究的熱點(diǎn)。 最近，元學(xué)習(xí)的思想被應(yīng)用到少樣本關(guān)系抽取中，目的是讓模型獲得一種學(xué)習(xí)能力，這種學(xué)習(xí)能力可以讓模型在新的領(lǐng)域自動學(xué)習(xí)到一些元知識。 在常規(guī)小樣本關(guān)系抽取算法中，基于度量和優(yōu)化的元學(xué)習(xí)方法最為常見。 Ye 等［21］提出基于卷積神經(jīng)網(wǎng)絡(luò)的多級別匹配聚合網(wǎng)絡(luò)，Xu等［22］提 出 的 基 于 圖 網(wǎng) 絡(luò) 的 Frog-GNN 以 及Mueller［23］提出的標(biāo)簽語義感知預(yù)訓(xùn)練等方案提升了少樣本關(guān)系抽取的準(zhǔn)確率。 但這些復(fù)雜的方法往往對訓(xùn)練時間要求更長以及機(jī)器的性能要求更高，同時在小樣本關(guān)系分類任務(wù)上的表現(xiàn)相較于基于簡單度量和優(yōu)化的方法并沒有特別大的提升。 原型網(wǎng)絡(luò)的思想和實(shí)現(xiàn)方法都十分簡單明晰，效果與之前的工作相比得到了一定的提升。 Snell 等［14］基于簡單度量的元學(xué)習(xí)方法提出了原型網(wǎng)絡(luò)（Prototypical Network），認(rèn)為每個類別在向量空間中都存在一個原型（Prototype），通過將不同類別的樣例數(shù)據(jù)映射成向量并提取它們的“均值”表示一個類別的原型，通過比較向量之間的歐式距離進(jìn)行相似度的判斷。然而簡單地提取樣例數(shù)據(jù)映射向量的均值并不能很好地反映類別的特征，因?yàn)椴煌臉永龑υ拖蛄康挠绊懖煌?4］。 由于樣本量少，分類邊界存在誤差，當(dāng)數(shù)據(jù)存在噪聲時，容易對結(jié)果造成干擾。 在少樣本學(xué)習(xí)圖像任務(wù)中，注意力機(jī)制已被用于減少噪聲的影響［25］。 Gao 等［26］提出了基于混合注意力的原型網(wǎng)絡(luò)，針對實(shí)例級別和特征級別分別設(shè)計(jì)了不同的關(guān)注方案，以分別突出關(guān)鍵實(shí)例和特征，在英文數(shù)據(jù)集FewRel2.0［27］取得了比較好的效果。 但是在中文語境里，一個實(shí)體往往有更為豐富的含義。 因此，如何在中文語境里準(zhǔn)確地關(guān)注每個實(shí)體在上下文中對應(yīng)的語義，以及如何減少噪聲實(shí)例對模型準(zhǔn)確率的影響是本文的關(guān)注點(diǎn)。 在本文工作中，使用雙重注意力機(jī)制給每個類別的不同樣例以及每個實(shí)體不同的含義賦予不同的權(quán)重參數(shù)，在一定程度上減少了噪聲對結(jié)果的影響，提升了模型對抗噪聲的能力。 同時，在少樣本關(guān)系抽取中，無需構(gòu)造數(shù)據(jù)，數(shù)據(jù)不會存在長尾關(guān)系，僅需要少量的樣本就能訓(xùn)練出優(yōu)質(zhì)的模型。

2 基于HowNet 的雙重注意力機(jī)制小樣本關(guān)系抽取算法

本節(jié)詳細(xì)介紹基于小樣本學(xué)習(xí)的中文文本關(guān)系抽取方法。 整體框架圖如圖1 所示，S表示支持集，Q表示查詢集，F(xiàn)ramework 為總體框架圖，Proto-Vector 部分為原型網(wǎng)絡(luò)計(jì)算出來的原型向量，Attention 部分為注意力機(jī)制計(jì)算結(jié)構(gòu)圖。

圖1 模型的體系結(jié)構(gòu)

2．1 符號和定義

在小樣本關(guān)系抽取問題中，將訓(xùn)練數(shù)據(jù)集劃分為已分類的支持集合S和待分類的查詢集合Q， 該任務(wù)被定義為預(yù)測查詢集中的實(shí)體對（h，t） 在對應(yīng)的支持集中屬于關(guān)系r。 對于給定關(guān)系集合R， 支持集S以及查詢集Q，有如下定義

2．2 基于HowNet 的實(shí)例編碼

HowNet 是一個大規(guī)模高質(zhì)量的跨語言（中英）常識知識庫，蘊(yùn)含著豐富的語義信息。 其中將詞義概念用更小的語義單位描述，這種語義單位被稱為“義原”（Sememe），是最基本的、不易于再分割的意義的最小單位。 在實(shí)際關(guān)系抽取任務(wù)中，一個實(shí)體通常在不同的上下文環(huán)境中具有不同的含義，如“喬布斯創(chuàng)造了蘋果”和“牛頓因?yàn)樘O果發(fā)現(xiàn)了萬有引力”中的“蘋果”，在前者中是“特定品牌”的意思，而在后者中是“水果”的意思。 為了減少歧義對抽取結(jié)果的影響，使用HowNet 可以獲取每個實(shí)體的最小的義原，例如“蘋果”一詞經(jīng)過HowNet 拆分后可以得到的義原為“tree ｜樹， SpeBrand ｜特定牌子，tool｜用具， computer｜電腦等”，如圖2 所示。 然后經(jīng)過BERT 編碼后進(jìn)行權(quán)重分配，計(jì)算出最符合上下文語義的向量，這一部分將在后面詳細(xì)描述。

圖2 “蘋果”義原分解圖

對于給定的實(shí)例x ＝｛w1，w2，…，wn｝，假設(shè)其中的頭實(shí)體為h，尾實(shí)體為t， 使用HowNet 獲取每個實(shí)體的義原，即h→｛h1，h2，…，hi｝，t→｛t1，t2，…，tj｝。 將 序 列｛x，h，t｝ 使 用 預(yù) 訓(xùn) 練 模 型CLUEBERT，將句子編碼為低維度向量以表示該實(shí)例的語義信息。 例如，對于給定的實(shí)例x，經(jīng)過編碼后句子中的每一單詞wi將會與一個向量對應(yīng)。

其中，BERT（·） 表示將輸入的單詞進(jìn)行低維度嵌入，得到的向量ωi用來表示該單詞的語義信息和語法信息。 最后將該實(shí)例中的所有詞向量經(jīng)過一個特征提取層，從而生成一個固定大小的句子嵌入向量X。

其中，Pool（·）用于提取每個單詞特征，并輸出一個固定大小的維度向量dw表示整個實(shí)例的語義和語法信息，編碼流程如圖3 所示。

圖3 基于HowNet 的實(shí)例編碼

2．3 原型網(wǎng)絡(luò)

原型網(wǎng)絡(luò)（Prototypical Networks）的主要思想是每個類別的關(guān)系類型在高維向量空間中都存在一個原型（Prototype），也稱作類別中心點(diǎn)。 原型網(wǎng)絡(luò)使用神經(jīng)網(wǎng)絡(luò)將不同的句子映射成一個向量，對于同屬于一個關(guān)系類別的樣本，求這一類樣本向量的平均值作為該關(guān)系類型的原型，計(jì)算原型向量的一般方法是對支持集中所有的向量化樣例數(shù)據(jù)取均值得到。其中，ci為原型網(wǎng)絡(luò)為每個類別ri計(jì)算出的一個原型，為支持集S中的一個關(guān)系類型ri的嵌入式向量表示，K表示一次N way K Shot 分類中每個關(guān)系類型實(shí)例的數(shù)量。

在原型網(wǎng)絡(luò)的計(jì)算中，所有實(shí)例都被同等地對待，但是在現(xiàn)實(shí)中并不是每個實(shí)例對結(jié)果都具有一樣的相關(guān)性。 因此，在訓(xùn)練中應(yīng)該關(guān)注那些更能代表該關(guān)系類型的實(shí)例。 在這里使用的方法中，簡單的平均機(jī)制被實(shí)例級注意所取代，以突出支持集中那些更相關(guān)的實(shí)例，將在下一部分中討論。 在分類時，原形網(wǎng)絡(luò)使用Softmax（·）計(jì)算查詢集Q與向量ci的距離，用來表示查詢集總實(shí)例x在關(guān)系集合R中的概率。

其中，－ d（·，·） 為計(jì)算兩個向量距離的函數(shù)，f?（·） 表示 對 輸入 的 查 詢 集 實(shí) 例x進(jìn) 行 編 碼，p?（y ＝ ri ｜x） 表示查詢實(shí)例x是關(guān)系類型ri的概率。 距離函數(shù)有多種選擇，根據(jù)Snell 等［14］的研究，歐幾里德距離優(yōu)于其他距離函數(shù)，因此在該網(wǎng)絡(luò)中，選擇使用歐幾里德距離計(jì)算兩個向量之間的距離。

2．4 雙重注意力機(jī)制

每個實(shí)例中的實(shí)體經(jīng)過HowNet 分解得到不同的義原，然而在現(xiàn)實(shí)中每個實(shí)體根據(jù)上下文的不同而具有不同的意義。 為了更為準(zhǔn)確地表示實(shí)體在上下文中的意義，對其所有義原根據(jù)其相關(guān)性進(jìn)行權(quán)重分配，從而減少噪聲對訓(xùn)練結(jié)果的影響。 義原在經(jīng)過CLUE-BERT 編碼后得到其對應(yīng)的向量表示形式，即Sems ＝｛Sem1，Sem2，…，Semk｝，k ＝6，k為得到的義原數(shù)量。 為每一個義原權(quán)重分配一個權(quán)重βj（如圖1 中Entity-Attention 所示），從而計(jì)算實(shí)體的向量為

其中，βj被定義為

將每個實(shí)例中的實(shí)體進(jìn)行如上計(jì)算，即可得到該實(shí)例的向量表示｛ω1，ω2，…，ωn，Semh，Semt｝。

對于每個關(guān)系類型，原型網(wǎng)絡(luò)采用實(shí)例的平均向量作為關(guān)系原型。 但是，在現(xiàn)實(shí)世界中，每個關(guān)系類型的不同實(shí)例與該關(guān)系類型的相關(guān)性并不是一樣的。 特別是在少樣本場景中，由于缺少訓(xùn)練數(shù)據(jù)，一個實(shí)例的表示形式與其他實(shí)例的表示形式相差很遠(yuǎn)，這將導(dǎo)致相應(yīng)原型的巨大偏差。 如果訓(xùn)練集中存在噪聲數(shù)據(jù)，或者一種關(guān)系類型存在多種語義，這將會對結(jié)果的準(zhǔn)確率產(chǎn)生非常大的影響。 為了解決上述問題，根據(jù)相關(guān)性的大小對輸入的實(shí)例分配不同的權(quán)重，從而減少噪聲的影響。 對于訓(xùn)練時支持集S中的每一個實(shí)例向量，為其分配一個權(quán)重αj（如圖1 中Sentence-Attention 所示），從而計(jì)算原型向量的方法變?yōu)?/p>

其中，αj被定義為

其中，f（·） 為一個線性層，☉為將兩個矩陣的對應(yīng)元素進(jìn)行相乘的操作，σ（·） 為一個激活函數(shù)，這里使用的是tanh（·） 函數(shù)保證計(jì)算的結(jié)果在［1，－1］范圍內(nèi)，sum｛｝用來對向量所有元素求和。 通過訓(xùn)練實(shí)例級的注意力機(jī)制，支持集中的實(shí)例特征與查詢實(shí)例特征越相似，將獲得更高的權(quán)重，最終計(jì)算的原型向量更接近這些實(shí)例。

2．5 算法實(shí)現(xiàn)

對于支持集輸入的句子，首先將頭實(shí)體和尾實(shí)體輸入HowNet 網(wǎng)絡(luò)，解析得到不同的義原，然后將得到的義原和實(shí)例輸入CLUE-BERT 模塊進(jìn)行編碼。 此時得到的輸出包含實(shí)例和實(shí)體的編碼，先使用算法1 計(jì)算出每個義原的權(quán)重，將權(quán)重與對應(yīng)的向量相乘，得到代表該實(shí)體的向量表示；同理，使用算法2 進(jìn)行權(quán)重計(jì)算，可以得到類型的向量表示；對查詢集輸入的句子，進(jìn)行如上的計(jì)算得到一個向量表示；最后將兩個向量使用歐幾里德距離計(jì)算相似度。 由于交叉熵?fù)p失函數(shù)常應(yīng)用于多分類任務(wù)中，因此訓(xùn)練過程中選擇其作為目標(biāo)函數(shù)，通過反向傳播調(diào)整模型的權(quán)重，該損失函數(shù)表達(dá)式如下

其中，c為計(jì)算出的相似度，class為類別數(shù)。

算法1Entity-Attention 算法

算法2Sentence-Attention 算法

3 實(shí)驗(yàn)與結(jié)果分析

3．1 實(shí)驗(yàn)數(shù)據(jù)集

以Li 等［16］手動標(biāo)注的數(shù)據(jù)集FinRE 為基礎(chǔ)，重新構(gòu)建了支持少樣本學(xué)習(xí)的中文數(shù)據(jù)集。 該數(shù)據(jù)集一共有44 種關(guān)系，其中30 種關(guān)系用來訓(xùn)練，14種關(guān)系用來測試和驗(yàn)證。 為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，在測試集中出現(xiàn)的關(guān)系類型，不會被劃分到訓(xùn)練集中。 為了驗(yàn)證基于注意力機(jī)制的原型網(wǎng)絡(luò)的有效性，在數(shù)據(jù)集中人工地添加0%、10%、30%、50%的噪聲數(shù)據(jù)，這些數(shù)據(jù)在訓(xùn)練時將會被當(dāng)成正確的數(shù)據(jù)進(jìn)行訓(xùn)練。

3．2 參數(shù)設(shè)置

實(shí)驗(yàn)中所有的參數(shù)設(shè)置如表1 所示，對于訓(xùn)練文本中的每個實(shí)例，單詞數(shù)量大于40 的，截取前40 個，不足的則以“［PAD］”填充。 對于詞嵌入，使用CLUE-BERT 預(yù)訓(xùn)練好的輕量級模型對輸入的文本序列進(jìn)行編碼，該模型包含35 kB 的中文詞匯，輸入詞向量的維度為312，設(shè)置原始原型網(wǎng)絡(luò)的迭代次數(shù)為30 000 次。 所有模型都在訓(xùn)練集上進(jìn)行訓(xùn)練，然后選擇在驗(yàn)證集上表現(xiàn)最佳的模型在測試集上進(jìn)行測試。

表1 參數(shù)設(shè)置

3．3 結(jié)果分析

為了證明基于實(shí)例級注意力機(jī)制的小樣本關(guān)系抽取方法對抗噪聲的有效性，通過計(jì)算該模型對關(guān)系實(shí)例抽取的準(zhǔn)確率來評測模型的效果，結(jié)果如表2 所示，分別是在0%、20%、30%、50%的噪聲數(shù)據(jù)下，使用原始的原型網(wǎng)絡(luò)（Proto）和基于注意力機(jī)制的原型網(wǎng)絡(luò)（Proto-att）得到的關(guān)系抽取的準(zhǔn)確率。 可以看出，在少樣本關(guān)系抽取中，隨著關(guān)系類別的增加，準(zhǔn)確率會隨之下降；隨著每個關(guān)系類別的實(shí)例增多，準(zhǔn)確率會上升，但并不是無限上升，當(dāng)達(dá)到某一個水平時，上升速率趨近飽和，增加實(shí)例的數(shù)量對準(zhǔn)確率的提升不再有明顯優(yōu)勢。 與原型網(wǎng)絡(luò)相比較，當(dāng)存在噪聲數(shù)據(jù)時，基于雙重注意力機(jī)制的原型網(wǎng)絡(luò)會有更好的性能表現(xiàn)。

表2 關(guān)系抽取準(zhǔn)確度比較 %

表3 是基于HowNet 的雙重注意力機(jī)制的小樣本關(guān)系抽取模型與其他模型，在沒有添加噪聲數(shù)據(jù)情況下抽取準(zhǔn)確率的對比，實(shí)驗(yàn)證明了基于HowNet的雙重注意力機(jī)制的小樣本關(guān)系抽取模型在抽取準(zhǔn)確率方面相較于其他模型有一定的提升，使用的基線模型如下：

表3 各模型在FinRE 數(shù)據(jù)集上準(zhǔn)確率對比 %

（1） ProtoNet（CNN）［22］是利用卷積神經(jīng)網(wǎng)絡(luò)作為編碼器，將非線性地映射到向量空間，最后衡量歐式距離做分類。

（2） ProtoNet（BERT）是利用Google 發(fā)布的原生預(yù)訓(xùn)練語言模型BERT，將整個句子編碼到統(tǒng)一的語義空間中，利用預(yù)訓(xùn)練的優(yōu)勢能極大提升訓(xùn)練的效率。

（3） ProtoNet（KEPLER）利用了Wang 等［28］在預(yù)訓(xùn)練語言模型的基礎(chǔ)上，結(jié)合知識圖譜將知識嵌入到預(yù)訓(xùn)練語言模型中，在預(yù)訓(xùn)練過程中對整個語言模型進(jìn)行優(yōu)化。

（4） Proto（CLUE-BERT）利用了Xu 等［19］在BERT 的基礎(chǔ)上對預(yù)訓(xùn)練語言模型的改進(jìn)，使用了大量的中文語料庫進(jìn)行訓(xùn)練，在中文的語言建模、預(yù)訓(xùn)練或生成型任務(wù)等方面具有優(yōu)秀的表現(xiàn)。

4 結(jié)束語

本文重新構(gòu)建了中文關(guān)系抽取數(shù)據(jù)集FinRE，使之適合于少樣本關(guān)系抽取。 使用CLUE-BERT 對中文文本進(jìn)行編碼，并引入了HowNet 語義網(wǎng)絡(luò)，使用雙重注意力機(jī)制的原型網(wǎng)絡(luò)模型對該數(shù)據(jù)集進(jìn)行了評估實(shí)驗(yàn)。 在數(shù)據(jù)集中摻雜不同比例的噪聲數(shù)據(jù)，實(shí)驗(yàn)結(jié)果表明，基于注意力機(jī)制的原型網(wǎng)絡(luò)有更好的效果以及魯棒性。