融合句法信息的無(wú)觸發(fā)詞事件檢測(cè)方法

汪 翠，張亞飛*，郭軍軍，高盛祥，余正濤

（1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，昆明 650504；2.云南省人工智能重點(diǎn)實(shí)驗(yàn)室（昆明理工大學(xué)），昆明 650504）

（?通信作者電子郵箱zyfeimail@163.com）

0 引言

事件檢測(cè)是信息抽取中一項(xiàng)重要而具有挑戰(zhàn)性的任務(wù)，事件檢測(cè)任務(wù)旨在識(shí)別句子中的事件觸發(fā)詞并將其分類為特定類型。觸發(fā)詞是指在句子中能夠清楚地表示事件發(fā)生的核心單詞，通常是動(dòng)詞或名詞短語(yǔ)。

大多數(shù)現(xiàn)有的事件檢測(cè)方法需要帶標(biāo)注的事件觸發(fā)詞和事件類型進(jìn)行訓(xùn)練。這些方法根據(jù)輸入的不同，可以分為基于語(yǔ)義表示［1-3］的方法和基于句法依存表示［4-6］的方法。其中，基于語(yǔ)義表示的方法只使用給定的句子作為模型的輸入，在長(zhǎng)距離依賴方面存在著低效率的問(wèn)題。基于句法依存表示的方法通過(guò)在模型中融入句法信息能夠準(zhǔn)確定位與觸發(fā)詞最相關(guān)的信息，以及在單個(gè)句子中存在多個(gè)事件時(shí)，增強(qiáng)事件之間的信息流動(dòng)性?，F(xiàn)有的基于句法依存表示的方法通常采用鄰接矩陣來(lái)表示原始的句法依賴關(guān)系［4-6］，但鄰接矩陣表示范圍有限，只能捕獲當(dāng)前節(jié)點(diǎn)與相鄰節(jié)點(diǎn)的關(guān)系。同時(shí)，鄰接矩陣需要圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）對(duì)其進(jìn)行編碼以獲取句法信息。但是，利用GCN 編碼會(huì)引入額外的訓(xùn)練參數(shù)，增加了模型的復(fù)雜度。此外，這些方法對(duì)觸發(fā)詞的標(biāo)注會(huì)耗費(fèi)大量的人力工程。

為解決以上問(wèn)題，受Okazaki 等［7］提出的采用父詞信息來(lái)表示句法依賴關(guān)系思想的啟發(fā)，本文提出了融合句法信息的無(wú)觸發(fā)詞事件檢測(cè)方法。將依存句法解析中的依賴父詞（下文簡(jiǎn)稱為父詞）及其上下文轉(zhuǎn)換為位置標(biāo)記向量后融入依賴子詞中，不需要借助GCN 的編碼便能獲取句法信息，并提高事件檢測(cè)的準(zhǔn)確性。具體地，在Transformer 的局部自注意力機(jī)制中以一種無(wú)參的方式將父詞信息融入依賴子詞的單詞嵌入，使模型在編碼源句子時(shí)關(guān)注到每個(gè)單詞的父級(jí)依賴項(xiàng)及其上下文；同時(shí)，針對(duì)觸發(fā)詞的標(biāo)注費(fèi)時(shí)費(fèi)力，提出了基于多頭注意力機(jī)制的類型感知器對(duì)句子中隱藏的觸發(fā)詞進(jìn)行建模，以實(shí)現(xiàn)無(wú)觸發(fā)詞的事件檢測(cè)。

通過(guò)在ACE2005 數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文采用的方法在事件檢測(cè)任務(wù)上取得的性能超過(guò)了以往的方法；另外，通過(guò)在低資源越南語(yǔ)數(shù)據(jù)集上的實(shí)驗(yàn)表明本文方法也適用于少樣本的低資源情況。

1 相關(guān)工作

在早期的工作中，事件檢測(cè)的方法包括基于特征的方法，該方法在不同的統(tǒng)計(jì)模型［8］中采用手工設(shè)計(jì)的特征。在過(guò)去的幾年里，神經(jīng)網(wǎng)絡(luò)模型成功地用于事件檢測(cè)。其中，典型模型采用了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［1］、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）［2］、雙向長(zhǎng)短時(shí)記憶（Bi-directional Long Short-Term Memory，Bi-LSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)［3］，雖然這些方法能有效地捕獲局部的語(yǔ)義關(guān)系，但對(duì)于非局部以及非結(jié)構(gòu)化的句法信息卻能力有限。然而，在許多應(yīng)用中，這種非局部的句法信息可以顯著地加強(qiáng)句子的語(yǔ)義表征并提高整體性能。為了將句法信息融入神經(jīng)網(wǎng)絡(luò)模型以提高事件檢測(cè)性能，Yan等［4］將鄰接矩陣輸入到具有聚合注意的圖卷積網(wǎng)絡(luò)中，來(lái)對(duì)句子中的句法表示進(jìn)行顯式建模和聚合；陳佳麗等［5］將GCN 編碼后的句法信息與文本的語(yǔ)義信息通過(guò)門(mén)控機(jī)制進(jìn)行融合；Li 等［6］通過(guò)GCN 生成多個(gè)潛在的上下文感知圖結(jié)構(gòu)來(lái)選擇有用的句法信息；Dutta等［9］將句法解析樹(shù)中單詞之間的依賴關(guān)系以及依賴標(biāo)簽整合到圖變換網(wǎng)絡(luò)（Graph Transformer Network，GTN）［10］中以實(shí)現(xiàn)事件檢測(cè)。

以上基于句法依存表示的方法采用鄰接矩陣來(lái)表示原始的句法依賴關(guān)系，需要經(jīng)過(guò)GCN 編碼為高階的句法表征后，再融合到文本的語(yǔ)義信息中，由此增加了模型的復(fù)雜度。因此，本文將父詞信息連接到依賴子詞來(lái)表征句法依存樹(shù)中的依賴關(guān)系，并在Transformer 的編碼器中將非結(jié)構(gòu)化的句法信息與結(jié)構(gòu)化的語(yǔ)義信息進(jìn)行融合，不破壞Transformer 原本的結(jié)構(gòu)性、減少了GCN 單獨(dú)編碼的額外參數(shù)，并且更加簡(jiǎn)便有效。

2 融合句法信息的無(wú)觸發(fā)詞事件檢測(cè)模型

首先，文本采用Transformer 編碼器獲取句子的上下文語(yǔ)義表征，然后使用多頭注意力機(jī)制來(lái)建模句子中潛在的觸發(fā)詞，最后將獲取的觸發(fā)詞信息連接到句子的語(yǔ)義表征來(lái)獲取全局的事件信息。模型的基本架構(gòu)如圖1所示，由4個(gè)部分組成：輸入層、語(yǔ)義表示層、類型感知器層以及輸出層。

圖1 融合句法信息的無(wú)觸發(fā)詞事件檢測(cè)模型的基本架構(gòu)Fig.1 Basic structure of no trigger word event detection model incorporating syntactic information

2.1 輸入層

本文以目標(biāo)句子以及由外部解析器提供的句法依存關(guān)系作為模型的輸入，此外還使用BPE（Byte Pair Encoding）子詞單元來(lái)緩解未登錄詞與罕見(jiàn)詞問(wèn)題。將輸入的文本序列進(jìn)行BPE 編碼后以補(bǔ)全或截?cái)嗟姆绞焦潭ň渥娱L(zhǎng)度，將其表示為X={x1，x2，…，xi，…，xn}，n為句子長(zhǎng)度。對(duì)X進(jìn)行隨機(jī)初始化后獲得詞向量W={w1，w2，…，wi，…，wn}，其中，wi為xi的向量表示。

還根據(jù)單詞經(jīng)過(guò)BPE編碼后的子詞數(shù)量來(lái)計(jì)算出每個(gè)單詞的中間位置，以及將每個(gè)單詞映射為其父詞的中間位置表示。如圖2所示，S1中的married經(jīng)過(guò)BPE編碼后獲得S2中的3 個(gè)子詞單元“mar@@”“ri@@”“ed@@”，位置分別為3、4、5，則married 的中間位置為4.0；然后將S2 的每個(gè)子詞單元映射為其父詞（句中所有單詞的父詞為married）的中間位置；從而為目標(biāo)句子S2產(chǎn)生一個(gè)由父詞的中間位置組成的向量表示P；最后以詞向量W和父詞的位置向量P作為語(yǔ)義表示層的輸入。

圖2 句法信息處理實(shí)例Fig.2 Examples of syntactic information processing

2.2 語(yǔ)義表示層

圖1 中的語(yǔ)義表示層由12 層的Transformer 編碼端組成。本文在第li層Transformer 的局部自注意力層中融入了句法信息，而其他層的Transformer 則采用普通的自注意力層。融入句法信息的局部自注意力稱為依賴縮放自注意力（PArent-SCALed self-attention，PASCAL），結(jié)構(gòu)如圖3所示。

圖3 依賴縮放自注意力（PASCAL）結(jié)構(gòu)Fig.3 Structure of Parent-Scaled Self-Attention（PASCAL）

在圖3 的PASCAL 結(jié)構(gòu)圖中，詞向量W經(jīng)過(guò)線性變換后，獲得查詢Qh、鍵Kh和值Vh。先計(jì)算Qh和所有Kh之間的點(diǎn)積，給出句子中每個(gè)單詞對(duì)輸入的其他部分放置多少焦點(diǎn)的分?jǐn)?shù)。然后，這個(gè)分?jǐn)?shù)除以，以緩解如果點(diǎn)積很大時(shí)出現(xiàn)的梯度消失問(wèn)題，d的大小為W的大小dmodel除以多頭注意力機(jī)制的頭數(shù)h。最后獲得相似度權(quán)重Sh∈Rn×n，如式（1）所示。

然后，通過(guò)父詞的位置向量P將句子中的每一個(gè)詞關(guān)聯(lián)到其父級(jí)依賴項(xiàng)。以xi作為當(dāng)前詞，通過(guò)計(jì)算出所有xj到xi的父詞的距離來(lái)衡量xi位于位置i的得分。如式（2）所示，pi表示xi的父詞的中間位置，j表示句子所有詞的絕對(duì)位置，輸出的句法關(guān)聯(lián)矩陣D∈Rn×n，D的每一行表示任意j到xi的父詞的中間位置pi的距離。

之后，將相似度矩陣Sh、值vh與句法關(guān)聯(lián)矩陣D通過(guò)向量運(yùn)算的方式進(jìn)行融合。如式（3）、（4）所示，序列相似度矩陣Sh與關(guān)聯(lián)矩陣D對(duì)應(yīng)元素相乘后得到中間向量Nh，對(duì)Nh應(yīng)用Softmax 后再與值vh相乘，獲得PASCAL 每個(gè)頭的輸出Mh。這樣便實(shí)現(xiàn)了以局部無(wú)參的方式將句法依賴信息融入缺乏任何上下文的詞嵌入中。

將Mh拼接后獲得PASCAL 的最終輸出M，M經(jīng)過(guò)Transformer 后續(xù)的殘差連接、歸一化以及全連接層后獲得M′。然后M′經(jīng)過(guò)剩下的11 層Transformer 編碼器后獲得句子的全局特征表示Zglobal，如式（5）～（7）所示。

2.3 類型感知器層

由于本文任務(wù)沒(méi)有標(biāo)注觸發(fā)詞，為了對(duì)隱藏的觸發(fā)詞進(jìn)行建模，通過(guò)在多頭注意力機(jī)制中引入候選事件類型來(lái)發(fā)現(xiàn)句子中隱藏的觸發(fā)詞。

如式（8）、（9）所示，對(duì)全局特征Zglobal和候選事件類型的詞嵌入G進(jìn)行頭數(shù)為8 的多頭注意力機(jī)制，為Zglobal中潛在的觸發(fā)詞分配更高的權(quán)重。

其中：Zglobal為語(yǔ)義表示層的輸出；G為候選事件類型的詞嵌入；是在輸入向量上執(zhí)行線性投影的參數(shù)；At表示多頭注意力機(jī)制中每個(gè)頭的最終輸出；Zatt為At的拼接，表示包含觸發(fā)詞信息的局部特征。

2.4 輸出層

為了獲取全局的事件信息，將全局特征Zglobal和局部特征Zatt進(jìn)行加權(quán)求和后再執(zhí)行平均池化操作，然后經(jīng)過(guò)一個(gè)線性層后獲得向量H；最后，對(duì)H執(zhí)行Softmax 獲取對(duì)應(yīng)類別的分布概率，并根據(jù)概率分布的值來(lái)判斷輸入句子的事件類型，如式（10）～（12）所示。

其中：H表示全局事件信息；W和b為權(quán)重和偏置；y′表示輸入句子是否為預(yù)標(biāo)注類型的概率；y表示最終的預(yù)測(cè)值。

2.5 模型訓(xùn)練

為了解決機(jī)器學(xué)習(xí)中的多標(biāo)簽問(wèn)題——一個(gè)句子可能包含零個(gè)或多個(gè)事件［11］，本文在模型中將多標(biāo)簽分類轉(zhuǎn)化為多個(gè)二分類。如表1所示，假設(shè)句子s共有三個(gè)預(yù)定義的事件類型t1、t2和t3，而句子s包含事件類型t1和t3，則事件句s可以轉(zhuǎn)化為以表1所示的三個(gè)實(shí)例。

表1 事件句s的二分類舉例Tab.1 Example of binary classifications of sentence s

這樣的話，如果一個(gè)句子中包含多個(gè)事件，則可以產(chǎn)生多個(gè)正對(duì)，從而很好地解決了多標(biāo)簽問(wèn)題。此外，模型訓(xùn)練的目標(biāo)函數(shù)采用交叉熵?fù)p失，如式（13）所示：

其中：θ表示模型中需要更新的參數(shù)；N表示一個(gè)batch 的樣本數(shù)；K表示類別數(shù)，本文將其設(shè)置為2，即每個(gè)句子屬于預(yù)標(biāo)注類型或無(wú)類型（NA）；y代表真實(shí)標(biāo)簽，值為0 或1；?表示候選事件的預(yù)測(cè)概率。本文使用Adam優(yōu)化函數(shù)來(lái)更新參數(shù)θ。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

3.1.1 數(shù)據(jù)集

本文在ACE2005 數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，并對(duì)ACE數(shù)據(jù)集進(jìn)行了預(yù)處理：刪除數(shù)據(jù)集中觸發(fā)詞的標(biāo)注，使用Stanford CoreNLP 工具獲取句法依存信息，并為每一個(gè)句子分配一組標(biāo)簽，不包含任何事件時(shí)標(biāo)注為NA。為了方便比較，劃分?jǐn)?shù)據(jù)集的方式與文獻(xiàn)［4-6］一致，將40 篇文章作為測(cè)試集，30篇文章作為開(kāi)發(fā)集，剩余的529篇文章作為訓(xùn)練集。

此外，本文還構(gòu)建了一個(gè)小型的越南語(yǔ)數(shù)據(jù)集，用于驗(yàn)證本文方法在少樣本的低資源語(yǔ)言上的泛化能力。構(gòu)建的數(shù)據(jù)集總共有5 317 條樣本數(shù)據(jù)，正樣本2 913 條，負(fù)樣本2 404 條。純文本數(shù)據(jù)來(lái)自多個(gè)公開(kāi)的越南語(yǔ)新聞網(wǎng)站。經(jīng)過(guò)人工排查去除大部分非事件句后，以ACE 定義的33 種事件類型為基準(zhǔn)，采用人工的方式為每一條句子標(biāo)注候選標(biāo)簽，以及采用VnCoreNLP 工具獲取句子的句法依存信息。其中，不包含任何事件的句子被標(biāo)注為NA，標(biāo)注后的句子案例見(jiàn)圖4。越南語(yǔ)數(shù)據(jù)集的劃分比例和實(shí)驗(yàn)設(shè)置等同于ACE2005。

圖4 越南語(yǔ)數(shù)據(jù)集標(biāo)注案例（無(wú)觸發(fā)詞）Fig.4 Examples of labeling of Vietnamese dataset（no trigger words）

備注：以下實(shí)驗(yàn)，除低樣本的對(duì)比實(shí)驗(yàn)在越南語(yǔ)數(shù)據(jù)集上進(jìn)行，其他實(shí)驗(yàn)均設(shè)置在ACE2005數(shù)據(jù)集上。

3.1.2 評(píng)價(jià)指標(biāo)

評(píng)估方法和Liu 等［11-14］的工作一致，使用準(zhǔn)確率P（Precision）、召回率R（Recall），F(xiàn)1 值F1作為評(píng)價(jià)指標(biāo)。P、R、F1定義如式（14）～（16）所示。

3.2 參數(shù)設(shè)置

本文選擇Pytorch 框架進(jìn)行開(kāi)發(fā)，采用12層的Transformer編碼端作為編碼器，本文模型中用到的多頭注意力機(jī)制的頭數(shù)均設(shè)置為8，具體的超參數(shù)設(shè)置如表2所示。

表2 模型超參數(shù)Tab.2 Model hyperparameters

3.3 與基線模型的對(duì)比實(shí)驗(yàn)

3.3.1 基線模型

本文選用以下8個(gè)事件檢測(cè)模型作為基線模型，其中前4種是基于語(yǔ)義表示的事件檢測(cè)模型，后4 種是基于句法依存表示的事件檢測(cè)模型，它們都是當(dāng)前事件檢測(cè)方面經(jīng)典或最新的模型，分別如下：

1）基于語(yǔ)義表示的事件檢測(cè)模型。

動(dòng)態(tài)多池卷積神經(jīng)網(wǎng)絡(luò)（Dynamic Multi-Pooling Convolutional Neural Network，DMCNN）［1］，使用動(dòng)態(tài)多池層從純文本中自動(dòng)提取詞匯級(jí)和句子級(jí)特征。

雙向遞歸神經(jīng)網(wǎng)絡(luò)（Joint event extraction via Recurrent Neural Network，JRNN）［2］，采用雙向遞歸神經(jīng)網(wǎng)絡(luò)的聯(lián)合框架來(lái)進(jìn)行事件抽取。

混合型神經(jīng)網(wǎng)絡(luò)（Hybrid Neural Network，HNN）［3］，將雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（Bi-LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）相結(jié)合，獲取來(lái)自特定上下文的序列和結(jié)構(gòu)語(yǔ)義信息。

類型感知偏差注意機(jī)制神經(jīng)網(wǎng)絡(luò)（Type-aware Bias Neural Network with Attention Mechanism，TBNNAM）［11］，它根據(jù)目標(biāo)事件類型對(duì)句子的表示進(jìn)行編碼。

2）基于句法依存表示的事件檢測(cè)模型。

多階圖卷積和聚合注意力的事件檢測(cè)方法（Multi-Order Graph Attention Network based method for Event Detection，MOGANED），由Yan 等［4］提出，使用GCN 對(duì)句法信息編碼，并使用Attention機(jī)制聚合句中多階的句法信息。

利用門(mén)控機(jī)制融合依存與語(yǔ)義信息的事件檢測(cè)方法［5］，采用Bi-LSTM 與GCN 分別學(xué)習(xí)語(yǔ)義表示與句法表示，再利用門(mén)控將語(yǔ)義信息與句法信息動(dòng)態(tài)融合。

多個(gè)潛在上下文感知圖結(jié)構(gòu)上的圖卷積網(wǎng)絡(luò)事件檢測(cè)方法MH-GCN（Graph Convolution Over Multiple Latent Context-Aware Graph Structures for Event Detection）［6］，通過(guò)在BERT 表示和鄰接矩陣上應(yīng)用注意力機(jī)制，再使用GCN 生成多個(gè)潛在的上下文感知圖結(jié)構(gòu)，動(dòng)態(tài)保留與事件檢測(cè)有關(guān)的信息而忽略無(wú)關(guān)信息。

圖變換網(wǎng)絡(luò)事件檢測(cè)（Event Detection Using Graph Transformer Network，GTN-ED）方法［9］，通過(guò)在GTN 中融入句法解析樹(shù)中的依賴標(biāo)簽來(lái)完成事件檢測(cè)任務(wù)。

3.3.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的方法在事件檢測(cè)任務(wù)上具有優(yōu)勢(shì)，將本文模型與以上8個(gè)基線模型進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果如表3所示（前人工作的實(shí)驗(yàn)性能數(shù)據(jù)均引入相應(yīng)參考文獻(xiàn)中的公開(kāi)數(shù)據(jù)）。

分析表3 可知，本文模型的整體性能優(yōu)于其他的基線模型，其中與基于語(yǔ)義表示的HNN 模型相比F1值提升了7.1個(gè)百分點(diǎn)，與基于句法依存表示的GTN-ED模型相比，F(xiàn)1值提升了3.7個(gè)百分點(diǎn)。

表3 事件檢測(cè)實(shí)驗(yàn)結(jié)果 單位：%Tab.3 Experimental results of event detection unit：%

原因分析：

1）基于語(yǔ)義表示的方法將文本嵌入作為模型的輸入，然而，LSTM等神經(jīng)網(wǎng)絡(luò)模型固有的特性并不能很好地解決句子的長(zhǎng)距離依賴問(wèn)題。本文通過(guò)引入句法信息加強(qiáng)了事件信息之間的語(yǔ)義關(guān)聯(lián)性以及增強(qiáng)了整個(gè)句子的上下文語(yǔ)義表征，因此實(shí)驗(yàn)效果得到明顯提升。

2）TBNNAM 模型專注于無(wú)觸發(fā)詞的事件檢測(cè)，采用基于類型感知的Attention 去發(fā)現(xiàn)句子中潛在的觸發(fā)詞。與TBNNAM 不同的是，本文將LSTM 編碼器替換為PASCALTransformer，通過(guò)在Transformer 中融入句法信息有效捕獲了直接與觸發(fā)詞關(guān)聯(lián)的事件信息以及在單句子包含多個(gè)事件時(shí)加強(qiáng)了事件之間的信息流動(dòng)性；此外，還將TBNNAM 中普通的注意力機(jī)制替換為多頭注意力機(jī)制，并在注意力機(jī)制之后將句子的全局特征和觸發(fā)詞的局部特征進(jìn)行加權(quán)求和后進(jìn)一步執(zhí)行平均池化操作，以獲取全局的事件信息。由此實(shí)現(xiàn)了超越性的效果，F(xiàn)1值較TBNNAM提高了10.6個(gè)百分點(diǎn)。

3）相比之前基于句法依存表示的方法通過(guò)采用GCN 來(lái)編碼鄰接矩陣以獲取句法信息，本文方法證明通過(guò)將父詞信息連接到依賴子詞也能有效地進(jìn)行句法信息的表征。此外，相較于之前的模型采用GCN 對(duì)句法信息編碼后再與文本的語(yǔ)義信息進(jìn)行融合，本文采用向量運(yùn)算的方式將句法依賴的位置信息融入句子的單詞嵌入，減少了使用GCN 編碼的額外參數(shù)，一定程度上提升了模型的性能。

3.4 在低資源數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文模型在低資源數(shù)據(jù)集上的泛化能力，選取了同為二分類的TBNNAM 模型進(jìn)行對(duì)比分析。此模塊僅選取TBNNAM 模型進(jìn)行對(duì)比分析的原因在于：越南語(yǔ)以音節(jié)為單位進(jìn)行分詞，即單個(gè)觸發(fā)詞由不同的音節(jié)組成，分散在句子的不同片段中，導(dǎo)致無(wú)法確切地對(duì)事件的觸發(fā)詞信息進(jìn)行標(biāo)注，而以上基線模型中除TBNNAM 以外的模型都需要確切標(biāo)注候選事件句中的觸發(fā)詞信息，因此，在面向低資源的越南語(yǔ)數(shù)據(jù)集時(shí)，文本僅在二分類基線模型TBNNAM 上設(shè)置實(shí)驗(yàn)進(jìn)行對(duì)比分析，實(shí)驗(yàn)結(jié)果如表4 所示。與基線模型TBNNAM 相比，本文的P、R、F1分別提高了7.9、10.9、9 個(gè)百分點(diǎn)，表明在低樣本的越南語(yǔ)數(shù)據(jù)集中融入句法信息能夠捕獲越南語(yǔ)句子中多音節(jié)單詞之間的句法關(guān)聯(lián)性。因此，與基于語(yǔ)義表示的TBNNAM 相比，本文的模型在低資源的越南語(yǔ)數(shù)據(jù)集上具有更好的泛化能力。

表4 越南語(yǔ)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果 單位：%Tab.4 Experimental results on Vietnamese dataset unit：%

3.5 模塊有效性分析實(shí)驗(yàn)

3.5.1 在Transformer的某一層融入句法信息

為了驗(yàn)證句法信息中父級(jí)依賴詞的語(yǔ)境可以豐富句子中孤立的單詞嵌入表示，在語(yǔ)義表示層中設(shè)置了如下兩組實(shí)驗(yàn)：不設(shè)置PASCAL以及在不同的Transformer層中設(shè)置PASCAL。其中，-1_PASCAL 表示不融入句法信息，n_PASCAL 表示在12層Transformer的第n層中融入句法信息。

如表5所示，在第一層設(shè)置PASCAL的實(shí)驗(yàn)性能比只采用句子進(jìn)行編碼的性能更優(yōu)越，這說(shuō)明融入句法解析中的句法依賴關(guān)系可以使句中單詞關(guān)注到語(yǔ)義上與之關(guān)聯(lián)的其他單詞。另外，當(dāng)在不同的Transformer 層中設(shè)置PASCAL 時(shí)，在底層的效果明顯優(yōu)于高層，這和文獻(xiàn)［15］中的結(jié)論一致：在底層時(shí)，更多的注意力集中于句法關(guān)系的編碼，而在高層中則偏向于語(yǔ)義任務(wù)。因此，可以推斷，在第一層執(zhí)行PASCAL 時(shí)能充分利用句法依賴的位置信息來(lái)豐富孤立的單詞嵌入表示；而在高層時(shí)由于已經(jīng)初步編碼到文本的語(yǔ)義表征，將導(dǎo)致模型偏向于文本的語(yǔ)義編碼而忽略來(lái)自底層的句法位置信息。

表5 不設(shè)置PASCAL以及在不同Transformer層中設(shè)置PASCAL的實(shí)驗(yàn)結(jié)果 單位：%Tab.5 Experimental results of not setting PASCAL and setting PASCAL in different Transformer layers unit：%

3.5.2 在12層Transformer的多層中融入句法信息

為了驗(yàn)證僅在12 層Transformer 的單層中設(shè)置句法信息的有效性，設(shè)置了在第m(1 ≤m≤12)層的Transformer 中同時(shí)融入句法信息的分析實(shí)驗(yàn)，結(jié)果如圖5 所示?？梢钥闯?，當(dāng)m＜5 時(shí)，隨著m的增加F1 值趨于穩(wěn)定；當(dāng)5 ≤m≤12 時(shí)，隨著融入層數(shù)的增加，F(xiàn)1 值逐漸下降。由此表明，在少量的Transformer 層中融入句法位置信息能有效捕獲句子的句法信息，而在大量的Transformer 層中融入句法位置信息時(shí)不可避免地對(duì)句子的語(yǔ)義編碼造成了噪聲，以及大量句法信息的融入一定程度上增加了模型的復(fù)雜度，影響了模型的性能。同時(shí)，考慮到在少量層中融入句法信息可以降低模型的復(fù)雜度，以及結(jié)合3.4.1 節(jié)的推論即在Transformer 的底層融入句法信息取得的試驗(yàn)效果最佳，因此，本文最終選擇了在Transformer的第一層進(jìn)行句法信息的融入。

圖5 在12層Transformer的第m層中融入句法信息的F1值Fig.5 F1 score incorporating syntactic information into m-layer of the 12-layer Transformer

4 結(jié)語(yǔ)

本文通過(guò)在Transformer的編碼器中融入句法信息有效捕獲到了候選觸發(fā)詞與相關(guān)實(shí)體之間的句法關(guān)聯(lián)性，增強(qiáng)了多事件句中不同觸發(fā)詞之間的信息流動(dòng)性；同時(shí)，通過(guò)采用類型感知器發(fā)現(xiàn)了句子中潛在的觸發(fā)詞，實(shí)現(xiàn)了無(wú)觸發(fā)詞的事件檢測(cè)。實(shí)驗(yàn)表明，本文模型在ACE2005 數(shù)據(jù)集上取得了競(jìng)爭(zhēng)性的效果，在低資源越南語(yǔ)數(shù)據(jù)集上也取得了較好的性能。另外，針對(duì)越南語(yǔ)數(shù)據(jù)集的實(shí)驗(yàn)性能低于公開(kāi)數(shù)據(jù)集的情況，在未來(lái)的工作中，我們希望引入預(yù)訓(xùn)練模型，并利用海量的高資源語(yǔ)言來(lái)輔助低資源的越南語(yǔ)來(lái)完成事件檢測(cè)任務(wù)。