基于指針網(wǎng)絡(luò)的突發(fā)事件抽取對抗學(xué)習(xí)方法

韓志卓，李慧波，和 凱，肖若冰，宋凱磊，陳曉東

(1.中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081;2.河北遠(yuǎn)東通信系統(tǒng)工程有限公司，河北 石家莊 050200;3.中國電子科學(xué)研究院，北京 100041;4.新疆公安廳,新疆 烏魯木齊 830000)

0 引 言

信息爆炸帶來的海量信息源雜亂無章，價值信息無法利用，為提取文本中價值信息，信息抽取技術(shù)得以出現(xiàn)，旨在從冗余非結(jié)構(gòu)化數(shù)據(jù)中抽取不同層次和粒度的信息并形成結(jié)構(gòu)化數(shù)據(jù)，支撐下游任務(wù)的分析及應(yīng)用，如知識問答、信息檢索等[1]。

事件抽取作為信息抽取的關(guān)鍵技術(shù)之一，其目的在于將文本中重點(diǎn)關(guān)注的事件信息提取并結(jié)構(gòu)化存儲。其中，觸發(fā)詞識別用于識別事件中的核心指示詞，事件要素抽取用于提取組成事件的關(guān)鍵詞，如時間、地點(diǎn)、人物、動作等[2]。通過事件抽取獲得的結(jié)構(gòu)化數(shù)據(jù)對于后續(xù)信息服務(wù)如應(yīng)急救援、輿情監(jiān)控、事件監(jiān)測等具有重要的支撐作用[3]。

目前，常見的事件抽取方法主要包括模式匹配、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)及上述方法的混合。早期基于模式匹配的事件抽取方法是領(lǐng)域強(qiáng)相關(guān)的，模式獲取需要專家知識且需要進(jìn)行人工設(shè)計，成本過高。為解決上述問題，基于種子模式的自舉信息抽取模式獲取方法[4]、基于WorldNet和預(yù)料標(biāo)注的模式學(xué)習(xí)方法[5]以及基于領(lǐng)域無關(guān)概念知識庫的模式提取方法[6]等得以提出，但基于模式匹配的抽取方法由于領(lǐng)域強(qiáng)相關(guān)，該方法的可移植性較差。

基于機(jī)器學(xué)習(xí)的事件抽取方法的關(guān)鍵在于分類器的構(gòu)建及語料特征的抽取。文獻(xiàn)[7]提取詞法、上下文、詞典等特征，基于最大熵的多元分類方法完成事件要素的抽取，在抽取效率上獲得較大提升。然而機(jī)器學(xué)習(xí)需要人為設(shè)計大量特征，特征模板的獲取需要專家知識，成本較高，且無法獲取長依賴關(guān)系的語義信息。因此，可自動獲取特征及學(xué)習(xí)長依賴語義信息的深度學(xué)習(xí)成為近年來事件抽取的主流方法。

2015年百度研究院提出了BiLSTM-CRF模型，該模型在事件抽取過程中具有優(yōu)越的性能，被學(xué)者所青睞[9]。2018年10月由Google AI研究院提出了一種預(yù)訓(xùn)練模型BERT，在11種不同NLP測試中創(chuàng)出SOTA表現(xiàn)，成為NLP發(fā)展史上的里程碑式的模型成就。文獻(xiàn)[9]基于預(yù)訓(xùn)練模型BERT獲取語料庫中Embedding詞向量作為后續(xù)BiLSTM-CRF算法的輸入，進(jìn)而完成中文實(shí)體識別且識別效果較好，然而BERT-BiLSTM-CRF模型在預(yù)測時算法復(fù)雜度較高且CRF算法進(jìn)行解碼預(yù)測時會導(dǎo)致實(shí)體片段的斷裂。

為解決預(yù)測結(jié)果斷裂問題，本文利用SPAN網(wǎng)絡(luò)代替CRF模型，并融合對抗訓(xùn)練FGM算法及平滑標(biāo)簽損失函數(shù)，提出BERT-BiLSTM-SPAN-adv-lsr算法進(jìn)行中文要素的識別，解決要素識別斷裂問題且通過對抗訓(xùn)練及標(biāo)簽平滑的方法增強(qiáng)模型魯棒性及對未知樣本的識別泛化能力[10-11]，最終通過實(shí)驗(yàn)驗(yàn)證本文所提算法的有效性。

1 相關(guān)工作

1.1 文本預(yù)訓(xùn)練模型BERT

文本Embedding特征向量的提取常用的方法為Word2Vec，然而該方法在提取Embedding向量過程中受窗口大小限制，語義信息提取不全面。BERT模型采用雙向transformer編碼器，不受窗口大小限制且可提取上下文語義信息，因此本文基于BERT預(yù)訓(xùn)練模型進(jìn)行Embedding向量提取，為下游事件要素抽取提供基礎(chǔ)，BERT模塊結(jié)構(gòu)圖如圖1所示。本文使用由Huggingface提供的bert-base-chinese作為BERT預(yù)訓(xùn)練模型，原因?yàn)樵撃Ｐ突谥形木S基百科相關(guān)語料進(jìn)行預(yù)訓(xùn)練，該訓(xùn)練語料與后續(xù)研究的由常見中文詞語語料構(gòu)成的中文突發(fā)事件CEC數(shù)據(jù)集具有較高相似性，預(yù)訓(xùn)練模型的泛化能力較好。由圖1可知，對于給定的輸入語句，BERT模塊的輸入可由四部分表示，分別為Token embeddings、Mask embeddings、Segment embedding、Start embedding、End embedding。Token embedding表示詞向量，其中各個位置的值由Bert字典中該字符所在位置決定；Mask embedding用來指示各位置的值是否為填充值，1代表不為填充值；Segment embedding用于區(qū)分句子邊界，同一句子中各個字符對應(yīng)的值相同；Start embedding則用于表示要素的開始邊界，End embedding則用于表示要素的結(jié)束邊界。四部分的embedding結(jié)合后輸入BERT模型中獲取樣本的特征Embedding向量作為后續(xù)模型的輸入。

圖1 BERT模塊結(jié)構(gòu)圖

1.2 雙向長短時記憶網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)在處理文本任務(wù)時，存在梯度消失的問題，且只能提取短期的文本信息，為解決上述問題長短時記憶(Long short-term Memory，LSTM)網(wǎng)絡(luò)得以提出。LSTM的核心結(jié)構(gòu)主要有輸入門、輸出門、遺忘門及記憶單元。LSTM模型的輸出由輸出門和記憶單元相乘得到，而輸入門和遺忘門則用于提取有效信息，LSTM單元的計算公式如式(1)～(5)所示，但是LSTM模型無法同時捕獲文本的上下文信息。

為解決LSTM存在的問題，本文采用雙向長短時記憶(Bi-Directional Long Short Term Memory，Bi-LSTM)網(wǎng)絡(luò)處理BERT模塊產(chǎn)生的Embedding向量。Bi-LSTM算法的基本思想為對每個輸入分別進(jìn)行前向和后向LSTM。

it=σ(Wxixt+Whiht-1+WciCt-1+bi)

(1)

ft=σ(Wxfxt+Whfht-1+WciCt-1+bf)

(2)

Ct=ftCt-1+ittanh(WxCxt+Whcht-1+bc)

(3)

ot=σ(Wxoxt+Whoht-1+WcoCt-1+bo)

(4)

ht=ottanh(Ct)

(5)

式中：W為權(quán)重矩陣；b為偏置向量；σ、tanh為激活函數(shù)；i、f、o分別為輸入門、遺忘門、輸出門；C為記憶單元狀態(tài)。

1.3 BERT-BiLSTM-CRF事件抽取算法

BERT-BiLSTM-CRF算法由BERT、BiLSTM、CRF三種算法組合而成。BiLSTM-CRF算法在事件抽取過程中相較于BiLSTM算法，通過CRF學(xué)習(xí)了輸出標(biāo)簽的約束條件，使得輸出標(biāo)簽組合更加合理。為進(jìn)一步提升BiLSTM-CRF算法的事件抽取精度及縮短算法訓(xùn)練迭代周期，將BERT與BiLSTM-CRF算法進(jìn)行組合形成BERT-BiLSTM-CRF算法，該算法增加前綴特征Embedding提取，其優(yōu)勢在于基于大量相關(guān)語料進(jìn)行語義信息預(yù)學(xué)習(xí)，減少BERT-BiLSTM-CRF算法迭代周期且提升時間抽取精度，具體結(jié)構(gòu)如圖2所示。由CRF輸出的狀態(tài)轉(zhuǎn)移矩陣可知，其中B-、I-、O為數(shù)據(jù)的標(biāo)簽，圖表中數(shù)值的大小表示約束條件的強(qiáng)弱，由此可得下述BIO約束條件：

1)當(dāng)前字標(biāo)簽為B-Time時，下一個字標(biāo)簽為I-Time的分?jǐn)?shù)最高。

2)當(dāng)前字標(biāo)簽為B-Location時，下一個字標(biāo)簽為I-Location的分?jǐn)?shù)最高。

圖2 BERT-BiLSTM-CRF事件抽取算法結(jié)構(gòu)圖

因此，可較為準(zhǔn)確的提取除事件中的時間要素和位置要素，然而采用CRF算法作為算法后綴進(jìn)行要素提取時，長序列要素提取存在要素斷裂的問題。

2 基于指針網(wǎng)絡(luò)的突發(fā)事件對抗學(xué)習(xí)算法

目前常利用BERT、BiLSTM、CRF三種算法進(jìn)行組合的方式進(jìn)行事件抽取，雖然BERT-BiLSTM-CRF算法可以較好地進(jìn)行事件抽取工作，但其在抽取過程中仍然存在要素提取斷裂、模型泛化能力弱的缺點(diǎn)。為解決上述問題，本部分提出融合對抗訓(xùn)練與標(biāo)簽平滑的BERT-BiLSTM-SPAN突發(fā)事件抽取方法。

2.1 指針網(wǎng)絡(luò)SPAN

首先，利用SPAN指針網(wǎng)絡(luò)取代CRF模型形成BERT-BiLSTM-SPAN模型，SPAN網(wǎng)絡(luò)的作用在于減少事件抽取過程中要素斷裂的情況，SPAN網(wǎng)絡(luò)的結(jié)構(gòu)如圖3所示。BiLSTM序列輸出作為SPAN網(wǎng)絡(luò)要素“開始邊界”網(wǎng)絡(luò)層、要素“結(jié)束邊界”網(wǎng)絡(luò)層的輸入；兩個網(wǎng)絡(luò)分別預(yù)測輸入樣本要素的開始邊界與結(jié)束邊界，如“開始邊界”網(wǎng)絡(luò)層輸出中第一個“2”與“結(jié)束邊界”網(wǎng)絡(luò)層輸出中第一個“2”代表提取出的事件參與者要素“市領(lǐng)導(dǎo)”。根據(jù)兩個網(wǎng)絡(luò)的預(yù)測結(jié)果進(jìn)行BERT-BiLSTM-SPAN網(wǎng)絡(luò)的總損失。

圖3 SPAN網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 對抗訓(xùn)練及標(biāo)簽平滑

在獲取BERT-BiLSTM-SPAN網(wǎng)絡(luò)后，通過增加對抗訓(xùn)練及標(biāo)簽平滑增加模型的魯棒性及泛化能力。對抗訓(xùn)練的主要思想為通過向樣本中增加擾動，使得模型面對具有擾動樣本時仍具有正確識別能力，提升模型的防御力。本文利用快速梯度法(Fast Gradient Method，F(xiàn)GM)進(jìn)行對抗訓(xùn)練，其主要利用的公式如式(6)～(7)所示，其中g(shù)為梯度，γadv為計算的擾動。

標(biāo)簽平滑的主要思想則為通過向樣本中添加噪聲，避免模型預(yù)測正負(fù)樣本的差值過于巨大，防止過擬合，從而增加模型的泛化能力，其主要利用的公式如式(8)～(9)，其中α為超參數(shù)，通常取0.1，K為類別種類數(shù)目，該公式通過減少各類別之間的差值增加模型的泛化能力。

g=xL(θ,x,y)

(6)

γadv=εg/‖g‖2

(7)

(8)

(9)

2.3 BERT-BiLSTM-SPAN突發(fā)事件抽取算法

基于指針網(wǎng)絡(luò)的BERT-BiLSTM-SPAN算法整體結(jié)構(gòu)如圖4所示。

圖4 融合對抗訓(xùn)練的BERT-BiLSTM-SPAN突發(fā)事件抽取方法總體流程圖

該模型中輸入為BIOS標(biāo)注的句子，輸出為該句子提取的要素邊界，共包含四個模塊，分別為BERT模塊、BiLSTM模塊、SPAN模塊、對抗訓(xùn)練+標(biāo)簽平滑模塊，其工作流程為：

1)CEC數(shù)據(jù)集進(jìn)行BIOS打標(biāo)處理，并加入[CLS]、[SEP]標(biāo)志；

2)基于標(biāo)注數(shù)據(jù)，利用預(yù)訓(xùn)練模型BERT進(jìn)行Embedding特征提??；

3)基于Embedding特征，利用BiLSTM模型學(xué)習(xí)文本上下文信息；

4)基于BiLSTM輸出，利用SPAN網(wǎng)絡(luò)預(yù)測要素邊界；

5)未達(dá)到迭代條件時，基于對抗訓(xùn)練及標(biāo)簽平滑對BERT-BiLSTM-SPAN網(wǎng)絡(luò)進(jìn)行迭代優(yōu)化；

6)達(dá)到迭代條件時，獲取最優(yōu)突發(fā)事件要素提取模型；

7)當(dāng)新的突發(fā)事件樣本到來時，基于突發(fā)事件要素提取模型完成對該樣本要素邊界預(yù)測，提取各樣本要素。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)集

本文基于中文突發(fā)事件語料庫(CEC)進(jìn)行事件抽取。CEC數(shù)據(jù)集基于XML語言進(jìn)行要素標(biāo)記，其具體數(shù)據(jù)集格式如圖5所示。CEC數(shù)據(jù)集中包含各類要素，本文著重提取其中五類要素，Denoter為事件指示詞、Participant為事件參與者、Time為事件發(fā)生時間、Object為事件主體、Location為事件發(fā)生地點(diǎn)。根據(jù)CEC數(shù)據(jù)集XML標(biāo)注格式，本文以BIOS標(biāo)注體系為基礎(chǔ)對CEC數(shù)據(jù)集進(jìn)行打標(biāo)，其中“B-”為要素信息起始字符標(biāo)簽，“I-”為要素信息內(nèi)字符標(biāo)簽，“O”為非要素信息字符標(biāo)簽，“S-”為單字符要素信息標(biāo)簽。

圖5 CEC數(shù)據(jù)集示例

3.2 評價指標(biāo)

事件抽取的目的在于抽取各類事件中的關(guān)鍵要素，并采用嚴(yán)格的指標(biāo)計算方式，即事件要素中所有字符完全抽取時才進(jìn)行正確計數(shù)。本文采用精準(zhǔn)率、召回率、F1進(jìn)行指標(biāo)評價。在CEC語料庫中，要素抽取結(jié)果統(tǒng)計信息如表1所示。

表1 要素抽取結(jié)果統(tǒng)計表

設(shè)標(biāo)準(zhǔn)要素表為ST，提取出的要素集合為T，則被抽取出的要素個數(shù)如式(11)所示，準(zhǔn)確率ρ、召回率R、F1的計算公式如式(12)～(14)所示。

(10)

(11)

(12)

其中α=|ST∩T|

(13)

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1實(shí)驗(yàn)環(huán)境及參數(shù)配置

本實(shí)驗(yàn)使用Pycharm作為開發(fā)環(huán)境，操作系統(tǒng)為Linux 3.10.0，內(nèi)存為128 G，硬盤12 T，Pycharm開發(fā)環(huán)境如圖6所示。其中bert系列模型均在深度學(xué)習(xí)平臺Pytorch中訓(xùn)練，實(shí)驗(yàn)中使用bert系列參數(shù)為Huggingface提供的bert-base-chinese預(yù)訓(xùn)練模型參數(shù)，具體如表2所示。

表2 模型參數(shù)配置

圖6 pycharm登錄及開發(fā)環(huán)境展示

3.3.2事件要素抽取

本部分將BERT-BiLSTM-SPAN事件要素抽取模型與當(dāng)前廣泛使用的抽取方法進(jìn)行對比，如表3所示。BERT-BiLSTM-SPAN-ce算法將CRF部分修改為SPAN指針網(wǎng)絡(luò)，損失函數(shù)使用交叉熵?fù)p失函數(shù)(ce)；BERT-BiLSTM-SPAN-lsr算法則將損失函數(shù)修改為標(biāo)簽平滑損失函數(shù)(lsr)；BERT-BiLSTM-SPAN-adv-lsr算法在前者的基礎(chǔ)上融入對抗訓(xùn)練(adv)部分。

由表3可知，本文所提出的BERT-BiLSTM-SPAN系列算法在精準(zhǔn)率、召回率、F1三個指標(biāo)上均高于目前廣泛使用的事件抽取算法，其中BERT-BiLSTM-SPAN系列算法較于BERT-BiLSTM-CRF算法在精準(zhǔn)率、召回率、F1三個指標(biāo)上分別平均提高5.02%、14.63%、9.80%。三類評價指標(biāo)均大幅提升的原因在于SPAN指針網(wǎng)絡(luò)可以更加有效的預(yù)測事件要素的邊界，對要素進(jìn)行提取，而BERT-BiLSTM-CRF算法在提取要素過程中存在事件要素斷裂的情況。

表3 各算法實(shí)驗(yàn)結(jié)果對比

在BERT-BiLSTM-SPAN系列算法中，BERT-BiLSTM-SPAN-lsr算法精準(zhǔn)率最高，相較于BERT-BiLSTM-SPAN-ce算法在精準(zhǔn)率提升1.25%；BERT-BiLSTM-SPAN-adv-lsr算法在召回率、F1兩個評價指標(biāo)中最高，相較于BERT-BiLSTM-SPAN-ce分別提升4.80%、2.33%，指標(biāo)提升的原因在于標(biāo)簽平滑損失函數(shù)(lsr)及對抗訓(xùn)練(adv)可有效降低模型過擬合，提升模型的泛化能力，即在未知樣本上提取要素的能力。

為進(jìn)一步驗(yàn)證本文所提事件抽取算法BERT-BiLSTM-SPAN-adv-lsr的性能，結(jié)合交叉驗(yàn)證從模型評價指標(biāo)F1分?jǐn)?shù)的顯著性上進(jìn)行分析。具體為采用 5折交叉驗(yàn)證法去計算兩個模型預(yù)測結(jié)果的平均F1分?jǐn)?shù)，并基于Z檢驗(yàn)驗(yàn)證平均F1分?jǐn)?shù)是否具有顯著性差異，Z值結(jié)果如表4所示。當(dāng)Z值大于小于1.96時，無明顯差異；Z值大于1.96且小于2.58時，具有較為顯著差異；Z值大于2.58時，具有顯著差異，因此據(jù)表3～4可得，本文所提出的BERT-BiLSTM-SPAN算法相較于BERT-BiLSTM-CRF算法具有較為顯著差異，即分類性能較為顯著提升；相較于HMM、LSTM算法具有顯著差異，即分類性能顯著提升。

表4 算法性能顯著性比較

由表3得，BERT-BiLSTM-SPAN-adv-lsr算法在事件要素抽取過程中整體性能最好，表5為該算法下各事件要素抽取的精準(zhǔn)率、召回率、F1結(jié)果；表6為該算法及BERT-BiLSTM-CRF算法下要素識別示例對比。BERT-BiLSTM-SPAN-adv-lsr算法下“記者”、“羅甸縣”、“發(fā)稿”三類要素則為模型識別的多余要素，“截至22時記者發(fā)稿時”要素未識別；BERT-BiLSTM-CRF算法下，“記者”、“羅甸縣”、“發(fā)稿”三類要素則為模型識別的多余要素，“截至22時記者發(fā)稿時”、“羅甸縣”要素未識別，且存在要素識別斷裂現(xiàn)象，如“2時”、“車”、“甩”。因此，本文所提算法可有效解決要素提取斷裂問題且泛化能力更強(qiáng)。

表5 各事件要素在算法BERT-BiLSTM-SPAN-adv-lsr下的提取效果

表6 BERT-BiLSTM-SPAN-adv-lsr、BERT-BiLSTM-CRF算法下預(yù)測示例

4 結(jié) 語

本文提出的融合對抗訓(xùn)練的BERT-BiLSTM-SPAN突發(fā)事件抽取方法，相較于傳統(tǒng)的事件抽取方法，基于BERT預(yù)訓(xùn)練模型自動獲取句子embedding特征向量，無需人為設(shè)計特征，利用SPAN網(wǎng)絡(luò)解決要素抽取過程中要素斷裂的問題，并且加入對抗訓(xùn)練及平滑標(biāo)簽增加模型的魯棒性及未知樣本的識別泛化能力。實(shí)驗(yàn)結(jié)果也驗(yàn)證了BERT-BiLSTM-SPAN方法的有效性。進(jìn)一步工作擬完成詞匯增強(qiáng)工作，進(jìn)一步提升模型性能。