一種基于層疊指針網(wǎng)絡(luò)的實(shí)體關(guān)系抽取

李世龍 張浩軍 李大嶺 王家慧 齊晨陽(yáng)

摘? 要：通過(guò)對(duì)知網(wǎng)上252篇有關(guān)新工科的典型教育研究文獻(xiàn)進(jìn)行實(shí)體關(guān)系人工標(biāo)注，建立了高等教育領(lǐng)域新工科視角下實(shí)驗(yàn)數(shù)據(jù)集NEDS（New Engineering Data Set），設(shè)計(jì)了一種層疊指針網(wǎng)絡(luò)模型。實(shí)驗(yàn)結(jié)果表明，在高等教育領(lǐng)域NEDS上該模型表現(xiàn)突出，其精確率、召回率和F1值分別達(dá)到了83.56、76.25和79.74，很好地解決了關(guān)系重疊問(wèn)題。

關(guān)鍵詞：新工科；實(shí)體關(guān)系抽??；層疊指針；關(guān)系重疊

中圖分類(lèi)號(hào)：TP391? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）07-0011-05

Abstract： By artificially labeling the entity relationship of 252 typical educational research literatures on new engineering on CNKI， the experimental dataset NEDS （New Engineering Data Set） from the perspective of new engineering in the field of higher education is established， and a cascading pointer network model is designed. The experimental results show that the model performs well in NEDS in the field of higher education， and its accuracy， recall and F1 values reach 83.56， 76.25 and 79.74 respectively， and solve the problem of relationship overlap.

Keywords： new engineering; entity relationship extraction; cascading pointer; relationship overlap

0? 引? 言

近年來(lái)，新工科等教育改革人才培養(yǎng)模式被提出，大量教育學(xué)者在該領(lǐng)域進(jìn)行探索研究。本文聚焦新工科教育改革領(lǐng)域，建立了高等教育領(lǐng)域新工科視角下實(shí)驗(yàn)數(shù)據(jù)集NEDS，通過(guò)引入實(shí)體關(guān)系抽取技術(shù)，實(shí)現(xiàn)人工智能輔助，來(lái)提高高等教育研究者的研究效率。

信息抽取是知識(shí)圖譜構(gòu)建的重要環(huán)節(jié)，將非結(jié)構(gòu)化或半結(jié)構(gòu)化文本轉(zhuǎn)換為結(jié)構(gòu)化的數(shù)據(jù)。命名實(shí)體識(shí)別和關(guān)系抽取是信息抽取的兩個(gè)重要子任務(wù)。命名實(shí)體識(shí)別是從文本中識(shí)別出具有特別意義的實(shí)體信息，而關(guān)系抽取是從本文中實(shí)體的語(yǔ)義關(guān)系，得到（主體，關(guān)系，客體）三元組信息。

1? 相關(guān)工作

實(shí)體關(guān)系抽取，主要包含流水線(xiàn)式和聯(lián)合式兩種方法。

1.1? 流水線(xiàn)式方法

流水線(xiàn)式方法分為兩步，先進(jìn)行命名實(shí)體識(shí)別再關(guān)系抽取，最后整合成三元組信息。

1.1.1? 命名實(shí)體識(shí)別

命名實(shí)體識(shí)別是指識(shí)別文本中有意義、有價(jià)值的實(shí)體并將其歸入到指定類(lèi)別的任務(wù)，是理解文本意義的基礎(chǔ)，是構(gòu)建知識(shí)圖譜的核心技術(shù)。早期命名實(shí)體識(shí)別主要以統(tǒng)計(jì)模型作為主流方法，常用的統(tǒng)計(jì)方法有隱馬爾科夫模型（HMM）和條件隨機(jī)場(chǎng)（CRF）[1]等，它們的準(zhǔn)確率在很大程度上依賴(lài)于自然語(yǔ)言處理（NLP）工具和人工標(biāo)注特征。隨著深度學(xué)習(xí)在不同領(lǐng)域的普及，越來(lái)越多的深度學(xué)習(xí)模型被提出解決實(shí)體識(shí)別問(wèn)題。Collcbert等人[2]采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和條件隨機(jī)場(chǎng)（CRF）疊加在單詞嵌入中來(lái)處理NLP任務(wù)。然后，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在命名實(shí)體識(shí)別任務(wù)中表現(xiàn)出比其他神經(jīng)網(wǎng)絡(luò)更好的性能。Chiu和Nichols[3]使用混合雙向LSTM和CNN架構(gòu)來(lái)學(xué)習(xí)單詞和字符級(jí)特征，減少了特征工程的需要。Shen等人[4]采用深度學(xué)習(xí)與主動(dòng)學(xué)習(xí)相結(jié)合來(lái)進(jìn)行命名實(shí)體識(shí)別，取得了較好的表現(xiàn)。Huang等人[5]提出將BI-LSTM和CRF聯(lián)合模型作為NLP序列標(biāo)注工作。

1.1.2? 關(guān)系抽取

實(shí)體關(guān)系描述了存在實(shí)物之間的關(guān)聯(lián)關(guān)系，它被定義為兩個(gè)或兩個(gè)以上實(shí)體之間的某種聯(lián)系，是知識(shí)圖譜構(gòu)建的基礎(chǔ)。關(guān)系抽取就是從文本中自動(dòng)檢測(cè)和識(shí)別出實(shí)體之間的某種語(yǔ)義關(guān)系。閆雄[6]等人采用自注意力機(jī)制和CNN相融合計(jì)算序列中詞之間的相互關(guān)系，提升了關(guān)系抽取的效果。Gan等人[7]提出了了子序列實(shí)體注意LSTM網(wǎng)絡(luò)（EA-LSTM）用于關(guān)系抽取，具有較好的效果。流水線(xiàn)方式存在誤差傳播問(wèn)題，忽略命名實(shí)體識(shí)別和關(guān)系抽取兩個(gè)任務(wù)之間的相關(guān)性。

1.2? 聯(lián)合式抽取方法

聯(lián)合式抽取方法的出現(xiàn)，改善了誤差傳播問(wèn)題并且能夠有效地利用兩個(gè)任務(wù)之間的相關(guān)性。Miwa和Bansal[8]提出了基于端對(duì)端的神經(jīng)網(wǎng)絡(luò)模型來(lái)進(jìn)行實(shí)體關(guān)系聯(lián)合抽取，他們通過(guò)在雙向序列LSTM-RNNs上疊加雙向樹(shù)狀LSTM-RNNs來(lái)捕獲詞序列和依賴(lài)樹(shù)子結(jié)構(gòu)信息，但忽略了實(shí)體標(biāo)簽之間的遠(yuǎn)距離依賴(lài)。Zheng[9]等人提出了一種混合神經(jīng)網(wǎng)絡(luò)模型來(lái)提取實(shí)體及其關(guān)系，而不需要任何手工特征，該混合神經(jīng)網(wǎng)絡(luò)包含用于實(shí)體提取的雙向編碼器-解碼器LSTM模塊（BiLSTM-ED）和用于關(guān)系分類(lèi)的CNN模塊，BiLSTM-ED得到的實(shí)體上下文信息再傳遞給CNN模塊，以改進(jìn)關(guān)系分類(lèi)。Li等人[10]將混合神經(jīng)網(wǎng)絡(luò)應(yīng)用在生物醫(yī)學(xué)文本中進(jìn)行實(shí)體關(guān)系聯(lián)合抽取。Zheng[11]等人提出了一種新的標(biāo)記方案，該標(biāo)記策略將涉及序列標(biāo)注任務(wù)和分類(lèi)任務(wù)的關(guān)系抽取轉(zhuǎn)化為序列標(biāo)注任務(wù)，并且采用端到端的神經(jīng)網(wǎng)絡(luò)模型直接抽取實(shí)體-關(guān)系-實(shí)體三元組信息。Eberts等人[12]采用的共同聯(lián)合范式為特征，該范式共享相同的編碼器并為所有任務(wù)提及表示，同時(shí)為實(shí)體識(shí)別和關(guān)系抽取保留獨(dú)立的解碼器，以多任務(wù)方式聯(lián)合訓(xùn)練，但該方法并未解決關(guān)系重疊問(wèn)題。

關(guān)系重疊是指一個(gè)實(shí)體與另一個(gè)實(shí)體之間存在多種關(guān)系，或者一個(gè)實(shí)體與多個(gè)不同的實(shí)體間存在多種關(guān)系。針對(duì)這種情況，Wei[13]等人提出了一種新的標(biāo)記框架CASREL，該框架通過(guò)一種級(jí)聯(lián)二進(jìn)制表示將關(guān)系看作為主體和客體所映射出的函數(shù)，來(lái)處理關(guān)系重疊問(wèn)題。

2? 一種基于層疊指針網(wǎng)絡(luò)實(shí)體關(guān)系抽取模型

Liu等人[14]提出的RoBERTa模型，該模型在BERT的基礎(chǔ)上提高了模型規(guī)模、算力和數(shù)據(jù)量。Wei[13]等人提出的級(jí)聯(lián)指針二進(jìn)制標(biāo)記框架將關(guān)系看作為主體和客體所映射出的函數(shù)。綜合上述方法設(shè)計(jì)一種層疊指針網(wǎng)絡(luò)的高等教育領(lǐng)域?qū)嶓w關(guān)系抽取模型，該模型包含三個(gè)模塊，我們通過(guò)梯度下降以參數(shù)共享的方式共同訓(xùn)練。首先，基于BERT的編碼器將句子嵌入到潛在空間中；其次，主體識(shí)別模塊來(lái)預(yù)測(cè)主體的頭和尾的位置序列，通過(guò)BERT詞向量加上一個(gè)全連接層去預(yù)測(cè)一個(gè)二分類(lèi)的問(wèn)題；最后，關(guān)系及客體識(shí)別模塊隨機(jī)拿一個(gè)主體來(lái)預(yù)測(cè)關(guān)系和客體的關(guān)系位置矩陣，如圖1所示。

2.1? 編碼層

本文采用由哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的RoBERTa-wwm預(yù)訓(xùn)練模型來(lái)對(duì)上下文信息進(jìn)行編碼，它相比傳統(tǒng)的BERT預(yù)訓(xùn)練模型能夠更好地適應(yīng)中文文本，RoBERTa由n個(gè)相同的Transformer模塊組成的。我們將Transformer模塊表示為trans（x），其中x表示輸入向量。具體操作如下：

其中wc表示字符向量，ws表示句子分類(lèi)向量，wp表示位置嵌入向量，hi表示隱層狀態(tài)向量，即輸入句子在第i層的上下文表示，n是Transformer模塊數(shù)量。

2.2? 主體解碼層

在主體識(shí)別模塊，通過(guò)直接解碼N層編碼器產(chǎn)生的編碼向量hN來(lái)識(shí)別輸入句子中所有三元組的主體位置信息。采用指針標(biāo)注的思想，通過(guò)頭指針序列和尾指針序列為每一個(gè)字符分配一個(gè)二進(jìn)制標(biāo)記0或1，來(lái)分別檢測(cè)主體的開(kāi)始位置和結(jié)束位置。在頭指針序列中1表示主體開(kāi)始位置，在尾指針序列中1表示主體結(jié)束位置。具體操作公式為：

將經(jīng)過(guò)編碼器編碼后的字向量hi加上一個(gè)全連接層并通過(guò)Sigmoid函數(shù)激活，得到解碼后的輸出。其中? 和? 分別表示將輸入序列中的第i個(gè)標(biāo)識(shí)為主體的開(kāi)始和結(jié)束位置的概率。如果概率超過(guò)某個(gè)閾值，則被標(biāo)記為1，否則將被標(biāo)記為0。hi表示輸入序列中第i個(gè)位置的編碼表示，即：hi=hN[i]，其中W表示可訓(xùn)練權(quán)重，b是偏置σ表示Sigmoid激活函數(shù)。

2.3? 關(guān)系及客體解碼層

該模塊同時(shí)識(shí)別關(guān)系以及相對(duì)應(yīng)的客體。其結(jié)構(gòu)和主體識(shí)別模塊類(lèi)似，將主體編碼器的頭、尾指針向量序列變換為關(guān)系和客體位置矩陣。解碼方式與主體識(shí)別模塊直接對(duì)編碼向量hN進(jìn)行解碼不同，關(guān)系及客體解碼器還考慮了主體特征。具體操作公式為：

其中? 和? 分別表示為在當(dāng)前關(guān)系下，輸入序列中的第i個(gè)標(biāo)識(shí)為客體的開(kāi)始和結(jié)束位置的概率， 表示在主體識(shí)別模塊中檢測(cè)到的第k個(gè)主體的編碼向量。實(shí)體通常由多個(gè)漢字組成，為了保證主體的向量維度一致性，將構(gòu)成主體的每個(gè)漢字編碼向量的平均值來(lái)作為主體的特征表示。

2.4? 損失函數(shù)

在主體識(shí)別模塊中，目標(biāo)函數(shù)的定義如下：

其中Pθ （s|x）是主體識(shí)別模塊中輸入文本序列為x，參數(shù)θ={Wstart， bstart， Wend， bend}預(yù)測(cè)主體s的目標(biāo)函數(shù)；L是輸入句子長(zhǎng)度； 是文本x中第i個(gè)標(biāo)記的主體開(kāi)始或結(jié)束位置的二進(jìn)制標(biāo)記。

在關(guān)系客體識(shí)別模塊中，目標(biāo)函數(shù)的定義如下：

其中Pr （o|s， x）表示當(dāng)關(guān)系類(lèi)別為r，并且在輸入文本x和所選主體為s的條件下預(yù)測(cè)客體o的目標(biāo)函數(shù)；L是輸入句子長(zhǎng)度， 是文本x中第i個(gè)標(biāo)記的主體開(kāi)始或結(jié)束位置的二進(jìn)制標(biāo)記。

結(jié)合兩個(gè)目標(biāo)函數(shù)，模型的最終損失函數(shù)為：

其中N是輸入樣本的數(shù)量。綜合上述公式可知，0≤P≤1使得q接近于0，當(dāng)標(biāo)簽y=1時(shí)，則放大了損失的權(quán)重；當(dāng)標(biāo)簽y=0時(shí)，所對(duì)應(yīng)的? 就更小，使得初始狀態(tài)符合目標(biāo)分布，最終實(shí)現(xiàn)加速收斂。

3? 實(shí)驗(yàn)分析

3.1? 數(shù)據(jù)集

實(shí)驗(yàn)原始數(shù)據(jù)來(lái)自中國(guó)知網(wǎng)，選自高等教育領(lǐng)域新工科視角下的北大核心文獻(xiàn)，共計(jì)252篇構(gòu)成新工科數(shù)據(jù)集NEDS對(duì)其摘要部分進(jìn)行人工標(biāo)注，將其劃分為訓(xùn)練集162篇，測(cè)試集45篇，驗(yàn)證集45篇。由小組討論定義實(shí)體與關(guān)系類(lèi)型，通過(guò)標(biāo)注工具進(jìn)行人工標(biāo)注，如圖2、圖3所示。NEDS數(shù)據(jù)集包含六個(gè)實(shí)體類(lèi)型、四個(gè)關(guān)系類(lèi)型，統(tǒng)計(jì)情況如表1和表2所示。

3.2? 評(píng)價(jià)指標(biāo)

本文模型評(píng)價(jià)指標(biāo)采用精確率（P，Precision），召回率（R，Racall）和F1值，具體公式為：

其中，TP為模型預(yù)測(cè)出的三元組信息與文本數(shù)據(jù)中正確的三元組信息相同的個(gè)數(shù)，F(xiàn)P為模型預(yù)測(cè)出的三元組信息不屬于文本數(shù)據(jù)中正確的三元組信息的個(gè)數(shù)，F(xiàn)N為模型未能預(yù)測(cè)出正確三元組的個(gè)數(shù)。

3.3? 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)環(huán)境如表3所示。

3.4? 參數(shù)設(shè)計(jì)

本文模型參數(shù)設(shè)計(jì)：BERT預(yù)訓(xùn)練模型Chinese_Roberta_wwm_ext_L-12_H-768_A-12，學(xué)習(xí)率為0.000 01，批量大小為8，句子最大長(zhǎng)度為512，模型優(yōu)化器選擇Adam，Sigmoid函數(shù)閾值0.5，字嵌入維度768。

3.5? 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文模型的有效性，在自建數(shù)據(jù)集NEDS上與其他三種方法進(jìn)行了實(shí)驗(yàn)對(duì)比?？煞譃閮深?lèi)：流水線(xiàn)式抽取方法和聯(lián)合式抽取方法。

對(duì)于流水線(xiàn)式的抽取方法，先命名實(shí)體識(shí)別然后進(jìn)行關(guān)系抽取，本文模型與以下兩種流水線(xiàn)式的方法進(jìn)行對(duì)比：

1）BERT+LSTM：使用BERT-CRF進(jìn)行命名實(shí)體識(shí)別，然后使用LSTM進(jìn)行關(guān)系抽取。

2）BERT+BiLSTM：使用BERT-CRF進(jìn)行命名實(shí)體識(shí)別，然后使用BiLSTM進(jìn)行關(guān)系抽取。

對(duì)于聯(lián)合式的抽取方法，本文模型與Casrel進(jìn)行了實(shí)驗(yàn)對(duì)比。

3）Casrel：Wei[13]等人提出的新的級(jí)聯(lián)二進(jìn)制標(biāo)記框架的聯(lián)合抽取模型，它將關(guān)系建模為映射到句子中對(duì)象的函數(shù)，很好的解決了關(guān)系重疊問(wèn)題。

從表4可以看出本文模型與流水線(xiàn)式抽取方法BERT+LSTM和BERT+BiLSTM相比在NEDS數(shù)據(jù)集上表現(xiàn)更為優(yōu)秀，F(xiàn)1值分別提高了23.37%和14.17%，這是因?yàn)楸疚哪Ｐ蜎](méi)有誤差傳播問(wèn)題，加強(qiáng)了命名實(shí)體識(shí)別和關(guān)系抽取兩個(gè)子任務(wù)之間的依賴(lài)性，并且本文模型所使用的指針網(wǎng)絡(luò)相比序列標(biāo)注能夠更好地解決關(guān)系重疊問(wèn)題。Casrel模型和本文模型對(duì)關(guān)系重疊問(wèn)題都有著不錯(cuò)的表現(xiàn)，本文模型與Casrel模型在精確值、召回率和F1值分別有2.03%、0.82%和1.39%的提升。主要原因是在編碼層上本文模型使用了RoBerta對(duì)輸入句子進(jìn)行編碼，與BERT模型相比，能夠更好地適應(yīng)中文語(yǔ)料并且在模型規(guī)模、算力和數(shù)據(jù)量上都有所提高；在解碼層上本文采用層疊指針標(biāo)注策略，提高了對(duì)關(guān)系重疊問(wèn)題的識(shí)別率。

為了更形象的表示本文模型性能，將上述模型的實(shí)驗(yàn)迭代過(guò)程進(jìn)行對(duì)比，如圖4所示，本文模型相比其他模型在更短的訓(xùn)練周期達(dá)到穩(wěn)定，并且能夠在最短的訓(xùn)練周期達(dá)到最高的F1值，進(jìn)一步體現(xiàn)了本文模型的有效性。

4? 結(jié)? 論

本文在高等教育領(lǐng)域新工科視角下定義了6種實(shí)體類(lèi)型和4種關(guān)系類(lèi)型并構(gòu)建了NEDS數(shù)據(jù)集。設(shè)計(jì)了一種基于指針網(wǎng)絡(luò)的實(shí)體關(guān)系抽取方法，通過(guò)實(shí)驗(yàn)，本文模型在自建數(shù)據(jù)集NEDS上的精確率、召回率和F1值分別達(dá)到了83.56、76.25、79.74，為后續(xù)構(gòu)建教育改革類(lèi)知識(shí)圖譜提供了數(shù)據(jù)支持。

參考文獻(xiàn)：

[1] LAMPLE G，BALLESTEROS M，SUBRAMANIAN S，et al. Neural Architectures for Named Entity Recognition [J/OL].arXiv：1603.01360 [cs.CL].[2022-10-06].https：//arxiv.org/abs/1603.01360v1.

[2] COLLOBERT R，WESTON J，BOTTOU L，et al. Natural Language Processing （almost） from Scratch [J].The Journal of Machine Learning Research，2011，12：2493-2537.

[3] CHIU J P C，NICHOLS E. Named Entity Recognition with Bidirectional LSTM-CNNs [J].Computer Science，2016，4：357-370.

[4] SHEN Y Y，YUN H，LIPTON Z C，et al. Deep Active Learning for Named Entity Recognition [J/OL].arXiv：1707.05928 [cs.CL].[2022-10-06].https：//arxiv.org/abs/1603.01360v1.

[5] HUANG Z H，WEI X，KAI Y. Bidirectional LSTM-CRF Models for Sequence Tagging [J/OL].arXiv：1508.01991 [cs.CL].[2022-10-06].https：//arxiv.org/abs/1508.01991.

[6] 閆雄、段躍興、張澤華.采用自注意力機(jī)制和CNN融合的實(shí)體關(guān)系抽取 [J].計(jì)算機(jī)工程與科學(xué)，2020，42（11）：2059-2066.

[7] GAN T，GAN Y Q，HE Y M. Subsequence-Level Entity Attention LSTM for Relation Extraction [C]//2019 16th International Computer Conference on Wavelet Active Media Technology and Information Processing.Chengdu：IEEE，2019：262-265.

[8] MIWA M，BANSAL M. End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures [J/OL].arXiv：1601.00770 [cs.CL].[2022-10-06].https：//arxiv.org/abs/1601.00770v2.

[9] ZHENG S C，HAO Y X，LU D Y，et al. Joint Entity and Relation Extraction Based on A Hybrid Neural Network [J].Neurocomputing，2017，257：59-66.

[10] LI F， ZHANG M S，F(xiàn)U G H，et al. A neural joint model for entity and relation extraction from biomedical text [J/OL].BMC Bioinformatics，2017，18：1-11[2022-10-06].https：//link.springer.com/content/pdf/10.1186/s12859-017-1609-9.pdf.

[11] ZHENG S C，WANG F，BAO H Y，et al. Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme [J/OL].arXiv：1706.05075 [cs.CL].[2022-10-09].https：//arxiv.org/abs/1706.05075v1.

[12] EBERTS M，ULGES A. An End-to-end Model for Entity-level Relation Extraction using Multi-instance Learning [J/OL].arXiv：2102.05980 [cs.CL].[2022-10-09].https：//arxiv.org/abs/2102.05980v2.

[13] WEI Z P，SU J L，WANG Y，et al. A Novel Cascade Binary Tagging Framework for Relational Triple Extraction [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.[S.I.]：Association for Computational Linguistics，2020：1476-1488.

[14] LIU Y H，OTT M，GOYAL N，et al. RoBERTa： A Robustly Optimized BERT Pretraining Approach [J/OL].arXiv：1907.11692 [cs.CL].[2022-10-09].https：//arxiv.org/abs/1907.11692.

作者簡(jiǎn)介：李世龍（1997—），男，回族，河南平頂山人，碩士研究生在讀，研究方向：自然語(yǔ)言處理；張浩軍（1969—），男，漢族，浙江杭州人，博士，教授，碩士生導(dǎo)師，研究方向：人工智能；李大嶺（1997—），男，漢族，河南濮陽(yáng)人，碩士研究生在讀，研究方向：自然語(yǔ)言處理；王家慧（1997—），女，漢族，河南開(kāi)封人，碩士研究生在讀，研究方向：光網(wǎng)絡(luò)故障定位；齊晨陽(yáng)（1998—），男，漢族，河南周口人，碩士研究生在讀，研究方向：數(shù)據(jù)挖掘。