基于實體知識的石油煉化領(lǐng)域命名實體識別

摘" 要：石油煉化領(lǐng)域中的命名實體識別任務(wù)存在著標注數(shù)據(jù)稀缺，以及現(xiàn)有的預訓練語言模型不能很好識別領(lǐng)域組合和嵌套實體的問題?；诖耍紫忍岢鲆环N基于外部實體知識的數(shù)據(jù)增強方法（EEKR），通過引入外部實體知識庫，將其與標注數(shù)據(jù)中的實體進行實體級別替換完成數(shù)據(jù)增強，有效解決標注數(shù)據(jù)稀缺的問題。之后提出了基于內(nèi)部實體知識的命名實體識別模型（IIEKNER），通過獲取標注樣本中的內(nèi)部實體嵌入，將內(nèi)部實體知識融入預訓練模型，從而可以更準確地識別出石油煉化領(lǐng)域中的嵌套和組合實體。實驗結(jié)果顯示，相比于其他模型，基于EEKR數(shù)據(jù)增強方法的IIEKNER模型的識別效果更優(yōu)。

關(guān)鍵詞：命名實體識別；石油煉化領(lǐng)域；數(shù)據(jù)增強；BERT

中圖分類號：TP391.1" 文獻標識碼：A" 文章編號：2096-4706（2024）12-0040-07

Named Entity Recognition in Petroleum Refining Domain Based on Entity Knowledge

DING Jianxin1， WANG Xiaowei2， WEN Xin1， QU Kejiang1， WANG Jianhua1， ZHAO Yanhong1， HU Siying2

（1.Smart Oil Services Business Unit， Kunlun Digital Technology Co.， Ltd.， Beijing" 100071， China; 2.College of Information Science and Engineering/College of Artificial Intelligence， China University of Petroleum （Beijing）， Beijing" 102249， China）

Abstract： Named entity recognition task in the petroleum refining domain suffers from the problems of scarcity of labeled data as well as the existing pre-trained language models cannot recognize domain combination and nested entities well. Based on this， a data augmentation method EEKR （External Entity Knowledge Replacement， EEKR） based on external entity knowledge is firstly proposed， which effectively solves the problem of scarcity of labeled data by introducing an external entity knowledge base and completing data augmentation by replacing it with entities in the labeled data at the entity level. After that， a named entity recognition model IIEKNER （Namd Entity Recognition Incorporating Internal Entity Knowledge， IIEKNER） is proposed， which incorporates internal entity knowledge into the pre-training model by obtaining internal entity embeddings in the labeled samples. Thus， nested and combined entities in the petroleum refining domain can be recognized more accurately. The experimental results show that compared to other models， the IIEKNER model based on EEKR data augmentation method has better recognition performance.

Keywords： named entity recognition; petroleum refining domain; data augmentation; BERT

0" 引" 言

命名實體識別（Named Entity Recognition， NER）[1]是指從文本中識別出具有特殊意義的詞匯或?qū)Ｓ忻~。其不僅需要識別出命名實體的邊界，還需要將其分類到正確的實體類型中。命名實體識別的結(jié)果可用于構(gòu)建知識圖譜，用戶可從中檢索和使用所需要的知識，同時為文本理解、智能問答[2]等下游任務(wù)提供數(shù)據(jù)支持。

近年來，石油煉化領(lǐng)域快速發(fā)展，在發(fā)展過程中累積了大量的文檔。這些文檔的存儲和管理通常以非結(jié)構(gòu)化形式實現(xiàn)，它們構(gòu)成了石油煉化領(lǐng)域的大型語料庫。命名實體識別主要抽取裝置、設(shè)備以及工藝技術(shù)等實體。

石油煉化領(lǐng)域的命名實體識別面臨著兩個問題：第一個問題是數(shù)據(jù)集的問題，由于該領(lǐng)域缺乏標注好的公開數(shù)據(jù)集，導致深度神經(jīng)網(wǎng)絡(luò)模型不能很好地發(fā)揮作用。因此，如何在少量標注數(shù)據(jù)下實現(xiàn)準確識別命名實體亟待考慮和解決；第二個問題是該領(lǐng)域存在大量嵌套命名實體，這些命名實體給該領(lǐng)域命名實體識別任務(wù)帶來很大挑戰(zhàn)，例如句子“目前在流化床催化裂化中，廣泛應(yīng)用的是合成無定形硅酸鋁催化劑?！逼渲械摹傲骰泊呋鸦薄盁o定形硅酸鋁催化劑”很難被精確識別。

因此，首先需要解決石油煉化領(lǐng)域命名實體識別任務(wù)存在的缺乏大規(guī)模標注數(shù)據(jù)集問題，傳統(tǒng)的數(shù)據(jù)增強方法[3]會造成石油煉化領(lǐng)域目標實體丟失和無效擴充的問題。為此，設(shè)計一種專門針對石油煉化領(lǐng)域的數(shù)據(jù)增強方法是很有必要的，本文提出了外部實體知識的數(shù)據(jù)增強方法EEKR（External Entity Knowledge Replacement）。該方法通過引入外部實體知識庫，將其與標注數(shù)據(jù)中的實體進行實體級別語義理解替換從而進行數(shù)據(jù)增強，這種增強數(shù)據(jù)中的實體是真實且屬于石油煉化領(lǐng)域，可以有效解決標注數(shù)據(jù)稀缺的問題。之后，針對現(xiàn)有的預訓練語言模型不能很好識別領(lǐng)域嵌套實體的問題，本文提出了IIEKNER（Namd Entity Recognition Incorporating Internal Entity Knowledge）模型。該模型基于標注樣本中的內(nèi)部實體知識，首先對實體知識進行定義并獲取領(lǐng)域?qū)嶓w知識，之后向預訓練語言模型融入實體知識。該模型可以有效識別石油煉化領(lǐng)域的嵌套實體。本文的主要貢獻包括：

1）提出EEKR數(shù)據(jù)增強方法，利用外部的實體知識進行數(shù)據(jù)增強，有效解決領(lǐng)域內(nèi)樣本稀缺問題。

2）設(shè)計了IIEKNER模型，通過融合內(nèi)部實體知識，有效解決領(lǐng)域內(nèi)嵌套實體的實體問題。

3）構(gòu)建了石油煉化領(lǐng)域數(shù)據(jù)集，同時通過實驗對比，基于EEKR數(shù)據(jù)增強方法的IIEKNER模型在石油煉化領(lǐng)域取得了顯著的成效。與其他模型相比，我們的模型具有更高的精確率、召回率和F1值。

1" 相關(guān)工作

在命名實體識別的研究中，按照其適用領(lǐng)域可以劃分為兩類，一類是通用領(lǐng)域，另一類是垂直領(lǐng)域，如醫(yī)療領(lǐng)域、有色冶金領(lǐng)域、航空安全領(lǐng)域等。垂直領(lǐng)域的實體區(qū)別于通用領(lǐng)域，有著領(lǐng)域的專業(yè)性和獨特性，難以直接使用通用領(lǐng)域的模型。

在英文醫(yī)療領(lǐng)域中，Li等基于BERT多特征融合進行醫(yī)學命名實體識別[4]。Landolsi等采用通過周圍序列匹配的命名實體標記，添加提示序列信息，提高了F1值[5]。Le等人通過使用特定領(lǐng)域的語義類型依賴作為額外知識[6]，有效提升了醫(yī)療臨床文本命名實體識別的準確率。Wang等提出了一種結(jié)合BERT預訓練模型和BilSTM-CRF模型的新模型改進識別效果[7]。在中文醫(yī)療領(lǐng)域，針對醫(yī)療文本研究首先是電子病例的命名實體識別研究[8]，之后是公開的中文醫(yī)療語料庫的構(gòu)建。Lee等提出了一種基于多嵌入增強多圖神經(jīng)網(wǎng)絡(luò)[9]，結(jié)合多特征融合方法，有效解決了中文醫(yī)療命名實體識別任務(wù)存在的樣本不平衡、實體多樣性和語言多樣性等問題。Zhu等將多個BiLSTM模型和BERT結(jié)合[10]，實現(xiàn)了在取得較好識別效果的同時花費更少的訓練時間。Xiong等為提升臨床醫(yī)療文本的實體識別效果，提出了一種基于關(guān)系圖卷積網(wǎng)絡(luò)的方法[11]。An等提出了一個基于多頭自注意的雙向長短期記憶條件隨機場（MUSA-BiLSTM-CRF）模型[12]，提升了模型性能。

在航空安全領(lǐng)域，孫安亮等[13]采用雙向長短期記憶模型、卷積神經(jīng)網(wǎng)絡(luò)和條件隨機場，構(gòu)建了一種使用字符與詞兩個粒度的模型，可以有效提高航空安全領(lǐng)域命名實體識別效果。在電網(wǎng)調(diào)度領(lǐng)域，毛宏亮等[14]提出一種融合多頭注意力機制和雙向長短時記憶網(wǎng)絡(luò)的中文命名實體識別方法，較好解決了電網(wǎng)調(diào)度領(lǐng)域?qū)嶓w識別任務(wù)中標注數(shù)據(jù)稀少和精度較低的問題。在有色冶金領(lǐng)域，貴向泉等[15]提出了一種基于機器閱讀理解框架和知識增強語義表示模型的MEAB模型結(jié)構(gòu)，在有色冶金領(lǐng)域取得了顯著的成效。

2" 命名實體識別方法設(shè)計

2.1" EEKR數(shù)據(jù)增強方法

傳統(tǒng)的數(shù)據(jù)增強方法如同義詞替換方法，替換的單詞是隨機的，這些單詞不一定是石油煉化領(lǐng)域?qū)嶓w，不一定可以讓模型學習到更多的石油煉化領(lǐng)域?qū)嶓w特征，雖然通過替換可以豐富句子的結(jié)構(gòu)，但是預訓練語言模型已經(jīng)在大量語料上進行了預訓練，從中學習了中文句式和語法規(guī)則，所以同義詞替換對預訓練語言模型的效果十分有限。此外，在石油煉化領(lǐng)域中，由于分詞不準確和存在大量組合嵌套實體的原因，利用分詞無法準確獲得全部目標實體，如果利用上述方法，會導致錯誤的詞語替換，消除語料庫中原有的實體，影響研究的準確性。

基于上述分析，本節(jié)提出了基于外部實體知識的數(shù)據(jù)增強算法EEKR，通過引入外部實體知識庫，將其與標注數(shù)據(jù)中的實體進行實體級別語義理解替換從而完成數(shù)據(jù)增強。具體思想為：用Word2Vec獲得詞語的詞向量，與騰訊中文詞匯和短語向量中的向量進行相似度計算，返回結(jié)果最相近且大于閾值的向量對應(yīng)的詞語，對于出現(xiàn)未登錄詞（OOV），采用人工方式處理。EEKR算法流程為：首先將需要處理的句子復制n （m + 1） - 1遍，其中n為句子中實體個數(shù)，m為擴充規(guī)模，將復制后的句子原實體依次替換成原實體語義理解的結(jié)果。EEKR算法具體步驟如下：

輸入：包含實體的語句集合Sentences，擴充規(guī)模m

輸出：擴充后的語句集合Result

FOR（Sentence IN Sentences）

統(tǒng)計Sentence中實體的個數(shù)n及其位置loc

將Sentence復制n （m + 1） - 1加入臨時句子集合temp_s

FOR（temp IN temp_s）

根據(jù)loc將Sentence中實體按實體及其同類詞的語義相似程度大小依次替換

END FOR

將temp_s加入Result，將temp_s清空

END FOR

部分詞語的語義理解結(jié)果如表1所示，對于命名實體“油藏”而言，其語義理解結(jié)果最相近的三個命名實體為“儲層”“油氣藏”和“水平井”。

例如當擴充規(guī)模為1時，處理的句子為“芳烴抽提塔采用篩板塔?！睍r，EEKR算法處理結(jié)果如表2所示。原句包含兩個命名實體：“芳烴抽提塔”和“篩板塔”，將原句復制三遍。由于“芳烴抽提塔”為嵌套實體，在騰訊中文詞匯和短語向量中找不到與該實體相似度大于閾值的向量，我們對該實體后半部分實體“抽提塔”進行語義理解，由于擴充規(guī)模為1，得到“水洗罐”，對于“篩板塔”，經(jīng)過語義理解得到“泡罩塔”，將復制的三個句子中的實體部分進行替換。

2.2" IIEKNER模型

預訓練語言模型的出現(xiàn)極大地提升了自然語言處理各項任務(wù)的性能，最新的一些研究表明，預訓練語言模型通過自我監(jiān)督的預訓練，從大規(guī)模語料庫中獲取知識，再將學習到的知識編碼用到模型參數(shù)中[16-18]。在石油煉化領(lǐng)域命名實體識別任務(wù)中，存在很多嵌套和組合實體，現(xiàn)有的預訓練語言模型不能充分地從模型參數(shù)中獲取實體知識，所以不能準確地識別這些實體。

為了使預訓練語言模型能夠準確地識別嵌套和組合實體，需要提高預訓練語言模型對實體的理解能力。如果從知識圖譜、實體描述、語料庫中獲取外部實體知識，將外部實體知識嵌入與原實體進行對齊，雖然提高了模型對實體的理解能力，但是這些方法沒有從預訓練語言模型出發(fā)研究實體嵌入，導致學習到的實體嵌入映射缺少領(lǐng)域適用性。如果通過采用相關(guān)的預訓練任務(wù)來加強實體表示，將實體知識注入預訓練語言模型的參數(shù)中，則需要巨大的預計算，大幅增加了命名實體識別等下游任務(wù)的成本。

IIEKNER模型從預訓練語言模型方向出發(fā)研究實體嵌入，通過掩碼策略巧妙獲取實體嵌入，通過改變實體向量映射將實體知識融入預訓練語言模型，不需要改變預訓練語言模型的其他參數(shù)。具體流程如下：首先通過第2.2.1節(jié)的方法獲取領(lǐng)域?qū)嶓w知識，然后通過第2.2.2節(jié)的方法將領(lǐng)域?qū)嶓w知識融入模型中，從而提升模型對石油煉化領(lǐng)域命名實體的識別效果。整個流程如圖1所示，圖中左邊為簡略流程，右邊為詳細流程。

2.2.1" 獲取領(lǐng)域?qū)嶓w知識

預訓練語言模型通過自監(jiān)督預訓練任務(wù)，從大規(guī)模未標記語料庫中學習語義和語法任務(wù)[19]，例如掩碼語言模型（Masked Language Model， MLM）。該模型可以看作是完形填空任務(wù)，首先掩蓋掉輸入序列中的token，模型根據(jù)上下文表示預測被掩蓋的token。該模型可以形式化表述為：給定一個符號序列X = （x1，x2，…，xn），將xi替換成[MASK]，BERT等預訓練語言模型將token的詞嵌入和位置嵌入作為輸入，得到其上下文表示，如式（1）所示：

（1）

其中，Enc（?）為Transformer編碼器。

獲得上下文表示后，BERT等預訓練語言模型利用向前反饋網(wǎng)絡(luò)（Feedforward Neural Network， FFN）和層歸一化來計算xi的輸出：

（2）

由于Softmax層的權(quán)重和詞嵌入綁定在BERT等預訓練語言模型中，模型首先計算" 與輸入詞嵌入矩陣的乘積，進一步計算xi在所有詞之間的交叉熵損失：

（3）

由于訓練效率的不同，常見預訓練語言模型的詞匯量通常在30 000到60 000之間，這些模型必須將大量實體的信息分散到子詞嵌入中。通過分析式（3）中的掩碼語言模型損失，可以直觀地觀察到單詞嵌入和BERT等預訓練語言模型的輸出表示位于同一個向量空間中。因此，我們能夠從BERT等預訓練語言模型的輸出表示中恢復實體嵌入，從而將它們的上下文知識注入模型中。

在石油煉化領(lǐng)域命名實體識別任務(wù)的研究中，實體知識的定義為該實體在語料庫語句中所有實體嵌入的算數(shù)平均。對于該領(lǐng)域的實體e，例如“催化劑”，按照以下方法獲取實體知識E（e）：

首先統(tǒng)計語料中含有“催化劑”的句子集合Se，在其他參數(shù)不變的情況下，將這些句子中的“催化劑”替換成“[MASK]”，則該實體知識對掩碼語言模型損失的影響優(yōu)化為式（4）：

（4）

其中，xi為替換后的掩碼令牌， 為預訓練語言模型對xi的輸出表示。

實體知識E（e）表示為：

（5）

其中，n為實體出現(xiàn)的次數(shù)。對于其他詞語的掩碼語言模型損失而言，實體知識可以作為負對數(shù)似然損失[20]。Gao等人指出，從這種負對數(shù)似然獲得的梯度下降，會使得所有詞語傾向統(tǒng)一，影響罕見詞的表征質(zhì)量[21]。在石油煉化領(lǐng)域中，罕見詞出現(xiàn)的上下文比較固定，可以忽略這一負項，通過式（5）獲取實體知識。

針對石油煉化領(lǐng)域，本文通過匯總標注語料中的實體形成石油煉化領(lǐng)域內(nèi)部實體集合。對于每個實體，首先從語料庫中提取包含該實體的句子，然后采用上述方法獲取這些領(lǐng)域?qū)嶓w的實體知識并進行存儲。

2.2.2" 融入領(lǐng)域?qū)嶓w知識

上節(jié)得到的領(lǐng)域?qū)嶓w知識和原始詞嵌入都屬于掩碼語言模型的目標，實體可以看作是一種特殊的輸入標記。為了將領(lǐng)域?qū)嶓w知識融入預訓練語言模型中，本節(jié)采用一對大括號將構(gòu)建的實體知識括起來，然后將其插入到原始實體后，生成新的輸入序列，如表3所示。

在表3例子中，“催化裂化裝置{催化裂化裝置}采用的都是分子篩催化劑{分子篩催化劑}。”作為預訓練語言模型的輸入，在掩碼語言過程階段，當遮擋實體“催化裂化裝置”和“分子篩催化劑”時，將實體的向量表示替換成上節(jié)構(gòu)建的實體知識，而其他詞語使用了它們原始的實體嵌入。通過該方法，實現(xiàn)了將領(lǐng)域?qū)嶓w知識傳遞給預訓練語言模型進行編碼，在不需要修改結(jié)構(gòu)和額外參數(shù)的前提下，向預訓練語言模型融入了領(lǐng)域?qū)嶓w知識。

2.2.3" 融入領(lǐng)域?qū)嶓w知識

IIEKNER模型在BERT-WWM-BiLSTM-CRF命名實體識別模型中融入內(nèi)部實體知識，BERT-WWM-BiLSTM-CRF命名實體識別模型結(jié)構(gòu)如圖2所示。

融入內(nèi)部實體知識的方式為：首先，匯總標注數(shù)據(jù)中所有實體名稱，對于這些實體中的每個實體，統(tǒng)計不超過150個包含該實體的句子，利用第2.2.1節(jié)中的方式獲取該實體的實體知識，之后對包含該實體的所有語句進行如表3的處理，最后將預訓練語言模型在處理后的語料進行補充訓練，在掩碼語言模型階段，將實體[MASK]去掉，將其實體表示替換成實體知識，實現(xiàn)實體知識的注入，提高了預訓練語言模型對領(lǐng)域?qū)嶓w的理解能力。

3" 實驗及結(jié)果分析

3.1" 數(shù)據(jù)集獲取

由于石油煉化領(lǐng)域缺乏開源數(shù)據(jù)集，因此首先要獲取數(shù)據(jù)集。獲取數(shù)據(jù)集主要包括三個步驟：實體類別定義、語料獲取和語料標注。

3.1.1" 實體類別定義與語料獲取

在進行石油煉化領(lǐng)域的命名實體識別任務(wù)時，需要先確定該領(lǐng)域的實體類別。由于石油煉化領(lǐng)域沒有公開的實體類型定義，可以通過對領(lǐng)域內(nèi)的專業(yè)文獻、技術(shù)規(guī)范、專利文件和工藝流程等進行分析和總結(jié)得出。本文通過查閱石油煉化領(lǐng)域?qū)I(yè)文獻并與石油煉化領(lǐng)域?qū)＜疫M行討論，最終定義了石油煉化領(lǐng)域十大類實體類型，即：化合物、三劑、反應(yīng)、性質(zhì)、方法工藝、油氣資源、石油產(chǎn)品、裝置、設(shè)備、其他。每個類型的定義及具體解釋如表4所示。

構(gòu)建石油煉化領(lǐng)域數(shù)據(jù)集，首先需要獲取石油煉化領(lǐng)域原始語料，其次對原始語料進行格式轉(zhuǎn)換和分句等處理后得到石油煉化領(lǐng)域語料，最后對石油煉化領(lǐng)域語料進行預處理和標注。石油煉化領(lǐng)域原始語料來自《石油學報（石油加工）》2010—2020年間共1 768篇文獻以及石油出版社提供的相關(guān)圖書和生產(chǎn)案例等。

3.1.2" 語料標注

本文采用BIO標注對文本進行標注。在BIO標注中，每個字都被標記為“B”“I”或“O”。如果字是實體的開始，則標記為“B-N”，如果詞語是實體的中間部分，則標記為“I-N”，其中N為實體類型，如果詞語不是實體的一部分，則標記為“O”。

本節(jié)對石油煉化領(lǐng)域語料中存在實體的6 000個句子共計262 054字進行標注。將這些句子劃分為兩部分，一部分包含1 000個句子，共計34 053字符，實體個數(shù)共計2 033個，其中單一實體1 422個，組合實體610個，各類實體個數(shù)如表5所示，這一部分數(shù)據(jù)集主要用于本章數(shù)據(jù)增廣研究。另一部分包含5 000個句子，228 001個字符，9 965個實體，主要用于實驗驗證。

3.2" 評價指標

由于本文研究的是油氣勘探領(lǐng)域的命名實體識別，分為兩個部分進行實現(xiàn)，即先確定實體邊界，然后對實體進行分類。因此不僅要判斷實體的邊界是否正確，同時還需要判斷實體類別是否準確。本文采用嚴格的評價指標，即實體邊界和實體類型必須都正確才算正確識別油氣勘探領(lǐng)域的命名實體。我們采用精確率（P）、召回率（R）、F1值（F）來評價模型結(jié)果。

3.3" 實驗分析

為了探究“預訓練語言模型-BiLSTM-CRF”在石油煉化領(lǐng)域命名實體識別任務(wù)上的性能表現(xiàn)，本節(jié)使用BERT-WWM、BERT、Word2Vec三種預訓練模型結(jié)合BiLSTM-CRF在石油煉化數(shù)據(jù)集上進行實驗，實驗結(jié)果如表6所示。

由表6可知，在石油煉化領(lǐng)域數(shù)據(jù)集上，“預訓練語言模型-BiLSTM-CRF”各項評價指標均比BiLSTM-CRF高，BERT-WWM-BiLSTM-CRF在石油煉化領(lǐng)域命名實體識別任務(wù)上效果最好。相比于Word2Vec，BERT系列基于Transformer構(gòu)建，能夠處理長文本序列中的依賴關(guān)系，而Word2Vec基于n-gram構(gòu)建，對于長文本序列處理效果差。此外，BERT系列屬于動態(tài)語言模型，可以理解詞語在上下文中的語義并解決一詞多義問題。相比于BERT，BERT-WWM在掩碼策略上采用全詞掩碼，擁有更豐富的詞語級別的語義信息，因此效果較好。所以本文之后使用并比較的預訓練模型均為BERT-WWM。

3.3.1" EEKR數(shù)據(jù)增強方法實驗結(jié)果

為了探究EEKR數(shù)據(jù)增強算法對石油煉化領(lǐng)域命名實體識別效果的影響，本節(jié)采用EEKR算法對數(shù)據(jù)進行增強，使用不融入內(nèi)部實體知識的BERT-WWM-BiLSTM-CRF模型在不同增強規(guī)模的數(shù)據(jù)集上進行訓練，實驗結(jié)果如表7所示。EEKR數(shù)據(jù)增強算法對于石油煉化領(lǐng)域數(shù)據(jù)集的效果是非常明顯的，對于BERT-WWM-BiLSTM-CRF，當增廣規(guī)模達到4時，P、R和F分別提升了4.14%、11.12%、7.77%。該方法的有效性在于不會破壞實體的真正含義，同時可以豐富實體，符合石油煉化領(lǐng)域數(shù)據(jù)標準，有效解決了石油煉化領(lǐng)域數(shù)據(jù)稀缺的問題。

3.3.2" IIEKNER模型實驗結(jié)果

為了驗證IIEKNER模型的有效性，本節(jié)與未融入內(nèi)部實體知識的BERT-WWM-BiLSTM-CRF模型（獲取實體知識的句子規(guī)模為0時）進行對比，之后設(shè)置獲取實體知識的句子規(guī)模分別為50、100、150、200，然后對比融入這些實體知識后模型的識別效果，如表8所示。

分析表8可知，與未融入內(nèi)部實體知識的BERT-WWM-BiLSTM-CRF模型相比，我們的IIEKNER模型在獲取實體知識的句子數(shù)量為150時，將獲取的實體知識融入預訓練模型后F最大，增加了2.21%。但與數(shù)量為200的時候相差不大。所以針對石油煉化領(lǐng)域?qū)嶓w而言，獲取實體知識的最佳句子規(guī)模為150。同時證明了我們的命名實體識別模型IIEKNER的有效性。

3.3.3" 基于EEKR的IIEKNER模型實驗結(jié)果

為了證明IIEKNER模型在使用EEKR數(shù)據(jù)增強方法的同時，效果同樣有效，我們在EEKR數(shù)據(jù)增強規(guī)模為4，以及IIEKNER模型獲取實體知識句子規(guī)模為150的情況下，與BERT-WWM-BiLSTM-CRF模型進行對比。模型對比實驗結(jié)果如表9所示。結(jié)果表明，基于EEKR方法的IIEKNER模型在石油煉化領(lǐng)域的效果有著顯著提升。

4" 結(jié)" 論

本文針對石油煉化領(lǐng)域中的命名實體識別任務(wù)存在的標注數(shù)據(jù)稀缺，以及現(xiàn)有的預訓練語言模型不能很好識別領(lǐng)域組合和嵌套實體的問題，首先提出EEKR數(shù)據(jù)增強方法，解決了標注數(shù)據(jù)稀缺的問題，之后提出IIEKNER模型，解決了預訓練語言模型不能很好識別領(lǐng)域組合和嵌套實體的問題。經(jīng)過實驗的對比和分析，EEKR數(shù)據(jù)增強方法和IIEKNER模型對于石油煉化領(lǐng)域的效果都是有效的，同時基于EEKR方法的IIEKNER模型對比其他基線模型也獲得了最好的識別效果，二者并不沖突。

參考文獻：

[1] XU J J，HE H F，SUN X，et al. Cross-Domain and Semisupervised Named Entity Recognition in Chinese Social Media： A Unified Model [J].IEEE/ACM Transactions on Audio， Speech， and Language Processing，2018，26（11）：2142-2152.

[2] LI J，SUN A X，HAN J L，et al. A Survey on Deep Learning for Named Entity Recognition [J].IEEE Transactions on Knowledge and Data Engineering，2022，34（1）：50-70.

[3] WEI J，ZOU K. EDA： Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks [C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）.Hong Kong：Association for Computational Linguistics，2019：6382-6388.

[4] LI Z M，YUN H Y，GUO Z B，et al. Medical Named Entity Recognition Based on Multi Feature Fusion of BERT [C]//Proceedings of the 4th International Conference on Big Data Technologies.Zibo：Association for Computing Machinery，2021：86-91.

[5] LANDOLSI M Y，ROMDHANE L B，HLAOUA L. Medical Named Entity Recognition using Surrounding Sequences Matching [J].Procedia Computer Science，2022，207：674-683.

[6] LE L，ZUCCON G，DEMARTINI G，et al. Leveraging Semantic Type Dependencies for Clinical Named Entity Recognition [J].AMIA Annu Symp Proc，2022，2022：662-671.

[7] WANG T Z，ZHANG Y X，ZHANG Y F，et al. A Hybrid Model Based on Deep Convolutional Network for Medical Named Entity Recognition [J/OL].Journal of Electrical and Computer Engineering，2023，2023[2023-12-02].https：//doi.org/10.1155/2023/8969144.

[8] 楊錦鋒，于秋濱，關(guān)毅，等.電子病歷命名實體識別和實體關(guān)系抽取研究綜述 [J].自動化學報，2014，40（8）：1537-1562.

[9] LEE L H，LU Y. Multiple Embeddings Enhanced Multi-Graph Neural Networks for Chinese Healthcare Named Entity Recognition [J].IEEE Journal of Biomedical and Health Informatics，2021，25（7）：2801-2810.

[10] ZHU Z C，LI J Q，ZHAO Q，et al. Medical named entity recognition of Chinese electronic medical records based on stacked Bidirectional Long Short-Term Memory [C]//2021 IEEE 45th Annual Computers，Software，and Applications Conference （COMPSAC）.Madrid：IEEE，2021：1930-1935.

[11] XIONG Y，PENG H，XIANG Y，et al. Leveraging Multi-Source Knowledge for Chinese Clinical Named Entity Recognition Via Relational Graph Convolutional Network [J/OL].Journal of Biomedical Informatics，2022，128：104035[2023-11-12].https：//doi.org/10.1016/j.jbi.2022.104035.

[12] AN Y，XIA X Y，CHEN X L，et al. Chinese Clinical Named Entity Recognition Via Multi-Head Self-Attention Based BiLSTM-CRF [J/OL].Artificial Intelligence in Medicine，2022，127：102282[2023-11-12].https：//doi.org/10.1016/j.artmed.2022.102282.

[13] 孫安亮，時宏偉，王金策.基于字符與單詞嵌入的航空安全命名實體識別 [J].計算機技術(shù)與發(fā)展，2022，32（9）：148-153.

[14] 毛宏亮，艾孜爾古麗，陳德剛.基于多頭注意力的電網(wǎng)調(diào)度領(lǐng)域命名實體識別 [J].計算機技術(shù)與發(fā)展，2023，33（2）：181-186+194.

[15] 貴向泉，郭亮，李立.基于MRC和ERNIE的有色冶金命名實體識別模型 [J].計算機技術(shù)與發(fā)展，2023，33（10）：93-100.

[16] TENNEY I， XIA P，CHEN B，et al. What do You Learn from Context？ Probing for Sentence Structure in Contextualized Word Representations [J/OL].arXiv：1905.06316 [cs.CL].[2023-12-03].https：//arxiv.org/abs/1905.06316.

[17] PETRONI F，ROCKT?SCHEL T，LEWIS P，et al. Language Models as Knowledge Bases？ [J/OL]. arXiv：1909.01066 [cs.CL].[2023-12-03].https：//arxiv.org/abs/1909.01066.

[18] ROBERTS A，RAFFEL C，SHAZEER N. How Much Knowledge Can You Pack Into the Parameters of a Language Model？ [J/OL].arXiv：2002.08910 [cs.CL].[2023-12-13].https：//arxiv.org/abs/2002.08910.

[19] ROGERS A，KOVALEVA O，RUMSHISKY A. A Primer in BERTology： What We Know About How BERT Works [J].Transactions of the Association for Computational Linguistics，2020，8：842-866.

[20] KONG L P，D'AUTUME C M，LING W，et al. A Mutual Information Maximization Perspective of Language Representation Learning [J/OL].arXiv：1910.08350 [cs.CL].[2023-12-13].https：//arxiv.org/abs/1910.08350.

[21] GAO J，HE D，TAN X，et al. Representation Degeneration Problem in Training Natural Language Generation Models [J/OL].arXiv：1907.12009 [cs.CL].[2023-12-15].https：//arxiv.org/abs/1907.12009.

作者簡介：丁建新（1980—），男，漢族，浙江臺州人，高級工程師，碩士，研究方向：工程技術(shù)數(shù)字化轉(zhuǎn)型和鉆完井人工智能應(yīng)用；王曉偉（1997—），男，漢族，山西運城人，碩士研究生，研究方向：自然語言處理；溫欣（1978—），男，漢族，甘肅蘭州人，工程師，碩士，研究方向：油氣勘探開發(fā)業(yè)務(wù)、工業(yè)互聯(lián)網(wǎng)建設(shè)、人工智能技術(shù)行業(yè)應(yīng)用和相關(guān)領(lǐng)域數(shù)字化轉(zhuǎn)型；屈克將（1984—），男，漢族，山東泰安人，工程師，碩士，研究方向：石油工程技術(shù)領(lǐng)域軟件設(shè)計和開發(fā)；王建華（1982—），男，漢族，湖北荊州人，工程師，碩士，研究方向：油田技術(shù)服務(wù)行業(yè)數(shù)字化轉(zhuǎn)型的技術(shù)研究；趙艷紅（1986—），女，漢族，江蘇徐州人，高級工程師，博士，研究方向：石油領(lǐng)域數(shù)據(jù)建設(shè)、數(shù)據(jù)智能化分析與應(yīng)用、鉆完井知識圖譜構(gòu)建等；通訊作者：胡思潁（2000—），男，漢族，浙江溫州人，碩士研究生在讀，研究方向：自然語言處理。