基于ERNIE-BiGRU-CRF-FL 的中文命名實(shí)體識(shí)別方法

郭小磊，張吳波

(湖北汽車(chē)工業(yè)學(xué)院電氣與信息工程學(xué)院，湖北十堰442002)

命名實(shí)體識(shí)別[1](Named Entity Recognition，NER)是指從海量無(wú)規(guī)則的文本中提取具有特定意義的實(shí)體標(biāo)簽，通常包括識(shí)別實(shí)體邊界和確定實(shí)體類(lèi)別。NER作為自然語(yǔ)言處理(Natural Language Processing，NLP)的基礎(chǔ)任務(wù)，在知識(shí)圖譜、機(jī)器翻譯以及信息檢索等眾多領(lǐng)域中都十分關(guān)鍵。近年來(lái)，以神經(jīng)網(wǎng)絡(luò)為主的深度學(xué)習(xí)模型在NER任務(wù)中得到了廣泛應(yīng)用。例如，長(zhǎng)短期記憶(Long Short Term Memory，LSTM)網(wǎng)絡(luò)與門(mén)控循環(huán)單元(Gated Recurrent Unit，GRU)等在NER 任務(wù)中都有良好的表現(xiàn)。目前在中文命名實(shí)體識(shí)別任務(wù)中，存在以下幾個(gè)方面的問(wèn)題：第一，中文文本沒(méi)有明確的分界標(biāo)識(shí)符，導(dǎo)致實(shí)體邊界模糊；第二，存在一詞多義的現(xiàn)象；第三，實(shí)體標(biāo)簽與非實(shí)體標(biāo)簽的分類(lèi)不均衡。這些都增加了中文命名實(shí)體識(shí)別的難度，使其更具有研究?jī)r(jià)值。

針對(duì)以上問(wèn)題，提出一種基于ERNIE-BiGRU-CRFFL 的命名實(shí)體識(shí)別方法。通過(guò)ERNIE 預(yù)訓(xùn)練語(yǔ)言模型獲取動(dòng)態(tài)詞向量，解決一詞多義問(wèn)題；同時(shí)，引入Focal Loss 損失函數(shù)進(jìn)行優(yōu)化，緩解標(biāo)簽的不均衡問(wèn)題。最終在MSRA 語(yǔ)料庫(kù)中與其它模型進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了該模型的有效性。

1 相關(guān)工作

命名實(shí)體識(shí)別的發(fā)展經(jīng)歷了3 個(gè)階段：第1 階段基于詞典和規(guī)則的發(fā)展方法，多采用人工的方式構(gòu)建詞典和規(guī)則庫(kù)，該方式耗時(shí)耗力且在不同領(lǐng)域的通用性較低；第2 階段采用機(jī)器學(xué)習(xí)的方法，使用概率學(xué)和統(tǒng)計(jì)學(xué)的思想，將NER 任務(wù)轉(zhuǎn)變成了序列標(biāo)注任務(wù)，通過(guò)模型預(yù)測(cè)可能出現(xiàn)的序列概率。例如，條件隨機(jī)場(chǎng)(Conditional Random Field，CRF)以及隱馬爾可夫模型(Hidden Markov Model，HMM)，其中CRF 與其它模型結(jié)合使用，在NER 任務(wù)中取得了不錯(cuò)的效果，被廣泛應(yīng)用在金融、醫(yī)療以及政務(wù)等領(lǐng)域[2]；第3階段基于深度學(xué)習(xí)的方法，以神經(jīng)網(wǎng)絡(luò)為主的深度學(xué)習(xí)方法，是目前命名實(shí)體識(shí)別領(lǐng)域的主流。Hammerton 等[3]首先將LSTM 網(wǎng)絡(luò)與CRF 結(jié)合，應(yīng)用在命名實(shí)體識(shí)別之中。隨后Lample 等[4]將雙向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用在命名實(shí)體識(shí)別中，提出了BiLSTMCRF 模型，該模型實(shí)現(xiàn)了對(duì)文本雙向信息的語(yǔ)義挖掘，從而成為命名實(shí)體識(shí)別領(lǐng)域的經(jīng)典模型。在中文命名實(shí)體識(shí)別領(lǐng)域，屈丹丹等[5]提出了一種基于字向量的BiGRU-CRF 方法，在中醫(yī)醫(yī)案命名實(shí)體識(shí)別中取得了更好的實(shí)體識(shí)別效果。

Word2Vec模型是一種廣泛應(yīng)用于深度學(xué)習(xí)的詞嵌入方法，不能解決一詞多義問(wèn)題。在2018年，Devlin 等[6]提出了BERT 模型，該模型采用多頭注意力機(jī)制從不同角度學(xué)習(xí)上下文并產(chǎn)生動(dòng)態(tài)詞向量，有效解決了一詞多義問(wèn)題并且提升了模型對(duì)實(shí)體邊界的辨識(shí)能力。沈同平等[7]提出將BERT和BiLSTM-CRF模型結(jié)合，在中文命名實(shí)體識(shí)別任務(wù)中取得了良好的效果。在2019 年，百度實(shí)驗(yàn)室在BERT 模型的基礎(chǔ)之上進(jìn)行了改進(jìn)，提出了一種基于持續(xù)學(xué)習(xí)的語(yǔ)義理解預(yù)訓(xùn)練框架ERNIE[8]，該模型直接對(duì)字、詞語(yǔ)和實(shí)體等先驗(yàn)語(yǔ)義知識(shí)單元進(jìn)行建模，進(jìn)一步提高了對(duì)于中文文本的語(yǔ)義表示能力。王佳琪等[9]針對(duì)電網(wǎng)調(diào)度領(lǐng)域中命名實(shí)體結(jié)構(gòu)復(fù)雜的問(wèn)題，提出了一種基于ERNIE-IDCNN-CRF的方法，有效識(shí)別出了電網(wǎng)調(diào)度領(lǐng)域的命名實(shí)體。為了減少分類(lèi)不均衡的影響，郭淵博等[10]提出了一種融合Focal Loss 的CRF層，使模型在解碼時(shí)可以更加關(guān)注文本中的實(shí)體標(biāo)簽。Ashrafi 等[11]提出了一種融合加權(quán)交叉熵函數(shù)的BERT-BiLSTM-CRF-CW 模型在孟加拉語(yǔ)命名實(shí)體識(shí)別中取得了良好的成績(jī)。

結(jié)合上述各類(lèi)方法的優(yōu)點(diǎn)，提出了一種基于ERNIE-BiGRU-CRF-FL模型的中文命名實(shí)體識(shí)別方法。

2 ERNIE-BiGRU-CRF-FL模型

ERNIE-BiGRU-CRF-FL模型，結(jié)構(gòu)如圖1所示。

圖1 ERNIE-BiGRU-CRF-FL模型結(jié)構(gòu)圖

該模型主要分為4層，分別為輸入層、ERNIE層、BiGRU層以及融合Focal Loss的CRF層。首先，輸入文本在ERNIE 層進(jìn)行預(yù)訓(xùn)練，生成動(dòng)態(tài)詞向量，解決一詞多義問(wèn)題；然后，將詞向量輸入到BiGRU層進(jìn)行雙向訓(xùn)練，得到前向語(yǔ)義信息以及后向語(yǔ)義信息，將兩者融合后得到的特征向量輸入到CRF層；經(jīng)過(guò)CRF解碼得到一個(gè)全局最優(yōu)序列，同時(shí)引入Focal Loss 對(duì)CRF進(jìn)行優(yōu)化，以解決標(biāo)簽分類(lèi)不均衡的問(wèn)題。

2.1 ERNIE預(yù)訓(xùn)練模型

相對(duì)于Word2Vec 等詞嵌入模型，BERT 模型能根據(jù)上下文信息獲取到動(dòng)態(tài)詞向量，在很大程度上解決了一詞多義問(wèn)題。BERT 模型采用多層雙向的Transformer編碼器構(gòu)建，其結(jié)構(gòu)如圖2所示。

圖2 Transformer編碼器結(jié)構(gòu)圖

Transformer 編碼器核心是多頭注意力機(jī)制，采用多個(gè)注意力機(jī)制，從不同角度學(xué)習(xí)輸入單詞與上下文單詞的關(guān)聯(lián)并分配相應(yīng)的權(quán)重值，注意力機(jī)制的計(jì)算方法如式（1）所示。

式中Q、K、V為輸入向量矩陣，dk為字向量維度。

多頭注意力機(jī)制采用多個(gè)不同的線性變化對(duì)Q、K和V進(jìn)行投影，并將得到的Attention 值進(jìn)行拼接，計(jì)算方法如式（2）-（3）所示。

式中WiQ、WiK和WiV表示初始化向量矩陣；Concat表示將各個(gè)headi進(jìn)行拼接；WO表示權(quán)重矩陣；MultiHead表示多頭注意力值。

ERNIE模型在BERT的基礎(chǔ)上進(jìn)行了改進(jìn)，其建模時(shí)充分利用了語(yǔ)料中字與詞、實(shí)體與實(shí)體之間的關(guān)系，從而提升了模型對(duì)中文文本語(yǔ)義信息的學(xué)習(xí)能力。ERNIE 同樣采用雙向多層的Transformer編碼器，其結(jié)構(gòu)如圖3所示。

圖3 ERNIE模型結(jié)構(gòu)圖

ERNIE 模型對(duì)BERT 模型的mask 策略進(jìn)行了改進(jìn)。與BERT 模型僅采用單一的字mask 策略不同，ERNIE 模型在此基礎(chǔ)上又增加了詞語(yǔ)級(jí)別和實(shí)體級(jí)別的mask 策略，從而增強(qiáng)了對(duì)中文文本語(yǔ)義信息的學(xué)習(xí)能力。ERNIE模型的mask策略如圖4所示。

圖4 ERNIE模型的mask策略圖

ERNIE 模型的mask 策略分為3 個(gè)階段：第1 個(gè)階段基本層次的mask，通過(guò)隨機(jī)mask 文本中的字，得到一個(gè)基本的詞向量表示，但是此階段很難完全學(xué)習(xí)到文本中高層次的語(yǔ)義知識(shí)。第2 階段詞語(yǔ)級(jí)別的mask，首先隨機(jī)選擇句子中的詞語(yǔ)，然后對(duì)詞語(yǔ)中的所有字mask 并進(jìn)行預(yù)測(cè)。經(jīng)過(guò)這個(gè)階段，詞語(yǔ)信息可以完整的保留到詞向量中。第3 階段實(shí)體級(jí)別的掩碼，此階段首先分析句子中的命名實(shí)體，然后隨機(jī)選擇句中的實(shí)體，對(duì)實(shí)體中的每個(gè)字mask 并預(yù)測(cè)。

經(jīng)此3 個(gè)階段ERNIE 模型增強(qiáng)了詞向量對(duì)中文文本的語(yǔ)義表示能力。

2.2 BiGRU模型

LSTM 解決了RNN 網(wǎng)絡(luò)中梯度消失和梯度爆炸的問(wèn)題，使循環(huán)網(wǎng)絡(luò)可以學(xué)習(xí)到序列中的長(zhǎng)期依賴(lài)。GRU 作為L(zhǎng)STM 的改進(jìn)優(yōu)化模型，擁有更少的參數(shù)和更簡(jiǎn)單的結(jié)構(gòu)。GRU 只包含更新門(mén)和重置門(mén)2 種門(mén)控結(jié)構(gòu)，其中更新門(mén)負(fù)責(zé)對(duì)信息的篩選和存儲(chǔ)；重置門(mén)負(fù)責(zé)對(duì)上一節(jié)點(diǎn)狀態(tài)選擇性遺忘。GRU 結(jié)構(gòu)如圖5所示。

圖5 GRU結(jié)構(gòu)圖

GRU 網(wǎng)絡(luò)的參數(shù)更新計(jì)算方法如式（4）-（7）所示。

式中W表示權(quán)重矩陣；xt表示當(dāng)前節(jié)點(diǎn)的輸入信息；ht-1表示上一節(jié)點(diǎn)的隱藏狀態(tài)；rt表示重置門(mén)狀態(tài)；zt表示更新門(mén)狀態(tài)；wt表示候選的隱藏狀態(tài)；ht表示傳遞給下一節(jié)點(diǎn)的隱藏狀態(tài)，t表示第t時(shí)刻；σ表示Sigmoid 激活函數(shù)；tanh 為T(mén)anh 激活函數(shù)；×表示Hadamard乘積。

單向GRU 僅能捕捉一個(gè)方向的信息，為了充分提取文本序列中的上下文信息，采用雙向的GRU 模型。將ERNIE 層輸出的動(dòng)態(tài)詞向量，輸入到BiGRU網(wǎng)絡(luò)中學(xué)習(xí)前向和后向的語(yǔ)義信息，并將兩者進(jìn)行融合以實(shí)現(xiàn)對(duì)上下文信息的提取，其計(jì)算過(guò)程如式（8）～（10）所示。

式中Wi為ERNIE 層輸入的詞向量；Concat 將前向和后向的隱藏層狀態(tài)向量拼接；Vi為BiGRU 層的輸出向量。

2.3 CRF層

BiGRU 網(wǎng)絡(luò)不能限制前后2 個(gè)標(biāo)簽之間的依賴(lài)關(guān)系，在輸出結(jié)果中可能會(huì)出現(xiàn)標(biāo)簽順序錯(cuò)誤的情況。CRF 可以結(jié)合上下文相關(guān)的約束，校對(duì)標(biāo)簽之間的關(guān)聯(lián)性，從而降低錯(cuò)誤標(biāo)簽的輸出概率。因此，BiGRU 層的基礎(chǔ)上加入CRF 層，利用CRF 進(jìn)行解碼可以得到全局最優(yōu)的標(biāo)簽序列。

CRF 層輸入序列x，其標(biāo)簽序列y的概率計(jì)算公式，如式（11）-（12）所示。

式中PE為BiGRU 的輸出概率；PT為CRF 的轉(zhuǎn)移概率；y為真實(shí)序列；p為所有可能的序列集合；s為綜合評(píng)估得分。

2.4 Focal Loss損失函數(shù)

為了改善標(biāo)簽分類(lèi)不均衡的問(wèn)題，使CRF 在解碼時(shí)可以更關(guān)注實(shí)體標(biāo)簽，引入Focal Loss 損失函數(shù)對(duì)CRF 進(jìn)行優(yōu)化。Focal Loss 的主要作用是讓訓(xùn)練過(guò)程更關(guān)注實(shí)體分類(lèi)錯(cuò)誤的樣本，返回一個(gè)較大的損失值，進(jìn)而不斷改善模型性能。計(jì)算方法如式（13）所示。

式中p表示標(biāo)簽分類(lèi)的概率；pt表示非實(shí)體標(biāo)簽的概率；xt為正負(fù)樣本比例；y為影響因子。xt越大負(fù)樣本的比例越大，y越大對(duì)模型的影響越小。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與評(píng)估指標(biāo)

采用命名實(shí)體識(shí)別領(lǐng)域的公開(kāi)數(shù)據(jù)集MSRA 語(yǔ)料庫(kù)，該數(shù)據(jù)集約16 M，包括人名、地名和機(jī)構(gòu)名3類(lèi)實(shí)體。測(cè)試集與訓(xùn)練集按照1∶4分配，其中測(cè)試集共計(jì)6181 條數(shù)據(jù)，訓(xùn)練集共計(jì)74703 條數(shù)據(jù)。使用“BIO”標(biāo)注體系對(duì)MSRA 語(yǔ)料庫(kù)進(jìn)行標(biāo)注，共計(jì)7 類(lèi)實(shí)體標(biāo)簽。其中“B”表示實(shí)體的開(kāi)始，“I”表示實(shí)體的其余部分，“O”表示非實(shí)體內(nèi)容，具體如表1所示。

表1 實(shí)體標(biāo)注詳情表

采用精確率P、召回率R、F1值3 個(gè)指標(biāo)評(píng)估模型的性能。計(jì)算方法如式（14）-（16）所示。

式中Tp表示成功識(shí)別到的正確實(shí)體個(gè)數(shù)；Fn表示未成功識(shí)別到的正確實(shí)體個(gè)數(shù)；Fp表示非實(shí)體的個(gè)數(shù)。

3.2 實(shí)驗(yàn)環(huán)境與參數(shù)

實(shí)驗(yàn)環(huán)境采用Windows10 操作系統(tǒng)，GPU 采用NVIDIA GeForce GTX 1660 SUPER，基 于Tensorflow2.3.1搭建。

模型的參數(shù)設(shè)置：ERNIE模型采用12頭模式，隱層維度為768；GRU 隱層維度為100；批次大小設(shè)置為64；學(xué)習(xí)率為1e-3；輸入最大文本長(zhǎng)度為200；使用Adam優(yōu)化器；為了防止過(guò)擬合Dropout設(shè)置為0.2。

Focal Loss 損失函數(shù)中xt為0.25、y為2。具體超參數(shù)設(shè)置如表2所示。

表2 超參數(shù)詳情表

3.3 對(duì)比實(shí)驗(yàn)與分析

為了驗(yàn)證ERNIE-BiGRU-CRF-FL 模型的有效性，進(jìn)行如下對(duì)比實(shí)驗(yàn)：（1）使用ERNIE-BiGRU-CRFFL模型與傳統(tǒng)經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比；（2）使用引入Focal Loss 損失函數(shù)優(yōu)化的ERNIE-BiGRUCRF-FL 模型與ERNIE-BiGRU-CRF 模型對(duì)比；（3）使用ERNIE-BiGRU-CRF-FL 模型與現(xiàn)有工作進(jìn)行對(duì)比。

3.3.1 經(jīng)典模型對(duì)比實(shí)驗(yàn)

為了驗(yàn)證ERNIE-BiGRU-CRF 模型的有效性，采用控制變量法進(jìn)行如下模型的對(duì)比實(shí)驗(yàn)。其中BiGRU 模型采用Word2Vec 模型對(duì)輸入文本進(jìn)行詞向量轉(zhuǎn)換；BERT與ERNIE模型的參數(shù)保持一致。

ERNIE-BiGRU-CRF-FL 模型與其它模型的命名實(shí)體識(shí)別情況如表3所示。

表3 不同模型命名實(shí)體的識(shí)別結(jié)果

由表3 可知，傳統(tǒng)的CRF 模型性能較差，命名實(shí)體的識(shí)別效果相對(duì)于其它模型較低，在CRF 的基礎(chǔ)之上加入BiGRU 網(wǎng)絡(luò)后，F(xiàn)1值提高了4.78%，這說(shuō)明雙向GRU 網(wǎng)絡(luò)可以很好的保留上下文信息，從而提升整個(gè)模型的性能。BERT-BiGRU-CRF 相較于BiGRU-CRF 模型，F(xiàn)1值提高了7.52%，這說(shuō)明通過(guò)BERT預(yù)訓(xùn)練模型獲取的動(dòng)態(tài)詞向量，擁有更好的語(yǔ)義表示能力，進(jìn)而提高了模型的實(shí)體識(shí)別能力。ERNIEBiGRU-CRF-FL 模型的精確率、召回率以及F1值相對(duì)于BERT-BiGRU-CRF 模型都有所提高，其中F1值提高了0.80%，ERNIE 模型通過(guò)建模時(shí)充分提取語(yǔ)料中詞語(yǔ)與詞語(yǔ)、實(shí)體與實(shí)體的關(guān)系，使詞向量可以更好地表示不同語(yǔ)境下的語(yǔ)義信息，從而在中文命名實(shí)體識(shí)別任務(wù)中達(dá)到了更好的效果。

為進(jìn)一步驗(yàn)證ERNIE-BiGRU-CRF-FL 模型的實(shí)體識(shí)別效果。選取性能較好的BERT-BiGRU-CRF 和ERNIE-BiGRU-CRF-FL 模型進(jìn)行實(shí)體識(shí)別對(duì)比。以句1“有兩個(gè)考上北大清華的人”和句2“有個(gè)美國(guó)法律所接手了案子”為例，實(shí)體識(shí)別結(jié)果如表4所示。

表4 例句實(shí)體的識(shí)別結(jié)果

由表4 可知，BERT-BiGRU-CRF 模型在句1 中出現(xiàn)了將“北大清華”識(shí)別成1個(gè)機(jī)構(gòu)名實(shí)體的錯(cuò)誤，在句2中未能正確地識(shí)別出“美國(guó)法律所”這個(gè)機(jī)構(gòu)名實(shí)體；而ERNIE-BiGRU-CRF-FL 模型在2 個(gè)例句中表現(xiàn)效果更好，能正確地將實(shí)體識(shí)別出來(lái)?？梢?jiàn)ERNIE模型經(jīng)過(guò)3個(gè)階段的mask策略，擁有了更好的語(yǔ)義表示能力，不僅解決了一詞多義問(wèn)題，而且對(duì)實(shí)體邊界模糊和實(shí)體類(lèi)別不清問(wèn)題有更好的解決能力，使ERNIE-BiGRU-CRF-FL模型具有了更好的命名實(shí)體識(shí)別效果。

3.3.2 ERNIE-BiGRU-CRF-FL 與ERNIE-BiGRU-CRF模型對(duì)比實(shí)驗(yàn)

為了驗(yàn)證Focal Loss 損失函數(shù)的有效性，引入Focal Loss 對(duì)CRF 進(jìn)行優(yōu)化，以緩解標(biāo)簽分類(lèi)不均衡的影響。優(yōu)化后的ERNIE-BiGRU-CRF-FL 模型與ERNIE-BiGRU-CRF 模型在測(cè)試集中進(jìn)行對(duì)比實(shí)驗(yàn)。F1值隨著訓(xùn)練次數(shù)的變化情況如圖6所示。

圖6 F1值變化圖

由圖6 可知，采用Focal Loss 損失函數(shù)對(duì)CRF 優(yōu)化后，整體模型的實(shí)體識(shí)別效果得到進(jìn)一步提升，ERNIE-BiGRU-CRF-FL 模型在第18 個(gè)epoch 達(dá)到了最大的F1值94.41%。

引入Focal Loss 優(yōu)化前后模型的命名實(shí)體識(shí)別結(jié)果如表5所示。

表5 優(yōu)化前后模型的識(shí)別結(jié)果

綜上可知，經(jīng)過(guò)Focal Loss 損失函數(shù)優(yōu)化后的ERNIE-BiGRU-CRF-FL 模型性能得到進(jìn)一步地提升，在MSRA 語(yǔ)料庫(kù)中精確率、召回率和F1值分別達(dá)到了94.45%、94.37%和94.41%，與優(yōu)化前的ERNIEBiGRU-CRF 模型相比，精確率、召回率和F1值分別提升了0.24%、0.19%和0.22%。

3.3.3 與現(xiàn)有工作對(duì)比實(shí)驗(yàn)

為了驗(yàn)證ERNIE-BiGRU-CRF-FL 方法的有效性，與其它現(xiàn)有工作進(jìn)行對(duì)比實(shí)驗(yàn)，命名實(shí)體識(shí)別結(jié)果對(duì)比如表6所示。

表6 與現(xiàn)有工作的對(duì)比結(jié)果

由表6 可知，通過(guò)CGN-Attention 模型[12]、LACDGLU 模 型[13]、BERT-BiGRU-MHA-CRF 模 型[14]與ERNIE-BiGRU-CRF-FL 模型四種模型，發(fā)現(xiàn)經(jīng)過(guò)預(yù)訓(xùn)練模型獲取動(dòng)態(tài)詞向量后，整體模型的實(shí)體識(shí)別效果更強(qiáng)。其中ERNIE-BiGRU-CRF-FL模型的F1值相對(duì)比上述3 種模型分別提高了1.95%、1.37%和0.53。這驗(yàn)證了本文的ERNIE-BiGRU-CRF-FL 模型可以更好地處理實(shí)體邊界模糊和實(shí)體類(lèi)別不清的問(wèn)題，在中文命名實(shí)體識(shí)別任務(wù)中達(dá)到了最佳的效果。

4 結(jié)語(yǔ)

針對(duì)中文命名實(shí)體識(shí)別任務(wù)中存在的一詞多義以及標(biāo)簽分類(lèi)不均衡問(wèn)題，提出了一種基于ERNIE-BiGRU-CRF-FL模型的實(shí)體識(shí)別方法。使用ERNIE模型對(duì)文本進(jìn)行預(yù)訓(xùn)練，ERNIE模型經(jīng)過(guò)3個(gè)階段的mask策略進(jìn)行學(xué)習(xí)，增強(qiáng)了語(yǔ)義表示能力，解決了一詞多義問(wèn)題；同時(shí)為了解決標(biāo)簽中實(shí)體分類(lèi)不均衡的問(wèn)題，引入Focal Loss 損失函數(shù)對(duì)CRF 進(jìn)行優(yōu)化。經(jīng)過(guò)在MSRA 語(yǔ)料庫(kù)中進(jìn)行測(cè)試，驗(yàn)證了ERNIE-BiGRUCRF-FL 模型的命名實(shí)體識(shí)別能力要優(yōu)于其它模型，精確率、召回率、F1值分別達(dá)到了94.45%、94.37%和94.41%。但此模型仍有不足，訓(xùn)練時(shí)間較長(zhǎng)，仍待優(yōu)化。