• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于細粒度實體分類的對比研究

    2022-07-19 04:40:12祺,
    關鍵詞:細粒度實體標簽

    周 祺, 陶 皖

    (安徽工程大學 計算機與信息學院,安徽 蕪湖 241000)

    0 引 言

    在自然語言處理(Natural Language Processing,NLP)中,實體分類是指為每一個實體分配一個指定的標簽,這是一項非常重要而又基礎的工作,在知識圖譜的構建中扮演著重要的角色,作為構建知識圖譜的基礎性工作,實體分類的質量好壞直接影響整個知識圖譜的可信度和可用性。傳統(tǒng)的命名實體識別[1](Name Entity Recognition,NER)作為實體抽取的子任務為后續(xù)的工作奠定了堅實的基礎,即將文本中的指稱(即實體在具體上下文中的一段指代)抽取出來,并判斷其在上下文中的類型為人、位置、組織、其他等粗粒度類型的過程。近年來,傳統(tǒng)的命名實體識別被擴展到更深層次的細粒度實體類型。由于上游分配粗粒度的實體類型,后續(xù)選取實體間的候選關系就會復雜,相應的關系抽取任務會變得愈加困難,于是就促進了細粒度實體分類任務的研究。通過細粒度實體分類概念的引入,有效地將粗粒度的實體類型標簽細化、層次化,從而使得下游任務(關系抽取、事件抽取、問答系統(tǒng)、實體推薦等)的工作效率降低,提高工作效率。

    細粒度實體分類[2](Fine-grained Entity Typing,F(xiàn)ET)在給定實體指稱的情況下,依據(jù)其上下文給實體指稱賦予一個或多個實體類型。在FET中,能夠對目標實體類型進行更細致地劃分,同時保證類型之間存在一定的層次關系。細粒度的實體類型表示可以為其他 NLP 任務提供更多的語義信息,有助于增強后續(xù)關系抽取和事件抽取等任務的指示性,提高問答系統(tǒng)、實體推薦等下游任務的工作效率。

    傳統(tǒng)的FET任務通常采用人工標注語料的方式,費時費力。隨著實體類型數(shù)據(jù)集的不斷增大,人工標注類型標簽的難度增加、代價高昂,而且容易出錯。為此將深度學習中的神經(jīng)網(wǎng)絡方法[3-5]運用到細粒度實體分類領域,可充分利用深度學習方法從大量訓練語料中學習不同語料的語義特征,代替人工標注,從而提高細粒度實體分類的準確率。然而現(xiàn)有的基于神經(jīng)網(wǎng)絡的細粒度實體分類模型大多需要遠程監(jiān)督[6](Distant Supervision)的參與,由于遠程監(jiān)督鏈接到知識庫中實體指稱的所有標簽,召回過程不可避免地會引入噪聲問題,但過多的噪聲使得訓練模型性能變差,影響分類精度。為了緩解噪聲標簽產生的負面影響,有學者提出細粒度實體分類的標簽噪聲處理方法,如剪枝噪聲標簽[7]、劃分數(shù)據(jù)集[8]等,能夠有效地改善FET任務處理噪聲標簽的魯棒性,促進了細粒度實體分類的進一步研究。

    1 細粒度實體分類

    Lee等[9]首次在問答系統(tǒng)中對細粒度命名實體識別任務進行處理,提出利用條件隨機場(Conditional Random Field,CRF)檢測命名實體的邊界,并使用最大熵(Maximum Entropy,ME)對實體進行分類,同時他們定義了147種細粒度的命名實體類型。但對于細粒度的語義命名實體識別與分類還沒有系統(tǒng)的研究,因此Ekbal等[10]依賴大型文本語料庫,獲取細粒度的語義類型和實例,構建了細粒度命名實體識別與分類的數(shù)據(jù)集。為了擴展命名實體類型表示,Sekine[11]使用日本百科全書的知識創(chuàng)建了200種擴展命名實體類型,其中包含了擴展命名實體的豐富描述以及一系列的屬性設計。與上述工作不同的是,Ling等[2]針對細粒度實體分類任務,創(chuàng)建了經(jīng)典數(shù)據(jù)集FIGER,將本來只劃分為5~6種類型的實體擴展到112種類型標簽,通過遠程監(jiān)督的方式,獲取維基百科詞條中的實體類型信息,并根據(jù)CRF劃分實體邊界,最終由感知機算法完成多類別多標簽任務,開辟了針對細粒度實體分類領域的新方法,為后續(xù)的研究工作提供了便捷。針對FIGER數(shù)據(jù)集中類型數(shù)量相對較少,一個實體通常只映射到一個類型的問題,Yosef等[12]提出了在不同層次、數(shù)百種類型的基礎上,利用層次分類法對來自WordNet中的大量實體類型自動計算擴展實體指稱的類型,得到了非常精細的505種實體類型,形成了一個多標簽的分級分類系統(tǒng)HYENA。略顯不足的是,HYENA中的類型均來自WordNet中的子集,缺少重要的實體類型。為了彌補這一缺陷,F(xiàn)INET[13]不再限制實體類型,提取整個WordNet中超過16 000種類型,其中包括個人、組織和位置等。以往的研究大多依賴于人工標注的特征,而Dong等[14]首次采用深度學習的方式,使用詞嵌入作為特征,通過監(jiān)督方法將網(wǎng)頁中的內容提取與現(xiàn)有知識庫中的先驗知識相融合,能夠有效地提高識別實體類型的準確率。上述工作均為細粒度實體分類領域的研究奠定了基礎,證實了其存在價值及重要意義,并為后續(xù)實驗創(chuàng)建了基礎實驗數(shù)據(jù)集。

    2 基于神經(jīng)網(wǎng)絡的細粒度實體分類

    由于實體指稱在知識庫中所對應的類型較多,一般采用人工標注的方式保證樣本的準確率,但這樣人工成本耗費過多。隨著知識庫規(guī)模的急速增長,人工標注的方式已經(jīng)無法跟上數(shù)據(jù)更新的速度,因此使用神經(jīng)網(wǎng)絡方法代替部分人工過程,以便提高細粒度實體分類的準確率和召回率。

    2.1 基于卷積神經(jīng)網(wǎng)絡的細粒度實體分類

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)[3]通常由輸入層、隱藏層和輸出層組成。首先在輸入層處理多維數(shù)據(jù),其次在隱藏層中可以利用卷積層、池化層和全連接層對輸入數(shù)據(jù)進行特征提取、特征選擇以及信息過濾,最后在輸出層使用邏輯函數(shù)或softmax函數(shù)輸出分類標簽。

    為提取實體信息用于知識庫補全領域,Jia等[15]提出一種學習實體指稱及其上下文聯(lián)合表示的卷積神經(jīng)網(wǎng)絡聯(lián)合模型(Convolutional Neural Network Joint Model, CNNJM),在詞嵌入平均化的基礎上進行一層卷積,通過最大池化操作獲得最重要的特征,類似思想也用于句子分類[16]、事件抽取[17]領域中,CNNJM更關注于實體本身的特征信息。然而實體指稱的上下文蘊含著更豐富的信息,于是Murty等[18]通過對實體指稱的上下文及位置信息進行卷積操作,之后進行最大池化處理,提取更多的上下文特征信息,有利于提高細粒度實體分類的準確率。

    2.2 基于循環(huán)神經(jīng)網(wǎng)絡的細粒度實體分類

    考慮CNN網(wǎng)絡層次之間的關聯(lián)性不強,且無法很好地學習自然語言數(shù)據(jù)的長距離依賴和結構化語法特征,因此卷積神經(jīng)網(wǎng)絡在后期自然語言處理中的應用要少于循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)[4]。RNN以序列數(shù)據(jù)為輸入,在序列的演進方向進行遞歸操作,將所有循環(huán)單元按鏈式連接,主要包括輸入層、隱藏層和輸出層,隱藏層中添加了記憶細胞模塊。與CNN有所不同的是,CNN隱藏層之間的節(jié)點是無連接的,而RNN會對前面的信息進行記憶并應用于當前輸出的計算中,即隱藏層之間的節(jié)點是有連接的。

    研究證明,RNN對符合時間順序、邏輯順序等序列特性的數(shù)據(jù)十分有效,能挖掘數(shù)據(jù)中的時序信息以及語義信息,但是由于權重累加過大,無法進行長期記憶的學習,可能導致結果失真、運算效率降低,因此長短期記憶(Long Short-Term Memory,LSTM)[5]網(wǎng)絡應運而生。LSTM網(wǎng)絡通過精妙的輸入門、遺忘門和輸出門控制將短期記憶與長期記憶結合起來,選擇性地記錄或遺忘輸入的信息,有利于提取重要的特征信息,得到更好的實驗結果。

    為了達到更高精度識別實體、細化實體類型的效果, Shimaoka等[19]創(chuàng)新地使用LSTM學習實體指稱的上下文表示,同時引入注意力機制,為雙向長短期記憶網(wǎng)絡(Bi-directional LSTM,BiLSTM)編碼的上下文序列計算注意力權重,識別更具表達類型標簽的信息,并使分類行為更具可解釋性。隨后,Shimaoka等[20]將先前未考慮到的人工標注特征與模型學習到的特征結合在一起形成互補的信息,再次提高細粒度實體分類任務的準確率和召回率。根據(jù)知識庫(Knowledge Base,KB)中有關實體的豐富信息,Xin等[21]提出了基于知識庫的注意力神經(jīng)網(wǎng)絡模型。該模型將實體指稱的上下文向量投入BiLSTM,通過計算注意力權重,輸出上下文表示。與此同時,還將注意力機制運用到實體指稱表示和來自知識庫的實體表示,既考慮了實體指稱與上下文的關系,也能夠把實體指稱與知識庫中相關實體的關系代入其中。鑒于FIGER、OntoNotes中的實體類型仍不夠精細,Choi等[22]提出了超細粒度實體分類(Ultra-Fine Entity Typing,UFET),采用兩層獨立的BiLSTM處理上下文,并通過注意力機制和多層感知機(Multi-layer Perceptron,MLP)算法生成實體指稱的上下文表示,有效地改進了細粒度實體分類的效果。同時創(chuàng)建了三層的超細粒度實體類型數(shù)據(jù)集UFET,包括9種通用類型、121種細粒度類型和10 201種超細粒度類型。

    由于LSTM的強大功能,將其應用到自然語言處理領域的效果良好,此后的細粒度實體分類任務大多采用LSTM處理實體指稱的上下文向量,以獲取重要的上下文語義特征,為實體指稱分配細粒度實體類型提供指示性信息。

    3 基于噪聲處理的細粒度實體分類

    現(xiàn)有的大多數(shù)細粒度實體分類模型采用基于神經(jīng)網(wǎng)絡的實體分類模型,利用遠程監(jiān)督方法首先將語句中的實體指稱鏈接到知識庫中的實體,再把KB中實體的所有類型標簽分配給實體指稱的候選類型集。由于采用遠程監(jiān)督方法,分配類型標簽時未考慮實體指稱的上下文,會將無關的實體類型標簽引入訓練數(shù)據(jù)中,把這些無關的類型標簽視為標簽噪聲。遠程監(jiān)督在對實體指稱進行細粒度實體分類時會受到標簽噪聲和相關類型的限制,從而加大了后續(xù)分類模型對實體指稱進行正確分類的難度,嚴重影響了細粒度實體分類模型的準確性和可信性。因此,對標簽噪聲進行有效處理,能凈化訓練數(shù)據(jù)集,使分類模型訓練時能夠高效學習實體類型標簽,優(yōu)化分類模型的準確性。本節(jié)介紹基于噪聲處理的細粒度實體分類,主要分為基于規(guī)則劃處理數(shù)據(jù)集、優(yōu)化損失函數(shù)兩部分。

    3.1 基于規(guī)則處理數(shù)據(jù)集

    由于FIGER[2]和HYENA[12]的訓練集和測試集都是從Wikipedia中利用遠程監(jiān)督自動獲取的,未經(jīng)過任何的過濾和挑選。因此Gillick等[7]通過在訓練集上采用啟發(fā)式剪枝的方法來解決訓練數(shù)據(jù)中出現(xiàn)的多余標簽,用于完善訓練數(shù)據(jù)的啟發(fā)式方法刪除了與單個實體關聯(lián)的同級類型,僅保留了父類型;刪除與在該類型集上訓練的標準粗粒度類型分類器的輸出不一致的類型;刪除出現(xiàn)次數(shù)少于文檔中的最小次數(shù)的類型。經(jīng)過啟發(fā)式規(guī)則能有效地改善人工標注數(shù)據(jù)的性能。但通過啟發(fā)式規(guī)則剪枝噪聲,會導致訓練數(shù)據(jù)樣本量減少,影響模型的整體性能,因此Ren等[8]提出自動細粒度實體分類模型(Automatic Fine-grained Entity Typing,AFET),對帶有正確類型標簽的實體指稱和帶有噪聲標簽的實體指稱分別進行建模訓練,另外還設計了一種新的部分標簽損失算法,能利用噪聲候選類型集中與實體指稱相關的候選類型建模真實類型,并利用為指稱所提取的各種文本特征逐步估計出最佳類型。然而,去噪過程和訓練過程沒有統(tǒng)一,這可能會導致誤差傳播,帶來更多的復雜性。于是Zhang等[23]提出一種基于路徑的注意力神經(jīng)網(wǎng)絡模型( Path-based Attention Neural Model,PAN )可以選擇與每種實體類型相關的語句,動態(tài)減少訓練期間每種實體類型的錯誤標記語句的權重,通過端到端的過程有效地減少類型標簽噪聲,并能在有噪聲的數(shù)據(jù)集上實現(xiàn)更好的細粒度實體分類性能。為進一步改進噪聲數(shù)據(jù)處理的效果,Abhishek等[24]參考AFET,構建了AAA模型,將訓練數(shù)據(jù)分為干凈集和噪聲集,若訓練數(shù)據(jù)實體的多個標簽屬于同一類別將其分為到干凈集,反之則劃分到噪聲集。同時能聯(lián)合學習實體指稱及其上下文表示,并且在訓練數(shù)據(jù)時使用變形的非參變量鉸鏈損失函數(shù),還運用遷移學習提高模型的有效性。

    3.2 優(yōu)化損失函數(shù)

    3.2.1 鉸鏈損失函數(shù)

    鉸鏈損失(Hinge Loss)函數(shù)是機器學習領域中的一種損失函數(shù),可用于“最大間隔(Max-margin)”分類,經(jīng)典公式如下:

    L(y,y′)=max(0,marg in+y′-y)

    (1)

    其中,y是正例標簽的得分,y′是負例標簽的得分,兩者間的差值用來預測兩種預測結果的相似關系。

    以往對細粒度實體分類中訓練數(shù)據(jù)的噪聲進行處理時將其剪枝或劃分為不同的數(shù)據(jù)集,但是未充分考慮到細粒度實體分類系統(tǒng)處理噪聲數(shù)據(jù)時的魯棒性。于是Yogatama等[25]在WSABIE[26]的基礎上,提出了學習特征和標簽聯(lián)合表示的模型K-WSABIE,將特征向量和標簽映射到同一低維空間,學習特征和標簽的聯(lián)合表示。與此同時,在K-WSABIE中引入鉸鏈損失函數(shù),如下:

    L(y,y′)=R(rank(y))max(0,1-y+y′)

    (2)

    其中,y和y′含義如上,R(rank(y))使得正例標簽的得分高于負例標簽,彼此之間不產生競爭,有效提高模型應對噪聲數(shù)據(jù)的魯棒性。

    為減少與上下文無關的噪聲標簽影響,Dai等[27]利用實體鏈接[28-29]改進細粒度實體分類模型,根據(jù)上下文、指稱的字符以及用實體鏈接從知識庫中獲得的類型信息結合在一起靈活地預測類型標簽,同時設計了一個變形的鉸鏈損失函數(shù)防止訓練后的模型過擬合弱標記數(shù)據(jù),如下:

    L(y,y′)=max(0,1-y)+λ·max(0,1+y′)

    (3)

    其中,y和y′含義如上,λ為超參數(shù),靈活地調整對負例標簽的懲罰。

    由于以往方法對實體指稱獨立建模,僅依據(jù)上下文分配實體類型標簽,可能會妨礙信息跨越句子邊界傳遞信息,為此Ali等[30]提出了一個基于邊緣加權的注意力圖卷積網(wǎng)絡(Fine-Grained Named Entity Typing with Refined Representations,F(xiàn)GET-RR)。FGET-RR不僅分析具體的上下文信息,還側重于對語料庫中特定標簽的上下文進行分析。另外,對于干凈數(shù)據(jù)和含噪聲數(shù)據(jù)分別設計鉸鏈損失函數(shù),如下:

    Lclean=ReLU(1-y)+ReLU(1+y′)

    (4)

    Lnoisy=ReLU(1-y*)+ReLU(1+y′)

    y*=arg maxy

    (5)

    3.2.2 交叉熵損失函數(shù)

    交叉熵損失函數(shù)(Cross Entropy Loss)在機器學習中主要用于衡量真實概率分布與預測概率分布之間的差異性,交叉熵的損失值越小,代表模型的預測效果就越好,如下:

    (6)

    其中,p為真實概率分布,q為預測概率分布。

    與前人不同的是,Xu等[31]對原本細粒度實體分類的多標簽分類問題,轉換為單標簽分類問題,并且使用變形的交叉熵損失函數(shù)和分層損失函數(shù)來分別處理無關噪聲標簽以及過于具體的標簽。變形的交叉熵損失函數(shù)根據(jù)實體指稱的上下文自動過濾不相關的類型,如下:

    (7)

    其中,N為實體指稱的數(shù)量,p(yi)為預測的概率分布,當實體指稱對應多個類型標簽時,只選取具有最高概率的標簽。分層損失函數(shù)能調整預測相關類型的步驟,使模型了解實體類型的層次結構,預測真實類型的父類型會比其他不相關的類型效果好,從而減輕過于具體標簽的消極影響。

    在NFETC[31]的基礎上,為避免文獻[8、24、31]中使用部分標簽損失的確認誤差累積影響,Chen等[32]提出使用壓縮隱空間簇(NFETC-Compact Latent Space Clustering,NFETC-CLSC)來規(guī)范遠程監(jiān)督模型。對于干凈的數(shù)據(jù),壓縮相同類型的表示空間;對于有噪聲的數(shù)據(jù),通過標簽傳播和候選類型約束來推斷它們的類型分布,激發(fā)出更好的分類性能。以KL散度計算遠程監(jiān)督損失值,如下:

    (8)

    其中,B為干凈數(shù)據(jù)訓練時的批大小,J為目標類型數(shù),yij為預測類型分布。

    針對文獻[31]將細粒度實體分類轉化為單標簽分類問題,此方法未必完全正確,于是Zhang等[33]提出了一種統(tǒng)一處理所有訓練樣本的基于概率自動重標記的方法(NFETC-Automatic Relabeling,NFETC-AR)。在訓練過程中為每個樣本分配所有候選標簽上的連續(xù)標簽分布,并且將連續(xù)標簽分布作為訓練參數(shù)的一部分通過反向傳播算法進行更新,達到預測分布與偽真標簽分布之間的最小化KL散度(Kullback-Leibler Divergence)的目的,最后取偽真標簽分布中值最大的標簽作為唯一的偽真標簽,具體KL散度如下:

    (9)

    其中,N為實體指稱的數(shù)量,T為類型數(shù),pij為連續(xù)標簽分布。

    不僅要考慮標簽的層次結構,Xin等[34]從語言角度提出了以無監(jiān)督的方式,運用標簽含義衡量上下文句子與每個遠程監(jiān)督獲得的標簽之間的兼容性,將模型分為兩部分:實體分類模型(Entity Typing Module,ET)和語言增強模型(Language Model Enhancement, LME)。ET 通過交叉熵函數(shù),最小化真實類型概率與預測類型概率的差異,如下:

    (10)

    LME利用一個語言模型和一組標簽嵌入來判斷標簽與上下文句子之間的兼容性,減少由遠程監(jiān)督產生的噪聲。

    (11)

    4 常用數(shù)據(jù)集及評價指標

    在本節(jié)將詳細描述細粒度實體分類任務中所用到的實驗數(shù)據(jù)集、評價指標以及部分文獻的實驗結果對比。

    4.1 常用數(shù)據(jù)集

    在細粒度實體分類任務中,主要用到以下3個數(shù)據(jù)集:FIGER[2]、OntoNotes[7]、BBN[37]。其中FIGER和BBN為2層數(shù)據(jù)集,OntoNotes為3層數(shù)據(jù)集,其他數(shù)據(jù)如表1所示。

    表1 細粒度實體分類中常用的數(shù)據(jù)集

    4.2 評價指標

    評價細粒度實體分類任務沿用Ling等[2]提出的3個指標:準確率(Accuracy,Acc)、宏觀平均F1值(Macro-averaging F1-Measure,Macro F1)以及微觀平均F1值(Micro-averaging F1-Measure,Micro F1):

    (12)

    宏觀平均F1值是宏觀精確率(Macro Precision,Pma)和宏觀召回率(Macro Recall,Rma)的平均值。

    (13)

    (14)

    微觀平均F1值是微觀精確率(Micro Precision,Pmi)和微觀召回率(Micro Recall,Rmi)的平均值。

    (15)

    (16)

    4.3 細粒度實體分類方法的對比研究

    為比較以上細粒度實體分類方法的性能表現(xiàn),本文在相同數(shù)據(jù)集上將各種方法的實驗結果列出進行對比研究,如表2所示。選取的細粒度實體分類方法有以下幾類:經(jīng)典方法FIGER[2]、HYENA[12];基于RNN的細粒度實體分類方法Attentive[19];對于噪聲處理方面,選取啟發(fā)式剪枝噪聲方法CFGET[7],根據(jù)規(guī)則劃分數(shù)據(jù)集方法AFET[8]和AAA[24],優(yōu)化鉸鏈損失函數(shù)方法FGET-RR[30],優(yōu)化交叉熵損失函數(shù)方法NFETC[31]、CLSC[32]、AR[33]和LME[34]進行對比分析。

    由表2可以看出,早期提出的經(jīng)典細粒度實體方法(如FIGER、HYENA)主要集中在將原始的粗粒度的命名實體類型擴展到細粒度的實體類型識別上,因此在3個數(shù)據(jù)集上的性能表現(xiàn)較差,特別是HYENA將所有實體類型劃分為9層、共計505種的細粒度類別,難度大,因此最終的準確率、Macro F1值和Micro F1值相對較低。引入神經(jīng)網(wǎng)絡模型后,Attentive創(chuàng)新性地使用LSTM和注意力機制,使得模型的性能表現(xiàn)有大幅提高,在FIGER數(shù)據(jù)集上,準確率提高約12%,Macro F1值提高約10%,Micro F1值提高約10%;在OntoNotes數(shù)據(jù)集上,準確率能夠提升近15%,Macro F1值提高近14%,Micro F1值提高近7%。在處理標簽噪聲方面,CFGET采用剪枝訓練集噪聲的方法,但由于訓練集規(guī)模的減小,在數(shù)據(jù)集上的表現(xiàn)較差,與FIGER實驗結果相近。而AFET和AAA根據(jù)類型路徑劃分干凈數(shù)據(jù)集和含噪聲數(shù)據(jù)集,能夠有效地提高實體分類的準確率、Macro F1值和Micro F1值,尤其是AAA加入注意力機制,提取更為重要的特征信息,在3個數(shù)據(jù)集上表現(xiàn)良好,與Attentive相比,在FIGER數(shù)據(jù)集上,準確率提高約6%,Macro F1值提高約2%,Micro F1值提高約2%;在BBN數(shù)據(jù)集上,準確率能夠提升近12%,Macro F1值提高近1%,Micro F1值提高近3%。FGET-RR采用圖卷積網(wǎng)絡分析上下文信息,并對干凈數(shù)據(jù)和含噪聲數(shù)據(jù)分別設計損失函數(shù),在FIGER、BBN、OntoNotes數(shù)據(jù)集上的性能能夠得到顯著的提升。CLSC、AR都是在NFETC的基礎上做出相應改進,實驗結果表明AR對所有標簽通過最小化預測標簽與偽真標簽之間的KL散度進行概率更新,最終在FIGER數(shù)據(jù)集上,較NFETC準確率提高約2%,Macro F1值提高約2%,Micro F1值提高約1%;在BBN數(shù)據(jù)集上,較NFETC準確率提高約4%,Macro F1值提高約2%,Micro F1值提高約3%。LME從語義角度,主要考慮了語言增強模型,未對預測分類模型做出改進,因此LME在3個數(shù)據(jù)集上的性能表現(xiàn)不如NFETC。

    表2 細粒度實體分類性能比較

    因此,由上述分析可以看出,在細粒度實體分類領域中采用BiLSTM處理實體指稱上下文,并通過注意力機制提取更為重要的特征,同時利用ELMo、BERT等大規(guī)模的預訓練模型代替原有的詞嵌入,有助于提高分類的準確率。另外,為規(guī)避遠程監(jiān)督產生的噪聲問題,以無監(jiān)督的方式,選取偽真標簽中最大值的標簽,也能顯著改善分類效果。

    5 研究展望

    對現(xiàn)有的細粒度實體分類方法以及基于噪聲標簽處理的方法進行了詳細介紹,下面對未來細粒度實體分類的發(fā)展趨勢和研究熱點進行探討,主要包括以下兩個方面。

    (1) 目前,基于神經(jīng)網(wǎng)絡的細粒度實體分類大多數(shù)都是監(jiān)督學習,少部分以無監(jiān)督的方式也取得良好的實驗結果。未來以半監(jiān)督方式,通過訓練有標注數(shù)據(jù),在驗證集上驗證無標注數(shù)據(jù)以獲得偽標簽數(shù)據(jù),將標簽數(shù)據(jù)與偽標簽數(shù)據(jù)結合再次進行訓練或以無監(jiān)督方式,不斷優(yōu)化相似類型標簽之間的距離都是可研究的方向。

    (2) 對于細粒度實體分類的噪聲處理,大多利用遠程監(jiān)督的方法,使得模型關注于實體指稱及其上下文,并采用詞嵌入、BiLSTM處理指稱和上下文向量。LSTM的變體GRU利用更新門和重置門控制輸入值、記憶值和輸出值,結構較LSTM更為簡單,能夠簡化神經(jīng)網(wǎng)絡,因此利用GRU處理實體指稱或上下文的實驗有待嘗試。另外,利用大規(guī)模的預訓練模型ELMo、BERT等增強原有處理上下文的BiLSTM方法。現(xiàn)在可挖掘其他大型語料庫的信息作為原來只基于實體指稱上下文方法的一種補充,提取更優(yōu)價值的信息,有利于提高實體分類模型的準確率。

    本文對細粒度實體分類方法進行了詳細敘述,介紹了現(xiàn)有的基于不同神經(jīng)網(wǎng)絡的細粒度實體分類方法以及基于噪聲處理的細粒度實體分類方法,并對常用的數(shù)據(jù)集、評價指標和細粒度實體分類方法的性能表現(xiàn)進行了整理歸納,同時分析了未來發(fā)展趨勢和研究熱點。

    猜你喜歡
    細粒度實體標簽
    融合判別性與細粒度特征的抗遮擋紅外目標跟蹤算法
    紅外技術(2022年11期)2022-11-25 03:20:40
    細粒度的流計算執(zhí)行效率優(yōu)化方法
    高技術通訊(2021年1期)2021-03-29 02:29:24
    前海自貿區(qū):金融服務實體
    中國外匯(2019年18期)2019-11-25 01:41:54
    無懼標簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    基于雙線性卷積網(wǎng)絡的細粒度圖像定位
    實體的可感部分與實體——兼論亞里士多德分析實體的兩種模式
    哲學評論(2017年1期)2017-07-31 18:04:00
    兩會進行時:緊扣實體經(jīng)濟“釘釘子”
    振興實體經(jīng)濟地方如何“釘釘子”
    支持細粒度權限控制且可搜索的PHR云服務系統(tǒng)
    欧美中文日本在线观看视频| 天堂影院成人在线观看| 毛片一级片免费看久久久久 | 草草在线视频免费看| 亚洲精品一区av在线观看| 久久这里只有精品中国| 久久精品国产亚洲av香蕉五月| АⅤ资源中文在线天堂| 欧美一区二区国产精品久久精品| 99热网站在线观看| 久久欧美精品欧美久久欧美| 12—13女人毛片做爰片一| 在线观看66精品国产| 老熟妇乱子伦视频在线观看| 国产伦一二天堂av在线观看| 日韩大尺度精品在线看网址| 中文字幕高清在线视频| 天堂网av新在线| 精品国内亚洲2022精品成人| 黄色欧美视频在线观看| 欧美最黄视频在线播放免费| 18+在线观看网站| 小蜜桃在线观看免费完整版高清| 男人舔奶头视频| 哪里可以看免费的av片| 亚洲av免费高清在线观看| 亚洲天堂国产精品一区在线| 夜夜看夜夜爽夜夜摸| 男女做爰动态图高潮gif福利片| 搡老妇女老女人老熟妇| 欧美3d第一页| 人妻制服诱惑在线中文字幕| 一区福利在线观看| 97热精品久久久久久| 亚洲人成网站在线播| 两性午夜刺激爽爽歪歪视频在线观看| 精品久久久久久,| 俄罗斯特黄特色一大片| 精品午夜福利视频在线观看一区| 网址你懂的国产日韩在线| 国产不卡一卡二| 两个人视频免费观看高清| 又爽又黄无遮挡网站| 国产午夜精品论理片| 午夜福利在线在线| 一夜夜www| 一级av片app| 亚洲性久久影院| 久久欧美精品欧美久久欧美| 欧美一区二区亚洲| 一卡2卡三卡四卡精品乱码亚洲| 搞女人的毛片| 亚洲av日韩精品久久久久久密| 99久久精品国产国产毛片| 观看免费一级毛片| 国产高潮美女av| 精品久久久久久久久av| 很黄的视频免费| 国产精品野战在线观看| 久久久久国产精品人妻aⅴ院| 国产精品久久久久久久久免| 日本精品一区二区三区蜜桃| 久久99热这里只有精品18| 天堂√8在线中文| 99久久精品热视频| 久久久久久久久久黄片| 免费电影在线观看免费观看| 亚洲av美国av| 亚洲熟妇熟女久久| 一进一出抽搐动态| 亚洲,欧美,日韩| 亚洲自拍偷在线| 日日干狠狠操夜夜爽| 中出人妻视频一区二区| 免费无遮挡裸体视频| avwww免费| 免费搜索国产男女视频| 精品久久久久久久久久免费视频| 22中文网久久字幕| 最近中文字幕高清免费大全6 | 搞女人的毛片| 国产亚洲精品久久久久久毛片| aaaaa片日本免费| 美女免费视频网站| 午夜福利高清视频| av天堂在线播放| 午夜福利欧美成人| 99热只有精品国产| 色哟哟·www| 搡老妇女老女人老熟妇| 春色校园在线视频观看| 亚洲成a人片在线一区二区| 亚洲精品456在线播放app | 日日啪夜夜撸| 国产伦精品一区二区三区视频9| 97超视频在线观看视频| 中文字幕熟女人妻在线| 一个人观看的视频www高清免费观看| 最近在线观看免费完整版| 欧美丝袜亚洲另类 | 日日啪夜夜撸| 亚洲七黄色美女视频| 国产久久久一区二区三区| av福利片在线观看| 国国产精品蜜臀av免费| 又爽又黄无遮挡网站| 成人国产综合亚洲| 美女黄网站色视频| 99热这里只有是精品在线观看| 亚洲欧美日韩东京热| 成人国产麻豆网| 性色avwww在线观看| 精品一区二区三区av网在线观看| 精品人妻偷拍中文字幕| 69人妻影院| 高清在线国产一区| 日韩精品青青久久久久久| 制服丝袜大香蕉在线| 人妻久久中文字幕网| .国产精品久久| 日韩欧美三级三区| 啦啦啦啦在线视频资源| 中文亚洲av片在线观看爽| 波多野结衣高清作品| 18禁黄网站禁片午夜丰满| 精品久久久久久久人妻蜜臀av| 成人毛片a级毛片在线播放| 国产爱豆传媒在线观看| 亚洲欧美激情综合另类| 日本三级黄在线观看| 中文字幕久久专区| 色综合色国产| 2021天堂中文幕一二区在线观| 国产免费av片在线观看野外av| 免费电影在线观看免费观看| 欧美一区二区国产精品久久精品| 久久亚洲真实| 一本久久中文字幕| 人妻久久中文字幕网| 国产精品电影一区二区三区| 国产乱人伦免费视频| 久久久久久九九精品二区国产| 亚洲成人精品中文字幕电影| 国产高清视频在线观看网站| 久久人人爽人人爽人人片va| 美女xxoo啪啪120秒动态图| 亚洲欧美日韩高清专用| 女人被狂操c到高潮| 国产精品人妻久久久久久| 国产免费一级a男人的天堂| 3wmmmm亚洲av在线观看| 两个人视频免费观看高清| 老司机福利观看| 亚洲欧美日韩东京热| 日本色播在线视频| 99在线人妻在线中文字幕| 中文字幕熟女人妻在线| 国产成人av教育| 欧美国产日韩亚洲一区| av在线亚洲专区| 久久香蕉精品热| 亚洲自拍偷在线| 亚洲国产欧洲综合997久久,| 嫩草影院入口| 日本撒尿小便嘘嘘汇集6| 久久国产精品人妻蜜桃| 特级一级黄色大片| 国产高清视频在线播放一区| 久久精品国产清高在天天线| 91久久精品国产一区二区成人| 欧美日韩亚洲国产一区二区在线观看| 国产精品一区二区性色av| 美女xxoo啪啪120秒动态图| 国内久久婷婷六月综合欲色啪| 国产精品综合久久久久久久免费| 狠狠狠狠99中文字幕| 99热这里只有是精品50| 18禁黄网站禁片免费观看直播| 高清毛片免费观看视频网站| 赤兔流量卡办理| 久久精品国产自在天天线| 毛片女人毛片| 国内精品一区二区在线观看| 男女边吃奶边做爰视频| 亚洲第一电影网av| 男人舔奶头视频| а√天堂www在线а√下载| 亚洲国产色片| 久久香蕉精品热| 伦精品一区二区三区| 特级一级黄色大片| 在线观看66精品国产| 日韩中字成人| 哪里可以看免费的av片| 久久午夜亚洲精品久久| xxxwww97欧美| 国产精品电影一区二区三区| 国产老妇女一区| 一级a爱片免费观看的视频| 丰满乱子伦码专区| 色精品久久人妻99蜜桃| 欧美色欧美亚洲另类二区| 久久久成人免费电影| 88av欧美| 69av精品久久久久久| 大又大粗又爽又黄少妇毛片口| 久久国产乱子免费精品| 国产成人av教育| 欧美最新免费一区二区三区| 制服丝袜大香蕉在线| 国产成人a区在线观看| 免费看a级黄色片| 久久午夜福利片| 精品久久久久久久人妻蜜臀av| 日韩精品有码人妻一区| 国产中年淑女户外野战色| 婷婷精品国产亚洲av| 精品久久国产蜜桃| 老司机福利观看| 91久久精品电影网| 高清毛片免费观看视频网站| 伦理电影大哥的女人| 变态另类丝袜制服| 亚洲天堂国产精品一区在线| 黄片wwwwww| 真人一进一出gif抽搐免费| 亚洲,欧美,日韩| 国产精品一区二区三区四区久久| 成年女人毛片免费观看观看9| 九九在线视频观看精品| 女人十人毛片免费观看3o分钟| 99热精品在线国产| 久久精品国产亚洲av香蕉五月| 免费在线观看成人毛片| 亚洲中文字幕日韩| 日韩av在线大香蕉| 亚洲av中文字字幕乱码综合| 99久久中文字幕三级久久日本| 干丝袜人妻中文字幕| 免费观看在线日韩| 午夜亚洲福利在线播放| av专区在线播放| 男女做爰动态图高潮gif福利片| 久久精品国产亚洲网站| 一进一出抽搐gif免费好疼| 免费人成视频x8x8入口观看| 国产亚洲精品综合一区在线观看| 久久久久久久久久黄片| 成熟少妇高潮喷水视频| 午夜影院日韩av| 禁无遮挡网站| av天堂中文字幕网| 日韩av在线大香蕉| 亚洲va日本ⅴa欧美va伊人久久| 色哟哟·www| 精品人妻一区二区三区麻豆 | 日韩一本色道免费dvd| 欧美黑人巨大hd| 搡老熟女国产l中国老女人| 亚州av有码| 免费看av在线观看网站| 国产精品综合久久久久久久免费| 久久九九热精品免费| 国产精品国产高清国产av| 欧美一区二区国产精品久久精品| 大又大粗又爽又黄少妇毛片口| 日本 av在线| 久久精品国产亚洲网站| 12—13女人毛片做爰片一| 日本 欧美在线| 欧美日本视频| 国国产精品蜜臀av免费| 大又大粗又爽又黄少妇毛片口| 99久久精品热视频| 性欧美人与动物交配| ponron亚洲| 午夜免费激情av| 日韩精品中文字幕看吧| 欧美日韩乱码在线| 国产精品不卡视频一区二区| 精品午夜福利在线看| 国产精品久久电影中文字幕| 又粗又爽又猛毛片免费看| 日本 欧美在线| 欧美绝顶高潮抽搐喷水| 欧美日韩乱码在线| 国产伦一二天堂av在线观看| 99九九线精品视频在线观看视频| 看黄色毛片网站| 88av欧美| 日本一本二区三区精品| 精品乱码久久久久久99久播| 国产综合懂色| 丰满的人妻完整版| 欧美高清性xxxxhd video| 精品久久久久久,| 少妇人妻精品综合一区二区 | 欧美最黄视频在线播放免费| 免费高清视频大片| 国产大屁股一区二区在线视频| av国产免费在线观看| 少妇人妻精品综合一区二区 | 成人精品一区二区免费| 国产精品日韩av在线免费观看| 99热这里只有是精品50| 欧美黑人欧美精品刺激| 亚洲人成网站高清观看| 婷婷六月久久综合丁香| 亚洲avbb在线观看| 精华霜和精华液先用哪个| 久久精品国产亚洲网站| av中文乱码字幕在线| 18禁黄网站禁片午夜丰满| 日本黄大片高清| 欧美黑人巨大hd| 又黄又爽又免费观看的视频| 狠狠狠狠99中文字幕| 欧美日韩国产亚洲二区| av在线天堂中文字幕| 少妇的逼水好多| 国产av不卡久久| 国产色爽女视频免费观看| 国产蜜桃级精品一区二区三区| 老司机福利观看| 深夜a级毛片| 午夜激情福利司机影院| 一进一出抽搐gif免费好疼| 给我免费播放毛片高清在线观看| 亚洲国产高清在线一区二区三| 一区二区三区免费毛片| 欧美最新免费一区二区三区| 夜夜爽天天搞| 一级黄色大片毛片| videossex国产| 婷婷亚洲欧美| 亚洲精品影视一区二区三区av| 天天一区二区日本电影三级| 亚洲欧美日韩卡通动漫| 99久久九九国产精品国产免费| 观看美女的网站| 亚洲成av人片在线播放无| 成人特级av手机在线观看| 窝窝影院91人妻| 久久人人爽人人爽人人片va| av专区在线播放| 哪里可以看免费的av片| 看片在线看免费视频| 麻豆国产97在线/欧美| 亚洲av成人精品一区久久| 亚洲一级一片aⅴ在线观看| 久久精品国产鲁丝片午夜精品 | 99精品在免费线老司机午夜| АⅤ资源中文在线天堂| 国产激情偷乱视频一区二区| 国产高清激情床上av| 非洲黑人性xxxx精品又粗又长| 中文资源天堂在线| eeuss影院久久| 春色校园在线视频观看| 91在线观看av| 床上黄色一级片| 国产精品嫩草影院av在线观看 | 日韩欧美国产一区二区入口| 少妇裸体淫交视频免费看高清| 免费观看在线日韩| 国产亚洲91精品色在线| 老司机福利观看| 日韩人妻高清精品专区| 亚洲精品久久国产高清桃花| 日本三级黄在线观看| 永久网站在线| 欧美精品国产亚洲| 美女高潮的动态| 亚洲国产高清在线一区二区三| 最近视频中文字幕2019在线8| 91精品国产九色| 国产一区二区三区视频了| 亚洲av一区综合| 老师上课跳d突然被开到最大视频| 成人毛片a级毛片在线播放| 99国产精品一区二区蜜桃av| 大又大粗又爽又黄少妇毛片口| 成人三级黄色视频| 成年人黄色毛片网站| 内射极品少妇av片p| 国产男人的电影天堂91| aaaaa片日本免费| 免费观看在线日韩| 毛片一级片免费看久久久久 | 国产精品久久久久久亚洲av鲁大| xxxwww97欧美| 精品久久久久久久久亚洲 | 美女高潮喷水抽搐中文字幕| 天堂网av新在线| 少妇的逼好多水| 黄色欧美视频在线观看| 欧美性猛交黑人性爽| 日韩欧美在线乱码| 亚洲av一区综合| 欧美日韩瑟瑟在线播放| 97热精品久久久久久| 全区人妻精品视频| 99在线视频只有这里精品首页| 国内少妇人妻偷人精品xxx网站| 国产麻豆成人av免费视频| 亚洲精品亚洲一区二区| 一级av片app| 少妇丰满av| 久久精品国产亚洲av天美| 免费av毛片视频| 国产在线精品亚洲第一网站| 久久精品综合一区二区三区| 特级一级黄色大片| 亚洲精华国产精华精| 在线天堂最新版资源| 日韩亚洲欧美综合| 午夜免费成人在线视频| 成年女人毛片免费观看观看9| 国产一区二区在线观看日韩| 亚洲天堂国产精品一区在线| 精品久久久久久久久av| 国产伦一二天堂av在线观看| 欧美黑人巨大hd| 亚洲成人免费电影在线观看| 久久久国产成人免费| 此物有八面人人有两片| 特大巨黑吊av在线直播| 国产精品免费一区二区三区在线| 99久久精品一区二区三区| 我要看日韩黄色一级片| 少妇高潮的动态图| 俺也久久电影网| 两个人的视频大全免费| 久久久久性生活片| 久久精品久久久久久噜噜老黄 | 男女边吃奶边做爰视频| 国产精品99久久久久久久久| 天天躁日日操中文字幕| 午夜福利在线观看免费完整高清在 | 国产成人一区二区在线| 99久久无色码亚洲精品果冻| 成年女人看的毛片在线观看| 中文字幕精品亚洲无线码一区| 欧美日本亚洲视频在线播放| 色尼玛亚洲综合影院| 美女黄网站色视频| 中文字幕高清在线视频| 久久6这里有精品| 在线观看免费视频日本深夜| 能在线免费观看的黄片| 国产 一区精品| 在线播放国产精品三级| 色哟哟·www| 久久久久久久久久成人| 欧美成人一区二区免费高清观看| 老熟妇仑乱视频hdxx| 最新在线观看一区二区三区| 精品一区二区免费观看| 99久久精品一区二区三区| 亚洲av一区综合| 婷婷精品国产亚洲av| 亚洲av免费高清在线观看| 久久欧美精品欧美久久欧美| 精品久久久久久成人av| 免费高清视频大片| 国产精品99久久久久久久久| 最后的刺客免费高清国语| 国产精品一区二区性色av| 久久久久性生活片| 久久婷婷人人爽人人干人人爱| 亚洲欧美日韩高清在线视频| 村上凉子中文字幕在线| 成人特级黄色片久久久久久久| 啪啪无遮挡十八禁网站| 少妇熟女aⅴ在线视频| 极品教师在线免费播放| 午夜免费男女啪啪视频观看 | 亚洲精品色激情综合| 老女人水多毛片| 精品一区二区免费观看| 久久精品国产亚洲av天美| 国产主播在线观看一区二区| 亚洲avbb在线观看| 男女下面进入的视频免费午夜| 亚洲av不卡在线观看| 亚洲精品日韩av片在线观看| 国产精品永久免费网站| 色哟哟·www| 亚洲最大成人中文| 日本欧美国产在线视频| 国产真实伦视频高清在线观看 | 国产一区二区亚洲精品在线观看| 国内精品一区二区在线观看| 男人和女人高潮做爰伦理| 国产男靠女视频免费网站| 日本在线视频免费播放| 琪琪午夜伦伦电影理论片6080| 搞女人的毛片| 成年人黄色毛片网站| 国产精品福利在线免费观看| av黄色大香蕉| 狂野欧美激情性xxxx在线观看| 国产精品一区二区三区四区免费观看 | 日本一二三区视频观看| 2021天堂中文幕一二区在线观| 国内久久婷婷六月综合欲色啪| 国产精品三级大全| 国产精品乱码一区二三区的特点| 久久午夜亚洲精品久久| 搡老岳熟女国产| 国产成人a区在线观看| 美女xxoo啪啪120秒动态图| 小说图片视频综合网站| 久久久久性生活片| 日日撸夜夜添| 久久久久免费精品人妻一区二区| 国产成人影院久久av| 婷婷精品国产亚洲av在线| 国产精品永久免费网站| 色综合站精品国产| 日韩精品中文字幕看吧| 国产精品一区www在线观看 | 亚洲三级黄色毛片| 国产伦人伦偷精品视频| 国内精品美女久久久久久| 色视频www国产| 国产精品免费一区二区三区在线| 欧美日韩国产亚洲二区| 久久亚洲真实| 亚洲中文字幕日韩| 亚洲国产色片| 婷婷丁香在线五月| 欧美日本亚洲视频在线播放| 欧美成人免费av一区二区三区| 久久精品夜夜夜夜夜久久蜜豆| 久久久久久久久久久丰满 | 国产高清有码在线观看视频| 日韩精品中文字幕看吧| 亚洲精品久久国产高清桃花| 欧美日韩黄片免| 国产精品美女特级片免费视频播放器| 国产精品一区二区性色av| 国产淫片久久久久久久久| 88av欧美| 免费在线观看日本一区| 女生性感内裤真人,穿戴方法视频| 国产在线男女| 乱人视频在线观看| 91狼人影院| av视频在线观看入口| h日本视频在线播放| 嫁个100分男人电影在线观看| 日本-黄色视频高清免费观看| 久久午夜亚洲精品久久| 日本免费一区二区三区高清不卡| 韩国av在线不卡| 亚洲成人中文字幕在线播放| 一卡2卡三卡四卡精品乱码亚洲| 国产精品av视频在线免费观看| 国产精品永久免费网站| 国产精品人妻久久久影院| 亚洲中文日韩欧美视频| 午夜老司机福利剧场| 午夜免费成人在线视频| 国产高清三级在线| 欧美成人性av电影在线观看| 中文字幕av成人在线电影| 亚洲国产精品久久男人天堂| 最近视频中文字幕2019在线8| 亚洲国产高清在线一区二区三| 老司机午夜福利在线观看视频| 国产欧美日韩精品亚洲av| 亚洲av五月六月丁香网| 无人区码免费观看不卡| 国产91精品成人一区二区三区| 欧美日韩国产亚洲二区| 99在线视频只有这里精品首页| 久久精品夜夜夜夜夜久久蜜豆| 中文字幕av在线有码专区| 国产成人影院久久av| 成人三级黄色视频| a级一级毛片免费在线观看| 欧美成人一区二区免费高清观看| 色在线成人网| 国产色婷婷99| 色播亚洲综合网| 日本五十路高清| 真实男女啪啪啪动态图| 欧美激情在线99| 人人妻,人人澡人人爽秒播| 亚洲人成网站高清观看| 亚洲国产精品成人综合色| 久久热精品热| 国产又黄又爽又无遮挡在线| 国产高清有码在线观看视频| 在线观看av片永久免费下载| 乱码一卡2卡4卡精品| 两个人视频免费观看高清| 男人舔奶头视频| 亚洲在线自拍视频| 天天躁日日操中文字幕| 日本与韩国留学比较| 十八禁国产超污无遮挡网站| 亚洲七黄色美女视频| 亚洲av中文av极速乱 | 国产精品日韩av在线免费观看| 九九在线视频观看精品| 女的被弄到高潮叫床怎么办 | 亚洲专区国产一区二区| 亚洲一区高清亚洲精品| 国产一区二区亚洲精品在线观看| 全区人妻精品视频| 精品99又大又爽又粗少妇毛片 | 99视频精品全部免费 在线| 91麻豆av在线|