• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于細粒度實體分類的對比研究

    2022-07-19 04:40:12祺,
    關鍵詞:細粒度實體標簽

    周 祺, 陶 皖

    (安徽工程大學 計算機與信息學院,安徽 蕪湖 241000)

    0 引 言

    在自然語言處理(Natural Language Processing,NLP)中,實體分類是指為每一個實體分配一個指定的標簽,這是一項非常重要而又基礎的工作,在知識圖譜的構建中扮演著重要的角色,作為構建知識圖譜的基礎性工作,實體分類的質量好壞直接影響整個知識圖譜的可信度和可用性。傳統(tǒng)的命名實體識別[1](Name Entity Recognition,NER)作為實體抽取的子任務為后續(xù)的工作奠定了堅實的基礎,即將文本中的指稱(即實體在具體上下文中的一段指代)抽取出來,并判斷其在上下文中的類型為人、位置、組織、其他等粗粒度類型的過程。近年來,傳統(tǒng)的命名實體識別被擴展到更深層次的細粒度實體類型。由于上游分配粗粒度的實體類型,后續(xù)選取實體間的候選關系就會復雜,相應的關系抽取任務會變得愈加困難,于是就促進了細粒度實體分類任務的研究。通過細粒度實體分類概念的引入,有效地將粗粒度的實體類型標簽細化、層次化,從而使得下游任務(關系抽取、事件抽取、問答系統(tǒng)、實體推薦等)的工作效率降低,提高工作效率。

    細粒度實體分類[2](Fine-grained Entity Typing,F(xiàn)ET)在給定實體指稱的情況下,依據(jù)其上下文給實體指稱賦予一個或多個實體類型。在FET中,能夠對目標實體類型進行更細致地劃分,同時保證類型之間存在一定的層次關系。細粒度的實體類型表示可以為其他 NLP 任務提供更多的語義信息,有助于增強后續(xù)關系抽取和事件抽取等任務的指示性,提高問答系統(tǒng)、實體推薦等下游任務的工作效率。

    傳統(tǒng)的FET任務通常采用人工標注語料的方式,費時費力。隨著實體類型數(shù)據(jù)集的不斷增大,人工標注類型標簽的難度增加、代價高昂,而且容易出錯。為此將深度學習中的神經(jīng)網(wǎng)絡方法[3-5]運用到細粒度實體分類領域,可充分利用深度學習方法從大量訓練語料中學習不同語料的語義特征,代替人工標注,從而提高細粒度實體分類的準確率。然而現(xiàn)有的基于神經(jīng)網(wǎng)絡的細粒度實體分類模型大多需要遠程監(jiān)督[6](Distant Supervision)的參與,由于遠程監(jiān)督鏈接到知識庫中實體指稱的所有標簽,召回過程不可避免地會引入噪聲問題,但過多的噪聲使得訓練模型性能變差,影響分類精度。為了緩解噪聲標簽產生的負面影響,有學者提出細粒度實體分類的標簽噪聲處理方法,如剪枝噪聲標簽[7]、劃分數(shù)據(jù)集[8]等,能夠有效地改善FET任務處理噪聲標簽的魯棒性,促進了細粒度實體分類的進一步研究。

    1 細粒度實體分類

    Lee等[9]首次在問答系統(tǒng)中對細粒度命名實體識別任務進行處理,提出利用條件隨機場(Conditional Random Field,CRF)檢測命名實體的邊界,并使用最大熵(Maximum Entropy,ME)對實體進行分類,同時他們定義了147種細粒度的命名實體類型。但對于細粒度的語義命名實體識別與分類還沒有系統(tǒng)的研究,因此Ekbal等[10]依賴大型文本語料庫,獲取細粒度的語義類型和實例,構建了細粒度命名實體識別與分類的數(shù)據(jù)集。為了擴展命名實體類型表示,Sekine[11]使用日本百科全書的知識創(chuàng)建了200種擴展命名實體類型,其中包含了擴展命名實體的豐富描述以及一系列的屬性設計。與上述工作不同的是,Ling等[2]針對細粒度實體分類任務,創(chuàng)建了經(jīng)典數(shù)據(jù)集FIGER,將本來只劃分為5~6種類型的實體擴展到112種類型標簽,通過遠程監(jiān)督的方式,獲取維基百科詞條中的實體類型信息,并根據(jù)CRF劃分實體邊界,最終由感知機算法完成多類別多標簽任務,開辟了針對細粒度實體分類領域的新方法,為后續(xù)的研究工作提供了便捷。針對FIGER數(shù)據(jù)集中類型數(shù)量相對較少,一個實體通常只映射到一個類型的問題,Yosef等[12]提出了在不同層次、數(shù)百種類型的基礎上,利用層次分類法對來自WordNet中的大量實體類型自動計算擴展實體指稱的類型,得到了非常精細的505種實體類型,形成了一個多標簽的分級分類系統(tǒng)HYENA。略顯不足的是,HYENA中的類型均來自WordNet中的子集,缺少重要的實體類型。為了彌補這一缺陷,F(xiàn)INET[13]不再限制實體類型,提取整個WordNet中超過16 000種類型,其中包括個人、組織和位置等。以往的研究大多依賴于人工標注的特征,而Dong等[14]首次采用深度學習的方式,使用詞嵌入作為特征,通過監(jiān)督方法將網(wǎng)頁中的內容提取與現(xiàn)有知識庫中的先驗知識相融合,能夠有效地提高識別實體類型的準確率。上述工作均為細粒度實體分類領域的研究奠定了基礎,證實了其存在價值及重要意義,并為后續(xù)實驗創(chuàng)建了基礎實驗數(shù)據(jù)集。

    2 基于神經(jīng)網(wǎng)絡的細粒度實體分類

    由于實體指稱在知識庫中所對應的類型較多,一般采用人工標注的方式保證樣本的準確率,但這樣人工成本耗費過多。隨著知識庫規(guī)模的急速增長,人工標注的方式已經(jīng)無法跟上數(shù)據(jù)更新的速度,因此使用神經(jīng)網(wǎng)絡方法代替部分人工過程,以便提高細粒度實體分類的準確率和召回率。

    2.1 基于卷積神經(jīng)網(wǎng)絡的細粒度實體分類

    卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)[3]通常由輸入層、隱藏層和輸出層組成。首先在輸入層處理多維數(shù)據(jù),其次在隱藏層中可以利用卷積層、池化層和全連接層對輸入數(shù)據(jù)進行特征提取、特征選擇以及信息過濾,最后在輸出層使用邏輯函數(shù)或softmax函數(shù)輸出分類標簽。

    為提取實體信息用于知識庫補全領域,Jia等[15]提出一種學習實體指稱及其上下文聯(lián)合表示的卷積神經(jīng)網(wǎng)絡聯(lián)合模型(Convolutional Neural Network Joint Model, CNNJM),在詞嵌入平均化的基礎上進行一層卷積,通過最大池化操作獲得最重要的特征,類似思想也用于句子分類[16]、事件抽取[17]領域中,CNNJM更關注于實體本身的特征信息。然而實體指稱的上下文蘊含著更豐富的信息,于是Murty等[18]通過對實體指稱的上下文及位置信息進行卷積操作,之后進行最大池化處理,提取更多的上下文特征信息,有利于提高細粒度實體分類的準確率。

    2.2 基于循環(huán)神經(jīng)網(wǎng)絡的細粒度實體分類

    考慮CNN網(wǎng)絡層次之間的關聯(lián)性不強,且無法很好地學習自然語言數(shù)據(jù)的長距離依賴和結構化語法特征,因此卷積神經(jīng)網(wǎng)絡在后期自然語言處理中的應用要少于循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network,RNN)[4]。RNN以序列數(shù)據(jù)為輸入,在序列的演進方向進行遞歸操作,將所有循環(huán)單元按鏈式連接,主要包括輸入層、隱藏層和輸出層,隱藏層中添加了記憶細胞模塊。與CNN有所不同的是,CNN隱藏層之間的節(jié)點是無連接的,而RNN會對前面的信息進行記憶并應用于當前輸出的計算中,即隱藏層之間的節(jié)點是有連接的。

    研究證明,RNN對符合時間順序、邏輯順序等序列特性的數(shù)據(jù)十分有效,能挖掘數(shù)據(jù)中的時序信息以及語義信息,但是由于權重累加過大,無法進行長期記憶的學習,可能導致結果失真、運算效率降低,因此長短期記憶(Long Short-Term Memory,LSTM)[5]網(wǎng)絡應運而生。LSTM網(wǎng)絡通過精妙的輸入門、遺忘門和輸出門控制將短期記憶與長期記憶結合起來,選擇性地記錄或遺忘輸入的信息,有利于提取重要的特征信息,得到更好的實驗結果。

    為了達到更高精度識別實體、細化實體類型的效果, Shimaoka等[19]創(chuàng)新地使用LSTM學習實體指稱的上下文表示,同時引入注意力機制,為雙向長短期記憶網(wǎng)絡(Bi-directional LSTM,BiLSTM)編碼的上下文序列計算注意力權重,識別更具表達類型標簽的信息,并使分類行為更具可解釋性。隨后,Shimaoka等[20]將先前未考慮到的人工標注特征與模型學習到的特征結合在一起形成互補的信息,再次提高細粒度實體分類任務的準確率和召回率。根據(jù)知識庫(Knowledge Base,KB)中有關實體的豐富信息,Xin等[21]提出了基于知識庫的注意力神經(jīng)網(wǎng)絡模型。該模型將實體指稱的上下文向量投入BiLSTM,通過計算注意力權重,輸出上下文表示。與此同時,還將注意力機制運用到實體指稱表示和來自知識庫的實體表示,既考慮了實體指稱與上下文的關系,也能夠把實體指稱與知識庫中相關實體的關系代入其中。鑒于FIGER、OntoNotes中的實體類型仍不夠精細,Choi等[22]提出了超細粒度實體分類(Ultra-Fine Entity Typing,UFET),采用兩層獨立的BiLSTM處理上下文,并通過注意力機制和多層感知機(Multi-layer Perceptron,MLP)算法生成實體指稱的上下文表示,有效地改進了細粒度實體分類的效果。同時創(chuàng)建了三層的超細粒度實體類型數(shù)據(jù)集UFET,包括9種通用類型、121種細粒度類型和10 201種超細粒度類型。

    由于LSTM的強大功能,將其應用到自然語言處理領域的效果良好,此后的細粒度實體分類任務大多采用LSTM處理實體指稱的上下文向量,以獲取重要的上下文語義特征,為實體指稱分配細粒度實體類型提供指示性信息。

    3 基于噪聲處理的細粒度實體分類

    現(xiàn)有的大多數(shù)細粒度實體分類模型采用基于神經(jīng)網(wǎng)絡的實體分類模型,利用遠程監(jiān)督方法首先將語句中的實體指稱鏈接到知識庫中的實體,再把KB中實體的所有類型標簽分配給實體指稱的候選類型集。由于采用遠程監(jiān)督方法,分配類型標簽時未考慮實體指稱的上下文,會將無關的實體類型標簽引入訓練數(shù)據(jù)中,把這些無關的類型標簽視為標簽噪聲。遠程監(jiān)督在對實體指稱進行細粒度實體分類時會受到標簽噪聲和相關類型的限制,從而加大了后續(xù)分類模型對實體指稱進行正確分類的難度,嚴重影響了細粒度實體分類模型的準確性和可信性。因此,對標簽噪聲進行有效處理,能凈化訓練數(shù)據(jù)集,使分類模型訓練時能夠高效學習實體類型標簽,優(yōu)化分類模型的準確性。本節(jié)介紹基于噪聲處理的細粒度實體分類,主要分為基于規(guī)則劃處理數(shù)據(jù)集、優(yōu)化損失函數(shù)兩部分。

    3.1 基于規(guī)則處理數(shù)據(jù)集

    由于FIGER[2]和HYENA[12]的訓練集和測試集都是從Wikipedia中利用遠程監(jiān)督自動獲取的,未經(jīng)過任何的過濾和挑選。因此Gillick等[7]通過在訓練集上采用啟發(fā)式剪枝的方法來解決訓練數(shù)據(jù)中出現(xiàn)的多余標簽,用于完善訓練數(shù)據(jù)的啟發(fā)式方法刪除了與單個實體關聯(lián)的同級類型,僅保留了父類型;刪除與在該類型集上訓練的標準粗粒度類型分類器的輸出不一致的類型;刪除出現(xiàn)次數(shù)少于文檔中的最小次數(shù)的類型。經(jīng)過啟發(fā)式規(guī)則能有效地改善人工標注數(shù)據(jù)的性能。但通過啟發(fā)式規(guī)則剪枝噪聲,會導致訓練數(shù)據(jù)樣本量減少,影響模型的整體性能,因此Ren等[8]提出自動細粒度實體分類模型(Automatic Fine-grained Entity Typing,AFET),對帶有正確類型標簽的實體指稱和帶有噪聲標簽的實體指稱分別進行建模訓練,另外還設計了一種新的部分標簽損失算法,能利用噪聲候選類型集中與實體指稱相關的候選類型建模真實類型,并利用為指稱所提取的各種文本特征逐步估計出最佳類型。然而,去噪過程和訓練過程沒有統(tǒng)一,這可能會導致誤差傳播,帶來更多的復雜性。于是Zhang等[23]提出一種基于路徑的注意力神經(jīng)網(wǎng)絡模型( Path-based Attention Neural Model,PAN )可以選擇與每種實體類型相關的語句,動態(tài)減少訓練期間每種實體類型的錯誤標記語句的權重,通過端到端的過程有效地減少類型標簽噪聲,并能在有噪聲的數(shù)據(jù)集上實現(xiàn)更好的細粒度實體分類性能。為進一步改進噪聲數(shù)據(jù)處理的效果,Abhishek等[24]參考AFET,構建了AAA模型,將訓練數(shù)據(jù)分為干凈集和噪聲集,若訓練數(shù)據(jù)實體的多個標簽屬于同一類別將其分為到干凈集,反之則劃分到噪聲集。同時能聯(lián)合學習實體指稱及其上下文表示,并且在訓練數(shù)據(jù)時使用變形的非參變量鉸鏈損失函數(shù),還運用遷移學習提高模型的有效性。

    3.2 優(yōu)化損失函數(shù)

    3.2.1 鉸鏈損失函數(shù)

    鉸鏈損失(Hinge Loss)函數(shù)是機器學習領域中的一種損失函數(shù),可用于“最大間隔(Max-margin)”分類,經(jīng)典公式如下:

    L(y,y′)=max(0,marg in+y′-y)

    (1)

    其中,y是正例標簽的得分,y′是負例標簽的得分,兩者間的差值用來預測兩種預測結果的相似關系。

    以往對細粒度實體分類中訓練數(shù)據(jù)的噪聲進行處理時將其剪枝或劃分為不同的數(shù)據(jù)集,但是未充分考慮到細粒度實體分類系統(tǒng)處理噪聲數(shù)據(jù)時的魯棒性。于是Yogatama等[25]在WSABIE[26]的基礎上,提出了學習特征和標簽聯(lián)合表示的模型K-WSABIE,將特征向量和標簽映射到同一低維空間,學習特征和標簽的聯(lián)合表示。與此同時,在K-WSABIE中引入鉸鏈損失函數(shù),如下:

    L(y,y′)=R(rank(y))max(0,1-y+y′)

    (2)

    其中,y和y′含義如上,R(rank(y))使得正例標簽的得分高于負例標簽,彼此之間不產生競爭,有效提高模型應對噪聲數(shù)據(jù)的魯棒性。

    為減少與上下文無關的噪聲標簽影響,Dai等[27]利用實體鏈接[28-29]改進細粒度實體分類模型,根據(jù)上下文、指稱的字符以及用實體鏈接從知識庫中獲得的類型信息結合在一起靈活地預測類型標簽,同時設計了一個變形的鉸鏈損失函數(shù)防止訓練后的模型過擬合弱標記數(shù)據(jù),如下:

    L(y,y′)=max(0,1-y)+λ·max(0,1+y′)

    (3)

    其中,y和y′含義如上,λ為超參數(shù),靈活地調整對負例標簽的懲罰。

    由于以往方法對實體指稱獨立建模,僅依據(jù)上下文分配實體類型標簽,可能會妨礙信息跨越句子邊界傳遞信息,為此Ali等[30]提出了一個基于邊緣加權的注意力圖卷積網(wǎng)絡(Fine-Grained Named Entity Typing with Refined Representations,F(xiàn)GET-RR)。FGET-RR不僅分析具體的上下文信息,還側重于對語料庫中特定標簽的上下文進行分析。另外,對于干凈數(shù)據(jù)和含噪聲數(shù)據(jù)分別設計鉸鏈損失函數(shù),如下:

    Lclean=ReLU(1-y)+ReLU(1+y′)

    (4)

    Lnoisy=ReLU(1-y*)+ReLU(1+y′)

    y*=arg maxy

    (5)

    3.2.2 交叉熵損失函數(shù)

    交叉熵損失函數(shù)(Cross Entropy Loss)在機器學習中主要用于衡量真實概率分布與預測概率分布之間的差異性,交叉熵的損失值越小,代表模型的預測效果就越好,如下:

    (6)

    其中,p為真實概率分布,q為預測概率分布。

    與前人不同的是,Xu等[31]對原本細粒度實體分類的多標簽分類問題,轉換為單標簽分類問題,并且使用變形的交叉熵損失函數(shù)和分層損失函數(shù)來分別處理無關噪聲標簽以及過于具體的標簽。變形的交叉熵損失函數(shù)根據(jù)實體指稱的上下文自動過濾不相關的類型,如下:

    (7)

    其中,N為實體指稱的數(shù)量,p(yi)為預測的概率分布,當實體指稱對應多個類型標簽時,只選取具有最高概率的標簽。分層損失函數(shù)能調整預測相關類型的步驟,使模型了解實體類型的層次結構,預測真實類型的父類型會比其他不相關的類型效果好,從而減輕過于具體標簽的消極影響。

    在NFETC[31]的基礎上,為避免文獻[8、24、31]中使用部分標簽損失的確認誤差累積影響,Chen等[32]提出使用壓縮隱空間簇(NFETC-Compact Latent Space Clustering,NFETC-CLSC)來規(guī)范遠程監(jiān)督模型。對于干凈的數(shù)據(jù),壓縮相同類型的表示空間;對于有噪聲的數(shù)據(jù),通過標簽傳播和候選類型約束來推斷它們的類型分布,激發(fā)出更好的分類性能。以KL散度計算遠程監(jiān)督損失值,如下:

    (8)

    其中,B為干凈數(shù)據(jù)訓練時的批大小,J為目標類型數(shù),yij為預測類型分布。

    針對文獻[31]將細粒度實體分類轉化為單標簽分類問題,此方法未必完全正確,于是Zhang等[33]提出了一種統(tǒng)一處理所有訓練樣本的基于概率自動重標記的方法(NFETC-Automatic Relabeling,NFETC-AR)。在訓練過程中為每個樣本分配所有候選標簽上的連續(xù)標簽分布,并且將連續(xù)標簽分布作為訓練參數(shù)的一部分通過反向傳播算法進行更新,達到預測分布與偽真標簽分布之間的最小化KL散度(Kullback-Leibler Divergence)的目的,最后取偽真標簽分布中值最大的標簽作為唯一的偽真標簽,具體KL散度如下:

    (9)

    其中,N為實體指稱的數(shù)量,T為類型數(shù),pij為連續(xù)標簽分布。

    不僅要考慮標簽的層次結構,Xin等[34]從語言角度提出了以無監(jiān)督的方式,運用標簽含義衡量上下文句子與每個遠程監(jiān)督獲得的標簽之間的兼容性,將模型分為兩部分:實體分類模型(Entity Typing Module,ET)和語言增強模型(Language Model Enhancement, LME)。ET 通過交叉熵函數(shù),最小化真實類型概率與預測類型概率的差異,如下:

    (10)

    LME利用一個語言模型和一組標簽嵌入來判斷標簽與上下文句子之間的兼容性,減少由遠程監(jiān)督產生的噪聲。

    (11)

    4 常用數(shù)據(jù)集及評價指標

    在本節(jié)將詳細描述細粒度實體分類任務中所用到的實驗數(shù)據(jù)集、評價指標以及部分文獻的實驗結果對比。

    4.1 常用數(shù)據(jù)集

    在細粒度實體分類任務中,主要用到以下3個數(shù)據(jù)集:FIGER[2]、OntoNotes[7]、BBN[37]。其中FIGER和BBN為2層數(shù)據(jù)集,OntoNotes為3層數(shù)據(jù)集,其他數(shù)據(jù)如表1所示。

    表1 細粒度實體分類中常用的數(shù)據(jù)集

    4.2 評價指標

    評價細粒度實體分類任務沿用Ling等[2]提出的3個指標:準確率(Accuracy,Acc)、宏觀平均F1值(Macro-averaging F1-Measure,Macro F1)以及微觀平均F1值(Micro-averaging F1-Measure,Micro F1):

    (12)

    宏觀平均F1值是宏觀精確率(Macro Precision,Pma)和宏觀召回率(Macro Recall,Rma)的平均值。

    (13)

    (14)

    微觀平均F1值是微觀精確率(Micro Precision,Pmi)和微觀召回率(Micro Recall,Rmi)的平均值。

    (15)

    (16)

    4.3 細粒度實體分類方法的對比研究

    為比較以上細粒度實體分類方法的性能表現(xiàn),本文在相同數(shù)據(jù)集上將各種方法的實驗結果列出進行對比研究,如表2所示。選取的細粒度實體分類方法有以下幾類:經(jīng)典方法FIGER[2]、HYENA[12];基于RNN的細粒度實體分類方法Attentive[19];對于噪聲處理方面,選取啟發(fā)式剪枝噪聲方法CFGET[7],根據(jù)規(guī)則劃分數(shù)據(jù)集方法AFET[8]和AAA[24],優(yōu)化鉸鏈損失函數(shù)方法FGET-RR[30],優(yōu)化交叉熵損失函數(shù)方法NFETC[31]、CLSC[32]、AR[33]和LME[34]進行對比分析。

    由表2可以看出,早期提出的經(jīng)典細粒度實體方法(如FIGER、HYENA)主要集中在將原始的粗粒度的命名實體類型擴展到細粒度的實體類型識別上,因此在3個數(shù)據(jù)集上的性能表現(xiàn)較差,特別是HYENA將所有實體類型劃分為9層、共計505種的細粒度類別,難度大,因此最終的準確率、Macro F1值和Micro F1值相對較低。引入神經(jīng)網(wǎng)絡模型后,Attentive創(chuàng)新性地使用LSTM和注意力機制,使得模型的性能表現(xiàn)有大幅提高,在FIGER數(shù)據(jù)集上,準確率提高約12%,Macro F1值提高約10%,Micro F1值提高約10%;在OntoNotes數(shù)據(jù)集上,準確率能夠提升近15%,Macro F1值提高近14%,Micro F1值提高近7%。在處理標簽噪聲方面,CFGET采用剪枝訓練集噪聲的方法,但由于訓練集規(guī)模的減小,在數(shù)據(jù)集上的表現(xiàn)較差,與FIGER實驗結果相近。而AFET和AAA根據(jù)類型路徑劃分干凈數(shù)據(jù)集和含噪聲數(shù)據(jù)集,能夠有效地提高實體分類的準確率、Macro F1值和Micro F1值,尤其是AAA加入注意力機制,提取更為重要的特征信息,在3個數(shù)據(jù)集上表現(xiàn)良好,與Attentive相比,在FIGER數(shù)據(jù)集上,準確率提高約6%,Macro F1值提高約2%,Micro F1值提高約2%;在BBN數(shù)據(jù)集上,準確率能夠提升近12%,Macro F1值提高近1%,Micro F1值提高近3%。FGET-RR采用圖卷積網(wǎng)絡分析上下文信息,并對干凈數(shù)據(jù)和含噪聲數(shù)據(jù)分別設計損失函數(shù),在FIGER、BBN、OntoNotes數(shù)據(jù)集上的性能能夠得到顯著的提升。CLSC、AR都是在NFETC的基礎上做出相應改進,實驗結果表明AR對所有標簽通過最小化預測標簽與偽真標簽之間的KL散度進行概率更新,最終在FIGER數(shù)據(jù)集上,較NFETC準確率提高約2%,Macro F1值提高約2%,Micro F1值提高約1%;在BBN數(shù)據(jù)集上,較NFETC準確率提高約4%,Macro F1值提高約2%,Micro F1值提高約3%。LME從語義角度,主要考慮了語言增強模型,未對預測分類模型做出改進,因此LME在3個數(shù)據(jù)集上的性能表現(xiàn)不如NFETC。

    表2 細粒度實體分類性能比較

    因此,由上述分析可以看出,在細粒度實體分類領域中采用BiLSTM處理實體指稱上下文,并通過注意力機制提取更為重要的特征,同時利用ELMo、BERT等大規(guī)模的預訓練模型代替原有的詞嵌入,有助于提高分類的準確率。另外,為規(guī)避遠程監(jiān)督產生的噪聲問題,以無監(jiān)督的方式,選取偽真標簽中最大值的標簽,也能顯著改善分類效果。

    5 研究展望

    對現(xiàn)有的細粒度實體分類方法以及基于噪聲標簽處理的方法進行了詳細介紹,下面對未來細粒度實體分類的發(fā)展趨勢和研究熱點進行探討,主要包括以下兩個方面。

    (1) 目前,基于神經(jīng)網(wǎng)絡的細粒度實體分類大多數(shù)都是監(jiān)督學習,少部分以無監(jiān)督的方式也取得良好的實驗結果。未來以半監(jiān)督方式,通過訓練有標注數(shù)據(jù),在驗證集上驗證無標注數(shù)據(jù)以獲得偽標簽數(shù)據(jù),將標簽數(shù)據(jù)與偽標簽數(shù)據(jù)結合再次進行訓練或以無監(jiān)督方式,不斷優(yōu)化相似類型標簽之間的距離都是可研究的方向。

    (2) 對于細粒度實體分類的噪聲處理,大多利用遠程監(jiān)督的方法,使得模型關注于實體指稱及其上下文,并采用詞嵌入、BiLSTM處理指稱和上下文向量。LSTM的變體GRU利用更新門和重置門控制輸入值、記憶值和輸出值,結構較LSTM更為簡單,能夠簡化神經(jīng)網(wǎng)絡,因此利用GRU處理實體指稱或上下文的實驗有待嘗試。另外,利用大規(guī)模的預訓練模型ELMo、BERT等增強原有處理上下文的BiLSTM方法。現(xiàn)在可挖掘其他大型語料庫的信息作為原來只基于實體指稱上下文方法的一種補充,提取更優(yōu)價值的信息,有利于提高實體分類模型的準確率。

    本文對細粒度實體分類方法進行了詳細敘述,介紹了現(xiàn)有的基于不同神經(jīng)網(wǎng)絡的細粒度實體分類方法以及基于噪聲處理的細粒度實體分類方法,并對常用的數(shù)據(jù)集、評價指標和細粒度實體分類方法的性能表現(xiàn)進行了整理歸納,同時分析了未來發(fā)展趨勢和研究熱點。

    猜你喜歡
    細粒度實體標簽
    融合判別性與細粒度特征的抗遮擋紅外目標跟蹤算法
    紅外技術(2022年11期)2022-11-25 03:20:40
    細粒度的流計算執(zhí)行效率優(yōu)化方法
    高技術通訊(2021年1期)2021-03-29 02:29:24
    前海自貿區(qū):金融服務實體
    中國外匯(2019年18期)2019-11-25 01:41:54
    無懼標簽 Alfa Romeo Giulia 200HP
    車迷(2018年11期)2018-08-30 03:20:32
    不害怕撕掉標簽的人,都活出了真正的漂亮
    海峽姐妹(2018年3期)2018-05-09 08:21:02
    基于雙線性卷積網(wǎng)絡的細粒度圖像定位
    實體的可感部分與實體——兼論亞里士多德分析實體的兩種模式
    哲學評論(2017年1期)2017-07-31 18:04:00
    兩會進行時:緊扣實體經(jīng)濟“釘釘子”
    振興實體經(jīng)濟地方如何“釘釘子”
    支持細粒度權限控制且可搜索的PHR云服務系統(tǒng)
    久久99蜜桃精品久久| 亚洲一级一片aⅴ在线观看| 亚洲国产精品专区欧美| 一级毛片电影观看| 美女福利国产在线| 99热全是精品| 日日摸夜夜添夜夜添av毛片| 亚洲精品日韩在线中文字幕| 丰满乱子伦码专区| 国产日韩欧美视频二区| 尾随美女入室| 日韩av不卡免费在线播放| 蜜臀久久99精品久久宅男| 一区二区av电影网| 国产高清国产精品国产三级| 亚洲精品第二区| 成人综合一区亚洲| 日本黄大片高清| 国产成人91sexporn| 日日爽夜夜爽网站| 少妇 在线观看| 久久婷婷青草| 亚洲激情五月婷婷啪啪| 国产极品粉嫩免费观看在线 | 久久精品夜色国产| 一区二区日韩欧美中文字幕 | 超色免费av| 丰满乱子伦码专区| 在线观看www视频免费| 亚洲美女搞黄在线观看| 精品国产一区二区三区久久久樱花| 欧美bdsm另类| 精品卡一卡二卡四卡免费| 亚洲国产成人一精品久久久| 成人亚洲精品一区在线观看| 七月丁香在线播放| 婷婷色综合www| 三上悠亚av全集在线观看| 精品人妻熟女毛片av久久网站| 2022亚洲国产成人精品| 在线观看美女被高潮喷水网站| 在线免费观看不下载黄p国产| 男女无遮挡免费网站观看| 日本-黄色视频高清免费观看| 最近最新中文字幕免费大全7| 国模一区二区三区四区视频| 又黄又爽又刺激的免费视频.| 国产av码专区亚洲av| www.色视频.com| videossex国产| 丝瓜视频免费看黄片| 岛国毛片在线播放| 少妇人妻久久综合中文| 精品一区二区三区视频在线| 亚洲人成网站在线观看播放| 亚洲美女黄色视频免费看| 久久久久人妻精品一区果冻| 在线观看www视频免费| 欧美激情国产日韩精品一区| 婷婷色综合大香蕉| 日日摸夜夜添夜夜爱| 特大巨黑吊av在线直播| 人人妻人人澡人人爽人人夜夜| 一区二区av电影网| 国产精品嫩草影院av在线观看| 国产成人精品一,二区| 日本免费在线观看一区| 精品久久国产蜜桃| 性色av一级| 午夜福利,免费看| 只有这里有精品99| 91久久精品国产一区二区成人| 女的被弄到高潮叫床怎么办| 国产成人精品福利久久| 日韩三级伦理在线观看| 亚洲欧美日韩另类电影网站| 精品人妻熟女毛片av久久网站| 亚洲av国产av综合av卡| 18在线观看网站| 在线看a的网站| 纵有疾风起免费观看全集完整版| 欧美日韩视频精品一区| 国产精品人妻久久久影院| 26uuu在线亚洲综合色| 99热网站在线观看| 五月天丁香电影| 久久精品熟女亚洲av麻豆精品| 亚洲av欧美aⅴ国产| 少妇的逼好多水| 黄色视频在线播放观看不卡| 一个人看视频在线观看www免费| 久久精品国产自在天天线| 中文字幕av电影在线播放| 纯流量卡能插随身wifi吗| 精品酒店卫生间| 草草在线视频免费看| 最近手机中文字幕大全| 成年女人在线观看亚洲视频| 亚洲一区二区三区欧美精品| 91精品国产国语对白视频| 高清毛片免费看| 国产成人精品在线电影| 有码 亚洲区| 51国产日韩欧美| 在线播放无遮挡| 国产 一区精品| 久久国产亚洲av麻豆专区| 亚洲美女搞黄在线观看| 交换朋友夫妻互换小说| 国精品久久久久久国模美| 自线自在国产av| 国产有黄有色有爽视频| 国产精品一区二区在线不卡| 亚洲精品一区蜜桃| 男女边摸边吃奶| 丰满迷人的少妇在线观看| 另类精品久久| 肉色欧美久久久久久久蜜桃| 国产精品三级大全| 国产爽快片一区二区三区| 国产av精品麻豆| 亚洲国产欧美在线一区| 日本黄色片子视频| 人体艺术视频欧美日本| 日韩强制内射视频| 在线亚洲精品国产二区图片欧美 | 老司机影院成人| av视频免费观看在线观看| av在线观看视频网站免费| 日本爱情动作片www.在线观看| 丝瓜视频免费看黄片| 亚洲欧美精品自产自拍| 免费大片18禁| 亚洲国产毛片av蜜桃av| 精品人妻偷拍中文字幕| 91久久精品国产一区二区成人| 丁香六月天网| 大香蕉久久成人网| 春色校园在线视频观看| 91精品三级在线观看| 一区二区av电影网| 一边摸一边做爽爽视频免费| 国产av精品麻豆| 一级a做视频免费观看| 国产精品一二三区在线看| 国产精品一区二区三区四区免费观看| 最近最新中文字幕免费大全7| 午夜激情av网站| 久久av网站| 国产极品粉嫩免费观看在线 | 性高湖久久久久久久久免费观看| 国产成人精品婷婷| 国产爽快片一区二区三区| 永久网站在线| 中文字幕av电影在线播放| 久久久国产欧美日韩av| 日本与韩国留学比较| 精品少妇内射三级| 91精品一卡2卡3卡4卡| 欧美日韩精品成人综合77777| 成人无遮挡网站| 日韩视频在线欧美| 精品人妻偷拍中文字幕| 嫩草影院入口| 亚洲欧美成人精品一区二区| 汤姆久久久久久久影院中文字幕| 久久精品久久精品一区二区三区| 免费少妇av软件| 国产黄色免费在线视频| 国语对白做爰xxxⅹ性视频网站| 午夜免费观看性视频| 免费观看a级毛片全部| 午夜91福利影院| 成年女人在线观看亚洲视频| 精品久久久久久电影网| 国产精品国产三级国产专区5o| videosex国产| 一级二级三级毛片免费看| 内地一区二区视频在线| 欧美xxⅹ黑人| 久久99热这里只频精品6学生| 中文字幕人妻熟人妻熟丝袜美| 久久免费观看电影| 国语对白做爰xxxⅹ性视频网站| 国产午夜精品一二区理论片| 精品国产一区二区久久| 精品人妻熟女av久视频| 夫妻性生交免费视频一级片| 99九九线精品视频在线观看视频| 高清毛片免费看| 美女大奶头黄色视频| 日本爱情动作片www.在线观看| 丝袜喷水一区| 五月伊人婷婷丁香| 国产黄色视频一区二区在线观看| 国产av精品麻豆| 日韩强制内射视频| 国产日韩欧美在线精品| 69精品国产乱码久久久| 九色亚洲精品在线播放| 五月开心婷婷网| 国产成人精品婷婷| 伊人久久国产一区二区| 如日韩欧美国产精品一区二区三区 | 亚洲国产欧美日韩在线播放| 我的老师免费观看完整版| 久久久久久久精品精品| 秋霞伦理黄片| 99久久中文字幕三级久久日本| 亚洲五月色婷婷综合| 性高湖久久久久久久久免费观看| 丰满迷人的少妇在线观看| 国产亚洲精品第一综合不卡 | 欧美日韩视频高清一区二区三区二| 中文字幕人妻熟人妻熟丝袜美| 国产精品国产三级专区第一集| 国模一区二区三区四区视频| 一个人看视频在线观看www免费| 精品午夜福利在线看| 国产精品久久久久久精品古装| 免费观看av网站的网址| 亚洲,一卡二卡三卡| 亚洲三级黄色毛片| 久久久久精品久久久久真实原创| 国产精品一二三区在线看| 高清午夜精品一区二区三区| 啦啦啦视频在线资源免费观看| 日韩精品免费视频一区二区三区 | 女人精品久久久久毛片| 国语对白做爰xxxⅹ性视频网站| 欧美 日韩 精品 国产| 成人亚洲精品一区在线观看| 桃花免费在线播放| 99久久精品国产国产毛片| 午夜福利视频在线观看免费| 免费高清在线观看日韩| 免费高清在线观看视频在线观看| 亚州av有码| 婷婷色综合www| 麻豆成人av视频| av又黄又爽大尺度在线免费看| 日本黄色片子视频| 亚洲精品乱码久久久久久按摩| 99九九在线精品视频| 日日摸夜夜添夜夜添av毛片| 多毛熟女@视频| 九九爱精品视频在线观看| 婷婷色麻豆天堂久久| 插阴视频在线观看视频| 精品人妻熟女毛片av久久网站| 九色成人免费人妻av| 熟妇人妻不卡中文字幕| 欧美日韩视频精品一区| 建设人人有责人人尽责人人享有的| 插逼视频在线观看| 嫩草影院入口| 国产在线免费精品| 美女xxoo啪啪120秒动态图| 亚洲av成人精品一区久久| 3wmmmm亚洲av在线观看| 51国产日韩欧美| 高清午夜精品一区二区三区| 精品卡一卡二卡四卡免费| 午夜福利,免费看| 少妇的逼好多水| 日日啪夜夜爽| 亚洲欧美成人综合另类久久久| 三级国产精品片| 寂寞人妻少妇视频99o| 午夜福利视频精品| 久久久久久久久久成人| 99九九线精品视频在线观看视频| 国产成人午夜福利电影在线观看| 男女边吃奶边做爰视频| 中文字幕久久专区| 久久久久视频综合| 国产亚洲精品第一综合不卡 | 高清不卡的av网站| 日本黄色日本黄色录像| 亚洲av电影在线观看一区二区三区| 一个人免费看片子| 菩萨蛮人人尽说江南好唐韦庄| 亚洲五月色婷婷综合| 亚洲欧美精品自产自拍| 免费观看的影片在线观看| 黄色一级大片看看| 狂野欧美激情性xxxx在线观看| 久久国产精品男人的天堂亚洲 | 能在线免费看毛片的网站| 久久久久久久久久成人| 久久综合国产亚洲精品| 国产精品不卡视频一区二区| 大片电影免费在线观看免费| 少妇精品久久久久久久| 91aial.com中文字幕在线观看| 国产黄片视频在线免费观看| 亚洲无线观看免费| 成人国语在线视频| av女优亚洲男人天堂| www.av在线官网国产| 国产视频首页在线观看| 欧美变态另类bdsm刘玥| 有码 亚洲区| 丝袜喷水一区| 18禁裸乳无遮挡动漫免费视频| 在线亚洲精品国产二区图片欧美 | 精品人妻一区二区三区麻豆| 国产精品秋霞免费鲁丝片| 久久久精品区二区三区| 久久99蜜桃精品久久| 九色亚洲精品在线播放| 久久免费观看电影| 51国产日韩欧美| 三级国产精品欧美在线观看| 国内精品宾馆在线| 狠狠婷婷综合久久久久久88av| 久久 成人 亚洲| 99re6热这里在线精品视频| 狂野欧美激情性xxxx在线观看| 日韩精品免费视频一区二区三区 | 成人18禁高潮啪啪吃奶动态图 | 日韩大片免费观看网站| 亚洲精品乱久久久久久| 亚洲av成人精品一区久久| 色婷婷av一区二区三区视频| 亚洲人成网站在线播| 欧美日韩在线观看h| 97精品久久久久久久久久精品| 永久免费av网站大全| 插阴视频在线观看视频| 欧美日韩一区二区视频在线观看视频在线| av国产久精品久网站免费入址| 大香蕉久久网| 国产精品久久久久久av不卡| 国产免费现黄频在线看| 美女xxoo啪啪120秒动态图| 国产又色又爽无遮挡免| 久久午夜综合久久蜜桃| 国产成人一区二区在线| 综合色丁香网| 久久精品国产亚洲av涩爱| 国产视频首页在线观看| 日韩成人伦理影院| 黑人欧美特级aaaaaa片| 国产精品人妻久久久久久| 国产精品免费大片| 国产av一区二区精品久久| 亚洲综合色网址| 久久久国产欧美日韩av| 大码成人一级视频| 日韩电影二区| 精品久久久久久久久av| 日韩欧美一区视频在线观看| 伦理电影免费视频| 欧美激情 高清一区二区三区| 国产视频首页在线观看| 赤兔流量卡办理| 久久久精品94久久精品| 热99久久久久精品小说推荐| 亚洲国产精品一区三区| 精品人妻熟女毛片av久久网站| 久久人人爽av亚洲精品天堂| 精品少妇黑人巨大在线播放| 亚洲精品久久午夜乱码| 久久久久国产网址| 国产精品久久久久久av不卡| 大陆偷拍与自拍| 性色avwww在线观看| 人体艺术视频欧美日本| 亚洲av免费高清在线观看| 亚洲欧美精品自产自拍| 午夜激情av网站| 国产精品 国内视频| 黄色视频在线播放观看不卡| 亚洲精品久久久久久婷婷小说| 日韩 亚洲 欧美在线| a级毛片在线看网站| 九色亚洲精品在线播放| 久久99精品国语久久久| 嘟嘟电影网在线观看| av免费观看日本| 美女视频免费永久观看网站| 26uuu在线亚洲综合色| 18禁观看日本| 一级毛片 在线播放| 一个人免费看片子| 国产男女内射视频| 亚洲精品一二三| 制服人妻中文乱码| 人人妻人人爽人人添夜夜欢视频| 免费观看性生交大片5| 国产精品一区二区三区四区免费观看| videossex国产| 国产av码专区亚洲av| 美女cb高潮喷水在线观看| 亚洲欧美一区二区三区黑人 | 18禁在线无遮挡免费观看视频| 国产免费现黄频在线看| 中文字幕精品免费在线观看视频 | 国产男人的电影天堂91| 亚洲丝袜综合中文字幕| av天堂久久9| 国产伦理片在线播放av一区| 校园人妻丝袜中文字幕| av有码第一页| 午夜老司机福利剧场| 久久人妻熟女aⅴ| 久久久久网色| 亚洲激情五月婷婷啪啪| 999精品在线视频| 国产极品粉嫩免费观看在线 | 亚洲精品日韩av片在线观看| 久久精品国产亚洲av天美| www.色视频.com| 久久久久久久亚洲中文字幕| 黑人猛操日本美女一级片| 欧美激情 高清一区二区三区| 色视频在线一区二区三区| 黄色一级大片看看| 丰满迷人的少妇在线观看| 国产色婷婷99| 国产一区二区三区av在线| 国产黄色视频一区二区在线观看| 成年美女黄网站色视频大全免费 | 一个人免费看片子| 免费播放大片免费观看视频在线观看| 建设人人有责人人尽责人人享有的| 人体艺术视频欧美日本| 国产黄片视频在线免费观看| 欧美最新免费一区二区三区| 在线 av 中文字幕| 免费高清在线观看视频在线观看| 在线亚洲精品国产二区图片欧美 | 精品一品国产午夜福利视频| 丝袜喷水一区| 国产亚洲午夜精品一区二区久久| 亚洲性久久影院| 日日摸夜夜添夜夜爱| 最近中文字幕2019免费版| 老司机亚洲免费影院| 久久免费观看电影| 久热久热在线精品观看| 七月丁香在线播放| 久久久精品免费免费高清| 国产精品一区二区在线不卡| 精品酒店卫生间| 亚洲综合精品二区| 91午夜精品亚洲一区二区三区| 热re99久久精品国产66热6| 日韩精品有码人妻一区| 午夜影院在线不卡| av天堂久久9| 黄色一级大片看看| 2021少妇久久久久久久久久久| 纵有疾风起免费观看全集完整版| 妹子高潮喷水视频| 久久久久久伊人网av| 国产日韩欧美在线精品| 99九九线精品视频在线观看视频| 亚洲av二区三区四区| av不卡在线播放| 天天躁夜夜躁狠狠久久av| 亚洲av综合色区一区| 九九久久精品国产亚洲av麻豆| 天天影视国产精品| 亚洲情色 制服丝袜| 国产成人精品在线电影| 下体分泌物呈黄色| 69精品国产乱码久久久| 亚洲欧美色中文字幕在线| 97在线视频观看| 一个人看视频在线观看www免费| 午夜91福利影院| 男的添女的下面高潮视频| 99热这里只有是精品在线观看| 国产欧美日韩综合在线一区二区| 精品亚洲成a人片在线观看| 日本猛色少妇xxxxx猛交久久| 亚洲,欧美,日韩| 热re99久久国产66热| 人妻夜夜爽99麻豆av| 热re99久久精品国产66热6| 国产一区二区在线观看av| 日韩电影二区| 久久精品久久精品一区二区三区| 精品熟女少妇av免费看| 韩国av在线不卡| 欧美bdsm另类| 久久狼人影院| 久久青草综合色| 99国产综合亚洲精品| 亚洲人与动物交配视频| 国产欧美日韩综合在线一区二区| 中文字幕久久专区| 天美传媒精品一区二区| 国产熟女欧美一区二区| 99热全是精品| 亚洲国产精品专区欧美| 午夜免费男女啪啪视频观看| 嫩草影院入口| 91午夜精品亚洲一区二区三区| 三上悠亚av全集在线观看| 国产男人的电影天堂91| 久久精品国产亚洲av涩爱| 亚洲欧美清纯卡通| 国产精品偷伦视频观看了| 十八禁高潮呻吟视频| 夫妻午夜视频| 久久久国产精品麻豆| 亚洲欧美中文字幕日韩二区| 日本午夜av视频| 少妇精品久久久久久久| 国产成人av激情在线播放 | 少妇猛男粗大的猛烈进出视频| 午夜福利在线观看免费完整高清在| 日韩一区二区三区影片| 国产成人免费观看mmmm| 久久久欧美国产精品| 在线观看免费高清a一片| 交换朋友夫妻互换小说| 久久久久久久国产电影| 2018国产大陆天天弄谢| 国产欧美亚洲国产| a级毛片黄视频| 欧美人与性动交α欧美精品济南到 | 日韩成人av中文字幕在线观看| 全区人妻精品视频| 青春草国产在线视频| 菩萨蛮人人尽说江南好唐韦庄| 亚洲第一av免费看| 欧美日韩视频高清一区二区三区二| 夜夜看夜夜爽夜夜摸| 日本黄色片子视频| 黑人高潮一二区| 在线精品无人区一区二区三| 大香蕉97超碰在线| 亚洲美女黄色视频免费看| 国产高清三级在线| 国产综合精华液| 亚洲欧美精品自产自拍| 晚上一个人看的免费电影| 中文精品一卡2卡3卡4更新| 日本黄色日本黄色录像| av女优亚洲男人天堂| 99热国产这里只有精品6| 一级毛片aaaaaa免费看小| 黄色毛片三级朝国网站| 男女啪啪激烈高潮av片| 十八禁高潮呻吟视频| 黑人猛操日本美女一级片| 久久女婷五月综合色啪小说| 99热全是精品| 一本色道久久久久久精品综合| 久久亚洲国产成人精品v| 插阴视频在线观看视频| 欧美日韩视频精品一区| 免费人成在线观看视频色| 中文字幕av电影在线播放| 22中文网久久字幕| av线在线观看网站| 国产日韩一区二区三区精品不卡 | 美女福利国产在线| 亚洲av国产av综合av卡| 日本91视频免费播放| 欧美性感艳星| 精品熟女少妇av免费看| 18禁动态无遮挡网站| 国国产精品蜜臀av免费| 99精国产麻豆久久婷婷| 超碰97精品在线观看| 亚洲综合色网址| 女性生殖器流出的白浆| 免费黄色在线免费观看| 中国三级夫妇交换| 国产成人freesex在线| 国产片特级美女逼逼视频| 免费播放大片免费观看视频在线观看| 国产午夜精品一二区理论片| 插阴视频在线观看视频| 国产熟女午夜一区二区三区 | 中文字幕av电影在线播放| 日韩av不卡免费在线播放| 新久久久久国产一级毛片| 9色porny在线观看| 日本黄大片高清| 熟妇人妻不卡中文字幕| 制服人妻中文乱码| 大话2 男鬼变身卡| 蜜桃久久精品国产亚洲av| 男女国产视频网站| 免费观看av网站的网址| 纯流量卡能插随身wifi吗| 国产亚洲最大av| 夜夜看夜夜爽夜夜摸| 亚洲av不卡在线观看| 国产亚洲午夜精品一区二区久久| 久久久久久久久久人人人人人人| 国产无遮挡羞羞视频在线观看| 九色成人免费人妻av| 久久国产精品大桥未久av| 超碰97精品在线观看| 国产精品三级大全| 高清午夜精品一区二区三区| 晚上一个人看的免费电影| 精品一区在线观看国产| 日本免费在线观看一区| 久久久久久久国产电影| 久久午夜综合久久蜜桃| 三级国产精品欧美在线观看| 久久精品国产亚洲av天美| 欧美日韩视频高清一区二区三区二| av网站免费在线观看视频| 国产乱人偷精品视频| 天美传媒精品一区二区| 男女啪啪激烈高潮av片|