• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于知識增強的配電網(wǎng)運行信息關(guān)系抽取方法

    2024-09-12 00:00:00李強莊莉趙峰王秋琳張曉東
    現(xiàn)代電子技術(shù) 2024年5期
    關(guān)鍵詞:知識圖譜

    摘" 要: 知識圖譜可輔助現(xiàn)場人員處理配電網(wǎng)運行過程中積累的海量異構(gòu)文本,挖掘高價值運行信息。針對知識圖譜構(gòu)建需求人工標(biāo)注成本過高的問題,提出一種基于知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取方法。利用GloVe編碼與Bi?GRU網(wǎng)絡(luò)對配電網(wǎng)運行語料庫的句包進行向量表征;同時,新增外部知識增強模塊,通過Attention?GCN模型獲取編碼文本的句法結(jié)構(gòu)以及非線性關(guān)系,實現(xiàn)低成本的關(guān)系抽取,解決傳統(tǒng)遠(yuǎn)程監(jiān)督學(xué)習(xí)存在的長尾分布及噪聲問題,提升關(guān)系抽取精度。實驗結(jié)果表明,該方法在配電網(wǎng)運行信息關(guān)系抽取任務(wù)中表現(xiàn)優(yōu)秀,相較于主流模型在精確率上提升6%。

    關(guān)鍵詞: 關(guān)系抽??; 遠(yuǎn)程監(jiān)督; 外部知識增強; 配電網(wǎng)運行; 知識圖譜; GloVe編碼

    中圖分類號: TN99?34" " " " " " " " " " " " " "文獻標(biāo)識碼: A" " " " " " " " " " " " " 文章編號: 1004?373X(2024)05?0171?05

    Relation extraction of distribution network operation information

    via external knowledge enhancement

    LI Qiang1, ZHUANG Li2, ZHAO Feng1, WANG Qiulin2, ZHANG Xiaodong2

    (1. State Grid Information amp; Telecommunication Group Co., Ltd., Beijing 102211, China; 2. Fujian Yirong Information Technology Co., Ltd., Fuzhou 350001, China)

    Abstract: Knowledge graph can assist field personnel to process the massive heterogeneous texts accumulated in the operation process of distribution network and mine high?value operation information. In view of the fact that the cost of manual labeling for knowledge graph construction requirements is excessively high, a distant supervision relation extraction method based on knowledge enhancement is proposed. GloVe (global vectors for word representation) decoding and Bi?GRU (bidirectional?gated recurrent unit) are used to implement the vector representation for the sentence packets of the power grid operation corpus. An external knowledge enhancement module is added to obtain the syntactic structure and nonlinear relationship of the encoded text by the Attention?GCN (graph convolutional network) model, so as to realize low?cost relationship extraction and solve the problems of long?tail distribution and noise in traditional distant supervised learning, and then improve the relation extraction accuracy. Experimental results show that the proposed method performs excellently in the extraction task of distribution network operation information relationship, and improves the accuracy by 6% in comparison with the mainstream model.

    Keywords: relation extraction; distant supervision; external knowledge enhancement; distribution network operation; knowledge graph; GloVe decoding

    0" 引" 言

    隨著知識圖譜技術(shù)在配電網(wǎng)智能運維、智能問答以及輔助決策等領(lǐng)域的應(yīng)用日益廣泛,高質(zhì)量、低成本實現(xiàn)結(jié)構(gòu)化信息抽取成為該領(lǐng)域的研究焦點。其中,關(guān)系抽取作為構(gòu)建和拓展知識圖譜的重要前置技術(shù),意在自動建立任意兩個實體間可能存在的語義關(guān)系,是深度理解文本內(nèi)容的核心,可為下游自然語言處理任務(wù)的文本分析提供支撐[1?3]。

    遠(yuǎn)程監(jiān)督關(guān)系抽?。―istant Supervised Relation Extraction, DSRE)充分結(jié)合半監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的優(yōu)點,利用已有結(jié)構(gòu)化數(shù)據(jù)對語料庫進行自動標(biāo)注以實現(xiàn)高效率、低成本的訓(xùn)練樣本生成,該方法在科研領(lǐng)域與工業(yè)應(yīng)用領(lǐng)域均受到廣泛關(guān)注[4?7]。文獻[8]提出一種多示例學(xué)習(xí)(Multi?Instance Learning, MIL)框架,旨在降低樣本噪聲影響,基于“expressed?at?least?onece”假設(shè)認(rèn)為句包中至少存在一個句子能夠正確表征實體間的關(guān)系信息。此后的諸多研究工作均在此框架下開展。其中,文獻[9]提出了一種分段卷積神經(jīng)網(wǎng)絡(luò)(Piecewise Convolutional Neural Network, PCNN)對句子進行編碼,將多示例學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)融合,對句子特征進行分段提取以改善模型特征抽取效果。以此為基礎(chǔ),文獻[10]融合句級注意力機制與PCNN模型,充分利用句包中其他真正例的特征信息獲取完整的句子表征,構(gòu)建了性能較強的模型結(jié)構(gòu)。不同于文獻[10]提出的句級注意力模型,文獻[11]提出基于詞注意力機制的Bi?GRU(Bi?GRU based Word Attention, BGWA)模型,基于Bi?GRU模型實現(xiàn)詞向量的特征編碼,并引入詞級注意力機制以獲取更加完備的句子文本的向量表征。文獻[12]提出引入外部知識庫包含的邊界信息與實體類型信息輔助關(guān)系抽取構(gòu)建RESIDE模型,該方法通過對關(guān)系類型預(yù)測環(huán)節(jié)施加軟約束實現(xiàn)較高的識別精度。

    本文提出一種基于知識增強的配電網(wǎng)運行信息抽取方法,通過基于全局詞頻統(tǒng)計的詞表征(Global Vectors for Word Representation, GloVe)模型與Bi?GRU編碼器實現(xiàn)句子的向量化表征,并利用圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN)構(gòu)建外部知識庫信息提取模塊,挖掘目標(biāo)實體及關(guān)系的關(guān)聯(lián)信息和約束信息,降低關(guān)系類型識別時樣本噪聲與長尾分布的影響,有效提升模型關(guān)系抽取效果。

    1" 基于外部知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取模型

    1.1" 模型整體架構(gòu)

    模型架構(gòu)分為三層,具體如下:

    1) 句法特征提取層。本層采用GloVe詞表征方法與Bi?GRU句子編碼模型對句包中的句子進行編碼,將文本信息轉(zhuǎn)換為機器理解的向量表征形式。具體技術(shù)細(xì)節(jié)可見1.2節(jié)。

    2) 外部知識增強層。利用圖卷積神經(jīng)網(wǎng)絡(luò)與自注意力機制抽取外部知識庫中包含的實體類別信息和關(guān)系類別信息,并將其中的關(guān)系類別信息與句包向量編碼進行特征拼接和融合,通過自注意力機制調(diào)整不同句子關(guān)系信息的權(quán)重,獲取相應(yīng)的向量表征。

    3) 聚合分類層。將外部知識增強層獲取的實體類別關(guān)系與句包向量表征進行拼接,并將其送入Softmax分類器中進行關(guān)系抽取。模型整體架構(gòu)如圖1所示。

    1.2" 句法特征提取層

    根據(jù)關(guān)系抽取任務(wù)需求設(shè)置目標(biāo)實體為[e1,e2],其中,[e1]和[e2]分別為目標(biāo)實體的頭實體與尾實體。對于配電網(wǎng)運行信息語料庫中給定的句包[S=S1,S2,…,Sm],[Si=t1,t2,…,tn]表示句包中的任一句子,其中[m]為句包中的句子數(shù)量,[n]為句子長度,[ti]代表句子中的每一個詞。

    將[Si]輸入GloVe模型,通過窗口滑動的方式對語料庫中的文本信息進行掃描,進而分解詞[ti]與詞[tj]之間的共現(xiàn)矩陣[Xij],獲取相應(yīng)的詞向量表示[13]。該模型的損失函數(shù)為:

    [J=i, j=1NfXijvTivj+bi+bj-logXij2] (1)

    式中:[vi]、[vj∈Rk]分別為詞[ti]與詞[tj]的向量表征;[bi]和[bj]對應(yīng)詞[ti]與詞[tj]的偏差項;[fx]是一個加權(quán)函數(shù),用于對語料庫中統(tǒng)計得到的低頻詞進行衰減,減少低頻噪聲帶來的誤差。[f(x)]定義為:

    [fx=xxmax34," " " xlt;xmax1," " " " " " "x≥xmax] (2)

    此時,文本形式的單詞[ti]轉(zhuǎn)變?yōu)樵~向量[vi],目標(biāo)實體也轉(zhuǎn)換為對應(yīng)的向量表征[ve1]與[ve2]。由于需要對詞[ti]與目標(biāo)實體[e1]、[e2]的相對位置進行表征,故將[p]維的位置向量[pti]嵌入詞向量表示,獲得完整的詞嵌入[vpti]為:

    [vpti=vti;pti∈Rk+2p] (3)

    可得到句包中每個句子的向量表征為[φi=vpt1,vpt2,…,vptn],其中[φi∈Rn×k+2p]。

    得到GloVe模型輸出的詞嵌入序列后,以句子向量表征[φi]作為Bi?GRU編碼器的輸入,進一步捕捉長距離依賴關(guān)系和上下文語義信息。Bi?GRU編碼器模型的更新門[zgatei]和重置門[rgatei]狀態(tài)分別為:

    [zgatei=sigmoidWzvpti+Uzhi-1+bz] (4)

    [rgatei=sigmoidWrvpti+Urhi-1+br] (5)

    式中:[zgatei]、[rgatei∈0,1φ];[W]、[U]、[b]皆為網(wǎng)絡(luò)參數(shù);[hi-1]為上一層單元的輸出向量;更新門[zgatei]用來控制當(dāng)前狀態(tài)需要從歷史狀態(tài)中保留的信息,以及需要從候選狀態(tài)[hi]中接收的更新信息;重置門[rgatei]用來控制候選狀態(tài)[hi]對上一層的狀態(tài)[hi]的依賴性。候選狀態(tài)可表示為:

    [hi=tanhWhvpti+Uhri⊙hi-1+bh] (6)

    最終得到Bi?GRU編碼器模型的狀態(tài)更新方式為:

    [hi=zi⊙hi-1+1-zi⊙hi] (7)

    經(jīng)過Bi?GRU模型雙向編碼后,對其進行向量拼接得到融合長程依賴信息以及上下文語義信息的句子表征向量:

    [φBi?GRUi=vBi?GRUt1,vBi?GRUt2,…,vBi?GRUtn]" (8)

    1.3" 外部知識增強層

    外部知識增強層引用已有的電力知識圖譜作為支撐,使用其中收集、歸納的電網(wǎng)實體類型與關(guān)系類型輔助配電網(wǎng)運行信息語料庫進行關(guān)系抽取。由于知識圖譜以結(jié)構(gòu)化的三元組形式存儲實體、關(guān)系、屬性等信息,無法直接對其蘊含的信息與句子表征進行向量拼接,因此,需要利用圖卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)實體類型節(jié)點及其關(guān)聯(lián)節(jié)點進行編碼,獲取外部知識庫中更多的長尾關(guān)系信息,降低長尾分布帶來的噪聲影響[14?15]。

    定義GCN的圖結(jié)構(gòu)輸入為三元組[G=Eg,Rg,Sg],其中[Eg]為實體節(jié)點集合,[Rg]為關(guān)系節(jié)點集合,[Sg?Rg×Eg×Eg],代表邊的集合,實體節(jié)點與關(guān)系節(jié)點的集合可用[Ng=Eg?Rg]表示,將其與知識圖譜的三元組表現(xiàn)形式對齊后可得到圖中節(jié)點[ni]到節(jié)點[nj]的關(guān)系連接表示[ni,rij,nj]。由此可定義鄰接矩陣[Aij]為:

    [Aij=1," " "ni,nj∈Eg0," " "other" " " " "] (9)

    將鄰接矩陣[A]與目標(biāo)實體[e1,e2]的向量表征[ve1]、[ve2]作為GCN的輸入,可得到模型第[l]層關(guān)于節(jié)點[ni]的計算表示:

    [nli=ReLUj=1dgAijWlnl-1j+bl] (10)

    式中:[dg]為圖結(jié)構(gòu)的節(jié)點數(shù)目;[Wl]為第[l]層的權(quán)重矩陣;[bl]為偏置向量。重復(fù)該卷積操作可得到[L]層圖卷積神經(jīng)網(wǎng)絡(luò),其輸出向量表征可分為實體類型表征[VE=vE1,vE2,…,vEnE]與關(guān)系類型表征[VR=vR1,vR2,…,vRnR],[nE]與[nR]為實體類型數(shù)量以及關(guān)系類型數(shù)量。經(jīng)過GCN編碼后,圖結(jié)構(gòu)的實體、關(guān)系信息轉(zhuǎn)換為含有目標(biāo)實體[e1,e2]類型信息與關(guān)系信息的向量表征,可用于輔助遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)。

    針對目標(biāo)實體[e1,e2]的關(guān)系類別辨識任務(wù),需將知識圖譜中抽取的與其關(guān)聯(lián)的關(guān)系信息和句包[S=S1,S2,…,Sm]中所有句子的向量表征進行拼接。此時,無論句子[Si]中是否包含目標(biāo)實體[e1,e2],其均獲得了外部知識庫所能提供的所有與[e1]和[e2]可能存在的關(guān)系類別的向量信息。拼接后的句嵌入可表示為:

    [φRi=φBi?GRUi;vRi] (11)

    由于各句嵌入中存儲的目標(biāo)實體關(guān)系特征占比不同,無法準(zhǔn)確評估句子中關(guān)系信息的重要性。因此,利用句級注意力機制對句包進行處理,重點獲取與目標(biāo)實體信息以及關(guān)系類型信息相關(guān)的重要特征,從而忽略其他無效特征。與句子[Si]對應(yīng)的注意力分布[αi]定義為:

    [αi=expsφRi,qj=1mexpsφRj,q] (12)

    式中[q]為查詢向量,代表關(guān)系標(biāo)簽特征。經(jīng)過加權(quán)求和后可得到句包的向量表征[B]:

    [B=i=1mαiφRi] (13)

    1.4" 聚合分類層

    為體現(xiàn)實體類型邊界信息,將GCN編碼得到的實體信息表征向量與句包向量表征[B]嵌入拼接以構(gòu)成最終的句包向量表征[B]:

    [B=B;vEe1;vEe2] (14)

    最終將上述句包向量表征[B]作為Softmax分類器的輸入,計算其在關(guān)系標(biāo)簽上的概率分布,計算公式如下:

    [y=SoftmaxWBB+bB] (15)

    式中:[WB]為權(quán)重矩陣;[bB]為偏置向量;[y]是模型輸出的概率分布,為每一個關(guān)系類別標(biāo)簽提供置信度得分。

    2" 基于知識增強的配電網(wǎng)運行信息關(guān)系抽取方法

    配電網(wǎng)運行信息關(guān)系抽取流程如圖2所示,經(jīng)外部知識增強后可有效識別語料庫中的關(guān)系類型,實現(xiàn)關(guān)系自動構(gòu)建以擴充訓(xùn)練數(shù)據(jù)集。

    遠(yuǎn)程監(jiān)督關(guān)系抽取在配電網(wǎng)運行信息語料庫與電力知識圖譜間的作用機理如圖3所示。

    3" 實驗分析

    3.1" 數(shù)據(jù)集

    為了驗證基于知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取方法的有效性,本文主要以配電網(wǎng)運行信息語料庫為數(shù)據(jù)集進行實驗,該數(shù)據(jù)集包含基于Selenium框架獲取的配電網(wǎng)運行相關(guān)技術(shù)文獻550余篇,配網(wǎng)運行報告100余篇以及電力規(guī)程文檔,共計50萬字以上。經(jīng)過中文語法規(guī)則的歸納總結(jié),其中訓(xùn)練集包含4 410個實體對,測試集包含1 890個實體對,共定義6種關(guān)系類別標(biāo)簽,如表1所示。

    3.2" 評價指標(biāo)

    本文采用的評價指標(biāo)包括精確率[P](Precision)、召回率[R](Recall)以及[P]@[N]指標(biāo)。其中,精確率[P]表示分類器預(yù)測結(jié)果為正的樣本中真實正樣本的比例,召回率[R]表示樣本中真實正樣本被預(yù)測正確的比例。二者的計算公式如下:

    [P=TPc TPc+FPc]" (16)

    [R=TPc TPc+FNc] (17)

    式中:[TPc]為真正例;[FPc]為假正例;[FNc]為假反例。在評估關(guān)系抽取模型的性能時,本文還選用主流的[P]@[N]評價指標(biāo),分別計算[P]@100、[P]@200、[P]@300的數(shù)值。

    3.3" 實驗設(shè)置

    本文實驗測試環(huán)境為:Intel[?] CoreTM i5?9300HCPU處理器、NVIDIA GeForce GTX 1660Ti顯卡以及Windows 11操作系統(tǒng),編程環(huán)境為Python 3.7。選取交叉熵?fù)p失函數(shù)(Cross?Entropy Loss Function)與Adam優(yōu)化器對模型參數(shù)進行學(xué)習(xí)更新,模型的超參數(shù)設(shè)置如表2所示。

    3.4" 基線模型

    1) CNN:一種基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型[16]。

    2) CNN+Attention:一種基于卷積神經(jīng)網(wǎng)絡(luò)與注意力機制的關(guān)系抽取模型,其中句級注意力機制的使用有助于模型捕捉文本語句中的關(guān)鍵信息[17]。

    3) PCNN:一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

    4) PCNN+Attention:一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器與句級注意力機制的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

    5) BGWA:一種基于詞注意力的Bi?GRU模型。

    3.5" 實驗結(jié)果分析

    本節(jié)主要對比上述基線模型與本文所提方法在配電網(wǎng)運行信息語料庫中的表現(xiàn),以驗證本文方法的有效性,結(jié)果如表3所示。同時,為了驗證本文方法的性能和通用性,也使用Riedel基準(zhǔn)數(shù)據(jù)集對其和基線模型進行驗證,基準(zhǔn)實驗中的外部知識引自FreeBase知識庫,其結(jié)果如表4所示。綜合上述實驗可以發(fā)現(xiàn),本文方法通過使用外部知識庫提供的目標(biāo)實體關(guān)聯(lián)知識以及關(guān)系信息,有效提升了關(guān)系類型特征的提取能力,注意力機制的引入使得模型具備更強的關(guān)鍵信息捕捉能力。由于遠(yuǎn)程監(jiān)督方法對語料庫標(biāo)注樣本數(shù)量的擴充,極大地提升了模型的性能。

    對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)類基準(zhǔn)模型,PCNN模型通過對句子分段池化并與上下文特征拼接后進行關(guān)系類型分類,實現(xiàn)上下文語義特征信息的充分利用,相較于CNN關(guān)系抽取模型精度提升較為明顯。但在配電網(wǎng)運行信息語料庫數(shù)據(jù)集中,注意力機制的引入并未如預(yù)期改善識別結(jié)果。顯然,在傳統(tǒng)的監(jiān)督學(xué)習(xí)框架下,垂直領(lǐng)域語料庫數(shù)據(jù)集樣本不均衡問題導(dǎo)致句級注意力機制篩選分配權(quán)重時無法正確篩選重要信息。因此,CNN+Attention及PCNN+Attention模型在不同數(shù)據(jù)集上的表現(xiàn)差異較大。

    不同于以上使用句級注意力機制的模型,BGWA模型通過對每一個詞加入詞級注意力,利用分配權(quán)重的方式對句子內(nèi)部不同部分關(guān)鍵信息進行強調(diào)以獲取句子文本的最優(yōu)向量表征,可顯著優(yōu)化遠(yuǎn)程監(jiān)督關(guān)系抽取模型中編碼器的噪聲抑制能力,其在Riedel數(shù)據(jù)集上[P@N]指標(biāo)表現(xiàn)可提升30%左右。顯然,句級注意力機制受限于顆粒度,默認(rèn)句子中含有正確的關(guān)系分類標(biāo)簽導(dǎo)致大量噪聲的引入,嚴(yán)重影響關(guān)系類型的識別精度。

    本文與上述卷積神經(jīng)網(wǎng)絡(luò)基準(zhǔn)模型、句級注意力機制模型以及詞級注意力機制模型相比,在兩個數(shù)據(jù)集上各項精確率指標(biāo)均提升明顯,主要原因在于外部知識圖譜的引入改善了文本離散特征的提取能力,利用知識圖譜中的實體類型信息與關(guān)系類型信息過濾無效的關(guān)系信息,通過引入先驗知識顯著提高模型性能。同時,由于外部信息可以排除語料庫數(shù)據(jù)集所構(gòu)建的遠(yuǎn)程監(jiān)督樣本的干擾,過濾句級注意力機制引入的無效噪聲,更好地利用其權(quán)重分配的功能降低錯誤句子的權(quán)重數(shù)值,提升關(guān)系類型識別精確率。未來工作中考慮加入詞級注意力機制對本模型工作進行優(yōu)化,使其在噪聲抑制、長尾分布問題上的表現(xiàn)更為優(yōu)秀。

    4" 結(jié)" 論

    本文提出一種基于知識增強的配電網(wǎng)運行信息關(guān)系抽取模型,遠(yuǎn)程監(jiān)督學(xué)習(xí)框架通過樣本自動化標(biāo)注解決了樣本質(zhì)量較低和人工標(biāo)注成本過高的難題。在配電網(wǎng)運行信息語料庫數(shù)據(jù)集與Riedel數(shù)據(jù)集中均取得了優(yōu)異的關(guān)系抽取結(jié)果,相較于主流模型[P@N]分別提升6%與1%。

    參考文獻

    [1] 謝慶,蔡揚,謝軍,等.基于ALBERT的電力變壓器運維知識圖譜構(gòu)建方法與應(yīng)用研究[J].電工技術(shù)學(xué)報,2023,38(1):95?106.

    [2] 王嘉寧,何怡,朱仁煜,等.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取技術(shù)[J].華東師范大學(xué)學(xué)報(自然科學(xué)版),2020(5):113?130.

    [3] 宋瑋瓊,韓柳,羨慧竹,等.基于GCN的配電網(wǎng)知識圖譜構(gòu)建及應(yīng)用[J].電子設(shè)計工程,2022,30(7):160?164.

    [4] 王會勇,安康,張曉明.結(jié)合領(lǐng)域先驗詞匯的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計算機應(yīng)用與軟件,2022,39(8):34?43.

    [5] 尚蘭蘭.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取研究綜述[J].河北省科學(xué)院學(xué)報,2022,39(6):1?8.

    [6] MINTZ M, BILLS S, SNOW R, et al. Distant supervision for relation extraction without labeled data [C]// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. [S.l.: s.n.], 2009: 1003?1011.

    [7] 張水晶,陳建峽,吳歆韻.一種句袋注意力遠(yuǎn)程監(jiān)督關(guān)系抽取方法[J].計算機應(yīng)用與軟件,2022,39(8):193?203.

    [8] RIEDEL S, YAO L M, MCCALLUM A. Modeling relations and their mentions without labeled text [C]// European Conference on Machine Learning and Knowledge Discovery in Databases. Heidelberg: Springer, 2010: 148?163.

    [9] ZENG D J, LIU K, CHEN Y B, et al. Distant supervision for relation extraction via piecewise convolutional neural networks [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. [S.l.]: ACL, 2015: 1753?1762.

    [10] LIN Y K, SHEN S Q, LIU Z Y, et al. Neural relation extraction with selective attention over instances [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]: ACL, 2016: 2124?2133.

    [11] JAT S, KHANDELWAL S, TALUKDAR P. Improving distantly supervised relation extraction using word and entity based attention [EB/OL]. [2018?04?19]. https://arxiv.org/abs/1804.06987.

    [12] VASHISHTH S, JOSHI R, PRAYAGA S S, et al. Reside: Improving distantly?supervised neural relation extraction using side information [C]// Conference on Empirical Methods in Natural Language Processing. [S.l.: s.n.], 2018: 1257?1266.

    [13] PENNINGTON J, SOCHER R, MANNING C D. Glove: Global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). [S.l.]: ACL, 2014: 1532?1543.

    [14] KIPF T N, WELLING M. Semi?supervised classification with graph convolutional networks [EB/OL]. [2018?08?13]. http://arxiv.org/abs/1609.02907.

    [15] 曾碧卿,李硯龍,蔡劍.基于外部知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計算機系統(tǒng)應(yīng)用,2023,32(5):253?261.

    [16] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278?2324.

    [17] WANG L, CAO Z, DE MELO G, et al. Relation classification via multi?level attention CNNs [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]: ACL, 2016: 1298?1307.

    猜你喜歡
    知識圖譜
    國內(nèi)外智庫研究態(tài)勢知識圖譜對比分析
    國內(nèi)信息素養(yǎng)研究的知識圖譜分析
    國內(nèi)圖書館嵌入式服務(wù)研究主題分析
    國內(nèi)外政府信息公開研究的脈絡(luò)、流派與趨勢
    近十五年我國小學(xué)英語教學(xué)研究的熱點、問題及對策
    基于知識圖譜的產(chǎn)業(yè)集群創(chuàng)新績效可視化分析
    智富時代(2016年12期)2016-12-01 16:28:41
    基于知識圖譜的智慧教育研究熱點與趨勢分析
    國內(nèi)酒店品牌管理研究進展的可視化分析
    從《ET&S》與《電化教育研究》對比分析中管窺教育技術(shù)發(fā)展
    專家知識圖譜構(gòu)建研究
    99riav亚洲国产免费| 国产精品99久久99久久久不卡| 99在线视频只有这里精品首页| 亚洲aⅴ乱码一区二区在线播放 | 精品国内亚洲2022精品成人| www.熟女人妻精品国产| 国产亚洲欧美精品永久| 午夜精品在线福利| 久99久视频精品免费| 国产熟女午夜一区二区三区| 免费人成视频x8x8入口观看| 欧美成人性av电影在线观看| 国产精品精品国产色婷婷| 亚洲av美国av| 欧美黑人精品巨大| 亚洲自拍偷在线| 日韩欧美国产一区二区入口| 午夜视频精品福利| 悠悠久久av| 日韩免费av在线播放| 亚洲自拍偷在线| 日韩欧美一区二区三区在线观看| 搡老岳熟女国产| 亚洲av美国av| 90打野战视频偷拍视频| 精品国产乱码久久久久久男人| 免费女性裸体啪啪无遮挡网站| 国产亚洲精品久久久久5区| 宅男免费午夜| 一级a爱视频在线免费观看| 中文在线观看免费www的网站 | 母亲3免费完整高清在线观看| 91麻豆精品激情在线观看国产| 国产黄片美女视频| 一区二区三区国产精品乱码| 亚洲国产精品久久男人天堂| 99热6这里只有精品| 精品一区二区三区四区五区乱码| 18美女黄网站色大片免费观看| 国产欧美日韩一区二区三| 嫩草影视91久久| 手机成人av网站| 九色国产91popny在线| 精品无人区乱码1区二区| 久久久久国内视频| 色综合站精品国产| 欧美在线黄色| 中文字幕高清在线视频| 精品久久蜜臀av无| 18美女黄网站色大片免费观看| 欧美黑人精品巨大| 自线自在国产av| 欧美又色又爽又黄视频| 亚洲七黄色美女视频| 亚洲人成77777在线视频| 国产成人精品久久二区二区91| 桃红色精品国产亚洲av| av片东京热男人的天堂| 日韩欧美国产在线观看| 国产在线精品亚洲第一网站| 欧美日本视频| 777久久人妻少妇嫩草av网站| 欧美精品啪啪一区二区三区| 婷婷精品国产亚洲av| 日本黄色视频三级网站网址| 91九色精品人成在线观看| 高潮久久久久久久久久久不卡| 国产又黄又爽又无遮挡在线| svipshipincom国产片| 91老司机精品| 可以在线观看毛片的网站| 久久午夜综合久久蜜桃| 91麻豆av在线| 最近最新中文字幕大全电影3 | 一级毛片高清免费大全| 老司机在亚洲福利影院| 不卡一级毛片| 少妇粗大呻吟视频| 啦啦啦免费观看视频1| 黄色视频不卡| 久久中文字幕人妻熟女| 最近在线观看免费完整版| 老司机午夜福利在线观看视频| 两个人看的免费小视频| 欧美绝顶高潮抽搐喷水| 一区二区三区高清视频在线| 日韩精品免费视频一区二区三区| 成人三级黄色视频| 精品乱码久久久久久99久播| 黄色视频,在线免费观看| 国产成人影院久久av| 两人在一起打扑克的视频| 久久久久国产一级毛片高清牌| 91麻豆av在线| 亚洲在线自拍视频| 免费无遮挡裸体视频| 91成人精品电影| 露出奶头的视频| 1024手机看黄色片| 亚洲av电影不卡..在线观看| 亚洲精品av麻豆狂野| 亚洲 欧美 日韩 在线 免费| 日本 av在线| 90打野战视频偷拍视频| 99精品久久久久人妻精品| 国产精品永久免费网站| 亚洲第一电影网av| 中文字幕高清在线视频| 一区二区三区激情视频| 亚洲精品久久成人aⅴ小说| 99国产综合亚洲精品| 香蕉国产在线看| 亚洲第一电影网av| 超碰成人久久| 欧美国产精品va在线观看不卡| 午夜激情av网站| 妹子高潮喷水视频| 999久久久国产精品视频| 黄片小视频在线播放| 最近最新免费中文字幕在线| 国产久久久一区二区三区| 黑人巨大精品欧美一区二区mp4| 99精品欧美一区二区三区四区| 可以在线观看的亚洲视频| 欧美乱码精品一区二区三区| 国产在线观看jvid| 真人一进一出gif抽搐免费| 99国产精品99久久久久| 亚洲片人在线观看| 欧美色视频一区免费| 亚洲av片天天在线观看| 国产视频内射| 日日摸夜夜添夜夜添小说| 国产野战对白在线观看| 欧美成人一区二区免费高清观看 | 免费在线观看亚洲国产| 天天一区二区日本电影三级| 香蕉av资源在线| 丝袜人妻中文字幕| 国产亚洲精品一区二区www| 丰满的人妻完整版| 午夜激情福利司机影院| 欧美 亚洲 国产 日韩一| 午夜福利一区二区在线看| 久久九九热精品免费| 在线国产一区二区在线| 国产主播在线观看一区二区| 99精品久久久久人妻精品| 一本综合久久免费| 婷婷六月久久综合丁香| 亚洲成人久久爱视频| 又黄又粗又硬又大视频| 国产精品久久久久久精品电影 | 日韩精品青青久久久久久| 少妇被粗大的猛进出69影院| 日本免费a在线| 亚洲国产精品久久男人天堂| 婷婷精品国产亚洲av在线| 亚洲aⅴ乱码一区二区在线播放 | 好男人电影高清在线观看| 免费观看人在逋| 亚洲第一电影网av| 村上凉子中文字幕在线| 久久午夜亚洲精品久久| 欧美 亚洲 国产 日韩一| 久久精品国产清高在天天线| 在线观看日韩欧美| 婷婷精品国产亚洲av| 变态另类丝袜制服| 国产精品 欧美亚洲| 国产成人欧美| 91av网站免费观看| 成人18禁高潮啪啪吃奶动态图| 97碰自拍视频| 久久性视频一级片| 韩国av一区二区三区四区| 国产av一区二区精品久久| 久久香蕉激情| 天天一区二区日本电影三级| 成人免费观看视频高清| 成人18禁高潮啪啪吃奶动态图| 97碰自拍视频| 国产色视频综合| av电影中文网址| 一进一出好大好爽视频| www国产在线视频色| 午夜两性在线视频| 国产高清有码在线观看视频 | 国产亚洲精品av在线| 日韩精品免费视频一区二区三区| www.www免费av| 伦理电影免费视频| 国产亚洲av高清不卡| 久久久国产精品麻豆| 欧美中文综合在线视频| av天堂在线播放| 免费看十八禁软件| 欧美 亚洲 国产 日韩一| 免费在线观看完整版高清| 老司机午夜十八禁免费视频| 精品国产超薄肉色丝袜足j| 亚洲狠狠婷婷综合久久图片| 国产精品一区二区免费欧美| 国产一区在线观看成人免费| 欧美日韩福利视频一区二区| 亚洲最大成人中文| 久久久久久大精品| 最新美女视频免费是黄的| 午夜福利在线在线| 欧美成狂野欧美在线观看| 久久久久免费精品人妻一区二区 | 精品欧美一区二区三区在线| 18禁观看日本| 91国产中文字幕| 一本大道久久a久久精品| 久久中文看片网| 国产精品美女特级片免费视频播放器 | 黑人欧美特级aaaaaa片| 不卡一级毛片| 美女高潮到喷水免费观看| x7x7x7水蜜桃| 一本综合久久免费| 一区二区日韩欧美中文字幕| 国产成人影院久久av| 最新在线观看一区二区三区| 国产精品野战在线观看| 欧美亚洲日本最大视频资源| 一区福利在线观看| 国产伦人伦偷精品视频| 黄色片一级片一级黄色片| 免费观看精品视频网站| 国产视频一区二区在线看| 国产精品久久久人人做人人爽| 欧美黑人巨大hd| 国产久久久一区二区三区| 国产乱人伦免费视频| 国产不卡一卡二| 满18在线观看网站| 精品午夜福利视频在线观看一区| 色哟哟哟哟哟哟| av视频在线观看入口| 免费在线观看日本一区| 亚洲激情在线av| 亚洲一区高清亚洲精品| 亚洲精品国产区一区二| 久久精品91无色码中文字幕| 欧美性长视频在线观看| a级毛片a级免费在线| 国产aⅴ精品一区二区三区波| 久久国产乱子伦精品免费另类| 好男人在线观看高清免费视频 | 男人的好看免费观看在线视频 | 美女午夜性视频免费| 在线观看免费午夜福利视频| 亚洲国产高清在线一区二区三 | 精品卡一卡二卡四卡免费| 欧美激情 高清一区二区三区| www国产在线视频色| 老熟妇仑乱视频hdxx| 母亲3免费完整高清在线观看| 亚洲国产欧美网| 欧美黑人欧美精品刺激| 国内久久婷婷六月综合欲色啪| 人人妻,人人澡人人爽秒播| 一本久久中文字幕| 欧美不卡视频在线免费观看 | 制服丝袜大香蕉在线| 欧美日韩亚洲国产一区二区在线观看| 精品少妇一区二区三区视频日本电影| 久久久久久久精品吃奶| tocl精华| 久久香蕉精品热| 满18在线观看网站| 欧美绝顶高潮抽搐喷水| 久久中文字幕一级| 国产亚洲精品综合一区在线观看 | 亚洲一卡2卡3卡4卡5卡精品中文| 国产亚洲精品综合一区在线观看 | 精品乱码久久久久久99久播| 国产久久久一区二区三区| 久久久久亚洲av毛片大全| 亚洲五月婷婷丁香| 国产精品1区2区在线观看.| 日韩欧美免费精品| 国产亚洲精品一区二区www| 亚洲精品粉嫩美女一区| 国产成人av激情在线播放| 丁香欧美五月| 精品久久久久久久末码| 真人做人爱边吃奶动态| 亚洲成人国产一区在线观看| 欧美日韩亚洲国产一区二区在线观看| 国产又爽黄色视频| 国产精品亚洲av一区麻豆| 男人舔女人的私密视频| 亚洲成人久久爱视频| 亚洲国产高清在线一区二区三 | 欧美绝顶高潮抽搐喷水| 亚洲无线在线观看| 法律面前人人平等表现在哪些方面| 亚洲成人久久性| 国产成年人精品一区二区| 国产欧美日韩一区二区三| 一个人观看的视频www高清免费观看 | 中文字幕最新亚洲高清| 久久精品人妻少妇| 中文字幕另类日韩欧美亚洲嫩草| 十分钟在线观看高清视频www| 欧美国产精品va在线观看不卡| 中文字幕人妻丝袜一区二区| 精品欧美一区二区三区在线| 一边摸一边做爽爽视频免费| 91成年电影在线观看| 国产视频内射| 久久精品91蜜桃| 欧美性猛交黑人性爽| 91麻豆av在线| 国产亚洲av高清不卡| 19禁男女啪啪无遮挡网站| 97超级碰碰碰精品色视频在线观看| 少妇熟女aⅴ在线视频| 草草在线视频免费看| 午夜精品在线福利| 日日夜夜操网爽| 最好的美女福利视频网| 夜夜爽天天搞| 在线播放国产精品三级| 免费在线观看影片大全网站| 日韩视频一区二区在线观看| √禁漫天堂资源中文www| 少妇粗大呻吟视频| 搡老妇女老女人老熟妇| 黄色丝袜av网址大全| 男人舔女人的私密视频| 日本免费a在线| 久久人妻av系列| 欧美又色又爽又黄视频| 免费搜索国产男女视频| 久久青草综合色| 精品久久久久久,| 久久午夜亚洲精品久久| 又黄又粗又硬又大视频| 男女之事视频高清在线观看| 日本熟妇午夜| 亚洲av熟女| 国产免费男女视频| 性色av乱码一区二区三区2| 91在线观看av| 国产亚洲精品久久久久5区| 亚洲国产欧美网| 淫秽高清视频在线观看| 女人爽到高潮嗷嗷叫在线视频| 黑丝袜美女国产一区| 国产亚洲精品综合一区在线观看 | 在线观看日韩欧美| 大型黄色视频在线免费观看| 中文字幕精品亚洲无线码一区 | 国产亚洲av嫩草精品影院| 日韩中文字幕欧美一区二区| 后天国语完整版免费观看| 国产午夜福利久久久久久| 成人手机av| 亚洲 欧美 日韩 在线 免费| 国产熟女午夜一区二区三区| 伊人久久大香线蕉亚洲五| 可以在线观看的亚洲视频| 18禁观看日本| 两人在一起打扑克的视频| 男女午夜视频在线观看| 亚洲欧美精品综合久久99| 啦啦啦免费观看视频1| 老司机福利观看| 欧美在线黄色| 国产av一区在线观看免费| 精品国产美女av久久久久小说| 成人18禁在线播放| 岛国视频午夜一区免费看| 男女那种视频在线观看| 国产av不卡久久| 精品国产乱子伦一区二区三区| 久久天堂一区二区三区四区| 欧美一级a爱片免费观看看 | 99久久精品国产亚洲精品| av天堂在线播放| 亚洲免费av在线视频| 久久国产乱子伦精品免费另类| www国产在线视频色| 99re在线观看精品视频| 亚洲第一电影网av| 99精品欧美一区二区三区四区| 欧美一级a爱片免费观看看 | av片东京热男人的天堂| 国产真人三级小视频在线观看| 亚洲精品国产一区二区精华液| 日韩精品免费视频一区二区三区| 亚洲天堂国产精品一区在线| АⅤ资源中文在线天堂| 国产亚洲精品综合一区在线观看 | 精品久久蜜臀av无| 国产又色又爽无遮挡免费看| √禁漫天堂资源中文www| 免费av毛片视频| 观看免费一级毛片| 国产一区二区在线av高清观看| 黄色毛片三级朝国网站| 天天添夜夜摸| 女性被躁到高潮视频| 欧美黑人巨大hd| 国产视频一区二区在线看| 青草久久国产| 自线自在国产av| 桃色一区二区三区在线观看| 日韩精品免费视频一区二区三区| 成人18禁高潮啪啪吃奶动态图| 亚洲成av片中文字幕在线观看| 窝窝影院91人妻| 嫩草影院精品99| 成人永久免费在线观看视频| 母亲3免费完整高清在线观看| 欧美成人午夜精品| 欧美日韩一级在线毛片| 国产精品影院久久| 午夜福利成人在线免费观看| 在线永久观看黄色视频| 一级毛片女人18水好多| 成人免费观看视频高清| 99国产精品一区二区三区| 69av精品久久久久久| 亚洲精品一卡2卡三卡4卡5卡| 在线观看午夜福利视频| 亚洲国产欧美日韩在线播放| 亚洲欧美激情综合另类| 国产精品香港三级国产av潘金莲| xxx96com| 亚洲av电影在线进入| 亚洲一区二区三区不卡视频| 啪啪无遮挡十八禁网站| 999久久久精品免费观看国产| 可以在线观看的亚洲视频| 男女午夜视频在线观看| 久久伊人香网站| 亚洲精品色激情综合| 精品久久久久久久人妻蜜臀av| 一级a爱视频在线免费观看| 99热只有精品国产| 日韩欧美在线二视频| 国产一级毛片七仙女欲春2 | 精品国产乱子伦一区二区三区| 亚洲国产毛片av蜜桃av| aaaaa片日本免费| 久久久久久九九精品二区国产 | 99久久国产精品久久久| 亚洲中文字幕一区二区三区有码在线看 | 免费一级毛片在线播放高清视频| 久久99热这里只有精品18| 欧美在线一区亚洲| 日本熟妇午夜| 极品教师在线免费播放| 人妻丰满熟妇av一区二区三区| 在线永久观看黄色视频| 久久久精品国产亚洲av高清涩受| 黄色 视频免费看| 午夜免费激情av| 美女国产高潮福利片在线看| 无遮挡黄片免费观看| 精品欧美国产一区二区三| 亚洲 欧美 日韩 在线 免费| 欧美成人一区二区免费高清观看 | 99久久精品国产亚洲精品| 大型黄色视频在线免费观看| 给我免费播放毛片高清在线观看| 国产精品久久视频播放| 黄色成人免费大全| 亚洲欧美一区二区三区黑人| 9191精品国产免费久久| 女生性感内裤真人,穿戴方法视频| 日日夜夜操网爽| 老汉色av国产亚洲站长工具| 亚洲第一青青草原| 久久人妻av系列| 国产免费av片在线观看野外av| 午夜福利成人在线免费观看| 2021天堂中文幕一二区在线观 | 午夜福利高清视频| 欧美成狂野欧美在线观看| 一区二区三区激情视频| 亚洲精品久久国产高清桃花| 国产精品99久久99久久久不卡| 久久精品国产亚洲av高清一级| 欧美绝顶高潮抽搐喷水| 免费女性裸体啪啪无遮挡网站| 亚洲av片天天在线观看| 露出奶头的视频| 午夜日韩欧美国产| a级毛片a级免费在线| 亚洲国产欧美网| 免费高清在线观看日韩| 99国产精品99久久久久| 欧美日韩中文字幕国产精品一区二区三区| 脱女人内裤的视频| 中文字幕人妻丝袜一区二区| 国产在线精品亚洲第一网站| 国产成年人精品一区二区| 亚洲在线自拍视频| www.999成人在线观看| 人妻丰满熟妇av一区二区三区| 免费高清视频大片| 50天的宝宝边吃奶边哭怎么回事| 亚洲成人国产一区在线观看| 一本精品99久久精品77| 久久久水蜜桃国产精品网| 日韩国内少妇激情av| 禁无遮挡网站| 欧美av亚洲av综合av国产av| 91老司机精品| 男女之事视频高清在线观看| 亚洲精品国产区一区二| 精品久久蜜臀av无| 日韩欧美一区二区三区在线观看| 观看免费一级毛片| 国产欧美日韩精品亚洲av| 日日夜夜操网爽| 亚洲精品国产精品久久久不卡| 午夜免费激情av| 日韩中文字幕欧美一区二区| 久久久久九九精品影院| 黄网站色视频无遮挡免费观看| 十八禁人妻一区二区| 精品国产亚洲在线| 久9热在线精品视频| 久久香蕉精品热| 一区二区三区精品91| 亚洲成人免费电影在线观看| 亚洲成av人片免费观看| 久久婷婷成人综合色麻豆| 久99久视频精品免费| 韩国精品一区二区三区| 欧美色欧美亚洲另类二区| 精品久久久久久,| 成熟少妇高潮喷水视频| 久久99热这里只有精品18| 最新美女视频免费是黄的| 国产精品一区二区三区四区久久 | 少妇粗大呻吟视频| 国产麻豆成人av免费视频| 国产男靠女视频免费网站| 亚洲成人久久爱视频| 亚洲精品一区av在线观看| 久久久国产成人精品二区| 中文字幕人成人乱码亚洲影| 欧洲精品卡2卡3卡4卡5卡区| 国产精品,欧美在线| 50天的宝宝边吃奶边哭怎么回事| 国产一区二区在线av高清观看| 久久精品国产综合久久久| 成人午夜高清在线视频 | av福利片在线| 久久久久亚洲av毛片大全| 国产单亲对白刺激| 中文字幕人成人乱码亚洲影| 免费看美女性在线毛片视频| 国产亚洲精品av在线| 桃红色精品国产亚洲av| 亚洲自拍偷在线| 日韩大尺度精品在线看网址| 精品国产乱码久久久久久男人| 亚洲av五月六月丁香网| 午夜免费激情av| 午夜视频精品福利| 欧美色视频一区免费| 悠悠久久av| av天堂在线播放| 亚洲成国产人片在线观看| 国产一区在线观看成人免费| 午夜成年电影在线免费观看| 国产91精品成人一区二区三区| 黄色a级毛片大全视频| 女性生殖器流出的白浆| 欧美乱色亚洲激情| 成人午夜高清在线视频 | 搡老妇女老女人老熟妇| 国产黄片美女视频| 国产成人影院久久av| 一进一出抽搐gif免费好疼| 97超级碰碰碰精品色视频在线观看| 精华霜和精华液先用哪个| 色尼玛亚洲综合影院| 欧美黑人欧美精品刺激| 在线国产一区二区在线| 成人午夜高清在线视频 | 青草久久国产| 大型黄色视频在线免费观看| 国产单亲对白刺激| 久久99热这里只有精品18| 免费在线观看日本一区| 久久中文字幕一级| 国语自产精品视频在线第100页| tocl精华| 亚洲真实伦在线观看| 日本三级黄在线观看| 国产精品自产拍在线观看55亚洲| 亚洲一区二区三区色噜噜| www.精华液| 免费看美女性在线毛片视频| 欧美一区二区精品小视频在线| 亚洲欧洲精品一区二区精品久久久| 性色av乱码一区二区三区2| 亚洲全国av大片| 91大片在线观看| 国产成人精品无人区| 伊人久久大香线蕉亚洲五| 黑人欧美特级aaaaaa片| 男女视频在线观看网站免费 | 欧美日韩乱码在线| 久久久久久九九精品二区国产 |