• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于知識增強的配電網(wǎng)運行信息關(guān)系抽取方法

    2024-09-12 00:00:00李強莊莉趙峰王秋琳張曉東
    現(xiàn)代電子技術(shù) 2024年5期
    關(guān)鍵詞:知識圖譜

    摘" 要: 知識圖譜可輔助現(xiàn)場人員處理配電網(wǎng)運行過程中積累的海量異構(gòu)文本,挖掘高價值運行信息。針對知識圖譜構(gòu)建需求人工標(biāo)注成本過高的問題,提出一種基于知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取方法。利用GloVe編碼與Bi?GRU網(wǎng)絡(luò)對配電網(wǎng)運行語料庫的句包進行向量表征;同時,新增外部知識增強模塊,通過Attention?GCN模型獲取編碼文本的句法結(jié)構(gòu)以及非線性關(guān)系,實現(xiàn)低成本的關(guān)系抽取,解決傳統(tǒng)遠(yuǎn)程監(jiān)督學(xué)習(xí)存在的長尾分布及噪聲問題,提升關(guān)系抽取精度。實驗結(jié)果表明,該方法在配電網(wǎng)運行信息關(guān)系抽取任務(wù)中表現(xiàn)優(yōu)秀,相較于主流模型在精確率上提升6%。

    關(guān)鍵詞: 關(guān)系抽??; 遠(yuǎn)程監(jiān)督; 外部知識增強; 配電網(wǎng)運行; 知識圖譜; GloVe編碼

    中圖分類號: TN99?34" " " " " " " " " " " " " "文獻標(biāo)識碼: A" " " " " " " " " " " " " 文章編號: 1004?373X(2024)05?0171?05

    Relation extraction of distribution network operation information

    via external knowledge enhancement

    LI Qiang1, ZHUANG Li2, ZHAO Feng1, WANG Qiulin2, ZHANG Xiaodong2

    (1. State Grid Information amp; Telecommunication Group Co., Ltd., Beijing 102211, China; 2. Fujian Yirong Information Technology Co., Ltd., Fuzhou 350001, China)

    Abstract: Knowledge graph can assist field personnel to process the massive heterogeneous texts accumulated in the operation process of distribution network and mine high?value operation information. In view of the fact that the cost of manual labeling for knowledge graph construction requirements is excessively high, a distant supervision relation extraction method based on knowledge enhancement is proposed. GloVe (global vectors for word representation) decoding and Bi?GRU (bidirectional?gated recurrent unit) are used to implement the vector representation for the sentence packets of the power grid operation corpus. An external knowledge enhancement module is added to obtain the syntactic structure and nonlinear relationship of the encoded text by the Attention?GCN (graph convolutional network) model, so as to realize low?cost relationship extraction and solve the problems of long?tail distribution and noise in traditional distant supervised learning, and then improve the relation extraction accuracy. Experimental results show that the proposed method performs excellently in the extraction task of distribution network operation information relationship, and improves the accuracy by 6% in comparison with the mainstream model.

    Keywords: relation extraction; distant supervision; external knowledge enhancement; distribution network operation; knowledge graph; GloVe decoding

    0" 引" 言

    隨著知識圖譜技術(shù)在配電網(wǎng)智能運維、智能問答以及輔助決策等領(lǐng)域的應(yīng)用日益廣泛,高質(zhì)量、低成本實現(xiàn)結(jié)構(gòu)化信息抽取成為該領(lǐng)域的研究焦點。其中,關(guān)系抽取作為構(gòu)建和拓展知識圖譜的重要前置技術(shù),意在自動建立任意兩個實體間可能存在的語義關(guān)系,是深度理解文本內(nèi)容的核心,可為下游自然語言處理任務(wù)的文本分析提供支撐[1?3]。

    遠(yuǎn)程監(jiān)督關(guān)系抽?。―istant Supervised Relation Extraction, DSRE)充分結(jié)合半監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)的優(yōu)點,利用已有結(jié)構(gòu)化數(shù)據(jù)對語料庫進行自動標(biāo)注以實現(xiàn)高效率、低成本的訓(xùn)練樣本生成,該方法在科研領(lǐng)域與工業(yè)應(yīng)用領(lǐng)域均受到廣泛關(guān)注[4?7]。文獻[8]提出一種多示例學(xué)習(xí)(Multi?Instance Learning, MIL)框架,旨在降低樣本噪聲影響,基于“expressed?at?least?onece”假設(shè)認(rèn)為句包中至少存在一個句子能夠正確表征實體間的關(guān)系信息。此后的諸多研究工作均在此框架下開展。其中,文獻[9]提出了一種分段卷積神經(jīng)網(wǎng)絡(luò)(Piecewise Convolutional Neural Network, PCNN)對句子進行編碼,將多示例學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)融合,對句子特征進行分段提取以改善模型特征抽取效果。以此為基礎(chǔ),文獻[10]融合句級注意力機制與PCNN模型,充分利用句包中其他真正例的特征信息獲取完整的句子表征,構(gòu)建了性能較強的模型結(jié)構(gòu)。不同于文獻[10]提出的句級注意力模型,文獻[11]提出基于詞注意力機制的Bi?GRU(Bi?GRU based Word Attention, BGWA)模型,基于Bi?GRU模型實現(xiàn)詞向量的特征編碼,并引入詞級注意力機制以獲取更加完備的句子文本的向量表征。文獻[12]提出引入外部知識庫包含的邊界信息與實體類型信息輔助關(guān)系抽取構(gòu)建RESIDE模型,該方法通過對關(guān)系類型預(yù)測環(huán)節(jié)施加軟約束實現(xiàn)較高的識別精度。

    本文提出一種基于知識增強的配電網(wǎng)運行信息抽取方法,通過基于全局詞頻統(tǒng)計的詞表征(Global Vectors for Word Representation, GloVe)模型與Bi?GRU編碼器實現(xiàn)句子的向量化表征,并利用圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Network, GCN)構(gòu)建外部知識庫信息提取模塊,挖掘目標(biāo)實體及關(guān)系的關(guān)聯(lián)信息和約束信息,降低關(guān)系類型識別時樣本噪聲與長尾分布的影響,有效提升模型關(guān)系抽取效果。

    1" 基于外部知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取模型

    1.1" 模型整體架構(gòu)

    模型架構(gòu)分為三層,具體如下:

    1) 句法特征提取層。本層采用GloVe詞表征方法與Bi?GRU句子編碼模型對句包中的句子進行編碼,將文本信息轉(zhuǎn)換為機器理解的向量表征形式。具體技術(shù)細(xì)節(jié)可見1.2節(jié)。

    2) 外部知識增強層。利用圖卷積神經(jīng)網(wǎng)絡(luò)與自注意力機制抽取外部知識庫中包含的實體類別信息和關(guān)系類別信息,并將其中的關(guān)系類別信息與句包向量編碼進行特征拼接和融合,通過自注意力機制調(diào)整不同句子關(guān)系信息的權(quán)重,獲取相應(yīng)的向量表征。

    3) 聚合分類層。將外部知識增強層獲取的實體類別關(guān)系與句包向量表征進行拼接,并將其送入Softmax分類器中進行關(guān)系抽取。模型整體架構(gòu)如圖1所示。

    1.2" 句法特征提取層

    根據(jù)關(guān)系抽取任務(wù)需求設(shè)置目標(biāo)實體為[e1,e2],其中,[e1]和[e2]分別為目標(biāo)實體的頭實體與尾實體。對于配電網(wǎng)運行信息語料庫中給定的句包[S=S1,S2,…,Sm],[Si=t1,t2,…,tn]表示句包中的任一句子,其中[m]為句包中的句子數(shù)量,[n]為句子長度,[ti]代表句子中的每一個詞。

    將[Si]輸入GloVe模型,通過窗口滑動的方式對語料庫中的文本信息進行掃描,進而分解詞[ti]與詞[tj]之間的共現(xiàn)矩陣[Xij],獲取相應(yīng)的詞向量表示[13]。該模型的損失函數(shù)為:

    [J=i, j=1NfXijvTivj+bi+bj-logXij2] (1)

    式中:[vi]、[vj∈Rk]分別為詞[ti]與詞[tj]的向量表征;[bi]和[bj]對應(yīng)詞[ti]與詞[tj]的偏差項;[fx]是一個加權(quán)函數(shù),用于對語料庫中統(tǒng)計得到的低頻詞進行衰減,減少低頻噪聲帶來的誤差。[f(x)]定義為:

    [fx=xxmax34," " " xlt;xmax1," " " " " " "x≥xmax] (2)

    此時,文本形式的單詞[ti]轉(zhuǎn)變?yōu)樵~向量[vi],目標(biāo)實體也轉(zhuǎn)換為對應(yīng)的向量表征[ve1]與[ve2]。由于需要對詞[ti]與目標(biāo)實體[e1]、[e2]的相對位置進行表征,故將[p]維的位置向量[pti]嵌入詞向量表示,獲得完整的詞嵌入[vpti]為:

    [vpti=vti;pti∈Rk+2p] (3)

    可得到句包中每個句子的向量表征為[φi=vpt1,vpt2,…,vptn],其中[φi∈Rn×k+2p]。

    得到GloVe模型輸出的詞嵌入序列后,以句子向量表征[φi]作為Bi?GRU編碼器的輸入,進一步捕捉長距離依賴關(guān)系和上下文語義信息。Bi?GRU編碼器模型的更新門[zgatei]和重置門[rgatei]狀態(tài)分別為:

    [zgatei=sigmoidWzvpti+Uzhi-1+bz] (4)

    [rgatei=sigmoidWrvpti+Urhi-1+br] (5)

    式中:[zgatei]、[rgatei∈0,1φ];[W]、[U]、[b]皆為網(wǎng)絡(luò)參數(shù);[hi-1]為上一層單元的輸出向量;更新門[zgatei]用來控制當(dāng)前狀態(tài)需要從歷史狀態(tài)中保留的信息,以及需要從候選狀態(tài)[hi]中接收的更新信息;重置門[rgatei]用來控制候選狀態(tài)[hi]對上一層的狀態(tài)[hi]的依賴性。候選狀態(tài)可表示為:

    [hi=tanhWhvpti+Uhri⊙hi-1+bh] (6)

    最終得到Bi?GRU編碼器模型的狀態(tài)更新方式為:

    [hi=zi⊙hi-1+1-zi⊙hi] (7)

    經(jīng)過Bi?GRU模型雙向編碼后,對其進行向量拼接得到融合長程依賴信息以及上下文語義信息的句子表征向量:

    [φBi?GRUi=vBi?GRUt1,vBi?GRUt2,…,vBi?GRUtn]" (8)

    1.3" 外部知識增強層

    外部知識增強層引用已有的電力知識圖譜作為支撐,使用其中收集、歸納的電網(wǎng)實體類型與關(guān)系類型輔助配電網(wǎng)運行信息語料庫進行關(guān)系抽取。由于知識圖譜以結(jié)構(gòu)化的三元組形式存儲實體、關(guān)系、屬性等信息,無法直接對其蘊含的信息與句子表征進行向量拼接,因此,需要利用圖卷積神經(jīng)網(wǎng)絡(luò)對目標(biāo)實體類型節(jié)點及其關(guān)聯(lián)節(jié)點進行編碼,獲取外部知識庫中更多的長尾關(guān)系信息,降低長尾分布帶來的噪聲影響[14?15]。

    定義GCN的圖結(jié)構(gòu)輸入為三元組[G=Eg,Rg,Sg],其中[Eg]為實體節(jié)點集合,[Rg]為關(guān)系節(jié)點集合,[Sg?Rg×Eg×Eg],代表邊的集合,實體節(jié)點與關(guān)系節(jié)點的集合可用[Ng=Eg?Rg]表示,將其與知識圖譜的三元組表現(xiàn)形式對齊后可得到圖中節(jié)點[ni]到節(jié)點[nj]的關(guān)系連接表示[ni,rij,nj]。由此可定義鄰接矩陣[Aij]為:

    [Aij=1," " "ni,nj∈Eg0," " "other" " " " "] (9)

    將鄰接矩陣[A]與目標(biāo)實體[e1,e2]的向量表征[ve1]、[ve2]作為GCN的輸入,可得到模型第[l]層關(guān)于節(jié)點[ni]的計算表示:

    [nli=ReLUj=1dgAijWlnl-1j+bl] (10)

    式中:[dg]為圖結(jié)構(gòu)的節(jié)點數(shù)目;[Wl]為第[l]層的權(quán)重矩陣;[bl]為偏置向量。重復(fù)該卷積操作可得到[L]層圖卷積神經(jīng)網(wǎng)絡(luò),其輸出向量表征可分為實體類型表征[VE=vE1,vE2,…,vEnE]與關(guān)系類型表征[VR=vR1,vR2,…,vRnR],[nE]與[nR]為實體類型數(shù)量以及關(guān)系類型數(shù)量。經(jīng)過GCN編碼后,圖結(jié)構(gòu)的實體、關(guān)系信息轉(zhuǎn)換為含有目標(biāo)實體[e1,e2]類型信息與關(guān)系信息的向量表征,可用于輔助遠(yuǎn)程監(jiān)督關(guān)系抽取任務(wù)。

    針對目標(biāo)實體[e1,e2]的關(guān)系類別辨識任務(wù),需將知識圖譜中抽取的與其關(guān)聯(lián)的關(guān)系信息和句包[S=S1,S2,…,Sm]中所有句子的向量表征進行拼接。此時,無論句子[Si]中是否包含目標(biāo)實體[e1,e2],其均獲得了外部知識庫所能提供的所有與[e1]和[e2]可能存在的關(guān)系類別的向量信息。拼接后的句嵌入可表示為:

    [φRi=φBi?GRUi;vRi] (11)

    由于各句嵌入中存儲的目標(biāo)實體關(guān)系特征占比不同,無法準(zhǔn)確評估句子中關(guān)系信息的重要性。因此,利用句級注意力機制對句包進行處理,重點獲取與目標(biāo)實體信息以及關(guān)系類型信息相關(guān)的重要特征,從而忽略其他無效特征。與句子[Si]對應(yīng)的注意力分布[αi]定義為:

    [αi=expsφRi,qj=1mexpsφRj,q] (12)

    式中[q]為查詢向量,代表關(guān)系標(biāo)簽特征。經(jīng)過加權(quán)求和后可得到句包的向量表征[B]:

    [B=i=1mαiφRi] (13)

    1.4" 聚合分類層

    為體現(xiàn)實體類型邊界信息,將GCN編碼得到的實體信息表征向量與句包向量表征[B]嵌入拼接以構(gòu)成最終的句包向量表征[B]:

    [B=B;vEe1;vEe2] (14)

    最終將上述句包向量表征[B]作為Softmax分類器的輸入,計算其在關(guān)系標(biāo)簽上的概率分布,計算公式如下:

    [y=SoftmaxWBB+bB] (15)

    式中:[WB]為權(quán)重矩陣;[bB]為偏置向量;[y]是模型輸出的概率分布,為每一個關(guān)系類別標(biāo)簽提供置信度得分。

    2" 基于知識增強的配電網(wǎng)運行信息關(guān)系抽取方法

    配電網(wǎng)運行信息關(guān)系抽取流程如圖2所示,經(jīng)外部知識增強后可有效識別語料庫中的關(guān)系類型,實現(xiàn)關(guān)系自動構(gòu)建以擴充訓(xùn)練數(shù)據(jù)集。

    遠(yuǎn)程監(jiān)督關(guān)系抽取在配電網(wǎng)運行信息語料庫與電力知識圖譜間的作用機理如圖3所示。

    3" 實驗分析

    3.1" 數(shù)據(jù)集

    為了驗證基于知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取方法的有效性,本文主要以配電網(wǎng)運行信息語料庫為數(shù)據(jù)集進行實驗,該數(shù)據(jù)集包含基于Selenium框架獲取的配電網(wǎng)運行相關(guān)技術(shù)文獻550余篇,配網(wǎng)運行報告100余篇以及電力規(guī)程文檔,共計50萬字以上。經(jīng)過中文語法規(guī)則的歸納總結(jié),其中訓(xùn)練集包含4 410個實體對,測試集包含1 890個實體對,共定義6種關(guān)系類別標(biāo)簽,如表1所示。

    3.2" 評價指標(biāo)

    本文采用的評價指標(biāo)包括精確率[P](Precision)、召回率[R](Recall)以及[P]@[N]指標(biāo)。其中,精確率[P]表示分類器預(yù)測結(jié)果為正的樣本中真實正樣本的比例,召回率[R]表示樣本中真實正樣本被預(yù)測正確的比例。二者的計算公式如下:

    [P=TPc TPc+FPc]" (16)

    [R=TPc TPc+FNc] (17)

    式中:[TPc]為真正例;[FPc]為假正例;[FNc]為假反例。在評估關(guān)系抽取模型的性能時,本文還選用主流的[P]@[N]評價指標(biāo),分別計算[P]@100、[P]@200、[P]@300的數(shù)值。

    3.3" 實驗設(shè)置

    本文實驗測試環(huán)境為:Intel[?] CoreTM i5?9300HCPU處理器、NVIDIA GeForce GTX 1660Ti顯卡以及Windows 11操作系統(tǒng),編程環(huán)境為Python 3.7。選取交叉熵?fù)p失函數(shù)(Cross?Entropy Loss Function)與Adam優(yōu)化器對模型參數(shù)進行學(xué)習(xí)更新,模型的超參數(shù)設(shè)置如表2所示。

    3.4" 基線模型

    1) CNN:一種基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型[16]。

    2) CNN+Attention:一種基于卷積神經(jīng)網(wǎng)絡(luò)與注意力機制的關(guān)系抽取模型,其中句級注意力機制的使用有助于模型捕捉文本語句中的關(guān)鍵信息[17]。

    3) PCNN:一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

    4) PCNN+Attention:一種基于分段卷積神經(jīng)網(wǎng)絡(luò)編碼器與句級注意力機制的遠(yuǎn)程監(jiān)督關(guān)系抽取模型。

    5) BGWA:一種基于詞注意力的Bi?GRU模型。

    3.5" 實驗結(jié)果分析

    本節(jié)主要對比上述基線模型與本文所提方法在配電網(wǎng)運行信息語料庫中的表現(xiàn),以驗證本文方法的有效性,結(jié)果如表3所示。同時,為了驗證本文方法的性能和通用性,也使用Riedel基準(zhǔn)數(shù)據(jù)集對其和基線模型進行驗證,基準(zhǔn)實驗中的外部知識引自FreeBase知識庫,其結(jié)果如表4所示。綜合上述實驗可以發(fā)現(xiàn),本文方法通過使用外部知識庫提供的目標(biāo)實體關(guān)聯(lián)知識以及關(guān)系信息,有效提升了關(guān)系類型特征的提取能力,注意力機制的引入使得模型具備更強的關(guān)鍵信息捕捉能力。由于遠(yuǎn)程監(jiān)督方法對語料庫標(biāo)注樣本數(shù)量的擴充,極大地提升了模型的性能。

    對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)類基準(zhǔn)模型,PCNN模型通過對句子分段池化并與上下文特征拼接后進行關(guān)系類型分類,實現(xiàn)上下文語義特征信息的充分利用,相較于CNN關(guān)系抽取模型精度提升較為明顯。但在配電網(wǎng)運行信息語料庫數(shù)據(jù)集中,注意力機制的引入并未如預(yù)期改善識別結(jié)果。顯然,在傳統(tǒng)的監(jiān)督學(xué)習(xí)框架下,垂直領(lǐng)域語料庫數(shù)據(jù)集樣本不均衡問題導(dǎo)致句級注意力機制篩選分配權(quán)重時無法正確篩選重要信息。因此,CNN+Attention及PCNN+Attention模型在不同數(shù)據(jù)集上的表現(xiàn)差異較大。

    不同于以上使用句級注意力機制的模型,BGWA模型通過對每一個詞加入詞級注意力,利用分配權(quán)重的方式對句子內(nèi)部不同部分關(guān)鍵信息進行強調(diào)以獲取句子文本的最優(yōu)向量表征,可顯著優(yōu)化遠(yuǎn)程監(jiān)督關(guān)系抽取模型中編碼器的噪聲抑制能力,其在Riedel數(shù)據(jù)集上[P@N]指標(biāo)表現(xiàn)可提升30%左右。顯然,句級注意力機制受限于顆粒度,默認(rèn)句子中含有正確的關(guān)系分類標(biāo)簽導(dǎo)致大量噪聲的引入,嚴(yán)重影響關(guān)系類型的識別精度。

    本文與上述卷積神經(jīng)網(wǎng)絡(luò)基準(zhǔn)模型、句級注意力機制模型以及詞級注意力機制模型相比,在兩個數(shù)據(jù)集上各項精確率指標(biāo)均提升明顯,主要原因在于外部知識圖譜的引入改善了文本離散特征的提取能力,利用知識圖譜中的實體類型信息與關(guān)系類型信息過濾無效的關(guān)系信息,通過引入先驗知識顯著提高模型性能。同時,由于外部信息可以排除語料庫數(shù)據(jù)集所構(gòu)建的遠(yuǎn)程監(jiān)督樣本的干擾,過濾句級注意力機制引入的無效噪聲,更好地利用其權(quán)重分配的功能降低錯誤句子的權(quán)重數(shù)值,提升關(guān)系類型識別精確率。未來工作中考慮加入詞級注意力機制對本模型工作進行優(yōu)化,使其在噪聲抑制、長尾分布問題上的表現(xiàn)更為優(yōu)秀。

    4" 結(jié)" 論

    本文提出一種基于知識增強的配電網(wǎng)運行信息關(guān)系抽取模型,遠(yuǎn)程監(jiān)督學(xué)習(xí)框架通過樣本自動化標(biāo)注解決了樣本質(zhì)量較低和人工標(biāo)注成本過高的難題。在配電網(wǎng)運行信息語料庫數(shù)據(jù)集與Riedel數(shù)據(jù)集中均取得了優(yōu)異的關(guān)系抽取結(jié)果,相較于主流模型[P@N]分別提升6%與1%。

    參考文獻

    [1] 謝慶,蔡揚,謝軍,等.基于ALBERT的電力變壓器運維知識圖譜構(gòu)建方法與應(yīng)用研究[J].電工技術(shù)學(xué)報,2023,38(1):95?106.

    [2] 王嘉寧,何怡,朱仁煜,等.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取技術(shù)[J].華東師范大學(xué)學(xué)報(自然科學(xué)版),2020(5):113?130.

    [3] 宋瑋瓊,韓柳,羨慧竹,等.基于GCN的配電網(wǎng)知識圖譜構(gòu)建及應(yīng)用[J].電子設(shè)計工程,2022,30(7):160?164.

    [4] 王會勇,安康,張曉明.結(jié)合領(lǐng)域先驗詞匯的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計算機應(yīng)用與軟件,2022,39(8):34?43.

    [5] 尚蘭蘭.基于遠(yuǎn)程監(jiān)督的關(guān)系抽取研究綜述[J].河北省科學(xué)院學(xué)報,2022,39(6):1?8.

    [6] MINTZ M, BILLS S, SNOW R, et al. Distant supervision for relation extraction without labeled data [C]// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. [S.l.: s.n.], 2009: 1003?1011.

    [7] 張水晶,陳建峽,吳歆韻.一種句袋注意力遠(yuǎn)程監(jiān)督關(guān)系抽取方法[J].計算機應(yīng)用與軟件,2022,39(8):193?203.

    [8] RIEDEL S, YAO L M, MCCALLUM A. Modeling relations and their mentions without labeled text [C]// European Conference on Machine Learning and Knowledge Discovery in Databases. Heidelberg: Springer, 2010: 148?163.

    [9] ZENG D J, LIU K, CHEN Y B, et al. Distant supervision for relation extraction via piecewise convolutional neural networks [C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. [S.l.]: ACL, 2015: 1753?1762.

    [10] LIN Y K, SHEN S Q, LIU Z Y, et al. Neural relation extraction with selective attention over instances [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]: ACL, 2016: 2124?2133.

    [11] JAT S, KHANDELWAL S, TALUKDAR P. Improving distantly supervised relation extraction using word and entity based attention [EB/OL]. [2018?04?19]. https://arxiv.org/abs/1804.06987.

    [12] VASHISHTH S, JOSHI R, PRAYAGA S S, et al. Reside: Improving distantly?supervised neural relation extraction using side information [C]// Conference on Empirical Methods in Natural Language Processing. [S.l.: s.n.], 2018: 1257?1266.

    [13] PENNINGTON J, SOCHER R, MANNING C D. Glove: Global vectors for word representation [C]// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). [S.l.]: ACL, 2014: 1532?1543.

    [14] KIPF T N, WELLING M. Semi?supervised classification with graph convolutional networks [EB/OL]. [2018?08?13]. http://arxiv.org/abs/1609.02907.

    [15] 曾碧卿,李硯龍,蔡劍.基于外部知識增強的遠(yuǎn)程監(jiān)督關(guān)系抽取模型[J].計算機系統(tǒng)應(yīng)用,2023,32(5):253?261.

    [16] LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE, 1998, 86(11): 2278?2324.

    [17] WANG L, CAO Z, DE MELO G, et al. Relation classification via multi?level attention CNNs [C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. [S.l.]: ACL, 2016: 1298?1307.

    猜你喜歡
    知識圖譜
    國內(nèi)外智庫研究態(tài)勢知識圖譜對比分析
    國內(nèi)信息素養(yǎng)研究的知識圖譜分析
    國內(nèi)圖書館嵌入式服務(wù)研究主題分析
    國內(nèi)外政府信息公開研究的脈絡(luò)、流派與趨勢
    近十五年我國小學(xué)英語教學(xué)研究的熱點、問題及對策
    基于知識圖譜的產(chǎn)業(yè)集群創(chuàng)新績效可視化分析
    智富時代(2016年12期)2016-12-01 16:28:41
    基于知識圖譜的智慧教育研究熱點與趨勢分析
    國內(nèi)酒店品牌管理研究進展的可視化分析
    從《ET&S》與《電化教育研究》對比分析中管窺教育技術(shù)發(fā)展
    專家知識圖譜構(gòu)建研究
    香蕉丝袜av| 日本欧美视频一区| 精品国产国语对白av| 国产高清videossex| www.精华液| www.精华液| 国产高清videossex| 国产高清国产精品国产三级| 正在播放国产对白刺激| 国产精品久久电影中文字幕| 国产片内射在线| 天堂影院成人在线观看| 成人永久免费在线观看视频| 成人国产一区最新在线观看| av有码第一页| bbb黄色大片| 黄色a级毛片大全视频| 变态另类成人亚洲欧美熟女 | 久久国产乱子伦精品免费另类| 一二三四社区在线视频社区8| 亚洲五月天丁香| av网站在线播放免费| 又黄又粗又硬又大视频| 男人舔女人下体高潮全视频| 在线看a的网站| 在线av久久热| 日韩免费高清中文字幕av| 亚洲伊人色综图| 十八禁网站免费在线| 日韩高清综合在线| 男男h啪啪无遮挡| 久久精品91蜜桃| 国产一卡二卡三卡精品| 免费看十八禁软件| 高清在线国产一区| 午夜激情av网站| 国产精品香港三级国产av潘金莲| 亚洲人成电影观看| 一级毛片女人18水好多| 成人国产一区最新在线观看| 国产成人精品在线电影| 中出人妻视频一区二区| 欧美性长视频在线观看| 一区二区日韩欧美中文字幕| 国产精品偷伦视频观看了| 久久热在线av| 午夜视频精品福利| 在线天堂中文资源库| 麻豆国产av国片精品| 91老司机精品| 不卡一级毛片| 国产成人精品在线电影| 亚洲欧美激情综合另类| 女性被躁到高潮视频| 国产不卡一卡二| 最近最新中文字幕大全免费视频| 国产高清videossex| 亚洲欧美日韩另类电影网站| 日本精品一区二区三区蜜桃| 精品熟女少妇八av免费久了| 一本综合久久免费| 国产主播在线观看一区二区| 香蕉国产在线看| 人人澡人人妻人| 欧美日韩黄片免| 91精品三级在线观看| 制服诱惑二区| 在线观看免费高清a一片| 精品电影一区二区在线| 久久久久久大精品| 精品午夜福利视频在线观看一区| 亚洲va日本ⅴa欧美va伊人久久| 精品久久久久久,| 18禁美女被吸乳视频| 久久久久国产一级毛片高清牌| 欧美国产精品va在线观看不卡| 久久国产精品男人的天堂亚洲| 亚洲七黄色美女视频| 欧美丝袜亚洲另类 | 欧美日本亚洲视频在线播放| 亚洲黑人精品在线| 伦理电影免费视频| 在线观看www视频免费| 欧美黑人欧美精品刺激| 一级作爱视频免费观看| 亚洲午夜理论影院| 最好的美女福利视频网| 久久久久久久精品吃奶| xxxhd国产人妻xxx| 亚洲国产精品sss在线观看 | 欧美日韩瑟瑟在线播放| 国产精品免费一区二区三区在线| 两性夫妻黄色片| 午夜免费鲁丝| 男女午夜视频在线观看| 亚洲七黄色美女视频| 日韩欧美在线二视频| 一级黄色大片毛片| 美女高潮喷水抽搐中文字幕| 老司机午夜十八禁免费视频| 亚洲国产精品合色在线| 国产精品二区激情视频| 老司机午夜十八禁免费视频| 老司机在亚洲福利影院| 国产欧美日韩精品亚洲av| 久久香蕉激情| 热99国产精品久久久久久7| 精品国产一区二区三区四区第35| 日本免费a在线| 91国产中文字幕| 黑人欧美特级aaaaaa片| 欧美日韩精品网址| 18禁国产床啪视频网站| 欧美人与性动交α欧美精品济南到| 一区二区三区国产精品乱码| 美女午夜性视频免费| 最近最新免费中文字幕在线| 日日夜夜操网爽| 免费看a级黄色片| 51午夜福利影视在线观看| 国产精品久久电影中文字幕| 女人被躁到高潮嗷嗷叫费观| 久久久久久大精品| www.熟女人妻精品国产| 亚洲国产欧美日韩在线播放| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品国产色婷婷电影| 在线观看www视频免费| 女性生殖器流出的白浆| 精品欧美一区二区三区在线| 午夜激情av网站| 岛国视频午夜一区免费看| 成人手机av| 精品一区二区三区四区五区乱码| 久久热在线av| 亚洲午夜理论影院| 欧美一区二区精品小视频在线| 18禁国产床啪视频网站| 交换朋友夫妻互换小说| av超薄肉色丝袜交足视频| 女人被狂操c到高潮| 一边摸一边抽搐一进一出视频| 午夜免费观看网址| 日本wwww免费看| 岛国在线观看网站| 欧美日本中文国产一区发布| 精品久久蜜臀av无| 欧美亚洲日本最大视频资源| 51午夜福利影视在线观看| 正在播放国产对白刺激| 最好的美女福利视频网| av网站免费在线观看视频| 久久影院123| 国产精品综合久久久久久久免费 | 母亲3免费完整高清在线观看| 久久热在线av| 在线观看一区二区三区激情| 亚洲五月婷婷丁香| 久久精品国产综合久久久| 国产真人三级小视频在线观看| a在线观看视频网站| 丁香六月欧美| 久久精品aⅴ一区二区三区四区| 青草久久国产| 国产精品久久久久成人av| 男女做爰动态图高潮gif福利片 | 真人做人爱边吃奶动态| 婷婷六月久久综合丁香| 欧美色视频一区免费| 女人爽到高潮嗷嗷叫在线视频| 在线观看免费视频网站a站| 亚洲色图 男人天堂 中文字幕| 黑人操中国人逼视频| 亚洲片人在线观看| 国产熟女午夜一区二区三区| 热99国产精品久久久久久7| 黄片小视频在线播放| 日本wwww免费看| 9热在线视频观看99| 亚洲av美国av| 中文字幕色久视频| 午夜视频精品福利| 亚洲一码二码三码区别大吗| 国产精品野战在线观看 | 精品一区二区三区av网在线观看| 男女午夜视频在线观看| 一区在线观看完整版| 亚洲一区二区三区不卡视频| 国产成年人精品一区二区 | 欧美午夜高清在线| 成年女人毛片免费观看观看9| 一边摸一边做爽爽视频免费| 亚洲av第一区精品v没综合| 最近最新中文字幕大全电影3 | 咕卡用的链子| 久久中文看片网| 日韩一卡2卡3卡4卡2021年| 九色亚洲精品在线播放| 国产精品av久久久久免费| www.熟女人妻精品国产| 在线观看一区二区三区激情| 美女 人体艺术 gogo| 9热在线视频观看99| 国产精品九九99| 成人三级做爰电影| ponron亚洲| 国产成人精品久久二区二区91| 怎么达到女性高潮| avwww免费| 在线观看免费午夜福利视频| 国产亚洲精品久久久久久毛片| 亚洲狠狠婷婷综合久久图片| 黄色怎么调成土黄色| 美女大奶头视频| 如日韩欧美国产精品一区二区三区| 无限看片的www在线观看| 国产成年人精品一区二区 | 人人妻人人爽人人添夜夜欢视频| 自拍欧美九色日韩亚洲蝌蚪91| 热re99久久精品国产66热6| 国产亚洲精品久久久久5区| 亚洲在线自拍视频| 免费av毛片视频| 97超级碰碰碰精品色视频在线观看| 亚洲精品成人av观看孕妇| 露出奶头的视频| 久久久久精品国产欧美久久久| 黑人巨大精品欧美一区二区蜜桃| tocl精华| 757午夜福利合集在线观看| 亚洲熟妇熟女久久| 91大片在线观看| 国产av在哪里看| 国产精品成人在线| 久热爱精品视频在线9| 黑丝袜美女国产一区| 成人影院久久| 在线观看免费视频网站a站| 精品国产一区二区久久| 每晚都被弄得嗷嗷叫到高潮| 日韩高清综合在线| 不卡av一区二区三区| 长腿黑丝高跟| 制服人妻中文乱码| 一级a爱片免费观看的视频| 亚洲色图 男人天堂 中文字幕| 国产精品国产高清国产av| 美女高潮到喷水免费观看| svipshipincom国产片| 国产精品影院久久| 中文字幕人妻熟女乱码| 亚洲中文字幕日韩| 亚洲五月天丁香| av电影中文网址| 欧美日本中文国产一区发布| 久久久久久久久免费视频了| 免费av毛片视频| 国产成人欧美在线观看| 国产精品亚洲一级av第二区| 美女高潮到喷水免费观看| 成熟少妇高潮喷水视频| 妹子高潮喷水视频| av在线天堂中文字幕 | 日韩欧美一区视频在线观看| 色婷婷av一区二区三区视频| 好男人电影高清在线观看| 免费看十八禁软件| 97人妻天天添夜夜摸| 极品教师在线免费播放| 99国产精品99久久久久| 十八禁网站免费在线| 色尼玛亚洲综合影院| 国产野战对白在线观看| 精品无人区乱码1区二区| 成人特级黄色片久久久久久久| 精品免费久久久久久久清纯| 女人爽到高潮嗷嗷叫在线视频| 日本黄色日本黄色录像| 丰满迷人的少妇在线观看| 男女下面进入的视频免费午夜 | 少妇裸体淫交视频免费看高清 | 欧美黄色片欧美黄色片| 正在播放国产对白刺激| 少妇被粗大的猛进出69影院| 可以免费在线观看a视频的电影网站| 亚洲专区中文字幕在线| 欧美日韩福利视频一区二区| 国产亚洲精品久久久久久毛片| 国产成人精品无人区| 一级毛片精品| 亚洲第一av免费看| 母亲3免费完整高清在线观看| 精品久久久久久久久久免费视频 | 99久久国产精品久久久| 少妇 在线观看| 国产亚洲欧美在线一区二区| 夜夜夜夜夜久久久久| 午夜福利影视在线免费观看| 男女做爰动态图高潮gif福利片 | 露出奶头的视频| 热99re8久久精品国产| 91在线观看av| 欧美日本亚洲视频在线播放| 午夜亚洲福利在线播放| www.熟女人妻精品国产| 亚洲 欧美 日韩 在线 免费| 女性生殖器流出的白浆| 免费不卡黄色视频| 又黄又爽又免费观看的视频| 久久精品国产亚洲av香蕉五月| 一夜夜www| 国产激情久久老熟女| 每晚都被弄得嗷嗷叫到高潮| 成人手机av| 又紧又爽又黄一区二区| 亚洲国产欧美一区二区综合| 亚洲成人国产一区在线观看| 人妻久久中文字幕网| 久久国产乱子伦精品免费另类| 精品国产一区二区久久| 波多野结衣高清无吗| av福利片在线| 精品国产超薄肉色丝袜足j| 久久天躁狠狠躁夜夜2o2o| 热99国产精品久久久久久7| 久久中文字幕人妻熟女| 欧美乱码精品一区二区三区| 极品教师在线免费播放| 亚洲一区二区三区不卡视频| 国产精品爽爽va在线观看网站 | 黄色片一级片一级黄色片| 欧美亚洲日本最大视频资源| 久久久国产成人免费| 国产无遮挡羞羞视频在线观看| 这个男人来自地球电影免费观看| 国产亚洲av高清不卡| 麻豆av在线久日| 国产精品一区二区精品视频观看| a级毛片在线看网站| a级毛片黄视频| 狠狠狠狠99中文字幕| 欧美乱码精品一区二区三区| 中文字幕人妻丝袜制服| 国产精品久久久久成人av| 国内毛片毛片毛片毛片毛片| 又黄又粗又硬又大视频| 在线看a的网站| 久久精品亚洲熟妇少妇任你| 狠狠狠狠99中文字幕| 日韩国内少妇激情av| 嫩草影院精品99| 在线国产一区二区在线| 俄罗斯特黄特色一大片| 精品国产国语对白av| 88av欧美| 欧美成狂野欧美在线观看| 亚洲精品中文字幕一二三四区| 搡老乐熟女国产| 黑人巨大精品欧美一区二区蜜桃| 久久精品人人爽人人爽视色| 亚洲七黄色美女视频| 色综合婷婷激情| 男女下面进入的视频免费午夜 | 多毛熟女@视频| 午夜免费成人在线视频| 日韩大码丰满熟妇| 香蕉久久夜色| 91精品三级在线观看| 国产亚洲欧美精品永久| 欧美亚洲日本最大视频资源| 亚洲一码二码三码区别大吗| 久久国产亚洲av麻豆专区| 国产精品久久久人人做人人爽| 性少妇av在线| 热re99久久精品国产66热6| 狠狠狠狠99中文字幕| 丁香六月欧美| 亚洲激情在线av| av片东京热男人的天堂| 超碰97精品在线观看| 大型av网站在线播放| 看片在线看免费视频| 久久天堂一区二区三区四区| 亚洲成国产人片在线观看| 欧美亚洲日本最大视频资源| av网站免费在线观看视频| 黑人操中国人逼视频| 亚洲成av片中文字幕在线观看| 老司机福利观看| 婷婷精品国产亚洲av在线| 国产精品成人在线| a级毛片黄视频| 欧美日韩亚洲综合一区二区三区_| 人妻丰满熟妇av一区二区三区| 久久狼人影院| 很黄的视频免费| 午夜两性在线视频| 亚洲精品中文字幕一二三四区| 久久久久久久久免费视频了| 亚洲精品久久成人aⅴ小说| 桃色一区二区三区在线观看| 纯流量卡能插随身wifi吗| 亚洲五月婷婷丁香| 色老头精品视频在线观看| 老汉色av国产亚洲站长工具| 精品日产1卡2卡| 大型黄色视频在线免费观看| 性色av乱码一区二区三区2| 亚洲欧美日韩高清在线视频| 在线观看一区二区三区| 很黄的视频免费| 热re99久久精品国产66热6| 亚洲av熟女| 91九色精品人成在线观看| 国产欧美日韩精品亚洲av| 正在播放国产对白刺激| 国产一区在线观看成人免费| 日本一区二区免费在线视频| 丰满饥渴人妻一区二区三| 啪啪无遮挡十八禁网站| 亚洲午夜理论影院| 亚洲精品粉嫩美女一区| 色综合婷婷激情| 国产亚洲精品久久久久5区| 亚洲一区中文字幕在线| 久久久久国内视频| 一进一出抽搐gif免费好疼 | 日本免费一区二区三区高清不卡 | 制服诱惑二区| 黄色成人免费大全| 91av网站免费观看| 成人精品一区二区免费| 男女床上黄色一级片免费看| 日本三级黄在线观看| 国产亚洲精品第一综合不卡| 亚洲一卡2卡3卡4卡5卡精品中文| 一级黄色大片毛片| 51午夜福利影视在线观看| 看黄色毛片网站| 中文字幕人妻丝袜一区二区| 色尼玛亚洲综合影院| 搡老岳熟女国产| 日韩一卡2卡3卡4卡2021年| 777久久人妻少妇嫩草av网站| 嫩草影院精品99| 窝窝影院91人妻| 国产精品免费一区二区三区在线| 成人亚洲精品av一区二区 | 成人国语在线视频| 久久人人97超碰香蕉20202| 亚洲五月婷婷丁香| 精品福利观看| 精品免费久久久久久久清纯| 丝袜美足系列| 啦啦啦 在线观看视频| 9色porny在线观看| 91麻豆精品激情在线观看国产 | 在线免费观看的www视频| 欧美一级毛片孕妇| 国产99白浆流出| 久久精品亚洲av国产电影网| 在线观看免费视频日本深夜| 精品福利永久在线观看| 激情视频va一区二区三区| 国内毛片毛片毛片毛片毛片| 一级毛片高清免费大全| 亚洲熟妇熟女久久| 人人妻人人添人人爽欧美一区卜| 久久天堂一区二区三区四区| 成人18禁在线播放| 欧美在线黄色| 老司机午夜福利在线观看视频| 久久人人精品亚洲av| 一进一出抽搐动态| 丰满人妻熟妇乱又伦精品不卡| 精品久久久久久成人av| 天堂俺去俺来也www色官网| 国产精品偷伦视频观看了| 亚洲精品国产区一区二| 一级作爱视频免费观看| 999久久久国产精品视频| aaaaa片日本免费| 国产在线观看jvid| 午夜久久久在线观看| 另类亚洲欧美激情| 9色porny在线观看| 久久久水蜜桃国产精品网| 国产成人精品久久二区二区免费| 国产av精品麻豆| 欧美日韩瑟瑟在线播放| 国产精品久久视频播放| 久久香蕉精品热| 久9热在线精品视频| 91字幕亚洲| 性欧美人与动物交配| 午夜a级毛片| 最近最新中文字幕大全电影3 | 淫秽高清视频在线观看| 国产人伦9x9x在线观看| 村上凉子中文字幕在线| 99re在线观看精品视频| 日韩有码中文字幕| 亚洲国产欧美日韩在线播放| 欧美乱妇无乱码| 亚洲精品一卡2卡三卡4卡5卡| 免费人成视频x8x8入口观看| 欧美不卡视频在线免费观看 | 一级,二级,三级黄色视频| 国产精品乱码一区二三区的特点 | 精品国产乱码久久久久久男人| 女人爽到高潮嗷嗷叫在线视频| 国产精品自产拍在线观看55亚洲| 99国产精品99久久久久| 欧美日韩中文字幕国产精品一区二区三区 | 欧美av亚洲av综合av国产av| 欧美中文日本在线观看视频| 亚洲自拍偷在线| 91麻豆av在线| 午夜福利欧美成人| 午夜久久久在线观看| 国产av一区二区精品久久| 搡老乐熟女国产| 日本精品一区二区三区蜜桃| 日韩大尺度精品在线看网址 | 精品免费久久久久久久清纯| 在线十欧美十亚洲十日本专区| 亚洲一码二码三码区别大吗| 手机成人av网站| www.www免费av| 99久久人妻综合| 伦理电影免费视频| 黄色视频,在线免费观看| 亚洲精品一卡2卡三卡4卡5卡| 黄色片一级片一级黄色片| 日本 av在线| 一区二区三区国产精品乱码| 午夜福利在线观看吧| 99久久人妻综合| 国产高清videossex| 黑丝袜美女国产一区| 一边摸一边做爽爽视频免费| 最新在线观看一区二区三区| 99热只有精品国产| 久久精品亚洲熟妇少妇任你| 亚洲一卡2卡3卡4卡5卡精品中文| av欧美777| 久久国产亚洲av麻豆专区| a级毛片在线看网站| 国产精品影院久久| 久久人妻av系列| 午夜亚洲福利在线播放| 亚洲一区二区三区色噜噜 | 午夜免费成人在线视频| 久久人妻av系列| 国产伦人伦偷精品视频| 12—13女人毛片做爰片一| 一级片'在线观看视频| 亚洲中文av在线| 久热爱精品视频在线9| 免费不卡黄色视频| 男女床上黄色一级片免费看| 又黄又爽又免费观看的视频| 99久久国产精品久久久| 午夜免费观看网址| 中文字幕精品免费在线观看视频| 成人黄色视频免费在线看| av欧美777| 在线国产一区二区在线| 午夜免费激情av| 天天躁狠狠躁夜夜躁狠狠躁| 免费观看精品视频网站| 母亲3免费完整高清在线观看| 99久久人妻综合| 精品第一国产精品| 在线看a的网站| 成人国产一区最新在线观看| 欧美大码av| 日本a在线网址| 三上悠亚av全集在线观看| 男女高潮啪啪啪动态图| 成年人免费黄色播放视频| 韩国av一区二区三区四区| а√天堂www在线а√下载| 久久国产精品影院| 涩涩av久久男人的天堂| 热99re8久久精品国产| 欧美av亚洲av综合av国产av| 成人影院久久| 国产精品爽爽va在线观看网站 | 亚洲av五月六月丁香网| 欧美在线一区亚洲| 变态另类成人亚洲欧美熟女 | 这个男人来自地球电影免费观看| 亚洲三区欧美一区| 成年人黄色毛片网站| 好男人电影高清在线观看| 久久草成人影院| 亚洲成人国产一区在线观看| 免费一级毛片在线播放高清视频 | 欧美日韩福利视频一区二区| 精品一区二区三卡| 免费在线观看日本一区| 久久人妻熟女aⅴ| 夜夜看夜夜爽夜夜摸 | 亚洲成人国产一区在线观看| 最近最新中文字幕大全电影3 | www.熟女人妻精品国产| 在线天堂中文资源库| av国产精品久久久久影院| 午夜视频精品福利| 99久久综合精品五月天人人| 欧美午夜高清在线| 黄色毛片三级朝国网站| cao死你这个sao货| 天天躁夜夜躁狠狠躁躁|