融合依存信息Attention機(jī)制的藥物關(guān)系抽取研究

李麗雙，錢 爽，周安橋，劉 陽，郭元凱

(大連理工大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，遼寧 大連116024)

0 引言

生物醫(yī)學(xué)實體關(guān)系抽取，旨在抽取生物醫(yī)學(xué)文獻(xiàn)中兩個實體之間的關(guān)系并識別出其關(guān)系類型，例如，基因、疾病、蛋白質(zhì)及藥物等實體之間的關(guān)系。藥物相互作用(Drug-Drug interaction, DDI)關(guān)系抽取是一種多分類且不區(qū)分關(guān)系方向的實體間關(guān)系抽取任務(wù)。研究DDI能夠為生物醫(yī)學(xué)數(shù)據(jù)庫的構(gòu)建和維護(hù)提供更深層的信息，為疾病治療、藥物開發(fā)、生命科學(xué)研究提供更為重要的參考。

近年來，藥物—藥物關(guān)系抽取模型一般分為基于淺層機(jī)器學(xué)習(xí)和深度學(xué)習(xí)兩種方法。例如，Chowdhury[1]等使用兩階段系統(tǒng)來實現(xiàn)DDI任務(wù)。第一階段使用特征核、淺層語言學(xué)核和閉包樹核相結(jié)合的組合核分類器進(jìn)行二分類；第二階段根據(jù)四種不同的DDI類型構(gòu)建組合核分類器進(jìn)行多分類。令其在DDIExtraction2013評測[2]中獲得最好的成績，F(xiàn)值達(dá)到65%。Kim[3]等使用詞特征、詞對特征、解析樹特征和名詞短語一致性等，構(gòu)建基于特征的核函數(shù)，在DDIExtraction2013語料上F值達(dá)到67%。淺層機(jī)器學(xué)習(xí)方法主要依賴于大量復(fù)雜的特征集來提高模型性能，但設(shè)計和抽取特征需要耗費大量的人力物力。相比之下，深度學(xué)習(xí)方法能夠自動組合低層特征，形成更加抽象的高層特征表示，避免了大量人工特征的使用，在關(guān)系抽取等領(lǐng)域應(yīng)用廣泛。例如，Liu[4]等僅使用詞向量和位置向量作為輸入，未添加任何人工特征，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)分類，在DDIExtraction2013語料上F值達(dá)到69.75%。Quan[5]等提出了多通道卷積神經(jīng)網(wǎng)絡(luò)(MCCNN)獲取多種語義表示，在DDIExtraction2013語料上F值達(dá)到70.20%。

注意力Attention[6]機(jī)制最初只應(yīng)用于計算機(jī)視覺中的圖片識別任務(wù)，現(xiàn)已被成功應(yīng)用于問答系統(tǒng)、機(jī)器翻譯等多個自然語言處理領(lǐng)域。在DDI關(guān)系抽取任務(wù)中，Attention機(jī)制也展現(xiàn)出了明顯的優(yōu)勢。例如，Miwa[7]等使用Attention機(jī)制強(qiáng)調(diào)實體信息在句子中的重要性，在DDIExtraction2013語料上的F值達(dá)到69.12%。Sahu[8]等構(gòu)建池化Attention機(jī)制判斷句子中各部分的重要性，在DDIExtraction2013語料上的F值為71.48%。Zhou[9]等使用Attention機(jī)制突出句子中距離實體近的單詞對關(guān)系的影響，在DDIExtraction2013語料上的F值達(dá)到72.99%。以上Attention機(jī)制主要突出實體信息、距離信息以及池化作用的影響，但沒有從句法結(jié)構(gòu)的角度判斷句子各部分的重要性。也就是說，如何構(gòu)建句法結(jié)構(gòu)的注意力機(jī)制，從而有效提高關(guān)系抽取的性能還有待研究。

針對DDI任務(wù)而言，語料中存在著大量復(fù)雜句子。例如，具有多個從句、具有較復(fù)雜的并列關(guān)系、具有最長句子長度超過150詞等特點的復(fù)雜句子，僅從原句子層面很難學(xué)習(xí)到語義和句法結(jié)構(gòu)等依存信息。因此，引入句法信息對于DDI抽取至關(guān)重要。在一般領(lǐng)域關(guān)系抽取中，相關(guān)研究[10-12]表明，句法信息如依存解析樹、最短依存路徑等，能夠獲得更多有效信息，去除多余的噪聲，從而提高復(fù)雜關(guān)系抽取性能。其中，利用句法信息的方式主要為Liu[10]等將句法信息和原句信息詞向量拼接作為模型輸入、Yan[11]等將句法信息和原句信息的神經(jīng)網(wǎng)絡(luò)輸出拼接以及Miwa[12]等樹型網(wǎng)絡(luò)結(jié)構(gòu)等。在DDI任務(wù)中，主要通過拼接方式使用依存信息提高模型性能。例如，Zhang[13]等使用多層RNN網(wǎng)絡(luò)集成最短依存路徑SDP信息和原句子信息。首先輸入原始句子和對原句進(jìn)行依存分析得到的最短依存路徑SDP序列，分別經(jīng)過雙向RNN(BiRNN)學(xué)習(xí)；然后將BiRNN的輸出拼接；最后，使用一個頂層RNN結(jié)合原句子整體信息和SDP信息，這樣，在DDIExtraction2013語料上F值達(dá)到72.90%。雖然上述方法使用SDP信息豐富了模型的輸入信息，但這種結(jié)合原句信息和SDP信息的方式存在一定的問題。其一，直接拼接原句子序列和SDP序列的特征，不能很好地判斷序列中每個單詞的重要性，無法準(zhǔn)確地獲得SDP序列包含的依存信息。其二，頂層BiRNN能學(xué)習(xí)輸入序列的時序信息，而原句子序列和SDP序列之間并不存在時序關(guān)系，可能會導(dǎo)致模型引入過量信息。綜上所述，如何更加合理地利用依存信息是當(dāng)前關(guān)系抽取中需要解決的問題。

本文提出了一種融合依存信息Attention機(jī)制的藥物關(guān)系抽取模型，使用注意力機(jī)制對原句子信息和最短依存路徑SDP信息進(jìn)行融合，該方法能夠從句法結(jié)構(gòu)的角度衡量原句子各部分對于實體間關(guān)系的重要性。首先，輸入原句子序列和最短依存路徑SDP序列；然后，將兩個序列的詞向量分別送入兩個獨立的BiGRU中學(xué)習(xí)其語義信息；接下來，使用最短依存路徑SDP信息計算原句子序列的Attention權(quán)重；最后，使用加權(quán)后的句子表示進(jìn)行分類預(yù)測。在DDIExtraction2013語料上的實驗結(jié)果表明，該模型在未使用任何人工特征的情況下，有效地提高了模型性能，F(xiàn)值為73.70%，達(dá)到了目前的先進(jìn)水平。

1 方法

本文提出了融合依存信息Attention機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型，模型架構(gòu)如圖1所示。

(1) 輸入層： 該模型為多輸入模型，分別為原句子序列(Sentence Sequence)和最短依存路徑序列(SDP Sequence)。

(2) 嵌入層： 通過查詢訓(xùn)練好的詞向量表將輸入的語句轉(zhuǎn)換為相應(yīng)的詞向量序列。

(3) 編碼層： 使用兩個獨立的BiGRU，分別學(xué)習(xí)原句子和SDP序列的抽象語義表示。

(4) Attention層： 計算原句子和SDP的相似度矩陣，融合SDP信息得到Attention權(quán)重，對原句子加權(quán)求和得到最終的句子表示。

圖1 基于融合SDP信息Attention機(jī)制的DDI抽取模型結(jié)構(gòu)圖

(5) 輸出層： 利用Attention層的輸出，即融合過SDP信息的句子表示進(jìn)行分類預(yù)測。

下面詳細(xì)介紹最短依存路徑和模型每層的設(shè)計細(xì)節(jié)。

1.1 最短依存路徑SDP

最短依存路徑SDP信息表征兩個實體之間的依存關(guān)系，能夠包含句子表達(dá)的主要信息，同時摒棄冗余的噪聲信息。GDep依存句法分析器由日本東京大學(xué)Tsujii實驗室研發(fā)，利用生物醫(yī)學(xué)領(lǐng)域資源GENIA Treebank分析器對其訓(xùn)練，使得GDep分析器能夠更好適用于生物醫(yī)學(xué)文本挖掘領(lǐng)域。本文不采用傳統(tǒng)的依存樹狀結(jié)構(gòu)，而是將兩個實體間的最短路徑作為詞序列輸入進(jìn)行訓(xùn)練。

如圖2所示，原句子“Patientstreatedwithacebutololpluscatecholamine-depletorsshould,therefore,beobservedcloselyforevidenceofmarkedbradycardiaorhypotensionwhichmaypresentasvertigo,syncope/presyncope,ororthostaticchangesinbloodpressurewithoutcompensatorytachycardia.”，“acebutolol”為第一個目標(biāo)實體，“catecholamine-depletors”為第 二 個 目 標(biāo) 實 體。兩

圖2 最短依存路徑實例圖

個實體之間的最短依存路徑為“acebutololcatecholamine-depletors”，兩個實體之間的依存關(guān)系為“amod”，兩個實體之間的DDI類型為“advice”。

1.2 嵌入層

該模型有兩個輸入，即原句子序列(Sentence Sequence)和最短依存路徑序列(SDP Sequence)。為了獲得詞語的句法和語義信息，需要將輸入序列的詞語轉(zhuǎn)化為詞向量。原句子序列的詞向量輸入表示分別為X={x1,x2,…,xi,…,xn}，xi∈Rd為句子中第i個單詞的詞向量表示(i∈[1,n])，n為句子長度，d為詞向量維度。最短依存路徑SDP序列的詞向量表示為S={s1,s2,…,sj,…,sm}，sj∈Rd為最短路徑中第j個單詞的詞向量表示(j∈[1,m])，m為SDP序列長度。最后，將句子詞向量表示X和最短依存路徑詞向量表示S，作為模型編碼層的輸入。

1.3 編碼層

遞歸神經(jīng)網(wǎng)絡(luò)RNN是自然語言處理常用的神經(jīng)網(wǎng)絡(luò)模型，對處理時間序列和語言文本序列問題有獨特的優(yōu)勢。然而，傳統(tǒng)的RNN模型由于輸入序列過長可能產(chǎn)生梯度消失或者梯度爆炸現(xiàn)象。為了解決這一問題，Kyunghyun[14]等提出了Gated Recurrent Unit(GRU)模型，通過特殊設(shè)計的門結(jié)構(gòu)使得模型有選擇地保存上下文信息。

*ht-1,xt])

(1)

gt=σ(Wg·[ht-1,xt])

(2)

zt為更新門，決定了過去隱含狀態(tài)ht-1向下一個狀態(tài)傳遞的程度，如式(3)所示。

zt=σ(Wz·[ht-1,xt])

(3)

ht=(1-zt)*ht-1+zt*ht

(4)

其中，σ是激活函數(shù)sigmoid，tanh表示雙曲正切激活函數(shù)。xt是GRU單元輸入，Wz,Wg,W代表學(xué)習(xí)得到的參數(shù)。t表示第t時刻，ht表示GRU第t時刻的輸出。

為了得到序列的上下文信息，本文采用雙向GRU(BiGRU)得到抽象語義表示。如式(5)所示，每個句子的最終隱層表示ht(x)由正向和逆向網(wǎng)絡(luò)的輸出拼接得到。

(5)

本文對原句子輸入序列X和SDP輸入序列S分別經(jīng)過兩個獨立的BiGRU模型學(xué)習(xí)其語義信息和上下文信息，如式(6)所示。

(6)

原句子的BiGRU輸出序列為Hsen={hsen,1,hsen,2,…,hsen,l}(Hsen∈Rn×2l)，SDP的BiGRU輸出序列為Hsdp={hsdp,1,hsdp,2,…,hsdp,l}(Hsdp∈Rm×2l)，l為BiGRU隱層單元數(shù)。

1.4 Attention層

本文提出了一種融合依存信息Attention機(jī)制，圖3給出了信息融合的過程。其中，Hsen和γ的每個單元表示一個向量，其他單元表示一個值。

圖3 融合依存信息Attention機(jī)制原理圖

首先，將編碼層的輸出序列Hsen∈Rn×2l和Hsdp∈Rm×2l作為輸入，計算最短路徑SDP與原句子Sentence的相似矩陣M，如式(7)所示。

M(i,j)=Hsen(i)T·Hsdp(j)

(7)

其中，M(i,j)∈Rn×m為矩陣中第i行第j列的分?jǐn)?shù)值，矩陣M中的每個分值代表對應(yīng)的最短路徑SDP中一個單詞與原句子Sentence中一個單詞的相關(guān)性。

然后，使用SDP信息計算原句子各部分的Attention權(quán)重，具體如式(8)、式(9)所示。其中，式(8)使用tanh函數(shù)得到考慮SDP信息的分值αi∈Rn，Wα∈R1×n為權(quán)重矩陣。式(9)使用softmax函數(shù)計算原句子中每個單詞的Attention權(quán)重βi∈Rn。

αi=tanh(Wα·M+b)

(8)

(9)

最后，使用得到的Attention權(quán)值βi與原句子Hsen進(jìn)行加權(quán)求和，如式(10)所示，得到融合過SDP信息的句子表示γ∈R2l。

(10)

1.5 輸出層

模型輸出層將Attention層的輸出γ作為最后的分類特征送入全連接層進(jìn)行分類，候選藥物—藥物關(guān)系對y屬于第c(c∈C)種DDI類型的概率P(y=c)，如式(11)所示。

(11)

(12)

2 實驗

2.1 實驗數(shù)據(jù)與設(shè)計

2.1.1 語料介紹與預(yù)處理

本實驗使用DDIExtraction2013[15-16]語料庫，該語料庫的文本來自DrugBank數(shù)據(jù)庫和以藥物關(guān)系為主題的MEDLINE文獻(xiàn)摘要，共計1 017篇文檔。該語料庫包含3個數(shù)據(jù)庫，分別為DrugBank、MEDLINE和包含前兩個數(shù)據(jù)庫的OverAll數(shù)據(jù)庫，本實驗使用OverAll數(shù)據(jù)庫。DDIExtraction任務(wù)是多分類任務(wù)，共包含5種標(biāo)注類型，分別為negative、effect、mechanism、advice、int。語料的具體情況統(tǒng)計如表1所示。

表1 DDIExtraction2013語料介紹

在進(jìn)行實體關(guān)系抽取之前進(jìn)行了語料預(yù)處理，主要進(jìn)行了以下操作：

(2) 對語料集利用Stanford Tokenizer 進(jìn)行分詞處理，并且把數(shù)據(jù)集中的字符全部轉(zhuǎn)化為小寫。

(3) 根據(jù)相關(guān)研究[4,7,9]替換句中藥物實體，具體將目標(biāo)藥物實體替換成“drug1”和“drug2”，將句中的其他實體替換成“drug0”，使模型更好地學(xué)習(xí)句子中能表征實體關(guān)系的語義信息而非實體本身的語義信息。

2.1.2 實驗設(shè)置與評價標(biāo)準(zhǔn)

本文實驗使用Keras深度神經(jīng)網(wǎng)絡(luò)框架來實現(xiàn)DDI抽取任務(wù)。結(jié)合DDI語料和Pubmed下載的背景語料，使用Glove工具訓(xùn)練得到詞向量，詞向量維度為200維。實驗使用的超參數(shù)如表2所示。

表2 實驗涉及的超參數(shù)設(shè)置

本文使用的評測標(biāo)準(zhǔn)是準(zhǔn)確率(Precision，P)、召回率(Recall，R)和F值(F-score，F(xiàn))，如式(13)～式(15)所示。

(13)

(14)

(15)

其中，TP表示正例中判斷正確的樣本數(shù)，F(xiàn)P表示負(fù)例中判斷錯誤的樣本數(shù)，F(xiàn)N表示正例中判斷錯誤的樣本數(shù)。F值能夠評價準(zhǔn)確率和召回率的綜合性能。

2.2 實驗結(jié)果與分析

為了驗證融合依存信息Attention機(jī)制的有效性，本文做了多個對比實驗，結(jié)果如表3所示。

表3 融合依存信息Attention模型有效性對比實驗

從表3可以看出：

(1) 只分別使用原句子、SDP信息作為模型輸入時，F(xiàn)值為72.36%和51.0%。實驗結(jié)果表明，當(dāng)單獨使用SDP信息作為輸入時，模型性能較低。主要原因是SDP信息可以提取出兩實體之間的關(guān)鍵詞，摒棄冗余的噪聲信息，適用于具有復(fù)雜結(jié)構(gòu)的句子，但對于結(jié)構(gòu)簡單的句子存在的噪聲較少，SDP可能會丟失更多有用的信息，導(dǎo)致識別精度降低。然而，語料中結(jié)構(gòu)簡單的句子數(shù)大于復(fù)雜句子數(shù)，所以只使用SDP作為輸入時模型整體性能較低。

(2) 在同時使用原句子信息和SDP信息作為模型輸入時，將常用拼接方式(concatenate)和本文的Attention融合方式進(jìn)行了對比實驗。拼接方式指將輸入的原句子序列和SDP序列分別送入兩個獨立的BiGRU模型中學(xué)習(xí)，然后拼接兩個BiGRU的輸出，最后對拼接后的序列進(jìn)行學(xué)習(xí)分類，該方法F值為71.06%。

從上面實驗結(jié)果可以看出，直接拼接SDP信息后模型性能相比于單獨用SDP作為輸入時F值升高了19.16%，比單獨用原句子信息作為輸入時降低了1.3%。主要原因是采用兩種輸入序列經(jīng)BiGRU的結(jié)果直接拼接的方式，會導(dǎo)致模型同等程度地學(xué)習(xí)兩種信息。然而，對于復(fù)雜程度不同的實例，若原句子信息和SDP信息對關(guān)系抽取的影響程度不同，直接拼接不但沒有很好地利用SDP信息，反而影響簡單句子的判斷，從而，導(dǎo)致拼接后模型整體性能降低。與之相比，本文使用融合依存信息的Attention機(jī)制，可以在充分學(xué)習(xí)原句子信息的基礎(chǔ)上利用Attention機(jī)制合理地融合依存信息。相比于單獨使用原句子的模型F值提高了1.36%，相比于單獨使用SDP的模型性能提高了21.82%，相比常用拼接方式性能提高了2.66%。綜上所述，本文提出的Attention方式可以更好地融合SDP信息，從而有效提高關(guān)系抽取的精度。

2.3 與現(xiàn)有其他工作的對比

2.3.1 采用Attention的模型對比

本節(jié)對于在DDI任務(wù)中采用不同Attention機(jī)制的模型性能進(jìn)行了對比分析，如表4所示。

表4 采用不同Attention機(jī)制的模型對比

Miwa[7]等采用實體級Attention機(jī)制，分別計算兩個實體向量與句子中的每個單詞的相似度后求平均，強(qiáng)調(diào)實體信息在句子中的重要性，F(xiàn)值為69.12%。Yi[17]等使用多層Attention網(wǎng)絡(luò)，使用詞級Attention機(jī)制和句子級Attention機(jī)制。詞級Attention機(jī)制是指對當(dāng)前句子做Attention池化操作強(qiáng)調(diào)句中每個單詞的重要性，句子級Attention機(jī)制對于具有相同實體對的句子集，強(qiáng)調(diào)句子間其相關(guān)性，F(xiàn)值達(dá)到72.2%。Zhou[9]等使用關(guān)注位置的 Attention機(jī)制，使用位置向量(每個單詞和實體之間的距離)計算Attention權(quán)值，強(qiáng)調(diào)句子中距離實體近的單詞的重要性，F(xiàn)值達(dá)到72.99%。從以上結(jié)果分析可以看出，不同的Attention機(jī)制都在一定程度上提高了識別精度。本文使用融合依存信息的 Attention機(jī)制，從句法結(jié)構(gòu)的角度構(gòu)建Attention，突出依存路徑上的單詞對兩個實體間的關(guān)系的影響，F(xiàn)值達(dá)到73.72%，高于其他Attention模型。從以上實驗結(jié)果可以看出，本文提出的融合SDP信息的Attention機(jī)制能夠有效提高模型性能。

2.3.2 模型總體性能對比

本文與目前DDIExtraction2013語料上取得較好結(jié)果的方法做了比較，如表5所示。

表5 在DDIExtraction2013語料上與其他文獻(xiàn)的比較

從表5可以看出：

(1) 深度學(xué)習(xí)模型在未使用任何人工特征的情況下，取得了較好的效果。淺層機(jī)器學(xué)習(xí)方法主要依賴于大量復(fù)雜的人工特征集來提高模型性能。例如，Kim[3]等結(jié)合詞特征、n元組特征、詞對特征、依存解析圖特征、解析樹特征等大量的特征信息，使用基于線性核函數(shù)的SVM分類器，F(xiàn)值達(dá)到67.00%。Raihani[19]等在傳統(tǒng)特征集的基礎(chǔ)上添加觸發(fā)詞類型、模式信息等新的人工特征，使用兩階段策略分類，F(xiàn)值達(dá)到71.14%。然而，深度學(xué)習(xí)方法在不使用任何人工特征的情況下，能夠在本任務(wù)中取得較好的效果。例如，Quan[5]等使用卷積神經(jīng)網(wǎng)絡(luò)模型，F(xiàn)值達(dá)到70.20%。Sahu[8]等使用長短期記憶網(wǎng)絡(luò)(LSTM)模型，F(xiàn)值達(dá)到71.48%。Yi[17]等使用GRU神經(jīng)網(wǎng)絡(luò)模型，F(xiàn)值達(dá)到72.20%。本文使用GRU神經(jīng)網(wǎng)絡(luò)模型，不僅避免了大量人工特征的使用，而且提升了系統(tǒng)性能，F(xiàn)值達(dá)到73.72%。

(2) 本文融合依存信息的Attention機(jī)制取得了最好的效果。在表5現(xiàn)有的系統(tǒng)中，Zhang[13]等考慮了最短依存路徑信息，通過構(gòu)建多層RNN網(wǎng)絡(luò)并使用拼接方法結(jié)合最短依存路徑和原句子信息，實驗得到F值為72.90%。相比于表中其他沒有考慮依存信息的模型，Zhang[13]等的模型F值明顯較高，因此依存信息對于關(guān)系抽取有重要的作用。本文同樣考慮依存信息，使用融合依存信息的Attention機(jī)制將最短依存路徑信息與原句子相結(jié)合，實驗得到F值為73.72%，相比Zhang[13]等的模型F值提高0.82%。

(3) 本文的模型總體F值最高，且準(zhǔn)確率和召回率比較均衡。大多數(shù)現(xiàn)有模型準(zhǔn)確率偏高，召回率偏低，導(dǎo)致模型F值較低。例如，Miwa[7]等模型的準(zhǔn)確率最高為76.30%，但其召回率最低為63.25%，模型F值為69.12%，比本文模型準(zhǔn)確率高2.92%，召回率低10.81%，F(xiàn)值低4.60%。Zhang[13]等模型的準(zhǔn)確率為74.10%，召回率最高為71.80%，F(xiàn)值為72.90%，比本文模型性能準(zhǔn)確率高0.72%，召回率低2.26%，F(xiàn)值低0.82%。Zhou[9]等模型的F值最高為72.99%，準(zhǔn)確率為75.8%，召回率為70.38%，比本文模型準(zhǔn)確率高2.42%，召回率低3.68%，F(xiàn)值低0.73%。綜合對比以上分析可見，本文的模型F值最高，準(zhǔn)確率、召回率和F值分別為73.38%、74.06%和73.72%，準(zhǔn)確率和召回率比較均衡。

3 結(jié)論

生物醫(yī)學(xué)關(guān)系抽取是自然語言處理任務(wù)中的重要課題，本文針對藥物—藥物關(guān)系抽取進(jìn)行了研究。提出了一種融合依存信息Attention機(jī)制的深度學(xué)習(xí)模型，在DDIExtraction2013語料上進(jìn)行了實驗，F(xiàn)值為73.72%，該模型性能達(dá)到目前的先進(jìn)水平。主要結(jié)論如下：

(1) 淺層機(jī)器學(xué)習(xí)方法需要構(gòu)建合適的人工特征集，進(jìn)行大量的特征選擇實驗，導(dǎo)致系統(tǒng)成本較高，泛化能力較低。因而，本文使用深層神經(jīng)網(wǎng)絡(luò)GRU模型，只使用原句子詞序列和最短依存路徑詞序列，未使用任何人工特征，F(xiàn)值達(dá)到73.72%，性能高于淺層機(jī)器學(xué)習(xí)模型。

(2) 神經(jīng)網(wǎng)絡(luò)通過自動學(xué)習(xí)句子的高層特征表示進(jìn)而避免了大量人工特征的使用，但無法獲得句法結(jié)構(gòu)等對于關(guān)系抽取十分重要的依存信息。因此，本文使用最短依存路徑信息，相比于單獨使用原句子信息的模型，性能提高了1.36%。

(3) 為了更合理地利用依存路徑信息，本文摒棄了傳統(tǒng)的拼接方式，提出了一種新的融合依存信息Attention機(jī)制，能夠從句法結(jié)構(gòu)的角度衡量原句子各部分對于實體間關(guān)系的重要性，該方法相比拼接方式性能提高了2.66%。

綜上所述，本文提出的模型有效地提高了藥物關(guān)系抽取的識別性能。在未來的工作中，將嘗試多層Attention機(jī)制，進(jìn)一步提高模型的精度。