基于深度信念網(wǎng)絡(luò)的維吾爾語事件伴隨關(guān)系識別

胡 偉，禹 龍，田生偉，吐爾根·依布拉音，馮冠軍，艾斯卡爾·艾木都拉

(1. 新疆大學 軟件學院，新疆 烏魯木齊 830008； 2. 新疆大學 網(wǎng)絡(luò)中心，新疆 烏魯木齊 830046；3. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046； 4. 新疆大學 人文學院,新疆 烏魯木齊 830046)

0 引言

維吾爾語事件伴隨關(guān)系有著廣泛的應(yīng)用前景,事件伴隨關(guān)系指的是一個事件的發(fā)生伴隨著另一個事件的發(fā)生，兩者在時間上具有緊密性，反映的是事件間的一種語義關(guān)系。通過對事件伴隨關(guān)系的研究有助于了解事件發(fā)生的諸多因素，從而獲取事件的演變過程，在某種程度上為決策者對事件后期發(fā)展的預(yù)判提供重要的信息。如例1(維吾爾語的書寫格式為從右向左，下文同)。

(美國得克薩斯州西南部地區(qū)一輛教會巴士與輕型貨車相撞。當?shù)鼐奖硎臼鹿室呀?jīng)造成12人死亡，3人受傷。)

鑒于事件伴隨關(guān)系具有的重要意義，本文提出一種基于DBN的維吾爾語事件伴隨關(guān)系的識別方法，從而有助于更加全面地理解事件關(guān)系。通過這種方法能夠有效識別出維吾爾語文本中的具有伴隨關(guān)系的事件對，利用多層受限玻爾茲曼機(restricted Boltzmann machine,RBM)提取事件對中隱含的語義和句法關(guān)系，不僅能夠進行句子間的伴隨關(guān)系的識別，而且對跨句的伴隨關(guān)系的識別仍然有效，克服了由于缺少事件伴隨關(guān)系連接詞所帶來的識別難的問題。

1 相關(guān)工作

深度學習相對于淺層學習而言，具有更強的表達能力，是機器學習研究中的一個新領(lǐng)域。早在2006年Hinton等人指出，深層神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)具有更好的特征學習能力，隨著深度學習方法在圖像和語音領(lǐng)域的應(yīng)用，越來越多的深度學習方法被應(yīng)用于自然語言處理領(lǐng)域，梁軍等人[1]利用遞歸神經(jīng)網(wǎng)絡(luò)來發(fā)現(xiàn)與微博任務(wù)相關(guān)的特征進行微博情感分析的研究。趙妍妍等人[2]采用基于觸發(fā)詞擴展和二元分類相結(jié)合的方法進行事件類別識別，以及基于最大熵的多元分類的方法進行事件元素識別的事件抽取任務(wù)。Hen-Hsen Huang等人[3]提出一種半監(jiān)督的DCNN(dependency-based convolutional neural network)模型用于中文時態(tài)標注和因果關(guān)系分析。Jing Lu等人[4]提出應(yīng)用MLN(Markov Logic Network)進行事件共指消解的研究，主要是在低維空間的單元子句中，通過擴大MLN的分布來將實驗所需要的特征加入到模型中進行訓練。Abhyuday N Jagannatha等人[5]利用雙向RNN(bidirectional recurrent neural network)進行醫(yī)學事件檢測。Hao Li等人[6]利用跨文本類型知識的方法進行事件結(jié)構(gòu)信息的提取。

上述是國內(nèi)外有關(guān)事件的研究，主要集中在漢語和英語等大語種的相關(guān)研究領(lǐng)域，研究方向包括事件抽取、事件檢測和事件因果關(guān)系分析等。而對于像維吾爾語、蒙古語和藏語等少數(shù)民族語言的相關(guān)研究主要有： 瑪爾哈巴·艾賽提等人[7]分析了維吾爾語情感詞匯在上下文中表現(xiàn)的特征,并結(jié)合維吾爾語本身的語法特征,提出基于語法的維吾爾語情感詞匯自動獲??；孫媛等人[8]在藏漢可比語料的基礎(chǔ)上,利用詞向量對文本詞語進行語義擴展,進而構(gòu)建LDA話題模型,并利用Gibbs sampling進行模型參數(shù)的估計,抽取出藏語和漢語話題；鐘軍等人[9]提出了一種基于雙層模型的抽取方法，用來進行維吾爾語突發(fā)事件因果關(guān)系的抽?。秽崄嗛热薣10]提出一種基于詞向量模型的詞性標注方法和相應(yīng)算法,該方法首先利用詞向量的語義近似計算功能,擴展標注詞典;其次結(jié)合語義近似計算和標注詞典,完成詞性標注。對于少數(shù)民族語言的相關(guān)研究，主要集中在詞性標注、情感分析等方面，而對于維吾爾語事件伴隨關(guān)系的研究卻很少。

本文在前人相關(guān)研究基礎(chǔ)上，通過對維吾爾語語言特點的分析，根據(jù)深度信念網(wǎng)絡(luò)的無監(jiān)督學習算法，利用逐層貪婪預(yù)訓練的方式解決深度學習模型優(yōu)化困難的問題，提出基于DBN的深度學習思想進行維吾爾語事件伴隨關(guān)系的識別。根據(jù)維吾爾語具體的語言特性和事件伴隨關(guān)系的特點，本文抽取出基于事件結(jié)構(gòu)信息的12項特征，同時為充分利用事件與對應(yīng)觸發(fā)詞間的語義信息，引入詞向量來計算觸發(fā)詞間的語義相似度，融合兩類特征構(gòu)建訓練和測試數(shù)據(jù)，接著將訓練數(shù)據(jù)作為DBN模型的輸入，利用無監(jiān)督逐層貪婪算法完成訓練過程，最后引入softmax分類器實現(xiàn)維吾爾語事件伴隨關(guān)系識別任務(wù)。

2 維吾爾語相關(guān)事件定義

定義1事件(event)： 指在特定時間和環(huán)境下發(fā)生的，由若干角色參與的，表現(xiàn)出一些動作特征的一件事情[11]。其中事件發(fā)生的時間、地點和參與角色稱為事件要素。

定義2事件觸發(fā)詞(eventtriggerword)： 事件觸發(fā)詞直接引起事件的發(fā)生，是決定事件類別的重要特征，在一些文獻中也稱作事件指示詞。

定義3泛指事件(generalevent): 在文本中包含事件觸發(fā)詞，但是通過聯(lián)系文本上下文信息，該事件觸發(fā)詞并不能表示一個事件的發(fā)生，這類事件稱之為泛指事件。

(據(jù)新疆地震(E1)局預(yù)測……)

定義4語義類別(semanticclass)： 語言學中的語義是語言形式和言語形式所表現(xiàn)出來的全部意義，而語言的意義又包括詞義和句義兩種，同時根據(jù)語義的分析，并非所有的語義都具有類別。根據(jù)實驗組維吾爾語語言學專家的意見，將維吾爾語中具有語義的語義類別劃分為“rel_關(guān)系”、“time_時間”等14個類別(詳見附錄1)。

定義5事件的類別及事件子類別(typeandsubtype)： 根據(jù)ACE(automatic content extraction)語料和實驗組維吾爾語語言專家的意見，結(jié)合維吾爾語語言的特性，將事件的類別劃分為“突發(fā)事件”、“生命”等八個大類,并且每個事件類別又對應(yīng)若干個事件子類別(詳見附錄2)。

定義6事件極性(polarity)： 根據(jù)ACE(Automatic content extraction)語料和實驗組維吾爾語語言專家的意見，將事件的極性分為negative(根據(jù)事件的上下文信息，若明確指出該事件沒有發(fā)生，則該事件的極性為negative)和positive(根據(jù)事件的上下文信息，若明確指出該事件已經(jīng)發(fā)生或正在發(fā)生，則該事件的極性為positive)兩類。

3 維吾爾語事件伴隨關(guān)系識別模型

本文提出利用DBN模型完成維吾爾語事件伴隨關(guān)系的識別，在實驗組維吾爾語語言專家指導下對實驗語料進行標注。標注的內(nèi)容主要包括： 事件觸發(fā)詞、事件指示詞、事件類型、事件的語義類別等。本研究的主要過程是： 對已標注的語料進行候選事件對的提取，而后在此基礎(chǔ)上進行特征抽取，從而生成訓練數(shù)據(jù)，最后用得到的訓練數(shù)據(jù)訓練DBN模型并帶到softmax分類器中完成事件伴隨關(guān)系的識別。整個識別過程如圖1所示。

圖1 維吾爾語事件伴隨關(guān)系識別過程

3.1 候選事件對的抽取

候選事件對的抽取是本研究的基礎(chǔ)，將直接影響后續(xù)研究的進行，正確地進行候選事件對的抽取，不僅能夠達到去重、去噪的目的，而且有助于提高實驗的性能。具體抽取過程如下：

Step1取出語料庫中所有事件，存入列表eventList中。

Step2循環(huán)遍歷列表eventList，依次取出列表中的事件e，判斷該事件對應(yīng)的伴隨事件是否為空，如果不為空，將該事件對應(yīng)的伴隨事件存入集合{followEvent}中，同時將該事件和其所對應(yīng)的伴隨事件作為候選事件對，將其作為實驗的正例，如果為空并且該事件不是泛指事件，則將該事件存入集合{events}中。

Step3重復(fù)Step2，直到列表eventList為空。

Step4完成上述步驟之后，將集合{events}中含有集合{followEvent}的元素移除掉。同時對集合{events}中剩余元素進行兩兩組對作為候選事件對，并將其作為實驗的負例。

Step5最后將Step2和Step4得到的候選事件對融合起來，作為實驗總的候選事件對。

3.2 特征提取

實驗中提取的特征是否有效對深度信念網(wǎng)絡(luò)的識別效果有直接的影響，使用準確的特征對文本進行描述，有助于實驗效果的提升。本次實驗結(jié)合實驗組維吾爾語語言學專家總結(jié)的關(guān)于維吾爾語語言特性及維吾爾語事件伴隨關(guān)系的特點，選取12個特征進行事件伴隨關(guān)系的識別。通過以下實例(例3)對實驗所提取的特征進行介紹。

例3

(也門海岸上一艘搭載索馬里難民的船只遭受武裝直升機的襲擊(E1)，事故現(xiàn)場十分慘烈，造成至少31名難民死亡(E2)。)

(1) 事件類別(type)： 若事件類別相同，特征值取1，否則取0，根據(jù)定義5知事件E1的事件類別為突發(fā)事件，事件E2的事件類別為生命。故例3中特征值為0。

(2) 事件子類別(subtype)： 若事件子類型相同，特征值取1，否則取0。根據(jù)定義5可知，事件E1的子類別為恐怖襲擊，事件E2放入子類別死亡。故例3中特征值取0。

(3) 事件的極性(polarity)： 事件的極性有po-sitive和negative兩種。若事件極性相同，特征值取1，否則取0。根據(jù)定義6可知例3中事件E1和事件E2的極性都為positive，故特征值取1。

(4) 事件的時態(tài)(tense)： 事件的時態(tài)可以分為past_event、now_event、future_event和unspecified_event。若時態(tài)相同，特征值取1，否則，同取0。例3中，事件E1和事件E2的時態(tài)都為past_event，故特征值取1。

(5) 觸發(fā)詞的語義類別(semantic type)： 若觸發(fā)詞的語義類別相同，特征值取1，否則取0。根據(jù)定義4知，例3中事件E1和事件E2的觸發(fā)詞語義類別都為event_事件，故特征值取1。

(6) 事件觸發(fā)詞的詞性(triggerPOS)： 若事件觸發(fā)詞的詞性相同，特征值取1，否則0。例3中事件E1的觸發(fā)詞詞性為普通名詞，事件E2的觸發(fā)詞詞性為動詞，故特征值取0。

(7) 兩個事件是否具有依存關(guān)系(dependency)： 所謂兩個事件具有依存關(guān)系，指的是這兩個事件的觸發(fā)詞出現(xiàn)在一個句子中。若具有依存關(guān)系，特征值取1，否則取0。例3中事件E1和事件E2對應(yīng)的觸發(fā)詞都出現(xiàn)在一個句子中，故特征值取1。

(8) 兩個事件在文本中出現(xiàn)的先后順序(EventSeq)： 實驗中根據(jù)觸發(fā)詞在文本中出現(xiàn)的先后順序來代表候選事件對對應(yīng)的兩個事件在文本中出現(xiàn)的先后順序，若兩者對應(yīng)，特征值取1，否則取0。經(jīng)實驗可知例3中特征值取1。

(9) 兩個事件的觸發(fā)詞類型是否相同(triggertype)： 在語料設(shè)置中，事件的觸發(fā)詞類型有泛指事件、本句事件、非本句事件等。觸發(fā)詞類型相同，特征值1，否則取0。例3中，事件E1是本句事件，事件E2是本句事件，故特征值取1。

(10) 兩個事件之間的相對距離(reldistance)： 通過計算實驗語料庫中所有抽取的候選事件對對應(yīng)觸發(fā)詞之間的相對距離劃定一個最優(yōu)的距離范圍，經(jīng)計算可知相對距離在[0,15]之間的事件對約占10%,[16,55]之間的約占78%，大于55的約占12%，故本次實驗劃定相對距離范圍為[15,55]。若兩個事件之間的相對距離在劃定范圍內(nèi)，特征值取1，否則取0。在例3中，事件E1和事件E2對應(yīng)觸發(fā)詞的相對距離為16，故特征值取1。

(11) 兩個事件之間間隔事件的事件數(shù)(interevent)： 通過計算實驗語料庫中所有候選事件對之間間隔的事件數(shù)并且劃定一個最優(yōu)的范圍，經(jīng)實驗計算可知，[0,3]之間約占8.5%,[3,5]約占82%，大于5的約占9.5%，故本次實驗劃定的間隔事件數(shù)的范圍是[3,5]。若兩個事件之間間隔的事件數(shù)在這個范圍內(nèi)，特征值取1，否則取0。例3中，事件E1和事件E2間隔的事件數(shù)為0，故特征值取0。

(12) 兩個事件之間間隔句子數(shù)(intersentence)： 在文本中候選事件對之間通常間隔的句子數(shù)較少，甚至沒有間隔的句子。在實驗中通過計算所有候選事件對之間間隔的句子數(shù)可以看出，間隔句子數(shù)范圍在[0,2]之間的事件對約占86.7%，所以本實驗中，事件之間間隔的句子數(shù)在[0,2]范圍內(nèi)對應(yīng)的特征值取1，否則取0。例3中，事件E1和事件E2之間間隔的句子數(shù)為1，故特征值取1。

(13) 候選事件對對應(yīng)觸發(fā)詞的語義相似度： 根據(jù)觸發(fā)詞間的語義信息，利用詞向量計算候選事件對對應(yīng)觸發(fā)詞之間的語義相似度，將其作為實驗的特征之一。

3.3 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)(deep belief network，DBN)是深度學習中重要的模型[12]。由Hinton等人[13]于2006年提出，其采用逐層貪婪的學習方法，能夠有效避免傳統(tǒng)的梯度下降算法針對多隱層訓練效果不佳的問題，已被成功應(yīng)用于圖像、語音和文檔等對象的建模、特征抽取、識別等[14-15]。

由于DBN模型良好的特征學習能力，本文提出一種基于DBN模型的維吾爾語事件伴隨關(guān)系的識別方法，利用該模型從原始的特征集中學習到更加抽象且高度區(qū)分的特征，最后作為softmax分類器的輸入實現(xiàn)分類。DBN模型由多層無監(jiān)督的受限玻爾茲曼機(restricted Boltzmann machine,RBM)和一層有監(jiān)督的反向傳播(back-propagation,BP)網(wǎng)絡(luò)組成，如圖2所示。

圖2 DBN模型框架

DBN的訓練包括“預(yù)訓練”和“微調(diào)”兩個階段，“預(yù)訓練”階段采用逐層訓練的方式對各層的RBM進行訓練，低一層RBM的隱含層輸出作為高一層RBM的可見層的輸入?！拔⒄{(diào)”階段是在經(jīng)過預(yù)訓練之后，為使模型具有更好的表現(xiàn)能力，在DBN模型的最后一層設(shè)置BP網(wǎng)絡(luò)，用以接收RBM的輸出特征向量作為它的輸入特征向量。采用BP算法，利用梯度下降的方法對整個DBN進行優(yōu)化、微調(diào)，是一個有監(jiān)督的學習過程。

3.4 受限玻爾茲曼機

受限玻爾茲曼機(restricted Boltzmann machine,RBM)是一類具有兩層結(jié)構(gòu)、對稱連接且無自反饋的神經(jīng)網(wǎng)絡(luò)模型[16],由一個隱含層和一個可見層組成,其層內(nèi)各神經(jīng)元無連接，層間神經(jīng)元全連接，各個隱含層節(jié)點的各個激活狀態(tài)之間是相互獨立的，如圖3所示。其中，W是兩層之間的連接權(quán)重。

圖3 RBM網(wǎng)絡(luò)結(jié)構(gòu)

在RBM中，可見單元和隱藏單元都是二元變量，其狀態(tài)僅為{0,1}，由于其是一種基于能量的模型，輸入v向量和隱含層輸出向量h之間的能量函數(shù)值為：

(1)

式中，θ是RBM的參數(shù)，W是可見單元與隱藏單元邊的鏈接權(quán)重，ai和bj分別是可見單元和隱藏單元的偏置?；谠撃芰亢瘮?shù)，可得到v和h的聯(lián)合概率，如式(2)所示。

(2)

(3)

接下來通過最大化p(v)來得到RBM的參數(shù)，在這里最大化等同于最大化log(p(v))=L(θ)，如式(4)所示。

(4)

通過L(θ)利用隨機梯度下降法來最大化L(θ)，首先L(θ)需要對W進行求導，經(jīng)過簡化如式(5)所示。

(5)

對于式(5)而言，等式右邊的第一項較為容易計算，而等式右邊第二項在通常情況下基本不可解，由分析可知：

(6)

為求解(6)式，采用Hinton[17]提出的對比散度(contrastive divergence,CD)算法進行求解。從而可以得到：

重構(gòu)的可見向量v1和隱藏向量h1就是對p(v,h)的一次抽樣，多次抽樣得到的樣本集合可以看作是對p(v,h)的一種近似，使得式(5)的計算變得可行。

3.5 詞向量

基于神經(jīng)網(wǎng)絡(luò)訓練得到的詞向量蘊含豐富的上下文語義信息，在實驗中引入詞向量充分表示當前事件所對應(yīng)的觸發(fā)詞在文本中的語義信息，同時避免了維數(shù)災(zāi)難[18]。

本文使用Mikolov[19]提出的Word2Vec工具訓練得到詞向量，選擇Skip-gram+HS模型作為訓練框架。為了更準確地獲取每個觸發(fā)詞在低維空間中的語義分布情況，本文在原有語料的基礎(chǔ)之上進行了擴充。選取維吾爾語版網(wǎng)頁作為語料來源，利用網(wǎng)絡(luò)爬蟲下載網(wǎng)頁，進行去重、去噪處理，得到不限題材并且未標注的生語料。

下面通過一個具體的例子來闡述本次實驗如何利用詞向量進行觸發(fā)詞間語義相似度的計算(詞向量維度以10維為例)

例4

(在某地高速公路上發(fā)生一起嚴重的車禍(E1)，現(xiàn)場造成10人死亡(E2))。

表1 例4中兩個觸發(fā)詞的詞向量

從表1中得到事件E1和E2對應(yīng)觸發(fā)詞的詞向量，利用二者之間的余弦值來表示兩個觸發(fā)詞之間的語義相似度，通過計算得到上述兩個觸發(fā)詞之間的語義相似度為0.144 3，而后將其作為一個特征，并將其加入到對應(yīng)事件對的特征集中。

4 實驗結(jié)果與分析

為了便于比較，本文采用準確率P、召回率R和F值三個重要指標來對事件伴隨關(guān)系的識別結(jié)果進行衡量。其中準確率是指正確識別的對象個數(shù)占實際識別的對象個數(shù)的百分比。召回率是指正確識別的對象個數(shù)占識別系統(tǒng)應(yīng)該識別對象個數(shù)的百分比。F值是正確率和召回率的綜合評價指標，即:F=P×R×2/(P+R)。本文所有實驗均采用五折交叉驗證，為保證結(jié)果的穩(wěn)定性，取平均值作為最終的實驗結(jié)果。

4.1 基于DBN模型的有效性驗證

在不引入詞向量的前提下，使用3.2節(jié)提取的前12個特征構(gòu)成的特征向量作為輸入，利用DBNi(表示DBN神經(jīng)網(wǎng)絡(luò)的層數(shù)為i)和SVM進行對比實驗。SVM是處理非線性數(shù)據(jù)較好的淺層機器學習模型，因此本文選用SVM模型作為Baseline進行對比實驗，實驗結(jié)果如表2所示。

表2 基于DBN的有效性驗證

從表2可以看出，不同層數(shù)的DBN模型，對于實驗性能的影響也有所不同，這是因為不同層數(shù)的DBN模型，在通過多層映射之后所提取出的結(jié)構(gòu)信息有所不同，由表2可知，當DBN模型層數(shù)為2時相對于DBN模型的其他層數(shù)性能更優(yōu)，其F值達到76.86%，較淺層SVM機器學習模型提高了2.56%，說明在本任務(wù)中基于深度學習的模型較基于淺層的機器學習模型具有更好的表達能力。

4.2 特征選取對模型性能的影響

在維吾爾語事件伴隨關(guān)系識別過程中，特征的選擇對模型性能的影響較大，為了探討特征的選擇對模型性能的影響，本文基于4.1節(jié)中實驗效果最佳的DBN2來詳細說明特征的選擇對模型性能的影響。去掉4.2節(jié)中前12項特征中的某一項，將剩余的11項特征構(gòu)成新的特征集，將該特征集作為模型的輸入進行特征有效性驗證，如表3所示，表中每一行的結(jié)果為去掉對應(yīng)特征后得到的結(jié)果。

表3 特征選取對模型性能的影響

續(xù)表

由表3可知，在去掉某一項特征之后模型的準確率、召回率以及F值與包含全部特征相比均有所下降，由此證明3.2節(jié)提取的規(guī)則特征在維吾爾語事件伴隨關(guān)系上的有效性。

4.3 詞向量對實驗結(jié)果的影響

詞向量富含豐富的上下文語義信息，為探討Word Embedding 對模型的分層結(jié)構(gòu)學習性能的影響，實驗選用50維的詞向量進行實驗，依次訓練DBN1、DBN2、DBN3、DBN4。實驗結(jié)果如表4所示，其中DBNi+W_E表示，在原有特征集中加入對應(yīng)候選事件對的觸發(fā)詞的語義相似度的特征。

表4 Word Embedding對實驗結(jié)果的影響

從表4可知，詞向量對不同層次的DBN模型都是有效的。這是因為詞向量每一維都包含豐富的上下文信息，能夠很好地表示語義特征，并且使語義類似的觸發(fā)詞，其向量表示也比較接近，進一步促進模型對語料深層語義的學習，進而提高了模型對維吾爾語事件伴隨關(guān)系的識別性能。在引入詞向量訓練DBN2時，可以從表中很明顯地看出其性能要明顯高于引入詞向量訓練其他各層的性能。

4.4 詞向量維度對實驗的影響

詞向量維度的選擇對DBN模型的性能有一定的影響。為探討詞向量維度設(shè)為多大時能更好地表達識別效果，實驗中將詞向量的維度依次設(shè)定為10維、50維、100維、150維、200維分別進行實驗。通過表2和表4分析，選定DBN2模型進行對比實驗，結(jié)果如表5所示。

從表5可以看出，詞向量維度的不同對DBN模型的性能都有不同的影響。當特征集中詞向量的維度為50維時DBN模型的性能最佳，P值達到81.89%，R值達到84.32%，F(xiàn)值達到82.48%。隨著維度的不斷增加，模型的正確率開始回落，性能下降，其原因是當維度過高時，會產(chǎn)生過擬合現(xiàn)象，模型對數(shù)據(jù)的泛化能力降低。

5 結(jié)語

針對國內(nèi)外關(guān)于事件的相關(guān)研究，結(jié)合維吾爾語本身的特點，提出一種基于DBN的維吾爾語事件伴隨關(guān)系的識別方法。通過對維吾爾語語言結(jié)構(gòu)和伴隨關(guān)系的特點的分析，提取了12項基于事件結(jié)構(gòu)信息的特征。為充分利用事件對與其對應(yīng)的觸發(fā)詞之間的語義信息，利用詞向量計算其語義相似度，最后融合這兩類特征作為DBN神經(jīng)網(wǎng)絡(luò)模型的輸入，進而完成事件伴隨關(guān)系的識別。實驗結(jié)果表明，基于深度學習的模型較淺層的SVM模型更適合事件伴隨關(guān)系的識別任務(wù)，且引入詞向量能更好地提高模型的性能識別。同時，Word Embedding維度不同，對模型性能的影響也有所不同。

[1] 梁軍, 柴玉梅, 原慧斌,等. 基于深度學習的微博情感分析[J]. 中文信息學報, 2014, 28(5): 155-161.

[2] 趙妍妍, 秦兵, 車萬翔,等. 中文事件抽取技術(shù)研究[J]. 中文信息學報, 2008, 22(1): 3-8.

[3] Hen-Hsen Huang,Chang-Rui Yang, Hsin-Hsi Chen.Chinese tense labelling and causal analysis[C]//the 26th International Conference on Computational Linguistics,2016: 2227-2237

[4] Jing Lu, Deepak Venugopal, Vibhav Gogate, et al. Joint Inference for event coreference resolution[C]//the 26th International Conference on Computational Linguistics, 2016: 3264-3275

[5] Jagannatha A N, Yu H. Bidirectional RNN for medical event detection in electronic health records[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Proc Conf, 2016: 473.

[6] Li H, Ji H. Cross-genre event extraction with knowledge enrichment[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies,2016: 1158-1162.

[7] 瑪爾哈巴·艾賽提, 艾孜爾古麗, 玉素甫·艾白都拉. 基于語法的維吾爾語情感詞匯自動獲取[J]. 中文信息學報, 2017(1): 126-132.

[8] 孫媛, 趙倩. 藏漢跨語言話題模型構(gòu)建及對齊方法研究[J]. 中文信息學報, 2017, 31(1): 102-111.

[9] 鐘軍, 禹龍, 田生偉,等. 基于雙層模型的維吾爾語突發(fā)事件因果關(guān)系抽取[J]. Acta Automatica Sinica, 2014, 40(4): 771-779.

[10] 鄭亞楠, 珠杰. 基于詞向量的藏文詞性標注方法研究[J]. 中文信息學報, 2017, 31(1): 112-117.

[11] 付劍鋒. 面向事件的知識處理研究[D]. 上海: 上海大學博士學位論文，2010.

[12] 丁美昆, 徐昱琳, 蔣財軍. 深度信念網(wǎng)絡(luò)研究綜述[J]. 工業(yè)控制計算機, 2016, 29(4): 80-81.

[13] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006,313(5786): 504-507

[14] 曲利新.基于深度信念網(wǎng)絡(luò)的語音情感識別策略[D].大連： 大連理工大學碩士學位論文，2014: 56.

[15] 黃晨晨，鞏微，伏文龍，等.基于深度信念網(wǎng)絡(luò)的語音情感識別的研究[J].計算機研究與發(fā)展，2014,51(2)： 75-80.

[16] 張春霞, 姬楠楠, 王冠偉. 受限波爾茲曼機[J]. 工程數(shù)學學報, 2015(2): 159-173.

[17] Hinton G E. Training productsof experts by minimzing contrastive divergence[J]. Neural Computation, 2002,14(8): 1771-1800.

[18] He Yu, Pan Da, Fu Guo-Hong. Chinese explanatory opinionated sentence recognition based on auto-encoding features[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2015,51(2): 235-240.

[19] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality//Proceedings of Advances in Neural Information Processing Systems, Vancouve, Canada: NIPS, 2013: 3111-3119.

附錄1：

(維吾爾語語言的語義類別)

附錄2：

(左側(cè)列是事件類別，右側(cè)列是對應(yīng)類別的子類別)