基于深度學習的維吾爾語人稱代詞指代消解

李冬白，田生偉，禹 龍，吐爾根·依布拉音，馮冠軍

(1. 新疆大學 軟件學院，新疆 烏魯木齊 830008； 2. 新疆大學 網(wǎng)絡中心，新疆 烏魯木齊 830046；3. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046； 4. 新疆大學 人文學院，新疆 烏魯木齊 830046)

基于深度學習的維吾爾語人稱代詞指代消解

李冬白1，田生偉1，禹 龍2，吐爾根·依布拉音3，馮冠軍4

(1. 新疆大學 軟件學院，新疆 烏魯木齊 830008； 2. 新疆大學 網(wǎng)絡中心，新疆 烏魯木齊 830046；3. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046； 4. 新疆大學 人文學院，新疆 烏魯木齊 830046)

指代消解是自然語言處理技術(shù)的核心問題，該文結(jié)合維吾爾語語義特征，提出基于深度學習的維吾爾語人稱代詞指代消解方法。通過堆疊多層無監(jiān)督RBM網(wǎng)絡和一層有監(jiān)督BP網(wǎng)絡，構(gòu)建DBN深度神經(jīng)網(wǎng)絡學習模型，RBM網(wǎng)絡保證特征向量映射達到最優(yōu)，BP網(wǎng)絡對RBM網(wǎng)絡的輸出向量進行分類，實現(xiàn)維吾爾語人稱代詞指代消解。經(jīng)過維吾爾語指代消解語料庫測試，F(xiàn)值達到83.81%，比SVM方法高出2.88%。實驗結(jié)果表明，同等條件下，該方法能有效提升維吾爾語人稱代詞消解的精度，有助于維吾爾語指代消解研究。

維吾爾語；人稱代詞；指代消解；深度學習；深度信念網(wǎng)絡

Abstract: Coreference resolution is a fundamental issue in natural language processing. Combining the semantic features of Uyghur, a method of Uyghur pronominal anaphora resolution based on Deep Learning is proposed. The proposed DBN (Deep Belief Nets) learning model is composed of several unsupervised RBM networks and a supervised BP network. The RBM layers preserve information as much as possible when feature vectors are mapped to next layer. The BP layer is able to classify the vector output by the last RBM layer. Then the model can be used to implement Uyghur pronominal anaphora resolution. Experiments on Uyghur coreference resolution corpus achieve 83.81% in F-score, 2.88% higher than SVM.

Key words: Uyghur; personal pronoun; anaphora resolution; deep learning; deep belief network

收稿日期： 2016-04-18 定稿日期： 2016-09-23

基金項目： 國家自然科學基金(61563051，61662074)；國家自然科學基金(61262064)；國家自然科學基金(61331011)；新疆自治區(qū)科技人才培養(yǎng)項目(QN2016YX0051)

1 引言

指代作為一種常見的語言現(xiàn)象，廣泛存在于自然語言表達中。在語言學中，指代是一個抽象的語言學單位anaphor(稱為照應語)與之前出現(xiàn)的一個具體的語言單位antecedent(稱為先行語)之間存在的一種特殊語義關(guān)系。確定照應語的先行語的過程稱為指代消解。

指代消解實質(zhì)上是從內(nèi)容層面構(gòu)建篇章中句與句間的銜接。指代的正確消解作為自然語言處理(natural language processing,NLP)研究的關(guān)鍵問題，對機器翻譯(machine translation)、信息抽取(information extraction)、自動文摘(automatic abstracting)等諸多NLP應用有著極其重要的支撐作用[1]。

指代消解經(jīng)過幾十年的發(fā)展，已從最初基于規(guī)則的研究方法轉(zhuǎn)向基于機器學習的研究方法。McCarthy[2]首先提出將判斷先行語的問題轉(zhuǎn)為一個二元分類問題，利用分類器判斷照應語和候選先行語之間是否有指代關(guān)系。之后，Soon[3]根據(jù)這一思想，提出基于機器學習的指代消解框架： 從預處理過的語料中抽取12個特征，構(gòu)建訓練集；利用SVM等分類器進行訓練，得到分類器模型；用分類器模型對測試語料進行測試[4]；在MUC-6測試語料上F值達到62.6%。之后很多學者借鑒這一思想做了大量的研究工作。例如，Ng[5]等在Soon等研究的基礎上，充分考慮詞法、語法和語義，抽取53個特征構(gòu)建系統(tǒng)，指代消解效果顯著；Yang[6]等人提出一個雙候選模型，通過學習更好地確定先行語；Kong[7]等人將中心理論拓展到語義層，探索語義信息對指代消解的影響。研究表明，合理的運用語義信息可以極大地提升英文代詞消解的性能。相較于英文，中文指代消解研究起步較晚。許敏[8]等采用人物焦點的變化，對漢語第三人稱代詞進行了消解研究；王厚峰[9]等人根據(jù)人稱代詞的語義角色信息，給出漢語人稱代詞的消解規(guī)則。之后又從領域知識和語義知識出發(fā)，提出一種弱語言化知識的消解方法，解決人稱代詞消解[10]；李國臣[11]等采用決策樹算法結(jié)合優(yōu)先選擇策略，完成中文人稱代詞的指代消解；李凡[12]等結(jié)合實訓學習，提出一種基于Fuzzy Rough集模型的漢語人稱代詞消解方法；孔芳[4]等基于樹核函數(shù)，從多方面動態(tài)擴展結(jié)構(gòu)化句法樹，提升指代消解的性能。

隨著研究的不斷深入，深層次的語義信息越來越受關(guān)注。傳統(tǒng)的方法依靠人工抽取樣本的平面特征，基于機器學習完成分類。雖然能在一定程度上提升系統(tǒng)性能，但存在一些局限性： (1)人工構(gòu)造特征過程煩瑣，對系統(tǒng)性能影響較大； (2)傳統(tǒng)淺層機器學習無法充分表示深層次的語義信息，對復雜問題泛化能力較弱。此外，目前研究都集中在語料資源豐富的英語和中文等語言中，且已取得豐碩成果，但對于像維吾爾語這樣語料資源匱乏的小語種研究甚少?；谏鲜鰡栴}，本文提出基于深度學習的維吾爾語人稱代詞指代消解方法，探索深層次的語義信息。

2 相關(guān)工作

2.1 深度學習 基于人工神經(jīng)網(wǎng)絡對人類感知系統(tǒng)中層次結(jié)構(gòu)的研究，研究者提出了深度學習的概念。深度學習是通過模擬人腦神經(jīng)元和突觸處理感知信號的過程，構(gòu)建含多個隱層的機器學習模型。其優(yōu)勢在于： 自動地學習數(shù)據(jù)中比淺層特征更加抽象的高層特征表示；經(jīng)過逐層非監(jiān)督預訓練學習算法獲取數(shù)據(jù)的分布式表示[13]；利用多層非線性映射網(wǎng)絡結(jié)構(gòu)，完成復雜函數(shù)的逼近，圖1為一個復雜函數(shù)的分解示例圖。

圖1 復雜函數(shù)分解示例

基于人類對于復雜現(xiàn)實數(shù)據(jù)中隱含的深層結(jié)構(gòu)的探索，深度學習被有效地應用到圖像處理、語音識別、自然語言處理等眾多領域[14]。文獻[15]利用五層DBN替換GMM-HMM中高斯混合模型，結(jié)合單音元素狀態(tài)，完成語音識別；文獻[16]采用三階玻爾茲曼機改進DBN，進行三維物體識別，結(jié)果優(yōu)于SVMs，接近歷史最好識別誤差；文獻[17]將DNN與HMM相結(jié)合，在轉(zhuǎn)寫任務中錯誤率明顯下降；文獻[18]基于深度學習構(gòu)建一個自然語言處理框架，處理Chunking、POS、SRL、NER等自然語言處理任務。本文采用深度學習算法處理維吾爾語人稱代詞指代消解，將這個復雜任務的學習過程轉(zhuǎn)變?yōu)閷Χ鄬映橄蟊硎镜姆蔷€性推導過程，保證統(tǒng)計和計算的可操作性。

2.2 維吾爾語

維吾爾語,簡稱維語(Uyghur),屬于阿爾泰語系突厥語族葛邏祿語支[19]，是一種黏著語。同英語一樣，維吾爾語是一種拼音文字，通過在單詞原型上附加一定詞根完成構(gòu)詞。維吾爾語中將表示名詞和其他詞在組合過程中產(chǎn)生的各種關(guān)系的語法范疇稱為格范疇?！案瘛闭Z法作為一種特殊的語法范疇，根據(jù)人稱代詞的不同與上下文的變化，在人稱代詞詞尾附加不同的“格后綴”，形式見表1?！案瘛闭Z法能夠體現(xiàn)名詞在句中的句法功能，在語法形式上具有獨立性，在語法意義上具有穩(wěn)定性，它作為維語人稱代詞的重要語言特征，為人稱代詞指代消解研究提供依據(jù)。

表1 維吾爾語句人稱代詞“格”語法

與漢語中起稱代作用的人稱代詞不同，維吾爾語的人稱代詞中有第一人稱、第二人稱、第三人稱，但不包括反身代詞。此外，維吾爾語的人稱代詞有單復數(shù)之分，通過附加不同詞尾進行區(qū)分。維吾爾語第一人稱和第二人稱有單復數(shù)之分，第三人稱沒有；第二人稱有四種稱呼： 普稱、尊稱、敬稱和蔑稱，普稱和敬稱有單復數(shù)之分，尊稱只有單數(shù)，蔑稱只有復數(shù)；第三人稱沒有性別之分，形式見表2。人稱代詞單復數(shù)的特征，為構(gòu)建維吾爾語人稱代詞指代消解的規(guī)則提供依據(jù)。

表2 維吾爾語句人稱代詞單復數(shù)

3 維吾爾語人稱代詞指代消解

3.1 特征向量的選擇 特征向量的選擇對基于機器學習的指代消解性能具有重要影響。特征的選擇要能有效判斷照應語和候選先行語間是否存在指代關(guān)系。通過查閱國內(nèi)外對中英文人稱代詞指代消解的研究成果，結(jié)合維吾爾語的特殊性，篩選適合本文使用的特征集?；趥鹘y(tǒng)的淺層機器學習方法，人工提取特征可擴充性差、淺層學習方法泛化能力弱、忽略特征層次類型對分類結(jié)果的影響，本文對篩選特征進行分層，共定義五個抽象層，并賦予不同的抽象值。

3.1.1 詞法特征

(2) 先行語為代詞(candidate pronoun)： 特征取值vcp={0,1}，表明若候選先行語為代詞，特征值取1， 否則取0。

(3) 詞性一致性(POS agreement)： 特征取值vpos={0,1}，表示照應語和候選先行語的詞性一致特征值取1，否則取0。

3.1.2 語法特征

(1) 性別一致性(gender agreement)： 特征取值vgender={0,0.5,1}，如果候選先行語和照應語的性別特征一致，特征值取1；性別特征不一致，特征值取0；當其中一個的性別特征未知時，特征值取0.5。

(2) 語義類別一致性(semanteme agreement)： 特征取值vsemanteme={0,0.5,1}，若照應語和候選先行語語義類別一致，特征值取1；語義類別不一致，特征值取0；若其中一個的語義類別未知或沒有，特征值取0.5。

3.1.3 位置和距離特征

(1) 距離特征(distance)： 距離特征是照應語和候選先行語句子編號的空間距離[20]?？臻g距離越遠，候選先行語和照應語發(fā)生指代關(guān)系的可能性越小，于是定義特征值vdistance=f(d),對空間距離進行逆向取值，并弱化在0～1之間。特征函數(shù)如式(1)所示。

(1)

設空間距離為d,若d大于等于10句 ,則特征值取0 ;若d小于十句 ,則特征值取 0.1×(10-d)。

(2) 是否嵌套(Pps nest)： 特征取值vnest={0,1}，若照應語和候選先行語相互嵌套，特征值取1，否則取0。

3.1.4 語義特征

(1) 語義角色(semantic role)： 特征值vrole，是四維數(shù)值向量。設i為照應語，j為候選先行語；arg0(k)表示k的語義角色是否為施事者，若是取1，否則取0；arg1(k)表示k的語義角色是否為受事者，若是取1，否則取0。則vrole={arg0(i),arg1(i),arg0(j),arg1(j)}。

(2) 命名實體特征(name entity)： 特征取值vname={1,vw}。若候選先行語實體類型為人名，取值為1；否則依次取值。根據(jù)語料地名、機構(gòu)名、其他所占的比例，賦予不同權(quán)重。

(2)

3.1.5 格語法特征

(1) 格語法特征(case grammar)： 格語法特征指的是候選先行語和照應語的所屬格。特征取值vcase={0,0.5,1}。若照應語和候選先行語的格語法相同，取1；不同取0；其中一個沒有格語法則取0.5。

(3) 單復數(shù)一致性(number agreement)： 特征取值vnumber={0,0.5,1}。若候選先行語和照應語的單復數(shù)一致，取1；否則取0；若其中一個不存在或不確定取0.5。與漢語(或英語)相同，維吾爾語也有單數(shù)和復數(shù)之分，它是通過不同詞尾加以區(qū)分。單數(shù)沒有特定的詞尾，原型名詞本身即含有單數(shù)意義；復數(shù)需要在原型名詞后附加專門的詞尾，具體形式如表3所示。

表3 維吾爾語單復數(shù)詞尾

3.2 構(gòu)建訓練實例和測試實例

3.2.1 構(gòu)建訓練實例

假設訓練語料中已標注指代鏈表述為A1，A2，A3，…，Am，名詞短語為NP0，NP1，NP2，…，NPn。對名詞短語NPi，查找其是否位于指代鏈，若不位于指代鏈中，視為非消解項，不必查找其先行語；若位于某一指代鏈中，與最近的名詞短語NPj組成正例對，位于NPi和NPj間的各名詞短語均與NPi組成負例對,(j

表4 訓練和測試實例格式

3.2.2 構(gòu)建測試實例

與訓練實例不同，測試實例是沒有標注指代鏈信息的語料，因此在構(gòu)建測試實例時，識別出的所有名詞短語均作為照應語。該照應語之前的所有名詞短語均作為它的候選先行語，構(gòu)成候選先行語集合。根據(jù)表5的統(tǒng)計結(jié)果，照應語為人稱代詞，僅需要和距離其四句以內(nèi)的名詞短語進行組隊，構(gòu)成<候選先行語-照應語>對，根據(jù)過濾規(guī)則進行篩選，提取特征向量構(gòu)建測試實例。

表5 指代關(guān)系跨越句子距離占比統(tǒng)計

4 深度信念網(wǎng)絡DBN

深度信念網(wǎng)絡(deep beliefr network,DBN),由Geoffrey Hinton于2006年提出。由若干層無監(jiān)督的受限玻爾茲曼機(restricted boltzmann machine,RBM)和一層有監(jiān)督的反向傳播網(wǎng)絡(back propagation,BP)組成[21]，通過逐層貪婪算法訓練網(wǎng)絡層間的權(quán)重,依據(jù)標準BP進行微調(diào)，結(jié)構(gòu)如圖2所示。

圖2 深度信念網(wǎng)絡DBN結(jié)構(gòu)圖

圖2中，Vi為顯性神經(jīng)元，用于接收輸入數(shù)據(jù)，Hi為隱性神經(jīng)元，用于提取特征。Wi作為權(quán)重，用于微調(diào)整個模型。

4.1 受限玻爾茲曼機RBM

受限玻爾茲曼機RBM是一種能量模型，是DBN的核心組件之一。由一個可視層(visible layer)和一個隱含層(hidden layer)組成，如圖3所示。

圖3 受限玻爾茲曼機RBM結(jié)構(gòu)圖

圖3中，V表示可視層，由顯元vi(0

若可視層的偏置量為a，隱含層的偏置量為b，則在某一特定狀態(tài)(v,h),利用式(3)由可視層節(jié)點值可得到隱含層節(jié)點值。

(3)

利用式(4)由隱含層節(jié)點值可重構(gòu)可視層節(jié)點值。

(4)

RBM可以對一個給定輸入信號v=(v1,v2,…,vm),自動生成對應的隱含層特征信號h=(h1,h2,…,hn)，此時RBM系統(tǒng)的能量函數(shù)定義為：

(5)

則給定可視層信號v和隱含層特征向量h的聯(lián)合概率分布p(v,h)定義為：

(6)

(7)

其中T為樣本數(shù)目,E[·]為期望。

4.2 反向傳播網(wǎng)絡BP

反向傳播網(wǎng)絡(back-propagation network,BP),是一個有監(jiān)督的分類器，能夠?qū)W習和存儲“輸入-輸出”模式的映射關(guān)系。采用最速下降算法，通過誤差反向傳播進行訓練，不斷調(diào)整模型參數(shù)，使網(wǎng)絡誤差平方和達到最小，進而微調(diào)整個DBN模型的參數(shù)。圖4是BP網(wǎng)絡示例圖。

圖4 反向傳播網(wǎng)絡BP結(jié)構(gòu)圖

BP網(wǎng)絡訓練過程如下：

Step1 隨機初始化softmax層的網(wǎng)絡參數(shù)，步長設為N；

Step2 前向傳播。將輸入向量逐層傳遞到輸出層，獲得預測分類類別。將實際分類結(jié)果與期望類別進行對比得到誤差；對于第l層第j個神經(jīng)元，期望輸出為dj，實際輸出為Oj，則誤差為：ej(n)=dj(n)-Oj(n)；

Step3 反向傳播。誤差被逐層反向傳播，由輸出層傳輸?shù)捷斎雽?，根?jù)式(8)計算局部梯度；

(8)

Step4 修改權(quán)重。根據(jù)式(9)修改權(quán)值，微調(diào)DBN的參數(shù)，η為學習速率；

(9)

Step5 若n=N，訓練結(jié)束；否則n=n+1,轉(zhuǎn)Step2。

3.3 訓練DBN

DBN模型的訓練主要分為兩步： 第一，預訓練(pre-training)。單獨訓練每一層無監(jiān)督RBM網(wǎng)絡，低一層RBM的輸出作為高一層RBM的輸入，保證特征向量映射到特征空間時保留足夠多的特征信息，進而形成概念化的特征；第二，微調(diào)(fine-tuning)。采用BP網(wǎng)絡，有監(jiān)督地訓練DBN最頂層，將之前學習到的特征進行分類，并將誤差逐層向后傳播，微調(diào)整個DBN網(wǎng)絡的權(quán)重。具體操作如下。

Step1 充分訓練第一層無監(jiān)督RBM網(wǎng)絡；

Step2 固定第一層RBM的權(quán)重w和偏移量d，之后將其隱層神經(jīng)元的輸出(即學習到的特征)作為第二層RBM的輸入向量；

Step3 充分訓練第二層RBM后，將其堆疊在第一層RBM上；

Step4 根據(jù)需要重復上述三個步驟任意次數(shù)；

Step5 若訓練數(shù)據(jù)集中有標簽，則在頂層RBM訓練時，將標識分類標簽的神經(jīng)元追加到該層的顯層中，一起進行訓練。

4.4 基于DBN的維吾爾語人稱代詞指代消解

根據(jù)Soon等人的指代消解框架，結(jié)合維吾爾語人稱代詞特征，采用深度學習算法實現(xiàn)維吾爾語人稱代詞指代消解?；舅枷胧前阎复廪D(zhuǎn)化為二元分類問題，采用softmax作為分類器，判斷照應語和每個候選先行語是否存在指代關(guān)系。具體框架結(jié)構(gòu)如圖5所示。

對原始語料C進行預處理，分為訓練集C1，測試集C2。根據(jù)需要，提取C1中的名詞短語，兩兩組對構(gòu)成訓練實例集；根據(jù)過濾規(guī)則去除不具有指代關(guān)系的實例；根據(jù)設定特征集R，獲取特征取值，結(jié)合記錄指代鏈信息確定實例正負關(guān)系，構(gòu)建特征向量Train，形成訓練文件；將Train輸入DBN模型進行訓練，生成訓練模型。對測試集C2，與訓練集類似，不同之處是構(gòu)建的特征向量Text中不含有正負例信息；將Text輸入DBN模型，進行測試，返回結(jié)果與已標注的信息進行對比，最后輸出結(jié)果。

圖5 基于DBN的維吾爾語人稱代詞消解模型結(jié)構(gòu)圖

5 實驗和結(jié)果分析

目前，國際上通用的指代消解語料為MCU和ACE，但關(guān)于維吾爾語指代消解測評語料庫未見報道，因此需要針對維吾爾語標記特定語料。課題組從天山網(wǎng)的維文版和一些維文商業(yè)網(wǎng)站上，搜集了涵蓋新聞、童話故事、人物傳記等在內(nèi)的共137篇文章,經(jīng)人工標注作為實驗數(shù)據(jù)，其中三類人稱代詞分布比例如表5所示。根據(jù)2.1節(jié)的特征表示提取人稱代詞消解所需的特征，根據(jù)2.2節(jié)構(gòu)建訓練實例和測試實例。之后分別交由DBN模型進行學習和測試。實驗采用五倍交叉驗證法，取其平均值作為實驗結(jié)果。

表5 維吾爾語句人稱代詞類別分布

5.1 測評標準

本文采用自然語言處理中常用的MUC測評標準[22]，即準確率P、召回率R和F指數(shù)衡量實驗結(jié)果的優(yōu)劣，定義如下：

(10)

其中，準確率P反映模型的準確程度；召回率P反映模型的完備性；F指數(shù)綜合反映模型的整體性能，是P和R的調(diào)和平均值。

5.2 可變參數(shù)選擇

DBN模型中可變參數(shù)對實驗結(jié)果有一定影響，本文經(jīng)過多次實驗，從中選取部分參數(shù)測試它們對模型性能的影響。本組實驗選取批處理參數(shù)、迭代次數(shù)進行實驗，實驗過程中其他網(wǎng)絡參數(shù)均選取最優(yōu)參數(shù)組合(表6)。

表6 最優(yōu)參數(shù)組合

5.2.1 批處理參數(shù)

在深度機器學習中，為提高計算效率，將訓練集分成包含若干樣本的小批量數(shù)據(jù)進行計算，批處理樣本的大小稱為批尺寸(batch)。batch決定深度神經(jīng)網(wǎng)絡在優(yōu)化過程中梯度下降方向。batch過大，模型易收斂到較差的局部最優(yōu)點；batch太小，模型訓練速度慢且不易收斂。圖6是不同批尺寸參數(shù)下模型指代消解效果。

圖6 批尺寸參數(shù)

從圖6可以發(fā)現(xiàn)，當batch取1時，網(wǎng)絡收斂不穩(wěn)定，導致結(jié)果比較差；之后隨著批尺寸參數(shù)的增大，模型的三個評價指標均上下波動，但在批尺寸為5時，效果比較理想，模型收斂精度達到最優(yōu)，準確率為89%，召回率為72.95%，F(xiàn)值為80.18%。

5.2.2 迭代次數(shù)

在實驗過程中，使用不同的迭代次數(shù)對模型進行調(diào)優(yōu)，為避免過擬合現(xiàn)象，需要為模型選擇一個合適的迭代次數(shù)。圖7是不同迭代次數(shù)下模型指代消解效果。

圖7 迭代次數(shù)

圖7中的實驗結(jié)果表明，對迭代次數(shù)進行調(diào)整，模型性能更加精確。當?shù)螖?shù)為300時，模型對實驗數(shù)據(jù)的擬合度較合理，準確率可以達到88%，召回率可以達到80%，F(xiàn)值可以達到83.81%。

5.3 模型對比試驗

根據(jù)4.2節(jié)參數(shù)設定，在相同條件下比較DBN模型與不同核函數(shù)的SVM模型和ANN人工神經(jīng)網(wǎng)絡對維吾爾語人稱代詞消解效果，實驗結(jié)果見表7。ANN模型采用最優(yōu)參數(shù)組合(兩層隱藏層、迭代次數(shù)700次，批尺寸為20)。

表7 模型對比結(jié)果

從表7可以發(fā)現(xiàn)，相較于不同核函數(shù)的SVM模型，DBN模型召回率雖未達到最高，但準確率和F值提升比較明顯，分別達到88%和83.81%；同時，DBN模型的準確率、召回率和F值都高于ANN模型，表明DBN模型是有效的。這是因為SVM和ANN屬于傳統(tǒng)機器學習模型，特征提取能力相對較弱，對數(shù)據(jù)的刻畫能力欠佳；而DBN學習模型利用多層深度學習思想，獲取輸入數(shù)據(jù)的驅(qū)動特征，進而提高指代消解質(zhì)量。

6 結(jié)束語

本文結(jié)合維吾爾語語言特征討論了人稱代詞指代消解問題。針對淺層機器學習對復雜函數(shù)泛化能力的局限性，探索DBN多層神經(jīng)網(wǎng)絡模型在維吾爾語人稱代詞指代消解中的應用。相較于以往研究方法，基于DBN模型處理人稱代詞消解問題，充分考慮上下文信息，將復雜的學習任務轉(zhuǎn)化為對深層數(shù)據(jù)信息的挖掘過程，有效提高了指代消解的性能。下一步工作是基于深度學習訓練平臺，探索深度學習的并行特性對指代消解運行效率的提升效果。

[1] 奚雪峰, 周國棟.基于Deep Learning的代詞指代消解[J].北京大學學報(自然科學版), 2014, 50(1): 100-110.

[2] McCarthy J,Lehnert W. Using decision trees for coreference resolution[C]//Proceedings of the Fourteenth International Conference on Artificial Intelligence. Montreal, 1995: 1050-1055.

[3] Soon W M, Ng H T, Lim C Y. A machine learning approach to coreference resolution of noun phrases[J]. Computational Linguistics, 2001, 27(4): 521-544.

[4] 孔芳, 周國棟.基于樹核函數(shù)的中英文代詞消解[J].軟件學報, 2012, 23(5): 1085-1099.

[5] Ng V, Cardie C. Improving machine learning approaches to coreference resolution[C]//Proceedings of the ACL 2002.2002: 104-111.[doi: 10.3115/ 1073083.1073102]

[6] Yang XF, Su J, Tan CL. A twin-candidate model for learning-based anaphora resolution[J]. Computational Linguistics,2008,34(3): 327-356. [doi: 10.1162/coli.2008.07-004-R2-06-57]

[7] Kong F, Zhou G D, Zhu Q. Employing the centering theory in pronoun resolution from the semantic perspective[C]//Proceedings of the ENNLP 2009.

[8] 許敏, 王能忠, 馬彥華. 漢語中指代問題的研究及討論[J]. 西南師范大學學報(自然科學版), 1999(6): 633-637.

[9] 王厚峰, 何婷婷. 漢語中人稱代詞的消解研究[J]. 計算機學報, 2001, 24(2): 136-143.

[10] 王厚峰,梅錚.魯棒性的漢語人稱代詞消解[J]. 軟件學報, 2005, 16(05): 700-707.

[11] 李國臣, 羅云飛.采用優(yōu)先選擇策略的中文人稱代詞的指代消解[J]. 中文信息學報, 2005, 19(04): 24-30.

[12] 李凡, 劉啟和, 李洪偉.基于Fuzzy Rough集模型的漢語人稱代詞消解[J]. 計算機科學, 2010, 37(01): 245-250.

[13] 孫志軍, 薛磊, 許陽明, 等.深度學習研究綜述[J]. 計算機應用研究, 2012, 29(08): 2806-2810.

[14] 孫茂松, 劉挺, 姬東鴻, 等.語言計算的重要國際前沿[J]. 中文信息學報, 2014, 28(01): 01-08.

[15] Mohamed A, Sainath T N, Dahl G, et al. Deep belief Networks using discriminative features for phone recognition[C]//Proceedings of the 19th IEEE International Conference on Acoustics.2011: 5060-5063.

[16] Nair V, Hinton G E.3D object recognition with deep belief nets[C]//Proceedings of A Meeting Held 7-10 December 2009, Vancouver, British Columbia, Canada.2012: 1527-1554.

[17] Seide F, Li G, Yu D. Conversational speech transcription using context-dependent deep neural networks[C] //Proceedings of the 12th International Conference on Spoken Language Processing(INTERSPEECH), 2011: 437-440.

[18] Collobert R, Weston J, Bottou L, et al. Natural language processing(almost)from scratch [J]. Journal of Machine Learning Research, 2011(12): 2493-2537.

[19] 段祥超, 禹龍, 田生偉,等. 維吾爾語意見挖掘關(guān)系抽取研究[J].計算機工程與設計, 2013,34(9): 3260-3265.

[20] 楊勇, 李艷翠, 周國棟, 等.指代消解中距離特征的研究[J].中文信息學報, 2008,22(05): 39-44.

[21] Hinton G E, Osindero S, Teh Y W. A Fast learning algorithm for deep belief nets[J]. Neural Computer, 2006, 18(7): 1527-1554.

[22] 董國志, 朱玉全, 程顯毅.中文人稱代詞指代消解的研究[J].計算機應用研究, 2011,28(05): 1774-1779.

李冬白(1989—)，碩士研究生，主要研究領域為自然語言處理。

E-mail: db.li@cnnlper.cn

田生偉(1973—)，通信作者，博士，教授，研究生導師，主要研究領域為自然語言處理與計算機智能技術(shù)等。

E-mail: tianshengwei@163.com

禹龍(1974—)，博士，教授，研究生導師，主要研究領域為計算機智能技術(shù)與計算機網(wǎng)絡等。

E-mail: yul_xju@163.com

Deep Learning for Pronominal Anaphora Resolution in Uyghur

LI Dongbai1, TIAN Shengwei1, YU Long2, Turgun Ibrahim3, FENG Guanjun4

(1. School of Software, Xinjiang University, Urumqi， Xinjing 830008, China;2. Net Center, Xinjiang University, Urumqi， Xinjing 830046, China;3. School of Information Science and Engineering, Xinjiang University, Urumqi， Xinjing 830046, China;4. College of Humanities,Xinjiang University, Urumqi， Xinjing 830046, China)

1003-0077(2017)04-0080-09

TP391

A