融合篇章上下文有效識(shí)別的篇章級(jí)機(jī)器翻譯

汪 浩，貢正仙，李軍輝

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

近些年來(lái)，神經(jīng)機(jī)器翻譯(NMT)飛速發(fā)展[1-2].相較于傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯，NMT展現(xiàn)出更加優(yōu)越的性能和更強(qiáng)的適應(yīng)性，使得NMT的應(yīng)用和影響越來(lái)越廣.NMT通過搭建神經(jīng)網(wǎng)絡(luò)模型，使用序列到序列的翻譯方法[3]，極大地提升了翻譯的性能.2017年，Vaswani等[4]提出全新的模型架構(gòu)Transformer，該模型采用經(jīng)典的編碼器-解碼器結(jié)構(gòu)，使用新穎的多頭注意力機(jī)制來(lái)進(jìn)行建模，達(dá)到了非常卓越的性能，在自然語(yǔ)言處理研究中得到廣泛應(yīng)用.

NMT研究對(duì)于句子級(jí)的翻譯，取得了非常卓越的效果，在中英新聞翻譯方面取得了巨大的成功，已經(jīng)達(dá)到接近人類的水平[5].然而，相較于句子級(jí)翻譯研究，篇章級(jí)NMT受到的關(guān)注較少.由于難以有效地利用篇章上下文信息，篇章級(jí)機(jī)器翻譯的研究仍然具有挑戰(zhàn)性，即使是Transformer模型性能也有待提高.Bawden等[6]指出利用篇章級(jí)上下文來(lái)處理與上下文相關(guān)的現(xiàn)象是非常關(guān)鍵的，例如共指、詞法銜接和詞法歧義化等現(xiàn)象，對(duì)于機(jī)器翻譯的性能有著重要的影響.翻譯過程中出現(xiàn)的語(yǔ)句不通順和不連貫的現(xiàn)象，很有可能就是沒有考慮篇章級(jí)信息而造成的.

近年來(lái)，篇章級(jí)別的NMT研究越來(lái)越受到關(guān)注[7-13].Zhang等[7]提出了一種基于Transformer的篇章翻譯模型，通過使用兩個(gè)編碼器分別計(jì)算當(dāng)前句的表示和篇章級(jí)上下文的表示，再將篇章級(jí)別上下文信息分別融入到當(dāng)前句子的編碼器和解碼器中，顯著地提高了篇章翻譯的性能.多層注意力網(wǎng)絡(luò)模型[11]是第一個(gè)使用分層注意力機(jī)制以結(jié)構(gòu)化和動(dòng)態(tài)的方式來(lái)捕捉篇章上下文信息的模型.Yang等[10]提出了一種以查詢?yōu)閷?dǎo)向的膠囊網(wǎng)絡(luò)，將上下文信息聚類到目標(biāo)翻譯可能涉及的不同角度.Chen等[13]利用卷積神經(jīng)網(wǎng)絡(luò)將句子級(jí)上下文表示為潛在主題，并將句子級(jí)主題上下文信息集成到NMT模型中.但是，篇章上下文的選取存在著很多問題，Zhang等[7]分別選取前1、前2、前3句作為當(dāng)前句子的上下文，多層注意力網(wǎng)絡(luò)模型選取了前3句作為上下文，Yang等[10]同樣是選取了前3句作為上下文.而Chen等[13]利用卷積神經(jīng)網(wǎng)絡(luò)處理句子之間的信息，不涉及上下文長(zhǎng)度的選取.然而在實(shí)際翻譯場(chǎng)景中，當(dāng)前句的前句所蘊(yùn)含的篇章信息并非總能對(duì)翻譯當(dāng)前句發(fā)揮作用，因此，如何讓模型能夠充分利用有效的篇章信息是一個(gè)值得研究的問題.

為了讓模型能夠?qū)W習(xí)到更多有價(jià)值的篇章上下文信息，本文提出一種基于聯(lián)合學(xué)習(xí)的篇章翻譯結(jié)構(gòu).其核心思想是利用一個(gè)共享的編碼器分別對(duì)當(dāng)前句及其上下文進(jìn)行編碼，同時(shí)引入分類任務(wù)，分類器用于判斷當(dāng)前句的上下文編碼表征是否蘊(yùn)含有效的篇章信息.本文對(duì)分類器的數(shù)據(jù)生成設(shè)計(jì)了多種方案，在努力提高分類性能的同時(shí)幫助模型提升編碼器對(duì)句子的表示能力.本文描述的篇章翻譯系統(tǒng)建立在通用的句子級(jí)Transformer模型之上，除了聯(lián)合分類器，模型進(jìn)一步引入門控機(jī)制，通過改進(jìn)基準(zhǔn)模型的殘差連接，使得編碼端識(shí)別出來(lái)的上下文信息能夠在解碼端得到充分利用.

1 融合篇章上下文有效識(shí)別的篇章級(jí)機(jī)器翻譯

1.1 系統(tǒng)模型架構(gòu)

受Zhang等[7]工作的啟發(fā)，本文采用了如圖1所示的系統(tǒng)模型架構(gòu)，基本思想是使用多頭自注意力機(jī)制計(jì)算篇章級(jí)上下文的表示，并將編碼得到的上下文信息集成到解碼器中.與Zhang等[7]不同，出于計(jì)算成本和注意力負(fù)擔(dān)的考量，本文對(duì)上下文和當(dāng)前句采用的是共享編碼器，即在Transformer的原始模型基礎(chǔ)上使用同一個(gè)編碼器來(lái)對(duì)源端句的上下文句進(jìn)行編碼.為了有效利用篇章級(jí)別的上下文信息，系統(tǒng)加入了分類模塊，對(duì)兩個(gè)編碼器的輸出隱藏狀態(tài)進(jìn)一步處理.從經(jīng)過編碼的信息中，判斷上下文與當(dāng)前句是否存在關(guān)聯(lián)，本文一方面通過分類任務(wù)來(lái)提升句子的表示能力，另一方面將聯(lián)合上下文注意力和門控機(jī)制來(lái)指導(dǎo)模型對(duì)上下文的有效利用.為了指導(dǎo)解碼器有效使用篇章上下文信息，將篇章上下文注意力層置于解碼器的自注意子層和上下文注意力子層之間；為了進(jìn)一步控制上下文信息在目標(biāo)端的利用，引入門控機(jī)制.下面將詳細(xì)描述分類器的設(shè)計(jì)和門控機(jī)制.

圖1 融合篇章上下文有效識(shí)別的Transformer模型Fig.1 Transformer model fused effective context recognition

1.2 篇章上下文有效識(shí)別

1.2.1 分類器設(shè)計(jì)

句子級(jí)的Transformer模型在翻譯時(shí)不需要考慮上下文，因此經(jīng)過編碼器編碼的句子表示在體現(xiàn)句間關(guān)系上能力較弱；與此相對(duì)，篇章翻譯的編碼輸出應(yīng)該在句間關(guān)系的判斷上更具優(yōu)勢(shì).因此，存在這樣一個(gè)假設(shè)：性能越好的篇章翻譯編碼器，它的編碼輸出(即句子表示)在句間關(guān)系判斷上應(yīng)該能力越強(qiáng)(本文3.4節(jié)的實(shí)驗(yàn)結(jié)果驗(yàn)證了該假設(shè)的合理性).根據(jù)這一假設(shè)，本文的翻譯系統(tǒng)增加了一個(gè)聯(lián)合分類任務(wù)：利用編碼器輸出判斷當(dāng)前句子的上下文是不是真正有效的上下文.分類性能的提升，一方面說(shuō)明系統(tǒng)內(nèi)的句子表示得到增強(qiáng)，另一方面也說(shuō)明模型在學(xué)習(xí)過程中更能有效關(guān)注到上下文信息.

(1)

在KL_div策略中，利用訓(xùn)練好的BERT(bidirectional encoder representations from Transformers)預(yù)訓(xùn)練模型將句子轉(zhuǎn)化為特征向量，計(jì)算句子表征之間的KL距離.KL_div策略的相似度計(jì)算如式(2)所示：

(2)

1.2.2 分類器結(jié)構(gòu)

分類器的結(jié)構(gòu)如圖2所示，記h∈Rnt×d和s∈Rnc×d分別表示當(dāng)前句x(t)和當(dāng)前句上下文c(t)經(jīng)編碼器后的輸出，nt表示源端當(dāng)前句包含的單詞數(shù)，其中nc表示對(duì)應(yīng)上下文包含的單詞數(shù)，d表示隱藏狀態(tài)的大小.將隱藏狀態(tài)h和s進(jìn)一步通過最大池化和平均池化操作，分別表示為向量u和v，即：

圖2 處理篇章信息的分類器結(jié)構(gòu)圖Fig.2 Structure diagram of classifier processing document-level information

u=[hmax-fP(h),hmean-fP(h)]，

(3)

v=[smax-fP(s),smean-fP(s)]，

(4)

其中u,v∈R2d，fP為池化函數(shù).為了捕獲u和v之間的關(guān)系，系統(tǒng)為分類器構(gòu)建了如下輸入，即

o=[u,v,|u-v|,uv],

(5)

其中,o∈R8d，由u，v的拼接向量[u,v]、逐個(gè)元素乘積uv和逐元素的絕對(duì)差|u-v|構(gòu)成.最后，通過全連接層和二元分類softmax層判斷上下文c(t)是否為當(dāng)前句x(t)的有效上下文：

z=softmax(σ(oW1+b1)W2+b2)，

(6)

其中，W1∈R8d×d,W2∈Rd×2，b1∈R1×d,b2∈R2為模型參數(shù)，σ為sigmoid函數(shù).

1.3 帶門控機(jī)制的殘差網(wǎng)絡(luò)

在圖1所示的解碼器端，引入的上下文注意力子層用于融合篇章上下文信息.為方便起見，記解碼端自注意力層的輸出為p∈Rmt×d，mt為目標(biāo)端當(dāng)前句的單詞數(shù)，上下文注意力層通過多頭注意力模型，融入篇章上下文信息s∈Rnc×d，即

q=fMH(p,s,s)，

(7)

其中q∈Rmt×d,fMH為多注意力機(jī)制函數(shù).為了獲取篇章的上下文信息，一般通過殘差網(wǎng)絡(luò)與上下文注意力子層的輸入進(jìn)行融合，即

r=q+p.

(8)

不難看出，式(8)所示的殘差網(wǎng)絡(luò)將采用全盤接收的方式融合獲取的篇章上下文q.為了區(qū)別篇章上下文是否有效，受Zhang等[7]的啟發(fā)，本文引入帶門控機(jī)制的殘差網(wǎng)絡(luò)，即通過門控層按一定比例α融合獲取的篇章上下文，如式(9)所示：

r=αq+p.

(9)

α為衡量該篇章上下文信息重要程度的指標(biāo)，可表示為

α=σ(Wpp+Wqq),

(10)

其中Wp和Wq為權(quán)重參數(shù).一般來(lái)講，當(dāng)篇章上下文有效時(shí)，希望通過訓(xùn)練使權(quán)重α接近于1，反之接近于0.

2 訓(xùn)練方式

2.1 聯(lián)合學(xué)習(xí)

與第1節(jié)內(nèi)容相對(duì)應(yīng)，本文聯(lián)合學(xué)習(xí)的損失函數(shù)分為三部分，分別涉及傳統(tǒng)NMT目標(biāo)端的預(yù)測(cè)、有效篇章上下文的識(shí)別和帶門控機(jī)制的殘差網(wǎng)絡(luò)中篇章上下文的重要程度α.

記模型參數(shù)為θ，NMT目標(biāo)端預(yù)測(cè)相關(guān)損失函數(shù)為

L1=

(11)

其中，N為訓(xùn)練集中平行篇章數(shù)，Tn為第n個(gè)平行篇章的句子數(shù)，mn,t為第n個(gè)平行篇章當(dāng)前句子的詞數(shù).

篇章上下文有效識(shí)別相關(guān)損失函數(shù)為

(1-ki)log(1-p(ki|θ)).

(12)

其中:M為有效篇章上下文識(shí)別訓(xùn)練樣例數(shù)，即為機(jī)器翻譯訓(xùn)練集中句子總數(shù)；ki∈{0,1}為第i個(gè)句子的篇章上下文有效性標(biāo)簽.

帶門控機(jī)制的殘差網(wǎng)絡(luò)中篇章上下文重要程度α相關(guān)的損失函數(shù)為

(13)

其中，αi,j表示第i個(gè)句子在解碼器第j層中的帶門控機(jī)制的殘差網(wǎng)絡(luò)中篇章上下文的重要程度，6為解碼器的層數(shù).

最終，本文的聯(lián)合學(xué)習(xí)的訓(xùn)練目標(biāo)如式(14)所示：

θ*=arg min

θ(L1+L2+L3).

(14)

2.2 兩步訓(xùn)練法

由于大規(guī)模篇章級(jí)平行語(yǔ)料庫(kù)通常無(wú)法獲取，即便是對(duì)于語(yǔ)料豐富的語(yǔ)言(如英語(yǔ)和中文)也是如此.在語(yǔ)料庫(kù)規(guī)模很小的條件下，篇章級(jí)NMT模型的表現(xiàn)往往不及句子級(jí)模型性能.本文采用Zhang等[7]提到的兩步訓(xùn)練方式.該訓(xùn)練方式額外使用了一個(gè)比篇章級(jí)語(yǔ)料數(shù)據(jù)Dd更大的句子級(jí)平行語(yǔ)料數(shù)據(jù)Ds，具體訓(xùn)練步驟如下：

1) 在組合的句子級(jí)平行語(yǔ)料庫(kù)Dd∪Ds上訓(xùn)練句子級(jí)參數(shù).訓(xùn)練句子級(jí)參數(shù)時(shí)，模型與原始Transformer模型相同，篇章級(jí)模塊不參與訓(xùn)練，如圖1所示，進(jìn)行該步訓(xùn)練時(shí)只有實(shí)線模塊參與訓(xùn)練.

2) 僅在篇章級(jí)平行語(yǔ)料庫(kù)Dd上訓(xùn)練篇章級(jí)參數(shù).如圖1所示，在此步中虛線模塊和實(shí)線模型同時(shí)參與訓(xùn)練.

值得注意的是，本模型在訓(xùn)練篇章級(jí)參數(shù)時(shí)，并沒有固定第一步句子級(jí)參數(shù)，這主要是因?yàn)榉诸惼髂０逍枰獌蓚€(gè)編碼器同時(shí)參與訓(xùn)練.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

本文在中英、英德翻譯任務(wù)上驗(yàn)證本文提出的模型.

在中英翻譯任務(wù)上，訓(xùn)練集包含200萬(wàn)個(gè)中英平行句子對(duì)，訓(xùn)練集包括句子級(jí)平行語(yǔ)料LDC2002E18、LDC2003E07、LDC2003E14、LDC2004T08的新聞部分；篇章級(jí)平行語(yǔ)料包括LDC2002T01、LDC2004T07、LDC2005T06、LDC2005T10、LDC2009T02、LDC2009T15、LDC2010T03.篇章級(jí)平行語(yǔ)料包括4.1萬(wàn)個(gè)篇章，由94萬(wàn)個(gè)句子對(duì)組成.本文選擇NIST 2006數(shù)據(jù)集作為開發(fā)集，包含1 664個(gè)句子，將NIST2002、NIST2003、NIST2004、NIST2005、NIST2008作為測(cè)試集，分別包含878,919,1 788,1 082,1 357個(gè)句子.翻譯任務(wù)的評(píng)估指標(biāo)為對(duì)大小寫不敏感的雙語(yǔ)互譯評(píng)估值(BLEU)，由mteval-v11b.pl腳本計(jì)算得出.中英翻譯中對(duì)源語(yǔ)言和目標(biāo)語(yǔ)言都使用字節(jié)對(duì)編碼(BPE)[15]，以減少未登錄詞的數(shù)量，操作數(shù)為4×104.

在英德翻譯任務(wù)上，訓(xùn)練集包括News Commentary v11 corpus(http:∥www.casmacat.eu/corpus/news-commentary.html)，并且從WMT14英德數(shù)據(jù)集(http:∥www.statmt.org/wmt14/translation-task.html)中抽取30萬(wàn)個(gè)句子對(duì)用來(lái)訓(xùn)練句子級(jí)參數(shù).開發(fā)集為news-test2015，測(cè)試集為news-test2016.對(duì)于該翻譯任務(wù)數(shù)據(jù)，為了提高訓(xùn)練效率，本文將長(zhǎng)篇章分成最多30個(gè)句子的子篇章，而且同樣對(duì)源端和目標(biāo)端語(yǔ)言使用了BPE，操作數(shù)為3萬(wàn).

本文配置的Transformer模型來(lái)源于OpenNMT[16](https:∥github.com/OpenNMT/OpenNMT-py).本文將編碼器與解碼器的層數(shù)設(shè)置為6層，多頭注意力機(jī)制中含有8個(gè)頭，同時(shí)設(shè)置失活率為0.01，隱層維度和前饋神經(jīng)網(wǎng)絡(luò)中間層單元數(shù)分別為512和2 048.本文實(shí)驗(yàn)只使用一個(gè)GTX1080Ti顯卡訓(xùn)練模型，訓(xùn)練時(shí)批處理大小為4 096個(gè)標(biāo)記(token)以內(nèi).進(jìn)行解碼時(shí)，設(shè)置集束大小為5，其他的設(shè)置使用Vaswani系統(tǒng)中的默認(rèn)設(shè)置.本實(shí)驗(yàn)中，第一步句子級(jí)模型的訓(xùn)練時(shí)間為28 h，第二步篇章級(jí)模型的訓(xùn)練時(shí)間為12 h.

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文提出模型的性能，分別在中英和英德翻譯任務(wù)中進(jìn)行實(shí)驗(yàn).表中TF-IDF策略表示在本文提出的模型下使用TF-IDF方法生成的負(fù)例訓(xùn)練數(shù)據(jù)進(jìn)行篇章級(jí)翻譯實(shí)驗(yàn)，總體數(shù)據(jù)的正負(fù)例比為1∶3；KL_div策略為通過計(jì)算KL距離生成的訓(xùn)練數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，生成的正負(fù)例比為1∶1.這兩種策略選出來(lái)的篇章上下文均為一句.

表1為中英翻譯任務(wù)上本文提出模型與基準(zhǔn)系統(tǒng)在各測(cè)試集上的翻譯性能.可以看出本文提出的兩種方法均能夠提高系統(tǒng)的翻譯性能.與基準(zhǔn)系統(tǒng)相比，本文模型使用TF-IDF策略的BLEU值提高了1.6 個(gè)百分點(diǎn)，使用KL_div策略的BLEU值提高了1.45個(gè)百分點(diǎn).

表1 本文模型與基準(zhǔn)系統(tǒng)在中英翻譯任務(wù)的BLEU值Tab.1 The BLEU values of our model and the baseline in the Chinese-English translation task %

表2為在英德翻譯任務(wù)上本文提出模型與基準(zhǔn)系統(tǒng)在各測(cè)試集上的翻譯性能.可以看出在英德任務(wù)上，本文提出的模型與基準(zhǔn)系統(tǒng)相比也同樣有顯著提升，尤其使用TF-IDF策略構(gòu)造上下文信息的方法在測(cè)試集上的BLEU值提高了0.53個(gè)百分點(diǎn).

這充分表明了本文提出的融合篇章上下文有效識(shí)別的篇章翻譯模型能夠有效地提升機(jī)器翻譯模型的效果.

3.3 與相關(guān)工作的對(duì)比

本文復(fù)現(xiàn)了篇章機(jī)器翻譯中非常經(jīng)典的工作[7]的模型代碼，并在本文中英數(shù)據(jù)集上測(cè)得實(shí)驗(yàn)結(jié)果.對(duì)于Zhang等[7]的模型Doc-NMT的設(shè)置，本文采用了前一句作為上下文，上下文編碼器的層數(shù)為6層，跟文獻(xiàn)[7]中設(shè)置保持一致.除此之外，本文模型與模型Doc-NMT都是在同一個(gè)句子級(jí)模型參數(shù)上微調(diào)得到.表3展示了在中英數(shù)據(jù)集上Doc-NMT和本文模型采用TF-IDF策略的BLEU值比較，本文提出的模型具有更優(yōu)的性能，在BLEU均值上提升了0.32個(gè)百分點(diǎn)，進(jìn)一步證明本文提出的基于聯(lián)合學(xué)習(xí)的篇章翻譯模型具有一定的優(yōu)勢(shì).

表3 本文模型與前人工作的BLEU比較Tab.3 BLEU value comparison of our model with previous work %

3.4 上下文有效識(shí)別探究

本文中通過引入分類器模塊，對(duì)篇章上下文進(jìn)行有效識(shí)別，使得源端編碼表征能學(xué)習(xí)到更加有效的信息.因此，本文做了兩組實(shí)驗(yàn)來(lái)證明本文模型增強(qiáng)源端表征的能力，另做了一組實(shí)驗(yàn)來(lái)考察本文提出的帶門控機(jī)制的殘差網(wǎng)絡(luò)對(duì)模型性能的影響.

第一組實(shí)驗(yàn)，通過對(duì)本文提出的分類器性能進(jìn)行對(duì)比實(shí)驗(yàn)，來(lái)證明本文模型的編碼器可以學(xué)習(xí)到更加有效的篇章信息.先利用句子級(jí)基準(zhǔn)模型的編碼器，分別對(duì)源端句和上下文句進(jìn)行編碼，將兩個(gè)源端表征輸入至分類器模塊，測(cè)試分類器的性能.相同地，接著利用本文提出的篇章翻譯模型的編碼器進(jìn)行編碼，得到的兩個(gè)源端表征來(lái)測(cè)試分類器性能.對(duì)比實(shí)驗(yàn)在中英任務(wù)上進(jìn)行，上下文的選取方式采用TF-IDF策略，正負(fù)例比為1∶3.結(jié)果顯示，使用基準(zhǔn)模型的編碼器測(cè)出分類器的準(zhǔn)確度為73.0%，使用本文建議的模型編碼器測(cè)出的分類器準(zhǔn)確度為76.7%，與基準(zhǔn)模型相比提高了3.7個(gè)百分點(diǎn).可以看出，使用本文模型的編碼器能夠明顯提升分類器性能，能夠識(shí)別出更多有效的篇章上下文信息.

第二組實(shí)驗(yàn)，對(duì)比不同的上下文選取方式在篇章翻譯任務(wù)上的性能，采用的比照對(duì)象為從篇章中隨機(jī)挑選句子作為上下文來(lái)生成負(fù)例.對(duì)比實(shí)驗(yàn)是在中英翻譯任務(wù)上進(jìn)行的，生成數(shù)據(jù)的正負(fù)例比為1∶3.表4為3種數(shù)據(jù)生成方式下模型在測(cè)試集上的性能.可以看出，本文提出的選取方式較盲目隨機(jī)的選取上下文方式具有明顯的優(yōu)勢(shì)，尤其TF-IDF的選取方式較隨機(jī)選取的平均BLEU值提高了0.32個(gè)百分點(diǎn).可見，本文提出的數(shù)據(jù)生成方式具有優(yōu)越性，更利于分類器識(shí)別出有效與無(wú)效上下文.

表4 生成數(shù)據(jù)方式的BLEU值對(duì)比Tab.4 BLEU value comparison of data generation methods %

第三組實(shí)驗(yàn)中，本文將帶門控的殘差網(wǎng)絡(luò)換成普通的殘差網(wǎng)絡(luò)(w/o context gating)，保留分類器模塊.在中英翻譯任務(wù)上進(jìn)行驗(yàn)證實(shí)驗(yàn)，其他的實(shí)驗(yàn)設(shè)置同3.1節(jié)的中英實(shí)驗(yàn)設(shè)置，采用上下文長(zhǎng)度為一句，TF-IDF策略的正負(fù)例比為1∶3，KL_div策略的正負(fù)例比為1∶1，結(jié)果如表5所示，可以看出，移除帶門控的殘差網(wǎng)絡(luò)后，在TF-IDF策略的上下文選擇方式下模型的平均BLEU值下降了0.32個(gè)百分點(diǎn)，在KL_div策略的上下文選擇方式中模型的平均BLEU值下降了0.31個(gè)百分點(diǎn).可見，本文提出的帶門控的殘差網(wǎng)絡(luò)能夠在解碼端對(duì)上下文信息進(jìn)行更加有效的利用，能夠使得模型的性能得到進(jìn)一步提升.

表5 不同殘差網(wǎng)絡(luò)的BLEU值比較Tab.5 BLEU value comparison of different residual networks %

4 結(jié) 論

針對(duì)篇章機(jī)器翻譯如何更高效利用上下文信息的問題，本文提出了一種新的模型結(jié)構(gòu).首先在現(xiàn)有NMT模型基礎(chǔ)上融入了篇章信息，其次對(duì)篇章信息進(jìn)一步識(shí)別處理，最終通過解碼端的改進(jìn)使得識(shí)別出的有效篇章信息得到充分利用.在中英和英德翻譯任務(wù)中表明，本文提出的模型和方法可以有效地提高機(jī)器翻譯的質(zhì)量.

然而，本文模型在處理過多、過復(fù)雜的篇章上下文信息時(shí)，存在著處理能力不足、識(shí)別能力下降、無(wú)法讓模型利用更有效的上下文信息的問題.在未來(lái)的研究中，會(huì)針對(duì)模型的識(shí)別部分進(jìn)行進(jìn)一步改進(jìn)和研究，努力完善模型，爭(zhēng)取達(dá)到更好的效果.