基于神經(jīng)機器翻譯編碼器的語義學習分析

徐東欽,李軍輝,貢正仙

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

0 引言

近年來，神經(jīng)機器翻譯(neural machine translation)[1-3]憑借其序列到序列(Seq2Seq)[4]框架的良好表現(xiàn)，已成為主流的機器翻譯方法。序列到序列框架包含一個編碼器和一個解碼器，其通過編碼器將源端序列編碼成高維度向量，再通過解碼器將高維度向量解碼獲得目標端序列。在這一過程中，各類信息皆表示為高維度向量，很難直觀地去解釋編碼器與解碼器的工作，例如：

(1)編碼器是否能夠從源端序列中捕獲源端語義信息？

(2)如果編碼器能夠捕獲源端語義信息，那么捕獲的是何種語義信息？對下游任務是否有幫助？

(3)如果為編碼器提供更多的語義信息，是否能夠提升神經(jīng)機器翻譯的性能？

本文的工作側重于回答上述三個問題。特別地，本文使用了抽象語義表示(abstract meaning representation, AMR)[5]作為語義信息的表示載體。AMR是近些年來備受關注的一種語義表示方法，其把自然語言文本以句子為單位，將句子的語義抽象表示為單根有向無環(huán)圖。如圖1(c)所示，句子中l(wèi)ost和our等詞分別被映射 “l(fā)ose-02”和“we”等AMR圖中節(jié)點，這類節(jié)點被稱為概念(concept)。連接概念之間的邊，如圖1中“:ARG1”和“:manner”等表示兩個概念之間有向的語義關系。如圖1中(d)所示，AMR圖文本表示中“～e.N”等表示概念、邊與源端序列中第N個詞所對齊(從第0個詞開始計數(shù))，如“bitter～e.0”表示“bitter”與源端序列中第0個詞“Bitterly”對齊?！皐”等變量表示指示引用節(jié)點，如“l(fā)”指向“l(fā)ose-02”。需要注意的是，目前AMR還無法做到表述句子的完整語義。AMR側重的是描述某個句子內部存在的概念(concept)，以及它們之間的語義關系，但同時忽略了時態(tài)、名詞單復數(shù)等信息。例如，圖1中(c)并沒有標注概念“l(fā)ose-02”的時態(tài)信息。

圖1 抽象語義表示示例

本文通過AMR中所包含的詞對齊信息與語義信息，分別抽取單詞級別與句子級別的語義信息，再設計實驗驗證神經(jīng)機器翻譯在多大程度上能夠捕獲單詞級別語義和句子級別語義。單詞級別的語義分析實驗利用AMR圖中詞對齊信息設計序列標注任務，利用編碼器對源端序列編碼后的每個單詞的隱藏狀態(tài)去預測與其對齊的AMR語義標簽。句子級別的語義分析實驗則利用AMR圖中的語義信息設計序列生成任務，利用編碼器編碼源端序列，利用解碼器生成對應的AMR序列。

1 相關工作

如何理解神經(jīng)機器翻譯模型在訓練過程中學習到了何種信息是研究者一直想解決的問題。為了更好地去理解神經(jīng)機器翻譯模型的運行方式，已有一些相關工作嘗試從不同的角度，如詞法、句法和語義等，去解釋翻譯模型所捕獲的信息。本文按照發(fā)表時間順序，將相關工作歸納如下。

(1)解釋神經(jīng)網(wǎng)絡模型的一種常見方法，是將如詞嵌入、隱藏狀態(tài)等高維度向量使用t-SNE方法[6]映射到二維空間。

(2)Shi等[7]通過設計兩種不同的實驗方案，分析神經(jīng)機器翻譯編碼器能否學習到句法類信息，并發(fā)現(xiàn)編碼器能夠捕獲到一定量的源端局部信息與全局句法信息。

(3)Belinkov等[8-9]從詞匯語義、形態(tài)句法角度研究了神經(jīng)機器翻譯編碼器、解碼器的詞嵌入與句嵌入信息。

(4)Ding等[10]利用層級相關性傳播算法，計算模型中任意兩個節(jié)點之間的相關性，可視化分析了神經(jīng)機器翻譯中源端、目標端與隱藏狀態(tài)之間的關系，并對翻譯中出現(xiàn)錯誤進行了原因分析。

(5)Conneau等[11]在探索主流模型的句子嵌入表示學習到哪些信息時，設計實驗從表層信息、句法信息、語義信息三個方向研究不同編碼器學習到的信息，從中發(fā)現(xiàn)神經(jīng)機器翻譯編碼器能夠學習到豐富有效的語義特征。

(6)Marvin等[12]從單詞語義的角度,利用主成分分析圖,解析神經(jīng)機器翻譯模型學習到的詞義消歧能力。

(7)Poliak等[13]使用預訓練的神經(jīng)機器翻譯模型，通過自然語言推斷任務研究編碼器捕獲到的語義信息，并發(fā)現(xiàn)編碼器可能捕獲到大部分語義角色標注信息，不善于捕捉指代消解信息，或許在語義推理方面的表現(xiàn)較差。

(8)Voita等[14]分析基于自注意力機制的編碼器，并發(fā)現(xiàn)其多頭自注意力機制可以學到相鄰詞語信息與句法結構。

本文從語義的角度研究神經(jīng)機器翻譯編碼器能否學習到語義信息。但與Conneau等的工作不同，本文以AMR作為詞或句子的語義表示載體，分析神經(jīng)機器翻譯編碼器對源端句子的語義捕獲能力?；贏MR的語義分析近年來受到越來越多的關注,一種常見的語義分析方法是將AMR進行線性化，將AMR語義分析看作是一個序列到序列的問題[15-18]。本文以此為基礎，利用AMR圖中包含的語義信息，設計單詞級別與句子級別的語義分析實驗，并提出語義分析和機器翻譯的聯(lián)合學習模型。

2 本文方法

本節(jié)將詳細描述分別從單詞級別和句子級別的角度分析編碼器捕獲語義。兩種語義分析方法可分別看作序列標注任務與序列生成任務，通過預測標簽的準確率和預測AMR序列的準確率來判斷編碼器是否學習到語義及其掌握語義的程度。

2.1 序列到序列模型

本文使用Transformer[3]序列到序列神經(jīng)機器翻譯模型。Transformer模型由編碼器與解碼器組成，編碼器與解碼器分別由多個堆疊的編碼器層與解碼器層組成。編碼器層包括自注意力層(self-attention layer)和全連接前饋神經(jīng)網(wǎng)絡(position-wise feed-forward networks, FFN)，解碼器則包括自注意力層、編碼器與解碼器注意力層(encoder-decoder attention layer)和全連接前饋神經(jīng)網(wǎng)絡。每一子層之間使用了殘差連接(residual connection)，并且應用了層級正則化(layer normalization)。

與基于循環(huán)神經(jīng)網(wǎng)絡和基于卷積神經(jīng)網(wǎng)絡的序列到序列模型相比，通過注意力機制Transformer不僅能夠捕獲序列之間的長距離依賴，同時還能夠并行處理。目前在機器翻譯、句法樹解析等任務中，Transformer均取得了較好的成績。有關Transformer模型的更多細節(jié)，可以參閱Vaswani等[3]的論文。

2.2 語義分析方法

本節(jié)將描述基于AMR對神經(jīng)機器翻譯編碼器的語義分析方法?；陬A訓練好的神經(jīng)機器翻譯模型，利用該模型的編碼器(NMT_encoder)，并固定編碼器模型參數(shù)，分別從單詞級別與句子級別兩個方面設計實驗。由于目前神經(jīng)機器翻譯大都采用子詞技術以解決低頻詞的翻譯問題，為了與神經(jīng)機器翻譯模型兼容，本文實驗中對源端序列與目標端序列均使用了BPE方法[19]處理。

2.2.1 單詞級別語義分析方法

單詞級別語義分析方法從單詞級別的角度出發(fā)，研究編碼器捕獲到的每個單詞對應的語義信息。記源端句子為X=(x1,x2,…,xn)，根據(jù)句子中單詞與其AMR圖中節(jié)點與邊的對齊關系，可以為X中每個單詞xi獲取其語義標簽。下面以引言中的圖1中(a)源端句子為例，說明獲取句子中每個單詞的對齊語義標簽。

(1)如果單詞xi在AMR圖中有唯一對齊的節(jié)點或邊，則將該結點或邊記為xi的語義標簽。如單詞“l(fā)ost”僅對齊AMR圖中“l(fā)ose-02”節(jié)點，記單詞“l(fā)ost”的語義標簽為“l(fā)ose”。為方便起見，本文忽略AMR圖中概念節(jié)點的數(shù)字后綴。

(2)如果單詞xi在AMR圖中有多個對應的節(jié)點或邊，則將多個節(jié)點或邊用“_”連接，記作一個聯(lián)合語義標簽。如單詞“our”與AMR圖中的邊“:ARG0”、節(jié)點“we”對齊，記“our”的語義標簽為“:ARG0_we”。

(3)除以上情況，將單詞xi的語義標簽設置為“”。

由此可以獲得源端單詞序列的X的語義標簽序列L=(l1,l2,…,ln)。對圖1(a)中單詞序列，其對應的語義標簽序列為(:manner_bitter, lose,:ARG0_we, Ryukyu, Islands)。

單詞級別語義分析實驗將源端單詞序列X=(x1,x2,…,xn)看作輸入，預測語義標簽L=(l1,l2,…,ln)。其中，n代表序列中單詞個數(shù)。源端每個單詞均有與之唯一對應的語義標簽，因此，實驗可以看作一個序列標注任務，使用源端單詞xi經(jīng)過神經(jīng)機器翻譯編碼器(NMT_encoder)編碼后的隱藏狀態(tài)hi，預測其語義標簽li。由于語義標簽種類較多，傳統(tǒng)的CRF方法并不適用；同時，為了與使用子詞化處理的神經(jīng)機器翻譯保持兼容，這里對源端序列與目標端語義標簽均做了子詞化處理。

源端單詞序列X=(x1,x2,…,xn)經(jīng)過BPE處理后得到源端子詞序列X′=(x′1,x′2,…,x′m)，語義標簽li經(jīng)過BPE處理后得到子語義標簽序列l(wèi)′i=(l′i1,l′i2,…,l′ij)。其中，n代表單詞個數(shù)，m代表子詞個數(shù)，i代表語義標簽序列L中第i個語義標簽，j代表子語義標簽個數(shù)。

源端子詞序列X′經(jīng)過編碼器(NMT_encoder)編碼后獲得源端子詞序列的隱藏狀態(tài)H′=(h′1,h′2,…,h′m)，根據(jù)源端單詞序列xi對應的子詞序列(x′i1,x′i2,…,x′is)，將子詞序列隱藏狀態(tài)(h′i1,h′i2,…,h′is)求和獲得xi的隱藏狀態(tài)hi，由此可獲得源端單詞序列X=(x1,x2,…,xn)的經(jīng)過編碼器(NMT_encoder)編碼后的隱藏狀態(tài)H=(h1,h2,…,hn)。其中，s代表單詞對應的子詞數(shù)量。如圖2所示，源端單詞“Bitterly”由BPE處理得到子詞序列“Bit@@”、“terly”，子詞序列經(jīng)過編碼器編碼后獲得其隱藏狀態(tài)，對“Bitterly”的子詞序列隱藏狀態(tài)求和即可獲得“Bitterly”的經(jīng)過編碼器的隱藏狀態(tài)。

對于每個單詞xi的隱藏狀態(tài)hi，使用解碼器(記為Label_decoder)預測其語義子標簽序列l(wèi)′i=(l′i1,l′i2,…,l′ij)，并去除BPE標記，合并獲得單詞xi的語義標簽。由于語義子標簽序列均較短，解碼器Label_decoder采用基于門控循環(huán)單元(gated recurrent unit，GRU)[20]的解碼器。

2.2.2 句子級別語義分析方法

句子級別語義分析方法從句子級別的角度出發(fā)，研究編碼器捕獲到的整個句子中包含的語義信息。

將源端單詞序列X=(x1,x2,…,xn)看作輸入，預測AMR序列Y=(y1,y2,…,yt)。其中,n,t分別表示源端序列X和目標端序列Y中單詞(或子詞)個數(shù)。以圖1所示，由于句子級別語義分析的輸入是經(jīng)過BPE處理的源端序列(b)，輸出是經(jīng)過BPE處理的AMR簡化序列(f)，因此，句子級別語義分析可以看作序列生成任務。

本文使用Ge等人[18]的AMR解析方法，訓練時使用預處理將AMR圖轉化為AMR序列，測試時使用后處理將AMR序列轉化為AMR圖。以圖1為例,在預處理過程中，通過移除變量、刪除wiki鏈接、換行符和復制共同引用的節(jié)點，可以獲得AMR圖文本表示的AMR簡化序列；在后處理過程中將AMR序列中的概念分配唯一變量，同時修復冗余、重復信息和不完整的概念，添加wiki鏈接，修改共同引用節(jié)點，使其恢復成完整的AMR圖(1)詳細的預處理和后處理過程可以參見https://github.com/RikVN/AMR。

源端序列X=(x1,x2,…,xn)經(jīng)過神經(jīng)機器翻譯編碼器(NMT_encoder)編碼后得到隱藏狀態(tài)序列H=(h1,h2,…,hn)，通過使用解碼器(記為AMR_decoder)預測其AMR序列Y′=(y′1,y′2,…,y′t)，最后使用后處理腳本將AMR序列Y′恢復成完整的AMR圖。

在句子級別的語義分析實驗中，使用的解碼器(AMR_decoder)是基于Transformer的解碼器。圖2是預測單詞的語義標簽示意圖。

圖2 預測單詞的語義標簽示意圖

3 實驗

3.1 實驗設置

3.1.1 數(shù)據(jù)集

為了更好地理解神經(jīng)機器翻譯編碼器捕獲源端句子語義的能力，本文對兩個編碼器進行語義分析。這兩個編碼器分別用于訓練大規(guī)模和小規(guī)模機器翻譯數(shù)據(jù)。具體地，大規(guī)模機器翻譯訓練數(shù)據(jù)來源自WMT14機器翻譯數(shù)據(jù)集(2)http://www.statmt.org/wmt14/translation-task.html，由英語到德語的平行語料庫Europarl v7、Common Crawl corpus和News Commentary構成，共包含4.5 M平行句對。此外，本文使用數(shù)據(jù)集中News Commentary v7(NC-v7)部分做小規(guī)模數(shù)據(jù)實驗，共包含201 K平行句對。實驗使用newstest2013和newstest2014分別作為開發(fā)集和測試集。

語義分析AMR語料來自AMR 2.0(LDC2017T10)數(shù)據(jù)集，其中，訓練集、開發(fā)集和測試集分別包含36 521、1 368和1 371個標記了AMR圖的句子。

實驗使用BPE方法對數(shù)據(jù)集進行處理。英文語料與語義分析語料聯(lián)合BPE處理并設置20 K合并操作，機器翻譯德語語料BPE處理同樣設置20 K合并操作。在小規(guī)模數(shù)據(jù)上獲得英文及語義詞匯20 179個，德語詞匯20 052個；在大規(guī)模數(shù)據(jù)上，獲得英文及語義詞匯23 270個，德語詞匯23 031個。

AMR語義解析基準實驗與Ge等人[18]的處理方法保持一致，對聯(lián)合源端、目標端做BPE處理，設置20 KB合并操作且共享源端與目標端詞表。在單詞級別語義數(shù)據(jù)上獲得詞表的大小為17 274，在句子級別語義數(shù)據(jù)上詞表大小為19 102。

3.1.2 評測指標

機器翻譯性能使用multi-bleu.perl(3)https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/multi-bleu.perl腳本評測；句子級別語義性能使用Smatch[21]腳本評測(4)https://github.com/snowblink14/smatch；單詞級別語義性能使用F1值評測，計算如式(1)～式(3)所示。

其中，P為準確率,R為召回率。在計算過程中，并沒有包括那些語義標簽為的單詞。

3.1.3 模型設置

本文實驗模型基于開源框架OpenNMT-py實現(xiàn)的Transformer。單詞級別語義分析基準模型由Transformer編碼器與GRU解碼器組成，句子級別語義分析基準模型由Transformer編碼器與Transformer解碼器組成。語義分析模型(NMT_small、NMT_big)的編碼器使用預訓練好的神經(jīng)機器翻譯模型編碼器參數(shù)，并固定編碼器參數(shù)。

在參數(shù)設置方面，詞向量和編碼器、解碼器的隱藏層的維度均為512維，編碼器層與解碼器層的層數(shù)均設置為6層，多頭注意力機制設置為8個頭，前饋神經(jīng)網(wǎng)絡的維度設置為2 048維。模型參數(shù)均使用Glorot Initialisation方法初始化，共享初始化解碼器詞嵌入層與生成器的參數(shù)，句子級別語義分析模型額外共享初始化了編碼器與解碼器的詞嵌入層參數(shù)。模型參數(shù)使用優(yōu)化器Adam優(yōu)化，其中Adam優(yōu)化器的參數(shù)β1為0.9，β2為0.98，ε為10-9。在訓練過程中，固定了隨機種子seed為3 435，以token為單位的批處理大小設置為4 096(神經(jīng)機器翻譯NMT_big為8 192)，warm-up step設置為16 000，learning rate為0.5，dropout為0.1(GRU解碼器dropout設置為0)，label smoothing為0.1，并使用相對熵作為損失函數(shù)。

實驗模型在GTX 1080Ti顯卡上訓練，迭代更新250 K次結束。在測試過程中，使用集束搜索(beam search)進行解碼，并設置beam size為4，長度懲罰因子α為0.6，測試集中報告結果的模型來自開發(fā)集上性能最高的單個模型。

3.2 實驗結果

表1給出了神經(jīng)機器翻譯在英語到德語小規(guī)模數(shù)據(jù)(NMT_small)與大規(guī)模數(shù)據(jù)(NMT_big)上的性能。單詞級別語義分析實驗與句子級別語義分析實驗均使用兩個翻譯實驗的編碼器。表2給出了單詞級別語義分析實驗結果，分別比較了基準模型(Baseline)，使用小規(guī)模數(shù)據(jù)(NMT_small)、大規(guī)模數(shù)據(jù)(NMT_big)上神經(jīng)機器翻譯編碼器(NMT_encoder)的模型之間的性能。

表1 神經(jīng)機器翻譯BLEU值

表2 單詞級別語義分析實驗結果

從表2可以看出，使用固定神經(jīng)機器翻譯編碼器參數(shù)的模型的性能在大規(guī)模數(shù)據(jù)上比小規(guī)模高出4.91個F1值，但與基準模型相比仍然低了17.84個F1值。這一結果說明，神經(jīng)機器翻譯模型的編碼器能捕獲到一定的單詞級別的語義信息，并且隨著訓練語料的增加，編碼器能夠捕獲到單詞級別的語義信息也隨之增加，這與表1中的神經(jīng)機器翻譯的實驗結果相符合；另一方面，實驗結果說明，神經(jīng)機器翻譯模型的編碼器在捕獲單詞級別的語義上還有進一步的提升空間。

表3給出了句子級別語義分析的實驗結果，同樣比較了基準模型、使用小規(guī)模數(shù)據(jù)與大規(guī)模數(shù)據(jù)的神經(jīng)機器翻譯編碼器的模型之間的性能。從表3可以看出，在語料規(guī)模較小時，使用固定神經(jīng)機器翻譯編碼器參數(shù)的模型的性能與基線模型相差3.07個F1值，而在語料規(guī)模較大時，與基線模型相比，高出2.61個F1值。這一實驗結果說明，神經(jīng)機器翻譯模型的編碼器能捕獲到相當多句子級別的語義信息，并且隨著語料數(shù)量的增加，捕獲到的語義信息量會隨之增加，與神經(jīng)機器翻譯的實驗結果、單詞級別語義分析實驗結果保持一致。值得注意的是，在大規(guī)模語料上，神經(jīng)機器翻譯的編碼器比基線模型的編碼器能捕獲到更多的語義信息。

表3 句子級別語義分析實驗結果

3.3 實驗分析

本節(jié)將深入探討神經(jīng)機器翻譯編碼器捕獲的語義信息。假設神經(jīng)機器翻譯編碼器能夠捕獲到充分的句子級別的語義，那么一般情況下同樣能對單詞的語義產生足夠的理解。然而，3.2節(jié)語義分析實驗結果說明，基于大規(guī)模翻譯語料，神經(jīng)機器翻譯編碼器能學習到較強的句子級別語義信息，而在單詞級別語義的學習上還有進一步提升的空間。

圖3給出了一個基于NMT_big編碼器的語義分析結果例子。從中可以看出，句子級別語義分析模型能較好地恢復編碼器中捕獲的句子級語義，但是單詞級別語義分析過程卻將單詞“Elsevier”和“N.V.”的語義標簽錯誤地預測為“ElRather”和“Federal”。從單詞級別語義分析的實驗上看，存在一種可能的情況，神經(jīng)機器翻譯編碼器能夠捕獲單詞的語義信息，然而在捕獲的單詞語義信息中，存在部分語義信息對預測AMR圖中對齊信息不能發(fā)揮直接作用。

圖3 單詞級別和句子級別語義分析結果示例

為了克服這一問題，本文對語義分析實驗進行了微調，即不再固定神經(jīng)機器翻譯編碼器的參數(shù)，而是在訓練語義分析任務的解碼器時，同時也對編碼器參數(shù)進行更新，表4給出了對單詞級別語義分析微調后的實驗結果。從表中可以看出，神經(jīng)機器翻譯編碼器微調后的模型準確率與召回率較之前有明顯的提升，在小規(guī)模數(shù)據(jù)上比基準模型高2.53個F1值，在大規(guī)模數(shù)據(jù)上比基準模型高3.78個F1值，且在大規(guī)模數(shù)據(jù)上的F1值比小規(guī)模數(shù)據(jù)高1.25，證明在神經(jīng)機器翻譯編碼器能夠捕獲到的單詞級別語義信息中，有部分語義信息是基準系統(tǒng)的語義分析編碼器無法完全學習到的。結合3.2節(jié)的實驗結果，說明了神經(jīng)機器翻譯編碼器能夠捕獲到單詞級別與句子級別語義信息，并且通過微調能夠提升編碼器對單詞級別語義信息的學習，使得編碼器捕獲更多的語義信息。

表4 單詞級別語義分析微調后實驗結果

類似地，本文對句子級別語義分析同樣進行微調。實驗結果如表5所示，神經(jīng)機器翻譯編碼器在小規(guī)模數(shù)據(jù)上的性能提升較為明顯，較微調前提升5.14個F1值，超過了基準系統(tǒng)2.07個F1值，在大規(guī)模語料上的神經(jīng)機器翻譯編碼器F1值更是達到了75.54，超過基準系統(tǒng)3.7個F1值。句子級別語義分析實驗結果同樣能夠證明，機器翻譯編碼器能夠捕獲到語義信息。

表5 句子級別語義分析微調后實踐結果

3.4 句子級別語義分析實驗結果對比

從3.3節(jié)的實驗結果分析得出，使用神經(jīng)機器翻譯編碼器參數(shù)并基于AMR分析任務進行微調，可以得到較好的分析性能。此外，本文使用以下兩種模型集成方法進一步提升性能：①將訓練過程保留的最后10個模型參數(shù)平均，記為NMT_big_avg；②對訓練過程中保留的最后5個模型輸出的概率值求平均，記為NMT_big_avg_multiple。

表6比較了相關工作與本文的AMR分析性能。與其他使用非BERT外部資源的相關工作相比，本文方法取得更佳的語義分析性能；與使用BERT的相關工作相比，本文模型簡單，并且集成方法取得的性能與其差距較小。

表6 與其他模型性能的比較

4 語義分析和神經(jīng)機器翻譯聯(lián)合學習

從第3節(jié)中可以得知，神經(jīng)機器翻譯的編碼器在學習語義上存在潛在的提升空間。本節(jié)嘗試利用AMR中的語義信息輔助神經(jīng)機器翻譯編碼器學習語義，提高翻譯性能。

為了使編碼器融合更多語義信息，本文在機器翻譯任務中聯(lián)合了AMR解析任務，使用神經(jīng)機器翻譯編碼器與AMR解碼器解析AMR序列。聯(lián)合學習模型如圖4所示，神經(jīng)機器翻譯與AMR解析共享編碼器、獨立解碼器，在模型訓練的每一步中，共享編碼器分別聯(lián)合神經(jīng)機器翻譯解碼器(shared encoder-NMT decoder)訓練機器翻譯任務、聯(lián)合AMR解碼器(shared encoder-AMR decoder)訓練AMR解析任務。這里，機器翻譯的部分warmup_step參數(shù)設置為4 000，learning rate設置為1.0，其余保持與3.1.3節(jié)設置一致。

圖4 聯(lián)合學習模型

實驗結果如表7所示，在小規(guī)模數(shù)據(jù)上，聯(lián)合學習模型(Joint_small)比純神經(jīng)機器翻譯模型(NMT_small)提高了1.17個BLEU值，而在大規(guī)模語料上，聯(lián)合學習模型(Joint_big)比并純神經(jīng)機器翻譯模型(NMT_big)低了0.92個BLEU值。

表7 神經(jīng)機器翻譯模型與聯(lián)合學習模型機器翻譯的結果對比

實驗結果表明，在小規(guī)模語料上，神經(jīng)機器翻譯編碼器捕獲到的語義信息有限，可以利用AMR輔助神經(jīng)機器翻譯學習語義信息、提高翻譯性能，這一結論與3.3節(jié)的分析保持一致；而基于大規(guī)模翻譯語料，聯(lián)合學習中神經(jīng)機器翻譯性能甚至出現(xiàn)下降。綜上所述，本文總結了兩種可能的原因：

(1)目前AMR還無法做到表示完整的語義。例如，AMR側重的是描述某個句子內部存在的概念(concept)，以及它們之間的語義關系，但同時忽略了時態(tài)、名詞單復數(shù)等信息。神經(jīng)機器翻譯編碼器已經(jīng)能夠從大規(guī)模的機器翻譯語料中捕獲到較強的句子級別語義，而AMR中缺失的部分語義反而會影響編碼器捕獲完整的語義信息。

(2)在大規(guī)模數(shù)據(jù)中，由于聯(lián)合學習的兩個任務語料差距較大，AMR訓練語料大小僅為36 K，而機器翻譯訓練語料大小高達4.5 M。聯(lián)合學習容易造成模型過擬合AMR分析任務，因此影響了翻譯的性能。

5 總結

本文利用了AMR圖中包含的單詞級別語義與句子級別語義設計實驗分析神經(jīng)機器翻譯編碼器能否學習到語義信息，并試圖利用AMR中包含的語義信息輔助神經(jīng)機器翻譯、提高翻譯性能。語義分析實驗的結果表明，神經(jīng)機器翻譯編碼器能夠在很大程度上捕獲單詞級別與句子級別上的語義，但在單詞級別語義的學習上，還有進一步提升的空間。融合語義的神經(jīng)機器翻譯實驗表明，在小規(guī)模語料中可以通過AMR中語義信息提高神經(jīng)機器翻譯性能，在大規(guī)模語料上利用AMR中語義信息提高神經(jīng)機器翻譯性能還存在一定的困難。在未來的工作中，將進一步探索如何在大規(guī)模語料中利用AMR中語義信息提高神經(jīng)機器翻譯性能。