一種基于改進(jìn)隱馬爾克夫模型的詞語(yǔ)對(duì)齊方法

劉穎，姜巍

（清華大學(xué)中文系，北京100084）

1 引言

統(tǒng)計(jì)機(jī)器翻譯由IBM的Brown等人于1990年提出，1993年他們提出了基于詞對(duì)齊的五個(gè)復(fù)雜度遞增的模型—IBM模型1至5［1］。IBM統(tǒng)計(jì)機(jī)器翻譯都是以詞為基本的翻譯單位，詞的對(duì)齊與詞語(yǔ)翻譯概率和對(duì)齊概率有關(guān)。IBM模型1假設(shè)對(duì)齊概率是平均對(duì)齊，即與源語(yǔ)言句子的長(zhǎng)度成反比。IBM模型2假設(shè)對(duì)齊概率與源語(yǔ)言、目標(biāo)語(yǔ)言的句子長(zhǎng)度以及源語(yǔ)言位置和目標(biāo)語(yǔ)言位置相關(guān)。IBM模型3和4考慮了空源語(yǔ)言詞、繁殖率和扭曲模型。IBM的重新排序模型很少利用上下文，更沒(méi)有利用句法結(jié)構(gòu)，許多人嘗試把句法信息結(jié)合進(jìn)翻譯模型中來(lái)改進(jìn)這個(gè)模型［2］。Vogel提出基于隱馬爾克夫模型（簡(jiǎn)稱(chēng)HMM）的統(tǒng)計(jì)翻譯，利用HMM進(jìn)行的對(duì)齊概率依賴(lài)于前一個(gè)詞所對(duì)齊的詞在目標(biāo)語(yǔ)言句子的位置［3］。即源語(yǔ)言的兩個(gè)詞位置越近，它們的目標(biāo)詞在目標(biāo)語(yǔ)言句子的位置也越近。Och系統(tǒng)比較了IBM模型和HMM［4］，在此基礎(chǔ)之上發(fā)布了詞語(yǔ)對(duì)齊軟件Giza＋＋①http：／／www.fjoch.com／GIZA＋＋.html，Giza＋＋實(shí)現(xiàn)了IBM模型1至模型5和HMM詞語(yǔ)對(duì)齊，目前已成為多數(shù)統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)的基本模塊。詞對(duì)齊是統(tǒng)計(jì)機(jī)器翻譯的基礎(chǔ)，詞對(duì)齊的質(zhì)量影響統(tǒng)計(jì)機(jī)器翻譯的質(zhì)量。

Lopez對(duì)基本隱馬爾科夫模型進(jìn)行改進(jìn)，提出基于目標(biāo)語(yǔ)言串距離和依存樹(shù)距離的HMM［5］。這個(gè)模型不僅取決于兩個(gè)對(duì)齊位置在目標(biāo)語(yǔ)言串上的距離，而且取決于這兩個(gè)對(duì)齊位置在目標(biāo)語(yǔ)言依存樹(shù)上的距離。實(shí)驗(yàn)結(jié)果表明，基于依存樹(shù)距離的HMM在詞語(yǔ)對(duì)齊訓(xùn)練中召回率較高，錯(cuò)誤率較低。Cherry利用目標(biāo)語(yǔ)言的依存樹(shù)對(duì)逆轉(zhuǎn)換語(yǔ)法進(jìn)行約束，以提高詞語(yǔ)對(duì)齊的質(zhì)量［6］。國(guó)內(nèi)對(duì)詞語(yǔ)對(duì)齊也進(jìn)行了許多研究和探索，取得了較好的成績(jī)［7－10］。

由于漢語(yǔ)與英語(yǔ)互為翻譯的詞之間存在一對(duì)多、多對(duì)一、一對(duì)空和空對(duì)一等情況，同時(shí)漢語(yǔ)和英語(yǔ)在表達(dá)時(shí)間、地點(diǎn)、介紹已知信息和未知信息、對(duì)句子中的某些信息進(jìn)行強(qiáng)調(diào)等方面都存在語(yǔ)序上的不同，使得從大規(guī)模雙語(yǔ)語(yǔ)料庫(kù)中對(duì)詞進(jìn)行對(duì)齊時(shí)，漢語(yǔ)和英語(yǔ)的詞的順序不再完全保持。

基本HMM中詞的對(duì)齊與兩個(gè)詞的翻譯概率和兩個(gè)詞對(duì)齊的目標(biāo)語(yǔ)言詞的串距離有關(guān)系。當(dāng)漢語(yǔ)和英語(yǔ)互譯詞的順序改變，兩個(gè)詞的翻譯概率又比較小時(shí)，基本HMM可能給出錯(cuò)誤的詞語(yǔ)對(duì)齊結(jié)果。本文提出改進(jìn)的HMM，將兩個(gè)對(duì)齊位置的目標(biāo)語(yǔ)言短語(yǔ)結(jié)構(gòu)樹(shù)距離作為特征引入到詞語(yǔ)對(duì)齊模型中，使得詞的對(duì)齊不僅與兩個(gè)詞的翻譯概率、兩個(gè)詞對(duì)齊的目標(biāo)語(yǔ)言詞的串距離有關(guān)，而且與兩個(gè)詞對(duì)齊的目標(biāo)語(yǔ)言詞的短語(yǔ)結(jié)構(gòu)樹(shù)距離有關(guān)。改進(jìn)的HMM與基本HMM詞對(duì)齊一樣存在全局最優(yōu)詞語(yǔ)對(duì)齊，可以在多項(xiàng)式時(shí)間內(nèi)找到最優(yōu)的詞語(yǔ)對(duì)齊［6］。

2 模型

1）基本HMM

式（1）為HMM基本形式，p（aj｜aj－1，I）稱(chēng)為對(duì)齊概率，p（fj｜eaj）稱(chēng)為翻譯概率。這個(gè)模型是Vogel在1996年提出來(lái)的，對(duì)齊概率依賴(lài)于兩個(gè)對(duì)齊位置的串距離aj－aj－1［3］。Och改進(jìn)了這個(gè)模型，對(duì)齊概率取決于目標(biāo)語(yǔ)言串兩個(gè)對(duì)齊位置的串距離aj－aj－1和自動(dòng)確定的詞類(lèi)C（eaj－1）。而在文獻(xiàn)［5］中，對(duì)齊概率不僅取決于目標(biāo)語(yǔ)言串兩個(gè)對(duì)齊位置的串距離aj－aj－1，而且取決于目標(biāo)語(yǔ)言串兩個(gè)對(duì)齊位置在依存樹(shù)中的距離。

2）改進(jìn)的HMM

改進(jìn)的HMM對(duì)基本HMM的對(duì)齊概率p（aj｜aj－1，I）進(jìn)行了改進(jìn)，但翻譯概率p（fj｜eaj）與基本HMM相同。

改進(jìn)的HMM的對(duì)齊概率p（aj｜aj－1，I）與源語(yǔ)言串上的兩個(gè)詞在目標(biāo)語(yǔ)言串兩個(gè)對(duì)齊位置之間的串距離和短語(yǔ)結(jié)構(gòu)樹(shù)距離有關(guān)。二者分別作為一個(gè)特征，見(jiàn)式（3）。

式（3）中，i＝aj表示第j個(gè)源語(yǔ)言詞與第i個(gè)目標(biāo)語(yǔ)言詞對(duì)齊。k＝aj－1表示第j－1個(gè)源語(yǔ)言詞與第k個(gè)目標(biāo)語(yǔ)言詞對(duì)齊。c（i－k）表示兩個(gè)源語(yǔ)言詞對(duì)齊的兩個(gè)目標(biāo)語(yǔ)言詞的串距離，c（i－k）的定義和運(yùn)算與基本HMM相同［3］。λ1＋λ2＝1。t（i，k）表示兩個(gè)源語(yǔ)言詞j－1和j對(duì)齊的目標(biāo)語(yǔ)言詞在目標(biāo)語(yǔ)言短語(yǔ)結(jié)構(gòu)樹(shù)的距離。分母是歸一化因子。

下面用實(shí)例給出如何計(jì)算兩個(gè)詞之間短語(yǔ)結(jié)構(gòu)樹(shù)距離。

圖1中，從節(jié)點(diǎn)“oriented”到節(jié)點(diǎn)“the”的短語(yǔ)結(jié)構(gòu)樹(shù)距離t（5，1）定義如下：

圖1 “The jobs are carrer oriented”短語(yǔ)結(jié)構(gòu)樹(shù)

從oriented到the的短語(yǔ)結(jié)構(gòu)樹(shù)距離為從oriented到the的操作概率的乘積。每個(gè)操作的相應(yīng)概率定義如下。

（1）POP操作概率：依賴(lài)于當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)類(lèi)型NodeType和當(dāng)前節(jié)點(diǎn)在兄弟節(jié)點(diǎn)中的索引NodeIndex。記為PopScore［NodeType］［NodeIndex］。

（2）PUSH操作概率：依賴(lài)于當(dāng)前節(jié)點(diǎn)的類(lèi)型NodeType和當(dāng)前節(jié)點(diǎn)的孩子節(jié)點(diǎn)在所有孩子節(jié)點(diǎn)中的索引NodeIndex。記為PushScore［NodeType］［NodeIndex］。

引入父節(jié)點(diǎn)類(lèi)型的原因在于：統(tǒng)計(jì)訓(xùn)練語(yǔ)料（斯坦福句法分析器處理結(jié)果）中子樹(shù)根節(jié)點(diǎn)類(lèi)型的出現(xiàn)頻率，發(fā)現(xiàn)S，SBAR，NP，VP和PP的出現(xiàn)頻率較高。其中，S為一般性陳述句標(biāo)記，SBAR為由引導(dǎo)詞引導(dǎo)的從句，NP為名詞短語(yǔ)，VP為動(dòng)詞短語(yǔ)，PP為介詞短語(yǔ)。據(jù)此將父節(jié)點(diǎn)類(lèi)型（Node－Type）分為5種：S和SBAR（記為1），NP（記為2），VP（記為3），PP（記為4）和其他短語(yǔ)（記為5）。

本文將當(dāng)前節(jié)點(diǎn)在兄弟節(jié)點(diǎn)中的索引分為兩類(lèi)，最右索引（記為1）及其他索引（記為2）。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于父節(jié)點(diǎn)與兄弟節(jié)點(diǎn)分類(lèi)，可以降低時(shí)空消耗，緩解數(shù)據(jù)稀疏問(wèn)題，同時(shí)保證二者結(jié)果相近。

前向—后向算法初始化時(shí)，每個(gè)操作概率采用最大頻率似然估計(jì)法來(lái)估計(jì)。即：

f（a→b）表示父節(jié)點(diǎn)類(lèi)型為a、孩子索引為b在樹(shù)庫(kù)中共出現(xiàn)的次數(shù)。通過(guò)上述模型，可以通過(guò)短語(yǔ)結(jié)構(gòu)樹(shù)Te計(jì)算任意兩個(gè)位置在短語(yǔ)樹(shù)上的距離。該模型主要是為了解決子樹(shù)邊界的詞語(yǔ)對(duì)齊和句法約束相沖突的問(wèn)題。

3 前向—后向算法

本文采用前向—后向算法來(lái)訓(xùn)練參數(shù)。首先通過(guò)初始參數(shù)計(jì)算雙語(yǔ)互譯和對(duì)齊概率，然后根據(jù)計(jì)算過(guò)程中發(fā)生的狀態(tài)轉(zhuǎn)移和生成的符號(hào)信息更新參數(shù)，在保證新參數(shù)優(yōu)于原參數(shù)情況下進(jìn)行更新，即新的模型參數(shù)應(yīng)該可以更好的解釋雙語(yǔ)互譯和對(duì)齊。前向—后向算法利用前向變量和后向變量可以直接進(jìn)行最大化，其基本假設(shè)是在這輪計(jì)算過(guò)程中出現(xiàn)頻率高的狀態(tài)轉(zhuǎn)移和生成的符號(hào)應(yīng)獲得更高的概率。

對(duì)改進(jìn)的HMM，前向變量和后向變量的定義如下：

前向變量記為αi（j），記錄源語(yǔ)言第j個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言位置i的總概率。根據(jù)動(dòng)態(tài)規(guī)劃算法αi（j）可以通過(guò)下列過(guò)程計(jì)算：

其中πi表示目標(biāo)語(yǔ)言位置i的初始概率；bioj表示目標(biāo)語(yǔ)言第i個(gè)位置詞ei生成oj的概率，即翻譯概率，bioj＝p（oj｜ei）。aik表示在源語(yǔ)言第j個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言位置i的情況下，源語(yǔ)言第j＋1個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言位置k的對(duì)齊概率。即aik＝p（aj＋1｜aj，I）。

后向變量記為βi（j），記錄源語(yǔ)言第j個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言位置i時(shí)，剩余子串的對(duì)齊概率之和。βi（j）同樣可以利用動(dòng)態(tài)規(guī)劃算法計(jì)算，見(jiàn)式（8）。

T表示源語(yǔ)言最后一個(gè)詞。ξik（j）表示給定雙語(yǔ)互譯句對(duì)的情況下，源語(yǔ)言第j個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言第i個(gè)位置并且源語(yǔ)言第j＋1個(gè)詞對(duì)應(yīng)目標(biāo)語(yǔ)言第k個(gè)位置的概率，稱(chēng)為詞語(yǔ)對(duì)齊的邊后驗(yàn)概率。用前向變量和后向變量表示為式（9）。

根據(jù)以上定義，更新本文HMM對(duì)齊概率的公式為式（10）。

如果，oj＝wk，σ（oj，wk）＝1，否則，σ（oj，wk）＝0。

然后利用前向后向算法進(jìn)行雙語(yǔ)互譯和對(duì)齊概率的計(jì)算。

前向后向算法：

①初始化。雙語(yǔ)詞互譯概率來(lái)自漢英雙語(yǔ)詞典。

② 根據(jù)雙語(yǔ)句對(duì)創(chuàng)建所有可能的狀態(tài)轉(zhuǎn)移矩陣。對(duì)于所有兩兩狀態(tài)轉(zhuǎn)移，計(jì)算其狀態(tài)轉(zhuǎn)移概率。然后根據(jù)式（3）計(jì)算雙語(yǔ)初始對(duì)齊概率，λ1＝λ2＝0.5。

③根據(jù)式（7）和式（8）計(jì)算這個(gè)階段的前向變量和后向變量。

④根據(jù)式（9），利用前向變量和后向變量計(jì)算詞語(yǔ)對(duì)齊的邊后驗(yàn)概率。

⑤根據(jù)式（10）更新HMM的對(duì)齊概率，根據(jù)式（11）更新HMM的翻譯概率。

⑥重復(fù)步驟2，直到模型參數(shù)變化小于某個(gè)閾值或者達(dá)到指定迭代次數(shù)。

在本文實(shí)驗(yàn)中，設(shè)置該閾值為0.001，在初始值如上設(shè)置的情況下，一般15輪至20輪迭代可以達(dá)到收斂。

4 實(shí)驗(yàn)、結(jié)果和分析

1）實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)采用雙語(yǔ)平行訓(xùn)練語(yǔ)料，語(yǔ)料大部分是從互聯(lián)網(wǎng)抓取后經(jīng)過(guò)后處理獲得，此外包括哈爾濱工業(yè)大學(xué)的10萬(wàn)平行雙語(yǔ)句對(duì)，整個(gè)訓(xùn)練集包含50萬(wàn)平行雙語(yǔ)句對(duì)，漢語(yǔ)平均句長(zhǎng)15.01，英語(yǔ)平均句長(zhǎng)13.84。本文計(jì)算BLEU值的測(cè)試語(yǔ)料是單獨(dú)準(zhǔn)備的500句漢英互譯句對(duì)；計(jì)算詞語(yǔ)對(duì)齊質(zhì)量的測(cè)試語(yǔ)料是經(jīng)過(guò)人工標(biāo)注詞語(yǔ)對(duì)齊結(jié)果的500句漢英互譯句對(duì)。訓(xùn)練語(yǔ)料和測(cè)試語(yǔ)料需要經(jīng)過(guò)分詞和大小寫(xiě)轉(zhuǎn)化的預(yù)處理。

2）開(kāi)源工具

實(shí)驗(yàn)中采用的自動(dòng)分詞軟件是斯坦福分詞工具2008版；采用的句法分析器是斯坦福句法分析器2007版，標(biāo)注集為賓州樹(shù)庫(kù)標(biāo)注集，采用賓州樹(shù)庫(kù)來(lái)統(tǒng)計(jì)短語(yǔ)結(jié)構(gòu)樹(shù)距離。采用的語(yǔ)言模型工具為Srilm1.5.5版［11］和LDC免費(fèi)Web－1TB三元語(yǔ)言模型語(yǔ)料。機(jī)器翻譯自動(dòng)評(píng)測(cè)工具采用了NIST的mt－evaluation1.1版①http：／／www.nist.gov／speech／tools／，利用BLEU－四元語(yǔ)言模型評(píng)測(cè)［12］。

實(shí)驗(yàn)中采用了兩種詞語(yǔ)對(duì)齊模塊，一個(gè)是Giza＋＋模塊，一個(gè)是改進(jìn)的HMM詞語(yǔ)對(duì)齊模塊，這兩個(gè)模塊的輸入輸出格式相同。輸入是雙語(yǔ)平行語(yǔ)料，輸出是Giza＋＋格式的雙向最優(yōu)詞語(yǔ)對(duì)齊結(jié)果。

3）實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)1 用實(shí)例來(lái)分析改進(jìn)HMM對(duì)不同位置目標(biāo)詞概率的影響。根據(jù)改進(jìn)HMM，在給定前一個(gè)對(duì)齊位置的條件下，可以計(jì)算下一個(gè)對(duì)齊位置的概率。

圖2給出漢語(yǔ)與英語(yǔ)的詞對(duì)齊和英語(yǔ)的短語(yǔ)結(jié)構(gòu)樹(shù)。圖3是在給定“減輕”的對(duì)齊位置為“relieve”，計(jì)算“對(duì)”的不同對(duì)齊位置的概率信息，橫坐標(biāo)中的0表示“relieve”節(jié)點(diǎn)，其他橫坐標(biāo)為其他節(jié)點(diǎn)相對(duì)于“relieve”的串的距離，縱坐標(biāo)為對(duì)齊到該節(jié)點(diǎn)的概率?？梢钥闯鰧?duì)于正確的對(duì)齊位置“on”節(jié)點(diǎn)3，改進(jìn)的HMM給出更高的得分。從效果看，改進(jìn)的HMM對(duì)概率分布函數(shù)進(jìn)行了平滑，即源語(yǔ)言串上相近的兩個(gè)詞在目標(biāo)語(yǔ)言較遠(yuǎn)的對(duì)齊位置的概率增加了。

圖2 英語(yǔ)短語(yǔ)結(jié)構(gòu)樹(shù)及詞匯對(duì)齊

圖3 “對(duì)”的不同對(duì)齊位置概率

實(shí)驗(yàn)2 根據(jù)對(duì)齊錯(cuò)誤率AER比較HMM和改進(jìn)的HMM的詞語(yǔ)對(duì)齊質(zhì)量；詞語(yǔ)對(duì)齊結(jié)果的評(píng)測(cè)采用準(zhǔn)確率P，召回率R和對(duì)齊錯(cuò)誤率AER［13］。

其中A為各個(gè)模型給出的測(cè)試集的詞對(duì)齊集，G為測(cè)試集的正確詞對(duì)齊集。

表1給出了兩種詞語(yǔ)對(duì)齊模型的評(píng)測(cè)結(jié)果。從表1中可看出，改進(jìn)HMM的詞對(duì)齊準(zhǔn)確率較高，詞對(duì)齊錯(cuò)誤率較小。從基本HMM到改進(jìn)HMM，詞對(duì)齊的準(zhǔn)確率有所增加，召回率有所降低，詞對(duì)齊錯(cuò)誤率有所降低。這說(shuō)明短語(yǔ)結(jié)構(gòu)樹(shù)距離對(duì)于提高詞語(yǔ)對(duì)齊質(zhì)量，降低詞對(duì)齊錯(cuò)誤率確實(shí)有幫助。但同時(shí)，考慮短語(yǔ)結(jié)構(gòu)樹(shù)距離的HMM使得詞語(yǔ)對(duì)齊召回率降低。

表1 兩種詞語(yǔ)對(duì)齊模型的評(píng)測(cè)結(jié)果

實(shí)驗(yàn)3 比較兩種詞語(yǔ)對(duì)齊結(jié)果對(duì)統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)BLEU值的影響。實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 兩種詞語(yǔ)對(duì)齊模型對(duì)翻譯系統(tǒng)的影響

從基本HMM到改進(jìn)的HMM，參考集、測(cè)試集和平均值的BLEU值都增加了，這說(shuō)明從基本HMM到改進(jìn)的HMM，統(tǒng)計(jì)機(jī)器翻譯質(zhì)量有所提高。改進(jìn)的HMM與基本HMM相比，確實(shí)說(shuō)明短語(yǔ)結(jié)構(gòu)樹(shù)距離對(duì)提高機(jī)器翻譯質(zhì)量有幫助。

5 結(jié)論

對(duì)于雙語(yǔ)的詞語(yǔ)對(duì)齊，本文提出了改進(jìn)的HMM。改進(jìn)的HMM把源語(yǔ)言詞在目標(biāo)語(yǔ)言的對(duì)齊位置的串距離和短語(yǔ)結(jié)構(gòu)樹(shù)距離融合起來(lái)進(jìn)行詞語(yǔ)對(duì)齊。實(shí)驗(yàn)結(jié)果表明，改進(jìn)的HMM可以減少句法和詞語(yǔ)對(duì)齊沖突，提高對(duì)齊準(zhǔn)確率，降低對(duì)齊錯(cuò)誤率，從而提高機(jī)器翻譯質(zhì)量。

［1］ Peter F Brown，Stephen A Della Pietra，Vincent J Della Pietra，et al.The mathematics of statistical machine translation parameter estimation［J］.Computational Linguistics，1993，19（2）：263－311.

［2］ Heidi J Fox.Phrasal cohesion and statistical machine translation［C］／／Proceedings of the 2002Conference on Empirical Methods in Natural Language Processing，Philadelphia，USA，2002：304－311.

［3］ Stephan Vogel，Hermann Ney，Christoph Tillmann.HMM－based word alignment in statistical translation［C］／／Proceedings of the 16th International Conference on Computational Linguistics Proceedings，1996：836－841.

［4］ Franz Josef Och，Hermann Ney.A systematic comparison of various statistical alignment models［J］.Computational Linguistics，2003，29（1）：19－51.

［5］ Adam Lopez，Philip Resnik.Improved HMM alignment models for languages with scarce resources［C］／／Proceedings of ACL－2005：Workshop on Building and Using Parallel Texts—Data－driven machine translation and beyond.University of Michigan，Ann Arbor，2005：83－86.

［6］ Colin Cherry，Dekang Lin.Soft syntactic constraints for word alignment through discriminative training［C］／／Proceedings of the Coling／ACL 2006Main Conference Poster Sessions，Sydney，2006：105－112.

［7］ Yang Liu，Qun LIU，Shouxun LIN，Log－linear Models for Word Alignment［C］／／Proceedings of the 43rd Annual Meeting of Association of Computational Linguistics，Michigan，2005：25－30.

［8］ 常寶寶.基于統(tǒng)計(jì)的翻譯等價(jià)詞對(duì)抽取研究［J］.計(jì)算機(jī)學(xué)報(bào)，2003，（5）：616－621.

［9］ 趙紅梅，劉群，等，漢英詞語(yǔ)對(duì)齊規(guī)范，中文信息學(xué)報(bào)，2009，23（3）：65－87。

［10］ 肖桐，李天寧，陳如山，等.面向統(tǒng)計(jì)機(jī)器翻譯的重對(duì)齊方法研究，中文信息學(xué)報(bào)，2010，24（1）：110－116.

［11］ Andreas Stolcke.SRILM—An Extensible Language Modeling Toolkit［C］／／Proceedings of International Conference on Spoken Language Processing.Denver，Colorado，2002.

［12］ Kishore Papineni，Salim Roukos，Todd Ward，et al.BLEU：a method for automatic evaluation of machine translation［C］／／Proceedings of the 40th Annual meeting of the Association for Computational Linguistics，Philadelphia，2002：311－318.

［13］ D Gildea.Loosely tree－based alignment for machine translation［C］／／Proceedings of the 41st Annual Meeting of Acl，2003：80－87.