基于多類型池化的卷積神經(jīng)網(wǎng)絡(luò)的文本分類算法

張?zhí)睚?/p>

摘 要：準(zhǔn)確地形式化表述句子對(duì)于語(yǔ)義理解是至關(guān)重要的。這篇文章中采用的卷積結(jié)構(gòu)稱為多類型池化的卷積神經(jīng)網(wǎng)絡(luò)，為句子建立語(yǔ)義模型。網(wǎng)絡(luò)對(duì)線性序列進(jìn)行多類型的動(dòng)態(tài)池化操作。網(wǎng)絡(luò)能夠處理長(zhǎng)度不等的句子并準(zhǔn)確提取不同范圍內(nèi)詞語(yǔ)之間的關(guān)系。網(wǎng)絡(luò)不依賴于任何解析樹，能夠容易地應(yīng)用于其他語(yǔ)言。對(duì)三組數(shù)據(jù)進(jìn)行了測(cè)試：三組數(shù)據(jù)均取得較好的效果，優(yōu)于或持平當(dāng)前的最好文本分類算法。

關(guān)鍵詞：深度學(xué)習(xí)；文本分類；多類型池化

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）35-0187-03

1 引言

為了進(jìn)行分類，我們建立句子模型來(lái)分析和表示句子的語(yǔ)義內(nèi)容。句子模型問(wèn)題的關(guān)鍵在于一定程度上的自然語(yǔ)言理解。很多類型的任務(wù)需要采用句子模型，包括情感分析、語(yǔ)義檢測(cè)、對(duì)話分析、機(jī)器翻譯等。既然單獨(dú)的句子很少或基本不被采用，所以我們必須采用特征的方式來(lái)表述一個(gè)句子，而特征依賴于單詞和詞組。句子模型的核心是特征方程，特征方程定義了依據(jù)單詞和詞組提取特征的過(guò)程。求最大值的池化操作是一種非線性的二次抽樣方法，它返回集合元素中的最大值。

各種類型的模型已經(jīng)被提出。基于成分構(gòu)成的方法被應(yīng)用于向量表示，通過(guò)統(tǒng)計(jì)同時(shí)單詞同時(shí)出現(xiàn)的概率來(lái)獲取更長(zhǎng)的詞組。在有些情況下，通過(guò)對(duì)詞向量進(jìn)行代數(shù)操作生成句子層面的向量，從而構(gòu)成成分。在另外一些情況下，特征方程和特定的句法或者單詞類型相關(guān)。

一種核心模型是建立在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上。這種模型包含了單詞包或者詞組包的模型、更結(jié)構(gòu)化的遞歸神經(jīng)網(wǎng)絡(luò)、延遲的基于卷積操作的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)模型有很多優(yōu)點(diǎn)。通過(guò)訓(xùn)練可以獲得通用的詞向量來(lái)預(yù)測(cè)一段上下文中單詞是否會(huì)出現(xiàn)。通過(guò)有監(jiān)督的訓(xùn)練，神經(jīng)網(wǎng)絡(luò)能夠根據(jù)具體的任務(wù)進(jìn)行良好的調(diào)節(jié)。除了作為強(qiáng)大的分類器，神經(jīng)網(wǎng)絡(luò)模型還能夠被用來(lái)生成句子[6]。

我們定義了一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)并將它應(yīng)用到句子語(yǔ)義模型中。這個(gè)網(wǎng)絡(luò)可以處理長(zhǎng)度不同的句子。網(wǎng)絡(luò)中的一維卷積層和多類型動(dòng)態(tài)池化層是相互交錯(cuò)的。多類型動(dòng)態(tài)池化是一種對(duì)求最大值池化操作的范化，它返回集合中元素的最大值、最小值、平均值的集合[1]。操作的范化體現(xiàn)在兩個(gè)方面。第一，多類型池化操作對(duì)一個(gè)線性的值序列進(jìn)行操作，返回序列中的多個(gè)數(shù)值而不是單個(gè)最大的數(shù)值。第二，池化參數(shù)k可以被動(dòng)態(tài)的選擇，通過(guò)網(wǎng)絡(luò)的其他參數(shù)來(lái)動(dòng)態(tài)調(diào)整k的值。

卷積層的一維卷積窗口對(duì)句子特征矩陣的每一行進(jìn)行卷積操作。相同的n-gram的卷積窗口在句子的每個(gè)位置進(jìn)行卷積操作，這樣可以根據(jù)位置獨(dú)立地提取特征。一個(gè)卷積層后面是一個(gè)多類型動(dòng)態(tài)池化層和一個(gè)非線性的特征映射表。和卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的使用一樣，為豐富第一層的表述，通過(guò)不同的卷積窗口應(yīng)用到句子上計(jì)算出多重特征映射表。后續(xù)的層也通過(guò)下一層的卷積窗口的卷積操作計(jì)算出多重特征映射表。最終的結(jié)構(gòu)我們叫它多類型池化的卷積神經(jīng)網(wǎng)絡(luò)。

在輸入句子上的多層的卷積和動(dòng)態(tài)池化操作產(chǎn)生一張結(jié)構(gòu)化的特征圖。高層的卷積窗口可以獲取非連續(xù)的相距較遠(yuǎn)的詞組的句法和語(yǔ)義關(guān)系。特征圖會(huì)引導(dǎo)出一種層級(jí)結(jié)構(gòu)，某種程度上類似于句法解析樹。這種結(jié)構(gòu)不僅僅是和句法相關(guān)，它是神經(jīng)網(wǎng)絡(luò)內(nèi)部所有的。

我們將此網(wǎng)絡(luò)在四種場(chǎng)景下進(jìn)行了嘗試。前兩組實(shí)驗(yàn)是電影評(píng)論的情感預(yù)測(cè)[2]，此網(wǎng)絡(luò)在二分和多種類別的分類實(shí)驗(yàn)中的表現(xiàn)都優(yōu)于其他方法。第三組實(shí)驗(yàn)在TREC數(shù)據(jù)集（Li and Roth， 2002）上的6類問(wèn)題的分類問(wèn)題。此網(wǎng)絡(luò)的正確率和目前最好的方法的正確率持平。第四組實(shí)驗(yàn)是推特的情感預(yù)測(cè)，此網(wǎng)絡(luò)將160萬(wàn)條微博根據(jù)表情符號(hào)自動(dòng)打標(biāo)來(lái)進(jìn)行訓(xùn)練。在手工打標(biāo)的測(cè)試數(shù)據(jù)集上，此網(wǎng)絡(luò)將預(yù)測(cè)錯(cuò)誤率降低了25%。

本文的概要如下。第二段主要闡述MCNN的背景知識(shí)，包括核心概念和相關(guān)的神將網(wǎng)絡(luò)句子模型。第三章定義了相關(guān)的操作符和網(wǎng)絡(luò)的層。第四章闡述生成的特征圖的處理和網(wǎng)絡(luò)的其他特點(diǎn)。第五章討論實(shí)驗(yàn)和回顧特征學(xué)習(xí)探測(cè)器。

2 背景

MCNN的每一層的卷積操作之后都伴隨一個(gè)池化操作。我們先回顧一下相關(guān)的神經(jīng)網(wǎng)絡(luò)句子模型。然后我們來(lái)闡述一維的卷積操作和經(jīng)典的延遲的神經(jīng)網(wǎng)絡(luò)（TDNN）[3]。在加了一個(gè)最大池化層到網(wǎng)絡(luò)后，TDNN也是一種句子模型[5]。

2.1 相關(guān)的神經(jīng)網(wǎng)絡(luò)句子模型

已經(jīng)有很多的神經(jīng)網(wǎng)絡(luò)句子模型被描述過(guò)了。 一種比較通用基本的模型是神經(jīng)網(wǎng)絡(luò)詞包模型（NBoW）。其中包含了一個(gè)映射層將單詞、詞組等映射到更高的維度；然后會(huì)有一個(gè)比如求和之類的操作。結(jié)果向量通過(guò)一個(gè)或多個(gè)全連接層來(lái)進(jìn)行分類。

有以外部的解析樹為基礎(chǔ)的遞歸神經(jīng)網(wǎng)絡(luò)，還有在此基礎(chǔ)上更進(jìn)一步的RNN網(wǎng)絡(luò)。

最后一種是以卷積操作和TDNN結(jié)構(gòu)為基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)句子模型。相關(guān)的概念是動(dòng)態(tài)卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，我們接下來(lái)介紹的就是它。

2.2 卷積

一維卷積操作便是將權(quán)重向量[m∈Rm]和輸入向量[s∈Rs]進(jìn)行操作。向量m是卷積操作的過(guò)濾器。具體來(lái)說(shuō)，我們將s作為輸入句子，[si∈R]是與句子中第i個(gè)單詞相關(guān)聯(lián)的單獨(dú)的特征值。一維卷積操作背后的思想是通過(guò)向量m和句子中的每個(gè)m-gram的點(diǎn)積來(lái)獲得另一個(gè)序列c：

[ci=mTsi-m+1：i （1）]

根據(jù)下標(biāo)i的范圍的不同，等式1產(chǎn)生兩種不同類型的卷積。窄類型的卷積中s >= m并且會(huì)生成序列[c∈Rs-m+1]，下標(biāo)i的范圍從m到s。寬類型的卷積對(duì)m和s的大小沒(méi)有限制，生成的序列[c∈Rs+m-1]，下標(biāo)i的范圍從1到s+m-1。超出下標(biāo)范圍的si窄（i < 1或者i > s）置為0。窄類型的卷積結(jié)果是寬類型的卷積結(jié)果的子序列。

寬類型的卷積相比于窄類型的卷積有一些優(yōu)點(diǎn)。寬類型的卷積可以確保所有的權(quán)重應(yīng)用到整個(gè)句子，包括句子收尾的單詞。當(dāng)m被設(shè)為一個(gè)相對(duì)較大的值時(shí)，如8或者10，這一點(diǎn)尤其重要。另外，寬類型的卷積可以確保過(guò)濾器m應(yīng)用于輸入句子s始終會(huì)生成一個(gè)有效的非空結(jié)果集c，與m的寬度和s句子的長(zhǎng)度無(wú)關(guān)。接下來(lái)我們來(lái)闡述TDNN的卷積層。

2.3 延遲的神經(jīng)網(wǎng)絡(luò)

TDNN包含一個(gè)輸入序列s和一個(gè)權(quán)重向量m的集合。TDNN來(lái)進(jìn)行音位識(shí)別[4]，序列s有一個(gè)時(shí)間維度，卷積操作應(yīng)用于時(shí)間維度。每個(gè)si不是一個(gè)值，而是一個(gè)向量d，所以[s∈Rd×s]。同樣，m是一個(gè)權(quán)重矩陣，大小為[d×m]。權(quán)重矩陣m的每一行與相應(yīng)的輸入矩陣s的每一行進(jìn)行卷積操作并且采用窄類型的卷積操作。多重的卷積層被堆疊在一起，將產(chǎn)生的結(jié)果序列c作為下一層的輸入。

Max-TDNN句子模型是建立在TDNN結(jié)構(gòu)的基礎(chǔ)上[5]。在這個(gè)模型中，卷積層被應(yīng)用于輸入矩陣s，矩陣的每一列的特征向量[wi∈Rd]代表句子中的一個(gè)單詞：

[s=|||w1...ws|||（2）]為了處理句子長(zhǎng)度會(huì)變化的問(wèn)題，Max-TDNN取結(jié)果矩陣c每一行的最大值生成一個(gè)向量：

[cmax=max（c1，：）...max（cd，：）（3）]目的是為了獲取最重要的特征，比如，取結(jié)果矩陣c中每行的最大值。固定大小的向量cmax作為全連接層的輸入來(lái)進(jìn)行分類。

Max-TDNN模型有許多優(yōu)秀的特性。它對(duì)句子中單詞的順序非常敏感，并且不依賴于外部語(yǔ)言特定的特診，比如依賴解析樹。此模型給予句子中的每個(gè)單詞同樣的重要性，為了防止句中邊緣的單詞在窄類型的卷積操作被計(jì)算更少的次數(shù)。但是這個(gè)模型也有一些方面的限制。它會(huì)使忽略句子邊緣的特性以及輸入s的長(zhǎng)度最小值變大的特性更差。由于這個(gè)原因，更長(zhǎng)的特征探測(cè)器不能很好地適應(yīng)這種模型。取最大值的池化操作也有一些缺點(diǎn)。它不能區(qū)分一個(gè)相關(guān)的特征在某一行中出現(xiàn)一次還是多次，它也不能記下特征出現(xiàn)的次序。下一章節(jié)主要是為了解決模型的這些限制同時(shí)保留模型原有的優(yōu)點(diǎn)。

3 多類型池化的卷積神經(jīng)網(wǎng)絡(luò)

我們的句子模型使用卷積結(jié)構(gòu)，其中卷積層和多類型池化層相交替。網(wǎng)絡(luò)中間層的寬度根據(jù)輸入句子的長(zhǎng)度而變化；最后的結(jié)構(gòu)就是多類型池化的卷積神經(jīng)網(wǎng)絡(luò)。接下來(lái)我們?cè)敿?xì)的闡述它。

3.1 寬類型的卷積

根據(jù)輸入的句子獲取MCNN的第一層，我們用向量[wi∈Rd]來(lái)表示句子中的每個(gè)單詞，從而如Eq. 2構(gòu)建句子矩陣[s∈Rd×s]。參數(shù)wi的值在訓(xùn)練的時(shí)候會(huì)被優(yōu)化。通過(guò)卷積權(quán)重矩陣[m∈Rd×m]和下面的激活矩陣，可以得到一個(gè)卷積層。比如，第二層是通過(guò)對(duì)句子矩陣s進(jìn)行卷積操作得到的。維度d和過(guò)濾器的寬度m是網(wǎng)絡(luò)的參數(shù)。我使用2.2節(jié)中描述的寬類型的卷積操作。結(jié)果矩陣c的維度即為[d×（s+m-1）]。

3.2多類型池化

我們接下來(lái)描述的池化操作是Max-TDNN模型中最大池化操作的范化版本，它和圖像識(shí)別[1]中卷積神經(jīng)網(wǎng)絡(luò)的最大池化操作也不同。給出一個(gè)參數(shù)k和一個(gè)長(zhǎng)度為p的序列[p∈Rp]，并且p >= k，k-max池化選擇序列p中的最大的k個(gè)值作為子序列[pkmax]。[pkmax]中值的順序和它們?cè)瓉?lái)在p中的順序相同。k-min池化選擇序列p中最小的k個(gè)值作為子序列[pkmin]。k-average池化將序列p均分成k段，取每一段的平均值構(gòu)成子序列[pkave]。

多類型動(dòng)態(tài)池化操作可以池化p中最顯著的3k個(gè)特征，而這3k個(gè)特征在p中可能不是連續(xù)的，它對(duì)特征的具體位置并不敏感。在最高層的卷積層之后應(yīng)用k多類型池化操作。這就能保證全連接層的輸入與句子的長(zhǎng)度無(wú)關(guān)。但在中間卷積層的池化參數(shù)k不是固定的而是動(dòng)態(tài)生成的，為的是能夠更加平滑地提取高層的特征。

3.3 動(dòng)態(tài)多類型池化

動(dòng)態(tài)多類型池化操作中k是句子長(zhǎng)度和網(wǎng)絡(luò)深度的函數(shù)。盡管有許多函數(shù)是可行，我可以按如下方式簡(jiǎn)單地定義池化參數(shù)：

[kl=max（ktop，L-lLs）（4）] 其中l(wèi)是當(dāng)前應(yīng)用池化操作的卷積層的層數(shù)，L是網(wǎng)絡(luò)中總共的卷積層層數(shù)；ktop是為最頂層的卷積層設(shè)置的固定參數(shù)。比如，在一個(gè)有3層卷積層的網(wǎng)絡(luò)中，ktop = 3，輸入句子的長(zhǎng)度s = 18，所以第一層的池化參數(shù)k1=12，第二層的池化參數(shù)k2 = 6，第三層有固定的池化參數(shù)k3 = ktop = 3。

3.4 非線性特征函數(shù)

在卷積操作之后進(jìn)行動(dòng)態(tài)多類型池化操作得到一個(gè)池化矩陣，我們對(duì)其每一個(gè)分量進(jìn)行偏置和非線性化操作。我們接下來(lái)陳述如何矩陣a中的每一列a。我們定義M為對(duì)角矩陣：

[M=[diag（mm：，1），...，diag（m：，m）] （5）]

[a=Mwj...wj+m-1+b（6）]m是卷積操作中的權(quán)重。經(jīng)過(guò)卷積層和非線性層之后，矩陣a的第j列可用如下公式獲得：

a是矩陣中的一列。等式6表述了特征提取函數(shù)的一種方式并且有更加普遍的形式。結(jié)合池化操作，可以保持位置不變性。

3.5 多重特征映射

所以到目前為止，我們已經(jīng)學(xué)會(huì)了對(duì)輸入矩陣進(jìn)行卷積、動(dòng)態(tài)多類型池化、非線性化操作來(lái)獲得第一層的特征映射。重復(fù)這3個(gè)操作來(lái)獲得更高層的特征映射，網(wǎng)絡(luò)的層數(shù)也更深。我們用Fi來(lái)第i層的特征映射。正如用卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行圖像識(shí)別，在同一層的多重的特征映射Fi1，…，F(xiàn)in會(huì)被并行計(jì)算。通過(guò)對(duì)i-1層的每個(gè)特征映射Fi-1k和過(guò)濾矩陣mij，k進(jìn)行卷積并求和得到Fij。

[Fij=k=1nmij，k?Fi-1k（7）] 公式中 * 表示寬類型的卷積操作。

3.6 折疊

所特征探測(cè)器被應(yīng)用于句子矩陣s的每一行，這會(huì)在同一行的多重特征映射中產(chǎn)生復(fù)雜的依賴關(guān)系。在全連接層之前的網(wǎng)絡(luò)層中，不同行的特征探測(cè)器是相互獨(dú)立的。通過(guò)等式5的對(duì)角矩陣M的轉(zhuǎn)化可以實(shí)現(xiàn)不同行的全依賴。這里我們介紹一種更加方法叫做折疊，而且這種方法并不會(huì)引入任何其他參數(shù)。在卷積層和動(dòng)態(tài)多類型池化層之間，我們將每?jī)尚邢嗉印Ｒ虼?，?duì)于一個(gè)d行的矩陣，折疊會(huì)使這個(gè)矩陣變?yōu)閐/2行，將其大小變?yōu)樵瓉?lái)的一半。有了折疊層以后，第i層的任一特征探測(cè)器將依賴于i-1層矩陣的兩行的特征值。這就是對(duì)MCNN所有的描述。

4 實(shí)驗(yàn)與結(jié)果分析

我們對(duì)此網(wǎng)絡(luò)進(jìn)行了4組不同的實(shí)驗(yàn)。

4.1 電影評(píng)論的情感預(yù)測(cè)

前兩組實(shí)驗(yàn)是關(guān)于電影評(píng)論的情感預(yù)測(cè)的，數(shù)據(jù)集是Stanford Sentiment Treebank.實(shí)驗(yàn)輸出的結(jié)果在一個(gè)實(shí)驗(yàn)中是分為2類，在另一種試驗(yàn)中分為5類：消極、略微消極、中性、略微積極、積極。而實(shí)驗(yàn)總的詞匯量為15448。

表示的是電影評(píng)論數(shù)據(jù)集情感預(yù)測(cè)準(zhǔn)確率。NB和BINB分別表示一元和二元樸素貝葉斯分類器。SVM是一元和二元特征的支撐向量機(jī)。在三種神經(jīng)網(wǎng)絡(luò)模型里——Max-TDNN、NBoW和DCNN——模型中的詞向量是隨機(jī)初始化的；它們的維度d被設(shè)為48。Max-TDNN在第一層中濾波窗口的大小為6。卷積層后面緊跟一個(gè)非線性化層、最大池化層和softmax分類層。NBoW會(huì)將詞向量相加，并對(duì)詞向量進(jìn)行非線性化操作，最后用softmax進(jìn)行分類。2類分類的MCNN的參數(shù)如下，卷積層之后折疊層、動(dòng)態(tài)多類型池化層、非線性化層。濾波窗口的大小分別7和5。最頂層動(dòng)態(tài)多類型池化層的k的值為4。網(wǎng)絡(luò)的最頂層是softmax層。5類分類的MCNN有相同的結(jié)構(gòu)，但是濾波窗口的大小分別為10和7，k的值為5。

我們可以看到MCNN的分類效果遠(yuǎn)超其他算法。NBoW的分類效果和非神經(jīng)網(wǎng)絡(luò)算法差不多。而Max-TDNN的效果要比NBoW的差，可能是因?yàn)檫^(guò)度池化的原因，丟棄了句子太多重要的特征。除了RecNN需要依賴外部的解析樹來(lái)生成結(jié)構(gòu)化特征，其他模型都不需要依賴外部資源。

4.2 問(wèn)題分類

問(wèn)題分類在問(wèn)答系統(tǒng)中應(yīng)用非常廣泛，一個(gè)問(wèn)題可能屬于一個(gè)或者多個(gè)問(wèn)題類別。所用的數(shù)據(jù)集是TREC數(shù)據(jù)集，TREC數(shù)據(jù)集包含6種不同類別的問(wèn)題，比如一個(gè)問(wèn)題是否關(guān)于地點(diǎn)、人或者數(shù)字信息。訓(xùn)練集包含5452個(gè)打標(biāo)的問(wèn)題和500個(gè)測(cè)試集。

4.3 Twitter情感預(yù)測(cè)

在我們最后的實(shí)驗(yàn)里，我們用tweets的大數(shù)據(jù)集進(jìn)行訓(xùn)練，我們根據(jù)tweet中出現(xiàn)的表情符號(hào)自動(dòng)地給文本進(jìn)行打標(biāo)簽，積極的或是消極的。整個(gè)數(shù)據(jù)集包含160萬(wàn)條根據(jù)表情符號(hào)打標(biāo)的tweet以及400條手工標(biāo)注的測(cè)試集。整個(gè)數(shù)據(jù)集包含76643個(gè)單詞。MCNN的結(jié)構(gòu)和4.1節(jié)中結(jié)構(gòu)相同。隨機(jī)初始化詞向量且維度d設(shè)為60。

我們發(fā)現(xiàn)MCNN的分類效果和其他非神經(jīng)網(wǎng)絡(luò)的算法相比有極大的提高。MCNN和NBoW在分類效果上的差別顯示了MCNN有極強(qiáng)的特征提取能力。

5 結(jié)語(yǔ)

在本文中我們闡述了一種動(dòng)態(tài)的卷積神經(jīng)網(wǎng)絡(luò)，它使用動(dòng)態(tài)的多類型池化操作作為非線性化取樣函數(shù)。此網(wǎng)絡(luò)在問(wèn)題分類和情感預(yù)測(cè)方面取得了很好的效果，并且不依賴于外部特征如解析樹或其他外部資源。

參考文獻(xiàn)

[1]. Yann LeCun， Le ?on Bottou， Yoshua Bengio， and Patrick Haffner. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE， 86（11）：2278-2324， November.

[2]. Richard Socher， Alex Perelygin， Jean Wu， Jason Chuang， Christopher D. Manning， Andrew Y. Ng， and Christopher Potts. 2013b. Recursive deep mod- els for semantic compositionality over a sentiment treebank. In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Process- ing， pages 1631–1642， Stroudsburg， PA， October. Association for Computational Linguistics.

[3]. Geoffrey E. Hinton. 1989. Connectionist learning procedures. Artif. Intell.， 40（1-3）：185–234.

[4]. Alexander Waibel， Toshiyuki Hanazawa， Geofrey Hinton， Kiyohiro Shikano， and Kevin J. Lang. 1990. Readings in speech recognition. chapter Phoneme Recognition Using Time-delay Neural Networks， pages 393–404. Morgan Kaufmann Publishers Inc.， San Francisco， CA， USA.

[5]. Ronan Collobert and Jason Weston. 2008. A unified architecture for natural language processing： Deep neural networks with multitask learning. In International Conference on Machine Learning， ICML.

[6]. Holger Schwenk. 2012. Continuous space translation models for phrase-based statistical machine translation. In COLING （Posters）， pages 1071-1080.