• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于源語言句法增強(qiáng)解碼的神經(jīng)機(jī)器翻譯方法

    2022-11-30 07:30:32龔龍超郭軍軍余正濤
    計(jì)算機(jī)應(yīng)用 2022年11期
    關(guān)鍵詞:源語言解碼器句法

    龔龍超,郭軍軍*,余正濤

    基于源語言句法增強(qiáng)解碼的神經(jīng)機(jī)器翻譯方法

    龔龍超1,2,郭軍軍1,2*,余正濤1,2

    (1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650504; 2.云南省人工智能重點(diǎn)實(shí)驗(yàn)室(昆明理工大學(xué)),昆明 650504)(?通信作者電子郵箱guojjgb@163.com)

    當(dāng)前性能最優(yōu)的機(jī)器翻譯模型之一Transformer基于標(biāo)準(zhǔn)的端到端結(jié)構(gòu),僅依賴于平行句對,默認(rèn)模型能夠自動(dòng)學(xué)習(xí)語料中的知識(shí);但這種建模方式缺乏顯式的引導(dǎo),不能有效挖掘深層語言知識(shí),特別是在語料規(guī)模和質(zhì)量受限的低資源環(huán)境下,句子解碼缺乏先驗(yàn)約束,從而造成譯文質(zhì)量下降。為了緩解上述問題,提出了基于源語言句法增強(qiáng)解碼的神經(jīng)機(jī)器翻譯(SSED)方法,顯式地引入源語句句法信息指導(dǎo)解碼。所提方法首先利用源語句句法信息構(gòu)造句法感知的遮擋機(jī)制,引導(dǎo)編碼自注意力生成一個(gè)額外的句法相關(guān)表征;然后將句法相關(guān)表征作為原句表征的補(bǔ)充,通過注意力機(jī)制融入解碼,共同指導(dǎo)目標(biāo)語言的生成,實(shí)現(xiàn)對模型的先驗(yàn)句法增強(qiáng)。在多個(gè)IWSLT及WMT標(biāo)準(zhǔn)機(jī)器翻譯評(píng)測任務(wù)測試集上的實(shí)驗(yàn)結(jié)果顯示,與Transformer基線模型相比,所提方法的BLEU值提高了0.84~3.41,達(dá)到了句法相關(guān)研究的最先進(jìn)水平。句法信息與自注意力機(jī)制融合是有效的,利用源語言句法可指導(dǎo)神經(jīng)機(jī)器翻譯系統(tǒng)的解碼過程,顯著提高譯文質(zhì)量。

    自然語言處理;神經(jīng)機(jī)器翻譯;句法信息;Transformer;增強(qiáng)解碼;外部知識(shí)融入

    0 引言

    隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于深度學(xué)習(xí)方法的神經(jīng)機(jī)器翻譯系統(tǒng)取得了顯著的效果[1-3],成為機(jī)器翻譯任務(wù)的新范式。神經(jīng)機(jī)器翻譯任務(wù)旨在將給定的源語言句子轉(zhuǎn)換為目標(biāo)語言句子,其核心思想是使用神經(jīng)網(wǎng)絡(luò)將源語言句子編碼為一個(gè)稠密向量,然后從該向量解碼出目標(biāo)語言句子,通常依賴端到端的編碼器?解碼器結(jié)構(gòu)實(shí)現(xiàn)這種序列轉(zhuǎn)換[4-5]。

    先驗(yàn)的語言知識(shí),特別是句法,是一種預(yù)先定義的語言規(guī)則。圖1給出一個(gè)句法依賴關(guān)系的實(shí)例,詞語之間通過特定的關(guān)系連接構(gòu)建成一個(gè)句子。無論是理解語義(對應(yīng)于編碼)還是構(gòu)建語言(對應(yīng)于解碼),這種蘊(yùn)含于詞語與詞語之間的“主謂賓”等關(guān)系都作為一種重要依據(jù)而必不可少。但由于其本身的復(fù)雜性和語言的多樣性,如何有效學(xué)習(xí)和理解更深層的蘊(yùn)含關(guān)系和預(yù)定規(guī)則,仍是目前自然語言處理任務(wù)亟需和正努力解決的根本問題。

    圖1 句法依賴關(guān)系的實(shí)例

    一方面,基于Transformer[3]的編碼器?解碼器結(jié)構(gòu)舍棄了傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)[2]層和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[6]層,僅利用注意力機(jī)制[5]并行地執(zhí)行序列轉(zhuǎn)換,大幅地提高了建模的效率,成為機(jī)器翻譯任務(wù)的基線模型。然而,盡管自注意力機(jī)制通過并行的方式將輸入語句中的每個(gè)詞語都表示為包含其上下文信息的表征,但由于模型僅依賴于平行語料,而沒有使用先驗(yàn)的語言知識(shí),這種方式不可避免地會(huì)造成編碼和解碼過程中語句表征質(zhì)量的下降。圖1展示了Transformer在編碼句子“The monkey eats a banana.”過程中為根節(jié)點(diǎn)詞“eats”分配的注意力權(quán)重。直觀上,在翻譯詞語“eats”時(shí),其主語“monkey”和賓語“banana”應(yīng)得到更多的關(guān)注,但從注意力權(quán)重的分配上看,Transformer模型顯然沒有區(qū)分出這種句法上的差別。相關(guān)研究也表明Transformer的確不能有效挖掘這種深層的語言信息,特別是在低資源環(huán)境下[8-9]。筆者認(rèn)為,從注意力的角度來看,Transformer的軟注意力方式適用于更廣的范圍,保證了模型的泛化能力;在此基礎(chǔ)上,顯式地添加句法以硬約束注意力則傾向于句子本身的差異性。將兩者結(jié)合,則可在不損害模型泛化性的同時(shí)優(yōu)化語句的表征。

    另一方面,相關(guān)研究也表明在機(jī)器翻譯系統(tǒng)中融入句法信息是有效的[10-14]。在模型淺層,Saunders等[10]將句法表征穿插在單詞之間;Zhang等[11]將句法解析模型的表征與翻譯模型的詞嵌入表征相結(jié)合。在改變模型中間表征方面,Bugliarello等[12]根據(jù)詞語之間的句法距離調(diào)節(jié)編碼源語句時(shí)的注意力權(quán)重。在模型結(jié)構(gòu)方面,Wu等[13]引入額外的編碼器和解碼器將句法關(guān)系融入機(jī)器翻譯系統(tǒng)中,并利用目標(biāo)端的句法信息;Currey等[14]提出適用于低資源的句法解析——機(jī)器翻譯多任務(wù)模型,和適用于富資源的混合編碼模型。這些方法雖然在基線模型的基礎(chǔ)上提高了性能,但僅在編碼器中利用源語言句法信息,或是在解碼器中利用目標(biāo)語言句法信息,并沒有研究源語言句法信息對解碼過程的影響。

    針對以上問題,本文在Transformer模型的基礎(chǔ)上:1)優(yōu)化編碼器中的自注意力機(jī)制,引入句法感知的遮擋機(jī)制,在原注意力的基礎(chǔ)上生成一個(gè)額外的句法相關(guān)表征,與原注意力表征互補(bǔ),明確使用源語言的句法信息;2)增強(qiáng)解碼器,使用句法注意力將編碼端生成的句法相關(guān)表征融入解碼過程,指導(dǎo)目標(biāo)語言的生成,實(shí)現(xiàn)源語言句法信息對機(jī)器翻譯系統(tǒng)的增強(qiáng)。本文的主要工作包括:

    1)提出一種基于源語言句法增強(qiáng)解碼的神經(jīng)機(jī)器翻譯方法SSED(Source Syntax Enhancing Decoding),引入句法信息補(bǔ)充優(yōu)化源語言表征,探索結(jié)合源語言句法信息作用于解碼過程對翻譯系統(tǒng)性能的影響;

    2)將源語言句法信息作為優(yōu)化模型的依據(jù),而不是簡單地作為額外特征輸入模型,且適配于子詞單元;

    3)使用不同方法在解碼端融合源語言句法信息,探索在不同融合方式下源語言句法信息對模型性能的影響;

    4)在幾個(gè)標(biāo)準(zhǔn)機(jī)器翻譯數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文方法在幾乎不引入額外的訓(xùn)練參數(shù)和計(jì)算開銷的情況下顯著提高了基線模型的性能,并取得了句法相關(guān)工作的最好結(jié)果。

    1 相關(guān)工作

    在基于RNN模型的句法信息增強(qiáng)機(jī)器翻譯方法中,Sennrich等[15]將源語言句子的語法依賴標(biāo)簽作為額外特征輸入翻譯系統(tǒng)中,以提高譯文質(zhì)量;Eriguchi等[16]將解碼器與一個(gè)基于句法的語言模型[17]結(jié)合,通過共享句法解析與翻譯任務(wù)將語言先驗(yàn)納入機(jī)器翻譯系統(tǒng);Chen等[18]采用自底向上和自頂向下兩個(gè)方向的樹結(jié)構(gòu)編碼,有效利用源端句法信息;Chen等[19]基于句法距離構(gòu)造一個(gè)句法感知的局部注意力機(jī)制,根據(jù)句法距離調(diào)節(jié)注意力權(quán)重,選擇性地加強(qiáng)對句法相關(guān)詞的注意。

    基于Transformer的序列轉(zhuǎn)換模型大幅提升了神經(jīng)機(jī)器翻譯的并行性和譯文質(zhì)量,一些研究也在Transformer模型的基礎(chǔ)上對句法增強(qiáng)的方法進(jìn)行了探索。Wu等[13]為將由RNN構(gòu)建的依賴解析樹融入Transformer結(jié)構(gòu)中,使用一個(gè)具有三個(gè)編碼器和兩個(gè)解碼器的大模型,且需要目標(biāo)端的依賴關(guān)系;Zhang等[11]從更淺的詞嵌入層著手,將句法解析器生成的隱狀態(tài)與翻譯模型的詞嵌入向量拼接,以一種更隱式的方式集成源語言句法。與本文的方法相比,這種方法無法適配子詞切分,會(huì)誘發(fā)詞表過大和未登錄詞的問題。Currey等[14]基于數(shù)據(jù)增強(qiáng)技術(shù)提出兩種分別適用于低資源和富資源的方法;Saunders等[10]致力于將目標(biāo)語言的句法信息融入機(jī)器翻譯系統(tǒng),但將句法表征穿插入詞語表征之間的方式帶來長序列的問題,需要累積梯度才能進(jìn)行有效的訓(xùn)練。最近,Bugliarelllo等[12]基于自注意力強(qiáng)大的表征能力將句法信息與自注意力網(wǎng)絡(luò)相結(jié)合,通過詞與詞之間的句法距離重新分配注意力權(quán)重,實(shí)現(xiàn)對句法相關(guān)部分的強(qiáng)調(diào)。然而,這種僅依賴調(diào)整后表征的方式容易引入噪聲。

    不同于以往基于Transformer的工作,本文根據(jù)源語句的句法依賴關(guān)系,在編碼自注意力的基礎(chǔ)上利用遮蔽機(jī)制生成一個(gè)額外的句法相關(guān)表征作為原表征的補(bǔ)充,進(jìn)而在解碼過程融合源端的句法知識(shí),共同指導(dǎo)目標(biāo)語言的生成,以實(shí)現(xiàn)對解碼過程的句法約束,提高機(jī)器譯文質(zhì)量。

    2 SSED

    為使用句法信息增強(qiáng)神經(jīng)機(jī)器翻譯,同時(shí)探索源語言句法對解碼過程的影響,本文在Transformer模型的基礎(chǔ)上提出基于句法增強(qiáng)的神經(jīng)機(jī)器翻譯模型SSED,在編碼過程中提取和轉(zhuǎn)換源端句法知識(shí),并將其融入解碼過程。

    本章介紹了SSED模型的整體結(jié)構(gòu)、處理流程和框架中主要模塊的設(shè)計(jì)和細(xì)節(jié),包括獲取并向量化源語句句法關(guān)系以將其適配至編碼器,句法感知在多頭注意力中的實(shí)現(xiàn),以及如何將句法增強(qiáng)適配到解碼器的不同層。

    2.1 模型整體結(jié)構(gòu)

    圖2中展示了SSED模型的結(jié)構(gòu),與Transformer模型相比,主要改動(dòng)包括:1)編碼器中,優(yōu)化自注意力,使其利用源語句的句法依賴關(guān)系生成句法相關(guān)的表征;2)解碼器中,添加句法?解碼交互注意力和整合機(jī)制用于融合源語言句法,實(shí)現(xiàn)句法增強(qiáng)。

    圖2 SSED模型總體結(jié)構(gòu)

    2.1.1句法感知的編碼器

    由此,除原本的注意力表征之外,句法感知的自注意力還額外生成一個(gè)句法相關(guān)的注意力表征,式(1)變?yōu)椋?/p>

    值得注意的是,由于本文并沒有額外初始化一個(gè)前饋網(wǎng)絡(luò),而是僅使用原本的前饋網(wǎng)絡(luò),因此,相較于傳統(tǒng)的Transformer編碼器,句法感知的編碼器并沒有引入額外的訓(xùn)練參數(shù)。

    2.1.2句法增強(qiáng)的解碼器

    社會(huì)治理在鄉(xiāng)鎮(zhèn)土地管理中的運(yùn)用(李昊 ) ..................................................................................................2-31

    2.2 句法依賴關(guān)系的向量化

    為緩解詞表過大和詞匯稀疏問題,本文將句法感知適配到子詞單元,定義由同一原詞語切分而成的子詞之間的關(guān)系為句法相關(guān),并作為整體與句子中的其他詞語相互關(guān)聯(lián),以適應(yīng)子詞切分技術(shù)。

    2.3 句法感知與多頭注意力的適配

    具體到本文,源語句的句法關(guān)系被作為調(diào)整編碼自注意力進(jìn)而生成句法相關(guān)表征的依據(jù),而不是簡單地作為語言特征輸入模型。這種對注意力權(quán)重的調(diào)整是建立在多頭基礎(chǔ)上的,保留了多頭表征的多樣性,使得所生成的句法相關(guān)表征蘊(yùn)含來自不同表示子空間的信息,避免了由于僅保留句法相關(guān)部分而可能帶來的局部偏差。從局部建模的角度考慮,基于多頭的方式完善了可能忽略全局信息的句法感知建模方式。因此,作為補(bǔ)充信息,由局部建模得到的句法相關(guān)表征沒有引入額外的噪聲,相反,它在引入句法信息的同時(shí)也豐富了源語句表征的多樣性。3.3.4節(jié)中的實(shí)驗(yàn)結(jié)果也表明,句法相關(guān)表征為模型解碼提供了有效信息。

    2.4 句法感知與多層注意力的適配

    最近的研究表明,Transformer不同的層傾向于捕捉不同的特征。Anastasopoulos等[20]的研究表明,相較于低層,較高層更具有代表性;Peters等[21]以及Raganato等[22]指出,低層傾向于學(xué)習(xí)更多的句法知識(shí),而較高的層則傾向于編碼更多的語義?;诖?,本文在編碼器輸出層中生成句法相關(guān)表征,并研究了解碼器哪些層從源語言句法中受益最大。

    3 實(shí)驗(yàn)與結(jié)果分析

    3.1 實(shí)驗(yàn)設(shè)置

    為測試本文SSED模型的性能,在通用的NC11(News Commentary v11)英德、德英和IWSLT14(International Conference on Spoken Language Translation 2014)德英,以及標(biāo)準(zhǔn)低資源WMT18(Conference on Machine Translation 2018)英土、IWSLT15(International Conference on Spoken Language Translation 2015)英越翻譯任務(wù)上進(jìn)行實(shí)驗(yàn)。為便于與句法相關(guān)的工作進(jìn)行比較,NC11與WMT18英土兩個(gè)任務(wù)的數(shù)據(jù)設(shè)置與Bugliarello等[12]相同;對IWSLT14德英任務(wù),跟Edunov等[23]的設(shè)置相同;在IWSLT15英越任務(wù)中使用tst2012作為驗(yàn)證集,tst2013作為測試集。表1統(tǒng)計(jì)了實(shí)驗(yàn)使用的語料規(guī)模。語料中的句子都進(jìn)行了規(guī)范化(normalize)、符號(hào)化(tokenize)以及BPE(Byte Pair Encoding)[24]子詞切分等處理;使用Stanford CoreNLP[25]工具對英語和德語端句子進(jìn)行句法解析,得到對應(yīng)的句法關(guān)系。

    表1 實(shí)驗(yàn)使用的語料規(guī)模統(tǒng)計(jì)

    在譯文質(zhì)量評(píng)價(jià)方面,本文使用開源腳本multi?bleu.Perl計(jì)算機(jī)器譯文的BLEU(BiLingual Evaluation Understudy)值,對所有機(jī)器譯文均采用大小寫敏感的BLEU值。為保證結(jié)果的有效性,平均最后5個(gè)檢查點(diǎn)作為評(píng)估模型,波束搜索大小設(shè)為5。

    3.2 實(shí)驗(yàn)結(jié)果

    首先,與已有的句法相關(guān)工作進(jìn)行比較,包括:Currey等[14]提出的共享機(jī)器翻譯和句法解析任務(wù)的Multi?Task方法,以及混合編碼的Mixed Enc.模型;Bugliarello等[12]提出的句法增強(qiáng)的最好方法PASCAL(Parent?Scaled Self?Attention);參數(shù)優(yōu)化的Multi?Task;將句法信息以依賴標(biāo)簽的形式加入到Transformer編碼器詞嵌入矩陣中的S&H(Sennrich and Haddow)[15];被遷移到機(jī)器翻譯任務(wù)中,將自注意力與句法解析相結(jié)合的LISA(Linguistically?Informed Self?Attention)[27]。

    其次,在通用的IWSLT(International Conference on Spoken Language Translation)任務(wù)上與其他機(jī)器翻譯方法進(jìn)行比較,包含:基于傳統(tǒng)RNN和CNN的ELMo(Embeddings from Language Models)[28]、CVT(Cross?View Training)[28],SAWR(Syntax?Aware Word Representations)[11]和Dynamic Conv[29];改進(jìn)Transformer模型結(jié)構(gòu)的Tied?Transform[30]和Macaron[31];融合預(yù)訓(xùn)練模型的C?MLM(Conditional?Masked Language Modeling)[32]和BERT?fused(Bidirectional Encoder Representations from Transformers?fused)[33]。

    實(shí)驗(yàn)結(jié)果如表2所示,可以看到:對于句法增強(qiáng)的神經(jīng)機(jī)器翻譯方法,在詞嵌入表征中加入依賴標(biāo)簽(+S&H)以及簡單地共享模型的多任務(wù)方法(+Multi?Task)相較于基線模型并沒有明顯的提升;相比之下,改變注意力機(jī)制,在其中融入句法信息以輔助機(jī)器翻譯的方法(+LISA)有了明顯的提升,說明了句法信息對提高譯文質(zhì)量的有效性,以及將其與注意力網(wǎng)絡(luò)結(jié)合的可行性。

    表2 不同機(jī)器翻譯方法在各數(shù)據(jù)集上的BLEU值

    進(jìn)一步地,根據(jù)源語句句法信息對編碼自注意力進(jìn)行調(diào)整,而不是簡單地將其作為額外的特征輸入模型(+PASCAL),取得了更好的優(yōu)化效果,證明了這種調(diào)整優(yōu)化方式的效力。與此不同,本文在此方法的基礎(chǔ)上進(jìn)一步改進(jìn),在不改變原注意力表征的情況下使用源句句法信息引導(dǎo)自注意力生成一個(gè)額外的句法相關(guān)表征,將其作為原表征的補(bǔ)充信息,有效緩解調(diào)整自注意力過程中可能會(huì)引入的噪聲偏差,在保證注意力表征有效性的同時(shí),也增加了其豐富性。此外,本文采用更直接的解碼端融入方式,將句法信息直接作用于目標(biāo)語言的生成過程。實(shí)驗(yàn)結(jié)果表明,本文的方法取得了最好的效果,BLEU值在基線模型的基礎(chǔ)上取得了+0.97到+3.41的提升,且始終優(yōu)于當(dāng)前句法相關(guān)的最先進(jìn)方法PASCAL。這驗(yàn)證了SSED模型的有效性,在解碼過程中使用源語言句法信息指導(dǎo)目標(biāo)語言的生成能夠大幅提高機(jī)器譯文質(zhì)量。

    另一方面,在通用的IWSLT任務(wù)上,本文方法同樣表現(xiàn)優(yōu)異,能取得與其他精心設(shè)計(jì)的機(jī)器翻譯模型相當(dāng)或更好的BLEU值。其中,Tied?Transform通過共享編解碼器實(shí)現(xiàn)了一個(gè)輕量型的模型,但需要更強(qiáng)的調(diào)參技巧以及更長的訓(xùn)練時(shí)間來使模型收斂。相比之下,本文方法SSED在不需要額外訓(xùn)練時(shí)間的情況下達(dá)到了與Tied?Transform相當(dāng)?shù)男阅堋acaron通過在每層的注意力網(wǎng)絡(luò)之前增加前饋網(wǎng)絡(luò)使Transformer模型更稠密,但模型參數(shù)量也隨之大幅增加,而本文所提方法僅在單層操作,在僅引入少量參數(shù)的情況下表現(xiàn)出更好的性能。

    此外,借助預(yù)訓(xùn)練語言模型的C?MLM和BERT?fused方法將預(yù)訓(xùn)練語言模型BERT的表征融入翻譯系統(tǒng),使模型包含更大規(guī)模的訓(xùn)練參數(shù),也需要更長的訓(xùn)練時(shí)間,而基于輕量模型的SSED在IWSLT15英越任務(wù)上取得了高于C?MLM的BLEU得分,表現(xiàn)出強(qiáng)大的翻譯性能。

    3.3 消融實(shí)驗(yàn)

    為探究模型不同組件和方法的具體效用,本文進(jìn)行了一系列的消融實(shí)驗(yàn)。首先,在解碼端通過不同的方式融合句法信息;之后,使用不同的方法整合編碼?解碼注意力和句法?解碼注意力表征;然后,研究解碼器中哪些層從源語言句法中受益最大;最后,具體驗(yàn)證句法相關(guān)表征的有效性。

    3.3.1不同融合方式對模型性能的影響

    本文基于注意力機(jī)制在解碼端自適應(yīng)地提取原語句表征與句法相關(guān)表征中的信息。在解碼端使用注意力機(jī)制融入額外信息輔助神經(jīng)機(jī)器翻譯的方法通??煞譃閮深悾捍蟹绞胶筒⑿蟹绞?。串行方式即依次執(zhí)行編碼注意力或額外信息注意力,后一注意力的查詢向量為前一注意力的輸出[34-36];并行方式即分別執(zhí)行編碼注意力和額外信息注意力,兩種注意力的查詢向量相同,之后再對輸出結(jié)果進(jìn)行整合[37-40]。

    圖3在本文的基礎(chǔ)上對串行方式進(jìn)行了簡單示例。本文進(jìn)行了不同的實(shí)驗(yàn)以探究將源語句句法信息融入解碼過程的最有效方法,實(shí)驗(yàn)結(jié)果展示在表3中。其中:“Enc+Syn”和“Syn+Enc”分別表示在解碼自注意力后依次執(zhí)行編碼、句法注意力及句法、編碼注意力的串行方式;“Enc//Syn”表示并行執(zhí)行編碼、句法注意力。實(shí)驗(yàn)中將并行輸出的兩個(gè)表征進(jìn)行拼接,之后經(jīng)線性層整合為一個(gè)整體。所有方式均在所有解碼層中執(zhí)行。

    圖3 串行融合的簡單示例

    表3 IWSLT15英越任務(wù)上不同融合方式的BLEU值

    從表3可以看出,串行執(zhí)行注意力的方式并不能有效提升模型性能,反而會(huì)造成譯文質(zhì)量的大幅下降。與之前串行處理的工作相比,本文認(rèn)為造成這種結(jié)果的原因是:當(dāng)額外特征提供給模型的是與編碼輸出的源語句表征差別較大的不同類型信息,且擁有全局屬性時(shí),遞進(jìn)的方式能夠?yàn)槟P吞峁└玫囊?guī)范性信息,進(jìn)而有效提升模型性能,相反則不能。本文方法是用句法感知的方式在原編碼輸出表征的基礎(chǔ)上進(jìn)行局部建模,得到額外的句法相關(guān)表征,與原表征有較高的相似性,可以作為原語句表征的補(bǔ)充信息,而不適合單獨(dú)作為全局信息提供給解碼器。并行執(zhí)行注意力的實(shí)驗(yàn)結(jié)果驗(yàn)證了這一猜想。將所生成的句法相關(guān)表征以輔助信息的形式整合到模型中,而不是以包含的形式,這種融合方式有效強(qiáng)化了原表征的特征多樣性,進(jìn)而提升模型性能。

    在之后的實(shí)驗(yàn)中,本文在解碼端采用并行執(zhí)行的方式,并進(jìn)一步實(shí)驗(yàn)了不同的整合方式對模型性能的影響。

    3.3.2不同整合方式對模型性能的影響

    1)平均池化(Average):將兩個(gè)注意力輸出表征經(jīng)平均池化層求平均值,結(jié)果送入下游模塊。

    2)門控單元(Gate):將兩個(gè)注意力表征進(jìn)行拼接,之后經(jīng)門控單元生成一個(gè)門控變量,控制兩個(gè)注意力表征在整合過程中所占權(quán)重??捎霉奖硎緸椋?/p>

    3)高速網(wǎng)絡(luò)(Highway):拼接后的注意力表征分別經(jīng)過兩個(gè)不同的線性變化和非線性激活,生成一個(gè)控制變量和一個(gè)輸入變量,之后借助控制變量控制拼接變量和輸入變量的權(quán)重,生成最終表示。

    4)線性變換(Linear):拼接后的注意力表征僅經(jīng)過線性變化層生成下游模塊的輸入變量。

    根據(jù)表4可以看到,使用平均池化和高速網(wǎng)絡(luò)整合注意力表征時(shí),不管是在驗(yàn)證集還是測試集,不僅在基線模型上沒有所提升,反而損害了模型性能。而門控單元和線性變換在測試集上表現(xiàn)出同等的效力,都有效改善了譯文質(zhì)量,但其中門控單元在驗(yàn)證集上表現(xiàn)不佳。有關(guān)這點(diǎn),本文在后續(xù)實(shí)驗(yàn)中進(jìn)一步探索了門控單元的有效性。

    表4 IWSLT15英越任務(wù)上不同整合方式的BLEU值

    本文將表4的結(jié)果歸因于:簡單地對兩個(gè)表征求均值并不能有效區(qū)分并整合有效信息,反而會(huì)損害多個(gè)表征中所包含的特有信息,使其失去多樣性,甚至?xí)谠⒁饬Ρ碚髦幸朐肼?,造成質(zhì)量下降,導(dǎo)致模型表現(xiàn)不佳。同樣地,高速網(wǎng)絡(luò)并沒有有效識(shí)別出拼接后的表征中哪些部分需要經(jīng)過激活,哪些部分需要保持不變。相反,門控單元和線性層則有效篩選出了有效信息,實(shí)現(xiàn)了句法增強(qiáng)表征的有效融合,從而優(yōu)化了模型表征,進(jìn)一步實(shí)現(xiàn)對譯文質(zhì)量的提升。在接下來的實(shí)驗(yàn)中,本文使用線性層作為整合方式,并進(jìn)一步驗(yàn)證門控單元的效力。

    3.3.3不同解碼層引入句法信息對模型性能的影響

    針對已有研究指出的不同層捕捉不同特征的現(xiàn)象,一個(gè)自然的問題是:是否需要在所有解碼層中增強(qiáng)句法?為解答該問題,本文在不同層的基礎(chǔ)上進(jìn)行了一系列實(shí)驗(yàn),結(jié)果如表5所示。其中:“Base”表示Transformer基線模型;“Gate5”表示使用門控單元作為整合機(jī)制,在解碼器第5層中利用注意力機(jī)制引入句法信息。

    表5中結(jié)果顯示:1)所有方法的BLEU值相較于Transformer基線模型都有不同程度的提升,其中在第5層中融合句法信息效果最好,BLEU值在基線模型的基礎(chǔ)上取得了+0.84的提升。這驗(yàn)證了基于句法增強(qiáng)的神經(jīng)機(jī)器翻譯模型的有效性。2)相較于僅在單一層中融合句法信息增強(qiáng)解碼,在多個(gè)層中融合并沒有明顯的提升;且隨著自底向上增加融合層數(shù),機(jī)器譯文的評(píng)分整體上并沒有明顯的變化,反而會(huì)有所下降。這表明,多層融合并不能在模型性能方面帶來增益,相反,增加過多的線性層會(huì)引入更多的訓(xùn)練參數(shù),造成模型結(jié)構(gòu)的冗余,不利于充分挖掘語料中蘊(yùn)含的信息。此外,多層融合一定程度上也更容易造成信息的重復(fù)和冗余。結(jié)合Raganato等[20]有關(guān)低層偏向注意語義,高層偏向注意上下文信息的發(fā)現(xiàn),包含局部信息的句法相關(guān)表征并不適宜于被作為補(bǔ)充信息提供給所有層,而是適合作為上下文信息與源語言表征形成互補(bǔ),在較高層中發(fā)揮更大的效益,完善源語言表征的信息完整性。3)較高的層更能從源語言句法增強(qiáng)中受益。相較于在第1~4層中融合句法信息,在第5、6層中融合句法信息使模型性能有很大幅度的提升。這一定程度上與之前有關(guān)不同層的研究相符合,即在較高層中額外引入的句法相關(guān)表征與原本包含更多語義的表征互為補(bǔ)充,使整合后的表征含有更為全面的信息,且較高層生成的表征更具代表性。此外,擁有較好效果的較高層在堆疊融合的情況下(表5中的4-6、5-6)性能依然不佳,說明文中基于句法增強(qiáng)的方法的確不適用于多層融合。4)使用線性層整合的方式更適用于模型。盡管使用門控單元作為整合方式在第5層中融合句法知識(shí)取得了很好的效果,但仍差于基于線性變換的方法。

    基于以上實(shí)驗(yàn)結(jié)果,本文在主實(shí)驗(yàn)中基于編碼器輸出層生成句法相關(guān)表征,并僅在解碼器第5層中使用線性層作為整合方式融合句法信息。

    3.3.4不同整合方式對模型性能的影響

    為排除在解碼器中增加線性層所帶來的干擾,證明模型性能的提升僅來自句法相關(guān)表征,使用原始的編碼器輸出替換句法相關(guān)表征,將其作為句法?解碼注意力的輸出與編碼?解碼注意力輸出進(jìn)行整合,結(jié)果如表5的“Enc5”。Enc5的結(jié)果表明,雖然線性層提升了基線模型的性能,但與基于句法相關(guān)表征的結(jié)果相比仍有很大差距,說明SSED模型的性能改善得益于源端句法信息,驗(yàn)證了本文方法的有效性。另一方面,結(jié)合3.3.2節(jié)中的結(jié)果,從高速網(wǎng)絡(luò)到門控單元,再到線性層,隨著模型復(fù)雜度的遞減,模型性能呈現(xiàn)遞增的趨勢,簡單的線性層就能明顯提升模型性能,本文認(rèn)為這與Transformer模型結(jié)構(gòu)的稀疏稠密度有關(guān),具體原因?qū)⒃谖磥砉ぷ髦羞M(jìn)一步研究。

    表5 IWSLT15英越任務(wù)上不同解碼層引入句法信息的BLEU值

    3.4 實(shí)例分析

    為了定性揭示基于句法增強(qiáng)的神經(jīng)機(jī)器翻譯方法的有效性,表6給出了在IWSLT14德英任務(wù)上,Transformer?base模型生成的原機(jī)器譯文以及利用本文方法增強(qiáng)句法后生成的譯文示例。與參考譯文對比發(fā)現(xiàn),句法增強(qiáng)的方法能夠有效借助源語言句法信息對原模型解碼時(shí)的句法錯(cuò)誤進(jìn)行校正。在第一個(gè)例子中,解碼“one”時(shí)應(yīng)更多地注意其指代主語“my supermarket”,而不是“this is my supermarket”,加入句法信息使模型在解碼該位置時(shí)有傾向地指向“supermarket”,可有效避免指代主語不明確的問題。同樣,在第二個(gè)例子中模型有效糾正了錯(cuò)誤的謂語,保證了翻譯過程中語意表達(dá)的準(zhǔn)確性。

    表6 原機(jī)器譯文與句法增強(qiáng)的機(jī)器譯文的對比示例

    4 結(jié)語

    為緩解低資源場景下神經(jīng)機(jī)器翻譯模型缺乏先驗(yàn)約束、句法信息表征不足等問題,同時(shí)探索在解碼過程中有效利用源語言句法信息指導(dǎo)目標(biāo)語言生成,本文提出了基于Transformer的源語言句法信息增強(qiáng)解碼的神經(jīng)機(jī)器翻譯模型。該模型通過改進(jìn)Transformer結(jié)構(gòu),實(shí)現(xiàn)了句法感知的編碼和句法增強(qiáng)的解碼。使用并行注意力的方式分別從源語句表征和局部建模的源語句句法相關(guān)表征中提取信息,能夠有效提升模型表征能力,融合句法信息指導(dǎo)解碼端目標(biāo)語言的生成。在幾個(gè)通用機(jī)器翻譯任務(wù)上的實(shí)驗(yàn)結(jié)果表明,所提方法顯著提高了機(jī)器譯文質(zhì)量,達(dá)到了句法相關(guān)研究的最先進(jìn)水平,證明了使用源語言句法信息指導(dǎo)解碼對增強(qiáng)機(jī)器翻譯模型性能的有效性。

    [1] SUTSKEVER I, VINYALS O, LE Q V. Sequence to sequence learning with neural networks[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge: MIT Press, 2014: 3104-3112

    [2] BAHDANAU D, CHO K, BENGIO Y. Neural machine translation by jointly learning to align and translate[EB/OL]. (2016-05-19)[2021-08-11].https://arxiv.org/pdf/1409.0473v7.pdf.

    [3] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2017:6000-6010.

    [4] 李亞超,熊德意,張民. 神經(jīng)機(jī)器翻譯綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2018, 41(12): 2734-2755.(LI Y C, XIONG D Y, ZHANG M. A survey of neural machine translation[J]. Chinese Journal of Computers, 2018, 41(12): 2734-2755.)

    [5] 劉洋. 神經(jīng)機(jī)器翻譯前沿進(jìn)展[J]. 計(jì)算機(jī)研究與發(fā)展, 2017, 54(6): 1144.(LIU Y. Recent advances in neural machine translation[J]. Journal of Computer Research and Development, 2017, 54(6): 1144.)

    [6] GEHRING J, AULI M, GRANGIER D, et al. Convolutional sequence to sequence learning[C]// Proceedings of the 34th International Conference on Machine Learning. New York: JMLR.org, 2017: 1243-1252.

    [7] LUONG M T, PHAM H, MANNIN C D. Effective approaches to attention?based neural machine translation[C]// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2015:1412-1421.

    [8] ERIGUCHI A, HASHIMOTO K, TSURUOKA Y. Tree?to?sequence attentional neural machine translation[C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2016: 823-833.

    [9] NGUYAN X P, JOTY S, HOI S C H, et al. Tree?structured attention with hierarchical accumulation[EB/OL]. (2020-02-19)[2021-08-11].https://arxiv.org/pdf/2002.08046.pdf.

    [10] SAUNDERS D, STAHLBERG F, DE GISPERT A, et al. Multi?representation ensembles and delayed SGD updates improve syntax based NMT[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 319-325.

    [11] ZHANG M S, LI Z H, FU G H, et al. Syntax?enhanced neural machine translation with syntax?aware word representations[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Stroudsburg, PA: Association for Computational Linguistics, 2019: 1151-1161.

    [12] BUGLIARELLO E, OKAZAKI N. Enhancing machine translation with dependency?aware self?attention[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2020: 1618-1627.

    [13] WU S Z, ZHANG D D, ZHANG Z R, et al. Dependency?to? dependency neural machine translation[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing,2018, 26(11): 2132-2141.

    [14] CURREY A, HEAFIELD K. Incorporating source syntax into transformer?based neural machine translation[C]// Proceedings of the 4th Conference on Machine Translation (Volume 1: Research Papers). Stroudsburg, PA: Association for Computational Linguistics, 2019: 24-33.

    [15] SENNRICH R, HADDOW B. Linguistic input features improve neural machine translation[C]// Proceedings of the 1st Conference on Machine Translation: Volume 1, Research Papers. Stroudsburg, PA: Association for Computational Linguistics , 2016: 83-91.

    [16] ERIGUCHI A, TSURUOKA Y, CHO K. Learning to parse and translate improves neural machine translation[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). Stroudsburg, PA: Association for Computational Linguistics, 2017: 72-78.

    [17] DYER C, KUNCORO A, BALLESTEROS M, et al. Recurrent neural network grammars[C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Stroudsburg, PA: Association for Computational Linguistics, 2016: 199-209.

    [18] CHEN H D, HUANG S J, CHIANG D, et al. Improved neural machine translation with a syntax?aware encoder and decoder[C]// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2017: 1936-1945.

    [19] CHEN K H, WANG R, UTIYAMA M, et al. Syntax?directed attention for neural machine translation[C]// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2018: 4792-4799.

    [20] ANASTASOPOULOS A, CHIANG D. Tied multitask learning for neural speech translation[C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 82-91.

    [21] PETERS M E, NEUMANN M, IYYER M, et al. Deep contextualized word representations[C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 2227-2237.

    [22] RAGANATO A, TIEDEMANN J. An analysis of encoder representations in transformer?based machine translation[C]// Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP. Stroudsburg, PA: Association for Computational Linguistics, 2018: 287-297.

    [23] EDUNOV S, OTT M, AULI M, et al. Classical structured prediction losses for sequence to sequence learning[C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 355-364.

    [24] SENNRICH R, HADDOW B, BIRCH A. Neural machine translation of rare words with subword units[C]// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2015: 1715-1725.

    [25] MANNING C D, SURDEANU M,BAUER J, et al. The Stanford CoreNLP natural language processing toolkit[C]// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics: System Demonstrations. Stroudsburg, PA: Association for Computational Linguistics, 2014:55-60.

    [26] OTT M, EDUNOV S, BAEVSKI A, et al. FAIRSEQ: a fast, extensible toolkit for sequence modeling[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Demonstrations). Stroudsburg, PA: Association for Computational Linguistics, 2019: 48-53.

    [27] STRUBELL E, VERGA P, ANDOR D, et al. Linguistically? informed self?attention for semantic role labeling[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2018: 5027-5038.

    [28] CLARK K, LUONG M T, MANNING C D, et al. Semi?supervised sequence modeling with cross?view training[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2018: 1914-1925.

    [29] WU F, FAN A, BAEVSKI A, et al. Pay less attention with lightweight and dynamic convolutions[EB/OL]. (2019-02-22)[2021-08-11].https://arxiv.org/pdf/1901.10430.pdf.

    [30] XIA Y C, HE T Y, TAN X, et al. Tied Transformers: neural machine translation with shared encoder and decoder[C]// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2019: 5466-5473.

    [31] LU Y P, LI Z H, HE D, et al. Understanding and improving Transformer from a multi?particle dynamic system point of view[EB/OL]. (2019-06-06)[2021-08-11].https://arxiv.org/pdf/1906.02762.pdf.

    [32] CHEN Y C, GAN Z, CHENG Y, et al. Distilling knowledge learned in BERT for text generation[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2019: 7893-7905.

    [33] ZHU J H, XIA Y C, WU L J, et al. Incorporating BERT into neural machine translation[EB/OL]. (2020-02-17)[2021-08-18].https://arxiv.org/pdf/2002.06823.pdf.

    [34] TU Z P, LIU Y, SHI S M, et al. Learning to remember translation history with a continuous cache[J]. Transactions of the Association for Computational Linguistics, 2018, 6: 407-420.

    [35] ZHANG J C, LUAN H B, SUN M S, et al. Improving the Transformer translation model with document?level context[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2018: 533-542.

    [36] MSRUF S, MARTINS A F T, HAFFARI G. Selective attention for context?aware neural machine translation[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Stroudsburg, PA: Association for Computational Linguistics, 2019: 3092-3102.

    [37] CAO Q, XIONG D Y. Encoding gated translation memory into neural machine translation[C]// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: Association for Computational Linguistics, 2018: 3042-3047.

    [38] KUANG S H , XIONG D Y. Fusing recency into neural machine translation with an inter?sentence gate model[C]// Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg, PA: Association for Computational Linguistics, 2018: 607-617.

    [39] STOJANOVSKI D, FRASER A. Coreference and coherence in neural machine translation: a study using oracle experiments[C]// Proceedings of the 3rd Conference on Machine Translation: Research Papers. Stroudsburg, PA: Association for Computational Linguistics, 2018: 49-60.

    [40] VOITA E, SERDYUKOV P, SENNRICH R, et al. Context?aware neural machine translation learns anaphora resolution[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Stroudsburg, PA: Association for Computational Linguistics, 2018: 1264-1274.

    Neural machine translation method based on source language syntax enhanced decoding

    GONG Longchao1,2, GUO Junjun1,2*, YU Zhengtao1,2

    (1,,650504,;2(),650504,)

    Transformer, one of the best existing machine translation models, is based on the standard end?to?end structure and only relies on pairs of parallel sentences, which is believed to be able to learn knowledge in the corpus automatically. However, this modeling method lacks explicit guidance and cannot effectively mine deep language knowledge, especially in the low?resource environment with limited corpus size and quality, where the sentence encoding has no prior knowledge constraints, leading to the decline of translation quality. In order to alleviate the issues above, a neural machine translation model based on source language syntax enhanced decoding was proposed to explicitly use the source language syntax to guide the encoding, namely SSED (Source language Syntax Enhanced Decoding). A syntax?aware mask mechanism based on the syntactic information of the source sentence was constructed at first, and an additional syntax?dependent representation was generated by guiding the encoding self?attention. Then the syntax?dependent representation was used as a supplement to the representation of the original sentence and the decoding process was integrated by attention mechanism, which jointly guided the generation of the target language, realizing the enhancement of the prior syntax. Experimental results on several standard IWSLT (International Conference on Spoken Language Translation) and WMT (Conference on Machine Translation) machine translation evaluation task test sets show that compared with the baseline model Transformer, the proposed method obtains a BLEU score improvement of 0.84 to 3.41 respectively, achieving the state?of?the?art results of the syntactic related research. The fusion of syntactic information and self?attention mechanism is effective, the use of source language syntax can guide the decoding process of the neural machine translation system and significantly improve the quality of translation.

    Natural Language Processing (NLP); neural machine translation; syntactic information; Transformer; enhanced decoding; external knowledge incorporation

    This work is partially supported by National Natural Science Foundation of China (61866020, 61732005), Science and Technology Innovation 2030 — "New Generation of Artificial Intelligence" Major Project (2020AAA0107904), Yunnan Applied Basic Research Program (2019FB082).

    GONG Longchao, born in 1997, M. S. candidate. His research interests include natural language processing, machine translation.

    GUO Junjun, born in 1987, Ph. D., associate professor. His research interests include machine learning, natural language processing, machine translation.

    YU Zhengtao, born in 1970, Ph. D., professor. His research interests include machine learning, natural language processing, machine translation, information retrieval.

    1001-9081(2022)11-3386-09

    10.11772/j.issn.1001-9081.2021111963

    2021?11?19;

    2021?11?25;

    2021?12?06。

    國家自然科學(xué)基金資助項(xiàng)目(61866020, 61732005);科技創(chuàng)新2030—“新一代人工智能”重大項(xiàng)目(2020AAA0107904);云南省應(yīng)用基礎(chǔ)研究計(jì)劃項(xiàng)目(2019FB082)。

    TP391.1

    A

    龔龍超(1997—),男,河南南陽人,碩士研究生,CCF會(huì)員,主要研究方向:自然語言處理、機(jī)器翻譯;郭軍軍(1987—),男,山西呂梁人,副教授,博士,CCF會(huì)員,主要研究方向:機(jī)器學(xué)習(xí)、自然語言處理、機(jī)器翻譯;余正濤(1970—),男,云南曲靖人,教授,博士,CCF高級(jí)會(huì)員,主要研究方向:機(jī)器學(xué)習(xí)、自然語言處理、機(jī)器翻譯、信息檢索。

    猜你喜歡
    源語言解碼器句法
    科學(xué)解碼器(一)
    句法與句意(外一篇)
    中華詩詞(2021年3期)2021-12-31 08:07:22
    述謂結(jié)構(gòu)與英語句法配置
    科學(xué)解碼器(二)
    科學(xué)解碼器(三)
    線圣AudioQuest 發(fā)布第三代Dragonfly Cobalt藍(lán)蜻蜓解碼器
    林巍《知識(shí)與智慧》英譯分析
    淺析日語口譯譯員素質(zhì)
    句法二題
    中華詩詞(2018年3期)2018-08-01 06:40:40
    詩詞聯(lián)句句法梳理
    中華詩詞(2018年11期)2018-03-26 06:41:32
    国产伦一二天堂av在线观看| 一级作爱视频免费观看| 国产精品一区二区免费欧美| 天堂俺去俺来也www色官网| av天堂在线播放| 国产一区二区三区综合在线观看| 两性夫妻黄色片| 高清av免费在线| 超碰成人久久| avwww免费| 中文字幕另类日韩欧美亚洲嫩草| www国产在线视频色| netflix在线观看网站| 日韩免费av在线播放| 长腿黑丝高跟| 国产欧美日韩一区二区精品| 亚洲avbb在线观看| 成人影院久久| 一进一出抽搐gif免费好疼 | 国产一卡二卡三卡精品| 国产蜜桃级精品一区二区三区| 88av欧美| 90打野战视频偷拍视频| 大型av网站在线播放| a在线观看视频网站| 国产亚洲欧美精品永久| av免费在线观看网站| 一级a爱片免费观看的视频| 精品久久久久久久毛片微露脸| 国产极品粉嫩免费观看在线| 欧美大码av| 色婷婷久久久亚洲欧美| 亚洲成人免费av在线播放| 在线天堂中文资源库| 制服诱惑二区| 在线观看免费高清a一片| 女人被躁到高潮嗷嗷叫费观| 91精品三级在线观看| 超色免费av| 国产av一区在线观看免费| 国产精品国产高清国产av| 亚洲国产精品sss在线观看 | 久久精品国产综合久久久| 好男人电影高清在线观看| 国产一区二区三区综合在线观看| 性少妇av在线| 又黄又粗又硬又大视频| 欧美黑人精品巨大| 男人的好看免费观看在线视频 | 91成年电影在线观看| 欧美日韩一级在线毛片| 国产精品电影一区二区三区| 少妇粗大呻吟视频| 一个人免费在线观看的高清视频| 中文字幕色久视频| 亚洲欧美日韩另类电影网站| 亚洲熟妇中文字幕五十中出 | 无遮挡黄片免费观看| 国产精品爽爽va在线观看网站 | 欧美激情高清一区二区三区| 免费久久久久久久精品成人欧美视频| 日本黄色视频三级网站网址| 国产黄a三级三级三级人| 一区在线观看完整版| 亚洲欧美日韩高清在线视频| 99久久人妻综合| 90打野战视频偷拍视频| 久久久国产成人精品二区 | 一级,二级,三级黄色视频| 国产成人啪精品午夜网站| 美女国产高潮福利片在线看| 欧美黑人精品巨大| 如日韩欧美国产精品一区二区三区| 欧美久久黑人一区二区| 91字幕亚洲| 90打野战视频偷拍视频| 精品日产1卡2卡| 一边摸一边抽搐一进一出视频| 美女午夜性视频免费| 亚洲av熟女| 国产激情久久老熟女| 一级a爱视频在线免费观看| 黄色女人牲交| 一边摸一边抽搐一进一小说| 一级毛片女人18水好多| 午夜免费成人在线视频| 亚洲七黄色美女视频| 久久草成人影院| 日韩精品中文字幕看吧| 国产高清激情床上av| av超薄肉色丝袜交足视频| 在线播放国产精品三级| 亚洲精品在线美女| 精品久久久久久久毛片微露脸| 夜夜夜夜夜久久久久| 日韩国内少妇激情av| 精品一区二区三卡| 亚洲人成电影观看| 91精品国产国语对白视频| 99国产极品粉嫩在线观看| 俄罗斯特黄特色一大片| svipshipincom国产片| 一级a爱视频在线免费观看| 亚洲成人国产一区在线观看| 久久这里只有精品19| 亚洲一区二区三区不卡视频| avwww免费| 99riav亚洲国产免费| 亚洲情色 制服丝袜| 亚洲成人久久性| 亚洲人成77777在线视频| 国产97色在线日韩免费| 亚洲va日本ⅴa欧美va伊人久久| 精品一区二区三卡| 麻豆国产av国片精品| 久久 成人 亚洲| 日本五十路高清| 免费女性裸体啪啪无遮挡网站| 成人三级做爰电影| 在线观看66精品国产| 亚洲,欧美精品.| 波多野结衣一区麻豆| 中文字幕高清在线视频| 日本 av在线| 国产精品偷伦视频观看了| 久久青草综合色| 大型黄色视频在线免费观看| 精品福利永久在线观看| 一级毛片女人18水好多| 国产成人系列免费观看| 久久性视频一级片| 国产精品野战在线观看 | 亚洲欧洲精品一区二区精品久久久| 亚洲精品在线美女| 午夜亚洲福利在线播放| 久久影院123| 欧美一区二区精品小视频在线| 久久精品人人爽人人爽视色| 男女高潮啪啪啪动态图| 国产深夜福利视频在线观看| 亚洲黑人精品在线| 久久 成人 亚洲| 亚洲国产毛片av蜜桃av| 中文欧美无线码| 亚洲av片天天在线观看| 嫩草影视91久久| 91精品三级在线观看| av电影中文网址| 欧美日韩精品网址| 欧美不卡视频在线免费观看 | 91精品三级在线观看| 一个人观看的视频www高清免费观看 | 两个人看的免费小视频| 一级a爱视频在线免费观看| 日韩 欧美 亚洲 中文字幕| 免费观看人在逋| 首页视频小说图片口味搜索| 亚洲av五月六月丁香网| 免费高清视频大片| 亚洲精品国产一区二区精华液| 精品国产亚洲在线| 精品免费久久久久久久清纯| 国产99久久九九免费精品| 日本五十路高清| 电影成人av| 亚洲欧美日韩高清在线视频| 一a级毛片在线观看| 一区二区三区精品91| 精品高清国产在线一区| 久久天堂一区二区三区四区| 女人被狂操c到高潮| 侵犯人妻中文字幕一二三四区| 亚洲熟妇熟女久久| 国产成人啪精品午夜网站| 国产一区二区三区视频了| 极品教师在线免费播放| 男女高潮啪啪啪动态图| 91成人精品电影| 麻豆av在线久日| 91精品国产国语对白视频| 精品一区二区三卡| 国产麻豆69| 欧美日韩av久久| 国产成年人精品一区二区 | 丰满的人妻完整版| 亚洲免费av在线视频| 又紧又爽又黄一区二区| 精品国产乱码久久久久久男人| 亚洲欧洲精品一区二区精品久久久| 久久精品影院6| 成人国语在线视频| 亚洲国产欧美日韩在线播放| 交换朋友夫妻互换小说| 亚洲av成人一区二区三| 精品乱码久久久久久99久播| 久久久国产一区二区| 欧美亚洲日本最大视频资源| 亚洲国产欧美一区二区综合| 女人爽到高潮嗷嗷叫在线视频| 国产免费av片在线观看野外av| 中文字幕人妻熟女乱码| 亚洲精品成人av观看孕妇| 亚洲av日韩精品久久久久久密| 午夜久久久在线观看| 国产高清视频在线播放一区| www.www免费av| 久久久久久久久中文| 一区福利在线观看| 最新在线观看一区二区三区| 国产高清视频在线播放一区| 69av精品久久久久久| 亚洲 欧美一区二区三区| 日韩 欧美 亚洲 中文字幕| 久9热在线精品视频| 99国产精品一区二区三区| 国产精品一区二区三区四区久久 | 最近最新中文字幕大全免费视频| 午夜日韩欧美国产| 欧美午夜高清在线| 精品午夜福利视频在线观看一区| 亚洲伊人色综图| 午夜福利在线观看吧| 麻豆一二三区av精品| 精品人妻在线不人妻| 国产麻豆69| 亚洲三区欧美一区| 电影成人av| 9191精品国产免费久久| 久久久水蜜桃国产精品网| 成人亚洲精品av一区二区 | av网站在线播放免费| 日本免费一区二区三区高清不卡 | av天堂久久9| 欧美日本亚洲视频在线播放| 18禁黄网站禁片午夜丰满| 欧美精品亚洲一区二区| 欧美日韩乱码在线| 在线观看免费高清a一片| 国产欧美日韩一区二区三| 97超级碰碰碰精品色视频在线观看| 日韩中文字幕欧美一区二区| av网站免费在线观看视频| 亚洲国产欧美网| 91麻豆精品激情在线观看国产 | 黄色女人牲交| av网站在线播放免费| 伊人久久大香线蕉亚洲五| 麻豆av在线久日| 午夜福利影视在线免费观看| 国产成人精品在线电影| 国产99久久九九免费精品| 两个人免费观看高清视频| 两人在一起打扑克的视频| 亚洲一区二区三区色噜噜 | 搡老熟女国产l中国老女人| 午夜免费观看网址| 日本三级黄在线观看| 亚洲成人免费av在线播放| 久久久国产成人免费| 黄色成人免费大全| 久久久久久久精品吃奶| 老司机深夜福利视频在线观看| 亚洲精品粉嫩美女一区| 9色porny在线观看| 欧美午夜高清在线| 亚洲第一欧美日韩一区二区三区| 99国产极品粉嫩在线观看| tocl精华| 丰满饥渴人妻一区二区三| 亚洲欧美一区二区三区黑人| 亚洲精品av麻豆狂野| 国产精品国产av在线观看| 久久久国产成人精品二区 | 欧美日韩亚洲国产一区二区在线观看| 男女午夜视频在线观看| 久久久精品国产亚洲av高清涩受| 一进一出抽搐gif免费好疼 | 国产在线观看jvid| 一进一出抽搐动态| 免费在线观看影片大全网站| 午夜精品在线福利| 天堂俺去俺来也www色官网| 人成视频在线观看免费观看| 高清欧美精品videossex| 亚洲中文av在线| 精品第一国产精品| 婷婷六月久久综合丁香| av网站在线播放免费| 免费看a级黄色片| 国产熟女午夜一区二区三区| 精品国产超薄肉色丝袜足j| 久久人妻熟女aⅴ| 色尼玛亚洲综合影院| 欧美日韩精品网址| 美女午夜性视频免费| 夜夜爽天天搞| 人人澡人人妻人| 波多野结衣高清无吗| 亚洲七黄色美女视频| 成人影院久久| 女性被躁到高潮视频| 亚洲精品一二三| 18禁黄网站禁片午夜丰满| 中文字幕精品免费在线观看视频| 午夜福利一区二区在线看| 国产欧美日韩一区二区精品| 韩国av一区二区三区四区| 国产主播在线观看一区二区| 欧美精品一区二区免费开放| 91在线观看av| 精品一品国产午夜福利视频| 如日韩欧美国产精品一区二区三区| 亚洲午夜理论影院| 欧美黑人精品巨大| 99精品久久久久人妻精品| 热re99久久国产66热| 99国产精品免费福利视频| 伦理电影免费视频| 亚洲精品一二三| 成人18禁在线播放| 精品国产美女av久久久久小说| 久久久国产一区二区| 波多野结衣av一区二区av| 亚洲人成伊人成综合网2020| 神马国产精品三级电影在线观看 | 悠悠久久av| 嫁个100分男人电影在线观看| 国产精品99久久99久久久不卡| 在线看a的网站| 欧美乱码精品一区二区三区| 欧美激情高清一区二区三区| 在线观看舔阴道视频| 女生性感内裤真人,穿戴方法视频| 91老司机精品| 免费高清视频大片| 亚洲精品av麻豆狂野| 免费高清视频大片| 亚洲精品av麻豆狂野| 天堂√8在线中文| 国产成人av激情在线播放| 一进一出好大好爽视频| √禁漫天堂资源中文www| 免费少妇av软件| 可以免费在线观看a视频的电影网站| 乱人伦中国视频| 人人妻人人澡人人看| 老熟妇仑乱视频hdxx| 真人一进一出gif抽搐免费| 夜夜看夜夜爽夜夜摸 | 757午夜福利合集在线观看| 黄频高清免费视频| 又黄又爽又免费观看的视频| 久久久久久久久久久久大奶| 女同久久另类99精品国产91| 91国产中文字幕| 亚洲 欧美 日韩 在线 免费| 91国产中文字幕| 丰满饥渴人妻一区二区三| 久久久久九九精品影院| 亚洲一区二区三区色噜噜 | 国产精品免费视频内射| 亚洲人成电影观看| 欧美亚洲日本最大视频资源| 日本一区二区免费在线视频| 黑人巨大精品欧美一区二区蜜桃| 国产区一区二久久| 99re在线观看精品视频| 亚洲avbb在线观看| 精品国产美女av久久久久小说| 正在播放国产对白刺激| 99精品欧美一区二区三区四区| 精品第一国产精品| 99精品欧美一区二区三区四区| 精品久久久久久久久久免费视频 | 国产片内射在线| 精品国产美女av久久久久小说| 国产高清videossex| 91麻豆精品激情在线观看国产 | 亚洲人成77777在线视频| 亚洲午夜理论影院| 51午夜福利影视在线观看| 欧美国产精品va在线观看不卡| 最近最新中文字幕大全免费视频| 亚洲精品一卡2卡三卡4卡5卡| 18美女黄网站色大片免费观看| 又紧又爽又黄一区二区| 香蕉国产在线看| 亚洲成人久久性| 99热国产这里只有精品6| 三上悠亚av全集在线观看| 日本一区二区免费在线视频| 国产亚洲精品第一综合不卡| 自拍欧美九色日韩亚洲蝌蚪91| 久久狼人影院| 制服人妻中文乱码| 在线天堂中文资源库| 麻豆一二三区av精品| 亚洲狠狠婷婷综合久久图片| 欧美人与性动交α欧美软件| 一级片免费观看大全| 久久国产精品影院| 欧美成狂野欧美在线观看| 每晚都被弄得嗷嗷叫到高潮| 精品国产一区二区久久| 欧美av亚洲av综合av国产av| www.精华液| 国产欧美日韩一区二区三| 久久国产精品人妻蜜桃| 女生性感内裤真人,穿戴方法视频| 男男h啪啪无遮挡| 99国产综合亚洲精品| 欧美 亚洲 国产 日韩一| 满18在线观看网站| 国产亚洲av高清不卡| tocl精华| av中文乱码字幕在线| 少妇的丰满在线观看| 午夜a级毛片| 成人影院久久| 国产精品九九99| 欧美乱码精品一区二区三区| 人成视频在线观看免费观看| 成人特级黄色片久久久久久久| 麻豆国产av国片精品| 97碰自拍视频| 精品午夜福利视频在线观看一区| 午夜免费观看网址| 国产精品野战在线观看 | 侵犯人妻中文字幕一二三四区| 在线观看免费日韩欧美大片| 大型黄色视频在线免费观看| 狂野欧美激情性xxxx| av在线播放免费不卡| www.熟女人妻精品国产| 亚洲精品美女久久av网站| 亚洲国产欧美网| 亚洲七黄色美女视频| 麻豆成人av在线观看| 男人操女人黄网站| 国产av在哪里看| av网站在线播放免费| 亚洲视频免费观看视频| 一级毛片精品| 精品免费久久久久久久清纯| 亚洲人成网站在线播放欧美日韩| 精品熟女少妇八av免费久了| 美女大奶头视频| www.熟女人妻精品国产| 亚洲精品粉嫩美女一区| 老司机深夜福利视频在线观看| 中亚洲国语对白在线视频| 欧美日韩黄片免| 热99re8久久精品国产| 国产精品久久久av美女十八| 制服人妻中文乱码| 精品国产亚洲在线| 69av精品久久久久久| 香蕉久久夜色| 亚洲精品粉嫩美女一区| 亚洲情色 制服丝袜| 免费av毛片视频| 美女扒开内裤让男人捅视频| 在线视频色国产色| 欧美丝袜亚洲另类 | 国产亚洲欧美98| 欧美一区二区精品小视频在线| 久久午夜亚洲精品久久| 亚洲精品成人av观看孕妇| 欧美一级毛片孕妇| 国产成人系列免费观看| 国产麻豆69| 嫩草影视91久久| 18禁黄网站禁片午夜丰满| 超碰97精品在线观看| 国产精品成人在线| 国产精品1区2区在线观看.| 高清黄色对白视频在线免费看| 久久精品亚洲精品国产色婷小说| 国产精品爽爽va在线观看网站 | 欧美黑人欧美精品刺激| 级片在线观看| av视频免费观看在线观看| 欧美中文综合在线视频| 精品国产一区二区三区四区第35| 国产成人欧美在线观看| 午夜影院日韩av| 桃色一区二区三区在线观看| 亚洲伊人色综图| 精品久久久久久电影网| 久久久久亚洲av毛片大全| 精品国产一区二区久久| 日韩欧美国产一区二区入口| 美女 人体艺术 gogo| 午夜免费成人在线视频| x7x7x7水蜜桃| av中文乱码字幕在线| 国产97色在线日韩免费| 天天躁狠狠躁夜夜躁狠狠躁| 首页视频小说图片口味搜索| 99国产极品粉嫩在线观看| 黄色片一级片一级黄色片| 少妇粗大呻吟视频| 在线观看日韩欧美| 亚洲国产欧美日韩在线播放| 国产色视频综合| 天堂俺去俺来也www色官网| 高清毛片免费观看视频网站 | 欧美黄色片欧美黄色片| 国产日韩一区二区三区精品不卡| 亚洲av美国av| 黑人欧美特级aaaaaa片| 99精品欧美一区二区三区四区| 黄色怎么调成土黄色| 国产午夜精品久久久久久| 国产99久久九九免费精品| 在线天堂中文资源库| 黄片播放在线免费| 亚洲成av片中文字幕在线观看| 久久人人爽av亚洲精品天堂| 黄片小视频在线播放| 丰满迷人的少妇在线观看| 亚洲av美国av| 国产99久久九九免费精品| 欧美日本中文国产一区发布| 日日夜夜操网爽| 女性生殖器流出的白浆| 国产1区2区3区精品| 91成年电影在线观看| 在线观看舔阴道视频| 男女之事视频高清在线观看| 欧美日韩瑟瑟在线播放| 欧美日韩乱码在线| 欧美精品啪啪一区二区三区| 久久久久久久久久久久大奶| 欧美成人午夜精品| tocl精华| 精品电影一区二区在线| 极品人妻少妇av视频| 亚洲少妇的诱惑av| 在线av久久热| 国产xxxxx性猛交| 久久伊人香网站| 欧美激情 高清一区二区三区| 日韩大尺度精品在线看网址 | av在线天堂中文字幕 | 啦啦啦免费观看视频1| 亚洲精品国产一区二区精华液| 日韩欧美一区二区三区在线观看| av天堂久久9| 天堂√8在线中文| 一区二区三区国产精品乱码| 国产精品av久久久久免费| 亚洲va日本ⅴa欧美va伊人久久| 免费搜索国产男女视频| 黑人巨大精品欧美一区二区mp4| 两性夫妻黄色片| 纯流量卡能插随身wifi吗| x7x7x7水蜜桃| 一级a爱片免费观看的视频| 丰满迷人的少妇在线观看| 少妇裸体淫交视频免费看高清 | 视频在线观看一区二区三区| 最好的美女福利视频网| 91老司机精品| cao死你这个sao货| 国产深夜福利视频在线观看| 久久影院123| 18禁美女被吸乳视频| 麻豆久久精品国产亚洲av | 国产又爽黄色视频| 国产高清videossex| 亚洲精品美女久久久久99蜜臀| 国产1区2区3区精品| 久久人妻福利社区极品人妻图片| 又黄又粗又硬又大视频| 69av精品久久久久久| 国产视频一区二区在线看| 后天国语完整版免费观看| 精品人妻1区二区| 欧美另类亚洲清纯唯美| 久久天堂一区二区三区四区| 人人澡人人妻人| 视频区欧美日本亚洲| 欧美 亚洲 国产 日韩一| 午夜福利在线观看吧| 欧美亚洲日本最大视频资源| 久久这里只有精品19| 免费少妇av软件| 最近最新中文字幕大全电影3 | xxx96com| 亚洲精品国产精品久久久不卡| 色播在线永久视频| 久久香蕉国产精品| 夜夜躁狠狠躁天天躁| 成人亚洲精品一区在线观看| av电影中文网址| 国产一区二区三区在线臀色熟女 | 国产成人精品在线电影| 欧美成人午夜精品| 国产精品秋霞免费鲁丝片| 99re在线观看精品视频| 久久午夜综合久久蜜桃| 久久久国产精品麻豆| 欧美精品啪啪一区二区三区| 在线观看免费日韩欧美大片| 人人妻,人人澡人人爽秒播| 久久久国产一区二区| 亚洲久久久国产精品| 亚洲专区字幕在线| 麻豆av在线久日| 亚洲国产欧美日韩在线播放| 极品人妻少妇av视频| avwww免费| 看免费av毛片| 午夜亚洲福利在线播放|