注意力的端到端模型生成藏文律詩

色差甲,華果才讓,才讓加,慈禎嘉措,柔 特

(1. 青海師范大學(xué) 藏文信息處理教育部重點(diǎn)實(shí)驗(yàn)室,青海 西寧 810008；(2. 青海師范大學(xué) 藏文信息處理與機(jī)器翻譯省級(jí)重點(diǎn)實(shí)驗(yàn)室,青海 西寧 810008)

0 引言

文本生成在自然語言處理中是一項(xiàng)重要的研究?jī)?nèi)容，并具有三種生成類型，分別是：圖像到文本、數(shù)據(jù)到文本以及文本到文本的生成。圖像到文本的生成是計(jì)算機(jī)通過自動(dòng)分析圖像特征后生成相應(yīng)的描述；數(shù)據(jù)到文本的生成是計(jì)算機(jī)通過自動(dòng)分析數(shù)據(jù)特征后生成相應(yīng)的說明；文本到文本的生成是計(jì)算機(jī)通過自動(dòng)分析文本特征后生成相應(yīng)的新文本。文本到文本的生成按任務(wù)可分為多個(gè)生成類型，其中比較主流的有：機(jī)器翻譯[1-3]、對(duì)話生成[4-5]、律詩生成[6-7]等，本文著重討論藏文律詩生成。

在律詩自動(dòng)生成的發(fā)展中，相關(guān)研究者使用過規(guī)則法、統(tǒng)計(jì)法以及基于深度學(xué)習(xí)的方法等，其中前兩種方法的性能會(huì)受限于特征的選擇和提取。這類方法在律詩自動(dòng)生成中語法(必須遵守語法規(guī)則并且可讀)、意義(每句的表達(dá)與主題有密切相關(guān))和詩意(律詩必須具有詩意的特征，如節(jié)奏，音韻等)等[8]律詩標(biāo)準(zhǔn)的泛化能力相對(duì)較弱。已使用過的方法有詞語沙拉法、模板法[9]、遺傳算法[10]和統(tǒng)計(jì)機(jī)器翻譯法[11]等。目前，深度學(xué)習(xí)在自然語言處理的各個(gè)領(lǐng)域中都備受關(guān)注，尤其是在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯中效果顯著，同時(shí)在律詩自動(dòng)生成中也逐漸取得理想的成績(jī)。由中央電視臺(tái)和中國(guó)科學(xué)院共同主辦、中央電視臺(tái)綜合頻道和長(zhǎng)江文化聯(lián)合制作的人工智能現(xiàn)象級(jí)節(jié)目《機(jī)智過人》中，清華大學(xué)的九歌自動(dòng)生成的漢語詩歌震撼了所有嘉賓和觀眾。九歌的模型[7]建立在神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型的基礎(chǔ)之上，這類方法可以學(xué)習(xí)更長(zhǎng)的詩句，同時(shí)在一定的程度上確保了前后語義的連貫性。

為了通過人工智能的方式讓機(jī)器更好地理解和生成藏文律詩，本文結(jié)合了浩如煙海的藏文經(jīng)典律詩和不受語種局限的深度學(xué)習(xí)法來生成全新的藏文律詩?；究蚣苁且粋€(gè)雙向LSTM的編碼—解碼模型，在此基礎(chǔ)上逐漸引入藏文字嵌入、注意力機(jī)制和多任務(wù)學(xué)習(xí)。其中多任務(wù)學(xué)習(xí)是指使用三個(gè)相同模塊去承擔(dān)不同的生成任務(wù)，第一個(gè)模塊的任務(wù)是由藏文主題詞來生成藏文律詩的第一句，第二個(gè)模塊的任務(wù)是由第一句生成第二句，第三個(gè)模塊的任務(wù)是由第一句和第二句來生成第三句，或者由第二句和第三句來生成第四句。結(jié)合三個(gè)模塊后能生成更加流利的藏文律詩。

本文的后續(xù)部分為：第1節(jié)介紹了端到端模型的基礎(chǔ)知識(shí)；第2節(jié)重點(diǎn)闡述本文所使用的模型；第3節(jié)給出了詳細(xì)的實(shí)驗(yàn)結(jié)果和分析，并對(duì)研究語料的整體情況進(jìn)行介紹；最后對(duì)整個(gè)工作做了總結(jié)，并介紹下一步的研究計(jì)劃。

1 背景知識(shí)

1.1 雙向LSTM模型

1997年Schuster[12]等提出了雙向RNN(BiRNN)模型，目的是解決單向RNN無法處理后文信息的問題，其基本思路是每個(gè)訓(xùn)練序列的前向和后向分別是兩個(gè)RNN，兩者的輸出經(jīng)過某種運(yùn)算后得到最后的輸出。

圖1 BiRNN的結(jié)構(gòu)圖

圖1中，隱藏層和輸出層的計(jì)算如式(1)所示。

(1)

式(1)中W、U和V是權(quán)重，b是偏置，f是激活函數(shù)。

雙向LSTM(BiLSTM)模型是結(jié)合BiRNN和LSTM的優(yōu)點(diǎn)組成的新模型，可視為將模型中的RNN單元替換成LSTM單元。BiLSTM被廣泛應(yīng)用到自然語言處理的各項(xiàng)任務(wù)中，都獲得更為出色的結(jié)果，比如語音識(shí)別[13]、詞性標(biāo)注[14]和句法分析[15]等。

1.2 編碼—解碼模型

上述的RNN和LSTM都是將一個(gè)輸入序列映射到一個(gè)等長(zhǎng)的輸出序列，但是將一個(gè)輸入序列映射到一個(gè)不等長(zhǎng)的輸出序列的應(yīng)用場(chǎng)景特別多，比如機(jī)器翻譯、語音識(shí)別和問答系統(tǒng)等，其中輸入序列和輸出序列的長(zhǎng)度不一定相同。Bahdanau等在2014年針對(duì)這個(gè)問題提出一個(gè)可變長(zhǎng)度序列映射到另一個(gè)可變長(zhǎng)度序列的架構(gòu)的模型[16]，后來研究者們把這種構(gòu)架的模型稱之為編碼—解碼(Encoder-Decoder)模型或者序列到序列(sequence to sequence, Seq2Seq)模型。圖2是編碼—解碼模型的結(jié)構(gòu)圖。

圖2 編碼—解碼模型的結(jié)構(gòu)圖

圖2中，編碼器和解碼器是兩個(gè)不同的RNN或者是兩個(gè)不同的LSTM。在編碼器中也可用BiRNN或BiLSTM，但解碼器中就不能使用雙向的模型，因?yàn)樵撃Ｐ偷娜蝿?wù)是通過前t個(gè)時(shí)刻的信息來預(yù)測(cè)t+1時(shí)刻的信息，所以無法使用t時(shí)刻之后的信息。把輸入序列X= (X1,X2,...,Xk,...,Xn-1,Xn) 編碼成一個(gè)向量C，即用編碼器把所有輸入序列的信息壓縮成一個(gè)低維的向量。這個(gè)向量就是輸入序列的向量表示，然后解碼器利用該向量來生成最終的輸出標(biāo)簽序列。解碼器中隱藏層和輸出序列的概率計(jì)算如式(2)所示。

(2)

結(jié)合式(2)和圖2可知，編碼器中每時(shí)刻的隱藏層跟前一刻的隱藏層和前一時(shí)刻的輸出值有關(guān)，而每時(shí)刻的輸出跟當(dāng)前的隱藏層、前一時(shí)刻的輸出值以及量化向量C有關(guān)。

1.3 標(biāo)注意力機(jī)制

上述的編碼—解碼模型中，無法保證在C內(nèi)包含所有輸入序列的信息，因此會(huì)丟失一些輸入數(shù)據(jù)的重要信息。針對(duì)這種問題，2014年Bahdanau等在編碼—解碼模型中引入了注意力機(jī)制(attention)來處理機(jī)器翻譯[16]，其結(jié)果有很大的提升。基本思路是： 從輸入序列中捕捉與當(dāng)前輸出信息密切相關(guān)的信息，從而提高輸出信息的質(zhì)量，即相關(guān)性較高時(shí)賦較大的權(quán)重，反則賦較小的權(quán)重。注意力機(jī)制的最終目的是幫助編碼—解碼模型更好地學(xué)習(xí)輸入序列和輸出序列之間的相互關(guān)系，從而更好地表示輸出序列的信息。在編碼—解碼模型中引入注意力機(jī)制后的結(jié)構(gòu)圖如圖3所示。

圖3 注意力機(jī)制的結(jié)構(gòu)圖

其計(jì)算步驟如式(3)所示。

其中g(shù)、f和ω都是激活函數(shù)；X表示所有的輸入序列；ct表示所有輸入序列對(duì)解碼器中第t時(shí)刻輸出值的相關(guān)權(quán)重；etj表示編碼器的隱藏層中第j刻隱藏狀態(tài)和解碼器的隱藏層中第t-1時(shí)刻隱藏狀態(tài)對(duì)解碼器的隱藏層中第t時(shí)刻輸出值的相關(guān)權(quán)重。從中可以看出注意力機(jī)制的每個(gè)權(quán)重ct由解碼器中的前一刻隱藏狀態(tài)和編碼器的各個(gè)隱藏狀態(tài)共同決定；atj表示編碼器的隱藏層中第j時(shí)刻隱藏狀態(tài)對(duì)第t時(shí)刻輸出值的綜合影響，并需要用softmax函數(shù)進(jìn)行概率化。

2 注意力的端到端模型生成藏文律詩法

本節(jié)介紹如何用注意力機(jī)制和多任務(wù)學(xué)習(xí)法來進(jìn)行端到端的聯(lián)合建模。在藏文律詩生成中，雖然每個(gè)詩句的長(zhǎng)度一樣，但在本文中考慮了詩句間的語義連貫度，所以每個(gè)注意力的端到端模型中，輸入和輸出序列需要設(shè)置不同長(zhǎng)度。

2.1 字嵌入

在現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的律詩生成中，輸入向量(詞向量或字向量)一般是從高斯分布中隨機(jī)抽取的。該向量可視為一些符號(hào)化表示，因此幾乎沒有包含任何語義信息。訓(xùn)練模型時(shí)優(yōu)化其他參數(shù)的同時(shí)優(yōu)化該輸入向量，而語義信息對(duì)于律詩生成而言是非常重要的。

分布式表示法是針對(duì)獨(dú)熱表示法(one-hot)的缺點(diǎn)而提出的。首先需要將某種語言視為一個(gè)固定維度的幾何空間；然后通過訓(xùn)練把每個(gè)詞映射成該空間中的一個(gè)點(diǎn)；最后通過兩點(diǎn)之間的距離來判斷詞之間的語義相似性。通常分布式表示又稱為字嵌入(embedding)，或者稱為字向量(word vecter)。在Mikolov等詳細(xì)介紹字向量的原理并開源訓(xùn)練工具Word2Vec[17]后，字向量在自然語言處理中運(yùn)用得越來越廣泛，而且具有豐富的語義信息。該工具中有兩種訓(xùn)練方式： 詞袋模型(CBOW)和跳詞模型(skip-gram)。本文中將使用訓(xùn)練好的藏文音節(jié)向量作為輸入特征訓(xùn)練藏文律詩生成模型。

2.2 單任務(wù)學(xué)習(xí)

藏文律詩生成的任務(wù)類似于機(jī)器翻譯任務(wù)，是通過源句來自動(dòng)生成目標(biāo)句，即通過第一句來生成第二句，以此類推。但不同的是在機(jī)器翻譯中源句和目標(biāo)句的語種是不同的，比如藏漢翻譯中源句是藏語，目標(biāo)句是漢語，顯然在律詩生成中源句和目標(biāo)句是同語種。本文借鑒基于神經(jīng)網(wǎng)絡(luò)的機(jī)器翻譯(可簡(jiǎn)稱NMT)模型，因此特意構(gòu)建了基于注意力機(jī)制的端到端模型來生成藏文詩句。該模型的主要任務(wù)是通過當(dāng)前詩句來生成下一詩句，其結(jié)構(gòu)如圖4 所示。

圖4 注意力機(jī)制的端到端模型結(jié)構(gòu)圖

從圖4中可以看出，該模型輸入和出入序列的長(zhǎng)度一樣，并且在編碼器和解碼器之間使用了局部注意力機(jī)制(luong attention)[18]，即不需要在全局的上下文信息中計(jì)算相關(guān)權(quán)重，而在局部的上下文信息中計(jì)算即可。同時(shí)在編碼器中使用了雙向的LSTM，在解碼器中使用單向的LSTM。輸入的藏文音節(jié)向量是預(yù)先訓(xùn)練好的向量。該模型雖然可以通過三次循環(huán)后得到一個(gè)藏文律詩，但無法由主題詞來生成第一句，并是在生成第三句和第四句時(shí)會(huì)出現(xiàn)與主題漂移的現(xiàn)象，因此該模型只適合用于單任務(wù)，比如只適合用于由第一句來生成第二句。

2.3 多任務(wù)學(xué)習(xí)

前面已簡(jiǎn)述了只用單注意力機(jī)制的端到端模型時(shí)會(huì)出現(xiàn)的問題，因此針對(duì)這些問題需要引入多任務(wù)學(xué)習(xí)方法，也就是通過使用多個(gè)模型來承擔(dān)不同的生成任務(wù)。本文中使用了三個(gè)注意力的端到端模型來承擔(dān)三個(gè)生成任務(wù)，第一個(gè)模型的任務(wù)是由主題詞來生成藏文律詩的第一句，該模型稱之為詩字模型(word poems module,WPM)；第二個(gè)模型的任務(wù)是由第一句來生成第二句，該模型稱之為詩句模型(sentence poems model，SPM)；第三個(gè)模型的任務(wù)是由第一句、第二句來生成第三句，或者是由第二句、第三句來生成第四句，該模型稱之為詩塊模型(context poems model，CPM)；由WPM、SPM和CPM組成的模型在該文中稱之為藏文律詩生成模型(generating tibetan poems model，GTPM)。

圖5 GTPM的結(jié)構(gòu)圖

3 實(shí)驗(yàn)

在本實(shí)驗(yàn)中選用的評(píng)價(jià)指標(biāo)有兩種，分別為： 常用于機(jī)器翻譯的BLEU值和自動(dòng)文檔摘要的ROUGE值[19]。兩者都是計(jì)算n元詞組的共同出現(xiàn)概率，呈現(xiàn)句子的詞匯充分性和流利度。前者是基于精度的評(píng)價(jià)指標(biāo)，后者是基于召回率的評(píng)價(jià)指標(biāo)。由于藏文律詩中不會(huì)出現(xiàn)音節(jié)個(gè)數(shù)太多的詞，所以其計(jì)算過程中語言模型被設(shè)為二元模型。

3.1 實(shí)驗(yàn)數(shù)據(jù)及其規(guī)模

訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)語料規(guī)模是一個(gè)很重要的因素，規(guī)模越大越能反映神經(jīng)網(wǎng)絡(luò)的計(jì)算性能。比如，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型是通過對(duì)上千萬個(gè)句對(duì)訓(xùn)練得出的，所以目前的翻譯質(zhì)量很流暢。而藏文律詩的獲取方式有兩種： 第一是通過網(wǎng)絡(luò)爬蟲技術(shù)從藏文網(wǎng)站中獲?。坏诙峭ㄟ^解析電子書籍來獲取。從多個(gè)藏文網(wǎng)站和電子書籍中收集了經(jīng)典藏文著作的純本文后，通過藏文律詩抽取算法來獲取其中的藏文律詩。該抽取算法如圖6所示。

圖6 抽取算法的偽代碼

(3)培養(yǎng)學(xué)生的物理興趣、實(shí)事求是的科學(xué)態(tài)度、良好的學(xué)習(xí)習(xí)慣和創(chuàng)新精神,結(jié)合物理教學(xué)對(duì)學(xué)生進(jìn)行辯證唯物主義教育、愛國(guó)主義教育和道德教育。

通過上述的抽取算法，從已收集的藏文純文本中共抽取了381 261首藏文律詩,其中詩句的音節(jié)個(gè)數(shù)為7到9的律詩占98%(有373 636首)，因此實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)只使用了373 636首藏文律詩。從中WPM的訓(xùn)練句對(duì)可抽取為373 636個(gè)， SPM的訓(xùn)練句對(duì)可抽取為1 119 898個(gè)，CPM的訓(xùn)練句對(duì)可抽取為746 273個(gè)。另外單獨(dú)各收集了500個(gè)藏文律詩句對(duì)分別作為驗(yàn)證集和測(cè)試集。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

通過多次試驗(yàn)來優(yōu)化參數(shù)，最終各個(gè)參數(shù)設(shè)置如下： 模型訓(xùn)練次數(shù)設(shè)置為100 000； 批量處理個(gè)數(shù)設(shè)置為200；隱藏層神經(jīng)單元個(gè)數(shù)設(shè)置為256；隱藏層的層數(shù)設(shè)置為4，由于是雙向LSTM，所以其中兩層是正向的，另兩層是反向的；字嵌入向量維度設(shè)置為512；梯度截?cái)嘀翟O(shè)置為5；優(yōu)化算法設(shè)置為隨機(jī)梯度下降法(stochastic gradient descent,SGD)；注意力機(jī)制設(shè)置為局部注意力機(jī)制；學(xué)習(xí)率初始化為0.8，同時(shí)被設(shè)為逐漸衰減法，即循環(huán)每2 000次時(shí)衰減一次；為了防止神經(jīng)網(wǎng)絡(luò)過擬合，采用Dropout并設(shè)置為0.6，即丟棄率為0.4。表1是基本超參不變只有神經(jīng)單元不同時(shí)的實(shí)驗(yàn)結(jié)果，調(diào)整每個(gè)超參的過程中其模型的循環(huán)次數(shù)都設(shè)置為20 000。

表1 RNN、GRU和LSTM的對(duì)比結(jié)果

由表1可知，在有限的訓(xùn)練次數(shù)(即20 000次)內(nèi)LSTM的BLEU值和ROUGE值都優(yōu)于RNN和GRU的結(jié)果，因此在該實(shí)驗(yàn)中選用了LSTM，而且是雙向的LSTM。其他的超參也是通過這種對(duì)比法來選取的。

3.3 實(shí)驗(yàn)結(jié)果及其分析

前面已經(jīng)介紹了數(shù)據(jù)的規(guī)模及其分布情況，同時(shí)也選好了每個(gè)超參的取值，因此GTPM的最終的實(shí)驗(yàn)結(jié)果如表2所示。

表2 GTPM的對(duì)比結(jié)果

表2中的“—”表示模型通過前一句來生成當(dāng)前的句時(shí)，由于前一句的信息不足，會(huì)導(dǎo)致后續(xù)詩句的生成結(jié)果很糟糕，即表示模型不適合生成該詩句的意思。例如，SPM由主題詞來生成第一句時(shí)，主題詞成了SPM的輸入數(shù)據(jù)，從而該詞的音節(jié)個(gè)數(shù)遠(yuǎn)遠(yuǎn)少于SPM原本輸入數(shù)據(jù)的音節(jié)個(gè)數(shù)，因此主題詞進(jìn)行向量化時(shí)需要補(bǔ)充很多零向量，或者是需要補(bǔ)充特殊向量(專門用來表示補(bǔ)充的向量)。顯然補(bǔ)充后得到的向量矩陣中有很多沒意義的信息，所以導(dǎo)致后續(xù)的生成結(jié)果不理想。

經(jīng)過對(duì)比表2的實(shí)驗(yàn)結(jié)果可知：

(1) Word2Vec和Word2Rank分別表示模型中使用了預(yù)先訓(xùn)練好的藏文音節(jié)向量和隨機(jī)生成的音節(jié)向量。使用Word2Vec后的結(jié)果優(yōu)于Word2Rank的結(jié)果。原因是Word2Vec中具有一定的語義信息，這對(duì)藏文律詩生成結(jié)果有很大的提升。

(2) SPM的生成結(jié)果稍微劣于CPM和GTPM,同時(shí)生成到第三和第四句時(shí)詩句的流利度不如第二句。因?yàn)镾PM的輸入數(shù)據(jù)只有一個(gè)詩句，所以生成到第三或第四句時(shí)不僅缺乏上下文信息，而且會(huì)出現(xiàn)錯(cuò)誤信息被傳遞的情況。通過主題詞也無法有效地生成第一句。

(3) CPM生成第三和第四句的結(jié)果最好，是因?yàn)樵撃Ｐ椭惺褂昧烁嗟纳舷挛男畔?。通過前兩句來生成后一句，比WPM和CPM所使用的上下文信息更多。同樣該模型無法有效生成第一和第二句。

(4) 總體來說，GTPM的生成結(jié)果最理想。該模型使用了多任務(wù)學(xué)習(xí)法，即WPM負(fù)責(zé)生成第一句，SPM負(fù)責(zé)生成第二句，CPM負(fù)責(zé)生成第三和第四句后，藏文律詩的整體生成結(jié)果有很大的提升，而且平均BLEU值和ROUGE值分別能達(dá)到59.27% 和62.34%。這數(shù)據(jù)足以說明GTPM生成藏文律詩的結(jié)果在流暢度和忠誠(chéng)度上效果很好。

GTPM生成的部分藏文律詩如下所示：

4 總結(jié)與展望

本文主要工作有以下四點(diǎn)：

(1) 提出了從藏文純文本中提取藏文律詩的抽取算法，并使用該算法共收集了373 636首藏文經(jīng)典律詩。

(2) 將注意力的端到端模型運(yùn)用到了藏文律詩生成中，并結(jié)合多任務(wù)學(xué)習(xí)法，由三個(gè)模塊分別承擔(dān)不同任務(wù)來構(gòu)建了GTPM模型。

(3) 在GTPM中引入預(yù)先訓(xùn)練好的藏文音節(jié)向量后，其生成結(jié)果有明顯提高。

(4) 首先通過實(shí)驗(yàn)對(duì)比法來選擇最優(yōu)的超參，然后訓(xùn)練好GTPM，最后通過實(shí)驗(yàn)結(jié)果分析得知，該模型的生成結(jié)果中BLEU值和ROUGE值分別能達(dá)到59.27% 和62.34%，說明GTPM所生成的藏文律詩在詩句的流利度和忠誠(chéng)度上效果較好。

存在的問題有以下兩點(diǎn)：

(1) 語料的精度上有一些瑕疵，比如部分藏文音節(jié)的部件出現(xiàn)了多錄、少錄和誤錄等現(xiàn)象。還有就是語料種類分布不均勻，例如，已收集的藏文律詩多數(shù)偏向于佛教文和民間諺語，缺乏其他類型的內(nèi)容。

(2) 分析GTPM的生成結(jié)果可知，從句子層面來說生成結(jié)果很好，但從句子間連貫度的方面來說，目前還有所欠缺，仍存在可提升的空間。

下一步將使用更好的深度學(xué)習(xí)模型，如生成對(duì)抗網(wǎng)絡(luò)(GAN)或者自注意力機(jī)制(self-attention)等，并需要收集更多的語料，進(jìn)一步研究特定藏文律詩風(fēng)格的生成方法。