基于密令位置信息特征的問題生成

董孝政，洪 宇，朱芬紅，姚建民，朱巧明

(蘇州大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 蘇州 215006)

0 引言

問題自動(dòng)生成是一項(xiàng)重要的自然語言研究課題，其核心問題是理解語句并自動(dòng)地生成問句。評(píng)估所生成問句質(zhì)量的條件是： 原陳述句能夠恰當(dāng)?shù)鼗卮鹚傻膯栴}。如例1中，原陳述句能夠作為問題AP1和AP2的確切答案。那么，當(dāng)兩者為機(jī)器生成的問題時(shí)，則可歸為問句生成的高質(zhì)量樣本。在具體評(píng)測(cè)過程中，生成的問句將與人工編輯的問題進(jìn)行比對(duì)，并利用BLEU-4進(jìn)行評(píng)價(jià)。

例1 問題生成實(shí)例(一對(duì)多)

Sourcenarrative:MauduaifoundedtheJamaat-e-IslamiPartyin1941andremaineditsleaderuntil1972.(譯文： 原陳述句為“1941年，馬杜賴創(chuàng)立了伊斯蘭大會(huì)黨，并在1972年之前，一直領(lǐng)導(dǎo)這一黨派?！?

AP1:WhendidMauduaifoundtheJamaat-e-Islamiparty? (“馬杜賴何時(shí)建立了伊斯蘭大會(huì)黨？”)

AP2:WhofoundedtheJamaat-e-IslamiParty?(“誰建立了伊斯蘭大會(huì)黨？”)

Rus等于2010年對(duì)問題自動(dòng)生成任務(wù)進(jìn)行了定義(如文獻(xiàn)[1])。自此，該任務(wù)驅(qū)動(dòng)了一系列圍繞智能問答的生成模型研究，并使之在教育、醫(yī)療以及助殘領(lǐng)域得到應(yīng)用[2]。尤其，問題生成可針對(duì)自由文本中的大量語句進(jìn)行處理，形成批量的問答對(duì)子，有助于自動(dòng)構(gòu)建問答知識(shí)庫(kù)，使現(xiàn)有社區(qū)問答系統(tǒng)能在更為豐富的知識(shí)領(lǐng)域中進(jìn)行服務(wù)[3-4]。

現(xiàn)有問題生成的主流方法主要包括兩種。其一是依據(jù)預(yù)先制定的規(guī)則進(jìn)行陳述句與問句的形式轉(zhuǎn)換，這類方法受限于規(guī)則的低普適性，往往無法應(yīng)用于開放域大規(guī)模數(shù)據(jù)的處理；其二是基于編碼—解碼架構(gòu)[5]的神經(jīng)問題生成策略。這類方法繼承了機(jī)器翻譯處理過程的諸多特點(diǎn)，例如，語義一級(jí)的語用變換、語序自適應(yīng)調(diào)優(yōu)和靈活的序列生成等。與傳統(tǒng)規(guī)則的預(yù)定義方法相比，神經(jīng)問題生成模型具有更好的適應(yīng)性和開放性。盡管如此，最新的研究成果顯示，這類模型生成的問句往往缺乏表述的嚴(yán)謹(jǐn)性，可讀性也差強(qiáng)人意。

本文嘗試在現(xiàn)有神經(jīng)問題生成的架構(gòu)上進(jìn)行改進(jìn)，并集中在一對(duì)一的陳述句-問句轉(zhuǎn)換這一子任務(wù)上(即PQG)。特別地，本文提出一種融合了密令位置信息的端對(duì)端模型，能夠根據(jù)密令位置信息，自動(dòng)確定生成目標(biāo)的問句類型，即認(rèn)定“根據(jù)原句產(chǎn)生何種類型的問題更為適合”。例如，對(duì)于陳述句“星期五天氣晴，溫度30度?！钡拿芰钊缭O(shè)定為“星期五”，且在句子語義表示學(xué)習(xí)的過程中添加了密令位置信息，利用神經(jīng)網(wǎng)絡(luò)進(jìn)行語義級(jí)解碼時(shí)，可以聚焦于“星期五”這一密令，進(jìn)而產(chǎn)生“哪天天氣晴，溫度30度？”的問題。同樣地，設(shè)置不同的密令，將產(chǎn)生與密令相應(yīng)的問題，設(shè)定密令為“30度”，進(jìn)而產(chǎn)生“星期五的溫度為多少度？”的問題。

本文采用的模型架構(gòu)屬于端到端的序列化生成模型。具體地，給定目標(biāo)陳述句，編碼端的隱含層將輸出包括全句語義信息和位置局部信息的聯(lián)合特征。在此基礎(chǔ)上，使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bidirectional Long Short Term Memory，Bi-LSTM)[6]對(duì)句子進(jìn)行表示學(xué)習(xí)；并使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[7]對(duì)位置信息進(jìn)行編碼，以獲取句子中每個(gè)單詞相對(duì)答案密令的位置信息，位置信息有助于語義級(jí)解碼時(shí)聚焦于不同的密令。由此，解碼端對(duì)隱含層輸出進(jìn)行序列化解碼，生成一個(gè)針對(duì)密令的具體問題。

本文利用SQuAD語料[8]進(jìn)行問題生成實(shí)驗(yàn)，該語料提供了大量人工抽取的答案以及對(duì)應(yīng)的問句。實(shí)驗(yàn)結(jié)果顯示，本文所提方法顯著優(yōu)化了問題生成的性能，BLEU-4獲得1.98%的提高。本文主要貢獻(xiàn)包括： ①提出一種融合密令位置信息的問題生成模型； ②模型中的CNN結(jié)構(gòu)用于獲取密令位置信息，LSTM則獲取句子語義信息表示。此外，將兩者融合可以得到關(guān)注密令的句子信息表示；③優(yōu)化了現(xiàn)有問題生成系統(tǒng)，使之達(dá)到了目前最優(yōu)性能。

本文組織結(jié)構(gòu)如下，第1節(jié)簡(jiǎn)要回顧相關(guān)工作；第2節(jié)介紹問題生成模型和方法；第3節(jié)給出數(shù)據(jù)和實(shí)驗(yàn)配置；第4節(jié)匯報(bào)實(shí)驗(yàn)結(jié)果并給予分析；第5節(jié)總結(jié)全文。

1 相關(guān)工作

目前，問題生成技術(shù)的研究思路主要分為兩種，其一是基于規(guī)則轉(zhuǎn)化進(jìn)行問題生成；其二是基于編碼-解碼架構(gòu)的神經(jīng)問題生成策略。

預(yù)先制定大量的規(guī)則，例如，將人名替換成“誰”，根據(jù)語法調(diào)整語句可以得到大量的問題，對(duì)這些問題進(jìn)行排序，獲取topk的問題。因此，基于規(guī)則的問題轉(zhuǎn)化得到的問題的可接受性較強(qiáng)，目前也取得了很多優(yōu)秀成果。Heilman等[9]依據(jù)制定的規(guī)則將簡(jiǎn)化后的陳述句轉(zhuǎn)化成問題，然后通過邏輯斯蒂回歸模型[10]對(duì)生成問題進(jìn)行重排序，并保留前20%的生成問題，人工評(píng)估生成問題的可接受率由27%提升到52%。Yao[11]通過查找答案短語的上位詞，在問題轉(zhuǎn)化過程中不單單使用問題詞，而是由問題詞和上位詞共同組建新的問題詞，使得生成的問題能夠更加具體。而Liu等[12]將基于規(guī)則的問題生成應(yīng)用到中文，其中轉(zhuǎn)化過程使用了詞法和句法信息。

隨著深度學(xué)習(xí)方法在各個(gè)領(lǐng)域的突出表現(xiàn)，將此類方法應(yīng)用于問題生成研究被逐漸關(guān)注。主要以端到端的序列化架構(gòu)為主，摒棄大量的煩瑣規(guī)則，并且生成的問題也具有更高的推理性。Du等[13]嘗試使用基于Bi-LSTM的問題生成模型，分別對(duì)句子和添加段落信息的句子進(jìn)行問題生成，在自動(dòng)評(píng)估方法上取得很好的性能，且人工評(píng)價(jià)生成的問題也優(yōu)于基于規(guī)則的問題，顯得更加自然且具有較高的推理性。然后，Zhou等[2]又嘗試使用基于Bidirectional Gated Recurrent Unit(Bi-GRU)的神經(jīng)問題生成模型，并且在訓(xùn)練模型中加入詞性(POS)特征和位置特征。Duan等[14]采用基于CNN的檢索式模型和基于Bi-GRU的生成式模型產(chǎn)生問題模板，進(jìn)一步生成問題。

基于規(guī)則的問題生成需要大量預(yù)制定的規(guī)則，由于制定的規(guī)則是針對(duì)特定任務(wù)，使得系統(tǒng)的可遷移性較差，并且規(guī)則的制定是一個(gè)煩瑣而復(fù)雜的工程，使用此類方法的問題生成系統(tǒng)后期維護(hù)困難。使用深度學(xué)習(xí)進(jìn)行問題生成，尤其是依據(jù)編碼-解碼的網(wǎng)絡(luò)架構(gòu)進(jìn)行問題生成，模型具有語用變換、語序自適應(yīng)調(diào)優(yōu)和靈活的序列生成等優(yōu)勢(shì)，并且能夠避免煩瑣的規(guī)則。此外，Du等使用人工評(píng)測(cè)也驗(yàn)證了該架構(gòu)生成的問題的可接受性高于使用規(guī)則問題生成方法的性能。因此，本文采用編碼—解碼的框架研究問題生成任務(wù)。

2 問題生成模型和方法

2.1 總體架構(gòu)

為了針對(duì)一對(duì)一的陳述句—問句轉(zhuǎn)換這一子任務(wù)，本文嘗試對(duì)現(xiàn)有神經(jīng)問題生成的架構(gòu)進(jìn)行優(yōu)化： 密令位置信息的關(guān)注，目的在于解決現(xiàn)有的神經(jīng)問題生成模型不能實(shí)現(xiàn)問題的豐富化(即一個(gè)陳述句僅能轉(zhuǎn)換成一個(gè)問題，而不能像人類那樣可針對(duì)該句子的不同成分提出多個(gè)問題或者對(duì)相同問題能進(jìn)行多種形式的提問)。本文提出一種融合密令位置信息的問題生成模型。通過關(guān)注密令的位置信息，對(duì)整個(gè)句子的語義編碼進(jìn)行動(dòng)態(tài)的調(diào)整，能夠產(chǎn)生針對(duì)密令的特定問題。

下面介紹本方法的總體架構(gòu)，如圖1所示。

圖1 系統(tǒng)總體架構(gòu)

首先，對(duì)于一個(gè)待轉(zhuǎn)換的陳述句S={s1,s2,…,sn}和需要關(guān)注的密令T={t1,t2,…,tm}，其中T∈S，密令T是陳述句S中的一個(gè)片段，n和m分別表示陳述句和密令的長(zhǎng)度，0

? 將句子向量X={x1,x2,…,xn}輸入Bi-LSTM層，通過Bi-LSTM層的編碼，獲得各個(gè)單詞包含的上下文信息的隱含層表示B={b1,b2,…,bn}。

? 將位置信息向量Xn= {xn1,xn2，…,xnn}輸入到CNN層，通過CNN對(duì)位置信息進(jìn)行編碼，可以獲取每個(gè)單詞相對(duì)密令的位置的隱含層表示Bn={bn1,bn2,…,bnn}。

? 在此基礎(chǔ)上，通過密令語義融合模塊，按序拼接上下文的隱含層表示B和位置信息的隱含層表示Bn，可以得到整個(gè)編碼層的隱含表示H={h1，h2，…，hn}，其中hi=[bi,bni]；

? 如前文所述，密令信息有助于表示學(xué)習(xí)，但上述環(huán)節(jié)無法將其融入LSTM網(wǎng)絡(luò)的信息傳播過程。生成過程難以接觸并利用密令信息，原因在于生成問題時(shí)需要實(shí)時(shí)調(diào)整對(duì)每個(gè)詞的關(guān)注度。因此，本文使用動(dòng)態(tài)注意力機(jī)制，在生成問題時(shí)能夠動(dòng)態(tài)關(guān)注每個(gè)單詞的語義。通過門控動(dòng)態(tài)注意力機(jī)制，按序(自句首至句尾)逐詞地、動(dòng)態(tài)地對(duì)各個(gè)單詞(也稱信道處理的各個(gè)時(shí)刻)的上下文分配不同的注意力權(quán)重，進(jìn)而通過注意力權(quán)重與上下文詞向量H，計(jì)算上下文注意力分布向量C={c0,c1,…,cn}。

? 將該向量輸入LSTM層進(jìn)行問題的生成，從而獲取由陳述句轉(zhuǎn)化的問題Q={y1,y2,…,ym}。

下面各個(gè)小節(jié)對(duì)每一層的計(jì)算模型給予詳細(xì)介紹，主要包含密令位置信息的獲取、Bi-LSTM層、CNN層和動(dòng)態(tài)注意力機(jī)制四個(gè)部分。

2.2 密令位置信息的獲取

本節(jié)主要介紹密令位置信息的確定，位置信息由密令和陳述句共同確定，密令是陳述句的部分連續(xù)單詞。因此，密令所在句子中位置信息設(shè)置為0，而非密令的位置信息則根據(jù)與密令的相對(duì)距離確定。密令左邊單詞的位置信息每隔一個(gè)單詞就減1，密令右邊單詞的信息每隔一個(gè)單詞就加1。以例1(見引言)所示，設(shè)定密令為“in1941andremaineditsleaderuntil1972.”(譯文： 從1941年到1972年一直都是執(zhí)政者)。由于密令的所有單詞所在位置為0，其他的單詞位置依據(jù)密令的相對(duì)距離確定(左減右加)，因此，例子的位置信息為[-5,-4,-3,-2,-1,0,0,0,0,0,0,0,0]，其中，每個(gè)數(shù)字代表單詞的位置序號(hào)。通過預(yù)訓(xùn)練詞向量可將位置信息轉(zhuǎn)化為向量表示Xn，用作模型的輸入。

2.3 Bi-LSTM 層

2.4 Convolutional Neural Network層

本節(jié)主要介紹如何利用CNN獲取每個(gè)單詞與密令的關(guān)系的隱含層表示Bn={bn1,bn2,…,bnn}。

在該模塊中使用的神經(jīng)網(wǎng)絡(luò)繼承了Kim[7]的工作，但與其區(qū)別在于隱藏層僅由一個(gè)卷積神經(jīng)網(wǎng)絡(luò)組成，沒有使用池化層。并且，為了防止其他單詞信息的影響，將卷積核大小設(shè)定為1。因此，當(dāng)一個(gè)密令位置向量xni輸入到CNN網(wǎng)絡(luò)，獲得單詞所對(duì)應(yīng)的位置信息的隱含表示bni。計(jì)算模型如式(4)所示。

bni=f(w*xni+b)

(4)

其中，w和b是可訓(xùn)練的模型參數(shù)。

2.5 動(dòng)態(tài)注意力機(jī)制

本節(jié)介紹如何通過門控動(dòng)態(tài)注意力層獲取陳述句中各個(gè)目標(biāo)單詞和位置信息的注意力向量(簡(jiǎn)稱門控層)。首先，位置信息與句子的隱含特征形成聯(lián)合表示；然后，門控層作用于該聯(lián)合表示，即利用注意力機(jī)制動(dòng)態(tài)獲取與密令相關(guān)的特定語義；解碼得到的問題過程中，門控層利用該特定語義進(jìn)行問題生成，將會(huì)更加具體，從而形成一對(duì)一的特定問題，這也是模型能夠進(jìn)一步提高的重要原因。動(dòng)態(tài)注意力機(jī)制如圖2所示。

由上述過程，我們已經(jīng)可以得到編碼端的隱狀態(tài)表示H={h1,h2,…,hn}，其中hi=[bi,bni]，包含了單詞的隱狀態(tài)和位置信息的表示。通過該表示，可以發(fā)現(xiàn)不僅含有每個(gè)單詞的語義表示，還有每個(gè)單詞與密令的相對(duì)位置信息表示。因此，編碼端的信息輸出是能夠關(guān)注到密令，進(jìn)而出色地完成一對(duì)一的陳述句—疑問句轉(zhuǎn)換任務(wù)。

(5)

其中，Wb是可訓(xùn)練的模型參數(shù)，該得分表示隱狀態(tài)注意力權(quán)重的分配。為了使權(quán)重在統(tǒng)一標(biāo)準(zhǔn)中進(jìn)行公平計(jì)算， 本文對(duì)oi= {o1i,o2i，…，oni}進(jìn)行歸

一化處理，以獲得規(guī)整的注意力得分Ai={a1,i,a2,i,…,an,i}，，如式(6)所示。

(6)

為了獲得注意力分布不同的注意力向量，本文將注意力權(quán)重乘以對(duì)應(yīng)的上下文向量h1,h2,…,hn并進(jìn)行累加如式(7)所示。

(7)

通過計(jì)算可得到當(dāng)前步的語義編碼ci，將語義編碼輸入到LSTM網(wǎng)絡(luò)中，可以獲取到問題中的第t個(gè)詞。具體產(chǎn)生詞的過程通過式(8)計(jì)算。

p(yt|y

(8)

其中，f是softmax激活函數(shù)，Ws和Wt是可訓(xùn)練的模型參數(shù)。st是通過LSTM獲取的隱含層輸出，可通過式(9)進(jìn)行計(jì)算。

st=LSTM(yt-1,st -1)

(9)

通過以上Bi-LSTM層、CNN層及動(dòng)態(tài)注意力層的表示學(xué)習(xí)，得到每個(gè)目標(biāo)詞對(duì)應(yīng)的隱狀態(tài)表示c={c1,c,…,cn}。在此基礎(chǔ)上，本文將其輸入到LSTM層進(jìn)行問題生成Qw={y1,y2,…,yn}，最終獲得一個(gè)問題。需要注意的是，目標(biāo)端在產(chǎn)生問題時(shí)，如果產(chǎn)生單詞，則終止生成過程。

3 實(shí)驗(yàn)配置

3.1 數(shù)據(jù)集

為了測(cè)試本文所提方法的有效性，我們?cè)赟QuAD數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，該數(shù)據(jù)集由眾包工作者提出問題，其中每個(gè)問題的答案來自相應(yīng)閱讀文章中的一段文本，即密令，如例1(詳見引言)，實(shí)驗(yàn)是依據(jù)句子進(jìn)行問題生成，輸入包括句子和依據(jù)答案密令確定的位置信息，目標(biāo)端輸出是人工問題。其中訓(xùn)練集、開發(fā)集和測(cè)試集數(shù)據(jù)劃分參照Du實(shí)驗(yàn)數(shù)據(jù)的切分，具體的數(shù)據(jù)統(tǒng)計(jì)如表1所示，其中句子的平均長(zhǎng)度為32.9個(gè)單詞，問題的平均長(zhǎng)度為11.3個(gè)單詞，答案短語的平均長(zhǎng)度是3.2個(gè)單詞。

表1 語料統(tǒng)計(jì)

3.2 超參數(shù)設(shè)置

預(yù)訓(xùn)練詞向量的維度為300，詞向量來源Glove[16]，并且在模型的訓(xùn)練過程中進(jìn)行微調(diào)處理，使得詞向量表示更加適合問題生成任務(wù)，序號(hào)向量維度也為300。學(xué)習(xí)率(Learning Rate)設(shè)置為固定的0.5，衰減率設(shè)置為0.6，并且，當(dāng)困惑度增加學(xué)習(xí)率根據(jù)衰減率進(jìn)行改變。批量(Batch Size)輸入大小設(shè)置為64，模型優(yōu)化使用的隨機(jī)梯度下降(Stochastic Gradient Descent，SGD)。此外，模型的損失函數(shù)是對(duì)數(shù)似然損失函數(shù)(1)https://scikitlearn.org/stable/modules/generated/sklearn.metrics.log_loss.html#sklearn.metrics.log_loss，計(jì)算如式(10)所示，其中X表示輸入句子，Y表示輸出問題。

L(Y,P(Y|X))=-logP(Y|X)

(10)

模型的參數(shù)配置如表2所示。編碼端的參數(shù)設(shè)置，句子長(zhǎng)度max_len為100，卷積層數(shù)設(shè)置為1層，卷積網(wǎng)絡(luò)的隱含層單元數(shù)為100；編碼端和解碼端LSTM的隱藏層設(shè)置均為兩層，維度為600。其網(wǎng)絡(luò)中殘差項(xiàng)設(shè)置為“true”。另外，在編碼端保留高頻詞為45 000個(gè)，解碼端保留高頻詞為28 000個(gè)，序號(hào)設(shè)置大小為-100到100的范圍，保證密令在句子中任意位置的可能性。

表2 參數(shù)設(shè)置

在解碼過程中，Beam_search設(shè)置為5，并且，在解碼時(shí)產(chǎn)生UNK詞時(shí)，則使用注意力機(jī)制中分?jǐn)?shù)(aj,i)最高的相應(yīng)的源端詞替換UNK。

3.3 實(shí)驗(yàn)配置

為了與本文所提出的融合密令注意力機(jī)制的端對(duì)端PQG模型做對(duì)比，驗(yàn)證所提方法的有效性，我們?cè)O(shè)置了以下對(duì)比系統(tǒng)。

DirectIn: 該方法主要是利用分句的最長(zhǎng)子句作為檢索源，即作為句子的問題。

H&S: 該系統(tǒng)是基于規(guī)則的問題生成系統(tǒng)，通過排序，在實(shí)驗(yàn)中我們對(duì)句子生成多個(gè)問題，選擇排名第一的生成問題，對(duì)于沒有生成問題的句子不予考慮，測(cè)試集數(shù)據(jù)共保留10 646條。

NQG+LSTM: 該系統(tǒng)是使用基于Bi-LSTM的深度學(xué)習(xí)模型[9]，模型結(jié)構(gòu)與本文中的問題生成模型結(jié)構(gòu)一致。

NQG++: 論文中未完全達(dá)到Zhou[2]論文中的實(shí)驗(yàn)性能，僅僅參照論文的最好結(jié)果的模型，該模型是一個(gè)基于Bi-GRU的深度學(xué)習(xí)模型，另外在該模型中添加copy機(jī)制，使用預(yù)訓(xùn)練的詞向量，以及在編碼端和解碼端共用一個(gè)詞向量表。

Dongetal[17]: 該系統(tǒng)對(duì)NQG+LSTM利用了問題類型的語義特征，使用問題分類模型對(duì)答案短語的預(yù)測(cè)類型加入問題生成過程，進(jìn)而產(chǎn)生具體的問題。

3.4 評(píng)價(jià)方法

實(shí)驗(yàn)結(jié)果采用的評(píng)價(jià)標(biāo)準(zhǔn)是BLEU值[18]、METEOR值[19]和ROUGEL[20]。BLEU是自動(dòng)翻譯的評(píng)估的方法，METEOR是依據(jù)評(píng)價(jià)指標(biāo)中的召回率的意義提出的評(píng)估方法，計(jì)算對(duì)應(yīng)最佳候選譯文和參考譯文之間的準(zhǔn)確率和召回率的調(diào)和平均，ROUGEL基于最長(zhǎng)公有子句共線性精確率和召回率Fmeasure統(tǒng)計(jì)。BLEU值包括BLEU-1、BLEU-2、BLEU-3和BLEU-4。

4 實(shí)驗(yàn)結(jié)果與分析

通過實(shí)驗(yàn)，各個(gè)系統(tǒng)的問題生成性能和我們的方法對(duì)比如表3所示。我們的方法性能有顯著性提高，達(dá)到了目前最優(yōu)性能。與基準(zhǔn)系統(tǒng)NQG+LSTM對(duì)比，BLEU-4分?jǐn)?shù)提高了1.98%。同樣地，與最好的系統(tǒng)Dong相比，我們系統(tǒng)仍然具有優(yōu)勢(shì)。

基于規(guī)則的問題生成方法(DirectIn和H&S)與神經(jīng)問題生成系統(tǒng)(NQG+LSTM，NQG++，Dong，Ours)相比，基于編碼-解碼架構(gòu)[5]的神經(jīng)問題生成策略具有更好的優(yōu)勢(shì)，其中我們系統(tǒng)的BLEU-4分?jǐn)?shù)比H&S系統(tǒng)高了約3.5個(gè)百分點(diǎn)，也說明了基于深度學(xué)習(xí)的方法在問題生成任務(wù)中具有更好優(yōu)勢(shì)，所產(chǎn)生的問題與人類問題更加相似。此外，由于深度學(xué)習(xí)方法是基于整個(gè)句子語義表示進(jìn)行問題生成，因此產(chǎn)生的問題具有更好的推理性，與使用規(guī)則形成的簡(jiǎn)單問題是有差別的，形成高推理性的問題具有更高的意義。

表3 問題生成結(jié)果

Dong系統(tǒng)通過融入問題類型特征進(jìn)行問題生成，評(píng)價(jià)指標(biāo)顯示，其BLEU-4性能達(dá)到13.76%。但是，與我們的方法相比，我們?nèi)匀挥?.32個(gè)百分點(diǎn)的提高，也說明了通過關(guān)注密令位置信息特征的方法是有效的，達(dá)到了最優(yōu)的性能。證明了該方法利用答案密令位置信息和句子語義信息能夠有效提高問題生成任務(wù)的性能。

同時(shí)我們定性分析了各個(gè)系統(tǒng)的輸出結(jié)果，其中對(duì)比測(cè)試結(jié)果的系統(tǒng)有H&S、NQG+LSTM、QC+LSTM和Dong，并且也參照了人工提問的源問題。具體示例如例2和例3所示，通過對(duì)比發(fā)現(xiàn)，基于神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行問題生成可以避免基于規(guī)則方法的煩瑣過程，并且也使得生成問題的推理性更強(qiáng)；另外，通過我們的方法關(guān)注句子中的特定內(nèi)容，優(yōu)化了問題生成模型，使模型達(dá)到目前最優(yōu)的性能。

例2Begunasaone-pagejournalinSeptember1876，thescholasticmagazineisissuedtwicemonthlyandclaimstobetheoldestcontinuouscollegiatepublicationintheunitedstates.(譯文： 1876年9月，學(xué)術(shù)雜志以一頁期刊的方式開始出版，每周兩次，并聲稱它是美國(guó)歷史最悠久的學(xué)院出版物。)

Human：WhendidthescholasticmagazineofNotreDwamebeginpublishing?(譯文： 圣母大學(xué)的學(xué)術(shù)雜志什么時(shí)候開始出版的？)

H$S:Whatisbegunasaone-pagejournalinSeptember1876?(譯文： 1876年9月，什么以一頁雜志的形式開始的？)

NQG+LSTM:Whenwasthescholasticjournalpublished?(譯文： 學(xué)術(shù)期刊是什么時(shí)候出版的？)

Dongetal.:Whendidthescholasticjournalbegin? (譯文： 學(xué)術(shù)期刊是什么時(shí)候出版的？)

Ours：Whendidthescholasticmagazinebegin?(譯文： 同上)

從例2中可以發(fā)現(xiàn)，基于規(guī)則的系統(tǒng)H&S產(chǎn)生一個(gè)比較簡(jiǎn)單的‘what’類型的問題，且該問題的正確答案是“thescholasticmagazine”,根據(jù)該問題可以知道答案密令是“inSeptember1876”，提出的問題也應(yīng)該是以時(shí)間為主題的問題。但是，基于規(guī)則的系統(tǒng)產(chǎn)生的問題與人工問題相差較大，問題類型有誤。對(duì)于深度學(xué)習(xí)方法所產(chǎn)生的問題，我們發(fā)現(xiàn)這些問題與人工問題很相似。并且，使用規(guī)則進(jìn)行轉(zhuǎn)化時(shí)有部分長(zhǎng)句是不能轉(zhuǎn)化成問題的，因?yàn)榫渥拥拈L(zhǎng)度超過了系統(tǒng)的處理能力，在實(shí)驗(yàn)中10 000條數(shù)據(jù)中有10%的數(shù)據(jù)沒有轉(zhuǎn)化成問題，而使用深度學(xué)習(xí)網(wǎng)絡(luò)的模型，能為每一個(gè)句子產(chǎn)生一個(gè)推理性的問題。很明顯，基于編碼-解碼的深度學(xué)習(xí)模型優(yōu)于基于規(guī)則策略的生成方式。

在深度學(xué)習(xí)模型中，由于我們的系統(tǒng)對(duì)位置信息進(jìn)行卷積表示，與隱層句子語義合并得到一個(gè)關(guān)注密令的豐富語義表示，利用該語義表示能夠生成具體的問題。與Dong系統(tǒng)類似，其通過使用問題分類的結(jié)果替換密令生成問題，生成的問題也比較類似。不過我們的方法不需要具體的分類模型，而通過一個(gè)問題生成模型進(jìn)行問題轉(zhuǎn)化，簡(jiǎn)化了煩瑣的過程。

例3Greenhousesconvertsolarlighttoheat，enablingyear-roundproductionandthegrowth-lrb-inenclosedenvironments-rrb-ofspecialtycropsandotherplantsnotnaturallysuitedtothelocalclimate.(譯文： 溫室將太陽能轉(zhuǎn)化為熱能，使其能夠全年生產(chǎn)和生長(zhǎng)(在封閉的環(huán)境中)特殊作物和其他不適合當(dāng)?shù)貧夂虻闹参铩?

Human:Whatdogreenhousesdowithsolarenergy?(譯文： 溫室用太陽能做什么？)

NQG+LSTM:Whatisthegrowthofthesolargrowth?(譯文： 太陽能增長(zhǎng)的增長(zhǎng)是什么？)

Dongetal.:Whatdoesgreenhousesdo?(譯文： 溫室是做什么的)

Ours:Whatdogreenhousesconvertsolarlight?(譯文： 溫室將太陽能轉(zhuǎn)化成什么？)

根據(jù)例3，我們的方法與基于深度學(xué)習(xí)方法的模型相比，我們系統(tǒng)產(chǎn)生的問題“溫室將太陽能轉(zhuǎn)化成什么”與人工問題“溫室用太陽能做什么”具有很近的語義，其他模型生成的問題雖然語法規(guī)則問題較小，但語義上與人工問題不同。另外，我們方法產(chǎn)生的問題具有較高的推理性，因此該問題在應(yīng)用上將更有價(jià)值。

另外，模型根據(jù)密令的不同，可以生成不同問題，而一般的端到端模型不具有這樣的特點(diǎn)，比如NQG++和NQG+LSTM兩個(gè)模型針對(duì)句子都僅能生成唯一問題。因?yàn)樗鼈儫o法關(guān)注到句子的焦點(diǎn)，模型僅通過學(xué)習(xí)確定句子中最重要的部分，而忽視了句子中含有其他導(dǎo)致問題產(chǎn)生的密令，生成的問題是唯一不變的。我們的模型卻能夠通過關(guān)注密令的位置信息獲取句子不同的語義表示，進(jìn)而生成一對(duì)一的特定問題，優(yōu)化了神經(jīng)問題生成模型。例如，針對(duì)例2中的陳述句，密令設(shè)為“thescholasticmagazine”進(jìn)行問題生成，其他模型的結(jié)果依然與例2相同，我們的問題生成結(jié)果如下所示，證明了我們的方法在一對(duì)一的特定問題的生成上具有優(yōu)勢(shì)。

Ours：Whatisthenameofthejournalclaimstobetheoldestcontinuouscollegiatepublication?

因此，通過我們的方法能夠產(chǎn)生更加具體的問題，與人工問題更為接近，本文所具有的優(yōu)勢(shì)包括以下兩點(diǎn)：

(1) 提出一個(gè)融合密令位置信息的問題生成模型，簡(jiǎn)化了問題生成的煩瑣過程；

(2) 將句子語義信息和密令位置信息融合，獲取特定語義表示，優(yōu)化了現(xiàn)有問題生成系統(tǒng)，使之達(dá)到了目前最優(yōu)性能。

5 總結(jié)與展望

針對(duì)一對(duì)一的陳述句—問句轉(zhuǎn)換問題生成任務(wù)，本文提出了一種基于密令位置信息的神經(jīng)網(wǎng)絡(luò)模型。該模型克服了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型無法關(guān)注密令的弊端，實(shí)驗(yàn)性能有明顯的提升，優(yōu)化了現(xiàn)有的神經(jīng)問題生成模型。但是，目前的模型還存在一些問題，對(duì)于較長(zhǎng)句子的問題生成，模型進(jìn)行語義理解的效果并不能很好地體現(xiàn)，因此，需要進(jìn)一步優(yōu)化句子，比如抽取句子的重要部分，然后對(duì)精簡(jiǎn)的句子進(jìn)行語義編碼，得到更加精確的語義表示，進(jìn)而產(chǎn)生更好的問題。