無監(jiān)督的句法可控復(fù)述模型用于對(duì)抗樣本生成

楊二光劉明童張玉潔,? 孟遙 胡長(zhǎng)建 徐金安陳鈺楓

無監(jiān)督的句法可控復(fù)述模型用于對(duì)抗樣本生成

楊二光1劉明童1張玉潔1,?孟遙2胡長(zhǎng)建2徐金安1陳鈺楓1

1.北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院, 北京 100044; 2.聯(lián)想研究院人工智能實(shí)驗(yàn)室, 北京 100085; ?通信作者, E-mail: yjzhang@bjtu.edu.cn

針對(duì)使用句法可控的復(fù)述生成模型生成對(duì)抗樣本時(shí)模型性能受限于復(fù)述平行語(yǔ)料的領(lǐng)域和規(guī)模的問題, 提出僅需要單語(yǔ)語(yǔ)料訓(xùn)練的無監(jiān)督的句法可控復(fù)述生成模型, 用以生成對(duì)抗樣本。采用變分自編碼方式學(xué)習(xí)模型, 首先將句子和句法樹分別映射為語(yǔ)義變量和句法變量, 然后基于語(yǔ)義變量和句法變量重構(gòu)原始句子。在重構(gòu)過程中, 模型可以在不使用任何平行語(yǔ)料的情況下學(xué)習(xí)生成句法變化的復(fù)述。在無監(jiān)督復(fù)述生成和對(duì)抗樣本生成任務(wù)中的實(shí)驗(yàn)結(jié)果表明, 所提方法在無監(jiān)督復(fù)述生成任務(wù)中取得最佳性能, 在對(duì)抗樣本生成任務(wù)中可以生成有效的對(duì)抗樣本, 用以改進(jìn)神經(jīng)自然語(yǔ)言處理(NLP)模型的魯棒性和泛化能力。

無監(jiān)督學(xué)習(xí); 句法可控復(fù)述生成模型; 對(duì)抗樣本

對(duì)抗樣本指添加細(xì)微干擾的實(shí)例, 廣泛用來測(cè)試模型對(duì)細(xì)微變化樣本的處理能力和改進(jìn)模型性能[1]。通常, 圖像數(shù)據(jù)中的小擾動(dòng)不易被人類察覺。由于文本的離散性質(zhì), 文本中的變化(如字符或單詞的改變)很容易被人類識(shí)別。Ettinger 等[2]發(fā)現(xiàn), 基于深度神經(jīng)網(wǎng)絡(luò)模型的分類器容易受到對(duì)抗性樣本的攻擊, 這些對(duì)抗樣本通過引入訓(xùn)練集中沒有出現(xiàn)的詞匯和句法變化而產(chǎn)生。將這樣的對(duì)抗樣本擴(kuò)充到訓(xùn)練數(shù)據(jù)中, 可以有效地提高神經(jīng)自然語(yǔ)言處理(natural language processing, NLP)模型的魯棒性[3?4]。

目前, 對(duì)抗攻擊 NLP 模型的研究集中在字符和詞級(jí)別, 如在字符層面注入噪聲[5?6], 或在單詞層面添加和刪除單詞[7?8]來生成對(duì)抗樣本。不同于前人的工作, 本文主要關(guān)注生成句法層面的對(duì)抗樣本, 即語(yǔ)義一致但句法形式多樣的樣本。這類樣本反映語(yǔ)言表達(dá)形式的多樣性, 廣泛存在于自然語(yǔ)言中。為了獲取這樣的對(duì)抗樣本, Iyyer 等[4]使用句法可控的復(fù)述生成模型來生成句法層面的復(fù)述句, 發(fā)現(xiàn)這些句法多樣的復(fù)述句可以欺騙一個(gè)精度較高的分類模型, 但需要大規(guī)模復(fù)述平行語(yǔ)料訓(xùn)練。對(duì)很多語(yǔ)言和領(lǐng)域來說, 復(fù)述平行語(yǔ)料庫(kù)往往很少, 而構(gòu)建大規(guī)模的復(fù)述語(yǔ)料成本很高。相反地, 單語(yǔ)語(yǔ)料在不同語(yǔ)言和領(lǐng)域中很容易獲得。

為了擺脫模型對(duì)復(fù)述平行語(yǔ)料的依賴, 本文提出無監(jiān)督的句法可控復(fù)述生成模型, 僅使用單語(yǔ)語(yǔ)料訓(xùn)練就可以生成句法變化的復(fù)述, 其核心思想是學(xué)習(xí)句子語(yǔ)義與句法之間的對(duì)應(yīng)關(guān)系。在模型中, 我們利用完全句法樹或模板作為句法信息。完全句法樹(完全樹)指不帶葉子節(jié)點(diǎn)的成分句法樹的序列化表示, 模板通過抽取成分句法樹的前兩層結(jié)構(gòu)得到, 例如, 句子“That’s baseball.”的完全句法樹和模板分別是“(S(NP (DT))(VP(VBZ)(NP(NN)))(.))”和“(S (NP)(VP)(.))”。在訓(xùn)練階段, 我們使用單語(yǔ)語(yǔ)料學(xué)習(xí)模型。在測(cè)試階段, 模型可以根據(jù)給定的不同句法信息來生成句法變化的復(fù)述。我們采用變分自編碼的方式學(xué)習(xí)模型, 設(shè)計(jì)兩個(gè)隱變量來分別捕捉句子的語(yǔ)義和句法信息, 然后聯(lián)合語(yǔ)義和句法隱變量來重構(gòu)原始句子, 從而學(xué)習(xí)句子語(yǔ)義與句法之間的對(duì)應(yīng)關(guān)系。進(jìn)一步地, 為了提高句法的可控性, 我們?cè)O(shè)計(jì)基于生成對(duì)抗網(wǎng)絡(luò)的方法來分離這兩個(gè)變量, 并就語(yǔ)義對(duì)句法的重構(gòu)依賴進(jìn)行建模。此外, 我們引入多任務(wù)學(xué)習(xí)目標(biāo), 確保這兩個(gè)變量可以更好地編碼語(yǔ)義和句法信息。

1 相關(guān)工作

近來, 復(fù)述生成任務(wù)受到越來越多的關(guān)注[9?10]。與現(xiàn)有的復(fù)述生成方法相比, 本文工作聚焦于句法控制的復(fù)述生成, 即根據(jù)給定的目標(biāo)句法來生成句法變化的復(fù)述句。

近來興起的受控生成研究旨在控制生成句的情感[11?12]或政治傾向[13]等屬性。此外, 有一些研究試圖控制生成句的結(jié)構(gòu)[4,14](如給定的句法)。其中, Iyyer 等[4]采用句法樹信息, Chen 等[14]采用句法范例來控制復(fù)述生成。本文工作與 Iyyer 等[4]的工作關(guān)系最密切, 不同之處在于, 我們的模型是基于無監(jiān)督的復(fù)述, 在沒有任何復(fù)述平行語(yǔ)料的情況下學(xué)習(xí)句法控制的復(fù)述生成。

Kingma 等[15]提出用于圖像生成的 VAE 方法, Bowman 等[16]成功地將 VAE 應(yīng)用于 NLP 領(lǐng)域, 表明 VAE 能夠從隱空間生成更流利的句子。近年來, VAE 廣泛用于各種自然語(yǔ)言生成任務(wù)中[12?14,17?18]。我們的目標(biāo)是使用句法樹來控制生成句的句法結(jié)構(gòu), 受引入句法的變分自編碼方法[18]啟發(fā), 本文使用兩個(gè)變分自編碼器, 引入兩個(gè)隱變量來分別捕獲語(yǔ)義和句法信息, 同時(shí)借鑒隱空間分離的方法[17], 采用對(duì)抗網(wǎng)絡(luò)分離句法和語(yǔ)義變量, 提高句法的控制能力。

2 無監(jiān)督的句法可控復(fù)述生成模型

2.1 模型整體框架

本文提出的無監(jiān)督的句法可控復(fù)述生成模型整體框架如圖 1 所示。模型以變分自編碼模型(varia-tional auto-encoder, VAE)[9,15]為基礎(chǔ)。給定一個(gè)句子=[1,…,|x|]及與它對(duì)應(yīng)的句法樹=[1,…,||], 將和分別編碼為隱變量z和z, 然后聯(lián)合兩個(gè)隱變量, 重構(gòu)出句子, 隱變量z和z分別捕獲語(yǔ)義信息和句法信息。句子出現(xiàn)的概率可以通過下式計(jì)算:

本文定義自編碼的損失(包括重構(gòu)損失和 Kullback-leibier (KL)散度損失)計(jì)算公式如下:

其中,(z)和(z)表示先驗(yàn)分布, 兩者相互獨(dú)立且服從標(biāo)準(zhǔn)正態(tài)分布(0,1);(z|)和(z|)分別表示上述兩個(gè)隱變量的后驗(yàn)分布, 設(shè)置兩者相互獨(dú)立, 且分別服從正態(tài)分布(μ,σ2), (μ,σ2), 其中,σ,μ和σ通過神經(jīng)網(wǎng)絡(luò)計(jì)算。

圖1 模型整體框架

在訓(xùn)練階段, 我們采用重參數(shù)技巧, 從上述兩個(gè)后驗(yàn)分布中采樣, 得到語(yǔ)義變量z和句法變量z。解碼過程如圖 1 右側(cè)虛線框所示, 對(duì)時(shí)間步, 將句法變量z與前一時(shí)間步預(yù)測(cè)的詞嵌入e–1拼接, 作為解碼器的輸入; 將解碼器輸出的隱藏狀態(tài)h–1與語(yǔ)義變量z拼接, 用來預(yù)測(cè)當(dāng)前時(shí)間步的詞x。

在生成階段, 當(dāng)給出相同的句子和不同的句法結(jié)構(gòu)時(shí), 本文模型可以生成句法可控的復(fù)述。我們通過最大后驗(yàn)概率(maximum a posteriori, MAP)推理得到語(yǔ)義和句法變量z和z, 這樣可以盡可能地保留語(yǔ)義和句法信息。之后, 解碼過程與訓(xùn)練階段保持一致。

2.2 分離句法和語(yǔ)義

Vinyals 等[19]提出一種基于 seq2seq 的成分句法分析方法, 其中包括一個(gè)編碼器和解碼器, 將一個(gè)句子輸入到編碼器, 通過解碼器解碼得到該句的成分句法樹。受此啟發(fā), 我們認(rèn)為句子編碼器得到的向量表示z可能同時(shí)包含語(yǔ)義信息和句法信息。為了提高句法的可控性, 我們希望每個(gè)隱變量(z或z)只捕獲各自的信息。為了實(shí)現(xiàn)這一目標(biāo), 我們采用多任務(wù)學(xué)習(xí)目標(biāo)和對(duì)抗損失的方法[17],對(duì)這兩個(gè)隱變量進(jìn)行約束。

本文引入多任務(wù)學(xué)習(xí)目標(biāo), 用于確保這兩個(gè)變量可以更好地編碼語(yǔ)義和句法信息。對(duì)于語(yǔ)義變量, 使用 Softmax 分類器預(yù)測(cè)z中句子的詞袋分布(bag-of-word), 訓(xùn)練目標(biāo)是相對(duì)于真實(shí)分布的交叉熵?fù)p失。計(jì)算公式如下:

其中,(|z)表示預(yù)測(cè)的詞概率分布,表示使用的詞典。

對(duì)于句法變量, 多任務(wù)損失訓(xùn)練模型根據(jù) z能夠預(yù)測(cè)出序列化的句法樹, 損失計(jì)算公式如下:

其中,y表示句法樹中的標(biāo)簽詞。

上述多任務(wù)學(xué)習(xí)目標(biāo)鼓勵(lì)語(yǔ)義變量和句法變量包含對(duì)應(yīng)的語(yǔ)義和句法信息。但是, 它們也可能包含另一方的信息, 如語(yǔ)義變量可能包含句法信息, 導(dǎo)致句法可控性能差。對(duì)此, 我們進(jìn)一步引入對(duì)抗損失來阻止語(yǔ)義變量包含句法信息。具體地, 引入判別器, 根據(jù)z預(yù)測(cè)句法樹序列, 然后訓(xùn)練 VAE學(xué)習(xí)語(yǔ)義變量, 使判別器不能根據(jù)該語(yǔ)義變量預(yù)測(cè)句法樹。判別器的訓(xùn)練方法類似式(6), 但梯度反向傳播, 不會(huì)傳給 VAE。可以將 VAE 視為一個(gè)生成器, 被訓(xùn)練來欺騙判別器, 使其通過最大化來對(duì)抗損失, 即最小化下式:

在這一階段, 判別器的參數(shù)不會(huì)被更新。

2.3 對(duì)句法和語(yǔ)義變量的重構(gòu)依賴性建模

我們還就語(yǔ)義對(duì)句法的重構(gòu)依賴建模, 用于提高句法的可控性。我們希望解碼器在語(yǔ)義和句法變量同時(shí)存在的情況下才能重構(gòu)原句, 而解碼器無法僅根據(jù)語(yǔ)義變量重構(gòu)原句。為了實(shí)現(xiàn)這一目標(biāo), 采用對(duì)抗重構(gòu)損失[17]來阻止句子被單個(gè)語(yǔ)義變量z預(yù)測(cè)。我們引入另外的判別器, 訓(xùn)練其根據(jù)z來預(yù)測(cè)句子, 通過最大化對(duì)抗重構(gòu)損失, 訓(xùn)練 VAE 去欺騙判別器, 即最小化下式:

其中,x表示句子中的一個(gè)詞。

2.4 模型訓(xùn)練

訓(xùn)練損失包括自編碼損失、語(yǔ)義和句法的多任務(wù)損失、對(duì)抗損失和對(duì)抗重構(gòu)損失:

3 評(píng)測(cè)實(shí)驗(yàn)與結(jié)果分析

本研究的目標(biāo)是通過句法可控的復(fù)述生成模型來生成對(duì)抗樣本, 首先在無監(jiān)督的復(fù)述生成任務(wù)中進(jìn)行實(shí)驗(yàn), 考察本文模型是否能夠生成句法變化的復(fù)述; 然后驗(yàn)證模型是否能夠?yàn)榍楦蟹治鋈蝿?wù)生成句法變化的對(duì)抗樣本。

3.1 無監(jiān)督復(fù)述生成

在給定一個(gè)輸入句子的情況下, 復(fù)述生成的目的是生成一個(gè)表達(dá)形式與輸入句不同, 但傳達(dá)相同含義的句子。對(duì)于特定輸入句子x和目標(biāo)句法樹*,(z|*)和(z|*)分別表示句法變量和語(yǔ)義變量的后驗(yàn)分布。在生成階段, 通過 MAP 推理得到句法和語(yǔ)義變量:

表1 在Quaro, One-billion-word和SST數(shù)據(jù)集上使用的超參數(shù)

3.1.1 數(shù)據(jù)集

與 Bao 等[17]的方法相同, 本文使用 Quaro 數(shù)據(jù)集評(píng)測(cè)復(fù)述生成的質(zhì)量。該數(shù)據(jù)集包括 140 K 對(duì)復(fù)述句, 260K 對(duì)非復(fù)述句, 按照標(biāo)準(zhǔn)數(shù)據(jù)集劃分, 驗(yàn)證集和測(cè)試集分別包含 3 K 對(duì)和 30 K 對(duì)復(fù)述句。我們以未出現(xiàn)在驗(yàn)證和測(cè)試集中的非復(fù)述句對(duì)作為訓(xùn)練集, 使用斯坦福句法分析工具[20], 對(duì)訓(xùn)練集中所有句子以及驗(yàn)證集和測(cè)試集中的參考句進(jìn)行句法分析, 得到句法樹。

3.1.2評(píng)測(cè)指標(biāo)

本文考慮兩類自動(dòng)評(píng)測(cè)指標(biāo), 旨在捕獲模型不同方面的性能。對(duì)于語(yǔ)義指標(biāo), 分別計(jì)算生成句與參考句、原句的 BLEU 值, 分別表示為 BLEU-ref和 BLEU-ori。在理想情況下, BLEU-ref 值較高, BLEU-ori 值較低。對(duì)于句法指標(biāo), 分別計(jì)算生成句與參考句、原句的樹編輯距離(TED), 分別表示為TED-ref 和 TED-ori。在理想情況下, TED-ref 值較低, TED-ori 值較高。我們還使用精確模板匹配(Match Accuary)來評(píng)測(cè)生成句符合目標(biāo)句法模板的頻率, 當(dāng)生成句的模板(句法樹的前兩層)與參考句的模板一致時(shí), 則認(rèn)為匹配。根據(jù)開發(fā)集上的BLEU-ref值調(diào)整超參數(shù)。

3.1.3實(shí)驗(yàn)結(jié)果

對(duì)于語(yǔ)義指標(biāo), 本文方法在兩種設(shè)置(使用完全樹或模板)下的 BLEU-ref 值均優(yōu)于現(xiàn)有無監(jiān)督復(fù)述方法(表 2)。從 BLEU-ori 與 BLEU-ref 關(guān)系的散點(diǎn)圖(圖 2)看出, 本文方法的數(shù)據(jù)點(diǎn)位于其他方法的左上方。這些結(jié)果表明, 本文模型在無監(jiān)督復(fù)述生成任務(wù)中的性能超過現(xiàn)有方法。在句法測(cè)評(píng)指標(biāo)方面, 使用完全樹或模板的 TED-ref 值分別為 3.47和 11.1, Match Accuracy 的精度分別為 88.72%和73.69%, 表明本文模型可以根據(jù)給定的句法結(jié)構(gòu)生成復(fù)述(與表 2 中第 1 行相比)。同時(shí), TED-ori 值分別為 11.5 和 7.33, 說明生成句與原句在句法結(jié)構(gòu)上有一定程度的差異。

表2 與已有無監(jiān)督復(fù)述方法的性能比較結(jié)果

說明: ↑表示值越大越好, ↓表示值越小越好; 粗體數(shù)字表示性能最佳, 下同。

圖2 BLEU-ori與BLEU-ref的關(guān)系

由于完全句法樹包含更細(xì)粒度的句法信息, 能夠指導(dǎo)模型正確地進(jìn)行語(yǔ)義等價(jià)的詞替換, 因此使用完全句法樹可以產(chǎn)生非常高的語(yǔ)義和句法指標(biāo)。然而, 當(dāng)只使用句法模板(即句法樹的前兩層)時(shí), 本文方法在 BLEU-ori 和 Match Accuracy 上都獲得較高的精度, 表明生成的復(fù)述句在句法結(jié)構(gòu)上變化較大, 符合給定的目標(biāo)句法結(jié)構(gòu), 同時(shí)能夠有效地保留原句的語(yǔ)義信息。

3.2 對(duì)抗樣本生成

下面探究本文模型是否可以生成句法變化的對(duì)抗樣本以及生成的對(duì)抗樣本是否可以提高目標(biāo)模型的魯棒性。

3.2.1實(shí)驗(yàn)設(shè)置

與 Iyyer 等[4]的方法相同, 在來自電影評(píng)論語(yǔ)料庫(kù)的數(shù)據(jù)集 Stanford Sentiment Treebank (SST-2)[21]上評(píng)估句法變化的對(duì)抗樣本。SST-2 包含句法變化程度較高的復(fù)雜句子, 但數(shù)據(jù)集的規(guī)模相對(duì)較小。我們采用“預(yù)訓(xùn)練和微調(diào)”的方式來訓(xùn)練本文句法控制的復(fù)述模型, 首先使用來自 One-Billion-Word 語(yǔ)料[22]預(yù)處理的 210 萬個(gè)句子預(yù)訓(xùn)練本文模型, 然后在 SST-2 數(shù)據(jù)集上對(duì)模型進(jìn)行微調(diào)。情感分類模型使用Bi-LSTM[23]。

表3 消融分析結(jié)果

對(duì)于 SST-2 訓(xùn)練集和開發(fā)集中的樣本, 用 One-Billion-Word 和 SST-2 數(shù)據(jù)集中最頻繁的 15 個(gè)句法模板生成 15 個(gè)復(fù)述, 在后處理步驟中刪除與原句語(yǔ)義差別較大的復(fù)述, 即使用閾值(BLEU, 1-3-gram)對(duì)生成的復(fù)述進(jìn)行過濾。隨后, 用在訓(xùn)練集上生成的復(fù)述擴(kuò)充訓(xùn)練數(shù)據(jù)。對(duì)抗訓(xùn)練過程如圖 3 所示, 虛線箭頭表示直接用 SST-2 訓(xùn)練集來訓(xùn)練情感分類模型, 實(shí)線箭頭表示使用本文模型為 SST-2 訓(xùn)練集樣本生成句法變化的復(fù)述, 并用這些復(fù)述擴(kuò)充訓(xùn)練集, 重新訓(xùn)練情感分類模型。通過這種方式, 我們獲得兩個(gè)訓(xùn)練好的情感分類模型。

在對(duì)抗樣本生成實(shí)驗(yàn)中使用的 15 個(gè)句法模板如下: (S(NP)(VP)); (S(PP)(,)(NP)(VP)); (S(S)(,)(NP)(VP)); (S(NP)(ADVP)(VP)); (S(S)(,)(CC)(S)); (S(“) (S)(,)(”)(NP)(VP)); (S(CC)(NP)(VP)); (S(S)(CC)(S)); (S(SBAR)(,)(NP)(VP)); (S(ADVP)(,)(NP)(VP)); (S(VP));(S(S)(:)(S)); (S(ADVP)(NP)(VP)); (NP(NP)(PP)); (FRAG(ADJP))。

3.2.2評(píng)價(jià)指標(biāo)

我們使用以下指標(biāo)來評(píng)估模型性能。

1)Dev Broken[4]。得開發(fā)集樣本生成的句法變化的復(fù)述過濾處理后, 輸入預(yù)訓(xùn)練情感分類模型。如果原句預(yù)測(cè)是正確的, 但至少有一個(gè)復(fù)述的預(yù)測(cè)不正確, 則認(rèn)為被“Broken”。Dev Broken 指開發(fā)集樣本通過復(fù)述被“Broken”的占比。在該實(shí)驗(yàn)中, 以 Dev Broken 作為主要評(píng)測(cè)指標(biāo), 用于衡量不同方法的文本攻擊效果。

圖3 對(duì)抗訓(xùn)練過程

2)Validity[4]。由于生成的句法變化的復(fù)述可能丟失情感詞, 為了衡量生成的對(duì)抗樣本的有效性, 隨機(jī)選取 100 個(gè)對(duì)抗樣本進(jìn)行人工評(píng)測(cè)。要求眾包員工為給定的對(duì)抗樣本選擇合適的標(biāo)簽(如積極或消極), 然后將員工的判斷與原始的開發(fā)集樣本標(biāo)簽進(jìn)行比較。

3)Test Accuracy: 衡量分類模型在測(cè)試集上的準(zhǔn)確率。

3.2.3實(shí)驗(yàn)結(jié)果

將本文生成對(duì)抗樣本的方法與前人的兩種方法(NMT-BT 和 SCPN)進(jìn)行比較, 實(shí)驗(yàn)結(jié)果如表 4 所示。其中, NMT-BT[4]是神經(jīng)機(jī)器翻譯回譯方法; SCPN 是 Iyyer 等[4]提出的句法控制的復(fù)述生成模型, 該模型需要大規(guī)模復(fù)述平行語(yǔ)料訓(xùn)練。

從表 4 可以看出, 本文方法獲得 63.0 的 Validity得分和 18.92 的 Dev Broken, 性能與 NMT-BT 非常接近, 表明本文模型可以生成合法的對(duì)抗樣本。用本文無監(jiān)督復(fù)述方法生成的句法變化的復(fù)述擴(kuò)充訓(xùn)練數(shù)據(jù), Dev Broken 值從 18.92 降至 17.76, 表明在這些句法變化的復(fù)述上訓(xùn)練可以提高情感分類模型對(duì)句法變化的魯棒性, 同時(shí)不影響分類模型在原始測(cè)試集上的準(zhǔn)確率。

SCPN 和 NMT-BT 也獲得很高的性能, 這歸功于平行語(yǔ)料庫(kù)的使用。這兩個(gè)模型都使用大規(guī)模的平行語(yǔ)料庫(kù)進(jìn)行訓(xùn)練, 生成的復(fù)述句包括詞匯和句法變化。對(duì)于沒有平行語(yǔ)料可用的低資源語(yǔ)言, 本文無監(jiān)督的方法將非常有效。

3.2.4 不同閾值對(duì)目標(biāo)模型性能的影響

為了更好地分析句法變化的復(fù)述對(duì)分類模型性能的影響, 我們使用不同的閾值過濾復(fù)述句, 用來擴(kuò)充訓(xùn)練集, 重新訓(xùn)練分類模型, 并記錄模型在測(cè)試集上的準(zhǔn)確率, 結(jié)果見表 5。當(dāng)閾值設(shè)置為最小值 0.4 時(shí), 沒有降低模型的性能, 表明本文模型具有良好的生成質(zhì)量。隨著閾值增大, 模型的性能提高, 閾值為 0.85 時(shí)達(dá)到最好的性能, 這是在復(fù)述質(zhì)量與多樣性之間權(quán)衡的結(jié)果。閾值越大, 過濾后的復(fù)述質(zhì)量越好, 但多樣性越差, 因此當(dāng)閾值為 0.9時(shí)并沒有達(dá)到最佳性能。這些結(jié)果也顯示, 本文方法具有成為一種數(shù)據(jù)增強(qiáng)技術(shù)的潛力。

表4 生成對(duì)抗樣本方法的性能比較結(jié)果

表5 不同閾值對(duì)目標(biāo)模型性能的影響

說明: 因?yàn)槟Ｐ蛥?shù)的隨機(jī)初始化, 所以記錄3次運(yùn)行結(jié)果的平均值。

表6 生成的復(fù)述示例

表 6 展示兩組由本文方法生成的復(fù)述句, 其中復(fù)述句 3 和 4 為生成的對(duì)抗樣本, 與原句語(yǔ)義一致, 結(jié)構(gòu)不同, 情感分類模型不能正確地預(yù)測(cè)其標(biāo)簽, 證明本文模型可以為情感分類模型生成句法變化的對(duì)抗樣本。

3.2.5生成實(shí)例分析

4 結(jié)語(yǔ)

本文提出一種無監(jiān)督句法可控復(fù)述生成模型, 無需復(fù)述對(duì)齊語(yǔ)料訓(xùn)練。采用變分自編碼學(xué)習(xí)方式, 使用兩個(gè)隱變量分別捕獲句子的語(yǔ)義和句法信息。通過聯(lián)合這兩個(gè)隱變量來重構(gòu)原始句子, 從而學(xué)習(xí)句子語(yǔ)義和句法之間的對(duì)應(yīng)關(guān)系。為了提高句法的可控性, 設(shè)計(jì)基于生成對(duì)抗網(wǎng)絡(luò)的方法來分離這兩個(gè)變量, 并就句法和語(yǔ)義變量的重構(gòu)依賴性進(jìn)行建模。

實(shí)驗(yàn)結(jié)果表明, 本文方法在無監(jiān)督復(fù)述生成任務(wù)中取得最好的結(jié)果, 可以生成符合目標(biāo)句法結(jié)構(gòu)的復(fù)述句。生成對(duì)抗樣本的實(shí)驗(yàn)結(jié)果進(jìn)一步證明本文模型能夠生成高質(zhì)量的對(duì)抗樣本, 當(dāng)使用生成的樣本擴(kuò)充訓(xùn)練數(shù)據(jù)時(shí), 在不損害原始測(cè)試集性能的情況下, 可以有效地提高模型的魯棒性。

在后續(xù)工作中, 我們將探索將詞或短語(yǔ)級(jí)別的變化與本文模型相結(jié)合的方法, 以期生成更加多樣化的對(duì)抗樣本。

[1] Zhang W E, Sheng Q Z, Alhazmi A, et al. Adversarial attacks on deep learning models in natural language processing: a survey. ACM Transactions on Intelligent Systems and Technology, 2019, 11(3): 24

[2] Ettinger A, Rao S, Daumé III H, et al. Towards lin-guistically generalizable NLP systems: a workshop and shared task // First Workshop on Building Lin-guistically Generalizable NLP Systems. Copenhagen, 2017: 1?10

[3] Jia R, Liang P. Adversarial examples for evaluating reading comprehension systems // Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen, 2017: 2021–2031

[4] Iyyer M, Wieting J, Gimpel K, et al. Adversarial example generation with syntactically controlled pa-raphrase networks // North American chapter of the Association for Computational Linguistics. New Or-leans, 2018: 1875?1885

[5] Ebrahimi J, Rao A, Lowd D, et al. HotFlip: white-box adversarial examples for text classification // Procee-dings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, 2018: 31? 36

[6] Gao J, Lanchantin J, Soffa M L, et al. Black-box generation of adversarial text sequences to evade deep learning classifiers // 2018 IEEE Security and Privacy Workshops (SPW) . Los Alamitos, 2018: 50?56

[7] Liang Bin, Li Hongcheng, Su Miaoqiang, et al. Deep text classification can be fooled // IJCAI-18. Stock-holm, 2018: 4208–4215

[8] Feng S, Wallace E, Iyyer M, et al. Right answer for the wrong reason: Discovery and mitigation // Pro-ceedings of the 2018 Conference on Empirical Me-thods in Natural Language Processing. Brussels, 2018: 3719?3728

[9] Gupta A, Agarwal A, Singh P, et al. A deep generative framework for paraphrase generation // AAAI. New Orleans, 2018: 5149?5156

[10] Miao Ning, Zhou Hao, Mou Lili, et al. CGMH: con-strained sentence generation by metropolis-hastings sampling // AAAI. Honolulu, 2019: 6834?6842

[11] Hu Zhiting, Yang Zichao, Liang Xiaodan, et al. To-ward controlled generation of text // Proceedings of the 34th International Conference on Machine Lear-ning. Sydney, 2017: 1587?1596

[12] John V, Mou Lili, Bahuleyan H, et al. Disentangled representation learning for non-parallel text style transfer // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Flo-rence, 2019: 424?434

[13] Prabhumoye S, Tsvetkov Y, Salakhutdinov R, et al. Style transfer through back-translation // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne, 2018: 866? 876

[14] Chen M D, Tang Q M, Wiseman S, et al. Controllable paraphrase generation with a syntactic exemplar // Proceedings of the 57th Annual Meeting of the As-sociation for Computational Linguistics. Florence, 2019: 5972–5984

[15] Kingma D P, Welling M. Auto-encoding variational bayes // ICLR. Banff, 2014: No. 6

[16] Bowman S R, Vilnis L, Vinyals O, et al. Generating sentences from a continuous space // Proceedings of The 20th SIGNLL Conference on Computational Na-tural Language Learning. Berlin, 2016: 10?21

[17] Bao Yu, Zhou Hao, Huang Shujian, et al. Generating sentences from disentangled syntactic and semantic spaces // Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Flo-rence, 2019: 6008–6019

[18] Zhang X Y, Yang Y, Yuan S Y, et al. Syntax-infused variational autoencoder for text generation // Procee-dings of the 57th Annual Meeting of the Association for Computational Linguistics. Florence, 2019: 2069? 2078

[19] Vinyals O, Kaiser L, Koo T, et al. Grammar as a foreign language // Proceedings of the 28th Interna-tional Conference on Neural Information Processing Systems. Cambridge, 2014: 2773?2781

[20] Manning C D, Surdeanu M, Bauer J, et al. The Stan-ford CoreNLP natural language processing toolkit // Proceedings of 52nd Annual Meeting of the Associa-tion for Computational Linguistics: System Demons-trations. Baltimore, 2014: 55?60

[21] Socher R, Perelygin A, Wu J, et al. Recursive deep models for semantic compositionality over a senti-ment treebank // Proceedings of the 2013 Conference on Empirical Methods in Natural Language Proces-sing. Seattle, 2013: 1631?1642

[22] Chelba C, Mikolov T, Schuster M, et al. One billion word benchmark for measuring progress in statistical language modeling // Conference of the International Speech Communication Association. Lyon, 2013: 2635?2639

[23] Tai K S, Socher R, Manning C D. Improved semantic representations from tree-structured long short-term memory networks // Proceedings of the 53rd Annual Meeting of the Association for Computational Lin-guistics and the 7th International Joint Conference on Natural Language Processing. Beijing, 2015: 1556? 1566

Unsupervised Syntactically Controllable Paraphrase Network for Adversarial Example Generation

YANG Erguang1, LIU Mingtong1, ZHANG Yujie1,?, MENG Yao2, HU Changjian2, XU Jin’an1, CHEN Yufeng1

1. School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044; 2. Lenovo Research, AI Laboratory, Beijing 100085; ? Corresponding author, E-mail: yjzhang@bjtu.edu.cn

Prior work on adversarial example generation with syntactically controlled paraphrase networks requires large-scale paraphrase parallel corpora to train models. The performance of the model is seriously limited by the domain and scale of paraphrase parallel corpus. To solve this problem, this paper proposes an unsuprervised syntactically controlled paraphrase model to generate adversarial examples which only needs monolingual data. Specifically, variational autoencoder is used to learn model, which maps a sentence and a syntactic parse tree into semantic and syntactic variables, respectively. By learning to reconstruct the input sentence from syntactic and semantic variables, the model effectively learns to generate syntactic paraphrases without using any parallel data. Experiment results on unsupervised sentence paraphrasing and adversarial example generation demonstrate that the proposed model achieves new state-of-the-art results on unsupervised paraphrase generation and generate effective adversarial examples. These examples can be used to improve the robustness and generalization of NLP (natural language processing) model.

unsupervised learning; syntactically controllable paraphrase network; adversarial example

10.13209/j.0479-8023.2020.079

2020?06?09;

2020?08?15

國(guó)家自然科學(xué)基金(61876198, 61976015, 61976016)資助