基于多條件對(duì)抗和梯度優(yōu)化的生成對(duì)抗網(wǎng)絡(luò)

李響，嚴(yán)毅，劉明輝，劉明

(電子科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 成都 610054)

生成對(duì)抗網(wǎng)絡(luò)(generative adversarial nets,GAN)[1]是受零和博弈的思想啟發(fā)而提出的一種新穎的生成模型框。它由一個(gè)生成網(wǎng)絡(luò)與一個(gè)判別網(wǎng)絡(luò)組成，通過讓兩個(gè)神經(jīng)網(wǎng)絡(luò)相互博弈、相互對(duì)抗的方式進(jìn)行學(xué)習(xí)，最終達(dá)到納什均衡。GAN 通常用于生成以假亂真的圖片[2]、影片、音頻[3]、3D 模型、文本[4]等等，在諸多領(lǐng)域都取得了顯著的成效。

盡管如此，GAN 還有一些突出的問題有待研究，比如模式崩潰問題。普遍的看法是因?yàn)閿?shù)據(jù)的支持和生成的分布是不相交的或位于低維流形中[5]。根據(jù)Monge-Ampere 方程的正則性理論，如果目標(biāo)度量的支持是斷開的或只是非凸的，則最優(yōu)轉(zhuǎn)換映射是不連續(xù)的。而通用DNN只能近似連續(xù)映射，這種內(nèi)在沖突導(dǎo)致了模式崩潰[6]。對(duì)于這個(gè)問題，前期也有很多研究，如通過優(yōu)化使得網(wǎng)絡(luò)具有更加優(yōu)異的學(xué)習(xí)能力，從而能夠?qū)W習(xí)具有一般性的特征，而不是集中于某種特異性特征；或是通過控制損失函數(shù)，逼迫模型學(xué)習(xí)更多類型的特征。本文從多生成器博弈的角度出發(fā)，通過對(duì)現(xiàn)有的多生成器模型的一系列改進(jìn)來促使不同的生成器生成不同的模式數(shù)據(jù)，達(dá)到有效解決模式崩潰問題的目的?，F(xiàn)有的多生成器模型的基本思路都是使用多個(gè)生成器的聯(lián)合分布去模擬樣本的真實(shí)分布，多個(gè)生成器網(wǎng)絡(luò)參數(shù)共享或者不進(jìn)行共享，通過引入分類器來最大化各個(gè)生成器生成數(shù)據(jù)的JS 散度，強(qiáng)制不同生成器去捕獲不同的模式，取得了較好的效果。Multi-generator GAN(MGAN)是其中效果較好的網(wǎng)絡(luò)，但也存在一些問題。因?yàn)镸GAN 的損失函數(shù)是在原GAN 的損失函數(shù)基礎(chǔ)上添加一個(gè)最大化生成器樣本差異的正則項(xiàng)，該正則項(xiàng)主要是對(duì)多個(gè)生成器系統(tǒng)整體進(jìn)行約束，而從單個(gè)生成器的角度出發(fā)，模式崩潰問題還是存在的。并且，由于GAN的損失函數(shù)的缺陷[7]也會(huì)造成生成樣本的質(zhì)量在達(dá)到一定水平后，繼續(xù)訓(xùn)練生成質(zhì)量反而會(huì)下降的不穩(wěn)定現(xiàn)象。

針對(duì)MGAN 上述的問題，本文主要優(yōu)化思路如下：

1)使用Wasserstein 距離作為多個(gè)生成器與判別器間的博弈損失函數(shù)，改善訓(xùn)練過程中的梯度消失、訓(xùn)練不穩(wěn)定等問題。

2)引入一個(gè)正則懲罰項(xiàng)使得損失函數(shù)可以更好地滿足Lipschitz 連續(xù)，從而使得梯度可以向著更快和更好的角度前進(jìn)，同時(shí)也在一定程度上避免了梯度消失和過擬合帶來的影響。

3)引入一個(gè)超參數(shù)來平衡多角度損失函數(shù)帶來的差異性，避免過度偏向其中某一種梯度方向。

4)提出了一種多生成器參數(shù)共享策略，減少訓(xùn)練代價(jià)的情況下同時(shí)提高了網(wǎng)絡(luò)的性能，方便各個(gè)生成器獨(dú)立處理圖像的高維特征。

1 相關(guān)工作

為了解決原始GAN 模式崩潰的問題，各類研究提出了非常多的思路和方法。AdaGAN[8]利用一個(gè)二分類器的置信度來計(jì)算樣本在下一輪迭代中的權(quán)重。GAM[9]在測試階段將要比較的一對(duì)GAN 的判別器進(jìn)行交換后再比較。GAP[10]提出同時(shí)對(duì)多對(duì)生成器和判別器進(jìn)行訓(xùn)練，并將GAM 中GAN比較階段交換判別器的操作引入訓(xùn)練階段。MADGAN[11]訓(xùn)練多個(gè)生成器來模擬整個(gè)樣本集上的分布，使不同的生成器盡量去生成不同模式的樣本。WGAN[12]用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)推證了原始GAN 梯度消失和模式崩潰的兩大問題，并提出了引入Wasserstein距離對(duì)原始損失函數(shù)進(jìn)行替換的解決方案。WGAN-GP[13]在判別函數(shù)中添加了一個(gè)梯度懲罰項(xiàng)，以解決WGAN 中參數(shù)集中化的問題。MGAN[14]采用多生成器的方案嘗試解決原始GAN 的模式崩潰問題，使用多個(gè)生成器來模擬真實(shí)樣本分布，并通過最大化各個(gè)生成器之間的差異以鼓勵(lì)不同的生成器生成不同模式的樣本。

現(xiàn)有的多生成器模型的基本思路都是使用多個(gè)生成器的聯(lián)合分布去模擬樣本的真實(shí)分布，多個(gè)生成器網(wǎng)絡(luò)參數(shù)共享或者不進(jìn)行共享，通過引入分類器來最大化各個(gè)生成器生成數(shù)據(jù)的JS 散度，強(qiáng)制不同生成器去捕獲不同的模式，取得了比較好的效果。

2 基于多生成器的生成對(duì)抗網(wǎng)絡(luò)

2.1 整體架構(gòu)

本文提出了一種采用多生成器架構(gòu)的生成對(duì)抗網(wǎng)絡(luò)模型(improved-MGAN,IMGAN)，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。圖中z表示隨機(jī)噪聲，Gk為k個(gè)生成器。

2.1.1 模型參數(shù)共享

本文的參數(shù)共享策略是在保持前置卷積神經(jīng)網(wǎng)絡(luò)參數(shù)共享的基礎(chǔ)上，對(duì)網(wǎng)絡(luò)的最后一層卷積和全連接層進(jìn)行了獨(dú)立訓(xùn)練，即除了網(wǎng)絡(luò)的全連接層和最后一層卷積輸出參數(shù)外，網(wǎng)絡(luò)的其他層參數(shù)都共享，在減少訓(xùn)練代價(jià)的情況下同時(shí)提高了網(wǎng)絡(luò)的性能。

2.1.2 模型的模塊組成

在這種網(wǎng)絡(luò)架構(gòu)下，多個(gè)生成器將輸入的隨機(jī)噪聲轉(zhuǎn)化為圖片；判別器對(duì)接收到的圖片進(jìn)行區(qū)分，判斷是生成器生成的圖片還是樣本集中的圖片；分類器對(duì)多個(gè)生成器生成的樣本進(jìn)行區(qū)分，判斷是由哪個(gè)生成器生成，評(píng)估不同生成器生成樣本的相似性。經(jīng)過多個(gè)生成器、判別器、分類器之間的多方博弈，最終達(dá)到納什均衡。

2.2 損失函數(shù)

為了優(yōu)化典型的多生成器網(wǎng)絡(luò)如MGAN 易出現(xiàn)的梯度消失、訓(xùn)練不易收斂等問題[15]，引入WGAN-GP 的Wasserstein 距離的損失函數(shù)作為IMGAN 模型中多個(gè)生成器與判別器間的博弈的損失函數(shù)。

引入WGAN-GP 的損失函數(shù)后，此時(shí)判別器的輸出結(jié)果是樣本圖片分布與生成的圖片分布間的Wasserstein 距離的近似，較之原模型的判別器的輸出結(jié)果在度量上發(fā)生了變化，因此引入一個(gè)參數(shù)項(xiàng) λC來平衡判別器與分類器對(duì)網(wǎng)絡(luò)公共部分的影響：

式中，LD為判別器的損失；LC為分類器的損失；Ltotal為判別/分類網(wǎng)絡(luò)的損失函數(shù)。

由于本文是對(duì)每個(gè)樣本獨(dú)立地施加梯度懲罰，為防止引入同一批次樣本間的相互依賴關(guān)系，本文也按照WGAN-GP 的思路對(duì)判別網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了調(diào)整，去掉了判別器/分類器網(wǎng)絡(luò)的批量歸一化以及判別器最后一層的激活函數(shù)Sigmoid。

2.2.1 分類器的損失函數(shù)

為了避免模式崩潰，希望不同的生成器生成的樣本之間有明顯的差異，所以分類器的損失函數(shù)需要引導(dǎo)不同的生成器生成差異較大的樣本，采用交叉熵來衡量不同生成器生成樣本的差異，分類器損失函數(shù)為：

式中，πk為第k個(gè)生成器生成的分布在多個(gè)生成器形成的聯(lián)合分布中的權(quán)重；PGk為第k個(gè)生成器生成的分布；Ck(x)為樣本來自第k個(gè)生成器的概率。由式(1)可知，當(dāng)各生成器生成的樣本差異較大，分類器易于區(qū)分時(shí)，損失較??；當(dāng)各生成器生成的樣本較為接近，分類器難以區(qū)分時(shí)，損失較大，由此可以促使不同的生成器生成不同的樣本。

2.2.2 生成器的損失函數(shù)

為了使模型訓(xùn)練過程更加穩(wěn)定，生成器的損失函數(shù)采用WGAN 生成器的損失函數(shù)：

式中，Pmodel代表多個(gè)生成器生成的聯(lián)合分布；D(x)為判別器的判別結(jié)果，在WGAN 的損失函數(shù)中不需要取對(duì)數(shù)。生成器損失函數(shù)由兩部分組成，前一項(xiàng)為GAN 的經(jīng)典損失，用于促使生成器生成的圖片與真實(shí)樣本更接近，后一項(xiàng)是前面提到的分類器損失函數(shù)，用于使生成器生成盡可能差異化的樣本，兩部分通過參數(shù) β進(jìn)行調(diào)節(jié)，通過該損失函數(shù)來提升生成器生成結(jié)果的質(zhì)量和多樣性。

2.2.3 判別器損失函數(shù)

為了應(yīng)對(duì)訓(xùn)練過程中出現(xiàn)的梯度消失的問題，本文模型的判別網(wǎng)絡(luò)部分的損失函數(shù)采用了WGANGP 中的判別器損失函數(shù)：

式中，Pmodel是多個(gè)生成器生成的聯(lián)合分布；λgp是梯度懲罰項(xiàng)的參數(shù)。最后一項(xiàng)梯度懲罰項(xiàng)使判別器滿足Lipschitz 約束，能夠平滑判別器的參數(shù)，有效緩解WGAN 收斂困難的問題。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文通過引入殘差塊[16]將構(gòu)成MGAN 網(wǎng)絡(luò)的基本單元進(jìn)行替換，解決原網(wǎng)絡(luò)中存在的隨著訓(xùn)練輪數(shù)的增加活性神經(jīng)元的比例會(huì)逐漸下降的問題。在同等網(wǎng)絡(luò)深度下，殘差網(wǎng)絡(luò)不僅具有更小的參數(shù)量，還能夠進(jìn)一步提高模型生成圖像的質(zhì)量。

2.3.1 生成網(wǎng)絡(luò)結(jié)構(gòu)

生成網(wǎng)絡(luò)的結(jié)構(gòu)包含輸入、反卷積、激勵(lì)、輸出幾層。網(wǎng)絡(luò)結(jié)構(gòu)中都采用了批量歸一化操作來代替池化層以避免一些有用的特征丟失和整體與部分關(guān)聯(lián)關(guān)系被忽略的問題。卷積神經(jīng)網(wǎng)絡(luò)中的反卷積操作由殘差塊通過上采樣完成。

多個(gè)生成器采用了參數(shù)共享機(jī)制，輸入層到第一層全連接層以及最后一層反卷積層參數(shù)不共享，其余層參數(shù)都共享。各個(gè)生成器的數(shù)據(jù)批量歸一化分開進(jìn)行[17]，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 生成器網(wǎng)絡(luò)結(jié)構(gòu)

2.3.2 判別/分類網(wǎng)絡(luò)結(jié)構(gòu)

判別卷積神經(jīng)網(wǎng)絡(luò)/分類卷積神經(jīng)網(wǎng)絡(luò)同樣采用參數(shù)共享，最后一層參數(shù)不共享，網(wǎng)絡(luò)的其余層參數(shù)都進(jìn)行共享。兩個(gè)網(wǎng)絡(luò)由卷積、池化、激勵(lì)和輸出幾層構(gòu)成。由于采用了WGAN-GP 的損失函數(shù)，所以不需要對(duì)判別器的數(shù)據(jù)進(jìn)行批量歸一化，去掉了判別器的最后一層Sigmoid 激活函數(shù)。判別/分類網(wǎng)絡(luò)中的卷積操作通過下采樣殘差塊完成，其結(jié)構(gòu)如圖3 所示。

圖3 判別/分類網(wǎng)絡(luò)結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

本文實(shí)驗(yàn)選取了Cifar10 和CelebA 兩個(gè)數(shù)據(jù)集對(duì)本文的模型進(jìn)行驗(yàn)證。Cifar10 數(shù)據(jù)集提供了60000張大小為32*32 像素的彩色圖片，分為10 類，每類包含6000 張圖片，是開放的物體識(shí)別數(shù)據(jù)集。CelebA 包含了10177 個(gè)名人的共202599 張做了特征標(biāo)記和屬性標(biāo)記的人臉圖片。

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)需要對(duì)本文提出的IMGAN 與典型的多生成器模型MGAN 進(jìn)行對(duì)比，首先要排除超參數(shù)對(duì)實(shí)驗(yàn)的影響，受限于實(shí)驗(yàn)條件，未尋找模型在某一數(shù)據(jù)集上的最優(yōu)值，而是采用了相關(guān)文獻(xiàn)給出的較優(yōu)值。相關(guān)參數(shù)的取值如表1 所示。

表1 實(shí)驗(yàn)參數(shù)設(shè)置

由于在生成對(duì)抗網(wǎng)絡(luò)中，損失函數(shù)輸出的損失值并不能直接代表生成圖片的質(zhì)量，即使通過訓(xùn)練，損失值已經(jīng)很小了，但實(shí)際生成的圖片仍然和真實(shí)圖片相去甚遠(yuǎn)，所以本文引入了GAN 生成質(zhì)量的常用評(píng)價(jià)標(biāo)準(zhǔn)(Frchet inception distance,FID)來對(duì)IMGAN 模型的生成效果進(jìn)行評(píng)價(jià)。FID 使用均值和協(xié)方差矩陣來計(jì)算兩個(gè)分布之間的距離：

式中，x為真實(shí)圖片分布；g為生成圖片分布；μ為均值；Σ 為協(xié)方差；Tr 為矩陣的跡，即矩陣對(duì)角線上元素的總和。FID 值越低，兩個(gè)分布越接近，說明生成圖片的質(zhì)量較高、多樣性較好。

3.3 Cifar10 實(shí)驗(yàn)

在Cifar10 數(shù)據(jù)集上，分別測試了：1)單獨(dú)更改參數(shù)共享方案，解綁模型的最后一層參數(shù)；2)單獨(dú)更改損失函數(shù)，使用Wasserstein 距離；3)在引入1)、2)優(yōu)化的基礎(chǔ)上再更改網(wǎng)絡(luò)結(jié)構(gòu)，引入殘差塊這3 種場景來驗(yàn)證本文優(yōu)化方法的效果，計(jì)算這3 種場景的FID 值來進(jìn)行評(píng)估。采用Adam 優(yōu)化器，設(shè)置初始學(xué)習(xí)率為0.02，隨訓(xùn)練輪數(shù)的增加遞減，設(shè)置Adam 優(yōu)化器的衰減參數(shù)β1=0.5，β2=0.90，設(shè)置多樣性調(diào)節(jié)參數(shù)β=0.05。

引入殘差塊后網(wǎng)絡(luò)中多個(gè)生成器的結(jié)構(gòu)如表2所示，判別/分類網(wǎng)絡(luò)結(jié)構(gòu)如表3 所示。

表2 Cifar10 上多個(gè)生成器網(wǎng)絡(luò)配置

表3 Cifar10 上判別/分類器網(wǎng)絡(luò)配置

實(shí)驗(yàn)結(jié)果FID 值如表4 所示。從實(shí)驗(yàn)結(jié)果可以看出，本文策略確實(shí)能夠有效降低FID 值，性能較MGAN 有了明顯的提升。

表4 Cifar10 上IMGAN 不同優(yōu)化策略效果

從圖4 的兩種模型生成的圖片對(duì)比來看，IMGAN較之MGAN 生成的圖片直觀上體現(xiàn)了較大的差異性，也沒有出現(xiàn)單個(gè)生成器的模式崩潰問題，體現(xiàn)出了更好的生成效果。

圖4 兩個(gè)模型在cifar10 上的效果圖

3.4 CelebA 實(shí)驗(yàn)

在CelebA 數(shù)據(jù)集上的實(shí)驗(yàn)中，采用FID 值來對(duì)模型的表現(xiàn)進(jìn)行評(píng)價(jià)。網(wǎng)絡(luò)優(yōu)化同樣采用Adam優(yōu)化器；設(shè)置初始學(xué)習(xí)率為0.02，隨訓(xùn)練輪數(shù)增加遞減，設(shè)置Adam 優(yōu)化器的衰減參數(shù)β1=0.00，β2=0.90，設(shè)置超參數(shù)λC=0.90。由于CelebA 的屬性標(biāo)記比Cifar10 更加復(fù)雜，將調(diào)節(jié)模型生成樣本多樣性的超參數(shù)進(jìn)一步增大，設(shè)置β=0.10。

網(wǎng)絡(luò)中多個(gè)生成器的結(jié)構(gòu)如表5 所示，判別/分類網(wǎng)絡(luò)結(jié)構(gòu)如表6 所示。

表5 CelebA 上多個(gè)生成器網(wǎng)絡(luò)配置

表6 CelebA 上判別/分類器網(wǎng)絡(luò)配置

同在Cifar10 數(shù)據(jù)集上的實(shí)驗(yàn)一樣，分別測試：1)單獨(dú)更改參數(shù)共享方案，解綁模型的最后一層參數(shù)；2)單獨(dú)更改損失函數(shù)，使用Wasserstein 距離；3)在引入1)、2)優(yōu)化的基礎(chǔ)上再更改網(wǎng)絡(luò)結(jié)構(gòu)，引入殘差塊這3 種場景來驗(yàn)證本文優(yōu)化方法的效果。模型收斂時(shí)，F(xiàn)ID 指標(biāo)對(duì)比如表7 所示。

表7 兩模型在CelebA 上的對(duì)比實(shí)驗(yàn)評(píng)估指標(biāo)

模型迭代100000 輪后，得到的生成樣本對(duì)比如圖5 所示。直觀上來觀察模型的生成效果，IMGAN生成的人臉更加清晰和真實(shí)，F(xiàn)ID 值也比原模型下降了0.679，這說明本文的模型在CelebA 數(shù)據(jù)集上能夠進(jìn)一步提高生成圖片的質(zhì)量。

圖5 CelebA 上兩個(gè)模型生成樣本對(duì)比

4 結(jié)束語

本文針對(duì)生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練中模式崩潰的問題，從多生成器博弈的角度出發(fā)，通過對(duì)現(xiàn)有的多生成器模型的一系列改進(jìn)來促使不同的生成器生成不同的模式數(shù)據(jù)，有效解決模式崩潰問題，使用Wasserstein 距離作為多個(gè)生成器與判別器間的博弈損失函數(shù)，改善訓(xùn)練過程中的梯度消失、訓(xùn)練不穩(wěn)定等問題；提出了一種多生成器參數(shù)共享策略，減少了訓(xùn)練代價(jià)的同時(shí)提高了網(wǎng)絡(luò)的性能；引入一個(gè)超參數(shù)來平衡多角度損失函數(shù)帶來的差異性；引入一個(gè)正則懲罰項(xiàng)使得損失函數(shù)可以更好地滿足Lipschitz 連續(xù)等。通過一系列的實(shí)驗(yàn)，驗(yàn)證了本文方案的有效性，能夠提升生成器生成圖片的質(zhì)量，并且保證其生成的多樣性，有效緩解了模式崩潰的問題。