生成式對(duì)抗網(wǎng)絡(luò)理論模型和應(yīng)用綜述

張紅蕊

摘 要：生成式對(duì)抗網(wǎng)絡(luò)GAN（Generative Adversarial Networks）源于二人零和博弈理論，即一方所得是另一方的損失，兩人利益之和為零，它結(jié)合機(jī)器學(xué)習(xí)中的生成模型和判別模型的思想，演化成網(wǎng)絡(luò)模型中的生成器和判別器，兩者采用對(duì)抗學(xué)習(xí)的方式，目的是估測(cè)樣本的潛在分布并根據(jù)真實(shí)的數(shù)據(jù)樣本生成可以仿真的虛假樣本。在圖像處理與視覺(jué)計(jì)算、語(yǔ)音識(shí)別、視頻處理等方面，GAN正在被廣泛研究并且具有極大的發(fā)展趨勢(shì)。本文主要概括了GAN的理論模型和基本原理、演變模型以及主要應(yīng)用，最后進(jìn)行總結(jié)展望。

關(guān)鍵詞：深度學(xué)習(xí) 生成式對(duì)抗網(wǎng)絡(luò) 對(duì)抗學(xué)習(xí)

1. GAN模型

1.1 GAN基本原理

生成式對(duì)抗網(wǎng)絡(luò)GAN[1]是2014年由Goodfellow等提出的一種新型神經(jīng)網(wǎng)絡(luò)模型，思想起源于二人零和博弈理論，即納什均衡思想。GAN網(wǎng)絡(luò)模型由生成器和判別器共同構(gòu)成，兩者采用對(duì)抗學(xué)習(xí)的方式訓(xùn)練，生成器用于捕捉真實(shí)數(shù)據(jù)樣本的概率分布，并生成新的樣本；判別器可以看作是一個(gè)二分類器，用于判斷數(shù)據(jù)是來(lái)自真實(shí)樣本還是生成樣本，并輸出一個(gè)0到1的固定概率值。

1.2 GAN網(wǎng)絡(luò)結(jié)構(gòu)

GAN核心思想是極大極小二人博弈游戲，網(wǎng)絡(luò)結(jié)構(gòu)如圖1-1所示，將100維隨機(jī)噪聲z輸入生成模型G中，生成器內(nèi)部經(jīng)過(guò)多層感知器或是復(fù)雜的神經(jīng)網(wǎng)絡(luò)生成新的樣本，將真實(shí)數(shù)據(jù)和生成數(shù)據(jù)輸入判別模型D，判別器用于輸出樣本的概率值，并將梯度信息反饋給生成模型G。訓(xùn)練過(guò)程中，G的目標(biāo)是盡可能生成可以欺騙判別器D的樣本，而判別器的目標(biāo)是盡可能分辨數(shù)據(jù)樣本的真假性，最終達(dá)到平衡。

在這一過(guò)程中，判別器為更好的區(qū)分生成數(shù)據(jù)與真實(shí)數(shù)據(jù)，并將二者輸出的概率值盡可能二分化，固定一方權(quán)重以訓(xùn)練另一方，得到最優(yōu)判別器公式如公式1-1所示，當(dāng)，時(shí)，此時(shí)最優(yōu)。

2. GAN演變模型

GAN衍生模型在創(chuàng)新發(fā)展原始GAN基礎(chǔ)上提出新的想法，CGAN[2] 加入條件因素；LAPGAN[3]將生成器與判別器定義為L(zhǎng)aplacian Pyramids框架內(nèi)的級(jí)聯(lián)卷積網(wǎng)；DCGAN[4] 將生成器和判別器用深度神經(jīng)網(wǎng)絡(luò)來(lái)代替多層感知器；WGAN[5] 將JS散度提出用Wasserstein距離代替；CycleGAN[6] 雙向GAN機(jī)制能夠生成雙向域中圖像。隨著GAN技術(shù)的不斷成熟和發(fā)展，更多的演變模型在這些模型的基礎(chǔ)架構(gòu)上加以優(yōu)化。

3. GAN模型應(yīng)用

GAN作為深度學(xué)習(xí)領(lǐng)域的新星，在許多領(lǐng)域都具有較多的研究成果，本節(jié)主要從以下五方面闡述。

3.1 超分辨率圖像復(fù)原

超分辨率圖像復(fù)原思路是將的低分辨率的圖像作為基準(zhǔn)，生成真實(shí)可觀的或是等更大分辨率圖像。SRGAN[7]基于GAN的改進(jìn)，采用VGG19作為判別器的網(wǎng)絡(luò)結(jié)構(gòu)，生成器由深度殘差網(wǎng)構(gòu)成，同時(shí)在模型后部加入了子像素模塊，在提高分辨率的同時(shí)優(yōu)化了對(duì)人類感知更敏感的損失。

3.2圖像風(fēng)格遷移

圖像風(fēng)格遷移思想是存在一張內(nèi)容圖，一張風(fēng)格圖，目標(biāo)將的風(fēng)格作用在圖上，生成新的圖像。文獻(xiàn)[8]實(shí)現(xiàn)成對(duì)數(shù)據(jù)集上的風(fēng)格轉(zhuǎn)換，雙向GAN機(jī)制CycleGAN實(shí)現(xiàn)不成對(duì)數(shù)據(jù)的圖像翻譯工作，實(shí)現(xiàn)照片風(fēng)格、馬到斑馬的轉(zhuǎn)換，而DualGAN、DiscoGAN也在雙向GAN機(jī)制的作用下實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換任務(wù)。

3.3 視頻、音頻生成

在處理靜止圖像任務(wù)的同時(shí)，GAN在視頻動(dòng)態(tài)畫面和音頻生成上取得良好效果，VGAN[9]利用一些未標(biāo)記的視頻素材訓(xùn)練模型解決識(shí)別問(wèn)題和視頻生成任務(wù)，同時(shí)模型學(xué)習(xí)到的特征可以用來(lái)進(jìn)行圖片分類；C-RNN-GAN[10]利用GAN和循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)合生成古典音樂(lè)，在處理時(shí)序相關(guān)的自然語(yǔ)言同時(shí)生成聽覺(jué)良好的音樂(lè)。

3.4 語(yǔ)音識(shí)別

將GAN目標(biāo)來(lái)實(shí)現(xiàn)魯棒性的語(yǔ)音識(shí)別系統(tǒng)，文獻(xiàn)[11]使用GAN網(wǎng)絡(luò)架構(gòu)，以可擴(kuò)展、端到端的方式提高序列到序列模型的魯棒性，編碼器組件搭建生成器，訓(xùn)練以輸出噪聲音頻樣本和干凈音頻樣本之間不可分辨的嵌入，這種新型的對(duì)抗學(xué)習(xí)方式在語(yǔ)音識(shí)別系統(tǒng)中表現(xiàn)出極強(qiáng)的應(yīng)變能力和可行性。

3.5 其他應(yīng)用

在無(wú)監(jiān)督或半監(jiān)督學(xué)習(xí)領(lǐng)域中，GAN逐漸應(yīng)用到各種領(lǐng)域中。文獻(xiàn)[12]提出文字到圖像的轉(zhuǎn)換，準(zhǔn)確輸出圖像對(duì)于文字的正確表達(dá)；DCGAN實(shí)現(xiàn)了表情模型的矢量運(yùn)算，可對(duì)表情信息進(jìn)行加減操作；WaterGAN實(shí)現(xiàn)了水下圖像的實(shí)時(shí)色彩矯正；Patch GAN完美的完成圖像上色任務(wù)；SeqGAN在自然語(yǔ)言處理領(lǐng)域取得良好的效果；TP-GAN完成人像修復(fù)，通過(guò)單一側(cè)面照片合成正面照片。

4. 總結(jié)與展望

本文綜述了生成式對(duì)抗網(wǎng)絡(luò)GAN的基本原理、網(wǎng)絡(luò)結(jié)構(gòu)、模型演變以及應(yīng)用拓展。概述GAN在圖像合成、圖片修補(bǔ)、超分辨率、圖片上色，以及語(yǔ)音識(shí)別、視頻生成、自然語(yǔ)言處理等方面應(yīng)用。由于GAN結(jié)構(gòu)不適用于離散型結(jié)構(gòu)的樣本，預(yù)期在未來(lái)工作中可以得到較完善的解決。

參考文獻(xiàn)：

[1] Goodfellow I J， Pouget-Abadie J， Mirza M， et al. Generative Adversarial Networks[J]. Advances in Neural Information Processing Systems， 2014， 3：2672-2680.

[2] Mirza M， Osindero S. Conditional Generative Adversarial Nets[J]. Computer Science， 2014：2672-2680.

[3] Fergus R， Fergus R， Fergus R， et al. Deep generative image models using a Laplacian pyramid of adversarial networks[C]// International Conference on Neural Information Processing Systems. MIT Press， 2015：1486-1494.

[4] Radford A， Metz L， Chintala S. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[J]. Computer Science， 2015.

[5] Arjovsky M， Chintala S， Bottou L. Wasserstein GAN[J]. 2017.

[6] Li M， Huang H， Ma L， et al. Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks[J]. 2018.

[7] Ledig C， Theis L， Huszar F， et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016：105-114.

[8] Isola P， Zhu J Y， Zhou T， et al. Image-to-Image Translation with Conditional Adversarial Networks[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2017：5967-5976.

[9] Vondrick C， Pirsiavash H， Torralba A. Generating Videos with Scene Dynamics[J]. 2016.

[10] Mogren O. C-RNN-GAN： Continuous recurrent neural networks with adversarial training[J]. 2016.

[11] Sriram A， Jun H， Gaur Y， et al. Robust Speech Recognition Using Generative Adversarial Networks[J]. 2017.

[12] Reed S， Akata Z， Yan X， et al. Generative adversarial text to image synthesis[C]//Proceedings of The 33rd International Conference on Machine Learning. 2016， 3.