基于改進的生成對抗網(wǎng)絡(luò)的動漫頭像生成算法

孫慧康 彭開陽

收稿日期：2023-07-04

DOI：10.19850/j.cnki.2096-4706.2024.04.016

摘? 要：針對大部分生成對抗網(wǎng)絡(luò)在動漫圖像的生成上會呈現(xiàn)出訓(xùn)練不穩(wěn)定，生成樣本多樣性比較差，人物局部細節(jié)上效果不好，生成樣本質(zhì)量不高的問題，文章利用條件熵構(gòu)造的一種距離懲罰生成器的目標函數(shù)，結(jié)合注意力機制提出一種改進模型MGAN-ED。模型主要包括融入多尺度注意力特征提取單元的生成器和多尺度判別器。采用GAM和FID進行評估，所做實驗結(jié)果表明模型有效地解決了模式崩塌的問題，生成圖像的局部細節(jié)更加清晰，生成樣本質(zhì)量更高。

關(guān)鍵詞：生成對抗網(wǎng)絡(luò)；圖像生成；多尺度特征；殘差結(jié)構(gòu)；注意力機制

中圖分類號：TP183? 文獻標識碼：A? 文章編號：2096-4706（2024）04-0079-06

Animation Head Sculpture Generation Algorithm Based on Improved Generative Adversarial Networks

SUN Huikang1， PENG Kaiyang2

（1.School of Software Engineering， Jiangxi University of Science and Technology， Nanchang? 330013， China;

2.Xuancheng Branch of China Telecom Co.， Ltd.， Xuancheng? 242000， China）

Abstract： In view of the problems of training instability， poor diversity of generated samples， poor effect on local details of characters and low quality of samples generated in most of the Generative Adversarial Networks on generation of the animation head sculptures， this paper constructs a distance penalty generator target function by using conditional entropy， and an improved model MGAN-ED is proposed combined with Attention Mechanism. The model mainly includes a generator integrated with multi-scale attention feature extraction unit and a multi-scale discriminator. The GAM and FID are used to evaluate the model. The experimental results show that the model can effectively solve the problem of pattern collapse， and the local details of the generated image are clearer and the quality of the generated samples is higher.

Keywords： Generative Adversarial Networks; image generation; multi-scale feature; residual structure; Attention Mechanism

0? 引? 言

隨著國內(nèi)動漫行業(yè)的火爆，我們可以看到設(shè)計師們設(shè)計出了各種各樣的動漫人物，動漫人物形象也被用在很多行業(yè)，比如服裝業(yè)和玩具業(yè)。越來越多的動漫人物圖像出現(xiàn)在大牌服裝上，商品櫥窗上陳列著各種價格不菲動漫人物手辦，但并不是每一個人都有能力去創(chuàng)作出動漫人物。隨著生成對抗網(wǎng)絡(luò)（GAN）[1]的出現(xiàn)，人們可以依靠神經(jīng)網(wǎng)絡(luò)去完成動漫人物的生成，事實上由于GAN難以訓(xùn)練，GAN生成的圖片往往多樣性差，或者生成的圖片比較模糊，不能被人們利用。

許多研究人員以GAN為原型，在它的基礎(chǔ)上進行很多變體實驗，提出了很多經(jīng)典生成對抗網(wǎng)絡(luò)，如Mirza等人[2]在2014年提出的帶有約束條件的生成對抗網(wǎng)絡(luò)（CGAN），而后Odena等人[3]對其改進提出了GAN With Auxiliary Classifier（ACGAN）；同年Radford等人[4]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNN）[5]提出了深度卷積生成對抗網(wǎng)絡(luò)（DCGAN）；Chen等人[6]結(jié)合信息論提出的InfoGAN模型；Jolicoeur-Martineau等人[7]用相對的判別器取代GAN的判別器使得訓(xùn)練變得穩(wěn)定；Zhao等人[8]將能量引入到模型中，判別器通過能量函數(shù)來判別數(shù)據(jù)；Miyato等人提出譜標準化的生成對抗網(wǎng)絡(luò)（SNGAN）[9]；也有研究員在損失函數(shù)方面進行了改進，如最小二乘生成對抗網(wǎng)絡(luò)（LSGAN）[10]、Wasserstein GAN（WGAN）[11]，1中心梯度懲罰的WGAN（WGAN-GP）[12]，0中心梯度懲罰的GAN算法（GAN-0GP）[13]，條件熵距離懲罰GAN（EDGAN）[14]。這類模型在動漫圖像生成方面，網(wǎng)絡(luò)在訓(xùn)練過程中容易發(fā)生模型崩塌或者生成圖像質(zhì)量難以滿足現(xiàn)實任務(wù)的需求。

本文提出了一種從隨機噪聲經(jīng)過生成對抗網(wǎng)絡(luò)去生成近似于真實圖像的樣本。為了去解決訓(xùn)練過程中模式崩塌、生成樣本單一、圖片的局部細節(jié)不足和質(zhì)量差的問題，對GAN引入一些結(jié)構(gòu)并在生成器的目標函數(shù)上添加由條件熵構(gòu)造的距離懲罰函數(shù)來提高生成樣本質(zhì)量。

1? 相關(guān)工作

1.1? 生成對抗網(wǎng)絡(luò)

GAN是一種兩個神經(jīng)網(wǎng)絡(luò)相互競爭的特殊過程，由Goodfellow于2014年提出，第一個網(wǎng)絡(luò)輸入噪聲z生成數(shù)據(jù)，為生成模型（Generative Model， G），第二個網(wǎng)絡(luò)試圖區(qū)分真實數(shù)據(jù)與第一個網(wǎng)絡(luò)創(chuàng)造出來的假數(shù)據(jù)，會給出一個在[0，1]范圍內(nèi)的標量，代表該數(shù)據(jù)為真實數(shù)據(jù)的概率，為判別模型（Discriminative Model， D）。原始GAN的損失函數(shù)是極小極大對抗方式，具體如下所示：

（1）

在訓(xùn)練過程中G的目標就是盡量生成真實的圖片去欺騙D，而D的目標就是盡量把G的圖片和真實的圖片分開，這樣，G和D構(gòu)成了一個動態(tài)的“博弈過程”。網(wǎng)絡(luò)的框架結(jié)構(gòu)如圖1所示。

1.2? 多尺度注意力特征提取單元

多尺度注意力特征提取單元[15]由多尺度特征融合和注意力機制[16]構(gòu)成，改善了網(wǎng)絡(luò)對圖片細節(jié)感知能力較差的問題。多尺度網(wǎng)絡(luò)層通過不同尺寸的感受野可以提取到多種特征[17]，而注意力模塊使得網(wǎng)絡(luò)對每個通道特征產(chǎn)生不同的注意力，從而使得網(wǎng)絡(luò)可以學(xué)習(xí)到特征圖里的重要信息，保證生成器生成高質(zhì)量的圖像，結(jié)構(gòu)如圖2所示。該模塊表達式為：

（2）

（3）

式中：Xc表示特征圖，GlobaAveragePooling2D是對尺寸為W×H×C的Xc進行全局平均池化，壓縮通道的空間信息Zc。D表示全連接層，σ和δ分別表示softmax和ReLU激活函數(shù)，Reshape使其尺寸轉(zhuǎn)換為1×1×C，得到通道的激活權(quán)重，與特征圖Xc相乘得到Rc。

圖1? MAC-GAN網(wǎng)絡(luò)結(jié)構(gòu)圖

1.3? 殘差塊

早期的研究員從理論上來分析，網(wǎng)絡(luò)深度越深帶來的效果就越好，但是在實際的操作中會發(fā)現(xiàn)網(wǎng)絡(luò)深度的加深，訓(xùn)練往往不盡人意。后來Microsoft Research等人[18]提出了殘差網(wǎng)絡(luò)，殘差結(jié)構(gòu)主要由快捷連接和恒等映射構(gòu)成，網(wǎng)絡(luò)設(shè)計為H（x） = F（x） + x，這樣目標訓(xùn)練就轉(zhuǎn)換為去學(xué)習(xí)一個殘差函數(shù)F（x） = H（x） - x，無須去訓(xùn)練到一個等價映射，只需將其逼近于0，這樣擬合殘差更加容易。結(jié)構(gòu)如圖3所示，其內(nèi)部的殘差塊使用了跳躍鏈接，確保在不會因為模型深度的增加出現(xiàn)梯度消失。

圖3? 殘差塊結(jié)構(gòu)

1.4? 多尺度判別器

本文所借鑒的多尺度判別網(wǎng)絡(luò)[19]僅使用一個判別器，對輸入的圖像進行下采樣，下采樣的圖像進行卷積操作得到特征圖，并附加在對原圖像進行跨步卷積所得到的特征圖上，實現(xiàn)特征融合后傳給判別器進行后續(xù)操作。引用多尺度判別是為了可以在不同尺度的感受野上面處理特征信息，高層網(wǎng)絡(luò)的感受野比較大，宏觀信息表征能力強，淺層網(wǎng)絡(luò)感受野小，圖像細節(jié)的表征能力強，在合適的層進行多尺度特征融合可以有效的獲取圖像信息，有利于判別器對圖像做出精準的判別。

2? 模型框架

2.1? 目標函數(shù)

在原始GAN中，判別器和生成器需要優(yōu)化的目標函數(shù)分別為：

（4）

（5）

式中Pz和Pdata分別表示真實分布與生成分布，Goodfellow等人為了更好的訓(xùn)練GAN，將上式中（5）轉(zhuǎn)換為非飽和損失函數(shù)，具體如下：

（6）

本文在保證生成樣本的多樣性的同時為了提升生成樣本質(zhì)量，即盡量使生成分布盡可能的逼近真實分布，在生成器目標函數(shù)上添加條件熵距離。在條件X下，Y的條件熵定義為：

（7）

式中，F(xiàn)（x，y）與F（x | y）分別表示X和Y的聯(lián)合分布函數(shù)和條件分布函數(shù)。條件熵距離定義為：

（8）

將原有GAN的生成器目標函數(shù)加上條件熵距離得到新的生成器目標函數(shù)為：

（9）

其中λ表示懲罰因子，ρ表示條件熵距離，XE與XG的取值空間分別表示真實數(shù)據(jù)域與生成數(shù)據(jù)域。

2.2? 生成模型

為了避免模型崩塌和提高生成的動漫圖像質(zhì)量，本文對生成器的模型進行了修改，生成器的具體結(jié)構(gòu)如圖4所示。生成模型主要由兩部分構(gòu)成，第一部分對輸入的噪聲Z用上采樣聯(lián)合步長為1的卷積層生成特征圖，其尺寸為W×H×C（W表示圖片寬度，H表示圖片高度，C表示通道數(shù)），用該方法生成是為了避免多個反卷積疊加而產(chǎn)生不同尺度上的假象[20]，第二部分把特征圖作為多尺度注意力特征提取單元的輸入，經(jīng)兩個殘差塊后使用步長為1的卷積核調(diào)整通道數(shù)生成圖像。

圖4? 生成器的網(wǎng)絡(luò)結(jié)構(gòu)

2.3? 判別模型

判別模型由兩個部分構(gòu)成，多尺度特征融合和VGG網(wǎng)絡(luò)結(jié)構(gòu)[21]，模型結(jié)構(gòu)如圖5所示。通過對原圖像進行下采樣和原圖像這兩個尺度做特征提取，一方面對原圖像進行步長為2的卷積操作提取特征，另一方面對原圖像進行MaxPooling和步長為1的卷積來提取特征，兩者合并為一個聚合特征圖傳給下一個卷積組。對聚合特征圖的判別，使用兩個3×3卷積核的卷積層來取代大卷積核的卷積層，并將網(wǎng)絡(luò)層中的池化層改為卷積核為5×5的跨步卷積層，將提取到的特征圖平鋪后連接全連接層后用sigmod激活函數(shù)激活。

2.4? 實驗準備工作

實驗基于TensorFlow深度學(xué)習(xí)框架實現(xiàn)，實驗所需的數(shù)據(jù)集是從網(wǎng)上搜集約50 000張動漫人物圖像，將這些圖片縮放到64×64供網(wǎng)絡(luò)訓(xùn)練，實驗的測試集隨機選取DANBOORU2018的1 000張圖片，同時也處理為64×64。在網(wǎng)絡(luò)訓(xùn)練過程中采用RMS優(yōu)化器進行優(yōu)化并設(shè)置學(xué)習(xí)率為0.000 5，batch_size設(shè)置為64，條件熵距離懲罰因子設(shè)置為1。

2.5? 評價指標

為了說明MGAN-ED（Multi Scale Generating Confrontation Network with Dependency of Entropy Distance）網(wǎng)絡(luò)模型可以生成更高質(zhì)量的圖片并保證圖片的多樣性，本文使用兩個衡量指標Generative Adversarial Metric（GAM）[22]和Frechet Inception Distance（FID）[23]，前者是為了用來評價生成樣本質(zhì)量，后者為了評價生成樣本的多樣性。

1）GAM。GAM用于兩個模型M1 = （G1，D1）和M2 = （G2，D2）之間生成樣本質(zhì)量的比較，在比較中有兩個重要比值Rtest和Rsample供我們判別模型的優(yōu)劣，表示為：

（10）

（11）

式中G1與G2用同一個隨機噪聲z來生成圖片，Xtest表示測試集，D1 （Xtest）表示用訓(xùn)練好的判別器對測試集做判別。Rtset是為了確保不同模型的判別器對數(shù)據(jù)不具有偏向性，避免出現(xiàn)判別器對數(shù)據(jù)過擬合而導(dǎo)致無用的實驗數(shù)據(jù)，需要在Rtset ≈ 1（在本實驗中若0.85＜Rtset＜1，則認為Rtset ≈ 1）的情況下通過Rsample來決定勝出模型，具體規(guī)則如下：

（12）

2）FID。對于生成樣本的多樣性，我們通多FID來評價網(wǎng)絡(luò)模型，通過均值和協(xié)方差來計算生成分布和真實分布之間的距離，表示為：

（13）

式中生成真實樣本Pr與生成樣本Pg通過取消了最后一層pooling層的inception network網(wǎng)絡(luò)計算的n維特征，Ui表示計算特征均值，∑i表示計算特征方差。如果網(wǎng)絡(luò)生成的圖片擁有較高的質(zhì)量和多樣性時，F(xiàn)ID的分數(shù)會相對較低。

2.6? 模型結(jié)果分析對比

通過對不同的GAN模型進行多次實驗，記錄GAN模型在訓(xùn)練中是否發(fā)生模式崩塌和最早發(fā)生模式崩塌的epoch來驗證本文模型在該數(shù)據(jù)集上解決了模式崩塌的問題。表1為對不同GAN模型進行10次實驗的數(shù)據(jù)統(tǒng)計，可以看出在有限的次數(shù)里本文模型在訓(xùn)練過程中表現(xiàn)穩(wěn)定，要優(yōu)于其他GAN模型，在一定程度上解決了模式崩塌問題，避免對不同噪聲生成幾乎一樣的圖像。

表1? 不同模型在訓(xùn)練中發(fā)生模式崩塌次數(shù)統(tǒng)計

模型 模式崩塌次數(shù) 最早發(fā)生模式崩塌epoch

DCGAN 9 20

WGAN 3 58

LSGAN 8 19

SNGAN 2 55

首先通過GAM來評價模型生成樣本的質(zhì)量，把DCGAN、WGAN-GP、LSGAN、SNGAN四個網(wǎng)絡(luò)看作M1 = （G1，D1），本文模型MGAN-ED看作M2 = （G2，D2）。表2為四個網(wǎng)絡(luò)與MGAN-ED比較結(jié)果。從表2我們可以直觀的看到MGAN-ED與其他幾個網(wǎng)絡(luò)相比都是winner，在同等級的評價性能下，MGAN-ED生成的圖片更容易欺騙對手的判別器，意味著MGAN-ED生成樣本更接近真實樣本，生成圖像的質(zhì)量更高。

表2? 不同模型與MGAN-ED之間的GAM比較

M1 M2 Rtest Rsample

DCGAN MGAN-ED 0.99 1.90

SNGAN MGAN-ED 1.02 1.58

WGAN-GP MGAN-ED 1.01 1.36

LSGAN MGAN-ED 1.00 1.64

再通過FID來評價模型生成樣本的多樣性，在模模式?jīng)]崩塌的前提下，用訓(xùn)練好的生成器生成1000張圖像作為樣本圖像用于實驗，實驗結(jié)果如表3所示。從表3的實驗數(shù)據(jù)可以看出本文模型MGAN-ED所生成樣本具有更高的多樣性。在模型的生成器中融入多尺度注意力特征提取單元使得FID降到63.503，相對于EDGAN提高了23.48%。綜合兩個實驗數(shù)據(jù)知道，MGAN-ED在生成樣本方面表現(xiàn)良好，本文所提出的生成器結(jié)構(gòu)在保證生成樣本多樣性的情況下，生成更高質(zhì)量的動漫。

表3? 不同模型與MGAN-ED之間的FID比較

模型名稱 FID

DCGAN（2015） 103.004

LSGAN（2017） 99.458

WGAN-GP（2017） 87.879

SNGAN（2018） 85.473

GAN-OGP（2019） 81.283

EDGAN（2021） 82.993

MGAN-ED 63.503

2.7? 可視化結(jié)果

在訓(xùn)練好的模型中（未發(fā)生模式崩塌），DCGAN生成的動漫頭像顆粒感嚴重，頭像比較扭曲，視覺感受差，LSGAN生成的圖片質(zhì)量相對于DCGAN并沒有太大提升。WGAN-GP部分生成圖像具有一定的清晰度和真實度，但是大部分是比較扭曲的，而本文所提出的模型MGAN-ED生成樣本圖像細節(jié)更豐富，部分人物的眼神與表情生動，更貼近真實圖像。訓(xùn)練后的模型生成圖片直觀的感受各個網(wǎng)絡(luò)生成質(zhì)量，效果如表4所示。

表4? 不同模型生成樣本的可視化結(jié)果

模型 紅 紫 藍 棕

DCGAN

LSGAN

SNGAN

WGAN-GP

MGAN-ED

3? 結(jié)? 論

本文基于新的生成器目標函數(shù)，結(jié)合注意力機制、殘差塊和多尺度判別提出了改進模型MAR-GAN提高了動漫頭像生成樣本的質(zhì)量。模型主要依賴于多尺度注意力特征提取單元對通道信息的提取便于網(wǎng)絡(luò)在生成的過程中注意局部細節(jié)上的生成和條件熵距離懲罰生成器目標函數(shù)使得生成樣本接近真實樣本。實驗結(jié)果表明，MAC-GAN在訓(xùn)練的穩(wěn)定性、生成樣本的多樣性和生成樣本質(zhì)量表現(xiàn)更好。

參考文獻：

[1] GOODFELLOW I，POUGET-ABADIE J，MIRZA M，et al. Generative adversarial nets [J].Advances in neural information processing systems，2014，27：2672-2680.

[2] MIRZA M，OSINDERO S. Conditional Generative Adversarial Nets [J/OL].arXiv：1411.1784 [cs.LG].（2014-11-06）.https：//arxiv.org/abs/1411.1784.

[3] ODENA A，OLAH C，SHLENS J. Conditional Image Synthesis With Auxiliary Classifier GANs [C]//International conference on machine learning.PMLR，2017：2642-2651.

[4] RADFORD A，METZ L，CHINTALA S .Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks [J/OL].arXiv：1511.06434 [cs.LG].（2015-11-19）.https：//arxiv.org/abs/1511.06434v1.

[5] KRIZHEVSKY A，SUTSKEVER I，HINTON G. ImageNet Classification with Deep Convolutional Neural Networks [J]. Communications of the ACM，2017，60（6）：84-90.

[6] CHEN X，DUAN Y，HOUTHOOFT R，et al. InfoGAN：Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets [C]//NIPS'16： Proceedings of the 30th International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc，2016：2180-2188.

[7] JOLICOEUR-MARTINEAU A. The relativistic discriminator：a key element missing from standard GAN [J/OL].arXiv：1807.00734 [cs.LG].（2018-07-02）.https：//arxiv.org/abs/1807.00734v1.

[8] ZHAO J，MATHIEU M，LECUN Y. Energy-based generative adversarial network [J/OL].arXiv：1609.03126 [cs.LG].（2016-09-11）.https：//arxiv.org/abs/1609.03126v2.

[9] MIYATO T，KATAOKA T，KOYAMA M，et al. Spectral Normalization For Generative Adversarial Networks [J/OL].arXiv：1802.05957 [cs.LG].（2018-02-16）.https：//arxiv.org/abs/1802.05957v1.

[10] MAO X，LI Q，XIE H，et al. Least Squares Generative Adversarial Networks [C]//Proceedings of the IEEE international conference on computer vision.IEEE，2017：2794-2802.

[11] ARJOVSKY M，CHINTALA S，BOTTOU L. Wasserstein GAN [J/OL].arXiv：1701.07875 [stat.ML].（2017-01-26）.https：//arxiv.org/abs/1701.07875.

[12] GULRAJANI I，AHMED F，ARJOVSKY M，et al. Improved Training of Wasserstein GANs [C]//Advances in neural information processing systems.Red Hook：Curran Associates Inc+，2017：5769-5779.

[13] THANH-TUNG H，TRAN T，VENKATESH S. Improving generalization and stability of generative adversarial networks [J/OL].arXiv：1902.03984 [cs.LG].（2019-02-11）.https：//arxiv.org/abs/1902.03984.

[14] 譚宏衛(wèi)，王國棟，周林勇，等.基于一種條件熵距離懲罰的生成式對抗網(wǎng)絡(luò) [J].軟件學(xué)報，2021，32（4）：1116-1128.

[15] 甄誠，楊永勝，李元祥，等.基于多尺度生成對抗網(wǎng)絡(luò)的大氣湍流圖像復(fù)原 [J].計算機工程，2021，47（11）：227-233.

[16] HOWARD A，SANDLER M，CHU G，et al. Searching for mobilenetv3 [C]//Proceedings of the IEEE International Conference on Computer Vision.IEEE，2019：1314-1324.

[17] 熊亞輝，陳東方，王曉峰.基于多尺度反向投影的圖像超分辨率重建算法 [J].計算機工程，2020，46（7）：251-259.

[18] HE K，ZHANG X，REN S，et al. Deep residual learning for image recognition [C]//Proceedings of the IEEE conference on computer vision and pattern recognition.IEEE，2016：770-778.

[19] KARNEWAR A，WANG O. MSG-GAN： Multi-Scale Gradients for Generative Adversarial Networks [J/OL].arXiv：1903.06048 [cs.CV].（2019-03-14）.https：//arxiv.org/abs/1903.06048.

[20] ODENA A ，DUMOULIN V ，OLAH C .Deconvolution and Checkerboard Artifacts [J/OL].Distill，2016，1（10）：（2016-10-17）.https：//distill.pub/2016/deconv-checkerboard/.

[21] SIMONYAN K，ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [J/OL].arXiv：1409.1556 [cs.CV].（2014-09-14）.https：//arxiv.org/abs/1409.1556.

[22] IM D J，KIM C D，JIANG H，et al. Generating images with recurrent adversarial networks [J/OL].arXiv：1602.05110 [cs.LG].（2016-02-16）.https：//arxiv.org/abs/1602.05110v5.

[23] HEUSEL M，RAMSAUER H，UNTERTHINER T，et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Nash Equilibrium [C]//NIPS'17： Proceedings of the 31st International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc，2017：6626-6637.

作者簡介：孫慧康（1996—），男，漢族，江西九江人，助教，碩士，研究方向：人工智能；彭開陽（1996—），男，漢族，安徽宣城人，碩士，研究方向：云計算與大數(shù)據(jù)。