選擇性集成學(xué)習(xí)多判別器生成對(duì)抗網(wǎng)絡(luò)

申瑞彩，翟俊海+，侯瓔真

1.河北大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院，河北 保定 071002

2.河北大學(xué) 河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室，河北 保定 071002

近年來(lái)，深度學(xué)習(xí)技術(shù)在許多方向取得巨大進(jìn)展，通過(guò)構(gòu)建類似人腦結(jié)構(gòu)的多層神經(jīng)元網(wǎng)絡(luò)，對(duì)輸入信息進(jìn)行特征抽取與合成等操作，進(jìn)而形成更加抽象的高維特征，大量實(shí)驗(yàn)數(shù)據(jù)證明，該算法已經(jīng)大大超越了傳統(tǒng)機(jī)器學(xué)習(xí)算法。在深度學(xué)習(xí)的發(fā)展過(guò)程中，出現(xiàn)了以生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）為代表的模型，該模型由生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)兩部分組成，生成器從潛在空間中采樣，產(chǎn)生數(shù)據(jù)，判別網(wǎng)絡(luò)則對(duì)輸入的數(shù)據(jù)進(jìn)行鑒別，二者相互競(jìng)爭(zhēng)，相互促進(jìn)。

隨著模型應(yīng)用的廣泛，存在的問(wèn)題日漸突出，一種提高模型性能的方式是將模型在有監(jiān)督的環(huán)境下進(jìn)行訓(xùn)練，但該方式實(shí)現(xiàn)較為困難，因此未得到普及。而無(wú)監(jiān)督環(huán)境下對(duì)模型訓(xùn)練又會(huì)帶來(lái)諸多問(wèn)題，同時(shí)現(xiàn)有的許多模型普遍采用單判別網(wǎng)絡(luò)的形式，判別網(wǎng)絡(luò)在模型中具有重要作用，僅含有單判別網(wǎng)絡(luò)的模型易受判別誤差的影響，從而影響生成網(wǎng)絡(luò)學(xué)習(xí)。2016年提出的生成多對(duì)抗網(wǎng)絡(luò)模型（generative multi-adversarial networks，GMAN）則考慮到了這一問(wèn)題，作者將生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)采用多判別網(wǎng)絡(luò)的形式，這一改進(jìn)提升了模型性能，但作者并未對(duì)判別結(jié)果進(jìn)行篩選，另外判別網(wǎng)絡(luò)均采用相似的網(wǎng)絡(luò)設(shè)置，在訓(xùn)練中模型會(huì)趨近于一種網(wǎng)絡(luò)表達(dá)。因此，如何優(yōu)化以及解決上述問(wèn)題具有一定的研究意義。

本文針對(duì)在生成對(duì)抗網(wǎng)絡(luò)中存在的尚未解決的問(wèn)題，提出了一種全新的網(wǎng)絡(luò)結(jié)構(gòu)。將選擇性集成學(xué)習(xí)的方式引入到判別網(wǎng)絡(luò)中，同時(shí)采用依據(jù)基判別網(wǎng)絡(luò)的判別性能動(dòng)態(tài)調(diào)整基判別網(wǎng)絡(luò)的投票權(quán)重的軟投票策略，充分發(fā)揮基判別網(wǎng)絡(luò)的優(yōu)勢(shì)抑制基判別網(wǎng)絡(luò)劣勢(shì)的影響，有效減少了判別誤差。實(shí)驗(yàn)證明文本提出的模型性能上均優(yōu)于現(xiàn)有的幾種競(jìng)爭(zhēng)模型。

本文的主要貢獻(xiàn)包括以下三方面：

（1）提出基于選擇性集成學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)模型；

（2）在無(wú)監(jiān)督方式下，本文所提模型在生成樣本質(zhì)量與多樣性上均得到大幅度提升；

（3）提出的基于選擇性集成學(xué)習(xí)思想的模型在收斂速度方面較傳統(tǒng)模型均有明顯提高。

1 相關(guān)工作

生成模型是無(wú)監(jiān)督學(xué)習(xí)任務(wù)中常用的一類方法，其可直接學(xué)習(xí)樣本數(shù)據(jù)中的分布。在神經(jīng)網(wǎng)絡(luò)興起之前，生成模型主要對(duì)數(shù)據(jù)的分布進(jìn)行顯式建模。應(yīng)用較多的有基于有向圖模型的赫姆霍茲?rùn)C(jī)（Helmholtz machines）、變分自編碼器（variational autoencoder，VAE）、基于無(wú)向圖模型的受限玻爾茲曼機(jī)（restricted Boltzmann machines，RBM）和深度玻爾茲曼機(jī)（deep Boltzmann machines，DBM）等。

當(dāng)被建模變量為高維時(shí)，上述生成模型將面臨指數(shù)級(jí)計(jì)算量，為優(yōu)化這一問(wèn)題，生成式對(duì)抗網(wǎng)絡(luò)（GAN）被提出。該模型至今已有多種變體，并廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)和圖形應(yīng)用等領(lǐng)域。而后根據(jù)不同的任務(wù)，生成對(duì)抗網(wǎng)絡(luò)架構(gòu)也有相應(yīng)的變化。2015 年提出深度卷積神經(jīng)網(wǎng)絡(luò)（unsupervised representation learning with deep convolutional generative adversarial networks，DCGAN），將卷積融入到神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，這一模型在后續(xù)研究中得到廣泛應(yīng)用。

生成式對(duì)抗網(wǎng)絡(luò)（GAN）理論上可以收斂到最優(yōu)的納什均衡點(diǎn)，這足以保證生成網(wǎng)絡(luò)可以學(xué)習(xí)到真實(shí)數(shù)據(jù)分布，然而在實(shí)際應(yīng)用中，模型常出現(xiàn)模式崩潰，為解決這一問(wèn)題，提出了條件式生成對(duì)抗網(wǎng)絡(luò)（conditional generative adversarial networks，CGAN），但該模型訓(xùn)練需要大量已標(biāo)記數(shù)據(jù)，目前如何獲取已標(biāo)記數(shù)據(jù)仍無(wú)有效方法。在InfoGAN（interpreter representation learning by information maximizing generative adversarial nets）中作者為強(qiáng)制生成器學(xué)習(xí)特定于因子的生成，將潛在因子和生成器分布之間的互信息最大化。

2016 年發(fā)表的Ensembles of generative adversarial networks中，模型采用多生成器集成的方式來(lái)提高生成樣本的多樣性，但此模型并未解決模式單一問(wèn)題。同年提出的CoGAN（coupled generative adversarial networks）模型，通過(guò)訓(xùn)練具有共享參數(shù)的兩個(gè)生成器以學(xué)習(xí)數(shù)據(jù)的聯(lián)合分布，共享參數(shù)將兩個(gè)生成器引導(dǎo)到相似的子空間，該模型關(guān)注在生成網(wǎng)絡(luò)中且在不同域上進(jìn)行訓(xùn)練。2016年提出的GMAN模型，利用多判別器的集合來(lái)引導(dǎo)生成網(wǎng)絡(luò)產(chǎn)生更好的樣本，從而穩(wěn)定生成器的訓(xùn)練，在這一文章中作者注重從理論方面闡述模型架構(gòu)。本文主要受這一模型啟發(fā)，但作者并未考慮到判別性能較差的判別網(wǎng)絡(luò)對(duì)模型的收斂帶來(lái)的影響而是采用所有網(wǎng)絡(luò)的判別結(jié)果。

文中提出的基于選擇性集成學(xué)習(xí)的多判別網(wǎng)絡(luò)根據(jù)判別網(wǎng)絡(luò)在某一類別上的判別精確度動(dòng)態(tài)賦予判別網(wǎng)絡(luò)投票權(quán)重，從而有效發(fā)揮了各判別網(wǎng)絡(luò)的優(yōu)勢(shì)。

2 基礎(chǔ)知識(shí)

本章介紹將要用到的基礎(chǔ)知識(shí)，包括生成對(duì)抗網(wǎng)絡(luò)和集成學(xué)習(xí)。

2.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）核心思想源于博弈論中的納什均衡，模型主要包含兩部分，生成圖像的生成網(wǎng)絡(luò)，判別圖像真?zhèn)蔚呐袆e網(wǎng)絡(luò)，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)均由參數(shù)化的神經(jīng)網(wǎng)絡(luò)組成。網(wǎng)絡(luò)模型如圖1所示。

圖1 生成對(duì)抗網(wǎng)絡(luò)模型Fig.1 Model of generative adversarial networks

生成器的輸入為服從某一分布p的隨機(jī)向量，假設(shè)真實(shí)數(shù)據(jù)的分布為，在給定一定量真實(shí)數(shù)據(jù)集的條件下，對(duì)生成對(duì)抗網(wǎng)絡(luò)進(jìn)行訓(xùn)練，生成器將學(xué)習(xí)到近似于真實(shí)數(shù)據(jù)的分布。該網(wǎng)絡(luò)的目標(biāo)為最小化真實(shí)數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的距離，可用式（1）來(lái)表示：

2.2 選擇性集成學(xué)習(xí)方法

本文采用的選擇性集成學(xué)習(xí)是集成學(xué)習(xí)方式的一種，即在集成學(xué)習(xí)的基礎(chǔ)上增加了對(duì)基學(xué)習(xí)器的選擇階段。傳統(tǒng)集成學(xué)習(xí)方式得到的是一系列弱學(xué)習(xí)器，之后并未對(duì)弱學(xué)習(xí)器進(jìn)行有效處理，在實(shí)驗(yàn)中設(shè)置了將全部弱學(xué)習(xí)器的信息進(jìn)行采納，結(jié)果證明相比于僅使用單判別器的情況，這種方式對(duì)網(wǎng)絡(luò)性能略有提升，因基判別網(wǎng)絡(luò)的判別性能不一，采用這一方式并未使網(wǎng)絡(luò)達(dá)到最優(yōu)值，綜上該方式并不可取。而選擇性集成學(xué)習(xí)通過(guò)一定的集成策略，對(duì)基學(xué)習(xí)器進(jìn)行處理，與本文的思想相吻合。

該方法如圖2 所示，通過(guò)弱學(xué)習(xí)器的選擇性集成，集成策略依問(wèn)題而定，該集成策略將滿足要求的個(gè)體學(xué)習(xí)器權(quán)重增加，降低不滿足要求的個(gè)體學(xué)習(xí)器的權(quán)重，從而改善模型的整體性能。

圖2 選擇性集成學(xué)習(xí)示意圖Fig.2 Diagram of selective ensemble learning

下面介紹集成策略，集成策略一般分為平均法、投票法、學(xué)習(xí)法三種方法。

（1）平均法分為簡(jiǎn)單平均與加權(quán)平均。

簡(jiǎn)單平均：

加權(quán)平均：

其中，w是個(gè)體學(xué)習(xí)器h的權(quán)重。

（2）投票法主要分為相對(duì)多數(shù)投票法、絕對(duì)多數(shù)投票法和加權(quán)投票法。

（3）學(xué)習(xí)法通過(guò)將得到的一系列初級(jí)學(xué)習(xí)器的結(jié)果作為次級(jí)學(xué)習(xí)器的輸入，從而進(jìn)行集成，該方法的典型代表為Stacking 方法。

3 提出模型

傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)被定義為min-max 學(xué)習(xí)框架，模型包含生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)，早先證實(shí)如果給予足夠的網(wǎng)絡(luò)學(xué)習(xí)能力，判別器會(huì)達(dá)到理想的全局最優(yōu)解，此時(shí)()=()，即生成器學(xué)習(xí)到了真實(shí)數(shù)據(jù)分布。若模型僅由單判別網(wǎng)絡(luò)進(jìn)行判別，易受判別網(wǎng)絡(luò)性能影響出現(xiàn)誤差。為減少誤差、加速模型收斂，本文引入集成學(xué)習(xí)機(jī)制，模型如圖3 所示。具體地，將生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)改成集成判別系統(tǒng)，同時(shí)基判別網(wǎng)絡(luò)采用不同的網(wǎng)絡(luò)設(shè)置，以避免在訓(xùn)練中所有網(wǎng)絡(luò)趨近于一種表達(dá)形式，具體的網(wǎng)絡(luò)設(shè)置將會(huì)在實(shí)驗(yàn)部分進(jìn)行介紹，對(duì)于每個(gè)判別網(wǎng)絡(luò)都將接收來(lái)自真實(shí)數(shù)據(jù)集的樣本及生成網(wǎng)絡(luò)生成的樣本，并獨(dú)立判斷。由于基判別器判別性能不一，將所有判別結(jié)果進(jìn)行采納勢(shì)必影響生成網(wǎng)絡(luò)學(xué)習(xí)，有必要對(duì)判別結(jié)果進(jìn)行處理，從而發(fā)揮基判別網(wǎng)絡(luò)的優(yōu)勢(shì)，削弱甚至避免由判別網(wǎng)絡(luò)性能不佳產(chǎn)生的影響。由于判別能力不同，設(shè)固定權(quán)重顯然不妥，應(yīng)根據(jù)判別網(wǎng)絡(luò)當(dāng)前判別能力進(jìn)行權(quán)值分配。綜上，該模型最終決定采用可以動(dòng)態(tài)調(diào)整基判別網(wǎng)絡(luò)的投票權(quán)重的軟投票策略。該投票策略的具體做法是根據(jù)不同分類器在同一類別上的精確率做Softmax 運(yùn)算，其結(jié)果為不同分類器在該類別上的預(yù)測(cè)權(quán)重值。權(quán)重值如式（4）所示：

圖3 選擇性集成學(xué)習(xí)多判別器生成對(duì)抗網(wǎng)絡(luò)模型Fig.3 Selective ensemble learning for multi-discriminator generative adversarial network model

其中，w表示第個(gè)基分類器第類的權(quán)重，p表示第個(gè)基分類器第類別的精確率。

目標(biāo)函數(shù)如下：

（1）生成網(wǎng)絡(luò)

在集成判別模型中，生成網(wǎng)絡(luò)的輸入為隨機(jī)噪聲，輸出被傳送到集成判別系統(tǒng)中。為了生成網(wǎng)絡(luò)得到更有效的訓(xùn)練，生成網(wǎng)絡(luò)目標(biāo)函數(shù)如式（5）所示：

其中，≤，為一次訓(xùn)練結(jié)束后選擇集成判別網(wǎng)絡(luò)的數(shù)量，為集成判別系統(tǒng)中的集成網(wǎng)絡(luò)數(shù)量，D表示第個(gè)基判別器。

（2）判別網(wǎng)絡(luò)

在集成判別網(wǎng)絡(luò)中，各基判別器的輸入為來(lái)自生成樣本與真實(shí)數(shù)據(jù)集中的樣本，其目標(biāo)仍是正確區(qū)分各樣本。

這與傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)中判別器的目標(biāo)一致，因此在該網(wǎng)絡(luò)模型中基判別網(wǎng)絡(luò)的目標(biāo)函數(shù)可寫成式（6）的形式：

其中，為集成判別網(wǎng)絡(luò)的個(gè)數(shù)，(D,)表示基判別網(wǎng)絡(luò)D的損失函數(shù)。max(·)表示集成判別網(wǎng)絡(luò)的損失函數(shù)。

4 實(shí)驗(yàn)與結(jié)果

為驗(yàn)證模型的有效性，分別在CelebA（RGB 圖）和MNIST（灰度圖）數(shù)據(jù)集上進(jìn)行多個(gè)對(duì)比實(shí)驗(yàn)。其中CelebA 數(shù)據(jù)集共包含200 000 張彩色圖像，圖像尺寸為178×218，為便于實(shí)驗(yàn)采用了其中的30 000張圖像，并將圖像處理為128×160；使用的MNIST數(shù)據(jù)集共包含55 000 張灰色圖像，圖像尺寸為28×28。實(shí)驗(yàn)的環(huán)境為Tensorflow1.0，Python3.7.3，NVIDIA GFORCE GTX980，Windows10 操作系統(tǒng)。

4.1 度量標(biāo)準(zhǔn)

本文選擇的度量指標(biāo)主要用來(lái)評(píng)價(jià)模型生成樣本的質(zhì)量與多樣性。具體地使用：

（1）IS(inception score)評(píng)價(jià)指標(biāo)，如式（7）所示：

其中，(|)表示輸入圖像服從的概率分布，()表示全體圖像的概率分布。該評(píng)價(jià)指標(biāo)較好地度量了生成樣本與真實(shí)樣本的差距，若生成樣本與真實(shí)樣本越接近，則值越大。

表1 針對(duì)MNIST 數(shù)據(jù)集的各網(wǎng)絡(luò)卷積層配置Table 1 Convolution layers configuration of each discriminant network for MNIST dataset

（2）FID(Fréchet inception distance)評(píng)價(jià)指標(biāo)

該指標(biāo)通過(guò)計(jì)算真實(shí)樣本與生成樣本在特征層的距離很好地度量了生成樣本的優(yōu)劣，其數(shù)學(xué)表達(dá)式如式（8）所示：

其中，表示真實(shí)樣本的特征均值；表示生成樣本的特征均值；表示真實(shí)樣本特征的協(xié)方差矩陣；表示生成樣本特征的協(xié)方差矩陣。

該評(píng)價(jià)指標(biāo)將生成樣本與真實(shí)樣本特征圖的均值與協(xié)方差矩陣進(jìn)行比較，當(dāng)生成樣本與真實(shí)樣本的特征越相近，其值越小。

（3）KID(kernel inception distance)評(píng)價(jià)指標(biāo)

若生成樣本與真實(shí)樣本之間的差異越小，則其值越小。

4.2 實(shí)驗(yàn)結(jié)果

主要從以下方面進(jìn)行實(shí)驗(yàn)：（1）集成不同判別網(wǎng)絡(luò)數(shù)量對(duì)生成樣本的影響；（2）將模型與同方向工作進(jìn)行對(duì)比；（3）分析模型的時(shí)間復(fù)雜度。

（1）集成不同數(shù)量判別網(wǎng)絡(luò)

實(shí)驗(yàn)細(xì)節(jié)：隨機(jī)噪聲服從～(-1,1)；網(wǎng)絡(luò)訓(xùn)練采用Adam 優(yōu)化器（學(xué)習(xí)率l=2×10,動(dòng)量參數(shù)=0.5）；生成網(wǎng)絡(luò)的結(jié)構(gòu)為（7，7，32），（7，7，64），（14，14，128），（28，28，64），（28，28，1）；因小卷積核在分辨率較低時(shí)表現(xiàn)較好，且可減少參數(shù)量，所以網(wǎng)絡(luò)中與DCGAN 的5×5 的卷積核不同，本文選用了3×3 的卷積核，另外在最后一層采用了1×1 的卷積，基判別網(wǎng)絡(luò)間的不同之處在濾波器的數(shù)量，即數(shù)量上的乘以2 或4，或除以2 或4，具體設(shè)置如表1 所示。

圖4 為分別使用平均法與投票法時(shí)模型生成樣本的情況，投票法比平均法生成樣本質(zhì)量較高。另外，分別使用三種評(píng)價(jià)指標(biāo)對(duì)兩種集成策略下不同的模型生成的樣本進(jìn)行評(píng)價(jià)，結(jié)果如表2～表4 所示。通過(guò)對(duì)比可知采用平均法的模型總體沒(méi)有采用投票法的性能高，這是由于平均法中沒(méi)有減小性能較差的模型的影響，而采用具有動(dòng)態(tài)調(diào)整權(quán)值的投票法則最大程度地提高了判別網(wǎng)絡(luò)的準(zhǔn)確率（*對(duì)應(yīng)的模型為在此指標(biāo)下的最佳模型）。

圖4 采用不同集成策略生成的樣本對(duì)比Fig.4 Network generated samples by different integration strategies

表2 不同集成模型在兩種集成策略下的IS 得分Table 2 IS score of different integration models under two integration strategies

表3 不同集成模型在兩種集成策略下的FID 得分Table 3 FID score of different integration models under two integration strategies

表4 不同集成模型在兩種集成策略下的KID 得分Table 4 KID score of different integration models under two integration strategies

圖5 EGAN-n(n=3,4,5,6)模型生成的手寫體圖像Fig.5 Handwritten images generated by EGAN-n (n=3,4,5,6)

圖6 不同模型生成的手寫體圖像對(duì)比Fig.6 Comparison of handwritten images generated by different models

圖5 為EGAN-(=3,4,5,6)模型在迭代次數(shù)分別為1、2、4、5、10 epochs 時(shí)生成的手寫體圖像，可知當(dāng)訓(xùn)練為10 epochs 時(shí)，4 種模型均達(dá)到收斂狀態(tài)，其中EGAN-5 網(wǎng)絡(luò)生成樣本最優(yōu)，其次為EGAN-4、EGAN-6，最后EGAN-3。

另外從結(jié)果可看出生成樣本質(zhì)量與集成數(shù)量并非正比關(guān)系，而是達(dá)到某一閾值后出現(xiàn)性能下降的情況。為驗(yàn)證這一結(jié)論，繼續(xù)設(shè)置了分別集成8 判別網(wǎng)絡(luò)、9 判別網(wǎng)絡(luò)以及更多數(shù)量的判別網(wǎng)絡(luò)，實(shí)驗(yàn)中生成樣本情況并未好轉(zhuǎn)。由此可見(jiàn)，當(dāng)網(wǎng)絡(luò)集成數(shù)量超過(guò)一定數(shù)量時(shí)性能會(huì)隨著集成數(shù)量的增加而降低。

通過(guò)使用不同評(píng)價(jià)指標(biāo)對(duì)兩種集成策略下設(shè)置的不同集成數(shù)量的判別網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià)，可知多數(shù)投票總體比均值集成方法結(jié)果較好，同時(shí)可知無(wú)論是在IS、FID 還是KID 指標(biāo)下，EGAN-5 網(wǎng)絡(luò)模型都是最優(yōu)的。

（2）與同方向工作比較

這一部分主要與GMAN 模型以及生成對(duì)抗網(wǎng)絡(luò)（GAN）、深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）模型進(jìn)行比較。為保持公平一致性，對(duì)GAN 以及DCGAN 進(jìn)行了同等數(shù)量的集成，并在相同環(huán)境下進(jìn)行實(shí)驗(yàn)。采用相同的評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如圖6 所示。可知本文所提模型在4 epochs 時(shí)生成樣本已達(dá)到清晰狀態(tài)，另外三種比較模型收斂較慢且最終生成樣本較為粗糙。采用不同評(píng)價(jià)指標(biāo)的結(jié)果列于表5，從表中可看出文中所提模型在幾種評(píng)價(jià)指標(biāo)下均最優(yōu)。

表5 不同模型在三種評(píng)價(jià)指標(biāo)下的得分情況Table 5 Score of different models under three evaluation indices

實(shí)驗(yàn)細(xì)節(jié)：隨機(jī)噪聲服從～(-1,1)；網(wǎng)絡(luò)訓(xùn)練采用Adam 優(yōu)化器（學(xué)習(xí)率l=2×10,動(dòng)量參數(shù)=0.5）；生成網(wǎng)絡(luò)的結(jié)構(gòu)為（5，4，1 024），（10，8，512），（20，16，256），（40，32，128），（80，64，64），（160，128，3）；由于較大的卷積核在高分辨率下表現(xiàn)更好，同時(shí)為了減少參數(shù)量，使用1×5 與5×1 的卷積核代替5×5的卷積核，這是由于同時(shí)使用1×5 與5×1 的卷積核與單獨(dú)使用5×5 的卷積核的感受野相同，在判別網(wǎng)絡(luò)中卷積核具體設(shè)置為5×5、3×3、1×5、5×1、1×1?；袆e網(wǎng)絡(luò)間的不同之處在于濾波器的數(shù)量，即數(shù)量上的乘以2 或4，或除以2 或4，具體設(shè)置如表6 所示。

表6 針對(duì)CelebA 數(shù)據(jù)集的各網(wǎng)絡(luò)卷積層配置Table 6 Convolution layers configuration of each discriminant network for CelebA dataset

（1）集成不同數(shù)量模型的比較

圖7 為采用平均法與多數(shù)投票法時(shí)模型的生成樣本情況，可知在采用多數(shù)投票法時(shí)生成樣本質(zhì)量較好。另外還使用不同評(píng)價(jià)指標(biāo)對(duì)兩種集成策略下的樣本進(jìn)行評(píng)價(jià)，結(jié)果如表7～表9 所示。圖8 展示了不同模型在不同迭代次數(shù)下生成的人臉圖像，同樣EGAN-5 模型性能最佳，因?yàn)槠渖蓸颖镜馁|(zhì)量與多樣性最優(yōu)。另外，將本文的模型在不同集成策略下進(jìn)行了比較，模型中采用多數(shù)投票的方式均比采用均值的方式表現(xiàn)較好。表7～表9 展示了在三種評(píng)價(jià)指標(biāo)下各種模型的得分情況（*對(duì)應(yīng)的模型為在此指標(biāo)下最佳的模型）。

圖7 采用不同集成策略生成的樣本對(duì)比Fig.7 Network generated samples by different integration strategies

表7 不同集成模型在兩種集成策略下的IS 得分Table 7 IS score of different integration models under two integration strategies

表8 不同集成模型在兩種集成策略下的FID 得分Table 8 FID score of different integration models under two integration strategies

表9 不同集成模型在兩種集成策略下的KID 得分Table 9 KID score of different integration models under two integration strategies

通過(guò)設(shè)置不同集成數(shù)量的判別網(wǎng)絡(luò)模型，在兩種集成策略下可以看出選用多數(shù)投票的方法總體比選用均值的方法模型性能較高，而無(wú)論是在IS、FID還是KID 指標(biāo)下EGAN-5 模型都是最優(yōu)的。

圖8 EGAN-n（n=3,4,5,6）模型生成的人臉圖像Fig.8 Face images generated by EGAN-n (n=3,4,5,6) model

圖9 不同模型生成的人臉圖像對(duì)比Fig.9 Comparison of face images generated by different models

（2）與同方向工作比較

這一部分主要與GMAN 模型以及生成對(duì)抗網(wǎng)絡(luò)（GAN）、深度卷積生成對(duì)抗網(wǎng)絡(luò)（DCGAN）模型進(jìn)行比較。為保持公平一致性，本文對(duì)GAN 以及DCGAN 進(jìn)行了同等數(shù)量的集成，并在相同環(huán)境下進(jìn)行實(shí)驗(yàn)，采用相同的評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，實(shí)驗(yàn)結(jié)果如圖9 所示。從圖中可看出本文的模型明顯優(yōu)于幾種對(duì)比模型。另外采用不同評(píng)價(jià)指標(biāo)的結(jié)果列于表10，從表中可看出本文所提模型在幾種評(píng)價(jià)指標(biāo)下均最優(yōu)。

表10 不同模型在三種評(píng)價(jià)指標(biāo)下的得分情況Table 10 Score of different models under three evaluation indices

4.3 模型時(shí)間復(fù)雜度

卷積神經(jīng)網(wǎng)絡(luò)的時(shí)間復(fù)雜度如式（9）所示：

其中，表示卷積神經(jīng)網(wǎng)絡(luò)的深度；表示卷積層輸出特征圖的邊長(zhǎng)；表示卷積核的邊長(zhǎng)；表示神經(jīng)網(wǎng)絡(luò)第個(gè)卷積層；C表示神經(jīng)網(wǎng)絡(luò)第層的卷積核個(gè)數(shù)。

通過(guò)實(shí)驗(yàn)可以發(fā)現(xiàn)，在MNIST 數(shù)據(jù)集下，GAN（集成）采用全連接的方式，DCGAN（集成）網(wǎng)絡(luò)中卷積核為5×5，GMAN 模型卷積核3×3，本文EGAN-5 模型采用了3×3 的卷積核，同時(shí)在最后一層使用了1×1的小卷積核，最終DCGAN（集成）的復(fù)雜度約為3.14×10，GMAN 模型的復(fù)雜度約為1.206×10，而本文模型約為4.37×10；同樣在CelebA 數(shù)據(jù)集上，DCGAN（集成）的卷積核為5×5，GMAN 的卷積核為3×3，本文模型不僅引入了3×3 卷積核、1×1 卷積核，還通過(guò)使用1×5 和5×1 的卷積核來(lái)代替5×5 的卷積核，從而提取更“全面”的信息。具體地DCGAN（集成）的復(fù)雜度約為1.044 5×10，GMAN 的復(fù)雜度約為5.199×10，而本文模型的復(fù)雜度約為3.269×10。因此在不同數(shù)據(jù)集上，相比GMAN 和DCGAN 模型，本文模型的復(fù)雜度都是最低的。

圖10 為運(yùn)行一個(gè)epoch 時(shí)各模型花費(fèi)的時(shí)間對(duì)比?？芍獰o(wú)論是在MNIST 數(shù)據(jù)集還是在CelebA 數(shù)據(jù)集上，本文模型所需時(shí)間都是最短的，其次為GMAN模型，最后為DCGAN（集成）模型。

圖10 不同模型訓(xùn)練一個(gè)epoch 所需的時(shí)間Fig.10 Time required for different models to be trained in an epoch

另外，本文還比較了EGAN-5 模型生成的部分樣本與使用的數(shù)據(jù)集中的部分樣本，結(jié)果如圖11所示。

圖11 生成的部分樣例（左）與數(shù)據(jù)集的部分樣例（右）Fig.11 Some generated samples(left)and some samples in dataset(right)

5 結(jié)束語(yǔ)

本文提出了一種新的模型框架，將選擇性集成學(xué)習(xí)的思想引入到生成對(duì)抗網(wǎng)絡(luò)中，并根據(jù)判別網(wǎng)絡(luò)的判別精確度動(dòng)態(tài)賦予判別網(wǎng)絡(luò)投票權(quán)重，從而充分發(fā)揮各判別網(wǎng)絡(luò)的優(yōu)勢(shì)，避免了因判別網(wǎng)絡(luò)判別性能不足產(chǎn)生的影響。在本文的工作中，通過(guò)大量的實(shí)驗(yàn)以及對(duì)比實(shí)驗(yàn)，詳細(xì)分析了在不同迭代次數(shù)上不同集成數(shù)量模型的表現(xiàn)，以及在不同數(shù)據(jù)集上模型的時(shí)間復(fù)雜度。本文采用了前人工作中的優(yōu)點(diǎn)，比如深度卷積神將網(wǎng)絡(luò)（DCGAN）中新穎的卷積方式，完全取代了全連接。文中還存在一定的不足，接下來(lái)會(huì)更加注重模型的設(shè)計(jì)以及細(xì)節(jié)，還會(huì)把工作的重心放在生成網(wǎng)絡(luò)上以及更加關(guān)注網(wǎng)絡(luò)的質(zhì)量。