概率統(tǒng)計(jì)分析在深度生成模型中的應(yīng)用

王 浩，王寶麗，安曉丹

(1. 太原師范學(xué)院 計(jì)算機(jī)系，山西 晉中 030619；2. 運(yùn)城學(xué)院 數(shù)學(xué)與信息技術(shù)學(xué)院，山西 運(yùn)城 044000)

引言

作為一門交叉學(xué)科，人工智能不僅融合了腦認(rèn)知科學(xué)、心理學(xué)等社會(huì)科學(xué)研究成果，而且離不開(kāi)數(shù)學(xué)、統(tǒng)計(jì)學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)等諸多學(xué)科的支持。其中，統(tǒng)計(jì)理論及統(tǒng)計(jì)應(yīng)用方法在人工智能中發(fā)揮著不可或缺的作用[1,2]。近年來(lái)，深度學(xué)習(xí)作為人工智能的核心技術(shù)，已經(jīng)廣泛應(yīng)用在各個(gè)領(lǐng)域，如計(jì)算機(jī)視覺(jué)[3]、自然語(yǔ)言處理[4]、網(wǎng)絡(luò)數(shù)據(jù)挖掘[5]等。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)工具，其依然滿足機(jī)器學(xué)習(xí)的基本范式，而統(tǒng)計(jì)學(xué)習(xí)理論是機(jī)器學(xué)習(xí)的理論基礎(chǔ)[6]。一方面，統(tǒng)計(jì)分布是決策樹(shù)學(xué)習(xí)算法的核心支撐理論，用于控制分支屬性的選擇及分支節(jié)點(diǎn)作為葉子節(jié)點(diǎn)的終止條件[7]。另一方面，機(jī)器學(xué)習(xí)的泛化誤差、逼近能力等基本理論的分析，都需要依賴嚴(yán)格的概率統(tǒng)計(jì)分析，這表明概率統(tǒng)計(jì)分析對(duì)于機(jī)器學(xué)習(xí)的發(fā)展起到了重要的理論支撐作用。

深度學(xué)習(xí)近年來(lái)已經(jīng)成為人工智能和機(jī)器學(xué)習(xí)領(lǐng)域最熱門的研究方向，其在很多工程上的預(yù)測(cè)精度已經(jīng)超越了人類。但是，深度學(xué)習(xí)的理論研究并沒(méi)有引起大家的重視，深度學(xué)習(xí)的相關(guān)理論仍然沒(méi)有完善，這嚴(yán)重限制了深度學(xué)習(xí)的進(jìn)一步發(fā)展。因此，為了更好地理解深度學(xué)習(xí)，尤其是深度生成模型背后的機(jī)理，我們將從概率統(tǒng)計(jì)分析的角度對(duì)變分自編碼器(variational auto-encoder，VAE)[8]和生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks，GAN)分別進(jìn)行數(shù)學(xué)機(jī)理分析。

1. 變分自編碼器的概率統(tǒng)計(jì)分析

變分自編碼器作為自編碼器(auto-encoder，AE)的變體，其在隱空間引入了概率統(tǒng)計(jì)分布后，解決了自編碼器無(wú)法生成新數(shù)據(jù)的缺陷。目前，變分自編碼器已成為生成任務(wù)中主流的生成工具。接下來(lái)我們從概率統(tǒng)計(jì)的角度分析自編碼器的缺陷以及變分自編碼器背后的機(jī)理。

1.1 自編碼器

自編碼器屬于無(wú)監(jiān)督式的深度學(xué)習(xí)模型，模型架構(gòu)如圖1所示。主要由編碼器(Encoder)和解碼器(Decoder)兩部分組成。編碼器模塊主要負(fù)責(zé)將輸入數(shù)據(jù)x通過(guò)映射函數(shù)f轉(zhuǎn)變?yōu)殡[變量z：

z=f(x)

其中l(wèi)oss為重構(gòu)損失。

圖1 自編碼器模型架構(gòu)示意圖

根據(jù)以上分析，可知編碼器的本質(zhì)是特征降維的過(guò)程，解碼器的本質(zhì)是特征重構(gòu)的過(guò)程。也就是自編碼器可以將一個(gè)數(shù)據(jù)降維到隱空間后再重構(gòu)回其本身。同時(shí)，從自編碼器的優(yōu)化目標(biāo)可以看出，自編碼器只是對(duì)重構(gòu)損失進(jìn)行了約束，并沒(méi)有對(duì)隱空間的性質(zhì)進(jìn)行約束，僅僅是得到了輸入數(shù)據(jù)對(duì)應(yīng)的具體隱變量。因此，模型經(jīng)過(guò)訓(xùn)練后，只能確保訓(xùn)練集中的數(shù)據(jù)點(diǎn)能夠從隱空間無(wú)誤差地重構(gòu)回本身，而這也意味著模型出現(xiàn)了過(guò)擬合現(xiàn)象，導(dǎo)致自編碼器對(duì)于訓(xùn)練集之外的數(shù)據(jù)點(diǎn)無(wú)法進(jìn)行有效解碼，即無(wú)法生成新的數(shù)據(jù)。

1.2 引入變分推斷的變分自編碼器

圖2 變分自編碼器模型架構(gòu)示意圖

根據(jù)貝葉斯公式，在訓(xùn)練階段我們需要利用觀測(cè)變量對(duì)隱空間的概率分布進(jìn)行更新學(xué)習(xí)，即：

=Eq(z|x)logp(x)

=Eq(z|x)logp(x,z)-Eq(z|x)logp(z|x)

=KL(q(z|x)‖p(z|x))+ELBO

ELBO=-KL(q(z|x)‖p(z|x))+Eq(z|x)logpq(x|z)，由于KL(q(z|x)‖p(x|z))≥0，因此可以得到：

=-KL(q(z|x)‖p(z))+Eq(z|x)logp(x|z)

最小化KL(q(z|x)‖p(z))也就是讓概率分布q(z|x)和p(z)之間的距離最小化，為了方便計(jì)算，變分自編碼器假設(shè)q(z|x)和p(z)均為正態(tài)分布，其中，q(z|x)～N(μ,σ2),p(z)～N(0,I)。可以得到：

KL(N(μ,σ2)‖N(0,1))

1.3 變分自編碼器的損失函數(shù)

與自編碼器的優(yōu)化目標(biāo)不同，變分自編碼器的優(yōu)化目標(biāo)(損失函數(shù))由兩部分組成：

正則化損失也正是變分自編碼器與自編碼器的本質(zhì)區(qū)別，即變分推斷的引入。變分自編碼器最初的目的是對(duì)自編碼器進(jìn)行改進(jìn)從而可以用于生成數(shù)據(jù)，因此需要學(xué)習(xí)出隱空間的概率分布p，得到隱空間的概率分布后，即可在隱空間隨機(jī)進(jìn)行采樣其他變量送入解碼器，從而生成新的數(shù)據(jù)。但是，直接去求解后驗(yàn)概率來(lái)計(jì)算隱空間的概率分布計(jì)算量很大，實(shí)際中很難直接求解，因此變分自編碼器引入變分推斷的思想，通過(guò)學(xué)習(xí)易于求解的概率分布q，同時(shí)保證概率分布p和q的距離最小化，這樣就可以用概率分布q來(lái)近似概率分布p。本質(zhì)上來(lái)說(shuō)，變分推斷解決的問(wèn)題可以歸結(jié)為概率統(tǒng)計(jì)機(jī)器學(xué)習(xí)問(wèn)題，很多生成模型的背后機(jī)理都用到了變分推斷。也正是變分推斷的引入，即概率統(tǒng)計(jì)分析的引入，才使得傳統(tǒng)深度學(xué)習(xí)模型自編碼器能夠成功應(yīng)用于生成問(wèn)題，這也意味著概率統(tǒng)計(jì)分析對(duì)于深度學(xué)習(xí)的發(fā)展起到了至關(guān)重要的作用。

2. 生成對(duì)抗網(wǎng)絡(luò)的概率統(tǒng)計(jì)分析

生成對(duì)抗網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域最熱門的研究方向之一，是目前最成功的生成模型，已經(jīng)成功應(yīng)用于實(shí)際應(yīng)用中，特別是在計(jì)算機(jī)視覺(jué)領(lǐng)域掀起了研究熱潮，研究學(xué)者們相繼提出了StyleGAN、DCGAN、CycleGAN等生成模型用于特定任務(wù)。接下來(lái)我們將從概率統(tǒng)計(jì)的角度分析生成對(duì)抗網(wǎng)絡(luò)背后的數(shù)學(xué)機(jī)理。

生成對(duì)抗網(wǎng)絡(luò)屬于無(wú)監(jiān)督模型，主要由生成器和判別器兩部分組成，模型架構(gòu)如圖3所示。生成對(duì)抗網(wǎng)絡(luò)本質(zhì)上是一種零和博弈思想的體現(xiàn)，其將數(shù)據(jù)生成任務(wù)看作生成器和判別器兩個(gè)模塊之間的對(duì)抗博弈，即生成器根據(jù)輸入的噪聲(通過(guò)正態(tài)分布采樣或者均勻分布采樣得到)來(lái)生成新樣本，而判別器用來(lái)判別樣本是真實(shí)觀測(cè)的還是由生成器生成的新樣本。生成器的目的是生成盡可能逼近真實(shí)樣本的新樣本，而判別器則試圖正確區(qū)分出真實(shí)樣本和生成的新樣本，這也正是對(duì)抗思想的體現(xiàn)，生成器和判別器正是在對(duì)抗迭代訓(xùn)練中彼此提高自己的性能，當(dāng)判別器區(qū)分不出真實(shí)樣本和生成的樣本時(shí)，此時(shí)生成器即可生成完美的新樣本。

圖3 生成對(duì)抗網(wǎng)絡(luò)的模型架構(gòu)示意圖

上述GAN的思想可以用一個(gè)優(yōu)化目標(biāo)來(lái)形式化描述：

其中pdata代表觀測(cè)真實(shí)數(shù)據(jù)的概率分布，p(z)表示輸入的噪聲分布，θg和θd分別表示生成器和判別器的參數(shù)。Gθg(z)表示生成器生成的新樣本。Dθd(x)表示判別器的輸出，為[0,1]之間的概率，1表示輸入數(shù)據(jù)為真實(shí)樣本，0表示輸入數(shù)據(jù)為生成樣本。

具體地，生成器Gθg(z)希望最小化目標(biāo)函數(shù)，使得Dθd(Gθg(z))盡量接近于1，即使得其生成的樣本盡可能逼近真實(shí)樣本，即

而判別器Dθd(x)希望最大化目標(biāo)函數(shù)，使得Dθd(x)接近于1，而Dθd(Gθg(z))接近于0，即：

從概率統(tǒng)計(jì)的角度分析，生成對(duì)抗網(wǎng)絡(luò)的本質(zhì)是利用生成器和判別器進(jìn)行迭代對(duì)抗訓(xùn)練，學(xué)習(xí)一個(gè)從隨機(jī)噪聲分布p(z)到真實(shí)數(shù)據(jù)分布pdata的映射函數(shù)，然后從噪聲分布p(z)中隨機(jī)采樣新的噪聲輸入該映射函數(shù)即可生成得到新的樣本。

3. 結(jié)語(yǔ)

深度學(xué)習(xí)雖然在各個(gè)應(yīng)用領(lǐng)域都取得了巨大的成功甚至超過(guò)了人類專家水平，然而，理論部分的欠缺嚴(yán)重限制了深度學(xué)習(xí)的進(jìn)一步發(fā)展。文章從概率統(tǒng)計(jì)的角度，對(duì)深度生成模型變分自編碼器和生成對(duì)抗網(wǎng)絡(luò)背后的數(shù)學(xué)機(jī)理進(jìn)行了系統(tǒng)的理論分析，為深度生成模型的進(jìn)一步發(fā)展提供了理論支撐。