基于GAN的超分辨率的應(yīng)用

徐鑫 楊鴻陽 管林 張旭

摘 要：針對日常生活中單張圖片清晰度不夠的問題，提出了基于GAN的超分辨率的重建的算法。由圖片效果可看出SRGAN優(yōu)于SRCNN，在一定程度上可解決SRCNN過于平滑的問題，以低成本給日常視覺帶來享受，可靠，有效。

關(guān)鍵詞：超分辨率；生成式對抗網(wǎng)絡(luò)；卷積網(wǎng)絡(luò)；損失函數(shù)

引 言

超分辨率重建是指通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程。其核心思想就是用一次次的填充來獲得整體空間感，實(shí)現(xiàn)時(shí)間向空間的轉(zhuǎn)換。

1生成器

1.1.1 殘差

假設(shè)我們想要找一個(gè)x，使f（x）=b，給定一個(gè)x的估計(jì)值x0殘差就是b？f（x0），誤差就是x-x0。

1.1.2 殘差塊

殘差塊的組成如圖所示：

x表示輸入，F(xiàn)（x）表示殘差塊在第二層激活函數(shù)之前的輸出，即 F（x）=W2σ（W1x），其中W1和W2表示第一層和第二層的權(quán)重，σ表示ReLU 激活函數(shù)。最后殘差塊的輸出是σ（F（x）+x）。

1.2判別器

VGG19的作用是圖像識別。其本質(zhì)是卷積神經(jīng)網(wǎng)絡(luò)，通過反復(fù)的使用3*3的小型卷積和2*2的最大池化層，探索卷積神經(jīng)網(wǎng)絡(luò)的深度與其性能之間的關(guān)系。

1.3損失函數(shù)

內(nèi)容損失函數(shù)選擇基于均方誤差的損失的損失函數(shù)：

對抗損失函數(shù)選擇VGG模型的損失函數(shù)：

2 SRGAN訓(xùn)練過程和成果分析

2.1 訓(xùn)練流程

流程應(yīng)為：

2.2算法分析

我們的目標(biāo)函數(shù)為：

我們先定D的值，讓G取值讓公式先達(dá)到最小值，然后固定G，最大化公式，取得D的值。

故將公式表達(dá)為：

因?yàn)橐葘φ娈嬇c假畫相似程度，用KL散度，其值越小，差距越小，即越能以假亂真。

我們從真畫里取一些真畫x1，x2，…，xm，可得這幾個(gè)樣本的數(shù)據(jù)似然是：

將問題轉(zhuǎn)化為找θ最大化這個(gè)似然。

采取取對數(shù)形式，累乘轉(zhuǎn)化成累加，最大化累加值，又可轉(zhuǎn)化為求其期望值來最大化公式。而期望可以展開為在x上的積分形式∫Pdata（x）logPG（x；θ）dx，加減一個(gè)常數(shù)不會影響函數(shù)的整體性質(zhì)，可添加∫Pdata（x）logPdata（x）dx，對其求KL散度

我們剛剛可知：

在G 給定的，Pdata（x）與PG（x）都可以看作是常數(shù)，可分別用a，b來表示，這樣我們就可以得到如下的式子：

上述過程是對式子進(jìn)行簡化后求導(dǎo)，得到關(guān)于D的公式。

當(dāng)PG=Pdata時(shí)將其帶入公式可得：

這意味著生成器和判別器處在一個(gè)平衡態(tài)，判別器分辨不出Pdata和PG的區(qū)別，即判斷樣本來自Pdata和PG 的概率都為 0.5?；谶@一觀點(diǎn)，證明了G就是極小極大博弈的解。

2.3 成果分析

可明顯看出分辨率的提高。但同時(shí)也可看出GAN較為不可控，模型過于自由，會出現(xiàn)較為突兀的顏色。在訓(xùn)練過程中，算法與小程序的連接處較棘手，這也將成為我們接下來要解決的問題。

3 結(jié) 語

對與單張圖片的分辨率提出的算法綜合客觀指標(biāo)和主觀視覺效果因素要優(yōu)于SRCNN算法，充分說明了本文算法的適 用性。下一步的研究工作將探尋快捷高效省時(shí)的算法改進(jìn)以便重建高質(zhì)量的。

參考文獻(xiàn)：

[1]王飛躍.生成式對抗網(wǎng)絡(luò)的現(xiàn)狀與展望[J].中國計(jì)算機(jī)學(xué)會通訊，第 11期第13卷2017，11（13）：34-39.

[2]張良培，沈煥鋒，張洪艷.圖像超分辨率重建[M]，北京：科學(xué)出版社，2012：52-55.