改進(jìn)的SRGAN圖像超分辨率重建算法①

歐奕敏,魏朝勇,梁 艷,江世杰

(華南師范大學(xué) 軟件學(xué)院,佛山 528225)

在日常生活中,圖像隨處可見.但受成像設(shè)備分辨率、物體與成像設(shè)備距離等因素影響,獲得的圖像分辨率較低,無法滿足實(shí)際應(yīng)用的需求.因此,圖像超分辨率重建技術(shù)應(yīng)運(yùn)而生.該技術(shù)可以將模糊低分辨率圖像重建為高分辨率圖像[1],目前已被廣泛應(yīng)用于人臉識(shí)別[2]、社會(huì)安全[3]、醫(yī)學(xué)成像[4]、軍事遙感[5]等領(lǐng)域.

早期的圖像超分辨率重建算法以基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法為主[6],常見的包括基于重建[7]和基于插值[8]等方法.這些方法具有較大的局限性,例如,基于重建方法[7]只能處理結(jié)構(gòu)比較簡單的圖像;基于插值方法[8]得到的重建圖像的邊緣容易出現(xiàn)模糊現(xiàn)象.近年來,隨著深度學(xué)習(xí)的蓬勃發(fā)展,越來越多學(xué)者將深度學(xué)習(xí)的方法引入該領(lǐng)域[9].Dong 等人[10]最早從事相關(guān)研究,采用一個(gè)3 層卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)單張圖像的超分辨率重建,該方法提高了重建圖像的質(zhì)量,但無法滿足實(shí)時(shí)性要求,且網(wǎng)絡(luò)訓(xùn)練難于收斂.針對(duì)該問題,Dong 等人[11]在此基礎(chǔ)上對(duì)網(wǎng)絡(luò)進(jìn)行改進(jìn),縮小網(wǎng)絡(luò)的輸入特征維數(shù),采用更小的過濾器尺寸,使網(wǎng)絡(luò)結(jié)構(gòu)更為緊湊,從而有效地加快了網(wǎng)絡(luò)的訓(xùn)練過程.為了減少網(wǎng)絡(luò)的參數(shù)量,Tai 等人[12]引入了殘差學(xué)習(xí)和遞歸學(xué)習(xí),有效防止梯度爆炸或消失問題.Lai 等人[13]提出基于拉普拉斯金字塔結(jié)構(gòu)的 LapSRN 算法,采用逐級(jí)放大來感知更多信息,通過參數(shù)共享能夠較高質(zhì)量地實(shí)現(xiàn)實(shí)時(shí)超分辨率重建.Zhang 等人[14]提出能夠充分融合低分辨率圖像中所有層次特征的殘差密集網(wǎng)絡(luò)(residual dense network,RDN),該算法取得較好的重建效果,但模型參數(shù)量過多,存在特征冗余.

受生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[15]啟發(fā),Ledig 等人[16]提出了超分辨率生成對(duì)抗網(wǎng)絡(luò)(super-resolution generative adversarial networks,SRGAN),通過生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)不斷交替對(duì)抗訓(xùn)練,并引入感知損失函數(shù)提高圖像的視覺效果,使得重建圖像的紋理細(xì)節(jié)更為清晰.但SRGAN 模型的參數(shù)量過多,導(dǎo)致訓(xùn)練收斂速度較慢,此外,重建圖像的高頻紋理往往過于銳化,導(dǎo)致部分細(xì)節(jié)出現(xiàn)扭曲現(xiàn)象,而且在一些原本光滑的地方也產(chǎn)生尖銳的噪聲.針對(duì)SRGAN 算法存在的問題,本文提出了一種改進(jìn)的SRGAN 算法,一方面,優(yōu)化了它的網(wǎng)絡(luò)結(jié)構(gòu),另一方面,提出了聯(lián)合感知損失,從而獲得更優(yōu)的圖像超分辨率重建性能.本文主要工作如下:

(1)針對(duì)模型參數(shù)量多而導(dǎo)致訓(xùn)練收斂速度慢的問題,本文提出了稀疏殘差密集網(wǎng)絡(luò)(sparse residual dense network,SRDN),并將其代替?zhèn)鹘y(tǒng)的 SRResNet作為生成網(wǎng)絡(luò);此外,采用深度可分離卷積[17]思想改進(jìn)生成網(wǎng)絡(luò),進(jìn)一步降低參數(shù)量;移除生成網(wǎng)絡(luò)的 BN(batch normalization)層,提高模型的泛化能力.

(2)針對(duì)重建圖像的高頻紋理過于銳化而導(dǎo)致部分細(xì)節(jié)扭曲、噪聲過多的問題,本文分析并改進(jìn)了感知損失函數(shù),提出融合 VGG[18]的低頻特征和高頻特征的聯(lián)合感知損失,并結(jié)合均方誤差損失來定義總損失.

(3)分別在Set5[19]、 Set14[20]、BSD100[21]數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),對(duì)本文算法的性能進(jìn)行評(píng)價(jià),證明本文算法的優(yōu)越性.

1 SRGAN 網(wǎng)絡(luò)模型

SRGAN 網(wǎng)絡(luò)由一個(gè)生成網(wǎng)絡(luò)和一個(gè)判別網(wǎng)絡(luò)組成.生成網(wǎng)絡(luò)的主要作用是將低分辨率圖像重建成高分辨率圖像;判別網(wǎng)絡(luò)的主要作用則是判斷給定圖像是真實(shí)圖像還是生成圖像[16].兩個(gè)網(wǎng)絡(luò)通過相互對(duì)抗的訓(xùn)練過程,使得生成網(wǎng)絡(luò)最終可以將低分辨率圖像重建為高分辨率圖像.SRGAN 網(wǎng)絡(luò)框架如圖1所示.

圖1 SRGAN 網(wǎng)絡(luò)框架

SRGAN 網(wǎng)絡(luò)模型能夠提高重建圖像的感知質(zhì)量,但其參數(shù)量過多,訓(xùn)練收斂速度較慢,重建圖像高頻紋理過度銳化,導(dǎo)致部分細(xì)節(jié)扭曲、產(chǎn)生噪聲.因此,本文對(duì) SRGAN 的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),采用 SRDN(移除了 BN 層)代替?zhèn)鹘y(tǒng)的 SRResNet 作為生成網(wǎng)絡(luò),以實(shí)現(xiàn)對(duì)低分辨率圖像特征的充分利用,同時(shí)利用 SRDN稀疏性的連接方式和深度可分離卷積[17]思想,減少模型的參數(shù)量;此外,融合 VGG 中低頻特征和高頻特征的聯(lián)合感知損失,結(jié)合均方誤差損失對(duì)網(wǎng)絡(luò)的感知損失函數(shù)進(jìn)行改進(jìn).

2 基于改進(jìn)的SRGAN圖像超分辨率重建算法

2.1 利用SRDN 網(wǎng)絡(luò)構(gòu)建生成網(wǎng)絡(luò)模型

本文采用稀疏殘差密集網(wǎng)絡(luò) SRDN 代替?zhèn)鹘y(tǒng)的SRResNet 作為生成網(wǎng)絡(luò),同時(shí),為了進(jìn)一步減少計(jì)算量,在稀疏殘差密集塊(sparse residual dense block,SRDB)中融入深度可分離卷積[17]的思想,即將 SRDB中3×3 的卷積替換為1×3 和3×1 的卷積.SRDN 以及SRDB 的構(gòu)成將在第3.1.1 節(jié)詳細(xì)闡述.

傳統(tǒng)的 SRGAN 網(wǎng)絡(luò)利用卷積層加 BN 層的方式,讓每一層的值在一個(gè)有效范圍內(nèi)進(jìn)行傳遞,加快網(wǎng)絡(luò)收斂速度.然而,研究表明[22],在 GAN 框架下進(jìn)行訓(xùn)練或者在模型的網(wǎng)絡(luò)層數(shù)較多時(shí),BN 層很容易引入偽影問題,并且會(huì)對(duì)模型的泛化能力產(chǎn)生一定的限制.這些偽影一般情況下可能會(huì)出現(xiàn)在迭代時(shí)或者是不同設(shè)置之間,不利于性能的穩(wěn)定.因此,我們移除生成網(wǎng)絡(luò)中的BN 層,從而保證網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性,同時(shí)令模型的泛化能力得到提高.此外,移除BN 層也有利于減少計(jì)算復(fù)雜度.本文采用的SRDN 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.

圖2 SRDN 網(wǎng)絡(luò)結(jié)構(gòu)

2.1.1 稀疏殘差密集網(wǎng)絡(luò)

稀疏殘差密集網(wǎng)絡(luò) SRDN 是在殘差密集網(wǎng)絡(luò)RDN[14]的基礎(chǔ)上改進(jìn)而來.RDN 結(jié)合殘差網(wǎng)絡(luò)和密集網(wǎng)絡(luò)兩者的特性,其中,殘差網(wǎng)絡(luò)[23]利用殘差學(xué)習(xí)的思想,對(duì)低頻特征和通過卷積層提取的特征進(jìn)行加權(quán)求和,有效降低了訓(xùn)練誤差;密集網(wǎng)絡(luò)[24]則引入了密集跳躍連接,從而實(shí)現(xiàn)低頻和高頻特征的有效結(jié)合,緩解了梯度消失的問題.

RDN 的網(wǎng)絡(luò)主體架構(gòu)是利用殘差密集塊 RDB,通過特征相連的方式聚合輸出,其連接方式包含殘差連接和密集連接.殘差連接和密集連接有一定的差異,因而RDN 通過這兩種連接進(jìn)行聚合存在以下問題:(1)密集連接的數(shù)量和參數(shù)量的增長速率為O(n2),n是網(wǎng)絡(luò)深度,這表明隨著網(wǎng)絡(luò)的加深,網(wǎng)絡(luò)的參數(shù)量將爆炸性增長.(2)密集連接很大一部分都用于處理先前的特征表示,這表明密集聚合將始終保持一些不相關(guān)的狀態(tài),存在特征冗余.

針對(duì) RDN 網(wǎng)絡(luò)在聚合連接上的問題,本文結(jié)合稀疏聚合網(wǎng)絡(luò)的思想對(duì) RDN 進(jìn)行改進(jìn),提出了稀疏殘差密集網(wǎng)絡(luò) SRDN.對(duì)于RDN 中單個(gè)模塊的聚合連接,其公式如下:

式中,x表示輸入特征,F表示卷積操作,k表示網(wǎng)絡(luò)層數(shù),滿足k≤n(n為最大模塊數(shù)),yi(0 ≤i≤k)表示第i層的輸出.由公式可以看出,每層的輸入都聚合了之前所有層的特征,但是這種連接方式容易造成特征冗余.因此,本文提出了一種新的聚合方式,其公式如下:

式中,c表示正整數(shù),k表示滿足的最大非負(fù)整數(shù).這種改進(jìn)的密集連接方式能夠?qū)⒚總€(gè)輸出特征進(jìn)行稀疏性的密集連接,使得網(wǎng)絡(luò)結(jié)構(gòu)更加簡單,從而大大減少網(wǎng)絡(luò)的參數(shù)和計(jì)算量,提供更好的性能.

SRDN 的網(wǎng)絡(luò)結(jié)構(gòu)和 RDN 類似,但我們以式(3)聚合每一個(gè)輸出塊,從而達(dá)到相同的計(jì)算資源可以構(gòu)建更多網(wǎng)絡(luò)層的目的.

類似的,我們采用基于稀疏聚合網(wǎng)絡(luò)的思想對(duì)殘差密集塊 RDB 進(jìn)行改進(jìn),提出了稀疏殘差密集塊SRDB.與 RDB 類似,SRDB 允許將前一個(gè) SRDB 的狀態(tài)與接下來的其他層相連接,從而形成連續(xù)內(nèi)存機(jī)制,不同之處在于采用式(3)進(jìn)行不同層之間的特征傳遞,這種連接方式有利于避免無關(guān)特征參與到網(wǎng)絡(luò)的運(yùn)算中造成特征冗余.SRDB 的連接方式如圖3所示.

圖3 SRDB 的連接方式

2.1.2 深度可分離卷積

傳統(tǒng)的 SRGAN 模型存在參數(shù)量過多而導(dǎo)致訓(xùn)練收斂速度較慢的問題,為了減少計(jì)算量,本文在稀疏性連接的基礎(chǔ)上進(jìn)一步采用深度可分離卷積(depthwise separable convolution,DSC)[17]的思想來改進(jìn)生成網(wǎng)絡(luò),將稀疏殘差密集塊 SRDB 中3×3 的卷積替換為1×3和3×1 的卷積.

深度可分離卷積包含深度卷積和逐點(diǎn)卷積[17].卷積過程通常是先進(jìn)行深度卷積,再進(jìn)行逐點(diǎn)卷積.圖4分別展示了標(biāo)準(zhǔn)卷積和深度可分離卷積的卷積核結(jié)構(gòu).

圖4 標(biāo)準(zhǔn)卷積和深度可分離卷積的卷積核結(jié)構(gòu)

為了比較兩種卷積的參數(shù)計(jì)算量,我們假設(shè)輸入K通道大小為A×B的特征圖,采用大小為C×C的卷積核進(jìn)行卷積后,輸出L通道大小為A×B的特征圖.那么,標(biāo)準(zhǔn)卷積的參數(shù)計(jì)算量為:

深度可分離卷積的參數(shù)計(jì)算量為:

因此,兩種結(jié)構(gòu)參數(shù)計(jì)算量之比為:

由式(6)可以看出,當(dāng)輸出通道和卷積核的大小遠(yuǎn)大于1 的時(shí)候,采用深度可分離卷積代替標(biāo)準(zhǔn)卷積,可顯著降低模型的參數(shù)量.

2.2 判別網(wǎng)絡(luò)模型的構(gòu)建

本文的判別網(wǎng)絡(luò)模型如圖5所示,參考了 Ledig等人[16]提出的 SRGAN 模型中的判別器網(wǎng)絡(luò)結(jié)構(gòu).判別器網(wǎng)絡(luò)包含8次卷積過程,所有的卷積層,除用于接收?qǐng)D像的前端卷積層外,其它均連接 BN 層,同時(shí)選取Leaky ReLU 作為激活函數(shù).隨著卷積次數(shù)的增多,提取的特征圖數(shù)量不斷增多,而特征圖的大小在持續(xù)變小,最后的連接層則是對(duì)網(wǎng)絡(luò)所有的特征作統(tǒng)一處理,并通過最終的激活函數(shù) Sigmoid 來對(duì)輸出的圖像進(jìn)行概率的預(yù)測.

為生產(chǎn)優(yōu)質(zhì)乳產(chǎn)品，公司不斷提升檢測能力，配置國際先進(jìn)檢測設(shè)備，對(duì)產(chǎn)品全過程進(jìn)行檢測，每批次原料奶需經(jīng)過62項(xiàng)檢測，生產(chǎn)過程關(guān)鍵控制點(diǎn)54個(gè)，成品出廠檢測項(xiàng)目23項(xiàng)。產(chǎn)品出廠，全程冷鏈配送至終端賣場。如今，雪蘭牛奶已經(jīng)成為我省甚至是全國區(qū)域型乳企的發(fā)展模板，為“云乳”產(chǎn)業(yè)發(fā)展貢獻(xiàn)著自己的力量。

圖5 判別網(wǎng)絡(luò)模型

2.3 聯(lián)合感知損失

SRGAN 沒有對(duì)傳統(tǒng)的均方誤差損失(MSE)作優(yōu)化,而是提出一種新的感知損失函數(shù),其中包括內(nèi)容損失和對(duì)抗損失.由于較深的網(wǎng)絡(luò)層表示的特征更加抽象,因此 SRGAN 將內(nèi)容損失定義在 VGG-54(VGG19網(wǎng)絡(luò)中第5 次池化前的第4 個(gè)卷積層之前的特征圖)的高頻特征的特征圖上,這些深層的特征圖只關(guān)注內(nèi)容,而對(duì)抗損失則關(guān)注紋理細(xì)節(jié).VGG-22(VGG19網(wǎng)絡(luò)中第2 次池化前的第2 個(gè)卷積層之前的特征圖)定義在較淺的網(wǎng)絡(luò)層,提取的特征大部分為輪廓、形狀等低頻特征[25],這些特征無法體現(xiàn)出明顯的細(xì)節(jié)差別.文獻(xiàn)[16]通過實(shí)驗(yàn)證明了使用高頻特征作為內(nèi)容損失的有效性.

然而,僅以 VGG-54 定義損失會(huì)使重建圖像的紋理過于銳化,從而導(dǎo)致細(xì)節(jié)部分扭曲,容易產(chǎn)生尖銳的噪聲,偽影也較為嚴(yán)重;而傳統(tǒng)的MSE 雖然能使重建圖像的細(xì)節(jié)較為平滑,但不能有效重構(gòu)圖像的高頻紋理細(xì)節(jié)信息.為了有效地解決以上問題,本文引入 VGG-22 和 MSE 兩個(gè)部分,與 VGG-54 一起定義為聯(lián)合感知損失,使得重建圖像既能具備細(xì)節(jié)平滑的特性,抵消一部分產(chǎn)生的噪聲,在主觀上具有較好的視覺效果,同時(shí)在客觀評(píng)價(jià)中也能取得較好的指標(biāo)結(jié)果.

研究表明[22],激活函數(shù)激活后的特征非常稀疏,而稀疏特征只能提供非常弱的監(jiān)督效果,會(huì)導(dǎo)致性能低下.因此,本文均采用激活函數(shù)前的特征來計(jì)算 VGG-22 和 VGG-54 兩種特征圖,并對(duì)其賦予不同的權(quán)重值來對(duì)整體的對(duì)比損失進(jìn)行調(diào)整,使得重建圖像的高頻特征和低頻特征更加均衡.改進(jìn)后的內(nèi)容損失函數(shù)如式(7)所示.

式中,lVGG-22表示 VGG19 網(wǎng)絡(luò)中第2 次池化前的第2 個(gè)卷積層之前的特征圖,即低頻特征;lVGG-54表示VGG19 網(wǎng)絡(luò)中第5 次池化前的第4 個(gè)卷積層之前的特征圖,即高頻特征;α和β為超參數(shù),本文將在第4.4 節(jié)設(shè)計(jì)交叉驗(yàn)證實(shí)驗(yàn)來確定兩個(gè)超參數(shù)的取值.

本文改進(jìn)后的損失函數(shù)如式(8)所示:

式中,lMSE表示均方誤差損失,表示對(duì)抗損失.對(duì)于,其主要作用是使生成網(wǎng)絡(luò)重建的圖像能夠盡可能地欺騙判別網(wǎng)絡(luò).為了使重建圖像在視角感知方面更具表現(xiàn)力,l權(quán)重占比較小,具體取值參考了文獻(xiàn)[16]中對(duì)抗損失的權(quán)重選取.

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)環(huán)境

3.2 實(shí)驗(yàn)數(shù)據(jù)集

對(duì)于訓(xùn)練數(shù)據(jù),本文采用DIV2K 數(shù)據(jù)集[26],利用雙三次插值對(duì)其中的800 幅高分辨率RGB 圖像進(jìn)行降采樣,得到低分辨率圖像作為訓(xùn)練數(shù)據(jù).其中,降采樣因子r為 4,Batch_size 設(shè)置為16.使用Adam 優(yōu)化器對(duì)每次的更新進(jìn)行優(yōu)化,學(xué)習(xí)率初始值設(shè)為0.000 1.

對(duì)于測試數(shù)據(jù),本文選用Set5[19]、Set14[20]和BSD100[21]3 個(gè)數(shù)據(jù)集,對(duì)網(wǎng)絡(luò)模型進(jìn)行評(píng)價(jià).

3.3 評(píng)價(jià)指標(biāo)

為了客觀評(píng)價(jià)本文算法的性能,我們使用了峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)[9]作為評(píng)價(jià)指標(biāo).其中,PSNR 使用均方誤差損失(MSE)來衡量兩幅圖像像素點(diǎn)之間的區(qū)別,PSNR 值愈高,說明圖像失真度愈小.SSIM 則結(jié)合了亮度、對(duì)比度、結(jié)構(gòu)對(duì)圖像相似性進(jìn)行度量,SSIM 值愈高,說明兩幅圖像的相似度愈高.

此外,本文引用文獻(xiàn)[16] 提出的平均選項(xiàng)得分(mean option score,MOS)作為主觀評(píng)價(jià)指標(biāo),量化不同算法的重建效果.具體評(píng)價(jià)操作如下,我們讓20 個(gè)評(píng)分員在未知圖像版本的前提下使用1～5 五個(gè)分?jǐn)?shù)對(duì)圖像質(zhì)量進(jìn)行評(píng)分,分?jǐn)?shù)越高代表圖像質(zhì)量越好,最后求分?jǐn)?shù)平均值作為評(píng)價(jià)指標(biāo).20 個(gè)評(píng)分員分別對(duì)Set5、Set14 和BSD100 三個(gè)數(shù)據(jù)集的每張圖片的6 個(gè)版本,即:原始高分辨率圖像(HR)、Bicubic[8]、SRCNN[10]、SRResNet[16]、SRGAN[16]和本文方法得到的超分辨率圖像進(jìn)行打分.

3.4 交叉驗(yàn)證實(shí)驗(yàn)

為了確定式(7)中低頻特征權(quán)重α和高頻特征權(quán)重β的取值,本文在Set5 數(shù)據(jù)集上測試,計(jì)算在不同的α和β取值下獲得的 PSNR 值和 SSIM 值.

表1 展示了不同特征權(quán)重下獲得的結(jié)果.由表1可知,當(dāng)α和β都較小時(shí),導(dǎo)致所得的內(nèi)容損失權(quán)重占比較小,而均方誤差損失的權(quán)重占比也很小,因此計(jì)算損失時(shí)沒有偏重的一面,不僅導(dǎo)致計(jì)算得到的 PSNR值和 SISM 值過小,而且重建圖像的視覺感知效果也并不理想.當(dāng)α較大而β較小時(shí)(如α=0.1,β=0.01),雖然計(jì)算得到的 PSNR 值和 SSIM 值取得最好的結(jié)果,但是高頻特征損失的占比較小,會(huì)導(dǎo)致重建圖像在細(xì)節(jié)特征上的表現(xiàn)有所不足;當(dāng)α和β都較大時(shí),計(jì)算得到的 PSNR 值和 SSIM 值都有較好的結(jié)果,且計(jì)算損失時(shí)偏重于感知損失上,重建圖像會(huì)有較好的視覺效果.經(jīng)過綜合比較,當(dāng)α和β的值分別為0.01 和1 時(shí),無論是在視角效果上還是高頻細(xì)節(jié)上,重建圖像都表現(xiàn)較好.因此,本文最終確定α和β值分別為0.01 和1.

表1 特征權(quán)重選取表

3.5 重建結(jié)果與評(píng)價(jià)

3.5.1 實(shí)驗(yàn)分析

本文采用客觀評(píng)價(jià)和主觀評(píng)價(jià)兩種方式,在3 個(gè)公開數(shù)據(jù)集上測評(píng)Bicubic[8]、SRCNN[10]、SRResNet[16]、SRGAN[16]以及本文方法的重建效果.表2 展示了在不同數(shù)據(jù)集上采用不同算法獲得的評(píng)價(jià)指標(biāo)值.表中的HR 表示原始高分辨率圖像.

表2 不同算法的評(píng)價(jià)指標(biāo)對(duì)比(最優(yōu)者以粗體表示)

由表2 可知,深度殘差網(wǎng)絡(luò) SRResNet 在 PSNR 和SSIM 兩個(gè)客觀評(píng)價(jià)指標(biāo)上取得了最好的結(jié)果,但是在主觀評(píng)價(jià)指標(biāo) MOS 上卻表現(xiàn)不佳,這是因?yàn)榭陀^評(píng)價(jià)指標(biāo)是基于對(duì)應(yīng)像素點(diǎn)計(jì)算亮度顏色等差異,并未考慮到人眼的視覺特性,因而導(dǎo)致客觀評(píng)價(jià)指標(biāo)與人眼視覺感受不一致的情況.而 SRResNet 以均方誤差損失MSE 作為損失函數(shù),能夠取得較好的 PSNR 和 SSIM值,但是重建圖像丟失了高頻細(xì)節(jié)信息,不能很好的符合人眼主觀感受,因而在主觀評(píng)價(jià)指標(biāo) MOS 上表現(xiàn)不佳.

由于 MSE 損失函數(shù)會(huì)讓模型過多關(guān)注圖像像素之間的差異,而忽略重建圖像的固有特征.因而,SRGAN 較多關(guān)注圖像感知質(zhì)量上的提高,利用感知損失和對(duì)抗損失來提升重建圖像的真實(shí)感,能夠在主觀評(píng)價(jià)指標(biāo)MOS 上表現(xiàn)較好.本文提出的基于改進(jìn)SRGAN 的圖像超分辨率重建算法,相對(duì)于視覺感官效果較好的SRGAN 而言,其客觀評(píng)價(jià)指標(biāo)PSNR 和SSIM 值均有所提升,且主觀評(píng)價(jià)指標(biāo)MOS 也明顯高于其他算法,證明本文算法具有更優(yōu)的綜合性能.

3.5.2 視覺效果對(duì)比

為了更加有效地證明本文方法的重建效果,本文選取了部分圖像細(xì)節(jié)特征進(jìn)行對(duì)比.圖6 和圖7 中的原圖分別是來自Set14 數(shù)據(jù)集的圖像baboon 和comic.在這兩幅圖中,我們還展示了5 種不同算法重建后的圖像細(xì)節(jié)特征對(duì)比.從圖6、圖7 可以清晰地看出,與其他算法相比,SRResNet 雖然在客觀評(píng)價(jià)指標(biāo)上表現(xiàn)較好,但視覺效果并不理想;SRGAN 雖然能夠提升重建圖像的細(xì)節(jié)信息,但與HR 圖像相比仍然存在部分紋理細(xì)節(jié)模糊、噪聲過多、偽影也較為嚴(yán)重等問題.而本文提出來的方法能夠很好地彌補(bǔ)SRGAN 的不足,例如圖6 中baboon 的胡須部分,本文方法重建出來的圖像,胡須清晰可見,根根分明;圖7 中comic 頭上的鎖飾紋理細(xì)節(jié)更加飽滿,充分證明本文方法能夠更好地處理圖像細(xì)節(jié)信息,使重建圖像更加清晰,視覺效果更加優(yōu)秀.

圖6 圖像baboon 的重建效果對(duì)比

圖7 圖像comic 的重建效果對(duì)比

4 總結(jié)

本文提出了一種基于改進(jìn)的 SRGAN圖像超分辨率重建算法,針對(duì)模型參數(shù)量多而導(dǎo)致訓(xùn)練收斂速度慢的問題,采用稀疏殘差密集網(wǎng)絡(luò) SRDN 來代替?zhèn)鹘y(tǒng)的 SRResNet 作為生成網(wǎng)絡(luò),同時(shí)采用深度可分離卷積的思想來改進(jìn)生成網(wǎng)絡(luò).針對(duì)重建圖像的高頻紋理過于銳化而導(dǎo)致部分細(xì)節(jié)扭曲、噪聲過多等問題,本文分析并改進(jìn)了感知損失函數(shù),提出融合 VGG 的低頻特征和高頻特征的聯(lián)合感知損失,并結(jié)合均方誤差損失來定義總損失.實(shí)驗(yàn)結(jié)果表明,本文算法的PSNR、SSIM和MOS 這3 個(gè)評(píng)價(jià)指標(biāo)結(jié)果均優(yōu)于傳統(tǒng)SRGAN 算法,重建圖像的細(xì)節(jié)部分更加清晰,整體表現(xiàn)出較好的魯棒性和綜合性能.

雖然本文提出的超分辨率重建算法取得了一定的效果,但仍有待改進(jìn)的地方:(1)本文提出的 SRDN 網(wǎng)絡(luò)主要調(diào)整了密集連接方式,但對(duì)殘差連接的研究較少,并且本文的稀疏性網(wǎng)絡(luò)架構(gòu)未應(yīng)用到其他算法上,難以證明架構(gòu)的可移植性;(2)本文僅研究了基于VGG 的感知損失,但未深入探討所有維度特征的有效性.今后將會(huì)在此基礎(chǔ)上研究如何進(jìn)一步提升圖像重建效果.