基于新編碼器和相似度約束的圖像修復(fù)①

林 竹,王 敏

(河海大學(xué) 計(jì)算機(jī)與信息學(xué)院,南京 211100)

圖像修復(fù)是在保證圖像的清晰度和它的語(yǔ)義連貫性的前提下,利用圖像中已有的信息,修補(bǔ)圖像中的缺失信息或者移除圖像中的特定信息的圖像處理技術(shù).此技術(shù)的核心挑戰(zhàn)在于為缺失的區(qū)域合成視覺逼真和語(yǔ)義上合理的像素,以便與現(xiàn)有的像素保持一致.圖像修復(fù)具有重要的現(xiàn)實(shí)意義,尤其在藝術(shù)作品的保護(hù),修復(fù)老照片以及基于圖像的渲染和計(jì)算機(jī)攝影方面有很多應(yīng)用.

傳統(tǒng)的圖像修復(fù)方法多采用圖像級(jí)特征來(lái)處理修復(fù)問(wèn)題.塊匹配(patch-match)[1]方法提出尋找最佳匹配的補(bǔ)丁塊來(lái)重建缺失區(qū)域.此方法在本質(zhì)上可以提供真實(shí)的紋理信息,但是他們僅僅是利用給定上下文的低級(jí)特征,缺乏預(yù)測(cè)上下文高層次特征的能力.

為了更好地提取語(yǔ)義層面的信息,也得益于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的不斷發(fā)展,更多的基于深度學(xué)習(xí)的方法被提出.上下文編碼器(context-encoder)[2]是語(yǔ)義修復(fù)的一個(gè)開創(chuàng)性方法,給定一個(gè)缺失區(qū)域的掩碼,訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)上下文信息進(jìn)行編碼并對(duì)受損內(nèi)容進(jìn)行預(yù)測(cè),同時(shí)利用對(duì)抗損失來(lái)使得生成的圖像盡可能真實(shí),能夠較好地修復(fù)缺失區(qū)域.但是此方法仍然缺乏一些修復(fù)細(xì)節(jié)并且存在明顯的修復(fù)痕跡.

為了能夠修復(fù)更高分辨率的圖像,Iizuka 等人提出添加膨脹卷積層來(lái)增加感受野并且聯(lián)合局部和全局判別器提升修復(fù)的一致性[3].但是此方法無(wú)法修復(fù)缺失較大的圖像,盡管視覺上修復(fù)紋理較連續(xù),但是存在某些高度結(jié)構(gòu)化的圖片修復(fù)后存在模糊和不真實(shí)的情況,有較明顯的修復(fù)痕跡.

為了解決這些問(wèn)題,該文提出了基于SE-ResNet[4,5]并聯(lián)合上下文感知損失的方法.網(wǎng)絡(luò)結(jié)構(gòu)由4 個(gè)部分組成：生成網(wǎng)絡(luò),上下文感知損失(contextual loss)[6]網(wǎng)絡(luò)以及全局上下文判別網(wǎng)絡(luò),局部上下文判別網(wǎng)絡(luò).生成網(wǎng)絡(luò)是一個(gè)基于SE-ResNet 的全卷積神經(jīng)網(wǎng)絡(luò)用生成完整的圖像,全局和局部上下文判別網(wǎng)絡(luò)都是作為訓(xùn)練時(shí)的附屬網(wǎng)絡(luò),并且也是添加了SE-ResNet 殘差塊的網(wǎng)絡(luò),用來(lái)判別生成的圖像是否連續(xù)且真實(shí).上下文感知損失網(wǎng)絡(luò)是一個(gè)基于VGG16[7]的特征提取網(wǎng)絡(luò),用來(lái)輔助從相似性上修復(fù)圖像.

綜上所述,本文提出：

(1)在生成網(wǎng)絡(luò)和全局上下文以及局部上下文判別網(wǎng)絡(luò)部分添加了基于SE-ResNet 的殘差塊更好的提取特征.

(2)增加了上下文感知損失網(wǎng)絡(luò)以輔助約束局部高頻特征的相似性來(lái)修復(fù)圖像.

1 相關(guān)內(nèi)容

傳統(tǒng)的圖像修復(fù)方法是利用待修補(bǔ)區(qū)域周邊來(lái)傳播紋理信息,這些方法只能修復(fù)缺失較小的圖像而且存在明顯的修復(fù)痕跡.基于補(bǔ)丁塊的方法通過(guò)搜索最佳的匹配塊來(lái)優(yōu)化修復(fù)效果,但是這些方法只能提供已有的紋理信息,不能從語(yǔ)義結(jié)構(gòu)上理解圖像,也不能對(duì)物體結(jié)構(gòu)做出合理的預(yù)測(cè).

隨著深度生成式模型的快速發(fā)展,尤其是生成對(duì)抗網(wǎng)絡(luò)(GAN)[8],GAN 在生成高分辨率圖像方面有著可觀的表現(xiàn).但是訓(xùn)練一個(gè)生成高清圖像并且穩(wěn)定的GAN網(wǎng)絡(luò)是相當(dāng)困難的.近期也提出了一些穩(wěn)定訓(xùn)練的方法,例如DC-GAN,WGAN-GP,Wasserstein GAN (WGAN),LSGAN 和Progressive GANs[9].這些方法為穩(wěn)定訓(xùn)練提供了實(shí)用的技巧,能夠產(chǎn)生更加真實(shí)的高清圖像.

由Pathak 等人[2]提出的Context-encoder 基于生成對(duì)抗網(wǎng)絡(luò)(GAN),擴(kuò)大了可修復(fù)缺失范圍.其中的生成網(wǎng)絡(luò)是通過(guò)判別器輔助訓(xùn)練,判別器是用來(lái)判別生成器生成的圖像是否為真.

由Iizuka 等人[3]提出的基于全局和局部一致的圖像修復(fù)在Context-encoder 的基礎(chǔ)上引入了全局和局部判別器,全局判別器判別生成的圖像整體的連貫性,同時(shí)局部判別器專注于生成圖片的小區(qū)域以保證局部一致性.Iizuka 等人還在生成網(wǎng)絡(luò)中加入了膨脹卷積層代替Context-encoder 當(dāng)中的全連接層,這些操作都是為了擴(kuò)大網(wǎng)絡(luò)的感受野.

Yu 等人[10]提出一種端到端的圖像修復(fù)模型,通過(guò)采用一種堆疊型的生成網(wǎng)絡(luò)確保與周邊顏色以及紋理的連貫性,同時(shí)引入了注意力模塊從距離較遠(yuǎn)的區(qū)域提取近似待修復(fù)區(qū)域的特征.

Liu 等人[11]提出通過(guò)在卷積過(guò)程中更新掩膜并使用更新的掩膜值歸一化卷積核的權(quán)重值,保證卷積核能夠?qū)Ｗ⒂谟行У南袼刂?

Yu 等人[12]通過(guò)引入門控卷積,學(xué)習(xí)一種特征通道的動(dòng)態(tài)選擇機(jī)制,以提高色彩的一致性,同時(shí)提出一種高效的判別器SN-PatchGAN 用于輔助修復(fù)隨機(jī)缺失的圖像.

在生成網(wǎng)絡(luò)的編碼部分提取圖像的特征得到低分辨率的特征圖,特征圖中編碼了豐富的語(yǔ)義信息,然而在下采樣過(guò)程當(dāng)中丟失了圖像的結(jié)構(gòu)和語(yǔ)義信息,使得修復(fù)效果不清晰.該文通過(guò)在編碼部分添加基于SEResNet 的殘差塊來(lái)更好地提升網(wǎng)絡(luò)特征利用以得到清晰的圖像；同時(shí)在判別器部分也添加基于SE-ResNet的殘差塊,目的是加深判別器網(wǎng)絡(luò)深度,提升網(wǎng)絡(luò)特征利用,使得判別器更好地判別生成圖像與真實(shí)圖像.為了在語(yǔ)義上理解并修復(fù)圖像,該文增加了上下文感知損失網(wǎng)絡(luò)約束局部特征的相似性,然后使用此損失來(lái)訓(xùn)練生成網(wǎng)絡(luò).

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 SE-ResNet

近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域上都取得了巨大的突破.卷積神經(jīng)網(wǎng)絡(luò)由一系列卷積層、非線性層和下采樣層構(gòu)成,這樣能夠從全局感受野上去捕獲圖像的特征來(lái)進(jìn)行圖像的描述.SENet (Squeeze-and-Excitation Networks)采用一種全新的特征重標(biāo)定策略,主要通過(guò)顯示地建模特征通道之間的相互依賴關(guān)系.具體來(lái)說(shuō)就是通過(guò)學(xué)習(xí)的方式來(lái)自動(dòng)獲取到每個(gè)特征通道的重要程度,然后依照這個(gè)重要程度去提升有用的特征并抑制對(duì)當(dāng)前任務(wù)用處不大的特征,這點(diǎn)能為圖像修復(fù)生成網(wǎng)絡(luò)的編碼器以及判別器部分提取有效特征帶來(lái)巨大的作用.

假設(shè)網(wǎng)絡(luò)的輸入是x(通道數(shù)為c1),通過(guò)一系列的卷積等操作過(guò)后得到通道為c2 的特征.那么SENet 所做的就是使用新的方式來(lái)得到通道為c2 的特征.第一個(gè)操作就是Squeeze,即特征壓縮,主要采用平均池化操作來(lái)進(jìn)行特征壓縮,在每一個(gè)通道上得到一個(gè)一維的實(shí)數(shù),這個(gè)實(shí)數(shù)表示在特征通道上相應(yīng)的全局分布.緊接著是Excitation,即激活,這個(gè)操作類似于循環(huán)神經(jīng)網(wǎng)絡(luò)中的門機(jī)制.通過(guò)一個(gè)全連接層得到特征每個(gè)通道的權(quán)重,以此來(lái)顯式的建模通道間的相關(guān)性.最后通過(guò)Reweight 操作將上一層輸出的權(quán)重通過(guò)乘法加權(quán)到x的每個(gè)通道上,因?yàn)樯弦粚虞敵龅臋?quán)重代表著每個(gè)通道的重要程度,這時(shí)就完成了對(duì)原始特征的重新標(biāo)定.ResNet 已經(jīng)廣泛被用做提取特征,同時(shí)能夠減少參數(shù).在本文中我們將SENet 嵌入到ResNet 殘差塊中作為一個(gè)SE-ResNet 模塊添加到生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中.

2.2 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)是一個(gè)基于全卷積的網(wǎng)絡(luò).生成網(wǎng)絡(luò)的輸入是一張三通道的圖像,輸出是一張相同大小的修復(fù)后圖像.生成網(wǎng)絡(luò)采用了編解碼的結(jié)構(gòu),在進(jìn)一步處理圖像之前先降低分辨率,從而減少內(nèi)存使用和計(jì)算時(shí)間.降低分辨率需要使用下采樣,下采樣的過(guò)程很容易丟失圖像的結(jié)構(gòu)和語(yǔ)義信息,使得修復(fù)效果不清晰,因此僅僅對(duì)圖像做了兩次下采樣,并且添加了基于SEResNet 的殘差網(wǎng)絡(luò)塊(見3.1 節(jié))代替?zhèn)鹘y(tǒng)的下采樣方式.當(dāng)特征圖降為原來(lái)的1/4 時(shí),使用4 個(gè)膨脹卷積層作為編碼-解碼部分的連接處理[13],來(lái)保持圖像的感知野.膨脹卷積在獲取高分辨率最終特征圖中發(fā)揮重要作用.生成網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示.

生成網(wǎng)絡(luò)的損失函數(shù)分為3 個(gè)部分：內(nèi)容損失,對(duì)抗性損失和上下文感知損失.

對(duì)抗性損失是為了生成器盡最大可能“欺騙判別器”,對(duì)抗性損失定義如下其中G代表生成網(wǎng)絡(luò),x代表完整圖片,M為圖像掩膜,生成網(wǎng)絡(luò)的輸入為破損圖像；D代表判別網(wǎng)絡(luò),輸入為生成的修復(fù)圖片：

圖1 生成網(wǎng)絡(luò)結(jié)構(gòu)圖

內(nèi)容損失采用L2 距離,內(nèi)容損失是為了生成盡量真實(shí)的圖像,盡最大可能使得待修復(fù)完成的圖像與原圖像“距離”更小.假設(shè)M為圖像掩膜,其與輸入圖像具有同樣大小的尺寸,其中值為0 的部分代表破損像素點(diǎn),值為1的部分代表未破損像素點(diǎn),則定義內(nèi)容損失為如下的形式：

其中,符號(hào)⊙代表兩個(gè)矩陣的對(duì)應(yīng)元素相乘.

上下文感知損失(見3.4 節(jié))采用VGG16 特征提取器,得到生成圖像和原始圖像的特征圖,通過(guò)特征圖計(jì)算相似度作為損失來(lái)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練,上下文感知損失是為了讓生成網(wǎng)絡(luò)具有能夠約束局部特征的相似性的能力,使圖像修復(fù)得更加逼真,與原圖更加相似.其形式如下,其中 Φ表示VGG16 網(wǎng)絡(luò),CX為計(jì)算相似度的函數(shù)：

最后生成器的部分的損失函數(shù)如下,其中 λ1和λ2分別表示兩個(gè)損失的系數(shù)：

2.3 判別網(wǎng)絡(luò)

判別網(wǎng)絡(luò)是由全局上下文判別網(wǎng)絡(luò)和局部上下文判別網(wǎng)絡(luò)組成,分別對(duì)應(yīng)整體圖像和局部圖像,它們的作用就是判別生成圖像是真還是假.為了讓判別器具有更好的判別能力,該文在兩個(gè)判別網(wǎng)絡(luò)中都添加了基于SE-ResNet 的殘差網(wǎng)絡(luò)塊,使其能夠提升特征利用.全局和局部的網(wǎng)絡(luò)會(huì)將圖像壓縮成小的特征向量,然后連接起來(lái)作為最終結(jié)果去判斷圖像真假.判別網(wǎng)絡(luò)如圖2所示,其中全局和局部判別網(wǎng)絡(luò)的倒數(shù)第2 至倒數(shù)第4 層是SE-ResNet 殘差塊.

全局上下文判別器將整個(gè)輸入的圖裁剪到160×160 大小并作為網(wǎng)絡(luò)輸入,它包括3 個(gè)普通卷積層和3 個(gè)SE-ResNet 殘差塊以及一個(gè)全連接層,輸出為一個(gè)1024 維的向量,表示全局上下文信息.其中前4 層普通卷積層和殘差塊均采用步幅2 來(lái)減少圖像大小并雙倍增加輸出的通道數(shù)(第一層卷積輸出通道數(shù)為64),最后兩層通道數(shù)不變.

圖2 判別網(wǎng)絡(luò)結(jié)構(gòu)圖

局部上下文判別器與全局類似,局部網(wǎng)絡(luò)的輸入為96×96 大小的圖像,此圖像包括了缺失區(qū)域,但不全是缺失區(qū)域,還有一部分是未缺失圖像.由于輸入只是全局網(wǎng)絡(luò)輸入的缺失部分,該文去掉全局網(wǎng)絡(luò)中的第一層作為局部網(wǎng)絡(luò).輸出同樣為一個(gè)1024 維的向量,表示局部上下文信息.

最后全局和局部上下文判別網(wǎng)絡(luò)的輸出被拼接成一個(gè)2048 維的向量,然后送入一個(gè)全連接層并輸出一個(gè)實(shí)數(shù),最后經(jīng)過(guò)一個(gè)Sigmoid 函數(shù)將其映射到[0,1]范圍代表圖像真假的概率.

判別器的損失如下：

2.4 上下文感知損失

對(duì)于生成網(wǎng)絡(luò),我們希望它具有能夠約束局部特征的相似性,使圖像修復(fù)得更加逼真.從近期的圖像修復(fù)所使用的損失來(lái)看,普遍使用的是像素級(jí)的損失即要求修復(fù)后的圖像與完整圖像對(duì)齊[10-12],這些方法都不利于生成一個(gè)完整而又清晰的修復(fù)結(jié)果.因此該文提出了聯(lián)合上下文感知損失網(wǎng)絡(luò)訓(xùn)練生成網(wǎng)絡(luò),將圖像視為特征的集合,忽略特征的空間位置,不要求圖像完全對(duì)齊,允許局部形變,并根據(jù)特征之間的相似性度量圖像之間的相似性.讓生成的圖像和原始圖像經(jīng)過(guò)VGG16 特征提取器,得到圖像的特征圖,通過(guò)特征圖計(jì)算相似度作為損失來(lái)對(duì)生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練.

上下文感知損失網(wǎng)絡(luò)接收兩張160×160 大小的圖像,經(jīng)過(guò)已經(jīng)訓(xùn)練好的VGG16 后輸出感知損失.假設(shè)x為輸入圖像,則表示生成網(wǎng)絡(luò),表示VGG16 網(wǎng)絡(luò),表示計(jì)算相似度的函數(shù),那么上下文感知網(wǎng)絡(luò)的損失可以表示為：

更進(jìn)一步的,對(duì)于兩個(gè)輸入的圖像x,y經(jīng)過(guò)VGG16的特征提取后的xi,yj,其中CX函數(shù)計(jì)算兩張圖像的相似性函數(shù)如下,對(duì)于每個(gè)特征yj,找到與它最相似的特征xi,yj,然后對(duì)所有yj求和相應(yīng)的特征相似值：

其中,

其中,wij表示特征xi與yj的相似性,通過(guò)下式計(jì)算得到.

上式通過(guò)求冪從距離轉(zhuǎn)換到相似性,距離由下式計(jì)算得到.

對(duì)dij歸一化,其中dij為xi與yj的余弦距離.上述dij計(jì)算公式為：

其中,

在訓(xùn)練過(guò)程中,通過(guò)不斷的減小此損失(LCX)來(lái)優(yōu)化生成網(wǎng)絡(luò),生成網(wǎng)絡(luò)因此而具有約束局部特征的相似性的功能.

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

本文使用來(lái)自香港中文大學(xué)的開放數(shù)據(jù)集CelebA[14]和LFW[15].CelebA 是一個(gè)大型的人臉屬性數(shù)據(jù)集,包含1 萬(wàn)多個(gè)名人身份的20 多萬(wàn)張圖片.LFW 數(shù)據(jù)集是一個(gè)無(wú)約束自然場(chǎng)景人臉識(shí)別數(shù)據(jù)集,該數(shù)據(jù)集由13 000 多張全世界知名人士互聯(lián)網(wǎng)自然場(chǎng)景環(huán)境人臉圖片組成.

3.2 訓(xùn)練過(guò)程

在實(shí)驗(yàn)中,將CelebA 的12 萬(wàn)張圖片作為訓(xùn)練集,剩下的圖片作為測(cè)試集,將式(4)中 λ1設(shè)置為0.0004,λ2設(shè)置為0.004,將batch size 設(shè)置為12,圖片被裁剪成160×160 像素大小然后被送進(jìn)網(wǎng)絡(luò)訓(xùn)練.首先單獨(dú)對(duì)生成網(wǎng)絡(luò)訓(xùn)練90 000 次,然后對(duì)判別網(wǎng)絡(luò)訓(xùn)練10 000 次,最后聯(lián)合生成網(wǎng)絡(luò),判別網(wǎng)絡(luò)訓(xùn)練400 000 次.對(duì)于LFW 數(shù)據(jù)集我們將其中的1 萬(wàn)多張圖片作為訓(xùn)練集剩下的圖片作為測(cè)試集,將式(4)中 λ1設(shè)置為0.0004,λ2設(shè)置為0.004,將batch size 設(shè)置為16,圖片被裁剪成160×160 像素大小,訓(xùn)練步驟與上述相同.

3.3 SE-ResNet 的效果分析

在3.1 節(jié)該文從理論上分析了基于SE-ResNet 殘差塊的生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的優(yōu)勢(shì),為了進(jìn)一步從實(shí)驗(yàn)上證明,該文使用了CelebA 數(shù)據(jù)集對(duì)添加SE-ResNet殘差塊進(jìn)行了定性分析.如圖3.第1 列為原始圖片,第2 列為缺失圖片,第3 列為不使用SE-ResNet 殘差塊的方法修復(fù)后圖片,第4 列為使用SE-ResNet 殘差塊的修復(fù)后圖片.可以看出,SE-ResNet 的使用對(duì)修復(fù)效果的影響顯著,這也驗(yàn)證了SE-ResNet 殘差塊的有效性.

圖3 添加SE-ResNet 殘差塊與否對(duì)比圖

3.4 上下文感知損失的效果分析

在3.4 節(jié)該文從理論上分析了聯(lián)合上下文感知損失網(wǎng)絡(luò)訓(xùn)練生成網(wǎng)絡(luò)的有效性,為了驗(yàn)證上下文感知損失網(wǎng)絡(luò)在修復(fù)效果上的重要性,分別在訓(xùn)練時(shí)采用上下文感知損失網(wǎng)絡(luò)和不采用上下文感知損失網(wǎng)絡(luò)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,結(jié)果如圖4所示.第1 列為原始圖片,第2 列為缺失圖片,第3 列為不采用上下文感知損失網(wǎng)絡(luò)修復(fù)后圖片,第4 列為采用上下文感知損失網(wǎng)絡(luò)修復(fù)后圖片.從圖4的第4 行可以看出,對(duì)缺失嘴部的修復(fù)中,不采用上下文感知損失網(wǎng)絡(luò)修復(fù)后的圖片存在較為嚴(yán)重的修復(fù)痕跡,該文的方法能夠有效的減少修復(fù)痕跡,與原始圖像相似度更高.

圖4 采用上下文感知損失與否對(duì)比圖

3.5 與現(xiàn)有方法的比較

為了證明該文方法的優(yōu)越性,接下來(lái)將從各個(gè)方面與文獻(xiàn)[3]的方法進(jìn)行對(duì)比分析.

該文使用了兩種評(píng)價(jià)標(biāo)準(zhǔn)來(lái)評(píng)測(cè)修復(fù)效果.峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16]是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo).結(jié)構(gòu)相似性(Structural SIMilarity,SSIM)[17],是一種全參考的圖像質(zhì)量評(píng)價(jià)指標(biāo),它分別從亮度、對(duì)比度、結(jié)構(gòu)3 方面度量圖像相似性.SSIM取值范圍[0,1],值越大,表示圖像失真越小.

從CelebA 的測(cè)試數(shù)據(jù)集中隨機(jī)的選取128 張圖片,分別計(jì)算中心缺失為1/4 和中心缺失為1/3 的原圖,用文獻(xiàn)[3]方法修復(fù)的圖像以及本文的方法修復(fù)的圖像的PSNR 以及SSIM 值,然后進(jìn)行對(duì)比.從表1可以看出,本文的方法優(yōu)于文獻(xiàn)[3]的方法,更加接近原圖.另外,圖5定性分析了對(duì)比效果.前兩行為中心缺失1/2 的修復(fù)效果對(duì)比圖,后兩行為中心缺失1/4 的修復(fù)效果對(duì)比圖,從左到右依次為原圖,缺失圖片,文獻(xiàn)[3]的方法修復(fù)后圖片,本文方法修復(fù)后圖片.可以看出文獻(xiàn)[3]的修復(fù)結(jié)果存在較多的瑕點(diǎn),該文的修復(fù)效果更加清晰.另外圖6展示了在隨機(jī)缺失的情況下文獻(xiàn)[3]方法與本文方法的對(duì)比,可以看出在圖像的高頻信息部分缺失時(shí)(如眼睛、鼻子、嘴巴等),文獻(xiàn)[3]方法修復(fù)細(xì)節(jié)較差,且存在較多的偽影,而本文的方法不存在,修復(fù)效果更好.

表1 與文獻(xiàn)[3]方法的PSNR 和SSIM 指標(biāo)對(duì)比

圖5 與文獻(xiàn)[3]方法的中心缺失修復(fù)效果對(duì)比圖

圖6 與文獻(xiàn)[3]方法的隨機(jī)缺失修復(fù)效果對(duì)比圖

圖像邊緣檢測(cè)圖中標(biāo)識(shí)了數(shù)字圖像中亮度變化明顯的點(diǎn),反映了圖像中的重要的結(jié)構(gòu)屬性特征,因此本文從修復(fù)前后邊緣檢測(cè)圖的對(duì)比來(lái)判斷圖像的修復(fù)效果.圖7中第1 列為原圖,第2 列為原圖的邊緣檢測(cè)圖,第3 列為修復(fù)后圖像的邊緣檢測(cè)圖.從圖中可以看出,修復(fù)后的邊緣檢測(cè)圖與原圖比較接近,表明本文方法能從結(jié)構(gòu)上理解并修復(fù)圖像.

圖7 邊緣檢測(cè)圖對(duì)比

4 結(jié)束語(yǔ)

本文提出了一種基于SE-ResNet 的生成對(duì)抗網(wǎng)絡(luò)聯(lián)合上下文感知損失的方法來(lái)進(jìn)行圖像修復(fù)工作,通過(guò)在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)部分加入SE-ResNet 模塊,提升網(wǎng)絡(luò)特征利用,使得修復(fù)圖像更清晰.通過(guò)聯(lián)合contextual loss 約束局部特征的相似性,使得修復(fù)圖像更加逼真.多個(gè)實(shí)驗(yàn)證明,該文的方法在圖像修復(fù)上具有重要的作用.然而當(dāng)原始圖像的分辨率較大或者缺失范圍越大,該方法修復(fù)結(jié)果還是會(huì)存在明顯的模糊,并且訓(xùn)練時(shí)間更長(zhǎng),因此如何解決這個(gè)問(wèn)題有待于進(jìn)一步研究.基于深度學(xué)習(xí)的語(yǔ)義分割技術(shù)已經(jīng)較為成熟,將語(yǔ)義分割技術(shù)與圖像修復(fù)相結(jié)合是一項(xiàng)非常有意義的工作,因此下一步的研究重點(diǎn)就是如何將語(yǔ)義分割應(yīng)用于圖像修復(fù).