基于多尺度特征融合的人臉圖像修復(fù)方法

白宗文，弋婷婷，周美麗，魏 嵬

（1.延安大學(xué) 物理與電子信息學(xué)院，陜西 延安 716000；2.西安理工大學(xué) 計(jì)算機(jī)學(xué)院，西安 710048）

0 概述

圖像修復(fù)是指利用受損圖像周圍合理可信的信息來重建圖像的損壞區(qū)域，此技術(shù)被廣泛應(yīng)用于目標(biāo)移除［1］、圖像翻譯［2］和圖像編輯［3］等工程應(yīng)用領(lǐng)域?，F(xiàn)有研究表明，圖像修復(fù)質(zhì)量取決于受損面積的大小、圖像自身結(jié)構(gòu)特征和圖像語義特征等因素。傳統(tǒng)修復(fù)方法對(duì)于受損面積較小、圖像自身結(jié)構(gòu)簡(jiǎn)單的受損圖像具有良好的效果，但其依賴于當(dāng)前單幅圖像未受損區(qū)域的信息，通過擴(kuò)散或者統(tǒng)計(jì)計(jì)算對(duì)修復(fù)區(qū)域進(jìn)行信息填充，沒有利用復(fù)雜的結(jié)構(gòu)特征信息或者高層語義特征，修復(fù)結(jié)果難以達(dá)到語義級(jí)的一致性。近年來，隨著深度學(xué)習(xí)技術(shù)的興起，基于深度網(wǎng)絡(luò)模型的圖像修復(fù)取得了良好的效果，尤其是人臉圖像修復(fù)，這一技術(shù)的修復(fù)質(zhì)量、視覺效果以及在不同領(lǐng)域中的應(yīng)用成為關(guān)注的焦點(diǎn)。目前，如何使受損圖像保持像素層和語義層的一致性，并且避免損壞區(qū)域與未損壞區(qū)域的不完全融合成為人臉圖像修復(fù)的關(guān)鍵問題。采用深度網(wǎng)絡(luò)模型進(jìn)行圖像修復(fù)，除了利用當(dāng)前受損圖像的自身信息以外，還可以結(jié)合圖像結(jié)構(gòu)特征和語義特征獲得更優(yōu)的修復(fù)質(zhì)量和視覺效果，使修復(fù)的合理性得到進(jìn)一步提高。

通常傳統(tǒng)的圖像修復(fù)網(wǎng)絡(luò)都會(huì)引入特征歸一化方法進(jìn)行輔助訓(xùn)練，但對(duì)于人臉圖像修復(fù)網(wǎng)絡(luò)而言，采用這種跨空間的歸一化方法容易導(dǎo)致在提取受損區(qū)域以及未受損區(qū)域的特征時(shí)出現(xiàn)內(nèi)部協(xié)方差偏移的問題［4-5］，極大地影響了最終的修復(fù)質(zhì)量。這一問題在區(qū)域歸一化［6］方法中能夠得到有效解決，但現(xiàn)有的圖像修復(fù)方法大多是從單一尺度進(jìn)行圖像特征提取，較少將語義信息與不同尺度的特征進(jìn)行融合。

為改善針對(duì)人臉細(xì)節(jié)的修復(fù)效果，并且有效保留高層特征的結(jié)構(gòu)化信息，使整體的修復(fù)效果更符合人類視覺感知，本文通過結(jié)合多尺度特征融合方法和生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN），構(gòu)建一種新的網(wǎng)絡(luò)結(jié)構(gòu)——多尺度特征融合對(duì)抗網(wǎng)絡(luò)。

1 相關(guān)工作

圖像修復(fù)的目的是重建圖像中丟失或損壞的部分，從而恢復(fù)原圖像的清晰像素并保持其與周圍場(chǎng)景的一致性。目前，圖像修復(fù)技術(shù)已在計(jì)算機(jī)視覺領(lǐng)域得到廣泛應(yīng)用，成為圖像處理一個(gè)關(guān)鍵且極具挑戰(zhàn)的研究課題。本節(jié)從非基于學(xué)習(xí)的傳統(tǒng)方法和基于學(xué)習(xí)的方法兩個(gè)方面出發(fā)，對(duì)圖像修復(fù)方法做簡(jiǎn)要的歸納分析，并在現(xiàn)有研究的基礎(chǔ)上，針對(duì)目前方法存在的問題提出解決方案。

在非基于學(xué)習(xí)的傳統(tǒng)方法中，本文主要介紹基于擴(kuò)散（diffusion-based）和基于補(bǔ)?。╬atch-based）兩類方法。傳統(tǒng)方法主要依賴受損圖像的未破壞區(qū)域信息來填充受損區(qū)域，可以視為像素級(jí)的圖像修復(fù)，因而修復(fù)的結(jié)果很難達(dá)到語義級(jí)的一致性。在基于學(xué)習(xí)的方法中，本文主要介紹通過學(xué)習(xí)圖像的語義推斷缺失內(nèi)容的圖像修復(fù)方法。

1.1 非基于學(xué)習(xí)的傳統(tǒng)方法

1.1.1 基于擴(kuò)散的方法

MARCELO B 等人提出通過基于擴(kuò)散的方法［7-8］來填充損壞的區(qū)域，實(shí)際就是將可用的圖像信息傳播到需要修復(fù)的區(qū)域，即從孔的邊界傳播到最小變化方向的信息，通常將擴(kuò)散過程用等照度線或熱擴(kuò)散等物理模型建模。在使用此類方法時(shí)，修復(fù)區(qū)域過大會(huì)導(dǎo)致運(yùn)算量急劇增加，且由外邊界向區(qū)域中心的信息擴(kuò)散過程會(huì)因距離問題速度變慢。此外，擴(kuò)散過程會(huì)使修復(fù)區(qū)域過于平滑，并且在含有豐富紋理的情況下，能夠利用的圖像塊的相似性會(huì)減弱，導(dǎo)致匹配到合適紋理塊的難度加大，從而使修復(fù)區(qū)域變得模糊，不能得到理想的修復(fù)結(jié)果。

1.1.2 基于補(bǔ)丁的方法

對(duì)于圖像和視頻的合成與分析，基于補(bǔ)丁的采樣方法是一種被普遍使用的主流方法。同時(shí)，不同應(yīng)用中使用的搜索技術(shù)以及交互性程度也各有差異。文獻(xiàn)［9］提出一種應(yīng)用于區(qū)域填充和目標(biāo)移除的基于范例（exemplar-based）的圖像修復(fù)算法。該算法基于樣本的紋理合成效率和定性性能，同時(shí)兼顧周圍線性結(jié)構(gòu)對(duì)圖像的約束，引入優(yōu)先級(jí)函數(shù)來決定目標(biāo)函數(shù)的填充順序，并通過基于補(bǔ)丁的采樣過程提高計(jì)算效率。在應(yīng)用方面，該算法在去除大的遮擋物以及修復(fù)細(xì)劃痕方面效果顯著。文獻(xiàn)［10］提出的結(jié)構(gòu)傳播圖像處理方法解決了顯著性結(jié)構(gòu)斷裂的問題，其以全局優(yōu)化問題描述結(jié)構(gòu)傳播，同時(shí)利用動(dòng)態(tài)規(guī)劃方法進(jìn)行求解。當(dāng)用戶指定多條曲線時(shí)，采用置信度傳播算法尋求補(bǔ)丁。但如果用復(fù)雜曲線表示缺失部分時(shí)，會(huì)大幅增加圖像塊間的匹配難度。文獻(xiàn)［11］提出一種快速尋找圖像塊之間近似臨近匹配的隨機(jī)算法，核心思想是先通過采樣找到合適的匹配點(diǎn)，再利用自然圖像中的連貫性將匹配點(diǎn)快速傳播到周圍區(qū)域。文獻(xiàn)［12］提出一種利用中層結(jié)構(gòu)線索自動(dòng)引導(dǎo)基于補(bǔ)丁的圖像完成算法，該算法在拓展補(bǔ)丁距離以及采樣方案中整合平移規(guī)律約束，并將其作為補(bǔ)丁偏移和轉(zhuǎn)換的先驗(yàn)概率來達(dá)到最終目的。同時(shí)該算法還可以自動(dòng)恢復(fù)到基線平行平面（fronto-parallel）圖像，解決了缺乏可靠平面檢測(cè)的問題。區(qū)別于傳統(tǒng)的紋理合成算法，該算法能夠平衡分析和合成過程，提高修復(fù)性能。

1.2 基于學(xué)習(xí)的方法

傳統(tǒng)的圖像修復(fù)方法大多假定在平滑性、局部相似性等約束條件下通過偏微分方程、能量函數(shù)、熱擴(kuò)散方程等物理模型進(jìn)行建模來實(shí)現(xiàn)圖像修復(fù)，只適用于缺少少量信息的圖像，是典型的局部化操作，缺乏對(duì)整體圖像的統(tǒng)一認(rèn)知。近年來，隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用范圍不斷擴(kuò)大，基于深度學(xué)習(xí)的圖像修復(fù)技術(shù)成為研究熱點(diǎn)。與傳統(tǒng)方法不同，基于深度學(xué)習(xí)的修復(fù)方法能夠模仿人類進(jìn)行圖像修復(fù)的過程，實(shí)現(xiàn)從像素級(jí)到語義級(jí)的多層次融合修復(fù)，并取得具有高保真度的修復(fù)結(jié)果。其中，基于GAN 的圖像生成方法在修復(fù)工作中被廣泛應(yīng)用，其對(duì)隨機(jī)噪聲進(jìn)行映射學(xué)習(xí)，能夠生成豐富多樣的能夠以假亂真的新圖像，實(shí)現(xiàn)“無中生有”效果。最早將GAN 引入到圖像修復(fù)領(lǐng)域的Context Encode網(wǎng)絡(luò)［13］既可以理解整個(gè)圖像的內(nèi)容，又可以為缺失的部分生成一個(gè)合理的假設(shè)。但該方法不能處理任意圖像的修補(bǔ)掩膜，且僅限于修復(fù)低分辨率圖像，缺乏對(duì)局部一致性的考慮。文獻(xiàn)［14］提出的圖像修復(fù)方法同時(shí)考慮局部一致性和全局一致性，并且利用完全卷積神經(jīng)網(wǎng)絡(luò)在任何形狀缺失區(qū)域內(nèi)填充修復(fù)任意分辨率的圖像。該方法可適應(yīng)各種場(chǎng)景，如在文獻(xiàn)［15］提到的人臉修復(fù)就是利用全局-局部判別器的思想。

基于學(xué)習(xí)的深度框架通過自動(dòng)捕捉圖像的內(nèi)在層次來理解圖像內(nèi)容，并生成高層次的語義特征來修復(fù)缺失內(nèi)容，一般可以取得比傳統(tǒng)方法更優(yōu)的結(jié)果。基于GAN 的圖像修復(fù)可以在特定類型的圖像修復(fù)中取得較好的效果，但是對(duì)于高分辨率的圖像修復(fù)，會(huì)因圖像中內(nèi)容不相似而導(dǎo)致難以收斂，從而加大GAN 的訓(xùn)練難度。而多任務(wù)學(xué)習(xí)框架［16］結(jié)合結(jié)構(gòu)嵌入和注意機(jī)制，通過訓(xùn)練共享生成器，利用圖像結(jié)構(gòu)知識(shí)的整合來輔助圖像的修復(fù)。在有關(guān)注意力機(jī)制的研究中，對(duì)孔洞區(qū)域與上下文之間的相關(guān)性建模被用于圖像修復(fù)任務(wù)，例如文獻(xiàn)［17］提出利用多尺度上下文注意模塊（MUSICAL）進(jìn)行不同尺度下的特征圖交換，通過該方法可以使某些注意層獲得預(yù)期的特征圖，從而避免誤用具有豐富紋理背景的信息。此外，文獻(xiàn)［18］方法通過引入可學(xué)習(xí)的雙向注意力機(jī)制（LBAM）使可學(xué)習(xí)的注意力圖能夠適應(yīng)任意不規(guī)則孔洞，并在卷積過程中有效傳播。文獻(xiàn)［19］方法通過引入連貫性語義注意層（CSA）增強(qiáng)了受損區(qū)域的語義相關(guān)性和特征連續(xù)性。該方法包含粗、精兩個(gè)分支，其將CSA 加入到精細(xì)網(wǎng)絡(luò)層中，不僅可以保持上下文結(jié)構(gòu)一致，而且可以預(yù)測(cè)缺失部分。

2 融合多尺度特征的人臉圖像修復(fù)

本文將多尺度特征融合方法與生成對(duì)抗網(wǎng)絡(luò)相結(jié)合，構(gòu)建一種多尺度特征融合對(duì)抗網(wǎng)絡(luò)用于人臉圖像修復(fù)。

2.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)（GAN）［20］的設(shè)計(jì)主要受博弈論中“零和博弈”的啟發(fā)。將GAN 引入深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中，即利用生成器G和判別器D相互對(duì)抗博弈的促進(jìn)過程，使G學(xué)習(xí)到的數(shù)據(jù)分布能夠生成更逼真的圖像。在訓(xùn)練過程中，判別器D的目標(biāo)即鑒別出G生成的虛假照片G（z），使D（G（z））的概率盡可能小，而生成器G的目標(biāo)是使生成的圖像G（z）盡可能地欺騙鑒別器，使D（G（z））的概率盡可能大。由此就產(chǎn)生了G和D不斷動(dòng)態(tài)博弈的過程。這個(gè)不斷循環(huán)往復(fù)的對(duì)抗過程能夠使最終的生成圖像達(dá)到“以假亂真”的效果。GAN 原理框圖如圖1所示。

圖1 GAN 原理框圖Fig.1 Principle block diagram of GAN

2.2 特征金字塔網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）最早用于解決物體檢測(cè)中的多尺度問題，特別是對(duì)小物體的檢測(cè)效果顯著［21］，其利用常規(guī)CNN 模型高效提取圖片中各維度特征，本質(zhì)是一種加強(qiáng)主干網(wǎng)絡(luò)的特征表達(dá)方法。

為更直觀地理解FPN 的思想原理，基于ResNet101 給出FPN 網(wǎng)絡(luò)模型的結(jié)構(gòu)原理框圖，如圖2 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版），其中，紅色長(zhǎng)方體表示卷積及下采樣過程，橙色長(zhǎng)方體代表普通卷積過程，藍(lán)色長(zhǎng)方體代表最終生成的特征圖。由圖2 可知，一個(gè)深層FPN 在“自上而下”（圖中“自左向右”）提取特征時(shí)使用每個(gè)階段最后的輸出特征進(jìn)行橫向連接。此外，1×1 卷積的使用也可以靈活改變通道數(shù)，使各層通道數(shù)最終保持一致。而利用“自上而下”的最鄰近插值法進(jìn)行上采樣的過程，可使最終的特征圖既有合適的分辨率又有表達(dá)能力較強(qiáng)的語義信息，而3×3 卷積的使用則有效地避免了混疊效應(yīng)。

圖2 基于ResNet101 的FPN 原理框圖Fig.2 Principle block diagram of FPN based on ResNet101

2.3 多尺度特征融合的網(wǎng)絡(luò)框架

文獻(xiàn)［5］設(shè)計(jì)的網(wǎng)絡(luò)采用區(qū)域歸一化（Area Normalization，RN）方法，實(shí)驗(yàn)結(jié)果表明其優(yōu)于實(shí)例歸一化（Instance Normalization，IN）方法。因此，本文以該網(wǎng)絡(luò)作為主要架構(gòu)，繼續(xù)在網(wǎng)絡(luò)的生成器中沿用區(qū)域歸一化方法，而對(duì)于生成器的考慮，本文則利用多尺度特征融合的方法，使生成器部分提取到比傳統(tǒng)網(wǎng)絡(luò)語義更強(qiáng)、有效信息更精確的特征。本文設(shè)計(jì)的基于多尺度特征融合對(duì)抗框圖如圖3 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。與PatchGAN［22-23］中判別器只是簡(jiǎn)單地使用卷積網(wǎng)絡(luò)提取單一圖像特征的方法不同，本文方法從多尺度特征角度考慮對(duì)判別器的特征提取方式進(jìn)行改變。在圖3 中的判別器部分，最左邊從底層到頂層（淺紫色塊）首先利用傳統(tǒng)的卷積方法對(duì)圖片進(jìn)行特征提取，然后通過1×1 卷積（左邊藍(lán)色箭頭）擴(kuò)大通道數(shù)，這樣可以增加有效信息的采集，而中間所得到的特征圖（深紫色塊）利用上采樣及加和（棕色向下箭頭）的方式有效地融合了高層特征的結(jié)構(gòu)語義信息和不同層分辨率的細(xì)節(jié)紋理，再利用3×3 卷積（右邊淺橙色箭頭）調(diào)節(jié)后得到的特征圖各自經(jīng)過一個(gè)自適應(yīng)池化（淡橙色塊），最后將得到的特征有效的連接（淺黃色塊）在一起作為輸出。經(jīng)過這樣一個(gè)不斷融合的過程，可在提升判別器判別力的同時(shí)促進(jìn)生成器生成更逼真的圖像，由此增強(qiáng)對(duì)圖像的修復(fù)能力。時(shí)缺少豐富的輪廓信息而造成的平滑現(xiàn)象。而對(duì)于細(xì)節(jié)紋理的獲得，將低頻信息的高分辨率填充到損壞的底層部分，使圖像在視覺上更清晰自然?；谝陨蟽牲c(diǎn)分析，本文通過圖像高層特征把握?qǐng)D像整體規(guī)律，利用低層特征填充高層特征中被遮擋的孔洞，進(jìn)而將合適的分辨率以及語義特征相融合，結(jié)合損壞的單幅圖像的紋理信息與到邊界明確的結(jié)構(gòu)信息，提高圖像修復(fù)的質(zhì)量。

圖3 基于多尺度特征融合的對(duì)抗框架Fig.3 Adversarial framework based on multi-scale feature fusion

此外，對(duì)于不同分辨率的圖像，本文采用的1×1 小卷積靈活調(diào)節(jié)所需的通道數(shù)。例如在提取人臉圖像信息時(shí)將原始的通道數(shù)拓展到256，雖然參數(shù)增加了近2倍，但是更有效地保存了小目標(biāo)（如人眼）的細(xì)節(jié)及結(jié)構(gòu)信息。同時(shí)本文對(duì)于更大卷積的使用也做了一定考慮，例如將1×1 卷積換成3×3 卷積，理論分析這樣可以保留更多的有效信息，但是會(huì)造成參數(shù)急劇增加，導(dǎo)致訓(xùn)練速度變慢，若換用更大的卷積對(duì)設(shè)備的配置將提出更高的要求，極大地增加了成本輸出。

2.4 損失函數(shù)

生成對(duì)抗網(wǎng)絡(luò)的損失函數(shù)是在生成器和鑒別器之間交替進(jìn)行的，同時(shí)采用了不同的損失函數(shù)進(jìn)行計(jì)算。本文模型損失函數(shù)的使用與基線方法大致相同，用Igt表示輸入的原圖，用M表示二進(jìn)制掩膜，兩者經(jīng)過Khatri-Rao 積（簡(jiǎn)稱KR 積，符號(hào)表示為⊙）運(yùn)算，得到帶掩膜的損壞圖像，計(jì)算公式如下：

其中，Ipred即為模型預(yù)測(cè)的修復(fù)結(jié)果。因此，該模型的對(duì)抗損失為：

由于高層特征的語義信息可以對(duì)單幅圖像的高頻結(jié)構(gòu)特征進(jìn)行有效展現(xiàn)，因此能夠緩解修復(fù)圖像

此外，在對(duì)損失函數(shù)進(jìn)行計(jì)算時(shí)，本文利用標(biāo)簽平滑方式［24］將原有真實(shí)標(biāo)簽和虛假標(biāo)簽分別改為0.9 及0.1，這樣可以提高模型的泛化能力，使模型的訓(xùn)練結(jié)果具有更強(qiáng)的魯棒性。

本文引入風(fēng)格損失函數(shù)［25］進(jìn)行相關(guān)判斷，如式（4）所示：

為增強(qiáng)提取特征的細(xì)節(jié)，本文引入了感知損失［26］，表達(dá)式如下：

其中，?j表示預(yù)訓(xùn)練VGG［27］網(wǎng)絡(luò)得到的激活圖。通過預(yù)訓(xùn)練出的網(wǎng)絡(luò)來捕捉圖像的細(xì)節(jié)特征可以得到更好的修復(fù)結(jié)果。

將以上損失與L1 損失結(jié)合起來構(gòu)成本文的整體目標(biāo)損失，如式（6）所示：

其中，ε表示無限接近0 的最小正數(shù)，能夠?qū)φw的目標(biāo)損失加以約束，使產(chǎn)生的結(jié)果得到校正，提高修復(fù)的整體性能。此外，本文所設(shè)置的引入損失函數(shù)的權(quán)重分配為λl1=1，λadv=0.1，λs=λp=0.000 1。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

在CelebA 數(shù)據(jù)集［28］上使用本文方法進(jìn)行實(shí)驗(yàn)，其中訓(xùn)練集有162 770張人臉圖像，驗(yàn)證集有19 867 張圖像，測(cè)試集有19 962 張圖像。實(shí)驗(yàn)還使用不規(guī)則掩膜（irregular mask）數(shù)據(jù)集［29］，其中包含12 000 張不規(guī)則掩膜圖像，掩碼區(qū)域占整張圖像0%～60%。該數(shù)據(jù)集掩碼區(qū)域分為6 個(gè)等級(jí)，不規(guī)則掩膜各等級(jí)區(qū)域展示如圖4 所示，其中包括0%～10%、10%～20%、20%～30%、30%～40%、40%～50%、50%～60% 這6 種遮擋率的掩碼形式，且各部分均分別包含2 000 張掩碼圖像。

圖4 不規(guī)則掩膜各等級(jí)區(qū)域展示圖Fig.4 Regional display images of various grades of irregular mask

3.2 實(shí)驗(yàn)步驟與評(píng)價(jià)指標(biāo)

通過PyTorch 實(shí)現(xiàn)本文方法模型，在Ubuntu14.0環(huán)境下利用3 塊1080Ti GPU 進(jìn)行訓(xùn)練，批量設(shè)為14，同時(shí)使用Adam［30］進(jìn)行優(yōu)化。

采用3 種評(píng)價(jià)指標(biāo)對(duì)修復(fù)完成的圖像進(jìn)行最終的質(zhì)量評(píng)估，分別是L1 損失、峰值信噪比（Peak Signal to Noise Ratio，PSNR）［31］、結(jié)構(gòu)相似性（Structural Similarity，SSIM）［32］。

損失函數(shù)L1 基于逐像素比較差異，然后取絕對(duì)值對(duì)圖像進(jìn)行相應(yīng)的重建能力評(píng)估，計(jì)算公式如下：

其中，x（p）表示真實(shí)圖像的像素值，y（p）表示修復(fù)圖像的像素值。

PSNR 是衡量圖像質(zhì)量的另一種指標(biāo)，計(jì)算PSNR 要先對(duì)圖像的均方誤差（Mean Square Error，MSE）進(jìn)行計(jì)算，計(jì)算公式如下：

其中，H、W是單色圖像I、K的尺寸大小，I(i，j)是真實(shí)圖像的像素表示，K(i，j)是修復(fù)圖像的像素表示。由此，PSNR 的計(jì)算公式表示如下：

其中，MAXI表示圖像中某點(diǎn)顏色的最大值，例如本文每個(gè)采樣點(diǎn)用8 位表示，則其顏色最大值為255。

SSIM 主要通過亮度（luminance）、對(duì)比度（Contrast）和結(jié)構(gòu)（Structure）三方面對(duì)兩張圖像進(jìn)行最終的結(jié)構(gòu)相似性評(píng)估，計(jì)算公式如下：

其中，x和y表示真實(shí)值和修復(fù)值，μx和μy表示真實(shí)圖像和修復(fù)圖像的均值，σx和σy表示真實(shí)圖像和修復(fù)圖像的方差，σxy表示協(xié)方差，c1和c2為常數(shù)，取值分別為0.012和0.032。應(yīng)注意的是，上述3 種評(píng)價(jià)指標(biāo)均依據(jù)灰度圖像進(jìn)行評(píng)估。

3.3 結(jié)果分析

通過以上實(shí)驗(yàn)參數(shù)的設(shè)置，本文方法最終的修復(fù)結(jié)果如圖5 所示。從人類視覺感知角度可以明顯看出，本文方法所取得的修復(fù)圖像與真實(shí)圖像相比幾乎沒有差別。

圖5 本文方法修復(fù)結(jié)果Fig.5 Repair results of the proposed method

3.3.1 定量分析

將本文方法與區(qū)域歸一化（RN）方法進(jìn)行對(duì)比，兩種方法都是在測(cè)試數(shù)據(jù)集數(shù)量為19 870 張CelebA 人臉圖像上進(jìn)行測(cè)試，輸入的圖像最終尺寸都會(huì)調(diào)整為256 像素×256 像素。分別設(shè)置5 組實(shí)驗(yàn)進(jìn)行圖像質(zhì)量指標(biāo)測(cè)試，結(jié)果如圖6～圖8 所示。由圖6 和圖7 可以看出，本文方法所得結(jié)果的折線圖均位于RN 方法之上，表明本文方法修復(fù)結(jié)果效果更佳。由圖8 可以看出，本文方法的L1 損失折線位于下方，同樣反映了本文方法的修復(fù)效果更優(yōu)。在10%～20% 的掩膜區(qū)域，將1 000 張圖像與輸出的19 870 張人臉圖像相比，本文方法得到的測(cè)試結(jié)果都優(yōu)于RN 方法，其中，PSNR 相比于RN 方法提高了2.54 dB，SSIM 測(cè)試結(jié)果提高了0.02，L1 損失的值下降了0.20%。在其他的掩膜區(qū)域（20%～30%、30%～40%、40%～50%）中依照同樣的方法進(jìn)行測(cè)試，而最后的0%～60%是對(duì)各區(qū)域掩膜等比隨機(jī)選?。ǜ鲄^(qū)域分別約為333 張），最終隨機(jī)共取了2 000 張不規(guī)則掩膜與19 870 張人臉圖像進(jìn)行測(cè)試。由測(cè)試數(shù)據(jù)可知，對(duì)于0%～60%區(qū)域的掩膜，本文方法相比于RN方法的PSNR 值提高了3.14 dB，SSIM 提高了0.05，而L1 損失下降了0.67%。

圖6 PSNR 指標(biāo)對(duì)比Fig.6 PSNR index comparison

圖7 SSIM 指標(biāo)對(duì)比Fig.7 SSIM index comparison

圖8 L1 損失對(duì)比Fig.8 L1 loss comparison

3.3.2 定性分析

本文方法與RN 方法的修復(fù)效果對(duì)比如圖9 所示，可以看出，本文方法修復(fù)的圖像清晰自然，在視覺上顯得更為合理流暢。

圖9 不同方法修復(fù)效果對(duì)比Fig.9 Comparison of repair effects of different methods

2 種方法在細(xì)節(jié)方面的修復(fù)對(duì)比如圖10 所示，通過對(duì)比放大框里各個(gè)人眼的修復(fù)結(jié)果可以看出，本文方法在細(xì)節(jié)紋理及結(jié)構(gòu)方面的修復(fù)效果更佳，本文方法修復(fù)的人眼沒有模糊的重影，結(jié)構(gòu)紋理清晰明了。

圖10 修復(fù)結(jié)果細(xì)節(jié)對(duì)比Fig.10 Comparison of repair results in detail

在不規(guī)則大掩膜對(duì)整個(gè)面部幾乎完全遮擋的情況下，2 種方法的結(jié)果對(duì)比如圖11 所示，可以看出，依然是本文方法取得的修復(fù)效果更優(yōu)，例如在第1 行中面部除了人眼未遮擋的情況下，本文方法最終修復(fù)的人臉顯示了原圖的微笑表情，且修復(fù)結(jié)果在視覺感知下結(jié)構(gòu)分明。

圖11 面部大面積遮擋圖像修復(fù)效果對(duì)比Fig.11 Comparison of repair effects for images with facial large-area occlusion

圖9 和圖11 的結(jié)果表明本文方法可以產(chǎn)生視覺上更合理的修復(fù)效果，而RN 方法所得到的結(jié)果存在扭曲的結(jié)構(gòu)和模糊的紋理，例如圖9 第2 行和第3 行采用RN 方法修復(fù)的人臉存在偽影與模糊的結(jié)構(gòu)，圖9最后3 行利用RN 修復(fù)的人臉面部大范圍存在模糊現(xiàn)象。相比之下，本文方法可以產(chǎn)生視覺上真實(shí)及合理的圖像。

4 結(jié)束語

本文提出一種多尺度特征融合的圖像修復(fù)方法。通過GAN 將語義信息與紋理信息有效融合，保證生成內(nèi)容的邊緣和紋理與原圖的內(nèi)容基本一致，從而使最終的修復(fù)效果滿足視覺上的可視性和語義上的合理性。本文在對(duì)抗網(wǎng)絡(luò)的鑒別器中引入FPN方法，同時(shí)增加原有的網(wǎng)絡(luò)通道數(shù)，從而得到合理的圖像結(jié)構(gòu)和清晰的真實(shí)紋理。實(shí)驗(yàn)結(jié)果表明，本文方法的PSNR、SSIM、L1 損失等指標(biāo)均優(yōu)于RN 方法，其PSNR 指標(biāo)平均提升2.28 dB，SSIM 指標(biāo)平均提升0.04，L1 損失平均下降0.47%。通過觀察定性分析環(huán)節(jié)展示的人臉圖像也可明顯看出，本文方法在人臉圖像修復(fù)方面較RN 方法能夠取得更好的視覺效果。后續(xù)將采用兩個(gè)判別器提升網(wǎng)絡(luò)的鑒別能力，充分利用圖像的有效特征進(jìn)行圖像修復(fù)，同時(shí)在對(duì)抗網(wǎng)絡(luò)的生成器中引入多尺度特征融合的方法，進(jìn)一步優(yōu)化網(wǎng)絡(luò)生成修復(fù)圖像時(shí)的性能表現(xiàn)。