結(jié)合感知注意力機(jī)制的生成式對抗網(wǎng)絡(luò)圖像修復(fù)*

肖 鋒，劉映杉，夏夢卿

(西安工業(yè)大學(xué) 計算機(jī)科學(xué)與工程學(xué)院,西安 710021)

圖像修復(fù)是針對圖像的破損區(qū)域填充符合圖像結(jié)構(gòu)紋理、語義信息的數(shù)據(jù)，以生成具有完整圖像信息的圖像處理方法，在照片編輯、圖像渲染或傳輸過程中，丟失或損壞的圖像數(shù)據(jù)補(bǔ)全缺失區(qū)域的內(nèi)容信息，圖像中造成視覺干擾的區(qū)域性遮擋物或瑕疵被替換為符合該圖語義信息的背景內(nèi)容等，都屬于圖像修復(fù)的范疇，是計算機(jī)視覺中的研究熱點[1-4]。由于圖像修復(fù)的核心挑戰(zhàn)在于為破損區(qū)域合成語義合理且視覺逼真的內(nèi)容，修復(fù)算法需要對在內(nèi)容表達(dá)的合理性上進(jìn)行研究。

早期的圖像修復(fù)方法主要基于紋理合成的思想，利用物理模型和數(shù)學(xué)模型解決問題。經(jīng)典模型有基于偏微分方程的BSCB模型[5]，運(yùn)用整體變分法建立的TV數(shù)學(xué)修復(fù)模型[6]，基于樣本塊填充的Criminisi算法模型[7]等。這類傳統(tǒng)修復(fù)方法的計算量相對較小，適用于修復(fù)中小面積范圍的紋理破損區(qū)域。然而，簡單的數(shù)學(xué)物理模型只能借鑒信息，不能重構(gòu)信息。當(dāng)圖像的缺失區(qū)域涉及大量復(fù)雜的語義信息時，復(fù)原任務(wù)難以完成。在深度學(xué)習(xí)熱潮的當(dāng)下，一些研究借鑒了圖像基礎(chǔ)樣式的思想，將修復(fù)問題理解為內(nèi)容優(yōu)化問題[8-10]。Chao Yang等人提出了基于圖像內(nèi)容和紋理約束聯(lián)合優(yōu)化的多尺度神經(jīng)補(bǔ)丁合成法，不僅可以保留上下文結(jié)構(gòu)，還可以通過匹配和調(diào)整補(bǔ)丁與最相似的中間層來產(chǎn)生更加高頻的細(xì)節(jié)，深度分類網(wǎng)絡(luò)的特征相關(guān)性。該方法的優(yōu)化過程過于緩慢，不適合實際應(yīng)用。生成式對抗網(wǎng)絡(luò)GAN借助深度卷積神經(jīng)和自身的對抗思想[11]，深入學(xué)習(xí)理解圖像的特征信息指導(dǎo)圖像修復(fù)，達(dá)到了很好的效果。文獻(xiàn)[12]提出的上下文編碼器 (Context-Encoders,CE)圖像修復(fù)網(wǎng)絡(luò)模型首次結(jié)合了生成式對抗網(wǎng)絡(luò)(Generative Adversarial Nets,GAN)和卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)，網(wǎng)絡(luò)結(jié)構(gòu)基于一個自編碼解碼器，利用編碼器將圖像特征映射到低維空間，再利用解碼器重建圖像信息進(jìn)行修復(fù)后的輸出。生成式對抗網(wǎng)絡(luò)的加入增強(qiáng)了生成像素與現(xiàn)有像素之間的一致性，修復(fù)結(jié)果在高度結(jié)構(gòu)化的圖像中生成了合理的新內(nèi)容。但是修復(fù)區(qū)域仍存在內(nèi)容模糊、易產(chǎn)生偽影等視覺瑕疵現(xiàn)象。Alec Radford等人通過深度卷積對抗生成網(wǎng)絡(luò)(Deep Convolutional GAN,DCGAN)用深度學(xué)習(xí)完成了圖像修復(fù)任務(wù)。文獻(xiàn)[13]針對CE算法的不足進(jìn)行改進(jìn)，加入全局和局部損失函數(shù)來保持圖像在全局和局部的一致性。文獻(xiàn)[14]結(jié)合GAN與注意力機(jī)制提出了自注意力機(jī)制GAN(Self-Attention GAN,SAGAN)模型，利用遠(yuǎn)距離依賴的優(yōu)勢生成的圖像，語義信息生成效果有顯著提升。上述算法對語義內(nèi)容模糊的現(xiàn)象進(jìn)行了改善，但修復(fù)區(qū)域與完好區(qū)域銜接處的信息過渡仍然不連貫，導(dǎo)致圖像整體信息表達(dá)不夠逼真。

針對以上問題，本文對經(jīng)典生成式對抗網(wǎng)絡(luò)的圖像修復(fù)算法進(jìn)行改進(jìn)，設(shè)計了雙層修復(fù)網(wǎng)絡(luò)，對圖像進(jìn)行粗略和精細(xì)兩次修復(fù)。首先，第一層修復(fù)網(wǎng)絡(luò)基于簡單的擴(kuò)張卷積網(wǎng)絡(luò)，結(jié)合重建損失對缺失區(qū)域進(jìn)行粗略修復(fù)；其次，第二層修復(fù)網(wǎng)絡(luò)引入感知注意力機(jī)制，該機(jī)制借鑒了傳統(tǒng)補(bǔ)丁填充的思想，基于粗略修復(fù)后的圖像，匹配與前景區(qū)域最相似的背景區(qū)域，使用背景區(qū)域的特征作為卷積核重建前景區(qū)域的信息，指導(dǎo)前景區(qū)域的修復(fù)，以得到精細(xì)化修復(fù)的圖像；最后，在鑒別器中優(yōu)化了重建損失函數(shù)和對抗損失函數(shù)，保證了修復(fù)區(qū)域與周圍區(qū)域內(nèi)容的一致協(xié)調(diào)性。

1 模型框架

基于CE網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，如圖1所示。以CE網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)，遵循一致的輸入輸出配置。為了進(jìn)一步擴(kuò)大感受野并穩(wěn)定訓(xùn)練過程，引入兩階段修復(fù)網(wǎng)絡(luò)。兩層網(wǎng)絡(luò)均采用編碼解碼器模型，其中編碼器端添加感知注意力機(jī)制模塊，利用普通卷積、擴(kuò)張卷積等操作對圖像進(jìn)行特征提?。唤獯a器利用反卷積操作對提取的特征進(jìn)行重建修復(fù)。這種兩階段的網(wǎng)絡(luò)架構(gòu)借鑒于剩余學(xué)習(xí)[15]和深度監(jiān)督[16]。精細(xì)修復(fù)網(wǎng)絡(luò)的圖像輸入是前一層粗略修復(fù)網(wǎng)絡(luò)的輸出，因此其編碼器可以比前一層粗略修復(fù)網(wǎng)絡(luò)學(xué)習(xí)到更好的特征信息，即第一層網(wǎng)絡(luò)可以更好地指導(dǎo)第二層網(wǎng)絡(luò)的修復(fù)，這也是雙層網(wǎng)絡(luò)的意義所在。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

第一階段粗略修復(fù)網(wǎng)絡(luò)模型對圖像進(jìn)行初始粗略修復(fù)，引入擴(kuò)張卷積進(jìn)一步擴(kuò)大感受野。生成器網(wǎng)絡(luò)由破損圖像x和二進(jìn)制掩碼Mc成對作為輸入，經(jīng)過卷積層、激活函數(shù)、池化層及反卷積等操作輸出重建修復(fù)的圖像。其中，破損圖像以白色像素填充破損區(qū)域，預(yù)處理大小為256×256 pixel；二進(jìn)制掩碼由破損區(qū)域的像素信息(破損區(qū)域表示為1，其他區(qū)域為0)表示，破損區(qū)域標(biāo)準(zhǔn)大小為128×128 pixel。成對的輸入可以使生成網(wǎng)絡(luò)快速準(zhǔn)確區(qū)分出破損的區(qū)域(前景區(qū)域)和未破損區(qū)域(背景區(qū)域)，為精細(xì)修復(fù)網(wǎng)絡(luò)中的感知注意力機(jī)制模塊提取特征提供信息參考。該階段網(wǎng)絡(luò)由重構(gòu)損失函數(shù)進(jìn)行內(nèi)部參數(shù)的優(yōu)化調(diào)整，最終輸出粗略修復(fù)后的完整圖像。

第二階段精細(xì)修復(fù)網(wǎng)絡(luò)將粗略修復(fù)結(jié)果作為輸入，引入感知注意力機(jī)制，對圖像進(jìn)行精細(xì)修復(fù)。該階段修復(fù)網(wǎng)絡(luò)的特征提取過程分為并行的兩層：一層為基于感知注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)層；另一層為基于擴(kuò)張卷積的卷積神經(jīng)網(wǎng)絡(luò)層。兩層網(wǎng)絡(luò)提取特征后進(jìn)行聚合，一并輸入解碼網(wǎng)絡(luò)中，采用反卷積的操作重建圖像。該階段網(wǎng)絡(luò)由重構(gòu)損失函數(shù)和對抗損失函數(shù)進(jìn)行約束，反饋優(yōu)化，最終輸出精細(xì)修復(fù)后的完整圖像。

該雙層修復(fù)網(wǎng)絡(luò)模型整體薄且深，相較于原始的模型具有更少的參數(shù)冗余和更高的計算效率。此外，本文還將激活函數(shù)由原始模型中的線性整流函數(shù)(Rectified Linear Unit,ReLU)更換為線性指數(shù)函數(shù)[17](Exponential Linear Unit,ELU)，并剪切輸出的濾波器值以再次達(dá)到減少冗余的效果。

為了在接收更大感受野的同時不增加參數(shù)數(shù)量，穩(wěn)定模型訓(xùn)練過程，本文將模型中的普通卷積層改進(jìn)為變體形式的擴(kuò)張卷積層。擴(kuò)張卷積層的參數(shù)信息見表1。改進(jìn)后的網(wǎng)絡(luò)模型中，參數(shù)冗余大大減少，計算更高效。

表1 擴(kuò)張卷積層參數(shù)

1.1 感知注意力機(jī)制模塊

用已知信息在訓(xùn)練期間形成卷積核，對未知信息進(jìn)行指導(dǎo)重建的思想，設(shè)計了基于相似性計算的感知注意力機(jī)制模塊。

卷積層對圖像特征的提取具有局限性和盲目性，沒有考慮到與圖像各部分結(jié)構(gòu)紋理、語義信息的關(guān)聯(lián)。為了克服這一局限，本文使用感知注意力機(jī)制，在深層生成網(wǎng)絡(luò)中引入基于感知注意力機(jī)制的內(nèi)容關(guān)注層。傳統(tǒng)的PatchMatch[18]思想認(rèn)為圖像整體具有相關(guān)性，背景區(qū)域(未破損區(qū)域)對前景區(qū)域(破損區(qū)域)的修復(fù)具有指導(dǎo)性。借鑒該思想，本文引入感知注意力機(jī)制將前景區(qū)域與背景區(qū)域相關(guān)聯(lián)，在卷積核不變的前提下擴(kuò)大特征提取過程中的感受野，將圖像的注意力集中在相關(guān)重點信息上，以快速獲得最有效的信息。

首先，在背景區(qū)域提取3×3的像素塊，重新排列后作為卷積核，與粗略修復(fù)后圖像的前景區(qū)域逐塊計算標(biāo)準(zhǔn)化內(nèi)積(余弦相似度)作為圖像之間的注意力值。式(1)如下，其中Sx,y,x′,y′表示背景{bx′,y′}模塊與前景{fx,y}模塊的內(nèi)容相似度。

(1)

再利用softmax函數(shù)計算每組Sx,y,x′,y′的softmax值作為圖像注意力的百分比值。式(2)如下，其中λ為常量。

(2)

最后，通過注意力百分比值選取出背景區(qū)域中與前景區(qū)域最匹配卷積塊{bx′,y′}作為反卷積核，與并行的普通卷積神經(jīng)網(wǎng)絡(luò)層提取的特征進(jìn)行合并，一同輸入解碼器中重建前景區(qū)域信息。

為了更好地顯示感知注意力機(jī)制的作用，本文對該模塊進(jìn)行了注意力可視化，使用一個顏色輪盤來表示前景區(qū)域中每個像素最感興趣的背景區(qū)域的相對位置。如圖2所示，粉紅色表示關(guān)注點在左下方，藍(lán)色表示關(guān)注點在右下方。

圖2 修復(fù)結(jié)果及其注意力可視化

1.2 基于空間位置的重建損失函數(shù)

生成式對抗網(wǎng)絡(luò)常用L1范數(shù)損失函數(shù)(Loss 1,L1)或L2范數(shù)損失函數(shù)(Loss 2,L2)損失函數(shù)作為重建損失，對復(fù)雜場景下圖像的重建結(jié)果與原圖進(jìn)行對比以優(yōu)化參數(shù)。原始的CE算法使用L2損失函數(shù)作為重建損失，并將原始圖像作為計算重建損失的唯一標(biāo)準(zhǔn)，該條件容易對訓(xùn)練過程產(chǎn)生誤導(dǎo)。例如，網(wǎng)絡(luò)重建后的語義真實合理，卻由于不符合原始圖像的既定信息而被判定為修復(fù)失敗。本文由于網(wǎng)絡(luò)模型層數(shù)基數(shù)大，采用收斂性更加平穩(wěn)的L1損失函數(shù)作為重建損失，并在此基礎(chǔ)上引入空間衰減權(quán)重，平衡前景區(qū)域各部分修復(fù)效果，減小單一損失值對修復(fù)結(jié)果造成的影響。

原始CE算法中采用的L2損失函數(shù)，即均方誤差(Mean-Square Error,MSE)回歸損失函數(shù)，計算預(yù)測值與目標(biāo)值之間差值的平方和。式(3)如下：

(3)

均方誤差MSE數(shù)據(jù)圖的各點處連續(xù)光滑，容易求導(dǎo)；但收斂過程不穩(wěn)健，當(dāng)函數(shù)的輸入值距離中心值較遠(yuǎn)時，使用梯度下降法求解易導(dǎo)致梯度爆炸。

本文采用的平均絕對誤差(Mean Absolute Error,MAE)回歸損失函數(shù)，計算目標(biāo)值與預(yù)測值之差絕對值的和，表示預(yù)測值的平均誤差幅度，不需要考慮誤差的方向范圍。式(4)如下：

(4)

相比于L2損失函數(shù)，L1損失函數(shù)對于任何輸入值都有穩(wěn)定的梯度，不易發(fā)生梯度爆炸問題，具有較為穩(wěn)健性的解。

圖像修復(fù)過程中，破損區(qū)域邊界處的取值范圍比中心區(qū)域小，修復(fù)結(jié)果的歧義性遠(yuǎn)小于中心區(qū)域。因此，相比于中心部分，破損區(qū)域的邊緣部分即破損區(qū)域與未破損區(qū)域銜接處的一致性更重要。借鑒時間衰減損失函數(shù)[19]，在L1重建損失函數(shù)的基礎(chǔ)上引入空間衰減思想。計算重建損失值時，像素點越靠近中心位置，重構(gòu)損失的權(quán)重設(shè)置越小，避免破損中心真實合理的修復(fù)結(jié)果因為與原始圖像差距過大而被判定修復(fù)失敗，誤導(dǎo)訓(xùn)練過程。將權(quán)重掩模M引入空間重建損失函數(shù)，掩模中每個像素的權(quán)重為γ，即破損像素與最鄰近已知像素之間的距離，初始值設(shè)定為0.9。式(5)如下：

(5)

1.3 對抗損失函數(shù)

與先前依賴DCGAN進(jìn)行對抗性監(jiān)督的生成網(wǎng)絡(luò)不同，本文使用兩個鑒別器網(wǎng)絡(luò)。采用基于Wasserstein 損失函數(shù)的生成式對抗網(wǎng)絡(luò)(Wasserstein GAN,WGAN)中的對抗損失函數(shù)[20]，附加在第二階段生成器網(wǎng)絡(luò)模型后，以實現(xiàn)對結(jié)果圖像全局信息和局部信息的真假鑒別和對抗優(yōu)化。WGAN形式的損失函數(shù)是目前用于圖像生成的最佳損失值，使用Earth-Mover距離來表示生成圖像和真實圖像的分布，并且當(dāng)距離度量均使用1時，與L1重建損失結(jié)合使用，收斂效果更佳。其中，全局鑒別器評估圖像的整體一致性，局部鑒別器僅在以補(bǔ)全區(qū)域為中心的小區(qū)域進(jìn)行評估，以確保生成的補(bǔ)丁在局部區(qū)域的質(zhì)量。對抗損失目標(biāo)函數(shù)如式(6)所示：

log(1-D(C(x,Mc),Mc))]。

(6)

全局鑒別器將整幅圖像調(diào)整為256×256 pixel作為輸入，由6個5×5卷積核的卷積層和一個輸出單個1 024維向量的全連接層組成。局部鑒別器遵循相同的模式，只調(diào)整輸入時的像素值為128×128 pixel。在各自輸出1×1×1 024維向量后，將全局和局部鑒別器的輸出串聯(lián)成一個2 048維的向量，再經(jīng)過全連通層輸出[0,1]范圍內(nèi)的概率值，該概率值表示圖像是原始的真實圖像而非修復(fù)后的重建圖像的概率。

2 實驗數(shù)據(jù)分析

2.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集為CelebA人臉數(shù)據(jù)集。CelebA數(shù)據(jù)集是權(quán)威的名人人臉屬性數(shù)據(jù)集，其包含10 177個名人身份的202 599張人臉圖片，每張圖片都做好了特征標(biāo)記，包含人臉標(biāo)注框、人臉特征點坐標(biāo)以及40個屬性標(biāo)記。CelebA由香港中文大學(xué)開放提供，廣泛用于人臉相關(guān)的計算機(jī)視覺訓(xùn)練任務(wù)，可用于人臉屬性標(biāo)識訓(xùn)練、人臉檢測訓(xùn)練以及l(fā)andmark標(biāo)記等。

2.2 運(yùn)行環(huán)境

運(yùn)行設(shè)備：中央處理器 Intel Xeon E5-2620；顯卡 GPU GeForceGTX1080。

運(yùn)行環(huán)境：Python3.5版本，Tensorflow 1.7版本。

數(shù)據(jù)預(yù)處理：輸入的圖片可以為任意尺寸，圖像數(shù)據(jù)預(yù)處理統(tǒng)一裁剪為分辨率256×256 pixel，規(guī)則的破損區(qū)域分辨率隨機(jī)確定，并添加了小面積的不規(guī)則破損區(qū)域。整個圖像修復(fù)網(wǎng)絡(luò)模型是一個端到端的整體，沒有采用任何單獨的后續(xù)優(yōu)化。

2.3 實驗結(jié)果

為了對改進(jìn)算法的優(yōu)越性和有效性進(jìn)行評估，將本文算法與復(fù)現(xiàn)的Context Encoder(CE)、Globally and Locally Consistent Image Completion(GLI)兩種方法進(jìn)行比較，挑選具有代表性的實驗結(jié)果圖進(jìn)行對比說明，實驗結(jié)果對比如圖3所示。

基于人眼的主觀感受，CE算法的修復(fù)結(jié)果中，破損區(qū)域只有準(zhǔn)確合理的顏色修復(fù)，結(jié)構(gòu)和紋理信息都十分模糊；GLI算法是CE算法的改進(jìn)版，生成的圖像具有了較清晰的結(jié)構(gòu)、紋理特征，但前景區(qū)域與背景區(qū)域邊界感明顯，內(nèi)容較模糊(如圖3(a)～(b)所示)。由于卷積層感受野的局限性，CE與GLI算法無法學(xué)習(xí)到完整圖像的信息，導(dǎo)致修復(fù)結(jié)果存在語義信息表達(dá)與圖像整體極度不符合的現(xiàn)象(如圖3(c)所示)；然而在個別場景簡單的圖像中，兩種算法均得到了較好的修復(fù)(如圖3(d)～(e)所示)。

圖3 四種修復(fù)算法結(jié)果比較

本文算法引入的感知注意力機(jī)制模塊，采用背景區(qū)域指導(dǎo)前景區(qū)域修復(fù)的方式，修復(fù)后的圖像具有更加完整的紋理、結(jié)構(gòu)信息，背景區(qū)域與前景區(qū)域邊界處的偽影模糊現(xiàn)象消失，修復(fù)效果更加逼真。注意力可視化示意圖如圖4所示。對比圖2中前景區(qū)域像素點的顏色，可以準(zhǔn)確定位與破損區(qū)域相似度最大的背景區(qū)域的相對位置，進(jìn)一步表明感知注意力模塊的特征提取融合了整幅圖像的信息，可以自適應(yīng)地借助背景區(qū)域信息指導(dǎo)前景區(qū)域的生成。相比之下，本文改進(jìn)后的算法得到的修復(fù)后的圖像和Ground Truth最相近且語義信息表達(dá)更為合理真實。

圖4 感知注意力可視化

從主觀視覺效果來看，本文改進(jìn)后的算法優(yōu)于其他兩種原始經(jīng)典算法。

將三種算法在迭代過程中的對抗損失變化記錄下來，對比結(jié)果如圖5所示。其中，橫坐標(biāo)表示算法訓(xùn)練時的迭代次數(shù)，縱坐標(biāo)表示損失值，本質(zhì)為真實圖像數(shù)據(jù)分布與生成圖像數(shù)據(jù)分布之間的Earth-Mover距離度量。CE算法與GLI算法的對抗損失值基于DCGAN，在訓(xùn)練過程中的波動較大，并且收斂速度較慢；而本文采用基于WGAN形式對抗損失，波動明顯大幅減少，收斂性更好。

圖5 三種修復(fù)算法損失變化比較

針對圖像的處理過程一定會對圖像的質(zhì)量或內(nèi)容信息做出改變，這些改變可以通過圖像質(zhì)量評價指標(biāo)來進(jìn)行衡量。圖像修復(fù)主要是缺失區(qū)域的填充過程，與單一的圖像生成不同，它除了需要評估圖像的生成質(zhì)量外，還要判斷與原圖的相似性。本文在實驗結(jié)果上使用峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index Measurement，SSIM)指標(biāo)對圖像質(zhì)量進(jìn)行評估，見表2。其中，峰值信噪比通常用于描述各種形式的信號的質(zhì)量屬性。在本文實驗結(jié)果的計算中，PSNR 值越大，說明圖像質(zhì)量越高。結(jié)構(gòu)相似性是一種衡量兩幅圖像相似度的指標(biāo)，結(jié)構(gòu)相似性的范圍為0到1，當(dāng)兩張圖像一模一樣時，SSIM的值為1。從表2可以看出，本文的算法在客觀數(shù)據(jù)分析上，數(shù)據(jù)評估值較之前的算法有明顯提升。與CE算法相比，本文算法結(jié)果的PSNR值增加了1.34 dB，SSIM值增加了0.007；與GLI算法相比，本文算法結(jié)果的PSNR值增加了1.07 dB，SSIM值增加了0.004。以上數(shù)據(jù)表明，本文算法修復(fù)后圖像語義結(jié)構(gòu)以及紋理的完整性與原圖更加接近。

表2 三種修復(fù)算法結(jié)果指標(biāo)評估比較

3 結(jié) 論

針對現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)圖像修復(fù)中存在的修復(fù)結(jié)果紋理結(jié)構(gòu)扭曲和邊界處銜接處易出現(xiàn)偽影的問題，改進(jìn)了經(jīng)典CE圖像修復(fù)網(wǎng)絡(luò)模型。將網(wǎng)絡(luò)架構(gòu)設(shè)計為由粗到細(xì)兩個階段的生成器網(wǎng)絡(luò)，引入感知注意力機(jī)制使背景區(qū)域指導(dǎo)前景區(qū)域修復(fù)，并對重建損失函數(shù)和對抗損失函數(shù)進(jìn)行合理優(yōu)化。

對比當(dāng)前經(jīng)典圖像修復(fù)網(wǎng)絡(luò)CE模型和GLI模型，本文改進(jìn)算法提高了圖像語義信息的修復(fù)準(zhǔn)確性，有效解決了圖像破損區(qū)域邊界處的出現(xiàn)的偽影，在CelebA數(shù)據(jù)集上的PSNR值與SSIM值都有所提升。然而，如何對不規(guī)則破損區(qū)域的圖像進(jìn)行修復(fù)，仍然是需要研究的問題。