多尺度特征和注意力融合的生成對抗壁畫修復(fù)

陳永，陳錦，陶美風(fēng)

(1.蘭州交通大學(xué)電子與信息工程學(xué)院，蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，蘭州 730070)

敦煌莫高窟是世界上現(xiàn)存規(guī)模最宏大、內(nèi)容最豐富的佛教石窟壁畫寶庫，其內(nèi)所存的壁畫、經(jīng)卷等具有珍貴的研究價值。然而，由于自然風(fēng)化的破壞及人為因素的影響，窟內(nèi)壁畫出現(xiàn)了地仗脫落、劃痕、褪色、裂紋等嚴重的災(zāi)害，亟待保護。因此，研究病害敦煌壁畫的修復(fù)極其重要。但是，人工修復(fù)存在風(fēng)險大、不可逆等問題，將數(shù)字化虛擬修復(fù)應(yīng)用于古代壁畫的保護是目前的研究熱點問題[1]。

數(shù)字化圖像修復(fù)(image inpainting)是一種根據(jù)圖像已知內(nèi)容去推測并修復(fù)出破損或缺失區(qū)域內(nèi)容，使修復(fù)后的圖像盡可能滿足人類視覺感知需求的技術(shù)手段[2]。圖像修復(fù)算法主要分為傳統(tǒng)圖像修復(fù)算法和基于深度學(xué)習(xí)的圖像修復(fù)算法。傳統(tǒng)的圖像修復(fù)算法主要包括基于擴散的圖像修復(fù)方法[3-4]和基于樣本塊的圖像修復(fù)方法[5]，傳統(tǒng)圖像修復(fù)算法利用紋理和結(jié)構(gòu)等先驗信息，可以完成小面積的圖像修復(fù)。Li 等[6]提出一種基于壓縮全變分(compressive total variation)的模型來描述圖像的稀疏性和低秩先驗知識，以實現(xiàn)對圖像的重構(gòu)。Fan[7]在Criminisi 算法的基礎(chǔ)上引入鄰域和結(jié)構(gòu)信息對優(yōu)先權(quán)和匹配策略進行改進，避免了錯誤匹配的問題。陳永等[8]提出了一種改進曲率驅(qū)動擴散的敦煌壁畫修復(fù)算法，提高了對壁畫裂紋的修復(fù)效果。Yang 等[9]在偏微分方程修復(fù)算法的基礎(chǔ)上通過對結(jié)構(gòu)張量進行改進，提高了對小尺度細粒紋理的處理能力。

上述傳統(tǒng)圖像修復(fù)算法對小面積破損具有一定的修復(fù)能力，當(dāng)破損面積過大時，修復(fù)效果較差?；谏疃葘W(xué)習(xí)的圖像修復(fù)算法相較于傳統(tǒng)圖像修復(fù)算法能夠?qū)W習(xí)得到更高層的圖像特征[10]。國內(nèi)外學(xué)者相繼開展了基于深度學(xué)習(xí)方法的圖像修復(fù)研究。例如，Qin 等[11]提出了基于多尺度注意力網(wǎng)絡(luò)的修復(fù)模型，通過引入多尺度注意組來提高修復(fù)后圖像的真實性。Zeng 等[12]提出了基于上下文編碼(contextencoder)修復(fù)網(wǎng)絡(luò)，通過對全分辨率輸入的上下文語義進行編碼完成破損圖像的修復(fù)。Iizuka等[13]通過引入全局判別器和局部判別器提高了修復(fù)后圖像的局部清晰度。Yan 等[14]在U-net 模型的基礎(chǔ)上增加了Shift 連接層，并在解碼器特征上引入引導(dǎo)損失，提高了修復(fù)后圖像的精度。Zeng 等[15]利用深度卷積神經(jīng)網(wǎng)絡(luò)對破損圖像產(chǎn)生粗略修復(fù)圖，利用最鄰近像素匹配進行可控制修復(fù)，使得修復(fù)的圖像更具高頻真實感。曹建芳等[16]針對古代壁畫起甲、脫落等問題提出一種增強一致性生成對抗網(wǎng)絡(luò)的圖像修復(fù)算法，提高了修復(fù)后壁畫全局與修補區(qū)域的一致性。Liu 等[17]提出了一種聯(lián)合互編解碼器和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)的修復(fù)模型，將編碼器的深層和淺層特征作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，使得修復(fù)后的圖像結(jié)構(gòu)和紋理更加一致。

然而，敦煌壁畫的破損呈現(xiàn)的形狀是多種多樣的，破損的壁畫往往存在細節(jié)丟失、特征不足等問題[8]。綜上所述，現(xiàn)有的基于深度學(xué)習(xí)方法雖然能夠修復(fù)較大面積破損的普通圖像，但是對于特征多變、紋理密集壁畫圖像的修復(fù)仍存在較多缺陷，如存在特征提取不足及細節(jié)重構(gòu)丟失等問題[11,16]。針對上述問題，本文提出了一種多尺度特征和注意力融合的生成對抗壁畫修復(fù)算法。首先，設(shè)計多尺度特征金字塔網(wǎng)絡(luò)提取壁畫中不同尺度的特征信息，充分利用壁畫特征多樣性，增強了壁畫圖像之間的特征關(guān)聯(lián)性，克服了現(xiàn)有深度修復(fù)模型特征提取單一的問題。然后，采用自注意力機制及特征融合編碼器構(gòu)建多尺度特征生成器，以獲取豐富的上下文信息，提升網(wǎng)絡(luò)的修復(fù)能力，克服了修復(fù)后細節(jié)重構(gòu)丟失的問題。最后，引入最小化對抗損失與均方誤差促進判別器的殘差反饋，從而結(jié)合不同尺度的特征信息完成壁畫修復(fù)。通過對敦煌壁畫的修復(fù)實驗結(jié)果表明，本文算法較對比算法獲得了較好的主客觀評價效果。

1 相關(guān)理論

生成對抗網(wǎng)絡(luò)(generative adversarial networks，GAN)主要由生成器和判別器組成，生成器一般由編碼器和解碼器組成，其基本構(gòu)成如圖1 所示[18]。其中，生成器主要是將輸入的隨機噪聲或樣本圖像利用已學(xué)習(xí)到的概率分布重新生成新的圖像，而判別器用來判別輸入數(shù)據(jù)的真假，其輸出為一個概率值。

圖1 生成對抗網(wǎng)絡(luò)基本結(jié)構(gòu)框架[18]Fig.1 Basic structural framework of GAN[18]

如果x為真實數(shù)據(jù)，則判別器D(x;?)輸出表示為

若x為生成數(shù)據(jù)，則判別器輸出表示為

模型通過最大化 log2(D(x))和 log2(1?D(G(z)))訓(xùn)練判別器，通過最小化 log2(1?D(G(z)))訓(xùn)練生成器，如下：

式中：z為隨機噪聲；V(G,D)為估值函數(shù)；Pdata(x)為數(shù)據(jù)分布函數(shù)；P z(z)為噪聲分布函數(shù)。

GAN 將圖像修復(fù)問題轉(zhuǎn)化為生成器與判別器相互博弈的問題，利用生成器和判別器的對抗學(xué)習(xí)達到圖像修復(fù)的目的。

2 本文算法

2.1 網(wǎng)絡(luò)總體框架

壁畫圖像通常含有復(fù)雜的紋理結(jié)構(gòu)等特征信息，并且特征之間具有較強的關(guān)聯(lián)性。而現(xiàn)有GAN等深度學(xué)習(xí)圖像修復(fù)算法在修復(fù)壁畫圖像時僅利用一系列卷積核提取壁畫單一層特征，忽略了壁畫特征信息的多樣性，導(dǎo)致修復(fù)后的壁畫存在特征提取不足及細節(jié)重構(gòu)丟失等問題?；诖?，本文提出了一種多尺度特征融合的生成對抗網(wǎng)絡(luò)(multi-scale feature fusion generative adversarial network， MS-FFGAN)模型對破損敦煌壁畫進行修復(fù)。

本文MS-FFGAN 網(wǎng)絡(luò)整體結(jié)構(gòu)如圖2 所示，主要由多尺度特征提取和自注意力機制融合的生成器和判別器構(gòu)成。首先，對于輸入破損壁畫圖像，利用本文MS-FFGAN 網(wǎng)絡(luò)生成器中的多尺度融合特征編碼器和解碼器，結(jié)合注意力機制將學(xué)習(xí)到的特征分布生成所需的壁畫圖像；然后，將生成的壁畫圖像及真實樣本圖像作為判別器的輸入進行判別，并將反饋信息反饋到生成器更新網(wǎng)絡(luò)參數(shù)，通過兩者對抗訓(xùn)練達到壁畫修復(fù)的目的。

圖2 本文總體模型框架Fig.2 Overall framework of the proposed model

2.2 多尺度特征融合生成器

在MS-FFGAN 網(wǎng)絡(luò)模型中，生成器由多尺度特征金字塔、特征融合編碼器和解碼器3 部分組成，如圖3 所示。本文算法設(shè)計了多尺度特征金字塔網(wǎng)絡(luò)作為生成器的特征提取網(wǎng)絡(luò)，用以提取壁畫的不同尺度特征，再利用特征融合編碼器對提取到的特征進行融合，把低分辨率、高語義信息的壁畫高層特征和高分辨率、低語義信息的壁畫低層特征進行自上而下的側(cè)邊連接，使得所有尺度下的壁畫特征都有豐富的語義信息，使網(wǎng)絡(luò)可以學(xué)習(xí)到更加全面的壁畫圖像特征。

圖3 多尺度特征融合的生成器結(jié)構(gòu)Fig.3 Structure of generator based on multi-scale feature fusion

在MS-FFGAN 網(wǎng)絡(luò)的生成器中，多尺度特征金字塔網(wǎng)絡(luò)利用卷積等操作提取圖像不同尺度的特征圖。首先采用7×7 卷積核對原圖像進行特征提取得到首層特征圖，然后通過最大池化得到次層特征圖，最后分別通過4 次下采樣操作后得到不同尺度的特征圖，計算如下：

式中：si,j為 特征圖的第i行j列的元素；xi,j為原圖中第i行j列的元素；wm,n為權(quán)重；wb為偏置；f為ReLU激活函數(shù)；w0和h0分別為池化后特征圖的寬度和高度；t為濾波器卷積核尺寸大?。籹為 步長；n為輸入特征圖大?。籶為邊補充大??；l為卷積核大??；m為下采樣后的特征圖大小。

特征融合編碼器主要包括縱向和橫向2 個網(wǎng)絡(luò)分支。縱向路徑通過對空間上低分辨率、高語義信息的壁畫高層特征圖進行上采樣，來獲取高分辨率的特征；橫向路徑通過將多尺度特征金字塔網(wǎng)絡(luò)特征圖與相應(yīng)的低層特征進行融合，得到所需的多尺度融合特征圖，如圖4 所示。

圖4 特征融合過程示意圖Fig.4 Schematic diagram of feature fusion process

特征融合編碼器采用上采樣及加和操作將圖像中不同尺度的特征進行融合。以特征圖C3 與P4融合為例，首先通過1×1 卷積對特征圖C3 通道數(shù)降維得到C3′，然后為使特征圖P4 大小與C3′保持一致，對P4 進行2 倍上采樣，最后將C3′與上采樣后的P4 進行加和得到融合后的特征圖P3。為減少計算量且保持加和后特征圖通道數(shù)不變，利用式(7)對特征圖進行加和，之后再進行卷積。

式中：xi和yi分 別表示進行加和操作的雙方的通道；ki為 第i個通道卷積核；“ ?”表示卷積。

在圖4 中，網(wǎng)絡(luò)特征融合時，對于輸入原始壁畫圖像，通過卷積及最大池化得到特征圖C0～C5，在C2～C5 的基礎(chǔ)上，通過1×1 卷積在特征圖尺寸大小不變且通道數(shù)保持一致的情況下得到待融合特征圖C2′～C4′，通過加和操作分別與最鄰近上采樣后的P5～P3 進行融合，最終得到特征圖P2。圖5為融合部分結(jié)構(gòu)原理。

圖5 融合結(jié)構(gòu)原理Fig.5 Schematic of fusion structure

此外，為了消除上采樣產(chǎn)生的混疊效應(yīng)[11]，對融合后的特征圖P4～P2 采用3×3 卷積進行處理，得到最終的特征圖F4～F2，計算公式如下：

式中：F i為 最終生成的特征圖；為卷積核尺寸3×3、步長1 的卷積層；S2×up為 2 倍上采樣操作；“ ⊕”表示融合操作；Pi+1、Ci+1分別為待融合的兩路輸入。

在深度學(xué)習(xí)模型中，采用跳躍連接結(jié)構(gòu)可以較好地解決訓(xùn)練過程中梯度爆炸和梯度消失的問題，提升網(wǎng)絡(luò)的表征能力[19]。借鑒這一思想，在特征融合編碼器和解碼器之間采用跳躍連接結(jié)構(gòu)，將最終的特征圖作為解碼器的輸入，通過跳躍連接和解碼功能將潛在的特征解碼回圖像，達到生成圖像的目的。特征融合編碼器與解碼器工作原理如圖6 所示。

在圖6 中，特征融合編碼器通過式(9)中轉(zhuǎn)換函數(shù)f對輸入圖像x進行編碼，將其轉(zhuǎn)換為中間語義C。解碼器通過式(10)中的函數(shù)g及 中間語義C、歷史生成信息y1,y2,···,yi?1生 成所需圖像yi。

圖6 編碼器與解碼器示意圖Fig.6 Diagram of encoder and decoder

2.3 自注意力機制

在MS-FFGAN 特征融合網(wǎng)絡(luò)中，通過多尺度特征融合的方法增強了壁畫圖像局部特征與全局特征的關(guān)聯(lián)性，克服了單一尺度壁畫圖像修復(fù)算法特征提取不足的問題。但由于卷積操作是卷積核對局部感受野鄰域內(nèi)的信息進行處理的過程，無法對關(guān)聯(lián)全局信息建立長距離的依賴關(guān)系，而注意力機制能夠捕獲全局的依賴關(guān)系[20]。自注意力機制通過捕捉全局的信息來獲得更大的感受野和上下文信息，因此，本文提出將自注意力機制結(jié)合到壁畫修復(fù)GAN 網(wǎng)絡(luò)結(jié)構(gòu)中，克服了特征提取不足及信息利用率低等問題，使MS-FFGAN 網(wǎng)絡(luò)能夠?qū)W到更加精細的壁畫特征，從而克服細節(jié)重構(gòu)丟失等問題。在特征融合時引入自注意力機制，其結(jié)構(gòu)如圖7 所示。

圖7 自注意力模型結(jié)構(gòu)Fig.7 Structure of self-attention model

在圖7 中，輸入為壁畫多尺度金字塔相應(yīng)層的特征圖X∈RC×H×W，通過大小為1×1、通道數(shù)為L的卷積層 C1、 C2、 C3得 到特征f、q、h， 其中，{f,q,h}∈RC×H×W；將f、q重構(gòu)為 RC×N，其中，N=H×W表示像素點的個數(shù)。為了保證自注意力特征圖與輸入特征圖大小一致，需要將fT與q矩 陣相乘得到N×N大小的特征圖，經(jīng)過Softmax 層得到注意力映射圖P∈RN×N，公式如下：

將注意力映射圖P與 特征h、 權(quán)重因子 α相乘后并與特征X相加，從而得到大小為C×N的自注意力特征圖Y，公式如下：

2.4 損失函數(shù)

采用MS-FFGAN 網(wǎng)絡(luò)對壁畫進行修復(fù)訓(xùn)練時，通過壁畫不同尺度的特征及自注意力機制，并結(jié)合對抗損失對生成器和判別器進行優(yōu)化，從而完成壁畫的修復(fù)。其中，損失函數(shù)采用對抗損失函數(shù)與均方誤差(mean square error，MSE)來優(yōu)化網(wǎng)絡(luò)模型。

首先，對生成器的最終預(yù)測進行定義：

式中：x為像素真實值；“ ?”為逐元素相乘；m代表掩碼；1 為破損區(qū)域。

判別器的損失表示為

式中：D(x)和D(z)為判別器輸出的歸一化概率。

生成器的損失表示為

采用均方誤差MSE 作為本文算法的損失函數(shù)，公式如下：

式中：m為訓(xùn)練數(shù)據(jù)集數(shù)量。

通過最小化對抗損失和MSE 的殘差反饋實現(xiàn)本文模型的優(yōu)化，MS-FFGAN 損失函數(shù)定義如下：

3 實驗結(jié)果與分析

為了驗證本文算法的有效性，通過對敦煌壁畫人為添加破損和真實破損壁畫分別進行修復(fù)實驗，并與Crim inisi 算法[5]及文獻[14,17]的修復(fù)結(jié)果進行對比。評價指標(biāo)采用峰值信噪比(peak signal-tonoise ra t io，PSNR)及結(jié)構(gòu)相似性(s t r uc t u r a l sim ilarity，SSIM)2 種客觀評價指標(biāo)和人眼主觀視覺對修復(fù)結(jié)果進行分析。實驗在W indows10 下進行，使用Python3.6及Tensorflow1.14 搭建深度學(xué)習(xí)環(huán)境。硬件環(huán)境為Intel(R)Core i7-10700K CPU @3.80 GHz，32.0 GB RAM，NVIDIA GeFo r ceRTX2060SUPER，對比實驗均在相同配置環(huán)境下進行。

3.1 數(shù) 據(jù) 集

選取以唐代壁畫為主的2 915 張不同敦煌壁畫圖像作為數(shù)據(jù)集來源，并對其進行數(shù)據(jù)集擴展，形成15 000 張壁畫數(shù)據(jù)集進行實驗，其中訓(xùn)練數(shù)據(jù)集壁畫圖像120 0 0 張，測試集壁畫圖像3 000 張。為了更好地對模型進行有效訓(xùn)練，對掩膜數(shù)據(jù)集進行制作，掩膜數(shù)據(jù)集分為2 種，即中心掩膜和隨機掩膜。中心掩膜為模型自動生成，占比為壁畫的30%，隨機掩膜由人為制作，數(shù)量為1000 張。模型通過將掩膜圖像與壁畫圖像合成得到人為破損壁畫圖像，對其進行修復(fù)以達到訓(xùn)練模型的目的。

3.2 人為添加中心掩膜修復(fù)

為了驗證本文算法對于破損區(qū)域較大壁畫的修復(fù)效果，首先選取7 幅敦煌壁畫對其添加中心掩膜進行修復(fù)實驗，修復(fù)結(jié)果如圖8 所示。從修復(fù)結(jié)果可以看出，Crim inisi 算法對于大區(qū)域破損的壁畫圖像修復(fù)效果較差，出現(xiàn)了結(jié)構(gòu)紊亂、錯誤填充等問題，這是因為Crim inisi 算法采用全局搜索復(fù)制匹配塊的方法進行修復(fù)，對于較大面積破損無法完成有效塊匹配操作。文獻[14]在U-net 模型的基礎(chǔ)上增加了Shift 連接層，提高了修復(fù)的魯棒性，但在修復(fù)中心掩膜破損壁畫時，存在修復(fù)不徹底的問題，導(dǎo)致修復(fù)后的壁畫出現(xiàn)了掩膜塊狀陰影殘留。文獻[17]采用聯(lián)合互編解碼器和卷積神經(jīng)網(wǎng)絡(luò)的修復(fù)模型來提高修復(fù)精度，但由于缺乏考慮特征之間的關(guān)聯(lián)性，使得修復(fù)后的壁畫出現(xiàn)色彩失真、特征缺失等情況。圖8(f)為本文算法修復(fù)結(jié)果，可以看出，本文算法相對于其他3 種算法具有更好的修復(fù)效果，對于前4 幅壁畫不僅可以修復(fù)出其細微特征，并且對于人臉輪廓、眉眼等結(jié)構(gòu)可以有效地進行修復(fù)。圖8 中第6、7 行為整幅壁畫修復(fù)比較實驗，可以看出，對于大面積人為添加中心掩膜破損，本文算法修復(fù)雖有一定的誤差，但整體修復(fù)結(jié)果相對于其他3 種算法更加合理且主觀視覺也比較流暢，對于整體結(jié)構(gòu)的重構(gòu)效果更好。

為了進一步對圖8 的修復(fù)結(jié)果做出定量評價，采用PSNR 和SSIM 進行比較，如表1 所示。PSNR和SSIM 是衡量圖像質(zhì)量的重要定量評價指標(biāo)。其中，PSNR 值越大，代表失真越少，即修復(fù)效果越好；SSIM 是一種衡量2 幅圖像相似度的指標(biāo)，該值越大，表明修復(fù)后圖像的失真程度越小[8]。從表1 中可以發(fā)現(xiàn)，本文算法在PSNR 和SSIM 上均優(yōu)于其他對比算法，表明其修復(fù)質(zhì)量更好，從而驗證了本文算法對于人為破損壁畫修復(fù)的有效性。

表1 不同算法修復(fù)結(jié)果PSNR 和SSIM 對比Table 1 Comparison of PSNR and SSIM repair results of different algorithm s

圖8 不同算法對人為添加中心掩膜破損壁畫的修復(fù)結(jié)果對比Fig.8 Comparison of different algorithms in inpainting of murals with artificially added central damage

3.3 人為添加隨機破損修復(fù)

為了進一步分析本文算法對于隨機破損修復(fù)的有效性，選取6 幅敦煌壁畫對其隨機添加掩膜進行修復(fù)實驗，修復(fù)結(jié)果如圖9 所示。從實驗結(jié)果可以看出，Crim inisi 算法修復(fù)后的壁畫中第1 幅壁畫因為錯誤填充導(dǎo)致眼角出現(xiàn)了黑色空洞的情況，第2 幅壁畫眼部則出現(xiàn)了線條結(jié)構(gòu)紊亂及模糊的問題，第3 幅壁畫鼻翼區(qū)域及第4 幅壁畫眼部上下區(qū)域均出現(xiàn)了修復(fù)不當(dāng)、殘留等問題，第5、6 幅壁畫同樣出現(xiàn)了錯誤填充、像素擴散的問題，導(dǎo)致修復(fù)后的壁畫主觀視覺效果突兀。文獻[14]算法修復(fù)結(jié)果中，前4 幅壁畫均出現(xiàn)了色彩失真、錯誤修復(fù)的問題，第5、6 幅壁畫則存在模糊、殘影等問題。文獻[17]算法修復(fù)后的壁畫中，前2 幅壁畫眼部均出現(xiàn)偽影、修復(fù)不徹底的問題，其余壁畫修復(fù)后均出現(xiàn)了像素錯誤擴散和殘影的問題。與對比算法相比，本文算法修復(fù)后的壁畫在主觀視覺效果均有所提高，并且修復(fù)后的壁畫視覺效果更加合理。圖10為不同算法修復(fù)后的壁畫PSNR 和SSIM 對比?？梢暂^為直觀地看出，本文算法修復(fù)后的結(jié)果在PSNR及SSIM 2 個評價指標(biāo)上均高于對比算法。

圖9 不同算法對人為添加隨機掩膜破損壁畫的修復(fù)結(jié)果對比Fig.9 Comparison of different algorithms in inpainting of murals with artificially added random damage

圖10 不同算法人為添加破損修復(fù)結(jié)果PSNR和SSIM對比Fig.10 Comparison of PSNR and SSIM repair results of different algorithms with artificially added random damage

3.4 真實破損壁畫修復(fù)

為了進一步驗證本文算法對于真實破損壁畫修復(fù)的有效性，選取6 幅真實破損敦煌壁畫進行修復(fù)實驗，修復(fù)結(jié)果如圖11 所示。從第1 幅修復(fù)結(jié)果可以看出，Crim inisi 算法修復(fù)后的結(jié)果出現(xiàn)了結(jié)構(gòu)紊亂及線條丟失等問題，文獻[14,17]算法修復(fù)后出現(xiàn)修復(fù)不徹底、痕跡殘留等問題，而本文算法修復(fù)后的結(jié)果線條流暢，比較符合主客觀視覺效果。對于第2 幅壁畫，Crim inisi 算法修復(fù)后結(jié)果臉部出現(xiàn)殘留及塊效應(yīng)，文獻[14]算法修復(fù)后結(jié)果出現(xiàn)區(qū)域模糊的問題，文獻[17]算法則出現(xiàn)錯誤修復(fù)及失真等問題，而本文算法對于額頭區(qū)域的修復(fù)相對于其他算法效果較好，并且對于臉頰區(qū)域修復(fù)也較為徹底，未出現(xiàn)結(jié)構(gòu)錯誤、紋理缺失等問題。同樣，對于第3 幅和第4 幅壁畫，Criminisi 算法、文獻[14,17]算法均出現(xiàn)修復(fù)不徹底、結(jié)構(gòu)斷裂的問題，修復(fù)效果較差。對于第5 幅壁畫，除了文獻[17]存在色彩失真及錯誤填充的問題，其他算法修復(fù)效果較符合主觀視覺效果和客觀邏輯性。第6 幅壁畫修復(fù)結(jié)果可以看出，Crim inisi算法修復(fù)后出現(xiàn)了誤匹配的問題，文獻[14,17]算法均出現(xiàn)了修復(fù)區(qū)域模糊及色彩丟失的問題，相較于其他算法，本文算法修復(fù)視覺效果更好。

圖11 不同算法對真實破損壁畫的修復(fù)效果對比Fig.11 Comparison of different algorithms in inpainting of murals with real damage

4 結(jié) 論

本文針對現(xiàn)有深度學(xué)習(xí)圖像修復(fù)算法在修復(fù)壁畫時，存在細節(jié)重構(gòu)丟失、修復(fù)效果欠佳等問題展開了相關(guān)研究，得到如下結(jié)論：

1）提出的多尺度壁畫特征提取方法，增強了壁畫圖像局部特征與全局特征的關(guān)聯(lián)性，克服了單一尺度壁畫圖像修復(fù)算法特征提取不足的問題。

2）提出的自注意力機制及特征融合模塊，通過捕捉壁畫全局信息來獲得更大的感受野和上下文信息，提升了壁畫修復(fù)網(wǎng)絡(luò)的細節(jié)重構(gòu)能力。

3）通過對破損敦煌壁畫的修復(fù)實驗表明，本文算法對破損壁畫的細節(jié)特征能夠進行有效修復(fù)，其修復(fù)視覺效果更好，且PSNR 和SSIM 等定量評價指標(biāo)均優(yōu)于比較算法。