基于改進(jìn)U-Net的壁畫顏料層脫落病害區(qū)域提取

呂書強(qiáng) ，王詩涵 ，侯妙樂 ，谷明巖，汪萬福

1. 北京建筑大學(xué) 測繪與城市空間信息學(xué)院，北京 100044；

2. 北京市建筑遺產(chǎn)精細(xì)重構(gòu)與健康監(jiān)測重點(diǎn)實(shí)驗(yàn)室，北京 100044；

3. 蚌埠市勘測設(shè)計(jì)研究院，安徽 蚌埠 233000；

4. 敦煌研究院，甘肅 敦煌 736200）

0 引 言

壁畫是指繪制于天然或人工壁面上的圖案，主要包括寺觀壁畫、墓葬壁畫和石窟寺壁畫，具有極高的歷史、科學(xué)和人文藝術(shù)價值，是我國文化遺產(chǎn)重要的組成部分。然而，由于自然和人為等因素影響，很多壁畫出現(xiàn)了起甲、裂縫、劃痕、顏料層脫落等不同程度的病害，削弱了壁畫的信息表達(dá)，不利于歷史文化的保存和藝術(shù)的傳承利用[1]。對壁畫的保護(hù)修復(fù)首先需要對其現(xiàn)狀進(jìn)行勘察,充分了解病害的種類、分布以及屬性等現(xiàn)狀信息。顏料層脫落病害是指壁畫的顏料層脫離其底色層或地仗層的現(xiàn)象，屬于危害較大的病害類別[2]，是影響壁畫安全的主要因素之一。

目前，壁畫病害的自動化提取已經(jīng)成為研究熱點(diǎn)。吳萌等[3]實(shí)現(xiàn)了多尺度的裂縫類病害標(biāo)定并對其修復(fù)。姜軍等[4]提出了一種壁畫泥斑病害的自動標(biāo)定方法，并在西藏?cái)?shù)字壁畫上得到了泥斑病害的標(biāo)記結(jié)果。曹建芳等[5]提出了一種改進(jìn)的區(qū)域生長算法，實(shí)現(xiàn)壁畫圖像脫落病害的自動標(biāo)定。曹鵬輝等[6]利用壁畫高光譜影像的光譜特征和形狀特征實(shí)現(xiàn)了壁畫脫落區(qū)域的提取。這些研究推動了壁畫病害的自動化提取，但其自動化水平和提取精度仍可提高。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已成功應(yīng)用于圖像的分類或分割[7]。伍廣明等[8]提出一種基于U型卷積網(wǎng)絡(luò)的建筑物檢測方法。任欣磊等[9]提出了一種改進(jìn)U型卷積神經(jīng)網(wǎng)絡(luò)模型，用于提取遙感影像中的建筑物。何紅術(shù)等[10]利用改進(jìn)的U-Net網(wǎng)絡(luò)實(shí)現(xiàn)了對高分辨率影像中水體的提取。張永宏等[11]在標(biāo)準(zhǔn)U-Net的基礎(chǔ)上進(jìn)行改進(jìn)，應(yīng)用于遙感影像中的云檢測，從而提高檢測精度。目前利用卷積網(wǎng)絡(luò)對壁畫顏料層脫落病害提取的相關(guān)研究較少，但這種病害圖像與遙感影像中的建筑物相似，具有一定的幾何、紋理和顏色等特征信息，有可能利用卷積網(wǎng)絡(luò)來自動提取壁畫顏料層脫落病害。

因此，提出了一種基于改進(jìn)U型卷積神經(jīng)網(wǎng)絡(luò)的壁畫脫落病害自動提取方法。通過建立一種低維特征保留和池化索引上采樣的U-Net網(wǎng)絡(luò)模型，優(yōu)化了壁畫病害邊緣提取效果，提高了病害提取精度，對壁畫病害的自動化提取具有實(shí)際意義。

1 方 法

1.1 改進(jìn)的U型卷積網(wǎng)絡(luò)

1.1.1 低維特征保留

U-Net網(wǎng)絡(luò)最初用于醫(yī)學(xué)細(xì)胞分割領(lǐng)域并取得了良好的效果[12]，但是與醫(yī)學(xué)影像中的細(xì)胞器官相比，壁畫顏料層脫落病害的邊緣信息更加復(fù)雜。標(biāo)準(zhǔn)U-Net采用了跳躍連接方式，將上采樣的結(jié)果與編碼器中具有相同分辨率的子模塊的輸出相結(jié)合，使得下采樣層提取到的特征直接傳遞到上采樣層。但是隨著網(wǎng)絡(luò)的不斷加深，輸入圖像在經(jīng)過多次卷積操作后，低維的細(xì)節(jié)信息被弱化，無法保證圖像邊緣輪廓的提取效果。為使網(wǎng)絡(luò)編碼部分每一層都具有低維特征，在編碼部分中引入了空間金字塔池化層，來達(dá)到保留低級特征的目的[13]。利用金字塔池化層將U-Net第一層卷積后的低維特征圖縮減為原始尺寸的1/2、1/4和1/8，然后通過維度疊加將其分別與對應(yīng)尺度的層級進(jìn)行特征融合。

金字塔池化過程如圖1所示，首先輸入圖像進(jìn)入卷積層經(jīng)過卷積操作，得到大小為512×512×64的低維特征圖，然后對其進(jìn)行最大池化，池化窗口的大小分別為2×2、4×4、8×8。經(jīng)過金字塔池化后，得到大小依次 為 256×256×64、128×128×64、64×64×64的 低維特征圖。為了保證每個編碼層都包含低維特征的細(xì)節(jié)信息和抽象的高維特征，將不同尺度的低維特征圖以維度疊加的方式分別與對應(yīng)編碼層的各個層級特征融合，使得壁畫顏料層脫落病害的邊緣提取效果更準(zhǔn)確。

圖1 空間金字塔池化Fig.1 Spatial pyramid pooling

1.1.2 池化索引上采樣

為了進(jìn)一步提升壁畫圖像脫落區(qū)域邊緣的提取效果，在解碼層中上采樣采用池化層索引的方式。首先編碼器處執(zhí)行卷積和最大池化，在進(jìn)行最大池化時，存儲相應(yīng)的最大池化索引（位置）；然后解碼器執(zhí)行上采樣和卷積，將每個像素送到分類器。其中，在上采樣期間，調(diào)用相應(yīng)編碼器層處的最大池化索引以進(jìn)行上采樣。與標(biāo)準(zhǔn)U-Net中的反卷積上采樣方式相比，池化索引上采樣銳化了圖像的邊緣，消除了學(xué)習(xí)上采樣的需要，減少網(wǎng)絡(luò)訓(xùn)練的參數(shù)。

圖2為改進(jìn)U-Net的網(wǎng)絡(luò)結(jié)構(gòu)，采用了標(biāo)準(zhǔn)U-Net的U形對稱結(jié)構(gòu)。該網(wǎng)絡(luò)包括3部分，即下采樣、上采樣以及跳躍連接結(jié)構(gòu)。左邊編碼部分是壓縮的過程，通過采用兩個重復(fù)的卷積層和一個池化層降低圖像尺寸，提取特征圖。收縮路徑（編碼層）的卷積層中卷積核大小為3×3，網(wǎng)絡(luò)使用的激活函數(shù)為ReLU函數(shù)。圖像在第一次卷積后通過空間金字塔池化操作保留低維特征，將conv1_1（第一個卷積層）得到的特征圖尺寸縮小至原來的1/2、1/4和1/8，然后分別與pool1_3、pool2_4和pool3_4進(jìn)行特征融合，同時網(wǎng)絡(luò)的池化操作采用最大池化+記錄索引的方式。右邊解碼部分中，每個解碼層最后一個卷積核個數(shù)減半，保證上采樣過程中與編碼層的池化后特征圖維度相同，然后利用池化索引進(jìn)行特征圖非線性上采樣[14]。

圖2 改進(jìn)U-Net的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The network structure of improved U-Net

1.2 基于改進(jìn)U型卷積網(wǎng)絡(luò)的壁畫脫落病害區(qū)域提取流程

本文的壁畫顏料層脫落病害區(qū)域提取流程如圖3所示。首先，通過影像裁剪和色卡校正預(yù)處理，依次得到訓(xùn)練集和測試集。然后，通過在編碼部分引入空間金字塔池化層，在解碼部分采用池化層索引上采樣，對U-Net的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)，并完成改進(jìn)網(wǎng)絡(luò)模型的訓(xùn)練以及病害提取實(shí)驗(yàn)。最后，與SegNet及U-Net兩種模型的提取結(jié)果進(jìn)行對比分析。

圖3 壁畫顏料層脫落病害區(qū)域提取流程Fig.3 Extraction process of mural paint loss

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)獲取與預(yù)處理

壁畫數(shù)據(jù)采集自瞿曇寺，該寺位于青海省樂都縣，始建于明洪武二十五年（公元1392年），是明代較為典型的官式建筑風(fēng)格。寺內(nèi)壁畫多為明清兩代所繪，面積超過1000 m2，包含元明相交的時代特征和漢藏地域文化特點(diǎn)，具有極高的歷史價值和建筑藝術(shù)價值[15]。選擇瞿曇寺西回廊部分壁畫進(jìn)行顏料層脫落病害提取實(shí)驗(yàn)，為壁畫的保護(hù)修復(fù)提供參考。

外業(yè)數(shù)據(jù)采集使用尼康D810數(shù)碼相機(jī)，在完成外業(yè)照片采集后，利用Adobe公司的Lightroom軟件完成色卡校正預(yù)處理，獲得3幅壁畫（圖4），根據(jù)訓(xùn)練集或測試集對壁畫數(shù)據(jù)進(jìn)行訓(xùn)練或測試（表1）。訓(xùn)練數(shù)據(jù)被用于制作訓(xùn)練集，參與網(wǎng)絡(luò)模型的訓(xùn)練，測試數(shù)據(jù)不參與訓(xùn)練，只用于壁畫顏料層脫落病害區(qū)域提取的實(shí)驗(yàn)，測試網(wǎng)絡(luò)模型提取病害區(qū)域的效果。

圖4 瞿曇寺壁畫影像Fig.4 Images of murals in Qutan Temple

表1 壁畫數(shù)據(jù)劃分Tab.1 Mural data division

改進(jìn)U-Net采用全監(jiān)督學(xué)習(xí)方式，需要對壁畫數(shù)據(jù)的樣本標(biāo)簽進(jìn)行人工標(biāo)注。采用Photoshop圖像處理軟件將壁畫影像置于底層，創(chuàng)建一個用于標(biāo)注病害區(qū)域的透明圖層，圖層大小需與底層一致，利用磁性套索工具在透明圖層上選定病害區(qū)域并用白色填充，用黑色填充為非病害區(qū)域，保存為灰度圖像，并對結(jié)果圖像進(jìn)行二值化處理，得到壁畫樣本的標(biāo)注圖。其中顏料層脫落病害區(qū)域像素值為1，非顏料層脫落病害區(qū)域像素值為0。以壁畫3為例，圖5為脫落區(qū)域的標(biāo)注結(jié)果。

圖5 壁畫3顏料層脫落病害標(biāo)注圖Fig.5 Marking picture of paint loss diseases in mural 3

為了兼顧改進(jìn)U-Net網(wǎng)絡(luò)計(jì)算能力及圖像的空間特征，輸入圖像采用512×512 pixel。通過Python語言利用OpenCV開源庫編程，對壁畫影像順序裁剪并擴(kuò)充實(shí)驗(yàn)數(shù)據(jù)，首先對裁剪后的樣本進(jìn)行篩選得到918張512×512小尺寸圖像，然后將918張樣本圖像依次按順時針旋轉(zhuǎn)90°、180°和270°，再分別進(jìn)行水平和垂直鏡像翻轉(zhuǎn)達(dá)到5508張，完成訓(xùn)練樣本擴(kuò)充，最后對全部訓(xùn)練集樣本進(jìn)行批量歸一化處理。共選取表1所列的兩個測試區(qū)域數(shù)據(jù)4096×4096 pixel（圖6）。

圖6 測試區(qū)域壁畫影像裁剪Fig.6 Test images clipped in mural images

2.2 基于改進(jìn)U-Net壁畫病害區(qū)域提取

首先利用訓(xùn)練集對改進(jìn)U-Net壁畫病害提取模型進(jìn)行訓(xùn)練，圖7為訓(xùn)練過程中學(xué)習(xí)精度與損失值的變化情況，迭代次數(shù)在20次左右時，學(xué)習(xí)精度和損失值的變化幅度變小，改進(jìn)U-Net模型逐漸趨于收斂狀態(tài)。然后將兩個測試數(shù)據(jù)輸入訓(xùn)練好的改進(jìn)U-Net網(wǎng)絡(luò)中，得到病害的預(yù)測結(jié)果，每個像素的范圍都在[0,1]以內(nèi)。最后對預(yù)測結(jié)果進(jìn)行處理，得到壁畫顏料層脫落病害區(qū)域提取結(jié)果。

圖7 模型精度與損失值變化Fig.7 The changes of accuracy and loss value of mode

隨著閾值的增長，交并比（IoU）和F1分?jǐn)?shù)（F1-Score）都呈現(xiàn)先增再降的趨勢（圖8），當(dāng)閾值設(shè)置為0.4時，病害提取精度最高，即當(dāng)預(yù)測結(jié)果中的像素值大于或等于0.4時，被認(rèn)為是壁畫顏料層脫落病害區(qū)域。

圖8 病害提取精度的變化曲線Fig.8 Change curve of disease extraction accuracy

2.3 結(jié)果及對比分析

在保持相同訓(xùn)練集和測試集的情況下，將改進(jìn)U-Net與SegNet和標(biāo)準(zhǔn)U-Net網(wǎng)絡(luò)提取的結(jié)果進(jìn)行對比。SegNet[16]是一種在像素級別上進(jìn)行圖像分割的全卷積神經(jīng)網(wǎng)絡(luò)模型，最初用于場景分割，特點(diǎn)是利用最大池化的位置索引進(jìn)行上采樣。

為了觀察改進(jìn)U-Net對病害邊緣細(xì)化效果，從提取結(jié)果的局部細(xì)節(jié)方面進(jìn)行了定性對比。圖9為3種網(wǎng)絡(luò)模型提取結(jié)果的局部對比圖。

圖9 病害提取局部結(jié)果比較Fig.9 Comparison of local results of disease extraction

通過對比可見，標(biāo)準(zhǔn)U-Net會逐漸弱化圖像低維特征。改進(jìn)的U-Net在每個編碼層都保留了低維特征的細(xì)節(jié)信息并與對應(yīng)層級高維特征的抽象信息相結(jié)合，可以改善病害邊緣細(xì)化效果。改進(jìn)U-Net對顏料層脫落區(qū)域的邊緣提取效果要好于SegNet和標(biāo)準(zhǔn)U-Net。

在定量評價中，選用IoU和F1-Score兩個指標(biāo)對3個網(wǎng)絡(luò)模型的病害提取結(jié)果進(jìn)行評價。IoU分?jǐn)?shù)是對象類別分割問題的標(biāo)準(zhǔn)性能度量[17]，可理解為真值集合A和分割的結(jié)果集合B之間交集與并集的比值，即：

F1-Score指標(biāo)兼顧了精確率（Precision）和召回率（Recall）來評價圖像的分割效果[18]，即：

式中，TP為真正值，即A∩B；FP為真負(fù)值，即B-(A∩B)；FN為假負(fù)值，即A-(A∩B)。

IoU和F1-Score的取值范圍為[0,1]，當(dāng)結(jié)果越接近1時，說明對壁畫顏料層脫落病害區(qū)域的提取結(jié)果越準(zhǔn)確。病害區(qū)域提取定量評價結(jié)果見表2。

從表2中可看出，改進(jìn)的U-Net網(wǎng)絡(luò)提取結(jié)果最好，與SegNet相比，測試區(qū)域1的兩項(xiàng)指標(biāo)分別提升了6.2%和3.7%，測試區(qū)域2的兩項(xiàng)指標(biāo)分別提升了6.3%和4.0%；與標(biāo)準(zhǔn)U-Net網(wǎng)絡(luò)結(jié)果相比，測試區(qū)域1的兩項(xiàng)指標(biāo)分別提升了3.1%和1.9%，測試區(qū)域2的兩項(xiàng)指標(biāo)分別提升了0.2%和0.1%。結(jié)果表明，改進(jìn)U-Net模型在兩個測試區(qū)域上的提取精度均有所提高，證明了改進(jìn)U-Net對于病害提取的效果更好。

表2 病害區(qū)域提取定量評價結(jié)果Tab.2 Quantitative evaluation of disease extraction

3 結(jié) 論

針對壁畫顏料層脫落病害區(qū)域準(zhǔn)確提取的難題，構(gòu)建一種改進(jìn)型U-Net網(wǎng)絡(luò)，通過增加低維特征保留的空間金字塔池化層結(jié)構(gòu)及池化索引上采樣方式，對標(biāo)準(zhǔn)U-Net進(jìn)行優(yōu)化。改進(jìn)U-Net在青海省瞿曇寺壁畫圖像數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測試，并與SegNet和標(biāo)準(zhǔn)U-Net提取結(jié)果進(jìn)行了比較。結(jié)果發(fā)現(xiàn)，改進(jìn)U-Net模型在IoU和F1-Score上均優(yōu)于SegNet及標(biāo)準(zhǔn)U-Net模型，表明改進(jìn)U-Net卷積網(wǎng)絡(luò)可以用于壁畫顏料層脫落病害區(qū)域的自動化提取，為壁畫的現(xiàn)狀勘查提供依據(jù)。