基于PyTorch的圖像修復(fù)技術(shù)研究

賀丹

摘要：圖像修復(fù)技術(shù)是利用計(jì)算機(jī)技術(shù)將圖像中的多余部分去除或者填補(bǔ)圖像中的缺失部分，該技術(shù)廣泛應(yīng)用于醫(yī)學(xué)圖像處理、文物修復(fù)、人臉識(shí)別等領(lǐng)域。早期的圖像修復(fù)技術(shù)在小區(qū)域缺失圖像處理中取得了良好的效果，但面對(duì)大區(qū)域缺失圖像，修復(fù)效果往往不夠理想。隨著深度學(xué)習(xí)、人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)為圖像修復(fù)提供了新的解決方案。文中重點(diǎn)介紹了基于深度學(xué)習(xí)的圖像修復(fù)模型，以PyTorch深度學(xué)習(xí)框架為基礎(chǔ)，以PASCAL VOC2012數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象。實(shí)驗(yàn)表明，基于深度學(xué)習(xí)的圖像修復(fù)模型在圖像修復(fù)問(wèn)題上取得了良好效果。

關(guān)鍵詞： PyTorch; 圖像修復(fù); 深度學(xué)習(xí); 人工智能; 神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)：TP311? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）09-0075-03

1 引 言

隨著多媒體技術(shù)和信息技術(shù)的發(fā)展，圖像作為最重要的信息載體之一，在醫(yī)學(xué)圖像處理、遙感影像處理、人臉識(shí)別等領(lǐng)域發(fā)揮著越來(lái)越重要的作用。與此同時(shí)，人們對(duì)圖像質(zhì)量提出了更高的要求，在圖像內(nèi)容和圖像完整度上都有較高的要求，從而促使如何提高圖像質(zhì)量問(wèn)題成為當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域重點(diǎn)研究問(wèn)題之一。圖像修復(fù)[1]的概念最早由Bertalmio等人于2000年提出，圖像修復(fù)就是利用圖像處理算法將原始圖像中多余的部分去除，得到修復(fù)后的圖像，或者是在原始圖像中的缺損區(qū)域填充合理信息，讓圖像信息更完整的過(guò)程[2-5]。但在圖像修復(fù)過(guò)程中往往面臨著如下問(wèn)題：首先，原始圖像中能利用的有價(jià)值信息十分有限，不能單純地利用已有信息填補(bǔ)缺損區(qū)域;其次，圖像修復(fù)算法的性能直接決定了修復(fù)后圖像在視覺(jué)上的真實(shí)合理性，尤其是涉及人臉圖像的修復(fù)，細(xì)微的差距就將影響圖像整體的視覺(jué)效果;最后，原始圖像中缺失區(qū)域的大小、形狀、位置等都將影響圖像修復(fù)的難度。因此，圖像修復(fù)是計(jì)算機(jī)視覺(jué)和圖像處理領(lǐng)域一個(gè)經(jīng)典且具有挑戰(zhàn)性的研究課題。

2? 圖像修復(fù)技術(shù)

2.1 圖像修復(fù)問(wèn)題描述

圖像修復(fù)問(wèn)題主要包括兩種類型：第一種是去除原始圖像中多余的部分，讓圖像中的核心內(nèi)容更清晰，這種類型主要應(yīng)用在圖像遮擋物去除、無(wú)關(guān)物去除等場(chǎng)景，如圖1所示。第二種是填充原始圖像中的缺失部分，讓圖像更完整，這種類型主要應(yīng)用在圖像缺失填補(bǔ)的場(chǎng)景，如圖2所示。

2.2 圖像修復(fù)技術(shù)國(guó)內(nèi)外研究現(xiàn)狀

根據(jù)研究?jī)?nèi)容的側(cè)重點(diǎn)不同，可以將傳統(tǒng)的圖像修復(fù)技術(shù)分成兩類：基于結(jié)構(gòu)的圖像修復(fù)技術(shù)、基于紋理的圖像修復(fù)技術(shù)。其中基于結(jié)構(gòu)的圖像修復(fù)技術(shù)以基于偏微分方程的修復(fù)算法[1，6]為代表，這種算法主要面向小尺寸的圖像缺失問(wèn)題，以單個(gè)像素作為圖像修復(fù)的基本單元，利用像素?cái)U(kuò)散的方式完成缺失圖像的填充，但這種方式的魯棒性較差，容易造成圖像模糊?；诩y理的圖像修復(fù)技術(shù)以基于樣本塊紋理合成算法[7-8]為代表，這種算法是從原始圖像的已知區(qū)域中尋找目標(biāo)塊，并將目標(biāo)塊的信息復(fù)制到缺失區(qū)域中，達(dá)到圖像修復(fù)的目的。在處理場(chǎng)景圖像的修復(fù)問(wèn)題上，雖然基于結(jié)構(gòu)的圖像修復(fù)技術(shù)和基于紋理的圖像修復(fù)技術(shù)取得了良好的修復(fù)效果，但是這兩種算法只能對(duì)簡(jiǎn)單的、紋理特征明顯的圖像進(jìn)行修復(fù)，在實(shí)際應(yīng)用中具有較大的局限性。

近年來(lái)，人工智能技術(shù)取得飛速發(fā)展，深度學(xué)習(xí)算法日新月異，深度學(xué)習(xí)算法在計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域的應(yīng)用越來(lái)越廣泛的同時(shí)，也取得了巨大的研究進(jìn)展和良好的研究成果?；谏疃葘W(xué)習(xí)的圖像修復(fù)技術(shù)在生產(chǎn)實(shí)踐中廣泛應(yīng)用的同時(shí)，也得到越來(lái)越多學(xué)者的關(guān)注，并提出了基于深度學(xué)習(xí)的圖像修復(fù)模型，深度學(xué)習(xí)的修復(fù)方法通過(guò)從大規(guī)模的數(shù)據(jù)集中學(xué)習(xí)圖像中的語(yǔ)義信息，大幅度提升圖像修復(fù)效果?？v觀國(guó)內(nèi)外現(xiàn)有研究成果，基于深度學(xué)習(xí)的圖像修復(fù)模型可以總結(jié)為下述三種[9]：基于自編碼的圖像修復(fù)方法[10]、基于生成模型的圖像修復(fù)方法[11]和基于網(wǎng)絡(luò)結(jié)構(gòu)的圖像修復(fù)方法[12]。

基于自編碼的圖像修復(fù)方法主要用到了自編碼器結(jié)構(gòu)（Autoencoder， AE），自編碼器由編碼器和解碼器兩部分組成，其結(jié)構(gòu)如圖3所示。從圖3中可知編碼器由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成，從而實(shí)現(xiàn)對(duì)原始圖像的降維編碼操作，解碼器由反卷積神經(jīng)網(wǎng)絡(luò)組成，利用編碼階段提取的原始圖像特征實(shí)現(xiàn)圖像的解碼重構(gòu)。在編碼階段，利用編碼器將原始圖像壓縮并映射到特征空間，隨著卷積層級(jí)的不斷加深，通道數(shù)逐漸增加，特征圖尺寸逐漸減小。在解碼階段，通過(guò)從多個(gè)通道的深層特征實(shí)現(xiàn)圖像重構(gòu)，隨著通道數(shù)逐漸減小，圖像尺寸逐漸增大，直至恢復(fù)至原始圖像的尺寸。

基于生成模型的圖像修復(fù)方法主要用到了生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks， GAN），GAN網(wǎng)絡(luò)中包括了兩套獨(dú)立的網(wǎng)絡(luò)，分別是生成器網(wǎng)絡(luò)G網(wǎng)絡(luò)、判別器網(wǎng)絡(luò)D網(wǎng)絡(luò)，這兩套網(wǎng)絡(luò)用來(lái)作為相互對(duì)抗的目標(biāo)。生成器網(wǎng)絡(luò)用來(lái)生成類似于真實(shí)樣本的隨機(jī)樣本，并作為假樣本數(shù)據(jù)，判別器網(wǎng)絡(luò)是需要訓(xùn)練的網(wǎng)絡(luò)，用來(lái)分辨是真實(shí)數(shù)據(jù)還是假樣本數(shù)據(jù)。當(dāng)生成器網(wǎng)絡(luò)生成的圖像內(nèi)容不合理，或者圖像內(nèi)容與真實(shí)圖像不符時(shí)，判別器網(wǎng)絡(luò)會(huì)將圖像判別為假，從而計(jì)算出生成圖像與真實(shí)圖像之間的差距，并將差距作為反饋傳回生成器網(wǎng)絡(luò)，指導(dǎo)生成網(wǎng)絡(luò)不斷提高生成圖像的質(zhì)量，直到判別器網(wǎng)絡(luò)無(wú)法分辨生成圖像的真假為止。

基于網(wǎng)絡(luò)結(jié)構(gòu)的圖像修復(fù)方法是以一個(gè)未被訓(xùn)練的生成網(wǎng)絡(luò)為基礎(chǔ)，對(duì)該生成網(wǎng)絡(luò)進(jìn)行隨機(jī)初始化處理，一方面利用初始化的網(wǎng)絡(luò)擬合待修復(fù)圖像，另一方面對(duì)單張缺失圖像的已知部分進(jìn)行訓(xùn)練，以生成網(wǎng)絡(luò)結(jié)構(gòu)作為先驗(yàn)信息，執(zhí)行迭代操作反向推導(dǎo)出圖像缺失區(qū)域的圖像內(nèi)容，迭代操作需要根據(jù)推導(dǎo)出缺失區(qū)域的圖像內(nèi)容來(lái)確定。基于網(wǎng)絡(luò)結(jié)構(gòu)的圖像修復(fù)方法較好地利用了深度生成網(wǎng)絡(luò)的捕獲大量低級(jí)圖像統(tǒng)計(jì)信息的能力，在學(xué)習(xí)之前就能從深度生成網(wǎng)絡(luò)的結(jié)構(gòu)中捕獲，從而避免從大量數(shù)據(jù)集中獲取統(tǒng)計(jì)信息。這種方式在難以獲得大量的圖像訓(xùn)練集時(shí)十分有效，但是圖像修復(fù)的計(jì)算量較大，迭代次數(shù)較多，影響算法執(zhí)行效率。

3? PyTorch框架

PyTorch是由Facebook公司開發(fā)的深度學(xué)習(xí)框架，是基于Torch深度學(xué)習(xí)框架開發(fā)，它是一個(gè)基于Python語(yǔ)言的計(jì)算包，不僅提供強(qiáng)大的GPU加速的張量計(jì)算，同時(shí)也包含自動(dòng)求導(dǎo)系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)技術(shù)的快速發(fā)展也為PyTorch框架的發(fā)展帶來(lái)了新的動(dòng)力，日益豐富的張量運(yùn)算操作加入PyTorch框架中，越來(lái)越成熟的深度學(xué)習(xí)模塊也被PyTorch框架所吸收，同時(shí)也支持更多的損失函數(shù)和優(yōu)化器，在計(jì)算性能上顯著提高，應(yīng)用日益廣泛。

PyTorch中主要包括了16個(gè)常用子模塊，現(xiàn)重點(diǎn)介紹其中常用的幾個(gè)子模塊。torch模塊提供了PyTorch中常用的激活函數(shù)（包括Sigmoid函數(shù)、RELU函數(shù)、Tanh函數(shù)等），同時(shí)提供了PyTorch張量的常用參考，主要有矩陣的乘法操作、張量元素選擇操作等。torch.Tensor模塊定義了torch中的張量類型和數(shù)值類型。torch.nn模塊則是PyTorch神經(jīng)網(wǎng)絡(luò)模塊化的核心，在這個(gè)模塊中定義了卷積層nn.ConvNd（N=1，2，3）和線性層（全連接層）nn.Linear等。torch.optim模塊定義了一系列的優(yōu)化器，包括torch.optim.SGD（隨機(jī)梯度下降算法）、torch.optim.Adagrad（AdaGrad算法）、torch.optim.Adam（Adam算法）等。

正由于PyTorch框架提供了良好的張量計(jì)算模型，同時(shí)其中的子模塊功能十分豐富，能幫助高效地解決圖像修復(fù)問(wèn)題，因此本文依托PyTorch框架實(shí)現(xiàn)圖像修復(fù)實(shí)驗(yàn)。

4? 實(shí)驗(yàn)

為了研究基于PyTorch的圖像修復(fù)技術(shù)，通過(guò)實(shí)驗(yàn)對(duì)自編碼的圖像修復(fù)方法（AE）、基于生成模型的圖像修復(fù)方法（GAN）、基于網(wǎng)絡(luò)結(jié)構(gòu)的圖像修復(fù)方法進(jìn)行性能對(duì)比。在展示圖像修復(fù)效果時(shí)，以生成模型（GAN）為代表進(jìn)行展示。

4.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)采用Windows10操作系統(tǒng)，實(shí)驗(yàn)設(shè)備的CPU為Inter i5-7200U，以Python 3.8為開發(fā)語(yǔ)言、PyCharm 2021.2為集成開發(fā)平臺(tái)，借助PyTorch深度學(xué)習(xí)框架，搭建完整的實(shí)驗(yàn)環(huán)境。

4.2 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)采用的數(shù)據(jù)為PASCAL VOC2012數(shù)據(jù)集，該數(shù)據(jù)集的下載地址為http：//host.robots.ox.ac.uk/pascal/VOC/voc2012/index.html#data。該數(shù)據(jù)集在2012年視覺(jué)對(duì)象類挑戰(zhàn)賽VOC2012中推出，該數(shù)據(jù)集中一共包含了17125張圖片，包括了20個(gè)對(duì)象類，如人、鳥、貓、飛機(jī)、自行車、瓶子、椅子等常見(jiàn)對(duì)象。

為了實(shí)現(xiàn)圖像修復(fù)的研究，從PASCAL VOC2012數(shù)據(jù)集中選取出500張圖像組成實(shí)驗(yàn)數(shù)據(jù)集Dataset500，同時(shí)確保Dataset500中的圖像尺寸均大于等于500×375像素。在選取數(shù)據(jù)集之后，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將Dataset500數(shù)據(jù)集中的所有圖像尺寸截取為500×375像素。

為了實(shí)現(xiàn)圖像修復(fù)，需要對(duì)Dataset500數(shù)據(jù)集增加掩膜，結(jié)合數(shù)據(jù)集中圖像的尺寸信息，設(shè)置掩膜的尺寸大小為100×100像素。以數(shù)據(jù)集中的4個(gè)圖像為例，將加掩膜前的圖像如圖4所示，加掩膜后的圖像如圖5所示。

4.3 實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)Dataset500數(shù)據(jù)集執(zhí)行數(shù)據(jù)預(yù)處理、加掩膜等操作后，利用PyTorch模型構(gòu)建GAN網(wǎng)絡(luò)，分別實(shí)現(xiàn)GAN網(wǎng)絡(luò)的生成器網(wǎng)絡(luò)和鑒別器網(wǎng)絡(luò)。在模型訓(xùn)練時(shí)，將batch size設(shè)置為64，epoch設(shè)置為1000，學(xué)習(xí)率設(shè)置為0.0001。將加掩膜之后的圖像依次輸入GAN網(wǎng)絡(luò)，得到修復(fù)后的圖像，從500個(gè)處理結(jié)果中選取4個(gè)進(jìn)行圖像修復(fù)效果展示，如圖6所示。

從圖6中圖像修復(fù)結(jié)果可知，運(yùn)用GAN網(wǎng)絡(luò)實(shí)施圖像修復(fù)，能得到較好的修復(fù)效果，在內(nèi)容上與真實(shí)圖像接近，同時(shí)視覺(jué)效果上與真實(shí)圖像幾乎一致。

5? 結(jié)論

本文重點(diǎn)研究了圖像修復(fù)技術(shù)，以深度學(xué)習(xí)框架PyTorch為實(shí)驗(yàn)框架，實(shí)現(xiàn)了GAN網(wǎng)絡(luò)，進(jìn)行了生成器網(wǎng)絡(luò)generator和鑒別器網(wǎng)絡(luò)discriminator的搭建，同時(shí)以PASCAL VOC2012數(shù)據(jù)集為實(shí)驗(yàn)對(duì)象，通過(guò)實(shí)驗(yàn)驗(yàn)證了GAN網(wǎng)絡(luò)在圖像修復(fù)中能體現(xiàn)出良好的效果。通過(guò)對(duì)圖像修復(fù)技術(shù)的研究，為數(shù)字圖像修復(fù)、文物修復(fù)等領(lǐng)域帶來(lái)了新的解決方案，在后續(xù)的研究中，將研究修復(fù)效率更高的圖像修復(fù)算法，并進(jìn)一步提高圖像修復(fù)的視覺(jué)效果。

參考文獻(xiàn)：

[1] Bertalmio M，Sapiro G，Caselles V，et al.Image inpainting[C]//Proceedings of the 27th annual conference on Computer graphics and interactive techniques - SIGGRAPH '00.Not Known.New York：ACM Press，2000：417-424.

[2] 王琛.基于生成對(duì)抗網(wǎng)絡(luò)的圖像修復(fù)算法研究[D].北京：北京工業(yè)大學(xué)，2020.

[3] 范春奇，任坤，孟麗莎，等.基于深度學(xué)習(xí)的數(shù)字圖像修復(fù)算法最新進(jìn)展[J].信號(hào)處理，2020，36（1）：102-109.

[4] 劉昱.基于深度生成模型的圖像修復(fù)研究[D].徐州：中國(guó)礦業(yè)大學(xué)，2019.

[5] 陳杰，李旭姣.圖像修復(fù)技術(shù)綜述[J].電信快報(bào)，2021（2）：44-46.

[6] 阮秋琦，仵冀穎.數(shù)字圖像處理中的偏微分方程方法[J].信號(hào)處理，2012，28（3）：301-314.

[7] Soheil Darabi，Eli Shechtman，Connelly Barnes，Dan B Goldman，Pradeep Sen.Image Melding： Combining Inconsistent Images using Patch-based Synthesis[J].ACM Transactions on Graphics，2012，31（4CD）：82.1-82.10

[8] Wilczkowiak M M，Brostow G J，Tordoff B，et al.Hole filling through photomontage[C]//Proceedings of the British Machine Vision Conference 2005.Oxford.British Machine Vision Association，2005.

[9] 沈玲.基于語(yǔ)義感知深度模型的圖像修復(fù)方法研究[D].合肥：合肥工業(yè)大學(xué)，2020.

[10] Liu G L，Reda F A，Shih K J，et al.Image inpainting for irregular holes using partial convolutions[M]//Computer Vision – ECCV 2018.Cham：Springer International Publishing，2018：89-105.

[11] Dolhansky B，F(xiàn)errer C C.Eye in-painting with exemplar generative adversarial networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.June 18-23，2018，Salt Lake City，UT，USA.IEEE，2018：7902-7911.

[12] Gao R H，Grauman K.On-demand learning for deep image restoration[C]//2017 IEEE International Conference on Computer Vision.October 22-29，2017，Venice，Italy.IEEE，2017：1095-1104.

【通聯(lián)編輯：唐一東】