基于樣本塊的圖像修復(fù)方法

張君　常霞　王利娟

【摘 要】圖像修復(fù)是圖像處理的一個(gè)重要研究部分，圖像修復(fù)方法是試圖估計(jì)原圖像信息， 對(duì)破損區(qū)域進(jìn)行修補(bǔ)和改善，提高圖像視覺質(zhì)量的技術(shù)?；跇颖緣K的圖像修復(fù)方法以修復(fù)速度快，處理效果好，且對(duì)破損面積較大的圖像修復(fù)效果佳等顯著優(yōu)點(diǎn)，成為當(dāng)前圖像修復(fù)的熱點(diǎn)方向之一。本文詳細(xì)介紹了基于樣本塊圖像修復(fù)方法的優(yōu)缺點(diǎn)和改進(jìn)方向，為研究者在圖像修復(fù)上提供了相關(guān)的理論依據(jù)，同時(shí)也為圖像修復(fù)方法創(chuàng)新提供了研究思路。文章最后給出了圖像修復(fù)的發(fā)展方向，對(duì)深入學(xué)習(xí)圖像修復(fù)方法具有重要的指導(dǎo)意義。

【關(guān)鍵詞】圖像修復(fù);樣本塊;優(yōu)先權(quán);置信度;數(shù)據(jù)項(xiàng)

中圖分類號(hào)： TP391.41文獻(xiàn)標(biāo)識(shí)碼： A文章編號(hào)： 2095-2457（2019）33-0021-003

DOI：10.19694/j.cnki.issn2095-2457.2019.33.009

Image Inpainting Method Based on Sample Patch

ZHANG Jun CHANG Xia WANG Li-juan

（The Key Laboratory of Intelligent Information and Big Data Processing of Ningxia Province，

North Minzu University，Yinchuan Ningxia 750021，China）

【Abstract】Image inpainting is one of the important contents in image processing.The image inpainting method is a technique that attempts to estimate the original image information，repair and improve the damaged area，and improve the visual quality of the original picture.The image inpainting method based on sample patchs has obvious advantages such as fast restoration speed，good processing effect and good image restoration effect for images with large damage area，becoming one of the hot spots of image restoration at present.In this paper，the advantages，disadvantages and improvement directions of image restoration methods based on sample blocks are introduced in detail，which provides relevant theoretical basis for researchers in image inpainting and research ideas for image restoration method innovation.At the end of this paper，the development direction of image restoration is given，which has important guiding significance for further study of image restoration methods.

【Key words】Image inpainting;Sample patch;Priority;Data term;Confidence data;Matching patch

0 引言

早期的圖像修復(fù)主要應(yīng)用于文藝復(fù)興時(shí)期藝術(shù)作品的修復(fù)，現(xiàn)階段圖像修復(fù)在生物醫(yī)療圖像、壁畫修補(bǔ)、視頻處理等方面有著廣泛的應(yīng)用。圖像修復(fù)是利用圖像原有的先驗(yàn)信息，去估計(jì)和修復(fù)破損區(qū)域的缺失信息，使修復(fù)后的圖像符合人眼視覺的連續(xù)性和合理性，最終達(dá)到改善圖像的視覺效果。圖像修復(fù)結(jié)果不具有唯一性，滿足修復(fù)后圖像視覺質(zhì)量得到改善的結(jié)果，都是修復(fù)問題的解。

圖像修復(fù)方法中常見的兩種方法：基于偏微分方程的圖像修復(fù)方法及基于紋理的圖像修復(fù)方法?；谄⒎址匠痰膱D像修復(fù)方法是在建立合適的修復(fù)模型下，通過解方程來實(shí)現(xiàn)圖像的修復(fù)，該方法雖然可以穩(wěn)定地保持圖像自身的線性結(jié)構(gòu)信息，但是對(duì)圖像的細(xì)節(jié)信息卻并不能很好地保留。在處理含有大面積破損區(qū)域的圖像時(shí)，基于偏微分方程的圖像修復(fù)方法在擴(kuò)散過程中會(huì)不斷引入模糊，模糊程度隨著破損區(qū)域尺度的增加而增加，因此該方法適用于修復(fù)尺度較小的圖像?；诩y理的圖像修復(fù)方法是通過原圖像及完好的區(qū)域信息去估計(jì)和填充破損區(qū)域信息，尋找最佳匹配塊，并將完好的匹配塊信息填充到對(duì)應(yīng)破損區(qū)域的位置上，逐次迭代完成整幅圖像的填充。圖像大多是由結(jié)構(gòu)和紋理細(xì)節(jié)組成，而針對(duì)紋理細(xì)節(jié)明顯的圖像更適合用基于紋理的修復(fù)方法進(jìn)行填充。若圖像的破損區(qū)域尺度較大，內(nèi)外紋理信息可能差別會(huì)很大，顯然基于紋理圖像修復(fù)方法更合適此種修復(fù)情況?；跇颖緣K的圖像修復(fù)方法是基于紋理的圖像修復(fù)方法中最具有代表性的方法。在填補(bǔ)紋理信息方面，基于樣本塊的圖像修復(fù)方法更優(yōu)，尤其當(dāng)破損區(qū)域面積較大時(shí)。

本文首先介紹了基于樣本塊的圖像修復(fù)方法的基本原理，以及最新研究進(jìn)展，結(jié)合算法的局限性，討論了改進(jìn)思路和方法，并對(duì)圖像修復(fù)的發(fā)展趨勢(shì)進(jìn)行了展望。

1 基于樣本塊的圖像修復(fù)算法

基于樣本塊的圖像修復(fù)方法是以樣本塊為基本單元，分別給予待填充樣本塊的中心像素一個(gè)灰度值和一個(gè)置信度值。臨時(shí)對(duì)填充邊緣的樣本塊賦予一個(gè)的優(yōu)先權(quán)值，通過優(yōu)先權(quán)值的大小順序來確定樣本塊被填充的順序。再通過SSD匹配原則，尋找與之最為相似的源匹配塊，將最佳匹配塊的紋理信息和結(jié)構(gòu)信息復(fù)制填充到待修復(fù)塊中，已填充像素塊的置信度值需要重新更換，以此完成一次修復(fù)。按照同樣方法，逐步對(duì)破損區(qū)域進(jìn)行推進(jìn)式填充，直至最后完成整幅圖像的填充。

算法步驟處理如下：

1）計(jì)算優(yōu)先權(quán)并確定待修復(fù)樣本塊。在圖像待修復(fù)前緣選擇一點(diǎn)p，則p點(diǎn)的優(yōu)先權(quán)為：

其中，C（p）為p點(diǎn)的置信度項(xiàng)，D（p）為p點(diǎn)的數(shù)據(jù)項(xiàng)。

通過計(jì)算填充邊緣點(diǎn)的優(yōu)先權(quán)函數(shù)值的大小，確定優(yōu)先權(quán)函數(shù)值最大的那個(gè)點(diǎn)所在的樣本塊，作為最先需要填充的樣本塊。處于連續(xù)邊緣上和被高置信度像素包圍的圖像塊，其優(yōu)先權(quán)值較大，將最先被填充，因此會(huì)更好地保持圖像的結(jié)構(gòu)信息和紋理信息。

2）確定最佳匹配塊和填充待修復(fù)塊。根據(jù)SSD（sum of squared difference）匹配原則，在圖像整個(gè)完好區(qū)域內(nèi)找出與樣本塊最相似的匹配塊，并將最佳匹配塊的結(jié)構(gòu)信息和紋理信息復(fù)制給待填充樣本塊。

3）更新置信度項(xiàng)。優(yōu)先權(quán)值最大的樣本塊被填充之后，更新已填充樣本塊的置信度項(xiàng)重復(fù)以上三個(gè)步驟，直至最終填充完畢。

2 基于樣本塊的圖像修復(fù)方法的改進(jìn)分析

綜合分析基于樣本塊的圖像修復(fù)方法的基本原理，我們從該算法所涉及的影響像素運(yùn)算的因素，得出四個(gè)可改進(jìn)的方面：優(yōu)先權(quán)函數(shù)、匹配原則、更新原則和自適應(yīng)原則。

2.1 優(yōu)先權(quán)函數(shù)

優(yōu)先權(quán)函數(shù)的計(jì)算在圖像修復(fù)的整個(gè)過程中尤為重要。優(yōu)先權(quán)值決定著圖像樣本塊填充的次序，影響著圖像的最終視覺效果。圖像修復(fù)過程中，隨著填充的進(jìn)行，置信度項(xiàng)的可信度值越來越小，甚至出現(xiàn)驟降為零的情況，進(jìn)而使得圖像塊填充次序混亂，后期填充圖像嚴(yán)重模糊，而修復(fù)面積越大出現(xiàn)置信度驟降為零的概率越大。即使遇到線性結(jié)構(gòu)豐富的區(qū)域，圖像塊也不能被優(yōu)先填充，嚴(yán)重影響了圖像修復(fù)的效果。另外，若樣本塊處等照度線方向與該中心像素塊的法線方向垂直，不管此時(shí)的置信度項(xiàng)值多大，數(shù)據(jù)項(xiàng)和優(yōu)先權(quán)值都為零，失去了填充的意義。Criminisi等[1]人最早提出基于樣本塊的圖像修復(fù)算法，尤其針對(duì)大面積破損圖像具有很好的修復(fù)效果。但因其在圖像填充后期，置信度項(xiàng)的驟降，導(dǎo)致修復(fù)后期出現(xiàn)嚴(yán)重的偽影和振鈴效應(yīng)。為此，研究者們將研究重點(diǎn)放于改善優(yōu)先權(quán)函數(shù)上面。Zhou Yatong等[2]人建議將優(yōu)先權(quán)函數(shù)表示為P（p）=C（p）D（p）+nD（p），適當(dāng)增加函數(shù)中數(shù)據(jù)項(xiàng)的比重，平衡置信度項(xiàng)驟降的限制。歐先鋒等[3]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）D（p）+C（p）α。此改進(jìn)方法從置信度項(xiàng)入手，減緩置信度項(xiàng)驟降趨勢(shì)，增加置信度項(xiàng)的比重，使優(yōu)先權(quán)函數(shù)在整個(gè)變化中，有著平穩(wěn)的變化過程，減緩變化的速度，同時(shí)也增加填充順序的可信度?？祫P等[4]人提出將數(shù)據(jù)項(xiàng)改為D（p）=|np|×（ξ×Iξξ+k×η×Iηη），置信度項(xiàng)不做任何變動(dòng)，從數(shù)據(jù)項(xiàng)方面出發(fā)，鼓勵(lì)優(yōu)先填充與np夾角較小的邊緣結(jié)構(gòu)，并且鼓勵(lì)優(yōu)先填充圖像中破損的突變區(qū)域，具有更強(qiáng)的識(shí)別能力和糾錯(cuò)能力。侯玉婷等[5]人提出將優(yōu)先權(quán)函數(shù)改為P（p）=C（p）+（1-λ）·D（p）+λ·δS2，將采用數(shù)據(jù)項(xiàng)和置信度項(xiàng)的相加運(yùn)算，具有更強(qiáng)的識(shí)別紋理區(qū)域和邊緣區(qū)域的能力，防止置信度迅速衰減帶來的錯(cuò)誤填充次序。曾接賢等[6]人將置信度項(xiàng)的計(jì)算重新定義，采用棋盤全包圍的方法計(jì)算置信度項(xiàng)，增加樣本塊置信度項(xiàng)的充分利用，降低置信度項(xiàng)的驟變速度，較好地緩解了填充誤差。劉業(yè)妃等[7]人采用指數(shù)函數(shù)加權(quán)的形式將優(yōu)先權(quán)函數(shù)改進(jìn)為P（p）=α×ec（p）+β×D（p），增加了優(yōu)先權(quán)函數(shù)的可靠性和變化范圍，使算法運(yùn)行具有更強(qiáng)的穩(wěn)定性。

2.2 匹配原則

基于樣本塊的圖像修復(fù)算法步驟的第二部分是匹配塊的選擇與填充。確定待填充的樣本塊后，下一步是在源區(qū)域?qū)ふ易罴哑ヅ鋲K。匹配原則的設(shè)計(jì)具有至關(guān)重要的作用，原算法中是根據(jù)SSD（sum of squared difference）匹配原則篩選最佳匹配塊，隨著對(duì)算法的深入研究，學(xué)者們紛紛對(duì)匹配原則進(jìn)行改進(jìn)和豐富，使得匹配塊的確定更加精準(zhǔn)，大大地降低了填充誤差，修復(fù)效果也有一定改善?？祫P等[4]人在原有的SSD匹配原則的基礎(chǔ)上增加了距離計(jì)算，根據(jù)SSD和距離因素，尋找最佳匹配塊。往往距離近的區(qū)域，相似性更高一點(diǎn)，就近原則也有一定的理論意義。原算法初期進(jìn)行了全局搜索，后期再進(jìn)行全局搜索，相對(duì)來說有些浪費(fèi)時(shí)間，侯玉婷等[5]人重新設(shè)計(jì)了匹配塊搜索范圍，重新定義一個(gè)新的相似性函數(shù)，實(shí)現(xiàn)最佳匹配塊的尋找。此改進(jìn)方法兼顧搜索效率和匹配原則設(shè)計(jì)的合理性。曾接賢等[6]人使用相似塊的劃分原則，將RGB圖像轉(zhuǎn)化成HSV圖像，將三維像素合成一維特征向量，提取圖像塊顏色特征，計(jì)算像素塊特征的歐氏距離，由紋理特征和顏色特征共同決定最佳匹配塊的選擇。此設(shè)計(jì)具有更強(qiáng)的適應(yīng)性和穩(wěn)定性，對(duì)像素塊特征的抓取更完整，可以降低修復(fù)過程中產(chǎn)生的誤差。任澎等[8]人引入像素點(diǎn)誤差平方和的平均值A(chǔ)SSD（average sum of squared differences）。在初期SSD的判斷下找到匹配塊后，通過ASSD的再判斷，進(jìn)一步尋找不良匹配塊，對(duì)其再重新修復(fù)，盡量保證修復(fù)的準(zhǔn)確性，深入修正誤差匹配塊。何雨亭等[9]人在原有匹配原則的基礎(chǔ)上增加了結(jié)構(gòu)張量相干因子，兩個(gè)原則共同約束匹配塊的滿足條件，使得修復(fù)準(zhǔn)確性有了進(jìn)一步的提升。Wang Jing等[10]人在匹配塊的尋找過程中進(jìn)行了二次篩選，第一次篩選根據(jù)原有的SSD匹配原則，第二次進(jìn)行NCC歸一化原則篩選，即以一種色彩定義距離的物理量進(jìn)行篩選。兩輪篩選的策略，在準(zhǔn)確性上有了一定可信度，但是時(shí)間耗費(fèi)上可能要多一些。

2.3 更新原則

樣本塊被修復(fù)后，置信度項(xiàng)要進(jìn)行重新更新，避免修復(fù)區(qū)被二次識(shí)別修復(fù)，以保證后續(xù)圖像修復(fù)的順利進(jìn)行。延續(xù)優(yōu)先權(quán)的變化趨勢(shì)問題，研究者不斷地在更新置信度項(xiàng)上尋求改善，盡可能使得更新后的置信度項(xiàng)降低趨勢(shì)減緩，避免過快出現(xiàn)為零的情況。李愛菊等[11]人提出在更新置信度項(xiàng)時(shí)，設(shè)定一個(gè)顏色閾值，按實(shí)際圖像處理情況區(qū)別對(duì)待需要更新的樣本塊，更符合圖像修復(fù)的具體情況。李尊等[12]人采用FDIM算法，圖像修復(fù)后，針對(duì)出現(xiàn)圖像不連續(xù)的邊緣區(qū)域，采用無縫處理對(duì)其進(jìn)行進(jìn)一步的更新和修復(fù)，提高了圖像修復(fù)的質(zhì)量。萬寶龍等[13]人重新定義更新的置信度項(xiàng)，引入相似度系數(shù)，使更新的置信度項(xiàng)在數(shù)量級(jí)上比未修改的置信度項(xiàng)大，減緩置信度項(xiàng)的劇變。相似度系數(shù)保證了在合適的范圍內(nèi)適當(dāng)放大數(shù)值，置信度也具有更強(qiáng)的可信度。

2.4 自適應(yīng)原則

原始的基于樣本塊的圖像修復(fù)算法，樣本塊的大小是固定的。隨著學(xué)者們的深入研究，提出自適應(yīng)的圖像修復(fù)策略。自適應(yīng)策略具有更強(qiáng)的適應(yīng)性，針對(duì)不同的圖像結(jié)構(gòu)情況，自適應(yīng)調(diào)整待修復(fù)樣本塊的大小，更細(xì)膩化的修復(fù)圖像。歐先鋒等[3]人提出自適應(yīng)樣本塊，以像素點(diǎn)處的梯度作為判斷條件，根據(jù)梯度值大小分成三個(gè)區(qū)間，進(jìn)而將樣本塊分成三種不同大小的類型。三種類型的樣本塊比較貼合圖像修復(fù)的實(shí)際紋理和結(jié)構(gòu)情況，更好地保證了修復(fù)的視覺效果。曾接賢等[6]人根據(jù)圖像局部自相似性，將圖像自適應(yīng)地劃分為不同圖像塊，根據(jù)圖像塊的不相似性決定劃分樣本大小。引入濾波器，對(duì)圖像塊進(jìn)行處理，提取紋理特征，進(jìn)而確定圖像的不相似性，保證匹配和填充的準(zhǔn)確性。任澎等[8]人根據(jù)結(jié)構(gòu)張量特征值，將圖像劃分為邊緣區(qū)域、紋理區(qū)域和平坦區(qū)域，定義新物理量平均相干因子，以此識(shí)別三種不同區(qū)域，進(jìn)而根據(jù)三種區(qū)域的紋理特征確定樣本塊的大小。此設(shè)計(jì)方法對(duì)紋理復(fù)雜的破損區(qū)域也能把握好細(xì)節(jié)，魯棒性更強(qiáng)，修復(fù)的視覺效果更佳。孟春芝等[14]人也是根據(jù)像素點(diǎn)的梯度值確定填充邊緣的紋理結(jié)構(gòu)，在對(duì)其進(jìn)行做結(jié)構(gòu)差異性檢測(cè)，滿足最小差異性約束條件，保證樣本塊自適應(yīng)調(diào)節(jié)大小和填充的精確性。朱園珠等[15]人對(duì)通過局部梯度場(chǎng)的變化衡量局部結(jié)構(gòu)特征的變化，局部結(jié)構(gòu)特征值的設(shè)定是重新定義的，巧妙地保證了像素塊與填充邊緣的融合效果，最后通過局部結(jié)構(gòu)特征的變化確定樣本塊的大小。鄭晚秋等人引入像素點(diǎn)的二階微分量，進(jìn)而利用曲率確定樣本塊的大小，相對(duì)具有一定的準(zhǔn)確性，對(duì)結(jié)構(gòu)變化具有更強(qiáng)的適應(yīng)性。何凱等人定義梯度相似度函數(shù)和結(jié)構(gòu)相似度函數(shù)，結(jié)合紋理特征，設(shè)定誤差限制準(zhǔn)則，進(jìn)而自適應(yīng)調(diào)整樣本塊大小。

3 總結(jié)與展望

本文分析了基于樣本塊的圖像修復(fù)方法改進(jìn)的四個(gè)方面，后續(xù)仍需要對(duì)更多細(xì)節(jié)問題進(jìn)行深入探討，針對(duì)不同圖像類型的進(jìn)一步分析和研究具體改進(jìn)策略。目前圖像修復(fù)的破損區(qū)域基本靠人工標(biāo)注，而針對(duì)一些顏色豐富的破損圖像，人眼無法察覺出圖像的缺失顏色，人工標(biāo)注將受到限制。所以未來的研究工作可從自動(dòng)獲取破損圖像區(qū)域方向入手，擴(kuò)大圖像修復(fù)方法的適用范圍。另外圖像修復(fù)效果的客觀評(píng)價(jià)指標(biāo)較為單一，得到的有效信息受限，未來工作也可從圖像修復(fù)效果的客觀評(píng)價(jià)指標(biāo)方面進(jìn)行創(chuàng)新。

【參考文獻(xiàn)】

[1]Criminisi A，Pérez P，Toyama K.Region filling and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing， 2004，13（9）：1200-1212.

[2]Zhou Y，Li L，Xia K.Research on weighted priority（下轉(zhuǎn)第3頁） （上接第23頁）of exemplar-based image inpainting[J].Journal of Electronics（China），2012，29（1-2）：166-170.

[3]歐先鋒，晏鵬程，郭龍?jiān)?一種改進(jìn)的Criminisi圖像修復(fù)算法[J].成都工業(yè)學(xué)院學(xué)報(bào)，2018，21（1）：27-30.

[4]康凱，尹東，張榮.一種基于樣圖的圖像修復(fù)改進(jìn)算法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（13）：187-190.

[5]侯玉婷，彭進(jìn)業(yè)，韓東辰.改進(jìn)的Criminisi圖像修復(fù)算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（11）：135-138.

[6]曾接賢，王璨.基于優(yōu)先權(quán)改進(jìn)和塊劃分的圖像修復(fù)[J]. 中國(guó)圖象圖形學(xué)報(bào)，2017，22（9）：1183-1193.

[7]改進(jìn)的Criminisi圖像修復(fù)算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2014，35（12）：2754-2758.

[8]任澍，唐向宏，康佳倫.紋理和邊緣特征相結(jié)合的圖像修復(fù)算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，25（11）：1682-1693.

[9]何雨亭，唐向宏，張?jiān)?，et al.結(jié)構(gòu)張量的改進(jìn)Criminisi修復(fù)[J].中國(guó)圖象圖形學(xué)報(bào)，2018，23（10）：64-79.

[10]Wang J，Lu K，Pan D，et al.Robust object removal with an exemplar-based image inpainting approach[J].Neurocomputing， 2014，123：150-155.

[11]李愛菊，鈕文良.基于改進(jìn)Criminisi算法的圖像修復(fù)[J]. 計(jì)算機(jī)工程與應(yīng)用，2014，50（18）：167-170.

[12]李尊，吳謹(jǐn)，劉勁.基于邊緣結(jié)構(gòu)的Criminisi圖像修復(fù)[J].液晶與顯示，2014（5）：756-760.

[13]方寶龍，尹立新，常晨.改進(jìn)的基于樣例的圖像修復(fù)方法[J].計(jì)算機(jī)工程與應(yīng)用，2014（8）：143-146.

[14]何凱，牛俊慧，沈成南，et al.一種自適應(yīng)樣本塊圖像修復(fù)方法[J].中國(guó)圖象圖形學(xué)報(bào).

[15]朱園珠，朱曉臨，陳嫚，et al.基于改進(jìn)優(yōu)先級(jí)的自適應(yīng)圖像修復(fù)算法[J].合肥工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2014（6）：683-689.

[16]鄭晚秋，廖勝輝.紋理結(jié)構(gòu)引導(dǎo)的自適應(yīng)圖像修復(fù)算法[J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（6）.

[17]何凱，?？』?，沈成南，et al.基于SSIM的自適應(yīng)樣本塊圖像修復(fù)算法[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版）， 2018，v.51;No.329（07）：101-105.