基于模式相似性的圖像修復(fù)算法

謝瓊 張紅英　彭博

摘要：圖像修復(fù)是一種去除圖像中多余可視物體并用合理的紋理填充未知區(qū)域的技術(shù)。針對(duì)Criminisi等人提出的基于樣本的圖像修復(fù)算法在尋找匹配塊時(shí)存在的一些不足，提出一種基于模式相似性的修復(fù)算法。該算法使用樣本紋理的亮度變化和空域特性作為尋找匹配模塊的約束條件。實(shí)驗(yàn)結(jié)果表明該方法在修復(fù)強(qiáng)結(jié)構(gòu)紋理圖像時(shí)有很好的效果。

關(guān)鍵字：圖像修復(fù)算法； 圖像補(bǔ)全； 模式相似性； 匹配模塊

中圖分類號(hào)：TN919?34 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004?373X（2013）02?0094?03

近年來，隨著多媒體和通信技術(shù)的發(fā)展與進(jìn)步，數(shù)字圖像處理技術(shù)也在數(shù)字產(chǎn)品中得到了廣泛應(yīng)用。但是經(jīng)常會(huì)碰到圖像上信息缺損的現(xiàn)象：破損或劃痕圖像；去除圖像上多余物體或文字留下的未知空白區(qū)域；在數(shù)字圖像的處理和傳輸?shù)冗^程中，因信息丟失所留下的信息缺損區(qū)等[1]。圖像修復(fù)技術(shù)是由圖像的已知鄰域信息來預(yù)測(cè)待修復(fù)區(qū)域內(nèi)信息的過程，從而達(dá)到在人眼主觀系統(tǒng)可以接受的條件下恢復(fù)出原始未失真或符合人類視覺要求圖像的目的。目前，數(shù)字圖像修補(bǔ)技術(shù)可以分為以下幾類[2]：第一類是變分PDE（Partial Differential Equation，PDE）修補(bǔ)技術(shù)；第二類是基于紋理合成的修補(bǔ)技術(shù)；第三類是基于稀疏重構(gòu)的圖像修補(bǔ)技術(shù)；第四類是其他修補(bǔ)技術(shù)。變分PDE修復(fù)模型就是將圖像修復(fù)過程轉(zhuǎn)化為一系列的偏微分方程或能量泛函模型，然后對(duì)該模型求解，最終達(dá)到修復(fù)的目的。Bertalmio，sapiro，easelles等借助于PDE模仿手工修復(fù)過程，采用迭代和擴(kuò)展2種算法沿等照度方向由粗到精的向破損區(qū)域內(nèi)擴(kuò)散[3]。

T.Chan和J.Shen建立了能量最小化的修復(fù)模型即整體變分模型（Total Variation，TV），取得了良好的效果[4]。T. Chan和J.Shen又提出了曲率推動(dòng)擴(kuò)散的修復(fù)模型（Curvature Driven Diffusion，CDD）[5]，該模型增加了一個(gè)曲率項(xiàng)來滿足“連接性準(zhǔn)則”。

有關(guān)稀疏表示的圖像修復(fù)方法如：Fadili等采用稀疏表示進(jìn)行圖像修復(fù)和放大[6]；Mairal等采用K?SVD訓(xùn)練彩色圖像得到學(xué)習(xí)字典進(jìn)行彩色圖像去噪和修復(fù)[7]。

Xu等同時(shí)考慮了圖像的結(jié)構(gòu)和紋理信息，提出了基于塊結(jié)構(gòu)稀疏的修復(fù)模型[8]。Peyre利用從一些樣本中通過機(jī)器學(xué)習(xí)推理而來的字典修復(fù)圖像，能較好的修復(fù)紋理圖像[9]。

基于紋理合成技術(shù)簡(jiǎn)單來說既是根據(jù)圖像的紋理特征，選取大小合適的紋理塊，生成具有同樣效果的新的紋理，用來修復(fù)圖像中的紋理區(qū)域。

Criminisi等提出的基于樣本的修復(fù)方法在時(shí)間和視覺上優(yōu)先于基于非紋理的修復(fù)方法等其他算法[10]，但是由于其算法的特殊性，在修復(fù)強(qiáng)結(jié)構(gòu)紋理圖像時(shí)，修復(fù)結(jié)果會(huì)出現(xiàn)明顯的結(jié)構(gòu)不連續(xù)現(xiàn)象。

本文在Criminisi工作的基礎(chǔ)上，為了取得精確的匹配塊，引入了一種新的約束條件：

（1）引入樣本紋理的亮度變化來獲得有效樣本。

（2）紋理塊的空域特性被認(rèn)為是一個(gè)隱式約束條件，該條件滿足許多真實(shí)的場(chǎng)景。實(shí)驗(yàn)證明該方法可以得到良好的修復(fù)結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境是PIV2.66G CPU，2 GB內(nèi)存。表1為試驗(yàn)中的各參數(shù)的設(shè)置。表2為實(shí)驗(yàn)結(jié)果的客觀評(píng)價(jià)比較，從中可以看出本文算法的PSNR值高于Criminisi算法，從而得出本文優(yōu)于原始算法。圖2（a）為待修復(fù)圖像模版，圖2（b）為原始的Criminisi算法結(jié)果，圖2（c）為尋找搜索范圍為待修復(fù)點(diǎn)周圍80個(gè)像素結(jié)果，圖2（d）為本文算法。從圖中結(jié)果可以看出（a），（b）中的邊緣（屋頂邊緣）有不連續(xù)的情況，而本文的算法對(duì)于結(jié)構(gòu)紋理起到了很好的修復(fù)效果。

4 結(jié) 語(yǔ)

通過分析Criminisi算法，找出Criminisi算法的缺點(diǎn)，提出一種改進(jìn)的算法進(jìn)行修復(fù)。在尋找匹配塊時(shí)引入兩個(gè)約束條件：

（1）引入樣本紋理的亮度變化來獲得有效樣本；

（2）紋理塊的空域特性被認(rèn)為是一個(gè)隱式約束條件。

在實(shí)驗(yàn)中，通過比較提出算法與傳統(tǒng)算法證明了該算法的有效性。該實(shí)驗(yàn)中，參數(shù)如窗口大小等通過經(jīng)驗(yàn)確定。在未來的工作中，應(yīng)該建立一個(gè)方法來確定最優(yōu)參數(shù)。

參考文獻(xiàn)

[1] 張紅英.數(shù)字圖像修復(fù)技術(shù)的研究與應(yīng)用[D].成都：電子科技大學(xué)，2006.

[2] 張紅英，彭啟琮.數(shù)字圖像修復(fù)技術(shù)綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12（1）：23?45

[3] BERTALMIO M， SAPIRO G， CASELLES V， et al. Image inpainting [C]// SIGGRAPH 2000 Computer Graphics Proceedings. USA： ACM Press， 2000： 417?424.

[4] CHAN T， SHEN J. Mathematical models for local non?texture inpainting [J]. SlAM Journal of Applied Mathematics， 2001， 62（3）： 1019?1043.

[5] CHAN T， SHEN J. Non?texture inpaintings by curvature?driven diffusions （CDD） [J]. Journal of Visual Communication and Image Representation， 2001， 12（4）： 436?449.

[6] FADILI M J， STARCK J L， MURTAGH F. Inpainting and zooming using sparse representations [J]. The Compter Journal， 2007（6）： 1?16.

[7] MAIRAL J， BACH F， PONCE J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of Machine Learning Research， 2010， 11： 19?60.

[8] XU Z， SUN J. Image inpainting by patch propagation using patch sparsity [J]. IEEE Transactions on Image Processing， 2010， 19（5）： 1153?1165.

[9] PEYRE G. Sparse modeling of textures [J]. Journal of Mathematical Imaging and Vision， 2009， 34（1）： 17?31.

[10] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar?based image inpainting [J].IEEE Transactions on Image Processing， 2004， 13（9）： 1200?1212.