基于大小掩碼區(qū)的圖像修補(bǔ)研究

張 巖，吳 斌，朱玉穎

（西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010）

0 引言

現(xiàn)代生活中，圖像已然成為不可或缺的生活元素，而數(shù)字圖像更是滲透到生活中的方方面面，如數(shù)碼相機(jī)、數(shù)字電視等等。但是，圖像的傳播過程中未免會發(fā)生數(shù)據(jù)丟失[1]，影響圖像顯示效果，因此，各類數(shù)字圖像修補(bǔ)算法也不斷涌現(xiàn)。歸納各類算法，可發(fā)現(xiàn)圖像修補(bǔ)過程往往是首先確定掩碼區(qū)，而后結(jié)合其在圖像中的位置，利用修補(bǔ)算法完成對圖像的修補(bǔ)。但是，多數(shù)算法只是將掩碼區(qū)統(tǒng)一歸類，統(tǒng)一處理，而這也不可避免地造成修補(bǔ)過程效率降低。實(shí)際上，多數(shù)小掩碼區(qū)域的修補(bǔ)并不需要復(fù)雜修補(bǔ)算法，利用簡單便捷的結(jié)構(gòu)修補(bǔ)便可實(shí)現(xiàn)，而大掩碼區(qū)的修補(bǔ)可以利用紋理修補(bǔ)等較為復(fù)雜的算法來實(shí)現(xiàn)。此外，迭代次數(shù)上，小掩碼區(qū)可以少一些，大掩碼區(qū)則可以多一些。這樣，通過掩碼區(qū)將復(fù)雜與便捷算法相結(jié)合，既可提高效率，也可改善修補(bǔ)結(jié)果。

當(dāng)然，手工也可以劃分大小掩碼區(qū)，但是如有大量圖像需要修補(bǔ)，而其大小掩碼區(qū)仍然利用手工確定，那勢必會影響修補(bǔ)效率，而這也與圖像修補(bǔ)領(lǐng)域掩碼區(qū)的自動(dòng)確定的發(fā)展方向相違背。因此，自動(dòng)快捷的大小掩碼區(qū)確定算法具有研究價(jià)值。

1 數(shù)字圖像修補(bǔ)技術(shù)簡介

圖像修補(bǔ)技術(shù)發(fā)展已較為成熟，形成了一定的理論基礎(chǔ)，并應(yīng)用到生活中的多個(gè)方面，就目前取得的研究成果來看，圖像修補(bǔ)技術(shù)可分為兩個(gè)研究方向：結(jié)構(gòu)修補(bǔ)和紋理合成。其中，結(jié)構(gòu)修補(bǔ)利用圖像周邊信息，完成對圖像缺失信息的修補(bǔ)，這與早期社會通過觀察受損圖像四周紋理與色彩信息，利用潤色的方法完成修補(bǔ)的原理類似，如圖1所示。

圖1 結(jié)構(gòu)修補(bǔ)原理圖

圖1中，I為待修補(bǔ)圖像，Ω為修補(bǔ)區(qū)，δΩ為其邊界，經(jīng)典算法中，Bertalmio等人稱其為等照度線（Isophtoes），E為可利用的圖像修補(bǔ)區(qū)域，箭頭指向梯度方向。修補(bǔ)過程用數(shù)學(xué)語言描述為

因此，修補(bǔ)過程就是不斷更新Int(i,j)的過程。在結(jié)構(gòu)修補(bǔ)領(lǐng)域，對Int(i,j)的更新方法有多種，如M.Bertalmio，G.Sapiro，V.Caselles一同提出的偏微分方程BSCB模型[2]，以及T.Chan和J.Shen提出的更便捷的全變分Total Variational[3]（簡稱TV）與曲率驅(qū)動(dòng)擴(kuò)散（CDD）模型[4]等，均產(chǎn)生很好的效果。此外，在這些經(jīng)典算法的基礎(chǔ)上，又延伸出了多種算法，如Masnou和Morel，Chan，Kang和Shen提出并研究的彈性函數(shù)圖像修補(bǔ)模型[5]，Esedoglu和Shen為圖像修補(bǔ)提出的Mumford-Shah-Euler圖像模型[6]等。

而后，Bertalmio等人又由起初像素（微觀）層面，擴(kuò)展到了樣本塊（宏觀）的研究，即從結(jié)構(gòu)層面擴(kuò)展到紋理方向，開辟了紋理修補(bǔ)的方向。并且隨著研究的深入，也提出了多種算法，如基于區(qū)域紋理合成的圖像修補(bǔ)算法[7]，以及基于樣本塊的圖像修補(bǔ)算法[8]等。此外，現(xiàn)在流行的小波分析[9]、BP-神經(jīng)網(wǎng)絡(luò)[10]等高端技術(shù)也滲入這個(gè)行列中，開辟了圖像修補(bǔ)研究的新方向。下面主要介紹兩種文中利用的算法——TV模型與Manuel M.Oliveira提出的快速修補(bǔ)算法。

2 應(yīng)用算法簡介

2.1 TV模型

Rudin，Osher，F(xiàn)atemi 3人觀測到帶噪圖像整體變分明顯比無噪圖像大，便將整體變分方法引入圖像處理領(lǐng)域[11]，而Chan和Shen受到Rudin的啟發(fā)，提出了兩種圖像修補(bǔ)算法，其中之一便是TV模型。該模型利用等照度線擴(kuò)散方向的不同來進(jìn)行圖像的修補(bǔ)，有很好的效果，數(shù)學(xué)語言表述為其中

式中：λ發(fā)揮了一個(gè)重要的尺度參數(shù)作用，通過調(diào)節(jié)λ，能夠在恢復(fù)結(jié)果中獲得期望的不同尺度的圖像信息。通過Euler-Lagrange方程求解上式，得到更新量Int(i,j)，在經(jīng)過迭代獲得最終結(jié)果，需要指出的是，該模型為二階偏微分方程，因此修補(bǔ)效率有所提高，而且在去噪和小區(qū)域的修補(bǔ)中效果明顯，但是在連接破損邊緣上，還存在一定問題[12]。

2.2 快速修補(bǔ)算法

該算法由Manuel M.Oliveira等人提出，其前提在于修補(bǔ)區(qū)域要滿足局部小，以及人類視覺可以容忍在一定區(qū)域內(nèi)的模糊，只要該區(qū)域未涉及到高對比度的邊緣[13]。在此基礎(chǔ)上，算法從像素入手，對于要修補(bǔ)的像素點(diǎn)，利用擴(kuò)散核卷積該像素四周的像素，從而得到該點(diǎn)的值，之后進(jìn)行迭代，直至達(dá)到滿意的效果。更進(jìn)一步說，算法就是利用n×n模板，從掩碼區(qū)邊界開始，對其周圍進(jìn)行卷積，并不斷深入，直至整個(gè)掩碼區(qū)全部被處理，然后再迭代多次，得到最終圖像，用數(shù)學(xué)語言描述為

Ω為掩碼區(qū)，即修補(bǔ)區(qū)域，I（i，j）為掩碼區(qū)的像素值，C（i，j）為預(yù)設(shè)模板中的值，這里利用3×3模板，見圖2。該算法與濾波器原理類似，掩碼區(qū)為噪聲成分，修補(bǔ)過程就是利用濾波器來去除這些成分的過程，并且同時(shí)還添加上了平滑、均值等效果，令修補(bǔ)區(qū)周圍的信息得以延伸，從而達(dá)到修補(bǔ)的目的。

圖2 模板C取值

3 劃分大小掩碼區(qū)

在處理掩碼區(qū)前，需要了解關(guān)于連續(xù)性的問題。這里的連續(xù)性，指連續(xù)的亮點(diǎn)數(shù)量（二值化后圖像中，值為1的區(qū)域?yàn)檠诖a區(qū)，即亮點(diǎn)區(qū)域），通過其與給定閾值的比較，得到其連續(xù)性強(qiáng)弱關(guān)系，即大于閾值則為強(qiáng)，小于閾值則為弱。對于要處理的掩碼區(qū)，圖像二值化后，觀察得到的圖像，不難發(fā)現(xiàn)大掩碼區(qū)連續(xù)性強(qiáng)，小掩碼區(qū)連續(xù)性弱。由此，得到掩碼區(qū)劃分流程：

1）給定一個(gè)閾值，將原圖二值化，得到掩碼區(qū)mask（亮區(qū)域）。

2）分配一片與原圖大小相同的區(qū)域maskB，將其初始化為0（黑點(diǎn)），用來存儲大掩碼區(qū)。

3）搜索掩碼區(qū)mask亮點(diǎn)所在的行r和列c，并將其存儲起來。再建立兩個(gè)新數(shù)組x（n）和y（n），且初始化x（1）=r（1），y（1）=c（1），以及累加器n=0。

4）按列（行）搜索下一個(gè)掩碼區(qū)數(shù)據(jù)，如果r（i）-1=r（i-1），說明掩碼區(qū)兩個(gè)亮點(diǎn)相連，將數(shù)據(jù)保存x（i）=r（i），y（i）=c（i），并累加n=n+1，一直到此列（行）搜索完畢。之后，再判斷連續(xù)性強(qiáng)弱關(guān)系，即n與閾值的大小關(guān)系，大于閾值則將存儲maskB的數(shù)組x和y的相應(yīng)像素位置標(biāo)記為1（亮點(diǎn)）。

5）按照上面的步驟直至整幅圖像掃描完畢，至此大掩碼區(qū)全部確定。然后將mask中對應(yīng)于大掩碼所在的行列標(biāo)注為0（黑點(diǎn)），并將其保存到masks，至此完成劃分，得到大、小掩碼區(qū)maskB與masks。效果如圖3所示。

圖3 掩碼處理效果

但是，上面的算法仍然存在問題，如圖4所示，原因在于部分掩碼區(qū)按行（列）搜索時(shí)，連續(xù)性強(qiáng)，可是按列（行）搜索時(shí)，連續(xù)性則變?nèi)?。為了解決這個(gè)問題，可以將得到的maskB旋轉(zhuǎn)90°，再按照步驟4）～5）運(yùn)算，并將結(jié)果倒轉(zhuǎn)90°，便可得到最終結(jié)果，如圖5所示。

圖4 算法存在問題示意

圖5 改進(jìn)后的效果

4 實(shí)驗(yàn)對比

采用Matlab7.0仿真，計(jì)算機(jī)配置為AMD雙核4000+，2 Gbyte內(nèi)存。由圖6與表1可以看出，為達(dá)到一個(gè)較好的效果，TV算法的迭代次數(shù)要多一些，而快速圖像修補(bǔ)算法則較少，且效果也有所提高，但仍然存在瑕疵，而利用改進(jìn)算法進(jìn)行修補(bǔ)，同TV和未劃分前的修補(bǔ)圖相比，修補(bǔ)效率與修補(bǔ)效果都有了改善。

圖6 最終效果

表1 實(shí)驗(yàn)結(jié)果

5 總結(jié)

本文算法的提出，主要在于為修補(bǔ)速率與修補(bǔ)效果的改善方向提出了一種新思路，且當(dāng)一幅圖片為灰度圖或紋理不復(fù)雜的矢量圖時(shí)，將會更快更好地達(dá)到要求。但是，由于它是圖像修補(bǔ)領(lǐng)域中的新概念，仍然存在不足之處，如處理合并在一起的大小掩碼區(qū)和部分不規(guī)則掩碼區(qū)時(shí)，效果不明顯，影響修補(bǔ)結(jié)果，因此仍有待完善。

[1]張利平，張紅英，吳斌.基于多種邊緣檢測的視頻劃痕檢測技術(shù)[J].電視技術(shù)，2010，34（1）：85-87.

[2]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH2000）.New Orleans，LA：ACM Press，2000：417-424.

[3]CHAN T F，SHEN J H.Mathematical models for local nontexture inpaintings[J].SIAM J.Appl.Math.，2001，62（3）：1019-1043.

[4]CHAN T F，SHEN J.Non-texture inpainting by curvature driven diffusion（CDD）[J].Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

[5]CHAN T F，CHAN TF，KANG S H，SHEN J.Eider’s elastica and curvature based inpaintings[J].SIAM J.Appl.Math.，2002，63（2）：564-592.

[6]ESEDOGLU S，SHEN J.Digital inpainting based on the Mumford-Shah-Euler image model[J].Euro.J.Appl.Math.，2002，13（4）：353-370.

[7]付紹春，樓順天.基于區(qū)域紋理合成的圖像修補(bǔ)算法[J].電子與信息學(xué)報(bào)，2009，31（6）：1319-1321.

[8]雷鳴，王春東，薛彥兵，等.一種新的樣本塊圖像修補(bǔ)方法[J].光電子激光，2009，20（5）：677-679.

[9]孫曉麗.偏微分方程和小波在圖像修復(fù)與特征提取中的應(yīng)用[D].西安：西安電子科技大學(xué)，2008.

[10]李宇鵬，王秋梅，孫紅勝，等.基于RBF-BP神經(jīng)網(wǎng)絡(luò)的圖像修補(bǔ)[J].燕山大學(xué)學(xué)報(bào)，2007，31（6）：471-475.

[11]RUDIN L，OSHER S，F(xiàn)ATERNI E.Nonlinear total variation based noise removal algorithms[J].Physica D，1992，60（1-4）：259-261.

[12]莊紅林，施國興，范菁，等.基于輪廓-紋理分解的圖像修補(bǔ)技術(shù)研究[J].昆明理工大學(xué)學(xué)報(bào)，2008，33（3）：58.

[13]OLIVEIRA M M，BOWEN B，MCKENNA R，et al.Fast digital image inpainting[C]//Proc.The International Association of Sicence and Technology for Development Conference on Visualization，Imaging and Image Processing.Marbella，Spain:[s.n.]，2001：261-266.