基于改進(jìn)的紋理性質(zhì)的圖像修復(fù)技術(shù)研究?

郝躍軍 馬 澤 安瑞中 劉明君

（1.中鐵十二局集團(tuán)電氣化工程有限公司 天津 300308）（2.忻州師范學(xué)院電子系 忻州 034000）

1 引言

數(shù)字圖像在各方面得到廣泛應(yīng)用，如電視電影、新聞傳媒、文物修復(fù)等，然而在圖像的信息傳遞過程中，面臨很多因素影響圖片傳輸?shù)耐暾裕?］。圖像信息修復(fù)成為圖像處理的熱門方向［2］。最初起源于文藝復(fù)興時(shí)期，對(duì)珍貴的藝術(shù)品進(jìn)行修復(fù)。傳統(tǒng)的圖像修復(fù)都是基于人工修復(fù)，一旦人工失誤便可造成無法挽回的損失［3］。隨著計(jì)算機(jī)技術(shù)普及與視覺算法的應(yīng)用，圖像修復(fù)逐漸轉(zhuǎn)為數(shù)字圖像修復(fù)［4］。利用數(shù)字圖像技術(shù)對(duì)圖像的損壞區(qū)域進(jìn)行修補(bǔ)，可以反復(fù)對(duì)圖像進(jìn)行修改，并不影響原件圖像，更加高效可靠，也降低了圖像修復(fù)門檻，便于更多人進(jìn)行圖像修復(fù)［5］。所以，圖像修復(fù)算法研究是一個(gè)熱點(diǎn)。

數(shù)字圖像修復(fù)一直是數(shù)字圖像處理一個(gè)重要研究方向［7］。其主要原理是利用已知保留的殘存信息推斷出整個(gè)圖像的信息。按照不同的修復(fù)方法進(jìn)行不同的圖形算法劃分。如按照填充的區(qū)域進(jìn)行劃分可以分為局部修復(fù)和全局修復(fù)，按照填充的方式來劃分，分為基于像素點(diǎn)擴(kuò)散、稀疏表示以及紋理合成的三種圖像修復(fù)方法［8］。

最早提出PDE 方法的是Bertalmio 等［9］提出的BSCD算法，在文物修復(fù)中得到應(yīng)用，針對(duì)局部已知信息按照一定方向進(jìn)行擴(kuò)散。改進(jìn)的BSCD［10］模型為了減少對(duì)等線的交叉，設(shè)計(jì)了多向非交叉擴(kuò)散。但是，BSCD算法依賴于微分方程組的復(fù)雜度，往往高階（大于等于四階）方程組求解比較耗時(shí)。因此，Chan等［11］將BSCD模型簡(jiǎn)化，建立基于全變分（TV）算法。利用變分方法求解函數(shù)，將修復(fù)變成求解最小的解的過程。TV 相較于BSCD 模型，雖然簡(jiǎn)單，效果較好但是缺乏修復(fù)的連通性，針對(duì)一定結(jié)構(gòu)性的圖片修復(fù)效果較差。Chan 等［12］繼續(xù)提出了基于曲率驅(qū)動(dòng)擴(kuò)散的CDD 算法，引入了曲率信息適應(yīng)不同程度的擴(kuò)散。但是，這種修復(fù)會(huì)造成修復(fù)圖片修復(fù)痕跡明顯。由于PDE 算法適應(yīng)于局部較小區(qū)域圖像修復(fù)，適應(yīng)范圍有限。因此，人們逐漸利用稀疏表示進(jìn)行圖像修復(fù)，并在不同領(lǐng)域得到應(yīng)用。在基于紋理性質(zhì)的圖像修復(fù)中，Criminisi算法將樣本對(duì)應(yīng)修復(fù)區(qū)域的優(yōu)先權(quán)填補(bǔ)圖片。國(guó)內(nèi)研究學(xué)者彭春華等［13～14］提出分層Criminisi 圖像修復(fù)算法，效果進(jìn)一步改善。

本文重點(diǎn)研究了紋理性質(zhì)圖像修復(fù)技術(shù)，由于Criminisi 算法修復(fù)圖像存在同質(zhì)區(qū)域或者漸變區(qū)域，尋找不到合適的樣本進(jìn)行匹配，造成最終修復(fù)效果不理想等問題，提出改進(jìn)Criminisi算法的圖像修復(fù)技術(shù)。

2 Criminisi算法的原理

2.1 Criminisi算法的原理

Criminisi 方法核心步驟主要為三部分。首先，選擇修復(fù)樣本塊，優(yōu)先選擇連通性較好區(qū)域進(jìn)行修復(fù)。其次，在此基礎(chǔ)上進(jìn)行匹配，設(shè)定一定的策略保證樣本之間的相似性。然后，在不遮擋已知圖像信息的基礎(chǔ)上進(jìn)行填充。依次進(jìn)行這三部分，直到修復(fù)完整區(qū)域?yàn)橹埂?/p>

如圖1 所示，Φ表示完好區(qū)域，Ω表示待修復(fù)的區(qū)域，?Ω表示待修復(fù)區(qū)域邊界，ψP是?Ω區(qū)域內(nèi)上的一個(gè)樣本塊，且此樣本塊的中心位置為P，中心位置P 在?Ω區(qū)域上，nP是中心位置P 處的法線向量，表示P點(diǎn)等照度方向。

圖1 Criminisi 圖像修復(fù)示意圖

2.2 Criminisi算法的流程

Criminisi 修復(fù)步驟如下：

1）明確標(biāo)記出待修復(fù)區(qū)域的邊緣?Ω，如果Ω=Φ，則結(jié)束；

2）對(duì)于待修復(fù)區(qū)域Ω的中心位置為P，如圖2（a），篩選出樣本塊修復(fù)ψP；

圖2 樣本修復(fù)模型

3）篩選出最高優(yōu)先權(quán)的待修復(fù)塊ψP；

4）選出本次循環(huán)所要修復(fù)的塊ψP，設(shè)置一定的選取策略在整個(gè)先驗(yàn)區(qū)域I/Ω內(nèi)匹配最佳樣本ψP；

5）從樣本塊中移植相同的圖像相似點(diǎn)到ψP上的像素點(diǎn)，如圖2（b）所示；

6）更新循環(huán)，不斷地填充直到填充完成。

3 基于改進(jìn)的Criminisi算法

在Criminisi算法中，修復(fù)圖像忽略了很多復(fù)雜的圖像因素。在實(shí)際圖像修復(fù)中如存在同質(zhì)區(qū)域或者漸變區(qū)域，尋找不到合適的樣本進(jìn)行匹配，尋找的不是最優(yōu)樣本塊，這樣就造成最終修復(fù)效果不理想。本文首先對(duì)數(shù)字圖像信息進(jìn)行不同區(qū)域的劃分，保證每一個(gè)區(qū)域的圖像信息有較大的相似性。然后，在Criminisi 算法基礎(chǔ)上進(jìn)行修復(fù)，最后將每一區(qū)域的修補(bǔ)圖像進(jìn)行合成。這種方法最大限度保證了每個(gè)區(qū)域的圖像相似性，較為容易找到匹配樣本塊，提高最后修復(fù)效果。同時(shí)，結(jié)構(gòu)與紋理信息存在明顯的差異性，改進(jìn)算法分別對(duì)不同方向的尺度信息進(jìn)行建模，保證每一個(gè)區(qū)域的劃分。分別利用空間構(gòu)建結(jié)構(gòu)和紋理分量，圖像分解模型［15］：

根據(jù)模型（1），通過不同分量將圖像區(qū)域進(jìn)行劃分，保證了圖像處理效果。如圖3 中根據(jù)模型分解出不同維度u、v分解結(jié)果，驗(yàn)證了模型（1）。從圖中可以清晰地看到圖像被分為結(jié)構(gòu)與紋理，其中結(jié)構(gòu)中只包含紋理量極少，同時(shí)紋理中也只含有少量結(jié)構(gòu)。因此，改進(jìn)的Criminisi算法利用此原理對(duì)圖像進(jìn)行多維度分解。

圖3 Barbara圖像的結(jié)構(gòu)和紋理分解結(jié)果

4 圖像修復(fù)算法性能仿真分析

采用不同的評(píng)價(jià)指標(biāo)來衡量修復(fù)圖片的效果，其中使用較多評(píng)價(jià)標(biāo)準(zhǔn)為峰值信噪比（PSNR）和平均修復(fù)時(shí)間，其中峰值信噪比定義為

仿真實(shí)驗(yàn)根據(jù)圖像的紋理和結(jié)構(gòu)清晰的部分設(shè)置為修補(bǔ)區(qū)域，減少同質(zhì)區(qū)域的污點(diǎn)，最大限度保證圖像修復(fù)效果。本文對(duì)基于偏微分方程（CCD）、稀疏表示（MP）、Criminisi 算法以及改進(jìn)算法進(jìn)行圖像修復(fù)實(shí)驗(yàn)，對(duì)比圖像修復(fù)效果，對(duì)修復(fù)圖像的PSNR 和時(shí)間值進(jìn)行多次計(jì)算求平均值，通過修復(fù)效果和數(shù)據(jù)對(duì)比，評(píng)價(jià)算法最終的修復(fù)效果。

為準(zhǔn)確對(duì)比分析，選取兩種類型的圖像，圖4選取的是墻面圖像，其中磚塊具有結(jié)構(gòu)性，墻縫有一定的條狀連接；圖5 選取的是Lena 人物圖像，其中殘缺貫穿了人物的帽檐、臉龐，如何保證帽子與人物臉龐之間的連通性與完整性。從整體上看，幾種修復(fù)方法最終都完成了修復(fù)效果，完成破損區(qū)域的信息修復(fù)，達(dá)到了修復(fù)效果。但是對(duì)比發(fā)現(xiàn)CCD和MP 在修補(bǔ)比較大區(qū)域樣本塊時(shí)，出現(xiàn)大小不一無用填充部分，這些跟噪聲部分一樣影響了修復(fù)效果。相較于CCD 和MP，基于Criminisi 算法的修復(fù)通過選擇樣本達(dá)到最優(yōu)效果，其中紋理信息越豐富修復(fù)效果越好，其中噪聲點(diǎn)也會(huì)越少。改進(jìn)的Criminisi 算法進(jìn)一步針對(duì)結(jié)構(gòu)和紋理信息進(jìn)行分層處理，在不同區(qū)域進(jìn)行修復(fù)，每一個(gè)區(qū)域的紋理信息都是相似的，保證每一部分區(qū)域的修復(fù)效果都是最優(yōu)的。從修復(fù)的視覺效果來看，基于紋理合成的效果是最佳的。除了在視覺效果上的對(duì)比，還進(jìn)行參數(shù)對(duì)比，包含了PSNR 和指標(biāo)時(shí)間值數(shù)據(jù)對(duì)比。對(duì)比上述幾種修復(fù)算法最大的PSNR 和時(shí)間指標(biāo)值，如表1 所示，我們進(jìn)行多次實(shí)驗(yàn)求平均值，說明本文提出方法的修補(bǔ)效果和修復(fù)效率優(yōu)于其他方法。

圖4 人造圖像的修復(fù)結(jié)果

5 結(jié)語

本文重點(diǎn)研究了紋理性質(zhì)圖像修復(fù)技術(shù)，由于Criminisi 算法修復(fù)圖像存在同質(zhì)區(qū)域或者漸變區(qū)域，尋找不到合適的樣本進(jìn)行匹配，造成最終修復(fù)效果不理想等問題，提出改進(jìn)Criminisi算法的圖像修復(fù)技術(shù)。首先對(duì)數(shù)字圖像信息進(jìn)行不同區(qū)域的劃分，保證每一個(gè)區(qū)域的圖像信息有較大的相似性。其次，利用Criminisi 算法進(jìn)行圖像修復(fù)，然后將每一區(qū)域的修補(bǔ)圖像進(jìn)行合成。最后，對(duì)基于PED、稀疏表示、Criminisi 算法、改進(jìn)的Criminisi 算法的修復(fù)技術(shù)進(jìn)行了仿真對(duì)比分析。從實(shí)驗(yàn)結(jié)果看，這幾種方法基本完成破損區(qū)域的信息修復(fù)，改進(jìn)的Criminisi 算法進(jìn)一步針對(duì)結(jié)構(gòu)和紋理信息進(jìn)行分層處理，在不同區(qū)域進(jìn)行修復(fù)，每一個(gè)區(qū)域的紋理信息都是相似的，保證每一部分區(qū)域的修復(fù)效果都是最優(yōu)的，從修復(fù)的視覺效果來看，基于紋理合成的效果是最佳的。