基于全變差和P-Laplace模型的混合圖像修復(fù)算法

李 丹， 仲 崇 權(quán)， 王 世 強(qiáng)， 陳 祖 軍

( 大連理工大學(xué) 控制科學(xué)與工程學(xué)院, 遼寧 大連 116024 )

?

基于全變差和P-Laplace模型的混合圖像修復(fù)算法

李 丹*， 仲 崇 權(quán)， 王 世 強(qiáng)， 陳 祖 軍

( 大連理工大學(xué) 控制科學(xué)與工程學(xué)院, 遼寧 大連 116024 )

圖像修復(fù)是近年來(lái)圖像處理研究的主要問(wèn)題之一．在基于偏微分方程的修復(fù)算法中，全變差(total variation，TV)模型能夠很好地保護(hù)圖像邊緣信息，但其各向異性擴(kuò)散方式在平坦區(qū)域容易產(chǎn)生階梯效應(yīng)；而在圖像平坦區(qū)域具有良好修復(fù)效果的P-Laplace模型，其各向同性擴(kuò)散方式不適于修復(fù)圖像邊緣信息．將TV模型和P-Laplace模型有機(jī)結(jié)合起來(lái)，提出了一種混合圖像修復(fù)算法．提出的擴(kuò)散控制參數(shù)k能夠根據(jù)待修復(fù)像素所在區(qū)域調(diào)節(jié)兩種信息擴(kuò)散方式的重要程度，實(shí)現(xiàn)混合圖像修復(fù)．實(shí)驗(yàn)結(jié)果表明，所提算法獲得了更好的修復(fù)結(jié)果．

圖像修復(fù)；全變差(TV)模型；P-Laplace模型

0 引 言

圖像修復(fù)是數(shù)字圖像處理的重要研究?jī)?nèi)容之一，具有廣闊的應(yīng)用領(lǐng)域，基于偏微分方程的修復(fù)算法是其中的一個(gè)重要分支[1]．常用的全變差(total variation,TV)圖像修復(fù)算法首先對(duì)破損的圖像建立能量方程，通過(guò)極小化圖像能量方程實(shí)現(xiàn)圖像修復(fù)[2]，該模型的保邊性較好，但容易導(dǎo)致平坦區(qū)域過(guò)度平滑，產(chǎn)生階梯效應(yīng)[3-5]．

針對(duì)全變差模型的階梯效應(yīng)問(wèn)題，本文引入在圖像的平坦區(qū)域梯度和梯度垂直的方向擁有相同擴(kuò)散系數(shù)的P-Laplace模型，將其與TV模型有機(jī)結(jié)合起來(lái)，形成一種混合圖像修復(fù)算法，在圖像的邊緣處和平坦區(qū)域都具有很好的修復(fù)效果，在保持圖像邊緣信息的同時(shí)能夠減少階梯效應(yīng)對(duì)圖像修復(fù)效果的影響，有利于對(duì)圖像的更優(yōu)修復(fù)．

1 TV模型和P-Laplace模型

1.1 TV模型修復(fù)原理

TV模型修復(fù)算法基本原理如圖1所示，其能量方程為

|▽u|)dxdy

(1)

式中：r為一個(gè)正的實(shí)函數(shù)；u表示圖像的像素值，且滿足如下噪聲約束條件：

(2)

式中：area(E)表示破損區(qū)域的鄰域面積，在空域中破損的圖像會(huì)受到噪聲污染，一般選取標(biāo)準(zhǔn)方差為σ的白噪聲．u、u0分別表示修復(fù)后圖像和原始圖像的對(duì)應(yīng)點(diǎn)像素值．采用Lagrange乘子法，可得使得R(u)取得極小值的條件為

(3)

式中：▽為梯度算子．TV模型圖像修復(fù)過(guò)程中常用差分方程的解近似偏微分方程的解[5-6]．如圖2所示，令Λ=(E，N，W，S)為待修復(fù)點(diǎn)O的四鄰域像素點(diǎn)，(e，n，w，s)為四鄰域半像素點(diǎn)．

(4)

圖1 圖像修復(fù)示意圖

圖2 待修復(fù)像素點(diǎn)O及其鄰域像素點(diǎn)示意圖

1.2 P-Laplace模型

為了解決待修復(fù)圖像在平坦區(qū)域的鄰域信息擴(kuò)散問(wèn)題，文獻(xiàn)[7]中給出了P-Laplace模型：

(5)

其中u0=u+N，為含有加性噪聲的圖像模型．其能量泛函方程為

(6)

本文重點(diǎn)討論p=2時(shí)對(duì)應(yīng)的P-Laplace模型：

(7)

用變分的方法可推導(dǎo)出相應(yīng)的Euler方程為

-▽·(▽u)+λ(u-u0)=Δu+λ(u-u0)=0

(8)

2 混合模型的提出

從上述討論可以看出，TV模型能夠在邊緣處實(shí)現(xiàn)很好的擴(kuò)散，對(duì)邊緣信息有很好的保護(hù)效果[8-9]，但在平坦區(qū)域容易產(chǎn)生階梯效應(yīng)；而P-Laplace模型，在邊緣方向和梯度方向的擴(kuò)散系數(shù)是相同的，雖然可以在圖像的平坦區(qū)域?qū)崿F(xiàn)各向同性擴(kuò)散，但對(duì)圖像的邊緣區(qū)域修復(fù)不佳．最理想的方法就是既能很好地保護(hù)圖像的邊緣信息，又能在圖像的平坦區(qū)域得到很好的擴(kuò)散．由此本文將兩種模型有機(jī)結(jié)合起來(lái)，提出的混合修復(fù)模型如下：

(9)

其中k∈[0，1]是控制參數(shù)，其Euler方程為

(10)

顯然，通過(guò)控制參數(shù)k，混合模型能夠?qū)V模型與P-Laplace模型有機(jī)結(jié)合起來(lái)．控制參數(shù)k的計(jì)算如下：

(11)

定義中控制參數(shù)k決定了在混合模型中兩種算法對(duì)像素點(diǎn)進(jìn)行修復(fù)時(shí)的相對(duì)重要程度，因而破損圖像的不同區(qū)域所得擴(kuò)散系數(shù)有所不同，達(dá)到對(duì)不同的區(qū)域?qū)崿F(xiàn)更佳的修復(fù)效果．考慮k的兩種特殊情況，討論在這兩種特殊情況下的修復(fù)效果．

(1)當(dāng)k=1時(shí)，表示梯度模值|▽I|→∞，即此像素位于非常突出的邊緣部分，則該邊緣是需要保護(hù)的．此時(shí)，所提混合模型退化為TV模型，能夠?qū)吘墝?shí)現(xiàn)很好的保護(hù)．

(2)當(dāng)k=0時(shí)，表示梯度模值|▽I|→0，即此像素位于圖像的平坦區(qū)域，只需要一個(gè)簡(jiǎn)單快速的擴(kuò)散就可以了．此時(shí)，所提混合模型退化為P-Laplace模型，它是一個(gè)各向同性的擴(kuò)散方程，由于在各個(gè)方向的擴(kuò)散速度是一樣的，其修復(fù)速度要快于TV模型．同時(shí)在平坦區(qū)域使用各向同性擴(kuò)散方式可以避免各向異性擴(kuò)散帶來(lái)的階梯效應(yīng)的影響．所以在平坦區(qū)域使用各向同性的擴(kuò)散方程在效果上要優(yōu)于TV模型．

可以看出，參數(shù)k可用于控制等照度線切線方向和垂直方向的擴(kuò)散系數(shù)．從以上分析可知，由于參數(shù)k的加入，所提混合模型可以根據(jù)待修復(fù)像素點(diǎn)的所在區(qū)域決定TV模型和P-Laplace模型在修復(fù)過(guò)程中的重要程度，使得修復(fù)效果達(dá)到最佳．

類似于TV模型，混合模型的數(shù)值實(shí)現(xiàn)如下：

(12)

(13)

(14)

(15)

由式(10)以及式(11)～(15)可得混合模型的修復(fù)公式為

(16)

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)結(jié)果

如圖3～8所示，本文選取Lena文字破損圖像、Lena劃痕圖像、攝影師文字破損圖像、攝影師劃痕圖像，以及辣椒文字破損圖像、辣椒劃痕圖像，對(duì)6幅圖像分別采用P-Laplace模型、TV模型及所提混合模型進(jìn)行修復(fù)實(shí)驗(yàn)，并給出其峰值信噪比．峰值信噪比是評(píng)價(jià)圖像修復(fù)結(jié)果的參數(shù)之一，該值越大說(shuō)明修復(fù)效果越好，其計(jì)算公式如下：

(17)

式中：M、N分別表示一幅圖像的行數(shù)和列數(shù)．

3.2 實(shí)驗(yàn)結(jié)果分析

根據(jù)以上討論的情況可知，TV模型能夠?qū)吘夁M(jìn)行很好的保護(hù)，但是在平坦區(qū)域采用單一方向的擴(kuò)散方式，使得修復(fù)效果失真；而P-Laplace 模型雖然可以在邊緣方向和梯度方向進(jìn)行相同系數(shù)的擴(kuò)散，在平坦區(qū)域抑制階梯效應(yīng)，但是對(duì)圖像的邊緣不能進(jìn)行很好的保護(hù)．

為了更清楚直觀地體現(xiàn)修復(fù)效果，在修復(fù)結(jié)果圖上進(jìn)行部分區(qū)域的標(biāo)記，如圖3中Lena眼部破損區(qū)域、圖4中Lena唇部劃痕區(qū)域，以及圖5和圖6中的像素平坦區(qū)域．從上述標(biāo)記區(qū)域可以看出，在對(duì)破損區(qū)域進(jìn)行修復(fù)時(shí)，本文提出算法的修復(fù)效果在各幅圖像上均優(yōu)于TV模型和P-Laplace 模型，能夠更有效地對(duì)破損信息進(jìn)行修復(fù)，使得修復(fù)結(jié)果更能滿足人類的視覺(jué)效果．

圖3 Lena文字破損圖像修復(fù)結(jié)果

圖4 Lena劃痕圖像修復(fù)結(jié)果

圖5 攝影師文字破損圖像修復(fù)結(jié)果

圖6 攝影師劃痕圖像修復(fù)結(jié)果

圖7 辣椒文字破損圖像修復(fù)結(jié)果

圖8 辣椒劃痕圖像修復(fù)結(jié)果

客觀評(píng)價(jià)方面，從表1～6中的數(shù)據(jù)可以看出，相同迭代次數(shù)條件下，混合模型的PSNR值在各幅圖像上均大于TV模型和P-Laplace模型，說(shuō)明了本文提出的圖像修復(fù)算法的可行性和優(yōu)越性．這也證明本文提出的混合模型能夠?qū)V模型對(duì)邊緣信息的保護(hù)和P-Laplace模型在平坦區(qū)域的各向同性擴(kuò)散的優(yōu)點(diǎn)結(jié)合起來(lái)，能夠達(dá)到圖像修復(fù)的理想效果．

通過(guò)以上比較可知：本文提出的混合圖像修復(fù)算法，能夠?qū)V模型的各向異性擴(kuò)散和P-Laplace模型的各向同性擴(kuò)散有機(jī)結(jié)合，在控制參數(shù)k的調(diào)節(jié)下，實(shí)現(xiàn)在對(duì)破損圖像的修復(fù)中，像素信息的擴(kuò)散方式隨著圖像信息特征的改變而靈活運(yùn)用．這種根據(jù)像素的特征信息的變化來(lái)選取不同的修復(fù)模型的方法，可以獲得比單一的修復(fù)算法更好的修復(fù)效果．實(shí)驗(yàn)結(jié)果表明，本文提出的基于TV模型和P-Laplace模型的改進(jìn)圖形修復(fù)算法是合理而且高效的．

表1 Lena文字破損圖像修復(fù)結(jié)果比較

表2 Lena劃痕圖像修復(fù)結(jié)果比較

表3 攝影師文字破損圖像修復(fù)結(jié)果比較

表4 攝影師劃痕圖像修復(fù)結(jié)果比較

表5 辣椒文字破損圖像修復(fù)結(jié)果比較

表6 辣椒劃痕圖像修復(fù)結(jié)果比較

4 結(jié) 語(yǔ)

本文針對(duì)基于偏微分方程的圖像修復(fù)算法進(jìn)行了研究，將TV模型邊緣部分保持和P-Laplace模型在平坦區(qū)域各向同性擴(kuò)散的優(yōu)點(diǎn)有機(jī)結(jié)合在一起，提出了混合圖像修復(fù)算法．實(shí)驗(yàn)結(jié)果表明，混合修復(fù)算法在效果上優(yōu)于TV模型和P-Laplace 模型，實(shí)現(xiàn)了對(duì)圖像邊緣信息的保護(hù)和防止在平坦區(qū)域產(chǎn)生階梯效應(yīng)，能夠得到更優(yōu)的圖像修復(fù)效果．

[1] QIN Chuan, WANG Shuo-zhong, ZHANG Xin-peng. Simultaneous inpainting for image structure and texture using anisotropic heat transfer model [J].MultimediaToolsandApplications, 2012,56(3):469-483.

[2] Chan R H, YANG Jun-feng, YUAN Xiao-ming. Alternating direction method for image inpainting in wavelet domains [J].SIAMJournalonImagingSciences, 2011,4(3):807-826.

[3] 王旭東,馮象初,霍雷剛. 去除乘性噪聲的重加權(quán)各向異性全變差模型[J]. 自動(dòng)化學(xué)報(bào), 2012,38(3):444-451.

WANG Xu-dong, FENG Xiang-chu, HUO Lei-gang. Iteratively reweighted anisotropic-TV based multiplicative noise removal model [J].ActaAutomaticaSinica, 2012,38(3):444-451. (in Chinese)

[4] LI Sheng-feng, WANG Ru-jing, XIE Jin,etal. Exemplar image inpainting by means of curvature-driven method [C] //Proceedings—2012InternationalConferenceonComputerScienceandElectronicsEngineering,ICCSEE2012. Piscataway:IEEE Computer Society, 2012:326-329.

[5] 何 坤,琚生根,林 濤,等. TV數(shù)值計(jì)算的圖像去噪[J]. 電子科技大學(xué)學(xué)報(bào), 2013,42(3):459-463.

HE Kun, JU Sheng-gen, LIN Tao,etal. Image denoising on TV numerical computation [J].JournalofUniversityofElectronicScienceandTechnologyofChina, 2013,42(3):459-463. (in Chinese)

[6] 婁靜濤,李永樂(lè),譚樹(shù)人,等. 基于全變分的全向圖像稀疏重構(gòu)算法[J]. 電子學(xué)報(bào), 2014,44(2):243-249.

LOU Jing-tao, LI Yong-le, TAN Shu-ren,etal. Sparse reconstruction for omnidirectional image based on total variation [J].ActaElectronicaSinica, 2014,44(2):243-249. (in Chinese)

[7] 邊 策,鐘 樺,焦李成. 基于非下采樣Contourlet變換和雙變量模型的圖像去噪[J]. 電子與信息學(xué)報(bào), 2009,31(3):561-565.

BIAN Ce, ZHONG Hua, JIAO Li-cheng. Image denoising based on nonsubsampled contourlet transform and bivariate model [J].JournalofElectronics&InformationTechnology, 2009,31(3):561-565. (in Chinese)

[8] 趙顏偉,李象霖. 一種基于TV模型的快速圖像修復(fù)算法[J]. 微電子學(xué)與計(jì)算機(jī), 2009,26(6):253-260.

ZHAO Yan-wei, LI Xiang-lin. A rapid image inpainting algorithm based on TV model [J].Microelectronics&Computer, 2009,26(6):253-260. (in Chinese)

[9] Paul G, Cardinale J, Sbalzarini I F. Coupling image restoration and segmentation:A generalized linear model/Bregman perspective [J].InternationalJournalofComputerVision, 2013,104(1):69-93.

HybridimagerestorationalgorithmbasedontotalvariationandP-Laplacemodels

LI Dan*, ZHONG Chong-quan, WANG Shi-qiang, CHEN Zu-jun

( School of Control Science and Engineering, Dalian University of Technology, Dalian 116024, China )

Image restoration is one of the major problems of image processing research in recent years. In the image restoration algorithms based on partial differential equation, the total variation (TV) model can well protect the image edge information, but in the flat areas, the anisotropic diffusion TV model can easily generate ladder effect. While the isotropic diffusion P-Laplace model can obtain good restoration results in the flat areas, but it is not suitable to restore the image edge information. Based on the TV and P-Laplace models, a hybrid image restoration algorithm is proposed, in which the control parameterkcan adjust the importance degree of the two diffusion methods according to the image areas, and realize hybrid image restoration. Experimental results show that the proposed algorithm can obtain better restoration results.

image restoration; total variation (TV) model; P-Laplace model

1000-8608(2014)06-0676-06

2014-03-13；

: 2014-09-17.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61305034)；大連理工大學(xué)基本科研業(yè)務(wù)費(fèi)資助項(xiàng)目(DUT13JS03).

李 丹*(1977-)，女，博士，副教授，E-mail:ldan@dlut.edu.cn.

TN911.73

：Adoi:10.7511/dllgxb201406012