一種自適應(yīng)耦合TV和高階PDE的圖像放大模型

張穎,劉曉春,周琳

摘 要：針對TV模型存在分塊效應(yīng)，而四階PDE模型具有保持平坦區(qū)域光滑性的特點(diǎn)，提出自適應(yīng)耦合TV和四階PDE的正則化圖像放大模型。根據(jù)圖像內(nèi)容合理調(diào)整耦合系數(shù)，在圖像漸變和平坦區(qū)域運(yùn)用四階PDE擴(kuò)散，消除分塊效應(yīng)；而在圖像的突變區(qū)域運(yùn)用TV模型濾波，保持突變邊緣。實驗結(jié)果表明，該算法是一種有效的圖像放大方法。

關(guān)鍵詞：圖像放大； 偏微分方程； 總變分； 高階PDE

中圖分類號：TN911-34

文獻(xiàn)標(biāo)識碼：A

文章編號：1004-373X(2011)09-0080-03

Image Zooming of Adaptive Coupling TV and High-order PDE

ZHANG Ying, LIU Xiao-chun, ZHOU Lin

(School of Information Engineering, Changan University, Xian 710064, China)

Abstract： A regularized image zooming model of adaptive couple TV and fourth-order PDE is proposed according to that the fourth-order PDE model can maintain the smoothness of flat areas and the total variation model has blocky effects. Based on the above considerations, the coupling coefficients were reasonably adjusted according to area contents. In the flat areas, the fourth-order PDE model was emphasized to eliminate block effects; where as in fast changing region, TV model was stressed to enhance the large gradient edges. Experimental results show that the algorithm is an effective image enlargement method.

Keywords： image zooming； partial differential equations (PDE); total variation; higher-order PDE

0 引 言

圖像放大指增大圖像尺寸或提高其分辨率，同時保持較高的質(zhì)量，以得到一個較好的視覺效果，或突出某些細(xì)節(jié)。圖像放大通?？煞謨刹竭M(jìn)行：首先對圖像進(jìn)行空間變換；其次對圖像進(jìn)行灰度級插值、處理。

傳統(tǒng)的線性插值算法有最近鄰法、雙線性插值法以及三次樣條插值法等［1］。這些方法用一些已知的簡單函數(shù)根據(jù)一定的光滑性要求逼近原圖像。它們有其固有的缺點(diǎn)，如放大后的圖像邊緣模糊化和邊緣鋸齒化，而且放大倍數(shù)越大，這些現(xiàn)象越明顯。自適應(yīng)插值方法［2］在空間上使插值系數(shù)較好地匹配邊緣附近的局部圖像結(jié)構(gòu)，但在選擇和估計感興趣的邊緣時會導(dǎo)致誤差。邊緣指導(dǎo)的插值方法［3］利用有限的對于邊緣的方向和幅度的量化來擬合圖像的亞像素邊緣，阻止跨邊緣的插值，因而能夠產(chǎn)生尖銳的邊緣，但對于邊緣的擬合過于簡單和粗糙，且會丟失一些圖像特征。其他還有基于凸集投影的迭代方法，基于小波變換和數(shù)學(xué)形態(tài)學(xué)的方法等，這些方法在性能上仍然有待提高，特別是在圖像含有噪聲的情況下。

基于偏微分方程(Partial Differential Equations, PDE)的圖像放大方法是在插值圖像的基礎(chǔ)上，通過迭代演化求解擴(kuò)散方程，從而得到高分辨率圖像，并去除噪聲和人工痕跡等的影響［4］。由于可以很方便地引入先驗知識，其獲得了良好的處理性能，已引起了廣泛關(guān)注［5-9］，其中主流是基于正則化的PDE方法。各向同性擴(kuò)散的PDE模型［5］放大圖像時容易出現(xiàn)邊緣模糊、細(xì)節(jié)特征丟失等現(xiàn)象。而各向異性擴(kuò)散的PDE雖然能在某種程度上保持放大圖像的細(xì)節(jié)特征［6］，但隨著迭代求解次數(shù)的增加，圖像部分重要信息會偏離原圖像，導(dǎo)致圖像模糊。采用總變分(Total Variation, TV)模型進(jìn)行圖像放大，能夠有效保持突變邊緣，且收斂速度快［7］，但在平坦區(qū)域和漸變區(qū)域會產(chǎn)生分塊效應(yīng)。而四階PDE模型具有保持平坦區(qū)域光滑度的優(yōu)點(diǎn)，將其用于圖像放大會避免分塊效應(yīng)［8］，但卻降低了邊緣等重要幾何結(jié)構(gòu)的清晰度。

為充分運(yùn)用四階PDE模型保持漸變區(qū)域光滑度的優(yōu)點(diǎn)，彌補(bǔ)總變分TV模型存在分塊效應(yīng)的不足，同時也保留了TV模型保持圖像中不連續(xù)邊緣的優(yōu)點(diǎn)，本文提出了自適應(yīng)耦合總變分TV和四階PDE的正則化圖像放大模型。根據(jù)圖像內(nèi)容合理調(diào)整耦合系數(shù)，在圖像漸變區(qū)域和平坦區(qū)域主要運(yùn)用四階模型進(jìn)行平滑，消除階梯效應(yīng)和分塊效應(yīng)；在圖像的突變區(qū)域著重運(yùn)用TV模型進(jìn)行平滑，保持突變邊緣。仿真實驗證明，本文算法能夠有效提高放大圖像的主觀視覺質(zhì)量和客觀保真度。

1 自適應(yīng)耦合TV和四階PDE的正則化圖像放大模型

TV模型最初用于圖像恢復(fù)中。設(shè)g,u分別表示低分辨率圖像和高分辨率圖像，根據(jù)極大似然原理，圖像放大可以歸結(jié)為如下不帶約束的正則化能量方程的極小化問題：

minuλ2Du－g2+R(u)

(1)

式中:D為圖像分辨率退化模型矩陣，刻畫了圖像獲取中的低通濾波和下采樣過程;式中第一項為逼近項，表示圖像和退化圖像的差異；第二項為圖像的正則化函數(shù)，它依賴于圖像，函數(shù)R(?)對圖像u加以約束，一般取為梯度的L琾(p>0)范數(shù)；λ>0為Lagrange乘子，在逼近項和正則化函數(shù)之間起平衡作用。

如果選擇圖像梯度的L2范數(shù)作為正則化函數(shù)，則因為拉普拉斯算子具有很強(qiáng)的各向同性擴(kuò)散特性，造成邊緣保持特性較差?？傋兎諸V模型［9］用圖像梯度的L1范數(shù)代替L2范數(shù)，具有很好的邊緣保持特性。圖像的TV定義為：

TV(u)謾姚斧齯dxdy

(2)

式中:Ω是圖像區(qū)域。于是圖像放大問題就轉(zhuǎn)化成為如下無約束極小化問題：

min Eu(u)=∫(齯+λ2Du－g2)dxdy

(3)

式中:等式右端第一項為圖像的總變分范數(shù)(TV范數(shù))，它依賴于圖像的變分幅度。

TV模型的優(yōu)勢在于它并不要求圖像是連續(xù)的，它在放大圖像的同時，可以保持圖像中的不連續(xù)邊緣。TV模型的不足在于其穩(wěn)態(tài)解中往往存在分塊效應(yīng)。采用TV模型處理后圖像的平坦區(qū)域和漸變區(qū)域內(nèi)灰度非常接近或相同，整個圖像似乎是由不同亮度的區(qū)域組成，且其輪廓顯得過分尖銳，有時會產(chǎn)生額外的邊緣。

在式(1)中，若取正則化函數(shù)R(u)=f(2u)時，可得如下最小化能量函數(shù)［10］：

min Eφ=∫Ω(f(2u)+λ2Du－g2)dxdy

(4)

此即四階PDE模型，其中,2表示拉普拉斯算子；f是非負(fù)且嚴(yán)格單調(diào)遞增函數(shù)。最小化式(4)相當(dāng)于找一個最小的2u，即平滑圖像u，同時又保持u與初始u0接近。

對于灰度漸變的區(qū)域，四階PDE模型式(4)并不會像TV模型那樣把圖像變?yōu)閹讉€灰度值不同的塊，而是將它平滑成一個灰度漸變的區(qū)域，雖然這和真實圖像不一定相同，但它一般不會產(chǎn)生額外的邊緣，與TV模型的結(jié)果相比，四階PDE模型克服了TV模型存在的圖像分塊這一不足，具有保持平坦區(qū)域光滑度的優(yōu)點(diǎn)，但卻降低了邊緣等重要幾何結(jié)構(gòu)的清晰度。

為充分發(fā)揮這兩種PDE模型的優(yōu)點(diǎn)，本文提出自適應(yīng)耦合TV和四階PDE的圖像放大模型。其基本思想就是根據(jù)圖像的局部特征，自適應(yīng)調(diào)整這兩種正則化模型的權(quán)重。在圖像漸變區(qū)域和平坦區(qū)域主要運(yùn)用四階PDE進(jìn)行平滑，消除分塊效應(yīng)；而在圖像的突變區(qū)域重點(diǎn)用TV模型進(jìn)行平滑，保持突變邊緣。其最小化能量函數(shù)為：

min Eφu=∫Ω(λ2Du－g2保真項+(1－p)?φ(齯)TV+

p?f(2u)四階PDE)dxdy

(5)

式中:λ>0為Lagrange乘子；p∈［0,1］，決定了TV和四階模型的權(quán)值，可根據(jù)圖像內(nèi)容自適應(yīng)調(diào)節(jié)。在突變區(qū)域，要求p等于或接近于0，這樣就主要采用二階TV模型對圖像進(jìn)行平滑；在圖像的漸變區(qū)域和平坦區(qū)域，要求0頿<1，這樣該模型中就包含了四階模型的特性，克服了TV模型存在的不足。

式(5)對應(yīng)的Euler-Lagrange方程為：

F=礔祏－氮祒礔祏x－氮祔礔祏y+氮祒2礔uxx+氮祔2氮祏yy

=λD琓(Du－g)－(1－p)?divφ′(齯)齯齯+

p?2f′(2u)2u2u=0

(6)

在此設(shè)φ(齯)=齯,g(2u)=f′(2u)2u。運(yùn)用梯度下降法，得到模型如下：

祏祎 = (1-p)?div齯齯-

p?2(g(2u)2u)-λD琓(Du-g)

u(x,y,0)=u0(x,y)

祏祅鄲=0

(7)

為了使g(齯)在圖像的平坦和漸變區(qū)域遠(yuǎn)大于0，在此，選取g(s)=11+(s/k)2，且k的取值相對較大，以使函數(shù)g(齯)下降速度較慢。

對于p的選擇，初步選擇p=g(齯)。根據(jù)邊緣停止函數(shù)g(s)的性質(zhì)［6］，可知:

(1) 齯較大，對應(yīng)圖像的突變區(qū)域，g(齯)=0；

(2) 齯較小，對應(yīng)圖像的平坦區(qū)域和漸變區(qū)域，0頶(齯)<1。

同時為了避免噪聲等的干擾，取p=g((Gσ*u))，此時，PDE模型式(7)對應(yīng)的數(shù)值迭代格式為：

u琻+1=u琻+Δt?［(1－g)?div齯齯TV－

g?2(g(2u)2u)四階PDE－λD琓(Du－g)保真項］

(8)

2 實驗結(jié)果與分析

本文實驗主要與傳統(tǒng)的雙線性插值方法、TV模型和四階PDE模型放大方法進(jìn)行比較。算法性能由放大圖像的峰值信噪比(Peak Signal to Noise Rate, PSNR)及主觀視覺效果評價。

本組實驗中，對512×512的不同內(nèi)容的標(biāo)準(zhǔn)圖像，進(jìn)行4倍率平滑下采樣，得到分辨率為128×128的低分辨率圖像，然后采用不同的方法放大。實驗參數(shù)為：λ=0.01，Δt=0.001，T=100，k=20，g(s)=11+(s/k)2，σ=5。采用不同方法對5幅標(biāo)準(zhǔn)圖像放大的PSNR比較見表1。從PSNR的角度看，本文耦合模型達(dá)到了最高的PSNR值。

表1 四種方法放大不同圖像的PSNR比較dB

Image PSNR

雙線性插值TV模型四階PDE本文模型

Lena26.6828.38228.50629.905

Girl26.35828.23228.35428.781

Pepper26.15528.56228.50929.338

Toys23.98525.91625.96426.255

Cameraman26.07127.56427.34427.967

圖1,圖2分別為對Cameraman,Lena圖像及其部分細(xì)節(jié)用TV模型及本文耦合模型放大結(jié)果比較圖。

圖1 Cameraman處理結(jié)果

圖2 Lena處理結(jié)果圖像及關(guān)注部分放大圖

從細(xì)節(jié)放大圖的對比可見，TV模型復(fù)原的圖像存在嚴(yán)重的分塊效應(yīng)，而本文耦合模型將圖像平滑成了一個灰度漸變的區(qū)域，消除了分塊效應(yīng)，得到了視覺效果較好的圖像。

3 結(jié) 論

通過將TV模型和四階PDE自適應(yīng)結(jié)合，充分運(yùn)用四階PDE模型保持漸變區(qū)域光滑度的優(yōu)點(diǎn)彌補(bǔ)總變分TV模型存在分塊效應(yīng)的不足，同時也保留了TV模型保持圖像中不連續(xù)邊緣的優(yōu)點(diǎn)。實驗結(jié)果表明了本文模型的良好性能，同時也證明了PDE方法用于圖像處理的優(yōu)越性。進(jìn)一步的研究包括彩色圖像的PDE處理等。

參考文獻(xiàn)

［1］UNSER M, ALDROUBI A, EDEN M. Enlargement or reduction of digital images with minimum loss of information [J]. IEEE Trans. on Image Proc., 1995, 4(3): 247-258.

［2］CARRATO S, RAMPONI G, MARSI S. A simple edge-sensitive image Interpolation filter [J]. Proc. of IEEE Int. Conf. on Image Processing, 1996, 13: 711-714.

［3］ALLEBACH J, WONG P W. Edge-directed interpolation [J]. Proc. IEEE Int. Conf. on Image Processing, 1996, 13: 707-710.

［4］TORONTO N, VENTURA D, MORSE B S. Edge inference for image interpolation [C]// Proceedings of International Joint Conference on Neural Networks. Montreal, Canada: [s.n.], 2005: 1782-1787.

［5］朱寧,吳靜,王忠謙.圖像放大的偏微分方程方法［J］.計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2005,17(9):1941-1943.

［6］李蘭蘭,吳樂南.基于各向異性擴(kuò)散的圖像去噪并放大［J］.信號處理,2005,21(1):106-107.

［7］石澄賢,王元全,李朝峰,等.基于總變差的圖像放大和增強(qiáng)方法［J］.計算機(jī)工程與應(yīng)用,2004(2):95-98.

［8］吳霖芳,王海明.插值與高階微分方程聯(lián)用的圖像放大模型［J］.閩江學(xué)院學(xué)報,2009,30(5):58-61.

［9］RUDIN L, OSHER S, FATEMI E. Nonlinear total variation based noise removal algorithms [J]. Physica D, 1992, 60(11): 259-268.

［10］YOU Yu-li, KAVEH M. Fourth-order partial differential equations for noise removal [J]. IEEE Trans. on Image Proc., 2000, 9(10): 1723-1730.

注：本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文