基于小波的改進(jìn)加權(quán)拋物線插值的圖像超分辨率算法

蔡 念， 張海員， 張 楠， 潘 晴

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣東 廣州 510006）

基于小波的改進(jìn)加權(quán)拋物線插值的圖像超分辨率算法

蔡 念， 張海員， 張 楠， 潘 晴

（廣東工業(yè)大學(xué)信息工程學(xué)院，廣東 廣州 510006）

為了盡可能地保持圖像的基本信息，提高圖像的視覺(jué)效果和空間分辨率，提出一種基于小波的改進(jìn)加權(quán)拋物線插值算法，即在傳統(tǒng)的加權(quán)拋物線算法上增加插值的誤差補(bǔ)償項(xiàng)。利用sobel算子設(shè)定插值點(diǎn)的邊緣方向，得到初始放大圖像。利用小波變換提取高頻成份，原始圖像幅值增強(qiáng)充當(dāng)?shù)皖l部分，再經(jīng)過(guò)小波逆變換得到高分辨率圖像。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)的圖像放大算法，該算法考慮到全局相關(guān)性，得到更加清晰的邊緣信息。

圖像放大；小波變換；誤差補(bǔ)償；超分辨

圖像插值是在不改變信息采集物理系統(tǒng)的前提下，利用低分辨圖像獲得高分辨率的圖像。圖像插值在遙感衛(wèi)星，氣象，醫(yī)學(xué)成像，電影制作，軍事等方面有著廣泛的應(yīng)用。圖像插值放大可以增加數(shù)據(jù)量，但不能增加信息量，圖像放大技術(shù)只是為了改善圖像細(xì)節(jié)部分和空間分辨率[1]。

傳統(tǒng)的插值方式有最近鄰點(diǎn)插值，雙線性插值，和雙三次插值等[2-3]，這些方法均能實(shí)現(xiàn)圖像放大，但不能很好地抓住圖像的邊緣，亦未能考慮到圖像的邊緣與紋理方向，使得插值后的圖像邊緣模糊，有明顯的鋸齒現(xiàn)象，影響視覺(jué)效果。為了得到更好的邊緣信息和紋理特性，Li等[4]提出了以邊緣為方向(new edge-directed interpolation,NEDI)，利用鄰域統(tǒng)計(jì)和邊界信息進(jìn)行插值。Cha[5]提出了一種基于雙線性插值誤差補(bǔ)償(edge-amended sharp edge, EASE)的圖像放大技術(shù)，該算法具有各向異性和邊緣自適應(yīng)性，對(duì)雙線性插值進(jìn)行誤差補(bǔ)償，在邊緣保護(hù)方面明顯優(yōu)于經(jīng)典插值方法。Liu[6]等提出了一種基于小波的雙線性插值迭代算法，利用被插值圖像像素點(diǎn)的全局相關(guān)性與高頻外推的原理實(shí)現(xiàn)插值。盡管這些方法能得到較清晰的紋理和邊緣，但是對(duì)于紋理細(xì)節(jié)豐富的圖像，不能體現(xiàn)出優(yōu)越性。

傳統(tǒng)插值方法與Li，Cha等人只考慮了被插值圖像局部像素點(diǎn)之間的關(guān)聯(lián)性，未考慮被插值圖像的全局相關(guān)性，將損壞圖像的高頻細(xì)節(jié)部分。近年來(lái)，圖像邊緣方向估計(jì)已成為圖像插值研究的熱點(diǎn)[6-7]。尤其小波變換能夠有效地估計(jì)邊緣方向，改善圖像的細(xì)節(jié)部分，因此小波理論在圖像插值領(lǐng)域得到了廣泛的應(yīng)用[8-10]。本文對(duì)傳統(tǒng)的加權(quán)拋物線插值算法進(jìn)行誤差補(bǔ)償，結(jié)合小波變換，充分利用被插值圖像像素點(diǎn)的全局相關(guān)性，提出一種基于小波的改進(jìn)加權(quán)拋物線插值的圖像放大算法。

本文首先介紹經(jīng)典插值方法和插值誤差理論、利用拉格朗日插值和牛頓插值推導(dǎo)插值誤差補(bǔ)償項(xiàng)。其次，由一維信號(hào)的二倍插值出發(fā)，對(duì)拋物線插值的誤差補(bǔ)償項(xiàng)進(jìn)行數(shù)學(xué)推導(dǎo)，進(jìn)而推廣到任意倍數(shù)的放大；在對(duì)二維信號(hào)進(jìn)行插值誤差補(bǔ)償時(shí)，借助于一維信號(hào)的插值方式，先對(duì)原二維信號(hào)的行和列進(jìn)行插值點(diǎn)估計(jì)，對(duì)于不在原圖像行列上的點(diǎn)，借助sobel算子自適應(yīng)估計(jì)。最后，為了利用全局相關(guān)性，采用自適應(yīng)幅值增強(qiáng)的原始低分辨率圖像充當(dāng)?shù)皖l部分，進(jìn)行小波逆變換，得到重構(gòu)高分辨率圖像。改進(jìn)的加權(quán)拋物線插值算法結(jié)合小波算法進(jìn)行超分辨率重建，改善了圖像的細(xì)節(jié)部分，重建后的圖像能夠有效地保持原始圖像的高頻細(xì)節(jié)，同時(shí)也提高了圖像的空間分辨率。重建后的圖像更有利于人眼觀察的最佳圖像。

1 經(jīng)典插值方法及誤差補(bǔ)償理論

圖像插值可以理解為利用插值點(diǎn)周圍的鄰域像素點(diǎn)，加權(quán)估計(jì)位置插值點(diǎn)的灰度值[11]。最近鄰點(diǎn)插值法將采樣插值點(diǎn)鄰近4點(diǎn)中距離最近點(diǎn)的像素值作為插值點(diǎn)的像素值。雙線性插值法利用插值點(diǎn)周圍的4個(gè)鄰近點(diǎn)加權(quán)內(nèi)插作為該點(diǎn)的灰度值[2]，插值點(diǎn)f(i+u,j+v)可表示為

其中，f(i,j)為圖像在(i,j)處的灰度值，u、v為插值點(diǎn)距離(i,j)點(diǎn)的水平和垂直距離。雙三次插值方法先對(duì)圖像以行為方向，每4點(diǎn)為插值點(diǎn)進(jìn)行三次插值，再以列為方向，每4點(diǎn)為插值點(diǎn)進(jìn)行三次插值。

經(jīng)典的圖像插值方法源于拉格朗日插值方法和牛頓插值方法。設(shè)函數(shù)y=f(x)在區(qū)間[a, b]上有定義，在插值區(qū)間[a,b]，點(diǎn)x0，x1，…,xN為不同的插值節(jié)點(diǎn)，假設(shè)f(N+1)(x)對(duì)于任意的x∈[a,b]存在，利用N階插值多項(xiàng)式pN對(duì)函數(shù)f(x)進(jìn)行插值，對(duì)于任一個(gè)x∈[a,b]，都有一個(gè)點(diǎn)ξ∈[a,b]使得

假設(shè)插值節(jié)點(diǎn)為均勻分布，并對(duì)于任意的M＞0 均有 maxx∈[a,b]|f(N+1)(x)|≤M, 則有

當(dāng)N=1時(shí)，為兩點(diǎn)x0，x0+h之間的線性插值，在此兩點(diǎn)之間存在一個(gè)點(diǎn)ξ，使得

式(6)是線性插值的表達(dá)式。

當(dāng)N=2時(shí)，為三點(diǎn)xi-1，xi，xi+1（xi-1＜xi＜xi+1,間距為h）之間的二次插值，插值節(jié)點(diǎn)為x∈(xi-1,xi+1)，則插值函數(shù)可以表示為

式(8)為拋物線插值的表達(dá)式。

2 加權(quán)拋物線插值誤差補(bǔ)償理論

2.1 加權(quán)拋物線插值

拋物線插值是經(jīng)過(guò)相鄰三點(diǎn)做一條二次曲線。假設(shè)存在已知函數(shù)y=f(x)，在相鄰兩點(diǎn)之間做插值，可以做出兩條不同的曲線，用加權(quán)方法融合兩條曲線做一條插值曲線。假如在x1,x2之間插入一點(diǎn)x，可以選擇x0,x1,x2和x1,x2,x3做插值曲線，其插值曲線分別為

2.2 拋物線插值誤差補(bǔ)償理論

2.2.1 一維信號(hào)的誤差補(bǔ)償

假設(shè)存在一維信號(hào)f，在其中選取點(diǎn)x∈(xi,xi+1)，如圖1，為了簡(jiǎn)明，先設(shè)定x為xi,xi+1的中點(diǎn)，即x=(xi+xi+1)/2。

圖1 一維信號(hào)的誤差補(bǔ)償

假設(shè)對(duì)于任意的i,xi+1-xi=2，則式（7）變?yōu)?/p>

其中，ξ∈(xi,xi+1)，該誤差補(bǔ)償項(xiàng)是為了修補(bǔ)圖1中“○”和“□”之間的距離。因?yàn)棣问且粋€(gè)未知量，所以該補(bǔ)償項(xiàng)無(wú)法直接計(jì)算。將xi設(shè)為xi-3,xi-1,xi+1的插值項(xiàng)，對(duì)于插值點(diǎn)xi的誤差補(bǔ)償項(xiàng)，作如下定義

其中，ξ1∈(xi-1,xi+1)，假如f(3)在(xi-3,xi+1)中變化不大，則通過(guò)式(15)和式(18)可以得到：Ri+1/2=(1/8)RL。

在假定三階導(dǎo)數(shù)f(3)在信號(hào)光滑區(qū)域變化不大的前提下，可以得到一維信號(hào)的拋物線誤差補(bǔ)償?shù)墓饺缦拢ㄒ苑糯髢杀稙槔?/p>

minmod這個(gè)函數(shù)決定了誤差修補(bǔ)的方向[5]。當(dāng)RL,RR具有不同的符號(hào)的時(shí)候，說(shuō)明在區(qū)間(xi,xi+1)存在著邊緣信息或者是轉(zhuǎn)折點(diǎn)；在兩者是同符號(hào)的時(shí)候，選取比較小的一個(gè)做誤差補(bǔ)償。這樣，拋物線插值誤差補(bǔ)償就能較好地估計(jì)f(xi+1/2)。

綜上，對(duì)于一維信號(hào)的拋物線誤差補(bǔ)償表達(dá)式可以歸結(jié)如下，假如將(xi,xi+1)區(qū)間分為k段，j=1,…,k-1,

其中Mi+j/k定義為在區(qū)間(xi-3,xi+1)中公式(8)與拋物線插值間的差值，估計(jì)點(diǎn)設(shè)為：xi-3+(j/k)*4h

2.2.2 二維圖像的誤差補(bǔ)償

圖2展示了一幅圖像的二倍放大，實(shí)心點(diǎn)表示低分辨率圖像的像素點(diǎn)，通過(guò)一維信號(hào)的拋物線插值誤差補(bǔ)償方法可以得到“□”的值，在計(jì)算出所有的“□”點(diǎn)之后，采用邊緣自適應(yīng)的方法估計(jì)出中心“○”的值。為了估計(jì)邊緣方向，首先計(jì)算4個(gè)方向sobel算子的絕對(duì)值[5]

圖2 二維信號(hào)二倍放大的誤差補(bǔ)償示意圖

假設(shè)圖像的邊緣具有局部雙線性，可以得出邊緣方向是在最小的兩個(gè)sobel算子之間，并且更小的兩個(gè)方向是毗鄰的，相差 45o。用Sp,Sq代表較小的兩個(gè)sobel算子值，分別是水平/豎直方向和 45o/135o方向

則中心“○”點(diǎn)的計(jì)算公式可以定義[5]為

3 二維離散小波變換

將一維小波變換推廣到二維小波變換，可以簡(jiǎn)單地理解為將二維小波寫成兩個(gè)一維小波變換的乘積。Mallat提出了小波的快速分解和重構(gòu)的算法[12-13]。其原理是：快速小波分解利用兩個(gè)一維濾波器對(duì)二維圖像實(shí)現(xiàn)，圖像重構(gòu)是利用分解時(shí)的兩個(gè)一維濾波器的鏡像濾波器。分解過(guò)程為

4 算法描述

1） 利用加權(quán)拋物線插值誤差補(bǔ)償算法對(duì)原始低分辨率圖像進(jìn)行插值放大，得到圖像I1。

將圖像進(jìn)行插值放大，在原圖像行或列上的點(diǎn)利用式(20)進(jìn)行插值放大，對(duì)于對(duì)角線上的點(diǎn)利用式(28)進(jìn)行估計(jì)。

2） 對(duì)圖像I1進(jìn)行小波變換分解。本文采用sym4小波變換，得到一個(gè)低頻部分，3個(gè)高頻部分。一次小波分解為

3） 對(duì)于I1圖像小波分解之后的高頻成分I1H、I1V、I1D保留不變；對(duì)原始低分辨率圖像進(jìn)行線性變換，利用低頻部分I1L的小波系數(shù)和I1的數(shù)值關(guān)系，自適應(yīng)幅值增強(qiáng),得到新的低頻部分I2L。

4） 利用新得到的低頻部分和I1圖像小波分解之后的高頻成分進(jìn)行小波逆變換得到圖像I3

5 實(shí)驗(yàn)結(jié)果

為了證明基于小波的改進(jìn)加權(quán)拋物線插值誤差補(bǔ)償算法的優(yōu)越性，本文分別對(duì)紋理簡(jiǎn)單的人工合成圖像，紋理中等的 Lena圖像，紋理較復(fù)雜的猴臉圖像（圖3），進(jìn)行了NEDI放大，EASE放大，小波雙線性，小波加權(quán)拋物線插值誤差補(bǔ)償放大（本文實(shí)驗(yàn)以 2×2放大為例，詳見圖 4～圖 6）。

圖3 樣本圖片

為了比較采用不同放大方法得到的圖像，避免過(guò)多的主觀因素，本文采用平均梯度和信息熵來(lái)定量分析圖像放大后的效果。平均梯度T的定義為

其中，M,N是指圖像f的長(zhǎng)與寬。平均梯度能很好的反應(yīng)圖像的紋理信息及邊緣清晰度。

信息熵反應(yīng)圖像包含信息量的多少，反應(yīng)細(xì)節(jié)的豐富程度，定義如下

圖4 人工合成圖像的放大圖像

圖5 lena圖像的放大圖像

圖6 猴臉圖像的放大圖像

由圖4～圖6可以看出，EASE考慮了邊緣的方向，能得到較好的邊緣信息，但是未考慮像素點(diǎn)的全局相關(guān)性。小波雙線性插值考慮了像素點(diǎn)的全局相關(guān)性，提高了圖像的空間分辨率，但是在邊緣方向估計(jì)上缺少自適應(yīng)性。本文算法對(duì)加權(quán)拋物線插值的誤差項(xiàng)進(jìn)行自適應(yīng)修補(bǔ)，并借助小波利用了像素點(diǎn)的全局相關(guān)性，可以得到清晰的紋理細(xì)節(jié)，從而提高圖像的視覺(jué)效果。因此，在直觀視覺(jué)上看，本文算法明顯優(yōu)于EASE，與小波雙線性差別不大。

通過(guò)定量分析（見表1）可以看出，本文算法得到的平均梯度遠(yuǎn)大于其他算法，更能反映圖像紋理特征的變化。對(duì)于紋理越復(fù)雜的圖像，該算法更能體現(xiàn)出優(yōu)越性。

表1 圖像放大效果客觀評(píng)價(jià)

6 結(jié) 論

本文提出一種改進(jìn)的加權(quán)拋物線插值算法，并結(jié)合小波算法進(jìn)行超分辨率重建，提高了圖像的平均梯度，得到了更好的圖像的空間分辨率、紋理信息和邊緣清晰度；相比于其他圖像放大算法，本文算法能獲得更高的信息熵，減少了圖像基本信息的損失。本文算法放大倍數(shù)靈活，可以一次得到任意倍數(shù)放大的圖像。實(shí)驗(yàn)結(jié)果表明，該算法優(yōu)于傳統(tǒng)的插值算法，可以廣泛應(yīng)用于計(jì)算機(jī)制圖，遙感圖像處理等圖像放大領(lǐng)域。

[1]劉志剛, 劉代志. 基于小波變換的圖像放大方法再討論[J]. 中國(guó)圖象圖形學(xué)報(bào), 2003, 8A (4)：403-408.

[2]Castleman K R. Digital Image Processing [M]. Engle Cliffs, NJ：Prentice Hall, 1996.

[3]Parker J A, Kenyon R V, Troxel D E. Comparison of interpolating methods for image resampling [J]. IEEE Trans. Medical Imaging, 1983, 2 (1)：31-39.

[4]Xin Li and Michacl T. New edge directed interpolation [J].IEEE Trans. Image Processing, 2001, 10(10)：1521-1527.

[5]Youngjoon Cha and Seongjaj Kim. The error-amended sharp edge (EASE) scheme for image zooming [J].IEEE Trans. Image Processing, 2007, 16(6)：1496-1505.

[6]Min Li, Truong Q Nguyen. Markov random field model-based edge-directed image interpolation [J].IEEE Trans. Image Processing, 2008, 17 (7)：1121-1128.

[7] Chuanbai Xiao, Yanchao He, Jing Yu. A highefficiency edge-preserving Bayesian method for image interpolation [C]//ICSP2008, 2008：1042-1046.

[8]Liu Bo, Qu Youshan, Feng Guilan, etal. Maximal PSNR wavelet bi-linear interpolation iterative algorithm in remote sensing image [J]. ACTA Photonica Sinica, 2006, 35(3)：468-472.

[9]Temizel A and Vlachos T. Wavelet domain image resolution enhancement [J]. IEEE Proceedings-Vision and Signal Proceedings, 2006, 153(2)：25-30.

[10]Xiongbo Zheng, Xiaowei Zhang, Zhijuan Weng. A novel multiwavelet-based interpolation algorithm of images [C]//2009 Int. Conf. Wavelet Analysis and Pattern Recognition, Baoding, 2009：281-286.

[11]程光權(quán), 成禮智. 基于小波的方向自適應(yīng)圖像插值[J].電子與信息學(xué)報(bào), 2009, 31(2)：265-269.

[12]Mallat S G. A theory for multiresolution signal decomposition：the wavelet representation [J]. IEEE Trans. Pattern Analysis and Machine Intelligence,1989, 11(7)：674-693.

[13]Jo Y T, Shen L X, Seng L L, et al. A general approach for analysis and application of discrete multi-wavelet transform [J]. IEEE Trans. Signal Processing, 2000,48(2)：457-464.

Using improved weighted parabolic interpolation and wavelet transformation to zoom images for super-resolution

Cai Nian, Zhang Haiyuan, Zhang Nan, Pan Qing
( School of Information Engineering, Guangdong University of Technology, Guangzhou Guangdong 510006, China )

In order to preserve the basic information of images and to improve their visual performance and space resolution, a novel image zooming algorithm is proposed by using improved weighted parabolic interpolation and wavelet transformation which incorporates the error-amended part into the classical weighted parabolic interpolation algorithm. Directions of interpolation points are determined by the Sobel operator, then a preliminary zoomed image is obtained. High-frequency components are got by a wavelet transformation, and low-frequency components are replaced by the enhanced amplitude of the original image. At last, a high-resolution image is achieved by inverse wavelet transformation. The experimental results indicate that, compared with traditional image zooming algorithms, this algorithm can get clearer and sharper edges due to considerations of global pixels correlation of the original image.

image zooming; wavelet transformation; error-amended sharp edge scheme;super-resolution

TP 391

A

1003-0158(2012)01-0050-06

2010-05-14

國(guó)家自然科學(xué)基金資助項(xiàng)目（61001179）；廣東省自然科學(xué)基金資助項(xiàng)目（07301038，9451009001002667）

蔡 念（1976-），男，安徽馬鞍山人，副研究員，博士后，主要研究方向?yàn)閳D像處理、模式識(shí)別等。