基于小波域?qū)W習(xí)的單幅圖像超分辨率復(fù)原*

徐震寰,林茂松,張紅英

(西南科技大學(xué) 信息工程學(xué)院 特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室,四川 綿陽621010)

圖像超分辨率SR(Super Resolution)是指由一幅低分辨率圖像LR(Low Resolution)或圖像序列來恢復(fù)高分辨率圖像HR(High Resolution)。超分辨率復(fù)原不涉及硬件，成本相對(duì)較低，因此在軍事、醫(yī)學(xué)、交通等方面都有廣泛的應(yīng)用前景。然而在現(xiàn)實(shí)生活中，多幀圖像序列的獲取是很困難的，因此單幅圖像的超分辨率復(fù)原技術(shù)顯得非常重要。

傳統(tǒng)圖像放大通常以近鄰插值法、雙線性插值法和三次樣條插值法[1]為主的插值法來實(shí)現(xiàn)。該類方法無法充分利用圖像的梯度信息，導(dǎo)致邊緣模糊或者鋸齒現(xiàn)象。為了能夠充分利用圖像的先驗(yàn)信息，學(xué)者提出了基于學(xué)習(xí)的超分辨率復(fù)原方法。BAKERS和KANDAE T[2]首先提出了基于識(shí)別的重建算法，從同一幅圖像的不同分辨率構(gòu)成的多尺度金字塔結(jié)構(gòu)中提取特征矢量作為學(xué)習(xí)樣本來實(shí)現(xiàn)重建過程；FREEMAN W T等人[3]提出用Markov網(wǎng)絡(luò)描述輸入LR圖像中的圖像塊與實(shí)例樣本塊的匹配條件;WANG Q等人[4]對(duì)Markov網(wǎng)絡(luò)模型進(jìn)行了拓展，提出了對(duì)像素傳感器的PSF參數(shù)進(jìn)行估計(jì)的超分辨率盲復(fù)原算法。

另一方面，小波變換在超分辨率復(fù)原中的應(yīng)用也越來越多，陶洪久等人[5]基于小波特性提出了小波變換與雙線性插值相結(jié)合的方法實(shí)現(xiàn)超分辨率；后期，李根[6]根據(jù)小波分解各部分高頻的相似性進(jìn)行了小波變換的修正；Li Xin等人[7]利用Haar小波變換細(xì)節(jié)子塊之間相近的自相似性，運(yùn)用LS方法來估計(jì)自相似關(guān)系，提出了基于Haar小波變換和LS的超分辨率算法。

雖然基于學(xué)習(xí)的復(fù)原方法被廣泛認(rèn)為是一種很有前途的方法，但是其缺點(diǎn)在于創(chuàng)建一個(gè)訓(xùn)練樣本庫需要足夠數(shù)量的樣本來進(jìn)行高頻信息和低頻信息匹配。針對(duì)這一問題，GLASNER D等人[8]提出利用圖像的局部自相似性來實(shí)現(xiàn)超分辨率復(fù)原，從而消除訓(xùn)練樣本庫部分的構(gòu)造。

本文基于圖像的局部自相似性和小波變換細(xì)節(jié)子塊之間的自相似性，提出了一種基于小波域?qū)W習(xí)的圖像超分辨率復(fù)原方法。實(shí)驗(yàn)證明，該算法能夠獲取更好的視覺效果，有效地保持圖像邊緣。

1 基于小波域?qū)W習(xí)的圖像超分辨率復(fù)原方法

1.1 小波變換

小波變換的優(yōu)點(diǎn)在于頻域和時(shí)域都有良好的局部化性質(zhì)。在小波變換域中進(jìn)行超分辨率重建有利于保持高分辨率估計(jì)圖像的邊緣信息。

Haar小波變換屬于正交小波變換的一種，通過小波變換后圖像被分成4個(gè)子塊，其中L為其低頻信息塊，H、V、D分別為其水平高頻信息塊、垂直高頻信息塊和對(duì)角高頻信息塊，如圖1所示。

平穩(wěn)小波變換是在正交小波變換基礎(chǔ)上所提出的，采樣過程中不采用下采樣處理，分解所得到的低頻近似圖像以及不同方向的高頻細(xì)節(jié)圖像與原始圖像大小相同。如圖2所示。

圖2 平穩(wěn)小波變換

分解過程中，不同尺度下相同方向的高頻信息塊具有相似的特性，如圖3所示，H1和H2、V1和V2、D1和D2都具有相似性，這種小波高頻信息塊之間的相似特征正是實(shí)現(xiàn)本文超分辨率算法的重要條件。

超分辨率復(fù)原技術(shù)的關(guān)鍵是恢復(fù)成像系統(tǒng)截止頻率之外的信息，獲取高于成像系統(tǒng)分辨率的圖像，經(jīng)過小波變換后，問題關(guān)鍵轉(zhuǎn)換成如何得到細(xì)節(jié)信息更豐富的高頻信息塊。

圖3 小波二級(jí)分解圖

1.2 圖像的局部自相似性

GLASNER D等人[8]在試驗(yàn)中發(fā)現(xiàn)圖像是具有局部自相似性的，圖像塊的局部自相似性是指在單幅圖像或者在降尺度的圖像中，同一個(gè)圖像塊傾向出現(xiàn)很多次，如圖4所示。

圖4 圖像的局部自相似性

圖4中，兩個(gè)灰色圖像塊和兩個(gè)黑色圖像塊具有相似的視覺效果，卻又存在一定的細(xì)節(jié)差距，將這樣的圖像塊作為構(gòu)造超分辨率圖像的相似塊，而圖4(b)中的圖像塊依然可以在圖4(c)中找到相似塊，并構(gòu)成低分辨率/高分辨率圖像塊配對(duì)。基于這一理論，對(duì)低分辨率/高分辨率圖像塊進(jìn)行配對(duì)，將這種高低分辨率圖像塊配對(duì)作為樣本庫中的先驗(yàn)知識(shí),這樣就可以消除樣本庫的建立過程，直接從單幅圖像中獲取先驗(yàn)知識(shí),實(shí)現(xiàn)超分辨率的復(fù)原過程。

本文中相似塊的搜索采用最近鄰搜索方法，將輸入圖像L0分成若干個(gè)5×5的圖像塊P0(p)，通過比較圖像塊的Gaussian-Weighted SSD，在降尺寸圖像中L-1找到最相近的圖像塊P-1()。圖像塊P-1()就是I0中圖像塊P0(p)的相似塊。

1.3 GLASNER D[8]方法實(shí)現(xiàn)超分辨率

基于學(xué)習(xí)方法實(shí)現(xiàn)超分辨率是一種非常有前景的實(shí)現(xiàn)方法。該算法主要分為建立樣本庫和匹配重建兩步。而GLASNER D等人[8]根據(jù)圖像局部自相似性提出一種聯(lián)合方法實(shí)現(xiàn)超分辨率復(fù)原，舍去了建立樣本庫的過程，從圖像自身尋找先驗(yàn)知識(shí)，從而構(gòu)造成對(duì)樣本實(shí)現(xiàn)超分辨率復(fù)原。具體框架如圖5所示。

圖5 本文基于示例部分學(xué)習(xí)框架

如圖5所示，L0為原始輸入圖像，而L-1為通過降采樣以后所得到的圖像，選取L0中的一個(gè)5×5的圖像塊P0(p)，在L-1中找到與之相似的5×5圖像塊P-1()，這樣就可以在L0中提取與P-1()同位置的圖像塊Q0(s,)作為P-1()的parent圖像塊。之后構(gòu)造一對(duì)高分辨率/低分辨率圖像塊配對(duì)矢量[P Q]，將該矢量作為超分辨率圖像的先驗(yàn)知識(shí)，通過對(duì)[P Q]矢量的拷貝，得到P0(p)在L1中的放大圖像塊Q(s,p)。該步驟流程如下式所述：

對(duì)L0圖像中的每一個(gè)圖像塊進(jìn)行如上重建恢復(fù)，實(shí)現(xiàn)超分辨率圖像的復(fù)原過程。

2 算法描述

本文提出一種新的方法，將小波變換與基于示例學(xué)習(xí)的超分辨率復(fù)原方法相結(jié)合，得到超分辨率圖像。該實(shí)驗(yàn)基于MATLAB 2009b，具體實(shí)現(xiàn)流程如下。

已知輸入圖像L，圖像大小為N×N。

(1)將圖像L進(jìn)行小波分解，第一次平穩(wěn)小波分解后得到高頻H1、水平高頻V1和對(duì)角高頻D1,圖像大小為N×N。

(2)將圖像進(jìn)行降采樣的小波分解，得到高頻H2、水平高頻V2和對(duì)角高頻D2，圖像大小為N/2×N/2。

(3)將H1和H2、V1和V2、D1和D2作為樣本來構(gòu)造 高分辨率/低分辨率圖像塊配對(duì)矢量，首先選取H1和H2作為樣本，通過基于示例學(xué)習(xí)的方法得到高分辨率圖像塊的豎直細(xì)節(jié)子塊H。圖像大小為2N×2N。

(4)依次選取V1和V2、D1和D2作為樣本得到各部分的細(xì)節(jié)子塊、V和D，圖像大小為2N×2N。

(5)由原始圖像L作為低頻信息塊，進(jìn)行插值得到L′，與3個(gè)高頻信息塊H、V和D進(jìn)行逆變換，得到高分辨率圖像L1，其大小為2N×2N。

(6)若要得到更高倍數(shù)的圖像，只需將步驟(5)所得結(jié)果作為輸入，重復(fù)步驟(1)～(4)。

(7)如果處理的是彩色圖像，就要先把該圖像從RGB轉(zhuǎn)換到Y(jié)IQ，然后將其中Y通道部分按本文算法進(jìn)行處理，而I和Q通道可直接進(jìn)行插值放大，之后將這3個(gè)通道進(jìn)行聯(lián)合得到最終結(jié)果。

3 實(shí)驗(yàn)結(jié)果分析

為了證明本文算法的有效性，本文選出參考文獻(xiàn)[8]與小波雙線性插值法進(jìn)行對(duì)比，選取Lena、old作為測試圖像。用如下所定義的峰值信噪比(PSNR)并聯(lián)合主觀視覺評(píng)價(jià)圖像質(zhì)量：

試驗(yàn)參數(shù)選擇兩組，第一組放大倍數(shù)factor=2,閾值threshold=0.000 8,相似塊的選擇采用最近鄰搜索法，匹配重建的過程采用最小二乘法。第一組實(shí)驗(yàn)對(duì)小波進(jìn)行一次平穩(wěn)小波變換和一次一級(jí)小波變換，將一級(jí)小波變換所分解的高頻信息作為樣本，結(jié)果如表1所示,Lena圖像實(shí)驗(yàn)結(jié)果比較如圖6所示。

表1 本文算法與其他算法重構(gòu)圖像的PSNR值對(duì)比 (單位：dB)

第二組實(shí)驗(yàn)參數(shù)factor=1.25,閾值threshold=0.000 8，與第一組不同的是，這次對(duì)小波進(jìn)行3次分解，一次平穩(wěn)小波分解，一次對(duì)小波的二級(jí)分解，將二級(jí)分解后的兩部分小波高頻信息作為樣本，所得結(jié)果如表2所示,old圖像實(shí)驗(yàn)結(jié)果比較如圖7所示。

表2 本文算法與其他算法重構(gòu)圖像的PSNR值對(duì)比 (單位：dB)

圖6 Lena圖像實(shí)驗(yàn)結(jié)果比較

圖7 old圖像實(shí)驗(yàn)結(jié)果比較

由第一組數(shù)據(jù)可看出,小波域雙線性插值所得到的結(jié)果具有明顯的模糊效應(yīng)，尤其在邊緣位置的模糊和振鈴效應(yīng)也很明顯。雙三次樣條插值得到的圖像雖然清楚了一些，但是邊緣上的振鈴效應(yīng)更加明顯了，聯(lián)合方法所得到的圖像基本消除了振鈴效應(yīng)，整體圖像效果較好。而本文提出的算法所得到的效果更加完善，帽檐位置等邊緣部分更加光滑，整體圖像質(zhì)量更加清晰。相比于第一組，第二組通過聯(lián)合方法和本文算法所得到的效果比第一組的效果更好，PSNR值也相對(duì)提高，但是運(yùn)行所需的時(shí)間比第一組運(yùn)行時(shí)間長。

本文算法將圖像放在小波域通過基于學(xué)習(xí)的方法來復(fù)原，得到有效的高分辨率圖像，其在視覺效果和峰值信噪比上都得到了明顯的改善。一方面，根據(jù)小波變換的特性，結(jié)果所得到的圖像能夠有效地保持其邊緣信息；另一方面，利用圖像局部自相似的特性，能夠在沒有樣本庫的條件下，應(yīng)用基于學(xué)習(xí)的方法來實(shí)現(xiàn)超分辨率的復(fù)原。把整幅圖像小波分解到3個(gè)高頻域依次進(jìn)行處理，得到的細(xì)節(jié)子塊失真更小，重構(gòu)的圖像在視覺效果上也有了更好的改善。但于此同時(shí)，由于算法要對(duì)3個(gè)高頻分別處理，而且尋找相似塊的過程復(fù)雜度較高，造成本文算法的計(jì)算量很大，實(shí)現(xiàn)效果時(shí)間較長。因此，如何降低計(jì)算量，也正是之后要處理的重要部分。

[1]WANG Q,WARD R K.A new orientation-adaptive interpolation method[J].IEEE Transations on Image Processing,2007,16(4)∶889-900.

[2]BAKER S,KANADE T.Limits on super-resolution and how to break them[C].IEEE Conference.on Computer Vision and Pattern Recognition，2000(2)∶372-379.

[3]FREEMAN W T,PASZTOR E C.Learning low-level vision[J].International Journal of Computer Vision,2000,40(1)∶25-47.

[4]WANG Q,TANG X,SHUM H.Patch based blind image super resolution[C].Tenth IEEE International Conference on Computer Vision,Beijing,China,2005(1)∶709-716.

[5]陶洪久,柳健,田金文.基于小波變換和插值的超分辨率圖像處理算法[J].武漢理工大學(xué)學(xué)報(bào),2002,24(8)∶63-66.

[6]李根.基于小波變換修正的雙線性插值圖像放大方法[J].信息技術(shù),2010(9)∶134-135.

[7]Li Xin，ORCHARD M T.Edge-directed prediction for loss less compression of natural images[J].IEEE Transactions on Image Processing,2001,10(6)∶813-817.

[8]GLASNER D,BAGON S,IRANI M.Super-resolution form a single image[C].2009 IEEE 12th International Conference on Computer Vision,2009∶349-356