基于稀疏K-SVD的單幅圖像超分辨率重建算法

陳亞運，蔣建國，王 超

(合肥工業(yè)大學(xué) 計算機與信息學(xué)院，安徽 合肥 230009)

基于稀疏K-SVD的單幅圖像超分辨率重建算法

陳亞運，蔣建國，王 超

(合肥工業(yè)大學(xué) 計算機與信息學(xué)院，安徽 合肥 230009)

圖像的超分辨率重建技術(shù)可以提升圖像質(zhì)量，改善圖像視覺效果，在現(xiàn)實中具有很高的實用價值。針對基于K-SVD的超分辨率重建算法的不足，提出了一種基于稀疏K-SVD的單幅圖像超分辨率重建算法。首先，采用稀疏K-SVD方法進行訓(xùn)練獲得高低分辨率字典對，以待重建的低分辨率圖像及其降采樣作為字典訓(xùn)練的樣本，提高了字典和待重建的低分辨率圖像的相關(guān)性；然后，采用逐級放大的思想進行重建；最后，利用非局部均值的方法，進一步提高重建效果。實驗表明，與基于K-SVD的超分辨率重建算法相比，本文算法重建圖像的峰值信噪比平均提高了0.6 dB左右。重建圖像在視覺效果上，也有一定程度的提升。

超分辨率；字典學(xué)習(xí)；稀疏K-SVD；非局部均值

受外界環(huán)境，硬件設(shè)備限制等因素的影響，在多數(shù)情況下只能獲取低分辨率的圖像，而這種低分辨率的圖像往往不能滿足實際需求。因此，圖像的超分辨率(Super Resolution，SR)重建，即從低分辨率圖像中重建出高分辨率圖像具有十分重要的意義。

現(xiàn)有的圖像超分辨率重建方法可以分成兩類：基于多幀和基于單幀的超分辨率重建方法?；诙鄮腟R重建方法利用多幅低分辨率圖像之間存在的互補信息重建高分辨率圖像，其中比較典型的方法有最大后驗概率算法(MAP)[1]和凸集投影法(POCS)[2]。基于多幀的SR重建方法的優(yōu)點是理論上并不需要利用太多的先驗知識，只需使用多幅低分辨率圖像就能進行SR重建，缺點在于很難對重建過程中的運動估計、配準(zhǔn)等環(huán)節(jié)進行準(zhǔn)確的把握，重建圖像的質(zhì)量并不是太高。

基于單幀圖像的SR重建方法通常分為3類：基于插值[3-4]、基于重建[5]和基于學(xué)習(xí)[6-7]的方法。常見的基于插值的SR方法過程直觀、有效，但是重建后的圖像帶有明顯的鋸齒效應(yīng)。基于重建的方法本質(zhì)上是通過對低分辨率觀測圖像的獲取過程進行建模，利用正則化方法構(gòu)造高分辨率圖像的先驗約束，由低分辨率觀測圖像估計高分辨率圖像，最終將SR重建問題轉(zhuǎn)變成對一個約束條件下的代價函數(shù)最優(yōu)化問題。

為了使重建效果更好，越來越多的先驗知識被應(yīng)用到基于重建的方法中，如J. Mairal[5]等將非局部均值(Nonlocal Means，NLM)的思想引入到SR重建中，得到的高分辨率圖像在紋理和邊緣都更加清晰。但是當(dāng)放大倍數(shù)比較大時，基于重建的方法仍不能有效恢復(fù)圖像丟失的細(xì)節(jié)?；趯W(xué)習(xí)的方法主要思想是尋找高、低分辨率圖像之間的映射關(guān)系，通過估計得到低分辨率圖像丟失的高頻信息，相比較基于插值和重建的方法能夠獲得更多的細(xì)節(jié)信息。Yang[6]提出基于稀疏表示的SR重建算法從大量自然圖片中學(xué)習(xí)得到一對高低分辨率字典，在壓縮感知框架下重構(gòu)出高分辨率圖像。Zeyde[7]在Yang提出的算法的基礎(chǔ)上采用K-SVD算法訓(xùn)練字典，大幅提高了字典訓(xùn)練的速度，同時保持了重建圖像的質(zhì)量?；谙∈璞硎镜腟R方法關(guān)鍵在用于表示圖像的字典的構(gòu)造，當(dāng)前常用的方法是通過對大量的高分辨率圖像組成的樣本庫學(xué)習(xí)得到字典。但是，如果待處理的低分辨率圖像和樣本圖像不相關(guān)，重建后的高分辨率圖像就會帶有明顯的人工痕跡，直接降低了重建圖像的質(zhì)量。

因此，針對文獻[7]提出的基于K-SVD字典學(xué)習(xí)的超分辨率重建算法存在的不足，本文提出一種基于稀疏K-SVD的單幅圖像超分辨率重建算法。首先，采用稀疏K-SVD方法進行訓(xùn)練獲得高低分辨率字典對，并以待重建的低分辨率圖像及其降采樣作為字典訓(xùn)練的樣本，提高了字典和待重建的低分辨率圖像的相關(guān)性；重建階段采用逐級放大的思想，每一次重建放大較小的倍數(shù)，然后使用非均值方法對重建圖像進行后處理，進一步提高重建效果，最后得到高分辨率圖像。

1 基于K-SVD的SR重建算法

一般，字典學(xué)習(xí)問題可以描述為

(1)

式中：N表示圖像X中所取圖像塊的個數(shù)；Ri表示提取圖像X的第i個圖像塊算子；αi表示稀疏系數(shù)；Λ=[α1,α2,…,αN]為稀疏表示矩陣；D表示字典；T表示稀疏度。K-SVD字典學(xué)習(xí)方法在字典D和稀疏表示矩陣Λ均未知的情況下通過以下步驟求解式(1)：

步驟1，初始化：設(shè)D為DCT字典。

步驟2，稀疏表示：固定字典D，求解稀疏系數(shù)矩陣Λ。則式(1)可以轉(zhuǎn)化為求解圖像塊RiY在字典D上的稀疏表示問題，采用正交匹配追蹤算法即可求解。

步驟3，字典更新：利用步驟2)求解得到的稀疏系數(shù)，使用SVD方法，利用獲得的稀疏系數(shù)對字典D的原子依次進行修正，同時更新與其對應(yīng)的稀疏系數(shù)。

步驟4，重復(fù)步驟2)和步驟3)，直到滿足收斂條件。

文獻[7]通過以上步驟求出低分辨率字典Dl和稀疏系數(shù)矩陣Λ，并通過式(2)求出高分辨率字典Dh

Dh=XhΛ+=XhΛT(ΛΛT)-1

(2)

式中：Xh表示高分辨率圖像塊的樣本集。

對于待重建的低分辨率圖像Y，通過式(3)采用OMP算法求出每個圖像塊在字典Dl上的稀疏系數(shù)

(3)

(4)

2 基于稀疏K-SVD的SR重建算法

與文獻[7]選取大量自然圖像作為字典訓(xùn)練的樣本集不同，本文在字典訓(xùn)練階段，只選取待重建的低分辨率車牌圖像Yl及其下采樣Yll分別作為高、低分辨率字典的樣本。這樣就提高了待重建的低分辨率圖像和字典的相關(guān)性，同時利用{Yl,Yll}圖像對之間的關(guān)系能更好地指導(dǎo)Yl的重建。

2.1 樣本圖像的特征提取

常見的基于稀疏表示的SR重建算法在字典訓(xùn)練階段，均把高分辨率圖像減去其均值后作為特征，并在重建階段以低分辨率圖像插值放大后的圖像均值加到字典重建的高分辨率圖像上，這種近似的像素值與實際像素值的大小一定會有差距，而且直接影響到重建圖像的質(zhì)量。為了避免出現(xiàn)這種情況，本文采用高分辨率圖像的殘差作為高分辨率圖像的特征。

圖像殘差提取過程如圖1所示。

圖1 HR圖像殘差的提取

如圖1所示，X表示原始的高分辨率圖像，Xb表示對低分辨率圖像Y插值放大后的圖像，Xr表示圖像殘差，在實驗中，插值方法選擇Bicubic(雙三次插值方法)。

選擇低分辨率圖像的一階和二階的梯度作為低分辨率圖像的特征。提取一階和二階梯度特征的濾波器如下式

(5)

2.2 稀疏K-SVD字典學(xué)習(xí)

文獻[8]提出，字典D的原子本身在某些假定的基字典Φ上也表現(xiàn)出稀疏性，即

D=ΦΑ

(6)

式中：A是D在基字典Φ上的稀疏表示，固定Φ為過完備DCT基，則可以通過Φ中的原子個數(shù)和A來調(diào)整字典D的自適應(yīng)性。相比傳統(tǒng)的K-SVD算法，稀疏K-SVD的學(xué)習(xí)速度更快，學(xué)習(xí)得到的字典結(jié)構(gòu)性更強，具有更優(yōu)秀的圖像表達能力，因此能更好地重建出圖像。將式(6)代入式(1)可得稀疏K-SVD字典學(xué)習(xí)的模型

對標(biāo)管理是企業(yè)精細(xì)化管理的重要組成部分，也是企業(yè)對標(biāo)工作的關(guān)鍵。合成分廠將吸取經(jīng)驗教訓(xùn)，在今后的工作中，將對標(biāo)管理在實踐中的應(yīng)用進行重點完善和改進，及時總結(jié)、及時分析、及時調(diào)整，持續(xù)改進和提高。

(7)

稀疏K-SVD算法的實現(xiàn)與K-SVD算法類似，具體可以參考文獻[8]。

采取圖1所示的過程對Yl進行殘差的提取，利用式(5)所示的濾波器對更低分辨率的圖像Yll提取其一階二階梯度特征；然后對高低分辨率的特征圖像進行分塊處理得到特征圖像塊集，由于樣本圖像塊只能從待重建的低分辨率圖像自身獲取，數(shù)量較少，因此采用最大冗余度重疊分塊的方式，將所有的圖像塊都用于稀疏K-SVD字典訓(xùn)練，本文利用稀疏 K-SVD 進行字典學(xué)習(xí)的過程如圖2所示。

圖2 字典學(xué)習(xí)流程

2.3 超分辨率重建過程

在獲得高低分辨率字典對之后，在重建階段，本文利用逐級放大的思想，分多步對低分辨率圖像進行SR重建，重建過程的具體步驟如下：

2)使用OMP算法求解集合中每個特征圖像塊的稀疏表示系數(shù)

(8)

(9)

式中:Ylb表示Yl插值放大z倍后的圖像。

重建過程示意圖如圖3所示。

圖3 重建過程示意圖

2.4 圖像后處理

利用圖像的非局部相似性可以很好地保持圖像邊緣的平滑和消除人工痕跡，其中非局部均值方法在圖像去噪[9]、圖像修復(fù)[10]等領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用。因此本文利用非局部均值方法對重建結(jié)果進行后處理，進一步提高重建效果。

非局部均值方法的主要思想是局部圖像塊Xi的中心像素點xi可以由與其相似的圖像塊Xj的中心像素點xj的加權(quán)平均來表示

(10)

式中：Pi是包含所有與Xi相似的圖像塊的集合；wij表示圖像塊Xi和圖像塊Xj相似度大小的權(quán)值系數(shù)，即

(11)

式中:h為一個全局平滑參數(shù)；G是一個高斯矩陣，反映了2個圖像塊之間的相似度，相似度越大，權(quán)值越大，反之權(quán)值越小。

為了減小計算量，在實驗中以xi為中心，只在10×10的區(qū)域中尋找最相似的10個圖像塊進行計算。

3 實驗結(jié)果與分析

首先分別使用Bicubic插值算法， 文獻[7]提出的算法和本文算法對無噪圖像進行重建，然后通過計算不同算法重建后圖像的峰值信噪比(PSNR)和算法耗時進行對比。不同算法重建后圖像的PSNR值如表1所示。

表1 不同算法重建后的PSNR值對比 dB

測試圖像Bicubic文獻[7]算法本文算法Butterfly24 026 026 7Parthenon26 026 727 2girl32 733 433 9leaves23 525 526 2plants31 132 633 1平均27 528 829 4

可以看出，本文算法相比Bicubic插值算法和文獻[7]提出算法的PSNR平均值分別提高了1.9 dB和0.6 dB。圖4列出了使用3種算法重建后的圖像。從圖4可以看出，Bicubic插值算法雖然增加了圖像的部分細(xì)節(jié)信息，但是圖像依然比較模糊。文獻[7]提出的算法重建效果較插值算法有明顯的提升，但是圖像中含有一些明顯的人工痕跡。而使用本文算法重建后的圖像含有更少的人工痕跡，恢復(fù)出了更多的圖像細(xì)節(jié)。

圖4 不同算法對無噪圖像重建結(jié)果對比

圖5分別顯示了不同算法對含噪圖像的重建效果。從圖5中可以看出，Bicubic插值算法對噪聲很敏感，比如女孩鼻子的輪廓顯得很模糊。雖然文獻[7]提出的算法一定程度上抑制了噪聲，但是圖像的邊緣和細(xì)節(jié)部分依然不清晰。本文提出的算法表現(xiàn)出更好的抑制噪聲的能力，較文獻[7]提出的算法重建效果更好。

圖5 不同算法對含噪圖像重建結(jié)果對比

在算法耗時上，文獻[7]提出的算法在字典訓(xùn)練階段得到的是一個統(tǒng)一的字典，所有圖像都是利用同一個字典進行重建。本文算法對每一幅圖像重建前，都需要利用該圖像進行字典訓(xùn)練，不同的圖像對應(yīng)不同的字典。表2分別給出了2種算法在字典訓(xùn)練階段和重建階段的耗時。

表2 不同算法在不同階段運行時間對比 s

測試圖像文獻[7]算法本文算法DTSRDTSRButterflyParthenongirlleavesplants500 53 3359 6117 173 3560 4016 293 3363 3116 623 3662 5617 293 3763 5116 98平均500 53 3561 8816 87

4 結(jié)論

針對Zeyde提出的基于K-SVD的圖像的超分辨率重建存在的不足，本文提出了一種基于稀疏K-SVD的單幅圖像超分辨率重建算法。

與Zeyde提出的算法相比，本文算法主要有以下2點改進：一是使用表達能力更強的稀疏K-SVD進行字典訓(xùn)練，且使用待重建的低分辨率圖像及其降采樣代替自然圖像進行字典訓(xùn)練，提高了待重建圖像和字典之間的相關(guān)性；二是為了獲得更好的重建效果，采用分級重建的思想，并利用非局部均值的方法進行后處理，進一步提高重建效果。在實驗部分，分別對有無噪圖像和含噪圖像進行了仿真，并與Zeyde提出的算法進行了比較。實驗結(jié)果表明，本文算法能恢復(fù)更多的圖像細(xì)節(jié)，在客觀評價指標(biāo)和主觀效果上都取得了較好的結(jié)果。

[1] SCHULTZ R R， STEVENSON R L. A Bayesian approach to image expansion for improved definition[J].IEEE Trans. Image Processing，1994，3(3)：233-242.

[2] IRANI M， PELEG S. Improving resolution by image registration[J]. CVGIP： Graphical Models and Image Processing，1991，53(3)：231-239.

[3] LI X， ORCHARD M T. New edge-directed interpolation[J]. IEEE Trans. Image Processing，2001，10(10)： 1521-1527.

[4] LI M， NGUYEN T Q. Markov random field model-based edge-directed image interpolation[J]. IEEE Trans. Image Processing，2008，17(7)：1121-1128.

[5] MAIRAL J， BACH F， PONCE J， et al. Non-local sparse models for image restoration[C]//Proc. 2009 IEEE 12th International Conference on Computer Vision.[S.l.]：IEEE Press， 2009： 2272-2279.

[6] YANG J， WRIGHT J， HUANG T S， et al. Image super-resolution via sparse representation[J]. IEEE Trans. Image Processing，2010，19(11)：2861-2873.

[7] ZEYDE R， ELAD M， PROTTER M. Curves and surfaces [M]. Berlin Heidelberg：Springer， 2012：711-730.

[8] RUBINSTEIN R， ZIBULEVSKY M， ELAD M. Double sparsity： learning sparse dictionaries for sparse signal approximation[J]. IEEE Trans. Signal Processing，2010， 58(3)：1553-1564.

[9] BUADES A， COLL B， MOREL J M. A non-local algorithm for image denoising[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE Press，2005：60-65.

[10]WONG A， ORCHARD J. A nonlocal-means approach to exemplar-based inpainting[C]//Proc. 15th IEEE International Conference on Image Processing. [S.l.]：IEEE Press，2008：2600-2603.

陳亞運(1990— ),碩士生，主研數(shù)字圖像處理；

蔣建國(1955— ),教授，博導(dǎo)，主要研究方向為數(shù)字圖像分析與處理，分布式智能系統(tǒng)；

王 超(1989— ),碩士生，主研數(shù)字圖像處理。

責(zé)任編輯：閆雯雯

Single Image Super-Resolution Reconstruction Based on Sparse K-SVD

CHEN Yayun，JIANG Jianguo，WANG Chao

(SchoolofComputer&Information,HefeiUniversityofTechnology,Hefei230009,China)

Super-resolution reconstruction can enhance the image quality and improve the visual perception, which plays an important role in the real world. For the problems in the image super-resolution method based on K-SVD, a new method based on sparse K-SVD is proposed and used for license plate images reconstruction. Firstly, the low-resolution (LR) license plate images and their downsampling versions are used as samples to train dictionary, which improves the relativity between the dictionary and the LR license plate image. And the sparse K-SVD method is used for dictionary training to obtain a pair of dictionaries. Then, a gradual magnification scheme is used for reconstruction. Finally, the non-local means is exploited to further improve the reconstruction performance. Experimental results on license plate images show that the PSNR is improved by nearly 0.6 dB compared to the image super-resolution method based on K-SVD, and this method also has a better visual improvement to certain extent.

super-resolution；dictionary learning；sparse K-SVD；non-local means

國家自然科學(xué)基金項目(61371155；61174170)

TN911.73

A

10.16280/j.videoe.2015.18.019

2015-04-03

【本文獻信息】陳亞運，蔣建國，王超.基于稀疏K-SVD的單幅圖像超分辨率重建算法[J].電視技術(shù),2015，39(18).