結(jié)合壓縮感知與非局部信息的圖像超分辨率重建

陳偉業(yè)　孫權(quán)森

摘要：

針對(duì)現(xiàn)有的超分辨率重建算法只考慮圖像塊的灰度信息，而忽略了紋理信息，并且大多數(shù)非局部方法在強(qiáng)調(diào)非局部信息的同時(shí)，沒有考慮局部信息的問題，提出一種結(jié)合壓縮感知與非局部信息的圖像超分辨率重建算法。首先，根據(jù)圖像塊的結(jié)構(gòu)特征計(jì)算像素之間的相似性，同時(shí)考慮了圖像塊的灰度信息和紋理信息；然后，合并圖像的局部和非局部信息來估計(jì)相似像素的權(quán)重，構(gòu)造結(jié)合局部和非局部信息的正則項(xiàng)；最后，將圖像的非局部信息引入到壓縮感知框架中，通過迭代收縮算法求解稀疏表示系數(shù)。實(shí)驗(yàn)結(jié)果表明，所提算法與現(xiàn)有的基于學(xué)習(xí)的超分辨率算法相比，重建圖像的峰值信噪比和結(jié)構(gòu)相似度取值更高，并且在恢復(fù)圖像紋理細(xì)節(jié)的同時(shí)有效抑制了噪聲。

關(guān)鍵詞：

超分辨率重建；壓縮感知；非局部信息；稀疏表示；結(jié)構(gòu)特征

中圖分類號(hào)：

TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract：

The existing superresolution reconstruction algorithms only consider the gray information of image patches， but ignores the texture information， and most nonlocal methods emphasize the nonlocal information without considering the local information. In view of these disadvantages， an image superresolution reconstruction algorithm combined with compressed sensing and nonlocal information was proposed. Firstly， the similarity between pixels was calculated according to the structural features of image patches， and both the gray and the texture information was considered. Then， the weight of similar pixels was evaluated by merging the local and nonlocal information， and a regularization term combining the local and nonlocal information was constructed. Finally， the nonlocal information was introduced into the compressed sensing framework， and the sparse representation coefficients were solved by the iterative shrinkage algorithm. Experimental results demonstrate that the proposed algorithm outperforms other learningbased algorithms in terms of improved Peak SignaltoNoise Ratio and Structural Similarity， and it can better recover the fine textures and effectively suppress the noise.

英文關(guān)鍵詞Key words：

superresolution reconstruction； compressed sensing； nonlocal information； sparse representation； structural feature

0引言

隨著軟硬件技術(shù)的發(fā)展，圖像的空間分辨率越來越高。高分辨率圖像不僅可以給人們帶來視覺上的享受，而且能夠提供豐富的圖像細(xì)節(jié)信息。然而，在圖像獲取過程中，有許多因素會(huì)導(dǎo)致圖像分辨率的下降。通過改進(jìn)硬件系統(tǒng)的性能來提高圖像分辨率，主要受到當(dāng)前制造技術(shù)的限制，而且高精密的光學(xué)元件和傳感器價(jià)格昂貴，并不適合一般的商業(yè)應(yīng)用。為了克服制造工藝和生產(chǎn)成本的限制，利用圖像處理技術(shù)提高圖像分辨率的方法受到了越來越多的關(guān)注，相關(guān)的算法被稱為圖像超分辨率重建。

目前，圖像超分辨率算法主要有三類，包括基于插值的算法、基于重建的算法和基于學(xué)習(xí)的算法?；诓逯档乃惴ㄓ须p線性插值、雙三次插值等，它們計(jì)算復(fù)雜度小、運(yùn)行速度快，但容易導(dǎo)致嚴(yán)重的模糊，并且丟失大量細(xì)節(jié)信息?；谥亟ǖ乃惴╗1-3]結(jié)合圖像的降質(zhì)模型，利用先驗(yàn)信息約束超分辨率重建過程，該類算法重建圖像的質(zhì)量比插值算法有所提高，但可能丟失部分高頻信息?；趯W(xué)習(xí)的算法[4-7]是目前的研究熱點(diǎn)。該類算法的目的是尋找高分辨率圖像和低分辨率圖像之間的對(duì)應(yīng)關(guān)系，常用的手段有根據(jù)訓(xùn)練樣本學(xué)習(xí)字典來表示圖像或建立高、低分辨率圖像在特征空間中的某種映射。Yang等[4]提出了基于稀疏編碼的超分辨率算法，該算法為高、低分辨率圖像塊分別訓(xùn)練對(duì)應(yīng)的字典，并且使它們具有相同的稀疏表示，但當(dāng)訓(xùn)練樣本和測(cè)試圖像差距較大時(shí)，字典的性能會(huì)隨之下降。Zeyde等[5]將測(cè)試圖像自身作為訓(xùn)練樣本學(xué)習(xí)字典，使用K奇異值分解（KSingular Value Decomposition， KSVD）求解低分辨率字典，再利用最優(yōu)方向法求解高分辨率字典，但該算法很難得到能夠稀疏表示所有

圖像塊的全局字典。Chang等[6]受流形學(xué)習(xí)思想的啟發(fā)，提出了基于鄰域嵌入的超分辨率算法，但高、低分辨率塊之間存在一對(duì)多的映射關(guān)系，因此流形假設(shè)不一定成立。為了解決該問題，Gao等[7]在鄰域嵌入法的基礎(chǔ)上，同時(shí)訓(xùn)練兩個(gè)投影矩陣，將高、低分辨率圖像的特征空間映射到一個(gè)統(tǒng)一的特征子空間中，但該算法要求低分辨率圖像塊相似的同時(shí)，要求高分辨率圖像塊也相似，這導(dǎo)致算法的適用范圍受到限制。

在圖像超分辨率重建中，利用圖像的非局部信息進(jìn)行高頻細(xì)節(jié)恢復(fù)是另一種研究思路。該類算法使用圖像自身結(jié)構(gòu)的相似性來定義像素之間的差異，并根據(jù)相似圖像塊之間提供的互補(bǔ)信息重建高分辨率圖像，從而更有效地保護(hù)圖像的結(jié)構(gòu)信息。近年來，已有學(xué)者將壓縮感知理論與圖像的非局部相似性引入到圖像超分辨率重建領(lǐng)域[8-11]。Pan等[8]提出了一種結(jié)合壓縮感知框架和結(jié)構(gòu)自相似性的圖像超分辨率算法，該算法利用圖像結(jié)構(gòu)自相似性所提供的附加信息，通過壓縮感知框架實(shí)現(xiàn)圖像重建，并在重建過程中僅使用了待處理低分辨率圖像的插值圖像作為KSVD字典學(xué)習(xí)的樣本。在該算法的基礎(chǔ)上，潘宗序等[9]利用非局部方法和基于圖像金字塔的KSVD字典學(xué)習(xí)算法，提出了基于多尺度結(jié)構(gòu)自相似性的算法，將蘊(yùn)含在相同尺度和不同尺度相似圖像塊中的附加信息加入重建圖像。Dong等[10]提出了自適應(yīng)字典選取與正則化算法，該算法對(duì)圖像庫(kù)中的樣本進(jìn)行聚類，并對(duì)每一類分別訓(xùn)練字典，將非局部信息作為正則化約束項(xiàng)加入到圖像重建過程中。Dong等[11]進(jìn)一步提出了非局部集中稀疏表示算法，該算法將降質(zhì)圖像的稀疏編碼與未知原始圖像的稀疏編碼之差定義為稀疏編碼噪聲，并利用圖像的非局部信息來減小稀疏編碼噪聲，從而提高圖像的重建質(zhì)量。上述算法在計(jì)算像素相似性時(shí)，只考慮圖像塊的灰度信息，而忽略了紋理信息。紋理特征也會(huì)影響像素相似性的計(jì)算，灰度值相同的兩個(gè)像素鄰域結(jié)構(gòu)可能存在較大差別。此外，大多數(shù)非局部方法在強(qiáng)調(diào)非局部信息的同時(shí)，沒有考慮局部信息，只是簡(jiǎn)單地將兩者等同看待，這可能導(dǎo)致在一些特征變化較明顯的區(qū)域，如邊緣部分，重建的圖像過度平滑。為了解決現(xiàn)有算法中存在的問題，本文提出了一種新的結(jié)合壓縮感知與非局部信息的圖像超分辨率重建算法。該算法在計(jì)算像素相似性時(shí)，同時(shí)考慮了圖像塊的灰度特征和紋理特征，并且合并了圖像的局部和非局部信息，從而利用了更加豐富的先驗(yàn)知識(shí)；接著，將改進(jìn)后的非局部正則項(xiàng)加入到壓縮感知超分辨率重建框架中；最后，通過與其他圖像超分辨率算法的比較驗(yàn)證了該算法的有效性。

1理論基礎(chǔ)

圖像超分辨率重建是指根據(jù)一幅或者多幅低分辨率圖像獲得高分辨率圖像的過程，屬于維數(shù)增加問題，其解通常是不確定的。在壓縮感知理論[12-14]中，由測(cè)量值獲得原始信號(hào)也是一個(gè)從低維到高維的維數(shù)增加問題，與超分辨率重建類似。因此，借鑒壓縮感知的相關(guān)思想研究圖像超分辨率算法具有實(shí)質(zhì)性的意義。圖1給出了使用傳統(tǒng)方法與使用壓縮感知理論獲取和處理圖像信號(hào)的對(duì)比。

3實(shí)驗(yàn)分析

為了驗(yàn)證本文算法的有效性，將所提出的算法與其他典

型的圖像超分辨率算法進(jìn)行比較，并討論了輸入噪聲的影響。對(duì)于測(cè)試的高分辨率圖像，先使用標(biāo)準(zhǔn)差為1.6，大小為7×7的高斯模糊核對(duì)高分辨率圖像進(jìn)行模糊操作，然后按照縮放因子3對(duì)模糊圖像在水平和垂直方向下采樣，獲得對(duì)應(yīng)的低分辨率圖像。與其他算法比較時(shí)，用于相似性估計(jì)的圖像塊大小設(shè)置為3×3，局部信息和非局部信息的調(diào)節(jié)參數(shù)設(shè)置為0.8，搜索窗口的大小設(shè)置為9×9，相似性閾值設(shè)置為0.8，小于該閾值時(shí)，像素之間的相似性設(shè)置為0。為了抑制邊緣效應(yīng)，對(duì)實(shí)驗(yàn)圖像進(jìn)行重疊分塊，低分辨率圖像按照3×3分塊，在相鄰塊之間存在1個(gè)像素的重疊部分，對(duì)應(yīng)了9×9分塊的高分辨率圖像，在相鄰塊之間重疊3個(gè)像素，對(duì)于重疊部分，取平均值作為重建結(jié)果。為了客觀評(píng)價(jià)各種算法的重建效果，使用峰值信噪比（Peak SignaltoNoise Ratio， PSNR）和結(jié)構(gòu)相似度（Structural Similarity， SSIM）作為評(píng)價(jià)指標(biāo)。

3.1不同算法重建結(jié)果的比較

本節(jié)選取8幅常見的自然圖像，給出不同算法間的對(duì)比實(shí)驗(yàn)結(jié)果，并進(jìn)行客觀評(píng)價(jià)指標(biāo)下的定量分析。選取的對(duì)比算法包括雙三次插值（Bicubic），Yang等[4]的稀疏編碼超分辨率算法（Sparse Coding SuperResolution， SCSR），潘宗序等[9]的多尺度結(jié)構(gòu)自相似性超分辨率算法（Multiscale Structural Selfsimilarity SuperResolution， MSSSR）和Dong等[11]的非局部集中稀疏表示算法（Nonlocally Centralized Sparse Representation， NCSR）。其中，文獻(xiàn)[9]與文獻(xiàn)[8]中的算法相比，有所改進(jìn)，文獻(xiàn)[11]與文獻(xiàn)[10]中的算法相比，有所改進(jìn)，作者在原文的實(shí)驗(yàn)中已經(jīng)予以證明，因此，本文使用文獻(xiàn)[9]和文獻(xiàn)[11]中的算法進(jìn)行對(duì)比。由于文獻(xiàn)[4]中的算法不能同時(shí)提高分辨率和去模糊，按照作者的建議，實(shí)驗(yàn)中對(duì)該算法重建的圖像使用迭代反向投影來去除模糊。

圖5給出了Lena圖像使用五種超分辨率算法重建的結(jié)果，其中第一行為整幅圖像，第二行為局部細(xì)節(jié)圖。從圖中可以看出，雙三次插值算法重建的圖像模糊嚴(yán)重且很多細(xì)節(jié)無法分辨，尤其紋理復(fù)雜的區(qū)域，如人物的頭發(fā)；SCSR算法一定程度上提高了邊緣的銳度，恢復(fù)了部分高頻信息，但是紋理保持能力較差，圖像仍然較模糊；后三種算法均同時(shí)考慮了圖像的稀疏性和非局部相似性，從整幅圖像上來看，重建圖像的質(zhì)量均明顯提高，視覺效果更加舒適。但從局部細(xì)節(jié)圖來看，MSSSR算法和NCSR算法放大圖像后部分區(qū)域過度平滑，尤其是紋理結(jié)構(gòu)相差較大的邊緣部分，這是因?yàn)檫@些區(qū)域特征變化明顯， MSSSR算法和NCSR算法在計(jì)算相似像素權(quán)重時(shí)沒有很好地權(quán)衡局部信息和非局部信息之間的關(guān)系；相比其他算法，本文算法重建平滑和紋理區(qū)域都十分有效，能夠恢復(fù)更多和更整潔的細(xì)節(jié)信息。

3.2對(duì)噪聲的魯棒性分析

由圖2給出的圖像降質(zhì)過程可知，在圖像獲取過程中不可避免地受到噪聲干擾。在圖像中由于噪聲和邊緣都對(duì)應(yīng)著高頻成分，因此在超分辨率重建過程中保持邊緣細(xì)節(jié)和抑制噪聲是一對(duì)矛盾，需要受到更多關(guān)注。在圖像超分辨率重建中抑制噪聲的影響主要有兩種思路，其一是將重建過程分成不相交的兩個(gè)步驟：先去噪，再超分辨率。然而，這種策略重建圖像的質(zhì)量很大程度上取決于具體的去噪算法，并且在去噪時(shí)低分辨率圖像中的任何破損都將保持甚至擴(kuò)大到后面的超分辨率過程。另一種思路是同時(shí)完成超分辨率和去噪，基于壓縮感知的算法和基于非局部相似性的算法都采用了這種思路，如文獻(xiàn)[11]提出的NCSR算法既適用于圖像超分辨率重建，又適用于圖像去噪。本文算法在壓縮感知框架下將非局部信息引入圖像超分辨率重建，同時(shí)考慮了圖像的稀疏性和非局部相似性，即算法在超分辨率重建的同時(shí)，既能有效抑制圖像中的噪聲，又能較好地保護(hù)邊緣細(xì)節(jié)信息。

為了測(cè)試本文算法對(duì)噪聲的魯棒性，選取Bridge圖像和Milk圖像進(jìn)行實(shí)驗(yàn)，其中，Bridge圖像紋理結(jié)構(gòu)復(fù)雜，Milk圖像紋理結(jié)構(gòu)簡(jiǎn)單。在低分辨率輸入圖像中添加不同程度的高斯噪聲，高斯噪聲標(biāo)準(zhǔn)差的范圍從0遞增到12，每次增加2，共7組取值。圖6、7分別給出了Bridge圖像和Milk圖像在不同噪聲水平下重建結(jié)果的PSNR和SSIM值的變化情況。從圖中可以看出，隨著噪聲的增加，各種算法重建圖像的PSNR和SSIM值均有所下降，但本文算法（Proposed）的下降程度最小，并且在相同噪聲的情況下，本文提出的算法可以獲得相對(duì)更高的PNSR和SSIM取值，這說明了在圖像含噪的情況下，本文算法的重建效果更好，抗噪性能更佳。

4結(jié)語(yǔ)

本文將圖像的非局部信息用于超分辨率重建，在基于壓縮感知的圖像重建模型中引入合并了圖像局部和非局部信息權(quán)重的正則項(xiàng)，并通過迭代收縮算法求解稀疏表示系數(shù)。該算法在求取圖像塊特征時(shí)，同時(shí)考慮了灰度信息和紋理信息，提高了像素相似性計(jì)算的準(zhǔn)確性。與其他幾種基于學(xué)習(xí)的算法相比，本文算法重建圖像的PSNR和SSIM值均有所提高，紋理細(xì)節(jié)更加清晰，抗噪性能更佳。在后續(xù)的工作中，可以研究如何根據(jù)圖像的特征自適應(yīng)地設(shè)置參數(shù)，從而進(jìn)一步提高算法的有效性。

參考文獻(xiàn)：

[1]

FATTAL R. Image upsampling via imposed edge statistics [J]. ACM Transactions on Graphics， 2007， 26（3）： 1-8.

[2]

SUN J， XU Z， SHUM H. Image superresolution using gradient profile prior [C]// CVPR 2008： Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2008： 1-8.

[3]

TAI Y， LIU S， BROWN M S， et al. Super resolution using edge prior and single image detail synthesis [C]// Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 2400-2407.

[4]

YANG J， WRIGHT J， HUANG T S， et al. Image superresolution via sparse representation [J]. IEEE Transactions on Image Processing， 2010， 19（11）： 2681-2873.

[5]

ZEYDE R， ELAD M， PROTTER M. On single image scaleup using sparserepresentations [C]// ICCS 2010： Proceedings of the 7th 2010 International Conference on Curves and Surfaces. Berlin： Springer， 2010： 711-730.

[6]

CHANG H， YEUNG D， XIONG Y. Superresolution through neighbor embedding [C]// CVPR 2004： Proceedings of the 2004 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004，1： 275-282.

[7]

GAO X， ZHANG K， TAO D， et al. Joint learning for singleimage superresolution via a coupled constraint [J]. IEEE Transactions on Image Processing， 2012， 21（2）： 469-480.

[8]

PAN Z， YU J， HUANG H， et al. Superresolution based on compressive sensing and structural selfsimilarity for remote sensing images [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（9）： 4864-4876.

[9]

潘宗序，禹晶，胡少興，等.基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J].自動(dòng)化學(xué)報(bào)，2014，40（4）：594-603.（PAN Z X， YU J， HU S X， et al. Single image super resolution based on multiscale structural selfsimilarity[J]. Acta Automatica Sinica， 2014， 40（4）： 594-603.）

[10]

DONG W， ZHANG L， SHI G， et al. Image deblurring and superresolution by adaptive sparse domain selection and adaptive regularization [J]. IEEE Transactions on Image Processing， 2011， 20（7）： 1838-1857.

[11]

DONG W， ZHANG L， SHI G， et al. Nonlocally centralized sparse representation for image restoration [J]. IEEE Transactions on Image Processing， 2013， 22（4）： 1620-1630.

[12]

DONOHO D L. Compressed sensing [J]. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.

[13]

TSAIG Y， DONOHO D L. Extensions of compressed sensing [J]. Signal Processing， 2006， 86（3）： 549-571.

[14]

CANDES E J， WAKIN M B. An introduction to compressive sampling [J]. IEEE Signal Processing Magazine， 2008， 25（2）： 21-30.

[15]

DAUBECHIES I， DEFRISE M， DE MOL C. An iterative thresholding algorithm for linear inverse problems with a sparsity constraint [J]. Communications on Pure and Applied Mathematics， 2004， 57（11）： 1413-1457.

[16]

ZHANG X， BURGER M， BRESSON X， et al. Bregmanized nonlocal regularization for deconvolution and sparse reconstruction [J]. SIAM Journal on Imaging Sciences， 2010， 3（3）： 253-276.

[17]

ZHANG Z， RAO B D. Extension of SBL algorithms for the recovery of block sparse signals with intrablock correlation [J]. IEEE Transactions on Signal Processing， 2013， 61（8）： 2009-2015.

[18]

ZHOU H， ZHENG J， WEI L. Texture aware image segmentation using graph cuts and active contours [J]. Pattern Recognition， 2013， 46（6）： 1719-1733.