基于結(jié)構(gòu)相似度衡量的圖像超分辨率重建

張　晶

(天津大學(xué) 理學(xué)院，天津 300072)

?

基于結(jié)構(gòu)相似度衡量的圖像超分辨率重建

張晶

(天津大學(xué) 理學(xué)院，天津 300072)

圖像超分辨率一直都是圖像處理領(lǐng)域的研究熱點(diǎn)，提出了把圖像質(zhì)量評(píng)價(jià)方法用于圖像超分辨率的方法.把結(jié)構(gòu)相似性度量用于塊匹配，搜索圖像塊的相似塊，利用找到的相似塊的加權(quán)平均重構(gòu)高分辨率圖像.在低分辨率圖像上進(jìn)行了有噪聲，無(wú)噪聲情況下的兩種實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明本文提出的方法在相同實(shí)驗(yàn)條件下比TV，Sparsity，Softcut取得了更好的結(jié)果.進(jìn)一步分析實(shí)驗(yàn)可以發(fā)現(xiàn)用結(jié)構(gòu)相似度搜索圖像的相似塊，使得重構(gòu)后的圖像更加充分地保留了原圖像的結(jié)構(gòu)信息.本方法提供了處理圖像的新思路，使得對(duì)圖像質(zhì)量評(píng)價(jià)的研究和圖像處理的研究可以結(jié)合起來(lái)共同推動(dòng)圖像處理方法的創(chuàng)新.

圖像超分辨率；結(jié)構(gòu)相似度；非局部自相似性

圖像修復(fù)的目的就是從低質(zhì)量的相機(jī)或者是在有限條件下得到的退化圖像中恢復(fù)出一個(gè)它的高質(zhì)量的圖像.例如對(duì)一副觀測(cè)圖像y，圖像修復(fù)問(wèn)題可以表達(dá)成

y=Hx+ν,

(1)

H是個(gè)退化矩陣，x是原圖像向量，ν是噪聲向量.對(duì)常規(guī)的方法而言，發(fā)現(xiàn)和建立自然圖像的合適的先驗(yàn)?zāi)Ｐ褪且粋€(gè)重要方面，文獻(xiàn)[1-3]就是采用不同的方法去學(xué)習(xí)自然圖像的先驗(yàn)知識(shí).

另一方面，對(duì)圖像質(zhì)量進(jìn)行評(píng)測(cè)的研究也逐漸成為熱點(diǎn).圖像質(zhì)量評(píng)價(jià)從方法上可分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法.目前，關(guān)于圖像質(zhì)量評(píng)價(jià)的研究主要集中在客觀評(píng)價(jià)方法的研究.為了滿(mǎn)足不同的需求以及為圖像的后續(xù)處理提供決策依據(jù)，經(jīng)常需要度量圖像修復(fù)的質(zhì)量.XiangfeiKong[4]，LeiZhang[5]等人還提出了將圖像的質(zhì)量度量用于圖像去噪的新思路.其中XiangfeiKong[4]是將對(duì)圖像質(zhì)量評(píng)價(jià)作為決定圖像修復(fù)過(guò)程中參數(shù)的條件，使得去噪的效果達(dá)到最佳.

本文把對(duì)圖像質(zhì)量評(píng)價(jià)的結(jié)構(gòu)相似度衡量[6]和圖像的自相似性結(jié)合起來(lái)用于圖像超分辨率，在修復(fù)過(guò)程中，考慮了圖像結(jié)構(gòu)對(duì)每個(gè)圖像塊重構(gòu)影響.通過(guò)實(shí)驗(yàn)證明，這樣的方法在圖像的紋理和結(jié)構(gòu)明顯的情況下取得了較好的效果.

1　結(jié)構(gòu)相似度度量用于塊匹配

結(jié)構(gòu)相似度衡量把對(duì)圖像質(zhì)量評(píng)價(jià)分成三個(gè)部分：光照，對(duì)比度和結(jié)構(gòu).對(duì)于分塊后的離散信號(hào)而言，光照比較函數(shù)為

(2)

光照比較為

(3)

對(duì)信號(hào)對(duì)比度的估計(jì)使用標(biāo)準(zhǔn)偏差，其離散形式的無(wú)偏估計(jì)為

(4)

其中：C2=(K2L)2，K2遠(yuǎn)遠(yuǎn)小于1.

對(duì)信號(hào)結(jié)構(gòu)的估計(jì)為

(5)

SSIM(X,Y)=[l(X,Y)]α·[c(X,Y)]β·[s(X,Y)]γ，

(6)

通常情況下α=β=γ=1，.

一般情況下，進(jìn)行塊匹配都是利用歐氏距離尋找相似塊，再利用相似塊進(jìn)行均值運(yùn)算重構(gòu)高分辨率圖像塊，均值運(yùn)算的情況下，每個(gè)相似塊的權(quán)重是相同的，運(yùn)用結(jié)構(gòu)相似度度量的相似值作為權(quán)重可以彌補(bǔ)同樣權(quán)重下圖像重構(gòu)的不足.相似度高的圖像塊對(duì)圖像重構(gòu)的貢獻(xiàn)大，相似度低的圖像塊對(duì)圖像重構(gòu)的貢獻(xiàn)小，這樣，就可以重構(gòu)出較為高分辨率的圖像.

2　結(jié)構(gòu)相似度度量為基礎(chǔ)利用圖像的自相似性和稀疏表示的圖像超分辨率(SSMIR)

(7)

(8)

wi,j=exp(-(SSIM(xi,xj))2/h)/W,

(9)

(10)

參數(shù)λ和γ利用SCN服從拉普拉斯分布的特性計(jì)算出來(lái)，如下：

σi和δi是從非局部相似塊集合αi和θi的集合估計(jì)出來(lái)的，其中θ=α-E[α].

算法：

外循環(huán)：

1)用主成分分析[7]PCA更新相似塊的每一個(gè)聚類(lèi)字典.

2)更新計(jì)算參數(shù)λ和γ.

3　實(shí)驗(yàn)證明

圖像超分辨率的實(shí)驗(yàn)也是將圖像進(jìn)行分塊，實(shí)驗(yàn)采用的無(wú)噪聲和有噪聲兩種，實(shí)驗(yàn)結(jié)果如表1所示.實(shí)驗(yàn)采用的圖像塊是，標(biāo)準(zhǔn)差為1.6的的高斯濾波，水平與垂直方向的模糊圖像的降采樣尺度因子為3.添加的高斯噪聲的標(biāo)準(zhǔn)差為5.在相同的環(huán)境下進(jìn)行實(shí)驗(yàn)，通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比，稀疏模型的超分辨率比以方程為基礎(chǔ)的全變分效果要好，在稀疏模型下，采用相似性度量的塊匹配效果更好.

表1　重構(gòu)后的高分辨率圖像的峰值信噪比(dB)

圖1　圖flower的修復(fù)表現(xiàn)(尺度因子為3,σn=0 ).

4　結(jié)　語(yǔ)

本文利用稀疏模型，非局部均值和結(jié)構(gòu)相似度，實(shí)現(xiàn)了對(duì)圖像質(zhì)量評(píng)價(jià)和圖像超分辨率的結(jié)合，實(shí)驗(yàn)結(jié)果證明，以結(jié)構(gòu)相似度為基礎(chǔ)搜索到的圖像相似塊比以歐氏距離為基礎(chǔ)找到的相似塊在圖像結(jié)構(gòu)突出的情況下更具有優(yōu)越性，不僅考慮了像素值的相似性，還考慮了圖像的對(duì)比度，光照的影響，充分利用圖像的結(jié)構(gòu)信息，更好地實(shí)現(xiàn)了對(duì)圖像的修復(fù).實(shí)驗(yàn)的結(jié)果表明在圖像結(jié)構(gòu)突出的情況下，此方法比TV，Softcut，Sparsity，Slarb的效果要好.

[1]BRUCKSTEINAM,DONOHODL,ELADM.Fromsparsesolutionsofsystemsofequationstosparsemodelingofsignalsandimages[J].SIAMReview, 2009, 51(1): 34-81.

[2]BUADESA,COLLB,MORELJM.Anon-localalgorithmforimagedenoising[J].IEEEComputerSocietyConferenceonComputerVision&PatternRecognition, 2005(7):60-65.

[3]RUBINSTEINR,BRUCKSTEINAM,MELAD.Dictionariesforsparserepresentationmodeling[J].ProceedingsofIEEE,SpecialIssueonApplicationsofCompressiveSensing&SparseRepresentation, 2010, 98(6): 1045-1057.

[4]KONGX,LIK,YANGQ, et al.Anewimagequalitymetricforimageauto-denoising[J].IEEEInternationalConferenceonComputerVision,2013: 2888-2895.

[5]ZHANGL,ZHANGX,MOU, et al.FSIM:afeaturesimilarityindexforimagequalityassessment[J].IEEETransactionsonImageProcessing, 2011, 20 (8):2378-2386 .

[6]ZHOUW,ALANCONRADB,HAMIDRAHIMS, et al.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonSignalProcessing, 2004, 13(4): 600-612.

[7]ZHANGL,DONGW,ZHANGD, et al.Two-stageimagedenoisingbyprincipalcomponentanalysiswithlocalpixelgrouping[J].PatternRecognition, 2010, 43: 1531-1549.

[8]DAUBECHIESI,DEFRISEM,MOLCD.Aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[J].Commun.PureAppl.Math., 2004, 57(11): 1413-1457.

[9]MARQUINAA,OSHERSJ.Imagesuper-resolutionbytv-regularizationandbregmaniteration[J].JournalofScientificComputing, 2008, 37: 367-382.

[10]DAIS,HANM,XUW, et al.Softcuts:asoftedgesmoothnesspriorforcolorimagesuper-resolution[J].ImageProcessingIEEETransactionon, 2009, 18(5): 969-981.

[11]YANGJ,WRIGHTJ,HUANGT, et al.Imagesuperresolutionassparserepresentationofrawimagepatches[J].IEEEConferenceonComputerVision&PatternRecognition, 2008: 1-8.

[12]YUJ,GAOX,TAOD, et al.Aunifiedlearningframeworkforsingleimagesuper-resolution[J].IEEETransactionsonNeuralNetworksAndLearningSystems, 2014, 25(4): 780-792.

Structural similarity measurement based on image super-resolution

ZHANG Jing

(School of Science, Tianjin University, Tianjin 300072, China)

Imagesuper-resolutionisalwaysanactiveresearchareaofimageprocessing.Thispaperproposedanimagequalityassessmentmethodforimagesuper-resolution.Usedthestructuralsimilaritymeasurementforblockmatching,andmadeuseoftheweightedaverageofsimilarblockstoreconstructthenewhigh-resolutionimage.Theexperimentsshowedthatourmethodachievesbettersuper-resolutionresultsthanTV,SparsityandSoftcutunderthesameconditions.Theexperimentresultsshowedthatthemethodproposedinthispapercouldremindthestructureunchanged.Thismethodprovidedanewwaytohandleimages.Theresearchinimageprocessingcouldconnectimagequalityassessmentwithtraditionalmethods.

imagesuper-resolution;structuralsimilarity;non-localself-similarity

2015-07-11.

張晶(1990-)， 女，碩士，研究方向： 圖像處理.

TP391

A

1672-0946(2016)04-0476-03