基于剪切波變換和稀疏表示理論的圖像融合方法

常莉紅

(寶雞文理學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院, 陜西 寶雞 721013)

基于剪切波變換和稀疏表示理論的圖像融合方法

常莉紅

(寶雞文理學(xué)院數(shù)學(xué)與信息科學(xué)學(xué)院, 陜西 寶雞 721013)

為了提高噪聲圖像的融合效果，基于剪切波變換和稀疏表示理論提出了一種對(duì)噪聲圖像的融合方法?；舅枷胫饕?步：①對(duì)噪聲圖像進(jìn)行剪切波分解，得到各個(gè)尺度下的剪切波系數(shù)；②利用稀疏表示理論對(duì)低頻子帶的剪切波系數(shù)進(jìn)行融合，而對(duì)高頻子帶的系數(shù)選用絕對(duì)值最大的原則進(jìn)行融合；③對(duì)融合后的剪切波系數(shù)進(jìn)行硬閾值處理； ④利用剪切波逆變換得到最終的結(jié)果。實(shí)驗(yàn)結(jié)果表明所提方法是有效的。

圖像融合；剪切波變換；稀疏表示; 多尺度變換

隨著各種成像設(shè)備的發(fā)展, 多種不同類型的傳感器對(duì)同一場(chǎng)景的圖像獲取的信息是不同的。為了使一幅圖像包含更豐富的信息，往往將多張圖像的信息整合成一幅圖像，這就是圖像融合技術(shù)[1]。它已經(jīng)被廣泛的應(yīng)用到各種領(lǐng)域中，比如目標(biāo)探測(cè)，醫(yī)學(xué)圖像診斷以及軍事安全等方面。

圖像融合的方法很多，但大體可以總結(jié)為兩類：一類是基于空間像素的融合方法[2-3],而另一類是基于變換域的方法，其中最為流行的方法有多尺度分析方法如離散小波變換(discrete wavelet transform, DWT)[4]，和曲線波變換 ( curvelet transform,CVT)[5]，剪切波變換(shearlet transform, ST)[6]以及稀疏表示融合方法[7-10]。 像素域融合方法簡(jiǎn)單但容易引起人工瑕疵，多尺度分析方法雖然有效，但融合規(guī)則和分解層數(shù)很難確定，而且往往會(huì)使得圖像的對(duì)比度降低，稀疏表示融合方法融合結(jié)果過于光滑。目前大多方法只是應(yīng)用到對(duì)干凈的融合中，但實(shí)際上在圖像傳輸和獲取的同時(shí)往往受到噪聲的污染，因此，對(duì)被噪聲污染的圖像進(jìn)行融合是有實(shí)際意義的，比如稀疏表示方法(sparse representation, SR)[11]和多字典稀疏表示方法(adaptive sparse representation, ASR)[12]。為了克服多尺度方法和稀疏融合理論在融合中帶了的問題，本文將這兩種方法結(jié)合起來提了一種基于剪切波和稀疏表示理論的圖像融合方法，不僅解決了多尺度分解降低對(duì)比度的問題，而且還解決了稀疏表示理論在融合過程中產(chǎn)生過光滑的作用。

1 剪切波變換結(jié)合稀疏表示理論的融合算法

1.1 剪切波變換

剪切波變換是用復(fù)合膨脹算子基于仿射變換提出的一種多尺度分析工具，其定義為[13]：

(1)

1.2 稀疏表示理論

稀疏表示模型是指用字典中少量的原子的線性組合來描述信號(hào)，即設(shè)信號(hào)x大小為n×n，冗余字典為D，稀疏表示系數(shù)是α，則x≈Dα。為了得到稀疏表示系數(shù)α通常是求解方程

通常用OMP[14]算法求解。

1.3 融合算法

假設(shè)已經(jīng)配準(zhǔn)好的源圖像I1,I2被零均值，方差為σ的加性高斯白噪聲所污染，即

Ii=ui+ni

其中n∈N(0,σ2) 加性高斯白噪聲. 所提算法具體分為5個(gè)階段：

1) 對(duì)源圖像I1和I2進(jìn)行剪切波分解得到低通子帶{L1,L2}和高通子帶{H1,H2}。

2) 對(duì)低通子帶的剪切波系數(shù)進(jìn)行融合

(ii) 對(duì)每個(gè)i位置的圖像塊拉成列向量重排得到列向量分別記作vi1和vi2, 并減去均值得到：

(iii) 利用OMP算法計(jì)算稀疏表示系數(shù)αi1和αi2,

其中D采用文[9]中的通用字典。

(iv) 利用1-范數(shù)最大原則進(jìn)行稀疏系數(shù)融合

得到最終的融合向量

3) 高通子帶的系數(shù)采用一致檢驗(yàn)窗口中系數(shù)絕對(duì)值最大的原則[4]，即

vHf(i,j)={H1(i,j),|H1(i,j)|≥|H2(i,j)|;

H2(i,j),|H1(i,j)|<|H2(i,j)|

其中Hf(i,j) 是一致檢驗(yàn)窗口的系數(shù)。

4) 去噪

利用文獻(xiàn)[15]的閾值去噪原則，對(duì)融合后高通子帶進(jìn)行硬閾值處理，其閾值參數(shù)為：

1.1一般資料2016年12月至2017年2月我院對(duì)236例腹腔鏡膽囊切除手術(shù)患者進(jìn)行了研究分析,將患者分成了觀察組和對(duì)照組,均有118例,觀察組患者有50例男性和68例女性,最小34歲,最大58歲,平均(39.2±1.2)歲。對(duì)照組患者有52例男性,66例女性,最小35歲,最大59歲,平均(40.1±1.1)歲。兩組患者的一般性資料對(duì)比不存在統(tǒng)計(jì)學(xué)差異性,能夠進(jìn)行對(duì)比分析。

5) 利用剪切波逆變換得到融合去噪結(jié)果。

2 數(shù)值實(shí)驗(yàn)

2.1 測(cè)試圖像

為了測(cè)試本文所提方法的有效性，圖1給出了不同的6組測(cè)試圖像。

2.2 圖像融合效果的客觀評(píng)價(jià)指標(biāo)

為了衡量算法的性能，我們采用5個(gè)客觀評(píng)價(jià)指標(biāo)從不同角度對(duì)融合結(jié)果進(jìn)行了量化評(píng)價(jià)，分別為熵(entropy,EN)，標(biāo)準(zhǔn)偏差(standarddeviation,SD)，互信息(mutualinformation,MI)[16]以及基于結(jié)構(gòu)相似度的梯度QG評(píng)價(jià)指標(biāo)[17]，這4種指標(biāo)的值越大說明融合效果越好。

在噪聲級(jí)別分別為0, 5, 10, 15 和20的高斯加性噪聲所污染的源圖像上進(jìn)行實(shí)驗(yàn)，所提出的算法 (STSR)與DWT[4],CVT[5],SR[11],ST[6]和AST[12]方法進(jìn)行比較。DWT和CVT方法的分解級(jí)數(shù)均為4，剪切波濾波器采用Meyer濾波器，大小分別為32×32和16×16，從細(xì)到粗分別選取剪切方向?yàn)?6，16，8和8個(gè)。

圖2給出一組噪聲級(jí)別為σ=10的醫(yī)學(xué)融合效果圖的例子。我們發(fā)現(xiàn)對(duì)醫(yī)學(xué)圖像C1和C2的融合中，明顯的看到所提方法STSR能很好的提高對(duì)比度，并且保留細(xì)節(jié)，在融合的結(jié)果很清楚的看到大腦中的軟組織。

表1給出了各個(gè)方法在不同的噪聲級(jí)別下在測(cè)試圖集上的各個(gè)指標(biāo)的平均值。表1顯示，EN,SD,MI指標(biāo)在幾種方法中值是最高的，這表明，所提方法能保留源圖像更多的平均信息，增強(qiáng)對(duì)比度，保留各個(gè)源圖像的自身信息，QG隨著噪聲的增加它的值越高，這表明在這種情況下所提方法能很好的保留邊緣信息。

圖1 測(cè)試集
Fig.1 Testing images

圖2 σ=10時(shí)各個(gè)方法對(duì)C1和C2 的融合結(jié)果 Fig.2 Fused results of different fusion methods for images C1 and C2 with σ=10

融合指標(biāo)標(biāo)準(zhǔn)方差CVTDWTSTSRASRSTSREN06.53156.47756.56536.63926.45496.763856.53886.57656.59716.77176.47136.8279106.50456.61846.61506.81046.49916.8677206.49886.65586.63386.88506.54496.9120SD045.038346.520445.729350.264843.492155.2806544.505546.349845.489452.107543.881255.06971043.186046.115945.158652.415343.658754.80392042.172645.555444.512952.616443.045654.2847MI00.64890.67460.68080.85930.74600.775950.61500.60640.63480.70160.68540.6893100.59770.57470.61090.65590.65010.6513200.57250.53420.57810.59880.61680.6046QG00.47660.58380.57510.62230.62340.612650.40160.41280.43740.44290.47950.4551100.34590.35310.37930.38490.39240.3972200.28620.28870.31780.31660.31650.3313

3 結(jié) 論

本文利用剪切波變換結(jié)合高頻局部窗口的一致性驗(yàn)證方法和低頻稀疏表示的融合規(guī)則，對(duì)6種不同的圖像進(jìn)行融合，實(shí)驗(yàn)結(jié)果表明所提方法優(yōu)于傳統(tǒng)的多尺度方法CVT、DWT、ST和先進(jìn)的稀疏表示方法SR和ASR，進(jìn)一步證明了該方法平衡了傳統(tǒng)多尺度方法和稀疏表示方法的缺點(diǎn)。

[1]RATTGA,VEGAJ,MURARIA,etal.Imagefusion:advancesinthestateoftheart[J].InformationFusion, 2007, 8(2):114-118.

[2]ELTOUKHYHA,KAVUSIS.Acomputationallyefficientalgorithmformulti-focusimagereconstruction[C]∥ProcSPIEElectronImaging, 2003, 5017: 332-341.

[3]LIS,YANGB.Multifocusimagefusionusingregionsegmentationandspatialfrequency[J].ImageandVisionComputing, 2008, 26(7): 971-979.

[4]LIH,MANJUNATHBS,MITRASK.Multisensorimagefusionusingthewavelettransform[J].GraphicalModelsandImageProcessing, 1995, 57(3): 235-245.

[5]NENCINIF,GARZELLIA,BARONTIS,etal.Remotesensingimagefusionusingthecurvelettransform[J].InformationFusion, 2007, 8(2):143-156.

[6]GAOG,XUL,FENGD.Multi-focusimagefusionbasedonnon-subsampledshearlettransform[J].IETImageProcessing, 2013, 7(6): 633-639.

[7]YANGB,LIS.Pixel-levelimagefusionwithsimultaneousorthogonalmatchingpursuit[J].InformationFusion, 2012, 13(1): 10-19.

[8]YUN,QIUT,BIF,etal.Imagefeaturesextractionandfusionbasedonjointsparserepresentation[J].IEEEJournalofSelectedTopicsinSignalProcessing, 2011, 5(5): 1074-1082.

[9]LIUY,LIUS.WANGZ.Ageneralframeworkforimagefusionbasedonmulti-scaletransformandsparserepresentation[J].InformationFusion, 2015, 24: 147-164.

[10]YINH,LIS,FANGL.Simultaneousimagefusionandsuper-resolutionusingsparserepresentation[J].InformationFusion, 2013, 14(3): 229-240.

[11]YANGB,LIS.Multifocusimagefusionandrestorationwithsparserepresentation[J].IEEETransactionsonInstrumentationandMeasurement, 2010, 59(4): 884-892.

[12]LIUY,WANGZ.Simultaneousimagefusionanddenoisingwithadaptivesparserepresentation[J].IETImageProcess, 2014, 9(5): 347-357.

[13]GUOK,LABATED.Optimallysparsemultidimensionalrepresentationusingshearlets[J].SiamJournalonMathematicalAnalysis, 2007, 39: 298-318.

[14]MALLATSG,ZHANGZ.Matchingpursuitswithtime-frequencydictionaries[J].IEEETransactionsonSignalProcessing, 1993,41(12): 3397-3415.

[15]DACA,ZHOUJ,DOM.Thenonsubsampledcontourlettransform:theory,design,andapplications[J].IEEETransactionsonImageProcessing, 2006, 15(10): 3089-3101.

[16]XYDEASCS,PETROVICV.Objectiveimagefusionperformancemeasure[J].ElectronicsLetters, 2000, 36(4): 308-309.

[17]LIUZ,BLASCHE,XUEZ,etal.Objectiveassessmentofmultiresolutionimagefusionalgorithmsforcontextenhancementinnightvision:acomparativestudy[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 34 (1): 94-109.

Fusionmethodbasedonshearlettransformandsparserepresentation

CHANGLihong

(InstituteofMathematicsandInformationScience,BaojiUniversityofArtsandSciences,Baoji721013,China)

In order to further impoove noisy image fusion effect, a novel fusion method for noise image based on shearlet transform and sparse representation is presented. The proposed scheme performs the four stages: ① Perform a shearlet transform decomposition of each source image and obtain their low-pass and high-pass coefficients; ② Obtain the fused shearlet transform coefficients in the low-pass bands with a sparse representation based fusion approach while in the high-pass bands by fusing the largest absolution values; ③ The hard thresholding is applied to the fusion shearlet transform coefficients. ④ The result image is obtained by the inverse shearlet transform. Experimental results show that the proposed algorithm for image fusion is very effective.

image fusion; shearlet; sparse representation; multi-scale transform

10.13471/j.cnki.acta.snus.2017.04.003

2016-10-27 基金項(xiàng)目：國(guó)家自然科學(xué)基金(61362029,61379030)

常莉紅(1980年生)，女；研究方向：稀疏表示和變分方法在圖像處理中的應(yīng)用；E-mail:changlihong-1999@126.com

TP

A

0529-6579(2017)04-0016-04