一種NSST與稀疏表示相結(jié)合的遙感圖像融合算法

金 益 如,楊 學 志,*,董 張 玉,鄭 鑫,李 國 強

(1.合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2.光電控制技術(shù)重點實驗室，河南 洛陽 471009)

一種NSST與稀疏表示相結(jié)合的遙感圖像融合算法

金 益 如1,楊 學 志1,2*,董 張 玉1,鄭 鑫2,李 國 強2

(1.合肥工業(yè)大學計算機與信息學院，安徽 合肥 230009；2.光電控制技術(shù)重點實驗室，河南 洛陽 471009)

針對現(xiàn)有遙感圖像融合算法存在的光譜失真及空間細節(jié)丟失的問題，提出一種非下采樣Shearlet變換(NSST)與稀疏表示(SR)相結(jié)合的圖像融合算法。該算法利用NSST多尺度、多方向及平移不變的特性對全色圖像與多光譜圖像亮度分量進行變換分解,并根據(jù)稀疏表示能夠有效捕捉圖像結(jié)構(gòu)特征的特點，對低頻分量采用基于結(jié)構(gòu)相關(guān)性的稀疏表示加權(quán)融合規(guī)則，從而減少光譜失真，對高頻分量則利用基于改進的拉普拉斯能量和的方法，以保留細節(jié)信息,最后通過NSST與IHS逆變換得到融合圖像。實驗以WorldView-2不同場景下的影像為數(shù)據(jù)源，與傳統(tǒng)的IHS、AIHS、IHS-WV、IHS-WV-SR、IHS-NSST融合方法進行對比，結(jié)果表明：新的算法不論在視覺上還是指標參數(shù)上都得到了有效提高，光譜分辨率和空間分辨率更接近于融合參考圖像。

圖像融合;多光譜圖像;全色圖像;NSST;稀疏表示

0 引言

受傳感器設(shè)計物理上的限制，許多衛(wèi)星單一傳感器獲得圖像的空間分辨率和光譜分辨率呈現(xiàn)逆相關(guān)的關(guān)系[1]。隨著遙感圖像的應(yīng)用需要日益增多，如何充分利用多光譜圖像與全色圖像之間的互補性與冗余性，獲得一幅高空間、高光譜分辨率的融合圖像成為現(xiàn)今遙感應(yīng)用領(lǐng)域的研究熱點[2]。

當前，圖像融合方法主要分為三大類：主分量替代法、多尺度變換法以及基于模型的方法。主分量替代法主要包括IHS (Intensity-Hue Saturation)、PCA (Principal Component Analysis)、GS (Gram-Schmidt)等，這類方法能得到空間分辨率增強的融合圖像，但光譜失真較嚴重。多尺度變換法主要包括小波變換(Wavelet Transform,WT)、拉普拉斯金字塔(Laplacian Pyramid)以及Contourlets等[3]，小波變換能夠?qū)D像進行多尺度分解，但其方向數(shù)有限，拉普拉斯金字塔、Contourlets等高維函數(shù)表示法雖克服了方向數(shù)的限制，但其并不是表示高維信號的最優(yōu)基。在此基礎(chǔ)上，Labate等提出一種新的接近最優(yōu)的多維函數(shù)稀疏表示方法——剪切波(Shearlet)變換[4]，其具有多尺度、多方向的特點及良好的時頻局部特性，且其緊支撐區(qū)間隨尺度變化而“各向異性”，能夠?qū)崿F(xiàn)對二維圖像的最優(yōu)逼近。近年來，基于模型的圖像融合方法成為圖像處理領(lǐng)域的研究熱點。該類方法采用不同的空間先驗知識求解圖像復原模型中的病態(tài)反演問題(ill-posed inverse problem)[5]，圖像復原結(jié)果即為圖像融合結(jié)果。隨著Donoho提出的壓縮感知(Compressive Sensing,CS)理論用于數(shù)據(jù)的采集[6]，壓縮感知和稀疏表示理論被越來越多地應(yīng)用到圖像處理的各個領(lǐng)域。2011年，Li等嘗試將稀疏表示運用到多光譜與全色圖像的融合中，提出了一種基于壓縮感知理論的多光譜與全色圖像融合方法，并取得了較好的結(jié)果[7]。近年來，基于稀疏表示的方法以其優(yōu)越的融合效果被越來越多的應(yīng)用到遙感圖像融合中[8,9]。

稀疏表示理論能夠通過一系列的線性映射恢復出未知的稀疏信號，且它強調(diào)圖像的自然屬性及結(jié)構(gòu)信息，但在稀疏表示解決圖像融合問題的過程中，滑動窗口的運用容易造成細節(jié)丟失及邊緣平滑，且圖像復原模型的構(gòu)造對融合結(jié)果影響較大，為此，2015年Liu等提出了基于多尺度變換和稀疏表示的圖像融合方法，以改進上述問題[10,11]。該方法以多尺度變換為基礎(chǔ)，對IHS變換后的圖像進行小波、Contourlets等變換，低頻上采用一種基于稀疏表示的最大值融合方法，高頻上采用絕對值最大法，最后通過重構(gòu)及逆IHS變換得到融合結(jié)果。然而，小波、Contourlets等多尺度分解只能捕獲有限的方向信息，且缺乏平移不變性，容易造成圖像細節(jié)模糊以及光譜失真；低頻融合采用最大值融合規(guī)則，尚未考慮圖像的結(jié)構(gòu)特征及相關(guān)性，光譜信息保持的能力有限；高頻融合采用絕對值最大法，僅僅考慮了單個像素的特性，容易造成圖像結(jié)構(gòu)信息的丟失。

針對上述問題，本文提出一種新的基于NSST與稀疏表示的圖像融合方法，利用NSST對IHS變換后的多光譜圖像亮度分量及全色圖像進行多尺度、多方向的分解，使圖像具有時移不變性，能夠更好地捕獲圖像的幾何結(jié)構(gòu)和細節(jié)信息等；對得到的低頻子圖采用基于結(jié)構(gòu)相關(guān)性的稀疏表示融合框架，在保留多光譜圖像亮度分量的亮度、對比度(即光譜信息)的前提下，對結(jié)構(gòu)信息的稀疏表示系數(shù)采用基于結(jié)構(gòu)相似度的加權(quán)融合方法，更好地保持圖像的結(jié)構(gòu)，減少光譜失真；高頻子圖則考慮到像素間的相關(guān)性及圖像的結(jié)構(gòu)特性，采用了基于改進的拉普拉斯能量和的融合規(guī)則；最后進行NSST及IHS逆變換得到新的融合結(jié)果。

1 NSST與稀疏表示

1.1 非下采樣Shearlet變換

Shearlet變換是一種多維函數(shù)稀疏表示方法，由合成小波理論衍生而來，采用具有合成膨脹的仿射系統(tǒng)構(gòu)造函數(shù)基。對于一個連續(xù)小波，二維仿射系統(tǒng)可表示為：

(1)

如果對于任意的ψ∈L2(R2),Ψast(x)滿足Parseval框架(緊框架條件)，則該仿射系統(tǒng)的元素稱為合成小波。其中，a∈R+為尺度參數(shù)，s∈R為剪切參數(shù)，t∈R2為平移參數(shù)。

Shearlet是合成小波的一個特例，此時二參數(shù)擴張組Γ滿足：

(2)

其中:a=4,s=1[12]。

NSST是一種非正交變換，它的離散化過程主要通過非下采樣拉普拉斯金字塔變換和剪切波濾波器組相結(jié)合來實現(xiàn)。首先，非下采樣金字塔濾波器用于實現(xiàn)非下采樣剪切波變換的多尺度剖分。隨后，把標準的剪切波濾波器從偽極化網(wǎng)格系統(tǒng)映射到笛卡爾坐標系統(tǒng)，利用傅里葉變換，直接通過二維卷積完成濾波，避免了下采樣操作，使其具有平移不變性。變換后各尺度上各方向子帶的大小都與原圖像相同，圖像的冗余度得到了很大的提高[4]。

1.2 稀疏表示

x=Dα

(3)

對于一個x及過完備字典D，式(3)有許多不同的解α，稀疏表示問題就是求解最稀疏的α,α∈RH×1，使α中的非零值個數(shù)最少。它可以轉(zhuǎn)化為以下最優(yōu)解的求解問題：

(4)

其中:‖α‖0代表α中包含的非零值個數(shù)，λ為常數(shù)。

由于式(4)是一個非凸函數(shù)，無法求出最優(yōu)解，因此它常常被轉(zhuǎn)化為一個l1范數(shù)問題，使它成為一個近凸函數(shù)，以得到最優(yōu)解：

(5)

目前，這種轉(zhuǎn)化方式被廣泛用于稀疏表示問題的求解。對于該l1范函數(shù)常用的求解方法包括正交匹配追蹤法(OrthogonalMatchingPursuit,OMP)、基本追蹤法(BasisPursuit,BP)、選定算子的最小絕對收縮法(theLeastAbsoluteShrinkageofSelectionOperator,LASSO)等[9]。本文采用正交匹配追蹤法(OMP)來計算最優(yōu)。

1.2.2 字典訓練 過完備字典的選取決定了信號稀疏編碼的能力，它在稀疏表示中起重要作用[13]。目前，字典的選取主要分為兩種，一種是利用DCT(DiscreteCosineTransform)、CVT等基函數(shù)作為字典，但它的適用性不強；另一種是通過對大量訓練集的學習得到字典，這種方法適用范圍廣且結(jié)果較好。本文采用學習的方式得到字典。

為了使字典更具通用性，能在不同變換域使用，且考慮到自然圖像變化較平緩的特點，采用自然圖像進行訓練。從自然圖像中提取100 000個8×8大小的圖像塊作為訓練集，使低頻分量上的分量可以很好地利用該字典進行稀疏表示。此外，為了更好地提取圖像塊的結(jié)構(gòu)信息，適應(yīng)本文低頻上采用的基于結(jié)構(gòu)的稀疏表示融合方法，令訓練后得到的字典中的每個原子均減去均值并除以其方差，以保證只包含圖像的結(jié)構(gòu)信息。

記W={w1,…,wj,…,wH}為訓練集，其中wj為自然圖像塊的結(jié)構(gòu)信息轉(zhuǎn)化后的列向量。通過解決下述問題得到訓練字典D：

(6)

其中:Λ={α1,…,αj,…,αH}代表一個包含稀疏表示系數(shù)的矩陣，Ω為算法中設(shè)定的非零系數(shù)個數(shù)的最大值。本文利用K-SVD算法求解最優(yōu)化問題[10]。

2 NSST與稀疏表示相結(jié)合的圖像融合算法

新的融合算法以多尺度變換融合框架為基礎(chǔ)，利用NSST多尺度、多方向、平移不變的特性把圖像分解成高頻子圖及低頻子圖，并針對不同子圖的變換域特性采用不同的融合策略。NSST變換后的低頻子圖是原始圖像的逼近表示，不具有“稀疏”性，因此，在低頻上采用稀疏表示，并結(jié)合多光譜圖像及全色圖像的圖像特性，利用結(jié)構(gòu)相似度對稀疏表示系數(shù)進行融合。NSST變換后的高頻子圖細節(jié)信息豐富且具有多方向性，采用改進的拉普拉斯能量和(Sum-Modified-Laplacian,SML)方法進行融合。

2.1 低頻圖像融合

一幅圖像可以分解為亮度、對比度及結(jié)構(gòu)3個要素[14]，亮度、對比度均表示了原圖像的光譜信息，因此，保留多光譜圖像亮度分量的低頻分量MIL的亮度、對比度信息，即保留原多光譜圖像的光譜信息；MIL的空間結(jié)構(gòu)信息與全色圖像的低頻分量PL的空間結(jié)構(gòu)信息則可利用稀疏表示原理最優(yōu)化表示，在此基礎(chǔ)上考慮保持多光譜圖像結(jié)構(gòu)的前提下注入更多的全色圖像的細節(jié)信息，以減少光譜失真。低頻融合流程如圖1所示。

圖1 低頻圖像融合流程Fig.1 The flow diagram of low frequency subband fusion algorithm

利用滑動窗口技術(shù)自左向右、自上而下將MIL、PL分為多個小塊對，其中滑動窗口重疊長度為b。對{MIL,PL}上的第t對圖像塊{x,y}，亮度記為當前塊中所有離散信號的均值{μx,μy}，對比度利用圖像塊方差的平方根來估計，記為{σx,σy}，圖像塊的結(jié)構(gòu)信息記為{sx,sy}。對每個圖像塊P，它的結(jié)構(gòu)s與均值μ、對比度σ的關(guān)系為：

(7)

每對圖像塊結(jié)構(gòu)信息的相似度定義為：

(8)

其中:C是為了避免分母為零而引入的常量，一般C取零。σxy表示為：

(9)

可以注意到，sx與sy的相關(guān)性實際上就是x與y的相關(guān)系數(shù)。

αf=(1-Cs(x,y))×αx+Cs(x,y)×αy

(10)

然后，利用字典D可得融合后圖像塊的結(jié)構(gòu)列向量ψf：

ψf=Dαf

(11)

FL(t)=(sf+μx)×σx

(12)

在圖1中n取4，即滑動塊大小為4×4，對應(yīng)字典大小為16×256。

2.2 高頻圖像融合

高頻子帶系數(shù)包含豐富的細節(jié)信息，稀疏性較好。由于圖像像素間存在較大的相關(guān)性，所以在融合過程中對每個像素利用當前像素及其局部區(qū)域內(nèi)的能量共同表示其特征。相較于常用的方差、能量、空間頻率等指標，改進的拉普拉斯能量和能更好地反映圖像的細節(jié)信息[15]。改進的拉普拉斯(ML)以及改進的拉普拉斯能量和(SML)表示為：

MLl,k(i,j)=|2Hl,k(i,j)-Hl,k(i-step,j)-Hl,k(i+step,j)|+

|2Hl,k(i,j)-Hl,k(i,j-step)-Hl,k(i,j+step)|

(13)

其中：Hl,k表示NSST變換后第l尺度第k方向上的高頻分量，step是一個可調(diào)變量，在本文中取1。

(14)

其中:參數(shù)A、B表示滑動窗口大小為(2A+1)×(2B+1),本文取3×3。

高頻子帶融合系數(shù)的計算式為：

(15)

其中:MIH、PH分別表示多光譜圖像亮度分量及全色圖像的NSST高頻分量，MIH_SML、PH_SML分別表示MIH及PH的改進的拉普拉斯能量和。

2.3NSST與稀疏表示相結(jié)合的融合算法步驟

新的融合算法實現(xiàn)步驟描述如下:1)將上采樣后大小與全色圖像P相同的多光譜圖像變換到IHS色彩空間，提出其中的亮度分量I記為MI;2)將MI與P分別進行NSST變換，得到低頻分量MIL和PL，以及高頻分量{MIH1,1,MIH1,2,…,MIH1,k}和{PH1,1,PH1,2,…,PH1,k};3)利用低頻圖像融合模型對MIL與PL進行融合得到低頻融合結(jié)果FL;4)利用高頻圖像融合模型對{MIH1,1,MIH1,2,…,MIH1,k}與{PH1,1,PH1,2,…,PH1,k}進行融合得到高頻融合結(jié)果{FH1,1,FH1,2,…,FH1,k};5)將低頻結(jié)果FL與高頻結(jié)果{FH1,1,FH1,2,…,FH1,k}進行NSST逆變換得到融合的亮度分量，記為FI；6)用融合的FI替代原IHS中的亮度分量并進行逆變換得到高分辨率多光譜的融合結(jié)果圖像。

3 實驗及其結(jié)果分析

本文提出的方法主要與以下5種方法進行比較：IHS[16]、基于小波的方法(IHS-WV)[17]、自適應(yīng)IHS(AIHS)[18]以及基于小波和稀疏表示的方法(IHS-WV-SR)[10,11]，此外，為了進一步驗證本文方法的有效性，將本文方法與直接利用NSST的方法(IHS-NSST)進行了對比。

3.1 數(shù)據(jù)及參數(shù)設(shè)計

WordView-2能夠提供0.46m分辨率全色圖像和1.8m分辨率的多光譜圖像,本文實驗數(shù)據(jù)包含了WordView-2多個區(qū)域的遙感圖像數(shù)據(jù)(http://www.datatang.com/datares/go.aspx？dataid=614242)，共有經(jīng)過幾何校正等預處理步驟的23對多光譜與全色圖像，其中多光譜圖像大小為128×128，全色圖像大小為512×512，并且提供了部分幾乎沒有光譜失真的高分辨率多光譜融合參考圖像用于融合質(zhì)量評價。為了使本文的實驗結(jié)果同時在光譜和空間細節(jié)上有一個更好的參照，筆者選用了該數(shù)據(jù)集提供的高質(zhì)量的參考圖像作為融合參考圖像。本文列出了海邊、植被以及住宅3組不同場景的實驗結(jié)果，每個區(qū)域都具有一定的特征，使實驗結(jié)果全面且具有代表性。

參數(shù)設(shè)計方面，IHS-WV和IHS-WV-SR方法中的小波均選用“db4”小波。IHS-WV的分解層數(shù)為4層，IHS-WV-SR方法中小波分解層選用原作者使用的1層，IHS-NSST方法和本文提出的方法中的非下采樣Shearlet變換均選用3層，每一尺度下其方向數(shù)均為[2 3 3]，濾波器參數(shù)設(shè)置為[3 5 5]。IHS-WV-SR及本文方法的稀疏表示中，Ω為6。對于滑塊的大小選取，考慮到太小的滑塊包含的邊緣紋理及邊緣細節(jié)信息不明顯，無法更好地提取并融合低頻分量上的結(jié)構(gòu)信息，而如果滑塊選取過大，則大大增加了稀疏表示融合計算的復雜度，因此，折中考慮，實驗中選用8×8大小的滑塊，對應(yīng)訓練的過完備字典大小為64×256；在稀疏表示中滑塊的步長選取上，考慮到圖像塊移動的步長對稀疏表示的耗時影響較大，步長過大時計算量雖小，但塊與塊間的獨立性大，可能會造成融合結(jié)果產(chǎn)生塊效應(yīng)[19]，而步長過小，則大大降低了運算效率，且塊與塊間重疊面積較大易導致重疊區(qū)域的平滑效應(yīng)，影響低頻分量的融合結(jié)果[10]，因此，折中考慮，步長選取4。

3.2 實驗結(jié)果及分析

按照前文介紹的算法原理和步驟，選用海邊、植被、住宅3組數(shù)據(jù)，對不同融合方法進行試驗。本文引用以下評價指標對圖像融合的結(jié)果進行評價：圖像相關(guān)系數(shù)(CorrelationCoefficient,CC)、光譜角映射(SpectralAngleMapper,SAM)、均方根誤差(RootMeanSquareError,RMSE)、相對平均光譜誤差(RelativeAverageSpectralError,RAME)、相對整體維數(shù)綜合誤差(RelativeGlobalDimensionalSynthesisError,ERGAS)[18]以及平均質(zhì)量指數(shù)(UniversalImageQualityIndex,UIQI)[20]。CC、SAM、RMSE、RAME用于評價圖像的光譜保持能力，ERGAS與UIQI從光譜和圖像細節(jié)信息保持兩方面評估圖像的全局質(zhì)量。

3.2.1 海邊圖像融合 海邊圖像既包含豐富的細節(jié)信息，又包含豐富的光譜信息，實驗結(jié)果如圖2(見封2)所示。從主觀上看，如圖2d、圖2e所示，AIHS方法相比IHS方法對圖像的光譜失真情況有所改進，但相對于參考圖像(圖2c)光譜損失都比較嚴重，顏色最淺；IHS-WV方法(圖2f)相比圖2d、圖2e顏色保持上稍好，而由于IHS-WV-SR方法(圖2g)在低頻上利用了稀疏表示進行融合，使其在光譜信息保持上有了更明顯的提升，顏色較深；圖2h的細節(jié)信息保持較好，這是由NSST的多尺度、多方向的特性決定的，但相比利用稀疏表示的方法(圖2g)而言光譜信息有缺失，顏色稍淺；而本文提出的方法(圖2i)則結(jié)合了圖2g、圖2h的優(yōu)點，不論在顏色還是細節(jié)上均最接近參考圖像2c，融合結(jié)果最好。

表1列出了海邊圖像數(shù)據(jù)融合結(jié)果的客觀評價指標，其呈現(xiàn)結(jié)果與主觀結(jié)果相吻合。通過比較CC、SAM、RASE、RMSE可以看到，IHS、AIHS、IHS-WV的光譜特性相對較差，ERGAS、UIQI表現(xiàn)出的整體融合質(zhì)量也不好。IHS-NSST與IHS-WV-SR相比,IHS-WV-SR的光譜信息保持較好，而IHS-NSST的SAM和UIQI稍好，說明NSST變換能夠更好地保持圖像的幾何結(jié)構(gòu)和細節(jié)信息。而本文提出的方法不論從光譜保持指標還是全局指標上看都比其他方法的結(jié)果有明顯提升，這是由于本文結(jié)合了IHS-WV-SR、IHS-NSST方法的優(yōu)點，既利用了IHS-NSST的多尺度、多方向的幾何特性與細節(jié)保持能力，又采用了新的稀疏表示融合算法更好地保留了圖像的光譜信息，減少光譜畸變，使圖像融合效果提升明顯。

表1 海邊圖像不同算法融合結(jié)果的客觀評價指標Table 1 Objective indicators for seaside image of different fusion algorithms

3.2.2 植被圖像融合 植被圖像包含了豐富的光譜信息。圖3(見封2)的結(jié)果在光譜和空間細節(jié)差異在主觀上表現(xiàn)最為明顯。IHS方法(圖3d)和AIHS方法(圖3e)都存在較大的光譜失真，色彩差異嚴重；IHS-WV方法(圖3f)光譜信息有所改進，而利用稀疏表達的IHS-WV-SR方法(圖3g)則在光譜信息的保留上又有了進一步的提升，顏色更深，更接近參考圖像；IHS-NSST在細節(jié)信息上的表現(xiàn)均比其他要好(圖3h)，這一點在植被圖像中主觀上看到的最為明顯，但顏色稍淺，在光譜信息保持上不如IHS-WV-SR(圖3g)。而本文提出的方法則在細節(jié)、光譜信息上均有最好的表現(xiàn)(圖3i)，最接近圖3c。

表2列出了植被圖像數(shù)據(jù)融合結(jié)果的客觀評價指標，植被圖像主觀上展示的結(jié)果同樣被證明。本文的方法在所有指標上都表現(xiàn)最好。比較CC、SAM、RASE、RMSE幾種指標得出，IHS與AIHS光譜失真較嚴重，而由于植被圖像光譜信息較豐富，使得IHS-WV-SR光譜保持能力的優(yōu)點更為明顯，除了UIQI稍差于IHS-NSST外，其余指標都比IHS-NSST好。而本文將NSST與稀疏表示相結(jié)合的算法的融合結(jié)果則一致呈現(xiàn)了最好的結(jié)果。

表2 植被圖像不同算法融合結(jié)果的客觀評價指標Table 2 Objective indicators for vegetation image of different fusion algorithms

3.2.3 住宅圖像融合 住宅區(qū)域包含了豐富的細節(jié)信息，其總體表現(xiàn)與圖2、圖3一致，且本文提出的方法圖像細節(jié)信息更為精細，光譜保持最好，顏色最接近于參考圖像。表3列出了住宅圖像數(shù)據(jù)融合結(jié)果的客觀評價指標，整體趨勢和表1一致，由于住宅圖像細節(jié)信息較豐富，IHS-NSST方法的幾何結(jié)構(gòu)及細節(jié)信息保持能力的優(yōu)點更為突出，表現(xiàn)為SAM、UIQI結(jié)果優(yōu)于IHS-WV-SR，從其他指標來看，IHS-WV-SR依舊表現(xiàn)了較好的光譜信息。而本文方法在所有指標上都表現(xiàn)最好，這也證明了本文方法的有效性。

綜上所述，對于不同特征的圖像，新的融合算法均能從光譜特性和空間細節(jié)特性兩方面對融合結(jié)果進行改善，使其在主觀和客觀上均表現(xiàn)較好。

表3 住宅圖像不同算法融合結(jié)果的客觀評價指標Table 3 Objective indicators for residential image of different fusion algorithms

4 總結(jié)與展望

為改善現(xiàn)有遙感圖像融合算法存在的光譜信息及空間細節(jié)信息難以同時保留的問題，本文提出了一種新的結(jié)合NSST變換與稀疏表示的圖像融合算法，并通過對WorldView-2海邊、植被、住宅3組數(shù)據(jù)實驗結(jié)果的分析得出：1)基于NSST的圖像分解能夠有效保留圖像的空間細節(jié)、結(jié)構(gòu)信息。2)基于結(jié)構(gòu)相似度的稀疏表示加權(quán)融合規(guī)則，在提高空間分辨率的同時，更有效地降低了光譜失真。3)將NSST與稀疏表示方法相結(jié)合用于多光譜圖像與全色圖像的融合，在保持融合結(jié)果分辨率較高的同時光譜保真好，融合圖像整體質(zhì)量上得到了有效提升。在今后的研究中可以考慮采用并行處理進一步提升稀疏表示運算速度。此外，NSST變換不同分解層次對實驗結(jié)果有不同的影響，分解層次的最優(yōu)情況是下一步研究的重點。

感謝Liu等[10,11]提供的代碼及實驗數(shù)據(jù)的提供者北航數(shù)字媒體北京市重點實驗室！

[1] GONZALEZ-AUDICANA M,SEALETA J L,CATALAN R G,et al.Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing,2004,42(6):1291-1299.

[2] LI H,AN W,XU H,et al.Multisensor data fusion method to discern point targets[A].Signal and Data Processing of Small Targets 1997[C].San Diego:Proceedings of the SPIE,1997.575-582.

[3] SHAH V P,YOUNAN N H,KING R L.An efficient pan-sharpening method via a combined adaptive PCA approach and contourlets[J].IEEE Transactions on Geoscience and Remote Sensing,2008,46(5):1323-1335.

[4] EASLEY G,LABATE D,LIM W Q.Sparse directional image representations using the discrete shearlet transform[J].Applied and Computational Harmonic Analysis,2008,25(1):25-46.

[5] ZHANG L,SHEN H,GONG W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B:Cybernetics,2012,42(6):1693-1704.

[6] DONOHO D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[7] LI S,YANG B.A new pan-sharpening method using a compressed sensing technique[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(2):738-746.

[8] NEJATI M,SAMAVI S,SHIRANI S.Multi-focus image fusion using dictionary-based sparse representation[J].Information Fusion,2014,25:72-84.

[9] WANG W,JIAO L,YANG S.Fusion of multispectral and panchromatic images via sparse representation and local autoregressive model[J].Information Fusion,2014,20:73-87.

[10] LIU Y,LIU S,WANG Z.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[11] LIU Y,WANG Z.A practical pan-sharpening method with wavelet transform and sparse representation[A].IEEE International Conference on Imaging Systems and Techniques[C].Beijing:IEEE,2013.288-293.

[12] GUO K,LABATE D.Optimally sparse multidimensional representation using shearlets[J].SIAM Journal on Mathematical Analysis,2007,39(1):298-318.

[13] JIANG C,ZHANG H,SHEN H,et al.A practical compressed sensing-based pan-sharpening method[J].IEEE Geoscience and Remote Sensing Letters,2012,9(4):629-633.

[14] WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:From error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[15] QU X B,YAN J W,YANG G D.Multifocus image fusion method of sharp frequency localized Contourlet transform domain based on sum-modified-Laplacian[J].Optics and Precision Engineering,2009,17(5):1203-1211.

[16] TU T M,HUANG P S,HUNG C L,et al.A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):309-312.

[17] PRADHAN P S,KING R L,YOUNAN N H,et al.Estimation of the number of decomposition levels for a wavelet-based multiresolution multisensor image fusion[J].IEEE Transactions on Geoscience and Remote Sensing,2006,44(12):3674-3686.

[18] RAHMANI S,STRAIT M,MERKURJEV D,et al.An adaptive IHS pan-sharpening method[J].IEEE Geoscience and Remote Sensing Letters,2010,7(4):746-750.

[19] YANG B,LI S.Multifocus image fusion and restoration with sparse representation[J].IEEE Transactions on Instrumentation and Measurement,2010,59(4):884-892.

[20] ALPARONE L,BARONTI S,GARZELLI A,et al.A global quality measurement of pan-sharpened multispectral imagery[J].IEEE Geoscience and Remote Sensing Letters,2004,1(4):313-317.

A New Algorithm for Remote Sensing Image Fusion Based on NSST and Sparse Representation

JIN Yi-ru1,YANG Xue-zhi1,2,DONG Zhang-yu1,ZHENG Xin2,LI Guo-qiang2

(1.SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009; 2.ScienceandTechnologyonElectro-opticControlLaboratory,Luoyang471009,China)

In order to remain both spatial and spectral information in remote sensing image fusion,a novel method based on a combination of Non-Subsampled Shearlet Transform (NSST) and Sparse Representation (SR) is presented.Firstly,source images are decomposed into low-pass and high-pass subbands by NSST,based on its characteristics of flexible multiscale,multidirection,and shift-invariant.Secondly,due to the characteristic of the SR effectively capturing the structural features of image,a weighted fusion rule based on the structure correlation coefficients of the SR is adopted in the low-frequency components to reduce spectral distortion,while a method based on Sum-Modified-Laplacian is adopted in the high-frequency components to preserve detail information.Finally,the fusion result is reconstructed by the inverse NSST and the inverse IHS transform.The proposed method is verified by WorldView-2 source data in separate scenes.Experimental results show that the proposed method can obtain better performance than the fusion methods based on IHS,AIHS,IHS-WV,IHS-WV-SR and IHS-NSST,whether in visual or indicator parameters.

image fusion;multispectral image;panchromatic image;NSST;sparse representation

2015-10-14；

2015-12-05

國家自然科學基金項目(61371154、41076120、61271381、61102154)；光電控制技術(shù)重點實驗室和航空科學基金聯(lián)合資助項目(201301P4007)；中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(2012HGCX0001)；中央高校基本科研業(yè)務(wù)費專項資金資助項目(2014HGBZ0362)；合肥工業(yè)大學青年教師創(chuàng)新項目(2015HGQC0193)

金益如(1993-)，女，碩士研究生，研究方向為圖像融合。*通訊作者E-mail:xzyang@hfut.edu.cn

10.3969/j.issn.1672-0504.2016.02.012

TP751

A

1672-0504(2016)02-0060-07