一種國產(chǎn)高分衛(wèi)星遙感影像變分融合方法

尹 峰， 孟祥超， 梁 鵬

(1.湖北省國土資源研究院，武漢 430071； 2. 武漢大學(xué)資源與環(huán)境科學(xué)學(xué)院，武漢 430079)

0 引言

近年來，國產(chǎn)高分衛(wèi)星得到了快速發(fā)展，然而，相比于QuickBird和IKONOS等國外衛(wèi)星影像，部分國產(chǎn)高分衛(wèi)星(如高分一號(hào)(GF-1)、高分二號(hào)(GF-2)和吉林一號(hào)等)各波段影像相對(duì)較模糊。因此，有針對(duì)性地發(fā)展國產(chǎn)高分衛(wèi)星遙感影像全色/多光譜波段的融合方法，以提高影像數(shù)據(jù)的整體質(zhì)量十分必要。

全色/多光譜影像融合方法起源于20世紀(jì)80年代[1-2]。1986年SPOT-1衛(wèi)星同時(shí)提供全色和多光譜影像以來，融合方法得到了近30 a的快速發(fā)展。一般而言，融合方法可歸為3類[3-4]： 成分替換類融合方法、多分辨率分析融合方法和基于模型的融合方法。其中，成分替換類方法是最簡單的也是最流行的融合方法，該類方法已被廣泛應(yīng)用到了ENVI和ERDAS等專業(yè)遙感軟件中。該類方法首先基于光譜變換得到亮度分量，然后通過全色影像替換亮度分量的方式對(duì)多光譜影像進(jìn)行空間信息增強(qiáng)，經(jīng)典方法有主成分分析融合方法[5]、Gram-Schimidt(GS)融合方法[6]、Intensity-Hue-Saturation (IHS) 融合方法[5]等。多分辨率分析融合方法基于小波變換或拉普拉斯金字塔等工具提取全色影像的高空間結(jié)構(gòu)信息，并采用一定的注入模型將提取的空間結(jié)構(gòu)信息注入到多光譜影像中得到高空間分辨率融合影像[7]，如多孔小波融合方法[8]、拉普拉斯金字塔融合方法[9]和Contourlet 小波融合方法[10]等。針對(duì)成分替換類融合方法和多分辨率分析融合方法，Tu 等[11]進(jìn)一步將其擴(kuò)展到同一個(gè)融合框架，很大程度上促進(jìn)了全色/多光譜融合方法的發(fā)展。

盡管已提出了大量成分替換類融合方法和多分辨率分析融合方法，然而這些方法都是根據(jù)某種假設(shè)進(jìn)行簡單正向求解得到融合影像，缺少強(qiáng)有力的數(shù)學(xué)理論基礎(chǔ)和嚴(yán)密的邏輯關(guān)系，因此基于模型的影像融合方法[12-15]的開發(fā)得到了廣泛關(guān)注。該類方法將融合影像的求解過程看成病態(tài)逆問題，基于影像觀測模型建立能量函數(shù)，通過優(yōu)化求解得到融合影像。其中，基于變分的融合方法[16-17]最具代表性，其建立的能量函數(shù)總體可分為3項(xiàng)： 光譜保真項(xiàng)、空間增強(qiáng)項(xiàng)和先驗(yàn)項(xiàng)，三者之中光譜保真項(xiàng)和空間增強(qiáng)項(xiàng)最為關(guān)鍵。然而現(xiàn)有方法中這2項(xiàng)對(duì)影像數(shù)據(jù)特點(diǎn)考慮不足，主要表現(xiàn)為光譜保真項(xiàng)僅簡單考慮融合影像各波段與多光譜觀測影像對(duì)應(yīng)波段之間一對(duì)一的空間降質(zhì)關(guān)系，對(duì)影像波段間光譜關(guān)系考慮不足； 空間增強(qiáng)項(xiàng)則未顧及國產(chǎn)衛(wèi)星全色影像存在的模糊降質(zhì)問題。

因此，針對(duì)上述問題，本文提出一種基于變分的國產(chǎn)高分衛(wèi)星全色/多光譜融合方法。該方法充分考慮國產(chǎn)高分衛(wèi)星影像特點(diǎn)，基于光譜梯度的三維光譜高保真項(xiàng)和顧及全色影像模糊降質(zhì)的改進(jìn)空間增強(qiáng)項(xiàng)，對(duì)國產(chǎn)高分衛(wèi)星遙感影像在有效提升多光譜影像空間分辨率的同時(shí)，最大程度地保持其光譜信息。

1 理論與方法

充分考慮融合影像與全色、多光譜影像之間的關(guān)系，以及國產(chǎn)高分衛(wèi)星影像特點(diǎn)，提出一種基于變分的全色/多光譜高保真融合方法。假設(shè)融合影像為X=[X1,X2，...，XB]T，其中B為波段數(shù)，原始多光譜影像為Y=[Y1,Y2，...，YB]T，全色影像為Z，則融合模型表示為

E(X)=fspectral(Y,X)+fspatial(Z,X)+fprior(X) ,

(1)

式中：fspectral(Y,X)為光譜保真項(xiàng)，建立融合影像X與多光譜影像Y之間的關(guān)系；fspatial(Z,X)為空間增強(qiáng)項(xiàng)，建立融合影像X與全色影像Z之間的關(guān)系；fprior(X)為先驗(yàn)項(xiàng)。

1.1 改進(jìn)的三維光譜高保真項(xiàng)

傳統(tǒng)光譜保真項(xiàng)基于多光譜影像模型[1, 15, 18]，建立融合影像各波段與多光譜影像相應(yīng)波段之間一對(duì)一的空間降質(zhì)關(guān)系，表示為

(2)

式中：A表示模糊降采樣過程；b表示波段序號(hào)。然而，該保真項(xiàng)對(duì)多光譜影像波段與波段之間的光譜關(guān)系考慮不足，故提出基于光譜梯度的三維光譜高保真項(xiàng)，即

(3)

1.2 改進(jìn)的空間增強(qiáng)項(xiàng)

傳統(tǒng)空間增強(qiáng)項(xiàng)假設(shè)理想高空間分辨率融合影像和全色影像具有相似的空間結(jié)構(gòu)信息，然而，通過比較國產(chǎn)衛(wèi)星(如GF-1，GF-2和吉林一號(hào)等)全色影像與國外衛(wèi)星(QuickBird和IKONOS等)全色影像發(fā)現(xiàn)，國產(chǎn)高分衛(wèi)星全色影像相對(duì)較模糊。基于梯度結(jié)構(gòu)信息，提出顧及全色影像模糊降質(zhì)的改進(jìn)空間增強(qiáng)項(xiàng)，合理建立理想高空間分辨率融合影像與全色影像之間的關(guān)系，即

fspatial(Z,Xb)=‖Z-,

(4)

fspatial(Z,Xb)=‖Z-f(,

(5)

式中f(·)表示矩匹配函數(shù)[19]。

1.3 融合模型與優(yōu)化求解

基于改進(jìn)的三維光譜高保真項(xiàng)和顧及全色影像模糊降質(zhì)的空間增強(qiáng)項(xiàng)，并結(jié)合經(jīng)典拉普拉斯先驗(yàn)建立融合目標(biāo)函數(shù)，即

(6)

式中λ1和λ2為正則化參數(shù)。

針對(duì)目標(biāo)函數(shù)，通過梯度下降法求解得到融合影像。

對(duì)式(6)求導(dǎo)，即

(7)

式中：ΔH和ΔV分別為水平方向和垂直方向上的拉普拉斯運(yùn)算； (·)std為標(biāo)準(zhǔn)差運(yùn)算。

通過連續(xù)的迭代逼近運(yùn)算得到融合影像，迭代公式為

(8)

式中：n為迭代次數(shù)；tb,n為第b波段的迭代步長，通過對(duì)目標(biāo)函數(shù)進(jìn)行二階泰勒級(jí)數(shù)展開得到。迭代終止條件為

(9)

式中d為預(yù)設(shè)迭代終止閾值，本文設(shè)置為10-7。

2 實(shí)驗(yàn)與分析

選用GF-1和GF-2國產(chǎn)衛(wèi)星影像進(jìn)行融合實(shí)驗(yàn)。其中，GF-1影像數(shù)據(jù)獲取地點(diǎn)為捷克某地，獲取時(shí)間為2013年4月28日，全色影像空間分辨率為2 m，多光譜影像空間分辨率為8 m。GF-2影像數(shù)據(jù)獲取地點(diǎn)為伊朗某地，獲取時(shí)間為2014年9月4日，全色影像空間分辨率為0.81 m，多光譜影像空間分辨率為3.24 m。為了進(jìn)行全面驗(yàn)證，所選用實(shí)驗(yàn)數(shù)據(jù)包含了植被、水體、建筑物和農(nóng)田等多種地表覆蓋類型，并基于模擬實(shí)驗(yàn)和真實(shí)實(shí)驗(yàn)，從定性和定量2方面分別對(duì)融合方法進(jìn)行評(píng)價(jià)分析，其中定量評(píng)價(jià)采用全色/多光譜融合中4個(gè)最常用的評(píng)價(jià)指標(biāo)，包括相關(guān)系數(shù) (correlation coefficient，CC)[15]、峰值信噪比(peak signal-to-noise ratio，PSNR)[20]、相對(duì)全局誤差 (relative dimensionless global error in synthesis，ERGAS)[21]和光譜角(spectral angle mapper，SAM)[15]。此外，提出方法與典型的GS融合方法、局部自適應(yīng)成份替換融合方法(partial replacement adaptive component substitution，PRACS)[22]和ATWT-M3融合方法[8]進(jìn)行比較分析。為了進(jìn)一步驗(yàn)證改進(jìn)的三維光譜高保真項(xiàng)在融合影像光譜保持上的優(yōu)勢，實(shí)驗(yàn)結(jié)果與基于傳統(tǒng)光譜保真項(xiàng)的融合結(jié)果也進(jìn)行了對(duì)比。本文提出方法中模型參數(shù)根據(jù)大量實(shí)驗(yàn)測試以人工經(jīng)驗(yàn)設(shè)定，除特別說明外，參數(shù)設(shè)置為：λ1=10，λ2=0.001，空間增強(qiáng)項(xiàng)模糊核大小根據(jù)全色與多光譜空間分辨率比率設(shè)定為(2r+1)×(2r+1)，其中空間分辨率比率r=4，方差為0.5。

2.1 模擬實(shí)驗(yàn)

根據(jù)Wald等[23]提出的獲取參考影像的方法，首先，按全色和多光譜影像空間分辨率比率對(duì)原始影像數(shù)據(jù)進(jìn)行空間降質(zhì)； 然后，原始多光譜影像作為參考影像對(duì)融合結(jié)果進(jìn)行評(píng)價(jià)。模擬實(shí)驗(yàn)采用GF-1和GF-2衛(wèi)星影像數(shù)據(jù)，實(shí)驗(yàn)結(jié)果分別如圖1和圖2所示。從定性評(píng)價(jià)方面，GF-1實(shí)驗(yàn)結(jié)果中GS方法具有較好的空間結(jié)構(gòu)信息，但存在較大的光譜畸變； PRACS和ATWT-M3的融合結(jié)果光譜保持較好，但空間結(jié)構(gòu)信息較模糊。相比于其他方法，本文方法在2種光譜保真項(xiàng)模式下均能取得較好的融合效果，在色彩上更加接近參考影像，同時(shí)空間結(jié)構(gòu)更加清晰。與GF-1融合結(jié)果相比，GF-2模擬實(shí)驗(yàn)結(jié)果視覺上GS方法融合效果在光譜上有所改善； 其他方法展現(xiàn)出與GF-1類似的實(shí)驗(yàn)結(jié)果。進(jìn)一步開展定量評(píng)價(jià)研究，定量評(píng)價(jià)結(jié)果如表1和表2所示。

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統(tǒng)光譜保真項(xiàng)融合方法 (g) 本文方法 (h) 參考影像

圖1GF-1模擬實(shí)驗(yàn)結(jié)果

Fig.1FusionresultsoftheGF-1simulatedexperiment

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統(tǒng)光譜保真項(xiàng)融合方法 (g) 本文方法 (h) 參考影像

圖2 GF-2模擬實(shí)驗(yàn)結(jié)果Fig.2 Fusion results of the GF-2 simulated experiment表1 GF-1模擬實(shí)驗(yàn)定量評(píng)價(jià)Tab.1 Quantitative evaluation of the fusion results in the GF-1 simulated experiment

表2 GF-2模擬實(shí)驗(yàn)定量評(píng)價(jià)Tab.2 Quantitative evaluation of the fusion results in the GF-2 simulated experiment

從表1和表2可以發(fā)現(xiàn)，相比于其他方法，本文方法定量評(píng)價(jià)結(jié)果最好，其中最優(yōu)定量評(píng)價(jià)結(jié)果以加粗表示，次之以斜體表示。相比于傳統(tǒng)光譜保真項(xiàng)，本文方法基于三維光譜保真項(xiàng)在光譜保持上也更有優(yōu)勢。其中，在CC，PSNR，ERGAS和SAM這4個(gè)定量評(píng)價(jià)指標(biāo)中，SAM優(yōu)勢較為明顯，這是因?yàn)楦倪M(jìn)的三維光譜保真項(xiàng)可更好地保持波段間光譜關(guān)系，具有更佳的光譜保持能力。

2.2 真實(shí)實(shí)驗(yàn)

基于原始GF-1和GF-2影像數(shù)據(jù)進(jìn)行真實(shí)實(shí)驗(yàn)。由于在該實(shí)驗(yàn)中沒有參考影像，根據(jù)Wald準(zhǔn)則[23]，將融合影像重采樣到與原始多光譜影像相同的空間分辨率進(jìn)行定量評(píng)價(jià)。實(shí)驗(yàn)結(jié)果分別如圖3和圖4所示，表3和表4分別為定量評(píng)價(jià)結(jié)果。通過與模擬實(shí)驗(yàn)結(jié)果對(duì)比發(fā)現(xiàn)，真實(shí)實(shí)驗(yàn)在定性和定量上總體展示了類似的結(jié)果。但是，GF-2真實(shí)實(shí)驗(yàn)中，GS融合結(jié)果在目視上具有較好的空間結(jié)構(gòu)信息，這是因?yàn)樵谠搶?shí)驗(yàn)數(shù)據(jù)中，多光譜影像白色建筑物在重采樣過程中存在較為明顯的膨脹現(xiàn)象，導(dǎo)致多光譜影像與全色影像存在一定的地物不匹配現(xiàn)象，GS方法通過全部成分替換的方式更有利于空間信息的增強(qiáng)，而這也造成了其融合影像的光譜信息存在一定的損失，可從表3和表4定量評(píng)價(jià)指標(biāo)上明顯看出。在進(jìn)行實(shí)驗(yàn)對(duì)比的各種方法中，本文提出的改進(jìn)高保真融合方法在光譜保持和空間信息增強(qiáng)方面總體表現(xiàn)最好，相比于傳統(tǒng)光譜保真項(xiàng)，在所有定量評(píng)價(jià)指標(biāo)上均有所提升，其中以SAM提升最為明顯，分別提升了19%和40%，具有明顯的優(yōu)勢。

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統(tǒng)光譜保真項(xiàng)融合方法 (g)本文方法

圖3GF-1真實(shí)實(shí)驗(yàn)結(jié)果

Fig.3FusionresultsoftheGF-1realexperiment

(a) 多光譜影像 (b) 全色影像 (c) GS方法 (d) PRACS方法

(e) ATWT-M3方法 (f) 基于傳統(tǒng)光譜保真項(xiàng)融合方法 (g) 本文方法

圖4 GF-2真實(shí)實(shí)驗(yàn)結(jié)果Fig.4 Fusion results of the GF-2 real experiment表3 GF-1真實(shí)實(shí)驗(yàn)定量評(píng)價(jià)Tab.3 Quantitative evaluation of the fusion results in the GF-1 real experiment

表4 GF-2真實(shí)實(shí)驗(yàn)定量評(píng)價(jià)Tab.4 Quantitative evaluation of the fusion results in the GF-2 real experiment

3 結(jié)論

本文針對(duì)現(xiàn)有全色/多光譜融合方法對(duì)國產(chǎn)高分衛(wèi)星遙感影像數(shù)據(jù)特點(diǎn)考慮不足的缺點(diǎn)，提出了一種針對(duì)國產(chǎn)高分衛(wèi)星全色/多光譜遙感影像的高保真變分融合方法。

1)在模型構(gòu)建中，充分考慮融合影像波段間關(guān)系保持，發(fā)展了基于光譜梯度的三維光譜高保真模型，并考慮國產(chǎn)衛(wèi)星全色影像模糊降質(zhì)的問題，進(jìn)一步發(fā)展了顧及全色降質(zhì)的空間增強(qiáng)模型。

2)實(shí)驗(yàn)結(jié)果表明，本文方法相比于對(duì)照實(shí)驗(yàn)的其他方法，具有良好的光譜信息保持和空間信息增強(qiáng)能力，針對(duì)國產(chǎn)衛(wèi)星影像可得到最優(yōu)的融合結(jié)果。

3)不足之處在于現(xiàn)有方法求解效率相對(duì)較低，后期研究將引入并行計(jì)算等加速策略，進(jìn)一步提升模型求解效率。

參考文獻(xiàn)(References)：

[1] Shen H F,Meng X C,Zhang L P.An integrated framework for the spatio-temporal-spectral fusion of remote sensing images[J].IEEE Transactions on Geoscience and Remote Sensing,2016,54(12):7135-7148.

[2] 張良培,沈煥鋒.遙感數(shù)據(jù)融合的進(jìn)展與前瞻[J].遙感學(xué)報(bào),2016,20(5):1050-1061.

Zhang L P,Shen H F.Progress and future of remote sensing data fusion[J].Journal of Remote Sensing,2016,20(5):1050-1061.

[3] Aiazzi B,Alparone L,Baronti S,et al.Twenty-five years of pansharpening:A critical review and new developments[M]//Chen C H.Signal and Image Processing for Remote Sensing.2nd edition.Boca Raton,FL: CRC Press,2012:533-548.

[4] Vivone G,Alparone L,Chanussot J,et al.A critical comparison among pansharpening algorithms[J].IEEE Transactions on Geoscience and Remote Sensing,2014,53(5):2565-2586.

[5] Chavez Jr P S,Sides S C,Anderson J A.Comparison of three different methods to merge multiresolution and multispectral data: Landsat TM and SPOT panchromatic[J].Photogrammetric Engineering and Remote Sensing,1991,57(3):295-303.

[6] Laben C A,Brower B V.Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening:United States,6011875[P].2000-01-04.

[7] Meng X C,Li J,Shen H F,et al.Pansharpening with a guided filter based on three-layer decomposition[J].Sensors,2016,16(7):1068.

[8] Ranchin T,Wald L.Fusion of high spatial and spectral resolution images:The ARSIS concept and its implementation[J].Photogrammetric Engineering and Remote Sensing,2000,66(1):49-61.

[9] Alparone L,Aiazzi B.MTF-tailored multiscale fusion of high-resolution MS and Pan imagery[J].Photogrammetric Engineering and Remote Sensing,2006,72(5):591-596.

[10] 李文靜,溫文鵬,王清和.基于Contourlet變換的遙感圖像融合方法研究[J].國土資源遙感,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

Li W J,Wen W P,Wang Q H.A study of remote sensing image fusion method based on Contourlet transform[J].Remote Sensing for Land and Resources,2015,27(2):44-50.doi:10.6046/gtzyyg.2015.02.07.

[11] Tu T M,Su S C,Shyu H C,et al.A new look at IHS-like image fusion methods[J].Information Fusion,2001,2(3):177-186.

[12] Meng X C,Shen H F,Li H F,et al.Improving the spatial resolution of hyperspectral image using panchromatic and multispectral images:An integrated method[C]//Proceedings of the 7th Workshop on Hyperspectral Image and Signal Processing:Evolution in Remote Sensing (WHISPERS).Tokyo,Japan:IEEE,2015:1-4.

[13] 孟祥超,沈煥鋒,張洪艷,等.基于梯度一致性約束的多光譜/全色影像最大后驗(yàn)融合方法[J].光譜學(xué)與光譜分析,2014,34(5):1332-1337.

Meng X C,Shen H F,Zhang H Y,et al.Maximum a posteriori fusion method based on gradient consistency constraint for multispectral/panchromatic remote sensing images[J].Spectroscopy and Spectral Analysis,2014,34(5):1332-1337.

[14] Meng X C,Shen H F,Zhang L P,et al.A unified framework for spatio-temporal-spectral fusion of remote sensing images[C]//Proceedings of IEEE International Geoscience and Remote Sensing Symposium (IGARSS).Milan,Italy:IEEE,2015:2584-2587.

[15] Zhang L P,Shen H F,Gong W,et al.Adjustable model-based fusion method for multispectral and panchromatic images[J].IEEE Transactions on Systems,Man,and Cybernetics,Part B (Cybernetics),2012,42(6):1693-1704.

[16] Ballester C,Caselles V,Igual L,et al.A variational model for P+XS image fusion[J].International Journal of Computer Vision,2006,69(1):43-58.

[17] Palsson F,Sveinsson J R,Ulfarsson M O.A new pansharpening algorithm based on total variation[J].IEEE Geoscience and Remote Sensing Letters,2014,11(1):318-322.

[18] Shen H F,Zhang L P,Huang B,et al.A MAP approach for joint motion estimation,segmentation, and super resolution[J].IEEE Transactions on Image Processing,2007,16(2):479-490.

[19] Li H F,Zhang L P,Shen H F,et al.A variational gradient-based fusion method for visible and SWIR imagery[J].Photogrammetric Engineering and Remote Sensing,2012,78(9):947-958.

[20] Wang Z,Bovik A C.Mean squared error:Love it or leave it? A new look at signal fidelity measures[J].IEEE Signal Processing Magazine,2009,26(1):98-117.

[21] Wald L.Quality of high resolution synthesised images: Is there a simple criterion?[C]//Proceedings of the 3rd Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”. Sophia Antipolis,France:SEE/URISCA,2000:99-103.

[22] Choi J,Yu K,Kim Y.A new adaptive component-substitution-based satellite image fusion by using partial replacement[J].IEEE Transactions on Geoscience and Remote Sensing,2011,49(1):295-309.

[23] Wald L,Ranchin T,Mangolini M.Fusion of satellite images of different spatial resolutions:Assessing the quality of resulting images[J].Photogrammetric Engineering And Remote Sensing,1997,63(6):691-699.