基于多尺度光譜增益調(diào)制的遙感影像融合方法

劉 軍，邵振峰

1.武漢大學(xué)遙感信息工程學(xué)院，湖北武漢430079；2.武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北武漢430079

1 引 言

目前已有多種遙感影像融合方法［1］，最常用的是亮度－色調(diào)－飽和度（IHS）變換［2］、PCA變換［3］、Brovey變換（BT）［4］。這三個(gè)方法的優(yōu)勢(shì)在于能夠獲取到與原始全色影像（PAN）幾乎一樣的空間分辨率，但是最大的問(wèn)題在于存在嚴(yán)重的光譜扭曲［5］?；谛〔ㄗ儞Q（WT）［6－9］的多分辨率分析（MRA）的引入，為改善光譜扭曲開(kāi)辟了一條新的途徑，因?yàn)樾〔ㄗ儞Q能夠在不同尺度上描述和提取影像的空間細(xì)節(jié)信息和光譜信息。但是任何方法都有它的局限性，不可能同時(shí)在空間分辨率和光譜分辨率上達(dá)到最好的效果，例如IHS、PCA和BT能夠幾乎完全保持全色影像的空間分辨率，但是在光譜分辨率上會(huì)有不同程度的光譜扭曲，而WT等MRA方法能夠保持原始多光譜影像更多的光譜信息，但是會(huì)在不同程度上損失全色影像的空間細(xì)節(jié)信息。因此一個(gè)好的影像融合方法應(yīng)該在保持空間細(xì)節(jié)和減少光譜扭曲兩方面取得平衡。

在這種背景下，文獻(xiàn)［10］提出了廣義IHS（generalized IHS，GIHS）的方法，在RGB－IHS的非線性轉(zhuǎn)換模型中找到了光譜扭曲的原因，并且得出是由于飽和度變化引起光譜扭曲的結(jié)論。本文在此工作的基礎(chǔ)上，結(jié)合光譜增益曲面，提出了多尺度光譜增益調(diào)制的遙感影像融合方法。通過(guò)試驗(yàn)并與傳統(tǒng)方法進(jìn)行了比較，證明本文方法在平衡空間細(xì)節(jié)和光譜信息方面具有較大優(yōu)勢(shì)。

2 GIHS和光譜扭曲

文獻(xiàn)［10］由RGB－IHS的線性轉(zhuǎn)換公式導(dǎo)出GIHS公式

式中，（Rnew，Gnew，Bnew）為融合結(jié)果影像；（R0，G0，B0）為原始多光譜影像；δ＝Inew－I0、I0和Inew分別為原始多光譜影像亮度分量和新的亮度分量。通常在IHS變換中，Inew由全色影像對(duì)著I0進(jìn)行直方圖匹配而得到。常用的一些其他融合方法，如PCA變換、Brovey變換、Wavelet變換等，都可以統(tǒng)一歸納為GIHS方法，這便為分析這些方法的光譜扭曲原因提供了思路。根據(jù)采用的變換方法不同，Inew的表達(dá)式不同，因此δ的表達(dá)式也不同，具體可以參閱文獻(xiàn)［10］。在另一種RGB－IHS的非線性轉(zhuǎn)換關(guān)系中

按式（2）分別計(jì)算H和S分量，可以得出：Hnew＝H0，Snew≠S0，且S的差值為

由于X0是最小值，所以I0－X0≥0，而δ不一定等于0，因此ΔS不一定等于0，從而導(dǎo)致融合前后飽和度發(fā)生了變化，于是便產(chǎn)生了光譜扭曲。而根據(jù)顏色視覺(jué)機(jī)理，色調(diào)對(duì)應(yīng)于不同波長(zhǎng)的光所引起的不同感覺(jué)，而飽和度則表示了顏色的純度，因此，色調(diào)和飽和度可以共同描述顏色的光譜信息。從這一點(diǎn)可以推論出，如果能盡可能地讓?duì)＝0，同時(shí)保持H不變，則可以降低由于飽和度改變而引起的光譜扭曲，從而更好地保持光譜信息。本文下面的光譜增益調(diào)制方法便是基于此思想提出的。

3 多尺度光譜增益調(diào)制融合方法

3.1 光譜增益曲面

數(shù)字影像的DN（digital number）值記錄的是地物的光譜信息，在影像上表現(xiàn)為每個(gè)波段相應(yīng)像素點(diǎn)位的灰度值。在RGB色彩空間中，每個(gè)像素點(diǎn)的灰度值向量（R，G，B）包含了該點(diǎn)的顏色信息，也即是光譜信息。如果在某個(gè)像素點(diǎn)（x，y）上，處理前的色彩灰度值為（R，G，B），處理后的色彩灰度值為（R′，G′，B′），且滿足關(guān)系

式中，λ（i，j）為影像上像素點(diǎn)（i，j）處的增益，稱(chēng)為光譜增益，則處理前后的顏色保持不變，只是亮度發(fā)生了改變。所有像素點(diǎn)的增益構(gòu)成了一個(gè)增益曲面，稱(chēng)為光譜增益曲面（spectrum gain surface，SGS），按照（R′，G′，B′）＝λ×（R，G，B）的方式對(duì)影像每個(gè)波段上每個(gè)像素點(diǎn)的DN值進(jìn)行調(diào)制的方法即為本文提出的光譜增益調(diào)制方法（spectrum gain modulation，SGM），在加入全色影像的空間細(xì)節(jié)信息，保證融合影像具有高的空間分辨率的同時(shí)，保證每個(gè)像素點(diǎn)的DN值的色調(diào)和飽和度不變，也就保證了顏色信息不變，從而達(dá)到光譜保持的目的，因此SGM方法是一種光譜保持型的遙感影像融合算法。

這一結(jié)論可以從RGB－IHS轉(zhuǎn)換模型中得到證明。從式（2）的轉(zhuǎn)換關(guān)系可知：

當(dāng)（R′，G′，B′）＝λ×（R，G，B）

因此，色調(diào)和飽和度都沒(méi)有變化，只是亮度有了一定的變化。從上節(jié)的分析可知，這一方法有助于更好地保持光譜信息。但是在實(shí)際的應(yīng)用過(guò)程中，光譜增益曲面的計(jì)算是浮點(diǎn)運(yùn)算，而DN值是0～255之間的整數(shù)，在IHS－RGB的變換中，浮點(diǎn)值到整數(shù)值的轉(zhuǎn)換過(guò)程會(huì)出現(xiàn)精度損失，因此融合影像的色調(diào)和飽和度與原始多光譜影像的色調(diào)和飽和度并不可能完全一樣。另外，因?yàn)榱炼扔辛艘欢ǖ淖兓矔?huì)導(dǎo)致融合影像每個(gè)像素點(diǎn)的灰度值向量（R′，G′，B′）較原始多光譜影像對(duì)應(yīng)像素點(diǎn)的灰度值向量（R，G，B）出現(xiàn)一定的變化，那么在影像融合質(zhì)量評(píng)價(jià)過(guò)程中，基于灰度值向量的評(píng)價(jià)指標(biāo)也會(huì)反映出一定的光譜扭曲，也正是因?yàn)橛辛肆炼鹊淖兓?，融合影像的空間分辨率才能得以提高。也就是說(shuō)，光譜扭曲仍然會(huì)存在。但是與其他融合方法相比，本文方法的光譜扭曲要小很多，這一點(diǎn)可以在后面的試驗(yàn)中得到證實(shí)。

上面的結(jié)果可以很容易地?cái)U(kuò)展至多個(gè)波段，即在多個(gè)波段影像上，如果處理前后每個(gè)像素點(diǎn)的DN值滿足下面的關(guān)系，也能達(dá)到保持光譜信息不變的目的。

式中，（i，j）表示像素點(diǎn)坐標(biāo)；Muli（i，j）和Fusi（i，j）分別表示原始多光譜影像和融合影像對(duì)應(yīng)波段對(duì)應(yīng)像素點(diǎn)的DN值；λ（i，j）表示該像素點(diǎn)的光譜增益。

3.2 單尺度光譜增益調(diào)制

將GIHS方法擴(kuò)展到多個(gè)波段，可以寫(xiě)成

式中，Muli和Fusi分別表示原始多光譜影像和融合影像的第i波段；δ與式（1）中的δ意義相同。對(duì)IHS變換而言，δ＝Inew－I0，可以理解為新的亮度分量與原始亮度分量的差異，也即是空間細(xì)節(jié)之間的差異。但是經(jīng)過(guò)直方圖匹配后全色影像（也即是新的亮度分量Inew）會(huì)改變一部分的空間細(xì)節(jié)信息。由于多光譜影像也具有一定的空間細(xì)節(jié)信息，因此在提取全色影像特有的空間細(xì)節(jié)信息時(shí)，需要去除多光譜影像的空間細(xì)節(jié)信息。

高斯函數(shù)具有低通性質(zhì)，可以用來(lái)提取原始影像特有的空間細(xì)節(jié)信息，同時(shí)，它是一種模擬人眼視覺(jué)機(jī)理的理想數(shù)學(xué)模型，設(shè)定不同的尺度參數(shù)σ，即能夠模擬人眼從遠(yuǎn)處到近處所看到的圖像。高斯函數(shù)的表達(dá)式為

式中，σ為高斯函數(shù)的尺度參數(shù)，系數(shù)K由歸一化函數(shù)決定。

將高斯函數(shù)與影像進(jìn)行卷積，可以得到影像的低頻信息，從原始影像上減去低頻信息，即可得到高頻細(xì)節(jié)信息。因此Pan－G（x，y；σ）＊Pan和I－G（x，y；σ）＊I分別表達(dá)了全色影像和多光譜亮度分量的空間細(xì)節(jié)信息，其中Pan和I分別表示全色影像和多光譜亮度分量，＊表示卷積操作，則Pan－G（x，y；σ）＊Pan－（I－G（x，y；σ）＊I）描述的空間細(xì)節(jié)差異即為提取出的全色影像特有的空間細(xì)節(jié)信息。結(jié)合光譜增益曲面，本文提出的單尺度光譜增益調(diào)制（single－scale spectrum gain modulation，SSGM）影像融合方法表達(dá)式為

若令κ＝［（Pan－I）－G（x，y；σ）＊（Pan－I）］／M，可得

在每個(gè)像素點(diǎn)上計(jì)算SSGM輸出時(shí)，有可能λ（i，j）×Muli（i，j）大于255或者小于0，此時(shí)該像素點(diǎn)的光譜增益需要做如下的調(diào)整，以保證新的SSGM輸出值在0～255之間。

式中，SSGMi（i，j）為由調(diào)整之前的光譜增益值計(jì)算出的當(dāng)前像素點(diǎn)各波段的灰度值。

SSGM中提取空間細(xì)節(jié)信息的物理意義是用原始影像減去高斯函數(shù)與原始影像的卷積，實(shí)際上是減去了原始影像的低頻部分，留下的是高頻細(xì)節(jié)。由于加入到多光譜影像中的是全色影像特有的空間細(xì)節(jié)信息，因此不需要將全色影像對(duì)著多光譜影像亮度分量進(jìn)行直方圖匹配，從而更有效地保全了多光譜影像的光譜信息。高斯函數(shù)窗口r和尺度參數(shù)σ會(huì)直接影響到保留的高頻細(xì)節(jié)的成分，進(jìn)而影響融合結(jié)果影像的空間分辨率。當(dāng)窗口r越大，保留的高頻細(xì)節(jié)信息越多，空間分辨率越高，但計(jì)算量越大，光譜信息保留得越少，光譜分辨率越低，反之亦然。因此，為了取得好的融合效果，需要選擇一個(gè)適中的尺度參數(shù)。

另外，對(duì)于服從參數(shù)為μ，σ的高斯分布的隨機(jī)變量來(lái)說(shuō)，其值幾乎完全落在［μ－3σ，μ＋3σ］的區(qū)間內(nèi)。根據(jù)這個(gè)“3σ規(guī)則”，在高斯濾波器中，離濾波器中心點(diǎn)越近的像素點(diǎn)其權(quán)重越大，超過(guò)3σ距離的像素點(diǎn)權(quán)重基本上可以忽略不計(jì)。實(shí)驗(yàn)表明，當(dāng)r＝3σ時(shí)，能夠在空間分辨率與光譜分辨率之間取得一個(gè)較好的折中。因此本文中的尺度參數(shù)均滿足r＝3σ的關(guān)系。

3.3 多尺度光譜增益調(diào)制

研究發(fā)現(xiàn)，對(duì)SSGM而言，尺度越小，越能保存更多的光譜信息，但是損失的空間細(xì)節(jié)信息越多；反之尺度越大，保護(hù)空間細(xì)節(jié)信息的能力越強(qiáng)，但是會(huì)失去更多的光譜信息。由于單尺度光譜增益調(diào)制無(wú)法完全滿足影像融合的要求，因此本文在SSGM的基礎(chǔ)上提出了多尺度光譜增益調(diào)制（multi－scale spectrum gain modulation，MSGM），使其具有SSGM在高、中、低三個(gè)尺度上的均衡特性。

MSGM的基本公式為

式中，MSGMMi為融合影像第i波段的輸出；N為尺度個(gè)數(shù)，本文中N＝3；SSGMi（σn）為原始影像多光譜影像第i波段的尺度為σn的SSGM輸出；wn為SSGMi（σn）的權(quán)重，滿足般可取wn＝1／N。

從式（13）可以看出，當(dāng)N＝1時(shí)，MSGM即弱化為SSGM。通過(guò)設(shè)置不同的σn和對(duì)應(yīng)的權(quán)重，可以根據(jù)實(shí)際需求得到不同的融合效果，從而在空間分辨率與光譜分辨率之間達(dá)到一個(gè)較好的均衡。

4 試驗(yàn)與分析

作者選取北京某地區(qū)的IKONOS影像作為試驗(yàn)影像，選取可見(jiàn)光RGB三個(gè)波段合成的真彩色影像作為輸入的多光譜影像，空間分辨率為4m，全色波段的空間分辨率為1m。全色影像的大小為512×512像素，如圖1（a）所示，圖1（b）為同一地區(qū)的經(jīng)過(guò)配準(zhǔn)和重采樣后的多光譜影像，圖1（c）～（i）為采用IHS、PCA、BT、三種尺度的SSGM和MSGM方法得到的融合多光譜影像。

圖1 IKONOS影像融合結(jié)果Fig.1 Fusion results of IKONOS images

與多光譜影像相比，從光譜分辨率上可以很明顯地看出，前三種方法存在著明顯的光譜扭曲，例如在方框和橢圓框標(biāo)出的區(qū)域，IHS、PCA和BT三種方法的顏色與多光譜影像相比，存在比較大的偏差；而其他幾種方法保持的光譜信息要好很多，基本上看不出顏色偏差。對(duì)于SSGM方法，隨著尺度參數(shù)σ由1增大到9，空間分辨率得到了很大的提高，但是光譜偏差也隨之增大。

由于目前對(duì)融合結(jié)果的定量評(píng)價(jià)方法很多，大部分都是基于統(tǒng)計(jì)方法，而且各方法的評(píng)價(jià)結(jié)果不一定完全一致，因此本文僅選取最常用的相關(guān)系數(shù)［11］來(lái)對(duì)文中各方法做定量評(píng)價(jià)。表1是計(jì)算的光譜相關(guān)系數(shù)和空間相關(guān)系數(shù)的值，表中SSMG1、SSMG3、SSMG9分別表示σ＝1、σ＝3、σ＝9時(shí)的SSMG融合影像。

從表1可以看出IHS、PCA和BT方法的光譜相關(guān)系數(shù)比較接近，SSMG受尺度參數(shù)的影響，各尺度之間有一定的差距，但仍比IHS、PCA和BT的要高很多。這說(shuō)明前三種方法的光譜扭曲度是最大的，其中BT的光譜扭曲最嚴(yán)重。尺度參數(shù)越小，SSMG保持光譜的能力越高，隨著尺度參數(shù)的增加，SSMG保持光譜的能力逐漸減弱。MSMG是多個(gè)尺度參數(shù)綜合作用的結(jié)果，因此光譜相關(guān)系數(shù)相對(duì)于多個(gè)SSMG來(lái)說(shuō)比較折中。

表1 相關(guān)系數(shù)Tab.1 The correlation coefficient

IHS、PCA和BT的空間相關(guān)系數(shù)相差不大，其中PCA最高。這說(shuō)明這三種方法在保持空間細(xì)節(jié)的能力上更優(yōu)。尺度參數(shù)越大，SSMG保留的空間細(xì)節(jié)信息越多，σ＝9時(shí)的值要遠(yuǎn)高于σ＝1時(shí)的值。與光譜相關(guān)系數(shù)類(lèi)似，MSMG的結(jié)果仍然是多個(gè)SSMG的折中。

為進(jìn)一步研究尺度參數(shù)對(duì)融合結(jié)果的影響，本文將尺度參數(shù)從σ＝1遞增到σ＝9，重新計(jì)算光譜相關(guān)系數(shù)和空間相關(guān)系數(shù)，結(jié)果如圖2的折線圖所示，橫坐標(biāo)是尺度參數(shù)，從圖中也可以很明顯地看出隨著尺度參數(shù)的增加，光譜相關(guān)系數(shù)逐漸降低，而空間相關(guān)系數(shù)則升高。這是因?yàn)殡S著尺度參數(shù)的增大，保留的空間細(xì)節(jié)信息更多，被修改的光譜信息也更多。

結(jié)合表1和圖2可知，對(duì)于一種方法，如果光譜相關(guān)系數(shù)高，則空間相關(guān)系數(shù)必然低，反之亦然。這是因?yàn)榭臻g信息保留得越多，那么失去的光譜信息也越多。因此只能在光譜分辨率和空間分辨率上做一個(gè)折中的取舍。MSMG正是為這一折中而設(shè)計(jì)的方法，雖然它的空間分辨率和光譜分辨率均不是最高，但卻是一個(gè)比較好的折中，而且本文中可以通過(guò)改變尺度參數(shù)和相關(guān)權(quán)重來(lái)調(diào)整空間質(zhì)量和光譜質(zhì)量，以滿足各種不同的應(yīng)用需求。

為驗(yàn)證本文方法的正確性，作者使用Quick－Bird影像做了另外一組試驗(yàn)。全色影像的空間分辨率是0.61m，影像大小為1 000×1 000像素，多光譜影像的空間分辨率為2.44m，MSMG采用的三個(gè)尺度分別是3、9、27，融合結(jié)果如圖3所示。

圖3 QuickBird影像融合結(jié)果Fig.3 Fusion results of QuickBird images

從圖3可以看出，IHS、PCA、BT變換三種方法都存在較嚴(yán)重的光譜偏差，而MSMG的光譜與原始多光譜影像非常接近，同時(shí)從空間細(xì)節(jié)上，這四種方法看不出明顯的差別。定量比較的結(jié)果如圖4所示。從圖4的柱狀圖可以很明顯地看出，MSMG方法在光譜相關(guān)系數(shù)上遠(yuǎn)高于其他方法，空間相關(guān)系數(shù)與IHS和PCA接近，BT的空間相關(guān)系數(shù)的均值最高，但同時(shí)BT的光譜相關(guān)系數(shù)的均值卻最低。從綜合上來(lái)看，MSMG方法的融合效果是最好的，這一結(jié)論與IKONOS融合試驗(yàn)的結(jié)論是一致的。

圖4 QuickBird影像融合質(zhì)量評(píng)價(jià)結(jié)果Fig.4 Quality evaluation results of QuickBird image fusion

筆者也用其他傳感器影像如SPOT、World－View－2影像做了類(lèi)似的試驗(yàn)，可以得出與文中一樣的結(jié)論。為取得更好的融合結(jié)果，可以根據(jù)實(shí)際應(yīng)用的需求，在采用MSMG方法時(shí)需要選擇合適的尺度參數(shù)及加權(quán)系數(shù)。因?yàn)楫?dāng)尺度參數(shù)越大，則卷積窗口越大，計(jì)算量可能成倍地增加，因此需要在尺度參數(shù)與融合結(jié)果之間做一個(gè)平衡的選擇。

5 結(jié)論與展望

本文比較了當(dāng)前幾種常用方法，并針對(duì)廣義IHS變換中存在的由于飽和度改變而導(dǎo)致的光譜扭曲問(wèn)題，基于光譜增益曲面，提出了一種基于多尺度光譜增益調(diào)制的光譜保持型影像融合方法，有效減少由于飽和度改變引起的光譜扭曲。與傳統(tǒng)方法不同的是，該方法中不需要將全色影像進(jìn)行直方圖匹配，因此更能保護(hù)全色影像的空間細(xì)節(jié)信息。該方法用于IKONOS和QuickBird全色和多光譜影像的融合試驗(yàn)中，能夠得到清晰且光譜保真度高的融合影像，在空間質(zhì)量和光譜質(zhì)量之間取得了一個(gè)比較好的平衡，適用于對(duì)光譜保持有較高要求的應(yīng)用場(chǎng)合。

［1］ DOU Wen，CHEN Yunhao，HE Huiming.Theoretical Framework of Optical Remotely Sensed Image Fusion［J］.Acta Geodaetica et Cartographica Sinica，2009，38（2）：131－137.（竇聞，陳云浩，何輝明.光學(xué)遙感影像像素級(jí)融合的理論框架［J］.測(cè)繪學(xué)報(bào)，2009，38（2）：131－137.）

［2］ CHU Heng，ZHU Weile.Fusion of IKONOS Satellite Imagery Using IHS Transform and Local Variation［J］.IEEE Transactions on Geoscience and Remote Sensing Letters，2008，5（4）：653－657.

［3］ SHAH V P，YOUNAN N H，KING R L.An Efficient Pan－sharpening Method via a Combined Adaptive PCA Approach and Contourlets［J］.IEEE Transactions on Geoscience and Remote Sensing，2008，46（5）：1323－1335.

［4］ CHEN Shaohui，ZHANG Renhua，SU Hongbo，et al.Scaling－up Transformation of Multisensor Images with Multiple Resolutions［J］.Sensors，2009，9（3）：1370－1381.

［5］ LAPORTERIE－DéJEAN F，DE BOISSEZON H，F(xiàn)LOUZAT G，et al.Thematic and Statistical Evaluations of Five Panchromatic／Multispectral Fusion Methods on Simulated PLEIADES－HR Images［J］.Information Fusion，2005，6（3）：193－212.

［6］ CHIBANI Y，HOUACINE A.Redundant versus Orthogonal Wavelet Decomposition for Multisensor Image Fusion［J］.Pattern Recognition，2003，36（4）：1785－1794.

［7］ OTAZU X，GONZáLEZ－AUDíCANA M，F(xiàn)ORS O，et al.Introduction of Sensor Spectral Response into Image Fusion Methods.Application to Wavelet－based Methods［J］.IEEE Transactions on Geoscience and Remote Sensing，2005，43（10）：2376－2385.

［8］ HILL P，CANAGARAJAH N，BULL D.Image Fusion Using Complex Wavelets［C］∥Proceedings of the British Machine Vision Conference.Cardiff：BMVA Press，2002：487－496.

［9］ LI S，KWOK J T，WANG Y.Using the Discrete Wavelet Frame Transform to Merge Landsat TM and SPOT Panchromatic Images［J］.Information Fusion，2002，3（1）：17－23.

［10］ TU T M，SU S C，SHYU H C，et al.A New Look at IHS－like Image Fusion Methods［J］.Information Fusion，2001，2（3）：177－186.

［11］ ZHOU J，CIVCO D L，SILANDER J A.A Wavelet Transform Method to Merge Landsat TM and SPOT Panchromatic Data［J］.International Journal of Remote Sensing，1998，19（4）：743－757.