方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差相結(jié)合的圖像融合

林卉，Ruiliang Pu，梁亮，張連蓬

1.江蘇師范大學(xué)測(cè)繪學(xué)院，江蘇徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇徐州 221009

方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差相結(jié)合的圖像融合

林卉1，2，3，Ruiliang Pu2，梁亮1，張連蓬1

1.江蘇師范大學(xué)測(cè)繪學(xué)院，江蘇徐州 221116

2.School of Geosciences of University of South Florida,Tampa,Florida 33620

3.中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇徐州 221009

小波變換的圖像融合方法已成為現(xiàn)今研究的一個(gè)熱點(diǎn)。但幾乎所有的算法都是在小波域不同尺度上分別對(duì)高頻系數(shù)和低頻系數(shù)進(jìn)行融合，沒有考慮到它們之間固有的相關(guān)性。為此，提出了一種基于方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差最大的融合新算法，主要特點(diǎn)是在低頻部分采用加權(quán)因子自適應(yīng)調(diào)節(jié)參數(shù)融合，以減少邊緣模糊，對(duì)于高頻部分采用方向?qū)Ρ榷群途植繀^(qū)域窗口標(biāo)準(zhǔn)差最大值作為高頻分量，突出對(duì)比度和局域細(xì)節(jié)，實(shí)驗(yàn)表明：融合后影像信息量豐富，地物輪廓清晰可辨，對(duì)比度大大加強(qiáng)，空間分辨率得到了提高，最大限度保留了原始影像的光譜信息，是一種可行有效的融合方法。

小波分解；多分辨率分析；高頻系數(shù)；低頻系數(shù)；方向?qū)Ρ榷龋粎^(qū)域標(biāo)準(zhǔn)差

小波變換的圖像融合是一種多尺度、多分辨率的圖像融合方法。它將原圖像分解成一系列具有不同空間分辨率和頻域特性的子圖像，然后在多個(gè)分解層、多個(gè)頻帶上進(jìn)行融合。小波變換所具備的多分辨特性與人眼的視覺模型相近，同時(shí)，小波分解具有方向性，這一特性與人眼對(duì)不同方向的高頻分量具有不同分辨率這一視覺特性相符合，可以獲得視覺效果更佳的融合圖像[1-3]。因而，在圖像處理中得到了廣泛應(yīng)用，出現(xiàn)了許多算法，它們幾乎都是在小波分解的高頻分量和低頻分量上制定不同的融合規(guī)則[4-11]，而沒有考慮包含低頻分量的子帶與相應(yīng)高頻子帶之間的關(guān)系，即沒有考慮局部區(qū)域標(biāo)準(zhǔn)差和方向?qū)Ρ榷冗@一重要信息。而生理學(xué)研究表明，人類視覺系統(tǒng)對(duì)于圖像的對(duì)比度變化十分敏感[12]，基于方向?qū)Ρ榷鹊娜诤弦?guī)則可有選擇地突出被融合圖像的對(duì)比度信息。圖像局部區(qū)域的標(biāo)準(zhǔn)差反映了各像素灰度相對(duì)于該區(qū)域灰度均值的離散情況，標(biāo)準(zhǔn)差越大，則灰度級(jí)分布越分散，而灰度級(jí)的起伏和梯度反映了圖像的細(xì)節(jié)、紋理和邊緣信息。因此，本文提出結(jié)合方向?qū)Ρ榷群途钟驑?biāo)準(zhǔn)差的融合算法，實(shí)驗(yàn)表明，該方法既可以突出對(duì)比度信息，又可以突出圖像的局域特征和細(xì)節(jié)信息，從而取得了良好的融合效果。

1 小波分解和方向?qū)Ρ榷?/h2>

根據(jù)二維Mallat小波快速算法[13]，圖像第j次小波分解后生成3個(gè)高頻分量Dij和1個(gè)低頻分量Cj。其中，上標(biāo)i=H，V，D分別為水平方向、垂直方向及對(duì)角方向的高頻分量；下標(biāo)m，n分別對(duì)應(yīng)于圖像的行和列；下標(biāo)j表示小波分解尺度。Mallat小波分解公式為：

與之相應(yīng)的小波重構(gòu)公式為：

其中H*，G*分別為H，G的共軛轉(zhuǎn)置矩陣。

這里，圖像對(duì)比度R定義為[12]：

式中，L表示局部灰度；LB表示圖像的局部背景亮度（相當(dāng)于局部低頻分量），則LH=L-LB相當(dāng)于局部高頻分量。根據(jù)圖像對(duì)比度定義公式，小波域的方向?qū)Ρ榷瓤煞謩e定義為[14]：

由于小波分解的正交性使得經(jīng)過多分辨分解得到的圖像信號(hào)的高低頻分量之間消除了數(shù)據(jù)的相關(guān)性。所以，在小波分解后的方向?qū)Ρ榷榷x式（4）在某種程度上比式（3）定義的對(duì)比度更為合理。

2 圖像融合規(guī)則與算法

以兩幅圖像A，B的融合為例，融合后圖像為F。設(shè)小波分解的最大尺度為L(zhǎng)，具體的融合規(guī)則和融合算法為：

（1）先對(duì)融合圖像進(jìn)行預(yù)處理并配準(zhǔn)采樣得到分辨率一致的源影像A，B，分別進(jìn)行L尺度小波分解。

（2）融合圖像F的低頻部分取為各源圖像A，B分解后的低頻部分的加權(quán)值[15]，即

(A(j，k)+K×B(j，k))×α表示取兩幅圖像的加權(quán)均值，影響融合后圖像的能量，對(duì)融合后圖像的亮度起決定作用；后半部分|A(j，k)-K×B(j，k)|×β表示取兩幅圖像的加權(quán)差值，包含兩幅圖像的模糊信息。因子K調(diào)節(jié)兩幅圖像的占優(yōu)比例，使兩幅亮度不同圖像達(dá)到均衡。隨著因子α的增大，圖像加亮；隨著因子β增大，圖像的邊緣加強(qiáng)。對(duì)于不同的圖像，適當(dāng)調(diào)整K，α，β，可以消減模糊邊緣，并確保在消減時(shí)不過度地喪失邊緣信息[16-17]。

（3）在最高分解層上，計(jì)算A，B圖像的3個(gè)方向高頻分量的方向?qū)Ρ榷戎?，?duì)應(yīng)比較A，B圖像的各方向?qū)Ρ榷?，取絕對(duì)值大的方向?qū)Ρ榷人鶎?duì)應(yīng)的圖像A，B的小波系數(shù)作為融合圖像F對(duì)應(yīng)方向的小波系數(shù)[12]。按式（4）計(jì)算各源圖像在最大分解尺度L上的方向?qū)Ρ榷龋诤蠄D像在最高分解尺度L上的各高頻系數(shù)為：

（4）最高分解尺度L以外的其他各小波分解尺度上的高頻系數(shù)的確定采用標(biāo)準(zhǔn)差最大準(zhǔn)則，即選取以當(dāng)前處理像素為中心的局域區(qū)域（一般可取3×3、5×5、7×7等，本文采用5×5的區(qū)域窗口[18]）的標(biāo)準(zhǔn)差最大的圖像A，B的小波系數(shù)作為融合圖像F對(duì)應(yīng)的小波系數(shù)，即

其中，分解尺度j取1到L-1；STDA，STDB分別表示源圖像A，B在分解尺度j上i方向上的對(duì)應(yīng)局部區(qū)域上的標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差STD定義為[19]：

此處，M，N分別為所取局部區(qū)域的行數(shù)與列數(shù)；xi，j表示當(dāng)前局部區(qū)域內(nèi)的1個(gè)像素灰度值；xˉ是當(dāng)前局部區(qū)域像素的灰度均值。

（5）確定融合圖像F的各小波系數(shù)后，進(jìn)行逆小波變換重構(gòu)融合圖像F。

3 融合實(shí)驗(yàn)與結(jié)果評(píng)價(jià)

實(shí)驗(yàn)圖像為2006年5月獲取的南京市某郊區(qū)的SPOT全色影像和Landsat TM 5、4、3波段的合成影像，分辨率分別為10 m和30 m，如圖1所示。對(duì)TM543影像進(jìn)行配準(zhǔn)采樣得到分辨率10 m的影像，如圖2（a）所示。為了驗(yàn)證本文算法的有效性，還采用了另外兩種融合方法，一是α′Trous小波變換與PCA變換相結(jié)合融合法，具體算法見文獻(xiàn)[20]，另一種方法是基于小波變換和MNF變換融合，見文獻(xiàn)[21]。融合圖像見圖2所示。

圖1 原始影像

從目視效果來看，三幅融合圖像均比圖2（a）效果要好，主要表現(xiàn)在圖像清晰度要高，地物層次感更強(qiáng)，細(xì)節(jié)體現(xiàn)更突出，紋理也依稀可辨，河流、道路、植被、魚塘等地物邊界分明，說明所有方法都取得了不同程度的融合效果。尤其圖2（d）中對(duì)比度更高，亮度也高，地物輪廓更分明，魚塘的間隔塊容易分辨，視覺效果更好。為了更全面地考察融合方法的優(yōu)劣，本文還采用標(biāo)準(zhǔn)差、熵、交叉熵、偏差度、清晰度、空間頻率客觀指標(biāo)來評(píng)價(jià)[15，19]。計(jì)算結(jié)果如表1所示。

表1顯示，從反映單幅影像統(tǒng)計(jì)信息指標(biāo)來看，熵和標(biāo)準(zhǔn)差值都在增加，本文算法融合達(dá)到了最大值，表明融合后影像的信息量得到了富集，影像中微小細(xì)節(jié)反差拉大，地物細(xì)節(jié)更加清晰。從源影像與融合影像的相關(guān)統(tǒng)計(jì)指標(biāo)來看，交叉熵、偏差度、清晰度和空間頻率各項(xiàng)指標(biāo)也同樣表明本文提出的算法性能要優(yōu)于文獻(xiàn)[20]和文獻(xiàn)[21]的算法，這與目視解譯的結(jié)果非常吻合，主要原因都是對(duì)小波分解后的高頻系數(shù)和低頻系數(shù)分別融合，沒有考慮它們之間的相關(guān)性。從而也充分說明，本文提出的融合方法是非常有效的。

4 結(jié)論

小波變換已經(jīng)廣泛應(yīng)用于圖像融合，但目前的算法都是把高頻系數(shù)和低頻系數(shù)通過一定的融合規(guī)則分別處理，得到逆變換的所需的近似分量和細(xì)節(jié)分量，其實(shí)在每個(gè)小波分解層，高頻系數(shù)與低頻系數(shù)間有一定的相關(guān)性，這樣最后的融合影像會(huì)損失一些有用信息?；谶@種考慮，本文提出了基于方向?qū)Ρ榷群蛥^(qū)域標(biāo)準(zhǔn)差最大化的融合方法，在低頻系數(shù)上，通過加權(quán)因子采取自適應(yīng)的方式來融合，調(diào)節(jié)圖像亮度和減少邊緣模糊以滿足人的視覺特性的需要。在高頻系數(shù)上，對(duì)最高分解層取方向?qū)Ρ榷冉^對(duì)值大的作為融合圖像對(duì)應(yīng)方向的小波系數(shù)。最高分解尺度以外的其他各小波分解尺度上的高頻系數(shù)采用局部區(qū)域窗口標(biāo)準(zhǔn)差最大來確定，這樣，從理論上很好地兼顧了高頻和低頻分量的相關(guān)性和互補(bǔ)性，實(shí)驗(yàn)結(jié)果也表明，無論從定性的視覺效果和定量的客觀評(píng)價(jià)，本文的算法是可行有效的。雖然本文在小波多分辨率分析融合中考慮了高頻和低頻系數(shù)相關(guān)性，但如何選取更優(yōu)的指標(biāo)和融合規(guī)則值得深入研究。

圖2 配準(zhǔn)圖像和融合結(jié)果圖

表1 影像的統(tǒng)計(jì)指標(biāo)值

[1]Garguet-Duport B，Girel J，Chassery J M，et al.The use of multi-resolution analysis and wavelets transform for merging SPOT panchromatic and multi-spectral image data[J].Photogrammetric Engineering&Remote Sensing，1996，62（9）：1057-1066.

[2]Piella G.A general framework for multiresolution image fusion：from pixels to regions[J].Information Fusion，2003（4）：259-280.

[3]劉振慧，高晶敏，崔天橫.一種基于小波變換的圖像融合新算法[J].計(jì)算機(jī)工程與應(yīng)用，2007，43（12）：74-76.

[4]張家明.基于小波變換的圖像融合算法研究[J].武漢理工大學(xué)學(xué)報(bào)：信息與管理工程版，2007，29（12）：62-66.

[5]李濤，田巖，柳健，等.一種基于模糊集和小波變換的圖像融合方法[J].華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2005，33（3）：24-27.

[6]陳虹，江振治，胡海彥，等.基于小波變換的遙感影像融合技術(shù)發(fā)展現(xiàn)狀[J].測(cè)繪通報(bào)，2012（7）：47-49.

[7]朱文武，侯敏，秦昆.基于小波變換影像融合方法的對(duì)比研究[J].科技信息，2011（19）.

[8]吳學(xué)文，徐涵秋.多分辨率分解的遙感影像融合方法對(duì)比分析[J].地球信息科學(xué)學(xué)報(bào)，2010（3）：419-425.

[9]羅艷，劉榮，朱煜峰.基于PCA+àstrous小波融合方法[J].測(cè)繪科學(xué)，2009（6）：108-109.

[10]高文濤，汪小欽，凌飛龍，等.基于紋理的雷達(dá)與多光譜遙感數(shù)據(jù)小波融合研究[J].中國(guó)圖象圖形學(xué)報(bào)，2008（7）：1341-1346.

[11]Nikolov S G.Image fusion：a survey of methods，applications，systems and interfaces，Technical Report UoBSYNERGY-TR02[R].University of Bristol，UK，1998.

[12]蒲恬，方慶吉，倪國(guó)強(qiáng).基于對(duì)比度的多分辨圖像融合[J].電子學(xué)報(bào)，2000，28（12）：116-118.

[13]Mallat S G.A theory for multiresolution signal decomposition：the wavelet representation[J].IEEE Trans on Pattern Anal Mach Intell，1989，11：674-693.

[14]王麗，盧迪.一種基于小波對(duì)比度的多聚焦圖像融合方法[J].中國(guó)圖象圖形學(xué)報(bào)，2008，13（1）：144-149.

[15]林卉，杜培軍，張蓮蓬.基于小波變換的遙感影像融合與評(píng)價(jià)[J].煤炭學(xué)報(bào)，2005，30（3）：332-337.

[16]趙瑞珍，徐龍，宋國(guó)鄉(xiāng).基于小波變換的圖像多尺度數(shù)據(jù)融合[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2002，14（4）：361-364.

[17]黃登山，楊敏華，姚學(xué)恒，等.基于a’trous小波與廣義HIS變換的SAR與多光譜影像融合[J].遙感信息，2011（1）：9-13.

[18]董張玉，趙萍，胡文亮.ASTER多光譜影像與資源二號(hào)全色影像融合研究[J].遙感技術(shù)與應(yīng)用，2010（1）：143-148.

[19]李超，朱滿，趙家平.多源遙感影像融合效果的定量評(píng)價(jià)研究[J].測(cè)繪與空間地理信息，2010（3）：143-146.

[20]林卉，景海濤，張連蓬.α′Trous小波變換與PCA變換相結(jié)合的遙感影像融合分析[J].地球信息科學(xué)，2008，10（2）：69-74.

[21]李海濤，顧海燕，林卉，等.基于小波變換和MNF變換的遙感影像融合[J].山東科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，26（5）：56-60.

LIN Hui1，2，3,Ruiliang Pu2,LIANG Liang1,ZHANG Lianpeng1

1.School of Geodesy and Geomatics,Jiangsu Normal University,Xuzhou,Jiangsu 221116,China
2.School of Geosciences of University of South Florida,Tampa,Florida 33620,USA
3.School of Environment Science and Spatial Informatics of China University of Mining and Technology,Xuzhou,Jiangsu 221009,China

A new multi-resolution analysis fusion algorithm introducing directional contrast and region window standard deviation is proposed,which considers the correlation between approximation and details.Weighted factors are adaptively adjusted to gain fused low frequency parts,meanwhile,directional contrast maximum and local small window standard deviation maximum are respectively adopted to form fused high frequency parts from decomposed details.Experiments show that fused image using the new algorithm considering the correlation between decomposed low frequency and high frequency coefficients is prior to that of other algorithms focusing on merging these coefficient separately regardless of visual effect or objective assessment metrics.In contrast,the fused image by the new algorithm is rich in information, features are clear,greatly enhancing contrast,improving spatial resolution and retaining spectral information of original images.Obviously,it is feasible and effective.

wavelet decomposition;multi-resolution analysis;high frequency coefficient;low frequency coefficient; directional contrast;region standard deviation

A

P237

10.3778/j.issn.1002-8331.1306-0036

LIN Hui,Ruiliang Pu,LIANG Liang,et al.Image fusion based on directional contrast and region standard deviation.Computer Engineering and Applications,2014,50（6）：31-34.

國(guó)家自然科學(xué)基金（No.411101428）；國(guó)家科技支撐計(jì)劃（No.2012BAH31B00）；江蘇省自然科學(xué)基金（No.BK2012145）；現(xiàn)代工程測(cè)量國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室經(jīng)費(fèi)資助項(xiàng)目（No.TJES1204）；地理空間信息工程國(guó)家測(cè)繪局重點(diǎn)實(shí)驗(yàn)室經(jīng)費(fèi)資助項(xiàng)目（No.201310）；江蘇省高校自然科學(xué)研究面上項(xiàng)目（No.12KJB420001）。

林卉（1973—），男，博士生，副教授，研究領(lǐng)域?yàn)橛跋袢诤?；Ruiliang Pu（1956—），男，博士，教授，研究領(lǐng)域?yàn)楦吖庾V/高分辨率遙感應(yīng)用；梁亮（1981—），男，博士，副教授，研究領(lǐng)域?yàn)楦吖庾V遙感；張連蓬（1963—），男，博士，教授，研究領(lǐng)域?yàn)檫b感信息提取。E-mail：linhuixznu@126.com

2013-06-07

2013-09-02

1002-8331（2014）06-0031-04

CNKI網(wǎng)絡(luò)優(yōu)先出版：2013-09-29，http://www.cnki.net/kcms/detail/11.2127.TP.20130929.1023.008.html