一種基于視覺顯著性的圖像融合算法

胡 甚，張基宏，，柳 偉，張正瑞

(1.深圳大學(xué) 信息工程學(xué)院，廣東 深圳 518060；2.深圳信息職業(yè)技術(shù)學(xué)院 可視媒體處理與傳輸深圳市重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518029)

一種基于視覺顯著性的圖像融合算法

胡 甚1，張基宏1，2，柳 偉2，張正瑞1

(1.深圳大學(xué) 信息工程學(xué)院，廣東 深圳 518060；2.深圳信息職業(yè)技術(shù)學(xué)院 可視媒體處理與傳輸深圳市重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518029)

基于視覺顯著特征提出一種新的圖像融合算法。首先對源圖像進(jìn)行小波分解，得到低頻系數(shù)和高頻系數(shù)；然后針對低頻系數(shù)提出一種基于視覺顯著性的融合規(guī)則，對高頻系數(shù)采用絕對值取大的融合規(guī)則；最后對融合后的低頻系數(shù)和高頻系數(shù)進(jìn)行小波逆變換得到最終融合圖像。該方法能完好地將源圖像的細(xì)節(jié)融合在一起。仿真實(shí)驗(yàn)表明，該算法在視覺效果上比傳統(tǒng)及改進(jìn)方法更好，同時(shí)互信息、平均結(jié)構(gòu)相似性、信息熵等傳統(tǒng)客觀評價(jià)指標(biāo)有所提高。

圖像融合；顯著性；顯著特征；小波變換

圖像融合廣泛應(yīng)用于圖像處理和計(jì)算機(jī)視覺領(lǐng)域，如特征提取、目標(biāo)識別。通過圖像融合來自相同場景的不同圖像能被合成單一圖像[1]。融合圖像能提供此場景更豐富的信息，對人類和機(jī)器感知有很大作用。小波分析方法是一種多尺度、多分辨率的方法，其融合圖像在各分解層上分別進(jìn)行，突出源圖像重要特征、細(xì)節(jié)及邊緣細(xì)節(jié)信息，因此能達(dá)到比較好的效果。源圖像經(jīng)過一次小波分解得到1幅低頻子圖像和3幅高頻子圖像。對于低頻圖像，傳統(tǒng)的加權(quán)平均融合方法會(huì)降低圖像對比度，分解層數(shù)低時(shí)表現(xiàn)得更為明顯，本文將視覺顯著特征應(yīng)用到低頻系數(shù)融合中，提出一種新的小波變換圖像融合算法。該方法符合人類的視覺特征，更加突出源圖像中的細(xì)節(jié)信息，可以獲得比傳統(tǒng)圖像融合算法及一些新方法更好的融合效果[2-6]。

1 視覺顯著模型

通過對人類視覺系統(tǒng)(HVS)的研究發(fā)現(xiàn)，在一個(gè)復(fù)雜的場景中，人類視覺系統(tǒng)能夠迅速將注意力專注于少數(shù)顯著的視覺對象上，該過程稱為視覺注意。Itti和Koch等人在文獻(xiàn)[7]中提出一種自底向上的視覺注意模型，本文將該模型進(jìn)行改進(jìn)，生成灰度圖像顯著圖，并將該模型與小波分析方法結(jié)合進(jìn)行圖像融合。生成灰度圖像顯著圖的過程如下：以強(qiáng)度和方向作為輸入圖像的視覺特征，分別在不同的尺度上產(chǎn)生高斯金字塔，對高斯金字塔進(jìn)行“中心—周圍差分”(Center-surround Difference)及歸一化，分別獲得強(qiáng)度、方向上的特征圖(Feature Map)；然后對特征圖進(jìn)行跨尺度融合(Across-scale Combinations)及歸一化；最后生成對應(yīng)于圖像強(qiáng)度和方向的特征顯著圖(Conspicuity Map)。該過程如圖1所示。

圖1 生成視覺顯著模型

1.1 獲取早期特征

用灰度圖像的像素值表示圖像強(qiáng)度I，將I創(chuàng)建高斯金字塔I(σ)，σ∈{0，…，8}，中心尺度c和周圍尺度s間進(jìn)行中心—周圍差分“Θ”，由細(xì)尺度差值運(yùn)算與逐點(diǎn)提取操作獲得[7]，從而得到特征圖

I(c，s)=|I(c)ΘI(s)|

(1)

式中：c∈ {2，3，4}；s=c+δ；δ∈{3，4}。

局部方向信息通過Gabor金字塔O(σ，θ)[6]，其中σ∈{0，…，8}代表尺度；θ∈{0°，45°，90°，135°}代表方向。經(jīng)過中心周圍差分，獲得方向特征圖

O(c，s，θ)=|O(c，θ)ΘO(s，θ)|

(2)

式中：c∈{2，3，4}；s=c+δ；δ∈{3，4}。

總共獲得30幅特征圖：6張強(qiáng)度特征圖和24張方向特征圖。

1.2 合成視覺顯著圖

獲得視覺顯著圖的目的是為了表示圖像的空間顯著性分布，將強(qiáng)度和方向特征圖合成特征顯著圖，通過Itti模型中的歸一化算子N(·)，將強(qiáng)度和方向特征圖進(jìn)行歸一化，該歸一化算子分成如下3步：

1)將特征圖值統(tǒng)一到固定范圍[0，M]。

2)計(jì)算除全局最大值[0，M]。外的各局部最大值的平均值m。

3)將整張圖乘以(M-m)2。

(3)

(4)

然后將兩個(gè)特征顯著圖線性合成視覺顯著圖，用S表示

(5)

式中：α與β為加權(quán)系數(shù)，圖像強(qiáng)度與方向分量權(quán)重不同，也會(huì)產(chǎn)生不同的融合效果，且滿足α+β=1，本文實(shí)驗(yàn)中α=0.667，β=0.333。

視覺顯著圖在某處值越大，圖像在該位置越顯著，將該圖用于小波分析的圖像融合中，對圖像的細(xì)節(jié)信息有很好的增強(qiáng)效果。圖2a為兩組源圖像，圖2b是由上述顯著模型生成的視覺顯著圖。

圖2 兩組源圖像及其顯著圖

2 結(jié)合視覺顯著特性與小波變換的圖像融合

設(shè)A、B兩幅源圖像，本文提出的融合算法如圖3所示。

圖3 顯著性融合算法流程

具體步驟如下：

1)分別對圖像A、B進(jìn)行N層小波分解，得到低頻分量和高頻分量。

2)對低頻分量采用本文提出的“顯著性融合”的融合規(guī)則，設(shè)SA(i，j)與SB(i，j)分別表示源圖像在位置(i，j)處的顯著性值，融合圖像低頻系數(shù)選擇源圖像顯著性值S較大對應(yīng)位置的低頻系數(shù)。

3)高頻系數(shù)融合：因?yàn)樵磮D像經(jīng)過小波分解后的高頻系數(shù)便是圖像的邊緣細(xì)節(jié)，因此高頻系數(shù)采用絕對值取大的方法進(jìn)行融合。

4)將融合后的低頻系數(shù)與高頻系數(shù)進(jìn)行小波反變換，從而得到最終的融合圖像。

3 實(shí)驗(yàn)與討論

為證明本文所提出算法的有效性，對兩幅多聚焦圖像、CT與MRI圖像分別進(jìn)行仿真實(shí)驗(yàn)，并且與傳統(tǒng)方法及一些改進(jìn)算法進(jìn)行了比較。本文所用方法是對已有多尺度圖像融合算法的低頻融合規(guī)則的改進(jìn)，所以將其與傳統(tǒng)A’trous小波、NSCT[2]和改進(jìn)算法MUDW[8]這3種多尺度變換進(jìn)行比較，如圖4所示。

圖4 多聚焦圖像不同方法融合圖像

通過客觀評價(jià)指標(biāo)評價(jià)，本文選取常用的性能指標(biāo)：互信息(MI)[3]、邊緣保持度(QAB/F)[4]、平均結(jié)構(gòu)相似度(ASIM)[9]、信息熵(entropy)[3]，一般這些指標(biāo)越大，融合圖像的質(zhì)量越高，表1是以上幾種算法得到的客觀評價(jià)指標(biāo)值。

表1 多聚焦圖像融合結(jié)果客觀評價(jià)指標(biāo)比較

從圖4看出，由圖4e與圖4f指針處有明顯的偽跡，圖4g與圖4h雖然裸眼看不出有明顯不清晰的地方，但是由表1可看出本文方法在客觀評價(jià)指標(biāo)QAB/F、ASIM、信息熵上優(yōu)于MUDW方法。由此說明本文算法在視覺效果上與客觀評價(jià)指標(biāo)上優(yōu)于傳統(tǒng)算法及改進(jìn)算法，融合圖像更清晰；MRI與CT圖的融合與多聚焦圖像融合類似，不再贅述。

4 結(jié)論

本文將視覺顯著圖應(yīng)用到小波變換中，提出一種對低頻系數(shù)顯著性的融合方法，高頻分量采用系數(shù)絕對值取大的方法，取得了較理想的融合效果。該方法本文還應(yīng)用于醫(yī)學(xué)圖像MRI與CT圖的融合，也取得了比較好的效果，由此證明了本文算法的廣泛實(shí)用性。

[1]GOSHTASBY A A，NIKOLOV S.Image fusion：advances in the state of the art[J]．Inf.Fusion，2007，8(2)：114-118.

[2]ZHANG Q，GUO B.Multifocus image fusion using the non-subsampled contourlet transform[J]．Signal Process，2009，92(7)：1334-1346.

[3]敬忠良，肖剛，李振華.圖像融合——理論與應(yīng)用[M].北京：高等教育出版社，2007.

[4]XYDEAS C，PETROVIC V.Objective image fusion performance measure[J].Electronics Letters，2000，36(4)：308-309.

[5]LI Shutao，KANG Xudong，HU Jianwen.Image fusion with guided filtering[J]．IEEE Trans.Image Processing，2013，22(7)：2864-2865.

[6]LEVENTHAL A G.The neural basis of visual function：vision and visualdysfunction[M]Boca Raton，F(xiàn)la.：CRC Press，1991.

[7]ITTI L，KOCH C，NIBURE.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1998，20(11)：1254-1259.

[8]鄧苗，張基宏，柳偉，等.基于形態(tài)非抽樣小波的實(shí)時(shí)圖像融合方法[J].計(jì)算機(jī)應(yīng)用，2012，32(10)：2809-2813.

[9]ZHOU W，ALAN C B，HAMID R S，et al.Image quality assessment：from error visibility to structural similarity[J].IEEE Trans.Image Processing，2004，13(4)：1-14.

責(zé)任編輯：時(shí) 雯

Image Fusion Method Based on Visual Saliency

HU Shen1，ZHANG Jihong1，2，LIU Wei1， ZHANG Zhengrui1

(1.CollegeofInformationEngineering，ShenzhenUniversity，GuangdongShenzhen518060，China；2.ShenzhenKeyLaboratoryofVisualMediaProcessingandTransmission，ShenzhenInstituteofInformationTechnology，GuangdongShenzhen518029，China)

A new approach for image fusion is proposed based on visual saliency in this paper.Sourse images are decomposed by wavelet to get coefficients of low and high frequency，then the part of low frequency is fused using salient method proposed and the part of high frequency is fused by selecting large absolute wavelet coefficients.Fused image is got by wavelet inverse transformation.Details of source images is fused beautifully using this method.It proves that method proposed outperforms the traditional and improved method in visual effect and some assessment criteria are advanced，such as mutual information，average structural similarity，entropy and so on.

image fusion；saliency；salient feature；wavelet transformation

國家自然科學(xué)基金項(xiàng)目(61271420)；廣東省自然科學(xué)基金項(xiàng)目(S012020011034)

TN949.6

A

10.16280/j.videoe.2015.05.010

胡 甚(1988— )，碩士生，研究方向?yàn)閳D像融合；

張基宏(1964— )，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理與傳輸；

柳 偉(1973— )，博士，教授，研究方向?yàn)樾盘柼幚砼c模式識別；

張正瑞(1986— )，碩士生，研究方向?yàn)榧呻娐贰?/p>

2014-03-10

【本文獻(xiàn)信息】胡甚，張基宏，柳偉，等.一種基于視覺顯著性的圖像融合算法[J].電視技術(shù),2015，39(5).