結(jié)合視覺顯著性的多聚焦圖像融合算法

趙 欣，曹 敏

（武漢工程大學(xué) 電氣信息學(xué)院 智能與車聯(lián)網(wǎng)實(shí)驗(yàn)室，武漢430205）

圖像融合是圖像處理中的重要部分，是將不同方式或者不同傳感器下獲得的多幅圖像融合成為一幅圖像，使圖像能更加適合于人類視覺感知，或能便于在計(jì)算機(jī)上進(jìn)一步處理與分析的融合圖像的處理方法。多聚焦圖片融合在圖像融合中十分重要，是在場(chǎng)景中對(duì)不同目標(biāo)物分別進(jìn)行聚焦成像，得到有關(guān)該場(chǎng)景目標(biāo)物的多幅多聚焦圖像，然后采用某種算法提取各自的清晰區(qū)域，并將這些區(qū)域合并生成一幅該場(chǎng)景中所有景物都清晰的圖像。當(dāng)前，圖像融合技術(shù)已經(jīng)在軍事、數(shù)碼相機(jī)等方面應(yīng)用廣泛[1]。

1 理論分析

1.1 頻率調(diào)諧FT 顯著性檢測(cè)

顯著性物體檢測(cè)模型側(cè)重于將圖像中受到視覺注意的物體完整地提取出來，其中以頻率調(diào)諧FT（frequency-tuned）模型的應(yīng)用最為廣泛。FT 顯著性檢測(cè)算法由Achanta 等[2]人提出，使用FT 模型計(jì)算得到的顯著圖與原圖像分辨率一致。在此引入FT算法以提取多聚焦圖像的視覺顯著圖。

在FT 方法中，高斯差DoG（difference of Guassian）濾波器的差異基于高斯濾波器函數(shù)的空間分布，作為帶通濾波提取頻域中的顯著性。首先對(duì)輸入圖像采用高斯差分對(duì)圖像進(jìn)行濾波。高斯差分公式為

設(shè)置高斯方差比例為1∶1.6，能夠更好地檢測(cè)物體的邊緣。組合多個(gè)DoG，即將所有的高斯差分結(jié)合在一起，就可以從不同的尺度空間中檢測(cè)圖像邊緣，從而檢測(cè)出圖像中的顯著性區(qū)域。對(duì)多聚焦圖像高斯濾波得到濾波后的圖像，計(jì)算顯著值得到顯著圖。像素的顯著性計(jì)算公式為

式中：Iwhc（x，y）為像素點(diǎn)的Lab 值；Iμ為圖像在Lab空間的均值。

1.2 非下采樣輪廓波變換NSCT

隨著在Contourlet 變換的廣泛應(yīng)用，2005 年A.L.Cunha 等在輪廓波的基礎(chǔ)上提出了非下采樣輪廓波變換NSCT（non-undersampled contour wave transform）算法[3]。NSCT 不僅保有多尺度、局部特性和多方向性，還增加了平移不變性和更高的冗余度；由非下采樣金字塔NSP（nonsubsampled pyramid）和非下采樣方向?yàn)V波器組NSDFB（nonsubsampled directional filter bank）2 個(gè)部分組成[4]。

非下采樣金字塔分級(jí)結(jié)構(gòu)經(jīng)多級(jí)迭代方式完成，由一組低通和高通濾波器組組成[5]。非下采樣濾波器組的結(jié)構(gòu)分為2 部分，一部分用扇形濾波器組和象限濾波器組將圖像分為4 個(gè)方向子帶，另一部分利用平行濾波器組迭代出不同方向的子帶。

NSCT 處理圖像時(shí)，如圖1 所示，首先采用非下采樣金字塔濾波器組NSPFB 對(duì)圖片進(jìn)行多尺度的分解，獲得低頻子帶和高頻子帶，自由設(shè)定所需要分解出的層數(shù)，將有不同的高頻子帶出現(xiàn)； 再用NSDFB 對(duì)圖片進(jìn)行高頻子帶分解，即可得到各尺度和方向的子帶系數(shù)。

圖1 NSCT 分解框架Fig.1 NSCT decomposition framework

1.3 本文算法

在此將非下采樣輪廓波變換與視覺顯著性相結(jié)合對(duì)融合規(guī)則進(jìn)行了改進(jìn)，實(shí)現(xiàn)不同聚焦源的圖像融合。假設(shè)，A 和B 為輸入的2 幅聚焦源不同的多聚焦圖像，F(xiàn) 為最終的融合圖像。本文算法的圖像融合流程如圖2 所示。

圖2 本文算法的圖像融合流程Fig.2 Flow chart of image fusion based on this algorithm

2 融合規(guī)則

融合規(guī)則作為圖像融合算法的關(guān)鍵之一，其對(duì)圖像的融合效果有非常大的影響。多聚焦圖片A 和B，經(jīng)過NSCT 分解后，分為低頻子帶系數(shù)和高頻子帶，其各自包含的物理信息有著明顯的差異： 低頻子帶主要包含圖像的相似部分，即圖像的背景信息；高頻子帶則表征圖像的輪廓紋理細(xì)節(jié)部分。在此將針對(duì)低頻、高頻子帶各自的特點(diǎn)制定融合規(guī)則。

2.1 高頻系數(shù)融合規(guī)則

一般高通子帶系數(shù)反映了圖像邊緣或細(xì)節(jié)等。多聚焦圖像的像素值變化劇烈的點(diǎn)一般是聚焦區(qū)域內(nèi)的點(diǎn)，因此高頻子帶圖像常使用系數(shù)絕對(duì)值取最大的融合準(zhǔn)則，然而使用其融合圖像中的細(xì)節(jié)容易產(chǎn)生間斷。為了緩解這樣的情況，對(duì)于高頻系數(shù)的融合規(guī)則，將采用拉普拉斯能量和比較的方法[6]。拉普拉斯能量和能更好地表征圖像的邊沿特征信息，反映圖像的聚焦特性和清晰度。拉普拉斯能量和的數(shù)學(xué)表達(dá)為

式中：SML（x，y）為圖像中該點(diǎn)像素的清晰度信息。

比較高頻子帶拉普拉斯能量和[5]，確定高頻子帶系數(shù)為

2.2 低頻系數(shù)融合規(guī)則

低頻子帶系數(shù)表征了源圖像的背景信息，其融合效果對(duì)圖像輪廓有著決定性作用，并且影響著圖像的對(duì)比度[7]。低頻系數(shù)一般表示源圖像的近似分量，使用FT 算法檢測(cè)，背景會(huì)具有更高的顯著值。對(duì)顯著、非顯著性的區(qū)域分別采用以下相應(yīng)融合規(guī)則：

——在顯著性區(qū)域采用自適應(yīng)權(quán)重融合規(guī)則。

——非顯著性區(qū)域采用基于區(qū)域能量RE（regional energy）的融合規(guī)則。

3 試驗(yàn)結(jié)果分析

為了驗(yàn)證所提出的結(jié)合顯著性方法在多聚焦圖像融合的可行性，對(duì)3 組多聚焦圖像進(jìn)行了融合試驗(yàn)。將本文算法與NSCT 方法、SR[8]方法、NSCT 結(jié)合SR[8]的方法分別進(jìn)行對(duì)比。圖3 和圖4 分別為時(shí)鐘、花、草圖像組的試驗(yàn)結(jié)果。其中，每組的源圖像A為左聚焦圖像，源圖像B 為右聚焦圖像。

在此，使用互信息MI（mutual information），邊緣信息保持量Qabf，Piella 評(píng)價(jià)指標(biāo)（Q0，Qw，Qe），結(jié)構(gòu)相似度SSIM（structural similarity）和圖像清晰度FD（fusion definition）共7 項(xiàng)客觀評(píng)價(jià)指標(biāo)，以評(píng)價(jià)各融合圖像的性能[9]。試驗(yàn)中，圖片融合效果越好，相應(yīng)的評(píng)價(jià)指標(biāo)的值應(yīng)越高。

圖3 多聚焦源圖像Fig.3 Multi-focus source images

圖4 各種融合方法的試驗(yàn)結(jié)果Fig.4 Different fusion methods of experimental results

通過圖4 和表1 可見，本文算法的試驗(yàn)結(jié)果評(píng)價(jià)指標(biāo)中的Qe，Q0和FD 值都是最大的，說明其融合圖像在清晰度上優(yōu)于其他方法；本文算法的時(shí)鐘和花2 組指標(biāo)MI 的值比之其他方法更高，而草的MI 指標(biāo)為第2 大，也說明在本文算法融合后的圖像獲得了源圖像較多的信息量；Qabf和SSIM 也取得了較好的結(jié)果，說明通過本文算法融合后的圖像留取了原圖更多的邊緣信息，并能較好地保留原圖的結(jié)構(gòu)信息。

表1 圖像融合的客觀評(píng)價(jià)效果指標(biāo)Tab.1 Objective evaluation of fusion results

4 結(jié)語

針對(duì)多聚焦圖象的特點(diǎn)，為了使最終的融合圖像包含更多的細(xì)節(jié)信息如紋理邊緣等，基于NSCT變換的多種良好特性，提出了通過結(jié)合顯著性的改進(jìn)的多聚焦圖像融合算法。由試驗(yàn)結(jié)果可以看出，本文算法較好地保留了源圖像的邊緣、細(xì)節(jié)和紋理等，在一定程度上提高了多焦點(diǎn)融合圖像的對(duì)比度和清晰度； 與以前的算法相比，融合效果得到了改善。