基于視覺(jué)顯著性的紅外與可見(jiàn)光圖像融合

華瑋平+趙巨峰+李夢(mèng)+高秀敏

摘要：

多波段圖像融合可以有效綜合各個(gè)波段圖像中包含的特征信息。針對(duì)可見(jiàn)光和紅外圖像，提出了一種結(jié)合紅外圖像視覺(jué)顯著性提取的雙波段圖像融合方法，一方面旨在凸顯紅外圖像的目標(biāo)信息，另一方面又盡可能的保留了可見(jiàn)光圖像的豐富細(xì)節(jié)信息。首先，在局部窗口內(nèi)實(shí)現(xiàn)紅外圖像的顯著性圖提取，并通過(guò)窗口尺寸的變化形成多尺度的顯著性圖，并對(duì)這些顯著性圖進(jìn)行最大值的優(yōu)選疊加，以獲取能反映整幅紅外圖像各個(gè)尺寸目標(biāo)的顯著性圖；其次，通過(guò)結(jié)合顯著性圖與紅外圖實(shí)現(xiàn)顯著性圖的加權(quán)增強(qiáng)；最后，利用增強(qiáng)的紅外顯著性圖進(jìn)行雙波段圖像的融合。通過(guò)兩組對(duì)比實(shí)驗(yàn)，數(shù)據(jù)表明該方法給出的融合圖像視覺(jué)效果好，運(yùn)算速度快，客觀評(píng)價(jià)值優(yōu)于對(duì)比的7種融合方法。

關(guān)鍵詞：

圖像融合； 紅外圖像增強(qiáng)； 視覺(jué)顯著性

中圖分類號(hào)： TN 911.73文獻(xiàn)標(biāo)志碼： Adoi： 10.3969/j.issn.1005-5630.2016.04.005

Abstract：

Dual-band image fusion is able to well synthesize the feature information from the different bands.To fuse visible and infrared images，in this paper，an infrared image visual saliency detection-based approach was proposed.This method aimed to highlight the target information from infrared image，meanwhile preserve abundant detail information from visible one as much as possible.Firstly，visual saliency map was extracted within a local window，and multiple window-based saliency maps could be obtained by changing the size of local window.And the final saliency map was generated by selecting maximum value，and this map could mirror all target information in the infrared image.Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map.Finally，the enhanced saliency map was used for dual-band image fusion.Comparing with other seven methods，the experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect，and the objective evaluation is better.

Keywords：

image fusion； infrared image； visual saliency

引言

圖像融合旨在將不同圖像的信息進(jìn)行綜合，以便進(jìn)一步的理解和處理。20世紀(jì)90年代以來(lái)，圖像融合技術(shù)在軍事探測(cè)、醫(yī)療成像、圖像水印等方面都有著廣泛的應(yīng)用[1]。通常情況下，紅外傳感器檢測(cè)到發(fā)熱的區(qū)域一般是人們關(guān)注的目標(biāo)物體，但其保持圖像細(xì)節(jié)的能力較差，而可見(jiàn)光圖像則包含豐富的細(xì)節(jié)信息，因而兩者互補(bǔ)可以有效綜合信息。

較為常用圖像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔變換（LP）[2]、雙樹(shù)復(fù)小波變換（DTCWT）[3]、非下采樣輪廓波變換（NSCT）[4]、Curvelet變換[5]等方法。這些方法需要進(jìn)行上采樣和下采樣，使得圖像中的細(xì)節(jié)容易被平滑。NSCT具有多尺度、多方向選擇性、多分辨率分析和平移不變性的特點(diǎn)。但變換過(guò)程中各部分的系數(shù)選擇仍是一個(gè)問(wèn)題，計(jì)算速度也相對(duì)較慢。

隨著神經(jīng)科學(xué)、心理學(xué)等學(xué)科的發(fā)展，在研究人類視覺(jué)機(jī)制的過(guò)程中視覺(jué)顯著性和視覺(jué)注意的概念被提出。觀察者能夠利用視網(wǎng)膜中央凹的高分辨率感知機(jī)構(gòu)，主動(dòng)地探索環(huán)境中的重要視覺(jué)信息[6]，即人眼視覺(jué)系統(tǒng)（human visual system，HVS）。視覺(jué)顯著性反映的是視覺(jué)系統(tǒng)從場(chǎng)景中提取一系列視覺(jué)信息的能力，其能夠像濾波器一樣選擇感興趣的信息。由于視覺(jué)顯著性的提取能夠自動(dòng)化地代替人眼視覺(jué)系統(tǒng)快速準(zhǔn)確的搜索到場(chǎng)景中的顯著目標(biāo)，其產(chǎn)生的顯著性圖能夠反映人眼視覺(jué)系統(tǒng)對(duì)不同場(chǎng)景的關(guān)注程度，這些都使得視覺(jué)顯著性的研究具有廣闊的應(yīng)用前景。

在上述研究的基礎(chǔ)上，國(guó)內(nèi)外科研人員提出了利用視覺(jué)顯著性進(jìn)行圖像融合的方法。華中科技大學(xué)的陳艷菲等人通過(guò)在紅外圖像和可見(jiàn)光圖像中分別提取視覺(jué)顯著性的方法對(duì)雙通道圖像進(jìn)行融合，取得了優(yōu)于傳統(tǒng)圖像融合方法的結(jié)果[7]。浙江大學(xué)的研究人員也結(jié)合視覺(jué)顯著性與NSCT進(jìn)行圖像融合[8]，也取得了較好的成果。

受到上述方法啟發(fā)，本文提出了中心周圍像素差異計(jì)算局部顯著性圖，并變化局部窗口尺寸以實(shí)現(xiàn)圖像的不重疊的顯著性提取，能夠有效的凸顯不同尺寸目標(biāo)的信息；在進(jìn)一步增強(qiáng)顯著性圖的基礎(chǔ)上，實(shí)現(xiàn)了基于顯著性圖的紅外與可見(jiàn)光圖像的融合。通過(guò)實(shí)驗(yàn)結(jié)果的對(duì)比分析，本文方法融合效果好，計(jì)算速度快。