基于聯(lián)合低秩稀疏分解的紅外與可見光圖像融合

王文卿 馬 笑 劉 涵

(1. 西安理工大學(xué)自動(dòng)化與信息工程學(xué)院, 陜西西安 710048; 2. 西安理工大學(xué)陜西省復(fù)雜系統(tǒng)控制與智能信息處理重點(diǎn)實(shí)驗(yàn)室, 陜西西安 710048)

1 引言

由于不同類型傳感器的成像機(jī)理存在較大差異,多傳感器可以為同一場(chǎng)景提供不同的圖像數(shù)據(jù)。例如,紅外傳感器基于目標(biāo)產(chǎn)生的熱輻射成像,在全天時(shí)和全天候條件下具有良好的目標(biāo)發(fā)現(xiàn)能力。然而,紅外圖像分辨率通常較低,缺少紋理、邊緣等細(xì)節(jié)信息?？梢姽鈧鞲衅魇腔谕庥^信息豐富的反射光成像,可見光圖像具有清楚的細(xì)節(jié)紋理信息和較高的分辨率。然而,場(chǎng)景中的目標(biāo)由于隱藏在黑暗、叢林或者煙霧中卻無(wú)法清晰成像。因此將紅外與可見光圖像融合可互補(bǔ)兩種圖像的特性,得到一幅細(xì)節(jié)信息豐富的融合圖像。目前,紅外與可見光圖像融合技術(shù)在目標(biāo)識(shí)別、檢測(cè)和視頻監(jiān)視等領(lǐng)域中得到廣泛應(yīng)用[1-3]。

像素級(jí)圖像融合直接作用于原始輸入圖像,能夠保留原始圖像中豐富的細(xì)節(jié)信息,提取圖像的重要信息并將獲取信息以最小的失真或損失轉(zhuǎn)化為融合圖像是像素級(jí)圖像融合的關(guān)鍵。近幾十年來,人們已經(jīng)提出了眾多有效的紅外與可見光圖像融合方法,歸納起來可分為四類:基于多尺度變換的融合方法,基于稀疏表示的融合方法,基于神經(jīng)網(wǎng)絡(luò)的融合方法和基于顯著性的融合方法[4]。

基于多尺度變換的圖像融合方法是目前紅外和可見光圖像融合領(lǐng)域的研究熱點(diǎn)[5]。多尺度變換可以實(shí)現(xiàn)源圖像由細(xì)到粗不同尺度的分解,且許多研究證明多尺度變換與人們的視覺感知一致,可使得融合圖像具有良好的視覺效果?；诙喑叨茸儞Q的融合方法主要包括三個(gè)步驟。首先,將紅外和可見光源圖像分別分解成不同尺度的若干層。然后根據(jù)規(guī)定的融合規(guī)則對(duì)多尺度系數(shù)進(jìn)行融合;最后進(jìn)行多尺度逆變換可獲得最終融合圖像。多尺度變換方法的選擇和融合規(guī)則的設(shè)計(jì)是實(shí)現(xiàn)該類方法的兩個(gè)關(guān)鍵步驟。紅外與可見光圖像融合中常用的多尺度變換有金字塔變換、小波變換、輪廓波變換、剪切波變換、邊緣保持濾波器等[6-10]。盡管變換系數(shù)可以合理地表示圖像的重要特征,但是每種變換都有自己的優(yōu)缺點(diǎn),因此選擇一種最優(yōu)的多尺度變換由具體場(chǎng)景信息決定。

稀疏表示理論以其良好的表征人類視覺系統(tǒng)能力,在計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、信息融合等不同領(lǐng)域得到了廣泛應(yīng)用。稀疏表示遵循輸入信號(hào)可以近似地由過完備字典中的原子稀疏線性組合表示。文獻(xiàn)[11]首次利用稀疏表示模型解決圖像融合問題。首先,采用滑動(dòng)窗口策略將每幅源圖像分解為若干個(gè)重疊的圖像塊。其次,通過正交匹配算法對(duì)每一個(gè)圖像塊進(jìn)行稀疏編碼獲得稀疏系數(shù)。然后,采用稀疏系數(shù)向量的范數(shù)作為活躍級(jí)度量對(duì)稀疏系數(shù)進(jìn)行融合。最后,利用融合稀疏系數(shù)和過完備字典重構(gòu)最終融合圖像。構(gòu)造過完備字典和稀疏編碼是基于稀疏表示圖像融合的兩個(gè)關(guān)鍵問題。文獻(xiàn)[12]采用了同時(shí)正交匹配算法進(jìn)行稀疏編碼,保證相同位置的源圖像塊可以由字典中相同的原子子集表示。此外還采用K-SVD算法從大量自然圖像塊中學(xué)習(xí)得到字典,代替了離散余弦變換基構(gòu)造的字典。文獻(xiàn)[13]采用形態(tài)學(xué)分量分析模型獲得源圖像的卡通和紋理分量的稀疏表示,根據(jù)不同分量的特性設(shè)計(jì)合適的融合策略。文獻(xiàn)[14]提出了自適應(yīng)稀疏表示的圖像融合方法,其通過學(xué)習(xí)訓(xùn)練樣本的不同梯度方向信息構(gòu)建字典,根據(jù)圖像塊的梯度信息在字典集中自適應(yīng)選擇合適的字典進(jìn)行稀疏編碼。為了克服傳統(tǒng)稀疏表示采用基于圖像塊編碼存在細(xì)節(jié)保持能力有限和對(duì)誤配準(zhǔn)的敏感性高的不足,文獻(xiàn)[15]提出了基于卷積稀疏表示的圖像融合方法?；谙∈璞硎镜姆椒ㄈ〉煤芎玫娜诤辖Y(jié)果,但由于稀疏求解過程復(fù)雜,使得計(jì)算復(fù)雜度很高。

近年來深度學(xué)習(xí)方法也逐漸地被用到圖像融合領(lǐng)域。文獻(xiàn)[16]提出基于卷積神經(jīng)網(wǎng)絡(luò)的紅外與可見光圖像融合方法,在拉普拉斯金字塔結(jié)構(gòu)上使用卷積神經(jīng)網(wǎng)絡(luò)來提取圖像特征并構(gòu)造權(quán)重圖。文獻(xiàn)[17]構(gòu)建并訓(xùn)練了一個(gè)端到端的生成對(duì)抗性網(wǎng)絡(luò)模型來融合紅外和可見光圖像。文獻(xiàn)[18]提出了一種端到端的聚合殘差密集網(wǎng)絡(luò)結(jié)構(gòu),充分利用了殘差網(wǎng)絡(luò)的密集結(jié)構(gòu)優(yōu)勢(shì),實(shí)現(xiàn)了紅外與可見光圖像的有效融合。

基于顯著性的融合方法作為紅外與可見光融合的代表性框架之一,可保持顯著性目標(biāo)區(qū)域的完整性,提高融合圖像的視覺質(zhì)量。權(quán)重計(jì)算和顯著目標(biāo)提取是兩種不同的實(shí)現(xiàn)方法。前者通常和多尺度方法相結(jié)合,將紅外與可見光源圖像分解成基礎(chǔ)層和細(xì)節(jié)層,然后對(duì)基礎(chǔ)層或細(xì)節(jié)層采用顯著性提取模型獲得顯著圖并計(jì)算得到權(quán)重圖,根據(jù)權(quán)重圖實(shí)現(xiàn)基礎(chǔ)層和細(xì)節(jié)層圖像的融合,最后通過融合的基礎(chǔ)層和細(xì)節(jié)層重構(gòu)融合圖像。文獻(xiàn)[19]提出基于多尺度邊緣保存濾波和引導(dǎo)濾波的紅外與可見光圖像融合方法,采用相位一致性來獲取基礎(chǔ)層和細(xì)節(jié)層的顯著圖,然后對(duì)顯著圖進(jìn)行引導(dǎo)濾波獲得權(quán)重圖。后者通常采用顯著性模型提取紅外圖像的顯著性區(qū)域,使得融合圖像具有良好的視覺效果。文獻(xiàn)[20]采用基于超像素的顯著性模型獲得紅外圖像的顯著性區(qū)域,很好地保留了紅外圖像的目標(biāo)信息。

為了更好地提取紅外圖像的顯著目標(biāo),且考慮到紅外與可見光圖像的相關(guān)性,本文提出了一種基于聯(lián)合低秩稀疏(Joint Low-rank and Sparse, JLRS)分解的紅外與可見光圖像融合方法。與傳統(tǒng)低秩稀疏分解不同,該方法假設(shè)紅外與可見光圖像具有共有的低秩分量,將源圖像聯(lián)合分解成共有低秩分量,特有低秩分量和特有稀疏分量三部分。針對(duì)特有低秩分量和特有稀疏分量的不同特點(diǎn),采用基于非下采樣Shearlet變換(Non-Subsampled Shearlet Transform, NSST)和區(qū)域能量的融合方法分別對(duì)特有低秩分量和特有稀疏分量進(jìn)行融合。最后將融合的特有低秩分量和特有稀疏分量與共有低秩分量合并重構(gòu)最終的融合圖像。實(shí)驗(yàn)結(jié)果表明本文算法能夠有效地提取紅外圖像中的目標(biāo)信息和保留可見光圖像的背景信息,提高目標(biāo)顯著性,并且在主觀視覺和客觀評(píng)價(jià)指標(biāo)方面都明顯優(yōu)于對(duì)比算法。

2 聯(lián)合低秩稀疏分解

低秩稀疏分解是一種有效的圖像表示模型,在圖像分類、圖像去噪、圖像對(duì)齊等研究中表現(xiàn)出良好性能[21]。對(duì)于一幅數(shù)字圖像,為了利用高維數(shù)據(jù)中的低秩低維結(jié)構(gòu),可將圖像矩陣分解成高度相關(guān)的低秩部分和近似噪聲或野點(diǎn)的稀疏部分。設(shè)輸入圖像矩陣為X=[x1,x2,…,xn]∈Rm×n,則有:

(1)

其中:L和S分別代表低秩分量和稀疏分量,rank(L)表示L的秩,||S||0表示矩陣S的0范數(shù)。然而,上述求解過程是NP-hard問題。為了得到最優(yōu)解,通常將(1)轉(zhuǎn)化為凸優(yōu)化問題,如(2)所示:

(2)

其中:||L||*表示矩陣L的核范數(shù),||S||1表示矩陣S的1范數(shù)。

針對(duì)多幅圖像分解,原始低秩分解方法是逐一對(duì)源圖像進(jìn)行單獨(dú)分解。然而,此方法忽略了多幅源圖像之間的相關(guān)性。因此,文獻(xiàn)[22]提出了一種聯(lián)合低秩稀疏分解模型。該模型假設(shè)數(shù)據(jù)矩陣由三部分組成:共有低秩部分、特有低秩部分和特有稀疏部分。假設(shè)Xq=[xq,1,xq,2,…,xq,n]∈Rm×n(q=1,2,…,Q)表示第q幅輸入圖像,Q為輸入圖像的總個(gè)數(shù)。因此,Xq可以被寫成以下三個(gè)分量之和:

Xq=Lc+Lq+Sq

(3)

其中:Lc表示共有低秩分量,Lq和Sq分別表示第q幅圖像的特有低秩部分和特有稀疏部分。通過求如下解優(yōu)化問題(4),可以恢復(fù)出分解后的三部分分量。

(4)

其中:λ1和λ2表示正則化參數(shù)。増廣拉格朗日乘子法可以求解凸優(yōu)化問題。公式(4)的増廣拉格朗日函數(shù)為:

(5)

然后使用交替方法乘子法(Alternating Direction Method of Multipliers,ADMM) 求解以下最小化問題可以獲得最優(yōu)解。

(6)

3 本文算法

本文提出了一種基于聯(lián)合低秩稀疏分解的紅外與可見光圖像融合算法,其算法流程如圖1所示。本方法主要包含以下四個(gè)步驟:源圖像聯(lián)合低秩稀疏分解、特有低秩分量融合、特有稀疏分量融合與融合圖像重構(gòu)。具體實(shí)現(xiàn)步驟如下。

圖1 算法框架Fig.1 Algorithm framework

3.1 聯(lián)合低秩稀疏分解

利用聯(lián)合低秩稀疏分解模型將紅外圖像IA和可見光圖像IB聯(lián)合分解成共有低秩分量、特有低秩分量和特有稀疏分量。分解過程如式(7)所示:

(7)

其中:Lc表示紅外與可見光圖像的共有低秩分量,LA和LB分別表示紅外與可見光圖像的特有低秩分量,SA和SB分別表示紅外與可見光圖像的特有稀疏分量。圖2所示為一組紅外與可見光圖像的聯(lián)合低秩稀疏分解結(jié)果。圖2(a)和(b)分別表示紅外圖像與可見光圖像。紅外圖像中行人目標(biāo)溫度較高則可以清晰地發(fā)現(xiàn),但圖像的背景信息清晰度很低,分辨率明顯低于可見光圖像?？梢姽鈭D像中細(xì)節(jié)紋理明顯清晰,但隱藏在叢林中的人物目標(biāo)無(wú)法被觀察到。圖2(c)表示共有低秩分量。從圖中可以看到,其保留了兩幅圖像的共有輪廓信息。圖2(d)和(e)分別表示紅外和可見光圖像的特有低秩分量。從圖中可以看到,兩幅圖分別包含了紅外圖像和可見光圖像各自特有的背景信息,其中蘊(yùn)含著源圖像的部分紋理細(xì)節(jié)信息。特有稀疏分量如圖(f)和圖(g)所示,包含著源圖像的顯著目標(biāo)信息。針對(duì)特有低秩分量與特有稀疏分量,分別構(gòu)建了不同融合策略。

圖2 紅外與可見光圖像聯(lián)合低秩稀疏分解Fig.2 Joint low-rank and sparse decomposition of infrared and visible images

3.2 特有低秩分量融合策略

3.2.1低頻子帶融合

低頻子帶蘊(yùn)含特有低秩分量的絕大部分信息。為了更好地保留有效信息,去除冗余信息,本文采用基于稀疏表示的融合策略對(duì)特有低秩分量的低頻子帶進(jìn)行融合。具體實(shí)現(xiàn)步驟如下:

2)利用稀疏表示模型對(duì)每一個(gè)圖像塊進(jìn)行稀疏分解,獲得每一個(gè)圖像塊的稀疏系數(shù)。

(8)

(9)

(10)

(11)

(12)

將所有融合后的圖像塊向量轉(zhuǎn)換成為圖像塊,對(duì)重疊區(qū)域進(jìn)行平均可得到低頻子帶融合圖像FL。

3.2.2高頻子帶融合

2)對(duì)初始決策圖采用一致性檢驗(yàn)得到最終決策圖,如式(13)所示。

(13)

(14)

3.3 特有稀疏分量融合策略

特有稀疏分量主要包含源圖像中亮度較大的目標(biāo)信息。能量常用來描述圖像的亮度特征,為了減少能量的損失,保留圖像中的顯著目標(biāo),本文采用區(qū)域能量取大的融合策略對(duì)特有稀疏分量進(jìn)行融合。

紅外圖像特有稀疏分量SA和可見光圖像特有稀疏分量SB的區(qū)域能量計(jì)算如下:

(15)

(16)

其中:W表示一個(gè)(2r+1)×(2r+1)的權(quán)重矩陣,其根據(jù)四鄰域離中心位置的距離設(shè)定如下。

(17)

因此,融合特有稀疏分量可通過以下規(guī)則得到。

(18)

3.4 融合圖像重構(gòu)

通過上述步驟,可獲得融合后的特有低秩分量和特有稀疏分量。最終融合圖像可通過式(19)獲得。

If=Lc+Lf+Sf

(19)

4 實(shí)驗(yàn)結(jié)果與分析

本文在Bristol Eden Project1、Nato-camp和TNO2公共數(shù)據(jù)集中選取一些嚴(yán)格配準(zhǔn)的紅外與可見光圖像進(jìn)行測(cè)試。實(shí)驗(yàn)環(huán)境平臺(tái)為:Intel(R) core(TM) i7-9700 @3.00 GHz,RAM 16.0 GB,MATLAB 2018b。

客觀評(píng)價(jià)指標(biāo)可以定量地評(píng)估圖像的質(zhì)量。本文采用熵(Entropy, EN)、互信息(Mutual Information, MI)、標(biāo)準(zhǔn)差(Standard Deviation, SD)、視覺信息保真度(Visual Information Fidelity, VIF)、差異相關(guān)系數(shù)之和(The Sum of the Correlations of Differences, SCD)和QY作為客觀評(píng)價(jià)指標(biāo)對(duì)融合算法性能進(jìn)行評(píng)估[27]。EN反映了融合圖像中包含信息量的多少。MI衡量了從源圖像到融合圖像傳輸?shù)男畔⒘?。SD反映了融合圖像的灰度與圖像平均值之間的差異。VIF反應(yīng)融合圖像的信息保真度。SCD計(jì)算源圖像與融合圖像的差分圖像之間的相關(guān)性,QY衡量融合圖像保存結(jié)構(gòu)信息的能力。六種客觀評(píng)價(jià)指標(biāo)數(shù)值越大,融合圖像質(zhì)量越高。

第一組測(cè)試數(shù)據(jù)選用Nato-camp圖像序列,包含32幀大小為270×360的紅外圖像和可見光圖像。圖3(a)和(b)所示為其中一幀紅外與可見光源圖像。圖3(c)～(l)表示對(duì)比方法與本文方法的融合結(jié)果。從圖中可以看出,GTF方法的融合圖像視覺質(zhì)量較差,細(xì)節(jié)信息模糊不清。LP、DTCWT、NSCT、NSST和CSR方法能夠保留可見光圖像中樹木的紋理信息,但是融合結(jié)果中人物目標(biāo)偏暗且周圍存在黑洞,對(duì)比度偏低。GF較好地保存了紅外圖像中的顯著目標(biāo),但是融合圖像背景不清晰。LATLRR方法的融合結(jié)果整體比較模糊且分辨率較低。CNN方法的融合結(jié)果整體比較清晰,但建筑旁邊的樹木邊緣輪廓不理想。本文方法的融合結(jié)果相對(duì)于比較方法,目標(biāo)清晰,對(duì)比度高,具有較好的視覺效果。

圖3 Nato-camp圖像融合結(jié)果Fig.3 Fusion results of Nato-camp images

圖4所示為十種融合方法在Nato-camp 32幀測(cè)試圖像序列上的六種客觀評(píng)價(jià)指標(biāo)結(jié)果曲線圖,其中帶有星號(hào)的曲線代表本文融合算法。從圖中可以看到,本文方法的32幅融合圖像具有最優(yōu)的VIF,SCD和QY數(shù)值結(jié)果,并且大多數(shù)融合結(jié)果具有最優(yōu)的MI值。在EN和SD指標(biāo)上,本文方法的數(shù)值結(jié)果均低于GTF方法的數(shù)值結(jié)果,但與CNN方法的數(shù)值結(jié)果不相伯仲。綜上所述,面對(duì)Nato-camp 32幀圖像序列,本文方法在主觀視覺和客觀評(píng)價(jià)上表現(xiàn)出優(yōu)越的融合性能。

圖4 不同融合方法的客觀評(píng)價(jià)指標(biāo)結(jié)果 (Nato-camp)Fig.4 Objective evaluation results of different fusion methods (Nato-camp)

圖5所示為Bristol Eden Project圖像序列中某幀源圖像和對(duì)比算法的融合結(jié)果。圖5(a)和(b)分別表示紅外和可見光源圖像。圖5(c)～(l)分別表示對(duì)比算法和本文算法的融合結(jié)果。從圖中可以看到,DTCWT、NSCT和NSST方法的融合結(jié)果中人物目標(biāo)和背景都比較暗淡,對(duì)比度較低。CSR、GTF、GF和LATLRR方法的融合結(jié)果存在背景細(xì)節(jié)信息丟失問題,LP和CNN方法的融合圖像中人物目標(biāo)周圍背景信息有一定程度丟失。本文方法的融合結(jié)果具有層次感,亮度高,人物目標(biāo)非常清晰,具有更好的人類視覺效果。

圖5 Bristol Eden Project圖像融合結(jié)果Fig.5 Fusion results of Bristol Eden Project

圖6為十種融合方法在Bristol Eden Project 32幀測(cè)試圖像序列上的六種客觀評(píng)價(jià)指標(biāo)結(jié)果曲線圖,圖中帶有星號(hào)的曲線代表本文融合算法。本文方法的32幅融合圖像具有最優(yōu)的MI,VIF和SCD指標(biāo)值,從EN值結(jié)果曲線中可以看出本文方法遠(yuǎn)高于其他對(duì)比方法的熵值,SD值結(jié)果曲線中本文方法僅有一部分圖像幀融合結(jié)果未達(dá)到最優(yōu)。總之,本文方法對(duì)Bristol Eden Project 32幀圖像序列在主觀視覺和客觀評(píng)價(jià)上均表現(xiàn)出一定的優(yōu)勢(shì)。

圖6 不同融合方法的客觀評(píng)價(jià)指標(biāo)結(jié)果 (Bristol Eden Project)Fig.6 Objective evaluation results of different fusion methods (Bristol Eden Project)

第三組測(cè)試圖像為Kaptein圖像,如圖7(a)和(b)所示。圖7(c)～(l)為對(duì)比方法和本文方法的融合結(jié)果。從主觀視覺來看,LP、DTCWT、NSCT、NSST、CSR、CNN和LATLRR方法的融合結(jié)果人物目標(biāo)暗淡,對(duì)比度較差。GTF、GF和CNN方法能夠有效地保留清晰的人物目標(biāo)。然而,GTF方法的融合結(jié)果背景模糊,GF方法的融合結(jié)果中庭院過度光滑,細(xì)節(jié)紋理不清晰。本文方法既保留紅外圖像中顯著的人物目標(biāo)和屋頂?shù)臒焽?又保留了可見光圖像中充足的背景信息,圖像整體視覺效果較好。為了進(jìn)一步客觀評(píng)價(jià)融合算法的性能,表1列出了Kaptein圖像融合結(jié)果的客觀評(píng)價(jià)指標(biāo)數(shù)值結(jié)果。從表中可以看出本文方法的EN、MI、SD、SCD和QY五項(xiàng)指標(biāo)值都高于其他對(duì)比算法。

表1 Kaptein圖像的客觀評(píng)價(jià)指標(biāo)

表2列出了不同融合方法在3組數(shù)據(jù)集上的運(yùn)行時(shí)間。對(duì)于Nato-camp和Bristol Eden Project數(shù)據(jù)集,表2所列為不同融合方法在32幅圖像數(shù)據(jù)上的平均計(jì)算時(shí)間。對(duì)于Nato-camp數(shù)據(jù)集,LP、DTCWT、GTF與GF方法的計(jì)算時(shí)間均小于1 s,NSCT與NSST方法的計(jì)算時(shí)間略大于1 s,CSR、CNN、LATLLR與本文方法的計(jì)算時(shí)間遠(yuǎn)大于1 s。對(duì)于Bristol Eden Project和Kaptein數(shù)據(jù)集,LP、DTCWT與GF方法的計(jì)算時(shí)間均小于1 s,NSCT、NSST和GTF方法的計(jì)算時(shí)間略大于3 s,CSR、CNN、LATLLR與本文方法的計(jì)算時(shí)間遠(yuǎn)大于3 s?？傊?相比于多尺度融合方法,如LP、DTCWT、NSCT、NSST、GTF和GF,本文方法的計(jì)算復(fù)雜度更高。然而,相較于CSR、CNN和LATLRR等方法,本文方法的計(jì)算復(fù)雜度較低。

表2 不同融合方法的運(yùn)行時(shí)間 (s)

5 結(jié)論

針對(duì)傳統(tǒng)紅外與可見光圖像融合算法在融合圖像中細(xì)節(jié)信息丟失、顯著目標(biāo)不清晰和對(duì)比度低等問題,充分考慮紅外與可見光圖像的相關(guān)性,提出了一種基于聯(lián)合低秩稀疏分解的紅外與可見光圖像融合方法。通過聯(lián)合低秩稀疏分解可以有效地將圖像目標(biāo)與背景分離。設(shè)計(jì)合適融合規(guī)則實(shí)現(xiàn)了特有低秩分量和特有稀疏分量的有效融合。實(shí)驗(yàn)結(jié)果表明本文方法獲得的融合圖像目標(biāo)清晰,細(xì)節(jié)豐富,在主觀視覺和客觀評(píng)價(jià)指標(biāo)上都優(yōu)于對(duì)比方法。