基于低秩稀疏表示的紅外與可見(jiàn)光圖像序列融合方法

王文卿，高鈺迪，劉 涵，謝 國(guó)，焦鵬飛

(1.西安理工大學(xué) 自動(dòng)化與信息工程學(xué)院，陜西 西安 710048；2.陜西省復(fù)雜系統(tǒng)控制與智能信息處理重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710048)

隨著傳感器技術(shù)的快速發(fā)展，不同類(lèi)型的成像傳感器可提供不同特性的圖像數(shù)據(jù)。單一圖像數(shù)據(jù)的特性難以滿(mǎn)足用戶(hù)需求。圖像融合作為一種增強(qiáng)技術(shù)，實(shí)現(xiàn)了多類(lèi)圖像數(shù)據(jù)的有效結(jié)合，為后續(xù)處理或者決策提供信息豐富且魯棒的圖像數(shù)據(jù)[1]。

紅外與可見(jiàn)光圖像融合是圖像融合研究的重要內(nèi)容之一，被廣泛應(yīng)用于極端環(huán)境下的視頻監(jiān)控、目標(biāo)檢測(cè)與識(shí)別等研究領(lǐng)域?？梢?jiàn)光傳感器探測(cè)目標(biāo)場(chǎng)景的光譜反射特性，具備較高的空間分辨率和清晰的紋理細(xì)節(jié)信息，但其受光線(xiàn)條件的限制，無(wú)法在特殊環(huán)境下，例如夜晚、云霧天氣或遮擋物，捕獲清晰的場(chǎng)景圖像。近紅外傳感器探測(cè)目標(biāo)場(chǎng)景的熱輻射能量分布，不受光照環(huán)境的限制。然而紅外圖像清晰度和對(duì)比度較低，像素分辨率限制圖像的細(xì)節(jié)表現(xiàn)能力，成像質(zhì)量受外界干擾嚴(yán)重，導(dǎo)致紅外圖像邊緣信息模糊[2]。圖像融合技術(shù)能夠?qū)⒓t外圖像的目標(biāo)信息與可見(jiàn)光圖像的紋理細(xì)節(jié)信息有效結(jié)合，為圖像的解譯與識(shí)別提供信息保障。

基于多尺度分解的融合方法是最具代表性的紅外與可見(jiàn)光融合技術(shù),其主要實(shí)現(xiàn)步驟可歸納如下：1)利用多尺度變換算法將輸入圖像進(jìn)行分解，獲得其多尺度表示系數(shù)；2)設(shè)計(jì)融合策略實(shí)現(xiàn)表示系數(shù)融合；3)對(duì)融合的多尺度表示系數(shù)進(jìn)行逆變換，從而得到最終融合圖像。圖像融合中常用的多尺度變換方法有：Laplace金字塔、小波變換、曲波變換、輪廓波變換、剪切波變換、邊緣保存分解方法等[3-6]。為了提高融合圖像的質(zhì)量，常用融合策略有：基于系數(shù)、窗口與區(qū)域的活躍度測(cè)量方法、最大值選擇與基于加權(quán)平均的系數(shù)組合方法、基于窗口或區(qū)域的一致性驗(yàn)證方法等[5]。

近年來(lái)，稀疏表示理論因其優(yōu)秀顯著性信息表達(dá)能力在圖像處理領(lǐng)域得到廣泛應(yīng)用，并被成功用于紅外與可見(jiàn)光圖像融合?；谙∈璞硎镜募t外與可見(jiàn)光圖像融合方法主要從三個(gè)方向展開(kāi)研究：1)字典構(gòu)造；2)稀疏編碼；3)融合規(guī)則設(shè)計(jì)。傳統(tǒng)的固定基字典，如離散余弦字典[7]、多尺度幾何分析字典[8]，簡(jiǎn)單且有效?；趯W(xué)習(xí)的字典構(gòu)造方法比固定基字典展現(xiàn)出更強(qiáng)的適應(yīng)性和魯棒性。常見(jiàn)的字典學(xué)習(xí)方法有K-SVD，最優(yōu)方向法，在線(xiàn)字典學(xué)習(xí)，多尺度字典學(xué)習(xí)等[2]。為了獲取圖像的精確稀疏表達(dá)，正交匹配追蹤[9]，同時(shí)正交匹配追蹤[8]，聯(lián)合稀疏表示模型[10]，卷積稀疏表示[11]等稀疏編碼模型被應(yīng)用于紅外與可見(jiàn)光圖像融合。稀疏系數(shù)的非零元素表征圖像塊的顯著性特征，因此在融合規(guī)則方面往往采用最大值選擇策略與加權(quán)平均融合策略來(lái)獲取最優(yōu)融合系數(shù)[5]。

本文針對(duì)場(chǎng)景中運(yùn)動(dòng)目標(biāo)被遮擋的紅外與可見(jiàn)光圖像序列展開(kāi)研究?？紤]圖像序列背景高度相關(guān)特性，利用低秩稀疏表示理論將紅外圖像序列與可見(jiàn)光圖像序列各自分解為低秩分量與稀疏分量。然后針對(duì)低秩分量與稀疏分量的特點(diǎn)，采用不同的融合策略分別將紅外與可見(jiàn)光的低秩分量與稀疏分量融合。本文算法的主要貢獻(xiàn)如下：1)相較于傳統(tǒng)融合方法直接將紅外與可見(jiàn)光圖像融合帶來(lái)的運(yùn)動(dòng)目標(biāo)信息能量弱化的問(wèn)題，本文算法利用低秩稀疏分解首先將運(yùn)動(dòng)目標(biāo)信息與背景分離，完整保留了運(yùn)動(dòng)目標(biāo)信息；2)利用絕對(duì)值最大選擇融合策略，實(shí)現(xiàn)了稀疏分量的有效融合，保證了目標(biāo)信息的完整性。實(shí)驗(yàn)結(jié)果證明本文算法在Nato-camp與Bristol Eden Project數(shù)據(jù)集上具有優(yōu)秀的融合性能。

1 低秩稀疏表示

低秩稀疏表示理論[12]是近年來(lái)提出的先進(jìn)圖像表示模型，被廣泛應(yīng)用視頻背景建模、圖像恢復(fù)、音樂(lè)詞曲分離、圖像矯正與去噪、圖像對(duì)齊等領(lǐng)域。對(duì)于某類(lèi)觀(guān)測(cè)的圖像序列，假定任意一幀圖像表示為m維向量x∈Rm×1。若該圖像序列包含n幀圖像，那么可以用n個(gè)向量組成的矩陣X=[x1,x2,…,xn]∈Rm×n來(lái)表示該圖像序列。低秩稀疏表示理論能從高度相關(guān)且被稀疏噪聲污染的觀(guān)測(cè)數(shù)據(jù)中恢復(fù)出本質(zhì)上低秩的數(shù)據(jù)。針對(duì)圖像序列，借助低秩稀疏表示理論，可將矩陣X分解為兩個(gè)分量：

X=L+S

(1)

式中：L表示低秩分量(具有極大相似性的背景部分)，S表示稀疏分量(噪聲或者分布范圍較小的運(yùn)動(dòng)目標(biāo)或者前景部分)。通過(guò)求解優(yōu)化問(wèn)題(2)，可從觀(guān)測(cè)數(shù)據(jù)X中恢復(fù)出低秩矩陣L。

(2)

式中：rank(L)表示矩陣L的秩；‖S‖0表示矩陣S的l0范數(shù)，其意義是計(jì)算矩陣S中非零元素的個(gè)數(shù)。rank(L)與‖S‖0均為非凸函數(shù)，這使得優(yōu)化問(wèn)題(2)成為NP-hard問(wèn)題。通過(guò)凸松弛方法，式(2)可轉(zhuǎn)化為如下優(yōu)化問(wèn)題：

(3)

式中：‖L‖*=∑jσj(L)表示核范數(shù)，其中σj(L)表示低秩矩陣的第j個(gè)奇異值；‖S‖1表示矩陣S的l1范數(shù)。利用增廣Lagrange乘子方法[13]可有效求解凸優(yōu)化問(wèn)題(3)。

2 本文算法

面向紅外與可見(jiàn)光圖像序列，考慮圖像序列間背景信息的高度相關(guān)性，以及運(yùn)動(dòng)目標(biāo)的稀疏性，結(jié)合低秩稀疏表示理論與Laplace金字塔變換方法，提出了本文算法，其具體流程見(jiàn)圖1。根據(jù)流程圖，可將本文所提融合算法歸納為三步。

2.1 低秩稀疏分解

在對(duì)紅外與可見(jiàn)光圖像序列進(jìn)行低秩與稀疏分解前，首先分別將紅外與可見(jiàn)光圖像序列中每一幀圖像變成pq維向量，其中p和q分別表示每幀圖像的行數(shù)與列數(shù)。假定X=[x1,x2,…,xn]∈Rpq×n表示紅外圖像序列，其中xi表示第i幀紅外圖像，而Y=[y1,y2,…,yn]∈Rpq×n表示可見(jiàn)光圖像序列，其中yi表示第i幀可見(jiàn)光圖像。利用低秩稀疏分解方法，可將紅外圖像序列與可見(jiàn)光圖像序列各自分解為低秩分量和稀疏分量。假定L1=[l1,1,l2,1,…,ln,1]與S1=[s1,1,s2,1,…,sn,1]分別表示紅外圖像序列的低秩分量與稀疏分量，其中l(wèi)i,1和si,1分別表示第i幀紅外圖像的低秩分量與稀疏分量，L2=[l1,2,l2,2,…,ln,2]與S2=[s1,2,s2,2,…,sn,2]分別表示可見(jiàn)光圖像序列的低秩分量與稀疏分量，其中l(wèi)i,2和si,2分別表示第i幀可見(jiàn)光圖像的低秩分量與稀疏分量。通過(guò)求解如下優(yōu)化問(wèn)題(4)與(5)，可得到低秩分量與稀疏分量的估計(jì)值。

圖1 本文算法流程圖

(4)

(5)

圖2(a)和(b)分別表示Nato-camp圖像序列中某幀紅外圖像與可見(jiàn)光圖像，圖2(c)和(d)分別表示該幀紅外圖像與可見(jiàn)光圖像的低秩分量，圖2(e)和(f)分別表示該幀紅外圖像與可見(jiàn)光圖像的稀疏分量。紅外圖像中前景人形目標(biāo)清晰，但背景紋理細(xì)節(jié)信息丟失嚴(yán)重。而可見(jiàn)光圖像具有清晰的細(xì)節(jié)紋理信息，但樹(shù)林卻將人形目標(biāo)完全遮擋。通過(guò)低秩稀疏分解后，紅外圖像的背景與人形目標(biāo)完全分離。可見(jiàn)光圖像的絕大部分信息集中于低秩部分，而稀疏分量中含有極少的信息。圖3為Bristol Eden Project圖像序列中某幀紅外與可見(jiàn)光圖像的低秩稀疏分解。紅外圖像見(jiàn)圖3(a)，其背景信息模糊，但目標(biāo)清晰可見(jiàn)?？梢?jiàn)光圖像見(jiàn)圖3(b)，其具有清晰細(xì)節(jié)紋理信息，但目標(biāo)被樹(shù)林遮擋，無(wú)法分辨。低秩稀疏分解后，紅外圖像的背景與目標(biāo)完全分離，見(jiàn)圖3(c)和(e)。可見(jiàn)光低秩分量(圖3(d))保留了大部分信息，而其稀疏分量(圖3(f))包含了少許細(xì)節(jié)特征信息。

圖2 紅外與可見(jiàn)光圖像低秩稀疏分解 (Nato-camp)

圖3 紅外與可見(jiàn)光圖像低秩稀疏分解(Bristol Eden Project)

2.2 基于Laplace金字塔變換的低秩分量融合

低秩分量蘊(yùn)含著圖像的絕大部分信息。紅外低秩圖像缺乏紋理細(xì)節(jié)信息，而可見(jiàn)光低秩圖像擁有清晰的紋理細(xì)節(jié)信息。因此，為了保證可見(jiàn)光的紋理細(xì)節(jié)信息不丟失，本文采用Laplace金字塔方法將低秩分量進(jìn)行融合[14]。具體實(shí)現(xiàn)步驟如下。

(6)

類(lèi)似的，可見(jiàn)光圖像低秩分量的Laplace金字塔，定義為：

(7)

2)利用不同的融合規(guī)則分別對(duì)Laplace金字塔的最頂層和其余各層進(jìn)行融合。對(duì)于LPK,1和LPK,2,采用如下方式進(jìn)行融合：

LPK,f=(LPK,1+LPK,2)/2

(8)

其中LPK,f表示Laplace金字塔第K層的融合結(jié)果。對(duì)于第k層圖像，采用基于一致性驗(yàn)證的最大值選擇融合規(guī)則[15]。該融合規(guī)則的實(shí)現(xiàn)步驟如下。

a)假設(shè)存在濾波窗口W，其大小為s×s。利用二維順序統(tǒng)計(jì)量濾波選取濾波窗口內(nèi)絕對(duì)值最大的像素值作為該窗口區(qū)域的活躍度值。通過(guò)對(duì)LPk,1與LPk,2進(jìn)行濾波，可得到兩幅圖像主特征的描述圖Ak,1和Ak,2。

b)利用如下公式得到二值決策圖：

Wk,1=(W*(Ak,1>Ak,2))>floor(s×s/2)

(9)

Wk,2=1-Wk,1

(10)

式中：floor表示向下取整函數(shù)，*表示卷積操作，Wk,1表示紅外低秩分量的第k層Laplace金字塔的加權(quán)圖，Wk,2表示可見(jiàn)光低秩分量的第k層Laplace金字塔的加權(quán)圖。因此，Laplace金字塔第k層的融合結(jié)果可通過(guò)如下公式表示：

LPk,f=Wk,1LPk,1+Wk,2LPk,2

(11)

3)從Laplace金字塔頂層開(kāi)始，通過(guò)式(12)，逐層依次遞推，可恢復(fù)出Gauss金字塔，并最終得到低秩分量的融合結(jié)果為L(zhǎng)i,f。

(12)

2.3 基于絕對(duì)值最大策略的稀疏分量融合

由圖2～3可看出，紅外圖像的稀疏分量主要包含目標(biāo)信息，而可見(jiàn)光圖像的稀疏分量中蘊(yùn)含少量的細(xì)節(jié)信息。因此，我們采用絕對(duì)值最大策略構(gòu)建權(quán)重圖：

(13)

Wi,2(p,q)=1-Wi,1(p,q)

(14)

式中Ti,1=W1*abs(Si,1)，Ti,2=W1*abs(Si,2)；W1是大小為r×r的全1矩陣；*表示卷積操作；Wi,1與Wi,2分別表示第i幀紅外與可見(jiàn)光圖像稀疏分量的權(quán)重圖。因此，融合稀疏分量可以通過(guò)如下公式得到：

Si,f=Wi,1Si,1+Wi,2Si,2

(15)

通過(guò)上述步驟，可得到每幀圖像的低秩分量融合結(jié)果與稀疏分量融合結(jié)果。最終融合圖像Fi可以表示為：

Fi=Li,f+Si,f

(16)

3 實(shí)驗(yàn)結(jié)果與分析

本文所有融合算法在Nato-camp圖像序列[16]與Bristol Eden Project圖像序列[17]上進(jìn)行驗(yàn)證。Nato-camp數(shù)據(jù)集中包含31幀紅外圖像與31幀可見(jiàn)光圖像。Bristol Eden Project數(shù)據(jù)集中包含32幀紅外圖像與32幀可見(jiàn)光圖像。在測(cè)試實(shí)驗(yàn)前，每一對(duì)紅外與可見(jiàn)光圖像經(jīng)過(guò)嚴(yán)格配準(zhǔn)。

圖4中，(a)與(b)分別表示紅外源圖像與可見(jiàn)光源圖像，(c)～(h)分別表示Laplace金字塔融合方法、曲波變換融合方法、雙樹(shù)復(fù)小波變換融合方法、向?qū)V波融合方法、基于卷積稀疏表示融合方法與本文算法的結(jié)果圖。由圖4中可以看出，Laplace金字塔融合方法、雙樹(shù)復(fù)小波變換融合方法與基于卷積稀疏表示的融合方法能有效地提高融合圖像的分辨率，保留可見(jiàn)光圖像的紋理細(xì)節(jié)信息。但這三種算法的融合結(jié)果圖中人形目標(biāo)與紅外源圖像的人形目標(biāo)相比，灰度值有較大的差異。曲波變換融合方法的結(jié)果圖整體上顯得很模糊，分辨率較低，且人形目標(biāo)不夠清晰。向?qū)V波融合方法的結(jié)果圖中人形目標(biāo)非常清晰，但叢林區(qū)域的紋理細(xì)節(jié)信息丟失嚴(yán)重，顯得很模糊。相比于五種融合算法的結(jié)果圖，本文算法的結(jié)果圖人形目標(biāo)非常清晰，且紋理細(xì)節(jié)信息同樣很清晰，分辨率很高。從人類(lèi)視覺(jué)的角度，本文算法的性能要優(yōu)于其它五種融合算法。

圖4 紅外與可見(jiàn)光圖像融合結(jié)果 (Nato-camp)

為了測(cè)試融合算法的性能，本文算法與比較算法均在31幀紅外與可見(jiàn)光圖像對(duì)上實(shí)現(xiàn)。圖5為六種融合算法在31幀測(cè)試數(shù)據(jù)上的五種客觀(guān)評(píng)價(jià)指標(biāo)數(shù)值結(jié)果曲線(xiàn)圖。表1列出了六種融合算法在31幀測(cè)試數(shù)據(jù)上的五種客觀(guān)評(píng)價(jià)指標(biāo)數(shù)值結(jié)果平均值，其中最優(yōu)平均數(shù)值結(jié)果被標(biāo)記為粗體。對(duì)于五種客觀(guān)評(píng)價(jià)指標(biāo)，熵值越大越好，而Qw、Qe、Qabf和VIF等指標(biāo)值越接近于1越好。圖5(a)為熵的數(shù)值結(jié)果曲線(xiàn)圖，藍(lán)色曲線(xiàn)表示本文算法。本文算法的31幅融合圖像中大部分圖像具有最優(yōu)熵值，但有少許圖像的熵值要低于對(duì)應(yīng)向?qū)V波方法融合圖像的熵值。圖5(b)與(c)為Qw和Qe指標(biāo)的數(shù)值結(jié)果曲線(xiàn)圖。本文算法的大部分融合圖像擁有最優(yōu)的Qw和Qe的數(shù)值結(jié)果。但少量融合圖像的Qw和Qe的數(shù)值要比其它對(duì)比算法融合圖像的Qw和Qe的數(shù)值小。圖5(d)為Qabf評(píng)價(jià)指標(biāo)的性能曲線(xiàn)，可以看到藍(lán)色曲線(xiàn)整體處于黑色曲線(xiàn)與青色曲線(xiàn)之下。圖5(e)為VIF指標(biāo)的性能曲線(xiàn)，可以看出藍(lán)色曲線(xiàn)全部處于其余五種曲線(xiàn)之上，這說(shuō)明本文算法的31幅融合結(jié)果均具有最優(yōu)VIF值。通過(guò)表1可以看出，本文算法擁有最優(yōu)的熵、Qw與VIF客觀(guān)評(píng)價(jià)指標(biāo)平均值。本文算法的Qe均值要略小于雙樹(shù)復(fù)小波的Qe均值。至于Qabf評(píng)價(jià)指標(biāo)，本文算法在六種算法中排在第三位，其均值比Laplace金字塔融合方法和向?qū)V波融合方法的均值要小。綜上所述，從視覺(jué)評(píng)估與客觀(guān)評(píng)價(jià)的角度，本文算法在31幀序列圖像上表現(xiàn)出很好的融合性能。

圖5 六種融合算法的客觀(guān)評(píng)價(jià)指標(biāo)數(shù)值結(jié)果 (Nato-camp)

表1 六種融合算法的客觀(guān)評(píng)價(jià)結(jié)果平均值(Nato-camp)

圖6中，(a)與(b)分別表示Bristol Eden Project數(shù)據(jù)集的某幀紅外與可見(jiàn)光圖像,(c)～(h)分別表示五種對(duì)比算法與本文算法的融合圖像。紅外源圖像的分辨率較低，但運(yùn)動(dòng)目標(biāo)清晰可見(jiàn)?？梢?jiàn)光圖像分辨率很高，紋理細(xì)節(jié)清晰，但因樹(shù)木遮擋使得目標(biāo)無(wú)法分辨。由圖中可以看出Laplace金字塔方法、曲波變換方法、雙樹(shù)復(fù)小波變換方法與卷積稀疏表示方法有效保留了可見(jiàn)光圖像的高分辨率信息，但目標(biāo)物體的分辨率不高，信息被弱化。向?qū)V波方法的融合圖像分辨率非常差，細(xì)節(jié)信息不清晰，但目標(biāo)物清晰可見(jiàn)。相較于其它五種融合算法結(jié)果，本文算法的融合圖像不僅分辨率高，細(xì)節(jié)信息清晰，且目標(biāo)可視度高，易于識(shí)別。

圖7為六種融合算法在32幅融合圖像上的客觀(guān)評(píng)價(jià)數(shù)值結(jié)果，其中藍(lán)色曲線(xiàn)代表本文算法。圖7(a)～(c)與(e)中藍(lán)色曲線(xiàn)均在其它五種融合算法評(píng)價(jià)曲線(xiàn)之上，這表明從熵、Qw、Qe與VIF四項(xiàng)客觀(guān)評(píng)價(jià)指標(biāo)來(lái)看，本文算法具備最優(yōu)性能。圖7(d)為Qabf的性能曲線(xiàn)。藍(lán)色曲線(xiàn)處于黑色曲線(xiàn)下方，表明本文算法在Qabf指標(biāo)上明顯低于向?qū)V波算法。表2列出了五種客觀(guān)評(píng)價(jià)指標(biāo)數(shù)值結(jié)果平均值。除了Qabf指標(biāo)外，本文算法的其余四項(xiàng)客觀(guān)評(píng)價(jià)指標(biāo)平均值要明顯高于比較算法的對(duì)應(yīng)客觀(guān)評(píng)價(jià)指標(biāo)平均值?？傊?，無(wú)論是從視覺(jué)效果，還是客觀(guān)評(píng)價(jià)指標(biāo)，本文算法對(duì)于實(shí)現(xiàn)紅外與可見(jiàn)光多幀序列圖像融合具有優(yōu)秀性能。

圖6 紅外與可見(jiàn)光圖像融合結(jié)果(Bristol Eden Project)

表2 六種融合算法的客觀(guān)評(píng)價(jià)結(jié)果平均值 (Bristol EdenProject)

Tab.2 Objective evaluation mean valuesby six fusion methods (Bristol Eden Project)

融合方法評(píng)價(jià)指標(biāo)熵QwQeQabfVIFLaplace金字塔6.3990.7740.6900.4770.397曲波變換6.3890.7470.6290.3840.376雙樹(shù)復(fù)小波變換6.5570.7700.6960.4130.453向?qū)V波5.8860.5480.4640.5780.073卷積稀疏表示6.2730.7600.6730.4820.322本文算法6.7690.7850.7280.4800.562

圖7 六種融合算法的客觀(guān)評(píng)價(jià)指標(biāo)數(shù)值結(jié)果(Bristol Eden Project)

4 結(jié) 論

針對(duì)場(chǎng)景中運(yùn)動(dòng)目標(biāo)被遮擋的紅外與可見(jiàn)光圖像序列，本文提出了基于低秩稀疏表示的圖像融合方法。利用低秩稀疏表示理論，將紅外圖像與可見(jiàn)光圖像的背景與目標(biāo)進(jìn)行分離，然后針對(duì)背景與目標(biāo)特性，采用不同融合方法分別實(shí)現(xiàn)紅外與可見(jiàn)光低秩分量融合與稀疏分量融合。本文算法在保證背景圖像細(xì)節(jié)紋理清晰的同時(shí)，還能保證目標(biāo)信息的完整性。實(shí)驗(yàn)結(jié)果證明了本文算法的可行性與有效性。本文算法適用于運(yùn)動(dòng)目標(biāo)被遮擋的紅外與可見(jiàn)光圖像序列融合，為目標(biāo)檢測(cè)、識(shí)別與監(jiān)控提供了技術(shù)支持。