基于稀疏表示和色彩傳遞的圖像融合與彩色化

宋芳偉，孫韶媛

(東華大學(xué)信息科學(xué)與技術(shù)學(xué)院，上海201620)

1 引言

夜視圖像包括微光圖像和紅外圖像，隨著微光與紅外成像技術(shù)的發(fā)展，綜合和發(fā)掘微光與紅外圖像的特征信息，使其融合成信息更全面的圖像已發(fā)展成為一種有效的技術(shù)手段。由于微光圖像和紅外圖像都是單色圖像，其最大的缺陷是低信噪比且圖像缺乏深度感，不利于對目標(biāo)的探測。如果利用人眼彩色視覺的高分辨率和高靈敏度的特性實現(xiàn)彩色夜視圖像，則可增強(qiáng)場景理解、突出目標(biāo)，有利于在隱藏、偽裝和迷惑的軍用背景下更快更精確地探測和識別目標(biāo)，并且可減小觀察者的疲勞感。因此，圖像融合以及彩色化技術(shù)成為夜視領(lǐng)域的研究熱點［1－3］。

目前國內(nèi)外學(xué)者對于紅外與微光圖像融合算法己經(jīng)有比較深入的研究。主要的融合算法有:加權(quán)平均法、邏輯濾波法、多分辨塔式算法、小波變換法、卡爾曼濾波算法等。但這些融合方法均需要對待融合圖像的像素灰度進(jìn)行綜合分析與處理，巨大的數(shù)據(jù)量對圖像的融合帶來了極大的不便。近年來，稀疏表示被應(yīng)用于圖像處理與分析領(lǐng)域，如圖像去噪、超分辨率、修復(fù)以及人臉識別［4］等。它是通過在過完備基上對信號進(jìn)行表示的［5］，具有很好的稀疏表達(dá)能力。

目前，比較成功的彩色圖像融合技術(shù)主要有麻省理工學(xué)院(MIT)林肯實驗室提出的MIT法［6］，以及荷蘭人力因素所提出的TNO法［7］。該方法將雙波段圖像信息直接或組合映射到RGB或YUV顏色空間，利用各波段信息的差異構(gòu)成彩色圖像，但其圖像色調(diào)與實際人眼視覺不一致，不利于長期觀察觀看。2003年，Toet［8］對其原有直接映射法彩色化夜視圖像引入了色彩傳遞技術(shù)，從而提出了一種基于色彩傳遞的自然感彩色夜視處理技術(shù)，使夜視圖像看起來與白天時一樣清晰和豐富多彩。但該方法并不能很好地保留圖像細(xì)節(jié)信息，尤其是在紅外和微光圖像細(xì)節(jié)亮度差異對比不明顯的情況，細(xì)節(jié)信息缺失嚴(yán)重。

為了進(jìn)一步改善彩色融合圖像的質(zhì)量和色彩自然性，本文嘗試采用改進(jìn)的分塊稀疏理論融合紅外與微光圖像，獲得大量圖像細(xì)節(jié)信息，然后在YUV空間采用Toet的基于色彩傳遞的自然感彩色夜視處理技術(shù)，對紅外與微光圖像進(jìn)行彩色化融合，最后用稀疏融合圖像的灰度值代替彩色融合圖像中的Y分量，進(jìn)而增強(qiáng)圖像細(xì)節(jié)，獲得最佳的圖像色彩。圖1是本文算法流程圖。

圖1 本文算法流程圖

2 基于稀疏表示的圖像融合

本文采用KSVD方法訓(xùn)練得到過完備基，用分塊稀疏表示的方法對圖像進(jìn)行特征提取，通過最大值融合規(guī)則對圖像特征進(jìn)行融合。該方法不僅使圖像足夠稀疏，而且能有效地避免傳統(tǒng)融合算法中的塊效應(yīng)和紋波噪聲，在一定程度上提高了融合圖像的質(zhì)量。

2.1 信號的超完備稀疏表示

給定信號y∈Rn，假定超完備字典D對應(yīng)的合成矩陣為Φ，則超完備稀疏表示就是從所有表示中找出分解最為稀疏的一個，即:

對于一個冗余字典來說，求解稀疏表示最優(yōu)化問題是一個NP難問題［9］。為了得到超完備稀疏表示最優(yōu)問題的解，必須采用一些特殊的求解方法。目前常用的方法有三類:匹配追蹤算法(MP)、基于l1范數(shù)的基追蹤算法(BP)、迭代收斂算法。其中匹配追蹤算法是以貪婪算法為核心的最簡單直接的算法。本文采用正交匹配追蹤(OMP)算法，以誤差為循環(huán)終止條件，對圖像進(jìn)行稀疏表示。

2.2 過完備字典的創(chuàng)建

過完備圖像稀疏表示問題中，字典的構(gòu)造和選取直接影響到表示的稀疏程度。過完備字典的構(gòu)建方法分為兩類。一類是選擇固定字典，例如DCT基、小波基、脊波基等，該類字典適用范圍廣，但不能保證信號的稀疏性。另一類是根據(jù)樣本來訓(xùn)練字典，使其適用于該類特定信號，確保信號的稀疏性。目前比較流行的KSVD［10］算法屬于第二類字典訓(xùn)練方法。該方法交替執(zhí)行信號在當(dāng)前字典的稀疏表示與原子的更新過程，達(dá)到學(xué)習(xí)字典的目的。KSVD算法的目標(biāo)方程可以表示為:

1)用過完備DCT初始化字典D。

2)稀疏編碼:利用OMP算法求解每一個信號的稀疏表示系數(shù):

3)更新字典 D:更新字典中的第 k(k=1，2，…，K)列dk，使其表示的均方誤差(MSE)最小。

4)若滿足停止條件(設(shè)定的迭代次數(shù))，則得到最終的冗余字典D，否則轉(zhuǎn)到步驟2。

2.3 圖像稀疏融合

圖像融合是將兩幅以上的原始圖像合并為一幅圖像，并且盡可能地保留原始圖像特征的處理過程。因此準(zhǔn)確完整地提取原始圖像的特征是一個非常重要的步驟。本文將稀疏系數(shù)作為圖像的特征，通過稀疏系數(shù)的合并融合圖像。具體步驟如下所示:

1)構(gòu)建待融合圖像信號集。將兩幅大小為M×N經(jīng)過嚴(yán)格校準(zhǔn)的微光圖像Iin和紅外圖像Ivi，分別通過滑窗的方法進(jìn)行分塊(窗體大小為n)，將每個圖像塊整合成一維列向量，分別獲得微光圖像的信號集Yin和紅外圖像的信號集Yvi。

2)提取圖像特征。根據(jù)公式Y(jié)=ΦA(chǔ)，用創(chuàng)建的過完備字典，采用正交匹配追蹤(OMP)算法分別求得微光圖像信號集Yin和紅外圖像信號集Yvi的稀疏系數(shù)矩陣Ain和Avi。為了獲得更快的速度，本文對信號集進(jìn)行不重疊分塊處理。即通過設(shè)置步長p，依次對信號集中的p個列向量求其稀疏系數(shù)矩陣，然后將求得的各個稀疏系數(shù)矩陣按列合并在一起。實驗證明，該方法速度塊，且當(dāng)步長大于5000時不會產(chǎn)生塊效應(yīng)，達(dá)到和直接對信號集進(jìn)行特征提取一樣的效果。

3)融合稀疏系數(shù)。稀疏系數(shù)矩陣中數(shù)值的大小表示該特征的強(qiáng)弱，為保證融合圖像包含全部的特征，本文采用最大值融合準(zhǔn)則［12］:

將微光圖像和紅外圖像的稀疏系數(shù)矩陣Ain和Avi進(jìn)行融合，得到融合稀疏表示矩陣AF。

4)重構(gòu)稀疏表示矩陣。重構(gòu)是分解的逆過程。將得到的融合稀疏表示矩陣AF的每一列重構(gòu)成n×n的圖像塊，根據(jù)滑窗的逆過程疊加成一個M×N的融合圖像矩陣S。

5)重構(gòu)融合圖像。由于相鄰的圖像塊在空間上是相互重疊的，因此重構(gòu)得到的圖像矩陣S需要除以疊加次數(shù)矩陣得到最終生成的融合圖像IF。疊加次數(shù)矩陣如下所示:

3 融合圖像彩色化

3.1 基于YUV空間的色彩傳遞

Toet色彩傳遞算法通過匹配目標(biāo)圖像和參考圖像各個顏色通道的統(tǒng)計信息，從而實現(xiàn)色彩的傳遞。Toet色彩傳遞是在lαβ空間進(jìn)行的，該色彩空間將RGB三種顏色通道之間的相關(guān)性降到最小，使圖像亮度和色彩分離，易于實現(xiàn)色彩的傳遞。YUV空間是國際電信聯(lián)盟ITU推薦的顏色空間，常用于視頻信號處理傳輸，其中Y為亮度信號，U、Y分別為藍(lán)色和紅色色差信號［2］。該顏色空間同樣是將亮度與色彩分離，并且還可以避免lαβ空間中反復(fù)的顏色空間轉(zhuǎn)換以及對數(shù)、指數(shù)運(yùn)算，減少計算量，且能得到較理想的傳遞效果。因為本文采用基于YUV空間的色彩傳遞算法。具體實現(xiàn)步驟如下所示:

1)偽彩色融合。偽彩色處理法是以像素的灰度為基礎(chǔ)，通過查找表LUT［11］給不同的灰度賦予不同的彩色值。實踐中發(fā)現(xiàn)將紅外圖像放在青色通道，微光圖像放在紅色通道，較符合人眼的視覺感受，且可以使圖像細(xì)節(jié)更清晰。融合圖像可通過式(8)獲得:

2)色彩空間轉(zhuǎn)換。將偽彩色融合圖像與參考圖像轉(zhuǎn)換到Y(jié)UV空間。RGB色彩空間與YUV色彩空間轉(zhuǎn)換關(guān)系如下:

3)對偽彩色融合圖像通過色彩傳遞的方法進(jìn)行自然感顏色校正。利用統(tǒng)計信息(均值和標(biāo)準(zhǔn)差)進(jìn)行顏色矯正，調(diào)整偽彩色融合圖像各個顏色分量的均值和方差，使其與參考圖像的相同，從而將參考圖像的顏色分布傳遞到彩色融合圖像中。該方法計算簡單，速度快。

式中，Y，U，V為目標(biāo)圖像像素在YUV空間的三個通道的值;為參考圖像三個通道各自的整體均值;為參考圖像三個通道各自的整體方差;為目標(biāo)圖像三個通道各自的整體均值;為目標(biāo)圖像三個通道各自的整體方差;Y'，U'，V'為目標(biāo)像素顏色傳遞后在YUV空間的值。

4)傳遞后的偽彩色融合圖像擁有與參考圖像相同的均值和標(biāo)準(zhǔn)方差，參考圖像的色彩信息傳遞到偽融合圖像中，將圖像轉(zhuǎn)換到RGB空間，就得到色彩分布類似參考圖像的彩色融合圖像。YUV空間到RGB空間的轉(zhuǎn)換公式為:

3.2 優(yōu)化亮度對比

上述色彩傳遞方法利用各波段信息的差異構(gòu)成彩色圖像，能夠較好的保留紅外與微光各自的圖像特征與細(xì)節(jié)，獲得的彩色圖像具有很強(qiáng)的對比度，但高光和陰影部分往往缺乏細(xì)節(jié)信息。并且在紅外和微光圖像細(xì)節(jié)亮度差異對比不明顯的情況，在各個波段清晰可見的圖像細(xì)節(jié)經(jīng)過該方法得到的彩色融合圖像不但不能很好地保存這種細(xì)節(jié)，甚至?xí)魅鯃D像細(xì)節(jié)的亮度對比。基于稀疏表示的雙波段圖像融合技術(shù)可以綜合各波段圖像特點，獲得更全面的目標(biāo)信息。獲得的融合圖像同時包含紅外和微光的圖像信息，但通常具有較低的對比度，直接進(jìn)行彩色化，色彩發(fā)灰，缺乏立體感。用基于稀疏表示的融合圖像的灰度值代替彩色融合圖像的Y分量，最后將圖像轉(zhuǎn)化到RGB空間，此時得到的彩色融合圖像綜合了紅外與微光特征信息且具有最佳的亮度對比，細(xì)節(jié)更加清晰，色彩更易于人眼觀察。

因此本文利用灰度融合圖像的亮度值代替彩色融合圖像的Y分量，從而提高目標(biāo)的亮度對比，得到更清晰的圖像細(xì)節(jié)信息。用數(shù)學(xué)公式描述如下:

4 實驗結(jié)果與分析

本文所用的紅外與微光圖像來自于www.imagefusion.org網(wǎng)站，圖像大小為360×270，已經(jīng)過嚴(yán)格的圖像校準(zhǔn)。采用滑窗的方法構(gòu)建圖像信號數(shù)據(jù)集?；暗拇笮『筒介L直接影響圖像提取的精度以及算法的速度。根據(jù)文獻(xiàn)［12］，設(shè)置圖像塊大小為8×8，滑動步長為1。

利用滑窗的方法對10幅紅外與微光圖像進(jìn)行分塊，分塊處理后的塊圖像作為字典的訓(xùn)練數(shù)據(jù)。采用KSVD的方法學(xué)習(xí)得到維數(shù)為64×256的過完備字典，迭代次數(shù)設(shè)為100時，訓(xùn)練的字典如圖2所示。

圖2 訓(xùn)練的過完備字典

圖3給出了微光與紅外圖像融合與彩色化結(jié)果。其中圖3(a)是微光圖像，圖3(b)為紅外圖像。圖3(c)是彩色參考圖像。圖3(d)是使用創(chuàng)建的過完備字典，運(yùn)用本文稀疏方法得到的紅外與微光的融合圖像?？梢钥吹?，融合后的圖像綜合了紅外與微光圖像信息，不僅可以很好的識別出目標(biāo)物體，圖像背景的紋理也比較清晰，具有很好的細(xì)節(jié)信息。圖3(e)是利用welsh法直接對稀疏融合圖像進(jìn)行彩色化的結(jié)果圖。該圖的紋理信息豐富，但對比度低，色彩平淡。圖3(e)是圖3(a)和圖3(b)經(jīng)過Toet色彩傳遞算法得到的彩色融合圖像。該融合圖像具有與圖3(c)相同的顏色分布，較好地保留了紅外與微光的特征信息，具有很強(qiáng)的亮度對比度，但是高光部分以及陰影部分，例如行人目標(biāo)、白色墻體、黑色屋頂紋理信息缺失。圖3(f)是用稀疏融合圖像3(d)的亮度值代替圖3(f)的Y分量得到的最終彩色融合圖像。該圖像很好地融合了微光與紅外圖像的紋理信息和目標(biāo)信息，相比圖3(f)很好地將行人目標(biāo)、白色墻體、黑色屋頂紋理信息保存下來，相比圖3(e)又具有較高的對比度，且行人目標(biāo)更加清晰，色彩更加真實。

圖3 圖像融合與彩色化結(jié)果

5 結(jié)論

本文提出一種基于色彩傳遞以及分塊稀疏融合的雙波段圖像融合與彩色化的方法。該算法首先采用改進(jìn)的基于K_SVD的分塊稀疏表示獲得紅外與微光圖像的稀疏融合圖像，然后在YUV空間采用Toet色彩傳遞算法對紅外與微光圖像進(jìn)行彩色化處理，并用稀疏融合圖像的灰度值代替其Y分量，最后將圖像轉(zhuǎn)化到RGB空間，從而實現(xiàn)雙波段圖像的融合與彩色化。實驗表明該方法克服了傳統(tǒng)圖像融合數(shù)據(jù)量巨大的問題，使圖像信號足夠稀疏，同時解決了toet色彩傳遞方法產(chǎn)生的彩色融合圖像亮度對比度過高，高光部分以及陰影部分細(xì)節(jié)信息丟失的問題。得到的彩色融合圖像很好地保留了微光與紅外圖像的紋理信息和目標(biāo)信息，同時具有較高的亮度對比，色彩更真實，更適合人眼觀察。

［1］ DAI Zhonghua，SUN Shaoyuan，X Zhen，et al.A colorization algorithm for vehicle infrared video［J］.Infrared Technology，2010，32(10):595 －600.(in Chinese)代中華，孫韶媛，許真，等.一種車載紅外視頻彩色化算法［J］.紅外技術(shù)，2010，32(10):595 －600.

［2］ QIAO Shuai.Research on colorization algorithm for night vision video sequence［D］.Shanghai:DongHua University，2012.(in Chinese)譙帥.夜視視頻序列的彩色化方法研究［D］.上海:東華大學(xué)，2012.

［3］ Sanjoy Das，William K.Krebs.Color night vision for navigation and surveillance［C］.Proceedings of the Fifth Joint Conference on Information Sciences，2000.

［4］ Yu Nannan，Qiu Tianshuang，Bi Feng.Medical image features extraction and fusion based on K-SVD［J］.Journal of Dalian University of Technology，2012，52(4):605 －609.

［5］ Li Shutao，Yin Haitao，F(xiàn)ang Leyuan.Remote sensing image fusion via sparse representations over learned dictionaries［J］.Geoscience and Remote Sensing，IEEE Transactions，2013，51(5):2827 －2836.

［6］ D A Fay，A M Waxman，M Aguilar.Fusion of multi-sensor imagery for night vision:color visualization，target learning and search［C］.The 3rdInternational Conference on Information Fusion，Paris:IEEE Press，2000，TUD3/3 －TUD310 vol.1.

［7］ Alexander Toet，Jan Walraven.New false color mapping for image fusion［J］.Optical Engineering，1996，35(3):650－658.

［8］ Alexander Toet.Natural colour mapping for multiband nightvision imagery［J］.Information Fusion，2003，14:155－166.

［9］ DENG Chengzhi.Research on image sparse representation theory and its applications［D］.Wuhan:Huazhong University of Science and Technology，2008.(in Chinese)鄧承志.圖像稀疏表示理論及其應(yīng)用研究［D］.武漢:華中科技大學(xué)，2008.

［10］ Michal Aharon，Michael Elad.K-SVD:An algorithm for designing of overcomplete dictionaries for sparse representation［J］.Signal Processing，IEEE Transactions，2006，54(11):4311－4322.

［11］ Paul M Steele，Philip Perconti.Part task investigation of multispectral image fusion using gray scale and synthetic color night vision sensor imagery for helicopter pilotage［C］.Proc.SPIE，1997，3062:88 －100.

［12］ Bin YANG，Shutao LI.Multifocus image fusion and restoration with sparse representation［J］.IEEE Transactions on Instrumentation and Measurement，2010，59(4):884 －892.