可見光與紅外CPCT彩色圖像融合研究與實現(xiàn)

陳繼紅++劉素真

摘 要： 研究了紅外和可見光圖像融合、融合質(zhì)量客觀評價以及融合目標跟蹤三個方面。針對當前基于顏色傳遞的彩色圖像融合中融合圖像缺乏顏色恒常性的問題，著重分析研究顏色傳遞過程中參考圖像如何影響融合效果，并提出基于恒參數(shù)顏色傳遞（CPCT）彩色圖像融合的改進算法。然后，分析了彩色融合圖像的客觀評價方法，對各種客觀評價指標與主觀評價的一致性進行對比總結(jié)。最后，以目標跟蹤作為紅外和可見光圖像融合應用，針對紅外小目標跟蹤出現(xiàn)的相似背景干擾問題，結(jié)合基于CPCT的圖像融合算法，研究了基于CPCT彩色融合圖像的粒子濾波目標跟蹤算法。

關(guān)鍵詞： CPCT； 彩色圖像融合； 融合評價； 粒子濾波； 融合跟蹤

中圖分類號： TN911.73?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2017）09?0005?05

Abstract： The infrared image and visible?light image fusion， objective evaluation of fusion quality and fusion target tracking are studied. Since the fusion image in the color image fusion based on color transfer lacks of color constancy， the fusion effect influenced by the reference image in the color transfer process is analyzed and studied emphatically. A color image fusion improved algorithm based on constant parameter color transfer （CPCT） is proposed. The objective evaluation method of the color fusion image is analyzed. The consistency between each objective evaluation index and subjective evaluation index is contracted and summarized. The target tracking is deem as the application of the infrared image and visible?light image fusion. Aiming at the similar background interference existing in the infrared small target tracking， the image fusion algorithm based on CPCT is combined to study the particle filtering target tracking algorithm based on CPCT color image fusion.

Keywords： CPCT； color image fusion； fusion evaluation； particle filtering； fusion tracking

0 引 言

在信息化武器時代，各國軍事科研人員關(guān)注的焦點是實現(xiàn)更快、更狠、更準地打擊軍事目標。由于自身成像的缺陷，在惡劣的戰(zhàn)場環(huán)境中單一圖像傳感器很難滿足作戰(zhàn)信息全面獲取的要求。因此，融合多種圖像傳感器的互補信息，去除冗余信息，實現(xiàn)1+1>2的戰(zhàn)場信息獲取目的成為當前的研究熱點[1]。紅外與可見光圖像融合在夜間作戰(zhàn)、無人機偵察、自主導航、車載預警系統(tǒng)和智能安防等多方面得到了廣泛的應用。

1 基于CPCT的彩色圖像融合算法

1.1 基于小波變換的灰度融合算法

針對紅外與可見光進行小波多分辨率圖像融合，取不同的小波基、分解層數(shù)、低頻高頻不同的融合規(guī)則[2]，融合結(jié)果靈活多變，小波分析融合過程如圖1所示。

將圖像分為三個水平、豎直、對角線的高頻和一個低頻圖像是小波分解的方法。多層的小波分解即是保留各級的高頻信息，只對每層小波分解得到的低頻圖像進行小波分解。

1.2 經(jīng)典的顏色傳遞圖像融合算法

基于顏色傳遞的彩色圖像融合方法就是將顏色傳遞的概念引入圖像融合中[3]，其融合流程如圖2所示。

圖3給出了針對同一目標圖像，三組不同參考圖像顏色傳遞效果對比。第一個參考圖像與目標圖像顏色場景等差別不大，顏色傳遞后加強了目標圖像的對比度和色彩豐富度，后兩個參考圖像與目標圖像差別較大，顏色傳遞結(jié)果存在一定的顏色失真，即顏色傳遞效果的優(yōu)劣有賴于參考圖像與目標圖像場景的一致性。

1.3 恒參數(shù)顏色傳遞融合算法

重點研究顏色傳遞中參考圖像參數(shù)變化對顏色傳遞效果的影響，通過對參考圖像參數(shù)的統(tǒng)計分析和融合效果主客觀評價，提出的圖像融合算法是基于恒參數(shù)顏色傳遞的，且得出參考圖像參數(shù)的設(shè)置規(guī)律[4]。

關(guān)于圖像亮度的信息通過通道表示，而關(guān)于圖像色彩的信息通過通道來表示。恒參數(shù)顏色傳遞規(guī)律是根據(jù)對三個通道的方差、均值設(shè)置規(guī)律分析得到的：

（1）為通道的均值，方差1 200，且顏色傳遞結(jié)果細節(jié)信息和圖像亮度保留良好。

（2） 圖像顏色所對應的由的取值決定，且分別對應于黃、綠色、藍和紫紅。融合圖像得到的顏色豐富度較低是由均小于6造成的，圖像的自然感下降是由均大于20造成的。與此同時，在所得的結(jié)果過大的情況下，對應的顏色協(xié)調(diào)性有一定程度的降低，在0～8之間取值，并且在絕對值增加的情況下，為了保證圖像的自然感，應適當減小。

（3） 600～1 000是的取值范圍。的大小關(guān)系會影響融合結(jié)果的顏色，若結(jié)果偏綠；若結(jié)果偏紅；取值在0～400范圍內(nèi)較合適，否則取值過大圖像的自然感會有所降低。

2 彩色融合圖像顏色客觀評價指標

早期應用較廣的一個顏色客觀評價指標顏色豐富度（colourfulness）定義了七級顏色豐富程度，讓被試者觀察10組場景84幅測試圖片，得出主觀評價結(jié)果，對比設(shè)定的一些描述顏色豐富度的客觀評價指標，分離客觀評價指標中與主觀評價結(jié)果相關(guān)性高的指標評價圖像顏色豐富度[5]：

式中：與主觀評價的相關(guān)性高達95.3%；

。

研究人員提出了彩色性指標（CCM）與顏色豐富度性質(zhì)相似，此外提出了顏色自然性指標（CNM），CCM中定義了色差梯度的概念，CNM基于灰色關(guān)聯(lián)理論，但計算中需要有彩色參考圖像。多數(shù)彩色圖像評價指標是在CIELAB空間中設(shè)計，以下首先簡單地介紹CIELAB顏色空間。

色調(diào)、亮度以及飽和度是人眼感知顏色的三種屬性， HSV顏色模型也是基于此創(chuàng)建的，色調(diào)（H）、飽和度（S）以及亮度（V）是HSV顏色模型中的有關(guān)參數(shù)。雖然人眼對顏色的感知和HSV顏色模型基本一致，但是在進行定量評價時， CIELAB顏色空間[6]應用更為廣泛，這是因為CIELAB顏色空間是人為制定出來接近人類視覺且具有設(shè)備無關(guān)性。其中，人眼對亮度的感知由分量表示，通過不同和分量的輸出色階使顏色平衡更加精確。

CIELAB顏色空間是CIEXYZ[7]的非線性變化，和RGB空間轉(zhuǎn)換的過程如下所示，式（2），式（3）表示RGB與CIEXYZ之間的變換，式（4），式（5）表示CIELAB與CIEXYZ之間的變換。

2.1 實驗結(jié)果小結(jié)

顏色豐富度評價指標在一定程度上能用于評價彩色融合圖像色彩的豐富程度，但與主觀評價結(jié)果存在一定偏差，該指標對顏色具有一定的偏向性。色差梯度指標過大，圖像顏色協(xié)調(diào)性降低，過小則顏色豐富度不高。總之，定量分析融合圖像顏色豐富度、多樣性和協(xié)調(diào)性比較困難?；谌诤先蝿?wù)要求，構(gòu)建無參考圖像的彩色融合圖像質(zhì)量客觀評價指標（體系），應從融合圖像從源圖像獲取感知信息量、融合圖像自身質(zhì)量和融合圖像顏色自然感及協(xié)調(diào)性三個方面考慮，實現(xiàn)與主觀評價保持較好的一致性還有待進一步的研究。

3 基于融合的粒子濾波目標跟蹤

3.1 改進粒子濾波紅外目標跟蹤步驟

依據(jù)以上分析，基于灰度和運動特征融合的粒子濾波跟蹤算法主要分初始化、粒子預測、更新、重采樣和目標位置估計等五個步驟，改進算法流程圖如圖4所示。

圖4中表示序列幀總數(shù)，基于灰度和運動特征融合的粒子濾波跟蹤算法具體步驟如下：

（1） 初始化：跟蹤目標是通過手動的方式進行選擇，選擇完目標后對目標位置進行確定，以其為中心，目標兩倍大小區(qū)域初始化粒子集，建立目標灰度核函數(shù)直方圖；

（2） 預測：通過對目標運動模型的研究，用新的采樣點更新粒子集；

（3） 更新：以粒子位置坐標為中心，計算候選區(qū)域灰度核函數(shù)直方圖和區(qū)域運動特征，融合灰度和運動特征計算粒子集權(quán)值；

（4）重采樣：通過對權(quán)值的歸一化得到，并對的殘差進行重采樣 ；

（5） 目標位置估計：由重采樣結(jié)果估計目標位置，即

（6） 判斷流程結(jié)束與否，如果沒有結(jié)束則通過返回步驟（2）。

3.2 基于CPCT彩色融合圖像的粒子濾波目標跟蹤算法

不同于紅外目標跟蹤，基于CPCT融合的圖像是彩色圖像，可以結(jié)合目標的顏色和亮度特征建立目標模型，圖5給出了一幅融合圖像及其YUV和HSV顏色空間各分量圖。HSV顏色空間是常用的彩色目標特征描述空間，常用分量構(gòu)成目標顏色直方圖，而基于CPCT圖像融合算法中偽彩色圖像生成及顏色傳遞過程均是在YUV顏色空間，對比圖5（d）～（f）和圖5（g）～（i）可以看出，YUV空間各分量中目標特征更細膩。

將目標圖像轉(zhuǎn)化到Y(jié)UV空間，建立Y?U?V目標直方圖。假設(shè)目標區(qū)域由個像素點組成，定義目標區(qū)域直方圖為：

式中：為歸一化常數(shù)；分量的直方圖級數(shù)用表示；為0?1函數(shù)；當像素點的三個分量分別屬于級數(shù)時，對應的，否則為0?；贑PCT彩色融合圖像粒子濾波目標跟蹤流程圖如圖6所示。

粒子的初始化、更新、權(quán)重計算、目標位置估計與3.1節(jié)類似，不同之處有兩點：一是初始化和跟蹤過程中所用的圖像均是紅外和可見光圖像基于CPCT融合算法所得的融合圖像；二是目標特征為YUV空間的Y?U?V核函數(shù)直方圖特征。

3.3 實驗結(jié)果小結(jié)

序列圖像中存在相似目標干擾，圖7依次為經(jīng)典的Meanshift、基本的粒子濾波、基于特征融合的粒子濾波和基于CPCT彩色融合圖像粒子濾波四種跟蹤算法的跟蹤效果。

定義跟蹤誤差為跟蹤算法中與標定的目標質(zhì)心之間的歐式距離，即。

對比四種算法的跟蹤效果與跟蹤誤差，相似目標干擾對粒子濾波跟蹤算法影響不大，其中經(jīng)典的Meanshift跟蹤算法的跟蹤穩(wěn)健性最差，當出現(xiàn)相似目標干擾時會出現(xiàn)目標丟失的問題；當相似目標靠近跟蹤目標時，經(jīng)典的粒子濾波和基于特征融合的粒子濾波跟蹤算法會受到一定干擾，質(zhì)心位置有所偏移，基于CPCT彩色融合圖像粒子濾波跟蹤算法受相似目標干擾影響最小。

四種算法90幀平均跟蹤誤差依次為8.674 8，2.291 6，1.788 2和1.524 4，跟蹤耗時依次為5.001 4 s，6.001 2 s，8.670 4 s和8.346 4 s。可以看出，基于特征融合和基于CPCT彩色融合圖像的改進粒子濾波跟蹤算法與基本的粒子濾波算法相比，雖然降低了跟蹤實時性，但是跟蹤的精度得以提高。

基于特征融合和基于CPCT彩色融合圖像的粒子濾波跟蹤算法能有效地處理復雜環(huán)境中相似目標、相似背景干擾等問題，與基本的粒子濾波算法相比，雖然降低了實時性，但跟蹤的準確性和魯棒性得以提高，尤其是遇到相似干擾時，能實現(xiàn)穩(wěn)健的目標跟蹤。

4 結(jié) 論

紅外與可見光圖像融合能充分利用兩種傳感器良好的互補特性，彌補單個傳感器在復雜多變環(huán)境中目標丟失、場景信息不明確等引起觀測失效的缺點。本文針對紅外與可見光彩色圖像融合及其應用進行研究。

針對經(jīng)典的顏色傳遞圖像融合中存在的計算復雜度高和顏色缺乏恒常性的問題，提出基于YUV空間恒參數(shù)顏色傳遞（CPCT）圖像融合算法，使用YUV空間降低計算復雜度，通過對顏色傳遞過程參考圖像參數(shù)分析實現(xiàn)融合圖像的顏色恒常性。對彩色融合圖像的顏色指標進行客觀評價，針對紅外目標跟蹤中相似背景干擾的問題，提出基于灰度和運動特征融合的粒子濾波目標跟蹤算法，對紅外與可見光融合圖像目標跟蹤問題進行研究，使基于CPCT彩色融合圖像粒子濾波跟蹤算法得以實現(xiàn)。

參考文獻

[1] 駱媛，王嶺雪，金偉其，等.微光（可見光）/紅外彩色夜視技術(shù)處理算法及系統(tǒng)進展[J].紅外技術(shù)，2010，32（6）：337?344.

[2] 唐鳳仙.基于圖割框架的改進多層圖彩色圖像分割方法[J].現(xiàn)代電子技術(shù)，2016，39（14）：112?115.

[3] 錢小燕，張?zhí)齑?，王幫峰，?局部顏色映射的彩色夜視算法[J].中國圖象圖形學報，2012，17（5）：689?693.

[4] 周渝人.紅外與可見光圖像融合算法研究[D].長春：中國科學院研究生院，2014.

[5] 高紹姝，金偉其，王嶺雪，等.圖像融合質(zhì)量客觀評價方法[J].應用光學，2011，32（4）：671?677.

[6] 徐中中，曲仕茹.新型可見光和紅外圖像融合綜合評價方法[J].紅外技術(shù)，2011，33（10）：568?573.

[7] 逄浩辰，朱明，郭立強，等.彩色圖像融合客觀評價指標[J].光學精密工程，2013，21（9）：2348?2353.

[8] 覃躍虎，支琤，徐奕.基于三維直方圖的改進Camshift目標跟蹤算法[J].現(xiàn)代電子技術(shù)，2014，37（2）：29?33.