基于無跡變換的KL散度異源圖像匹配方法

王　佳,王　平,華小強,吳豐陽,曹亞菲

(1.國防科技大學ATR重點實驗室，長沙　410073；2.湖北航天技術(shù)研究院 總體設(shè)計所，武漢　430040；3.中國人民解放軍火箭軍駐長沙地區(qū)軍代室，長沙　410205)

?

基于無跡變換的KL散度異源圖像匹配方法

王佳1,王平1,華小強1,吳豐陽2,曹亞菲3

(1.國防科技大學ATR重點實驗室，長沙410073；2.湖北航天技術(shù)研究院 總體設(shè)計所，武漢430040；3.中國人民解放軍火箭軍駐長沙地區(qū)軍代室，長沙410205)

針對紅外/可見光異源圖像匹配，提出基于無跡變換的KL散度異源圖像匹配方法。首先，分別提取異源圖像Sobel邊緣特征點，并校正紅外特征點集；然后，分別構(gòu)建兩特征點集的高斯混合模型，采用無跡變換法求解兩高斯混合模型的KL散度，對紅外特征點集的高斯混合模型進行相似變換,尋找到使KL散度最小時的變換矩陣Tmin，此即兩特征點集精確匹配時的變換矩陣。實驗結(jié)果表明：提出的算法在噪聲和出格點較多情形下仍能正確匹配，且能快速收斂。

Kullback-Leibler散度；無跡變換；高斯混合模型；異源圖像匹配

異源圖像匹配技術(shù)在導(dǎo)航制導(dǎo)領(lǐng)域有著重要的應(yīng)用，作為地形匹配、目標識別的關(guān)鍵技術(shù)，是提高導(dǎo)航制導(dǎo)精度的核心模塊。異源圖像采用多模成像機制，克服了單模成像信息源單一、適用范圍小的缺陷，但也對圖像匹配算法提出了很高的要求。由于成像機理的差異，異源圖像中對同一事物的描述往往呈現(xiàn)出極大的差異，因此需要采用異源圖像匹配方法。當前異源圖像匹配方法，從是否引入概率模型對特征空間進行建模，可分為基于確定性模型的方法和基于概率模型的方法。基于確定性模型的方法，主要是將兩組待匹配圖像的特征都默認為有效特征，應(yīng)用相似性測度進行運算，并找到此測度空間中的峰值及其變換矩陣，以達到精確匹配的目標。典型的方法有：① 梯度相關(guān)法[1-2]，先求圖像的梯度，再對其梯度值求相關(guān)；② Hausdorff距離匹配方法[3]；③ 基于霍夫變換的匹配方法[4-6]等。但是，此類方法對待匹配特征不加區(qū)分的直接運算，會將噪聲及出格點等退化特征和有效特征同時引入相似性測度中，極易受退化特征的干擾而造成誤匹配?；诟怕誓Ｐ偷钠ヅ浞椒?，對待匹配特征賦予概率值，從而考慮了特征的有效性，最終可強化有效特征的權(quán)重和弱化噪聲與出個點特征的權(quán)重，達到剔除干擾、精確匹配的目的。因此基于概率模型的匹配方法優(yōu)于基于確定性模型的方法。典型的方法有基于互信息的方法[7]、基于CPD(coherent point drift)的方法、基于信息幾何理論的方法[8]、基于概率圖的方法[9]。

由于異源圖像的成像波段不同，即使采用共性特征檢測算子，提取出的特征集之間仍然會存在差異，因此必須使用一種能全局運算、統(tǒng)計判決的相似性測度進行特征集的匹配，而且該相似性測度必須具有良好的辨識性和單調(diào)性。KL散度就十分適合異源圖像的匹配。本文將KL散度作為異源圖像匹配相似性測度，以前視紅外實時圖像和可見光基準圖作為異源圖像素材進行匹配研究。實驗結(jié)果表明，提出的方法能較好地完成在強退化特征條件下的異源圖像匹配任務(wù)。

1　相似性測度選擇及求解

1.1相似性測度的選擇

相似性測度作為兩幅圖像是否匹配的判決依據(jù)，是圖像匹配的核心，因此相似性測度選取的好壞直接關(guān)系到匹配方法的成敗。好的相似性測度應(yīng)滿足辨識度高、魯棒性強及運算量小等特性。KL散度(Kullback-Leibler divergence)[10]法作為一種度量兩個概率分布之間差異的方法，已廣泛應(yīng)用于一維信號的語音識別上，而在二維信號的圖像領(lǐng)域應(yīng)用較少，且其具有3個十分適合作為相似性測度的性質(zhì)。KL散度的定義如式(1)所示。

(1)

其中f(x)和g(x)是兩個概率密度函數(shù)，通常f(x)和g(x)采用高斯混合模型進行建模。KL散度具有3個重要性質(zhì)：① 自相似性：D(f‖f)=0; ② 自辨識性：D(f‖g)=0(當且僅當f=g)；③ 非負性：D(f‖g)≥0，(對任意的f,g)。自相似性和自辨識性表明KL散度具有良好的區(qū)分能力，非負性表明KL散度存在下確界，適合相似度判斷及收斂條件設(shè)定。

由于兩個高斯混合模型(GMM)的KL散度無法使用傳統(tǒng)的Riemann積分求解，故只能采用逼近的方法進行求解，又由于該表達式是非線性的，傳統(tǒng)的逼近方法無法滿足精度及實時性要求，必須尋找更優(yōu)的方法。由于無跡變換[11-12]對于含有高斯函數(shù)的表達式具有簡便易行的優(yōu)勢，且當待逼近的表達式是線性或者二次函數(shù)時，這種估計是精確的[13]，因此可采用無跡變換法進行求解。

1.2無跡變換法求解KL散度

無跡變換(unscented transform，UT)，是一種通過非線性變換來計算隨機變量統(tǒng)計特性的方法。將其應(yīng)用于含有GMM的KL表達式中是基于如下理論：當用固定數(shù)量的參數(shù)去逼近一個高斯分布時，會比逼近任意非線性函數(shù)或變換更容易。即在原狀態(tài)分布中，按照某一規(guī)則選取一些點(稱之為sigma點)，并使這些點的均值和協(xié)方差近似等于原狀態(tài)分布的均值和協(xié)方差，再將這些sigma點代入非線性函數(shù)中，這就得到相應(yīng)的非線性函數(shù)值。因此，首先要建立2個特征點集的高斯混合模型。

在對紅外/可見光異源圖像分別提取Sobel邊緣特征后，分別對這2個特征點集建立高斯混合模型：

(2)

(3)

其中：式(2)表示由紅外特征點構(gòu)建的高斯混合模型；式(3)表示由可見光特征點構(gòu)建的高斯混合模型；ai、bj表示混合的權(quán)值；N(x|μi,∑i)，N(x|νj,Γj)表示均值分別為μi，νj及協(xié)方差矩陣為∑i，Γi的高斯函數(shù)。對于點數(shù)分別為m、n的紅外和可見光特征點集，其權(quán)重分別為：ai=1/m,bj=1/n(i=1,…,m;j=1,…,n)。

根據(jù)無跡變換理論，對于如下表達式：

(4)

其中：N(x|μi,∑i)是高斯函數(shù)；d為x的維數(shù)。若h(x):Rd～R為任意的非線性函數(shù)，則存在2d個采樣點(sigma點)x={x1…x2d}：

(5)

(6)

其中：μi是高斯函數(shù)的期望；λk是協(xié)方差矩陣∑i的第k個的特征值；ek是協(xié)方差矩陣∑i的第k個特征向量。則以上2d個sigma點可以使得式(7)成立。

(7)

將式(2)代入KL散度表達式中得到

(8)

其中：

(9)

因此無跡變換求取KL散度的表達式為

(10)

1.3精確匹配方法與實現(xiàn)步驟

異源圖像特征點集匹配可歸結(jié)于求使兩特征點集各同名點重合時對應(yīng)的變換矩陣，即尋找一個變換矩陣T，使其中一組特征點集在此變換矩陣下達到與另一組特征特點集中對應(yīng)同名點重合。根據(jù)KL散度的自辨識性，即尋找使KL(f‖gT)值最小的變換矩陣Tmin，gT表示對高斯混合模型g進行變換，特別的當KL(f‖gT)=0時，表明兩特征點集對應(yīng)點完全重合。因此可通過對紅外特征點集的高斯混合模型進行變換，尋找最小的KL散度值。若變換矩陣為T={R,s,t}，其中R是旋轉(zhuǎn)矩陣，s是縮放參數(shù)，t是平移參數(shù)，對于一個高斯函數(shù)N(x|μi,∑i)，其變換后結(jié)果為：

(11)

其中，RT是R的轉(zhuǎn)置矩陣。本文利用梯度下降法進行迭代尋優(yōu)，求出Tmin，即求出了使兩個特征點集在歐氏空間中精確匹配的變換矩陣。算法步驟如表1所示。

表1　基于無跡變換的KL散度匹配步驟

2　實驗結(jié)果與分析

2.1模擬數(shù)據(jù)實驗

為驗證算法，進行三組標準點集匹配實驗，測試了一種理想情況和兩種干擾情況，將本文算法Kullback-Leibler divergence of Unscented Transform(KL-UT)和Iterative Closest Point(ICP)算法以及Kernel Correlation(KC)算法進行對比，對比實驗結(jié)果如圖1所示，其中圖1(a)、(b)和(c)分別是不存在出格點和噪聲、僅存在噪聲、同時存在噪聲和出格點3種情況下不同算法的點集匹配結(jié)果。從實驗結(jié)果可以看出：不存在出格點和噪聲的情況下，本文算法和KC算法能取得較好的結(jié)果，而ICP由于初始位置的影響，使得匹配失敗。當存在大量噪聲或同時存在噪聲和出格點時，本文算法能夠取得更好的結(jié)果。

2.2真實圖像實驗

紅外圖像采用實際獲取的航空圖像，可見光基準圖像采用衛(wèi)星遙感圖像如圖2(a)、(b)所示。

圖1　不同算法的點集匹配結(jié)果

Sobel邊緣檢測算子提取特征點集，結(jié)果如圖3(a)、(c)所示。利用成像姿態(tài)參數(shù)將紅外邊緣特征點校正為正下視[14]，如圖3(b)所示。對比圖3(b)、(c)發(fā)現(xiàn)，紅外圖像邊緣特征點集包含大量的噪聲及出格點，使得匹配難度增大。3種方法匹配結(jié)果對比如圖4所示，由于ICP算法易陷入局部極值中，從而出現(xiàn)了誤匹配，KC算法匹配精度低于本文算法。圖5(a)給出了可見光基準圖在紅外實時圖中精確匹配的結(jié)果，圖5(b)給出了本文算法的迭代收斂曲線，其中，KL散度值是將各特征點集進行歸一化后再運算得到的，由曲線表明該方法收斂速度較快。在主頻為2.40 GHz的Intel i7 CPU上進行實驗，ICP算法平均耗時13.45 s，KC算法平均耗時23.30 s，本文算法平均耗時14.77 s。實驗結(jié)果表明：本文算法魯棒性較強。

圖2　紅外和可見光圖像

圖3　紅外和可見光圖像邊緣特征點集

圖4　不同算法的匹配結(jié)果

圖5　實驗結(jié)果

3　結(jié)束語

針對紅外與可見光異源圖像匹配易因噪聲和出格點較多而導(dǎo)致算法失效的特點，提出了基于無跡變換的KL散度異源圖像匹配方法，利用了KL散度對概率模型良好的辨識和評價能力，較好地完成了強退化特征條件下的異源圖像匹配。后續(xù)可以通過算法優(yōu)化及并行計算提高算法運算速度。

[1]HABER E,MODERSITZKI J.Intensity gradient based registration and fusion of multi-modal images[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Springer Berlin Heidelberg.2006:726-733.

[2]劉松林,孫剛,牛照東，等.基于相對相位直方圖的數(shù)字表面模型數(shù)據(jù)與遙感圖像配準[J].光學精密工程,2014,22(6):1696-1705.

[3]李壯.異源圖像匹配關(guān)鍵技術(shù)研究[D].長沙:國防科技大學,2011.

[4]李海,張憲民,陳忠.基于直線檢測的棋盤格角點自動提取[J].光學精密工程,2015,23(12):3480-3489.

[5]王健博,朱明.基于字典描述向量的實時圖像配準[J].光學精密工程,2014,22(6):1613-1621.

[6]劉松林,孫剛,牛照東，等.基于相對相位直方圖的數(shù)字表面模型數(shù)據(jù)與遙感圖像配準[J].光學精密工程,2014,22(6):1696-1705.[7]ISTENIC R,HERIC D,RIBARIC S,et al.Thermal and visual image registration in hough parameter space[C]//Systems,Signals and Image Processing,2007 and 6th EURASIP Conference focused on Speech and Image Processing,Multimedia Communications and Services.14th International Workshop on.[S.l.]:IEEE,2007:106-109.[8]MAES F,COLLIGNON A,VANDERMEULEN D,et al.Multimodality image registration by maximization of mutual information[J].IEEE transactions on Medical Imaging,1997,16(2):187-198.

[9]PLUIM J P W,MAINTZ J B A,VIERGEVER M A.Image registration by maximization of combined mutual information and gradient information[J].IEEE Transactions on Medical Imaging,2000,19:809-814.

[10]CAETANO T S,CAELLI T,SCHUURMANS D,et al.Graphical models and point pattern matching[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(10):1646-1663.

[11]HERSHEY J R,OLSEN P A.Approximating the Kullback Leibler divergence between Gaussian mixture models[C]//2007 IEEE International Conference on Acoustics,Speech and Signal Processing-ICASSP’07.[S.l.]:IEEE,2007,4:IV-317-IV-320.

[12]JULIER S J,UHLMANN J K.Unscented filtering and nonlinear estimation[J].Proceedings of the IEEE,2004,92(3):401-422.

[13]JULIER S J,UHLMANN J K.A general method for approximating nonlinear transformations of probability distributions[R].Technical report,Robotics Research Group,Department of Engineering Science,1996.

[14]GOLDBERGER J,ARONOWITZ H.A distance measure between GMMs based on the unscented transform and its application to speaker recognition[C]//INTERSPEECH.2005:1985-1988.

[15]朱鵬.前視序列圖像地面目標識別定位方法研究[D].武漢：華中科技大學,2012.

(責任編輯楊文青)

Multi-Source Image Registration Method Based on Kullback-Leibler Divergence of Unscented Transform

WANG Jia1, WANG Ping1, HUA Xiao-qiang1, WU Feng-yang2, CAO Ya-fei3

(1.ATR Key Laboratory, National University of Defense Technology， Changsha 410073, China;2.Research Institute, Hubei Academy of Spaceflight Technology, Wuhan 430040, China;3.Representative Office of the PLA Rocket Force in Changsha, Changsha 410205, China)

A method for infrared/optical multi-sensor image matching based on Kullback-Leibler (KL) divergence of unscented transform was proposed. Firstly, we extracted Sobel edge points sets from the multi-sensor image respectively, and rectificated forward-looking infrared image point set; and then, we established Gaussian mixture models(GMM) on the two point sets respectively, and calculated the Kullback-Leibler divergence between the two GMM by unscented transform, and used derivative-free method to minimize the KL divergence, which the corresponding transformation matrixTminis the matching matrix of the two point set; Experimental results show that the proposed algorithm is robust to noise and outliers.

Kullback-Leibler divergence; unscented transform; Gaussian mixture model; multi-sensor image matching

2016-01-24

國家自然科學基金資助項目(61401504);中國博士后科學基金資助項目(2014M562562)

王佳(1987—),男,湖南郴州人,碩士研究生,主要從事計算機視覺、自動目標識別方向的研究，E-mail:wangj_cs04@sina.com。

format：WANG Jia, WANG Ping, HUA Xiao-qiang,et al.Multi-Source Image Registration Method Based on Kullback-Leibler Divergence of Unscented Transform[J].Journal of Chongqing University of Technology(Natural Science)，2016(8):137-142.

10.3969/j.issn.1674-8425(z).2016.08.022

TP751.1

A

1674-8425(2016)08-0137-06

引用格式：王佳,王平,華小強,等.基于無跡變換的KL散度異源圖像匹配方法[J].重慶理工大學學報(自然科學)，2016(8):137-142.