采用顯著性分析與改進(jìn)邊緣方向直方圖特征的紅外與可見光圖像配準(zhǔn)

徐 軍，付天宇，楊 健，豐 蘇

(1.武漢大學(xué) 測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079；2.北京市混合現(xiàn)實(shí)與新型顯示工程技術(shù)研究中心 北京理工大學(xué) 光電學(xué)院，北京 100081；3.國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局 信息中心，北京 100088)

?

采用顯著性分析與改進(jìn)邊緣方向直方圖特征的紅外與可見光圖像配準(zhǔn)

徐 軍1*，付天宇2，楊 健2，豐 蘇3

(1.武漢大學(xué) 測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079；2.北京市混合現(xiàn)實(shí)與新型顯示工程技術(shù)研究中心 北京理工大學(xué) 光電學(xué)院，北京 100081；3.國家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局 信息中心，北京 100088)

為了實(shí)現(xiàn)紅外圖像與可見光圖像的信息融合，彌補(bǔ)單一模態(tài)圖像的不足，提出了一種基于顯著性分析與改進(jìn)的邊緣方向直方圖EOH(Edge Orientation Histogram)特征的紅外與可見光圖像配準(zhǔn)算法。該算法首先利用顯著性分析技術(shù)找到可見光圖像中的重要信息，得到顯著性圖；將其與可見光圖像融合，實(shí)現(xiàn)可見光圖像中重要信息的劃分。然后，利用自適應(yīng)FAST(Features from Accelerated Segment Test)算法，探測可見光與紅外圖像上的特征點(diǎn)；利用改進(jìn)的EOH，描述特征點(diǎn)。最后，根據(jù)描述計(jì)算特征點(diǎn)的相似性，在可見光與紅外圖像上找出對(duì)應(yīng)的特征點(diǎn)，實(shí)現(xiàn)紅外與可見光圖像的匹配。在3種不同情況下對(duì)紅外與可見光圖像數(shù)據(jù)進(jìn)行了配準(zhǔn)實(shí)驗(yàn)。結(jié)果表明：在紅外圖像與可見光圖像采集條件相似情況下，特征點(diǎn)正確匹配率為96.55%，而在圖像采集條件差異較大的情況下，特征點(diǎn)正確匹配率可達(dá)74.21%。該算法可實(shí)現(xiàn)紅外與可見光圖像的精確快速匹配，即使紅外圖像與可見光圖像采集的角度與位置均存在較大差異的情況下，仍可以滿足紅外與可見光圖像匹配對(duì)精度和穩(wěn)定性的要求。

圖像配準(zhǔn)；紅外圖像；可見光圖像；顯著性分析；自適應(yīng)特征點(diǎn)提??；邊緣方向直方圖；特征描述

1 引 言

可見光傳感器的工作波長大致位于400～760 nm，紅外傳感器的工作波長位于760 nm～1 mm?？梢姽鈭D像主要反映了拍攝場景內(nèi)物體的物理位置信息，其存在感興趣區(qū)域不突出等缺點(diǎn)；而紅外圖像則主要反映了物體的熱量信息，其存在成像質(zhì)量低等問題[1-3]。圖像配準(zhǔn)技術(shù)是通過提取紅外圖像與可見光圖像上的特征點(diǎn)，將處于不同光譜圖像的對(duì)應(yīng)特征點(diǎn)進(jìn)行匹配，實(shí)現(xiàn)多源信息的融合[4-6]，在國土資源調(diào)查、軍事偵察等領(lǐng)域有著廣泛的應(yīng)用[7-8]。

對(duì)于紅外圖像與可見光圖像的配準(zhǔn)，主要流程包括[9]：特征點(diǎn)提取，特征點(diǎn)描述以及特征點(diǎn)匹配。由于待配準(zhǔn)圖像所處的波段不同，所以對(duì)同一物體的成像結(jié)果也不同，導(dǎo)致利用SIFT(Scale-Invariant Feature Transform)等角點(diǎn)檢測器提取的特征點(diǎn)質(zhì)量較差[10]，而且不同點(diǎn)的特征描述區(qū)分度較低，無法滿足多源圖像精確配準(zhǔn)的需求[11]。為了解決SIFT在紅外與可見光圖像匹配中存在的問題，李健等人[12]通過先選擇適當(dāng)?shù)拈撝祵?duì)紅外與可見光圖像進(jìn)行二值化處理，然后利用SIFT提取圖像特征，從而改善了紅外圖像信噪比低，紋理較弱造成的匹配率低的現(xiàn)象。但是當(dāng)紅外圖像包含復(fù)雜信息時(shí)，無法確定出合適的閾值對(duì)圖像進(jìn)行二值化。為了提高特征描述區(qū)分度，Yi. Z.等人[13]提出了有尺度限制條件的SIFT匹配算法SRSIFT。他們通過設(shè)定尺度范圍，濾除已匹配的超出尺度范圍的特征點(diǎn)對(duì)，以減少在多源圖像配準(zhǔn)情況下，由SIFT特征描述偏差引起的誤匹配率。但是當(dāng)可見光圖像與遠(yuǎn)紅外圖像配準(zhǔn)時(shí)，由于圖像間所處的波段差異較大，尺度限制條件失效，導(dǎo)致匹配效果較差。Huang等人[14]提出RNGM(Registration based on NSCT and Gradient Mirroring)算法，其利用非下采樣Contourlet變換(Nonsub-Sampled Contourlet Transform，NSCT)增強(qiáng)圖像中物體的結(jié)構(gòu)信息，同時(shí)保證結(jié)構(gòu)信息在多源圖像中具有不變性。因此，在NSCT圖像上，利用SIFT可以提取到更多的特征點(diǎn)，此外，他利用GM(Gradient Mirroring)計(jì)算特征方向，以改善SIFT特征方向只受灰度差異影響等問題，提高了特征描述區(qū)分度，實(shí)現(xiàn)了紅外圖像與可見光圖像精確匹配。但是，當(dāng)匹配圖像紋理較弱時(shí)，特征點(diǎn)的匹配精度則降低。通過研究現(xiàn)有算法，本文提出了一種基于顯著性分析與改進(jìn)的EOH(Edge Orientation Histogram)特征的紅外可見光圖像配準(zhǔn)算法，實(shí)現(xiàn)紅外可見光圖像精確匹配。并通過實(shí)驗(yàn)驗(yàn)證了算法性能。

2 配準(zhǔn)流程

本文所提出的匹配算法流程如圖1所示。首先，對(duì)可見光圖像進(jìn)行顯著性分析，對(duì)表達(dá)豐富信息的區(qū)域進(jìn)行識(shí)別。然后，利用顯著性結(jié)果，對(duì)可見光圖像進(jìn)行感興趣區(qū)域與非感興趣區(qū)域的劃分。其次，在不同區(qū)域上，通過自動(dòng)設(shè)置相應(yīng)的參數(shù)，利用FAST(Features from Accelerated Segment Test)特征點(diǎn)檢測算法，快速提取可見光圖像與紅外圖像的特征點(diǎn)。之后，基于特征點(diǎn)與感興趣區(qū)域與非感興趣區(qū)域的位置關(guān)系，提出改進(jìn)的EOH特征描述算子對(duì)特征點(diǎn)進(jìn)行描述，使特征點(diǎn)之間區(qū)分度增大。最后，利用歸一化的互信息以及相對(duì)位置約束條件，對(duì)兩圖像上的特征點(diǎn)進(jìn)行匹配，同時(shí)利用隨機(jī)一致性(RANSAC)對(duì)匹配的特征點(diǎn)進(jìn)行篩查，剔除誤匹配點(diǎn)，實(shí)現(xiàn)紅外與可見光圖像的最優(yōu)匹配。

Fig.1 Flowchart of registration between infrared and visible images

3 顯著性分析與感興趣區(qū)域劃分

圖像的顯著性體現(xiàn)了人們對(duì)圖像不同位置的關(guān)注度。對(duì)于一幅圖像，其中最重要的信息通常集中于局部關(guān)鍵區(qū)域，即感興趣區(qū)域ROI(Region of interest)，而背景則通常處于非感興趣區(qū)域NROI。通過顯著性分析，可以識(shí)別出圖像的關(guān)鍵區(qū)域，在該區(qū)域內(nèi)采用與其它區(qū)域不同的特征點(diǎn)提取方法，不僅可以增加ROI周圍特征點(diǎn)的數(shù)量，提高匹配精度，同時(shí)還可以減小搜索區(qū)域，提高特征點(diǎn)匹配速度。

基于上下文感知的顯著性探測算法[15]，是利用心理學(xué)準(zhǔn)則，來識(shí)別圖像中感興趣區(qū)域的，同時(shí)可以保留感興趣區(qū)域周圍重要的背景信息。該方法首先定義單一尺度以及局部-全局顯著性，綜合像素點(diǎn)之間的位置，顏色(灰度)以及局部-全局差異，將邊界以及物體特點(diǎn)區(qū)域凸顯出來，獲得圖像的初始顯著圖。然后利用多尺度方法增強(qiáng)圖像的初始顯著性圖，同時(shí)減弱紋理單一的背景區(qū)域的顯著性，提高顯著性與非顯著性區(qū)域?qū)Ρ榷龋玫綀D像增強(qiáng)后的顯著圖。其次，提取增強(qiáng)后顯著圖中顯著性較強(qiáng)的區(qū)域作為感興趣區(qū)域，而周圍的像素則根據(jù)與該區(qū)域的距離被賦予不同的權(quán)重，將權(quán)重與像素點(diǎn)的顯著值相乘，提高感興趣區(qū)域周圍重要背景區(qū)域的顯著性，同時(shí)減小遠(yuǎn)離感興趣區(qū)域像素的顯著性，使圖像中上下文信息得到傳遞，從而獲得到修正后的圖像顯著性圖S，點(diǎn)(x，y)處的顯著性Sx，y計(jì)算公式如下：

(1)

(2)

紅外與可見光圖像匹配階段，利用可見光圖像的顯著性圖，識(shí)別感興趣區(qū)域(Region of Interest，ROI)，在該區(qū)域與其它區(qū)域采用不同的方法選取特征點(diǎn)，可以實(shí)現(xiàn)多光譜圖像的快速精確匹配。

(a)可見光圖像

(b)可見光圖像顯著性分析結(jié)果

圖2展示了可見光圖像的顯著性分析結(jié)果，其中(a)為可見光圖像，(b)為可見光圖像對(duì)應(yīng)的顯著性圖。在圖2(a)中，房屋與道路的顯著性較高，而紋理單一的土地的顯著性較低。對(duì)于顯著圖，通過設(shè)定閾值，將圖像劃分為感興趣區(qū)域(ROI)與非感興趣區(qū)域(NROI)，即像素值大于閾值的區(qū)域?yàn)镽OI區(qū)域，像素值小于閾值的區(qū)域?yàn)镹ROI區(qū)域，且通常選擇0.5作為閾值。但是，如果可見光圖像中部分顯著性較大的區(qū)域并不在紅外圖像中，那么在這些區(qū)域內(nèi)篩選特征點(diǎn)，將會(huì)影響匹配精度。所以如果一幅圖像中存在多個(gè)ROI，則需要將它們與NROI的相對(duì)位置關(guān)系加入特征描述，用于匹配過程中誤匹配點(diǎn)的濾除。

4 自適應(yīng)FAST特征點(diǎn)檢測

FAST是一種快速特征點(diǎn)檢測算法，該方法只利用待選像素點(diǎn)與周圍像素的比較信息判斷該點(diǎn)是否為特征點(diǎn)。具體通過檢測統(tǒng)計(jì)待選特征點(diǎn)周圍的像素值，如果候選點(diǎn)鄰域內(nèi)有足夠多的點(diǎn)與該候選點(diǎn)的灰度值的差異超過設(shè)定閾值，則判斷該待選點(diǎn)為特征點(diǎn)。在實(shí)際計(jì)算過程中，對(duì)于圖像I，一般通過設(shè)置最小對(duì)比率確定閾值，其公式如下：

Threshold=MC*max(I(x，y))，

(3)

其中：Threshold為濾出特征點(diǎn)的閾值，MC為最小對(duì)比率，大小介于0～1之間， max(I(x，y))則表示圖像I中最大的像素值。圖3為不同最小對(duì)比率對(duì)應(yīng)的特征點(diǎn)提取結(jié)果，其中圖(a)(b)(c)對(duì)應(yīng)的值分別為0.01，0.1以及0.5。從圖中可以看出，如果閾值較大，則無法篩選出部分幅值較低的邊界點(diǎn)，造成特征點(diǎn)數(shù)量較少；如果閾值較小，在提取邊界特征點(diǎn)時(shí)，則由于受背景噪聲的影響較嚴(yán)重，從而會(huì)選出大量低質(zhì)量的特征點(diǎn)。所以，利用固定閾值篩選特征點(diǎn)盡管計(jì)算簡單，但是卻無法滿足不同圖像以及圖像中不同區(qū)域特征點(diǎn)的篩選需求[16]。

(a)最小對(duì)比率為0.01時(shí)特征點(diǎn)提取結(jié)果

(b)最小對(duì)比率為0.1時(shí)特征點(diǎn)提取結(jié)果

(c)最小對(duì)比率為0.5時(shí)特征點(diǎn)提取結(jié)果

本文基于顯著性圖，對(duì)圖像ROI與NROI采用不同的特征點(diǎn)搜索策略。如圖2所示，房屋與道路等與周圍差異較大或邊界明顯區(qū)域的顯著性較高，所以需設(shè)置較低的MC值，以獲得更多的特征點(diǎn)，而土地的顯著性較低，所以MC值需設(shè)置的高些，以獲得更有代表性且邊界幅值較大的特征點(diǎn)，以避免在單一紋理區(qū)域選取過多的特征點(diǎn)，造成較高的誤匹配率。綜合感興趣區(qū)域與非感興趣區(qū)域灰度信息，本文MC值選取方法如下：

(4)

(5)

(a)原始可見光圖像

(b)可見光圖像顯著性分析結(jié)果

(c)ROI區(qū)域劃分結(jié)果

(d)可見光圖像特征點(diǎn)提取結(jié)果

對(duì)于紅外圖像，其每個(gè)像素點(diǎn)的灰度值反映了對(duì)應(yīng)的熱量信息，即不同的熱量值對(duì)應(yīng)不同的灰度值，熱量愈大的點(diǎn)對(duì)應(yīng)的灰度值越大，且受光照等環(huán)境因素的影響相對(duì)較弱。利用統(tǒng)一MC值，可以在不同采集環(huán)境下的紅外圖像中快速獲得熱量變化較大區(qū)域的特征點(diǎn)，同時(shí)由于紅外圖像邊界擴(kuò)散程度較大，不利于ROI的劃分，所以在求解紅外圖像的特征點(diǎn)時(shí)，將采取統(tǒng)一閾值，以實(shí)現(xiàn)特征點(diǎn)的快速提取。紅外圖像特征點(diǎn)提取結(jié)果如圖5(彩圖見期刊電子版)所示，其中采用的MC值為0.23。

圖5 紅外圖像特征點(diǎn)提取結(jié)果

5 改進(jìn)的EOH特征描述與特征點(diǎn)匹配

EOH特征綜合了特征點(diǎn)周圍不同方向上的邊界信息，實(shí)現(xiàn)對(duì)邊緣方向以及幅值的描述。EOH在邊緣檢測結(jié)果的基礎(chǔ)上，通過計(jì)算以特征點(diǎn)為中心的矩形框范圍內(nèi)，所有點(diǎn)在多個(gè)方向的梯度值，生成特征點(diǎn)的邊緣方向直方圖。公式(6)用于計(jì)算點(diǎn)(x，y)處邊緣強(qiáng)度，公式(7)定義了其邊緣方向。

(6)

(7)

傳統(tǒng)EOH特征描述需要手動(dòng)為特征點(diǎn)設(shè)置窗寬，在窗寬范圍內(nèi)檢測圖像的邊緣信息，所以窗寬大小會(huì)嚴(yán)重影響描述精度。如果窗寬過大，不僅會(huì)增加特征描述的計(jì)算時(shí)間，同時(shí)降低了相鄰特征點(diǎn)之間的區(qū)分度及匹配精度。如果窗寬過小，則將導(dǎo)致描述的邊緣信息過細(xì)，增加特征點(diǎn)誤匹配的概率。圖6為采用EOH特征描述[1]對(duì)同一特征點(diǎn)在不同窗寬下獲得的80維特征的直方圖，其中6(a)為可見光圖像，圖中十字為特征點(diǎn)，以特征點(diǎn)為中心選取邊長分別為60、100以及140 pixel的正方形區(qū)域，而6(b)～6(d)為分別采用3個(gè)不同的窗寬時(shí)對(duì)應(yīng)特征點(diǎn)的EOH特征。從圖中可以發(fā)現(xiàn)，窗寬對(duì)特征描述的影響較大。

本文采用公式(8)為特征點(diǎn)p設(shè)置不同的窗寬：

(8)

即為特征點(diǎn)到最鄰近非該點(diǎn)所處區(qū)域的最短距離，如果p點(diǎn)位于ROI，則其對(duì)應(yīng)的窗寬為該點(diǎn)到NROI的最短距離，而如果p點(diǎn)位于NROI，則其對(duì)應(yīng)的窗寬為該點(diǎn)到不同ROI的最短距離與對(duì)應(yīng)ROI顯著性均值的乘積和的均值。通過公式(8)，將特征點(diǎn)的位置信息融入EOH特征中。

根據(jù)自適應(yīng)窗寬獲得EOH特征描述后，對(duì)每個(gè)來自可見光圖像的特征點(diǎn)，在紅外圖像中計(jì)算與其特征描述最相似的特征點(diǎn)，利用歸一化的互信息作為特征描述間的相似性測度。然后利用隨機(jī)抽樣一致算法(RANdom SAmple Consensus，RANSAC)對(duì)匹配的特征點(diǎn)進(jìn)行篩選提純，最終獲得紅外與可見光圖像的匹配結(jié)果。

(a)可見光圖像特征點(diǎn)以及特征點(diǎn)對(duì)應(yīng)的窗口

(b)窗寬為60像素時(shí)特征點(diǎn) EOH特征的統(tǒng)計(jì)直方圖

(c)窗寬為100像素時(shí)特征點(diǎn) EOH特征的統(tǒng)計(jì)直方圖

(d)窗寬為140像素時(shí)特征點(diǎn) EOH特征的統(tǒng)計(jì)直方圖

6 實(shí)驗(yàn)結(jié)果

本文選擇了3種不同情況下的紅外與可見光圖像數(shù)據(jù)進(jìn)行配準(zhǔn)，選用SIFT、SRSIFT[13]、基于EOH的SIFT算法、RNGM[14]等4種匹配算法與本文算法做對(duì)比。為了客觀評(píng)價(jià)匹配效果，將利用兩圖像中匹配的特征點(diǎn)間的坐標(biāo)誤差，求解均方根誤差RMSE(Root-Mean-Square Error)，以準(zhǔn)確評(píng)估本文算法的精度。

第一種情況：紅外圖像與可見光圖像采集的角度與位置大致相同，即紅外圖像中包含可見光圖像中全部的ROI。如圖7(彩圖見期刊電子版)所示，紅外圖像與可見光圖像的采集條件差異較小，其中，紅外圖像的尺寸為486×333，可見光圖像尺寸為250×188。圖7(a)為利用SIFT算法求得的特征點(diǎn)匹配結(jié)果，圖7(b)為利用SRSIFT算法求得的特征點(diǎn)匹配結(jié)果，其中尺度范圍為0.02～1.51，圖7(c)為利用FAST進(jìn)行特征提取，MC值為0.1，然后將EOH作為特征描述算法求得的特征點(diǎn)匹配結(jié)果，圖7(d)為利用RNGM算法求得的特征點(diǎn)匹配結(jié)果，圖7(e)為利用本文方法求得的結(jié)果。從結(jié)果可以看出，本文方法不同于其它4種算法，它在可見光圖像中背景紋理均一的區(qū)域，選擇較高的閾值，篩選出邊緣幅值較大且數(shù)量較少的特征點(diǎn)，在ROI區(qū)域內(nèi)，即飛機(jī)以及其周圍區(qū)域內(nèi)，自適應(yīng)的選擇閾值，篩選出飛機(jī)上重要的特征點(diǎn)，然后利用自適應(yīng)窗口的EOH求解特征，最終實(shí)現(xiàn)精確匹配。對(duì)于SIFT算法，當(dāng)處理多光譜影像時(shí)，由于紅外與可見光圖像在同一物體區(qū)域的灰度分布存在差異，單純利用SIFT特征無法實(shí)現(xiàn)精確匹配。對(duì)于SRSIFT算法，其在SIFT算法結(jié)果的基礎(chǔ)上，除去了一定量的誤匹配特征點(diǎn)對(duì)，但是由于SIFT算法的精度較差，造成SRSIFT無法獲得更高的精度。而對(duì)于FAST算法來說，受背景區(qū)域的影響較大，為了獲得高質(zhì)量的特征點(diǎn)，可以設(shè)置較小閾值進(jìn)行特征點(diǎn)提取，但是低閾值將使該算法在紋理均一的背景區(qū)域選取較多的點(diǎn)，同時(shí)由于紅外圖像中對(duì)應(yīng)的背景區(qū)域呈現(xiàn)的紋理特性與紅外圖像差異很大，導(dǎo)致匹配精度降低。對(duì)于RNGM算法，由于圖像背景紋理較弱，通過邊緣增強(qiáng)后，大量的特征點(diǎn)位于飛機(jī)與機(jī)場邊緣，所以獲得了較高的匹配精度。

第二種情況：紅外圖像與可見光圖像采集的角度與位置均不同，但紅外圖像中包含可見光圖像中全部的ROI。如圖8所示，紅外圖像與可見光圖像對(duì)應(yīng)的區(qū)域之間存在平移變換，其中紅外圖像尺寸為320×256，可見光圖像尺寸為1 024×1 024。圖8(a)為利用SIFT算法求得的特征點(diǎn)匹配結(jié)果，圖8(b)為利用SRSIFT算法求得的特征點(diǎn)匹配結(jié)果，其中尺度范圍為0.01～1.63，圖8(c)為利用FAST與EOH算法求得的特征點(diǎn)匹配結(jié)果，其中MC值為0.05，圖8(d)為利用RNGM算法求得的特征點(diǎn)匹配結(jié)果，圖8(e)為利用本文方法求得的結(jié)果。從結(jié)果可以看出，本文方法獲得了精確的特征點(diǎn)匹配結(jié)果。對(duì)于SIFT與FAST以及基于SIFT的SRSIFT算法，盡管紅外與可見光圖像間平移量較小，但是由于兩圖像背景區(qū)域的紋理特性存在差異，導(dǎo)致誤匹配率增大。對(duì)于RNGM算法，由于圖像背景紋理較弱，通過邊緣增強(qiáng)后，大量的特征點(diǎn)位于道路邊緣，所以獲得了較高的匹配精度。

第三種情況：紅外圖像與可見光圖像采集的角度與位置均不同，紅外圖像中包含可見光圖像中部分的ROI。如圖9所示，紅外圖像拍攝的區(qū)域只占可見光圖像中較少的部分，且采集角度差異較大，其中紅外圖像的尺寸為256×320，可見光圖像的尺寸為2 420×1 916。圖9(a)為利用SIFT算法求得的特征點(diǎn)匹配結(jié)果，圖9(b)為利用SRSIFT算法求得的特征點(diǎn)匹配結(jié)果，其中尺度范圍為0.03～1.45，圖9(c)為利用FAST與EOH算法求得的特征點(diǎn)匹配結(jié)果，其中MC值為0.1，圖9(d)為利用RNGM算法求得的特征點(diǎn)匹配結(jié)果，圖9(e)為利用本文方法求得的結(jié)果。從結(jié)果可以看出，由于可見光圖像中包含大量的與紅外圖像相似但并不對(duì)應(yīng)的區(qū)域，使得SIFT與FAST算法的誤匹配率增大。對(duì)于RNGM算法，盡管邊緣增強(qiáng)后，可見光圖像中房屋以及道路得到凸顯，但是由于圖像紋理單一且存在大量相似紋理，故增加了誤匹配率，降低了匹配精度。而對(duì)于本文算法，在公路或街道附近，即ROI區(qū)域，重點(diǎn)提取特征點(diǎn)，但在房屋區(qū)域，即紋理較單一的背景區(qū)域，則選擇較大閾值，篩選高質(zhì)量的背景特征點(diǎn)。同時(shí)本文方法在計(jì)算特征點(diǎn)EOH特征時(shí)，包含了其與ROI、NROI的相對(duì)位置信息，所以在匹配特征點(diǎn)時(shí)，盡管紅外圖像并不完全包含可見光圖像中的ROI區(qū)域，但是依然獲得了較高的匹配精度。

特征點(diǎn)匹配率與整體運(yùn)算時(shí)間對(duì)比如表1所示，其中特征點(diǎn)匹配正確率為正確匹配的特征點(diǎn)占所有特征點(diǎn)的比率。通過3種情況的數(shù)據(jù)測試知，本文算法在匹配準(zhǔn)確性方面明顯優(yōu)于其它4種算法。尤其是對(duì)于第三組數(shù)據(jù)，在紅外與可見光圖像的采集角度與位置存在較大差異時(shí)，本文算法可以在ROI與NROI，自適應(yīng)選擇窗寬的大小，增加了特征點(diǎn)間的區(qū)分度，所以本文算法仍可以保證74.21%的匹配正確率，受圖像紋理單一且存在大量相似紋理的影響，其他算法的特征匹配率較低。這表明本文方法魯棒性強(qiáng)、穩(wěn)定性高。但是由于本文需要首先求解可見光圖像的顯著圖，而求解顯著圖的耗時(shí)與圖像大小有關(guān)，所以當(dāng)可見光圖像尺寸較大時(shí)，本文方法所需時(shí)間也將增大。

根據(jù)本文算法求解的3組數(shù)據(jù)特征點(diǎn)匹配結(jié)果，求解仿射形變矩陣，將紅外圖像與可見光圖像進(jìn)行配準(zhǔn)。圖10(a～c)分別展示了3組圖像的配準(zhǔn)結(jié)果。對(duì)于第一組與第二組數(shù)據(jù)，紅外圖像中包含可見光圖像中全部的ROI，故最終的匹配效果較好，而對(duì)于第三組數(shù)據(jù)，由于本文方法匹配的特征點(diǎn)主要集中于公路周圍，所以最終的匹配結(jié)果只在公路周圍的效果較好。3組匹配結(jié)果對(duì)應(yīng)的RMSE值分別為0.078，0.109和0.274。

(a)SIFT算法匹配結(jié)果

(b)SRSIFT算法匹配結(jié)果

(c)基于EOH的SIFT算法匹配結(jié)果

(d)RNGM算法匹配結(jié)果

(e)本文算法匹配結(jié)果

Fig.7 Feature points matching results of three methods on the first data set

(a)SIFT算法匹配結(jié)果

(b)SRSIFT算法匹配結(jié)果

(c)基于EOH的SIFT算法匹配結(jié)果

(d)RNGM算法匹配結(jié)果

(e)本文算法匹配結(jié)果

Fig.8 Feature points matching results of three methods on the second data set

(a)SIFT算法匹配結(jié)果

(b)SRSIFT算法匹配結(jié)果

(c)基于EOH的SIFT算法匹配結(jié)果

(d)RNGM算法匹配結(jié)果

(e)本文算法匹配結(jié)果

Fig.9 Feature points matching results of three methods on the third data set

表1 特征匹配率與整體運(yùn)算時(shí)間對(duì)比

(a)第一組數(shù)據(jù)配準(zhǔn)結(jié)果

(b)第二組數(shù)據(jù)配準(zhǔn)結(jié)果

(c)第三組數(shù)據(jù)配準(zhǔn)結(jié)果

7 結(jié) 論

本文利用顯著性分析、自適應(yīng)閾值的FAST特征點(diǎn)識(shí)別以及改進(jìn)的EOH特征實(shí)現(xiàn)多光譜圖像匹配。實(shí)驗(yàn)證明，本文提出的算法在處理不同的紅外與可見光圖像時(shí)，均獲得較好的匹配效果，尤其適用于紅外與可見光圖像信息融合等圖像位置角度差異較小的場合。而對(duì)于角度發(fā)生較大改變或場景范圍差異較大時(shí)，利用本文方法，在ROI區(qū)域仍可以實(shí)現(xiàn)穩(wěn)定的特征點(diǎn)提取與可靠的特征點(diǎn)匹配。

[1] AGUILERA C， BARRERA F， LUMBRERAS F，etal.. Multispectral image feature points [J].Sensors， 2012， 12(9)： 12661-12672.

[2] 蔣宏，任章.紅外與可見光圖像配準(zhǔn)和融合中的關(guān)鍵技術(shù)[J]. 紅外與激光工程，2006，35(增)： 7-12. JIANG H， REN ZH. Key technologies in registration and fusion for infrared and visible images [J].InfraredandLaserEngineering， 2006，35(Suppl.)： 7-12.(in Chinese)

[3] 柏連發(fā)，韓靜，張毅，等.采用改進(jìn)梯度互信息和粒子群優(yōu)化算法的紅外與可見光圖像配準(zhǔn)算法[J]. 紅外與激光工程，2012，41(1)： 248-254. BAI L F，HAN J， ZHANG Y，etal.. Registration algorithm of infrared and visible images based on improved gradient normalized mutual information and particle swarm optimization [J].InfraredandLaserEngineering， 2012，41(1)： 248-254.(in Chinese)

[4] 李新娥， 班皓，沙巍，等. 一種大視場TDICCD相機(jī)的多傳感器圖像配準(zhǔn)方法[J]. 液晶與顯示，2014，29(4)： 644-648. LI X E，BAN H， SHA W，etal.. Registration method of large field view and multi-sensor images of TDICCD cameras [J].ChineseJournalofLiquidCrystalsandDisplay， 2014，29(4)： 644-648.(in Chinese)

[5] 臧麗，王敬東.基于互信息的紅外與可見光圖像快速配準(zhǔn)[J]. 紅外與激光工程，2008，37(1)： 164-168. ZANG L， WANG J D. Infrared and visible light image fast registration based on mutual information [J].InfraredandLaserEngineering， 2008，37(1)： 164-168.(in Chinese)

[6] 楊桄，童濤，陸松巖，等.基于多特征的紅外與可見光圖像融合[J]. 光學(xué) 精密工程，2014，22(2)： 489-496. YANG G， TONG T， LU S Y，etal.. Fusion of infrared and visible images based on multi-features [J].Opt.PrecisionEng.， 2014，22(2)： 489-496.(in Chinese)

[7] 程國華，王阿川，陳舒暢，等.多源遙感影像高精度自動(dòng)配準(zhǔn)方法研究[J]. 液晶與顯示，2016，31(6)： 604-612. CHENG G H， WANG A CH， CHEN SH CH，etal.. High accuracy-automatic registration method research on multi-source remote sensing image [J].ChineseJournalofLiquidCrystalsandDisplay， 2016，31(6)： 604-612.(in Chinese)

[8] 譚東杰，張安.方向相關(guān)與互信息加權(quán)組合多模圖像配準(zhǔn)方法[J]. 紅外與激光工程，2013，42(3)： 836-841. TAN D J， ZHANG A. Multi-model image registration based on weighted orientation correlation and mutual information [J].InfraredandLaserEngineering， 2013，42(3)： 836-841.(in Chinese)

[9] 余先川，呂中華，胡丹.遙感圖像配準(zhǔn)技術(shù)綜述[J]. 光學(xué) 精密工程，2013，21(11)： 2960-2972. YU X CH， LV ZH H， HU D. Review of remote sensing image registration techniques [J].Opt.PrecisionEng.， 2013，21(11)： 2960-2972.(in Chinese)

[10] 丘文濤，趙建，劉杰.結(jié)合區(qū)域分割的SIFT圖像匹配方法[J]. 液晶與顯示，2012，27(6)： 827-831. QIU W T， ZHAO J， LIU J. Image matching algorithm combining SIFT with region segmentation [J].ChineseJournalofLiquidCrystalsandDisplay， 2012，27(6)： 827-831.(in Chinese)

[11] 劉暢，崔桐，賀成龍，等.基于高曲率特征點(diǎn)匹配的紅外可見光圖像配準(zhǔn)[J]. 指揮信息系統(tǒng)與技術(shù)，2016，7(1)： 13-17. LIU CH，CUI T， HE CH L，etal.. Infrared-visual image registration based on high-curvature feature matching [J].CommandInformationSystemandTechnology， 2016，7(1)： 13-17.(in Chinese)

[12] 李健，王濱海，李麗，等.基于SIFT的電力設(shè)備紅外與可見光圖像的配準(zhǔn)和融合[J]. 光學(xué)與光電技術(shù)，2012，10(1)： 75-78. LI J， WANG B H， LI L，etal.. Electrical equipment IR and visible images registration and fusion based on SIFT [J].Optic&OptoelectronicTechnology， 2012，10(1)： 75-78.(in Chinese)

[13] YI Z， ZHI G C， YANG X. Multi-spectral remote image registration based on SIFT [J].ElectronicsLetters， 2008，44(2)：107-108.

[14] HUANG Q， GAO Q， YANG J，etal.. Visible and infrared image registration algorithm based on NSCT and gradient mirroring [C].ConferenceonMultispectral，Hyperspectral，andUltra-spectralRemoteSensingTechnologysandApplicationsV， 2014.

[15] GOFERMAN S， ZELNIK-MANOR L， TAL A. Context-aware saliency detection [J].IEEETransactionsonPatternAnalysis&MachineIntelligence， 2011， 34(10)： 1915-26.

[16] 丁尤蓉，王敬東，邱玉嬌，等.基于自適應(yīng)閾值的FAST特征點(diǎn)提取算法[J]. 指揮控制與仿真，2013，35(2)： 47-53. DING Y R， WANG J D， QIU Y J，etal.. FAST feature detection algorithm based on self-adaptive threshold selection [J].CommandControl&Simulation， 2013，35(2)： 47-53.(in Chinese)

徐 軍(1970-)，男，云南楚雄人，96658部隊(duì)工程師，現(xiàn)為武漢大學(xué)博士研究生，主要從事航天攝影測量、遙感圖像處理、打擊效果評(píng)估等方面的研究。E-mail： junxu70@163.com

付天宇(1991-)，男，北京人，博士研究生，2013年于山東大學(xué)獲得學(xué)士學(xué)位，主要從事圖像配準(zhǔn)算法研究。E-mail： fty0718@163.com

(版權(quán)所有 未經(jīng)許可 不得轉(zhuǎn)載)

Registration of infrared image and visible image based on saliency and EOH feature analysis

XU Jun1*， FU Tian-yu2， YANG Jian2， FENG Su3

(1.State Key Laboratory of Information Engineering in Surveying，MappingandRemoteSensing，WuhanUniversity，Wuhan430079，China；2.BeijingEngineeringResearchCenterofMixedRealityandAdvancedDisplay，SchoolofOpticsandElectronics，BeijingInstituteofTechnology，Beijing100081，China；3.InformationCenter，GeneralAdministrationofQualitySupervision，InspectionandQuarantineofthePRC，Beijing100088，China)

To realize the information fusion of infrared and visible images and make up the deficiency of the single modality image， a new algorithm based on saliency and Edge Orientation Histogram(EOH) features was proposed. Firstly， the saliency analysis was used to find the important information of the visible image and to obtain the saliency map. By fusing it with the visible image， the important information in the visible image was divided. Then， adaptive Features from Accelerated Segment Test(FAST) algorithm was employed in detecting feature points on the visible image and infrared image， and the improved EOH was used to describe the detected feature points. Finally， corresponding feature points were found by calculating the similarity of feature points in the visible and infrared images and the infrared and visible images were matched. An image matching experiments at three conditions were carried out， and the results indicate that when the collection conditions between the infrared and visible images are similar， the feature matching accuracy reaches 96.55%. When the difference of collection conditions between the infrared and visible images is large， the feature matching accuracy still can reach 74.21%. The algorithm realizes fast and accurate matching of infrared and visible images， and meets the requirements of image matching for accuracy and stability， especially under a collection condition that the infrared and visible images are bigger different.

image fusion； infrared image； visible image； saliency analysis； adaptive Features from Accelerated Segment Test(FAST)； Edge Orientation Histogram(EOH)； feature point descriptor

2016-07-15；

2016-09-07.

中國博士后科學(xué)基金資助項(xiàng)目(No.2015M580962)

1004-924X(2016)11-2830-11

TP391.4

A

10.3788/OPE.20162411.2830

*Correspondingauthor，E-mail：junxu70@163.com