基于SURF和雙向自適應(yīng)閾值配準(zhǔn)的紅外圖像拼接

謝紅梅 劉強(qiáng) 夏磊 邱赫

DOI：10.19297/j.cnki.41-1228/tj.2018.06.014

摘要：針對(duì)當(dāng)前SIFT圖像配準(zhǔn)與融合拼接算法復(fù)雜度高的缺陷，鑒于SURF（speeduprobustfeatures）算法具有快速且魯棒性較好的特點(diǎn)，提出了一種基于SURF特征點(diǎn)檢測(cè)和自適應(yīng)閾值特征匹配的圖像拼接算法。首先用SURF算法提取圖像特征后，使用雙向匹配策略和自適應(yīng)閾值的BBF（BestBinFirst）匹配算法尋找圖像間的匹配點(diǎn)，同時(shí)結(jié)合Laplacian標(biāo)識(shí)符來分離不同類型特征點(diǎn)，減少計(jì)算量，再通過RANSAC算法求出圖像之間的映射關(guān)系，最后采用加權(quán)平均融合方法進(jìn)行圖像融合。通過對(duì)紅外圖像進(jìn)行拼接實(shí)驗(yàn)表明，該方法圖像拼接質(zhì)量速度均有提高，實(shí)現(xiàn)了圖像的無縫拼接，滿足紅外圖像拼接應(yīng)用的實(shí)際需求。

關(guān)鍵詞：SURF;雙向匹配;自適應(yīng)閾值;Laplacian標(biāo)識(shí)符;紅外圖像拼接

中圖分類號(hào)：TJ760;TP391文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1673-5048（2018）06-0084-06[SQ0]

0引言

圖像拼接是對(duì)同一場(chǎng)景在不同條件下（如不同的時(shí)間、拍攝環(huán)境、視場(chǎng)角、傳感器等）得到的兩幅或多幅圖像進(jìn)行對(duì)準(zhǔn)、融合的過程[1]，其廣泛應(yīng)用于多個(gè)領(lǐng)域，如計(jì)算機(jī)視覺、全景圖像拼接、遙感勘測(cè)、虛擬現(xiàn)實(shí)、醫(yī)學(xué)診斷與輔助治療以及軍事等。

紅外圖像是由成像設(shè)備捕捉目標(biāo)和背景向外輻射的能量差而形成的。因其成像的特殊性，使其具有可以全天候采集、穿透能力強(qiáng)和像素點(diǎn)灰度值穩(wěn)定的優(yōu)勢(shì)?；谝陨咸攸c(diǎn)，紅外圖像已經(jīng)被廣泛應(yīng)用于航天、航空、航海等軍事領(lǐng)域，如弱小紅外目標(biāo)跟蹤和識(shí)別探測(cè)、紅外預(yù)警、環(huán)視掃描、紅外線探傷等。

圖像配準(zhǔn)是圖像拼接的核心，按照?qǐng)D像配準(zhǔn)的方式可分為基于區(qū)域和基于特征兩類，其中基于區(qū)域的方法運(yùn)算量大且不能適應(yīng)圖像旋轉(zhuǎn)和尺度縮放的場(chǎng)合，而基于特征的配準(zhǔn)方法有很強(qiáng)的魯棒性，應(yīng)用廣泛。有關(guān)于后者的研究也較多，該方法的大體流程是：先通過點(diǎn)特征或其他特征提取進(jìn)行特征檢測(cè);接著用相關(guān)查找算法完成不同圖像間的特征匹配;通過匹配的特征求解得到圖像間的變換矩陣;最后疊加融合出配準(zhǔn)后的圖像。特征的選擇跟圖像的內(nèi)容有很大的關(guān)系，一般而言，點(diǎn)特征相對(duì)易于提取，而且可以適用于圖像的各種變換并保持很好的性能。如Harris[2]，SUSAN[3]，DOG[4]，Harris-Laplace，Hessian-Laplace[5]等方法提取的特征點(diǎn)。Lowe等人[6]提出的SIFT算法是一種魯棒性好的尺度不變特征描述方法，但SIFT算法計(jì)算數(shù)據(jù)量大、時(shí)間復(fù)雜度高、算法耗時(shí)長(zhǎng)。徐佳佳[7]等人將尺度空間理論應(yīng)用于Harris算法中，使檢測(cè)的角點(diǎn)具有尺度不變性，并采用SIFT描述子生成方法進(jìn)行特征點(diǎn)描述，完成圖像配準(zhǔn)。

燕飛[8]等人基于仿生復(fù)眼系統(tǒng)提出一種采用SIFT的圖像拼接算法，有效地實(shí)現(xiàn)了多通道圖像的大視場(chǎng)無盲區(qū)拼接。Bay等人提出了快速魯棒特征（SURF）算法[9]，除在可重復(fù)性和魯棒性方面優(yōu)于現(xiàn)有方法外，還能夠獲得較快的計(jì)算速度，因此在實(shí)時(shí)物體識(shí)別、圖像檢索、圖像拼接等方面有較大的應(yīng)用價(jià)值。李紅波[10]等人在經(jīng)典SURF算法基礎(chǔ)上，提出一種基于距離約束的SURF算法。然而圖像配準(zhǔn)研究在可見光中做得較多，針對(duì)紅外圖像的研究比較少，袁夢(mèng)笛[11]將角點(diǎn)法和相位相關(guān)法相結(jié)合來進(jìn)行圖像配準(zhǔn)。Dong[12]等人采用SUSAN算法來檢測(cè)紅外圖像的特征點(diǎn)，然后采用免疫記憶克隆選擇算法獲得匹配點(diǎn)的位置，達(dá)到紅外圖像配準(zhǔn)的目的。劉炳國(guó)[13]等人針對(duì)同一目標(biāo)的紅外與可見光所形成的異源圖像對(duì)，提出了一種基于改進(jìn)SIFT與互信息的算法，尋找兩幅圖像中的相關(guān)點(diǎn)，從而實(shí)現(xiàn)兩幅圖像的匹配。但是這些算法對(duì)成像情況有較嚴(yán)格的要求、計(jì)算比較復(fù)雜。本文將結(jié)合紅外圖像的特點(diǎn)，利用SURF算法對(duì)適用于紅外圖像的匹配和拼接進(jìn)行相關(guān)研究。

1紅外圖像拼接方法和過程

紅外圖像成像具有分辨率低、噪聲大、邊緣模糊等特點(diǎn)。本文結(jié)合紅外圖像的特點(diǎn)提出的基于SURF的紅外圖像拼接方法流程如圖1所示，首先用SURF方法提取特征點(diǎn)，用基于雙向匹配策略的自適應(yīng)閾值匹配算法得到兩幅圖像的匹配點(diǎn)對(duì)，再通過RANSAC算法剔除誤匹配，同時(shí)求解出圖像間的變換關(guān)系，最后對(duì)圖像進(jìn)行融合，得到無拼接痕跡且保持高分辨率的完整圖像。

中，（a）圖檢測(cè)得到的特征點(diǎn)個(gè)數(shù)為127，（b）圖檢測(cè)得到特征點(diǎn)個(gè)數(shù)為139。采用單向匹配策略后特征點(diǎn)對(duì)數(shù)139，匹配結(jié)果如圖（c），出現(xiàn)了“一對(duì)多”的匹配結(jié)果。而采用雙向匹配策略后特征點(diǎn)對(duì)數(shù)為44，匹配結(jié)果如圖（d）?？梢钥闯?，兩種匹配策略的匹配點(diǎn)對(duì)數(shù)差為95。所以說，單向匹配的結(jié)果中存在大量的誤匹配點(diǎn)，而雙向匹配策略可以大幅降低誤匹配情況，從而提高配準(zhǔn)精度。因此后續(xù)均采用雙向匹配策略。

2.2自適應(yīng)閾值的驗(yàn)證

自適應(yīng)閾值的驗(yàn)證需依據(jù)配準(zhǔn)率的大小，兩幅圖像配準(zhǔn)率可由下式求得：

其中，PR表示兩幅圖像的正確匹配對(duì)數(shù)，PA表示兩幅圖像特征點(diǎn)匹配的所有對(duì)數(shù)，RT表示兩幅圖像配準(zhǔn)率大小。如果RT越大，兩幅圖像配準(zhǔn)精度越高，說明特征點(diǎn)匹配時(shí)閾值選取越接近真實(shí)值;反之，說明特征點(diǎn)匹配時(shí)閾值選取不合理。

為驗(yàn)證文中提出的自適應(yīng)閾值算法的有效性，在Windows7操作系統(tǒng)下，利用MATLAB2014a軟件進(jìn)行仿真實(shí)驗(yàn)。實(shí)驗(yàn)中將兩幅不同視角的紅外圖像圖5（a）～（b）采用SURF算法進(jìn)行特征點(diǎn)檢測(cè)，然后采用自適應(yīng)閾值進(jìn)行特征點(diǎn)匹配，得到PA值，最后采用RANSAC算法進(jìn)行特征點(diǎn)提純得到RR值，則可求得兩幅紅外圖像的配準(zhǔn)率RT，如表1所示。圖5（e）～（f）分別為對(duì)應(yīng)的采用固定閾值和自適應(yīng)閾值的匹配結(jié)果。由表1可以看出，采用自適應(yīng)閾值進(jìn)行紅外圖像配準(zhǔn)后的配準(zhǔn)率要明顯高于采用固定閾值進(jìn)行配準(zhǔn)后的配準(zhǔn)率。

表2為其他六組不同視角紅外圖像分別采用固定閾值及自適應(yīng)閾值進(jìn)行特征點(diǎn)匹配得到的配準(zhǔn)率結(jié)果。

3結(jié)論

本文實(shí)現(xiàn)了一種新的基于SURF特征點(diǎn)配準(zhǔn)的紅外圖像拼接算法。實(shí)驗(yàn)證明，提出的雙向匹配結(jié)合自適應(yīng)閾值的BBF匹配算法大大提高了配準(zhǔn)精度即配準(zhǔn)率。使用Laplacian標(biāo)識(shí)符分離亮斑和暗斑兩類特征點(diǎn)后，在保證良好匹配精度的同時(shí)有效降低了尋找匹配點(diǎn)的時(shí)間。使用加權(quán)平均融合方法對(duì)配準(zhǔn)后的圖像進(jìn)行融合，有效地抑制了紅外圖像之間的拼接縫。

參考文獻(xiàn)：

[1]ZitovB，F(xiàn)lusserJ.ImageRegistrationMethods：ASurvey[J].ImageandVisionComputing，2003，21（11）：977-1000.

[2]HarrisCG，StephensMJ.ACombinedCornerandEdgeDetector[C]∥ProcessingsFourthAlveyVisionConference，Manchester，1988：147-151.

[3]SmithSM，BradyJM.SUSANANewApproachtoLowLevelImageProcessing[J].InternationalJournalofComputerVision，1997，23（1）：45-78.

[4]LoweDG.ObjectRecognitionfromLocalScaleInvariantFeatures[C]∥InternationalConferenceonComputerVision，Corfu，Greece，1999：1150-1157.

[5]MikolajczykK，SchmidC.Scale&AffineInvariantInterestPointDetectors[J].InternationalJournalofComputerVision，2004，60（1）：63-86.

[6]LoweDG.DistinctiveImageFeaturesfromScaleInvariantKeypoints[J].InternationalJournalofComputerVision，2004，60（2）：91-110.

[7]徐佳佳，張葉，張赫.基于改進(jìn)HarrisSIFT算子的快速圖像配準(zhǔn)算法[J].電子測(cè)量與儀器學(xué)報(bào)，2015，29（1）：48-54.

XuJiajia，ZhangYe，ZhangHe，etal.FastImageRegistrationAlgorithmBasedonImprovedHarrisSIFTDescriptor[J].JournalofElectronicMeasurementandInstrumentation，2015，29（1）：48-54.（inChinese）

[8]燕飛，郭云芝，史立芳，等.基于仿生復(fù)眼系統(tǒng)的圖像拼接技術(shù)[J].航空兵器，2017（6）：49-53.

YanFei，GuoYunzhi，ShiLifang，etal.ResearchofImageMosaicAlgorithmBasedonBionicCompoundEyeSystem[J].AeroWeaponry，2017（6）：49-53.（inChinese）

[9]BayH，TuvtellarsT，GoolLVan.SURF：SpeededupRobustFeatures[C]∥ProceedingsoftheEuropeanConferenceonComputerVision，2006：404-417.

[10]李紅波，趙永耀，吳渝，等.一種基于距離約束的改進(jìn)SURF算法[J].系統(tǒng)仿真學(xué)報(bào)，2014，26（12）：2944-2949.

LiHongbo，ZhaoYongyao，WuYu，etal.ImprovedSURFAlgorithmBasedonDistanceConstraint[J].JournalofSystemSimulation，2014，26（12）：2944-2949.（inChinese）

[11]袁夢(mèng)笛.基于特征點(diǎn)的紅外圖像拼接研究[D].南京：南京理工大學(xué)，2013.

YuanMengdi.ResearchonInfraredImageMosaicBasedonFeaturePoints[D].Nanjing：NanjingUniversityofScienceandTechnology，2013.（inChinese）

[12]DongLin，F(xiàn)uDongmei，YuXiao，etal.TheStudyonInfraredImageMosaicApplicationUsingImmuneMemoryClonalSelectionAlgorithm[C]∥ProceedingsoftheTenthWorldCongressonIntelligentControlandAutomation，2012：4831-4836.

[13]劉炳國(guó)，陳力，劉國(guó)棟.基于改進(jìn)SIFT與互信息的異源圖像匹配[J].航空兵器，2014（5）：15-18.

LiuBingguo，ChenLi，LiuGuodong.MultiSensorImagesMatchingBasedonCombinedImprovedSIFTandMutualInformation[J].AeroWeaponry，2014（5）：15-18.（inChinese）

[14]BeisJS，LoweDG.ShapeIndexingUsingApproximateNearestNeighborSearchinHighDimensionalSpaces[C]∥ProceedingsoftheConferenceonComputerVisionandPatternRecognition，SanJuan，PuertoRico，1997：1000-1006.

[15]劉奇，何明一.基于SURF特征匹配的圖像拼接算法[J].測(cè)控技術(shù)，2010，29（10）：27-31.

LiuQi，HeMingyi.ImageStitchingBasedonSURFFeatureMatching[J].Measurement&ControlTechnology，2010，29（10）：27-31.（inChinese）