基于距離融合的圖像特征點(diǎn)匹配方法

修春波 馬云菲 潘肖楠

摘 要：針對(duì)ORB算法中特征點(diǎn)缺乏尺度不變性導(dǎo)致算法誤匹配率高，以及二進(jìn)制魯棒獨(dú)立基本特征 （BRIEF） 算法的描述子易受噪聲影響的問(wèn)題，提出了改進(jìn)的特征點(diǎn)匹配方法。采用加速的具有魯棒性的特征 （SURF） 算法進(jìn)行特征點(diǎn)提取，利用帶有方向信息的BRIEF算法進(jìn)行特征點(diǎn)描述;在特征點(diǎn)鄰域內(nèi)選取隨機(jī)點(diǎn)對(duì)，并對(duì)隨機(jī)點(diǎn)對(duì)的灰度大小比較和相似度比較分別進(jìn)行編碼，采用漢明距離計(jì)算兩種編碼的差異;利用自適應(yīng)加權(quán)融合的方式實(shí)現(xiàn)特征點(diǎn)相似性距離度量。實(shí)驗(yàn)結(jié)果表明，改進(jìn)方法對(duì)于尺度變化、光照變化以及模糊變化的圖像具有更好的適應(yīng)性，與傳統(tǒng)ORB特征點(diǎn)匹配方法相比能夠獲得更高的特征點(diǎn)正確匹配率，且該特征點(diǎn)匹配方法可用于改善圖像拼接的性能。

關(guān)鍵詞：特征點(diǎn)匹配;圖像拼接;加權(quán)融合;漢明距離;尺度不變性

中圖分類號(hào)：TP391.4

文獻(xiàn)標(biāo)志碼：A

Image feature point matching method based on distance fusion

XIU Chunbo1，2*， MA Yunfei1， PAN Xiaonan1

1.School of Electrical Engineering and Automation， Tianjin Polytechnic University， Tianjin 300387， China;

2.Tianjin Key Laboratory of Advanced Electrical Engineering and Energy Technology（Tianjin Polytechnic University）， Tianjin 300387， China

Abstract：

In order to reduce the matching error rate of ORB （Oriented FAST and Rotated BRIEF） method caused by the scale invariance of the feature points in the algorithm and enhance the robustness of the descriptors of Binary Robust Independent Elementary Features （BRIEF） algorithm to noise， an improved feature point matching method was proposed. SpeededUp Robust Features （SURF） algorithm was used to extract feature points， and BRIEF algorithm with direction information was used to describe the feature points. Random pixel pairs in the neighborhood of the feature point were selected， the comparison results of the grayscales and the similarity of pixel pairs were encoded respectively， and Hamming distance was used to calculate the differences between the two codes. The similarity between the feature points were measured by the adaptive weighted fusion method. Experimental results show that the improved method has better adaptability to the scale variance， illumination variance and blurred variance of images， can obtain a higher feature point correct matching rate compared with the conventional ORB method， and can be used to improve the performance of image stitching.

Key words：

feature point matching; image stitching; weighted fusion; Hamming distance; scale invariance

0?引言

圖像匹配是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心技術(shù)問(wèn)題之一[1-2]，在圖像拼接、智能視覺(jué)診斷、機(jī)器人視覺(jué)[3-5]等工程領(lǐng)域中有著重要的應(yīng)用價(jià)值。常用的圖像匹配算法有基于塊匹配的方法和基于特征點(diǎn)的匹配方法兩類。塊匹配方法通常不具有旋轉(zhuǎn)不變性，且當(dāng)圖像塊較小時(shí)匹配結(jié)果易受噪聲影響，而當(dāng)圖像塊較大時(shí)圖像之間的差異會(huì)導(dǎo)致匹配效果變差。因此，基于特征點(diǎn)的匹配方法成為當(dāng)前研究的主流方法[6]。常見(jiàn)的特征點(diǎn)提取方法有尺度不變特征轉(zhuǎn)換（ScaleInvariant Feature Transform， SIFT）算法、加速段測(cè)試的特征（Features From Accelerated Segment Test， FAST）算法和加速的具有魯棒性的特征（SpeededUp Robust Features， SURF）等方法[7-9]。SIFT方法計(jì)算量較大，不適用于實(shí)時(shí)性要求較高的場(chǎng)合[10-11]; FAST方法計(jì)算速度較快，在ORB（Oriented FAST and Rotated BRIEF）描述方法中得到了應(yīng)用，但FAST方法檢測(cè)的特征點(diǎn)不具有尺度不變性，

因此，誤匹配率較高[12]; SURF方法是SIFT方法的改進(jìn)，不但具有較快的計(jì)算速度，而且所檢測(cè)的特征點(diǎn)穩(wěn)定性較好[13-15]; 傳統(tǒng)的ORB方法采用帶有方向信息的二進(jìn)制魯棒獨(dú)立基本特征（Binary Robust Independent Elementary Features， BRIEF）描述子計(jì)算特征點(diǎn)領(lǐng)域內(nèi)隨機(jī)點(diǎn)對(duì)灰度大小比較的編碼，但BRIEF特征描述子對(duì)噪聲比較敏感，因此采用基于BRIEF特征描述子進(jìn)行特征點(diǎn)匹配的效果有時(shí)并不理想[16-19]。

為此，本文提出了改進(jìn)的ORB方法進(jìn)行特征點(diǎn)匹配。為了克服FAST算法不具有尺度不變性的缺點(diǎn)，采用SURF算法進(jìn)行特征點(diǎn)提取，并在BRIEF特征描述子中加入了特征點(diǎn)鄰域內(nèi)隨機(jī)點(diǎn)對(duì)的灰度相似度的比較信息，分別采用漢明距離計(jì)算點(diǎn)對(duì)灰度大小和相似度比較的距離，將兩個(gè)距離的自適應(yīng)加權(quán)融合結(jié)果作為特征點(diǎn)的相似性度量，以此實(shí)現(xiàn)圖像的特征點(diǎn)匹配，從而提高特征點(diǎn)匹配的正確率， 改善圖像拼接等技術(shù)性能。

1?改進(jìn)ORB特征點(diǎn)匹配方法

1.1?特征點(diǎn)提取

傳統(tǒng)的ORB算法采用FAST算法進(jìn)行特征點(diǎn)提取，利用帶有方向信息的BRIEF特征描述子對(duì)特征點(diǎn)進(jìn)行描述，并利用漢明距離計(jì)算特征點(diǎn)的匹配度。由于FAST算法所檢測(cè)的特征點(diǎn)不具有尺度不變性，為此，提出采用SURF算法進(jìn)行特征點(diǎn)提取的改進(jìn)ORB方法。

通常，圖像中的像素點(diǎn)（x，y）的Hessian矩陣計(jì)算為：

H（f（x，y））=2fx22fxy2fxy2fy2（1）

為了獲得具有尺度不變性的特征點(diǎn)，選用不同尺度的濾波器對(duì)圖像進(jìn)行高斯濾波，然后計(jì)算Hessian矩陣。將Hessian矩陣判別式取極值的點(diǎn)確定為特征點(diǎn)。

1.2?特征點(diǎn)相似度量

BRIEF特征描述子根據(jù)特征點(diǎn)鄰域內(nèi)隨機(jī)點(diǎn)對(duì)的灰度值大小比較組成編碼。例如，在特征點(diǎn)鄰域內(nèi)選取n對(duì)隨機(jī)點(diǎn)對(duì)，設(shè)f（xi）和f（yi）分別為特征點(diǎn)鄰域內(nèi)兩個(gè)像素點(diǎn)xi和yi對(duì)應(yīng)的灰度值。定義測(cè)試函數(shù)τ（）：

τ（xi，yi）=1，f（xi）-f（yi）≥00，其他 （2）

對(duì)于n對(duì)隨機(jī)點(diǎn)對(duì)（xi， yi），可生成長(zhǎng)度為n的二進(jìn)制字符串，由此得到BRIEF特征描述子的編碼為：

Ts=[τ（x1，y1），τ（x2，y2），…，τ（xn，yn）]（3）

式（3）是根據(jù)特征點(diǎn)鄰域內(nèi)隨機(jī)點(diǎn)對(duì)灰度大小比較所得的BRIEF特征描述子。當(dāng)兩個(gè)隨機(jī)點(diǎn)對(duì)的灰度接近時(shí)，圖像間光照的微弱變化等干擾會(huì)對(duì)像素點(diǎn)對(duì)灰度的大小關(guān)系產(chǎn)生較大影響，從而導(dǎo)致特征點(diǎn)匹配的準(zhǔn)確率降低。為了提高特征描述子對(duì)干擾變化的魯棒性，可在上述描述子的基礎(chǔ)上融合隨機(jī)點(diǎn)對(duì)灰度相似度的比較信息，彌補(bǔ)點(diǎn)對(duì)灰度大小比較信息的不足。定義相似度比較測(cè)試函數(shù)為：

τ′（xi，yi）=1，f（xi）-f（yi）>θ0，其他 （4）

其中：θ為相似度比較閾值，如果像素點(diǎn)對(duì)的灰度值差值大于θ，表示像素點(diǎn)對(duì)灰度差異較大;否則，表示像素點(diǎn)對(duì)灰度接近。因此，θ可選擇最大灰度值的5%以內(nèi)。

相似度比較描述子的編碼為：

Tm=[τ′（x1，y1），τ′（x2，y2），…，τ′（xn，yn）]（5）

其中： Tm編碼值描述了隨機(jī)點(diǎn)對(duì)中兩個(gè)像素點(diǎn)灰度相似度的差異，即當(dāng)相似度差異較大時(shí)，編碼為1; 否則編碼為0。Tm能夠?qū)崿F(xiàn)對(duì)Ts的信息補(bǔ)充，克服光照變化等干擾引起的編碼不穩(wěn)定。

特征點(diǎn)的相似性采用漢明距離進(jìn)行度量。設(shè)兩幅圖像中待匹配特征點(diǎn)鄰域內(nèi)點(diǎn)對(duì)灰度大小比較的編碼分別為Ts和Ts′，二者漢明距離為Ds，灰度相似度比較的編碼分別為Tm和Tm′，二者漢明距離為Dm，其中，漢明距離可采用兩個(gè)編碼按位異或求和進(jìn)行計(jì)算：

Ds=∑ni=1tsi⊕tsi′（6）

Dm=∑ni=1tmi⊕tmi′（7）

其中： tsi、tsi′分別為Ts和Ts′的第i位數(shù)值，tmi、tmi′分別為Tm和Tm′的第i位數(shù)值。將Ds與Dm兩個(gè)漢明距離進(jìn)行融合可求得待匹配特征點(diǎn)的相似性度量。常用的融合方法可采用加權(quán)求和的方式，即：

D=αDs+（1-α）Dm（8）

其中D為融合后的特征點(diǎn)相似性度量值。這種融合方式雖然簡(jiǎn)單，但由于缺少先驗(yàn)知識(shí)，融合系數(shù)不易確定。為此，提出具有自適應(yīng)性的加權(quán)融合方式，即設(shè)：

α=Dm/（Ds+Dm）（9）

則：

D=2DsDm/（Ds+Dm）（10）

采用上述距離融合方式，較小的編碼距離可獲得較大的權(quán)重，而較大的編碼距離則獲得較小的權(quán)重，由此可有效均衡兩種編碼方式的作用強(qiáng)度，有利于提高特征點(diǎn)相似性度量的合理性。

2?實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證改進(jìn)方法的有效性，將本文方法與傳統(tǒng)ORB特征點(diǎn)匹配方法以及固定權(quán)值特征點(diǎn)匹配方法進(jìn)行實(shí)驗(yàn)對(duì)比分析。其中，傳統(tǒng)ORB特征點(diǎn)匹配方法以及固定權(quán)值特征點(diǎn)匹配方法均采用FAST特征點(diǎn)提取方法，本文方法采用SURF特征點(diǎn)提取方法。為了驗(yàn)證融合隨機(jī)點(diǎn)對(duì)灰度相似度比較信息的作用，將固定權(quán)值特征點(diǎn)匹配方法的權(quán)值α選為0.75，相似度比較閾值θ=5。

2.1?尺度變化圖像特征點(diǎn)匹配

圖1為三張具有尺度大小變化的圖像。

圖1中，圖像1與圖像3的特征點(diǎn)匹配結(jié)果如圖2所示。

由圖2可見(jiàn)，傳統(tǒng)ORB特征點(diǎn)匹配方法以及固定權(quán)值特征點(diǎn)匹配方法均有較多明顯的錯(cuò)誤匹配點(diǎn)對(duì)，而本文特征點(diǎn)匹配方法對(duì)圖像尺度的變化具有更好的魯棒性，因此匹配正確率較高。

圖像1中的特征點(diǎn)分別與圖像2和圖像3中的特征點(diǎn)進(jìn)行匹配，所得特征點(diǎn)正確匹配率如表1所示。

由表1可見(jiàn)，隨著縮放尺度變化的加大，三種方法的特征點(diǎn)匹配正確率均有所下降，固定權(quán)值特征點(diǎn)匹配方法由于融入了灰度相似度比較信息，因此特征點(diǎn)正確匹配率較傳統(tǒng)ORB方法有所提升，而本文方法由于采用尺度不變的SURF算法進(jìn)行特征點(diǎn)提取，因此特征點(diǎn)正確匹配率能夠得到進(jìn)一步提升。

2.2?模糊圖像特征點(diǎn)匹配

圖3為測(cè)試集bikes（blur）組中的4張具有不同模糊程度的測(cè)試圖像，圖像的模糊程度逐漸增加。

采用三種方法對(duì)bikes1和bikes2進(jìn)行特征點(diǎn)匹配，所得結(jié)果如圖4所示。

從匹配結(jié)果可見(jiàn)，本文方法的特征點(diǎn)正確匹配率仍然高于傳統(tǒng)ORB匹配方法和固定權(quán)值匹配方法。各圖像間的特征點(diǎn)正確匹配率如表2所示。

由表2可見(jiàn)，隨著模糊程度的增加，特征點(diǎn)的正確匹配率也逐漸減小，但本文方法采用自適應(yīng)加權(quán)的方式實(shí)現(xiàn)了特征點(diǎn)鄰域內(nèi)點(diǎn)對(duì)的灰度大小比較和相似度比較的距離融合，并以此衡量特征點(diǎn)的相似性，因此具有更高的特征點(diǎn)正確匹配率，也說(shuō)明本文方法對(duì)模糊圖像具有一定的適應(yīng)性。

2.3?光照變化圖像特征點(diǎn)匹配

圖5為測(cè)試集leuven（light）組中光照變化的五張圖像，光照強(qiáng)度逐漸變?nèi)酢?/p>

圖6 給出了leuven1與leuven2中的特征點(diǎn)匹配結(jié)果。

從圖6可見(jiàn)，雖然兩幅圖像的光照差異并不大，但光照變化對(duì)匹配結(jié)果仍然有著一定的影響：傳統(tǒng)的ORB方法對(duì)光照變化比較敏感，誤匹配的特征點(diǎn)數(shù)量最多;固定權(quán)值匹配方法通過(guò)融入點(diǎn)對(duì)的相似度比較信息能夠在一定程度上降低光照變化對(duì)匹配結(jié)果的影響;本文方法特征點(diǎn)的正確匹配率最高，對(duì)光照變化具有更好的適應(yīng)能力。

上述圖像間的特征點(diǎn)匹配正確率如表3所示。

由表3可見(jiàn)，隨著光照變化程度的增加，三種方法的正確匹配率均有所下降，但本文方法具有更高的正確匹配率，匹配結(jié)果對(duì)光照變化具有更好的魯棒性。

3?基于特征點(diǎn)匹配的圖像拼接

圖7為測(cè)試集（input-42data）中的兩張圖像。

采用上述三種匹配方法對(duì)圖7中的兩張圖像進(jìn)行特征點(diǎn)匹配，隨著特征點(diǎn)數(shù)量的增加，特征點(diǎn)匹配正確率的變化曲線如圖8所示。

由圖8可見(jiàn)，隨著特征點(diǎn)數(shù)量的增加，三種特征點(diǎn)匹配方法的正確匹配率逐漸下降，但本文方法的匹配正確率明顯高于其他兩種對(duì)比方法。當(dāng)特征點(diǎn)數(shù)量為160時(shí)，三種方法的特征點(diǎn)匹配結(jié)果如圖9所示。

圖9中，本文方法的特征點(diǎn)能夠?qū)崿F(xiàn)特征點(diǎn)的全部正確匹配，固定權(quán)值匹配方法有少量特征點(diǎn)發(fā)生匹配錯(cuò)誤，而ORB匹配方法錯(cuò)誤匹配特征點(diǎn)數(shù)量較多?；谏鲜銎ヅ浣Y(jié)果，實(shí)現(xiàn)的圖像拼接效果如圖10所示。

從圖10和圖11可見(jiàn)：基于ORB匹配的拼接圖像，由于特征點(diǎn)正確匹配率低，其拼接效果較差，有明顯的幾何錯(cuò)位; 固定權(quán)值匹配方法的正確率較高，所得拼接效果也得到改善，雖仍有幾何錯(cuò)位，但并不太明顯; 而本文方法能夠?qū)崿F(xiàn)全部特征點(diǎn)的正確匹配，因此拼接效果最好，無(wú)明顯的幾何錯(cuò)位。

進(jìn)一步采用基于距離加權(quán)的亮度融合方法，能夠消除因亮度差異產(chǎn)生的拼接縫隙，得到最終的圖像拼接結(jié)果如圖12所示。

由此可見(jiàn)，本文方法能夠有效提高圖像特征點(diǎn)的正確匹配率，因此可改善圖像拼接質(zhì)量，抑制拼接產(chǎn)生的幾何錯(cuò)位現(xiàn)象，提高圖像拼接性能。

4?結(jié)語(yǔ)

本文針對(duì)傳統(tǒng)ORB算法特征點(diǎn)匹配錯(cuò)誤率較高、易受光照變化等干擾的問(wèn)題，提出了改進(jìn)的特征點(diǎn)匹配方法。采用SURF算法提取特征點(diǎn)，在BRIEF特征描述子中，融合了特征點(diǎn)鄰域內(nèi)隨機(jī)點(diǎn)對(duì)的灰度相似度比較信息，并提出了灰度大小比較和相似度比較的編碼距離自適應(yīng)加權(quán)融合方式，提高了特征點(diǎn)匹配的正確率。實(shí)驗(yàn)結(jié)果表明，本文方法對(duì)圖像尺度變化、光照變化以及模糊變化等均具有良好的適應(yīng)能力，能夠改善圖像拼接的效果。

參考文獻(xiàn) （References）

[1]左川， 龐春江. 基于改進(jìn)ORB的抗視角變換快速圖像匹配算法[J]. 傳感技術(shù)學(xué)報(bào)， 2018， 31（11）： 98-104. （ZUO C， PANG C J. Fast image matching algorithm based on improved ORB for antiviewing transformation[J]. Journal of Sensing Technology， 2018， 31（11）： 98-104.）

[2]董強(qiáng)， 劉晶紅， 周前飛. 用于遙感圖像拼接的改進(jìn)SURF算法[J]. 吉林大學(xué)學(xué)報(bào)（工學(xué)版）， 2017， 47（5）： 1644-1652. （DONG Q， LIU J H， ZHOU Q F. Improved SURF algorithm for remote sensing image stitching[J]. Journal of Jilin University （Engineering Edition）， 2017， 47（5）： 1644-1652.）

[3]MENTZER N， PAYAVAYA G， BLUME H. Analyzing the performancehardware tradeoff of an ASIPbased sift feature extraction[J]. Journal of Signal Processing Systems， 2016， 85（1）： 83-99.

[4]鄒承明， 侯小碧， 馬靜. 基于幾何學(xué)圖像配準(zhǔn)的SIFT圖像拼接算法[J]. 華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2016， 44（4）： 32-36. （ZOU C M， HOU X B， MA J. SIFT image stitching algorithm based on geometric image registration[J]. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2016， 44（4）： 32-36.）

[5]張勇， 王志鋒， 馬文. 基于改進(jìn)SIFT特征點(diǎn)匹配的圖像拼接算法研究[J]. 微電子學(xué)與計(jì)算機(jī)， 2016， 33（3）： 60-64. （ZHANG Y， WANG Z F， MA W. Research on image stitching algorithm based on improved SIFT feature point matching[J]. Microelectronics & Computer， 2016， 33（3）： 60-64.）

[6]曹君宇， 周浩， 高志山， 等. 基于SURF的圖像拼接過(guò)程中配準(zhǔn)算法的改進(jìn)[J]. 云南大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2016， 38（6）： 845-852. （CAO J Y， ZHOU H， GAO Z S， et al. Improvement of registration algorithm in image stitching process based on SURF[J]. Journal of Yunnan University （Natural Science Edition）， 2016， 38（6）： 845-852.）

[7]張博， 韓廣良. 基于Mask RCNN的ORB去誤匹配方法[J]. 液晶與顯示， 2018， 33（8）： 69-75. （ZHANG B， HAN G L. Based on Mask RCNN ORB error matching method[J]. LCD and Display， 2018， 33（8）： 69-75.）

[8]王健， 于鳴， 任洪娥. 一種用于圖像拼接的改進(jìn)ORB算法[J]. 液晶與顯示， 2018， 33（6）： 73-80. （WANG J， YU M， REN H E. An improved ORB algorithm for image stitching[J]. LCD and Display， 2018， 33（6）： 73-80.）

[9]WANG D， LIU H， CHENG X. A miniature binocular endoscope with local feature matching and stereo matching for 3D measurement and 3D reconstruction[J]. Sensors， 2018， 18（7）： 2243-2250.

[10]SHAN Y， LI S. Descriptor matching for a discrete spherical image with a convolutional neural network[J]. IEEE Access， 2018， 6： 20748-20755.

[11]YU H， FU Q， YANG Z， et al. Robust robot pose estimation for challenging scenes with an RGBD camera[J]. IEEE Sensors Journal， 2019， 19（6）： 2217-2229.

[12]ZHANG F， WAH B W. Fundamental principles on learning new features for effective dense matching[J]. IEEE Transactions on Image Processing， 2017， 27（2）： 822-836.

[13]LEE W T， CHEN H I， CHEN M S， et al. Highresolution 360 video foveated stitching for realtime VR[J]. Computer Graphics Forum， 2017， 36（7）： 115-123.

[14]KIM Y， JUNG H. Reconfigurable hardware architecture for faster descriptor extraction in surf[J]. Electronics Letters， 2018， 54（4）： 210-212.

[15]BORGES F A S， FERNANDES R A S， SILVA I N， et al. Feature extraction and power quality disturbances classification using smart meters signals[J]. IEEE Transactions on Industrial Informatics， 2017， 12（2）： 824-833.

[16]GARCIA J， GARDEL A， BRAVO I， et al. Multiple view oriented matching algorithm for people reidentification[J]. IEEE Transactions on Industrial Informatics， 2017， 10（3）： 1841-1851.

[17]SRINIVASA K G， DEVI B N S. GPU basedngram string matching algorithm with score table approach for string searching in many documents[J]. Journal of the Institution of Engineers， 2017， 98（2）： 1-10.

[18]曾慶化， 陳艷， 王云舒， 等. 一種基于ORB的快速大視角圖像匹配算法[J]. 控制與決策， 2017， 32（12）： 2233-2239. （ZENG Q H， CHEN Y， WANG Y S， et al. A fast large angle view image matching algorithm based on ORB[J]. Control and Decision， 2017， 32（12）： 2233-2239.）

[19]杜承垚， 袁景凌， 陳旻騁， 等. GPU加速與LORB特征提取的全景視頻實(shí)時(shí)拼接[J]. 計(jì)算機(jī)研究與發(fā)展， 2017， 54（6）： 1316-1325. （DU C Y， YUAN J L， CHEN M C， et al. GPU acceleration and LORB feature extraction for panoramic video realtime stitching[J]. Journal of Computer Research and Development， 2017， 54（6）： 1316-1325.）

This work is partially supported by the Tianjin Natural Science Foundation （18JCYBJC88300， 18JCYBJC88400）.

XIU Chunbo， born in 1978， Ph. D.， professor. His research interests include neural network， system modeling， chaos control.

MA Yunfei， born in 1995， M. S. candidate. Her research interests include image processing， pattern recognition.

PAN Xiaonan， born in 1992， M. S. candidate. Her research interests include neural network， target tracking.