基于LATCH描述子和GMS算法的特征匹配研究

張力力，尚俊云，林洪怡

摘 要：在圖像匹配過程中，采用特征點進(jìn)行初步匹配已經(jīng)被廣泛應(yīng)用，但是無論采用何種匹配算法，都會存在誤匹配點情況，消除掉錯誤的匹配點是圖像匹配的前提。文章提出了一種基于LATCH描述子和GMS的特征匹配的提純算法，對誤匹配點進(jìn)行篩選和剔除。首先，對兩幅圖像進(jìn)行ORB特征檢測和LATCH描述子提取，在暴力匹配的基礎(chǔ)上通過GMS算法對正確匹配點和錯誤匹配點進(jìn)行篩選，采用RANSAC算法對誤匹配點進(jìn)行剔除，結(jié)果顯示在保證匹配正確率的基礎(chǔ)上，可以保留更多的匹配點。

關(guān)鍵詞：圖像匹配;特征點匹配;描述子;誤匹配

賈迪等[1]認(rèn)為圖像匹配是圖像處理中的一個重要步驟，在攝像機(jī)標(biāo)定、模式識別、三維重建、目標(biāo)跟蹤、圖像拼接等領(lǐng)域得到了廣泛的應(yīng)用。一般完整的基于特征匹配的方法主要包括特征提取、特征匹配和去除誤匹配幾個步驟。目前主流的特征提取方法主要有LOWE[2]介紹的尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）、BAY H等[3]介紹的加速穩(wěn)健特征（Speeded Up Robust Features，SURF）和RUBLEE等[4]介紹的定向快速旋轉(zhuǎn)簡捷（Oriented FAST and Rotated BRIEF，ORB）等算法，為了保證后續(xù)匹配的精度，研究者都考慮到了圖像之間的尺度變化、灰度變化和旋轉(zhuǎn)變化。在暴力匹配后，圖像中仍然存在一些錯誤的匹配，因此去除誤匹配對圖像匹配精度來說是一個很重要的步驟。常用的誤匹配點檢測技術(shù)是TRAN等[5]采用的基于統(tǒng)計模型方法的隨機(jī)抽樣一致性（Random Sample Consesus，RANSAC）算法，通過計算得出兩幅圖像之間的最優(yōu)變換模型，篩選出滿足模型的內(nèi)點并剔除外點。

秦曉飛等[6]、趙明富等[7]通過提高RANSAC優(yōu)化模型的輸出參數(shù)，并在考慮了點對之間滿足對極幾何約束條件的前提下，采用8個點對的數(shù)據(jù)可以大幅度降低RANSAC的迭代次數(shù)，但是對極幾何約束存在沒有可行解的情況。BIAN等[8]提出基于網(wǎng)格運(yùn)動統(tǒng)計（Grid Motion Statistics，GMS）的匹配算法完成對初匹配點對中正確匹配和錯誤匹配的區(qū)分，從而得到包含大量正確匹配點對的數(shù)據(jù)。因此本文提出一種改進(jìn)的特征匹配提純算法，在基于ORB特征檢測的前提下對其提取3種補(bǔ)丁碼的學(xué)習(xí)安排（Learned Arrangements of Three Patch Codes，LATCH）描述子并進(jìn)行暴力匹配，使得到的特征點正確率較高，然后使用GMS算法進(jìn)行網(wǎng)格快速劃分，使得RANSAC算法可以在更少的迭代次數(shù)下得到最優(yōu)模型。

1 LATCH描述子

ORB采用改進(jìn)的二元魯棒獨(dú)立初等特征（Binary Robust Independent Elementary Features，BRIEF）描述，其是一種二進(jìn)制編碼的描述子，擯棄了利用區(qū)域灰度直方圖描述特征點的傳統(tǒng)方法，大大加快了特征描述符建立的速度，同時也極大降低了特征匹配的時間。ORB可以利用關(guān)鍵點的方向信息計算旋轉(zhuǎn)之后的rBRIEF（rotation-aware BRIEF）描述子，使其具有較好的旋轉(zhuǎn)不變性。

本文算法是相比于BRIEF二值化特征描述方法的一個優(yōu)化變種，一般的二值化特征描述主要通過計算特征點窗口內(nèi)n個點對的比較值形成一個bit串，作為該特征點的特征描述子，這樣的bit串特征描述子在圖像匹配計算時可以通過計算漢明碼，大大提高計算速度，但是點對的比較會有一個明顯的缺點，就是受噪聲影響較大，雖然后續(xù)的一些算法通過高斯模糊進(jìn)行濾波，但是濾波后圖像信息會有一定減少。因此，筆者在此基礎(chǔ)上提出了一種通過計算窗口內(nèi)像素塊的比較值形成bit串，同時也提出了如何定位像素塊的方法。

假設(shè)特征點窗口內(nèi)有3個塊P1，P2，P3，每個塊包含m×m個像元，每個塊可以用一個m×m矩陣表示，塊之間的比較為兩塊中各個像素對應(yīng)位置處像素差的平方和，設(shè)：

（1）

因此該特征點處該像素塊對應(yīng)的特征可以表示為：

（2）

像素塊位置的確定是通過監(jiān)督學(xué)習(xí)方法進(jìn)行的，在LLIDD數(shù)據(jù)集的基礎(chǔ)上創(chuàng)建了一個50 k的數(shù)據(jù)樣本對，每對數(shù)據(jù)樣本包括兩個圖像塊，同時有一個標(biāo)簽表示兩個圖像塊是否相同，最終數(shù)據(jù)集包括一半匹配一半不匹配的圖像塊。使用過程中會隨機(jī)產(chǎn)生56 k個3像素塊，即：

（3）

再用每個3像素塊去對每個數(shù)據(jù)對進(jìn)行匹配，若匹配結(jié)果與標(biāo)簽結(jié)果相同則賦予一個值為1的bit，若不相同則賦予一個值為0的bit，對數(shù)據(jù)集中所有數(shù)據(jù)對匹配后將產(chǎn)生一個長度為50 k的bit串，將bit串中每位值相加即為該像素塊的匹配能力。對所有像素塊都進(jìn)行該運(yùn)算后再對匹配能力進(jìn)行排序，同時刪除與前面3像素塊相關(guān)度大于0.2的3像素塊。

2 GMS算法

針對特征匹配問題，GMS算法是一個簡單的、基于統(tǒng)計的解決誤匹配的方法，可以快速區(qū)分出正確的匹配和錯誤的匹配，提高了匹配的穩(wěn)定性。核心思想就是運(yùn)動的平滑性導(dǎo)致了匹配的特征點鄰域有較多匹配的點，可以通過計數(shù)鄰域的匹配點個數(shù)來判斷一個匹配正確與否。

假設(shè)一：運(yùn)動的平滑性使得匹配周圍出現(xiàn)一個相似區(qū)域的出現(xiàn)，真匹配中兩幅圖上的區(qū)域位置移動平滑，假匹配則運(yùn)動不平滑。

圖像對{Ia，Ib}分別有{N，M}個特征，X={x1，x2，…，xi，…， xN}是所有匹配的特征的區(qū)域的集合。圖像的對應(yīng)區(qū)域{Ia，Ib}表示為{a，b}，每一個都有{n，m}個特征。xi∈X是對應(yīng)的匹配xi區(qū)域內(nèi)的匹配，用Si表示區(qū)域內(nèi)支持真匹配的計量，統(tǒng)計模型是Si=|xi|-1，-1表示減去了原始的匹配。

假設(shè)二：令fa表示區(qū)域a內(nèi)n個支撐特征中的一個，給定fa匹配成功的概率為t，若fa是一個錯誤的匹配，則它的匹配可能出現(xiàn)在全圖的任一位置。匹配錯但還是匹配到區(qū)域b中的概率可以表示為：

p（ fab|faf ）=βm/M（4）

其中，f ab表示fa匹配到區(qū)域b事件，f af表示fa匹配錯誤事件，m表示區(qū)域b中的特征數(shù)，β是一個權(quán)值因子。

設(shè)pt，pf分別表示事件f ab匹配正確、錯誤的概率，T ab，表示區(qū)域a和區(qū)域b匹配正確、錯誤的概率。則：

（5）

同理有：

（6）

由于每個特征匹配相互獨(dú)立，所以Si的二項分布如下：

（7）

假設(shè)三：如運(yùn)動在一個較大的區(qū)域平滑，真匹配周圍的多個小區(qū)域都相似，也就是分?jǐn)?shù)高，會得到一個更加一般的分?jǐn)?shù)計算方式，即：

（8）

其中，K表示不相交區(qū)域的個數(shù)，{ak，bk}是預(yù)測得到的區(qū)域?qū)?，是落在{ak，bk}上匹配子集，則分布形式為：

（9）

算法定義其真假匹配的區(qū)分能力P，是用均值m的差除以標(biāo)準(zhǔn)差s的和表示，真匹配和假匹配區(qū)別的大小即兩個分布的距離。

（10）

為了提高匹配點劃分區(qū)域的效率，采用網(wǎng)格進(jìn)行劃分。對于每個單元對{i，j}，分?jǐn)?shù)Sij為：

（11）

其中，|xikjk|是單元格{ik， jk}之間的匹配。

從真假匹配的分布來看，τ=mf+αsf，實際上是一個經(jīng)驗值，mf非常小而α非常較大，使得算法拒絕更多的假匹配，近似地，，從而有：

（12）

3 實驗結(jié)果與分析

本文測試算法實驗平臺為Linux系統(tǒng)（Ubuntu 16.04 LTS版本 64位），處理器為4核AMD A8-4500M APU with Radeon（tm） HD Graphics，內(nèi)存為7×2 Gib，運(yùn)行環(huán)境為KDevelop和opencv-3.4.0，采用C++進(jìn)行編程，使用標(biāo)準(zhǔn)圖像集Mikolajczyk圖像庫，包括6組不同條件下包括旋轉(zhuǎn)變換、尺度變換、亮度變換、JPEG壓縮等的圖像，每組圖像包括6幅圖像。

結(jié)果使用匹配正確率和運(yùn)行時間來對評價圖像匹配算法進(jìn)行評價和分析。因此，正確率的值越大，檢測出來的正確點對所占比例越大，匹配效果越好。

不同算法在不同圖像變換下的匹配正確率如圖1—6所示，其中，橫坐標(biāo)中的1-2表示的是圖1和圖2之間進(jìn)行匹配，以此類推，可以看出，本文算法的匹配正確率在一定程度上超過其他3種算法的匹配正確率。

為了驗證算法的實際效果，將4種算法應(yīng)用于相機(jī)拍攝的兩張實際場景圖片，測試結(jié)果如表1所示。

由表1可以看到LGR不管在匹配點數(shù)還是在匹配正確率上都優(yōu)于BR和BGR，但運(yùn)行時間較長;相比較于LR，在匹配點數(shù)和匹配正確率相當(dāng)?shù)那闆r下，運(yùn)行時間很短。

4 結(jié)語

本文針對如何消除掉錯誤的匹配點問題，提出了基于LATCH描述子和GMS算法的特征匹配算法。該算法利用LATCH描述子更確切地對特征點進(jìn)行描述，然后對初匹配結(jié)果進(jìn)行網(wǎng)格劃分統(tǒng)計鄰域特征點以區(qū)分正確匹配點與錯誤匹配點，并根據(jù)圖像正確匹配點間滿足一定的變換關(guān)系原則進(jìn)行特征點的篩選，實現(xiàn)了匹配正確率的大幅度提高。在一些講究實時性的SLAM算法中，使用LGR可能使得運(yùn)行時間遠(yuǎn)遠(yuǎn)大于BR和BGR的運(yùn)行時間，因此后續(xù)需要進(jìn)一步優(yōu)化LGR算法的框架，減少運(yùn)行時間。

作者簡介：張力力（1995— ），男，陜西西安人，碩士研究生;研究方向：視覺SLAM。

[參考文獻(xiàn)]

[1]賈迪，朱寧丹，楊寧華，等.圖像匹配方法研究綜述[J].中國圖像圖形學(xué)報，2019（5）：677-699.

[2]LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004（2）：91-110.

[3]BAY H，ESS A，TUYTELAARS T，et al.Speeded-up robust features[J].Computer Vision&Image Understanding，2008（3）：346-359.

[4]RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB：an efficient alternative to SIFT or SURF[C].Washington：Proceedings of the 13th IEEE International Conference on Computer Vision，2011.

[5]TRAN Q H，CHIN T J，CARNEIRO G，et al.In defence of RANSAC for outlier rejection in deformable registration[C].Washington：Proceedings of the 2012 European Conference on Computer Vision，2012.

[6]秦曉飛，皮軍強(qiáng)，李峰.基于極線約束的ORB特征匹配算法[J].計算機(jī)應(yīng)用研究，2018（9）：2865-2868.

[7]趙明富，陳海軍，宋濤，等.改進(jìn)RANSAC-SIFT算法在圖像匹配中的研究[J].激光雜志，2018（1）：114-118.

[8]BIAN J W，LIN W Y，MATSUSHITA Y，et al.GMS：grid-based motion statistics for fast，ultra-robust feature correspondence[C].Washington：IEEE Conference on Computer Vision and Pattern Recognition，2017.

Feature matching based on LATCH descriptor and GMS algorithm

Zhang Lili， Shang Junyun， Lin Hongyi

（Xian Institute of Aerospace Precision Mechatronics， Xian 710100， China）

Abstract：In the image matching process， the use of feature points for preliminary matching has been widely used， but no matter which matching algorithm is used， there will be mismatched points. So how to eliminate the wrong matching point is the premise of image matching. Therefore， this paper proposes a feature matching purification algorithm based on LATCH descriptor and GMS to filter and eliminate mismatched points， the ORB feature detection and LATCH descriptor extraction are performed on the two images. Based on the violent matching， the correct matching points and the incorrect matching points are filtered by the GMS algorithm. Finally， the RANSAC algorithm is used to eliminate the mismatched points. The results show that more matching points can be retained on the basis of ensuring the correct matching rate.

Key words：image matching; feature point matching; descriptor; mismatch