一種改進(jìn)的ORB特征匹配算法

廖泓真，王亮，孫宏偉，劉云清，*

(1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022；2.北京信息技術(shù)研究所，北京 100094）

特征匹配是三維重建、目標(biāo)跟蹤、SLAM、機(jī)器人環(huán)境識(shí)別和圖像拼接等應(yīng)用中的重要技術(shù)［1］，如何提高特征匹配的準(zhǔn)確率和魯棒性一直受到很多研究者的關(guān)注。

特征匹配的主要過(guò)程是在2幅圖像中提取特征點(diǎn)，并對(duì)特征點(diǎn)進(jìn)行描述，通過(guò)比較特征點(diǎn)之間相似度判斷是否匹配［2］。常用的圖像特征提取方法包括SIFT［3］、SURF［4］、ORB［5］、LIET［6］、Key.Net［7］、RF-NET［8］等。Lowe［3］提出的SIFT特征具有尺度、旋轉(zhuǎn)和光照等的不變性，但計(jì)算時(shí)間長(zhǎng)［9］。Bay等［4］改進(jìn)了SIFT特征，提出了SURF特征，提高了特征提取的速度［10］。FAST角點(diǎn)能夠快速確定特征點(diǎn)的位置［11］，但不具有方向信息［12］。Calonder等［13］提出了對(duì)特征點(diǎn)周圍圖像區(qū)域進(jìn)行描述的BRIEF描述子。Rublee等［5］改進(jìn)FAST角點(diǎn)和BRIEF描述子，提出了ORB特征，其能夠有效替代SIFT和SURF［14］。ORB適當(dāng)降低了精度，但提取速度比SIFT、SURF快，是不同類型特征點(diǎn)中性能與質(zhì)量的較好折中［15］。

上述方法的主要思想是改進(jìn)特征點(diǎn)的提取方式或改進(jìn)描述子使特征點(diǎn)更具獨(dú)特性。改進(jìn)特征點(diǎn)的方法雖然可以改善特征匹配，但無(wú)法有效剔除誤匹配。此外，Muja和Lowe［16-17］通過(guò)建立kdtree和k-means tree的方法加快了特征匹配速度，但仍無(wú)法有效剔除誤匹配。

RANSAC(Random Sample Consensus）算法可以剔除誤匹配，但當(dāng)誤匹配較多時(shí)，效果會(huì)下降［18-20］。Bian等［20］提出運(yùn)動(dòng)網(wǎng)格統(tǒng)計(jì)算法(Grid-based Motion Statistics，GMS），通過(guò)統(tǒng)計(jì)匹配點(diǎn)鄰域內(nèi)的支持度剔除誤匹配。但在圖像模糊等條件下，匹配準(zhǔn)確率下降［2，21］。本文提出了一種改進(jìn)的ORB特征匹配算法。首先，分散化提取ORB特征點(diǎn)，使提取的特征點(diǎn)更具代表性［22］。然后，利用暴力匹配和交叉驗(yàn)證得到初步的匹配集合。最后，利用GMS剔除匹配集合中的誤匹配，同時(shí)使用高斯核對(duì)GMS的統(tǒng)計(jì)結(jié)果加權(quán)，優(yōu)化匹配結(jié)果。

1 特征提取

ORB特征是計(jì)算機(jī)視覺(jué)領(lǐng)域常用的圖像特征之一，其具有旋轉(zhuǎn)、尺度不變性和提取速度快的優(yōu)點(diǎn)。由于ORB特征在確定關(guān)鍵點(diǎn)時(shí)以閾值作為判斷條件，當(dāng)圖像中某一區(qū)域有多個(gè)像素滿足閾值時(shí)，就會(huì)出現(xiàn)特征點(diǎn)集中現(xiàn)象。

特征點(diǎn)集中會(huì)降低匹配的準(zhǔn)確性，為使特征點(diǎn)均勻分布，改進(jìn)后的算法在特征點(diǎn)的提取過(guò)程中引入四叉樹結(jié)構(gòu)［22］，具體步驟如下：

1）將圖像劃分為大小相同的網(wǎng)格(這里的網(wǎng)格與后文的GMS網(wǎng)格不是同一個(gè)），在每個(gè)網(wǎng)格中提取FAST角點(diǎn)。

2）將圖像分為4個(gè)子節(jié)點(diǎn)，判斷各個(gè)子節(jié)點(diǎn)中特征點(diǎn)的數(shù)目，如果大于1，將這個(gè)子節(jié)點(diǎn)再次劃分為4個(gè)子節(jié)點(diǎn)，直至所有的子節(jié)點(diǎn)的數(shù)目大于預(yù)先設(shè)置的特征點(diǎn)數(shù)目為止。

3）在每一個(gè)子節(jié)點(diǎn)中保留響應(yīng)值最大的FAST角點(diǎn)，其余角點(diǎn)均刪除。

2 特征匹配

2.1 改善暴力匹配結(jié)果

提取的ORB特征點(diǎn)通過(guò)暴力匹配獲得粗匹配集合，但是暴力匹配無(wú)法剔除誤匹配。在圖像匹配中經(jīng)常采用交叉驗(yàn)證的方法進(jìn)行誤差剔除，因此改進(jìn)后的算法在暴力匹配中引入交叉驗(yàn)證剔除誤匹配。

交叉驗(yàn)證雖然可以剔除部分誤匹配，但得到的匹配集合中仍包含許多誤匹配，因此在交叉驗(yàn)證后采用GMS對(duì)誤匹配做進(jìn)一步的剔除。

2.2 GMS基本理論

如圖1所示，GMS通過(guò)統(tǒng)計(jì)每一對(duì)匹配點(diǎn)鄰域內(nèi)的匹配總數(shù)，實(shí)現(xiàn)正確匹配與錯(cuò)誤匹配的區(qū)分。

圖1 GMS示意圖Fig.1 Schematic of GMS

在2幅圖像中分別提取N個(gè)和M個(gè)特征點(diǎn)，每個(gè)點(diǎn)的匹配概率獨(dú)立，設(shè)正確匹配的概率為t。通過(guò)暴力匹配得到匹配集合X＝｛x1，x2，…，xN｝。設(shè)匹配xi在2幅圖像中的鄰域a、b中各包含n個(gè)、m個(gè)特征點(diǎn)，fa為a中的1個(gè)特征點(diǎn)。如果xi是1個(gè)正確匹配，則fa的匹配點(diǎn)落在b區(qū)域的概率為

式中：Tab為xi是正確匹配；為fa的匹配點(diǎn)落在b區(qū)域?yàn)閒a匹配正確為fa匹配錯(cuò)誤；β為1個(gè)調(diào)節(jié)因子。

同理，如果xi是1個(gè)錯(cuò)誤匹配，則fa的匹配點(diǎn)落入b區(qū)域的概率為

式中：Fab為xi是錯(cuò)誤匹配。

xi鄰域內(nèi)匹配點(diǎn)的總數(shù)為其支持度，設(shè)為Si，Si的概率分布是二項(xiàng)分布：

2.3 GMS網(wǎng)格化

如圖2所示，為提高計(jì)算效率，實(shí)際計(jì)算中一般將圖像劃分為20×20個(gè)網(wǎng)格，計(jì)算每個(gè)網(wǎng)格的支持度。

圖2 圖像網(wǎng)格化示意圖Fig.2 Schematic of grid-based image

每個(gè)網(wǎng)格支持度的統(tǒng)計(jì)區(qū)域?yàn)樵摼W(wǎng)格及其周圍的8個(gè)網(wǎng)格：

式(5）說(shuō)明每個(gè)網(wǎng)格在它的鄰域內(nèi)都有支持度，但支持度分布不同，其分布為雙峰形式，因此通過(guò)選擇合適的閾值，可以有效地判斷該網(wǎng)格是否可以接受。設(shè)閾值為

式中：nij為9個(gè)網(wǎng)格中匹配點(diǎn)數(shù)目的平均值；α為調(diào)節(jié)閾值的參數(shù)，Bian等在論文中令α的值為6［20］。

2.4 改進(jìn)GMS

如圖2所示，a5為待判斷網(wǎng)格，a1～a4，a6～a9為其鄰域內(nèi)的8個(gè)網(wǎng)格。設(shè)a5坐標(biāo)為(x，y），a6坐標(biāo)為(x＋1，y），a9的坐標(biāo)為(x＋1，y＋1）。則a1、a3、a7、a9與a5的距離均為與a5的距離均為1。與待判斷網(wǎng)格距離越大，網(wǎng)格置信度越小，距離越小，網(wǎng)格置信度越大。為描述距離產(chǎn)生的置信度差異，改進(jìn)后的算法在計(jì)算支持度時(shí)，對(duì)網(wǎng)格匹配結(jié)果進(jìn)行加權(quán)。

計(jì)算機(jī)視覺(jué)中常用高斯函數(shù)生成的高斯核對(duì)圖像進(jìn)行加權(quán)處理，原因如下：

1）高斯函數(shù)是單值函數(shù)，其自變量的函數(shù)值隨該點(diǎn)與中心點(diǎn)的距離單調(diào)遞減。

2）二維高斯函數(shù)具有旋轉(zhuǎn)不變性，用高斯函數(shù)加權(quán)時(shí)，各個(gè)方向上的權(quán)值相同。

3）高斯函數(shù)的寬度由標(biāo)準(zhǔn)差σ表示，且寬度和σ關(guān)系簡(jiǎn)單，通過(guò)調(diào)節(jié)σ可以很容易調(diào)節(jié)權(quán)值大小。

因此，本文選擇高斯核對(duì)網(wǎng)格進(jìn)行加權(quán)，二維高斯函數(shù)為

以待判斷網(wǎng)格a5為中心點(diǎn)，對(duì)高斯函數(shù)離散化采樣并歸一化處理，得到3×3加權(quán)矩陣：

式中：A11＋A12＋… ＋A33＝1。設(shè)9個(gè)網(wǎng)格與對(duì)應(yīng)網(wǎng)格的匹配點(diǎn)數(shù)目為ni(i＝1，2，…，9），則網(wǎng)格a5的支持度：

如果S5大于閾值T，則認(rèn)為滿足GMS要求，否則剔除。

因?yàn)閍2、a4、a6、a8與中心點(diǎn)的距離為1，如果σ＝1，則a2、a4、a6、a8權(quán)值的采樣點(diǎn)在距中心點(diǎn)的±σ處，所以這里σ取1。

3 實(shí)驗(yàn)與結(jié)果

本文實(shí)驗(yàn)使用的電腦為i7處理器，內(nèi)存8 GB，操作系統(tǒng)為Ubuntu18.04，實(shí)驗(yàn)圖像來(lái)自O(shè)xford VGG數(shù)據(jù)集等［23］。為驗(yàn)證本文算法對(duì)不同類型圖像的性能，選取了4組圖像，如圖3所示，分別是圖像模糊、光照變化、圖像壓縮和高斯噪聲，每組中包含6幅圖片。

圖3 實(shí)驗(yàn)用圖Fig.3 Images in experiment

圖4為4組圖像的原算法和本文算法的準(zhǔn)確率對(duì)比。實(shí)驗(yàn)以平均準(zhǔn)確率、最高準(zhǔn)確率、最低準(zhǔn)確率和準(zhǔn)確率的標(biāo)準(zhǔn)差評(píng)價(jià)算法的準(zhǔn)確性。記最高準(zhǔn)確率為H，最低準(zhǔn)確率為L(zhǎng)，平均準(zhǔn)確率為E，準(zhǔn)確率的標(biāo)準(zhǔn)差為S。

準(zhǔn)確率的計(jì)算方法如下：

1）根據(jù)得到的匹配點(diǎn)，采用RANSAC方法，計(jì)算2幅圖像之間的基礎(chǔ)矩陣。

2）滿足該基礎(chǔ)矩陣的匹配點(diǎn)為內(nèi)點(diǎn)，并以內(nèi)點(diǎn)數(shù)Ni占匹配點(diǎn)總數(shù)Nm的百分比為準(zhǔn)確率，準(zhǔn)確率為

在實(shí)驗(yàn)中高斯函數(shù)的標(biāo)準(zhǔn)差σ取1，調(diào)節(jié)GMS閾值的參數(shù)α取6。

由圖4(a）～(d）可知，在圖像模糊、光照變化、圖像壓縮和噪聲情況下，原算法的準(zhǔn)確率曲線出現(xiàn)較大波動(dòng)，準(zhǔn)確率下降，本文算法不僅提高了準(zhǔn)確率，而且減小了波動(dòng)。

圖4 準(zhǔn)確率對(duì)比Fig.4 Accuracy comparison

如表1所示，在圖像模糊條件下，本文算法平均準(zhǔn)確率提高了3.5%，標(biāo)準(zhǔn)差下降了2.58%。在光照變化條件下，本文算法平均準(zhǔn)確率提高了4.2%，標(biāo)準(zhǔn)差下降了0.92%。在圖像壓縮條件下，本文算法平均準(zhǔn)確率提高了2.2%，標(biāo)準(zhǔn)差下降了0.93%。

表1 實(shí)驗(yàn)結(jié)果Table 1 Experim ental resu lts

在高斯噪聲條件下，本文算法平均準(zhǔn)確率提高了6%，但標(biāo)準(zhǔn)差提高了2.36%。如果去除實(shí)驗(yàn)順序?yàn)?5的數(shù)據(jù)，原算法的標(biāo)準(zhǔn)差是6.97%，本文算法的標(biāo)準(zhǔn)差是2.02%，本文算法標(biāo)準(zhǔn)差下降了4.95%，平均準(zhǔn)確率提高7.3%。

出現(xiàn)這種現(xiàn)象的原因是：實(shí)驗(yàn)順序?yàn)?5的實(shí)驗(yàn)中，比較的是高斯噪聲圖像組的第5幅和第6幅圖片，與其他圖像相比，第6幅圖像的噪聲加劇，其高斯噪聲的方差為102。這說(shuō)明本文算法在噪聲條件下可以提高匹配的準(zhǔn)確率，但噪聲過(guò)于嚴(yán)重時(shí)，匹配準(zhǔn)確率下降。

在圖像壓縮條件下，平均準(zhǔn)確率提高2.2%，相較于其他條件提高幅度最低。這是因?yàn)樵趫D像壓縮條件下，原算法的平均準(zhǔn)確率為95.7%，所以本文算法雖然提高平均準(zhǔn)確率，但提高空間有限。此外，VGG圖像中使用的圖像壓縮方法為JPEG圖像壓縮，該方法雖然減少了圖像的細(xì)節(jié)，但仍保留了大量的圖像信息，相較于其他條件，圖像壓縮對(duì)特征匹配的影響較小，因此在圖2中，待判斷網(wǎng)格與其鄰域內(nèi)網(wǎng)格中的匹配點(diǎn)數(shù)目差異較小，加權(quán)后對(duì)結(jié)果影響不大。

4 結(jié)論

1）本文算法在圖像模糊、光照變化、和圖像壓縮條件下，準(zhǔn)確率提高。

2）在高斯噪聲條件下，當(dāng)高斯噪聲的方差較小時(shí)，本文算法在準(zhǔn)確性方面超過(guò)原算法。但如果噪聲加劇，則算法準(zhǔn)確性出現(xiàn)下降。如何改進(jìn)算法使其在噪聲嚴(yán)重條件下實(shí)現(xiàn)準(zhǔn)確匹配還需進(jìn)一步研究。

3）在圖像壓縮條件下，本文算法對(duì)準(zhǔn)確率的提升有限。在以后的研究中，可以采用增加ORB描述子維度等方法提高特征點(diǎn)描述子的區(qū)分度，從而提高匹配準(zhǔn)確率。