基于紋理增強的ORB 特征點提取與匹配算法

胡茂偉

（深圳市悅動天下科技有限公司，深圳 518000）

隨著計算機視覺和圖像處理技術(shù)的快速發(fā)展，特征點提取和匹配算法在各種視覺任務(wù)中扮演著重要的角色。其中，ORB［1］算法作為一種經(jīng)典的特征點提取和描述算法，具有高效性和魯棒性的優(yōu)勢，在圖像特征匹配、物體識別和視覺SLAM 等領(lǐng)域被廣泛應(yīng)用。該算法結(jié)合了FAST［2］（Features from Accelerated Segment Test）關(guān)鍵點檢測和BRIEF［3］（Binary Robust Independent Elementary Features）描述子，具有良好的實時性能。然而，ORB 算法在處理復(fù)雜紋理場景時也存在一些挑戰(zhàn)。 具體而言，當(dāng)紋理不明顯或紋理變化較大時，傳統(tǒng)的ORB 算法容易失效，導(dǎo)致特征點提取和匹配的準(zhǔn)確性下降。 針對這一問題，本文探索了基于紋理增強和顏色增強的ORB 特征點提取與匹配算法，提高ORB 算法在復(fù)雜紋理場景下的性能和魯棒性。

1 相關(guān)工作

在改進(jìn)ORB 特征點提取和匹配算法的領(lǐng)域，研究者們提出了許多創(chuàng)新的方法和技術(shù)。BRISK［4］（Binary Robust Invariant Scalable Keypoints）是一種新的關(guān)鍵點檢測和描述子生成方法，通過選擇不同的采樣點和采樣模式，提高了特征點提取和匹配的性能和魯棒性。FREAK［5］（Fast Retina Keypoint）是另一種對ORB 的改進(jìn)，它使用像素的二進(jìn)制特征來描述關(guān)鍵點，但與ORB 中BRIEF不同的是，F(xiàn)REAK 在描述子生成過程中考慮了關(guān)鍵點的尺度和旋轉(zhuǎn)信息，提高了描述子的可靠性和魯棒性。 ORB-SLAM 系列［6］是一種基于單目相機的同時定位與地圖構(gòu)建（SLAM）系統(tǒng)。其利用ORB 特征提取和描述符匹配來進(jìn)行實時的相機定位和地圖構(gòu)建，同時通過優(yōu)化位姿和地圖點云來提高定位和重建的準(zhǔn)確性。 ORBSLAM2 引入了新的局部地圖和回環(huán)檢測機制，以提高地圖構(gòu)建和定位的準(zhǔn)確性。它還支持多種類型的相機，包括單目、雙目和RGB-D 相機，從而擴展了適用范圍。祝曉軒等人［7］提出在特征點匹配時，使用雙向匹配過濾和最小匹配點距離倍數(shù)判別剔除誤匹配，進(jìn)而改進(jìn)原有算法在弱紋理環(huán)境下運行不穩(wěn)定的問題。王傳傳等人［8］針對ORB 算法不具備尺度不變性的問題，提出了一種動態(tài)跟蹤尺度補償?shù)牟呗?，對其算法進(jìn)行優(yōu)化。Ma 等人［9］提出了一種利用動態(tài)閾值和改進(jìn)的四叉樹方法的均質(zhì)化ORB 算法，在特征點提取階段，利用了新的動態(tài)局部閾值計算方法，以增強算法在均勻區(qū)域提取特征點的能力。Xie 等人［10］針對傳統(tǒng)的ORB 算法對光照引起的曝光不足或曝光過度的圖像匹配效果較差的問題，提出將自適應(yīng)直方圖均衡與ORB 算法相結(jié)合的思想，以獲得更好的特征點質(zhì)量和匹配效率。劉明珠等人［11］針對傳統(tǒng)ORB 算法尺度不變性較差的問題，提出了基于圖像金字塔的ORB算法，并得出了基于高斯圖像金字塔的ORB 算法具有更好的準(zhǔn)確率的結(jié)論。

盡管ORB 算法已經(jīng)被設(shè)計為高效的特征點提取和描述子生成算法，但在處理大規(guī)模數(shù)據(jù)或復(fù)雜場景時，仍可能存在速度和效率的挑戰(zhàn)。改進(jìn)的算法需要更好地處理大規(guī)模和實時應(yīng)用的能力，以滿足不同領(lǐng)域的需求［12］。此外，ORB算法使用二進(jìn)制描述子來表示特征點，這種簡化的描述子可能在復(fù)雜場景下丟失一些細(xì)節(jié)信息，在極大尺度變化或非剛性變換的情況下，仍然存在改進(jìn)的空間。

本文提出的特征增強策略主要包括紋理增強預(yù)處理、ORB 特征點提取和特征點匹配優(yōu)化三個部分。

2 改進(jìn)的ORB 特征點提取

ORB 算法使用FAST 角點檢測器在增強后的圖像中檢測出候選的關(guān)鍵點。隨后，計算每個關(guān)鍵點周圍像素的梯度方向，以確定關(guān)鍵點的主方向。在每個關(guān)鍵點周圍的一組固定大小的區(qū)域內(nèi)，采用BRIEF 描述子來描述關(guān)鍵點的特征。由于圖像已經(jīng)過紋理和顏色的增強處理，這些描述子能夠提供更為準(zhǔn)確和魯棒的特征表示。

本文所提的特征增強策略為ORB 算法提供了一個新的視角，通過在特征提取前對圖像進(jìn)行紋理和顏色的增強，可以有效地改善ORB 算法在處理復(fù)雜紋理和顏色變化大的圖像時的表現(xiàn)。

2.1 紋理增強預(yù)處理

為了提高特征點的精確度，本文提出了基于自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）的ORB 特征點提取算法CLAHE-ORB，自適應(yīng)直方圖均衡化是一種用于改善圖像對比度的技術(shù)，特別是在存在不同照明條件的情況下。CLAHE 通過分析圖像的局部區(qū)域來避免過度增強噪聲，與傳統(tǒng)的直方圖均衡化不同，它不是在整個圖像上應(yīng)用，而是在圖像的小區(qū)域上應(yīng)用。每個小區(qū)域都獨立地進(jìn)行直方圖均衡化。

首先，將圖像劃分為大小相同的非重疊區(qū)域。 通常，這些非重疊區(qū)域的大小通常是8×8，16×16 或32×32。 計算直方圖和累積分布函數(shù)，對于每個tile，計算其直方圖和累積分布函數(shù)。如果直方圖中的某個bin 超過了預(yù)定義的對比度限制值，則將超過的像素均勻地分配到其他bins中。使用修改后的直方圖計算每個非重疊區(qū)域的均衡化查找表。對于每個非重疊區(qū)域，使用相應(yīng)的查找表來映射其像素值，以獲得均衡化的圖像。在非重疊區(qū)域之間的邊界處，需要通過雙線性插值來獲得最終的像素值。

本研究分別利用兩種方法與ORB 進(jìn)行了特征點提取，測試用圖全部來自O(shè)xford 公開測試圖集，該圖集包括ubc、bikes、leuven、graf 等圖像。對于ubc 場景的特征點分布如圖1 所示，可以看出高波ORB 提取的特征點數(shù)量為979，CLAHEORB 的特征點數(shù)量超過1 000。

圖1 高波ORB 與CLAHE-ORB 特征點對比

另一方面，高通濾波得到的特征點的平均響應(yīng)值為0.000 13，CLAHE 得到的特征點的平均響應(yīng)值為0.003 9，從平均響應(yīng)值來看，CLAHE 得到的特征點的質(zhì)量更高，響應(yīng)值更高表示特征點的質(zhì)量更高。從分布圖來看（圖2），CLAHE 得到的特征點在圖像上的分布也相對更均勻。

圖2 高波ORB 與CLAHE-ORB 的特征點分布

接下來，對CLAHE 參數(shù)設(shè)定進(jìn)行分析，本研究通過設(shè)置500 特征點閾值和1 000 特征點閾值，開展了參數(shù)的平均響應(yīng)時間實驗，通過對不同的clipLimit 和tileGridSize 值（見表1）進(jìn)行分析可知，在這些參數(shù)組合中，clipLimit（簡寫為Limit）為10.0，tileGridSize（簡寫為S）為（16，16）的組合得到了最高的平均響應(yīng)值0.005 9，表示此組合下得到的特征點質(zhì)量最高。雖然所有的參數(shù)組合都得到了1 000 個特征點（設(shè)定的特征點數(shù)量上限），但平均響應(yīng)值的差異反映了特征點質(zhì)量的差異。

表1 基于CLAHE 增強的特征點響應(yīng)值分析

在此基礎(chǔ)上，本文在leuven 圖像上提取的ORB 特征點的結(jié)果如圖3 所示。圖3（a）顯示了傳統(tǒng)ORB 上的特征點，圖3（b）顯示了應(yīng)用了最優(yōu)CLAHE 參數(shù)后的圖像上的特征點。從圖中可以看出，應(yīng)用CLAHE 后的圖像上的特征點數(shù)量有所增加，而且分布也相對更均勻。 這意味著CLAHE 可以幫助ORB 算法在圖像中發(fā)現(xiàn)更多的特征，從而提高特征匹配和圖像識別的準(zhǔn)確性。

圖3 leuven 圖像上的ORB 特征點

2.2 顏色增強預(yù)處理

在紋理特征增強的基礎(chǔ)上，進(jìn)一步通過顏色特征增強來選擇和突顯具有較大顏色梯度的區(qū)域。這種方法不僅可以進(jìn)一步提高特征點的檢測和匹配準(zhǔn)確性，而且可以提供更豐富的顏色信息，能夠為特征匹配提供更多的依據(jù)。 顏色增強策略通過局部窗口內(nèi)梯度方差的動態(tài)閾值來選擇具有較大顏色梯度的區(qū)域。具體過程如下：

（1）計算RGB 圖像的梯度。

（2）計算梯度方差來評估紋理的強度。

（3）根據(jù)梯度方差計算動態(tài)閾值以選擇要增強的區(qū)域。

（4）應(yīng)用顏色增強公式增強圖像的顏色。

使用已有的Sobel 算子計算圖像在水平方向x和垂直方向y上的梯度?x和?y。 然后計算圖像的梯度幅值G：

對于每個像素，以窗口為中心計算窗口內(nèi)梯度幅值的方差Var，公式（2）如下：

其中，mean 是平均值。

根據(jù)計算得到的梯度方差，設(shè)置動態(tài)閾值T。較大的閾值可以增強顏色的差異，使得特征點在紋理較大的區(qū)域更加突出；而較小的閾值可以減小顏色的差異，使得特征點在紋理較小的區(qū)域更加平滑。最后，運用顏色增強公式（3），對局部區(qū)域進(jìn)行增強。

其中，α是增強系數(shù)；C是原始顏色值；C′是增強后的顏色值；Var 是局部梯度方差。

圖4 為graf 的顏色特征增強計算。從圖中可以看出，顏色越亮表示該區(qū)域的顏色梯度越強。

圖4 graf 顏色特征增強計算

2.3 實驗與分析

本實驗所用測試用圖全部來自O(shè)xford 公開測試圖集。首先，對圖集中的graf 和ubc 兩幅圖像進(jìn)行改進(jìn)的ORB 特征提取，如圖5 所示，原始ORB 特征點為紅色，增強后圖像特征點為綠色點，圖5（c）為改進(jìn)前后的比較?？梢钥吹礁倪M(jìn)前后兩者之間的特征點分布有所不同，特別是在某些區(qū)域，增強后的圖像可能會檢測到更多的特征點，且特征點的位置有所變化，這種分散的特征點進(jìn)行特征匹配將更有優(yōu)勢。

在對ubc 和graf 圖像執(zhí)行特征點檢測的過程中，紋理增強起到了重要作用。通過紋理增強，圖像中不太明顯的紋理特征得到了突顯，這可能導(dǎo)致檢測到更多的特征點。特別是在那些原本被忽略的微小紋理區(qū)域，紋理增強使得這些區(qū)域成為特征點檢測的重點，從而增加了特征點的數(shù)量。

然而，特征點的減少也是可能發(fā)生的。過度的紋理增強可能會使圖像變得過于復(fù)雜，某些原本清晰的特征點可能會變得不再明顯，或者被其他強烈的紋理特征所掩蓋。這種情況可能會在紋理多變或過于復(fù)雜的場景中出現(xiàn)，導(dǎo)致特征點的減少。 圖6 和圖7 展示了紋理增強與顏色增強前后特征點的位置及數(shù)量變化，bikes的特征點經(jīng)過紋理增強為443，經(jīng)過顏色增強后為488。圖8 動態(tài)展示了不同增強系數(shù)α下特征點的變化情況。

圖6 bikes 與leuven 紋理增強與顏色增強ORB 效果

圖7 bikes 紋理增強與顏色增強特征點變化

圖8 ubc 圖像不同參數(shù)下的特征點變化

3 特征點匹配優(yōu)化

在進(jìn)行特征點匹配時，本文提出了一種優(yōu)化策略，不僅考慮特征點的局部紋理相似度，還考慮它們的尺度一致性?？梢源_保匹配的特征點既在紋理上相似，又在尺度上相近，有望提高匹配的準(zhǔn)確性和魯棒性。

紋理相似度度量有助于區(qū)分具有相似外觀但不同尺度的物體。尺度一致性度量有助于排除具有相似紋理但尺度差異很大的物體的匹配。這兩個度量的綜合考慮可以進(jìn)一步提高匹配的精確性，使得在復(fù)雜紋理場景中的ORB 特征點匹配更加魯棒。

3.1 紋理相似度檢測

為了準(zhǔn)確度量兩個特征點之間的紋理相似度，本文采用了一種基于傳統(tǒng)圖像處理技術(shù)的紋理相似度度量方法。

采用LBP（Local Binary Pattern）方法提取每個特征點周圍區(qū)域的紋理特征。對圖像中的每個像素，比較其值與周圍8 個鄰域像素的值。如果中心像素的值大于或等于鄰域像素的值，則賦值為1，否則賦值為0。按照順序連接這些二進(jìn)制位，得到一個二進(jìn)制數(shù)。 將該二進(jìn)制數(shù)轉(zhuǎn)換為十進(jìn)制數(shù)，得到該像素的LBP 值。統(tǒng)計每個LBP 值的頻率，得到一個直方圖，將LBP 直方圖歸一化，使其總和為1，以消除圖像區(qū)域大小的影響，然后采用直方圖的交集來衡量它們的相似度。直方圖交叉的公式為：

其中，H1和H2是要比較的兩個直方圖；i是直方圖的二進(jìn)制索引。通過這種基于傳統(tǒng)圖像處理技術(shù)的紋理相似度度量方法，可以在不依賴深度學(xué)習(xí)的情況下，準(zhǔn)確度量兩個特征點之間的紋理相似度，從而提高特征點匹配的準(zhǔn)確性和魯棒性。

3.2 尺度一致性度量

對于任意兩個匹配的特征點，計算它們在特征金字塔中的尺度差異。然后定義一個尺度一致性得分（高斯函數(shù)），公式如下：

其中，s1和s2是兩個匹配特征點在特征金字塔中的尺度；σ是一個調(diào)節(jié)參數(shù)。該得分反映了兩個匹配特征點在尺度上的一致性，本實驗中σ=0.5。尺度差越小，尺度一致性得分越接近1，表示兩個特征點在尺度上更一致。 反之，尺度差越大，尺度一致性得分越接近0，表示兩個特征點在尺度上不一致。

實施紋理相似度和尺度一致性度量來優(yōu)化這些匹配結(jié)果，并與上面的結(jié)果進(jìn)行比較。 首先計算每個特征點周圍的紋理特征，然后使用這些特征來計算匹配特征點之間的紋理相似度。同時計算匹配特征點在特征金字塔中的尺度差異，以評估它們的尺度一致性。最后，將基于紋理相似度和尺度一致性來篩選和優(yōu)化匹配結(jié)果。本實驗的具體參數(shù)選擇如表2 所示。

表2 匹配優(yōu)化參數(shù)

圖9 展示了通過紋理相似度和尺度一致性度量優(yōu)化后的匹配結(jié)果。

圖9 bikes 與ubc 特征點匹配的效果對比

從圖9 中可以看到，這種優(yōu)化方法找到了在紋理和尺度上更為一致的匹配對?？梢钥吹絻?yōu)化后的匹配在一些區(qū)域得到了改善，尤其是在那些紋理明顯的區(qū)域。

4 結(jié)論

本文通過引入紋理增強的預(yù)處理方法，有效地提高了圖像中的紋理信息，與傳統(tǒng)的ORB 算法相比，基于紋理增強的ORB 算法在特征點提取和匹配的準(zhǔn)確性和魯棒性方面都取得了顯著的改進(jìn)。該算法在復(fù)雜紋理場景下表現(xiàn)出更好的性能，能夠有效應(yīng)對紋理不明顯或紋理變化較大的情況，提高了算法的可靠性和穩(wěn)定性。

未來的研究可以進(jìn)一步優(yōu)化紋理增強的預(yù)處理方法，提高紋理信息的準(zhǔn)確性和豐富性，探索更多的特征點匹配策略，進(jìn)一步提高匹配的魯棒性和準(zhǔn)確性。 此外，還可以考慮與其他圖像特征提取算法的結(jié)合，進(jìn)一步提升特征點檢測和匹配的性能。