針對SIFT及其變體的圖像匹配性能比較

欒廣宇，黃操軍，陳爭光，曹洪軍

針對SIFT及其變體的圖像匹配性能比較

欒廣宇，黃操軍，陳爭光，曹洪軍

（黑龍江八一農(nóng)墾大學(xué)信息技術(shù)學(xué)院，大慶 163319）

由于尺度不變特征變換算法（SIFT）及其變體（PCA-SIFT、GCSIFT、SURF、ASIFT）在圖像匹配應(yīng)用的廣泛性，總結(jié)各自特點及比較它們性能具有實際的意義。首先系統(tǒng)地分析了SIFT及其變體，然后在尺度和旋轉(zhuǎn)變化、光照變化、模糊變化、仿射變化四種圖像情況評估了它們的性能。實驗結(jié)果表明在尺度和旋轉(zhuǎn)變化上SIFT執(zhí)行最好；在光照和模糊變化上GCSIFT執(zhí)行最好；在仿射變化上ASIFT表現(xiàn)最好；在所有情況下PCA-SIFT性能總是第二和SURF性能最差。

特征匹配；SIFT；PCA-SIFT；GCSIFT；SURF；ASIFT

圖像匹配的目的是尋求同一場景的兩幅圖像特征之間的對應(yīng)關(guān)系。在實際應(yīng)用中，兩幅圖像之間存在著平移、尺度、旋轉(zhuǎn)、亮暗、視角等差異，這給圖像匹配算法帶來了挑戰(zhàn)性。許多國內(nèi)外研究人員都在專注圖像匹配的性能改善，并提出了各種算法[1-3]。基于特征的圖像匹配算法可分為全局特征的匹配算法和局部特征的匹配算法，并廣泛地被應(yīng)用于許多領(lǐng)域，如農(nóng)業(yè)機器人采摘、運動跟蹤、對象識別等。相對于全局特征匹配算法，局部特征匹配算法具有更好的穩(wěn)定性。局部特征匹配算法包括特征的檢測和描述兩部分。特征檢測應(yīng)具備高重復(fù)率特征和快速檢測，而特征描述應(yīng)具備低維數(shù)描述。1999年David G.Lowe在尺度空間理論基礎(chǔ)上提出了局部特征描述算法 SIFT （Scale invariant feature transform）[4-5]。SIFT算法主要包括關(guān)鍵點檢測、描述符建立、特征匹配三步驟。該算法具有良好的穩(wěn)定性和不變性，并且其局部關(guān)鍵點包含大量的信息。由于它的獨特優(yōu)勢，許多研究人員主要改善描述符建立和關(guān)鍵點檢測來提高其性能。從描述符建立角度，SIFT使用了128維向量來描述每個關(guān)鍵點，而這種高維度會使特征匹配速度很慢。2004年Y.Ke[6]采用主成分分析法代替SIFT中的直方圖方法。這種改進的方法被稱為PCASIFT（Principal component analysis SIFT），該算法減少了描述關(guān)鍵點的維數(shù)。另外，SIFT僅考慮局部信息而忽略了全局信息。2005年E.N.Mortensen[7]提出了帶全局紋理的SIFT描述符，即GCSIFT（Global contextSIFT）。從關(guān)鍵點檢測角度，2006年H.Bay[8]提出了SURF（Speeded up robust features），其非常相似 SIFT但它的每步采用不同的方法，即SIFT的增強版。2009 年 J.M.Morel[9]提出了 ASIFT（Affine SIFT），其采用仿射變換參數(shù)。對SIFT及其最為關(guān)注的四個變體進行了較為深入地分析。為了評估它們的性能，我們在不同的情況下進行實驗，比較其匹配正確率。最后我們討論了它們各自優(yōu)缺點。

1 SIFT及其變體

1.1 SIFT算法

對于圖像匹配，SIFT算法所提取的特征點具有尺度和旋轉(zhuǎn)不變性。為了實現(xiàn)尺度不變性，SIFT利用高斯差分函數(shù)作卷積，這樣就得到了不同尺度圖像：

式中 I（x，y）表示輸入圖像，G（x，y，σ）是尺度可變高斯函數(shù)，σ為尺度因子。然后，同一分辨率下相鄰圖像相減得到高斯差分金字塔。高斯差分函數(shù)是一種對高斯拉普拉斯算法的改進：

其中k表示同一組相鄰兩層尺度值的比例系數(shù)。每個點與其鄰近的26個像素進行比較，該26個像素包括同層的8個相鄰像素和上下相鄰層的9個像素。如果點是最小值或最大值，則該點的位置和尺度被保留下來。這樣，就可以得到高斯差分尺度空間的所有極值點及其位置。然后去掉低對比度和不穩(wěn)定的邊緣點，在每個局部極值點的尺度下，SIFT計算其鄰域的梯度模和方向：

SIFT利用梯度方向直方圖統(tǒng)計鄰域內(nèi)像素的梯度信息，并將0°～360°的鄰域梯度直方圖劃分成36柱。關(guān)鍵點的主方向被定義為直方圖的峰值。然后，SIFT以關(guān)鍵點為中心選擇一個16×16區(qū)域。將這個區(qū)域劃分為4×4的子區(qū)域并求和每個子區(qū)域的梯度強度。SIFT利用每個子區(qū)域的8個方向產(chǎn)生一個8維向量。因此，SIFT從這16個子區(qū)域得到一個128維特征。

1.2 PCA-SIFT算法

主成分分析（PCA）是一種有效地和廣泛地被使用的數(shù)據(jù)降維技術(shù)。它利用正交變換將原始相關(guān)的隨機矢量轉(zhuǎn)化為一個不相關(guān)的新隨機矢量。PCASIFT利用PCA替代SIFT的梯度直方圖方法。它的描述過程被分為投影矩陣產(chǎn)生和描述符建立兩個子步驟。在降維的過程中，一個輸入矢量在關(guān)鍵點為中心的41×41鄰域里有水平和垂直兩個方向的梯度映射，可生成一個2×39×39=3 042維向量。在投影矩陣產(chǎn)生后，計算PCA-SIFT的描述符。這樣就產(chǎn)生一個新的矢量，其比SIFT的矢量小很多。

1.3 GCSIFT算法

GCSIFT將全局紋理信息引入SIFT，這樣可獲得大范圍曲率形狀信息的描述器。對于每個被檢測的關(guān)鍵點，建立一個向量。該向量由局部特征的SIFT描述器和全局紋理向量兩部分組成。其關(guān)鍵點描述子通常地為188維。該全局紋理向量用于區(qū)分相似局部特征。GCSIFT的向量數(shù)學(xué)表達(dá)式：

其中L是SIFT的128維向量，G是60維全局向量，ω是相對權(quán)重系數(shù)。相似于SIFT局部描述器的產(chǎn)生，全局紋理也由直方圖產(chǎn)生。GCSIFT需要計算每個像素的最大曲率，該最大曲率被定義為海森矩陣的最大絕對特征值。GCSIFT建立每個關(guān)鍵點的對數(shù)極坐標(biāo)并將一個以圖像對角線的長度為直徑的圓分成多個區(qū)域，再計算每個關(guān)鍵點的角度和徑向距離的離散值。這樣，就計算出一個曲率圖像。

1.4 SURF算法

SURF的基本思路類似SIFT，但SURF使用不同的方法來定位檢測和描述符生成。由于圖像數(shù)據(jù)庫中存在大量的數(shù)據(jù)，并且SIFT耗時很高，Bay提出SURF來提高極值點的檢測和描述效率。其使用Hessian矩陣進行檢測，可具有一定的速度和精度的優(yōu)勢。Hessian矩陣判別局部極大值：

式中Lxx（x，σ）、Lxy（x，σ）和Lyy（x，σ）表示特征點在x點和y點處二階高斯偏導(dǎo)數(shù)。同時，采用一種積分圖像算法代替SIFT高斯金字塔的構(gòu)造。在描述階段SURF將每個極值點的鄰域劃分為多個4×4子區(qū)域，再計算每個子區(qū)域的Haar小波響應(yīng)。每個響應(yīng)都有一個4維向量。這樣，所有子區(qū)域的64維特征描述每個關(guān)鍵點。

1.5 ASIFT算法

SIFT對于仿射變化圖像不能執(zhí)行很好。為了改善這種情況的性能，ASIFT模擬攝像機光軸旋轉(zhuǎn)，并根據(jù)視點變化采用一個圖像仿射變換模型，其表達(dá)式為：

在上述的仿射模型中，假設(shè)相機是遠(yuǎn)離被測對象。從另一方面，相機的運動可能會導(dǎo)致被測對象的成像變形。經(jīng)度角產(chǎn)生于被測對象的法平面和相機光軸的映射平面。ASIFT增加旋轉(zhuǎn)變換的圖像，再根據(jù) x 方面上傾斜變換操作 u（x，y）→u（tx，y）得到一系列仿射圖像。通過改變一定范圍的經(jīng)度角和緯度角，可實現(xiàn)旋轉(zhuǎn)變換和傾斜變換。然后，ASIFT檢測關(guān)鍵點，并建立仿射圖像描述。在匹配階段，對比SIFT，ASIFT不僅檢測更多的特征點而且也有相對較少的誤匹配點。

2 實驗結(jié)果與分析

為了測試 SIFT、PCA-SIFT、GCSIFT、SURF、ASIFT五種算法的性能，針對尺度和旋轉(zhuǎn)變化、光照變化、模糊變化、仿射變化四種圖像情況，采用Mikolajczyk數(shù)據(jù)庫（http：//www.robots.ox.ac.uk/～vgg/data/data-aff.html）。

2.1 尺度和旋轉(zhuǎn)不變性的比較

第一組實驗對象是“Boat”的6幅圖像，該組圖像給出6幅不同尺度和旋轉(zhuǎn)的圖像。圖1（a）、（b）給出了“Boat”的第1幅和第6幅圖像。實驗進行第1幅圖像與其他各幅圖像匹配。圖1（c）給出了第1幅與其他5幅之間五種算法的匹配正確率。從圖1（c）可知，PCA-SIFT、SIFT在第 2、3幅上具有相同的性能，PCA-SIFT在第6幅上執(zhí)行最好，SIFT保持基本一致。而GCSIFT和ASIFT具有較低的匹配率，ASIFT的匹配正確率對于第6幅是最低的。SURF的匹配結(jié)果基本上是最差的。

圖1 尺度和旋轉(zhuǎn)“Boat”數(shù)據(jù)的匹配對比實驗（a）第1幅圖像（b）第6幅圖像（c）第1幅與其他5幅之間五種算法的匹配正確率Fig.1 Matching experiment of“Boat” data under scale and rotation variance（a） the first image（b） the sixth image（c）the matching correct rate of the five algorithms between the first image and the other five images respectively

2.2 光照不變性的比較

第二組實驗對象是“Leuven”的圖像，Mikolajczyk數(shù)據(jù)庫的“Leuven”圖像是以第3幅圖像為原始圖像，并用該幅圖像通過增加和減少亮度產(chǎn)生8幅不同的亮度圖像。 圖 2（a）、（b）給出了“Leuven”原始圖像的亮度增加圖像（+50）和亮度減少圖像（-50）。 圖 2（c）給出了原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率。從圖2（c）可知，這五種算法的結(jié)果在無亮度變化時是最好的，并且他們的結(jié)果隨著亮度增加和減少呈下降趨勢。GCSIFT、PCA-SIFT、SIFT的匹配結(jié)果很相似。ASIFT和SURF執(zhí)行得都不好。

2.3 模糊不變性的比較

第三組實驗對象是“Bike”的圖像，Mikolajczyk數(shù)據(jù)庫的“Bike”圖像是以第1幅圖像為原始圖像，并用該幅圖像通過模糊半徑產(chǎn)生8幅不同的模糊圖像。圖 3（a）、（b）給出了“Bike”的原始圖像和第 8 幅模糊圖像。實驗進行原始圖像與其產(chǎn)生的8幅圖像匹配。圖3（c）給出了原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率。從圖3（c）可知，這五種算法的結(jié)果基本上都呈現(xiàn)下降趨勢。GCSIFT、PCA-SIFT具有相當(dāng)?shù)男阅?。SURF的匹配率始終是最差的。

圖2 光照“Leuven”數(shù)據(jù)的匹配對比實驗（a）原始圖像的亮度增加圖像（+50）（b）原始圖像的亮度減少圖像（-50）（c）原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率Fig.2 Matching experiment of“Leuven” data under illumination variance（a） the illumination image increasing 50 brightness intensity from the original image（b） the illumination image decreasing 50 brightness intensity from the original image（c）the matching correct rate of the five algorithms between the original image and the 8 generated images respectively

圖3 模糊“Bike”數(shù)據(jù)的匹配對比實驗（a）原始圖像（b）第8幅模糊圖像（c）原始圖像與其產(chǎn)生的8幅之間五種算法的匹配正確率Fig.3 Matching experiment of“Bike” data under blur variance（a） the original image（b） the eighth generated blur image（c）the matching correct rate of the five algorithms between the original image and the 8 generated images respectively

2.4 仿射不變性的比較

第四組實驗對象是“Graffiti”的圖像，該組圖像給出 6 幅不同仿射的圖像。 圖 4（a）、（b）給出了“Graffiti”的第1幅圖像和第6幅圖像。圖4（c）給出了第1幅與其他5幅之間每種算法的匹配正確率。從圖4（c）可知，ASIFT的匹配正確率在各個角度都是最好的， 接著是 PCA-SIFT和 SIFT。SIFT、PCA-SIFT、GCSIFT、ASIFT對于小于30度的視點角度變化都能執(zhí)行很好，而且隨著角度變化的增大，它們的性能開始下降。對于小于40度的視點角度變化SURF是最差的，而對于大于50度的視點角度變化SURF比SIFT、PCA-SIFT、GCSIFT 都好。

圖4 仿射“Graffiti”數(shù)據(jù)的匹配對比實驗（a）第1幅圖像（b）第6幅圖像（c）第1幅與其他5幅之間每種算法的匹配正確率Fig.4 Matching experiment of“Graffiti”data under affine variance（a） the first image（b） the sixth image（c）the matching correct rate of the five algorithms between the first image and the other five images respectively

3 結(jié)論

系統(tǒng)地分析了基于尺度空間的圖像局部特征五種算法：SIFT、PCA-SIFT、GCSIFT、SURF、ASIFT。在不同的實驗情況下評估了它們的性能：SIFT在尺度和旋轉(zhuǎn)變化上表現(xiàn)最好，GCSIFT在光照和模糊變化上表現(xiàn)最好，ASIFT在仿射變化上表現(xiàn)最好，PCA-SIFT在所有情況下性能總是第二和SURF在所有情況下性能最差，從而可用于選擇不同情況的最佳算法。

［1］ 白廷柱，侯喜報.基于SITF算子的圖像匹配算法研究［J］.北京理工大學(xué)學(xué)報，2013，33（6）：622-627.

［2］ 袁修孝，陳時雨，張勇.利用PCA-SIFT進行特殊紋理航攝影像匹配［J］.武漢大學(xué)學(xué)報，2016，41（9）：1137-1144.

［3］ 朱煥，馬文靜，盛永生，等.多尺度各向異性小波收縮圖像分割算法在玉米病斑特征提取時的應(yīng)用［J］.黑龍江八一農(nóng)墾大學(xué)學(xué)報，2016，28（2）：136-140.

［4］ Lowe DG.Object recognition from local scale invariant features［C］//In Proceedings of the 7th IEEE International Conference on Computer Vision，1999，IEEE，2：1150-1157.

［5］ Lowe DG.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［6］ Ke Y，Sukthankar R.PCA-SIFT：A more distinctive representation for local image descriptors［C］//In Computer Vision and Pattern Recognition（CVPR 2004），2004，IEEE，2：506-513.

［7］ Mortensen EN，Deng H，Shapiro L.A SIFT descriptor with global context ［C］//In ComputerVision and Pattern Recognition（CVPR 2005），2005，IEEE，1：184-190.

［8］ Bay H，Tuytelaars T，Gool LV.SURF：Speeded up robust features［C］//In Computer Vision-ECCV 2006：9th European Conference on Computer Vision，2006，Springer，Part II：404-417.

［9］ Morel J M，Yu G.ASIFT：A new framework for fully affine invariant image comparison［J］.SIAM Journal on Imaging Sciences，2015（2）：438-469.

Performance Comparison of SIFT and its Variants for Image Matching

Luan Guangyu，Huang Caojun，Chen Zhengguang，Cao Hongjun
（Heilongjiang Bayi Agricultural University，Daqing 163319）

Due to strong ability of SIFT and its variants （PCA-SIFT，GCSIFT，SURF and ASIFT） for image matching，that summarizing their characteristics and comparing their performance is meaningful.This paper first systematically analyzes SIFT and its variants.Then，it evaluates their performance of the five algorithms in different situations that are scale and rotation change，illumination change，blur change and affine change.The experimental results show SIFT performs the best under scale and rotation change，GCSIFT performs the best under illumination change and blur change，ASIFT performs the best under affine change，PCASIFT is always the second and SURF performs the worst in different situations.

feature matching;SIFT;PCA-SIFT;GCSIFT;SURF;ASIFT

TP391

A

1002-2090（2017）05-0106-05

10.3969/j.issn.1002-2090.2017.05.025

2016-11-26

黑龍江省教育廳科學(xué)技術(shù)研究項目（12541584）。

欒廣宇（1978-），女，講師，哈爾濱工業(yè)大學(xué)畢業(yè)，現(xiàn)主要從事電氣工程、圖像處理、自動化檢測等方面的教學(xué)與研究工作。