小波域多分辨率分析對圖像匹配特征點提取的影響

·信息科學·

小波域多分辨率分析對圖像匹配特征點提取的影響

劉佳1,2,傅衛(wèi)平1,王雯1,張凱1,周磊1

(1.西安理工大學 機械與精密儀器工程學院，陜西 西安710048; 2.西安科技大學 理學院，陜西 西安710054)

摘要：將小波引入SIFT算法,提出利用小波多分辨率分解降低圖像中邊緣、噪聲等不良信息點比重方法。利用工程上常用的4類小波,分別對圖像進行小波分解,將圖像的低頻成分建立尺度空間,基于局部特征提取圖像特征點,引入統(tǒng)計學理論中的召回率和圖像匹配中的準確率兩個指標,研究不同小波對圖像匹配中特征點提取的影響,尋求圖像處理的最優(yōu)小波類型。實驗表明,bior4.4小波對圖像的多分辨率分解后獲得的特征點，可以在較低錯配率的情況下獲得較高的召回率。

關鍵詞：小波多分辨率分析;SIFT算法; 召回率;準確率

收稿日期：2014-03-12

基金項目：國家自然科學基金資助項目(10872160)；陜西省自然科學基礎研究計劃重點基金資助項目(2011JZ012)

作者簡介：劉佳,女,河北阜城人,博士生，從事圖像處理、機器視覺研究。

中圖分類號：TP39141

The effect on characteristic point extraction with wavelet

multi-resolution analysis in image matching

LIU Jia1,2, FU Wei-ping1, WANG Wen1, ZHANG Kai1, ZHOU Lei1

(1.The Faculty of Mechanical and Precision Instrument Engineering, Xi′an University of Technology, Xi′an 710048, China;

2.School of Science， Xi′an University of Science and Technology, Xi′an 710054， China)

Abstract:Matching accuracy is an important target to determine matching algorithm′s superior or inferior. Wavelet multi-resolution decomposition was used in SIFT algorithm to decrease the share of edge, noise pixels in the images. The images were decomposed with the four wavelets widely used, and then low-frequency component of the images were used for building scale space to extract image feature points based on local feature. Recall used in statistical theory and accuracy used in image matching were introduced to analyze the effect on extracting feature points at different wavelet domain, and then to find the best wavelet type used image processing. Results show that there is lower error probability while higher recalls by using bior4.4 on image matching.

Key words: wavelet multi-resolution analysis; SIFT algorithm; recall; precision

圖像匹配是機器視覺在圖像檢索、三維重建、目標識別以及圖像拼接等應用中的重要環(huán)節(jié)。SIFT匹配算法[1]自提出以來,得到了學術界的廣泛認同。該算法在圖像尺度、旋轉、仿射、視角、光照變化的情況下,依然具有良好的匹配效果[2]。

小波在圖像處理上的優(yōu)勢使其應用范圍非常廣泛,包括了圖像檢索[3]、圖像壓縮與去噪[4-7]、圖像融合[8]等方面。SIFT圖像匹配過程的第一步就是構建圖像金字塔,利用高斯算子提取特征點。對于多紋理圖像,提取的特征點數(shù)量可以達到上千,然而很多特征點是偽特征點,如構建金字塔過程中出現(xiàn)的不連續(xù)點,這會帶來錯配點增多。將小波多分辨率分析應用于SIFT算法中建立圖像金字塔前的圖像處理,對圖像進行多尺度分解,剔除圖像中邊緣、噪聲等無法作為特征點的信息,可大大減少圖像中的干擾信息,從而獲得較高召回率,提高正確匹配率。在文獻[9]中研究了如何在SIFT算法中應用小波多分辨率分析,但對各小波在圖像處理上的不同表現(xiàn)沒有進行深入分析,本文是在此基礎上的深入研究。

1小波的多分辨率分析

對圖像進行小波多分辨率分析[10],就是在信號空間將輸入信號分解為概貌空間(又稱為尺度空間)和細節(jié)空間(又稱為小波空間)。對于信號f(t)∈L2(R),f(t)在尺度2j和2j-1上的逼近分別等價于f(t)在Vj和Vj-1上的正交投影,假設Wj是Vj在Vj-1中的正交補,P為正交投影因子,則

Vj-1=Vj?Wj,Vj⊥Wj,?j ，

(1)

PVj-1f=PVjf+PWjf,?j ，

(2)

其中,PVjf∈Vj提供了PVj-1f的概貌,而PWjf∈Wj提供了PVj-1f的細節(jié)。這些細節(jié)只出現(xiàn)在Wj上,而不出現(xiàn)在Vj上,因此稱Wj為細節(jié)空間(即小波空間),第j級的尺度信號都可以分解成(j+1)級的尺度信號和(j+1)級的細節(jié)信號的疊加。

圖像在小波域的多分辨率分解需經過兩個過程:尺度空間多分辨率分析SMRA(scalemulti-resolutionanalysis)和小波空間多分辨率分析WMRA(WaveletMulti-ResolutionAnalysis)。對SMRA進行正交剖分,則{Wj}j∈Z構成小波空間多分辨率分析。小波分析是通過SMRA和WMRA構建低、高通濾波器,完成分解過程。具體過程就是把圖像信號分解成低頻a1和高頻b1兩部分,在分解中,低頻a1中失去的信息由高頻b1捕獲。在下一層的分解中,又將a1分解成低頻a2和高頻b2兩部分,低頻a2中失去的信息由高頻b2捕獲,以此類推,可以進行更深層次的分解。

2SIFT算法中特征點的提取

SIFT算法首先通過二維高斯函數(shù)與圖像的卷積建立尺度空間,再利用高斯差分尺度空間算子DOG(difference-of-gaussian),在各尺度空間中檢測局部極值點(局部鄰域的極大值或極小值),該點就是圖像在該尺度下的一個特征點。SIFT算法對于很多圖像可以提取出上千個特征點,而在兩圖像的匹配時只需8個正確匹配點,即可計算基礎矩陣?？紤]不是所有的特征點都能找到匹配點,匹配的最優(yōu)狀況是匹配數(shù)與特征點數(shù)之比越大越好。利用文獻[9]中的SIFT算法,對在小波域下和不在小波域下兩種情況,提取圖像特征點對比見表1。由結果可以看出,在小波域下提取的特征點減少,但召回率有明顯增加,錯配點也明顯減少。

表1在小波域下和不在小波域下匹配結果對比

Tab.1Comparison of match results with wavelet and without wavelet

對比數(shù)據(jù)特征點數(shù)匹配點數(shù)利用Bior4.4小波分解結果左圖像右圖像670495128不利用小波分解結果左圖像右圖像14071083177

3不同小波分解對SIFT圖像匹配的影響

一個圖像經過小波分解后,可得到一系列不同分辨率的圖像,不同分辨率的子圖像對應的頻率是不相同的。對于一個圖像來說,表現(xiàn)一個圖像最主要的部分是低頻部分。因此,通過小波分解,只利用低頻成分參與SIFT匹配,可以達到在不影響后續(xù)圖像分析的基礎上,提高圖像中有效信息比率,減少偽特征點數(shù)。另外,低頻信息描述了圖像在光滑部位的整體灰度信息,而高頻部分則反映了圖像在邊緣、噪聲等細節(jié)方面的表現(xiàn),將圖像的高頻成分舍棄可減少高斯算子對邊緣的過分響應。

系列小波的特點是隨著階次增大,使用濾波器的數(shù)目必然增加,消失矩階數(shù)也就越大,頻帶劃分效果越好,獲得的低頻信息量越大。但是，會使時域緊支撐性減弱,同時計算量大大增加,實時性變差。階次越小,頻帶劃分越模糊,獲得的低頻信息量減少,實時性越好,但信息丟失也越多,造成匹配點數(shù)的減少。因此,在進行階次選擇時,既要注重算法本身的效果,也要兼顧算法的效率。

3.1評價指標

召回率Rc和準確率Pc是在模式識別和機器學習中,判斷一個分類器對所用樣本的分類能力或者在不同的應用場合時經常使用的評價指標[11]。本文以召回率和誤配率(1-precision)作為不同小波對圖像處理后匹配優(yōu)劣的評價指標(這里之所以使用誤配率而不是準確率,是為了獲得的曲線形狀符合觀察習慣)。運用歐式距離計算兩特征向量之間的距離,如果最近距離和次近距離的比(ratio)小于給定閾值t,認為是正確的匹配,如果大于給定閾值t,認為是錯誤的匹配。再利用RANSAC算法進一步剔除錯誤匹配。t值的變化,會帶來誤配率和召回率的變化,好的處理方法能夠以較低的誤配率得到較高的召回率[12]。

定義設圖像對中響應匹配點對數(shù)為Cp(correspondences),實際獲得的正確匹配對數(shù)為Cm(correct matches),錯誤匹配對數(shù)為Fm(false matches)，則召回率Rc的公式為

(3)

誤配率(1-Pc)的公式為

(4)

3.2對比實驗

將圖1中的原圖和小波域分解后的圖像分別進行SIFT匹配,對比各類小波對匹配結果的影響。分別將小波haar,db2～db11，sym2～sym8，coif1～coif4，bior1.1～bior6.8(共37個小波)應用于圖1中的圖像對,進行SIFT匹配實驗,得出匹配點數(shù),將其與未利用小波分解的原圖所得匹配點數(shù)進行對比,圖2是匹配點數(shù)的對比結果(橫坐標上的“yuan”表示原圖結果),獲得匹配點數(shù)與算法中判斷為匹配點的閾值t有關,因此在不同距離閾值下繪制、對比結果,從而確定各系列小波中綜合性能最優(yōu)者。

(a)(b)旋轉,(c)放大和旋轉,(d) (e)視點變化,(f) (g)圖像模糊,(h) JPEG壓縮,(i)光照變化 圖1　實驗用圖像對來源于文獻[11] Fig.1　Pairs of images used for experiment from [11].

圖2(b)橫坐標中的s2～s8分別代表Symlets系列小波的sym2，sym3，sym4，sym5，sym6，sym7，sym,c1～c4分別代表Coiflets系列小波的coif1，coif2，coif3，coif4,圖2(c)橫坐標中的小數(shù)分別代表Bior系列小波的后綴。圖3橫坐標的表示與圖2同。

從圖2可以看出,haar小波的匹配點數(shù)比未經小波處理的原圖的匹配點數(shù)還要少,db系列小波中db5～db11匹配點數(shù)變化不大。sym系列中sym8匹配點數(shù)明顯減少,bior系列小波中bior4.4匹配點數(shù)稍有回落,但變化不大。結合圖3匹配時間對比,在Daubechies系列小波中,db6的綜合性能最優(yōu);在Symlets系列小波中,sym4的綜合性能最優(yōu);在Coiflets系列小波中,coif2的綜合性能最優(yōu);在Biorthogonal系列小波中,bior4.4的綜合性能最優(yōu)。

圖2　不同t值下匹配點數(shù)比較 Fig.2　A comparison between matching points under different t

圖3　不同t值下匹配時間比較 Fig.3　A comparison between matching time under different t

由上面的實驗結果得出,運用db6，sym4，coif2，bior4.4等4個小波后的圖像匹配性能較好,下面研究4個小波域下,取不同閾值帶來的誤配率和召回率曲線的變化,進一步評判不同小波域處理對算法的影響。選擇圖1中分別具有旋轉(圖1(b))、縮放(圖1(c))、仿射(圖1(e))、光照變化(圖1(i))的4對圖像進行誤配率和召回率計算。結果見圖4所示。

從圖4中可以看出,對于不同的圖像,小波域下的錯配率與召回率成正比,在錯配率較低的時候(一般來說,設定的閾值越低,錯配率也越低),各小波的表現(xiàn)差異不大,都有較低的召回率。當錯配率超過0.25時,各小波的差異開始明顯,Biorthogonal系列小波中的bior4.4小波表現(xiàn)最優(yōu),始終表現(xiàn)為較低的錯配率和較高的召回率。

(a)用于圖1(b);(b)用于圖1(c);(c)用于圖1(e);(d)用于圖1(i) 圖4　 小波域下錯配率和召回率曲線 Fig.4　Curve of prcision and recall with wavelets

4結語

提高SIFT匹配的準確率是廣泛應用SIFT匹配的必然。小波多分辨率分析可將圖像進行特定頻段分割,利用低頻信息,保留大部分圖像的近似信息,也就減少了圖像中不穩(wěn)定點,從而提高匹配準確率。本文研究表明,利用Biorthogonal系列小波中bior4.4小波進行小波域下的圖像匹配,可獲得最低的錯配率和較高的召回率。

參考文獻：

[1]LOWEDG.Distinctiveimagefeaturesfromscaleinvariantkeypoints[J].InternationalJournalofComputerVision, 2004, 60(2):91-110.

[2]MIKOLAJCZYKK,TUYTELAARST,SCHMIDC,etal.Acomparisonofaffineregiondetectors[J].InternationalJournalofComputerVision,2005,65(1/2):43-72.

[3]QUELLECG，LAMARDM，CAZUGUELG,etal.Fastwavelet-basedimagecharacterizationforhighlyadaptiveimageretrieval[J].IEEETransactionsonImageProcessing,2012,21(4):1613-1623.

[4]RAHMANSMM，AHMADMO，SWAMYMNS.Bayesianwavelet-basedimagedenoisingusingthegauss—hermiteexpansion[J].IEEETransactionsonImageProcessing, 2008, 17(10):1755-1771.

[5]CHAPPELIERV,GUILLEMOTC.OrientedWavelettransformforimagecompressionanddenoising[J].IEEETransactionsonImageProcessing, 2006, 15(10):2892-2903.

[6]BORSDORFA,RAUPACHR,FLOHRT,etal.WaveletbasednoisereductioninCT-imagesusingcorrelationanalysis[J].IEEETransactionsonMedicalImaging,2008,27(12):1685-1703.

[7]王宏強, 尚春陽, 高瑞鵬，等. 基于小波系數(shù)變換的小波閾值去噪算法改進[J]. 振動與沖擊,2011, 30(10):165-168.

[8]劉貴喜, 楊萬海. 基于小波分解的圖像融合方法及性能評價[J]. 自動化學報,2002,28(6):927-934.

[9]劉佳, 傅衛(wèi)平, 王雯,等. 基于改進SIFT算法的圖像匹配[J]. 儀器儀表學報,2013,32(5):1107-1112.

[10]DAUBECHIESI. 小波十講[M]. 李建平, 楊萬年，譯.北京:國防工業(yè)出版社，2004：5.

[11]MIKOLAJCZYKK,SCHMIDC.Aperformanceevaluationoflocaldescriptors[J].IEEETransactionsonPAMI, 2005, 27(10):1615-1630.

[12]YANKe,SUKTHANKARR.PCA-SIFT:Amoredistinctiverepresentationforlocalimagedescriptors[C]∥IEEEComputerSocietyConferenceonCVPR,Washington:IEEE, 2004(2):II/506-II/513.

[13]MIKOLAJCZYKK,SCHMIDC.Anaffineinvariantinterestpointdetector[C]∥InProceedingsofthe7thECCV,Copenhagen:Springer, 2002, 2350(1):128-142.

(編輯曹大剛)