摘 "要: 當(dāng)前基于特征的圖像配準(zhǔn)算法較多,而SURF算法由于其性能優(yōu)越和運(yùn)算效率較快,被眾多學(xué)者廣泛應(yīng)用于圖像匹配算法的研究中。在圖像匹配算法研究的基礎(chǔ)上,通過(guò)比較SURF算法和Harris算法在通用型、計(jì)算效率和配準(zhǔn)精度三個(gè)方面的差異,驗(yàn)證SURF算法在圖像配準(zhǔn)應(yīng)用中的可行性。實(shí)驗(yàn)結(jié)果及數(shù)據(jù)表明基于SURF的圖像配準(zhǔn)技術(shù)不僅能夠適用于不同條件下的圖像變化,并且可以實(shí)現(xiàn)快速、精確的圖像配準(zhǔn)。
關(guān)鍵詞: SURF; Harris; 計(jì)算效率; 配準(zhǔn)精度
中圖分類(lèi)號(hào): TN919?34 " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼: A " " " " " " " " " " " " " "文章編號(hào): 1004?373X(2015)06?0094?03
Feasibility Research of image registration technology based on SURF
GU Da?long
(Beijing Aerospace Control Center, Beijing 100094, China)
Abstract: Currently, there are many image registration algorithms based on characteristic. However, the SURF algorithm is widely used in the research of image matching by many scholars because of its superior performance and fast computational efficiency. On the basis of the research of image matching algorithm, the feasibility of the SURF applied to the image registration is confirmed in this paper by means of comparing the differences of universality, computational efficiency and registration precision between SURF and Harris. The experimental results and data indicate the image registration technology based on SURF not only can apply to image changes under different conditions, but also achieve the fast and accurate image registration.
Keywords: SURF; Harris; computational efficiency; registration precision
0 "引 "言
圖像配準(zhǔn)是圖像處理中的一個(gè)非常關(guān)鍵的技術(shù),其廣泛應(yīng)用于醫(yī)學(xué)、軍事、遙感及計(jì)算機(jī)視覺(jué)等領(lǐng)域,比如軍事領(lǐng)域中的目標(biāo)毀傷效果評(píng)估,圖像配準(zhǔn)技術(shù)是實(shí)現(xiàn)及時(shí)、準(zhǔn)確獲取目標(biāo)打擊前后信息的關(guān)鍵步驟。目前,常用的圖像配準(zhǔn)算法主要分2大類(lèi):一類(lèi)是基于頻率域的圖像配準(zhǔn)方法,如Fourier變換和小波變換等;另一類(lèi)是基于空間域的圖像配準(zhǔn)方法,主要包括基于區(qū)域的圖像配準(zhǔn)算法和基于特征的圖像配準(zhǔn)算法,而隨著一些良好的特征提取算子出現(xiàn),它們具有計(jì)算量小、運(yùn)算速度快,對(duì)圖像變形、亮度變化適應(yīng)性較好等優(yōu)點(diǎn),因此被學(xué)者廣泛研究。
基于特征的圖像配準(zhǔn)通常包括特征提取、圖像匹配、變換模型和圖像重采樣4個(gè)步驟,其中前兩個(gè)是圖像配準(zhǔn)的關(guān)鍵。目前,可實(shí)現(xiàn)基于特征的圖像配準(zhǔn)算法有很多,例如, SUSAN[1]、Harris[2?3]等角點(diǎn)檢測(cè)法和SIFT[4]與SURF[5]等斑點(diǎn)檢測(cè)法,文獻(xiàn)[6]對(duì)SIFT,PCA?SIFT和SURF的性能及運(yùn)算速度進(jìn)行比較,結(jié)果證明SURF在運(yùn)算速度和綜合性能上均優(yōu)于SIFT;文獻(xiàn)[7]針對(duì)SIFT算法進(jìn)行降維處理,提出了SAFOH?SIFT,并在匹配性能和時(shí)間上對(duì)比Open?SIFT、SAFOH?SIFT和SURF,實(shí)驗(yàn)表明SURF運(yùn)算還是最快的。綜上分析,本文采用SURF算法實(shí)現(xiàn)圖像的特征提取及匹配,為了進(jìn)一步對(duì)其實(shí)現(xiàn)圖像配準(zhǔn)的可行性進(jìn)行分析,作者通過(guò)選取具有不同變化類(lèi)型的四組圖像,比較SURF算法和Harris算法在通用性、計(jì)算效率及配準(zhǔn)精度3個(gè)方面的差異,從而驗(yàn)證SURF算法在實(shí)現(xiàn)圖像配準(zhǔn)技術(shù)方面的優(yōu)越性。
1 "Harris相關(guān)理論
Harris算法是目標(biāo)跟蹤、運(yùn)動(dòng)估計(jì)及目標(biāo)識(shí)別等領(lǐng)域中應(yīng)用比較普遍的一種方法,基本原理是利用圖像的灰度信息,設(shè)定一個(gè)窗口作為檢測(cè)窗口,沿著水平、垂直及傾斜等方向移動(dòng)檢測(cè)窗口,并記錄每一次移動(dòng)窗口的平均能量變化,如果變化值超過(guò)設(shè)定的閾值,那窗口中心點(diǎn)的像素點(diǎn)就被認(rèn)為是角點(diǎn)。
互相關(guān)系數(shù)法是Harris角點(diǎn)檢測(cè)算法實(shí)現(xiàn)圖像匹配的一種常用方法[8],操作簡(jiǎn)單?;驹硎腔诮y(tǒng)計(jì)學(xué)理論,通過(guò)相關(guān)計(jì)算找到參考圖像中的角點(diǎn)在待匹配圖像中可能對(duì)應(yīng)的角點(diǎn)。具體過(guò)程是給定參考圖像中的角點(diǎn)x并以其為中心,將r為半徑的圓形區(qū)域作為相關(guān)窗口,然后在待匹配圖像中圍繞具有相同坐標(biāo)的點(diǎn)選定一個(gè)固定尺寸的矩形區(qū)域作為搜索區(qū)域,在參考圖像的角點(diǎn)x與待匹配圖像中搜索落入?yún)^(qū)域內(nèi)的全部角點(diǎn),從而在給定的窗口內(nèi)完成一次相關(guān)操作。
2 "SURF相關(guān)理論
SURF算法包括特征點(diǎn)檢測(cè)和特征點(diǎn)描述兩個(gè)部分[9]。通過(guò)采用積分圖像和框狀模板極大簡(jiǎn)化算法的復(fù)雜度,減少了特征點(diǎn)檢測(cè)的時(shí)間,并用不同尺寸的框狀模板與積分圖像卷積得到SURF算法的尺度空間,采用3D非最大值抑制求取尺度空間中不同尺度的特征點(diǎn),實(shí)現(xiàn)特征點(diǎn)的精確定位。為了保證特征矢量具有旋轉(zhuǎn)不變性,需要為每個(gè)特征點(diǎn)分配一個(gè)主方向,SURF算法采用Haar小波響應(yīng)模板,統(tǒng)計(jì)以特征點(diǎn)為中心的圓形區(qū)域中每個(gè)扇形區(qū)域的Haar小波x和y方向的累積值,將累積最大的矢量作為特征點(diǎn)主方向,在以特征點(diǎn)為中心的矩形區(qū)域,將矩形區(qū)域劃分16個(gè)子區(qū)域,統(tǒng)計(jì)每個(gè)子區(qū)域的Haar小波的4維累計(jì)值,最后構(gòu)建64維的特征點(diǎn)描述符。特征匹配中,SURF算法采用最小歐式距離與次小歐式距離比,并根據(jù)人工設(shè)定的閾值進(jìn)行匹配對(duì)粗提取。
3 "兩種算法實(shí)驗(yàn)比較
3.1 "通用性及計(jì)算效率比較
針對(duì)圖像配準(zhǔn)中特征提取,本文分別采用Harris算法和SURF算法進(jìn)行特征點(diǎn)提取,并針對(duì)Harris算法采用互相關(guān)系數(shù)法實(shí)現(xiàn)匹配對(duì)的粗提取,而SURF算法采用最小歐式距離與次小歐式距離比實(shí)現(xiàn)粗提取。然后采用本文作者在文獻(xiàn)[10]提出的多層次匹配方法實(shí)現(xiàn)匹配對(duì)精提取。圖1~圖4為采用上述兩個(gè)方法獲取的圖像粗匹配結(jié)果。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t1.tifgt;
圖1 具有2.5倍放縮和75°旋轉(zhuǎn)變化圖像匹配結(jié)果
圖1(a)~圖4(a)均為采用Harris算法獲得的粗匹配結(jié)果圖,圖1(a)和圖2(a)經(jīng)目視判讀觀察匹配結(jié)果雜亂無(wú)章,通過(guò)對(duì)每對(duì)匹配結(jié)果進(jìn)行校驗(yàn),沒(méi)有一對(duì)正確匹配對(duì),因此無(wú)法實(shí)現(xiàn)圖像配準(zhǔn);圖3(a)提取的粗匹配對(duì)數(shù)量較少,而且還包含數(shù)目較多的誤匹配對(duì),在實(shí)際配準(zhǔn)過(guò)程中,必須要剔除這些誤匹配對(duì),作者采用RANSAC算法進(jìn)行精提取操作,經(jīng)過(guò)多次運(yùn)算,均難以剔除全部誤匹配對(duì),而存在誤匹配對(duì)將極大影響配準(zhǔn)精度;圖4(a)提取的粗匹配對(duì)數(shù)目較多,匹配效率較好,能夠?qū)崿F(xiàn)粗匹配對(duì)的精確提取。圖1(b)~圖4(b)為SURF算法的匹配結(jié)果,如表1所述,除了具有視角變化圖像匹配效率一般以外,其余三組的圖像匹配效率均高達(dá)94%以上,并且均可以實(shí)現(xiàn)粗匹配對(duì)的精提取,而且精提取后的數(shù)目依舊很可觀,即SURF算法能夠?qū)崿F(xiàn)不同類(lèi)型的圖像匹配。由于圖2(a)和圖2(a)沒(méi)有提取到正確匹配對(duì),作者僅僅對(duì)后兩組圖像進(jìn)行時(shí)間比較,如表2所示,SURF算法在提取特征點(diǎn)時(shí)間與匹配時(shí)間上普遍低于Harris算法花費(fèi)的時(shí)間,并且提取的特征點(diǎn)數(shù)目與匹配點(diǎn)數(shù)目遠(yuǎn)遠(yuǎn)大于Harris算法,因此平均特征點(diǎn)提取時(shí)間和平均匹配時(shí)間上明顯低于Harris算法,因此SURF算法具有較高的計(jì)算效率,綜上,在通用型和計(jì)算效率兩個(gè)方面,SURF表現(xiàn)優(yōu)異。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t2.tifgt;
圖2 具有較大視角變化圖像匹配結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t3.tifgt;
圖3 房屋目標(biāo)變化前后匹配結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t4.tifgt;
圖4 機(jī)場(chǎng)飛行區(qū)域變化前后匹配結(jié)果
3.2 配準(zhǔn)精度比較
兩種方法均采用透視投影變換模型和雙線性插值法實(shí)現(xiàn)圖像配準(zhǔn)。本文對(duì)圖3所示的匹配結(jié)果,分別采用上述兩種方法獲取配準(zhǔn)結(jié)果,并進(jìn)行圖像差值運(yùn)算,最后比較差值圖像。采用Harris算法獲取圖5所示的房屋目標(biāo)變化圖像配準(zhǔn)結(jié)果。然后提取包含目標(biāo)區(qū)域的公共區(qū)域部分,見(jiàn)圖6(a)和(b),最后對(duì)兩幅圖像進(jìn)行差值運(yùn)算,得到圖6(c)所示的差值圖像;采用SURF算法實(shí)現(xiàn)房屋目標(biāo)變化前后的配準(zhǔn),并分別提取包含目標(biāo)區(qū)域的公共區(qū)域部分,如圖7(a)和(b),最后對(duì)兩幅圖像進(jìn)行圖像差值運(yùn)算,得到如圖7(c)所示差值結(jié)果。
表1 SURF算法與Harris算法通用性比較
表2 Harris算法與SURF算法時(shí)間比較
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t5.tifgt;
圖5 房屋目標(biāo)變化前后的Harris配準(zhǔn)結(jié)果
觀察上述兩個(gè)差值圖像的實(shí)驗(yàn)結(jié)果,經(jīng)Harris算法獲取的差值圖像除了變化區(qū)域外,還存在大量地物變化,這些偽變化信息將嚴(yán)重干擾信息的提取;經(jīng)SURF算法獲取的差值圖像,能夠準(zhǔn)確地將目標(biāo)變化區(qū)域檢測(cè)出來(lái),僅僅包含少量的地物變化,可以通過(guò)后處理手段將目標(biāo)變化信息精確提取出來(lái)。
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t6.tifgt;
圖6 Harris算法圖像差值結(jié)果
lt;E:\王芳\現(xiàn)代電子技術(shù)201506\現(xiàn)代電子技術(shù)15年38卷第6期\Image\22t7.tifgt;
圖7 SURF算法圖像差值結(jié)果
4 "結(jié) "語(yǔ)
綜合分析上述實(shí)驗(yàn)結(jié)果,采用SURF算法實(shí)現(xiàn)圖像配準(zhǔn)是可行的,并且在在實(shí)現(xiàn)圖像配準(zhǔn)中具有以下優(yōu)點(diǎn):
(1) 具有較好的通用性。能夠適用于存在多種不同特征的圖像變換;
(2) 計(jì)算效率較高。對(duì)比兩組不同目標(biāo)變化前后的仿真圖像,SURF算法特征點(diǎn)提取時(shí)間及匹配時(shí)間均明顯低于Harris算法;
(3) 較高的圖像配準(zhǔn)精度。配準(zhǔn)實(shí)驗(yàn)及上述差值實(shí)驗(yàn)結(jié)果表明SURF算法可實(shí)現(xiàn)目標(biāo)變化信息精確提取。
參考文獻(xiàn)
[1] 于合龍,蘇恒強(qiáng),汪巖,等. SUSAN角點(diǎn)檢測(cè)和匹配算法在高溫變形測(cè)量中的應(yīng)用[J].航空學(xué)報(bào),2013,34(5):1064?1072.
[2] 侯艷杰,曹杰.一種基于Harris角點(diǎn)特征的圖像拼接方法[J].信息化研究,2010,36(10):23?25.
[3] 張永,紀(jì)東升.一種改進(jìn)的Harris特征點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)工程,2011,37(13):196?198.
[4] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Comput Vis, 2004, 60(2): 91?110.
[5] THAKOOR K, MARAT S, NASIATKA P, et al. Attention biased speeded up robust features (AB?SURF): a neurally?inspired object recognition algorithm for a wearable aid for the visually?impaired [C]// "Proceedings of IEEE Conference on Multimedia and Expo (ICME), Workshop on Multimodal and Alternative Perception for the Visually Impaired People. [S.l.]: IEEE, 2013:1?6.
[6] LUO Juan, GWUN Oubong. A comparison of sift, pca?sift and surf [J]. International Journal of Image Processing, 2009, 3(4): 143?152.
[7] 曾巒,顧大龍.一種基于扇形區(qū)域分割的SIFT特征描述符[J].自動(dòng)化學(xué)報(bào),2012,38(9):1513?1519.
[8] 陳賢巧.基于特征的圖像配準(zhǔn)算法研究[D].合肥:中國(guó)科學(xué)技術(shù)大學(xué),2009.
[9] 王永明,王貴錦.圖像局部不變性特征與描述[M].北京:國(guó)防工業(yè)出版社,2010.
[10] 顧大龍,曾巒,翟?xún)?yōu).基于SURF的圖像匹配算法改進(jìn)[J].現(xiàn)代電子技術(shù),2012,35(14):79?82.