基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法

王小平，王建勇，楊 塤

(重慶城市管理職業(yè)學(xué)院，重慶401331)

基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法

王小平，王建勇，楊 塤

(重慶城市管理職業(yè)學(xué)院，重慶401331)

針對(duì)基于SIFT算法的圖像拼接算法計(jì)算量大、算法復(fù)雜、匹配效率低的問題，提出一種基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法。首先采用Sobel算子快速檢測圖像興趣點(diǎn)，然后利用改進(jìn)的SURF算法進(jìn)行圖像匹配，采用隨機(jī)抽樣一致性算法消除錯(cuò)誤匹配點(diǎn)。最后對(duì)圖像通過加權(quán)平均法進(jìn)行圖像融合，消除拼接縫隙。實(shí)驗(yàn)結(jié)果表明，與基于SIFT算法的拼接方法相比，該方法具有較好的匹配精度，方法容易實(shí)現(xiàn)，且在匹配階段具有更好的匹配效率，同時(shí)能夠更好地處理拼接縫隙。

Sobel算子;改進(jìn)SURF;圖像匹配;圖像融合

數(shù)字圖像拼接是利用計(jì)算機(jī)技術(shù)將一組或多組具有重疊信息的圖像經(jīng)過匹配和融合過程，獲得單幅寬視角、廣視場的圖像。圖像拼接能夠剔除圖像中的冗余信息，壓縮圖像信息量的存儲(chǔ)，將真實(shí)世界更加客觀而形象地表現(xiàn)出來。該技術(shù)廣泛應(yīng)用于遙感測量、海底勘探、醫(yī)學(xué)圖像處理、邊防巡邏等領(lǐng)域，如2013年10月，臺(tái)風(fēng)“菲特”造成的浙江余姚地區(qū)水災(zāi)，通過無人機(jī)航拍，然后進(jìn)行圖像拼接，為政府從大局把控災(zāi)情，進(jìn)而及時(shí)救災(zāi)治害提供可靠依據(jù)，因此研究圖像拼接技術(shù)具有十分重要的意義。圖像拼接過程有3個(gè)主要步驟:圖像預(yù)處理、圖像匹配和圖像融合，其中圖像匹配是最重要的一個(gè)步驟［1］。文獻(xiàn)［2］提出一種新的基于多尺度的Harris角點(diǎn)配準(zhǔn)方法，該方法通過將圖像分塊進(jìn)行角點(diǎn)檢測，來避免圖像角點(diǎn)分布不均的問題，最后根據(jù)圖像特征點(diǎn)的最近鄰和次近鄰的歐氏距離進(jìn)行匹配對(duì)的確定，有較好的匹配效率和匹配精度。文獻(xiàn)［3］針對(duì)復(fù)制粘貼偽造圖像鑒定中傳統(tǒng)方法的鑒定方式耗時(shí)較長的不足，提出一種非對(duì)稱搜索的圖像盲檢測算法，該算法是基于SIFT特征所具有的較好的匹配性能對(duì)疑似區(qū)域進(jìn)行初步定位，使得檢測效率比傳統(tǒng)方法提高了1～2個(gè)數(shù)量級(jí)。SURF算法是對(duì)SIFT算法的改進(jìn)，比SIFT算法的匹配效率高出2～3倍左右，但其匹配精度較SIFT算法低［4］。

本文提出一種基于Sobel算子的圖像拼接方法，通過提取圖像特征點(diǎn)，采用改進(jìn)的SURF算法進(jìn)行圖像匹配，用隨機(jī)抽樣一致性算法消除錯(cuò)誤匹配點(diǎn)，提高匹配計(jì)算速率和匹配準(zhǔn)確率，在圖像融合階段采用加權(quán)平均法，消除拼接縫隙。

1 圖像匹配

圖像匹配就是在不同影像設(shè)備采集的并且存在一定重疊部分的兩幅圖像中尋找到相重合的點(diǎn)，然后利用尋找到的空間變換完成圖像對(duì)齊操作的過程。根據(jù)匹配所利用信息的不同，圖像匹配方法大致可歸納為3類:基于灰度、基于特征和基于變換域的圖像匹配方法等［5］。

SURF［6］(Speeded-Up Robust Features)算法是Herbert Bay在2006年提出的一種基于特征的圖像匹配算法，該算法是在SIFT［7］算法的基礎(chǔ)上改進(jìn)而來的，SURF算法具有優(yōu)良的尺度、旋轉(zhuǎn)、光照不變性，計(jì)算速度優(yōu)勢是其最突出的性能。SURF算法比SIFT算法的優(yōu)勢在于匹配階段的快速匹配，本文借助SURF算法的思想，對(duì)檢測到的特征點(diǎn)采用改進(jìn)的SURF算法進(jìn)行描述。SURF算法的極值點(diǎn)檢測過程是通過對(duì)圖像構(gòu)造尺度空間，然后采用Hessian矩陣并使用積分圖像來進(jìn)行特征點(diǎn)的檢測，構(gòu)造尺度空間的目的是得到穩(wěn)定的特征點(diǎn)，而采用Sobel算子得到的極值點(diǎn)具有很好的穩(wěn)定性［8］。

1.1 特征點(diǎn)提取與描述子的生成

Sobel主要是通過以一個(gè)像素點(diǎn)為中心，對(duì)周圍一定范圍內(nèi)的像素值做加權(quán)處理，進(jìn)而判斷該點(diǎn)是否處于極值狀態(tài)，Sobel算子將處于極值狀態(tài)的像素點(diǎn)標(biāo)記為邊緣點(diǎn)。具體過程如下:

1)Sobel算子采用3×3的模板進(jìn)行卷積計(jì)算，其函數(shù)矩陣為

3)由Gx，Gy可以計(jì)算得出

然后將提前設(shè)定的閾值和G(x，y)相比，如果閾值小于G(x，y)，則該點(diǎn)為邊緣點(diǎn)。

圖像檢測完極值點(diǎn)后，接下來對(duì)檢測到的點(diǎn)采用本文改進(jìn)的SURF算法進(jìn)行描述子的生成，本文改進(jìn)的SURF描述子的生成分為以下幾個(gè)步驟進(jìn)行:

1)以求得的特征點(diǎn)為中心，對(duì)半徑為6σ的圓域內(nèi)的任一點(diǎn)，求它們?cè)趚和y方向上的haar小波響應(yīng)系數(shù)。

2)然后以一個(gè)半徑為起點(diǎn)，取50°的扇形區(qū)域?yàn)橛?jì)算區(qū)域，然后令該扇形區(qū)域在圓域內(nèi)逆時(shí)針方向旋轉(zhuǎn)，每隔30°換一個(gè)位置，并分別對(duì)這個(gè)扇形區(qū)域內(nèi)x和y方向的haar小波系數(shù)的和進(jìn)行計(jì)算。

3)該系數(shù)和形成一個(gè)向量，總共有12個(gè)向量，確定這12個(gè)向量中模最大的一個(gè)向量，然后將此向量的方向作為特征點(diǎn)的主方向。

4)接下來，選取上文所檢測到的一個(gè)特征點(diǎn)，并以該點(diǎn)為中心，將坐標(biāo)系旋轉(zhuǎn)到主方向，并作一個(gè)邊長為20σ的正方形，將此正方形分為4×4的小區(qū)域，分別計(jì)算每一個(gè)小區(qū)域內(nèi)像素的x和y方向的haar小波系數(shù)，小波方形在計(jì)算時(shí)的邊長為5σ×5σ，方向和主方向一致。

5)將步驟4)求得的方形區(qū)域內(nèi)的每一像素點(diǎn)的x和y方向的haar小波系數(shù)進(jìn)行求和操作，分別得到dx和dy，然后將該區(qū)域的每一點(diǎn)像素的haar小波系數(shù)的絕對(duì)值求和，分別得到∑dx，∑dy。

6)每個(gè)區(qū)域內(nèi)得到一個(gè)向量v=［∑dx，∑dy，∑|dx|，∑|dy|］，總共有16個(gè)區(qū)域，所有的子區(qū)域的窗口向量構(gòu)成了該描述子，其維數(shù)大小為4×4×4=64。

1.2 匹配

在匹配過程中，本文相似性度量采用的是歐氏距離，即用最近距離與次近距離之比，若該比值小于某個(gè)設(shè)定閾值，則認(rèn)為是最佳匹配，否則拋棄;該閾值設(shè)置越大，則得到的匹配對(duì)數(shù)目越多，否則，得到的匹配對(duì)數(shù)目越少，本文所用的相似性判斷閾值取值為0.8。

1.3 消除錯(cuò)誤匹配

由于匹配圖像的不唯一性，不同類型的圖像對(duì)應(yīng)的歐氏距離比的閾值設(shè)置也不同，因此同一個(gè)相似性度量，可能存在部分圖像錯(cuò)誤匹配對(duì)較少，部分圖像出現(xiàn)大量的錯(cuò)誤匹配對(duì)。本文采用隨機(jī)抽樣一致算法［9］進(jìn)行錯(cuò)誤匹配對(duì)的去除。隨機(jī)抽樣一致性(Random Sample Consensus，RANSAC)是由Fishler和Bolles在1981年提出的一種估計(jì)數(shù)學(xué)模型參數(shù)的迭代算法，該算法的優(yōu)點(diǎn)是隨著模型迭代次數(shù)的增加，樣本空間的準(zhǔn)確對(duì)應(yīng)點(diǎn)所占的比率進(jìn)一步得到提高。

在RANSAC算法中，有3個(gè)參數(shù)對(duì)算法去除錯(cuò)誤匹配對(duì)的性能有較大影響，這3個(gè)閾值分別是估計(jì)次數(shù)、判定內(nèi)外點(diǎn)距離的閾值以及判斷一致性集合大小的閾值。

通過不同的視角方向?qū)ν粋€(gè)場景采集圖像，所采集的兩圖像之間存在某種一一對(duì)應(yīng)關(guān)系［7］，并且兩圖像X(x，y，1)T和X'(x'，y'，1)T之間滿足如下的透視變換關(guān)系

式中:左右兩邊存在的比例關(guān)系用“～”來表示;矩陣H有8個(gè)具有旋轉(zhuǎn)不變性的獨(dú)立變量，并且其滿足的透視變換關(guān)系可表示為

由式(7)、式(8)可看出，兩幅圖像間的變換關(guān)系可以通過4個(gè)對(duì)應(yīng)的像素匹配對(duì)來求取。

2 圖像融合

由1.3節(jié)計(jì)算出的變換關(guān)系，可以對(duì)兩幅圖像進(jìn)行變換，從而確定圖像之間的重疊區(qū)域，將兩幅圖像的匹配點(diǎn)進(jìn)行對(duì)齊操作，可以初步實(shí)現(xiàn)圖像的拼接。但是圖像在采集獲取過程中，由于各種各樣的干擾和光照影響等因素，使得圖像存在一定程度的亮度變化，這種差異會(huì)導(dǎo)致拼接后的圖像在拼接縫隙處出現(xiàn)亮度變化，使圖像拼接質(zhì)量下降。因此，圖像對(duì)齊后存在的拼接縫隙需要進(jìn)一步的處理，處理拼接縫隙的方法很多，圖像融合方法是較常見和效果較好的一類方法。

本文采用加權(quán)平均融合法進(jìn)行圖像的融合操作，處理拼接產(chǎn)生的縫隙。加權(quán)平均融合法的主要思想是:首先對(duì)重疊區(qū)域的圖像灰度值進(jìn)行加權(quán)平均，按一定的權(quán)值對(duì)每個(gè)像素點(diǎn)灰度進(jìn)行平均，然后進(jìn)行疊加處理［10］。計(jì)算公式為

式中:d1和d2分別是第一幅圖像和第二幅圖像中重疊區(qū)域?qū)?yīng)像素的權(quán)值，并且滿足d1+d2=1，0＜d1＜1，0＜d2＜1。適當(dāng)?shù)剡x擇權(quán)值，可以使得重疊區(qū)域?qū)崿F(xiàn)平滑過渡，同時(shí)消除拼接痕跡。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文方法的有效性，采用配置為Pentium 2.80 GHz，內(nèi)存為2 Gbyte的臺(tái)式計(jì)算機(jī)，在Windows XP系統(tǒng)下采用MATLAB進(jìn)行仿真驗(yàn)證。

為驗(yàn)證本文方法對(duì)旋轉(zhuǎn)、縮放、仿射變換以及亮度變化的魯棒性，本文采用國外計(jì)算機(jī)視覺領(lǐng)域?qū)I(yè)用于匹配測試的圖像對(duì)本文算法的匹配性能進(jìn)行測試，如圖1所示。其中，圖1a存在較大程度的縮放、旋轉(zhuǎn)和仿射變換，圖1b存在較大幅度的旋轉(zhuǎn)和圖像模糊，a、b兩組圖像能夠較理想地對(duì)圖像的縮放、旋轉(zhuǎn)、仿射、模糊等情況進(jìn)行測試。

圖1 測試圖像

對(duì)上述測試圖像用本文改進(jìn)的SURF算法進(jìn)行匹配，首先對(duì)測試圖像進(jìn)行Sobel特征點(diǎn)提取，然后將提取的特征點(diǎn)采用改進(jìn)的SURF算法進(jìn)行64維描述子的構(gòu)建，接著采用歐氏距離作為相似性判斷準(zhǔn)則進(jìn)行相似性判斷，獲得初始匹配對(duì)，最后對(duì)初始匹配對(duì)進(jìn)行RANSAC提純，消除錯(cuò)誤匹配對(duì)，結(jié)果如圖2所示。

圖2 匹配結(jié)果

經(jīng)過仿真驗(yàn)證，本文方法有較好的匹配效果，在圖2a測試結(jié)果中，匹配145對(duì)，正確匹配138對(duì)，匹配準(zhǔn)確率達(dá)到95.17%;在圖2b測試結(jié)果中，匹配413對(duì)，正確匹配396對(duì)，匹配的準(zhǔn)確率達(dá)到95.88%。除此以外，本文分別用本文匹配方法、SIFT算法、PCA-SIFT算法及SURF算法對(duì)5組不同類型的圖像進(jìn)行測試，為較快對(duì)本文方法的有效性進(jìn)行檢驗(yàn)，本文選取的5組圖像均為分辨率較小的圖像。

對(duì)實(shí)驗(yàn)的匹配準(zhǔn)確率和匹配時(shí)間進(jìn)行統(tǒng)計(jì)，結(jié)果如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

通過表1中的數(shù)據(jù)統(tǒng)計(jì)可以發(fā)現(xiàn)，在匹配準(zhǔn)確率方面，與PCA_SIFT算法、SURF算法相比，經(jīng)典的SIFT算法在圖像匹配中的匹配準(zhǔn)確率較高，高出后兩者的2%～6%;與SIFT算法相比，本文方法在匹配準(zhǔn)確率方面優(yōu)勢較為明顯，高于SIFT算法6%～9%。在匹配時(shí)間方面，SIFT算法的效率明顯低于PCA_SIFT算法與SURF算法，本文算法在匹配時(shí)間方面優(yōu)勢明顯，大約為SIFT算法匹配時(shí)間的60%，同時(shí)高于PCA_SIFT算法與SURF算法。

最后，對(duì)圖像進(jìn)行對(duì)齊操作以后，應(yīng)用加權(quán)平均融合法對(duì)圖像進(jìn)行融合處理，因?yàn)楸疚牡膱D像匹配階段，具有較好的匹配精度，因此，圖像拼接的效果十分理想。對(duì)圖像進(jìn)行加權(quán)平均融合后，較好地處理了圖像的拼接縫隙，達(dá)到較理想的拼接目的。拼接實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 圖像拼接結(jié)果

4 結(jié)束語

本文提出一種改進(jìn)的圖像拼接方法，對(duì)圖像拼接的關(guān)鍵——圖像匹配步驟進(jìn)行改進(jìn)，結(jié)合Sobel算子提取算法的突出檢測性能，通過改進(jìn)的SURF算法進(jìn)行描述子構(gòu)建，最后經(jīng)過匹配和融合將圖像進(jìn)行拼接，具有良好的匹配精度和匹配效率，尤其在圖像像素點(diǎn)數(shù)目較多的時(shí)候，能獲得更好的匹配性能;并且通過圖像融合，能夠很好地處理拼接縫隙，實(shí)現(xiàn)圖像快速精準(zhǔn)拼接。在遙感圖像拼接、地理信息勘測等高分辨率圖像處理領(lǐng)域具有一定的應(yīng)用價(jià)值。

［1］劉春曉，金劍秋，彭群生.利用大位移視圖的自動(dòng)可信圖像修補(bǔ)［J］.中國圖象圖形學(xué)報(bào)，2013，18(3):351-357.

［2］常麗萍，冀小平，趙梁.分塊的基于Harris角點(diǎn)檢測的圖像配準(zhǔn)方法［J］.電視技術(shù)，2013，37(1):45-47.

［3］杜振龍，楊凡，李曉麗，等.利用SIFT特征的非對(duì)稱匹配圖像拼接盲檢測［J］.中國圖象圖形學(xué)報(bào)，2013，18(4):442-449.

［4］羅楠，孫權(quán)森，耿蕾蕾，等.一種擴(kuò)展SURF描述符及其在遙感圖像配準(zhǔn)中的應(yīng)用［J］.測繪學(xué)報(bào)，2013，42(3):383-388.

［5］謝輝，劉瀏，李建勛.基于局部結(jié)構(gòu)特征的紅外與可見光圖像匹配［J］.計(jì)算機(jī)工程，2012，38(15):230-233.

［6］BAY H，TUVTELLARST，GOOL L.SURF:speeded up robust features［C］//Proc.the European Conference on Computer Vision.［S.l.］: IEEE Press，2006:404-417.

［7］ LOWE D.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60(2):91-110.

［8］吳麗麗，余春艷.基于Sobel算子和Radon變換的車牌傾斜校正方法［J］.計(jì)算機(jī)應(yīng)用，2013，33(S1):220-222.

［9］FISHLER M，BOLLES R.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］宋寶森，付永慶，宋海亮.一種消除圖像拼接痕跡的新方法［J］.計(jì)算機(jī)科學(xué)，2011，38(2):260-264.

Image Stitching M ethod Based on Sobel Operator and Im proved SURF Algorithm

WANG Xiaoping，WANG Jianyong，YANG Xun
(Chongqing City Management College，Chongqing 401331，China)

Aim at the problem of SIFT-based algorithm of image stitching algorithm intensive calculation and complicated algorithm，low efficiency of thematching problem，amethod based on Sobel operator and improved image stitching method SURF algorithm is presented.Firstly，detecting image points of interest quickly by Sobel operator，and then doing imagematching algorithm by the improved SURF algorithm，and eliminating the error consistencymatch point by random sampling.Finally，eliminating splicing gap of image fusion by weighted averagemethod.Experimental results show that，compared with the imagemosaic method of SIFT algorithm，thismethod is easy to implement，and has a bettermatch efficiency and precision，at the same time thismethod can handle the splicing gap much better.

Sobel operator;improved surf;imagematching;image fusion

TN949.6

A

王小平(1973— )，碩士，副教授，主要研究方向?yàn)橥ㄐ畔到y(tǒng)、數(shù)字信號(hào)處理、嵌入式系統(tǒng)開發(fā)等，為本文通訊作者;

?? 雯

2014－04－09

【本文獻(xiàn)信息】王小平，王建勇，楊塤.基于Sobel算子和改進(jìn)SURF算法的圖像拼接方法［J］.電視技術(shù)，2014，38(13).

國家自然科學(xué)基金項(xiàng)目(61275099)

王建勇(1983— )，碩士，講師，主要研究方向?yàn)閳D像處理、通信網(wǎng)等;

楊 塤(1983— )，女，碩士，講師，主要研究方向?yàn)閿?shù)字信號(hào)處理、通信技術(shù)。