基于相位相關法與改進SURF算法的圖像拼接方法

劉鵬飛 高如新

摘 要：為避免相鄰圖像非重疊區(qū)域特征點被檢測和提取，加速圖像配準，提出一種基于相位相關法與改進SURF算法的快速圖像拼接方法。該方法采用相位相關算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點檢測、提取范圍，用改進的SURF算法進行特征點匹配;然后根據MSAC算法剔除誤配后的特征點匹配對，求取單應性矩陣，實現圖像之間的快速配準;最后采用多波段融合算法對配準后的圖像進行處理以消除拼接縫。實驗結果表明，與傳統(tǒng)算法相比，該方法可提高特征點匹配正確率，加速圖像配準過程，完成拼接圖像間的平滑過渡。

關鍵詞：圖像配準; 相位相關法; 改進SURF算法; 特征點匹配; 圖像融合; 多波段融合

0 引言

圖像拼接技術是對取自不同時間、不同視角或不同傳感器的有一定重疊區(qū)域的兩幅或多幅圖像進行拼接，從而形成一幅大型、無縫全景圖像的技術。它因成本價格低廉、實現方法簡單、性能質量優(yōu)越成為獲取全景圖像的一種常用方法，被廣泛應用于宇宙空間探測、醫(yī)學圖像、視頻檢索、虛擬現實等多個領域[1-2]。

圖像拼接基本流程包括圖像預處理、圖像配準、圖像融合等[3]，其中圖像配準和融合對拼接速度與效果有主要影響作用。圖像配準決定拼接成功與否，比較經典的配準方法有：Harris角點檢測算法、SIFT算法、SURF算法。Harris角點檢測算法在實際應用中最廣泛，具有計算相對簡單、穩(wěn)定性較高等特點，但在提取角點時抗噪能力差及存在不必要角點簇等缺點[4];SIFT算法保持了尺度、旋轉、亮度等不變性，且在角度變化、仿射變換和噪聲處理方面有一定的穩(wěn)定性，但時間性能較低、匹配精度不高[5];SURF算法優(yōu)勢主要體現在速度上，比SIFT算法快3倍左右，但3種算法均存在特征點匹配效率不高的缺點。本文采用相位相關算法確定待拼接圖像的重疊區(qū)域，限定SURF特征點檢測、提取范圍，并用改進的SURF匹配算法提高特征點匹配效率，為消除拼接縫作準備;同時通過確定待融合圖像重疊區(qū)域內每一個像素點的取值，實現圖像平滑過渡。

1 圖像配準

1.1 圖像配準相應算法

圖像配準指將不同時間、不同傳感器（成像設備）或不同條件下（氣候、照度、攝像位置和角度等）獲取的兩幅或多幅圖像進行匹配、疊加，實現待配準圖像幾何意義上的對齊[6]。圖像配準算法分為三大類：一類是基于頻域的（相位相關度方法）Fourier變換位移理論;另一類是基于像素灰度級的算法，操作較簡單的算法包括塊匹配法、模板匹配法;第三類是基于特征點的算法，利用在圖像中檢測到明顯特征點的正確匹配對計算圖像之間的變換。鄭志彬、葉中付[7]提出在給定參考圖像小區(qū)域的情況下尋找待配準圖像中相同大小的區(qū)域，使在對數極坐標表示下，這兩個小區(qū)域圖像的互功率譜經傅里葉反變換后是一個二維脈沖信號。由此得到圖像配準所需的各項參數，配準效果良好;缺點是參考圖像中心截取的區(qū)域在待配準圖像中必須存在，否則配準失敗;高新杰、李德勝[8]提出一種改進的基于比值法與模板匹配法的灰度圖像拼接算法，通過設置拼接參數對話框找到待匹配圖像中與參考圖像某像素點對應的最佳匹配點，最后利用平滑因子對兩幅圖像的重疊區(qū)域進行數據融合操作，實現了灰度圖像快速圖像拼接，但該方法對圖像重疊區(qū)域要求很高。Herbert Bay[9]提出的經典SURF算法是SIFT算法的改進，盒子濾波與積分圖像的運用加速了SURF特征點檢測和提取過程，同時利用Hessian矩陣跡的正負性加速特征點匹配。實驗結果表明：SURF算法可保持旋轉、尺度變換、亮度不變性，對視角變換、噪聲也有一定程度的穩(wěn)定性，是一種更高效的特征匹配方法，但在分辨率和流暢度較高的大型應用場合，仍不能滿足實時性需求。本文結合兩種算法的速度優(yōu)勢，在保證SURF算法魯棒性的前提下，進一步提高圖像配準速度。

1.2 相位相關法與改進SURF相結合的配準方法

傳統(tǒng)SURF算法是在整幅圖像而不是重疊區(qū)域提取特征點，不必要的特征檢測和提取會導致配準時耗過大。為解決該問題，本文首先結合相位相關法的平移特性粗略獲得待拼接圖像的重疊區(qū)域，然后根據SURF特征點魯棒性對具有重疊區(qū)域相鄰兩幅圖像進行特征點提取，同時利用改進SURF匹配算法進行特征點匹配。

1.2.2 改進SURF算法特征點匹配與圖像配準

SURF特征點檢測和提取過程[13-14]主要包括：首先建立積分圖像，并用不同尺寸的框狀濾波器處理原始圖像感興趣區(qū)域，相鄰層相減建立尺度空間;然后依靠近似的Hessian矩陣行列式求出局部最大值像素點，將其作為興趣點，對應的二維數組下標即為興趣點在圖像中的位置;利用Haar小波確定興趣點主方向后，構建描述子向量（見圖4）。

在特征點匹配階段，本文采用向量空間余弦相似度度量方法改進SURF匹配算法。余弦相似度測度[15]指計算特征點間的相似程度，將向量根據坐標值繪制到向量空間，計算向量夾角對應的余弦值，該余弦值可表征兩個特征點向量的相似性。余弦值越大，說明兩特征點向量之間的夾角越小，匹配相似度越大。度量標準——閾值K可由實驗獲得，保留大于閾值K的余弦值，反之則刪除，以此作為計算匹配對數和索引匹配對位置坐標的依據。對于兩個向量a和b，余弦相似度[S（a，b）]表達式為：

完成圖像坐標變換[19-20]和映射的具體過程如下：使用輸出限制法（Output Limit Method）計算待拼接的每幅圖像變換矩陣最小、最大輸出限制以及拼接后全景尺寸，創(chuàng)建一個初始化、空的全景，將所有圖像映射到全景中。其中，全景尺寸由imref2d創(chuàng)建的二維空間參考對象定義，空的全景初始化依據水平和垂直方向最小、最大輸出限制由zero函數完成，使用imwarp函數把單幅圖像映射到全景當中，利用vision.AlphaBlender函數實現相鄰兩幅圖像重疊區(qū)域的覆蓋和對齊，效果如圖7所示。

2 圖像融合

圖像融合指用特定算法對待拼接圖像重疊區(qū)域進行融合，拼接重構后得到平滑無縫的全景圖像。本文采用Burt & Adelson[21]的多波段融合算法對配準得到的全景圖像進行融合。該融合算法基本思想是圖像可以分解為不同頻率的圖像疊加，在不同頻率上，應該使用不同的權重進行融合，在低頻部分應該使用波長較寬的加權信號（例如高斯核函數中sigma比較大），在高頻部分應該使用較窄的加權信號（例如高斯核函數的sigma比較?。??；静襟E為：①獲取相鄰兩幅圖像的Gaussian金字塔序列;②獲得每一路圖像的Laplacian金字塔;③Laplacian金字塔序列對應級融合[22]，可以得到融合后的全景圖像（見圖8）。從圖中可以看到融合后的全景圖在重疊位置過渡平滑自然，基本消除了拼接縫。

3 實驗結果與分析

利用Matlab R2015b軟件對采集的校園圖像進行拼接，圖片拍攝過程中相機處于大致同一水平高度，程序中輸入的圖像是降低分辨率的寢室圖像。為驗證本文算法可行性，對另一組圖片進行拼接。原始圖像和實驗結果如圖9-圖11所示。由圖10、11可以看到，拼接后的圖像增大了視場，提高了空間分辨率。

特征點正確匹配率和匹配時間可體現算法效率和速度。本文算法從以上兩個方面與經典Harris算法、SIFT算法、SURF算法進行對比，結果如表1所示。

經過多組相鄰圖像匹配實驗可知：在經典算法中，SURF匹配速度最快，不到SIFT耗時的一半，兩者正確匹配率相當;本文算法與經典SURF算法相比，正確匹配率高出了至少10個百分點，耗時約為后者的一半。因此本文算法在匹配效率和速度上均有比較明顯的優(yōu)勢。

4 結語

本文充分利用相位相關算法與改進SURF算法的速度優(yōu)勢，提出了全景圖像拼接的優(yōu)化算法。該算法設計成熟且硬件實現較簡單。由實驗結果可知，該算法在提高拼接速度的基礎上，提高了特征點匹配效率，具有一定的穩(wěn)定性，拼接效果好。但對于圖像特征豐富程度很低的仿真組，如墻壁、天空等圖片，利用本文算法無法采集到有效特征點。此外，MSAC算法剔除誤配過程中參數設置過于苛刻，導致大部分正確匹配的特征點對被剔除，因此圖像某部分配準精度不高，甚至可能無法得到計算單應性矩陣所需的充分數據，最終造成圖像拼接失敗。未來將針對算法缺點作進一步深入研究。

參考文獻：

[1] 葉朝陽. 大視圖圖像拼接：原理和應用[D]. 杭州：浙江大學，2004.

[2] 鄭海珍. 圖像拼接技術的研究與應用[D]. 杭州：杭州電子科技大學，2010.

[3] 羅群明，施霖. 圖像拼接方法綜述[J]. 傳感器與微系統(tǒng)，2017，36（12）：4-6+12.

[4] 趙艷，江澤濤. 一種改進的Harris角點檢測算法[J]. 桂林電子科技大學學報，2017，37（5）：401-405.

[5] 盛明偉，唐松奇，萬磊，等. 二維圖像拼接技術研究綜述[J]. 導航與控制，2019，18（1）：27-34+96.

[6] 謝正. 基于特征點的快速圖像匹配算法研究[D]. 長沙：國防科技大學，2011.

[7] 鄭志彬，葉中付. 基于相位相關的圖像配準方法[J]. 數據采集與處理，2006，21（4）：444-449.

[8] 高新杰，李德勝. 基于比值法和模板匹配法的灰度圖像拼接[J]. 微計算機信息，2007，23（36）：277-279.

[9] BAY H，ESS A，TUYTELAARS T，et al. Speeded-up robust features[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[10] 陳月，趙巖，王世剛. 基于SIFT特征矢量圖的快速圖像拼接方法[J]. 吉林大學學報：理學版，2017，55（1）：116-122.

[11] 吳憲祥，郭寶龍，王娟. 基于相位相關的柱面全景圖像自動拼接算法[J]. 光學學報，2009，7（29）：1824-1829.

[12] 厲丹，肖理慶，田雋，等.? 基于改進相位相關與特征點配準的多圖拼接算法[J]. 計算機科學，2018，45（1）：313-319.

[13] 符秀輝，周文俊，趙茂鑫. 基于改進surf算法的室內環(huán)境圖像快速拼接[J]. 計算機技術與發(fā)展，2015，8（25）：39-42+47.

[14] 趙書睿. 全景圖像拼接關鍵技術研究[D]. 成都：電子科技大學，2013.

[15] 張曉宇，何文思，段紅燕，等. 改進的SURF特征提取與匹配算法[J]. 機械設計與制造工程，2018，11（47）：58-62.

[16] TORR P H S， MURRAY D W. The development and comparison of robust methods for estimating the fundamental matrix[J].? International Journal of Computer Vision， 1997， 24（3）：271-300.

[17] CHOI S，KIM T，YU W. Performance evaluation of RANSAC family[C]. Proceedings of the British Machine Vision Conference，2009： 1-12 .

[18] 卜珂. 基于SURF的圖像配準與拼接技術研究[D]. 大連：大連理工大學，2009.

[19] 潘子陽. 基于360°全景的圖像拼接技術研究[D]. 合肥：合肥工業(yè)大學，2017.

[20] 楊艷偉. 基于SIFT特征點的圖像拼接技術研究[D]. 西安：西安電子科技大學，2009.

[21] BURT P，ADELSON，E A. Multiresolution spline with application to image mosaics[J]. ACM Transactions on Graphics，1983，2（4）：217-236.

[22] 倪國強. 多波段圖像融合算法研究及其新發(fā)展（II）[J]. 光電子技術與信息，2001，14（6）：1-6.

（責任編輯：江 艷）