基于ASIFT的低重疊度圖像拼接研究

何永潔，陳孝威

(貴州大學(xué)計算機(jī)科學(xué)與信息學(xué)院，貴州貴陽550025)

0 引言

近年來，圖像拼接已成為計算機(jī)圖形圖像處理、計算機(jī)視覺等領(lǐng)域眾多學(xué)者研究的熱點(diǎn)［1］，并且在數(shù)字視頻、運(yùn)動分析、虛擬現(xiàn)實(shí)技術(shù)、醫(yī)學(xué)圖像分析、遙感圖像處理等領(lǐng)域得到廣泛應(yīng)用［2］。圖像拼接技術(shù)主要是利用計算機(jī)進(jìn)行自動匹配將兩幅或者兩幅以上具有重疊區(qū)域的圖像進(jìn)行無縫拼接，從而得到一副較寬視野的高分辨率圖像［3］。

現(xiàn)有的圖像拼接方法通常根據(jù)采用的圖像匹配算法，分為基于區(qū)域的拼接方法和基于特征的拼接方法兩種?；谔卣鞯钠唇臃椒?，拼接過程包括圖像預(yù)處理，特征提取與匹配，圖像配準(zhǔn)和圖像融合等步驟，其中特征提取與匹配最為關(guān)鍵，對圖像拼接精度有著直接的影響［4］。SIFT(scale invariant feature transform)算法是由David G Lowe于2004年提出并完善的一種能夠抵抗旋轉(zhuǎn)、平移、尺度以及部分光照和部分仿射變換的圖像匹配算法［6］。該算法應(yīng)用于圖像拼接中，可以實(shí)現(xiàn)對差異較大的復(fù)雜序列圖像的拼接［7］。

然而，當(dāng)采集的原始圖像重疊度過低，兩幅圖像會產(chǎn)生明顯的視角差異，且兩者的共有特征點(diǎn)減少，同時非重疊部分的大量圖像信息對圖像匹配進(jìn)行干擾，從而使匹配結(jié)果不理想，無法得到滿意的拼接結(jié)果。為了改善低重疊度圖像的拼接效果，本文提出了一種基于ASIFT(Affine Scale Invariant Feature Transform)圖像匹配算法［8-9］的低重疊度圖像拼接方法。

1 基于ASIFT的低重疊度圖像拼接方法

基于ASIFT的低重疊度圖像拼接方法采用ASIFT算法進(jìn)行特征點(diǎn)檢測與匹配，采用RANSAC(RANdom SAmple Consensus)算法、LM(Levenberg-Marquardt)算法［10］求解求精變換矩陣，最后采用基于最佳縫合線的多分辨率融合［11］，實(shí)現(xiàn)低重疊度條件下的無縫圖像拼接。

該方法流程如圖1所示。其中，矩形表示相關(guān)的操作，實(shí)線表示流程的走向。具體描述如下:

(1)采集低重疊度的圖像序列作為輸入;

(2)采用ASIFT圖像匹配算法進(jìn)行特征點(diǎn)檢測與匹配，得到匹配點(diǎn);

(3)匹配點(diǎn)作為輸入數(shù)據(jù)，采用RANSAC算法估算初始變換矩陣;

(4)采用LM算法求精初始變換矩陣;

(5)使用變換矩陣將圖像序列投影到同一坐標(biāo)系下，得到一幅配準(zhǔn)后的圖像;

(6)在配準(zhǔn)后圖像的重疊區(qū)域?qū)ふ乙粭l最佳縫合線，最佳縫合線直接將重疊區(qū)分割成兩部分，其每一部分都是從一幅圖像上選取［12］，從而得到縫合后的圖像;

(7)對重疊部分構(gòu)建高斯和拉普拉斯金字塔［11］，進(jìn)行多分辨率融合。

圖1 基于ASIFT的低重疊度圖像拼接方法流程

本文以下主要簡述圖像配準(zhǔn)中的ASIFT圖像匹配算法，及RANSAC算法。

2 ASIFT圖像匹配算法

目前，圖像拼接通常采用SIFT圖像匹配算法，但當(dāng)采集的原始圖像重疊度過低時，無法得到滿意的拼接結(jié)果。

ASIFT算法首先對圖像進(jìn)行仿射變換，然后在得到的模擬圖像上搜索特征點(diǎn)，因此，它進(jìn)一步完善了SIFT算法，應(yīng)用于低重疊度圖像拼接中，能夠在嚴(yán)苛的條件下，檢測出更豐富更精確的特征點(diǎn)，為求解變換矩陣，實(shí)現(xiàn)圖像配準(zhǔn)，奠定了良好的基礎(chǔ)。

ASIFT圖像匹配算法是由Jean-Michel Morel于2008年提出［8］，其算法原理及流程如下。

2.1 算法原理

如文獻(xiàn)［8］所述，利用相機(jī)將空間景物平面投影成為數(shù)字圖像的過程屬于透視投影。其投影模型可用下式描述

當(dāng)拍攝景物距離相機(jī)光心的距離遠(yuǎn)大于相機(jī)焦距時，可將拍攝景物所在位置看作一個平面。因此，式 (1)中μ0表示景物平面;T和R分別表示由相機(jī)運(yùn)動引起的圖像的平移和旋轉(zhuǎn)變換;A表示對景物平面的透視投影;G表示高斯卷積，用來模擬光學(xué)模糊;S表示標(biāo)準(zhǔn)的采樣操作;μ表示最終所得數(shù)字圖像。

對以上模型進(jìn)一步簡化，可以將A簡化為仿射變換。通過以上模型可知:相機(jī)位置的改變能夠引起任意的行列式為正的仿射變換。由此，可以將相機(jī)運(yùn)動方式與仿射變換形式聯(lián)系起來，得到以下定理。

其中λ＞0，λt是A的行列式;Ri表示旋轉(zhuǎn)矩陣表示傾斜，是對角矩陣，第一個特征值t＞1，第二個特征值等于1。該公式也遵循奇異值分解原則(SVD)［10］。其幾何解釋如圖2(a)所示。

圖2 ASIFT圖像匹配算法原理

圖2 (a)中，坐標(biāo)系Xμ0Y表示景物平面坐標(biāo)系，μ0為坐標(biāo)系的原點(diǎn);其上方的三個平行四邊形的坐標(biāo)系分別為xO3y、xO1y和xO2y，它們表示不同位置下的相機(jī)坐標(biāo)系; 和表示相機(jī)位于O2位置時，光軸的經(jīng)度和緯度，它們共同決定了相機(jī)的光軸方向，即視角;ψ表示相機(jī)繞光軸O2μ0的自轉(zhuǎn)角度;λ表示尺度參數(shù)。由此可知，當(dāng)相機(jī)位于O1位置時，相機(jī)正對景物平面，相機(jī)坐標(biāo)系xO1y平行于景物平面坐標(biāo)系Xμ0Y，此時，各參數(shù)值為:λ=1，t=1， =θ=ψ=0。當(dāng)相機(jī)移動，位置發(fā)生改變，將引起仿射變換A的參數(shù)發(fā)生變化，從而使得到的數(shù)字圖像產(chǎn)生很大的差異。

假設(shè)圖2(a)中平面μ0表示兩幅圖像的重疊區(qū)域，則光軸O2μ0和O1μ0可代表兩次拍攝的光軸方向。因此，當(dāng)夾角θ過大，或者 不為0時，不僅會造成兩幅圖像重疊度低，并且重疊部分還會存在嚴(yán)重的仿射變換。圖2(b)為低重疊度圖像的重疊部分，圖中標(biāo)注部分顯示出明顯的仿射變換。對于這種情況，SIFT圖像匹配算法已無法得到可實(shí)現(xiàn)良好拼接的匹配結(jié)果，ASIFT算法依靠其較高的匹配精度，則依然能夠取得較好的拼接結(jié)果。

2.2 算法過程

ASIFT算法過程如下:

(1)獲取仿射變換參數(shù) 和θ

其操作是對經(jīng)度 和緯度θ進(jìn)行采樣。首先，對緯度θ按以下等比數(shù)列采樣:1，a，a2，…，an，其中a＞1。通常取此時采樣的精確度和稀疏度可達(dá)到一個平衡。由于對緯度θ采樣等同對傾斜參數(shù)t進(jìn)行采樣，當(dāng)n 5時，光軸的傾斜t可達(dá)到32以上。然后，對每一個緯度采樣樣本，在其經(jīng)度 上，按以下算術(shù)序列采樣:其中為取得采樣精確度和稀疏度的平衡，取b72°，k為滿足條件的最后一個整數(shù)。

(2)產(chǎn)生仿射變換后的模擬圖像

利用采樣得到的參數(shù)序列，根據(jù)式 (1)和式 (2)，對待匹配的兩幅圖像進(jìn)行仿射變換，得到原圖像在所有可能的仿射變換情況下的模擬圖像。

(3)特征點(diǎn)檢測與匹配

采用SIFT圖像匹配算法對所有可能的仿射變換情況下得到的兩幅模擬圖像進(jìn)行特征點(diǎn)檢測與匹配。

3 RANSAC算法

相機(jī)運(yùn)動會使得到的關(guān)于同一場景的數(shù)字圖像有很大差異，這種差異在具有重疊的圖像序列上表現(xiàn)尤為明顯。在這些圖像的重疊部分一般存在坐標(biāo)系統(tǒng)不一致的問題［13］。圖1的圖像配準(zhǔn)中，采用以下方法解決該問題。

為了實(shí)現(xiàn)將待匹配圖像變換到參考圖像的坐標(biāo)系中，利用齊次坐標(biāo)，建立圖像之間的關(guān)系模型的表達(dá)式為［14］

第三，推廣現(xiàn)代農(nóng)耕技術(shù)，提高太陽能的轉(zhuǎn)化效率，充分利用綠色植物的光合作用，加速物質(zhì)流和能量流在生態(tài)系統(tǒng)中的運(yùn)動過程，提高農(nóng)業(yè)生產(chǎn)力。

式中:p'(x'，y'，1)——參考圖像坐標(biāo)系中的點(diǎn)，p(x，y，1)——待匹配圖像坐標(biāo)系中的點(diǎn)，H——投影變換矩陣。構(gòu)成H的h2——水平方向位移;h5——垂直方向位移;h0、h1、h3、h4——尺度和旋轉(zhuǎn)量;h6和 h7——水平和垂直方向的變形量。由此可知，圖像配準(zhǔn)問題其實(shí)就是研究在某種攝像機(jī)運(yùn)動下拍攝的不同圖像的圖像模型參數(shù)求解問題［15］，即求解投影變換矩陣H。

1對匹配點(diǎn)可以得到2個方程式，為了求解出H中的8個參數(shù)，需要至少4對匹配點(diǎn)，構(gòu)造如下方程組

式 (4)中，超定方程的最小二乘解，可以利用SVD分解得到一個較穩(wěn)定的計算結(jié)果。因此，變換矩陣的精確度主要取決于選擇的匹配點(diǎn)的精確度。

RANSAC(random sample consensus)方法是由Fischler和Bollers于1981年所引入的魯棒方法［10］，將其應(yīng)用于變換矩陣求解中，可以達(dá)到剔除錯誤匹配點(diǎn)，選擇出質(zhì)量好的匹配點(diǎn)來計算變換矩陣的目的。RANSAC算法步驟如下:

(1)在所有匹配點(diǎn)集合P中，隨機(jī)選取n對匹配點(diǎn)(n 4)，由式 (4)，計算得到變換矩陣H';

(2)采用式 (3)，計算集合P中其余匹配點(diǎn)在變換矩陣H'下的投影變換結(jié)果，再計算該結(jié)果與其在P中對應(yīng)的匹配點(diǎn)的誤差，并統(tǒng)計誤差值小于某一閾值t的點(diǎn)數(shù)，這些點(diǎn)被稱為內(nèi)點(diǎn)，其構(gòu)成的集合p，是當(dāng)前變換矩陣H'的一致集;

(3)如果一致集p中匹配點(diǎn)數(shù)目大于某一閾值T，則保留該一致集，否則返回步驟 (1);

由此可知，想要估算出正確的變換矩陣，匹配點(diǎn)集合P中的最大一致集必須存在，并且由正確匹配點(diǎn)構(gòu)成。如果集合P中的錯誤匹配點(diǎn)過多，則采用RANSAC算法隨機(jī)選取n對匹配點(diǎn)時，會增大選取錯誤匹配點(diǎn)的概率，降低估算出正確變換矩陣H的概率，從而使實(shí)現(xiàn)圖像配準(zhǔn)變得困難。在低重疊度條件下，ASIFT算法相較于SIFT算法的匹配結(jié)果，其誤匹配率更低，這為采用RANSAC算法估算出正確的初始變換矩陣奠定了基礎(chǔ)。

4 實(shí)驗結(jié)果

圖像獲取是實(shí)現(xiàn)圖像拼接的前提條件［16］。本文通過手持相機(jī)旋轉(zhuǎn)采集同一場景的不同重疊度的圖像序列進(jìn)行實(shí)驗。原圖像大小為640×360像素，圖3(a)和圖3(b)為SIFT算法和ASIFT算法的一組匹配結(jié)果對比圖，其重疊區(qū)域為110×300像素，重疊區(qū)域?qū)挾日紙D像總寬度的17%左右;圖3(c)和圖3(d)為SIFT算法和ASIFT算法的另一組匹配結(jié)果對比圖，其重疊區(qū)域為40×290像素，重疊區(qū)域?qū)挾日紙D像總寬度的6%左右。圖3中矩形標(biāo)注部分表示匹配點(diǎn)集合P中的一致集，它包含了大部分的正確匹配點(diǎn)。

圖3 不同重疊度下SIFT和ASIFT算法匹配結(jié)果對比

可以看出，圖3(a)和圖3(c)中，SIFT算法在圖像重疊度較低情況下，由于兩幅圖像的共有信息較少，非重疊部分的大量信息對圖像匹配造成干擾，出現(xiàn)了很多明顯的錯誤匹配點(diǎn)，誤匹配率很高。過高的誤匹配率，使得采用RANSAC算法隨機(jī)選取n對匹配點(diǎn)時，選取到錯誤匹配點(diǎn)的概率升高，求解出正確變換矩陣的概率變低。假設(shè)誤匹配率為50%，在至少選擇4對匹配點(diǎn)的情況下，每次隨機(jī)抽樣，全部選中正確匹配點(diǎn)計算出正確的變換矩陣的概率僅剩6.25%。圖3(b)和圖3(d)中，明顯的誤匹配點(diǎn)極少，檢測出的匹配點(diǎn)多為正確的，這為求解正確的變換矩陣奠定了基礎(chǔ)。

表1 不同重疊度SIFT與ASIFT算法匹配結(jié)果比較

表1為在不同重疊度下SIFT和ASIFT算法匹配點(diǎn)數(shù)的比較。結(jié)合圖3與表1可知:當(dāng)圖像重疊度較大時，ASIFT算法較SIFT算法能夠檢測出更多的匹配點(diǎn)，且誤匹配率更低;當(dāng)圖像重疊區(qū)域過小時，SIFT算法的誤匹配率升高，ASIFT算法依然能夠保持其匹配的正確率。

圖4為拼接結(jié)果對比圖，其中四邊形標(biāo)注部分表示兩幅圖像融合后的重疊區(qū)域。圖4(a)和圖4(b)是以SIFT算法和ASIFT算法的匹配結(jié)果為基礎(chǔ)的拼接結(jié)果對比圖，其重疊區(qū)域為110×300像素。以圖3(a)中SIFT算法的匹配結(jié)果為基礎(chǔ)，求解變換矩陣，固定閾值t為2.5像素，則閾值T設(shè)置超過總匹配點(diǎn)數(shù)的77%時，便很難找到滿足條件的一致集。實(shí)驗過程中，嘗試增加抽樣次數(shù)，增長尋找時間，依然無法解出變換矩陣，然而通過減小閾值T或增大閾值t的方法解出的變換矩陣，則出現(xiàn)了嚴(yán)重的錯誤，如圖4(a)所示。在同樣的重疊度下，ASIFT算法檢測出的匹配點(diǎn)多達(dá)636個，且精度高，閾值T設(shè)置為總匹配點(diǎn)數(shù)的95%時，也能夠找到滿足條件的一致集，得到正確的變換矩陣，最終得到一個良好的拼接結(jié)果，如圖4(b)所示。

圖4 不同重疊度下SIFT和ASIFT算法匹配結(jié)果對比

當(dāng)重疊區(qū)域減小到40×290像素時，以圖3(c)中SIFT匹配結(jié)果為基礎(chǔ)進(jìn)行圖像拼接，如果固定閾值t不變，則閾值T需降至總匹配點(diǎn)數(shù)的45%，才能夠勉強(qiáng)求解出變換矩陣，且該變換矩陣還存在嚴(yán)重錯誤，其拼接結(jié)果如圖4(c)所示。此外，使用微軟公司設(shè)計的圖像合成編輯器Microsoft ICE進(jìn)行拼接實(shí)驗，由于重疊度過低，該軟件無法得到拼接結(jié)果。圖4(d)為重疊區(qū)域大小在40×290像素時，以ASIFT匹配結(jié)果為基礎(chǔ)的拼接結(jié)果，其拼接效果良好。

5 結(jié)束語

本文提出了一種基于ASIFT的低重疊度圖像拼接方法。該方法采用ASIFT圖像匹配算法進(jìn)行特征點(diǎn)檢測與匹配，相較于傳統(tǒng)采用的SIFT算法，該算法能夠檢測出更豐富的匹配點(diǎn)，且在低重疊度下依然能夠保持其匹配精度，僅保留精確的匹配點(diǎn)，從而為求解變換矩陣奠定了良好的基礎(chǔ)，為圖像配準(zhǔn)創(chuàng)造了更好的條件。實(shí)驗證明，本文方法在處理低重疊度圖像拼接上存在顯著優(yōu)勢，具有更好的實(shí)用價值。

［1］ZHANG Hua.Key techniques study on scene image mosaic［D］.Tianjin:Tianjin University，2008(in Chinese).［張樺.場景圖像拼接關(guān)鍵技術(shù)研究 ［D］.天津:天津大學(xué)，2008.］

［2］HE Ying，WANG Ling.Image stitching algorithm based on feature block and wavelet transform ［J］.Computer Engineering and Design，2011，31(9):1958-1975(in Chinese).［何穎，王玲.基于特征塊和小波變換的圖像拼接算法［J］.計算機(jī)工程與設(shè)計，2011，31(9):1958-1975.］

［3］LAIYufeng，CHENGLianglun.PCB image mosaicsalgorithm based on wavelet transformation and phase correlation［J］.Application Research of Computers，2009，26(9):3572-3574(in Chinese).［賴宇鋒，程良倫.基于小波變換與相位相關(guān)的PCB圖像拼接算法 ［J］.計算機(jī)應(yīng)用研究，2009，26(9):3572-3574.］

［4］LIJun，WU Jieming.Simulation research on improved image mosaic algorithm ［J］.Computer Simulation，2012，29(2):273-313(in Chinese).［李軍，吳潔明.一種改進(jìn)圖像拼接算法的仿真研究 ［J］.計算機(jī)仿真，2012，29(2):273-313.］

［5］Lowe D.Distinctive image features from scale-invariant keypoints［J］.International Journal on Computer Vision，2004，60(2):91-110.

［6］WANG Juan，SHI Jun，WU Xianxian.Survey of image mosaics techniques［J］.Application Research of Computers，2008，25(7):1941-1947(in Chinese).［王娟，師軍，吳憲祥.圖像拼接技術(shù)綜述 ［J］.計算機(jī)應(yīng)用研究，2008，25(7):1941-1947.］

［7］WU Ming，LIN Jinguo，MEI Xue.Algorithm study of feature extraction for image stitch ［J］.Computer Engineering and Design，2009，30(2):440-442(in Chinese).［吳銘，林錦國，梅雪.用于圖像拼接的特征提取算法研究 ［J］.計算機(jī)工程與設(shè)計，2009，30(2):440-442.］

［8］MORE Jean-michel，YU Guoshen.ASIF:A new framework for fully affine invariant image comparison ［J］.SIAM Journal on Imaging Sciences，2009，2(2):438-469.

［9］MORE Jean-michel，YU Guoshen.Is SIFT scale invariant? ［J］.Inverse Problems and Imaging，2011，5(1):1-22.

［10］WU Fuchao.Mathematical methods in computer vision［M］.Beijing:Science Press，2008:338-343(in Chinese).［吳福朝.計算機(jī)視覺中的計算方法［M］.北京:科學(xué)出版社，2008:338-343.］

［11］LUO Ruwei.Research on panorama techniques［D］.Guizhou:Guizhou University，2010(in Chinese).［羅如為.全景圖技術(shù)研究 ［D］.貴州:貴州大學(xué)，2010.］

［12］FANG Xianyong，ZHANG Mingmin，PAN Zhigeng，et al.Research of image mosaic based on graph cut［J］.Journal of Image and Graphics，2007，12(12):2050-2056(in Chinese).［方賢勇，張明敏，潘志庚，等.基于圖切割的圖像拼接技術(shù)研究 ［J］.中國圖像圖形學(xué)報，2007，12(12):2050-2056.］

［13］YANG Yanwei.Research on image mosaics techniques based on SIFT feature point［D］.Xi'an:Xidian University，2009(in Chinese).［楊艷偉.基于SIFT特征點(diǎn)的圖像拼接技術(shù)研究［D］.西安:西安電子科技大學(xué)，2009.］

［14］ZHENG Hui.Research on panoramic image mosaics algorithms based on SIFT features［D］.Wuhan:Wuhan University Of Technology，2010(in Chinese).［鄭輝.基于 SIFT特征的全景圖像拼接算法研究 ［D］.武漢:武漢科技大學(xué)，2010.］

［15］YANG Zhanlong.Research on image registration and mosaic based on feature point［D］.Xi'an:Xidian University，2008(in Chinese).［楊占龍.基于特征點(diǎn)的圖像配準(zhǔn)與拼接技術(shù)研究［D］.西安:西安電子科技大學(xué)，2008.］

［16］LI Han，NIU Jizhen，GUO He.Automatic seamless image mosaic method based on feature points［J］.Computer Engineering and Design，2007，28(9):2083-2085(in Chinese).［李寒，牛紀(jì)楨，郭禾.基于特征點(diǎn)的全自動無縫圖像拼接方法 ［J］.計算機(jī)工程與設(shè)計，2007，28(9):2083-2085.］