基于ASIFT改進算法的無人機圖像特征匹配方法研究

孫東閣, 陳 輝

(上海電力大學 自動化工程學院, 上海 200090)

近年來,無人機因其機動性強、成本低等優(yōu)點在軍事和民用領域得到了廣泛應用[1]。但目前通過無人機航拍對物體進行非接觸信息采集來構建物體的三維模型,在考古、信息化城市、文物保護、機器人、軍事等領域應用還不夠成熟。因此,研究無人機圖像處理技術具有重要現實意義[2]。特征匹配是指在一個被測目標的兩幅或多幅圖像中尋找相同的特征點,探尋其對應關系,從而將這兩幅或者多幅圖像進行匹配的過程。無人機圖像的特征匹配在軍事、人工智能、圖像拼接、三維重建、物體追蹤及定位領域中的應用十分廣泛[3]。

隨著計算機技術的不斷發(fā)展,無人機圖像匹配算法也得到了不斷改進。1988年Harris算子的提出[4],增加了特征點的穩(wěn)定性,但其對邊緣點的檢測仍然不夠敏感。1999年,LOWE D提出了尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)算法[5]。該算法經不斷完善,在圖像匹配中得到了廣泛應用,但其仍存在不足之處,如計算復雜,在視角變化大、紋理豐富的無人機圖像匹配中難以獲得匹配對等[6]。2006年ECCY大會上提出的加速穩(wěn)健特征(Speeded Up Robust Features,SURF)算法,在一定程度上提高了匹配速度,但對于視角變化的處理仍不夠理想[7]。2009年,MOREL J M等人提出ASIFT(Affine-SIFT)算法[8],相較之前的算法,提高了匹配效率。近年來,不斷有學者對ASIFT算法的相機模型[9]進行了改進,增加了匹配數量,但在匹配過程中存在誤差匹配較多等問題。基于此,本文提出了一種ASIFT改進算法,以解決原算法中存在的誤差匹配問題。

1 特征提取

1.1 SIFT算法

SIFT算法主要包括提取、描述、匹配3個步驟。首先,在DoG金字塔尺度空間內提取特征點。尺度空間由高斯卷積、圖像下采樣和高斯差分操作構建而成。在尺度空間中初步提取出作為局部極值點的興趣點,再剔除掉能量低的不穩(wěn)定的和錯誤的興趣點,得到最終穩(wěn)定的特征點[10]。然后,設定特征點的主方向,便于對特征點進行描述,旋轉特征點的方向來構造特征描述子,可以使算子保持較好的旋轉不變性。特征點的主方向可以借助其鄰域像元的梯度分布情況來描述[11]。

為了實現圖像旋轉的不變性,以關鍵點為坐標原點,將坐標軸旋轉為關鍵點的主方向,然后以關鍵點為中心,取8×8個鄰域作為采樣窗口。通常一個特征點由2×2共4個種子點組成,形成2×2×8共32維描述子。為了提高匹配的穩(wěn)定性和魯棒性,對每個特征點采用 4×4 共16個子區(qū)域進行描述,即16個種子點。每個區(qū)域分為8個方向,即形成一個16×8共 128 維 SIFT 特征描述子。然后對特征描述子數據進行歸一化處理,進一步減弱灰度變化帶來的干擾。

最后,利用k-d樹在高維空間快速而準確地找到查詢特征點的近鄰,用歐式距離作為相似性度量,即特征向量的最近鄰與次近鄰的比值進行匹配。取參考圖像中的任一特征點,找出其與待配準圖像中距離最近的兩個特征點,如果最近鄰值與次近鄰值的比值小于設定閾值,則認為該匹配對為正確匹配對,否則判為誤匹配對。特征點匹配實際上就是一個通過距離函數在高維矢量之間進行相似性檢索的問題。

1.2 ASIFT算法

SIFT算法在傳統(tǒng)圖像配準中可以取得很好的效果,但是在面對視角變化較大、紋理較為豐富的無人機圖像時,往往只能找到少數特征點甚至不能匹配[12]。ASIFT算法是基于SIFT算法提出的一種改進算法。ASIFT算法提出經度、維度的概念,通過模仿相機的實際位置,從而估測由相機位置不同而產生的圖形畸變[13]。一個完整的仿射矩陣需要6個參數,SIFT算法模仿其中4個:相機圍繞光軸的旋轉、相機焦距、平移和旋轉。ASIFT算法則模仿2個參數:相機與圖像法線的傾斜角θ和旋轉角φ,即為相機模型的緯度角θ和經度角φ。仿射相機模型如圖1所示。圖1中:α代表圖像平面;φ為相機光軸經度;θ為相機光軸緯度;ψ為相機旋轉;λ為對應縮放。

圖1 仿射相機模型

ASIFT算法匹配直觀圖如圖2所示。圖2中,A代表參考圖像,B代表模擬圖像。由圖2不難看出,圖像B是由圖像A進行小幅旋轉得到的。

圖2 ASIFT算法匹配直觀圖

2 基于ASIFT的無人機圖像匹配

2.1 算法流程

本文以兩幅圖像作為輸入圖像;利用ASIFT算法建立相機模型,進而模擬圖像畸變;然后采用SIFT算法進行特征點的提取與匹配;最后加入隨機抽樣一致(Random Sample Consensus,RANSAC)算法[14]對誤差匹配進行剔除。其整體流程如圖3所示。

圖3 算法流程示意

具體如下。

(2)采用SIFT算法對模擬圖像I′(φ,t)提取匹配。在尺度空間進行表示:

(1)

L(φ,t,σ)=G(φ,t,σ)*I′(φ,t)

(2)

式中:G(φ,t,σ)——高斯核函數;

σ——尺度空間因子;

L(φ,t,σ)——圖像的尺度空間;

*——卷積運算。

首先通過差分金字塔D(φ,t,σ)的構建來實現特征點定位,然后利用鄰域像元的梯度分布來描述特征子的方向,最后采用k-d樹算法用歐式舉例作為相似性度量,即特征向量的最近鄰值與次近鄰值的比值進行匹配。

(3)

2.2 誤差剔除

取參考圖像中任一特征點,找出其與待配準圖像中距離最近的兩個特征點。如果最近鄰值與次近鄰值的比值小于設定閾值0.8,則認為該匹配對為正確匹配對,否則,判為誤差匹配對。對于誤差匹配,本文采用RANSAC算法,其原理是根據一組包含異常數據的樣本數據集,計算出數據的數學模型參數,從而得到有效樣本數據。

RANSAC算法的核心思想就是在匹配的特征點中隨機抽取4個特征點,通過計算和不斷迭代,尋找到最優(yōu)的參數模型,在這個最優(yōu)模型中,能匹配上的特征點最多。

引入最優(yōu)單應性3×3矩陣H,使得滿足該矩陣的匹配特征點最多。令h33=1來歸一化矩陣,H只有8個未知參數,對應到特征點位置信息上,至少需要4組特征匹配點對才能求解得到單應性矩陣H。

(4)

式中:s——尺度參數;

(x′,y′)——模擬場景圖像中的角點位置;

(x,y)——目標場景圖像中的角點位置。

RANSAC算法從匹配數據集P中選出隨機樣本S,初始化模型M,然后利用該模型測試所有數據,并計算滿足該模型數據點的個數與投影誤差(即代價函數)。若該模型為最優(yōu)模型,則對應的代價函數最小。計算代價函數的公式為

(5)

3 實驗結果與分析

為了驗證算法的有效性,本文采用大疆無人機精靈4 PRO P4P,以校園環(huán)境中的建筑物為目標進行實驗,所采集的每幅圖片的尺寸規(guī)格均為800×600。實驗在Visual studio 2013 Open CV軟件環(huán)境下,運行于Windows 7操作系統(tǒng)的計算機上。編程語言為C++。首先利用ASIFT算法對實驗圖像進行特征點提取,然后對提取的特征點通過k-d樹算法進行快速匹配,最后用RANSAC算法訓練建立模型,以此來不斷篩選出最優(yōu)匹配,達到剔除誤差匹配的效果。

甸園錦江賓館、上海電力大學科技園、上海電力學院圖書館分別在SIFT算法,ASIFT算法,ASIFT改進算法下的匹配結果如圖4、圖5、圖6所示。

圖4 甸園錦江賓館在3種算法下的匹配結果

由圖4～圖6可知,在同一無人機圖像對的匹配中,ASIFT算法匹配對數遠遠超過SIFT算法。此實驗結果說明ASIFT算法在無人機圖像匹配中效果遠好于SIFT算法。但從圖4(b)、圖5(b)、圖6(b)可以看出,ASIFT算法下的匹配結果仍存在諸多錯誤匹配,因此我們在此基礎上進行了改進,在ASIFT算法上加入 RANSAC算法,由圖4(c)、圖5(c)、圖6(c)可以看出,加入該算法后,匹配對相應減少,消除了錯雜混亂的匹配現象。

圖5 上海電力大學科技園在3種算法下的匹配結果

圖6 上海電力大學圖書館在3種算法下的匹配結果

3種算法下的匹配結果數據如表1所示。3種算法下的匹配時間數據如表2所示。

由表1可知,在同一無人機圖像匹配中,采用ASIFT算法所得匹配對數約為SIFT算法匹配對數的20倍,其效果遠好于SIFT算法;采用ASIFT改進算法對誤差匹配進行剔除后,其匹配對數則約為SIFT算法匹配對數的7倍。由表2可知,ASIFT算法匹配時間長于SIFT匹配算法,ASIFT改進算法匹配時間介于ASIFT算法與SIFT算法之間。因此,相較于ASIFT算法,ASIFT改進算法匹配速度約提升了23%;相較于SIFT算法,ASIFT改進算法時間差距較小,而匹配能力遠遠優(yōu)于SIFT算法。

表1 算法匹配結果對比 單位：對

表2 算法匹配時間對比 單位：s

4 結 語

本文所提算法是基于ASIFT算法的一種改進算法,該算法保留了ASIFT算法的特征提取部分,以及SIFT算法的特征點匹配部分,并在此基礎上加入了RANSAC算法,對ASIFT算法進行誤差匹配的過濾,以優(yōu)化匹配效果。通過對甸園錦江賓館、上海電力大學科技園、上海電力大學圖書館3個場景進行無人機圖像的采集,采用3種算法對匹配結果進行對比,最終得出符合預期的實驗效果。對實驗證明,本文所提改進算法可以有效剔除ASIFT算法中的誤差匹配,并且提高了約23%的匹配速度。