一種基于改進(jìn)ORB特征匹配的無人機(jī)視覺導(dǎo)航方法*

陳明強(qiáng),張 勇,馮樹娟,周子楊,解靖濤

(中國民用航空飛行學(xué)院 飛行技術(shù)學(xué)院,四川 廣漢 618307)

0 引 言

隨著無人機(jī)技術(shù)的快速發(fā)展,無人機(jī)現(xiàn)已被廣泛應(yīng)用于軍事、搜索救援、農(nóng)業(yè)植保、遙感測繪、環(huán)境監(jiān)測等領(lǐng)域[1]。然而相對有限的自主導(dǎo)航能力制約了無人機(jī)在復(fù)雜環(huán)境下的運行,目前大部分商用無人機(jī)都是基于全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System,GNSS)導(dǎo)航,但是在GNSS信號較弱的地方無人機(jī)導(dǎo)航存在很大困難。隨著計算機(jī)視覺快速發(fā)展,基于計算機(jī)視覺的視覺導(dǎo)航已經(jīng)成為了無人機(jī)自主導(dǎo)航重要組成部分,視覺傳感器可以獲取極其豐富的環(huán)境信息,適用于動態(tài)環(huán)境感知,且大多數(shù)視覺傳感器都是無源傳感器,因此有著很強(qiáng)的抗干擾能力[2-3]。在過去一段時間,基于視覺的無人機(jī)自主導(dǎo)航技術(shù)得到了越來越多的學(xué)者關(guān)注。其中,Metni等人[4]提出一種使用預(yù)先錄制的圖像定義無人機(jī)的期望軌跡,從相鄰圖像間提取出無人機(jī)的姿態(tài)以及位移變化,但是該方法實時性較差。Wei等人[5]提出一種結(jié)合特征相似度和幾何信息的無人機(jī)圖像匹配方法,該方法可以快速實現(xiàn)特征匹配,但是在幾何信息較差的地方將導(dǎo)致匹配精度降低。Hou等人[6]提出一種利用衛(wèi)星圖像的深度學(xué)習(xí)特征輔助無人機(jī)視覺定位的方法,該方法對環(huán)境適應(yīng)性強(qiáng)且定位精度高,但是對無人機(jī)機(jī)載處理器要求很高,無法適應(yīng)無人機(jī)長距離飛行。Shen等人[7]提出了一種基于RGB-D的視覺SLAM (Simultaneous Localization and Mapping),通過改進(jìn)快速提取旋轉(zhuǎn)描述子(Oriented FAST and Rotated BRIEF,ORB)算法用于特征提取,提高了實時性,但是該方法適用于室內(nèi)語義信息豐富的場景,在室外導(dǎo)航精度較低。

通過特征匹配算法將無人機(jī)獲取的實時圖像與含有地理位置信息的基準(zhǔn)圖像數(shù)據(jù)庫匹配實現(xiàn)無人機(jī)的絕對定位,需要對特征點提取以及匹配算法進(jìn)行改進(jìn)[8]。常見的特征提取算法有Harris角點提取[9]、Shi-Tomasi算法[10]、尺度不變特征變換(Scale Invariant Feature Transform,SIFT)算法[11]、加速魯棒特征(Speeded up Robust Feature)算法[12]、加速分割測試的特征(Features from Accelerated Segment Test,FAST)算法[13]、ORB算法[14]等。其中ORB是一種結(jié)合FAST和魯棒的二進(jìn)制獨立描述子(Binary Robust Independent Elementary Feature,BRIEF)[15]的快速特征提取與描述算法,相比之下,該算法采用 BRIEF作為特征點描述符,匹配速度非?？?比SIFT快兩個數(shù)量級;該算法使用FAST提取特征點,具備旋轉(zhuǎn)不變性,但尺度不變性較差。采用ORB算法進(jìn)行特征匹配能夠有效提升匹配速度,但是存在較多的誤匹配,對此,Ding等人[16]在特征匹配中引入隨機(jī)抽樣一致性(Random Sample Consensus,RANSAC)算法[17],通過計算兩個視角間的基礎(chǔ)矩陣和優(yōu)質(zhì)匹配項,對發(fā)現(xiàn)的特征點匹配用圖像間極線性約束的方式驗證匹配結(jié)果,有效剔除了誤匹配項,但是匹配效率較低。Bain等人[18]提出基于網(wǎng)格的運動統(tǒng)計(Grid-based Motion Statistics,GMS)算法,采用基于網(wǎng)格、運動統(tǒng)計特性的方法,可以快速剔除部分誤匹配,提高匹配的準(zhǔn)確性,減少了匹配過程中的計算量,但是仍存在少量誤匹配點。

為了縮短在特征匹配過程中的圖像檢索時間,本文提出了一種基于經(jīng)緯度坐標(biāo)定義的特征圖像基準(zhǔn)數(shù)據(jù)庫;為解決無人機(jī)在不同高度上特征匹配精度降低的問題,對比了幾種主流的圖像特征提取方法,提出了一種結(jié)合SIFT尺度空間優(yōu)化的改進(jìn)ORB特征提取算法。通過對幾種常用的特征匹配算法進(jìn)行分析,根據(jù)各個算法的優(yōu)點提出一種基于ORB改進(jìn)的ORB+GMS+PROSAC特征匹配算法。經(jīng)過實驗測試,該方法能有效降低匹配時間和誤匹配率并提升導(dǎo)航精度。

1 改進(jìn)ORB特征匹配算法

ORB是目前特征匹配中使用較多的算法之一,針對該算法的不足進(jìn)行改進(jìn),以解決無人機(jī)飛行過程中特征匹配問題。

1.1 構(gòu)建圖像基準(zhǔn)數(shù)據(jù)庫

在三維重建中,常采用一種基于空間的分區(qū)表示方法,將三維空間對象定義為連續(xù)不相交原語的集合,比如常用的空間分區(qū)表示方法空間占用枚舉,將三維空間分解為相同的立方體,排列在規(guī)則的三維網(wǎng)格中,通過定義相應(yīng)樹狀點云集合,實現(xiàn)機(jī)器人的快速定位[19]。傳統(tǒng)線性檢索方法需要耗費大量時間,為了解決無人機(jī)在特征匹配過程中檢索時間長的問題,利用無人機(jī)飛行過程中采集圖像數(shù)據(jù)相鄰兩幀之間的連續(xù)性,本文提出一種基于經(jīng)緯度二維網(wǎng)格構(gòu)建的特征圖像基準(zhǔn)數(shù)據(jù)庫。

二維網(wǎng)格圖像數(shù)據(jù)集是一種將圖像數(shù)據(jù)進(jìn)行稀疏化表示的方法,該模型將二維影像地圖分割成彼此相互獨立的圖像,同時基于經(jīng)緯度網(wǎng)格信息相互關(guān)聯(lián),當(dāng)進(jìn)行圖像檢索時可以采用網(wǎng)格搜索算法檢索近鄰圖像,縮小檢索范圍。選定一個采樣范圍,通過二維網(wǎng)格分割地圖構(gòu)成基準(zhǔn)數(shù)據(jù)庫,假設(shè)無人機(jī)的位置為Pij,使用一個9×9檢索核檢索特征圖像庫,可以限定基準(zhǔn)數(shù)據(jù)庫的搜索區(qū)域,降低計算量,減少匹配時間。在無人機(jī)飛行過程中選擇相鄰兩幀圖像的概率按照大小排列如下:

Pi,j=Pi,j+1>Pi-1,j=Pi+1,j>Pi-1,j+1=Pi-1,j+1

(1)

將圖像基準(zhǔn)庫中的檢索結(jié)果依次與待匹配圖像進(jìn)行匹配,直到匹配正確,則進(jìn)行下一幀待匹配圖像。

1.2 ORB特征點提取與描述

在構(gòu)建出基準(zhǔn)圖像數(shù)據(jù)庫之后,對圖像進(jìn)行局部特征分析,提取其中的局部特征。針對遙感圖像包含不同尺度上下文信息的特性,采用單個卷積層可能無法完全捕捉輸入圖像的空間細(xì)節(jié)和時間變化,且ORB算法多尺度特性較差,因此本文提出一種結(jié)合SIFT尺度空間優(yōu)化的ORB特征提取算法,通過構(gòu)建單層多組圖像金字塔提取連續(xù)多尺度信息特征點,分兩步完成多尺度圖像金字塔構(gòu)建,首先從原始圖像尺寸開始,每一圖層尺寸減少一半得到第一個圖層,第二步先將原始圖像尺寸除以1.5得到第一幅圖像,然后在這幅圖像的基礎(chǔ)上每一層尺寸減少一半得到第二個圖層,將兩個圖層相互交替疊加在一起,使用FAST特征檢測器提取每一層圖像的特征。

在獲取特征點后,通過構(gòu)建BRIEF特征點描述子可以判斷兩個相互匹配的特征點是否為同一個,從而減少錯誤匹配,并且描述符可被用于從不同視角下得到的圖像之間的匹配,通過匹配給定對象的幾個小特征描述符來解決模糊問題[14]。ORB算法在多個尺度下檢測特征點,這些特征點含有方向,基于這些特征點性質(zhì),ORB描述子通過簡單的比較強(qiáng)度值,提取每個關(guān)鍵點的表征,一旦從原始圖像中檢測到有區(qū)別的興趣點,就需要為每個特征耦合一個局部補(bǔ)丁描述符,以便在兩個或多個圖像之間正確有效地建立特征對應(yīng)關(guān)系。采用BRIEF特征描述子主要通過隨機(jī)選取以特征點P為中心,對周圍S×S窗口區(qū)域進(jìn)行高斯濾波以減小噪聲并二進(jìn)制賦值,二進(jìn)制位τ定義為

(2)

式中:P(x)和P(y)分別為隨機(jī)點x(u1,v1)和y(u2,v2)的灰度值大小。

在特征點P所在窗口選取n對像素點,將n對像素點從低位到高位依此組成字符串fn(P)為

fn(P):=∑1≤i≤n2i-1τ(P;xi,yi)

(3)

式中:xi和yi分別為n對像素點中一對像素點灰度值的大小。

將特征點興趣區(qū)域的灰度二值化并解析為二進(jìn)制編碼串,作為該特征點的描述子,通過比較特征點與周圍區(qū)域的強(qiáng)度大小判斷當(dāng)前特征點的編碼是0還是1,從而轉(zhuǎn)化為二進(jìn)制編碼,節(jié)省計算機(jī)存儲空間。

1.3 特征點匹配與錯誤匹配點剔除

在得到特征點及其描述之后,采用GMS算法進(jìn)行特征點匹配,如圖1為同一地點地球影像圖和無人機(jī)俯拍視角圖的特征點正確匹配和錯誤匹配結(jié)果,左邊為基準(zhǔn)圖像庫中的Ia,右邊為待匹配圖像Ib,左右各自有m、n特征點,定義χ={x1,x2,…,xi,…,xN}表示圖像Ia到Ib的最鄰近匹配,其中xi表示pi與qi的匹配對,定義xi的領(lǐng)域為

圖2 像素坐標(biāo)系與圖像坐標(biāo)系的轉(zhuǎn)換Fig.2 Conversion between the pixel coordinate system and the image coordinate system

Ni={xj|xj∈χ,xj≠xi,d(pi,pj)}

(4)

對于圖1中的區(qū)域a,用Si表示xi鄰域匹配點支持估計量,則有

Si=|xi|-1

(5)

式中:-1表示減去匹配區(qū)域a中的原始特征。

由于每個特征的匹配都是獨立的,因此Si服從二項分布,即在匹配區(qū)域xi的領(lǐng)域內(nèi)的匹配數(shù)符合:

(6)

式中:B表示二項分布;Kn表示該區(qū)域領(lǐng)域內(nèi)特征點匹配對數(shù)量;Pt和Pf分別表示正確和錯誤匹配被其領(lǐng)域窗口匹配支持的概率;Si分布的二項均值和標(biāo)準(zhǔn)差分別為

(7)

GMS算法中P定義為區(qū)分正確和錯誤匹配的能力,以分?jǐn)?shù)量化為均值差除以標(biāo)準(zhǔn)差之和為

(8)

在得到初始特征點匹配結(jié)果之后,常采用RANSAC算法剔除結(jié)果中的誤匹配點,但是RANSAC需要均勻的從整個集合中采樣,算法運行時間較長,對此本文提出一種結(jié)合漸進(jìn)采樣一致性(Progressive Sample Consensus,PROSAC)算法[20]的誤匹配點剔除方法。PROSAC算法的原理是通過從持續(xù)增大的最佳匹配點集合中進(jìn)行采樣并迭代計算得出參數(shù)模型,通過數(shù)據(jù)點回代剔除不符合模型的誤匹配點。該方法相較于RANSAC算法具有更高的效率和精度。在得到特征點集Kn={x1,x2,…xn}的經(jīng)緯度坐標(biāo)之后,采用基于K-means聚類分析改進(jìn)的中心點計算方法計算中心點x,假設(shè)點集P為一個簇,對簇內(nèi)總距離貢獻(xiàn)最小的點可確定為中心點,計算每個數(shù)據(jù)對簇內(nèi)總距離貢獻(xiàn)值Di:

(9)

式中:Zi為樣本中任意一點。

選擇貢獻(xiàn)值最小的點作為中心點,其詳細(xì)步驟如下:

步驟1 輸入數(shù)據(jù)集Kn={x1,x2,…xn}。

步驟2 初始化數(shù)據(jù)集,以數(shù)據(jù)集中點Zi=xi(1

步驟3 輸出中心點xk位置坐標(biāo)。中心點xk的坐標(biāo)為無人機(jī)在該幀圖像特征匹配結(jié)果下的位置坐標(biāo)。

1.4 像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換

在完成特征匹配之后,特征點Pij=(u,v)以像素坐標(biāo)顯示,因此需要將像素坐標(biāo)與世界坐標(biāo)進(jìn)行轉(zhuǎn)換。世界坐標(biāo)系O(xE,yE,zE)與相機(jī)坐標(biāo)系O(xC,yC,zC)轉(zhuǎn)換關(guān)系如式(10)所示:

(10)

式中:M為相機(jī)外部參數(shù),

(11)

式中:R(φ,θ,φ)為機(jī)體坐標(biāo)與地面坐標(biāo)的轉(zhuǎn)換矩陣;t為相機(jī)坐標(biāo)與地面坐標(biāo)的平移向量。

圖像坐標(biāo)O(x,y)與相機(jī)坐標(biāo)(xC,yC,zC)的相互轉(zhuǎn)換如式(12)所示:

(12)

像素坐標(biāo)系O(u,v)與圖像坐標(biāo)系O(x,y)的轉(zhuǎn)換關(guān)系如圖 2所示。

兩個坐標(biāo)的轉(zhuǎn)換公式如下:

(13)

(14)

式中:K為相機(jī)內(nèi)參矩陣;(u0,v0)為圖像坐標(biāo)系中心點到像素坐標(biāo)系中心點的偏移量。

像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如式(15)所示:

(15)

根據(jù)式(16)即可實現(xiàn)像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換:

(16)

1.5 本文算法流程

本文算法流程如圖3所示,具體步驟如下:

圖3 本文算法流程Fig.3 Process of the proposed algorithm

步驟1 按照1.1節(jié)方法,使用ArcGIS分割影像地圖,構(gòu)建特征圖像基準(zhǔn)庫。

步驟2 通過1.2節(jié)改進(jìn)ORB特征提取方法提取出基準(zhǔn)庫中圖像特征點以及特征點描述子,并返回特征圖像基準(zhǔn)庫。

步驟3 讀取待匹配圖像獲取圖像特征,初始化特征圖像基準(zhǔn)庫,使用1.1節(jié)中介紹的9×9檢索核檢索基準(zhǔn)庫。

步驟4 通過改進(jìn)ORB+GMS算法將待匹配圖像與檢索結(jié)果進(jìn)行特征點匹配。

步驟5 通過PROSAC誤匹配點剔除算法將匹配結(jié)果中匹配錯誤的點剔除,得到最終匹配結(jié)果。

步驟6 按照1.4節(jié)像素坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換方法將步驟 5所得結(jié)果的像素坐標(biāo)轉(zhuǎn)化為世界坐標(biāo)。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

實驗環(huán)境如表1 所示。

表1 實驗環(huán)境Tab.1 Experimental environment

2.2 ORB改進(jìn)算法驗證

為驗證方案的有效性,使用國家地理信息公共服務(wù)平臺天地圖球面墨卡托投影影像底圖構(gòu)建基準(zhǔn)數(shù)據(jù)庫,級別為18級。將影像底圖導(dǎo)入ArcGIS,劃定實驗區(qū)域并參考經(jīng)緯度坐標(biāo)系分割影像如圖4所示,依次讀取分割后圖像塊,構(gòu)建特征圖像基準(zhǔn)數(shù)據(jù)庫。

圖4 影像分割數(shù)據(jù)集Fig.4 Image segmentation data set

圖5給出了SIFT、FAST、改進(jìn)FAST和改進(jìn)ORB 5種特征提取算法的提取結(jié)果,可見相比傳統(tǒng)特征提取算法,改進(jìn)的ORB特征提取算法能夠提取更深層次的特征,更具多尺度特性,具體如圖5(e)所示。

圖5 幾種特征提取算法的提取結(jié)果Fig.5 Results of several feature extraction algorithms

使用改進(jìn)ORB特征提取方法分別提取圖4影像分割數(shù)據(jù)集中各模塊圖像的特征,構(gòu)建特征地圖基準(zhǔn)數(shù)據(jù)庫。初始化之后讀取待匹配圖像,并通過9×9檢索核檢索基準(zhǔn)數(shù)據(jù)庫并進(jìn)行特征匹配,將匹配結(jié)果與ORB+PROSAC[20]、ORB+GMS[21]特征匹配方法對比,結(jié)果如圖6所示,其中 A、B、C 3組中前兩幅圖像為ORB+PROSAC、ORB+GMS特征匹配算法的結(jié)果,存在誤匹配,第三幅圖為本文使用的算法結(jié)果,不存在誤匹配。

圖6 ORB+PROSAC、ORB+GMS、ORB+GMS+PROSAC特征匹配結(jié)果Fig.6 Feature matching results of ORB+PROSAC,ORB+GMS and ORB+GMS+PROSAC

分別統(tǒng)計圖6中3組匹配圖像在ORB+PROSAC、ORB+GMS和本文算法下的匹配結(jié)果,如表2所示,相比之下,本文算法重復(fù)計算更少,匹配時間相比ORB+GMS算法降低了41.61%;在特征匹配正確率(Correct Matching Rate,CMR)上本文算法表現(xiàn)出更好的效果,相比ORB+PROSAC、ORB+GMS算法,雖然本文算法匹配的特征數(shù)量有所減少,但是CMR更高,能夠有效降低因誤匹配而造成的定位干擾。

表2 幾種算法效果對比Tab.2 Result comparison among several algorithms

CMR的計算公式如下:

(17)

式中:xt為正確匹配的特征點數(shù)量;x為所有的特征點匹配數(shù)量。

2.3 數(shù)據(jù)仿真

為了確定該算法在導(dǎo)航方面的效果,在劃定的實驗區(qū)域內(nèi)隨機(jī)生成一條模擬航跡,航跡經(jīng)緯度數(shù)據(jù)如圖7(a)模擬航跡所示。逐幀采集模擬航跡下的影像作為待匹配數(shù)據(jù),依次檢索基準(zhǔn)數(shù)據(jù)庫并與待匹配數(shù)據(jù)進(jìn)行特征匹配,由于ORB+GMS算法效果好于ORB+PROSAC,因此選擇ORB+GMS算法和本文算法計算各自航跡經(jīng)緯度數(shù)據(jù),結(jié)果如圖7(b)和7(c)所示。

圖7 3種航跡經(jīng)緯度數(shù)據(jù)對比Fig.7 Longitude and latitude data comparison of three tracks

將航跡經(jīng)緯度數(shù)據(jù)導(dǎo)入衛(wèi)星底圖,采用G2O(General Graphic Optionization)曲線擬合方法將數(shù)據(jù)擬合為該算法下的航跡,其中經(jīng)緯度坐標(biāo)則作為頂點表示其優(yōu)化變量。分別將航跡信息繪制到經(jīng)緯度坐標(biāo)系中(如圖8所示),通過對比發(fā)現(xiàn),改進(jìn)的ORB算法航跡能夠更好地擬合模擬航跡,平均定位誤差比ORB+GMS算法平均定位誤差低兩個數(shù)量級。

圖8 無人機(jī)飛行導(dǎo)航結(jié)果Fig.8 UAV flight navigation result

3 結(jié)束語

針對無人機(jī)導(dǎo)航GNSS缺失的情況,本文提出了一種改進(jìn)的ORB特征匹配算法——ORB+GMS+PROSAC算法,避免了特征點重復(fù)計算的問題,提升了運算速度。實驗結(jié)果表明,該算法與ORB+PROSAC、ORB+GMS算法相比,匹配正確率更高,用于導(dǎo)航誤差更小。

本文算法在后續(xù)還需進(jìn)一步完善,比如在無人機(jī)航向改變或者高度變化較大時,降低轉(zhuǎn)彎半徑誤差。此外,由于實驗條件相對有限,獲取的多源遙感影像為18級,后續(xù)研究可在分辨率上進(jìn)一步改善。