一種基于特征點的無人機(jī)影像自動拼接方法

魯 恒,李永樹,何 敬,陳 強(qiáng),任志明

(西南交通大學(xué)地理信息工程中心,四川成都610031)

一種基于特征點的無人機(jī)影像自動拼接方法

魯 恒,李永樹,何 敬,陳 強(qiáng),任志明

(西南交通大學(xué)地理信息工程中心,四川成都610031)

論述了當(dāng)前無人機(jī)影像快速拼接可選用的方法及可行性,將穩(wěn)健的SIFT算法引入無人機(jī)影像自動拼接中,分析了該算法各階段所消耗的時間。結(jié)合無人機(jī)自身的特點對算法進(jìn)行改進(jìn),在進(jìn)行特征點提取前通過估算相鄰影像間的重疊度縮小了搜索范圍;進(jìn)行尺度空間極值點探測時通過實驗獲取了適應(yīng)于無人機(jī)影像的最優(yōu)高斯核尺寸,克服了傳統(tǒng)SIFT算法采用固定核尺寸方法的缺陷,既減少了時間消耗,又盡可能多地獲得了特征點,最后應(yīng)用LM方法求得精確變換矩陣,完成了影像鑲嵌。實驗結(jié)果表明,該算法對無人機(jī)影像拼接具有較好的適應(yīng)性,在保證算法魯棒性的同時,提高了精度和效率。

無人機(jī)影像;自動拼接;影像重疊度;高斯核尺寸

0 引言

在高速發(fā)展的信息時代,如何快速獲取地表數(shù)據(jù)已經(jīng)成為研究的熱點。相對于傳統(tǒng)的測量方法,以衛(wèi)星、大飛機(jī)等為平臺的航天航空攝影測量應(yīng)用廣泛,但在某些地方并不適合采用,尤其是在受天氣影響巨大的西部地區(qū),如四川盆地的多云霧天氣。運(yùn)用無人機(jī)作為平臺的低空遙感彌補(bǔ)了衛(wèi)星光學(xué)遙感和普通航空攝影經(jīng)常受云層遮擋難以實時獲取影像的缺陷,但當(dāng)前無人機(jī)影像處理仍然采用的是靜態(tài)處理,即飛機(jī)拍攝完成后回室內(nèi)進(jìn)行影像拼接、信息提取,這導(dǎo)致無法充分發(fā)揮無人機(jī)快速獲取數(shù)據(jù)的優(yōu)勢。概括起來,目前針對無人機(jī)獲取影像拼接方法主要有:1)基于姿態(tài)參數(shù)(POS數(shù)據(jù))的拼接;2)基于非特征的拼接;3)基于特征的拼接。第一種方法耗時最低,在通信良好的情況下可做到實時拼接,但由于姿態(tài)參數(shù)變化是很復(fù)雜的非線性過程,若不建立模型校正POS數(shù)據(jù),精度很難滿足應(yīng)用需求,會出現(xiàn)錯誤拼接部分;第二種方法準(zhǔn)確性較差,精度不能滿足需求;第三種方法雖然耗時量有所增加,但精度有了大幅提高,若能結(jié)合無人機(jī)自身特點進(jìn)行改進(jìn),也能滿足實時拼接需求。

與其他圖像的拼接過程一樣,無人機(jī)影像拼接主要包括配準(zhǔn)和鑲嵌兩個步驟,其核心是圖像配準(zhǔn)[1]。近年來,Lowe[2]提出的SIFT(Scale Invariant Feature Transfo rm)算法在圖像匹配領(lǐng)域取得了巨大成功,基于SIFT描述子的匹配方法已被成功應(yīng)用于很多領(lǐng)域,如目標(biāo)識別[3]、圖像拼接[4]、圖像檢索[5]等。然而,目前將SIFT算法應(yīng)用于無人機(jī)高分辨率影像的配準(zhǔn)研究還很少。主要原因有:1)無人機(jī)影像空間分辨率很高,數(shù)據(jù)量很大,在進(jìn)行特征點提取時,效率不高;2)SIFT算法自身復(fù)雜度較高,若僅憑單一的經(jīng)驗值,不根據(jù)影像的實際情況加以改進(jìn),算法耗時量很大。針對目前的研究現(xiàn)狀,本文在分析原始SIFT算法各階段所需時間的基礎(chǔ)上,針對耗時量較大的階段并結(jié)合無人機(jī)的特點進(jìn)行改進(jìn),提出了一種適用于無人機(jī)高分辨影像自動拼接的方法。

1 研究區(qū)概況及工作流程

研究區(qū)位于彭州市北部某鎮(zhèn),由于彭州地處成都平原與龍門山過渡地帶,因此實驗區(qū)的地質(zhì)構(gòu)造較為復(fù)雜,地勢為西北高東南低,最高海拔1 320 m,最低海拔623 m。本次實驗預(yù)設(shè)無人機(jī)飛行的相對航高為650 m,飛行范圍覆蓋20 km2,獲取的無人機(jī)影像地面分辨率達(dá)到厘米級。工作流程如圖1所示。

圖1 無人機(jī)影像自動拼接工作流程Fig.1 The workflow of UAV imagesautomatic mosaic

2 影像重疊度估算

與一般的全景圖拼接不同,無人機(jī)影像有其獨(dú)特性,如無人機(jī)航速、航高、拍攝影像的地面覆蓋范圍等都可獲得,使得可以在影像拼接前進(jìn)行預(yù)處理,通過計算相鄰影像的重疊度減小影像匹配過程中需要處理的數(shù)據(jù)量?；舅枷霝?根據(jù)飛控系統(tǒng)設(shè)置無人機(jī)航速變化不大,近似認(rèn)為勻速飛行,根據(jù)相鄰影像曝光時間間隔,即可估算出相鄰影像的重疊范圍,為提取特征點縮小了遍歷范圍。具體方法描述如下:

(1)無人機(jī)航線為西南(SW)方向,其航速為vsw,將速度分解在正西(W)和正南(S)方向上分別為vw和vs(圖2a)。

(2)連續(xù)拍攝的兩張影像分別編號為Image1和Image2,兩張影像曝光的時間間隔為 t,則無人機(jī)向西和向南飛行距離分別為:

(3)無人機(jī)航高為h,搭載相機(jī)焦距為 f,影像上每個像元代表的距離為 d,則地面分辨率 r為[6]:

(4)在時間間隔t內(nèi),無人機(jī)在影像中沿正西和正南方向的像素偏移量可表示為:

將Image1作為基準(zhǔn)圖像,Image2作為待匹配圖像,其長和寬分別為 length和 w idth,為了運(yùn)算簡潔,同時為了防止提取特征點時出現(xiàn)遺漏,將重疊區(qū)域擴(kuò)大定義為規(guī)則區(qū)域,將重疊區(qū)域頂點投影到 x和 y方向上,如圖2b所示的矩形區(qū)M。則M可表示為:

經(jīng)過影像重疊范圍的估算可以大大減少拼接的運(yùn)算量,并且特征點的尋找面積越小,可能出現(xiàn)的誤匹配概率就越小,提高了影像拼接的成功率。

圖2 無人機(jī)影像重疊度估算Fig.2 Estimate of the overlapped UAV images

3 SIFT特征點提取與匹配

完成上述影像重疊范圍估算后開始影像匹配,基于特征的影像匹配的第一步是特征提取。Low e[2]總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測方法,并正式提出了一種基于尺度空間的、對圖像縮放、旋轉(zhuǎn)甚至仿射變換保持不變性的圖像局部特征描述算子,即尺度不變特征變換。

3.1 SIFT特征點提取

SIFT算法首先在尺度空間進(jìn)行極值點探測,并確定關(guān)鍵點(Key points)的位置及其所處的尺度,然后使用關(guān)鍵點鄰域梯度的主方向作為該點的方向特征,以實現(xiàn)算子對尺度和方向的無關(guān)性。其算法分為4個階段:

(1)尺度空間極值點的探測。通過高斯核函數(shù)G(x,y,σ)和圖像坐標(biāo) I(x,y)生成尺度空間L(x,y, σ),二維影像的尺度空間定義為:

利用不同尺度的高斯差分核與圖像卷積生成高斯差分尺度空間D(x,y,σ),然后對高斯差分尺度空間的每個采樣點及其同尺度的8個相鄰點和上下相鄰尺度對應(yīng)的9×2個點相比較是否為極值點,作為關(guān)鍵點候選點。

(2)極值點的精確定位。極值點的精確位置通過擬合三維二次函數(shù)確定,通常是將以上探測出的極值點(x0,y0)按照 D(x,y,σ)在(x0,y0)處的二階泰勒級數(shù)展開,令其一階導(dǎo)數(shù)等于0,求解出其精確位置;同時去除低對比度的關(guān)鍵點和不穩(wěn)定的邊緣響應(yīng)點,以增強(qiáng)匹配的穩(wěn)定性,提高抗噪聲能力。

(3)方向參數(shù)的指定。尺度不變特征最大的特點就是具備旋轉(zhuǎn)不變性,而旋轉(zhuǎn)不變性是通過關(guān)鍵點鄰域像素的梯度方向分布特征來指定關(guān)鍵點的方向參數(shù)。至此,圖像的關(guān)鍵點已檢測完畢,每個關(guān)鍵點有3個信息:位置、所處尺度、方向。

(4)關(guān)鍵點描述符的計算。將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵點方向,以關(guān)鍵點為中心取8×8的窗口,然后在每4×4的方格上計算8個方向的梯度方向直方圖及每個梯度方向的累加值,即可形成一個關(guān)鍵點。

這4個階段由于其復(fù)雜度各不相同,因此耗時量也不相同。本文通過大量無人機(jī)影像特征點提取實驗得出了各階段所消耗的時間比例(表1)。

由表1可得出,第一和第四階段耗時最多,其次是第二階段。第四階段耗時與生成的特征點數(shù)量緊密聯(lián)系,Yan等[7]通過減小特征描述符長度來降低耗時;第二階段的耗時主要與影像的空間分辨率、尺度空間大小有關(guān);第一階段的耗時主要取決于影像的尺寸和高斯差分核尺寸的大小。本文通過兩方面改進(jìn)以節(jié)省該階段的耗時:通過建立適應(yīng)于無人機(jī)影像的高斯核尺寸,既減少了時間消耗,又盡可能多地獲得特征點;通過重疊度計算減少了探測空間極值點的搜索范圍,即不需在非重疊區(qū)進(jìn)行探測。

表1 SIFT算法應(yīng)用于無人機(jī)影像各階段所需時間Table 1 Time consumption of different stage for SIFT method used in UAV images

探測尺度空間極值點耗時主要是因為構(gòu)建尺度空間,而尺度空間構(gòu)建則依賴于高斯金字塔構(gòu)建的耗時。本文在不同高斯核尺寸下利用無人機(jī)影像進(jìn)行了大量實驗,發(fā)現(xiàn)隨著高斯核尺寸的逐漸增大,運(yùn)算的耗時量和提取出的特征點數(shù)量在增加,當(dāng)高斯核尺寸增大到一定程度時,耗時量在增加的同時特征點數(shù)目卻未明顯增加,甚至出現(xiàn)下降趨勢。因此,在耗時量和提取的特征點數(shù)量上必然有臨界尺寸。為探測該最優(yōu)高斯核尺寸,本文選用多組相鄰的無人機(jī)影像進(jìn)行實驗,比較在不同高斯核尺寸下SIFT算法的耗時以及提取的特征點對數(shù)量。由于篇幅所限,只列舉部分實驗數(shù)據(jù)進(jìn)行說明,其中當(dāng)高斯核尺寸小于7×7時,提取出的特征點對太少,不利于后續(xù)匹配。因此只考慮高斯核尺寸在7×7以上的情況,具體實驗結(jié)果如表2所示。

表2 不同高斯核尺寸實驗結(jié)果Table 2 Experiment results of different Gaussian kennel size

由表2可知,高斯核尺寸從7×7逐漸增到25× 25的過程中,Image1和 Image2提取出的關(guān)鍵點數(shù)量的臨界點在17×17,超過臨界點后耗時增多,提取出的關(guān)鍵點數(shù)量反而減少。因此選擇17×17尺寸的高斯核作為最優(yōu)尺寸高斯核,通過最優(yōu)尺寸的確定,克服了傳統(tǒng)SIFT算法中采用固定核尺寸方法來構(gòu)建高斯影像。若尺寸選擇過小,雖然耗時較少,但提取的特征點也較少,不利于后續(xù)影像配準(zhǔn);若尺寸選擇過大,耗時多,提取的特征點可能不多。

3.2 SIFT特征點匹配

SIFT特征匹配算法包括兩個階段:第一階段是SIFT特征的生成,即從多幅待匹配圖像中提取出對尺度縮放、旋轉(zhuǎn)、亮度變化無關(guān)的特征向量;第二階段是 SIFT特征向量的匹配。當(dāng)兩幅圖像的SIFT特征向量生成后,下一步采用關(guān)鍵點特征向量的歐式距離作為兩幅圖像中關(guān)鍵點的相似性判定度量。取Image1中的某個關(guān)鍵點,并找出其與Image2中歐式距離最近的關(guān)鍵點(NN)和距離次近的關(guān)鍵點(SCN),在這兩個關(guān)鍵點中,如果最近距離除以次近距離小于某個比例閾值,則接受這一對匹配點。降低這個比例閾值,SIFT匹配點數(shù)目會減少,但更加穩(wěn)定。本文選用的閾值為NN/SCN∈[0.5,0.6]。

圖3 消除誤匹配Fig.3 Elim inating of the falsematches

本文方法為:首先計算影像對中所有匹配點對的橫縱坐標(biāo)距離差的平均值,并將其定義為影像序列的標(biāo)準(zhǔn)閾值;然后剔除影像中橫縱坐標(biāo)距離差與標(biāo)準(zhǔn)閾值相差太大的匹配點對,即采用這種過濾的方法提純特征點,從而提高匹配精度。

對遙感影像的匹配而言,希望能確定比較精確的且分布比較均勻的關(guān)鍵點,然后通過數(shù)據(jù)擬合減少整體誤差[8]。通過數(shù)據(jù)點擬合幾何模型時,為了提高精度,需要數(shù)據(jù)點盡可能均勻地分布在影像上。通過過濾后的匹配點對都是正確的,因此可以在一定鄰域內(nèi)只保留一個關(guān)鍵點,而把分布比較密集的其它關(guān)鍵點剔除。圖4為經(jīng)過過濾和剔除后的一個影像對的特征點,可以看出沒有誤匹配點,且點位分布比較均勻。

圖4 特征點匹配后的影像對Fig.4 A pair of image after matching feature points

4 影像鑲嵌

影像配準(zhǔn)的本質(zhì)是在兩幅影像間建立映射關(guān)系,確定相應(yīng)變換參數(shù),并進(jìn)行仿射變換[9]。為得到兩影像間的變換參數(shù),需要利用遞歸的方法計算特征點與其匹配點變換后點距離的最小值。本文采用經(jīng)典的Levenberg-M arquardt方法[10],具體描述如下:

若 p=(px,py)、q=q(qx,qy)是匹配的特征點對,則首先從所有匹配的特征對中取4對相似性最好的匹配點對,計算出參數(shù)矩陣的8個參數(shù)i=0,1,…,7,并以此作為初值。(px,py)變換后為:

在每次循環(huán)中更新 mi(i=0,1,…,7)。這一過程會在較少的步數(shù)內(nèi)即收斂接近真實值,從而確定兩幅圖像間的變換參數(shù)。

根據(jù)上述算法原理,以Visual studio2008為開發(fā)平臺進(jìn)行了實現(xiàn),最終拼接的無人機(jī)影像如圖5所示。運(yùn)用本文算法拼接效果遠(yuǎn)優(yōu)于基于POS數(shù)據(jù)的拼接效果。

5 結(jié)論

針對無人機(jī)影像自身的特點,通過對傳統(tǒng)SIFT特征匹配算法優(yōu)化,在進(jìn)行特征點提取前通過估算相鄰影像間的重疊度縮小了搜索范圍;進(jìn)行尺度空間極值點探測時通過建立適應(yīng)于無人機(jī)影像的最優(yōu)高斯核尺寸,克服了傳統(tǒng)SIFT算法采用固定核尺寸方法的缺陷,既減少了時間消耗,又盡可能多地獲得了特征點。運(yùn)用影像中匹配點對橫縱坐標(biāo)距離差與標(biāo)準(zhǔn)閾值比較過濾的方法對匹配點對進(jìn)行篩選,采用LM方法求得精確變換矩陣。實驗結(jié)果表明,本文所采用的適合于無人機(jī)影像拼接的方法在繼承SIFT算法較好魯棒性的同時,進(jìn)一步提升了拼接精度和效率。

圖5 基于特征點的拼接效果Fig.5 Mosaic effect picture based on feature points

[1] 高超,張鑫,王云麗,等.一種基于SIFT特征的航拍圖像序列自動拼接方法[J].計算機(jī)應(yīng)用,2007,27(11):2789-2792.

[2] LOWED G.Distinctive image features from scale-invariant key points[J].Computer Vision,2004,60(2):91-110.

[3] HU X L,TANG Y C,ZHANG Z H.Video object matching based on SIFT algorithm[C].International Conference on Neural Netwo rks and Signal Processing,2008.

[4] YANG ZL,GUO B L.Imagemosaic based on SIFT[A].Intelligent Information Hiding and M ultimedia Signal Processing[C]. 2008.

[5] GAO K,L IN S X,ZHANG Y D.A ttention model based SIFT keypoints filtration for image retrieval[C].7th IEEE/ACIS International Conference on Computer and Information Science, 2008.

[6] 朱肇光,孫護(hù),崔炳光.攝影測量學(xué)[M].北京:測繪出版社, 1995.

[7] YAN K,RAHUL S.PCA-SIFT:A more distinctive rep resentation for local image descriptors[J].Computer Vision and Pattern Recognition,2004(2):506-513.

[8] 李曉明,鄭鏈,胡占義.基于SIFT特征的遙感影像自動配準(zhǔn)[J].遙感學(xué)報,2006,10(11):885-892.

[9] 楊常清,王孝通,徐曉剛,等.基于特征空間的航空影像自動配準(zhǔn)算法[J].測繪學(xué)報,2005,34(3):218-222.

[10] HARTLEY R,ZISSERMAN A.M ultip le View Geometry in Computer Vision[M].London:Cambridge University Press, 2004.

Abstract:Themethods w hich current unmanned aerial vehicle(UAV)phantom fast sp licingmay select and their feasibility were elabo rated,the steady SIFT algo rithm was introduced into the automatic mosaic of UAV images,and the time consump tion of the algo rithm during various stages was analyzed.Considering the feature of UAV to imp rove the algorithm,w hich can reduce the range fo r searching feature points through estimating the overlap of neighboring images,and the most superior size of Gaussian kernel adap ting in the UAV images was obtained through the experiment w hen detecting the criterion space extreme points,it can overcome the traditional SIFT algo rithm′s flaw by using the fixed sizemethod,not only reduce the time consumption,but also obtain the characteristic points as far as possible.Finally the p recise transfo rmation matrix was obtained to comp lete imagesmosaic by using the LM method.Experimental results show that thisalgo rithm has good compatibility to automatic mosaic of UAV images,w hich can remain the algo rithm′s robust,meanw hile,the p recision and the efficiency were increased.

Key words:UAV images;automatic mosaic;overlapping of images;size of Gaussian kernel

A Automatic M osaic Method in Unmanned Aerial Vehicle Images Based on Feature Points

LU Heng,L I Yong-shu,HE Jing,CHEN Qiang,REN Zhi-ming
(GIS engineering Center of Southw est Jiaotong University,Chengdu 610031,China)

P231.5

A

1672-0504(2010)05-0016-04

2010-05-06;

2010-08-06

國家“十一五”科技支撐計劃項目(2006BAJ05A13)

魯恒(1984-),男,博士研究生,主要從事低空遙感技術(shù)理論與應(yīng)用研究。E-mail:luheng_19841007@yahoo.cn