基于序列影像的小天體三維形狀重建方法研究

藍朝楨,耿迅,徐青,崔平遠

(1.信息工程大學地理空間信息學院,鄭州450052;2.北京理工大學深空探測技術(shù)研究所,北京100081)

基于序列影像的小天體三維形狀重建方法研究

藍朝楨1,2,耿迅1,徐青1,崔平遠2

(1.信息工程大學地理空間信息學院,鄭州450052;2.北京理工大學深空探測技術(shù)研究所,北京100081)

提出了一種基于序列影像的小天體三維形狀重建方法。利用小天體序列影像間的內(nèi)在幾何約束關(guān)系,在無精確位置、姿態(tài)數(shù)據(jù)的條件下,基于稀疏光束法平差求解小天體序列影像的相對位置、姿態(tài)。綜合利用核線幾何約束、半全局匹配、多視最小二乘匹配等策略進行小天體序列影像的密集匹配,重建小天體三維形狀信息。由于小天體序列影像尺度變化大、紋理貧乏,導致影像匹配的誤匹配率較高,在匹配過程中采用隨機KD樹搜索策略與擬合透視變換模型的RANSAC算法剔除粗差。利用“黎明號”探測器的繞飛段實測影像,對灶神星(VESTA)的三維形狀重建進行了實驗,結(jié)果證明了該方法的有效性。

小天體;三維重建;深空探測;密集匹配;序列影像

0 引言

小天體探測是人類深空探測最復雜的任務之一,也是目前國際上航天活動的熱點。小天體三維形狀的準確獲取是實現(xiàn)探測器著陸過程導航制導、安全著陸的前提,也是小天體質(zhì)量、體積、轉(zhuǎn)動慣量、慣性主軸以及引力場模型精確確定的依據(jù)。因此,獲取小天體的三維形狀是各個小天體探測任務的重要目標。由于成像傳感器具有范圍大、功耗低、分辨率高等特點,被廣泛應用于深空探測任務中,利用圖像數(shù)據(jù)重建小天體三維形狀是目前普遍采用的方法。但是,由于攝影條件不嚴格,影像尺度變化大、重疊率較為隨意,影像基本處于無序的狀態(tài),且影像間的光照條件不統(tǒng)一,輻射變化大。此外,小天體特殊的表面形貌造成影像上紋理稀疏,信息量小。這些因素給小天體三維形狀的重建造成很大困難。因此,利用小天體序列影像重建小天體三維形狀一直是深空探測領域的一個研究難點。

國內(nèi)外學者對序列影像的小天體形狀重建技術(shù)開展了卓有成效的研究和實踐。2000年,“NEAR號”探測任務的圖像處理小組通過識別估計Eros小天體表面的彈坑分布來恢復小天體的三維模型[1]。國外學者對“黎明號”(DAWN)探測器獲取的灶神星(VESTA)的三維形貌提取開展了研究[23],但所采用的方法依賴于高精度的位置和姿態(tài)測量數(shù)據(jù)。國內(nèi)學者近年來也在此方面開展了相關(guān)研究,邵巍(2009)[4]和崔平遠等(2010)[5]提出了一種繞飛過程中小天體三維模型重構(gòu)方法,采用PCA—SIFT進行特征點降維處理和弱透視模型解算,這樣雖然提高了速度,但會損失地形重建的精度。

本文提出了一種基于序列影像的小天體三維形狀自動重建方法。在連接點提取方面,利用SIFT (Scale-invariant feature transform,尺度不變特征轉(zhuǎn)換)匹配同名點,結(jié)合隨機KD樹搜索策略與RANSAC(Random sample consensus,隨機抽樣一致算法)剔除粗差,實現(xiàn)連接點的可靠自動匹配;在無影像精確位置、姿態(tài)數(shù)據(jù)的條件下,采用稀疏光束法平差(Sparse bundle adjustment)方法計算序列影像的相對位置、姿態(tài);最后綜合利用核線幾何約束、多視最小二乘匹配、半全局匹配等策略進行密集匹配,重建小天體三維形狀信息。

1 小天體影像連接點自動提取

序列影像間的同名連接點的自動提取與可靠匹配,是探測器相對位置和姿態(tài)估計的前提,是利用二維影像重建小天體三維形狀的第一步。

1.1 尺度不變影像特征提取

由于小天體探測器受到多種攝動力干擾,加上小天體本身的自轉(zhuǎn)、形狀不規(guī)則等特性,探測器獲取的小天體影像通常會發(fā)生旋轉(zhuǎn)、平移、縮放以及光照變化等,要實現(xiàn)影像間可靠的匹配,連接點的提取必須能克服尺度、光照變化等不利因素的影響。

SIFT是計算機視覺領域的經(jīng)典算法[6]。該算法在空間尺度中尋找極值點,并提取出其位置、尺度和旋轉(zhuǎn)不變量。SIFT算法對旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,并對影像的仿射變換、視角變化、噪聲等影響也有一定的穩(wěn)定性。本文采用該算法,對小天體影像的特征進行提取和描述。為保證提取的特征在整張影像上均勻分布,采用影像金字塔逐級提取,并利用GPU加速算法,提高特征提取的運算速度。

圖1為“黎明號”探測器2011年在2 420 km測繪軌道(Survey orbit)獲取的VESTA小行星的連續(xù)4幀影像(分辨率為1 024×1 024)。從圖中可以看出,小行星表面影像信息量較為貧乏,且由于小行星的自轉(zhuǎn)和探測器的運動,造成地物形狀和光照變化較大。圖2為利用SIFT算法提取的特征點,圖中可以看出,雖然尺度變化較大,但即使在紋理細節(jié)不豐富的平坦區(qū)域,還是能提取出大量的特征點(實驗中,每幀影像提取特征點數(shù)量約3 000個),這為下一步特征的匹配和相機位置姿態(tài)的估計奠定了基礎。

圖1 VESTA小行星原始影像Fig.1 Raw sequence images of VESTA

圖2 VESTA影像特征提取結(jié)果Fig.2 Extracted feature points from VESTA

1.2 隨機KD樹搜索策略匹配連接點

在數(shù)量眾多的序列小天體影像上大量特征點高維空間中確定同名特征,效率較低。SIFT的特征描述符為128維,雖然可以通過PCA(Principal component analysis)算法對描述符做降維處理,但會損失特征描述符的一些信息,會導致信息原本就相對貧乏的小天體影像特征匹配的準確性下降。因此,為加快特征匹配的速度,本文引入隨機KD樹搜索[7](Randomized KD-tree algorithm)策略實現(xiàn)在全維特征空間的特征匹配。隨機KD樹收集多個樹的子節(jié)點對各個類別的投票,然后選擇獲得最多投票的類別作為最終的判斷結(jié)果,通過計算樹的所有子節(jié)點的平均值來解決回歸問題。隨機樹建立時的基本子系統(tǒng)是決策樹。隨機KD樹算法便于并行計算,因此容易提升計算性能。對于特征向量間匹配的測度,采用目前基于尺度不變特征匹配最常用的匹配測度——歐氏距離測度歐氏距離最小等價于N維空間點Y與點X之間的距離最小。

1.3 RANSAC誤匹配點剔除

采用第1.2節(jié)方法得到的匹配點只是粗匹配的結(jié)果,其中含有誤匹配點,特別是針對紋理信息較少重復特征較多的小天體影像,誤匹配率非常高,這對后續(xù)的相機位置姿態(tài)的求解是非常不利的。本文采用隨機抽樣一致性算法(Random sample consensus,RANSAC)剔除粗差[8]。RANSAC算法的基本思想是隨機選擇兩個點,這兩個點確定了一條直線,在這條直線一定距離范圍內(nèi)的點稱為這條直線的支撐。隨機選擇重復數(shù)次,具有最大支撐特征集的直線被確認為是樣本點集的擬合。在擬合的誤差距離范圍內(nèi)的點稱為內(nèi)點,反之則為外點。根據(jù)算法描述可知,隨機選取的包含外點的初始點集確定的直線不會獲得很多特征點支撐,如圖3所示,點A作為外點被剔除。擬合直線只是一種簡單的變換模型,對于小天體影像而言,擬合仿射或者透視變換模型更合適,其基本原理與直線的擬合是一樣的,本文在使用RANSAC算法剔除誤匹配點時使用透視變換作為其擬合的模型。

圖3 RANSAC剔除粗差點示意圖Fig.3 Outliers removal using RANSAC

對第1.1節(jié)中提取的VESTA影像SIFT特征進行隨機KD樹策略匹配,并采用擬合透視變換模型的RANSAC對誤匹配點進行剔除。表1為三幅影像粗匹配點以及正確匹配點的數(shù)量統(tǒng)計結(jié)果。圖4為剔除誤匹配后的結(jié)果。

表1 粗匹配和粗差剔除結(jié)果Table 1 Initial image matching and outliers removal

從實驗結(jié)果可以看出,由于小天體表面形態(tài)的特點,存在相當高的誤匹配點,必須進行剔除。經(jīng)過RANSAC算法剔除誤匹配點后,特征點的匹配可靠性得到了極大的提高。這些可靠匹配的同名像點,將用于下一步估計相機位置和姿態(tài)參數(shù)。

圖4 特征點匹配結(jié)果Fig.4 Feature point matching results

2 稀疏光束法平差求解相機位置姿態(tài)

小天體序列影像位置和姿態(tài)的解算,是基于圖像重建小天體三維形狀的關(guān)鍵。文獻[2- 3]的小天體三維重建方法,需要利用初始的位置和姿態(tài)數(shù)據(jù)。本文在無影像初始位置和姿態(tài)數(shù)據(jù)的條件下,利用序列影像內(nèi)在的幾何約束關(guān)系,采用稀疏光束法平差[9]方法求解影像相對位置和姿態(tài)參數(shù)。

2.1 SBA算法原理

稀疏光束法平差是計算機視覺領域在光束法平差的基礎上發(fā)展的一種利用Levenberg—Marquardt算法求解相機參數(shù)和三維點坐標的方法。

可以用7個參數(shù)來描述一個相機成像模型,分別是3個旋轉(zhuǎn)參數(shù)、3個平移參數(shù)和1個相機焦距,如圖5所示。

從圖中可以看出,每一對匹配連接特征點都對應一個三維點,稀疏光束法平差的誤差方程為所有三維點在對應影像上的像點誤差的平方和,即

其中,I代表所有影像,x(i)為影像i所對應的三維點列表。設點Xj在影像i上的重投影像點為uij,所對應的特征點為mij,則像點誤差為

采用Levenberg-Marquardt算法求解的迭代方程為

式中,Φ是相機參數(shù)和特征點坐標的向量;r是殘差向量;σ為3倍的中誤差;J=?r/?Φ是一個M×N的矩陣;M為影像個數(shù);N是待求解未知數(shù)的個數(shù);Cp為協(xié)方差矩陣。

圖5 影像特征點與三維點關(guān)系示意圖Fig.5 Relationship between image point and 3D point

由于矩陣J大部分元素是0(只有當是對應影像或特征點的參數(shù)時導數(shù)才不為0),所以可以直接求解JTJ中的元素。由于矩陣JTJ是一個稀疏陣,稀疏矩陣降低了相機參數(shù)與特征點坐標之間的相關(guān)性。利用稀疏光束法平差先求解相機參數(shù),然后再求解特征點相對坐標,同時得出攝影時相機的相對平移位置和姿態(tài)數(shù)據(jù)。

2.2 稀疏光束法平差策略

為保證平差精度,本文針對小天體影像的特點,采用如下策略:

1)平差初始影像對選擇具有較多連接點的兩張影像,以該像對的左片像空間坐標系為整個小天體的局部坐標系,通過相對定向和前方交會方法計算該像對相對的位置、姿態(tài)以及連接點在上述局部坐標系中的位置初值,并利用稀疏光束法平差方法對這些參數(shù)進行最優(yōu)化求解。

2)添加一幅新影像,利用已求得的三維點坐標以及相應影像之間的連接點計算影像的相機參數(shù),并利用前方交會計算對應特征點的相對坐標,再進行光束法平差優(yōu)化。

3)繼續(xù)添加其他影像,直到所有影像都完成,如果一幅影像與其他任一幅影像的匹配特征點太少,則該影像不處理。

3 多視密集匹配小天體三維形狀重建

在求解序列影像相對位置、姿態(tài)參數(shù)的基礎上,小天體三維形狀重建的關(guān)鍵步驟是序列影像的密集匹配。但是由于小天體影像紋理信息相對貧乏,大量的隕石坑內(nèi)光照角度不一致,采用傳統(tǒng)的匹配方法會導致大量的誤匹配點。為達到穩(wěn)健的密集匹配結(jié)果,必須增加相應的約束條件。本文將半全局匹配算法(Semi-global matching,SGM)[10]引入到小天體影像的密集匹配過程,綜合采用核線幾何約束等方法增加匹配的穩(wěn)健性,并利用影像金字塔分層匹配提高匹配效率。在此基礎上,利用多視最小二乘匹配實現(xiàn)同名像點的高精度匹配,最終重建小天體的三維形狀。具體流程如圖6所示。

圖6 密集匹配重建小天體3D形狀流程Fig.6 Process of 3D shape reconstruction

半全局匹配算法基于互相關(guān)信息的逐像素匹配思想,通過多個一維約束構(gòu)成近似全局的二維平滑約束。設參考影像像素p灰度為Ibp,對應待匹配影像的同名點q灰度為Imq。函數(shù)q=ebm(p,d)表示匹配影像上對應于參考影像像素p的核線,核線參數(shù)是d。對于核線影像,匹配影像位于參考影像右側(cè), d為視差,則有如下公式

匹配時一個重要的因素,是待匹配區(qū)域的尺寸與形狀。待匹配區(qū)域越大,匹配的穩(wěn)健性越高。匹配代價函數(shù)計算基于互相關(guān)信息(MI),互相關(guān)信息對亮度變化不敏感。其定義是從兩幅圖像的熵H(即信息含量)出發(fā)

熵由相應圖像灰度的概率分布P計算得出

本文利用上述密集匹配方法和策略,對圖1中4幀影像進行密集匹配,圖7為得到的深度圖,圖8為4幀影像地形提取結(jié)果。

圖7 密集匹配后得到的深度圖Fig.7 Disparity map after dense image matching

圖8 四幀影像地形重建結(jié)果Fig.8 Reconstruction results using four images

從圖7可以看出,在相機位置姿態(tài)估計的基礎上,利用密集匹配方法精細地重建了重疊區(qū)域的深度圖,從最終構(gòu)建的三維地形(圖8)來看,較小的隕石坑也得到了重建。

4 實驗結(jié)果與分析

為驗證上述方法的有效性,從“黎明號”探測器在測繪軌道(Survey orbit)獲取的VESTA小行星的1 000多幀影像中,篩選了80張影像(部分影像如圖9所示),進行VESTA小行星三維重建試驗。

從原始的影像中不難看出,拍照的角度和光照變化都比較大,影像基本處于無序狀態(tài)。原始影像經(jīng)過SIFT特征提取匹配以及誤匹配點剔除后得到連接點,經(jīng)過稀疏光束法平差恢復連接點的三維位置如圖10所示。圖中包含了53 255個連接點。同時還恢復了相機的相對位置和姿態(tài),相對位置的平差精度小于0.4個像素。

利用這些連接點,已經(jīng)基本重建了VESTA三維形狀,但是缺乏表面細節(jié),許多地方還有較大的空洞,因此,還需要利用多幀重疊影像的密集匹配,得到稠密點云。圖11為經(jīng)過多視密集匹配后得到稠密的點云,并經(jīng)過三角化得到VESTA三維形狀重建的最終結(jié)果。

局部區(qū)域(如隕石坑)的三維重建結(jié)果如圖12所示,該隕石坑為VESTA上最大的隕石坑Marcia,其表面細節(jié)地形得以精確重建。

小天體表面地形精確重建后,可以制作小天體表面的正射影像圖,圖13為VESTA小行星南極區(qū)域的正射影像圖。

圖9 VESTA序列影像Fig.9 Sequence images of VESTA

圖10 連接點三維重建結(jié)果Fig.10 3D shape reconstruction using tie points

圖11 VESTA三維形狀重建的結(jié)果Fig.11 3D shape reconstruction results of VESTA

圖12 Marcia隕石坑三維重建結(jié)果Fig.12 3D shape reconstruction result of rarcia crater

圖13 VESTA小行星南極區(qū)域的正射影像圖Fig.13 Orthophoto in south pole of VESTA

5 結(jié)論

小天體的三維重建是小天體探測的重要內(nèi)容,也是小天體著陸探測的基礎。本文針對小天體影像的特點,在無初始位置和姿態(tài)的條件下,研究了小天體相對形狀的重建問題,提出了一種基于序列影像的小天體三維形狀重建方法,并利用“黎明號”探測器的繞飛段實測影像,對灶神星(VESTA)的三維形狀重建進行了實驗。下一步,擬結(jié)合SPICE庫提供的初始位置和姿態(tài)數(shù)據(jù)對VESTA小行星三維重建結(jié)果進行精化。

[1] Cheng Y,Miller J K.Autonomous landmark based spacecraft navigation system[C]∥13th AAS/AIAA Spaceflight Mechanics Meeting.Ponce,Puerto Rico:[s. n.],2003.

[2] Kersten K D,Matz F,Preusker F,et al.High resolution Vesta HAMO atlas derived from DAWN FC images[C]∥43rdLunar and Planetary Science Conference.The Woodlands,TX,USA:[s.n.],2012.

[3] Preusker F,Scholten F,Matz K D.Topography of Vesta from DAWN FC stereo images[C]∥43rd Lunar and Planetary Science Conference,The Woodlands.TX,USA: [s.n.],2012.

[4] 邵巍.基于圖像信息的小天體參數(shù)估計及探測器自主導航研究[D].哈爾濱:哈爾濱工業(yè)大學,2009.[Shao W.Image based small body parameters estimation and spacecraft autonomous navigation[D].Harbin:Harbin Institute of Technology,2009.]

[5] 崔平遠,邵巍,崔祜濤.繞飛過程中小天體三維模型重構(gòu)及探測器運動估計研究[J].宇航學報,2010,31(5):1381- 1389. [Cui P Y,Shao W,Cui H T.3-D Small body model reconstruction and spacecraft motion estimation during flyaround[J].Journal of Astronautics,2010,31(5):1381 -1389.]

[6] Lowe D G.Distinctive image features from scale invariant key points[J].International Journal of Computer Vision, 2004,60(2):91- 110.

[7] Silpa A C,Hartley R.Optimised KD-trees for fast image descriptor matching[C]∥IEEE Conference on Computer Vision and Pattern Recognition.[s.l.]:IEEE,2008.

[8] Fischler M A,Bolles R C.Random sample consensus:a paradigm for model fitting with application to image analysis and automated cartography[J].Communication Association Machine,1981,24(6):381- 395.

[9] Lourakis M,Argyros A.SBA:A software package for generic sparse bundle adjustment[J].ACM Transactions on Mathematical Software,2009,36(1):1- 30.

[10] Hirschmüller H.Stereo processing by semi-global matching and mutual information[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(2):328- 341.

通信地址:鄭州市隴海中路66號測繪學院航測教研室(450052)

電話:(0371)81635393

E-mail:lan_cz@163.com

[責任編輯:高莎]

3D Shape Reconstruction for Small Celestial Body Based on Sequence Images

LAN Chaozhen1,2,GENG Xun1,XU Qing1,CUI Pingyuan2
(1.Institute of Surveying and Mapping,Information Engineering University,Zhengzhou 450052,China;2.Institute of Deep Space Exploration Technology,Beijing Institute of Technology,Beijing 100081,China)

A method for 3D shape reconstruction of small celestial body based on sequence images is proposed. Using the internal geometric constraints of sequence images,the relative position and attitude parameters of sequence images are estimated based on sparse bundle adjustment.In order to reconstruct the 3D shape of the small celestial body,such solutions as epipolar line geometric constraints,semi-global matching strategy and multi-view least squares matching are combined to perform dense image matching.In order to solve the mis—matching problem caused by the different scale and lack of texture details,the search strategy of random KD tree and RANSAC method with perspective model are used to detect outliers.Then,the 3D shape of VESTA is reconstructed using the method above by sequence images obtained from the Dawn mission.The results demonstrate our method's effectiveness.

small celestial body;3D reconstruction;deep space exploration;dense matching;sequence images

P234

:A

:2095-7777(2014)02-0140-06

藍朝楨(1979—),男,講師,博士,主要研究方向:數(shù)字攝影測量,三維可視化。

2013-11-01;

2013-12-30

國家重點基礎研究發(fā)展計劃(973計劃)(2012CB720000);中國博士后基金資助(2013M540870)