基于立體視覺的在線實時測量系統(tǒng)設計與實現(xiàn)

侯一凡 王棟 邢帥 徐青 葛忠孝

摘要：為了滿足深空探測器實時測量天體表面形貌的需求，設計并實現(xiàn)了一套基于立體視覺的在線實時測量原型系統(tǒng)。該系統(tǒng)通過立體相機實時獲取空間天體的立體影像，利用每次觀測的一組立體影像來重建其局部表面形狀；再對每次重建的局部模型進行連接，得到空間天體完整的表面形貌模型。通過仿真實驗驗證了該系統(tǒng)的可行性， 數(shù)據(jù)處理的速度與精度可以滿足對深空目標進行實時測量的需要。

關鍵詞：立體視覺；實時測量；模型連接；影像匹配；序列立體影像

中圖分類號：TP391.41 文獻標志碼：A

Abstract：In order to satisfy the realtime demand of deep space probe map topography of celestial body， an online mobile realtime mapping prototype system based on image stereo vision was designed and implemented in this paper. Stereo images of space object was obtained in realtime by the stereo camera， a group of observed stereo images was used to reconstruct its surface shape， and then the local reconstructed model was connected to generate the whole surface topography model of the space object. The feasibility， accuracy and speed were proved by experiment. The results show that it can meet the demend of realtime mapping.

Key words：stereo vision； realtime mapping； model connection； image matching； sequence stereo image

0 引言

目前，深空探測器在空間天體的抵近過程中主要依據(jù)單個高分辨率光學傳感器與激光測距儀等科學儀器來測量其表面信息[1-3]。這種方式雖然有機械結構簡單、易操作的特點，但是存在處理速度慢、地形點稀疏等不足，無法滿足探測器精確著陸和避障導航的需求。其原因是單個光學傳感器必須依靠在不同位置的多次成像來進行攝影測量處理，而探測器位置與姿態(tài)的變化會使影像內(nèi)容存在明顯差異，導致后續(xù)的密集匹配與坐標解算十分困難；現(xiàn)有的激光測距數(shù)據(jù)往往比較稀疏，在空間天體表面的密集測量中只能起到輔助作用， 因此，有學者提出采用立體視覺測量的方法來對空間天體進行實時測量[3-6]。

華盛頓大學與微軟公司[7]合作為火星衛(wèi)星“探測者”號研制了寬基線立體視覺系統(tǒng)，系統(tǒng)使用同一個攝像機在“探測者”的不同位置上拍攝圖像對，根據(jù)兩次拍攝圖像時攝像機的相對位置，利用高效的圖像匹配計算得到圖像對中各點的三維坐標，使“探測者”號能夠在火星上對其即將跨越的幾千米內(nèi)的地形進行精確的定位和導航。傳統(tǒng)的目標分割算法難以在高速實時環(huán)境中得到令人滿意的結果，麻省理工學院計算機系針對這一特點，提出了一種用于智能交通工具的傳感器融合方法，由雷達系統(tǒng)提供目標深度的大致范圍，利用雙目立體視覺提供粗略的目標深度信息，結合改進的圖像分割算法，能夠在高速環(huán)境下對視頻圖像中的目標位置進行分割[8]。日本大阪大學自適應機械系統(tǒng)研究院研制了一種自適應雙目視覺伺服系統(tǒng)，利用雙目立體視覺的原理，識別每幅圖像中相對靜止的三個標志，以預測出目標下一步運動方向，實現(xiàn)了對運動方式未知目標的自適應跟蹤[9]。國內(nèi)哈爾濱工業(yè)大學等[10-11]構建了一套異構雙目活動視覺系統(tǒng)，通過將一個固定攝像機和一個可以水平旋轉(zhuǎn)的攝像機分別安裝在機器人的頂部和中下部，利用雙目協(xié)調(diào)技術使機器人同時捕捉多個有效目標，實現(xiàn)了全自主足球機器人導航。

以上系統(tǒng)和方法有自己的優(yōu)缺點和適用性，在各自的領域都取得了一定的成功，但是還存在以下問題：

1）獲取的場景三維信息不完整。有的系統(tǒng)僅獲取場景中部分標志物的三維信息，有的系統(tǒng)僅獲取場景中部分物體的三維信息，有的系統(tǒng)雖然獲取了整個場景的三維信息但密度不夠，不能表達場景中的一些細節(jié)信息。

2）獲取的場景三維信息未能整合。立體相機每一次拍攝的立體圖像均可以生成對應場景的三維模型，但隨著立體相機的移動，并沒有考慮模型之間的關系，將每次重建的三維模型整合在一起，以實現(xiàn)對大范圍場景的整體測量。

3）系統(tǒng)實時性不足。上述系統(tǒng)中，對于僅獲取場景中部分標志物三維信息的系統(tǒng)來說，基本可滿足實時響應的要求，但對于需要獲取全部場景精細三維信息的系統(tǒng)來說，其處理往往是線下的，還不能滿足實時響應的要求。

為此，結合深空目標的實時精確測量，本文設計并實現(xiàn)了一套立體視覺在線移動實時測量原型系統(tǒng)，即通過立體相機獲取空間天體的序列立體影像，并經(jīng)過影像處理以得到其表面完整的三維信息。

1 在線實時測量系統(tǒng)的設計

1.1 硬件平臺構建

本系統(tǒng)設計由影像數(shù)據(jù)采集模塊、立體視覺實時處理模塊和結果輸出模塊等構成，下面給出本系統(tǒng)的設計示意圖（如圖1所示）。其中，影像數(shù)據(jù)采集模塊是由一對立體相機和一個影像采集卡組成，立體視覺實時處理模塊應用計算機來進行數(shù)據(jù)處理，而結果輸出模塊是利用OpenGL開發(fā)庫來構建2.5維演示場景并由顯示器演示出來。

立體相機與計算機之間用路由器、千兆網(wǎng)線進行連接，既提高數(shù)據(jù)傳輸?shù)乃俣?，又可增長數(shù)據(jù)傳輸?shù)木嚯x。立體視覺實時處理模塊由通用的CPU和存儲器組成，主要負責立體影像數(shù)據(jù)的接收、運算處理以及三維信息的輸出。最后，由效果顯示模塊演示本系統(tǒng)在移動過程中在線處理所得到的結果。

1.2 軟件設計與流程

立體視覺的基本原理是從兩個或多個視點觀察同一景物，以獲取物體在不同視角下的圖像，通過三角測量原理計算圖像像素間的位置偏差（即視差）來獲得三維信息。通過序列立體影像對的模型連接，可以將每次拍攝后生成的天體局部形貌模型統(tǒng)一起來，生成完整的天體形貌信息，其難點在于精確確定相鄰兩組立體影像對之間的幾何關系。本文通過相鄰立體影像對之間的模型匹配，提取出一定數(shù)量的同名模型點，據(jù)此建立相鄰立體影像對模型之間的空間變換模型，并通過模型糾正將兩組模型歸化至同一坐標系下。下面給出系統(tǒng)實現(xiàn)的具體流程（如圖2所示）。

單個立體影像重建目標天體三維信息的步驟包括相機標定、核線影像糾正、影像匹配以及前交模型坐標等，為了獲取密集的三維信息，本文采用了半全局匹配方法來獲取立體影像的密集同名點。而單個立體模型之間的連接是通過稀疏匹配前后影像間的同名點，以解算模型之間的連接參數(shù)，進而可將各個單獨模型規(guī)劃至同一坐標系中。下面具體給出立體影像密集匹配與模型連接的具體實現(xiàn)方法。

2 關鍵技術實現(xiàn)

2.1 半全局匹配

目前，常用的逐像素影像匹配算法有置信傳播（Belief Propagation， BP）算法、圖例（Graph Cut， GC）算法和半全局匹配（Semi Globel Matching， SGM）算法等。通過參閱相關文獻對比發(fā)現(xiàn)， SGM作為一種基于互信息和多方向動態(tài)規(guī)劃的影像匹配算法，具有匹配效果好、速度快、魯棒性強等特點， 因此，本文采用SGM算法作為空間天體表面立體影像的匹配算法，基本思想是：先基于互信息執(zhí)行逐像素代價計算，再用多個一維的平滑約束來近似一個二維的平滑約束。

2.2 序列立體模型的連接

通過相鄰立體影像對之間的模型匹配，提取出一定數(shù)量的同名模型點，據(jù)此建立相鄰立體影像對模型之間的空間變換模型，并通過模型糾正將兩組模型歸化至同一坐標系下。其原理是依據(jù)同一相機在相鄰時刻獲取的影像中存在同名像點及其對應的模型三維坐標，以此為連接點，通過相似變換可以將得到的連續(xù)立體模型連成一個整體。而相鄰時刻前后影像間的同名像點需要匹配獲得，快速魯棒性特征（Speeded Up Robust Feature， SURF）算子是當前計算機視覺領域應用較多的一種特征點提取與匹配算法，其具有穩(wěn)定性好、速度快且正確率高的特點， 因此，本文采用SURF算子匹配前后影像間的稀疏同名點，進而得到立體模型間對應的連接點。

由式（4）可知，式中含有7個未知參數(shù)，而一對連接點的方程個數(shù)為3，因而解算它們就至少需要3個不在一條直線上的同名特征點。在實際處理過程中，為了保證精度、可靠性，常需要4個或4個以上的同名特征點來答解變換參數(shù)。由式（4）的線性化方程就可以計算出前后立體模型之間的變換關系，即7個變換參數(shù)，反過來由這些參數(shù)可將后一個模型三維點云轉(zhuǎn)換至前一個模型中，序列立體模型連接的處理流程如圖4所示。經(jīng)過序列立體模型的連接，探測器在移動過程中所重建的目標天體局部模型可以整合到第1組立體模型的坐標系中，形成整個探測區(qū)域完整的三維模型。

3 實驗分析

3.1 實驗條件

為了模擬深空探測器測繪天體形貌和識別其表面特征，課題組構建了一套行星表面抵近測繪綜合仿真實驗系統(tǒng)，其硬件平臺由高精度三維運動平臺、高精度姿態(tài)調(diào)整平臺、運動控制單元、光學測量系統(tǒng)、激光雷達測量系統(tǒng)以及地形沙盤等部分構成，其地面仿真實驗平臺整體結構及行星表面地形模擬沙盤如圖5所示。

為了模擬深空探測器遞進小行星天體并對其表面形貌進行測繪的過程，本實驗堆建了該小行星的局部形貌模型。為了驗證小行星天體表面形貌測量的精度，本文在形貌模型表面設置了圓形標志點，以便后續(xù)與激光測距數(shù)據(jù)進行精度對比。

3.2 實驗數(shù)據(jù)及其處理

通過控制綜合仿真實驗系統(tǒng)的三維運動平臺，就可以由立體相機獲取形貌模型光學序列立體影像對，下面給出部分影像數(shù)據(jù)如圖6所示。

結合已知的標定結果，可以直接糾正獲取的立體影像對，每幀影像對糾正所花費的時間約為18ms。由于影像對糾正時間只與其大小有關，因而不同影像對糾正的時間是基本一致的。接著，利用前文所述的SGM算法對糾正后的立體影像對進行逐像素匹配，其深度范圍設置為0至64像素，得到相應的視差圖如7所示。由于目標地形是連續(xù)起伏的，從而立體影像的匹配點與參考點的順序是基本一致的，因此本系統(tǒng)在數(shù)據(jù)處理過程中將視差值為負或大于64的匹配結果視為誤匹配并剔除它。據(jù)統(tǒng)計，應用SGM算法匹配立體影像所花費的時間為120～150ms，隨機對30組立體影像進行匹配，平均耗時為137.3ms。其原因是不同立體影像對得到的有效同名點個數(shù)存在差異，誤差點剔除與同名點匹配所花費時間不一樣。但是，一般情況下，立體影像對的匹配時間小于150ms，由同名像點計算對應的三維坐標所費時間僅為30～35ms。而立體影像對拍攝的間隔時間往往大于1s，顯然立體影像對重建三維信息滿足在線實時測量要求。

由SURF匹配算法獲取序列立體像對間的模型連接點，上面4組影像對之間的連接點個數(shù)分別為1298、1370和1552，分別花費了189ms、201ms和233ms。根據(jù)前文序列立體模型的連接方法，將各個獨立模型統(tǒng)一規(guī)劃至第1個模型坐標系中，連接順序按照立體相機獲取立體影像的順序進行。實驗中共獲取立體影像為51對，包含3條航帶且每個航帶17對立體影像，從立體影像對獲取、獨立模型生成至模型坐標的歸一化共花費時間約61s，其中部分時間消耗在模型坐標轉(zhuǎn)換上。下面給出整個探測區(qū)域的三維形貌模型及其疊加紋理后的結果（如圖8和圖9所示）。

圖8是通過分層設色的方法來表示形貌模型的高程變化，從低到高采用了由藍至紅色彩來漸進表示；圖9是結合構像方程將影像紋理映射到重建的形貌模型上，更好地展示了小行星表面模型的形貌特征，如撞擊坑、小山丘以及溝壑等形貌，同時可以顯示出標志點的位置。

由圖10可見，BP算法、GC算法主要存在兩點不足：首先，因算法中無一致性檢查，造成匹配深度中存在不同程度的漏匹配區(qū)域；其次，因其算法為像素級匹配，使得匹配結果出現(xiàn)較為明顯的深度層次。在效率方面，其他算法匹配耗時為260～310ms之間，約為SGM算法耗時的兩倍。由上實驗可以看，SGM算法匹配結果不僅無漏匹配區(qū)域，而且深度圖的灰度變化相對平滑，耗時較少，能夠達到準實時的效果，是一種較好的密集匹配算法。

3.3.2三維信息重建精度的對比

為了評價地形形貌重建的精度，本實驗利用激光掃描儀獲取了模擬地形的三維激光點云數(shù)據(jù)（如圖11所示），其坐標精度可達毫米級，可作為重建形貌模型的參考標準。

首先，分別從序列立體影像對重建的形貌模型和激光掃描儀獲取的形貌模型中提取出對應的標志點，應用空間相似變換原理將兩個模型統(tǒng)一至統(tǒng)一坐標系下；再任意選擇其中部分對應的標志點坐標進行比較，計算出它們的高程差，給出相應的精度評價。實驗中，隨機抽取了10個相對離散的檢查點，其結果如表3所示。

從表3中可看出，序列立體影像重建的形貌結果與激光掃描儀獲取的結果之間相差不超過10%，最大誤差為31.9mm。其誤差產(chǎn)生的原因：一方面，重建結果與掃描結果統(tǒng)一坐標系時所使用的對應三維點坐標是通過人工交互選取而得的，存在一定的主觀誤差；另一方面，立體影像和相鄰影像的匹配精度都是像素級的，雖然匹配速度有所提高但降低了匹配精度，加上模型間連接會進一步傳遞誤差。

4 結語

結合未來空間小天體的探測需求，本文設計并實現(xiàn)了一套立體視覺在線移動實時測量原型系統(tǒng)，其創(chuàng)新之處在于該系統(tǒng)利用立體相機代替了傳統(tǒng)的單相機，可以同時獲取天體表面的立體影像并實時重建其三維信息；通過匹配相鄰立體影像的同名點，以此作為連接點將立體模型歸化至統(tǒng)一坐標系中，形成探測區(qū)域整體的三維模型。實驗結果顯示，本文方法能夠生成獨立形貌模型并將各個模型規(guī)劃至一個整體，且能夠滿足在線實時測量的應用需求。

當然，在實驗過程中我們發(fā)現(xiàn)了該系統(tǒng)主要存在兩大問題，即影像匹配的精度問題和數(shù)據(jù)處理的速度問題。隨著探測器獲取的影像數(shù)據(jù)越來越多，重建生成模型的數(shù)據(jù)量越來越大，系統(tǒng)處理的速度隨之越來越慢。下一步，研究重點是采用子像素級匹配方法來提高立體影像和前后影像的匹配精度，采用數(shù)據(jù)分塊處理策略來提高系統(tǒng)運行的速度。

參考文獻：

[1]MELOSH H J. Planetary Surface Processes[M]. Cambridge： Cambridge University Press， 2011：124-135.

[2]ZUBER M T， SMITH D E， CHENG A F， et al. The shape of 433 eros from the NEARshoemaker laser rangefinder[J]. Science， 2000， 289（5487）： 2097-2101.

[3]徐偉彪， 趙海斌. 小行星深空探測的科學意義和展望[J]. 地球科學進展， 2005， 20（11）： 1183-1190.（XU W B， ZHAO H B. Deep space exploration of asteroids the science perspectives[J].Advances in Earth Science， 2005， 20（11）： 1183-1190.）

[4]PREUSKER F， SCHOLTEN F， MATZ K D， et al. Global shape of （4） vesta from dawn FC stereo images [J]. LPI Contributions， 2014， 1773：2027.

[5]藍朝楨， 耿迅， 徐青，等. 基于序列影像的小天體三維形狀重建方法研究[J]. 深空探測學報， 2014， 1（2）： 140-145.（LAN C Z，GENG X，XU Q， et al. 3D shape reconstruction for small celestial body based on sequence images[J]. Journal of Deep Space Exploration， 2014， 1（2）：140-145.）

[6]張廣軍.視覺測量[M].北京： 科學出版社， 2008： 55-61.（ZHANG G J. Vision Measurement[M]. Beijing： Science Press， 2008： 55-61.）

[7]OLSON C F， ABIRACHED H， YE M， et al. Widebaseline stereo vision for Mars rovers[C]// Proceedings of the 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway， NJ： IEEE， 2003： 1302-1307.

[8]FANG Y J， MASAKI I， HORN B. Depthbased target segmentation for intelligent vehicles： fusion of radar and binocular stereo[J]. IEEE Transactions on Intelligent Transportation Systems， 2002， 3（3）：196-202.

[9]ASADA M， TANAKA T， HOSODA K. Visual tracking of unknown moving object by adaptive binocular visual servoing[C]// Proceedings of the 1999 IEEE International Conference on Multisensor Fusion and Intelligent Systems. Piscataway：IEEE，1999：249-254.

[10]高慶吉，洪炳熔，阮玉峰.基于異構雙目視覺的全自主足球機器人導航[J].哈爾濱工業(yè)大學學報，2003， 35（9）： 1029-1032. （GAO Q J， HONG B R， RUAN Y F. Navigation of smallsize autonomous soccer robot based on isovision system with two cameras[J]. Journal of Harbin Institute of Technology， 2003：35（9）： 1029-1032.）

[11]崔躍軍. 基于雙目相機的小行星軟著陸導航方法及其仿真平臺研究[D]. 哈爾濱：哈爾濱工業(yè)大學，2009.（CUI Y J. Research and simulation platform on navigation algorithms based on binocular vision for softlanding asteroid [D]. Harbin： Harbin Institute of Technology，2009.）