面向月球科研站任務(wù)的地月準(zhǔn)實時遙操作模擬驗證系統(tǒng)設(shè)計與關(guān)鍵技術(shù)研究

王 鎵，胡國林，羅益鴻，梁家林，萬文輝，趙 迪，薄 正，4

（1.北京航天飛行控制中心，北京 100094；2.中國科學(xué)院 空天信息創(chuàng)新研究院/遙感科學(xué)國家重點實驗室，北京 100101；3.華中科技大學(xué) 機械工程學(xué)院，湖北 武漢 430074；4.中國科學(xué)院 空間應(yīng)用工程與技術(shù)中心，北京 100094）

0 引言

作為地球唯一的天然衛(wèi)星，自古以來月球就是人類文明發(fā)展的重要參與者與見證者［1］。未來深空探測領(lǐng)域?qū)⒊尸F(xiàn)“近地軌道-地月空間-火星”的發(fā)展趨勢［2］，月球作為深空探測前沿，必將成為各航天強國的首選探測目標(biāo)［2］。據(jù)《2021 年中國航天白皮書》，我國將在2030 年前實現(xiàn)載人登月，之后將建造月球科研站。月球科研站不僅是解決關(guān)鍵月球科學(xué)問題、實現(xiàn)重大原創(chuàng)科學(xué)發(fā)現(xiàn)的有力工具，而且還是推動航天技術(shù)跨越提升、促進(jìn)多學(xué)科融合發(fā)展的重要引擎［2］。月球科研站任務(wù)系統(tǒng)復(fù)雜，挑戰(zhàn)艱巨，必須在實施登月階段開展方案論證和系統(tǒng)設(shè)計，并對制約任務(wù)實施的關(guān)鍵技術(shù)早布局，為后續(xù)任務(wù)順利實施奠定基礎(chǔ)。

基于此，本文擬設(shè)計面向月球科研站任務(wù)的地月準(zhǔn)實時遙操作模擬驗證系統(tǒng)，提出基于海量多尺度遙感數(shù)據(jù)的聯(lián)合處理方法，研制基于空地多運動平臺協(xié)同定位的原型軟件，并開發(fā)帶有力覺反饋的預(yù)測仿真驗證平臺。以期能夠在地面環(huán)境中真實還原遠(yuǎn)端的遙操作作業(yè)場景，提高遙操作的執(zhí)行效率和準(zhǔn)確性，為地面人員的方案設(shè)計、操作手訓(xùn)練、故障處置等提供實時支持，為我國月球科研站任務(wù)的實施奠定基礎(chǔ)。

1 月球科研站遙操作特點難點

我國在2020 年完成“三步走”之后，月球探測目標(biāo)逐步轉(zhuǎn)變?yōu)椤翱茖W(xué)深化研究與資源開發(fā)利用”，“無人”和“有人”這2 種探測形式進(jìn)行同步開展、互為補充［2］，如圖1 所示。具體包括：繼續(xù)開展無人探測［3］，建立機器人月球科研站能力體系；同步實施有人探月技術(shù)攻關(guān)，重點突破重型運載、載人地月往返、月面航天員出艙等關(guān)鍵技術(shù)［4］；進(jìn)行人-機聯(lián)合探測，實現(xiàn)月球資源開發(fā)利用，促進(jìn)可持續(xù)發(fā)展［2］。

圖1 我國月球探測未來發(fā)展特點［2］Fig.1 Future development characteristics of the lunar exploration in China［2］

月球科研站建設(shè)是一項綜合的系統(tǒng)工程，需要完成空間建造、太空制造、天文觀測、生物實驗等科學(xué)任務(wù)。其中，遙操作系統(tǒng)負(fù)責(zé)整個科研站部件單元和各個運動平臺的指揮、控制與協(xié)同，是月球科研站運行的“神經(jīng)中樞”，具有極其重要的地位。此外，宇航員也將參與月面活動，以遙操作的方式控制月球車或者月面機器人單獨、伴隨或聯(lián)合作業(yè)，將面臨更大風(fēng)險。月球科研站任務(wù)對巡視探測的范圍、效率、精度等需求會明顯提高，能主動發(fā)現(xiàn)感興趣的科學(xué)目標(biāo)，最終實現(xiàn)精準(zhǔn)探測［5］。受天地間傳輸距離影響，數(shù)據(jù)通信過程中會有較大時延，且一旦時延超過一定限制會使連續(xù)的閉環(huán)系統(tǒng)變得不穩(wěn)定，普通抑制時延的控制算法又很難保證大時延下遙操作系統(tǒng)的穩(wěn)定性和安全性［6］。因此，新的任務(wù)需求遙操作系統(tǒng)向更高效、更智能、更安全的方向發(fā)展，以滿足未來復(fù)雜地形條件下實施大范圍、遠(yuǎn)距離、高效、精準(zhǔn)的科學(xué)探測任務(wù)需求。

目前月面遙操作系統(tǒng)通常采用以下方法：首先操作人員在地面搭建一套遠(yuǎn)程集中監(jiān)控系統(tǒng)，等待月面機器人系統(tǒng)回傳月表圖像及其他傳感器信息；然后對事件或路徑進(jìn)行決策；最后以遙操作的方式控制月面機器人執(zhí)行相應(yīng)命令［7-9］。這種方式能夠解決單一任務(wù)、單個對象、簡單場景的遠(yuǎn)程控制，但面對系統(tǒng)非線性高、耦合性強、可靠性要求較高［10］的月球科研站這類多操作者（協(xié)同）的高度復(fù)雜任務(wù)，遙操作系統(tǒng)在大范圍、高精度、高實時性、智能化等方面還須進(jìn)一步提升和加強。

2 準(zhǔn)實時遙操作模擬驗證系統(tǒng)構(gòu)建

針對當(dāng)前月面遙操作系統(tǒng)控制效率較低的問題，設(shè)計了基于狀態(tài)預(yù)測修正和混合現(xiàn)實（Mixed Reality，MR）的地月準(zhǔn)實時遙操作模擬驗證系統(tǒng)，如圖2 所示。初始化階段，MR 仿真子系統(tǒng)利用全球遙感數(shù)據(jù)進(jìn)行大范圍三維重構(gòu)、渲染和地形增強顯示，在地面控制中心構(gòu)造靜態(tài)虛擬月面任務(wù)場景［11］。接著，依靠重建的月面任務(wù)場景（主要指月面環(huán)境和月面機器人數(shù)字模型），地面操作人員通過人機交互子系統(tǒng)操控虛擬機器人運動，生成運動指令，并發(fā)送至預(yù)測修正子系統(tǒng)進(jìn)行預(yù)先仿真（包括機器人的位置、速度、姿態(tài)等），經(jīng)驗證無誤后再發(fā)送至月面真實機器人。等待各類傳感器數(shù)據(jù)下傳至地面（數(shù)據(jù)量和延時均較?。?，預(yù)測修正子系統(tǒng)首先對虛擬機器人的狀態(tài)進(jìn)行參數(shù)辨識，完成短周期預(yù)測修正，然后再根據(jù)月面圖像（數(shù)據(jù)量和延時均較大），對虛擬機器人的位姿進(jìn)行進(jìn)一步精化以實現(xiàn)長周期預(yù)測修正。期間，MR 仿真子系統(tǒng)同步更新虛擬機器人狀態(tài)及任務(wù)場景，從而使地面操控人員能夠感受與真實月面任務(wù)延時同步變化的高臨場感任務(wù)場景。

圖2 基于MR 的地月準(zhǔn)實時遙操作系統(tǒng)控制方案［1，11］Fig.2 Control scheme for the Earth-Moon quasi-real-time teleoperation system based on MR［1，11］

基于以上分析，本文從月球科研站多目標(biāo)大區(qū)域協(xié)同探測需求出發(fā)，梳理了構(gòu)建地月準(zhǔn)實時遙操作模擬驗證系統(tǒng)需突破的關(guān)鍵技術(shù)，如圖3所示。

圖3 遙操作關(guān)鍵技術(shù)Fig.3 Key technologies for teleoperation

1）海量多尺度遙感數(shù)據(jù)環(huán)境感知技術(shù)

遙感測圖是深空探測任務(wù)的一項重要工作，通過搭載的相機等傳感器實現(xiàn)地外天體表面多尺度的二維、三維制圖是獲取地外天體形貌和構(gòu)造信息的基本手段。月球科研站任務(wù)需通過全球遙感數(shù)據(jù)制作全月大范圍或局部高分辨率的地形產(chǎn)品，支持未來深空探測任務(wù)的科學(xué)目標(biāo)制定、月球地質(zhì)構(gòu)造成因和演化研究、安全著陸區(qū)選址等科學(xué)研究和工程任務(wù)［2，12］。未來，探測范圍將由公里級擴展至百公里級以上，新的任務(wù)需求遙操作系統(tǒng)具有統(tǒng)一的大范圍感知結(jié)果。然而深空探測任務(wù)因軌道姿態(tài)測量精度較差、易受時變光照和復(fù)雜地形等環(huán)境因素影響，使得月球遙感測圖極具挑戰(zhàn)［13］。因此，為將這些不同范圍、不同分辨率的遙感數(shù)據(jù)進(jìn)行融合感知，需研究全球可覆蓋千公里范圍的多任務(wù)、多尺度的海量遙感數(shù)據(jù)融合處理方法，實現(xiàn)多層次、多尺度的遙感數(shù)據(jù)優(yōu)化融合［14］。

2）空地協(xié)同高精度定位技術(shù)

隨著機器人移動、人工智能、協(xié)同操作技術(shù)的發(fā)展，在月球科研站任務(wù)中，宇航員、有/無人月球車、月面機器人等平臺的運動性能將不斷增強，從而對各運動平臺的定位能力提出了更高的要求。無人月球車、宇航員、月面移動機器人等各移動平臺需要按照已經(jīng)制定的探測計劃，在著陸區(qū)一定范圍內(nèi)開展實驗組件布設(shè)、巡視探測、科學(xué)考察及月壤或巖石的采集等工作。這些操作的執(zhí)行，尤其是對較遠(yuǎn)距離（公里級）的探測，都離不開精確導(dǎo)航定位技術(shù)的引導(dǎo)。由于月面環(huán)境的特殊性，現(xiàn)有地面成熟的移動導(dǎo)航定位技術(shù)并不適用［15-16］，需結(jié)合地月遙操作系統(tǒng)組成特點，研究空地協(xié)同的一體化定位框架，突破月面長距離、超視距導(dǎo)航定位技術(shù)瓶頸。

3）基于MR 的預(yù)測仿真技術(shù)

月球科研站任務(wù)中有許多如獲取月球樣品、樣品的物理特性分析、移動設(shè)備抓取等接觸性遙操作，尤其在精細(xì)操作方面，力覺的重要性更是突顯。視覺、力覺等感覺系統(tǒng)的相互配合，能夠更好地實現(xiàn)對各種形狀、尺寸、質(zhì)量目標(biāo)的自適應(yīng)抓取。對遙操作接觸力的預(yù)測和仿真，可以有效減少碰撞或接觸力過載的風(fēng)險［17］。通過研究基于MR 的預(yù)測仿真技術(shù)，尤其是加入了遙操作力覺建模和預(yù)測，可以有效避免直接與遠(yuǎn)程執(zhí)行機構(gòu)交互的時延影響，提高遙操作過程中的感知和決策能力。

3 海量多尺度遙感數(shù)據(jù)環(huán)境感知技術(shù)研究

目前全球制圖產(chǎn)品的分辨率一般較低，主要用于提供著陸區(qū)宏觀的地形、地貌信息，無法支撐巡視探測任務(wù)的中、短期任務(wù)規(guī)劃和局部精細(xì)地形、地貌的分析。局部制圖產(chǎn)品盡管分辨率較高，但覆蓋范圍有限。此外，各國對于月球探測數(shù)據(jù)的基準(zhǔn)不統(tǒng)一，不同探測任務(wù)遙感數(shù)據(jù)存在較為明顯的幾何偏差［13］。隨著月球科研站任務(wù)的不斷深入，無人月球車、宇航員、月面移動機器人等平臺將不斷獲取局部更高或超高分辨率的感知數(shù)據(jù)，可將這些高精度數(shù)字高程圖（Digital Elevation Map，DEM）與先驗不同數(shù)據(jù)源的DEM 進(jìn)行高效融合，以形成大范圍、統(tǒng)一、無縫的月球科研站感知結(jié)果。本文首先構(gòu)建多源軌道器影像的統(tǒng)一平差模型，實現(xiàn)對多重覆蓋影像的優(yōu)化處理，消除其中的不一致性，得到基于先驗數(shù)據(jù)的大范圍感知結(jié)果；然后建立多分辨率地形融合模型，融合高分辨率的感知結(jié)果；最終得到無縫的感知結(jié)果，流程如圖4 所示。

圖4 海量多尺度遙感數(shù)據(jù)環(huán)境感知算法流程Fig.4 Flowchart for the environment awareness algorithm based on massive multi-scale remote sensing data

3.1 基于兩步法的軌道器大區(qū)域制圖

大區(qū)域影像制圖需處理的軌道器影像數(shù)據(jù)量繁重，同時解決全部影像的精化模型會帶來效率較低且精度難以滿足要求等困難，此外還需解決影像與控制數(shù)據(jù)之間的幾何不一致性。針對上述問題，采用一種“兩步法”的軌道器大區(qū)域制圖策略［18-20］。

首先建立軌道器影像的成像幾何模型，然后依據(jù)預(yù)選著陸區(qū)范圍對軌道器影像進(jìn)行分區(qū)。對于每個分區(qū)，先對影像進(jìn)行區(qū)域網(wǎng)平差處理，以消除影像間的幾何偏差以及影像與控制數(shù)據(jù)間的幾何不一致性，然后再對各影像進(jìn)行正射糾正和均光鑲嵌。為了解決分區(qū)影像間的幾何不一致性，設(shè)計了基于TPS 模型的配準(zhǔn)校正方法。令制圖中心位置的數(shù)字正射影像圖（Digital Orthophoto Map，DOM）為基準(zhǔn)，將附近相鄰DOM 與基準(zhǔn)DOM 進(jìn)行配準(zhǔn)，配準(zhǔn)校正后的DOM 則成為后續(xù)其他相鄰DOM 的基準(zhǔn)，以此類推，最終可得到高精度、大區(qū)域、幾何無縫的制圖產(chǎn)品，具體見文獻(xiàn)［19］。

3.2 多分辨率DEM 重構(gòu)與融合

由于月球科研站需使用大范圍的感知產(chǎn)品，而這些先驗的DEM 大部分分辨率不一致，且多個DEM 間重疊度不均一。本文采取一種由初至精的點云配準(zhǔn)方法，使不同分辨率的點云能夠自動配準(zhǔn)。初始配準(zhǔn)主要是減小點云之間的旋轉(zhuǎn)和平移錯位，保證后續(xù)匹配不致朝向錯誤方向。精細(xì)配準(zhǔn)采用非剛性最近點迭代法（Non-Rigid Iterative Closest Point，ICP）算法，通過求出代價函數(shù)的最小值實現(xiàn)點云精確配準(zhǔn)［21］。在進(jìn)行點云初始配準(zhǔn)時，首先通過比較高、低分辨率點云的快速點特征直方圖（Fast Point Feature Histogram，F(xiàn)PFH）特征，找到歐式距離最近的幾個點組成關(guān)鍵點集，然后再通過采樣一致性初始配準(zhǔn)算法（Sample Consensus Initial Alignment，SAC-IA）實現(xiàn)剛體變換優(yōu)化［22］，為后續(xù)精確配準(zhǔn)提供較好的初始位置和方向。

3.3 實驗結(jié)果

采用無人機、激光雷達(dá)、ZED（配手持云臺）等分別獲取試驗區(qū)的高分辨率點云和地面序列影像。試驗區(qū)選取我國甘肅省金昌市金昌試驗基地，如圖5 所示。其中，圖5（b）、圖5（c）為人工制作的撞擊坑。其中，無人機獲取的DEM 分辨率為0.02 m，經(jīng)重采樣后轉(zhuǎn)化為1 m 分辨率，地面立體相機生成的地形數(shù)據(jù)分辨率為0.04 m，如圖6 所示，其中：同步定位與地圖構(gòu)建（Simultaneous Localization and Mapping，SLAM）融合后的結(jié)果及精度驗證如圖7 所示，其中，圖7（a）、圖7（b）分別為融合前、后點云的接近圖，可以看出，融合后點云的貼合度更高。實驗中，利用GPS 測量了實驗區(qū)的7 個控制點，對比控制點的平面位置結(jié)果，融合中誤差優(yōu)于0.07 m。

圖5 金昌實驗基地Fig.5 Jinchang experimental base

圖6 實驗步驟和實驗數(shù)據(jù)Fig.6 Experimental procedure and the related experimental data

圖7 融合后的實驗結(jié)果及精度驗證Fig.7 Experimental results before and after fusion and the accuracy verification

4 空地協(xié)同高精度定位技術(shù)研究

高精度導(dǎo)航定位作為深空探測任務(wù)的關(guān)鍵技術(shù)，在探測目標(biāo)接近、路徑規(guī)劃和安全避障等方面發(fā)揮著至關(guān)重要的作用［14］。本文研究了無/有人月球車、宇航員等多平臺的運動特性，綜合利用慣導(dǎo)、視覺等數(shù)據(jù)，通過組合導(dǎo)航的方式實現(xiàn)了各探測平臺的高精度定位，解決了視覺測程定位在貧紋理區(qū)域不易進(jìn)行連續(xù)特征跟蹤、無法實現(xiàn)穩(wěn)健定位的難題。在此基礎(chǔ)上，研究基于極坐標(biāo)系的軌道器數(shù)據(jù)（空）與地面（地）數(shù)據(jù)的特征關(guān)聯(lián)方法，利用軌道器觀測結(jié)果對探測平臺的定位結(jié)果進(jìn)行約束與優(yōu)化，突破了長距離移動各平臺定位的累計誤差瓶頸，從而實現(xiàn)遠(yuǎn)距離、超視距、高精度、穩(wěn)健定位，相應(yīng)技術(shù)路線如圖8 所示。

圖8 空地協(xié)同高精度定位算法流程Fig.8 Flowchart for the high-precision localization algorithm based on air-ground collaboration

4.1 多傳感器集成的運動平臺定位

本文提出了一種基于立體序列影像、同慣導(dǎo)集成的運動平臺、多傳感器集成的定位方法［23］。針對立體影像特點，在進(jìn)行高精度相機標(biāo)定前提下，通過ORB 算法提取序列立體影像上的特征點，如圖9所示?；谔卣鼽c匹配關(guān)聯(lián)，結(jié)合慣性測量單元（Inertial Measurement Unit，IMU）數(shù)據(jù)，估計相鄰幀間的運動，最后通過多幀圖像慣導(dǎo)數(shù)據(jù)的光束法平差完成運動平臺位置參數(shù)估計。

圖9 立體影像特征點匹配Fig.9 Feature point matching between stereo images

由于IMU 獲取數(shù)據(jù)頻率高于立體相機，無法直接利用IMU 數(shù)據(jù)計算得到位姿的變化結(jié)果。因此，需對IMU 數(shù)據(jù)預(yù)積分，使得IMU 數(shù)據(jù)與視覺信息對齊。預(yù)積分方式為式（1）～式（3），其中式（1）為相對旋轉(zhuǎn)矩陣積分、式（2）為相對速度積分、式（3）為相對位置積分：

式中：為k時刻角速度值，弧度/s；為陀螺零偏，弧度/s；為陀螺白噪聲，弧度/s；為i時刻慣導(dǎo)姿態(tài)矩陣轉(zhuǎn)置；為j時刻姿態(tài)矩陣；為j時刻速度矢量，m/s；為i時刻速度矢量，m/s；g重力加速度，m/s2；Δtij為i～j時刻間時長，s ；分別為i和j時刻的位置矢量，m；為i時刻速度，m/s。

4.2 全球制圖產(chǎn)品基準(zhǔn)統(tǒng)一

進(jìn)行空天協(xié)同定位處理的前提是擁有基準(zhǔn)統(tǒng)一的軌道器制圖數(shù)據(jù)。本文提出了一種基于球面三角網(wǎng)的全月產(chǎn)品高精度配準(zhǔn)方法［24］。該配準(zhǔn)方法直接使用球坐標(biāo)進(jìn)行全局配準(zhǔn)，能有效避免復(fù)雜的地圖投影變換導(dǎo)致的變形問題，從而切實提高校正精度［25］，主要步驟如圖10 所示。

圖10 基于球面三角網(wǎng)的全月產(chǎn)品高精度配準(zhǔn)算法流程［26］Fig.10 Flowchart of the high precision registration algorithm based on spherical triangular meshes for lunar global mapping products［26］

在數(shù)據(jù)預(yù)處理時，為了將復(fù)雜的3D-3D 或3D-2D 匹配轉(zhuǎn)換為2D-2D 匹配，利用Hill shading 方法首先將DEM 處理為模擬影像，后續(xù)對單模和多模態(tài)制圖產(chǎn)品進(jìn)行特征點提取和匹配時，再分別采用ASIFT 算法和CFOG 算法?；谇蛎尜|(zhì)心坐標(biāo)進(jìn)行幾何校正的實質(zhì)是將待配準(zhǔn)球面三角形的頂點位置轉(zhuǎn)換至對應(yīng)參考球面三角形的頂點位置。

本文采用ALFELD 等［27］給出的方法定義球面重心坐標(biāo)。令球面三角形P3個頂點的集合為V={v1，v2，v3}，ni為平面Pi(Pi=span(V{vi})，i=1，2，3)的單位法向量。那么，對于球面S上的任意點v，有：

式中：αi為平面Pi與向量vi的方向角（Oriented Angle），（°）；β為平面Pi與向量vi的相似角（Analogues Angle），（°）。

如圖11 所示。那么，球面三角形P內(nèi)任意點v的球面重心坐標(biāo)λi可用式（5）計算：

圖11 式（5）計算球面重心坐標(biāo)［26］Fig.11 Spherical barycentric coordinates calculated by Eq.（5）［26］

記參考球面三角形為P′，其頂點為V′={v1′，v2′，v3′}，各頂點位置可通過式（6）計算：

4.3 空地數(shù)據(jù)關(guān)聯(lián)

在進(jìn)行空地協(xié)同定位時，月面各運動平臺與軌道器影像間關(guān)聯(lián)的建立是精準(zhǔn)定位的前提和基礎(chǔ)?？盏財?shù)據(jù)間分辨率差異較大，并且地面探測車DOM結(jié)果與軌道器數(shù)據(jù)屬于不同傳感器獲取的數(shù)據(jù)，兩者之間灰度特性存在差異。同時，探測車DOM 的紋理受視角變化影響，存在紋理幾何變形。因而，通常情況下難以直接進(jìn)行空地數(shù)據(jù)的關(guān)聯(lián)。本文結(jié)合地面探測車DOM 的數(shù)據(jù)特點，采用基于極坐標(biāo)分布的空地信息配準(zhǔn)策略［26］，如圖12 所示。

圖12 空地信息配準(zhǔn)算法流程Fig.12 Flowchart of the air-ground image registration algorithm

首先基于極坐標(biāo)系，在某個極方向?qū)Φ孛嫣綔y車DOM 進(jìn)行灰度特征提取，得到的特征集合為Flr={flri，i∈PN}，其中，flri為極特征，PN為極方位角范圍。然后根據(jù)得到的極特征flri的距離參數(shù)和方位參數(shù)，在軌道器DOM 的對應(yīng)位置周圍搜索選取相應(yīng)的特征，記得到的特征集合為Fhr={fhri，i∈PN}。依次對余下極方向按照一定的間隔進(jìn)行特征點提取，便可獲得全部空地數(shù)據(jù)的對應(yīng)特征分布。然后以探測平臺組合導(dǎo)航的定位結(jié)果作為初值，在其誤差范圍內(nèi)進(jìn)行最優(yōu)偏置位置計算搜索，選取相似度最高的作為最終關(guān)聯(lián)結(jié)果，完成空地數(shù)據(jù)配準(zhǔn)。記S(Xoff，Yoff)為偏移位置為(Xoff，Yoff)時空地影像間的整體特征相似度，可用式（7）來計算：

式中：n為圖像中特征點的個數(shù)；S為某個特征的相似程度值；c為特征權(quán)重；可分別用式（8）和式（9）計算：

式中：phi、poi分別為對應(yīng)Fhr與Flr的極性值；γ為預(yù)設(shè)系數(shù)；d為特征距離原點的距離。

4.4 實驗結(jié)果

1）多運動平臺聯(lián)合定位

在試驗區(qū)利用雙目圖像及自帶慣導(dǎo)進(jìn)行集成定位測試，探測車行走閉合環(huán)，軌跡如圖13 所示。實驗過程中，總行駛里程為268.5 m，閉合差為1.68 m，定位精度為行駛里程的0.63%（優(yōu)于1%）。

圖13 視覺+慣導(dǎo)閉合行駛路徑Fig.13 Closed travel path based on vision+inertial navigation systems

2）全球制圖產(chǎn)品融合

以Moon Clementine UVVIS Warped Color Ratio Mosaic 200 m［28］作為參考，對CE1_TMap_GDOM_120 m［29］進(jìn)行配準(zhǔn)校正。參考數(shù)據(jù)的空間分辨率為200 m/pixel，待校正數(shù)據(jù)的空間分辨率為120 m/pixel，平面定位精度為100.0 m～1.5 km［30］。

在數(shù)據(jù)預(yù)處理時，將2 個數(shù)據(jù)按照經(jīng)緯度劃分為規(guī)則的影像塊，對于高緯度區(qū)域還需進(jìn)一步轉(zhuǎn)換為極方位立體投影。然后采用多模態(tài)圖像匹配方法［31］，將其進(jìn)行特征點提取與匹配，并用RANSAC算法剔除粗差。接著在每個影像塊內(nèi)部劃分若干個不規(guī)則的三角網(wǎng)，選取距離格網(wǎng)中心最近的點作為后續(xù)構(gòu)建球面三角網(wǎng)的控制點。共劃分50×50 個格網(wǎng)，選取了131 082 個控制點，中心坐標(biāo)為（45°E，45°N）的某30°×30°影像塊的匹配結(jié)果如圖14 所示。把參考數(shù)據(jù)和待校正數(shù)據(jù)視為相同的拓?fù)浣Y(jié)構(gòu)，利用匹配的控制點分別構(gòu)建兩者的球面Delaunay 三角網(wǎng)，即完成了全局配準(zhǔn)至局部配準(zhǔn)的轉(zhuǎn)換。

圖14 中心坐標(biāo)為（45°E，45°N）的某30°×30°影像塊匹配結(jié)果［24］Fig.14 Matching results of a 30°×30° image block centered at（45°E，45°N）［24］

隨機選取16 377 個檢查點定量分析配準(zhǔn)的精度，以1°為采樣間隔制作彩色編碼圖，如圖15 所示，分別為配準(zhǔn)前后檢查點的平面殘差分布?？梢钥闯?，處理前2 個數(shù)據(jù)的平面不一致性較大，殘差分布很不均勻，呈現(xiàn)出月球背面大于月球正面、南半球大于北半球的特點，最大殘差值超過5 000 m。進(jìn)行配準(zhǔn)校正處理后，產(chǎn)品與參考數(shù)據(jù)的平面殘差大幅減小，且分布較為均勻，表明了方法的有效性。

圖15 配準(zhǔn)前后平面殘差分布［24］Fig.15 Planimetric difference maps before and after registration［24］

3）空地協(xié)同定位

為驗證協(xié)同定位算法的有效性及精度，開發(fā)了協(xié)同定位原型軟件。通過該軟件可以獲得真實的位姿信息、立體影像數(shù)據(jù)，并基于仿真過程的相關(guān)信息對定位結(jié)果進(jìn)行定量評價。實驗中，利用該軟件控制探測車按照預(yù)設(shè)行駛路徑生成500 幀立體影像，并同步將仿真的立體影像位置輸出作為評價參考。探測車在行進(jìn)過程中，近實時地將地面影像與軌道器數(shù)據(jù)進(jìn)行匹配，利用定位結(jié)果將地面DOM疊加至軌道器DOM上，如圖16所示。其中，軌道器DOM 的分辨率為1 m，探測車DOM 的分辨率為0.1 cm。以仿真影像的真實位姿參數(shù)為參考，評價實驗過程中探測車定位算法的精度，得到協(xié)同定位平均誤差為0.677 m。

圖16 空地協(xié)同定位精度Fig.16 Localization precision results based on air-ground collaboration

5 力覺預(yù)測與顯示驗證技術(shù)研究

為了減少傳輸時延對遙操作穩(wěn)定性的影響，采用力覺預(yù)測的方式，解決欠采樣情況下力反饋不足的問題。運用基于模型修正的遙操作力覺預(yù)測和反饋方法，搭建力覺預(yù)測與顯示驗證平臺。以視覺顯示和力覺反饋相融合的方式給操作者提供增強的力覺反饋［32］，如圖17 所示。首先，轉(zhuǎn)運機械臂按照預(yù)先設(shè)定的軌跡自主移動，操作者控制主端的力反饋設(shè)備，并將其運動信息傳輸至虛擬（環(huán)境中的）精細(xì)機械臂。接著，仿真整個作業(yè)任務(wù)過程。最后，經(jīng)由網(wǎng)絡(luò)服務(wù)器（Socket 通信）將主端虛擬環(huán)境中的全部運動信息（包括精細(xì)機械臂和轉(zhuǎn)運機械臂）傳遞到從端。為了保證機械臂運動軌跡在上述兩種（虛擬、真實）環(huán)境中完全一致，本平臺采用增強現(xiàn)實技術(shù)，將從端機械臂末端的運動路徑疊加顯示至真實場景中。

圖17 力覺預(yù)測與顯示驗證平臺架構(gòu)［32］Fig.17 Architecture of the force prediction and display verification platform［32］

5.1 平臺軟硬件組成

模塊主要包括：仿真控制計算機、投影顯示系統(tǒng)、力反饋設(shè)備、操作面板、后臺處理單元等，可實現(xiàn)人機交互輸入、遙操作力覺反饋，操作場景展示，時延數(shù)據(jù)傳輸?shù)?，其實物組成如圖18（a）所示。操作者對操縱手柄、操作面板、力反饋設(shè)備和仿真控制臺交互，仿真控制計算機負(fù)責(zé)執(zhí)行場景運算、虛擬力預(yù)測、時延處理和仿真渲染等，控制流程如圖18（b）所示。

圖18 力覺預(yù)測與顯示驗證仿真控制臺組成Fig.18 Composition of force prediction and display verification simulation console

5.2 力覺預(yù)測算法

操控對象與物體發(fā)生接觸時，兩者間不僅發(fā)生了碰撞力，還會產(chǎn)生接觸力［32］。本文使用彈簧-阻尼-質(zhì)子線性模型（MBK 模型［33］）表達(dá)接觸力，如式（10）：

式中：f(t)為接觸力的大小，N；x(t)為操控對象穿刺到碰撞對象的深度，m(t)為操控對象穿刺到碰撞對象的速度，m/s；(t)為操控對象穿刺到碰撞對象的加速度，m/s2；m為x(t)的系數(shù)；b為(t)的 系數(shù)；k為(t)的系數(shù)。

在虛擬環(huán)境中，需要對環(huán)境中的接觸力進(jìn)行計算和預(yù)測。為解決力反饋信息不連續(xù)問題，搭建了簡化的RNN 模型如圖19 所示。訓(xùn)練時，安裝六維力傳感器至真實機械臂末端，共采集有效數(shù)據(jù)190 組。隨機選取10%的數(shù)據(jù)作為驗證集，其余作為訓(xùn)練集。經(jīng)實驗，發(fā)現(xiàn)batch size=2 時，效果最好。隱藏層為2、節(jié)點數(shù)為30 時，RNN 模型的訓(xùn)練結(jié)果見表1。

表1 RNN 模型不同參數(shù)的訓(xùn)練結(jié)果［32］Tab.1 Training results of the RNN model with different parameters［32］

圖19 RNN 簡化模型Fig.19 Simplified RNN model

采用訓(xùn)練后的網(wǎng)絡(luò)對按壓力進(jìn)行預(yù)測，預(yù)測值與真值的對比如圖20 所示。考慮在按壓物體的過程中，與其他五維力相比，僅Z方向的力會有明顯變化，故在圖中只顯示該方向的力變換?？梢钥闯觯c真實力相比較，預(yù)測曲線的整體變化趨勢與真值較為一致。但對力的峰值估計還有一定誤差，不過也在可接受的范圍之內(nèi)。

圖20 預(yù)測力與真實力對比［32］Fig.20 Comparison between the predicted force and true force［32］

5.3 實驗結(jié)果

針對月面多機器人協(xié)作搬運和維護作業(yè)搭建了仿真操作場景，利用力覺預(yù)測與顯示驗證平臺進(jìn)行了帶有力覺反饋和顯示的雙機械臂協(xié)同搬運操作實驗。轉(zhuǎn)運機械臂完成范圍較大的運動，搬運構(gòu)件到達(dá)搬運目標(biāo)點附近后，再由精細(xì)機械臂引導(dǎo)搬運構(gòu)件至目標(biāo)位置。引導(dǎo)過程中的作用力反饋至仿真控制臺，經(jīng)計算和預(yù)測后，再將力覺信息反饋給操作者。在場景中通過接觸點的顏色變化，可動態(tài)實時更新力覺信息，方便操作者對操作數(shù)據(jù)和實驗結(jié)果進(jìn)行調(diào)整。地面操作者通過手控器控制精細(xì)機械臂完成裝配任務(wù)如圖21 所示。其中，精細(xì)機械臂末端法蘭通過物體自身的溫度梯度圖顯示末端受力的大小及方向。實驗表明：采用力覺預(yù)測的方式可以給操作者以真實的力覺感受，減少操作者的力覺認(rèn)知負(fù)擔(dān)，實現(xiàn)更加自然的人機交互。

圖21 月球科研站任務(wù)力覺遙操作仿真驗證界面［32］Fig.21 Simulation verification interface of the force teleoperation for lunar scientific research stations［32］

6 結(jié)束語

基于狀態(tài)預(yù)測修正和MR 技術(shù)設(shè)計了面向月球科研站任務(wù)的地月準(zhǔn)實時遙操作模擬驗證系統(tǒng)，對其中的大區(qū)域環(huán)境感知、空地協(xié)同定位、力覺預(yù)測與顯示等關(guān)鍵技術(shù)進(jìn)行了重點研究，取得了較好的實驗效果，開發(fā)的相關(guān)原型軟件和仿真驗證平臺可用于后續(xù)深空探測或載人登月任務(wù)遙操作軟件功能的驗證和操作人員訓(xùn)練。月球科研站任務(wù)所亟需的遙操作系統(tǒng)，未來應(yīng)向真實感和沉浸感更強、穩(wěn)定性和安全性更高、交互更自然、操作感受更直觀的方向發(fā)展。面向中國探月工程四期、小行星探測等重大任務(wù)，開展面向星表巡視探測系統(tǒng)的自主感知與智能操控等關(guān)鍵技術(shù)研究，充分利用人工智能技術(shù)為深空探測器“增智賦能”意義重大［5］。