人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)智能感知系統(tǒng)*

牛文龍，樊銘瑞，李 運(yùn)，彭曉東，謝文明，任敬義，楊 震

(1. 中國科學(xué)院國家空間科學(xué)中心 復(fù)雜航天系統(tǒng)電子信息技術(shù)重點(diǎn)實(shí)驗(yàn)室， 北京 100190； 2. 中國科學(xué)院大學(xué)， 北京 100049)

隨著人工智能與機(jī)器人技術(shù)的快速發(fā)展，智能機(jī)器人應(yīng)用范圍已經(jīng)從搬運(yùn)、安裝等生產(chǎn)活動(dòng)，擴(kuò)展到引導(dǎo)、陪護(hù)、交流等生活活動(dòng)，再到排雷、偵察、打擊等軍事活動(dòng)，滲透到了人類的方方面面。因此，人與智能機(jī)器人的共生協(xié)同將成為未來工作生活的新常態(tài)，在未來相當(dāng)長一段時(shí)間內(nèi)，在現(xiàn)有的技術(shù)體系基礎(chǔ)上構(gòu)建“以人為中心的有人/無人協(xié)作智能”就成為一種必然且可行的方向選擇。不論是美軍2015年提出的“半人馬”模式、美國國防部高級(jí)研究計(jì)劃局(Defense Advanced Research Projects Agency, DARPA)從“AI”到“IA”技術(shù)布局轉(zhuǎn)變，還是人機(jī)技術(shù)領(lǐng)域提出的“Human-Center Computing”“Human-Engage Computing”等人機(jī)有機(jī)協(xié)同新概念，以及我國2018年“智能機(jī)器人”重點(diǎn)專項(xiàng)中的對(duì)“人-機(jī)器人智能融合技術(shù)”方向的布局，都反映出該人機(jī)協(xié)同技術(shù)的重要性與迫切性。但是，從當(dāng)前的工業(yè)、服務(wù)、軍事應(yīng)用機(jī)器人的使用情況來看，在控制方式上大多還屬于遙操作，不利于人員快速與多個(gè)無人系統(tǒng)進(jìn)行協(xié)同配合，在信息交互手段上多以手持終端為主，不利于危險(xiǎn)或應(yīng)急情況下人員對(duì)局勢(shì)的快速掌控與決策，因此需要一種新的人機(jī)協(xié)作信息應(yīng)用模式與方法。

現(xiàn)代化軍事作戰(zhàn)中，多樣化的偵察與反偵察手段使得戰(zhàn)場(chǎng)變得更加復(fù)雜。如何在復(fù)雜環(huán)境下快速、準(zhǔn)確地感知己方及敵方的戰(zhàn)場(chǎng)態(tài)勢(shì)顯得十分重要[1-2]。一方面，作戰(zhàn)人員在高度對(duì)抗?fàn)顟B(tài)下，除要完成自身的戰(zhàn)術(shù)動(dòng)作外，還要對(duì)戰(zhàn)斗環(huán)境中的敵我部署、火力布置、威脅來源等態(tài)勢(shì)信息進(jìn)行現(xiàn)場(chǎng)收集分析并完成決策。另一方面，戰(zhàn)場(chǎng)環(huán)境復(fù)雜、形式多變，作戰(zhàn)個(gè)體多數(shù)情況下無法在視距范圍內(nèi)直接觀察敵方行為，作戰(zhàn)計(jì)劃往往陷入被動(dòng)。這對(duì)作戰(zhàn)人員的作戰(zhàn)能力提出了新的挑戰(zhàn)。

針對(duì)復(fù)雜戰(zhàn)場(chǎng)下作戰(zhàn)人員對(duì)態(tài)勢(shì)全方面感知的迫切需求，為進(jìn)一步增強(qiáng)作戰(zhàn)人員對(duì)遠(yuǎn)程態(tài)勢(shì)的感知能力以及協(xié)同作戰(zhàn)能力，本文構(gòu)建了一種人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)感知系統(tǒng)，該系統(tǒng)在室內(nèi)等無GPS的條件下，利用靈活、易于操作的無人機(jī)/無人車等無人平臺(tái)[3]，搭載場(chǎng)景智能感知設(shè)備，來實(shí)時(shí)獲取遠(yuǎn)程的環(huán)境及目標(biāo)信息，將所獲取的信息通過無線網(wǎng)絡(luò)實(shí)時(shí)傳輸?shù)椒?wù)器端進(jìn)行融合處理，實(shí)現(xiàn)對(duì)遠(yuǎn)程態(tài)勢(shì)的三維重構(gòu)，并將重構(gòu)結(jié)果發(fā)送到作戰(zhàn)人員所佩戴的增強(qiáng)現(xiàn)實(shí)設(shè)備中進(jìn)行顯示，與人的視覺信息進(jìn)行一致性融合。本文介紹了系統(tǒng)所涉及的基于視覺的人機(jī)協(xié)同定位技術(shù)、實(shí)時(shí)三維場(chǎng)景重建技術(shù)和場(chǎng)景一致性融合方法等關(guān)鍵技術(shù)和流程，并構(gòu)建了以機(jī)器人操作系統(tǒng)(Robot Operating System, ROS)為基礎(chǔ)的系統(tǒng)實(shí)現(xiàn)架構(gòu)，對(duì)定位精度進(jìn)行了實(shí)際實(shí)驗(yàn)分析。

1 單兵態(tài)勢(shì)感知系統(tǒng)發(fā)展現(xiàn)狀

早在20世紀(jì)80年代，美國就率先提出了單兵信息化系統(tǒng)的概念，并于90年代啟動(dòng)“陸地勇士”計(jì)劃，該計(jì)劃借助微型計(jì)算機(jī)、傳感器、通信導(dǎo)航設(shè)備等硬件裝備嵌入至單兵可穿戴系統(tǒng)中[4-5]。隨后，英、俄、法、德、日等國也相繼推出各自的“未來士兵”計(jì)劃[6-7]：如英國的“重拳”系統(tǒng)、法國的FELIN系統(tǒng)、德國的Idz-es系統(tǒng)及日本的“下一代近戰(zhàn)信息共享研究”單兵作戰(zhàn)系統(tǒng)等。這些系統(tǒng)使用不同功能的顯示設(shè)備以獲取戰(zhàn)場(chǎng)態(tài)勢(shì)信息，但皆存在與真實(shí)場(chǎng)景分離的缺陷：顯示器的二維信息和真實(shí)的三維場(chǎng)景不盡相同，士兵需要在真實(shí)環(huán)境和手持/頭戴設(shè)備之間頻繁切換，造成了士兵注意力的分散和實(shí)時(shí)反應(yīng)能力難度的增加。同時(shí)，以上系統(tǒng)均只能探測(cè)可視范圍，無法感知更遠(yuǎn)距離的威脅。

增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)技術(shù)能讓士兵視覺感知到經(jīng)過處理后的態(tài)勢(shì)信息與真實(shí)場(chǎng)景一致性融合的畫面，使得作戰(zhàn)變得更加高效和便捷[8-9]。增強(qiáng)現(xiàn)實(shí)眼鏡可以將戰(zhàn)場(chǎng)態(tài)勢(shì)信息自然疊加在士兵的前方視野，并結(jié)合語音和手勢(shì)等交互方式進(jìn)行控制。2000年，美國推出了第一個(gè)戰(zhàn)場(chǎng)增強(qiáng)現(xiàn)實(shí)原型系統(tǒng)(Battlefield Augmented Reality System, BARS)[10]，并在此基礎(chǔ)上啟動(dòng)了“ULTRA-Vis(urban leader tactical response, awareness & Visualization)”項(xiàng)目[11]，旨在研發(fā)適用于戰(zhàn)場(chǎng)環(huán)境的AR軟硬件。該項(xiàng)目設(shè)想不用離開當(dāng)前視野，系統(tǒng)就可以在AR眼鏡上為指揮員實(shí)時(shí)顯示隊(duì)員位置[12]，并能為作戰(zhàn)人員標(biāo)記目標(biāo)區(qū)域。ULTRA-Vis項(xiàng)目研發(fā)的“軍用增強(qiáng)現(xiàn)實(shí)軟件系統(tǒng)”(Augmented Reality Command Control Communicate Coordinate, ARC4)[13]，主要負(fù)責(zé)完成士兵戶外位姿跟蹤、地理配準(zhǔn)與可視化以及網(wǎng)絡(luò)通信管理等工作。2017年美國陸軍發(fā)布了“TAR(tactical augmented reality)”，一款更側(cè)重于室內(nèi)環(huán)境的單兵戰(zhàn)術(shù)增強(qiáng)現(xiàn)實(shí)概念系統(tǒng)[14]。2019年美國陸軍公開了一款基于增強(qiáng)現(xiàn)實(shí)眼鏡設(shè)備HoloLens 2的軍用集成視覺增強(qiáng)系統(tǒng)“IVAS(integrated visual augmentation system)”，其透過AR眼鏡能看到疊加在真實(shí)環(huán)境上顯示敵我位置的場(chǎng)景三維地圖，并能實(shí)現(xiàn)隨眼鏡的位置和姿態(tài)實(shí)時(shí)更新地圖的功能[15]。綜上所述，現(xiàn)有的基于增強(qiáng)現(xiàn)實(shí)的作戰(zhàn)手段主要側(cè)重于通過增強(qiáng)現(xiàn)實(shí)眼鏡在真實(shí)環(huán)境上通過加標(biāo)簽等方式疊加信息層，并不具備對(duì)遠(yuǎn)程場(chǎng)景的三維感知能力以及協(xié)同定位能力。

作為單兵態(tài)勢(shì)感知系統(tǒng)的重要組成，無人機(jī)/無人車等無人平臺(tái)具有體積輕小、行動(dòng)靈活、易于操控、隱蔽性好等特點(diǎn)，通過搭載場(chǎng)景感知設(shè)備，廣泛應(yīng)用在單兵協(xié)同作戰(zhàn)以及作戰(zhàn)偵察中[15-16]。以指針(Pointer) 、大烏鴉(Raven) 、龍眼(Dragon Eye)等為代表的小型無人機(jī)，可由單兵隨身攜帶[17]，起飛后可自主導(dǎo)航至目標(biāo)區(qū)域，并靠機(jī)身的光學(xué)、紅外等傳感器進(jìn)行探測(cè)，再將獲取的信息進(jìn)行回傳。

未來信息化戰(zhàn)場(chǎng)必將是單兵結(jié)合各類傳感器與其他作戰(zhàn)單元進(jìn)行全方位、高時(shí)效、高動(dòng)態(tài)的協(xié)同作戰(zhàn)。目前，美軍正在加緊研發(fā)利用先進(jìn)傳感器和無人設(shè)備，并結(jié)合人機(jī)協(xié)同、增強(qiáng)現(xiàn)實(shí)、態(tài)勢(shì)感知等技術(shù)的“SXCT(squad X core technologies)”項(xiàng)目[18]，但其具體作戰(zhàn)能力和戰(zhàn)術(shù)指標(biāo)并未公開。隨著各國單兵作戰(zhàn)能力的快速提升，研發(fā)我國自主的人機(jī)共融遠(yuǎn)程態(tài)勢(shì)感知系統(tǒng)是面向未來信息化戰(zhàn)場(chǎng)的必然發(fā)展趨勢(shì)。

2 人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)智能感知系統(tǒng)架構(gòu)

針對(duì)遠(yuǎn)程態(tài)勢(shì)感知中無人設(shè)備與作戰(zhàn)人員協(xié)同精準(zhǔn)配合及態(tài)勢(shì)融合顯示的迫切需求，設(shè)計(jì)人機(jī)共融遠(yuǎn)程態(tài)勢(shì)感知系統(tǒng)總體架構(gòu)圖如圖1所示。

所設(shè)計(jì)的系統(tǒng)架構(gòu)被劃分為三個(gè)層次，分別是應(yīng)用層、數(shù)據(jù)層、邏輯層。應(yīng)用層由遠(yuǎn)程無人設(shè)備端、服務(wù)器端、增強(qiáng)現(xiàn)實(shí)設(shè)備端構(gòu)成，其中無人設(shè)備配備機(jī)載雙目相機(jī)和便攜式的處理器，服務(wù)器端完成數(shù)據(jù)處理和場(chǎng)景重構(gòu)，增強(qiáng)現(xiàn)實(shí)設(shè)備端主要裝備智能可穿戴單兵系統(tǒng)，并將服務(wù)器端重構(gòu)的場(chǎng)景由AR眼鏡進(jìn)行顯示。服務(wù)器與遠(yuǎn)程無人設(shè)備、AR眼鏡與服務(wù)器之間均通過WiFi連接，數(shù)據(jù)使用傳輸控制協(xié)議(Transmission Control Protocol, TCP)傳輸。系統(tǒng)主要實(shí)現(xiàn)過程如下：

1)遠(yuǎn)程無人設(shè)備端：無人設(shè)備端的便攜計(jì)算機(jī)完成初始化相對(duì)定位后，前往未知環(huán)境中獲取前方態(tài)勢(shì)信息。當(dāng)無人設(shè)備進(jìn)入目標(biāo)區(qū)域，其使用機(jī)載相機(jī)獲取目標(biāo)場(chǎng)景雙目圖像和圖像RGB值，利用視覺同時(shí)定位與建圖(Simultaneous Localization And Mapping, SLAM)技術(shù)計(jì)算自身與環(huán)境的相對(duì)定位實(shí)現(xiàn)自主導(dǎo)航和避障，并通過機(jī)載處理器實(shí)時(shí)生成環(huán)境稠密點(diǎn)云。所獲取的場(chǎng)景三維結(jié)構(gòu)和目標(biāo)狀態(tài)，能協(xié)助用戶完成目標(biāo)區(qū)域的偵察。

2)服務(wù)器端：以上數(shù)據(jù)傳輸?shù)椒?wù)器端，由服務(wù)器端提供算力輔助，結(jié)合無人機(jī)的位姿和場(chǎng)景深度信息，以粗精度重構(gòu)目標(biāo)場(chǎng)景，并檢測(cè)和標(biāo)注目標(biāo)物體，進(jìn)而幫助作戰(zhàn)人員在復(fù)雜戰(zhàn)場(chǎng)環(huán)境中快速獲取前方環(huán)境及人員情況。

3)增強(qiáng)現(xiàn)實(shí)設(shè)備端：AR設(shè)備在初始化定位后，顯示由服務(wù)器所提供的三維場(chǎng)景重建和目標(biāo)識(shí)別結(jié)果，與AR設(shè)備所在真實(shí)場(chǎng)景和人的視覺信息進(jìn)行一致性融合，呈現(xiàn)出“穿障礙”的虛實(shí)效果。

由于整個(gè)系統(tǒng)的數(shù)據(jù)交互比較復(fù)雜，故通過ROS的消息發(fā)布訂閱機(jī)制簡(jiǎn)化數(shù)據(jù)交互的邏輯，降低各模塊間的耦合度。ROS是一個(gè)開源的機(jī)器人操作系統(tǒng)，為軟件開發(fā)人員提供了許多用于機(jī)器人實(shí)際應(yīng)用的軟件包和算法庫，例如導(dǎo)航、定位、路徑規(guī)劃等功能。ROS最大的特點(diǎn)就是復(fù)用性，它能夠設(shè)置不同功能的節(jié)點(diǎn)，多個(gè)節(jié)點(diǎn)之間以統(tǒng)一的消息格式來訂閱和發(fā)布話題，從而降低機(jī)器人開發(fā)過程中硬件及接口的不一致性對(duì)其造成的影響。

系統(tǒng)構(gòu)建了以ROS為基礎(chǔ)的系統(tǒng)實(shí)現(xiàn)架構(gòu)，所構(gòu)建的ROS節(jié)點(diǎn)關(guān)系如圖2所示，表1列舉了各節(jié)點(diǎn)發(fā)布和訂閱的話題。圖像接收節(jié)點(diǎn)的作用是從無人機(jī)基站獲取雙目圖像數(shù)據(jù)；特征點(diǎn)計(jì)算節(jié)點(diǎn)的作用是從圖像中提取特征點(diǎn)；位姿估計(jì)局部建圖回環(huán)檢測(cè)節(jié)點(diǎn)計(jì)算無人機(jī)的位置和姿態(tài)變化矩陣；深度估計(jì)節(jié)點(diǎn)用于計(jì)算深度圖和點(diǎn)云數(shù)據(jù)；實(shí)時(shí)建模節(jié)點(diǎn)使用深度圖、點(diǎn)云數(shù)據(jù)、RGB圖片和相機(jī)內(nèi)參對(duì)點(diǎn)云進(jìn)行網(wǎng)格化，并且實(shí)時(shí)輸出整個(gè)場(chǎng)景的三維場(chǎng)景。

圖2 重構(gòu)后ROS節(jié)點(diǎn)關(guān)系圖Fig.2 Relationship of ROS nodes

表1 ROS節(jié)點(diǎn)發(fā)布與訂閱話題

3 人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)智能感知系統(tǒng)實(shí)現(xiàn)

人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)感知系統(tǒng)主要包括遠(yuǎn)程無人設(shè)備端的基于視覺的人機(jī)協(xié)同定位、服務(wù)器端的實(shí)時(shí)三維場(chǎng)景重建和增強(qiáng)現(xiàn)實(shí)設(shè)備端的場(chǎng)景一致性融合。

系統(tǒng)使用指定基準(zhǔn)，并通過基于視覺特征的初始化相對(duì)定位的方式對(duì)無人設(shè)備和增強(qiáng)現(xiàn)實(shí)設(shè)備進(jìn)行初始協(xié)同定位。如圖3所示，無人設(shè)備在未知環(huán)境中使用SLAM進(jìn)行實(shí)時(shí)定位，并利用雙目立體視覺估計(jì)深度數(shù)據(jù)，通過ROS消息映射到服務(wù)器端。服務(wù)器端接收到無人機(jī)端發(fā)送的數(shù)據(jù)后，進(jìn)行解壓處理并通過截?cái)喾?hào)距離函數(shù)[19](Truncated Signed Distance Function, TSDF)進(jìn)行點(diǎn)云快速融合，然后使用體素化網(wǎng)格的方法實(shí)現(xiàn)點(diǎn)云的快速網(wǎng)格化生成網(wǎng)格模型，形成便于觀察的可視化地圖。最后在AR設(shè)備端完成實(shí)時(shí)顯示，通過增強(qiáng)現(xiàn)實(shí)跟蹤和注冊(cè)技術(shù)實(shí)現(xiàn)一致性融合等功能。

圖3 人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)智能感知技術(shù)流程圖Fig.3 Flowchart of human-machine integration remote situation intelligent perception technology

3.1 基于視覺的人機(jī)協(xié)同定位

基于視覺的人機(jī)協(xié)同定位技術(shù)采用計(jì)算機(jī)視覺算法，可在無GPS的室內(nèi)環(huán)境中實(shí)現(xiàn)無人機(jī)與AR設(shè)備間的實(shí)時(shí)相對(duì)定位。這使得無人機(jī)拍攝到的場(chǎng)景隨著二者的移動(dòng)仍能精確地注冊(cè)到佩戴者所看到的真實(shí)場(chǎng)景中，實(shí)現(xiàn)“穿障礙，跨視距”的融合效果。

3.1.1 基于視覺特征的初始化相對(duì)定位

系統(tǒng)采用已知位置和大小的視覺基準(zhǔn)碼對(duì)設(shè)備進(jìn)行初始化相對(duì)定位。具體流程如圖4所示，在初始化相對(duì)定位前需標(biāo)定和校準(zhǔn)無人機(jī)與AR眼鏡上用于定位的機(jī)載相機(jī)內(nèi)參H1、H2，并測(cè)量機(jī)載相機(jī)在設(shè)備上的具體位置，即相對(duì)于設(shè)備質(zhì)心的位置。隨后，確定世界坐標(biāo)系，測(cè)量已知的基準(zhǔn)碼大小和其在世界坐標(biāo)系下的位置，并分別求得無人機(jī)和AR眼鏡相對(duì)于基準(zhǔn)碼的相對(duì)位姿，進(jìn)一步可得二者的相對(duì)定位。

圖4 AR眼鏡和無人機(jī)的初始相對(duì)定位流程Fig.4 Initial relative positioning process of AR glasses and drones

常見的基準(zhǔn)有ARToolkit[20]、ARTag[21]、AprilTag[22]等?？紤]到速率與魯棒性，系統(tǒng)采用AprilTag碼對(duì)無人機(jī)與AR設(shè)備進(jìn)行初始相對(duì)位置定位。AprilTag視覺定位方法包括檢測(cè)線段、檢測(cè)方形、單應(yīng)性矩陣估計(jì)三個(gè)步驟。

1)檢測(cè)線段：計(jì)算圖像中每個(gè)像素梯度的大小和方向，再將梯度方向和大小相近的像素聚集到一起。聚類時(shí)首先創(chuàng)建一個(gè)圖，將圖像中的每個(gè)像素表示成圖中的一個(gè)節(jié)點(diǎn)，相鄰節(jié)點(diǎn)間建立一條邊，邊的權(quán)重為沿梯度方向的兩像素之間的差異。對(duì)于每個(gè)邊，判斷相應(yīng)像素間是否應(yīng)當(dāng)連接在一起。將每個(gè)邊按權(quán)重排序，以判斷連通分支是否可以合并。

2)檢測(cè)方形：采用深度優(yōu)先策略進(jìn)行四輪搜索。第一輪搜索時(shí)，找到每一條線段，后面每一輪都搜索起始位置與上一輪搜索到線段的結(jié)束位置接近的線段。

3)單應(yīng)性矩陣估計(jì)：最后利用直接線性變換(Direct Linear Transform，DLT)算法計(jì)算單應(yīng)性矩陣。

本實(shí)驗(yàn)中，無人機(jī)和增強(qiáng)現(xiàn)實(shí)眼鏡位置與真實(shí)位置精度誤差控制在1 cm以內(nèi)，基本可以滿足定位精度要求。

3.1.2 基于雙目視覺的實(shí)時(shí)定位

未知環(huán)境中運(yùn)動(dòng)的相機(jī)或者機(jī)器人可依賴SLAM算法通過對(duì)環(huán)境的觀測(cè)確定自身的運(yùn)動(dòng)軌跡，并同時(shí)構(gòu)建連續(xù)地圖。

視覺SLAM主要分為兩個(gè)流派：特征點(diǎn)法和直接法?；谔卣鼽c(diǎn)法的ORB-SLAM2[23]算法流程如圖5所示，其采用ORB特征作為視覺特征，匹配相鄰幀的對(duì)應(yīng)特征點(diǎn)，根據(jù)圖像的變化反向計(jì)算出相機(jī)的運(yùn)動(dòng)，實(shí)現(xiàn)室內(nèi)場(chǎng)景下以高精度實(shí)現(xiàn)設(shè)備自身的定位和建圖功能，具有性能高且適用于計(jì)算資源小的設(shè)備等優(yōu)點(diǎn)。

ORB-SLAM2在TX2可以通過ROS和C++兩種方式編譯運(yùn)行，并實(shí)現(xiàn)厘米級(jí)別的準(zhǔn)確定位。整個(gè)系統(tǒng)分為追蹤、局部建圖、回環(huán)檢測(cè)3個(gè)并行處理的線程。

圖5 ORB-SLAM2算法流程Fig.5 ORB-SLAM2 algorithm flowchart

3.2 實(shí)時(shí)三維場(chǎng)景重建

3.2.1 基于雙目立體視覺的深度估計(jì)

稠密的三維場(chǎng)景重建需要計(jì)算場(chǎng)景中像素點(diǎn)的深度信息，僅由特征點(diǎn)法得到的稀疏地圖是遠(yuǎn)遠(yuǎn)不夠的。通過結(jié)構(gòu)光或飛行時(shí)間(Time-of-Fly, ToF)等直接測(cè)量物體深度的方法易受到光照影響，且探測(cè)范圍有限。故本系統(tǒng)采用基于雙目立體視覺的深度估計(jì)算法，這部分在無人機(jī)端進(jìn)行，其中無人機(jī)攜帶的雙目攝像頭為 ZED 立體相機(jī)，隨后將估計(jì)得到的深度信息傳給服務(wù)器端進(jìn)行進(jìn)一步的點(diǎn)云融合和三維重建。

一般基于雙目的深度估計(jì)主要包括極線搜索、立體匹配、視差輸出和深度信息提取四個(gè)步驟。本系統(tǒng)的立體匹配算法采用半全局塊匹配[24](Semi-Global Block Matching, SGBM)算法，其優(yōu)勢(shì)是視差效果好且運(yùn)算速度快。SGBM選取匹配的像素點(diǎn)和其周圍的像素點(diǎn)計(jì)算它們的視差，并構(gòu)成視差圖。建立視差圖的能量函數(shù)，并求解其最小值。其中能量函數(shù)為：

(1)

式中：D是視差圖；E(D)為視差圖的能量函數(shù)；p、q為像素點(diǎn)；Np為像素點(diǎn)p附近的像素點(diǎn)；P1、P2是兩個(gè)懲罰系數(shù)；I[·]判斷函數(shù)的真假，若為真，則返回1，反之返回0。兩個(gè)正則項(xiàng)可以平滑視差圖和控制圖像邊緣位置不連續(xù)性。

通過對(duì)每個(gè)像素點(diǎn)進(jìn)行上述操作，得到像素點(diǎn)的視差圖，結(jié)合雙目相機(jī)的基線便可估計(jì)得到深度值。

3.2.2 基于TSDF的快速點(diǎn)云融合

TSDF是一種對(duì)空間體素進(jìn)行描述來計(jì)算空間中物體表面位置的方法，可以在GPU顯存中并行計(jì)算，具有時(shí)間和空間的高效性。系統(tǒng)利用TSDF使用點(diǎn)云構(gòu)造體素的方法快速融合點(diǎn)云，同時(shí)根據(jù)TSDF構(gòu)建過程中更新權(quán)重的方法來實(shí)時(shí)更新融合后的點(diǎn)云分布結(jié)果，并據(jù)此構(gòu)建體素模型。

符號(hào)距離函數(shù)(Signed Distance Function，SDF)用來重建三維空間模型，使用大小相同的體素來構(gòu)成三維空間。如圖6所示，x表示某體素中心，P為相機(jī)光心O經(jīng)體素x的射線與障礙物表面的交點(diǎn)，sdf(x)表示該體素中心與最近物體表面沿相機(jī)光軸的帶符號(hào)距離。其中，物體外體素的距離值為正，物體內(nèi)體素的距離值為負(fù)；i表示第i次的觀測(cè)值。

圖6 TSDF示例Fig.6 TSDF sample

根據(jù)圖6中關(guān)系，sdfi(x)可表示為：

sdfi(x)=depthi(pic(x))-camz(x)

(2)

其中，pic(x)表示某體素中心x到深度圖的投影，depthi(pic(x))為相機(jī)射出的光線經(jīng)過x到達(dá)最近物體表面點(diǎn)P的測(cè)量深度，camz(x)為該體素沿相機(jī)光軸到相機(jī)的距離。

由于在空間中，大部分體素并不在物體表面，故使用TSDF，設(shè)定固定的截?cái)嗑嚯xt，避免對(duì)距離表面較遠(yuǎn)的體素進(jìn)行計(jì)算帶來的不必要時(shí)間和空間浪費(fèi)。對(duì)于該體素的第i次觀測(cè)可表示為：

(3)

因?yàn)閱未斡?jì)算準(zhǔn)確度并不高，且視場(chǎng)有限，空間存在大量未被定義的體素，故需要隨著相機(jī)的移動(dòng)不斷更新空間中體素的截?cái)嗑嚯x，更新后的截?cái)嗑嚯x表示為TSDFi(x)。從相機(jī)視點(diǎn)使用光線投射，找到TSDF符號(hào)變化附近的體素并對(duì)其進(jìn)行空間中的三線性插值，即可得到精確的物體表面點(diǎn)的位置。

3.2.3 基于體素的實(shí)時(shí)表面重建

經(jīng)過TSDF處理過后的三維場(chǎng)景只是離散的點(diǎn)云集合，不能顯式地表達(dá)場(chǎng)景的表面信息，因此與正?？梢暬?xí)慣存在較大差異。為了能將前方態(tài)勢(shì)信息實(shí)時(shí)顯示在用戶視野，考慮到現(xiàn)有增強(qiáng)現(xiàn)實(shí)眼鏡處理器的性能限制，本系統(tǒng)使用對(duì)點(diǎn)云空間快速劃分的方法——對(duì)融合后的點(diǎn)云通過體素化網(wǎng)格的方式實(shí)現(xiàn)表面重建。該方法對(duì)全局的點(diǎn)云空間進(jìn)行三維體素柵格處理(文中采用0.05 m大小的三維立方體)，如圖7所示，并用不同顏色區(qū)分不同深度區(qū)域，實(shí)現(xiàn)對(duì)空間的劃分和表面信息的表達(dá)。在實(shí)時(shí)顯示場(chǎng)景的同時(shí)，也能盡量擬合物體表面形狀，達(dá)到提升效率和提高地圖可視化能力的效果。

圖7 實(shí)際的三維重建效果圖Fig.7 Effect diagram of actual 3D reconstruction

3.3 場(chǎng)景一致性融合

基于頭戴式AR眼鏡的場(chǎng)景一致性融合可以將重建場(chǎng)景顯示在AR眼鏡視野的對(duì)應(yīng)位置，便于用戶的查看和交互，實(shí)現(xiàn)穿越障礙感知場(chǎng)景態(tài)勢(shì)的目標(biāo)。這其中包括增強(qiáng)現(xiàn)實(shí)的注冊(cè)和跟蹤技術(shù)。增強(qiáng)現(xiàn)實(shí)的注冊(cè)技術(shù)能將重建場(chǎng)景由其所在的坐標(biāo)系轉(zhuǎn)換到眼鏡坐標(biāo)系。跟蹤技術(shù)可以保障用戶在運(yùn)動(dòng)過程中，跟蹤觀察者不斷變化的視點(diǎn)并實(shí)時(shí)更新坐標(biāo)系的對(duì)應(yīng)關(guān)系，這就需要眼鏡要根據(jù)周圍環(huán)境和自帶傳感器的變化不斷估計(jì)自身位姿。

場(chǎng)景一致性融合流程圖如圖8所示，無人機(jī)通過指定路徑到達(dá)陌生的待重建環(huán)境之后，根據(jù)指令進(jìn)行三維場(chǎng)景重建。通過SLAM自主定位算法，無人機(jī)便可得知機(jī)載相機(jī)和重建的三維模型在每個(gè)時(shí)刻的實(shí)時(shí)相對(duì)位姿。由于在初始化定位部分完成了無人機(jī)和AR眼鏡的相對(duì)定位并統(tǒng)一了二者的坐標(biāo)系，重建后的真實(shí)場(chǎng)景便可以對(duì)應(yīng)顯示在AR眼鏡視野中：如目標(biāo)場(chǎng)景在用戶左前方，觀察左前方視野便能看到重建后的場(chǎng)景疊加在真實(shí)環(huán)境之上，達(dá)到場(chǎng)景的一致性顯示效果。

圖8 場(chǎng)景一致性融合流程圖Fig.8 Flowchart of scene consistency fusion technology

由于場(chǎng)景大小不定，用戶可能需要轉(zhuǎn)動(dòng)頭部甚至在周圍活動(dòng)才能完整地觀察到整個(gè)模型的細(xì)節(jié)。系統(tǒng)使用的AR眼鏡Microsoft Hololens攜帶有4個(gè)環(huán)境感知攝像頭、1個(gè)深度攝像頭、1個(gè)慣性測(cè)量單元，這些傳感器對(duì) Hololens的自主定位起到主要作用。當(dāng)相機(jī)在場(chǎng)景中移動(dòng)時(shí)，需要實(shí)時(shí)獲取變化后的相機(jī)位姿。由于AR系統(tǒng)帶有慣性傳感器，因此可以采用基于慣性的跟蹤技術(shù)，通過慣性傳感器來獲取AR系統(tǒng)中攝像機(jī)位姿的實(shí)時(shí)變化量，通過累積的方式求解每個(gè)時(shí)刻點(diǎn)的相機(jī)位姿。這種跟蹤技術(shù)所需要的數(shù)據(jù)量較少，實(shí)時(shí)性能較好，但隨著時(shí)間的累積，精確度會(huì)有所下降。為了彌補(bǔ)慣性傳感器的累積誤差，通過SLAM算法實(shí)時(shí)構(gòu)圖并解析攝像機(jī)位置對(duì)慣性傳感器的結(jié)果進(jìn)行修正。

4 實(shí)驗(yàn)與分析

真實(shí)應(yīng)用場(chǎng)景中，便攜式計(jì)算設(shè)備需要利用無人機(jī)進(jìn)行搭載，而為了測(cè)試易于操作，實(shí)驗(yàn)采用三角支架代替無人機(jī)平臺(tái)。為便于誤差估計(jì)，三角支架與待重建目標(biāo)距離為1 m，支架所支撐的相機(jī)高度設(shè)置為1.6 m——近似人眼高度。另外，真實(shí)應(yīng)用場(chǎng)景中重建目標(biāo)與AR眼鏡佩戴者之間應(yīng)存在障礙物遮擋，而為了測(cè)試的可行性，實(shí)驗(yàn)中使重建目標(biāo)位于AR眼鏡佩戴者視野范圍內(nèi)。便攜式計(jì)算設(shè)備采用NVIDIA Jetson TX2，雙目相機(jī)采用ZED立體相機(jī)，AR眼鏡采用Microsoft Hololens，服務(wù)器和以上硬件的參數(shù)設(shè)置如表2所示。其中，TX2和服務(wù)器設(shè)備均為Ubuntu16.04操作系統(tǒng)，ROS平臺(tái)版本為Kinetic。

表2 實(shí)驗(yàn)硬件設(shè)備參數(shù)設(shè)置

實(shí)驗(yàn)中，在TX2上連接ZED相機(jī)進(jìn)行圖像和深度數(shù)據(jù)的采集，并發(fā)送給服務(wù)器做信息融合處理，并對(duì)所處場(chǎng)景進(jìn)行多分辨率重構(gòu)及對(duì)自身進(jìn)行高精度定位，之后將處理結(jié)果通過網(wǎng)絡(luò)發(fā)送給增強(qiáng)顯示設(shè)備進(jìn)行一致性融合展示，原型系統(tǒng)的功能及性能指標(biāo)通過展示結(jié)果來驗(yàn)證。結(jié)合實(shí)驗(yàn)場(chǎng)地的實(shí)際范圍，本文搭建了三個(gè)不同測(cè)試距離的場(chǎng)景對(duì)無人機(jī)協(xié)同定位精度進(jìn)行測(cè)試與分析，如圖9所示。

(a) 場(chǎng)地一(a) Site 1(b) 測(cè)試立柱(b) Test pillar

(c) 場(chǎng)地二遠(yuǎn)景(c) Long shots of site 2(d) 場(chǎng)地二近景(d) Close shots of site 2

(e) 場(chǎng)地三(e) Site 3圖9 實(shí)驗(yàn)場(chǎng)景設(shè)置Fig.9 Experimental scenario

實(shí)驗(yàn)中，觀察者佩戴AR眼鏡觀察作為目標(biāo)的2 m×0.3 m×0.3 m黃色立柱，并在黃色立柱的各個(gè)棱線及中間張貼黑黃相間的條紋以對(duì)結(jié)果進(jìn)行分析。白色墻壁特征點(diǎn)稀疏的問題可通過在立柱兩側(cè)的墻壁上隨機(jī)張貼黑黃相間的條紋來解決。如圖10所示，在場(chǎng)地一中測(cè)量觀察者與目標(biāo)距離分別為3 m、5 m、8 m、10 m和20 m，在場(chǎng)地二中測(cè)量觀察者與目標(biāo)距離分別為30 m、45 m、60 m，場(chǎng)地三中為100 m。對(duì)于每個(gè)距離，觀察者在所處位置左右適當(dāng)范圍內(nèi)移動(dòng)，同時(shí)錄制視頻記錄AR眼鏡觀察到的畫面。對(duì)于每一個(gè)視頻，隨機(jī)提取20張不同視角的圖片作為該位置點(diǎn)的采樣圖片用來計(jì)算定位誤差。

圖10 場(chǎng)景重建的實(shí)驗(yàn)采樣結(jié)果Fig.10 Sampling results of scene reconstruction

場(chǎng)地一近距離的采樣圖片如圖10中的(a)～(c)所示，其采樣距離分別為3 m、5 m、8 m，由于在此距離下可清晰觀察到黃色立柱旁邊設(shè)定的最小刻度為2.5 cm的標(biāo)尺，故利用標(biāo)尺上的刻度求得虛實(shí)立柱之間的實(shí)際距離偏差為：

δ1=2.5×a/b

(4)

其中，a為虛實(shí)立柱之間偏差的像素?cái)?shù)，b為刻度在圖像中所占的像素?cái)?shù)。

場(chǎng)地一中等距離的采樣圖片如圖10(d)～(e)所示，其采樣距離分別為10 m、20 m，由于此距離下在AR眼鏡中已無法清晰觀察黃色立柱旁的標(biāo)尺，故利用虛擬場(chǎng)景中邊長均為5 cm的立方體模塊求得虛實(shí)立柱之間的實(shí)際距離偏差為：

δ2=5×a/c

(5)

其中，c為立方體水平邊在圖像中所占的像素?cái)?shù)。

場(chǎng)地二、場(chǎng)地三中遠(yuǎn)距離的采樣圖片如圖10(f)～(i)所示，其采樣距離分別為30 m、45 m、60 m、100 m，由于立柱旁門框的實(shí)測(cè)寬度為1.5 m，故可得虛實(shí)立柱之間的實(shí)際距離偏差為：

δ3=150×a/d

(6)

其中，d為門框的水平邊在圖像中所占的像素?cái)?shù)。

通過以上計(jì)算可得到AR眼鏡與立柱不同距離下的計(jì)算定位誤差，如表3所示。定位誤差隨距離變化趨勢(shì)如圖11所示。從圖11和表3可以看出，AR眼鏡視場(chǎng)范圍 20 m 以內(nèi)所構(gòu)建的虛擬場(chǎng)景與真實(shí)環(huán)境之間的空間位置誤差小于10 cm，20 m至100 m 范圍內(nèi)所構(gòu)建的虛擬場(chǎng)景與真實(shí)環(huán)境之間的空間位置誤差小于 35 cm。

表3 誤差與距離關(guān)系

實(shí)驗(yàn)結(jié)果表明，協(xié)同定位誤差隨著AR眼鏡與前端感知設(shè)備距離的增加而逐漸增加，主要原因在于當(dāng)二者的距離變大時(shí)，前端無人感知設(shè)備和AR眼鏡之間的累計(jì)誤差也會(huì)逐漸增大，該誤差一方面是由于慣性傳感器等硬件造成的漂移，另一方面是因?yàn)槎ㄎ凰惴ū旧淼睦鄯e誤差。當(dāng)重建好的三維場(chǎng)景不能按照坐標(biāo)系的轉(zhuǎn)換關(guān)系準(zhǔn)確地疊加在眼鏡視野上，就會(huì)出現(xiàn)匹配不準(zhǔn)的情況。

圖11 定位誤差與測(cè)試距離關(guān)系Fig.11 Relationship between positioning error and test distance

上述實(shí)驗(yàn)中，從前端的無人機(jī)定位到服務(wù)器端重建再到AR眼鏡端顯示這一過程的平均處理速度總計(jì)為15幀/s，定位和建圖效率基本可以滿足實(shí)時(shí)性的要求。

5 結(jié)論

針對(duì)復(fù)雜戰(zhàn)場(chǎng)環(huán)境下作戰(zhàn)人員的態(tài)勢(shì)感知需求，本文設(shè)計(jì)了一種人機(jī)共融的遠(yuǎn)程態(tài)勢(shì)感知系統(tǒng)，并進(jìn)行了初步的系統(tǒng)實(shí)現(xiàn)和關(guān)鍵技術(shù)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所構(gòu)建的系統(tǒng)能夠在近距離時(shí)有較好的協(xié)同定位精度，定位精度隨著距離的增加而減小。本文的工作能夠?yàn)槿藱C(jī)融合作戰(zhàn)系統(tǒng)的設(shè)計(jì)提供一定的啟示作用，但是為了適應(yīng)大場(chǎng)景作戰(zhàn)的應(yīng)用需求，在未來的工作中將從以下三點(diǎn)展開更完善的系統(tǒng)研究工作：①分布式多節(jié)點(diǎn)的態(tài)勢(shì)融合，實(shí)現(xiàn)多無人設(shè)備協(xié)同探測(cè)及信息融合處理；②加入對(duì)環(huán)境中關(guān)鍵目標(biāo)的識(shí)別能力，并對(duì)系統(tǒng)延遲進(jìn)行統(tǒng)一分析；③本文演示系統(tǒng)中所使用的是WiFi無線通信，但是在真實(shí)戰(zhàn)場(chǎng)環(huán)境中，為了保證無線通信的安全性、即時(shí)性和可靠性，則更多使用軍用通信系統(tǒng)，包括衛(wèi)星通信、4 G以及正在發(fā)展的5 G技術(shù)，后續(xù)將對(duì)無線通信系統(tǒng)進(jìn)行進(jìn)一步的完善。