基于VR 和MR 技術(shù)的火控系統(tǒng)虛擬仿真平臺(tái)構(gòu)建

吳正龍，趙忠實(shí)

（陸軍炮兵防空兵學(xué)院兵器工程系，合肥 230031）

0 引言

隨著科學(xué)技術(shù)的發(fā)展，數(shù)字化火控系統(tǒng)已成為現(xiàn)代自行火炮、火箭炮和高炮必不可少的重要組成部分，武器系統(tǒng)的“大腦”和作戰(zhàn)效能“倍增器”是武器系統(tǒng)先進(jìn)性的重要標(biāo)志［1］?？梢哉f，火控系統(tǒng)是武器平臺(tái)中最具技術(shù)含量、集成度最高、工程實(shí)現(xiàn)最復(fù)雜，光、機(jī)、電、信息、控制系統(tǒng)等技術(shù)交叉融合最深的分系統(tǒng)，包含了一系列為實(shí)現(xiàn)火控全過程所需的各種相互作用、相互依賴的設(shè)備（單體）［2］。這些火控設(shè)備（單體）數(shù)量多，完成的功能各不相同，原理復(fù)雜多樣。以某型號(hào)火箭炮為例，火控系統(tǒng)在火箭炮上分布廣泛，其部件和單體主要安裝在儀器艙、駕駛艙內(nèi)和艙外車體等多個(gè)間隔較遠(yuǎn)的內(nèi)外部位；同時(shí)，各部件和單體必須要在全炮工作環(huán)境下才能操作使用，這使火控系統(tǒng)實(shí)裝訓(xùn)練難以做到實(shí)時(shí)、實(shí)地和多次重復(fù)。因此，圍繞火控系統(tǒng)的建模、仿真和模擬訓(xùn)練研究，具有重要現(xiàn)實(shí)意義［3-5］。

近年來，如何提高具有復(fù)雜抽象結(jié)構(gòu)與原理的兵器訓(xùn)練效果已經(jīng)成為兵器教學(xué)與訓(xùn)練研究實(shí)踐的熱點(diǎn)［6］；同時(shí)，以受訓(xùn)者智慧發(fā)展為目標(biāo)、以信息技術(shù)無縫支持受訓(xùn)者深度學(xué)習(xí)全過程的智慧教學(xué)，已成為當(dāng)前我國(guó)教育信息化研究的熱點(diǎn)之一［7-8］。若可以充分使用虛擬現(xiàn)實(shí)與混合現(xiàn)實(shí)技術(shù)，則可在可控成本下，實(shí)現(xiàn)多人同時(shí)在線、脫離實(shí)物裝備、高仿真、沉浸式、虛擬化、可交互、可探索、智慧化的火控系統(tǒng)模擬訓(xùn)練環(huán)境，使技術(shù)切實(shí)助力武器裝備訓(xùn)練。利用先進(jìn)的計(jì)算機(jī)視覺成像和交互手段，不僅可以將復(fù)雜火控單體和系統(tǒng)的部件組成、內(nèi)部結(jié)構(gòu)、整體形態(tài)、工作原理通過逼真的實(shí)時(shí)三維渲染技術(shù)真實(shí)地呈現(xiàn)在受訓(xùn)者眼前，還可以通過人體的雙手與虛擬現(xiàn)實(shí)/混合現(xiàn)實(shí)中動(dòng)態(tài)生成的三維部件進(jìn)行自然交互。此外，受訓(xùn)者還能借助混合現(xiàn)實(shí)環(huán)境進(jìn)一步開展虛擬自主實(shí)驗(yàn)，以試錯(cuò)的方式深刻探索火控單體與系統(tǒng)的原理與運(yùn)用。雖然基于MR_VR 的模擬訓(xùn)練環(huán)境軟硬件體系結(jié)構(gòu)較為復(fù)雜，可探索設(shè)備價(jià)格較高、維護(hù)困難，但與武器裝備相比，建設(shè)與維護(hù)成本是完全可以接受的。

1 基于MR_VR 技術(shù)的火控系統(tǒng)虛擬仿真平臺(tái)總體架構(gòu)

1.1 總體架構(gòu)

基于MR_VR 技術(shù)的火控系統(tǒng)虛擬仿真平臺(tái)總體架構(gòu)如圖1 所示，主要包括三大組成部分，即智慧模擬訓(xùn)練硬件環(huán)境層，智慧模擬訓(xùn)練軟件系統(tǒng)層，智慧模擬訓(xùn)練應(yīng)用層。

圖1 火控系統(tǒng)虛擬仿真平臺(tái)總體架構(gòu)Fig.1 The general architecture of virtual simulation platform for fire control system

其中，硬件環(huán)境層、軟件系統(tǒng)層是虛擬仿真平臺(tái)的基礎(chǔ)層和技術(shù)層，為智慧模擬訓(xùn)練應(yīng)用層提供服務(wù)。智慧模擬訓(xùn)練應(yīng)用層是整個(gè)模擬訓(xùn)練環(huán)境的主導(dǎo)層和核心層，為火控系統(tǒng)模擬訓(xùn)練提供服務(wù)，通過VR/MR 技術(shù)手段實(shí)現(xiàn)“3 個(gè)層次、5 個(gè)階段”的知識(shí)體系訓(xùn)練，“3 個(gè)層次”即仿真層次、交互層次和探索層次，“5 個(gè)階段”即感知→認(rèn)知→習(xí)知→用知→驗(yàn)知逐步遞進(jìn)的認(rèn)知階段，從而實(shí)現(xiàn)閉環(huán)的模擬訓(xùn)練反饋過程。

1.2 硬件環(huán)境層

硬件環(huán)境層提供多個(gè)模塊自下而上的底層硬件支持，其整體架構(gòu)如圖2 所示。

圖2 硬件環(huán)境層Fig.2 The hardware environment layer

1）網(wǎng)絡(luò)通訊設(shè)備，提供底層TCP/IP 通訊，在智慧模擬訓(xùn)練環(huán)境中，主要為實(shí)時(shí)/非實(shí)時(shí)兩種大容量高速數(shù)據(jù)通訊提供硬件支撐。

2）智慧服務(wù)器，為多人網(wǎng)絡(luò)、無組訓(xùn)者VR/MR條件（受訓(xùn)者沉浸式自主學(xué)習(xí)）提供基于AI 的人工智能輔助學(xué)習(xí)的硬件AI 邏輯運(yùn)算支撐。

3）高性能GPU 實(shí)時(shí)渲染計(jì)算計(jì)算機(jī)，用來提供基于Unreal4 引擎的實(shí)時(shí)渲染計(jì)算畫面，具備GTX2080 或以上性能的顯示核心，能提供超過120FPS 幀率的VR 畫面運(yùn)算能力，為整個(gè)系統(tǒng)提供運(yùn)行支持、運(yùn)算服務(wù)、圖像渲染服務(wù)等。

4）VR 可探索設(shè)備，使用HTCVIVEPRO/HTC Cosmos 沉浸式虛擬現(xiàn)實(shí)設(shè)備和Index 手部自然交互設(shè)備，提供基于手部操作的互動(dòng)式可交互硬件支持。VR 眼鏡是提供視覺環(huán)境的輸出設(shè)備，營(yíng)造360°無死角的虛擬觀感，讓學(xué)習(xí)者仿佛置身于真實(shí)的戰(zhàn)場(chǎng)環(huán)境或裝備中。手部識(shí)別手柄可以通過傳感器捕捉用戶握住手柄時(shí)每個(gè)手指的位置信息，從而達(dá)到手指識(shí)別的效果，增強(qiáng)操作的精細(xì)度。

5）MR 可探索設(shè)備，使用Microsoft Hololens 2 代混合現(xiàn)實(shí)頭戴式眼鏡系統(tǒng)，通過人工智能手部識(shí)別技術(shù)，提供基于手部操作的混合現(xiàn)實(shí)交互硬件支持。

6）多屏幕融合硬件，針對(duì)20 人的多受訓(xùn)者訓(xùn)練需求，提供最多40 路終端設(shè)備的輸入和融合能力，支持最多40 路三維畫面進(jìn)入最終輸出設(shè)備同時(shí)同屏幕顯示，或由組訓(xùn)者指定顯示位置和方式。

7）3D 大屏幕硬件，基于LED/多屏幕拼接技術(shù)的3D 大尺寸屏幕，提供訓(xùn)練、演示、展示、多人觀摩的視覺呈現(xiàn)。

1.3 關(guān)鍵技術(shù)

1.3.1 引擎開發(fā)

采用虛幻四引擎作為視景開發(fā)平臺(tái)。虛幻四是一款全球頂級(jí)的三維游戲開發(fā)引擎和虛擬現(xiàn)實(shí)引擎，具有先進(jìn)的實(shí)時(shí)渲染、全局光照、基于物理的材質(zhì)、GUP 粒子模擬、延遲著色等技術(shù)，這些高效完整的開發(fā)設(shè)計(jì)工具以及大量模塊化系統(tǒng)，給整個(gè)火控系統(tǒng)內(nèi)部構(gòu)造虛擬現(xiàn)實(shí)開發(fā)提供了理想的解決方案和視覺構(gòu)造。

1.3.2 空間定位技術(shù)

通過光柵定位器檢測(cè)獲取物體真實(shí)環(huán)境的位置信息，通過高精度建模技術(shù)，還原物體的3D 模型，利用虛擬環(huán)境的空間定位技術(shù)，將3D 模型和實(shí)體模型進(jìn)行位置匹配，受訓(xùn)者就可以通過操作實(shí)體控制虛擬世界中的模型。

1.3.3 手部識(shí)別技術(shù)

Index 手柄搭載87 個(gè)傳感器，可識(shí)別壓力、觸感，還能識(shí)別光學(xué)數(shù)據(jù)。Index 手柄配有固定帶束縛，在使用時(shí)不需要握住手柄。每一個(gè)物理按鍵下都安裝了電容傳感器，主要包括扳機(jī)鍵、外部按鈕、內(nèi)部按鈕和系統(tǒng)按鈕，以此來確定用戶拇指的位置，以及扣動(dòng)扳機(jī)鍵時(shí)食指的位置，通過光學(xué)傳感和觸感傳感，可以追蹤用戶中指、無名指、小拇指3 根手指是放在手柄上還是張開，從而達(dá)到捕捉5 個(gè)手指運(yùn)動(dòng)追蹤的效果。

2 火控系統(tǒng)內(nèi)部構(gòu)造虛擬交互系統(tǒng)

火控系統(tǒng)內(nèi)部構(gòu)造虛擬交互系統(tǒng)是智慧模擬訓(xùn)練的核心，它不僅能虛擬演示火控系統(tǒng)大部組成與內(nèi)部構(gòu)造，提供基于VR 的火控系統(tǒng)沉浸式體驗(yàn)，而且采用實(shí)體和半透明的顯示模式，以可視化UI的方式展現(xiàn)每個(gè)火控單體的位置、功能、原理與基本操作（或界面），以及與其他單體的關(guān)系，幫助受訓(xùn)者全方位深刻了解火控系統(tǒng)構(gòu)造與原理。受訓(xùn)者借助該虛擬交互系統(tǒng)，可以通過手柄在虛擬環(huán)境中漫游，改變自己的位置，從不同距離和不同視角來觀察火控單體與系統(tǒng)的內(nèi)外部構(gòu)造。為實(shí)現(xiàn)探索與交互，受訓(xùn)者還可通過手部識(shí)別設(shè)備進(jìn)行基本的操作控制。該虛擬交互系統(tǒng)硬件組成見1.2 節(jié)所述。

2.1 軟件系統(tǒng)層

軟件系統(tǒng)層包括組訓(xùn)端軟件和受訓(xùn)端軟件，組訓(xùn)端軟件提供各類模擬訓(xùn)練管控功能，受訓(xùn)端軟件提供多名受訓(xùn)者同時(shí)學(xué)習(xí)功能，如圖3 所示。

圖3 軟件系統(tǒng)層Fig.3 The software system layer

組訓(xùn)端軟件主要功能：

1）內(nèi)容編制功能，提供視頻、3D 動(dòng)畫、圖片、文字等火控系統(tǒng)構(gòu)造與原理內(nèi)容的編輯與保存功能，從而使得組訓(xùn)者可以根據(jù)受訓(xùn)者的實(shí)際學(xué)習(xí)情況或訓(xùn)練實(shí)時(shí)反饋情況，對(duì)訓(xùn)練內(nèi)容進(jìn)行動(dòng)態(tài)調(diào)整。

2）內(nèi)容發(fā)放功能，組訓(xùn)者在環(huán)條件下，向受訓(xùn)端軟件發(fā)放訓(xùn)練內(nèi)容，受訓(xùn)者不能自由選擇訓(xùn)練內(nèi)容，此時(shí)，模擬訓(xùn)練形式為組訓(xùn)者統(tǒng)一安排訓(xùn)練內(nèi)容。

3）模式管理功能，組訓(xùn)者可切換離環(huán)訓(xùn)練模式或在環(huán)訓(xùn)練模式，離環(huán)訓(xùn)練模式下受訓(xùn)者可自由選擇學(xué)習(xí)內(nèi)容。

4）受訓(xùn)者管理功能，組訓(xùn)者對(duì)受訓(xùn)者的信息進(jìn)行添加、刪除、修改等管理工作。

5）分組管理功能，組訓(xùn)者對(duì)受訓(xùn)者進(jìn)行分組，并以分組形式進(jìn)行模擬訓(xùn)練實(shí)施與管理。

6）成績(jī)管理功能，對(duì)受訓(xùn)者的考核評(píng)價(jià)結(jié)果進(jìn)行管理與統(tǒng)計(jì)分析。

7）Web 系統(tǒng)功能，組訓(xùn)端軟件所有功能可通過Web 頁(yè)面管理。

8）畫面管理功能，管理大屏幕的多路畫面輸入和輸出，以切換投放不同的受訓(xùn)端軟件界面，展示每一位受訓(xùn)者交互或探索的實(shí)時(shí)過程與結(jié)果。

9）訓(xùn)練內(nèi)容分類，將訓(xùn)練內(nèi)容劃分到“感知、認(rèn)知、習(xí)知、用知、驗(yàn)知”5 個(gè)類別，從而便于組訓(xùn)者管理訓(xùn)練內(nèi)容和受訓(xùn)者選擇學(xué)習(xí)內(nèi)容。

根據(jù)組訓(xùn)者在環(huán)與組訓(xùn)者離環(huán)模式的不同，受訓(xùn)端軟件分為兩種運(yùn)行流程。

1）組訓(xùn)者在環(huán)訓(xùn)練模式

該模式下，受訓(xùn)者不能自主選擇訓(xùn)練內(nèi)容，當(dāng)受訓(xùn)者進(jìn)入軟件后，學(xué)習(xí)內(nèi)容由組訓(xùn)者推送發(fā)布。受訓(xùn)者可以根據(jù)組訓(xùn)者設(shè)置的內(nèi)容和學(xué)習(xí)步驟，進(jìn)行相應(yīng)的火控系統(tǒng)構(gòu)造與原理的VR/MR 學(xué)習(xí)，在學(xué)習(xí)過程中，組訓(xùn)者可隨時(shí)進(jìn)行遠(yuǎn)程干預(yù)和指導(dǎo)，也可以將受訓(xùn)者操作過程和結(jié)果切換投影到大屏幕上進(jìn)行分析與點(diǎn)評(píng)。

2）組訓(xùn)者離環(huán)訓(xùn)練模式

該模式下，受訓(xùn)者可自主選擇訓(xùn)練內(nèi)容。受訓(xùn)者進(jìn)入軟件后，可以自行選定不同的學(xué)習(xí)內(nèi)容和學(xué)習(xí)步驟，例如，進(jìn)行若干知識(shí)點(diǎn)的感知學(xué)習(xí)，或者針對(duì)某個(gè)具體知識(shí)點(diǎn)進(jìn)行完整的“感知、認(rèn)知、習(xí)知、用知、驗(yàn)知”5 個(gè)步驟的學(xué)習(xí)。為減少受訓(xùn)者自主學(xué)習(xí)的盲目性，該訓(xùn)練模式提供人工智能閉環(huán)輔助功能，即學(xué)習(xí)過程中由基于上下文敏感的人工智能Assistant 軟件，對(duì)學(xué)習(xí)內(nèi)容和進(jìn)度進(jìn)行有效的智能幫助和指導(dǎo)。

2.2 軟件功能

該虛擬交互軟件功能主要包括場(chǎng)景漫游、虛擬演示和探索交互。

場(chǎng)景漫游支持學(xué)習(xí)者在各種場(chǎng)景中的自由行動(dòng)，可以通過手柄選擇位移位置，從而在武器周圍進(jìn)行大范圍的移動(dòng)；當(dāng)在武器內(nèi)部進(jìn)行火控單體或系統(tǒng)的操作時(shí)，通過空間定位，可以小范圍地在武器內(nèi)部移動(dòng)，進(jìn)行內(nèi)部實(shí)景的漫游。某型號(hào)火箭炮場(chǎng)景漫游如圖4 所示。

圖4 某型號(hào)火箭炮場(chǎng)景漫游Fig.4 Scene exploration for a certain type of rocket launcher

虛擬演示主要包括可視化UI 設(shè)計(jì)和虛擬動(dòng)畫設(shè)計(jì)，通過可視化UI 可以對(duì)火控系統(tǒng)的各個(gè)結(jié)構(gòu)部位進(jìn)行懸浮式注釋，讓受訓(xùn)者在觀察結(jié)構(gòu)的同時(shí)，學(xué)習(xí)火控單體與設(shè)備的基礎(chǔ)工作原理，如圖5所示。各仿真模型支持實(shí)體和半透明的顯示模式，通過三維動(dòng)畫的方式，生動(dòng)形象地表現(xiàn)火控系統(tǒng)工作時(shí)各個(gè)單體的工作原理與相互關(guān)系，幫助受訓(xùn)者全方位深刻了解火控系統(tǒng)的構(gòu)造和原理。

圖5 火控系統(tǒng)內(nèi)部構(gòu)造虛擬演示Fig.5 Virtual demonstration of the internal structure of fire control system

仿真交互采用手部識(shí)別的交互方式，通過Index手柄上的傳感器捕捉每一個(gè)手指的運(yùn)動(dòng)，從而達(dá)到更加精密的手部操作，如圖6 所示。通過手柄可以實(shí)現(xiàn)對(duì)武器的外部進(jìn)行整體位移、炮塔操控等功能，在武器內(nèi)部則可以通過手指對(duì)火控單體或系統(tǒng)進(jìn)行與實(shí)裝操作一致、精密的操作。

圖6 利用手柄進(jìn)行火控單體探索交互Fig.6 Exploration of the interaction with the single unit of the fire control system by the handle

3 結(jié)論

基于VR/MR 技術(shù)的火控系統(tǒng)虛擬仿真平臺(tái)，使用沉浸式虛擬現(xiàn)實(shí)技術(shù)和混合現(xiàn)實(shí)技術(shù)，將火控原理、火控單體與系統(tǒng)的組成、結(jié)構(gòu)、工作原理、操作使用以及故障案例等，通過VR/MR 技術(shù)三維具象地呈現(xiàn)出來，通過手指的空中觸控、拿捏等方式與“虛擬裝備”進(jìn)行自然的交互操作，擺脫了傳統(tǒng)武器裝備模擬訓(xùn)練中文字、圖表、模型模具等“靜物口授”式的訓(xùn)練模式，實(shí)現(xiàn)了訓(xùn)練技術(shù)和手段的飛躍。該平臺(tái)既是一個(gè)高仿真的虛擬仿真環(huán)境，也是一個(gè)可交互、可探索的智慧化模擬訓(xùn)練環(huán)境；既支持組訓(xùn)者在環(huán)統(tǒng)一內(nèi)容和進(jìn)度進(jìn)行訓(xùn)練，又支持受訓(xùn)者自主探索和學(xué)習(xí)。

目前型號(hào)裝備均隨裝配有模擬訓(xùn)練器材，采用與實(shí)裝盡量一致的工作界面與操作環(huán)境，強(qiáng)調(diào)對(duì)具體型號(hào)裝備操作技能的訓(xùn)練。本文采用VR 和MR技術(shù)構(gòu)建的火控系統(tǒng)虛擬仿真平臺(tái)，實(shí)現(xiàn)了3 種型號(hào)裝備火控系統(tǒng)的虛擬仿真，在一種環(huán)境下能夠開展3 種裝備火控系統(tǒng)的模擬訓(xùn)練，具有一定先進(jìn)性。