基于沉浸式虛擬現(xiàn)實(shí)的協(xié)同訓(xùn)練及演示平臺(tái)構(gòu)建*

吳鵬飛，石章松，吳中紅

（海軍工程大學(xué)，武漢 430033）

0 引言

為應(yīng)對(duì)新軍事變革的挑戰(zhàn)，以計(jì)算機(jī)為主體的數(shù)字化虛擬現(xiàn)實(shí)技術(shù)在軍事領(lǐng)域得到廣泛應(yīng)用，并在作戰(zhàn)指揮、軍事訓(xùn)練和戰(zhàn)法研究等方面取得了革命性成果，因其在指揮決策、訓(xùn)練演習(xí)和理論訓(xùn)練上特有的科學(xué)性、直觀性、交互性、可控性和再現(xiàn)性等諸多優(yōu)點(diǎn)，被視為信息時(shí)代提高作戰(zhàn)效能的有效途徑［1］。在此背景下基于沉浸式虛擬現(xiàn)實(shí)技術(shù)構(gòu)建協(xié)同訓(xùn)練及演示平臺(tái)，提供一個(gè)完整的虛擬訓(xùn)練環(huán)境，靈活全面地定制并實(shí)施各種策略，通過(guò)交互性、構(gòu)想性、沉浸感等特點(diǎn)將被動(dòng)的教學(xué)變?yōu)橹鲃?dòng)，實(shí)現(xiàn)單機(jī)及多人協(xié)同的訓(xùn)練，提高學(xué)員對(duì)裝備的使用和管理水平、協(xié)調(diào)配合能力，以及對(duì)緊急狀況的處置能力，平臺(tái)操作要簡(jiǎn)單、性價(jià)比高，具有重要的現(xiàn)實(shí)意義［2］。

1 系統(tǒng)組成

沉浸式虛擬協(xié)同訓(xùn)練及演示平臺(tái)系統(tǒng)組成框架設(shè)計(jì)包括以下部分：任務(wù)系統(tǒng)、廣義映射網(wǎng)關(guān)和通用化視景仿真系統(tǒng)，其中廣義映射網(wǎng)關(guān)包括映射網(wǎng)關(guān)、虛擬作戰(zhàn)對(duì)象庫(kù)、虛擬場(chǎng)景庫(kù)和動(dòng)作腳本庫(kù)，通用化視景仿真系統(tǒng)包括作戰(zhàn)任務(wù)模塊和交互演示設(shè)備。在平臺(tái)中操作者可以概覽整個(gè)作戰(zhàn)流程、漫游艦艇/潛艇平臺(tái)和操控武器裝備，操作者選擇相應(yīng)的任務(wù)系統(tǒng)，將其連接到映射網(wǎng)關(guān)中，映射網(wǎng)關(guān)進(jìn)行數(shù)據(jù)轉(zhuǎn)換后，驅(qū)動(dòng)相應(yīng)的場(chǎng)景、對(duì)象與動(dòng)作，然后觸發(fā)通用化視景仿真系統(tǒng)中對(duì)應(yīng)的作戰(zhàn)任務(wù)模塊呈現(xiàn)在交互演示設(shè)備上，操作者與虛擬場(chǎng)景的交互信息再反饋給通用化視景仿真系統(tǒng)并得到實(shí)時(shí)的處理，其架構(gòu)設(shè)計(jì)如圖1所示。

1.1 任務(wù)系統(tǒng)

任務(wù)系統(tǒng)是與通用化視景仿真系統(tǒng)中的作戰(zhàn)任務(wù)模塊對(duì)應(yīng)的任務(wù)系統(tǒng)，是包含具體任務(wù)參數(shù)的數(shù)據(jù)包，包括初始化參數(shù)、過(guò)程仿真模型和具體作戰(zhàn)任務(wù)參數(shù)，還包括相應(yīng)的任務(wù)界面，這些界面在操作者需要查看某些作戰(zhàn)對(duì)象參數(shù)時(shí)可以彈出［3］。

1.2 廣義映射網(wǎng)關(guān)

為了便于開發(fā)與后續(xù)應(yīng)用，將映射網(wǎng)關(guān)與虛擬對(duì)象庫(kù)、場(chǎng)景庫(kù)和動(dòng)作腳本庫(kù)融合為一個(gè)模塊，成為廣義的映射網(wǎng)關(guān)，主要起到協(xié)議定義、解析和管理作戰(zhàn)實(shí)體數(shù)據(jù)庫(kù)的功能，其框架圖如圖2所示。

1.2.1 映射網(wǎng)關(guān)

映射網(wǎng)關(guān)包含數(shù)據(jù)驅(qū)動(dòng)模塊和Socket數(shù)據(jù)接收模塊，能夠解壓不同的任務(wù)系統(tǒng)。將某個(gè)任務(wù)系統(tǒng)連接到映射網(wǎng)關(guān)，映射網(wǎng)關(guān)對(duì)其數(shù)據(jù)包進(jìn)行數(shù)據(jù)轉(zhuǎn)換，發(fā)送索引指令到虛擬對(duì)象庫(kù)、場(chǎng)景庫(kù)和動(dòng)作腳本庫(kù)，驅(qū)動(dòng)相應(yīng)的對(duì)象、場(chǎng)景和動(dòng)作，然后觸發(fā)通用化視景仿真系統(tǒng)中相應(yīng)的作戰(zhàn)任務(wù)模塊［4］。

1.2.2 虛擬場(chǎng)景庫(kù)

虛擬場(chǎng)景庫(kù)包括系統(tǒng)、戰(zhàn)位和裝備操作3個(gè)層面的場(chǎng)景，系統(tǒng)層面的場(chǎng)景要包括整個(gè)海戰(zhàn)場(chǎng)環(huán)境，比如海面、涌浪、藍(lán)天、風(fēng)和雨等自然環(huán)境要素，艦艇、飛機(jī)和導(dǎo)彈等作戰(zhàn)單元外觀；戰(zhàn)位層面的場(chǎng)景包括各個(gè)作戰(zhàn)單元內(nèi)部的漫游場(chǎng)景，比如在艦艇的艙室內(nèi)漫游；裝備操作層面的場(chǎng)景包括各個(gè)裝備的外觀和操控場(chǎng)景，比如裝備的控制臺(tái)，虛擬場(chǎng)景設(shè)計(jì)了可以被按下的按鈕、開關(guān)電門等虛擬動(dòng)作的各個(gè)場(chǎng)景。

1.2.3 虛擬對(duì)象庫(kù)

虛擬對(duì)象庫(kù)根據(jù)其應(yīng)用的范圍涵蓋幾乎所有的海戰(zhàn)對(duì)象，包括艦艇、潛艇和飛機(jī)，還有導(dǎo)彈、魚雷、艦炮等武器系統(tǒng)。對(duì)象庫(kù)中的對(duì)象可以被映射網(wǎng)關(guān)驅(qū)動(dòng)，在通用化視景仿真系統(tǒng)中與操作者進(jìn)行交互。

1.2.4 動(dòng)作腳本庫(kù)

動(dòng)作腳本庫(kù)包含所有虛擬作戰(zhàn)對(duì)象的動(dòng)作。比如導(dǎo)彈的發(fā)射、飛行、轉(zhuǎn)彎和爆炸；潛艇的航行、轉(zhuǎn)彎、下潛和上?。灰舶ㄑb備操作的動(dòng)作，比如某裝備的電門、開關(guān)等被打開或關(guān)閉等。

1.3 通用化視景仿真系統(tǒng)

通用化視景仿真系統(tǒng)包含作戰(zhàn)任務(wù)模塊和交互演示設(shè)備兩個(gè)大的方面，其系統(tǒng)框架圖如圖3所示。

1.3.1 作戰(zhàn)任務(wù)模塊

作戰(zhàn)任務(wù)模塊實(shí)質(zhì)就是一個(gè)個(gè)作戰(zhàn)劇情，當(dāng)數(shù)據(jù)網(wǎng)關(guān)轉(zhuǎn)換任務(wù)系統(tǒng)中的數(shù)據(jù)后會(huì)觸發(fā)相應(yīng)的劇情，對(duì)應(yīng)的虛擬作戰(zhàn)對(duì)象在對(duì)應(yīng)的虛擬場(chǎng)景中按照劇情的推演顯示在交互及演示設(shè)備上，與此同時(shí)，操作者在平臺(tái)中的動(dòng)作會(huì)被交互設(shè)備反饋到作戰(zhàn)任務(wù)模塊中，作戰(zhàn)任務(wù)模塊按照真實(shí)情景處理反饋信息，然后調(diào)整劇情做出對(duì)應(yīng)的動(dòng)作映射到交互及演示設(shè)備上，實(shí)現(xiàn)與沉浸式虛擬協(xié)同訓(xùn)練及演示平臺(tái)實(shí)時(shí)交互。

1.3.2 交互演示設(shè)備

操作者的所有行為都要借助智能穿戴設(shè)備與虛擬場(chǎng)景進(jìn)行互動(dòng)，智能穿戴設(shè)備包括投影頭盔、數(shù)據(jù)手套、智能耳機(jī)和投影屏幕等，操作者的感受均是實(shí)時(shí)同步的，可以真實(shí)體驗(yàn)與參與平臺(tái)中的各項(xiàng)任務(wù)，有很好的沉浸感、交互性和構(gòu)想性。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)流程設(shè)計(jì)

任務(wù)系統(tǒng)包含任務(wù)參數(shù)，主要功能為生成任務(wù)劇情，進(jìn)行數(shù)據(jù)發(fā)送；映射網(wǎng)關(guān)數(shù)據(jù)驅(qū)動(dòng)模塊進(jìn)行數(shù)據(jù)接收，并將接收到的數(shù)據(jù)轉(zhuǎn)換成引擎所能識(shí)別的數(shù)據(jù)，并以對(duì)應(yīng)的數(shù)據(jù)驅(qū)動(dòng)引擎中對(duì)應(yīng)的模型庫(kù)；視景仿真系統(tǒng)模塊主要作用為依托數(shù)據(jù)驅(qū)動(dòng)模塊所傳遞的數(shù)據(jù)，進(jìn)行場(chǎng)景的渲染和表現(xiàn)［5］。

2.2 3D模型庫(kù)的構(gòu)建

模型庫(kù)的構(gòu)建相對(duì)于系統(tǒng)而言是作為一個(gè)獨(dú)立模塊進(jìn)行開發(fā)和管理，主要采用3D-Max進(jìn)行模型的創(chuàng)建［6］，基本設(shè)計(jì)概念如圖5。

3D模型庫(kù)主要是將海戰(zhàn)場(chǎng)場(chǎng)景、作戰(zhàn)對(duì)象和動(dòng)作腳本建成三維模型，賦予材質(zhì)并烘焙，組建模型庫(kù)。模型創(chuàng)建以后利用收集的素材，對(duì)模型賦予材質(zhì)、貼圖，然后根據(jù)展示需要，對(duì)模型進(jìn)行整體或者局部的烘焙，模型庫(kù)的構(gòu)建流程如圖6所示。

系統(tǒng)優(yōu)化貫穿在整個(gè)模型創(chuàng)建過(guò)程，需要若干次優(yōu)化，包括：模型結(jié)構(gòu)優(yōu)化、紋理貼圖優(yōu)化、模型優(yōu)化、場(chǎng)景優(yōu)化［7］。通過(guò)這些優(yōu)化技術(shù)才可以減小模型占據(jù)內(nèi)存空間的容量和系統(tǒng)資源，在模型不失真的前提下，使虛擬環(huán)境運(yùn)行中更加流暢。

2.3 接口設(shè)計(jì)

系統(tǒng)接口設(shè)計(jì)如圖8所示。

2.4 人機(jī)交互流程設(shè)計(jì)

人機(jī)交互流程是基于多人協(xié)同操作的設(shè)計(jì)，通過(guò)系統(tǒng)分配不同的環(huán)境崗位，每個(gè)崗位配置一臺(tái)普通PC機(jī)，所有PC機(jī)和系統(tǒng)服務(wù)器處于同一個(gè)局域網(wǎng)內(nèi)，可以進(jìn)行正常的通訊，通過(guò)普通PC機(jī)器輸入、輸出設(shè)備和智能穿戴設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)的對(duì)話［8］。

2.5 人機(jī)交互軟件開發(fā)要點(diǎn)分析

人機(jī)交互軟件開發(fā)就以下兩個(gè)要點(diǎn)進(jìn)行分析：

1）利用VR眼鏡觀察的位置進(jìn)行視線選擇。操作者佩帶VR眼鏡后，視野中心會(huì)產(chǎn)生一個(gè)控制點(diǎn)，控制點(diǎn)會(huì)隨著操作者移動(dòng)，如果使用者看一個(gè)物體一段時(shí)間后，則有相應(yīng)的回饋產(chǎn)生［9］。

2）虛擬場(chǎng)景觀看。目前一般借助陀螺儀進(jìn)行虛擬場(chǎng)景的視野觀看，虛擬環(huán)境中的攝像機(jī)會(huì)與操作者產(chǎn)生隨動(dòng)，其中關(guān)鍵的要點(diǎn)是控制抖動(dòng)，由于操作者在朝向一個(gè)方向靜止觀察時(shí)會(huì)產(chǎn)生抖動(dòng)，微小的位移被陀螺儀獲取后會(huì)對(duì)相機(jī)產(chǎn)生很多的抖動(dòng)，但我們可以通過(guò)一系列算法顯著降低抖動(dòng)性。

3 沉浸式虛擬協(xié)同訓(xùn)練及演示平臺(tái)演示

目前平臺(tái)實(shí)現(xiàn)了若干個(gè)任務(wù)系統(tǒng)，就其中對(duì)岸火力打擊任務(wù)分別在系統(tǒng)層面、戰(zhàn)位層面和裝備層面進(jìn)行演示。

3.1 系統(tǒng)層面

在對(duì)岸火力打擊任務(wù)系統(tǒng)層面，可以觀察對(duì)岸火力打擊任務(wù)整個(gè)流程：

3.2 戰(zhàn)位層面

在任務(wù)戰(zhàn)位層面，操作者可以在艦艇上自主漫游，觀察艦艇戰(zhàn)位配置和工作生活環(huán)境，可以進(jìn)入甲板、艦橋和各個(gè)艙室，并能觀察對(duì)岸火力打擊的作戰(zhàn)情況。

3.3 裝備操作層面

在任務(wù)裝備操作層面，操作者可以操控艦炮和無(wú)人機(jī)等武器系統(tǒng)，并能夠?qū)崟r(shí)觀察到無(wú)人機(jī)偵察畫面和艦炮的打擊效果。

4 結(jié)論

在協(xié)同訓(xùn)練及培訓(xùn)方面，沉浸式虛擬協(xié)同訓(xùn)練及演示平臺(tái)有著其他培訓(xùn)形式和軟件不能比擬的優(yōu)勢(shì)，它能夠給操作者提供高度自由的操作性，可以模擬誤操作的后果，但不會(huì)造成人員的傷害和武器裝備的損壞；高度仿真的場(chǎng)景設(shè)計(jì)提供了深入的沉浸感，使操作者身臨其境［10］；它能夠在體現(xiàn)操作者想法的同時(shí)不打斷他們的靈感，降低了操作負(fù)荷。因此，基于虛擬現(xiàn)實(shí)技術(shù)構(gòu)建虛擬協(xié)同訓(xùn)練及演示平臺(tái)是適應(yīng)新軍事變革需要，提高我軍信息化作戰(zhàn)能力的重要舉措，它提供了一種新的協(xié)同訓(xùn)練和培訓(xùn)形式，將成為協(xié)同訓(xùn)練效能的倍增器。

參考文獻(xiàn)：

［l］莊春華，王普.虛擬現(xiàn)實(shí)技術(shù)及其應(yīng)用［M］.北京：電子工業(yè)出版社，2010.

［2］趙沁平，周彬，李甲，等.虛擬現(xiàn)實(shí)技術(shù)研究進(jìn)展［J］.科技導(dǎo)報(bào)，2016，34（14）：71-74.

［3］張偉，溫茂祿，李軻.虛擬現(xiàn)實(shí)技術(shù)在軍校教學(xué)及訓(xùn)練中的應(yīng)用前景探悉［J］.高校講壇，2010，33：203.

［4］楊姝.深度沉浸式虛擬現(xiàn)實(shí)艦船體驗(yàn)［J］.艦船科學(xué)技術(shù)，2016，38（1A）：34-36.

［5］劉國(guó)柱.直覺交互界面與虛擬現(xiàn)實(shí)［J］.武漢理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014，27（1）：132-136.

［6］姚鵬飛，陳正鳴，童晶，等.基于Unity3D的絞吸式挖泥船虛 擬 仿 真 系 統(tǒng) ［J］. 系 統(tǒng) 仿 真 學(xué) 報(bào) ，2016，28（9）：2069-2075.

［7］王宇琛，黃蓋先，艾鴻.基于虛擬現(xiàn)實(shí)技術(shù)的3D智慧校園設(shè)計(jì)與實(shí)現(xiàn)［J］.智能計(jì)算機(jī)與應(yīng)用，2015，5（2）：89-92.

［8］方向明，方明，劉天元，等.基于虛擬現(xiàn)實(shí)技術(shù)的機(jī)器人仿真設(shè)計(jì)研究［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，39（1）：61-65.

［9］孟美.虛擬現(xiàn)實(shí)人機(jī)交互開發(fā)要點(diǎn)分析［J］.信息系統(tǒng)工程，2016，29（8）：20-21.

［10］胡小強(qiáng).虛擬現(xiàn)實(shí)技術(shù)基礎(chǔ)與應(yīng)用［M］.北京：北京郵電大學(xué)出版社，2009.