多人協(xié)同航空發(fā)動機維護系統(tǒng)開發(fā)

向錦鵬 趙斌 張超智 周祥麟 沈奕睿 閆禹杉 蔣思毅 蔣郅鴻曄

摘 ?要：基于當今民航維修業(yè)發(fā)展趨勢，順應大環(huán)境下互聯(lián)網技術的發(fā)展模式，開發(fā)了以用戶為中心的人性化、智能化的維修教學系統(tǒng)，采用計算機仿真與虛擬現(xiàn)實技術，幫助用戶完成復雜的維修工作。以Unity 3D為集成開發(fā)平臺為基礎，通過Solidworks、3DMax、C4D等對于場景中的機械以及人物進行建模，對發(fā)動機維修實習車間、車間教學課堂等真實場景進行高度虛擬化的還原;利用Visual Studio編輯器結合C#語言對內置模型實現(xiàn)可交互式邏輯編程，對于零件間的維修特征、對象行為以及虛擬人行為等交互特征進行參數化描述，最終以Xsens MVN和PUN實現(xiàn)異地交互的虛擬現(xiàn)實功能。

關鍵詞：虛擬現(xiàn)實 ?異地交互 ?多人協(xié)同 ?機務維修

中圖分類號：V23 ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：1672-3791（2021）04（c）-0051-03

Development of Multi-person Cooperative Aero-engine Maintenance System

XIANG Jinpeng1 ?ZHAO Bin2 ?ZHANG Chaozhi1 ?ZHOU Xianglin1 ?SHEN Yirui1 ?YAN Yushan1 JIANG Siyi1 ?JIANG Zhihongye1

（1. College of Aeronautical Engineering， Civil Aviation University of China， Tianjin， 300300 China;

2. Technology Department of Electrical Transmission Company， Tianjin Research Institute of Electric Science Co.， Ltd.， Tianjin， 300301 ?China）

Abstract： Based on the development trend of civil aviation maintenance industry and the development mode of Internet technology under the environment， the system has developed a user-centered humanized and intelligent maintenance teaching system， which adopts computer simulation and virtual reality technology to help users complete complex maintenance work. Based on Unity 3D integrated development platform， the machine and characters in the scene are modeled by SolidWorks， 3DMax and C4D， and the real scenes such as engine maintenance practice workshop and workshop teaching classroom are restored with high virtualization. Visual Studio editor combined with C# language is used to realize interactive logic programming for the built-in model， and parameterized description is carried out for the interaction features such as maintenance features between parts， object behavior and virtual human behavior. Finally， XsensMVN and PUN are used to realize the virtual reality function of remote interaction.

Key Words： Virtual reality; Remote interaction; multi-person cooperative; Maintenance

在航空航天領域，普遍存在使用設備成本高、技術難度大、維修技術人員培訓周期長、硬件損壞不可逆等問題。諸多因素困擾了研發(fā)、使用、維修等諸多環(huán)節(jié)的研究和培訓進度，又因其突出存在的不可逆性限制了航空的發(fā)展和進步。在當今疫情嚴峻的形勢下，民航行業(yè)運營情況持續(xù)低迷，維修技術人員的培訓出現(xiàn)了諸多不利條件。但是，由于市場對技術人才的需求并未停止，迫切需要一種成本低、培訓周期短、可逆性強的解決方案來彌補這項漏洞，輔助用戶完成復雜的維修裝配工作，切實提高作業(yè)效率和準確度，切實利用互聯(lián)網技術所提供的便利條件，完善機務維修人員培養(yǎng)模式，提高人員質量。因此，基于虛擬現(xiàn)實技術在國內迅速發(fā)展的現(xiàn)狀和迫切需求，開發(fā)了該款多人協(xié)同航空發(fā)動機維護系統(tǒng)。

基于計算機設備的不斷升級，計算機的計算能力得到顯著加強。隨之而來的是顯卡設備的更新?lián)Q代，以及與之匹配的高效率GPU算法編程，為高性能顯示設備的開發(fā)及使用奠定了深厚基礎。在這些前提下，虛擬現(xiàn)實技術在航空工業(yè)、機械加工制造、營銷、電子競技、人員培訓等方面得到突出的應用。然而，隨著虛擬現(xiàn)實技術的成熟，其深層的市場需求也在慢慢打開。另一方面，互聯(lián)網技術（例如云服務器、5G通信）在近年來飛速發(fā)展，使得實時的多用戶、大流量、高穩(wěn)定性傳輸變得可能。因此，虛擬現(xiàn)實的異地交互式應用也應運而生。項目組關注該應用在航空領域，在維修人員培訓、遠程輔助維修、沉浸式體驗等都有良好體現(xiàn)。協(xié)同的存在，解決跨區(qū)域，遠距離的不利條件，用虛擬世界的技術，解決現(xiàn)實問題，提高作業(yè)人員、教學機構、科研單位的工作效率。

1 ?單機版航空發(fā)動機維護系統(tǒng)開發(fā)

在軟件層上，通過Unity3D以及其他程序開發(fā)平臺，基于3D Max、Solidworks、C4D、UG等諸多CAD計算機輔助設計軟件，利用Visual Studio編輯器，結合Xsens MVN對Unity3D 開發(fā)平臺的兼容性支持，對內置模型實現(xiàn)可交互式邏輯編程，實現(xiàn)多個感官（視覺、聽覺、觸覺）共同感受發(fā)動機拆卸、飛機廠房、基礎維修車間等真實場景。

利用HTC Vive（包含定位基站、定位器、控制手柄、顯示頭盔）以及Xsens全身動作捕捉設備，對于穿戴者的17個關節(jié)上的數據進行收集，集成到Unity3D開發(fā)平臺中。在上述搭建好的軟件程序中，硬件設備將現(xiàn)實中用戶的動作和位置映射到虛擬場景之中，使現(xiàn)實中的用戶與虛擬世界中的場景結合，使操作者以第一人稱視角享受身臨其境的發(fā)動機拆卸體驗，并參與到操作虛擬環(huán)境中的仿真模型中[1]。

以Unity3D為集成開發(fā)平臺為基礎，通過Solidworks、3Dmax、C4D等對于場景中的機械以及人物進行建模，對發(fā)動機維修實習車間、車間教學課堂等真實場景進行高度虛擬化的還原;利用Visual Studio編輯器結合C#語言對內置模型實現(xiàn)可交互式邏輯編程，對于零件間的維修特征、對象行為以及虛擬人行為等交互特征進行參數化描述，實現(xiàn)人機交互功能。在硬件層上，利用全身穿戴設Xsens和HTC Vive對用戶的動作進行慣性捕捉，將捕捉到的運動數據同步到虛擬場景中的人物身上。在虛擬環(huán)境中實時漫游，查看飛機的結構、系統(tǒng)、設備信息及運行原理[2]。

2 ?多人協(xié)同航空發(fā)動機維護系統(tǒng)開發(fā)

2.1 基于Xsens MVN的人物模型同步方案

利用Xsens MVN可在另一臺主機克隆本體的原理。創(chuàng)建局域網，在MVN內將2臺設備的IP地址互通，搭建一條通信網絡。Xsens設備獲得的原始數據被克隆為完全相同的兩份，一份輸入連接Xsens的主設備，另一份通過前面搭建的網絡通路進入另一臺計算機。如此，2臺設備上人物的骨骼信息、肢端位置、轉角信息將被同步。即一個輸入設備同時控制2臺主機的兩個完全相同的程序，結果也是相同的。但是，由于程序物體完全處于被動，并沒有同步的功能，所看同步場景僅是由Xsens模型操作下的結果。若通過手柄或鼠標在任意一方對被動模型進行操作時，被動物體由于缺乏同步指令，無法呈現(xiàn)同步效果。

2.2 基于Photon Cloud的場景內物體同步方案

Photon Cloud是專注于游戲多用戶信息同步的云服務器平臺，其與Unity合作開發(fā)出適配與Unity開發(fā)者的同步平臺。正如許多MOBA游戲所使用的聯(lián)機方式，Photon Unity Networking（PUN）為游戲開發(fā)者提供了可以同步多端數據的云服務器平臺。常見的信息類型有三維坐標、四元素轉角、縮放比例、環(huán)境信息、人物附屬信息、權限信息等。為了區(qū)別于虛擬世界中的人物模型，我們稱除人物以外的模型為被動物體。當在Unity內創(chuàng)建好同步環(huán)境并為需要同步的物體配置好屬性之后，當某一用戶操作被動物體時，其形態(tài)的各種改變會同步到所有場景內的人物[3]。此外，還可根據需要設置不同物體的操作權限。當被動物體的操作權限對所有用戶打開時，被動物體可以由多方共同操作。但是，由于該方案完全基于unity對模型各類信息的修改權限，無法突破Xsens對仿真人物的保護權限，對于不具有的信息修改權限的虛擬人物模型，無法實現(xiàn)動作的同步[4]。

2.3 基于unity的Xsens MVN和PUN的混合同步方案

在工程文件中導入SteamVR、XR、PUN的底層文件。（1）以Unity 3D為平臺，對于多種軟硬件進行集成，實現(xiàn)功能、設備的統(tǒng)一;（2）利用3D Max、Solidworks三維建模軟件構建模型，對于Unity中的人物、廠房、機件以及各種工具進行建模;（3）利用Visual Studio結合C#語言制作功能腳本（場景漫游以及拆卸裝配的功能），進一步實現(xiàn)人機交互功能，還原發(fā)動機拆卸以及再裝配的場景[5];（4）利用Steam VR軟件對于光學動作捕捉設備HTC Vive進行數據處理 并向unity 3D平臺傳遞位置等數據;（5）利用MVN Animate捕捉動作數據，后利用MVN Analyze即刻輸出已驗證的數據，導入到Unity中，顯示出人物的動作以及操作流程;（6）利用PUN的同步功能，將雙方的觸發(fā)效果、空間變化及模型變化同步至雙方虛擬現(xiàn)實設備中;（7）利用局域網，通過局域網將客戶端的動作數據從一端的MVN傳遞到遠程的MVN中，以第三人稱視角同步實時操作，從而實現(xiàn)異地協(xié)同[6]。

3 ?結語

在可視化的沉浸式虛擬環(huán)境中，用戶可以在發(fā)動機廠房以及機坪進行漫游，感受飛機具體構造，同時高度還原復雜的航空發(fā)動機的整體結構以及零部件構成，從視覺、聽覺以及觸覺上讓使用者的操作過程更有沉浸感，脫離單一的教學模式，豐富民航維修教學體系。

以Unity 3D為集成開發(fā)平臺，有機結合3D Max、Visual Studio、Photoshop等軟件，通過設計對象屬性信息、編輯零件間的維修特征、對于對象行為以及虛擬人行為等交互特征進行參數化描述?；贛VN平臺，近端一方將捕捉到的動作數據通過MVN Analyze傳遞到Unity 3D平臺，而遠程的電腦可以通過連接局域網，將客戶端MVN中的數據同步到遠程的電腦中，穿戴者以及教師可在不同的地方卻在同一個虛擬Unity 3D場景中完成對飛機的協(xié)同維修，讓規(guī)范的教學動作多維度地展示在學生面前，實現(xiàn)了教學方式的多樣化，進一步推進實現(xiàn)異地多人協(xié)同。

參考文獻

[1] 張青，鄭巖，郭慶，等.航空發(fā)動機設備拆裝快速裝配仿真研究[J].計算機仿真，2018，35（3）：257-262.

[2] 李榮強，文愛兵，花斌，等.航空裝備虛擬維修訓練仿真模型快速開發(fā)技術[J/OL].系統(tǒng)仿真學報：1-9[2021-04-19].https：//doi.org/10.16182/j.issn1004731x.joss.20-0107.

[3] 柳有權，王愿超，徐琨，等.基于混合現(xiàn)實的遠程協(xié)同式裝配維修引導[J/OL].圖學學報：1-7[2021-04-19].http：//kns.cnki.net/kcms/detail/10.1034.T.20201207.1444.004.html.

[4] wang peng，zhang shusheng，bai xiaoliang， et al.2.5DHANDS： a gesture-based MR remote collaborative platform[J].The International Journal of Advanced Manufacturing Technolo-gy，2019，102（5-8）：1339-1353.

[5] 賀占魁，黃濤.虛擬仿真實驗教學項目建設探索[J].實驗技術與管理，2018，35（2）：108–111，116.

[6] 殷復鵬，鄧曉紅，張雷.基于模塊化的虛擬仿真實驗室建設[J].實驗技術與管理，2020，37（6）：259-262.

①基金項目：2020年中國民航大學大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目校內優(yōu)秀培育項目《異地交互式虛擬維修培 ? ? ? ? ? ? ? ? ? ?訓系統(tǒng)》（項目編號：IEKCAUC2020003）。

作者簡介：向錦鵬（2002—），男，本科在讀，研究方向為飛行器動力工程。