現(xiàn)代戰(zhàn)爭背景下VR頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)的開發(fā)與運用

蔡卜磊，張于凡，楊璐穎，鮑 涵，佘建禎，孔 亮，田 磊，鄧中榮，許浩坤(口頜系統(tǒng)重建與再生全國重點實驗室，國家口腔疾病臨床醫(yī)學(xué)研究中心，陜西省口腔疾病臨床醫(yī)學(xué)研究中心，空軍軍醫(yī)大學(xué)口腔醫(yī)院顱頜面創(chuàng)傷正頜外科，口頜系統(tǒng)重建與再生全國重點實驗室，國家口腔疾病臨床醫(yī)學(xué)研究中心，陜西省口腔疾病臨床醫(yī)學(xué)研究中心，空軍軍醫(yī)大學(xué)口腔醫(yī)學(xué)院顱頜面整形與美容外科，空軍軍醫(yī)大學(xué)研究生院，陜西 西安 700)

頜面部易暴露、難防護。據(jù)統(tǒng)計，頜面部損傷在現(xiàn)代戰(zhàn)爭損傷中的占比高達30%[1-2]，而俄烏戰(zhàn)爭最新報告顯示，頜面部損傷在傷員中的占比已超過34%[3]。由于頜面部血運豐富，傷后極易引發(fā)失血性休克，且作為呼吸道的始端，傷后常導(dǎo)致呼吸道急性梗阻，極大降低了傷員生存概率。因此，頜面部損傷急救技術(shù)是頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)中的重點內(nèi)容。目前，我國戰(zhàn)創(chuàng)傷急救技能的訓(xùn)練大多仍以理論教學(xué)結(jié)合實訓(xùn)為主[4-5]，存在環(huán)境“實戰(zhàn)化氛圍”不濃，傷員“傷情真實性”不夠等問題。并且，受限于基層衛(wèi)勤單位地理位置相對分散，教學(xué)條件及培訓(xùn)水平參差不齊等限制，傳統(tǒng)訓(xùn)練模式已越來越不能滿足當(dāng)代官兵的戰(zhàn)創(chuàng)傷急救技能的訓(xùn)練需求[6]。

虛擬現(xiàn)實(virtual reality，VR)技術(shù)最早源于美國軍方的作戰(zhàn)模擬系統(tǒng)，為一種由計算機技術(shù)輔助生成的高技術(shù)模擬、高度沉浸式VR系統(tǒng)，其通過有機融合高分辨率的立體投影技術(shù)、三維計算機圖形技術(shù)和音響技術(shù)，來制造一個完全沉浸式的逼真的虛擬環(huán)境，使其中的任何物體都可以感受參與者的操作，并給予對應(yīng)的設(shè)置變化。利用VR技術(shù)可建立真實的戰(zhàn)爭場景、武器裝備、火力配置等戰(zhàn)爭效果，設(shè)置不同傷員模型、真實搭建虛擬傷員訓(xùn)練平臺，將學(xué)員帶到“實戰(zhàn)”現(xiàn)場，為使用者創(chuàng)造一種險象環(huán)生、緊張危險、逼近真實的立體戰(zhàn)場環(huán)境，以增強其臨場感受與戰(zhàn)爭壓力感，并通過遠程平臺搭建和線上慕課資源建設(shè)，以及“線上教學(xué)-線下實訓(xùn)-遠程指導(dǎo)”的混合式數(shù)字化教學(xué)的模式，突破空間和場地的限制，有效提高實戰(zhàn)化訓(xùn)練質(zhì)量[7-9]。目前，VR技術(shù)已廣泛運用于手術(shù)培訓(xùn)和臨床教學(xué)等方面，具有傳統(tǒng)教學(xué)系統(tǒng)所不具備的優(yōu)點[10]。借助VR系統(tǒng)開展頜面部損傷急救培訓(xùn)，能夠以較小的代價、較短的時間實施各類型、高頻次、多種方案的演練，快速發(fā)現(xiàn)并解決戰(zhàn)傷急救中可能出現(xiàn)的問題[11]，并且可以根據(jù)不同的作戰(zhàn)任務(wù)，靈活設(shè)置救治場景與救治內(nèi)容，提高救治人員的戰(zhàn)場適應(yīng)能力。

當(dāng)前，戰(zhàn)創(chuàng)傷急救VR教學(xué)系統(tǒng)已成為國外軍事強國的主流訓(xùn)練模式[12]，并建立了完善的模擬訓(xùn)練課程體系[13]?？哲娷娽t(yī)大學(xué)口腔醫(yī)院作為全軍惟一的口腔?？漆t(yī)院，承擔(dān)著幾乎全部的頜面戰(zhàn)創(chuàng)傷救治培訓(xùn)任務(wù)。為優(yōu)化戰(zhàn)創(chuàng)傷急救培訓(xùn)模式，提高培訓(xùn)效率，本研究設(shè)計了一套包括六大訓(xùn)練模塊以及六大教學(xué)管理模塊的VR教學(xué)系統(tǒng)，使受訓(xùn)人員快速掌握頜面戰(zhàn)創(chuàng)傷最基本的戰(zhàn)場急救技術(shù)，從而更高效地完成救治任務(wù)，為戰(zhàn)斗力的整體提升保駕護航。

1 方案設(shè)計

基于頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)的需求分析，本研究設(shè)計了頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)六大訓(xùn)練模塊(圖1)，包括：①口咽管/鼻咽管置入；②環(huán)甲膜穿刺；③頜面部包扎止血；④頭頸損傷傷員轉(zhuǎn)運；⑤氣管切開；⑥頜面戰(zhàn)創(chuàng)傷綜合救治，系統(tǒng)1∶1還原戰(zhàn)場環(huán)境，在虛擬環(huán)境中模擬傷員受傷，并通過動態(tài)交互反饋技術(shù)，學(xué)習(xí)救援設(shè)備使用方法和頜面戰(zhàn)創(chuàng)傷急救的操作流程。

圖1 頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)VR體驗端及教學(xué)管理六大模塊

頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)教學(xué)管理六大模塊，包括：①教學(xué)模塊選擇。采用語音文字和VR標識引導(dǎo)方式，引導(dǎo)學(xué)員進行頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)模塊選擇；②用戶信息管理。管理員可以通過后臺頁面，導(dǎo)入或添加學(xué)員信息、設(shè)置學(xué)員權(quán)限、重置學(xué)員密碼等；③考核記錄。全程記錄學(xué)員實施急救的操作流程，并留檔；④考核管理?？脊僖罁?jù)考核標準進行打分；⑤自動評分及分析。學(xué)員操作完成后，系統(tǒng)根據(jù)所設(shè)定的評分點打分，并最終給出綜合得分；⑥記錄留檔。對所有學(xué)員的成績進行留檔和管理，可完成分數(shù)統(tǒng)計、考情分析、成績打印、記錄導(dǎo)出等操作(可單人或多人導(dǎo)出、以excel格式存儲數(shù)據(jù)文件)。

1.1 系統(tǒng)開發(fā)關(guān)鍵技術(shù)

系統(tǒng)開發(fā)集成平臺采用SOA的設(shè)計理念，使用分布式、多層次和基于消息的低耦合結(jié)構(gòu)，運用Unity3D引擎開發(fā)，結(jié)合VR、圖像處理、分布式存儲等技術(shù)，與頜面戰(zhàn)創(chuàng)傷急救業(yè)務(wù)邏輯相融合，實現(xiàn)頜面戰(zhàn)創(chuàng)傷救治培訓(xùn)教學(xué)。平臺設(shè)計開發(fā)中的關(guān)鍵技術(shù)，介紹如下。

1.1.1 3D虛擬場景的設(shè)計 3D模型的制作利用3D掃描儀器，對國產(chǎn)戰(zhàn)創(chuàng)傷模擬人，單兵急救包、轉(zhuǎn)送擔(dān)架等內(nèi)容進行360°掃描，形成基于實物的數(shù)字模型。六大培訓(xùn)模塊的場景環(huán)境以及急救器械進行高精數(shù)據(jù)采集建模(圖2)。將取得的數(shù)據(jù)通過3D建模工具，以柵格化的數(shù)據(jù)格式進行3D建模，形成3D高度仿真模型。為進一步加強真實性，配合同等坐標的高精度照片作為Shader的texture，生成3D模型，并最終構(gòu)建沉浸式虛擬場景。通過頭戴式VR設(shè)備的沉浸式體驗，讓學(xué)員感受真實戰(zhàn)場環(huán)境下面對傷員進行醫(yī)療救治的緊迫感，在戰(zhàn)爭氛圍中學(xué)習(xí)頜面戰(zhàn)創(chuàng)傷的急救過程，提高學(xué)員對戰(zhàn)爭環(huán)境的適應(yīng)性。

圖2 培訓(xùn)場景環(huán)境、國產(chǎn)戰(zhàn)創(chuàng)傷模擬人以及急救器械的建模

1.1.2 動作及材質(zhì)的加入 針對基礎(chǔ)模型加入細節(jié)、材質(zhì)貼圖等信息，加強真實感和現(xiàn)場感。通過采集救治環(huán)境，戰(zhàn)場環(huán)境、急救器械、傷員傷口組織等數(shù)據(jù)的數(shù)字模型，使用3ds Max及Maya等軟件對所取得的真實數(shù)據(jù)進行仿真(圖3)。關(guān)于工具的使用動畫和傷員的傷情模擬等特殊仿真要求，在Max中設(shè)計仿真場景中的特有物件，并制作模型動畫處理(圖4)，例如剪刀的使用、氣管切開等，真實模擬救治所需的動作內(nèi)容。

圖3 救治環(huán)境的數(shù)字建模及仿真

圖4 傷員的傷情模擬及救治工具使用動畫的模型動畫處理

1.1.3 物理特性模擬和最終渲染 在場景模型和急救工具使用的基礎(chǔ)上，對場景的交互屬性進行設(shè)置，對場景加入網(wǎng)格碰撞體，采用網(wǎng)格資源并基于該網(wǎng)格構(gòu)建其碰撞體。在進行碰撞檢測時，網(wǎng)格碰撞體比使用復(fù)雜網(wǎng)格的基元更準確。標記為“Convex”的網(wǎng)格碰撞體可與其他網(wǎng)格碰撞體發(fā)生碰撞。例如：場景中的掩體，增加了網(wǎng)格碰撞體，這樣人就不能直接穿過掩體，必須繞行才可以通過。調(diào)整lighting及shading，以帶細節(jié)法線方式、高分辨率逐像素?zé)艄夥绞綄鼍斑M行prelighting照明，調(diào)整LOD以提高渲染效率將光線跟蹤和陰影映射相結(jié)合來產(chǎn)生深度圖像；利用物理規(guī)律來創(chuàng)建表面紋理；以及使用碰撞檢測來創(chuàng)建戰(zhàn)場場景動畫。無論使用哪種方法，物理特性模擬都有助于創(chuàng)造逼真的場景效果。要想生成真實的光線跟蹤圖像，首先需要一種方法來創(chuàng)建表面紋理。然后，使用光線跟蹤技術(shù)來捕捉光線的運動，并在物體表面上創(chuàng)建真實的紋理，以進行物理特性模擬(圖5)。

圖5 器械及人物的物理特性模擬

1.2 開發(fā)引擎與接口設(shè)計

頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)是針對軍隊?wèi)?zhàn)士學(xué)員、衛(wèi)生員及衛(wèi)生兵等目標人群進行研發(fā)的一套培訓(xùn)系統(tǒng)。由于系統(tǒng)場景環(huán)境復(fù)雜，使用人群的習(xí)慣不同，因此開發(fā)引擎的選用需考慮到各種因素的存在。本系統(tǒng)使用Unity引擎內(nèi)置C#語言腳本，對硬件API接口部分重新定義，使多個硬件設(shè)備在同一Unity場景中使用時達到同步，以符合VR虛擬訓(xùn)練的要求，使操作者在Unity引擎中實現(xiàn)實時互動。本系統(tǒng)基于Unity引擎軟件開發(fā)了引擎契合光線追蹤技術(shù)，對虛擬場景中的光線變化有很好的適配，貼近真實世界的保真度，更符合本系統(tǒng)嚴肅主題所需要的渲染風(fēng)格(圖6)。

圖6 引擎契合光線追蹤技術(shù)

1.3 多人交互協(xié)同操作

創(chuàng)傷醫(yī)療的救治常需多名人員參與并配合。頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)通過數(shù)據(jù)傳輸、內(nèi)容分發(fā)、動作捕捉、虛擬圖像和語音交互等技術(shù)，讓參與學(xué)員在同一場景下，從各自的視角相互協(xié)作，共同完成傷員救治。每個學(xué)員都可以看到實時同步的虛擬形象，并無障礙地進行實時語言交流和操作協(xié)同，從而實現(xiàn)同一場景內(nèi)多個參訓(xùn)學(xué)員之間的互動、真實人物與虛擬物體的互動、真實人物借助虛擬物體進行關(guān)聯(lián)互動(圖7)。

圖7 同一場景內(nèi)多個學(xué)員之間的互動以及學(xué)員與虛擬物體的互動

1.4 VR系統(tǒng)后臺數(shù)據(jù)庫建立

頜面戰(zhàn)創(chuàng)傷急救培訓(xùn)系統(tǒng)后臺數(shù)據(jù)庫建立內(nèi)容包括用戶信息、虛擬場景信息、物體信息、交互行為信息等。用戶信息包括用戶的登錄、身份的識別，以及學(xué)員的詳細情況，并對個人的實訓(xùn)成績進行存儲；虛擬場景信息，訓(xùn)練模塊場景信息包括：①口咽管/鼻咽管置入；②環(huán)甲膜穿刺；③頜面部包扎止血；④頭頸損傷傷員轉(zhuǎn)運；⑤氣管切開；⑥頜面戰(zhàn)創(chuàng)傷綜合救治各個場景信息的標準流程信息。

物體信息：使用的工具，每個工具都有自身的屬性信息，通過在不同場景的使用，顯示出不同的信息；交互行為信息：對于不同的虛擬訓(xùn)練場景，有著不同的交互行為信息，例如，抓起、觸碰、按壓等等。根據(jù)數(shù)據(jù)類型，設(shè)計相應(yīng)的表結(jié)構(gòu)，確定字段和關(guān)系。創(chuàng)建數(shù)據(jù)表并定義數(shù)據(jù)類型：按照設(shè)計好的表結(jié)構(gòu)在數(shù)據(jù)庫中創(chuàng)建對應(yīng)的數(shù)據(jù)表，并設(shè)置每個字段的數(shù)據(jù)類型。對VR系統(tǒng)進行測試，并對性能進行優(yōu)化，以確保系統(tǒng)運行穩(wěn)定快速。

1.5 考核標準數(shù)據(jù)庫和數(shù)據(jù)平臺建立

建立基本的裝備使用數(shù)據(jù)，以及通過3ds Max配合手工建模方式將真實裝備3D模型導(dǎo)入到系統(tǒng)中，由后臺控制其基本屬性，由3D模型構(gòu)成VR中的視覺部分。數(shù)據(jù)平臺包括后臺架構(gòu)、服務(wù)器及客戶端，以區(qū)分教師端和學(xué)員端。由教師在其專用端通過選擇場景、任務(wù)和特定條件等，生成考核任務(wù)，由學(xué)員在VR端進行訓(xùn)練，教師進行考核結(jié)果評判打分，最終由系統(tǒng)生成考核報告(圖8)。

A：教學(xué)模塊選擇；B：用戶信息管理；C：考核記錄；D：考核管理；E：自動評分及分析；F：記錄留檔。圖8 教學(xué)管理六大模塊

2 系統(tǒng)實現(xiàn)與建設(shè)效能

系統(tǒng)主要以頜面戰(zhàn)創(chuàng)傷救治為主，主要包括“口咽管/鼻咽管置入”“環(huán)甲膜穿刺”“頜面部包扎止血”“頭頸損傷傷員轉(zhuǎn)運”“氣管切開”以及“頜面戰(zhàn)創(chuàng)傷綜合救治”六大訓(xùn)練模塊場景的模擬演練。系統(tǒng)利用3D建模軟件和虛擬仿真技術(shù)，真實模擬戰(zhàn)場，用戶通過菜單欄選擇相應(yīng)的板塊進行階段式學(xué)習(xí)。用戶以第一人稱在模擬的戰(zhàn)場進行傷員救治。救治過程中操作者以第一人稱視角進行傷員傷勢檢查、緊急處理、傷情記錄等操作及答題考核(圖9)。

A：口咽管/鼻咽管置入；B：環(huán)甲膜穿刺；C：頜面部包扎止血；D：頭頸損傷傷員轉(zhuǎn)運；E：氣管切開；F：頜面戰(zhàn)創(chuàng)傷綜合救治。圖9 戰(zhàn)創(chuàng)傷VR教學(xué)系統(tǒng)六大訓(xùn)練模塊

3 討論

近期，俄烏戰(zhàn)爭引發(fā)全球關(guān)注。戰(zhàn)爭導(dǎo)致大量嚴重戰(zhàn)創(chuàng)傷患者的出現(xiàn)，極大考驗了軍隊的衛(wèi)勤保障體系。在被送到后方醫(yī)院的患者中，包含大量復(fù)雜及嚴重的戰(zhàn)創(chuàng)傷患者，傷情非常復(fù)雜，給救治帶來極大挑戰(zhàn)。其中，由于作戰(zhàn)人員穿戴頭盔和防彈衣，傷部主要以頜面部和四肢傷為主，在致傷原因中，爆震傷、燒傷占有較大比例。由于兩軍均缺乏口腔頜面外科的?？漆t(yī)生，頜面部傷員無法得到有效救治，導(dǎo)致大量傷員死于呼吸道梗阻、出血、感染等傷后并發(fā)癥[3，14]。俄烏戰(zhàn)爭最新衛(wèi)勤報告提示我們，有針對性地建設(shè)高效的新型教學(xué)培訓(xùn)體系，加強頜面戰(zhàn)創(chuàng)傷的?？漆t(yī)生培養(yǎng)，做好戰(zhàn)時衛(wèi)勤保障的人才和技術(shù)儲備，是目前亟待解決的關(guān)鍵問題之一。

VR是利用電腦模擬產(chǎn)生一個3D空間的虛擬世界，提供使用者關(guān)于視覺、聽覺、觸覺等感官的模擬，讓使用者如同身臨其境一般，可以及時、沒有限制地觀察乃至控制3D空間內(nèi)的事物。在科技進步和國家軍事需求的推動下，VR技術(shù)在軍事領(lǐng)域的應(yīng)用越來越廣泛，例如利用VR技術(shù)模擬飛行演練、艦艇航行等[15]。將虛擬仿真教學(xué)和仿真實訓(xùn)運用于頜面戰(zhàn)創(chuàng)傷救治的培訓(xùn)中，可為學(xué)員提供一個更加真實的戰(zhàn)場救治環(huán)境[16]，激發(fā)學(xué)員學(xué)習(xí)興趣和積極性，幫助其快速掌握戰(zhàn)場環(huán)境下的救治技能?，F(xiàn)階段，VR技術(shù)在頜面戰(zhàn)創(chuàng)傷訓(xùn)練中體現(xiàn)出諸多優(yōu)點，如模擬真實環(huán)境，提高學(xué)員的戰(zhàn)場抗壓能力[17]；減少操作事故的發(fā)生；提高訓(xùn)練效果，使學(xué)員更好地理解和掌握戰(zhàn)傷的特點[18]。但也同樣存在一些問題，例如軟件開發(fā)成本較高，VR訓(xùn)練的遠程考核需要較高的帶寬和流量支持，需要大量的數(shù)據(jù)和反饋優(yōu)化訓(xùn)練效果[19]。

本系統(tǒng)立足戰(zhàn)創(chuàng)傷教學(xué)的實際需求，對戰(zhàn)場救治中的場景、任務(wù)和器械都已完成建模，為后續(xù)更多場景和培訓(xùn)項目的開發(fā)打下良好基礎(chǔ)。且本系統(tǒng)研發(fā)的綜合訓(xùn)練平臺，利用多種信息技術(shù)和VR技術(shù)，實現(xiàn)了教學(xué)、科研、訓(xùn)練一體化，一旦推廣，可快速收集大量操作數(shù)據(jù)，以進一步優(yōu)化該培訓(xùn)系統(tǒng)，并在實戰(zhàn)訓(xùn)練中驗證VR技術(shù)在頜面戰(zhàn)創(chuàng)傷救治培訓(xùn)中的可行性和效果。

4 結(jié)束語

VR技術(shù)在醫(yī)學(xué)教育中處于高度發(fā)展階段，實踐證明其在教學(xué)應(yīng)用中的潛力和價值。課題組完成的創(chuàng)傷救治虛擬訓(xùn)練系統(tǒng)是針對軍醫(yī)學(xué)員及擬擔(dān)任戰(zhàn)術(shù)后方救治任務(wù)的一線軍醫(yī)、衛(wèi)生員、衛(wèi)生兵等目標人群，通過VR教學(xué)系統(tǒng)的使用，使目標人群掌握最基本的緊急救治技術(shù)，熟悉模擬戰(zhàn)爭形勢下對傷員的救治流程以及對傷情的準確判斷，幫助學(xué)員更好地掌握戰(zhàn)場急救知識和技能，為提高部隊保障能力做出貢獻。