虛擬醫(yī)學(xué)手術(shù)室三維場(chǎng)景構(gòu)建與交互設(shè)計(jì)＊

杜麗媛，張 琦

（廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣東 廣州 510006）

虛擬醫(yī)學(xué)手術(shù)室三維場(chǎng)景構(gòu)建與交互設(shè)計(jì)＊

杜麗媛，張 琦

（廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣東 廣州 510006）

通過(guò)Maya與ZBrush相結(jié)合的方式構(gòu)建了一間三維虛擬醫(yī)學(xué)手術(shù)室，包括常用醫(yī)學(xué)儀器與器械、人體、器官、肌肉、組織等三維模型，并為模型完成了UV貼圖等工作，最后導(dǎo)入U(xiǎn)ntiy3D中實(shí)現(xiàn)手術(shù)室漫游交互功能。打破了空間與資源的限制，使學(xué)習(xí)者可以在虛擬的手術(shù)室內(nèi)自由游走及操作儀器，是開(kāi)發(fā)虛擬手術(shù)訓(xùn)練系統(tǒng)的一次基礎(chǔ)嘗試。

漫游交互；Maya；虛擬醫(yī)學(xué)手術(shù)室；Unity3D

虛擬現(xiàn)實(shí)技術(shù)是利用計(jì)算機(jī)生成逼真的三維虛擬環(huán)境，并通過(guò)傳感設(shè)備與之交互的技術(shù)，特別是醫(yī)學(xué)虛擬仿真系統(tǒng)，可以對(duì)仿真人體器官、實(shí)驗(yàn)動(dòng)物或標(biāo)本進(jìn)行模擬操作，使用戶獲得身臨其境的學(xué)習(xí)體驗(yàn)，具有多感知性、沉浸感、交互性和構(gòu)想性等特點(diǎn)，特別是對(duì)醫(yī)學(xué)實(shí)驗(yàn)教學(xué)方面產(chǎn)生了很大影響。目前，虛擬實(shí)驗(yàn)室主要包括虛擬解剖系統(tǒng)、虛擬診斷學(xué)、虛擬切片系統(tǒng)、虛擬胚胎學(xué)教學(xué)與虛擬手術(shù)教學(xué)系統(tǒng)等，它具有明顯的低成本、高效率、功能全等優(yōu)點(diǎn)，足以彌補(bǔ)真實(shí)實(shí)驗(yàn)室的不足，因而廣受高校和研究機(jī)構(gòu)推崇[1]。本文主要圍繞虛擬手術(shù)教學(xué)系統(tǒng)中虛擬醫(yī)學(xué)手術(shù)室這一部分進(jìn)行重點(diǎn)研究與實(shí)現(xiàn)。

1 相關(guān)技術(shù)

1.1 Maya與ZBrush

目前，三維建模類型的軟件有很多，例如Maya、3DsMax、Blender等，每個(gè)軟件都各具優(yōu)勢(shì)與特色，而Maya是其中包含功能最為強(qiáng)大的一個(gè)，也是市場(chǎng)上主流使用的軟件。在文獻(xiàn)[2]中，對(duì)比了3DsMax與Maya 2種軟件，得出Maya更為適合構(gòu)建醫(yī)學(xué)虛擬模型，并開(kāi)發(fā)了人體肌系統(tǒng)模型，但肌肉細(xì)節(jié)效果并不明顯。本文為了構(gòu)建更高級(jí)別且更加逼真的三維模型，將Maya與ZBrush相結(jié)合，由ZBrush軟件負(fù)責(zé)雕刻出模型的細(xì)節(jié)，降低Maya加載復(fù)雜模型的內(nèi)存消耗，同時(shí)提升視覺(jué)效果。

1.2 Unity3D

Unity3D是一款專業(yè)的3D游戲引擎，具備跨平臺(tái)發(fā)布、高性價(jià)比、畫面渲染效果真實(shí)等特點(diǎn)，特別是Unity3D屬于輕量級(jí)的開(kāi)發(fā)引擎，在開(kāi)發(fā)虛擬現(xiàn)實(shí)方面易于操作，且開(kāi)發(fā)成本低，適合開(kāi)發(fā)虛擬現(xiàn)實(shí)教育類的產(chǎn)品[3]。

2 構(gòu)建三維模型

在創(chuàng)建三維模型時(shí)，實(shí)際上是將二維平面圖轉(zhuǎn)為三維模型的一個(gè)過(guò)程。在收集了大量參考圖的基礎(chǔ)上開(kāi)始建模工作，這里將全部模型分為2大類：①手術(shù)室場(chǎng)景中的相關(guān)儀器。由于現(xiàn)實(shí)中的手術(shù)室器械繁多，因此本項(xiàng)目以基本外科手術(shù)器械為基礎(chǔ)，主要包括手術(shù)刀、手術(shù)剪、止血鉗、敷料鑷等，以及常用手術(shù)大型設(shè)備模型，包括手術(shù)臺(tái)、無(wú)影燈、麻醉機(jī)、呼吸機(jī)、心電圖機(jī)、多參數(shù)監(jiān)護(hù)儀、超聲多普勒、B超機(jī)、手術(shù)器械車等。②真實(shí)人體結(jié)構(gòu)的展示，包括各大器官模型，比如心臟、肺、胃、肝、膽、胰、脾、腎臟、小腸、大腸，人體肌肉模型，比如胸大肌、上腹肌、三角肌、肱二頭肌、三頭肌等，以及人體骨架模型。

2.1 建模關(guān)鍵技術(shù)

以制作普通三維動(dòng)畫來(lái)說(shuō)，一般建模的基本要求是按照實(shí)物比例1∶1大小，形態(tài)細(xì)節(jié)準(zhǔn)確。此外，還應(yīng)盡可能以最低的面數(shù)達(dá)到高精度的視覺(jué)效果。由于本項(xiàng)目需要后期導(dǎo)入U(xiǎn)ntiy3D中，而Unity3D不具備自動(dòng)平滑效果，因此對(duì)于低精度模型的顯示會(huì)很生硬，嚴(yán)重影響視覺(jué)效果。所以要求在Maya中創(chuàng)建的模型都是中高精度的。

2.1.1 布線原則

簡(jiǎn)單來(lái)說(shuō)，建模的布線原則為盡可能地均勻，盡量以四邊面為主，一定不能出現(xiàn)多于四邊面的面。具體到本項(xiàng)目，還要求對(duì)第一大類的模型進(jìn)行倒角，以緩解硬邊的視覺(jué)效果。圖1～圖6為部分醫(yī)療器械的模型截圖。

2.1.2 高精度人模

這里采用Maya與ZBrush相結(jié)合的方式來(lái)創(chuàng)建高精度人體模型。首先在Maya里制作低模，然后將其導(dǎo)入ZBrush中進(jìn)行細(xì)節(jié)雕刻，完成后導(dǎo)出法線貼圖、置換貼圖、漫射貼圖等，最后將這些貼圖導(dǎo)回到Maya中，給低模賦予材質(zhì)貼圖，從而達(dá)到低模有高模的視覺(jué)效果，并且節(jié)省了計(jì)算機(jī)的內(nèi)存消耗。圖7～圖9為部分雕刻的器官高模。

圖1 無(wú)影燈

圖2 手術(shù)臺(tái)

圖3 B超機(jī)

圖4 麻醉機(jī)

圖5 呼吸機(jī)

圖6 超聲多普勒診斷系統(tǒng)

圖7 肩胛骨

圖8 頭骨

圖9 腹肌

2.2 UV與貼圖

本項(xiàng)目不需要使用Maya內(nèi)置渲染器進(jìn)行渲染，因此只需要進(jìn)行劃分UV與繪制顏色貼圖即可。模型UV要盡可能平整，不要太離散。如圖10為人體UV，圖11和12分別為人體肌肉和骨架的貼圖效果，圖13為人體內(nèi)部器官。

3 交互功能的實(shí)現(xiàn)

3.1 漫游交互的實(shí)現(xiàn)

當(dāng)建模工作結(jié)束后，刪除模型歷史，為模型各部分進(jìn)行命名與打組，整合完畢后才將文件導(dǎo)出FBX格式，這是Unity3D可以識(shí)別的格式。在Unity3D中，依次加載手術(shù)室場(chǎng)景模型、醫(yī)療設(shè)備與儀器模型及人體模型等，按照先前設(shè)計(jì)的擺放位置，將模型定好位。通過(guò)調(diào)用Unity3D中的內(nèi)置函數(shù)，實(shí)現(xiàn)通過(guò)鼠標(biāo)控制視角來(lái)進(jìn)行全方位游走。圖14為手術(shù)室內(nèi)的一角。

圖10人體UV

圖11 肌肉

圖12 骨架貼圖效果

圖13 內(nèi)部器官貼圖效果

圖14 手術(shù)室內(nèi)一角

3.2 交互展示功能

當(dāng)用戶在手術(shù)室里漫游時(shí)，每當(dāng)觸碰到物體，在右下角會(huì)顯示當(dāng)前物體的名稱。特別是實(shí)現(xiàn)了人體各部分器官的懸浮獨(dú)立顯示功能，用戶點(diǎn)擊某一個(gè)器官，該器官則自動(dòng)上升，通過(guò)對(duì)話框確定用戶的下一步操作，如果需要單獨(dú)展示，則室內(nèi)其他模型被鎖定，用戶可以360°隨意旋轉(zhuǎn)來(lái)觀察該器官，如圖15所示。此外，便于日后繼續(xù)開(kāi)發(fā)虛擬手術(shù)訓(xùn)練系統(tǒng)，目前還完成了若干手術(shù)刀、手術(shù)剪、止血鉗等模型，用戶可以點(diǎn)擊拾取它們，如圖16所示。

圖15 器官懸浮展示

圖16 手術(shù)刀及手術(shù)剪展示

4 結(jié)束語(yǔ)

本文完成了一個(gè)小型虛擬三維手術(shù)室場(chǎng)景的構(gòu)建及漫游交互功能，其中包括三維建模、貼圖，以及代碼實(shí)現(xiàn)等工作。對(duì)于開(kāi)發(fā)虛擬仿真的醫(yī)學(xué)類實(shí)驗(yàn)系統(tǒng)，利用Maya與Unity3D結(jié)合進(jìn)行開(kāi)發(fā)是個(gè)不錯(cuò)的途徑，未來(lái)也會(huì)越來(lái)越受歡迎。鑒于真實(shí)手術(shù)中情況復(fù)雜，如何在虛擬仿真系統(tǒng)中逼真地呈現(xiàn)出來(lái)，使用戶交互體驗(yàn)更加真實(shí)，則有待進(jìn)一步研究嘗試。

［1］石新麗，唐飛羽，孫夢(mèng)雯，等.虛擬實(shí)驗(yàn)室在醫(yī)學(xué)實(shí)驗(yàn)教學(xué)中的應(yīng)用研究［J］.實(shí)驗(yàn)技術(shù)與管理，2014，213（6）：114-116.

［2］劉文苗，楊雪，王麗，等.基于Maya技術(shù)的醫(yī)學(xué)虛擬實(shí)驗(yàn)?zāi)Ｐ蜆?gòu)建［J］.實(shí)驗(yàn)技術(shù)與管理，2011，28（4）：76-79.

［3］汪騰浪，田元.基于Unity3D的教育產(chǎn)品開(kāi)發(fā)研究［J］.軟件導(dǎo)刊·教育技術(shù)，2017，16（5）：83-85.

TP317；G642.4

A

10.15913/j.cnki.kjycx.2018.01.121

2095－6835（2018）01－0121－03

廣東省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目（項(xiàng)目編號(hào)：201610573042）

杜麗媛（1994—），女，廣東人，本科生，專業(yè)方向?yàn)閿?shù)字媒體技術(shù)，曾獲得2015年中國(guó)大學(xué)生動(dòng)漫游戲創(chuàng)意設(shè)計(jì)大賽三等獎(jiǎng)。

〔編輯：劉曉芳〕