支持力反饋的肝臟手術(shù)虛擬仿真及研究

范林龍，周新華，李 毅*

(1.溫州大學(xué) 計(jì)算機(jī)與人工智能學(xué)院，浙江 溫州 325035；2.寧波市醫(yī)療中心李惠利東部醫(yī)院，浙江 寧波 315000)

0 引 言

虛擬現(xiàn)實(shí)(Virtual Reality)利用計(jì)算機(jī)圖形學(xué)技術(shù)使用戶能夠真實(shí)地沉浸于虛擬構(gòu)造的三維場(chǎng)景中，通過引入多模態(tài)感知，用戶可以在視覺、聽覺、觸覺、嗅覺等虛擬仿真技術(shù)所構(gòu)造的業(yè)務(wù)場(chǎng)景中進(jìn)行漫游，成為仿真交互的計(jì)算機(jī)前沿科技。結(jié)合如HTC Vive、Microsoft Hololens等頭盔式顯示設(shè)備(Helmet Device)，用戶能夠輕便地置身于虛擬場(chǎng)景，實(shí)現(xiàn)與虛擬場(chǎng)景物體的動(dòng)態(tài)交互，感受虛擬世界所帶來的知識(shí)學(xué)習(xí)與視覺震撼。虛擬現(xiàn)實(shí)技術(shù)能夠有效地應(yīng)用于醫(yī)學(xué)仿真、教育培訓(xùn)、影音娛樂、軍事模擬等多個(gè)領(lǐng)域，為人類的生產(chǎn)生活提供智能化數(shù)字交互的便利，受到了研究人員的廣泛關(guān)注。特別是在醫(yī)療培訓(xùn)仿真領(lǐng)域，引入虛擬現(xiàn)實(shí)技術(shù)能夠有效提高實(shí)習(xí)醫(yī)生的臨床的理論知識(shí)學(xué)習(xí)與臨床模擬手術(shù)的業(yè)務(wù)操作技能，避免了真實(shí)手術(shù)場(chǎng)景中技能不熟練所導(dǎo)致的醫(yī)療風(fēng)險(xiǎn)，縮短了培訓(xùn)周期，感受虛擬手術(shù)仿真所帶來的可試錯(cuò)的優(yōu)勢(shì)。

1 相關(guān)工作

虛擬現(xiàn)實(shí)技術(shù)需要設(shè)計(jì)并重建逼近真實(shí)環(huán)境的應(yīng)用場(chǎng)景，在實(shí)際的虛擬仿真應(yīng)用中需要借助外部顯示設(shè)備來進(jìn)行高沉浸感的漫游體驗(yàn)。此外，由于硬件設(shè)備的視覺呈現(xiàn)處理效率與交互設(shè)備的制約，也直接關(guān)系到虛擬漫游的體驗(yàn)與實(shí)時(shí)交互的正確率與刷新率。如何快速有效地構(gòu)建三維空間漫游場(chǎng)景與模型的真實(shí)構(gòu)建、并克服空間場(chǎng)景模型的自然交互所獲取的感官體驗(yàn)成為研究人員對(duì)虛擬現(xiàn)實(shí)技術(shù)關(guān)注的熱點(diǎn)。為此，國內(nèi)外相關(guān)學(xué)者對(duì)以上問題進(jìn)行了深入的研究。由于虛擬現(xiàn)實(shí)應(yīng)用場(chǎng)景非常廣泛，此處僅對(duì)醫(yī)學(xué)領(lǐng)域的仿真進(jìn)行闡述。在醫(yī)學(xué)場(chǎng)景模型構(gòu)建領(lǐng)域，為了使手術(shù)模型能夠真實(shí)地反映實(shí)際應(yīng)用場(chǎng)景，研究人員早在二十世紀(jì)八十年代便提出了基于醫(yī)學(xué)CT影像的三維重建方法。為了提高CT影像的三維重建效率，借助GPU并行計(jì)算的加速手段取得了良好的效果。一些研究人員也通過使用當(dāng)今熱門的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行CT影像的多分辨率特征提取，保留了更多的病理元素及病灶細(xì)節(jié)。文獻(xiàn)[4]提出了一種基于局部線性變換的三維重建方法，能夠?qū)射線成像所得的光學(xué)影像分割成多個(gè)能量區(qū)塊，并在空間中對(duì)恒定的先驗(yàn)知識(shí)區(qū)塊進(jìn)行組合，其保留了大量的特征細(xì)節(jié)。在虛擬現(xiàn)實(shí)交互仿真領(lǐng)域，力反饋交互能夠?yàn)槁误w驗(yàn)者帶來真實(shí)的觸覺反饋，因此廣泛應(yīng)用于醫(yī)學(xué)虛擬仿真領(lǐng)域，如基于滲透深度計(jì)算的牙齒手術(shù)力觸覺仿真、柔性血管接入的手術(shù)仿真、多通道協(xié)同的觸覺交互手術(shù)仿真、觸覺交互系統(tǒng)中的模型切割仿真與支持力反饋的沉浸式環(huán)境學(xué)習(xí)評(píng)價(jià)等技術(shù)的發(fā)展對(duì)于深度沉浸的手術(shù)仿真提供了大量的技術(shù)實(shí)現(xiàn)手段。目前針對(duì)圖像的三維重建研究也逐漸趨向于采用機(jī)器學(xué)習(xí)提取圖像特征從而對(duì)圖像序列進(jìn)行特征匹配的重建方法?；诹Ψ答伒氖中g(shù)仿真系統(tǒng)及技術(shù)的研究成為廣大科研工作者所關(guān)注的領(lǐng)域。

以上基于醫(yī)學(xué)模型三維重建及觸覺交互仿真技術(shù)的提出，為構(gòu)建虛擬現(xiàn)實(shí)場(chǎng)景的手術(shù)交互提供了理論基礎(chǔ)。為此，圍繞頭盔式虛擬手術(shù)漫游的應(yīng)用場(chǎng)景，該文提出了一種基于力反饋的肝臟虛擬手術(shù)仿真系統(tǒng)，通過肝臟醫(yī)學(xué)CT影像的三維重建獲取人體肝臟模型，并引入頭盔式虛擬漫游設(shè)備，構(gòu)建了人體肝臟手術(shù)的虛擬仿真應(yīng)用實(shí)現(xiàn)，為醫(yī)學(xué)手術(shù)培訓(xùn)仿真提供了一種有效的應(yīng)用場(chǎng)景解決方案。

2 支持力反饋的肝臟虛擬手術(shù)仿真構(gòu)建

2.1 主要實(shí)現(xiàn)流程

該文設(shè)計(jì)的支持力反饋的肝臟虛擬手術(shù)仿真實(shí)現(xiàn)流程主要包括CT影像的肝臟三維重建、空間場(chǎng)景構(gòu)建、實(shí)時(shí)動(dòng)態(tài)交互設(shè)計(jì)、反饋力的手術(shù)操作仿真。虛擬仿真環(huán)境搭建完成后，用戶能夠通過頭盔式顯示設(shè)備HTC Vive Pro及其所配備力反饋手柄在虛擬手術(shù)場(chǎng)景中進(jìn)行肝臟手術(shù)切割的沉浸式知識(shí)學(xué)習(xí)及實(shí)際操作訓(xùn)練，其總體框架如圖1所示。

圖1 總體框架流程

具體流程如下：

肝臟模型重建：為了增強(qiáng)虛擬手術(shù)的高度沉浸感，利用肝臟器官的CT影像進(jìn)行手術(shù)模型的最大密度投影(MIP)三維重建，結(jié)合CT斷層掃描的二維圖像的預(yù)處理與特征匹配，獲取VR場(chǎng)景所支持的肝臟三維模型文件格式。

空間場(chǎng)景構(gòu)建：構(gòu)建頭盔式VR場(chǎng)景漫游的真實(shí)手術(shù)場(chǎng)景，包括場(chǎng)景環(huán)境、模型構(gòu)建、紋理貼圖等，靈活的可擴(kuò)展性為后續(xù)仿真交互提供便利。對(duì)于待展示的空間模型進(jìn)行建模，可以通過使用Unity 3D內(nèi)嵌幾何模型工具進(jìn)行簡(jiǎn)單模型的生成，或者利用3D MAX、MAYA、BLENDER等第三方建模工具進(jìn)行模型創(chuàng)建。

手術(shù)動(dòng)態(tài)交互設(shè)計(jì)：主要是設(shè)計(jì)不同手術(shù)器具的交互方式及碰撞響應(yīng)結(jié)果、手術(shù)操作過程、信息提示等，方便用戶通過VR頭盔設(shè)備進(jìn)行手術(shù)仿真操作。

支持力反饋的手術(shù)仿真：基于支持力反饋的手柄震動(dòng)響應(yīng)，針對(duì)手術(shù)過程中不同器官的虛擬剛度設(shè)計(jì)不同的震動(dòng)頻率，以達(dá)到觸覺交互的目的。

最后，通過Unity 3D及Steam VR所對(duì)應(yīng)設(shè)備的空間位置設(shè)定，打包生成所對(duì)應(yīng)VR頭盔設(shè)備可運(yùn)行的應(yīng)用程序，實(shí)現(xiàn)支持力反饋的虛擬手術(shù)仿真系統(tǒng)。

2.2 肝臟CT影像三維重建

電子計(jì)算機(jī)斷層掃描(Computed Tomography，CT)是一種利用精確準(zhǔn)直的X線束、γ射線、超聲波等，通過高靈敏度探測(cè)器圍繞人體某一器官所在外部表面進(jìn)行斷面掃描的技術(shù)，具有掃描速度塊、圖像清晰等特點(diǎn)。醫(yī)生通過利用CT影像能夠準(zhǔn)確地檢查有關(guān)病灶特征，根據(jù)人體組織器官和病變部位的圖像，為疾病的診斷提供依據(jù)。CT影像本質(zhì)是一種平面結(jié)構(gòu)，它通過每間隔1～2厘米，對(duì)器官部位進(jìn)行每一個(gè)斷面掃描，而CT的三維重建是在掃描斷面的基礎(chǔ)上進(jìn)行圖像處理，獲得器官準(zhǔn)確的三維模型的過程。通常，CT影像三維重建會(huì)根據(jù)掃描層圖像的二維數(shù)據(jù)序列進(jìn)行預(yù)處理，包括圖像的濾波、增強(qiáng)、復(fù)原、插值等方法，接下來對(duì)于關(guān)鍵特征區(qū)域進(jìn)行分割，從而確保所要重建器官與其他不相關(guān)組織器官的完全分離。然后對(duì)所分割區(qū)域進(jìn)行特征點(diǎn)匹配的可視化映射操作；最后通過三維模型的三角網(wǎng)格化處理機(jī)型面繪制和體繪制得到重建的器官三維模型，具體流程如圖2所示。

圖2 CT三維重建算法流程

為了滿足學(xué)習(xí)者能夠體驗(yàn)真實(shí)手術(shù)沉浸感的要求，需要利用實(shí)際病例的CT三維重建肝臟模型進(jìn)行仿真交互，臨床病例CT影像的肝臟病灶模型三維重建結(jié)果如圖3所示。

圖3 臨床肝臟病灶模型三維重建結(jié)果

2.3 空間場(chǎng)景構(gòu)建與交互設(shè)計(jì)

構(gòu)建頭盔式VR場(chǎng)景漫游的真實(shí)手術(shù)場(chǎng)景，為了盡量避免由于VR頭盔顯示設(shè)備長(zhǎng)時(shí)間佩戴給用戶帶來的眩暈感，交互空間場(chǎng)景的設(shè)計(jì)采用定點(diǎn)漫游方式，用戶可以通過定點(diǎn)跳躍的方式進(jìn)行交互場(chǎng)景的選擇，包括三個(gè)場(chǎng)景：肝臟臨床病例選擇與信息查看、肝臟各組成部分的知識(shí)學(xué)習(xí)、實(shí)時(shí)動(dòng)態(tài)交互的手術(shù)操作。場(chǎng)景漫游設(shè)計(jì)采用視角小于270度的平面環(huán)繞及垂直視角小于180度的視野區(qū)域，此設(shè)計(jì)使用戶注意力集中于手術(shù)交互操作中，避免視角的大范圍變化所導(dǎo)致眩暈等癥狀的產(chǎn)生，適宜長(zhǎng)時(shí)間佩戴頭盔進(jìn)行手術(shù)仿真操作。場(chǎng)景設(shè)計(jì)可采用第三方三維軟件進(jìn)行建模及貼圖設(shè)計(jì)，如Blender、3D Max、Maya等。本實(shí)驗(yàn)場(chǎng)景采用Unity 3D構(gòu)建，因此，場(chǎng)景模型及空間元素的增加也能夠?yàn)楹罄m(xù)迭代設(shè)計(jì)提供靈活的可擴(kuò)展性。

設(shè)計(jì)不同手術(shù)器具的交互方式及碰撞響應(yīng)結(jié)果，針對(duì)不同的業(yè)務(wù)流程，選擇不同虛擬手術(shù)設(shè)備的響應(yīng)方式與碰撞響應(yīng)結(jié)果。此過程中，系統(tǒng)設(shè)計(jì)初學(xué)者模式與專家模式，其中初學(xué)者模式具有空間文字信息提示，便于用戶學(xué)習(xí)并熟練掌握手術(shù)的操作。具體手術(shù)場(chǎng)景操作構(gòu)建如圖4所示。

圖4 構(gòu)建的手術(shù)場(chǎng)景與手術(shù)交互信息提示

2.4 反饋力觸覺交互

對(duì)于復(fù)雜場(chǎng)景下虛擬交互模型的觸覺反饋系統(tǒng)，還存在諸多的技術(shù)難點(diǎn)和挑戰(zhàn)。首先，需要高效的碰撞檢測(cè)技術(shù)來滿足虛擬交互的實(shí)時(shí)性要求。高復(fù)雜度不規(guī)則幾何模型間的碰撞檢測(cè)運(yùn)算非常耗時(shí)，對(duì)于觸覺渲染系統(tǒng)的高頻率響應(yīng)很難完美地達(dá)到實(shí)時(shí)的一致性響應(yīng)；其次，觸覺渲染系統(tǒng)包括圖形渲染和觸覺設(shè)備響應(yīng)兩個(gè)處理周期，如何高效統(tǒng)一渲染過程的算法刷新率，對(duì)于提高觸覺反饋系統(tǒng)的穩(wěn)定性至關(guān)重要。

設(shè)計(jì)動(dòng)力學(xué)控制模型：根據(jù)數(shù)據(jù)特征采集并優(yōu)化的結(jié)果，針對(duì)虛擬交互的動(dòng)態(tài)特點(diǎn)，分析并設(shè)計(jì)具有自適應(yīng)虛擬剛度、局部低速阻尼限制、加速?zèng)_量控制單元的動(dòng)力學(xué)觸覺渲染系統(tǒng)。通過采用基于位置的阻尼狀態(tài)來構(gòu)造局部接觸點(diǎn)的動(dòng)態(tài)力輸出模型，以適應(yīng)不同場(chǎng)景下觸覺交互的動(dòng)力學(xué)控制需求，如下式：

其中，

n

為[1,2]之間的一個(gè)無單位常量，用于反映不同材料和接觸面的幾何特性。從模型所得到的系數(shù)

K

,

B

并不是模型中的相似量，可以認(rèn)為

Kx

和

Bx

是基于位置的彈性剛度和阻尼常量。針對(duì)交互模型設(shè)計(jì)不同的虛擬剛度及阻尼，并結(jié)合HTC Vive Pro手柄通過計(jì)算接觸力以輸出不同的震動(dòng)頻率。

3 實(shí)驗(yàn)結(jié)果與分析

為了測(cè)試本算法的適用性和有效性，選取不同類型的圖片用文中算法進(jìn)行處理，得到了目標(biāo)圖像的動(dòng)態(tài)增強(qiáng)現(xiàn)實(shí)實(shí)驗(yàn)結(jié)果。除特別指出之外，該文涉及的全部實(shí)驗(yàn)所用軟、硬件平臺(tái)如下所示：

軟件平臺(tái)：Windows 10，64位操作系統(tǒng)，Unity 3D，編程語言C#；

硬件平臺(tái)：Intel? Corei9-9900KS CPU @ 4.00 GHz，64 G內(nèi)存，HTC Vive Pro。

支持力反饋的頭盔式VR虛擬手術(shù)操作應(yīng)用實(shí)現(xiàn)過程中，利用Unity 3D進(jìn)行空間三維模型的創(chuàng)建，針對(duì)肝臟模型不同部位的反饋力計(jì)算并設(shè)定震動(dòng)頻率，結(jié)合Steam VR進(jìn)行打包生成沉浸手術(shù)虛擬仿真應(yīng)用。沉浸式手術(shù)交互的實(shí)際場(chǎng)景與手術(shù)實(shí)時(shí)交互場(chǎng)景如圖5所示。

圖5 實(shí)際場(chǎng)景與手術(shù)實(shí)時(shí)交互實(shí)驗(yàn)場(chǎng)景

其他實(shí)驗(yàn)場(chǎng)景如圖6所示。包括肝臟臨床病例選擇與信息查看；肝臟各組成部分的知識(shí)學(xué)習(xí)；實(shí)時(shí)動(dòng)態(tài)交互的手術(shù)操作。場(chǎng)景漫游設(shè)計(jì)采用視角小于270度的平面環(huán)繞及垂直視角小于180度的視野區(qū)域，此設(shè)計(jì)使用戶注意力集中于手術(shù)交互操作中，避免視角的大范圍變化所導(dǎo)致眩暈等癥狀的產(chǎn)生，適宜長(zhǎng)時(shí)間佩戴頭盔進(jìn)行手術(shù)仿真操作。該算法的提出，為當(dāng)下醫(yī)學(xué)培訓(xùn)仿真提供了又一維度的信息呈現(xiàn)，在枯燥靜態(tài)信息獲取的同時(shí)，展示了其動(dòng)態(tài)原理的展示結(jié)果，能夠增強(qiáng)用戶對(duì)于醫(yī)學(xué)理論原理的理解，增強(qiáng)學(xué)習(xí)的探究性與趣味性。

圖6 其他手術(shù)操作實(shí)驗(yàn)場(chǎng)景

實(shí)驗(yàn)結(jié)果與分析：實(shí)驗(yàn)過程中，可以通過調(diào)節(jié)力反饋設(shè)備的Trigger控件的時(shí)間來控制震動(dòng)的頻率，默認(rèn)為0.5秒持續(xù)震動(dòng)。實(shí)驗(yàn)結(jié)果表明，在力反饋手柄綁定手術(shù)器具，并與人體器官模型交互的過程中，能夠感受真實(shí)的震動(dòng)力反饋，使用戶在視覺和觸覺雙通道下感受真實(shí)的手術(shù)操作流程，便于空間定位并避免交互過程中的穿透現(xiàn)象發(fā)生。尤其是在震動(dòng)頻率可調(diào)節(jié)的情況下，針對(duì)不同組織器官可以感受不同的震動(dòng)頻率。本實(shí)驗(yàn)在輕量的震動(dòng)力反饋中提供了肝臟手術(shù)的虛擬仿真體驗(yàn)，相對(duì)于采用昂貴的力反饋設(shè)備，該系統(tǒng)能夠在深度沉浸感的虛擬手術(shù)體驗(yàn)的同時(shí)帶來良好的支持力反饋效果，不需要考慮虛擬剛度與阻尼等觸覺反饋設(shè)備所帶來的不穩(wěn)定性影響。

4 結(jié)束語

該文提出了一種基于支持力反饋的肝臟虛擬手術(shù)仿真系統(tǒng)，針對(duì)臨床病例的病灶特征，通過肝臟醫(yī)學(xué)CT斷層掃描影像的獲取及處理，獲得基于VR虛擬現(xiàn)實(shí)漫游系統(tǒng)所需三維重建人體肝臟模型；通過真實(shí)手術(shù)場(chǎng)景的設(shè)計(jì)與手術(shù)操作的模擬仿真，設(shè)計(jì)了一套包括肝臟病理知識(shí)學(xué)習(xí)與實(shí)際手術(shù)切割縫合的仿真系統(tǒng)，并引入頭盔式虛擬漫游設(shè)備及力反饋的震動(dòng)手柄，進(jìn)行了人體肝臟手術(shù)的虛擬仿真應(yīng)用系統(tǒng)實(shí)現(xiàn)，為醫(yī)學(xué)手術(shù)培訓(xùn)仿真提供了一種有效的應(yīng)用場(chǎng)景解決方案。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效應(yīng)用于基于CT影像三維重建的虛擬漫游場(chǎng)景呈現(xiàn)，尤其是在醫(yī)學(xué)手術(shù)培訓(xùn)仿真領(lǐng)域，具有很強(qiáng)的應(yīng)用創(chuàng)新價(jià)值。然而，該方法還具有一定的局限性，未來將繼續(xù)此領(lǐng)域的應(yīng)用創(chuàng)新與算法研究，包括引入基于補(bǔ)償力反饋的觸覺設(shè)備的手術(shù)仿真、基于柔性體虛擬復(fù)合剛度的觸覺交互算法。