面向髖關(guān)節(jié)穿刺手術(shù)的實(shí)用化增強(qiáng)現(xiàn)實(shí)導(dǎo)航方法

陳紓，李凱戎，張楠心，孟剛

面向髖關(guān)節(jié)穿刺手術(shù)的實(shí)用化增強(qiáng)現(xiàn)實(shí)導(dǎo)航方法

陳紓1，李凱戎2，張楠心3，孟剛4

（1.福州大學(xué) 物理與信息工程學(xué)院，福州 350108；2.澳門科技大學(xué) 人文藝術(shù)學(xué)院，澳門 999078；3.福建醫(yī)科大學(xué)附屬第一醫(yī)院，福州 350004；4.南京工業(yè)大學(xué) 藝術(shù)設(shè)計(jì)學(xué)院，南京 211899）

旨在利用成熟的技術(shù)路線和功能整合，實(shí)現(xiàn)面向髖關(guān)節(jié)穿刺手術(shù)的無創(chuàng)傷實(shí)用化骨骼增強(qiáng)現(xiàn)實(shí)（AR）導(dǎo)航。采用基于神經(jīng)網(wǎng)絡(luò)的自動分割方法對現(xiàn)有臨床CT影像數(shù)據(jù)進(jìn)行骨骼圖像分割，并進(jìn)行三維體積重建；利用虛擬現(xiàn)實(shí)開發(fā)手段，實(shí)現(xiàn)手術(shù)導(dǎo)航功能。實(shí)現(xiàn)了面向AR的CT掃描方法及配準(zhǔn)裝置設(shè)計(jì)，開發(fā)了基于CT影像的實(shí)用化骨骼組織三維自動重建功能。成功實(shí)現(xiàn)了與真實(shí)人體配準(zhǔn)的骨組織AR預(yù)覽。完成了從臨床CT影像采集到形成真實(shí)人體配準(zhǔn)的實(shí)時骨骼顯示的全過程驗(yàn)證。為無創(chuàng)骨骼導(dǎo)航提供了一種新的技術(shù)路線和方法，證明了在無創(chuàng)條件下快速實(shí)現(xiàn)虛擬骨骼與真實(shí)皮膚配準(zhǔn)顯示的技術(shù)可行性。為臨床骨科手術(shù)提供了新的思路和參考，并可為其他領(lǐng)域的外科手術(shù)導(dǎo)航研究提供技術(shù)支持和參考。

增強(qiáng)現(xiàn)實(shí)（AR）；手術(shù)導(dǎo)航；骨科；髖關(guān)節(jié)

穿刺手術(shù)是治療髖關(guān)節(jié)病癥的重要手段。臨床需要根據(jù)經(jīng)驗(yàn)合理規(guī)劃穿刺位置和路徑以減少附加傷害，從而降低術(shù)后手術(shù)并發(fā)癥的可能性。增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）技術(shù)可以將計(jì)算機(jī)生成的深層三維組織模型疊加顯示在自然人體結(jié)構(gòu)上，從而為手術(shù)直觀地提示隱藏在體內(nèi)的手術(shù)目標(biāo)的實(shí)時信息，以允許手術(shù)醫(yī)生直接關(guān)注內(nèi)部患處與體表結(jié)構(gòu)的位置關(guān)系，以降低手術(shù)判斷的難度、降低失誤概率。因此AR手術(shù)導(dǎo)航對髖關(guān)節(jié)手術(shù)的治療具有重要的輔助作用。本研究針對髖關(guān)節(jié)穿刺手術(shù)對AR手術(shù)導(dǎo)航的功能需求展開研究。擬通過對現(xiàn)有技術(shù)在應(yīng)用轉(zhuǎn)化過程中的關(guān)鍵環(huán)節(jié)進(jìn)行系統(tǒng)化概念設(shè)計(jì)，探索從臨床醫(yī)學(xué)影像數(shù)據(jù)自動化處理到實(shí)用化AR手術(shù)導(dǎo)航的基礎(chǔ)實(shí)現(xiàn)路徑，并通過系統(tǒng)開發(fā)等工程實(shí)證研究，驗(yàn)證技術(shù)路徑的可行性。

1 背景

近年來，AR在骨科手術(shù)中的應(yīng)用研究近年來呈現(xiàn)增長趨勢[1]。Uddin等[2]對當(dāng)前的脊椎手術(shù)AR引導(dǎo)研究進(jìn)行了綜述，并對未來研究的發(fā)展作出了樂觀的預(yù)測。研究綜述了近十年骨科AR導(dǎo)航概念驗(yàn)證研究的情況。在人體模型中的測試研究占比為21%；AR的實(shí)用性、優(yōu)勢和劣勢的評估調(diào)查占比為26%，此類研究主要圍繞人機(jī)工程學(xué)，以及使用AR平臺時儀器的準(zhǔn)確性評價展開。同時占比11%的技術(shù)論文對AR的當(dāng)前技術(shù)環(huán)境進(jìn)行了評估，并為創(chuàng)建可廣泛應(yīng)用的緊湊、高度通用、便攜式AR系統(tǒng)提供了未來方向。

以此趨勢為契機(jī)，在近年的相關(guān)研究中更加關(guān)注AR技術(shù)在臨床實(shí)用環(huán)境中的適應(yīng)性問題，重點(diǎn)探討AR技術(shù)在實(shí)際臨床手術(shù)中的引入。例如，Battaglia等[3]提出結(jié)合CAD/CAM與AR技術(shù)輔助執(zhí)行腓骨游離瓣采集進(jìn)行下頜重建的數(shù)字工作流程，驗(yàn)證了AR技術(shù)改善骨科手術(shù)環(huán)境的潛力。然而，在此項(xiàng)研究中AR技術(shù)的作用僅為為現(xiàn)場外科醫(yī)生提供額外的手術(shù)信息提示，相較于傳統(tǒng)可視化引導(dǎo)的分屏比照方式，提升了實(shí)時性與直觀體驗(yàn)。由于無標(biāo)簽位置配準(zhǔn)方法的性能局限，尚無法做到自由視角下的AR顯示。Gibby等[4]進(jìn)行了以人體局部模型為實(shí)驗(yàn)性對象的可行性實(shí)驗(yàn)，提出了一種針對患者皮膚的個性化的實(shí)時引導(dǎo)方法。該方法提出將3D重建影像與CT圖像疊加的引導(dǎo)方法用于腰椎骨骼的間接配準(zhǔn)，并在研究中提出了放置椎弓根插管導(dǎo)向器的引導(dǎo)方法，從而避免使用實(shí)時熒光透視或術(shù)中CT O-Arm 3D成像造成的連續(xù)掃描。這項(xiàng)研究證明了利用頭戴顯示AR（HMD-AR）技術(shù)進(jìn)行骨科手術(shù)引導(dǎo)的可行性，然而該方法對技術(shù)裝備、手術(shù)操作等均提出很高的要求，且在術(shù)中進(jìn)行的連續(xù)X射線成像對醫(yī)患都存在潛在風(fēng)險。而Elmi Terander等[5]對椎弓根手術(shù)引導(dǎo)的現(xiàn)實(shí)導(dǎo)航方法進(jìn)行了前瞻性研究，并從臨床視角驗(yàn)證了結(jié)合ARSN系統(tǒng)的集成手術(shù)環(huán)境所提供的AR成像對手術(shù)精度、操作時間、預(yù)后結(jié)果等有促進(jìn)作用。該方法避免了術(shù)中多次X射線檢查，但過高的裝備成本及技術(shù)要求使其很難在手術(shù)頻次密集的臨床診療中獲得有效推廣。

可見，降低技術(shù)裝備成本、提高原始數(shù)據(jù)處理效能等問題的解決，成為決定AR技術(shù)能否具備臨床實(shí)用性的關(guān)鍵因素[6]。如何利用成熟手段及工具形成簡潔的數(shù)據(jù)處理過程并實(shí)現(xiàn)高效、無創(chuàng)傷的手術(shù)導(dǎo)航的方法，是目前研究者所關(guān)注的重要問題。近年來，采用商用虛擬現(xiàn)實(shí)引擎開發(fā)骨手術(shù)導(dǎo)航的研究思路被廣泛關(guān)注。如Moreta Martinez等[7]提出將三維打印模型作為患者身體的替代物，利用Unity3D等商用虛擬現(xiàn)實(shí)引擎創(chuàng)建個性化AR圖形配準(zhǔn)工具，從而對脛骨腫瘤的位置進(jìn)行AR顯示。該方法證明了用于醫(yī)療教育、模擬和指導(dǎo)的簡潔AR開發(fā)模式構(gòu)建的可行性。這兩項(xiàng)研究驗(yàn)證了利用商用AR設(shè)備進(jìn)行骨科手術(shù)引導(dǎo)的可能性。然而，該方法依賴于直接在骨骼上進(jìn)行位置綁定，因而所針對的手術(shù)種類局限于開放式骨腫瘤手術(shù)，方法的適應(yīng)性有待提升。

綜合現(xiàn)有研究可以發(fā)現(xiàn)，圖像標(biāo)記點(diǎn)（maker）仍然是有效且被廣泛采用的AR圖形配準(zhǔn)方法。尤其是在進(jìn)行O-ARM等頻繁X射線掃描操作時，甚至可以實(shí)時添加maker操作。因此，基于maker的AR配準(zhǔn)視為一種在未來研究中可以采用且穩(wěn)定有效的方式。此外，盡管AR在臨床中的可行性被大量研究證明，但仍然存在實(shí)用化不足等問題，這也對臨床AR導(dǎo)航系統(tǒng)的實(shí)用性、經(jīng)濟(jì)性提出更高的需求。

另一方面，專門針對髖骨的AR手術(shù)引導(dǎo)研究則已經(jīng)實(shí)現(xiàn)了相應(yīng)的概念驗(yàn)證[8]。同時，利用可見光攝像機(jī)采集配準(zhǔn)圖像，并將圖形標(biāo)志物作為配準(zhǔn)參照物的設(shè)計(jì)路線，被證明具備較高的可行性[9]，且現(xiàn)有的商用AR技術(shù)及設(shè)備也被證明適用于臨床手術(shù)引導(dǎo)[10]。

綜合研究現(xiàn)狀可知，在當(dāng)前相關(guān)領(lǐng)域的研究中，主要采用可見光視頻圖像采集、配合皮膚表層maker配準(zhǔn)的技術(shù)路線。該路線在無創(chuàng)傷的前提下，對AR設(shè)備硬件處理器性能的要求也相對較低，是一種有效且便捷的AR引導(dǎo)實(shí)現(xiàn)途徑。

2 問題的提出

本研究旨在設(shè)計(jì)一種骨外科AR方案，用于在無創(chuàng)傷的前提下實(shí)現(xiàn)髖關(guān)節(jié)穿刺手術(shù)的AR引導(dǎo)。該方案需要在一般移動設(shè)備環(huán)境下，以腿部皮膚表面為參照，實(shí)現(xiàn)基于術(shù)前CT影像的髖關(guān)節(jié)骨組織三維重建模型的配準(zhǔn)成像，從而為髖關(guān)節(jié)穿刺提供準(zhǔn)確的目標(biāo)位置顯示。該方案除了應(yīng)具備實(shí)現(xiàn)成本低、操作簡便、原始數(shù)據(jù)處理及時等特點(diǎn)之外，尚需進(jìn)一步提升AR技術(shù)在醫(yī)學(xué)應(yīng)用場景下的適應(yīng)性。

為了實(shí)現(xiàn)上述目標(biāo)，本研究提出了髖關(guān)節(jié)穿刺手術(shù)導(dǎo)航概念，其核心為基于自動信息處理方法實(shí)現(xiàn)從CT數(shù)據(jù)到AR功能的多模態(tài)數(shù)據(jù)自動轉(zhuǎn)換與虛實(shí)配準(zhǔn)信息傳遞，從而提升AR技術(shù)在醫(yī)學(xué)應(yīng)用場景中的實(shí)用性，如圖1所示。

圖1 髖關(guān)節(jié)手術(shù)導(dǎo)航概念設(shè)計(jì)

手術(shù)導(dǎo)航概念的實(shí)現(xiàn)主要包括三個階段：術(shù)前CT掃描，獲取骨骼目標(biāo)區(qū)域的醫(yī)學(xué)影像信息；三維重建，獲取虛擬骨骼和皮膚模型作為AR引導(dǎo)和虛擬可視化數(shù)據(jù)的基礎(chǔ)；AR導(dǎo)航，通過皮膚表面標(biāo)記的激活和位置參考，引導(dǎo)體內(nèi)髖關(guān)節(jié)的實(shí)時信息。通過定義上述三個階段，AR手術(shù)導(dǎo)航的實(shí)現(xiàn)目標(biāo)以明確的技術(shù)要求形式進(jìn)行概括。在后續(xù)的研究中將通過有針對性的設(shè)計(jì)、方法、開發(fā)等具體手段對上述目標(biāo)進(jìn)行實(shí)現(xiàn)。每個階段的主要挑戰(zhàn)可以歸納為以下幾個關(guān)鍵問題：

1）髖骨位置體表皮膚平展光滑、無紋理，難以直接作為激活和對準(zhǔn)虛擬骨骼模型的注冊標(biāo)記。此外，皮膚變形、CT掃描位置和術(shù)中體位不一致，也是導(dǎo)致虛擬模型注冊困難的主要原因。

2）在AR系統(tǒng)中獲取骨骼模型信息通常需要兩種方法。一種是采用MPR法對實(shí)時X掃描影像進(jìn)行閾值分割和影像密度疊層，從而構(gòu)建多角度骨骼模型影像，但該方法本質(zhì)上形成的是多視圖二維圖像映射，因此數(shù)據(jù)可重用性差，對切割、穿刺等的有限元仿真能力有限，而且對設(shè)備的要求較高。要獲得更精確的三維拓?fù)淠Ｐ停枰柚鷮ｉT的三維重建軟件，這會增加數(shù)據(jù)處理的時間和成本，并且需要專業(yè)人員進(jìn)行操作。

3）頭戴式顯示器（HMD）設(shè)備相對昂貴，一些研究報(bào)告稱醫(yī)生佩戴HMD進(jìn)行手術(shù)需要較長的適應(yīng)時間，并且存在質(zhì)量大、布線復(fù)雜、電池壽命有限、手術(shù)期間容易暈眩[11]等問題。相比之下，基于普通移動智能設(shè)備（如平板電腦、手機(jī)等）的AR導(dǎo)航顯示具有設(shè)備成本低、方便使用等優(yōu)點(diǎn)，更適合于手術(shù)室等復(fù)雜的使用環(huán)境[12]。然而，普通設(shè)備上的攝像頭存在不同程度的廣角畸變失真問題，會影響模型的配準(zhǔn)。

3 方法

為了解決無法通過皮膚直接配準(zhǔn)的問題，本研究采用間接配準(zhǔn)的方式，通過在骨骼與皮膚間相對穩(wěn)定的位置設(shè)置中繼標(biāo)志物，用于骨骼部分坐標(biāo)的介導(dǎo)，并提出了改進(jìn)的臨床CT掃描方法及相關(guān)裝置。同時，針對臨床CT數(shù)據(jù)的快速模態(tài)轉(zhuǎn)換及可視化問題，本研究通過測試不同的臨床數(shù)據(jù)分割方法，確定了高效的骨CT自動分割及重建技術(shù)路線，實(shí)現(xiàn)了基于網(wǎng)絡(luò)的輕量化客戶端。

3.1 臨床CT掃描方法實(shí)驗(yàn)

AR導(dǎo)航的實(shí)現(xiàn)關(guān)鍵在于：在自然狀態(tài)下對隱藏于皮膚肌肉等組織間的真實(shí)骨骼及三維重建的虛擬骨骼模型進(jìn)行位置的配準(zhǔn)并實(shí)時顯示。骨骼信息雖然可以通過常規(guī)CT檢查獲取，但在AR環(huán)境中人體骨骼的實(shí)時位置信息卻無法直接獲取與綁定。因此，提出了將人體皮膚作為骨骼位置信息的中繼物，先行配準(zhǔn)真實(shí)皮膚與三維重建皮膚，再進(jìn)一步提高骨骼配準(zhǔn)精度的間接配準(zhǔn)思路。為了解決皮膚紋理少、變形程度大等問題，可以對marker信標(biāo)進(jìn)行設(shè)計(jì)，用于提高位置信息指示精度及效率。

實(shí)驗(yàn)過程為：通過對臨床志愿者體表綁定掃描初始標(biāo)志物，進(jìn)行普通臨床CT掃描；采用基于神經(jīng)網(wǎng)絡(luò)的CT自動三維重建方法，獲得皮膚表面定位標(biāo)志物、皮膚、骨骼組合三維模型，三者空間位置關(guān)系均源自原始臨床影像，作為配準(zhǔn)依據(jù)，并依據(jù)重建數(shù)據(jù)，進(jìn)行三維打印獲取真人等比尺寸的樹脂及硅膠模型，作為臨床志愿者的真實(shí)人體替代物；采用虛擬模型與實(shí)物模型的方式，進(jìn)行配準(zhǔn)實(shí)驗(yàn)。

為了獲取可供AR顯示和配準(zhǔn)的原始數(shù)據(jù)，設(shè)計(jì)了一種無創(chuàng)傷的臨床掃描方案，將可注入造影劑的樹脂盒子作為皮膚的配準(zhǔn)特征物，用于真實(shí)皮膚與虛擬皮膚的配準(zhǔn)點(diǎn)設(shè)置參考，如圖2所示。

圖2 面向骨AR的CT掃描方法

標(biāo)記盒直接附著于患者皮膚，該標(biāo)記盒將與骨骼和皮膚一起被重建出來，作為初始定位信標(biāo)。在AR配準(zhǔn)環(huán)節(jié)中，將依照標(biāo)記盒的頂面中點(diǎn)、底平面，以標(biāo)記盒表面圖形的指示方向?yàn)橐龑?dǎo)進(jìn)行設(shè)置。為了能利用真實(shí)病例中的CT影像數(shù)據(jù)，實(shí)現(xiàn)虛擬模型疊加在真實(shí)場景上的對位，在設(shè)計(jì)標(biāo)記圖像的同時應(yīng)將其立體化，如此才可進(jìn)行標(biāo)記盒的三維重建。在標(biāo)記盒的兩頭分別設(shè)計(jì)一個注入口和一個排氣口，并注入造影劑，從而使標(biāo)記盒三維特征及空間指向可以被清晰觀察。

3.2 實(shí)用化髖關(guān)節(jié)三維自動重建

為了實(shí)現(xiàn)臨床快速獲取骨骼模型，擬引入神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行臨床的快速CT圖像分割。主要的原因是，骨影像特征十分顯著，當(dāng)前的神經(jīng)網(wǎng)絡(luò)方法可以獲得較為穩(wěn)定的分割結(jié)果用于重建。本研究選擇了U-Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行CT影像的分割訓(xùn)練[13]，并與當(dāng)前常用的骨影像分割方法進(jìn)行比較，選擇更為高效的自動分割方法。

實(shí)驗(yàn)數(shù)據(jù)集來自實(shí)驗(yàn)室合作單位福建醫(yī)科大學(xué)附屬第一醫(yī)院提供的CT數(shù)據(jù)，選取髖關(guān)節(jié)腔鏡手術(shù)的術(shù)前CT檢查數(shù)據(jù)共120例，并利用Mimics軟件的手動骨骼影像分割進(jìn)行標(biāo)簽制作，從而形成數(shù)據(jù)集。所有的圖像都經(jīng)過了窗位280 HU、窗寬400 HU的預(yù)處理。數(shù)據(jù)集圖像經(jīng)數(shù)據(jù)增強(qiáng)的方式擴(kuò)大，并隨機(jī)抽取其中的20%分配到驗(yàn)證集用于準(zhǔn)確度測試。采用基于圖像預(yù)處理的傳統(tǒng)混合型傳統(tǒng)閾值分割方法進(jìn)行半自動骨影像分割，用于橫向?qū)Ρ纫源_定各項(xiàng)方法的重建效能。主要方法有全局閾值法、局部閾值法、Otsu法[14]等常用于醫(yī)學(xué)增材制造中骨分割的CT圖像分割方法[15]以及基于臨床數(shù)據(jù)訓(xùn)練的U-net卷積神經(jīng)網(wǎng)絡(luò)。

骨影像分割結(jié)果對比，采用三維語義分割中常用的相似度系數(shù)，計(jì)算四種三維語義分割集合的交集與并集之比。計(jì)算結(jié)果區(qū)間為[0,1]，越接近1表示方法分割正確率越高。具體計(jì)算方式如下：

其中為數(shù)據(jù)集中真實(shí)標(biāo)簽的影像體素?cái)?shù)量，為不同方法的骨骼影像分割結(jié)果的影像體素?cái)?shù)量，通過對真實(shí)標(biāo)簽與分割形成的掩膜圖（二值圖）進(jìn)行點(diǎn)乘求和計(jì)算，可獲得不同方法的準(zhǔn)確分割體素?cái)?shù)量，結(jié)果如表1所示。

表1 測試集的分割結(jié)果比較

Tab.1 Comparison of test set segmentation results

由上表可知，U-Net網(wǎng)絡(luò)的平均分割精度最好，分割的最小系數(shù)值也明顯高于其他方法，穩(wěn)定性較強(qiáng)，能為后續(xù)的三維重建提供較好的條件。需要說明的是，由于CT影像包含股骨等皮質(zhì)骨的比例較大，因此Otsu法在平均分割精度上也顯得十分優(yōu)秀，但其在松質(zhì)骨上產(chǎn)生了過分割，故最小值與平均值相差較大，并且其分割結(jié)果中出現(xiàn)大于20%的最大誤差，這一點(diǎn)在相關(guān)文獻(xiàn)中亦有記載[16]，印證了經(jīng)典方法具有不穩(wěn)定性。

與此同時，U-Net卷積神經(jīng)網(wǎng)絡(luò)也表現(xiàn)出顯著的效率優(yōu)勢。在本實(shí)驗(yàn)運(yùn)行環(huán)境中，采用一臺DEll-T1700服務(wù)器進(jìn)行分割測試，已訓(xùn)練網(wǎng)絡(luò)的平均分割速度是45 ms/seq，完成397張影像的單病例的平均分割時間約為18 s。附加后續(xù)三維重建所需的格式轉(zhuǎn)換及存儲讀取等時間，完成測試集分割的總耗時為24.33 s?；诠荂T的逐幀分割結(jié)果，可以實(shí)現(xiàn)骨模型自動三維重建，主體部分模型基本與人工重建基本一致。

在上述實(shí)驗(yàn)中，常用的經(jīng)典分割方法均需要通過人工進(jìn)行預(yù)處理，單病例平均耗時為654.7 s。而基于神經(jīng)卷積網(wǎng)絡(luò)的自動骨分割方法僅在一般個人計(jì)算機(jī)運(yùn)算環(huán)境下的平均處理速度已顯著高于人工介入的處理方法，約為人工法的27倍。此項(xiàng)工作驗(yàn)證了神經(jīng)網(wǎng)絡(luò)CT骨影像重建方法與經(jīng)典圖像分割方法相比，在準(zhǔn)確性、穩(wěn)定性和綜合效率方面存在顯著的優(yōu)勢，而綜合效能優(yōu)良的自動化骨CT分割與體模型重建則是AR臨床應(yīng)用的關(guān)鍵環(huán)節(jié)。因此，本研究采用HTML方式編寫了可視化界面，便于CT影像的讀入，以及重建結(jié)果的輸出，如圖3所示。

4 AR預(yù)覽實(shí)現(xiàn)

結(jié)合醫(yī)療場景中的實(shí)用化需求，本研究選用了商用虛擬現(xiàn)實(shí)引擎Unity-3D作為實(shí)現(xiàn)AR功能的開發(fā)平臺。基于Unity3D、Vuforia和Opencv for Unity插件進(jìn)行了面向髖骨手術(shù)的AR配準(zhǔn)方法研究，利用人工標(biāo)識物對髖骨模型進(jìn)行配準(zhǔn)，根據(jù)改進(jìn)的方法發(fā)布了UWP版本。主要過程為：對標(biāo)識物三維注冊方法進(jìn)行研究，對預(yù)置的標(biāo)識物進(jìn)行處理并評估其性能；在Vuforia中進(jìn)行ImageTarget模塊的實(shí)現(xiàn)和改進(jìn)，結(jié)合Opencv for Unity優(yōu)化設(shè)計(jì)方案，對髖骨模型定位進(jìn)行初步的實(shí)驗(yàn)驗(yàn)證。采用多點(diǎn)放置的自然圖像紋理的平面矩形作為皮膚表面的激活標(biāo)識。原因有以下幾點(diǎn)：

圖3 CT數(shù)據(jù)讀取及髖關(guān)節(jié)自動重建界面

1）術(shù)中場景視口移動范圍有限，光照較為穩(wěn)定，對檢測實(shí)時性的要求高，矩形標(biāo)志更適合該應(yīng)用場景。

2）立體標(biāo)識檢測范圍雖然更廣，但標(biāo)識物空腔體積較大，容易影響術(shù)中視口和醫(yī)師操作手術(shù)器械的動作；不便放置在皮膚上進(jìn)行CT掃描，皮膚將會出現(xiàn)顯著的凹陷形變而不利于配準(zhǔn)。也有部分研究方案提出將三維標(biāo)識物脫離真實(shí)模型外置，但相對位置依賴于術(shù)前手動設(shè)置且患者不可移動，此類方式的適用場景存在較多限制。

3）平面矩形標(biāo)識物的操作空間更大。若平面標(biāo)識為適宜的大小，并在皮膚表面多位置、多角度擺放，則能夠達(dá)到立體標(biāo)識的效果；多平面標(biāo)識之間的相對位置也能檢測術(shù)中標(biāo)識相對于CT掃描的位移情況，從而降低配準(zhǔn)誤差；在系統(tǒng)中為每個標(biāo)識附上相應(yīng)的ID號，使系統(tǒng)只要檢測到至少一個標(biāo)識點(diǎn)就可以進(jìn)行定位，也能夠提升標(biāo)識物的抗遮擋性。

綜上，根據(jù)需求進(jìn)行了標(biāo)識物的初步設(shè)計(jì)?？紤]過大的標(biāo)識物會遮擋手術(shù)視口，過小則會影響識別效果，在測量髖骨模型的具體數(shù)值后（長：45.77 cm，寬：18.38 cm，高：25.67 cm），決定采用3個邊長為5 cm的標(biāo)識作為配準(zhǔn)marker貼在皮膚模型上，標(biāo)記中心位置與配準(zhǔn)盒在皮膚上轉(zhuǎn)印的印記中心重合，用于承繼相對的位置信息。由于三組marker中心不共線、水平位置不共面，因此具備不同的中心坐標(biāo)系，從而進(jìn)行虛擬皮膚、骨骼重建模型的空間位置相互印證及配準(zhǔn)的手動微調(diào)校準(zhǔn)。紋理圖的選用依據(jù)是特征點(diǎn)多、對比度強(qiáng)、分辨率較高，能夠在適中的光照下在攝像機(jī)視口進(jìn)行辨別，如圖4所示。

圖4 選用的三張識別紋理圖片

在Unity3D框架的基礎(chǔ)上掛載實(shí)現(xiàn)虛擬模型，主要涉及以下步驟：

1）通過Vuforia或其他開源手段對標(biāo)志物進(jìn)行配準(zhǔn)注冊，用于后續(xù)AR場景的激活。

2）將AR Camera的世界坐標(biāo)中心位置改為基于相機(jī)，便于標(biāo)識物坐標(biāo)系的統(tǒng)一。

3）調(diào)整好每個標(biāo)識物在髖骨上的位置，掛載用于定位的子物體。子物體的世界坐標(biāo)與虛擬髖骨包圍盒中心重合，如圖5所示。

圖5 定位虛擬模型標(biāo)識掛載

由于需要采用多個marker點(diǎn)進(jìn)行位置的相互印證，本研究設(shè)計(jì)了以下印證邏輯：

1）保存場景中所有標(biāo)識的初始角度、位置。

2）若檢測到追蹤標(biāo)識容器長度為0，則停止模型渲染，否則進(jìn)行第三個步驟。

3）遍歷追蹤容器中的所有標(biāo)識，計(jì)算每個檢測標(biāo)識的位置、角度，最后加載模型渲染。

通過這種方式，可以有效對模型的初始位置進(jìn)行調(diào)整，以接近真實(shí)的marker點(diǎn)位置。但由于實(shí)驗(yàn)中各過程的誤差累積，需要設(shè)置手動微調(diào)（modify）模塊進(jìn)行最終校準(zhǔn)。校準(zhǔn)的參照物以運(yùn)行設(shè)備攝像機(jī)視口中的真實(shí)皮膚輪廓、皮膚黏貼的marker點(diǎn)邊角為配準(zhǔn)依據(jù)。通過手動校準(zhǔn)可以最大限度地修正配準(zhǔn)初始值，可在引導(dǎo)過程保持配準(zhǔn)精度。采用Unity3D引擎配套的UGUI模塊編寫了手動配準(zhǔn)模塊的UI界面，針對平移變換及以各marker點(diǎn)中心坐標(biāo)為原點(diǎn)的角度傾斜變換，設(shè)置了變量入口，最小可平移距離為1 voxel，最小可調(diào)角度為1′，每個變量均可通過按鍵和輸入框進(jìn)行調(diào)節(jié)，如圖6所示。

圖6 手動配準(zhǔn)模塊

5 配準(zhǔn)定位實(shí)現(xiàn)與檢測

模擬多種自然光照環(huán)境及觀察視角，進(jìn)行髖骨定位效果檢測。以虛、實(shí)場景中的皮膚為參照，以表面關(guān)鍵特征點(diǎn)貼合為準(zhǔn)。邀請臨床專家進(jìn)行現(xiàn)場驗(yàn)證，以確保配準(zhǔn)精度和范圍符合實(shí)際手術(shù)需要，運(yùn)行結(jié)果如圖7所示。

測試結(jié)果顯示，在正常燈光的正上方定位識別效果最佳，配準(zhǔn)效果因光照、角度的不同而不同。在實(shí)際的測試場景中需要手動配準(zhǔn)，由13次模擬臨床手動配準(zhǔn)測試可知，平均手動微調(diào)時間約為5 min，可以滿足臨床穿刺引導(dǎo)的顯示需求。在配準(zhǔn)定位測試環(huán)節(jié)中可以有效觀測因通用設(shè)備攝像頭差異所導(dǎo)致的配準(zhǔn)誤差情況。造成誤差的主要原因有：

1）攝像頭的焦距在40 cm以內(nèi)，難以檢測到所有標(biāo)識物，真實(shí)空間單個標(biāo)識物的移位同樣會造成誤差。

2）標(biāo)識物采用普通紙材質(zhì)印刷，在強(qiáng)光照下易被反光吞噬細(xì)節(jié)。

圖7 不同環(huán)境與方向的定位測試

3）鏡頭畸變導(dǎo)致多標(biāo)簽相互印證配準(zhǔn)時容易產(chǎn)生模型抖動。

基于上述測試結(jié)果，除設(shè)備及應(yīng)用環(huán)境等客觀因素外，鏡頭畸變問題較為突出。采用常規(guī)圖形處理方法（如undistort函數(shù)等）以棋盤格標(biāo)定的方式獲取針對不同設(shè)備的鏡頭畸變矯正參數(shù)，實(shí)驗(yàn)設(shè)備的鏡頭桶形畸變獲得了較好的校正，如圖8所示。

圖8 圖像畸變矯正前后對比

經(jīng)過改善標(biāo)簽材料、增強(qiáng)環(huán)境光源及針對實(shí)驗(yàn)設(shè)備的鏡頭畸變矯正等一系列改進(jìn)以后，進(jìn)行多角度AR配準(zhǔn)成像測試，結(jié)果較為理想，如圖9所示。

圖9 骨AR配準(zhǔn)測試結(jié)果

本研究利用一般移動設(shè)備進(jìn)行AR系統(tǒng)加載及測試，并聯(lián)合合作單位的臨床醫(yī)療人員對髖關(guān)節(jié)穿刺關(guān)鍵部位進(jìn)行了多角度AR成像，以及模擬穿刺實(shí)驗(yàn)與實(shí)用體驗(yàn)評價。通過優(yōu)、良、中、較差、差等五級評價指標(biāo)對各點(diǎn)配準(zhǔn)效果進(jìn)行評價，并隨機(jī)利用不同的手持式移動設(shè)備對AR系統(tǒng)進(jìn)行橫向交叉實(shí)驗(yàn)。最終結(jié)果表明：

1）通過AR引導(dǎo)的髖關(guān)節(jié)穿刺手術(shù)可以將預(yù)選的穿刺位置縮小至直徑為5 cm的圓周范圍內(nèi)，極大地降低了穿刺點(diǎn)的選擇判斷難度。

2）通過隨機(jī)抽樣的移動設(shè)備進(jìn)行系統(tǒng)搭載實(shí)驗(yàn)，使符合配準(zhǔn)要求的手動校準(zhǔn)時間低于5 min。臨床專家評價顯示，校準(zhǔn)操作易于學(xué)習(xí)與實(shí)施，可以在常規(guī)術(shù)前與準(zhǔn)備過程同步進(jìn)行配準(zhǔn)的手動校準(zhǔn)。

3）AR引導(dǎo)的模擬穿刺實(shí)驗(yàn)結(jié)果評價顯示，引導(dǎo)效果的優(yōu)良率達(dá)到86.3%，具有較好的引導(dǎo)效能。

上述臨床專家評價結(jié)果表明，本文提出的實(shí)用化無創(chuàng)AR引導(dǎo)方法，在骨科中、大型關(guān)節(jié)穿刺等介入式手術(shù)中，可以基本滿足手術(shù)引導(dǎo)性能需求。

6 結(jié)語

本文介紹了一種基于髖骨穿刺手術(shù)的導(dǎo)航方法，該方法結(jié)合間接配準(zhǔn)、神經(jīng)網(wǎng)絡(luò)圖像分割等方法，達(dá)到了髖骨模型虛實(shí)配準(zhǔn)的效果。同時針對不同移動設(shè)備的性能特點(diǎn)增添了多點(diǎn)配準(zhǔn)、手動配準(zhǔn)和不同型號攝像頭鏡頭畸變矯正等必要的功能模塊，使AR導(dǎo)航性能具有較好的信息處理效率及使用體驗(yàn)。為了滿足術(shù)中觀察視口的需求，該方法使用一般外置攝像設(shè)備或移動設(shè)備的攝像頭進(jìn)行視頻輸入，用于虛擬三維重建模型與真實(shí)物體的配準(zhǔn)。經(jīng)過人工標(biāo)識物的自動配準(zhǔn)和調(diào)整誤差的手動配準(zhǔn)過程，皮膚虛擬模型與患處真實(shí)影像能夠高度貼合，并顯示內(nèi)部骨骼的精確位置，從而實(shí)現(xiàn)了初步可行性驗(yàn)證。該研究成果可為進(jìn)一步挖掘方法及系統(tǒng)的潛能提供基礎(chǔ)，進(jìn)一步引入更為復(fù)雜的術(shù)式規(guī)范，對前交叉韌帶快速重建、骨隧道定位引導(dǎo)等手術(shù)進(jìn)行實(shí)時引導(dǎo)。然而，在測試過程中發(fā)現(xiàn)了以下缺點(diǎn)：

1）采用的印刷標(biāo)識物在非自然光照（如白熾燈）下易反光，攝像頭的圖像采集精度不高導(dǎo)致標(biāo)識物的識別存在障礙，對標(biāo)志物圖形設(shè)計(jì)、標(biāo)志物材料、AR設(shè)備硬件性能等提出了一定的要求，需要在未來的應(yīng)用推廣過程中加以關(guān)注。

2）針對不同的設(shè)備需要進(jìn)行專項(xiàng)的鏡頭畸變操作，鏡頭桶形畸變導(dǎo)致的杠桿效應(yīng)是初始配準(zhǔn)存在較大誤差的主要原因，需要通過擴(kuò)大預(yù)置參數(shù)范圍加以解決，在后續(xù)的產(chǎn)品化開發(fā)中可針對不同設(shè)備，將畸變矯正參數(shù)以預(yù)設(shè)選項(xiàng)模式導(dǎo)入AR系統(tǒng)，保證一般設(shè)備的AR配準(zhǔn)性能。

3）三維重建模型數(shù)據(jù)屬于點(diǎn)云類型，存在頂點(diǎn)數(shù)巨大的特征，為達(dá)成理想效果需要搭載設(shè)備消耗較大算力。需要在三維重建過程中導(dǎo)入適當(dāng)?shù)哪Ｐ蛢?yōu)化流程，并進(jìn)一步聚焦重建區(qū)域進(jìn)行篩選，以有效控制冗余模型頂點(diǎn)數(shù)據(jù)的形成，從而降低對運(yùn)行設(shè)備的性能要求。

同時本研究也發(fā)現(xiàn)，視頻攝像采集的方法雖然目前廣泛應(yīng)用于娛樂與商用虛擬現(xiàn)實(shí)行業(yè)，但是在醫(yī)學(xué)等專業(yè)領(lǐng)域則存在可見光干擾、接口標(biāo)準(zhǔn)化、患者隱私保護(hù)等問題，在專業(yè)應(yīng)用領(lǐng)域的實(shí)現(xiàn)路徑上存在較多事務(wù)性問題等不可預(yù)見的影響。在自動駕駛領(lǐng)域采用的以激光雷達(dá)為探測傳感器的基于平面特征的點(diǎn)云配準(zhǔn)方法[17]，對未來的研究有較大啟發(fā)。因此，該方向在未來的研究中將作為一個有趣的方向加以深入探索。

[1] 張愛民. 增強(qiáng)現(xiàn)實(shí)技術(shù)在創(chuàng)傷骨科疾病的應(yīng)用現(xiàn)狀[J]. 中華醫(yī)學(xué)雜志, 2017, 97(14): 1120-1123. ZHANG Ai-min. The Application Status of Augmented Reality Technology in Orthopedic Trauma Diseases[J]. Chinese Medical Journal, 2017, 97(14): 1120-1123.

[2] UDDIN S A, HANNA G, ROSS L, et al. Augmented Reality in Spinal Surgery: Highlights from Augmented Reality Lectures at the Emerging Technologies annual meetings[EB/OL]. (2021-10-01)[2023-02-01]. https:// dig-i-tal-commons.wustl.edu/open_access_pubs/11150.

[3] BATTAGLIA S, BADIALI G, CERCENELLI L, et al. Combination of CAD/CAM and Augmented Reality in Free Fibula Bone Harvest[J]. Plastic and Reconstructive Surgery Global Open, 2019, 7(11): e2510.

[4] GIBBY J T, SWENSON S A, CVETKO S, et al. Head-Mounted Display Augmented Reality to Guide Pedicle Screw Placement Utilizing Computed Tomography[J]. International Journal of Computer Assisted Radiology and Surgery, 2019, 14(3): 525-535.

[5] ELMI-TERANDER A, BURSTR?M G, NACHABE R, et al. Pedicle Screw Placement Using Augmented Reality Surgical Navigation with Intraoperative 3D Imaging: A First In-Human Prospective Cohort Study[J]. Spine, 2019, 44(7): 517-525.

[6] CHEN X, XU L, WANG Y. Augmented Reality in Surgery: A Comprehensive Systematic Review[J]. Computers in Biology and Medicine, 2020, 121: 103827.

[7] MORETA-MARTINEZ R, GARCíA-MATO D, GARCíA- SEVILLA M, et al. Augmented Reality in Computer- Assisted Interventions Based on Patient-Specific 3D Printed Reference[J]. Healthcare Technology Letters, 2018, 5(5): 162-166.

[8] LIU He, AUVINET E, GILES J, et al. Augmented Reality Based Navigation for Computer Assisted Hip Resurfacing: A Proof of Concept Study[J]. Annals of Biomedical Engineering, 2018, 46(10): 1595-1605.

[9] 韓玉仁, 李鐵軍, 楊冬. 增強(qiáng)現(xiàn)實(shí)中三維跟蹤注冊技術(shù)概述[J]. 計(jì)算機(jī)工程與應(yīng)用, 2019, 55(21): 26-35. HAN Yu-ren, LI Tie-jun, YANG Dong. Overview of 3D Tracking Registration Technology in Augmented Reality[J]. Computer Engineering and Applications, 2019, 55(21): 26-35.

[10] 黃銘明, 蘇其瑜, 曾維, 等. 下頜骨骨折虛擬手術(shù)培訓(xùn)系統(tǒng)研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2018, 54(23): 223-229. HUANG Ming-ming, SU Qi-yu, ZENG Wei, et al. Research of Virtual Surgery Training System of Mandibular Fracture[J]. Computer Engineering and Applications, 2018, 54(23): 223-229.

[11] ZHANG Yan-xiang, WANG Ruo-yi. A Study on the Effects of Head Mounted Displays Movement and Image Movement on Virtual Reality Sickness[C]//2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). Atlanta, GA, USA. IEEE, 2020: 630-631.

[12] DE Sá M, CHURCHILL E. Mobile Augmented Reality: Exploring Design and Prototyping Techniques[C]// Proceedings of the 14th international conference on Human-computer interaction with mobile devices and services. San Francisco, California, USA. New York: ACM, 2012: 221-230.

[13] 吳東, 孔祥朋, 楊敏之, 等. 深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)在髖關(guān)節(jié)翻修術(shù)前CT分割領(lǐng)域的研發(fā)與初步應(yīng)用[J]. 中華骨科雜志, 2023(1): 62-71. WU Dong, KONG Xiang-peng, YANG Min-zhi, et al. The Development and Primary Application of a Deep Learning Convolutional Neural Network in the Field of Revision Total Hip Arthroplasty CT Segmentation[J]. Chinese Journal of Orthopaedics, 2023(1): 62-71.

[14] OTSU N. A Threshold Selection Method from Gray- Level Histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1979, 9(1): 62-66.

[15] MCCORMACK J, O’DONNELL G, MCHUGH P. CT image segmentation methods for bone used in medical additive manufacturing[J]. Journal of Manufacturing Processes, 2017, 27: 25-34.

[16] TASSANI S, KORFIATIS V, MATSOPOULOS G K. Influence of Segmentation on Micro-CT Images of Trabecular Bone[J]. Journal of Microscopy, 2014, 256(2): 75-81.

[17] LI Jian-wei, ZHAN Jia-wang, ZHOU Ting, et al. Point Cloud Registration and Localization Based on Voxel Plane Features[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 363-379.

Practical Augmented Reality Navigation Method for Hip Joint Puncture Surgery

CHEN Shu1, LI Kai-rong2, ZHANG Nan-xin3, MENG Gang4

(1.College of Physics and Information Engineering, Fuzhou University, Fuzhou 350108, China; 2.Faculty of Humanities and Arts, Macau University of Science and Technology, Macau 999078, China; 3.First Affiliated Hospital, Fujian Medical University, Fuzhou 350004, China; 4.Nanjing University of Technology, School of Art and Design, Nanjing 211899, China)

The work aims to utilize mature technological routes and functional integration to achieve non-invasive practical bone augmented reality (AR) navigation for hip joint puncture surgery. The automatic segmentation method based on neural networks was adopted to segment bone images from existing clinical CT image data and perform 3D volume reconstruction. Virtual reality development methods were used to achieve surgical navigation functions.In this work, a CT scanning method and the registration device design for AR were implemented, and a practical 3D automatic reconstruction function of bone tissue based on CT images was developed. AR preview of bone tissue registration with real human bodies was successfully achieved. The entire process validation from clinical CT image acquisition to real-time bone display for real human registration was completed. This study provides a new technical route and method for non-invasive bone navigation, demonstrating the feasibility of quickly achieving virtual bone and real skin registration display under non-invasive conditions. The results of this study provide new ideas and references for clinical orthopedic surgery, and can provide technical support and reference for surgical navigation research in other fields of surgery.

augmented reality (AR); surgery navigation; orthopedic; hip joint

TB472

A

1001-3563(2023)12-0430-08

10.19554/j.cnki.1001-3563.2023.12.051

2023–02–05

福建省自然科學(xué)基金“基于機(jī)器學(xué)習(xí)的胰腺圖像自動三維重建方法研究”（2022J01992）；福建省自然科學(xué)基金對外合作項(xiàng)目“基于增強(qiáng)現(xiàn)實(shí)的可視化實(shí)時引導(dǎo)技術(shù)在前交叉韌帶骨隧道精準(zhǔn)定位中的研究”（2023I0014）

陳紓（1980—），男，博士生，副教授，主要研究方向?yàn)閿?shù)字媒體技術(shù)，產(chǎn)品創(chuàng)新設(shè)計(jì)思維及方法。

孟剛（1979—），男，博士，副教授，主要研究方向?yàn)楫a(chǎn)品視覺創(chuàng)新設(shè)計(jì)思維及其方法。

責(zé)任編輯：馬夢遙