增強(qiáng)現(xiàn)實技術(shù)在骨科的應(yīng)用現(xiàn)狀及前景

段昱宇 張加堯 葉哲偉

隨著人口老齡化，骨科疾病的患病率呈增長趨勢，其中以創(chuàng)傷、脊柱、關(guān)節(jié)、骨腫瘤等病人較為多見。如何精準(zhǔn)醫(yī)療在骨科領(lǐng)域受到廣泛關(guān)注。智能醫(yī)學(xué)的發(fā)展顛覆了傳統(tǒng)的醫(yī)療手段。增強(qiáng)現(xiàn)實(augmented reality，AR)技術(shù)是智能醫(yī)學(xué)中的一個分支，是一個多學(xué)科交叉的新興研究領(lǐng)域，其借助顯示技術(shù)、交互技術(shù)、傳感技術(shù)和計算機(jī)圖形技術(shù)將計算機(jī)生成的增強(qiáng)信息和操作者周圍的物理環(huán)境融為一體，使操作者從感官上信任虛擬信息是其周圍環(huán)境的一部分，其在骨科領(lǐng)域的輔助診斷、術(shù)前規(guī)劃、手術(shù)導(dǎo)航、術(shù)后康復(fù)、臨床教學(xué)上發(fā)揮重要作用。

一、AR的關(guān)鍵技術(shù)

AR系統(tǒng)的工作形式是首先對圖像進(jìn)行虛擬建模，再對虛擬圖像與真實環(huán)境的進(jìn)行精確匹配，最后將圖像增強(qiáng)的顯示出來。完成上述過程則需要三大關(guān)鍵技術(shù)的支撐。

1.跟蹤注冊技術(shù)：是AR技術(shù)中最為關(guān)鍵的技術(shù)，注冊是指將虛擬場景準(zhǔn)確定位到真實環(huán)境中的過程，跟蹤則是系統(tǒng)在真實場景中根據(jù)目標(biāo)位置的變化來實時獲取傳感器位姿，并按照使用者的當(dāng)前視角重新建立空間坐標(biāo)系并將虛擬場景渲染到真實環(huán)境中準(zhǔn)確位置的過程?，F(xiàn)如今跟蹤注冊技術(shù)可分為以下三類：基于傳感器的跟蹤注冊、基于計算機(jī)視覺的跟蹤注冊、綜合視覺與傳感器的跟蹤注冊技術(shù)，基于跟蹤注冊技術(shù)中不同的算法性能將直接決定著AR系統(tǒng)最后的使用效果。

2.顯示技術(shù)：是將計算機(jī)生成的虛擬圖像與使用者所處的真實環(huán)境融合起來。一款完整的AR顯示技術(shù)是需要硬軟件協(xié)同完成的，現(xiàn)已有頭戴式顯示器、計算機(jī)顯示設(shè)備、手持式移動顯示設(shè)備、投影式現(xiàn)實設(shè)備等。

3.智能交互：在AR技術(shù)中實現(xiàn)人機(jī)交互，也是該項技術(shù)的優(yōu)勢所在，從基于傳統(tǒng)的硬件設(shè)備的交互技術(shù)(鼠標(biāo)、鍵盤等)到語音識別的交互技術(shù) 、觸控的交互技術(shù) 、動作識別的交互技術(shù)、眼動追蹤的交互技術(shù)等，人機(jī)交互技術(shù)的發(fā)展將為AR技術(shù)打開更為廣闊的應(yīng)用前景[1]。

二、AR技術(shù)骨科應(yīng)用前景

1.輔助診斷：在骨科診治過程中，較為常見的輔助診斷是使用操作簡單、費(fèi)用相對低廉的的二維影像資料，面對較為復(fù)雜的骨科疾病，尤其是受到體位、異物、個人因素等影響時，不僅診斷準(zhǔn)確率降低，還有可能面臨漏診隱匿性、微小損傷的問題。AR技術(shù)為骨科醫(yī)生提供良好的診斷幫助，將傳統(tǒng)的影像學(xué)數(shù)據(jù)導(dǎo)入AR系統(tǒng)，它將生成更為客觀、精準(zhǔn)和個體化的三維模型，同時對相關(guān)解剖結(jié)構(gòu)進(jìn)行顏色區(qū)別和標(biāo)記，比如脊髓、神經(jīng)、血管。建立的虛擬三維模型可提供給操作者進(jìn)行旋轉(zhuǎn)、縮放、標(biāo)記、切割、融合，多用戶可同時使用。Berhouet等[2]基于AR技術(shù)建立關(guān)節(jié)盂數(shù)據(jù)庫，通過病理關(guān)節(jié)盂的三維圖像繪制與“健康”的通用關(guān)節(jié)盂庫進(jìn)行對比，這種方法獲取了更多信息，例如由于病理過程消失的病變前的肩胛盂，還有手術(shù)過程因某些原因隱藏的肩胛骨面。通過AR輔助診斷系統(tǒng)，醫(yī)生能夠更直觀和系統(tǒng)地獲得病人信息，提高確診效率。

2.骨科手術(shù)：(1)術(shù)前規(guī)劃：在傳統(tǒng)的術(shù)前規(guī)劃時，醫(yī)生在術(shù)前只能分析大量扁平化的醫(yī)學(xué)影像學(xué)資料，例如在脊柱周圍有著重要的解剖結(jié)構(gòu)，通過二維影像，術(shù)前是難以系統(tǒng)整合以及建立立體化的認(rèn)識，易造成術(shù)前計劃不夠完善，手術(shù)過程中輔助透視次數(shù)就會增加，風(fēng)險性、安全性受到影響，同時也不益于醫(yī)護(hù)工作者之間的交流與學(xué)習(xí)。AR技術(shù)術(shù)前規(guī)劃系統(tǒng)，采取圖像分割和三維可視化的技術(shù)手段對病人的二維影像學(xué)資料進(jìn)行繪制和處理，實現(xiàn)術(shù)前高質(zhì)量的圖像信息呈現(xiàn)，同時也可使用三維模型的虛擬切割功能，進(jìn)行反復(fù)的模擬訓(xùn)練和交流。進(jìn)一步的優(yōu)化手術(shù)方案，提高了手術(shù)效率，減少了輻射的危害。徐律[3]運(yùn)用術(shù)前導(dǎo)航系統(tǒng)通過繪制重要解剖部位的三維重建模型，在術(shù)前設(shè)計最優(yōu)的螺釘植入路徑，避開血管等重要解剖位置，術(shù)后評價反應(yīng)良好。(2)術(shù)中引導(dǎo)：手術(shù)導(dǎo)航系統(tǒng)的諸多優(yōu)勢使在各醫(yī)學(xué)領(lǐng)域應(yīng)用十分廣泛，現(xiàn)在較為常見的是紅外線光學(xué)定位跟蹤儀的手術(shù)導(dǎo)航系統(tǒng)，但是傳統(tǒng)的導(dǎo)航系統(tǒng)在面對手術(shù)過程中出現(xiàn)移位、變形等問題上并不能進(jìn)行智能實時的定位跟蹤且更新信息，配準(zhǔn)也不夠精準(zhǔn)，繼而影響手術(shù)的順利進(jìn)行[4-6]。AR導(dǎo)航系統(tǒng)的出現(xiàn)解決了傳統(tǒng)的設(shè)備問題，最早將AR技術(shù)應(yīng)用于手術(shù)導(dǎo)航系統(tǒng)的是日本東京大學(xué)廖洪恩教授，實現(xiàn)了基于AR的立體空間透視手術(shù)導(dǎo)航，虛擬腦部解剖圖像的與病人人腦進(jìn)行精確疊加，并且始終與病人保持一致。通過逐年技術(shù)革新，逐漸向可穿戴裝置上發(fā)展，出現(xiàn)了頭戴式、PC端的AR導(dǎo)航設(shè)備。目前在骨科的不同專業(yè)手術(shù)中有所運(yùn)用：①脊柱外科：美國Philips公司發(fā)布了基于AR技術(shù)的手術(shù)導(dǎo)航系統(tǒng)(augmented reality surgical navigation，ARSN)。 ARSN包括手術(shù)臺，具有術(shù)中2D/3D成像功能的機(jī)動化的C形臂射線機(jī)，用于AR導(dǎo)航的集成光學(xué)攝像頭和無創(chuàng)的病人運(yùn)動跟蹤。通過對尸體的94枚椎弓根釘置入的實驗表明，ARSN的整體準(zhǔn)確率優(yōu)于徒手操作(85% 和 64%)[7]。②骨腫瘤：骨腫瘤復(fù)雜的病變位置、安全邊界的精確把控、術(shù)中切除位置選擇這都是骨腫瘤手術(shù)中所面臨的難點(diǎn)[8]。Cho等[9]針對這些問題開發(fā)研制了一款基于AR技術(shù)的骨腫瘤切除導(dǎo)航系統(tǒng)，該系統(tǒng)通過單攝像頭采集影像進(jìn)行的成對點(diǎn)配準(zhǔn)，在真實圖像上疊加虛擬圖像來顯示腫瘤的范圍并運(yùn)用在PC端，有效地簡化了傳統(tǒng)復(fù)雜手術(shù)導(dǎo)航系統(tǒng)。通過36例骨腫瘤模型在豬盆腔內(nèi)進(jìn)行腫瘤切除，AR技術(shù)輔助切除組所有標(biāo)本的誤差均<6 mm，明顯優(yōu)于常規(guī)組。 ③關(guān)節(jié)外科：如何在關(guān)節(jié)置換術(shù)中提高放置的準(zhǔn)確度，減少并發(fā)癥，外科醫(yī)生除了精準(zhǔn)操作技能外，輔助手術(shù)的導(dǎo)航工具也發(fā)揮著重要作用。Fotouhi等[10]開發(fā)了一款新型的三維AR技術(shù)的術(shù)中導(dǎo)航系統(tǒng)，術(shù)中運(yùn)用裝有深度攝像機(jī)的C臂機(jī)，在骨盆上疊加虛擬圖像輔助放置髖臼部件。經(jīng)過臨床4位醫(yī)生的測試對比，發(fā)現(xiàn)使用該系統(tǒng)定位的誤差程度小于傳統(tǒng)導(dǎo)航系統(tǒng)。根據(jù)文獻(xiàn)報道分析，基于AR技術(shù)的手術(shù)導(dǎo)航技術(shù)還處于摸索階段，但是近年來已成為全球的醫(yī)療焦點(diǎn)。如何將AR導(dǎo)航技術(shù)合理與臨床相結(jié)合，不僅需要技術(shù)人員的技術(shù)優(yōu)化、開發(fā)，同時也需要臨床醫(yī)生經(jīng)驗實踐輔助。創(chuàng)建更優(yōu)質(zhì)的臨床輔助工具，提高手術(shù)療效，是每位臨床工作者的夙愿[8]。

3.術(shù)后康復(fù)：20世紀(jì)90年代以來，有關(guān)虛擬現(xiàn)實系統(tǒng)輔助康復(fù)訓(xùn)練被評估為是有可行性和有效性的， AR技術(shù)也在康復(fù)訓(xùn)練中被廣泛運(yùn)用。因為每位病人疾病特點(diǎn)以及個人因素不同，所需的場景和視覺元素差異明顯，AR技術(shù)可根據(jù)康復(fù)病人自身特點(diǎn)定制訓(xùn)練方式和計劃，通過系統(tǒng)生成的虛擬圖像嵌入實景空間中，形成虛實融合的AR環(huán)境，使用者在該環(huán)境中通過交互設(shè)備進(jìn)行康復(fù)訓(xùn)練，反復(fù)訓(xùn)練后再遷移到真實環(huán)境中。Chalmers科技大學(xué)的Max Ortiz Catalan于2014年首次提出AR康復(fù)治療方法治療慢性幻肢痛的截肢者病人，通過給病人佩戴肌電傳感器，虛擬肢體直接對殘肢的肌電活動作出反應(yīng)同時AR技術(shù)提高肢體恢復(fù)的錯覺，病人虛體肢體顯示從緊握逐漸過渡到伸展?fàn)顟B(tài)。病人表示干預(yù)效果是積極和明顯的，雖然是單個事例，但提示該項系統(tǒng)有應(yīng)用價值[11]。 Luo 等[12]開發(fā)了一款A(yù)R的輔助裝置，通過系統(tǒng)模擬了病人的真實生活環(huán)境，利用視覺算法定位并跟蹤病人手部完成任務(wù)的情況，在家或者康復(fù)中心都可以進(jìn)行手臂的康復(fù)訓(xùn)練，治療師也能定期查看恢復(fù)狀況。

4.骨科教學(xué)：骨科是一門專業(yè)性強(qiáng)，分科廣，理論、技術(shù)更新快的學(xué)科，學(xué)生普遍反應(yīng)學(xué)習(xí)骨科較為困難，又由于骨科在外科教學(xué)體系占比較大，臨床教學(xué)培訓(xùn)尤為重要。使用AR技術(shù)輔助骨科教學(xué)，提升學(xué)習(xí)者的學(xué)習(xí)積極性和學(xué)習(xí)效率。(1)骨科基礎(chǔ)知識學(xué)習(xí)：醫(yī)學(xué)生長期以來是需要進(jìn)行大量的系統(tǒng)化以及標(biāo)準(zhǔn)化的理論學(xué)習(xí)，面對復(fù)雜的骨科知識缺乏熱情和主動性，這造成了一定教學(xué)困境。借助AR技術(shù)將枯燥的醫(yī)學(xué)知識進(jìn)行可視化，生成集視、聽、觸為一體的教學(xué)模型，清晰地展現(xiàn)在學(xué)習(xí)者的面前。比如解剖知識的學(xué)習(xí)，基于AR技術(shù)的T恤衫、骨科標(biāo)本幫助學(xué)生更好認(rèn)清解剖的細(xì)節(jié)，運(yùn)用相關(guān)應(yīng)用程序也可進(jìn)行隨時回顧，師生間也可進(jìn)行互動[13-15]。(2)臨床教學(xué)：臨床醫(yī)生培養(yǎng)需要大量系統(tǒng)化、標(biāo)準(zhǔn)化的訓(xùn)練以及實踐。面對醫(yī)患的微妙關(guān)系、醫(yī)源性損傷、師資力量匱乏等一系列問題，傳統(tǒng)的臨床教學(xué)較難推進(jìn)。在教學(xué)過程與增強(qiáng)技術(shù)相結(jié)合發(fā)揮優(yōu)勢和特點(diǎn)可解開傳統(tǒng)臨床教學(xué)所面臨的問題。例如外科手術(shù)的操作訓(xùn)練，運(yùn)用AR技術(shù)可穿戴設(shè)備，進(jìn)行手術(shù)的模擬，系統(tǒng)會自動給予評價進(jìn)行改善，訓(xùn)練也可反復(fù)進(jìn)行[16-17]。

三、遠(yuǎn)程醫(yī)療

我國醫(yī)療資源分配極不平均，80%集中在大中城市。這導(dǎo)致看病難，看病貴，人才流失等問題的出現(xiàn)。面對醫(yī)療分配不均或突發(fā)產(chǎn)生醫(yī)療困境，遠(yuǎn)程醫(yī)療系統(tǒng)能夠發(fā)揮重要作用。遠(yuǎn)程醫(yī)療系統(tǒng)是依托著計算機(jī)，衛(wèi)星通信，遙感、遙測和遙控等高新技術(shù)，提供遠(yuǎn)距離的醫(yī)療服務(wù)和醫(yī)學(xué)教育，與AR技術(shù)的結(jié)合則產(chǎn)生了一種新型的交互模式，使遠(yuǎn)程醫(yī)療更加多元化。此次新型冠狀病毒疫情防控期間，5G遠(yuǎn)程AR視頻實時會診系統(tǒng)得到應(yīng)用，遠(yuǎn)程專家可以將手勢、文字、圖像、視頻等醫(yī)療指令信息，實時傳遞給現(xiàn)場搶救的醫(yī)護(hù)人員，使醫(yī)療指令可以更好地量化傳達(dá)，提高會診精確性[18]。新型AR遠(yuǎn)程醫(yī)療系統(tǒng)支持音視頻信號實時交互、視頻融合、病情/醫(yī)療信息AR顯示、醫(yī)療指令A(yù)R量化傳達(dá)，可以在無人值守時持續(xù)實時監(jiān)控并實現(xiàn)視頻通話、廣播、報警等功能。在遠(yuǎn)程醫(yī)療的有效應(yīng)用也延展了AR技術(shù)應(yīng)用前景，為我國醫(yī)療行業(yè)起到更為積極作用[19]。

四、展望

在智能醫(yī)學(xué)迅速發(fā)展的大環(huán)境下，大數(shù)據(jù)、醫(yī)用機(jī)器人、5G遠(yuǎn)程醫(yī)療等將進(jìn)一步拓寬AR技術(shù)的前景。同時AR技術(shù)的研究與發(fā)展也面臨嚴(yán)峻挑戰(zhàn)：第一，缺少海量的數(shù)據(jù)積累和技術(shù)創(chuàng)新；第二，尚未建立完善的評估體系；第三，如何讓AR技術(shù)與其他現(xiàn)代技術(shù)同步進(jìn)行發(fā)揮更大價值；第四，醫(yī)-工類專業(yè)人才的缺口較大。但這同樣是機(jī)遇和趨勢，AR技術(shù)運(yùn)用于骨科領(lǐng)域，這將對輔助診斷、術(shù)前規(guī)劃、手術(shù)導(dǎo)航、術(shù)后康復(fù)、臨床教學(xué)、遠(yuǎn)程醫(yī)療等方面帶來顛覆式的變化，這將大大節(jié)省人力和社會資源，帶來可觀的經(jīng)濟(jì)社會效益。相信隨著AR技術(shù)的不斷進(jìn)步，它將是骨科精準(zhǔn)醫(yī)療以及提升醫(yī)療服務(wù)水平的主力軍。