張艷賢 徐子海
計算機視覺是一門新興學(xué)科,主要研究如何通過攝像機和計算機的連接獲取拍攝對象的數(shù)據(jù)和信息,即利用計算機模擬和延伸人的視覺功能,通過獲取二維圖像來識別與重構(gòu)三維環(huán)境信息,不僅包括物體的形狀、大小等表面特性,還包括位置、空間運動參數(shù)等動態(tài)信息,并能對以上信息進(jìn)行分析、處理、利用及存儲。
近年來,有學(xué)者將其應(yīng)用于放射治療過程中,可協(xié)助糾正患者體位誤差、監(jiān)測患者體位變化并協(xié)助呼吸門控開關(guān)起作用,全程充當(dāng)“醫(yī)師助手”,在提高治療精確度的同時簡化放射治療擺位驗證流程,展現(xiàn)出極大的臨床應(yīng)用潛力。通過重點介紹近年來計算機視覺系統(tǒng)在腫瘤放射治療擺位糾正中的研究現(xiàn)狀與發(fā)展,分析其優(yōu)缺點,探討其臨床實用價值。
放射治療是腫瘤的三大治療手段之一,約有70%的腫瘤患者需在治療過程中接受放射治療。放射治療靶區(qū)的劑量高低決定腫瘤的局部控制率,而在治療過程中,機器誤差、擺位誤差及固定技術(shù)等外部因素,以及患者呼吸運動、體位、體重變化、腫瘤自身消退、腫瘤周圍正常組織器官運動及充盈程度等患者自身因素引起的位置變化均會影響靶區(qū)受照劑量的準(zhǔn)確性,影響治療效果。其中,對靶區(qū)位置變化影響最大的因素為呼吸運動,故呼吸運動的跟蹤和建模有利于在外照射過程中精確制定治療計劃及計算劑量[1-2]。
目前,臨床常用的減少由呼吸運動引起誤差的方法有屏氣技術(shù)、實時腫瘤跟蹤技術(shù)及呼吸門控技術(shù)等,皆高度依賴X射線攝影和(或)透視成像,會增加患者受射線照射的頻率,且定位的標(biāo)志物多采用在患者體表或固定體模上做標(biāo)記,甚至手術(shù)植入金屬標(biāo)志物,為患者帶來不便[3-6]。
在患者定位過程中應(yīng)用計算機視覺系統(tǒng),采用非接觸測量手段即可得到準(zhǔn)確的測量結(jié)果[7-9]。在治療前依據(jù)計算機視覺系統(tǒng)探測的數(shù)據(jù)對擺位情況做出精確快速調(diào)整,還可通過實時監(jiān)測記錄腫瘤在放射治療過程中隨呼吸運動的位移情況,為患者提供精確可靠的擺位誤差信息,以評判放射治療計劃的優(yōu)劣及重新計劃的必要性,同時為靶區(qū)外擴大小提供數(shù)據(jù)參考,提高擺位精度,強化治療效果。
自20世紀(jì)70年代以來,計算機視覺技術(shù)從處理簡單的二維圖像到研究復(fù)雜的三維視覺原理、模型及算法,至今已形成一套獨立的計算理論與算法,該技術(shù)涉及多門學(xué)科交叉,在圖像處理、數(shù)學(xué)、人工智能(artificial intelligence,AI)及醫(yī)療等領(lǐng)域應(yīng)用廣泛。
光學(xué)成像技術(shù)是計算機視覺技術(shù)的分支之一,在放射治療領(lǐng)域已開發(fā)出一套基于可見光的表面掃描系統(tǒng)[10]。利用此類系統(tǒng)對患者體表進(jìn)行光學(xué)掃描跟蹤,并通過計算機軟件與實時獲得的體表影像匹配,將匹配結(jié)果以不同顏色投影到患者體表,可協(xié)助技術(shù)員根據(jù)投影顏色差異及時糾正患者體位誤差。還實時監(jiān)測患者體位隨其呼吸、運動等變化的情況,并協(xié)助呼吸門控開關(guān)起作用,提高治療精確度,簡化擺位驗證流程。
目前,計算機視覺系統(tǒng)中應(yīng)用的圖像視頻采集系統(tǒng)主要由電荷耦合器件(charge-coupled device,CCD)攝像頭和采集卡組成。隨著電子科技的發(fā)展,數(shù)字?jǐn)z像機以其圖像質(zhì)量佳、畫面失落少、記錄密度高、可靠性高、機器體積小及使用成本低等諸多優(yōu)點得到迅速推廣使用,其采集圖像的過程可概括為:光源照明條件下,數(shù)字?jǐn)z像機拍攝目標(biāo)物體后將圖像信號轉(zhuǎn)變成光電信號,通過串行接口傳輸?shù)接嬎銠C進(jìn)行處理。
在放射治療過程中,可通過計算機視覺技術(shù)實時獲取患者體表標(biāo)記物的三維空間坐標(biāo),將信息傳遞給反向跟蹤平臺系統(tǒng),實時監(jiān)測人體在治療過程中的位置變化情況,視覺實時測量系統(tǒng)見圖1。
臨床中最常采用在患者體表設(shè)置標(biāo)記的方式,以保證預(yù)測腫瘤位置的準(zhǔn)確性及患者放射治療體位的可重復(fù)性,且標(biāo)記的位置多根據(jù)經(jīng)驗選擇。為實現(xiàn)智能地選擇與腫瘤位置具有最佳相關(guān)性的體表標(biāo)記位置,Miandoab等[12]使用典型相關(guān)分析(canonical correlation analysis,CCA)和主成分分析(principal component analysis,PCA)兩種輸入算法,與自適應(yīng)神經(jīng)模糊推理系統(tǒng)(adaptive network-based fuzzy inference system,ANFIS)結(jié)合,制作出相關(guān)模型,輸出患者定位信息。結(jié)果表明,以上兩種輸入算法能合理地從給定區(qū)域選擇與腫瘤位置具有最佳相關(guān)性的體表標(biāo)記位置。
圖1 視覺實時測量系統(tǒng)框圖
目前,用于監(jiān)測放射治療過程中患者位置變化的計算機視覺系統(tǒng)測量精度已基本能達(dá)到亞毫米級,常見的計算機視覺系統(tǒng)在測量精度方面的研究有Kinect攝像機、RGB-D攝像機、Madibreast系統(tǒng)及Catalyst光學(xué)系統(tǒng)等。
為實時監(jiān)控患者移動狀況并幫助其重新定位,有學(xué)者應(yīng)用微軟公司旗下的Kinect攝像機對患者定位及呼吸觸發(fā)情況進(jìn)行深入研究。其中,Rihana等[13]應(yīng)用基于2臺Kinect攝像機的視覺放射治療(vision radiation therapy,VRT)系統(tǒng),利用其可同步產(chǎn)生彩色及深度數(shù)據(jù)信息的特點,分別對靜態(tài)模體、動態(tài)模體進(jìn)行測量,評估Kinect檢測患者呼吸信號的能力。研究顯示,Kinect攝像機測量距離其800~1000 mm的物體誤差<1 mm。同時,其檢測到的呼吸信號與目前臨床常用設(shè)備Alice6檢測到信號的相似度達(dá)85%。Kinect具有構(gòu)建患者表面三維視圖和實時監(jiān)控運動的功能。Kinect攝像機構(gòu)成見圖2。
圖2 Kinect攝像機結(jié)構(gòu)示意圖
與臨床常用的減少擺位誤差的屏氣技術(shù)、X射線透視及呼吸門控技術(shù)等相比,RGB-D攝像機無需接觸患者即可提供目標(biāo)表面的實時深度信息,并可將該信息用于呼吸運動測量。Wijenayake等[14]基于此提出了新的呼吸運動跟蹤方法:通過RGB-D攝像機連續(xù)捕獲患者胸壁的深度圖像,利用PCA創(chuàng)建患者呼吸運動模型,以消除輸入深度數(shù)據(jù)的空間和時間噪聲。然后利用從RGB-D攝像機獲取的深度數(shù)據(jù)實時測量外部呼吸運動,精度可達(dá)0.5 mm。此外,引入一種基于標(biāo)記的深度配準(zhǔn)技術(shù),將測量區(qū)域限制在與解剖學(xué)上一致的區(qū)域,幫助處理治療期間患者的運動。為分析所提出方法的運動,將其與傳統(tǒng)肺活量計對比,相關(guān)系數(shù)為0.97,與以高精度著稱的激光線掃描技術(shù)對比,平均誤差僅為0.53 mm,測量精度效果相當(dāng)。研究表明,與基于標(biāo)記的方法對比,RGB-D攝像機空間分辨率高且提供整個目標(biāo)表面的深度信息,不僅可測量整個胸壁運動,還可測量區(qū)域運動,未來有望應(yīng)用該模型描述內(nèi)部腫瘤的運動。
Leduc等[15]設(shè)計一套基于計算機視覺的呼吸監(jiān)測和處理系統(tǒng),稱為Madibreast,其圖像分辨率在4 m內(nèi)可實現(xiàn)實時亞毫米級。該系統(tǒng)選用2臺攝像機,將攝像機1設(shè)置于患者側(cè)面,監(jiān)視乳房外部的前后運動和上下運動;攝像機2設(shè)置于天花板,監(jiān)視乳房前表面的左右運動和上下運動。為保證直線加速器的手臂正常轉(zhuǎn)動,所有攝像機的位置均需距離患者至少2~3 m。Madibreast系統(tǒng)見圖3。
圖3 Madibreast系統(tǒng)示意圖
Leduc等[15]利用開源計算機視覺庫(open computer vision library,Open CV)開發(fā)一套光學(xué)跟蹤系統(tǒng)。系統(tǒng)由基于計算機視覺算法的特定軟件驅(qū)動,可光學(xué)跟蹤高對比度標(biāo)記,并在用戶界面顯示實時運動和數(shù)據(jù)。為驗證Madibreast系統(tǒng)的空間和時間準(zhǔn)確性,研究者設(shè)計一個可模擬各種范圍胸部運動的機械模型,然后通過在模型和志愿者乳房上設(shè)置高對比度標(biāo)記,對不同呼吸模式下Madibreast系統(tǒng)的跟蹤精度進(jìn)行驗證。
數(shù)據(jù)顯示,志愿者乳房皮膚前后運動與上下運動存在明顯差異。盡管正常呼吸模式的運動差異<1 mm,但呼吸困難模式的運動差異最大為4 mm。Madibreast系統(tǒng)可跟蹤乳房不同位置上以各種幅度和呼吸頻率運動的標(biāo)記,通過直觀地顯示標(biāo)記的即時軌跡實時監(jiān)控,及時糾正位移偏差,顯示出0.5 mm的精度和可接受的潛伏期(延遲時間<100 ms)。Madibreast系統(tǒng)還可在皮膚上設(shè)置多個標(biāo)記,以增加標(biāo)記與實際腫瘤位置的相關(guān)性。
該系統(tǒng)的局限性在于當(dāng)光照不足以及呼吸模式非常快時,跟蹤就會失敗。此外,延遲時間會隨著CPU占用的增加而增加。
Catalyst光學(xué)系統(tǒng)是使用可見光投影儀和CCD相機的一種新型掃描設(shè)備,安裝于直線加速器治療臺腳底上方的天花板,通過3個LED將波長為405 nm(藍(lán)色),528 nm(綠色)和624 nm(紅色)的光投射到患者體表。其中,藍(lán)光為掃描患者的測量光,系統(tǒng)通過藍(lán)光檢測出患者的局部位移后,將位移結(jié)果以綠光、紅光的形式直接投影到患者體表,用于顯示實際掃描與參考掃描不匹配的位移區(qū)域,直觀展現(xiàn)患者的位移偏差。該系統(tǒng)同時具有監(jiān)視功能,可檢測患者在治療過程中的呼吸運動。Catalyst光學(xué)系統(tǒng)見圖4。
圖4 Catalyst光學(xué)系統(tǒng)示意圖
Stieler等[11]在帶有錐形束X射線計算機斷層掃描(cone-beam computed tomography,CBCT)的直線加速器室,額外安裝一套Catalyst光學(xué)系統(tǒng),將基于Catalyst光學(xué)系統(tǒng)表面匹配的患者定位數(shù)據(jù)與基于CBCT匹配的患者定位數(shù)據(jù)進(jìn)行比較,驗證Catalyst光學(xué)系統(tǒng)的掃描質(zhì)量及可重復(fù)性,對其臨床性能進(jìn)行評估。CBCT和Catalyst測量所得數(shù)據(jù)間的總體平均偏差保持在1.5 mm和0.4 °以內(nèi),標(biāo)準(zhǔn)偏差在4 mm和1.7 °以內(nèi),所有患者Catalyst位移與CBCT測量的偏差≤1 cm。
在體位可重復(fù)性上,Catalyst光學(xué)系統(tǒng)與CBCT具有較好一致性。Catalyst還能在不影響放射治療的同時對患者的整個治療過程進(jìn)行監(jiān)測,CBCT只能在每次治療前進(jìn)行位置修正,治療過程中無法做到實時監(jiān)測。臨床應(yīng)用中,可引入Catalyst光學(xué)系統(tǒng)以減少CBCT的掃描頻率,且Catalyst的監(jiān)視功能還能使分次定位誤差最小化。
Barbés等[16]利用2臺攝像機拍攝二維平面圖像,組建三維視覺空間,獲得空間點的三維位置信息,以此開發(fā)并測試一套定位和跟蹤空間中的點的新系統(tǒng),可自動測量物體表面所設(shè)立標(biāo)志物的三維空間坐標(biāo),并監(jiān)測標(biāo)志物的線性和旋轉(zhuǎn)位移軌跡。如跟蹤患者體表一個或多個區(qū)域的運動,只需在區(qū)域上粘貼標(biāo)記并啟動程序,用該系統(tǒng)測量標(biāo)記的位移,并計算實際位置和測量位置之間的差異。
Barbés等[16]應(yīng)用該系統(tǒng)跟蹤患者體表的461個點,顯示其在三維空間方向上的跟蹤誤差<0.3 mm。同時,監(jiān)測周期性運動的精度達(dá)0.5 mm,旋轉(zhuǎn)運動速度達(dá)11.5 cm/s,跟蹤呼吸運動的精確度類似于其他更復(fù)雜的商業(yè)系統(tǒng),且在操作上不會增加治療時間及患者不適感。該系統(tǒng)可跟蹤身體任何部位的平移和旋轉(zhuǎn)運動,跟蹤點的數(shù)量不受限,校準(zhǔn)過程簡單快捷,約1 min,如移動攝像機只需重新校準(zhǔn)即可。
目前,該系統(tǒng)的可靠性和準(zhǔn)確性已得到開發(fā)者驗證,并在臨床應(yīng)用中被證實其對于實施放射治療的實時質(zhì)量控制是有效的,可在放射治療過程中檢測患者位置偏差情況,如偏差超過某固定閾值則會發(fā)出警告,提醒操作者,如檢測到較大幅度的運動,可觸發(fā)直線加速器停止放射。
Belcher等[17]設(shè)計制作一個能由6個自由度(6 degree of freedom,6DOF)運動的機械平臺,可在6DOF工作空間內(nèi)進(jìn)行亞毫米及亞度精度的運動,利用該平臺驗證常用的計算機視覺跟蹤系統(tǒng)的準(zhǔn)確性。平臺在6DOF空間的運動軌跡是預(yù)知的,將模體固定在平臺上,利用計算機視覺系統(tǒng)對模體6DOF位置進(jìn)行跟蹤,將計算機視覺系統(tǒng)測得的模體的位置坐標(biāo)與平臺預(yù)先設(shè)定好的位置坐標(biāo)進(jìn)行比較,結(jié)果顯示,計算機視覺系統(tǒng)6DOF位置跟蹤最大均方根誤差沿X軸、Y軸和Z軸平移分別為0.46 mm、0.60 mm和0.54 mm;繞X軸、Y軸和Z軸旋轉(zhuǎn)分別為0.06 °、0.11 °和0.08 °?;诖怂降钠揭坪托D(zhuǎn)精度,所觀察到的計算機視覺系統(tǒng)可能在亞毫米和亞度級別對放射治療患者的運動進(jìn)行有效監(jiān)控。
AI是研究在計算機環(huán)境下模擬及延伸人的智能行為的技術(shù),以多種智能技術(shù)為基礎(chǔ)。計算機視覺可視為AI的一個分支,屬于模擬人類感知行為的應(yīng)用研究,即計算機視覺系統(tǒng)的發(fā)展可歸屬于AI應(yīng)用的發(fā)展。傳統(tǒng)的AI智能的實現(xiàn)依賴于邏輯符號模擬人腦邏輯思維,而計算機視覺系統(tǒng)是通過數(shù)字信息或概率統(tǒng)計技術(shù)識別物體,模擬人的視覺功能[18-19]。視覺計算理論的基礎(chǔ)包括AI理論,AI的發(fā)展離不開計算機科學(xué)技術(shù)的發(fā)展,兩者相輔相成,共同促進(jìn)計算機視覺系統(tǒng)向更加實用及復(fù)雜的技術(shù)研究進(jìn)展[18]。
計算機視覺系統(tǒng)作為AI中相對獨立的功能模塊,大部分尚未充分發(fā)揮智能監(jiān)控作用,若將AI技術(shù)更多應(yīng)用于現(xiàn)有的計算機視覺系統(tǒng),使之更加智能,預(yù)計將更明顯的提升監(jiān)控效果,減少安全隱患及人力物力消耗[19]。但目前對AI的研究尚處于初級階段,在醫(yī)學(xué)領(lǐng)域的應(yīng)用仍較少,計算機智能視覺系統(tǒng)面臨許多待解決的難題,需更多研究和探索打破其技術(shù)困境和局限性。
擺位重復(fù)性是對腫瘤放射治療準(zhǔn)確性和安全性的挑戰(zhàn)。目前,市場上用于擺位驗證與校準(zhǔn)的各種商業(yè)系統(tǒng)費用較為昂貴,計算機視覺系統(tǒng)可突破醫(yī)院臨床放射治療中心的設(shè)備硬件及人員技術(shù)等條件限制,為不具備圖像引導(dǎo)設(shè)備的醫(yī)院提供擺位驗證服務(wù)。醫(yī)院也可在原有驗證設(shè)備基礎(chǔ)上附加一套計算機視覺系統(tǒng),實現(xiàn)雙重保障,達(dá)成更直觀的擺位驗證及校準(zhǔn),還可實時監(jiān)測記錄腫瘤隨呼吸運動的位移情況,為靶區(qū)擺位擴邊提供數(shù)據(jù)參考。
在放射治療過程中運用計算機視覺系統(tǒng)進(jìn)行患者體位運動監(jiān)測具有下列優(yōu)點:①系統(tǒng)結(jié)構(gòu)簡單,測量裝置易于移動和重新校準(zhǔn),靈活性及便攜性強;②與X射線計算機斷層掃描和磁共振成像技術(shù)相比,患者接收額外劑量的輻射減少;③可實時獲取患者體表位置信息,精度高;④非接觸式光學(xué)方法,無創(chuàng)且成本低,數(shù)據(jù)收集不引起患者的任何不適,無跟蹤時間限制,即不延誤治療也不干擾患者周圍的物體,為患者提供舒適高效的治療,便于臨床推廣應(yīng)用。
目前,AI理論已逐步應(yīng)用于實踐,在醫(yī)療領(lǐng)域的應(yīng)用成果不斷,但仍存在如下問題:①計算模型算法存在冗余,需不斷改進(jìn)算法以求更簡便、快速及精確;②測量工具存在微小硬件誤差或小運動,導(dǎo)致可用方案之間存在差異;③能測量1個表面6DOF的系統(tǒng)較少;④與AI技術(shù)結(jié)合不足。
隨著科技進(jìn)步、計算機和電子技術(shù)的發(fā)展,結(jié)合AI的研究成果和經(jīng)驗,計算機視覺系統(tǒng)的理論框架將進(jìn)一步完善,其分辨率、圖像處理能力和分析能力等將不斷增強,在臨床實際應(yīng)用中發(fā)揮更大作用,AI也會更好為人類服務(wù)。