醫(yī)學圖像信息可視化關鍵技術研究與探討

郭藝輝

(廣東金融學院 互聯網金融與信息工程學院, 廣州 廣東 510521)

0 引言

科學計算可視化(Visualization in Scientific Computing）是指應用計算機圖形學和圖像處理的各種方法，將科學計算過程中產生的各種數據和計算結果轉換為圖形或圖像在計算機屏幕上加以顯示的技術。隨著我國計算機相關技術的發(fā)展，科學計算可視化的技術內涵也得到了進一步的擴展，它不但包括科學計算處理數據的可視化，而且包括測量數據的可視化。目前，在數字醫(yī)學應用領域，基于計算機斷層測量數據的3D數字可視化成為科學計算可視化最為活躍的研究領域之一。

在醫(yī)學成像研究與臨床診斷領域存在著大量的經由計算機斷層掃描技術（Computed Tomography, CT）、核磁共振成像技術（Magnetic Resonance Imaging, MRI）、正電子放射層析成像技術（Positron Emission Computed Tomography, PET）、單光子輻射斷層攝像（Single-Photon Emission Computed Tomography, SPECT）、超聲（Ultrasound）和數字減影圖像（Digital subtraction angiography, DSA）等得到的二維數字醫(yī)學斷層序列圖像。醫(yī)生對于疾病的診斷往往是通過對二維醫(yī)學斷層掃描數據的分析，經由主觀經驗構建起器官立體結構。但是，這樣的診斷常常缺乏客觀性和準確度。二維醫(yī)學圖像三維數字可視化是指借助三維重建技術將二維序列圖像轉變?yōu)槿S立體模型，在計算機屏幕再現人體器官真實立體結構。三維數字醫(yī)學模型可以展示人體器官更加清晰的三維形態(tài)以及復雜的空間組織結構，可以幫助醫(yī)生做出更加準確的判斷。醫(yī)學圖像三維重建在醫(yī)學臨床有著廣泛的技術應用，目前其已被應用于醫(yī)學影像診斷和分析[1]、影像數據歸檔和信息通信處理系統(tǒng)（Picture Archiving and Communication Systems，PACS）、解剖三維影像重建[2]、虛擬醫(yī)學教學、手術規(guī)劃與導航、CT仿真、PET診斷、放射醫(yī)學診斷、放射科信息處理系統(tǒng)（Radiology Information System, RIS）、虛擬內窺鏡成像技術（Virtual Endoscope，VE）等?；跀鄬俞t(yī)學圖像的三維醫(yī)學數據可視化已經成為數字醫(yī)學領域的重要研究方向之一。

1 醫(yī)學圖像3D數字可視化關鍵技術分析

醫(yī)學圖像三維數字可視化歸根到底是各類算法的研究。尤其是自20世紀80年代美國以及我國正式啟動可視化人體計劃（Visible Human Project，VHP）以來，眾多學者在醫(yī)學圖像分割、醫(yī)學圖像融合、斷層數據三維重建以及網格處理等方面做了大量的工作，提出了眾多優(yōu)秀的算法，并且，新的算法近年來依然不斷涌現。

1.1 醫(yī)學圖像分割

醫(yī)學圖像分割[3]是數字醫(yī)學模型三維可視化實現的前提及關鍵步驟。目前，國內外廣泛應用的醫(yī)學圖像分割方法有基于區(qū)域的圖像分割法，包括區(qū)域生長和分裂合并法、閾值分割法、基于隨機場的方法、聚類算法與分類器算法等；基于邊緣的圖像分割法，包括基于追蹤的算法、基于邊界曲線擬合的方法、基于模型的算法以及并行微分算子法等；結合特定理論工具的方法，包括基于人工智能的、小波變換的、圖論的、統(tǒng)計學的、分形的、模糊粗糙集的以及基于數學形態(tài)學的方法等。近年來，針對醫(yī)學圖像分割不同的應用需求，又有眾多優(yōu)秀的分割算法被提出，例如，為解決醫(yī)學圖像具有噪聲大、圖像灰度不均勻分布以及組織邊緣模糊等問題，周力凱等人[4]提出了基于多尺度區(qū)域與類不確定性理論的閾值分割方法。劉辰等人[5]使用基于卷積神經網絡的醫(yī)學圖像分割方法將二維斷層序列圖像在矢、冠以及橫斷面三視圖下進行分割，然后將分割結果集成為最終結果。

1.2 醫(yī)學圖像融合

在成像過程中，病人由于可能使用了不同的成像技術，例如解剖形態(tài)成像（包括CT、MRI等）和功能代謝成像（包括PET、SPECT等）等進行了多次成像，因此同一個患者會產生多模態(tài)圖像。在一種圖像上不容易區(qū)分的結構，可能在另一種圖像上會很容易被區(qū)分開來。醫(yī)學圖像融合（Medical Image Fusion，MIF）[6]就是將多種醫(yī)學模式或同一醫(yī)學模式的多次成像，通過匹配融合的方法來實現醫(yī)學圖像上感興趣區(qū)的信息互補。

醫(yī)學圖像多模態(tài)融合技術實施之前有一個關鍵步驟就是配準。醫(yī)學配準技術主要有兩種：基于特征的配準以及基于灰度的配準?；谔卣鞯呐錅手饕ɑ邳c、曲線、曲面的配準；基于灰度的配準則不需要直接提取圖像特征，因此具有更高的魯棒性、自動性以及更高的精度。近年來，基于卷積神經網絡的深度學習技術在在醫(yī)學圖像配準方向也取得了矚目成績[7]。

醫(yī)學圖像融合方法主要包括特征級融合以及像素級融合。特征級融合[8]首先通過特征變換或特征選擇進行數據降維, 然后再對獲得的多個特征信息進行決策識別。目前常用的特征級醫(yī)學圖像融合方法包括：奇異值分解法（Singular Value Decomposition，SVD）、非負矩陣分解法 （Non-negative Matrix Factorization，NMF）、基于模糊集(Fuzzy Set，FS）的方法、基于粗糙集 （Rough Set，RS）的方法、遺傳算法 （Genetic Algorithm，GA）、人工神經網絡（Artificial Neural Network，ANN）以及基于主成分分析（Principal Component Analysis，PCA）的方法等。像素級融合是在采集得到的圖像中原始的像素上直接進行融合。該方法雖然能保持更多信息，但是算法復雜性高，實時性比較差。

1.3 醫(yī)學斷層數據三維重建

從數據可視化的角度，醫(yī)學斷層數據三維重建技術主要分為面繪制（Surface Rendering）和體繪制（Volume Rendering）兩種。

1.3.1 面繪制

面繪制技術利用圖像分割得到的輪廓線，通過幾何單元拼接的方法重構器官表面模型。按照構建方法的不同，面繪制法通常又分為基于輪廓的面繪制法和基于體素的面繪制?；谳喞拿胬L制其策略是，首先求得各個切片中物體的閉合輪廓線，然后將相鄰切片之間的輪廓連接，生成一個物體的表面。目前，研究較多的是基于體素的繪制方法，例如移動立方體法（Marching Cubes，MC）[9]。其基本思想是通過插值法計算出等值面與立方體邊的交點，然后把這些交點按照一定的方式進行連接形成相應的等值面。MC算法具有較快的運算速度，其精確定義了體素及其內等值面的生成，目前依然是三維重建算法的研究熱點。李怡敏等人[10]使用了17種拓型進行三維重建，大大減少了模型表面空洞。胡凌燕等人[11]提出了一種基于區(qū)域增長法的通用樹結構和移動等值點法的自適應移動立方體算法, 準確重建腹部組織器官。

1.3.2 體繪制

體繪制是近年來發(fā)展起來的用于顯示體數據的算法，被越來越廣泛地應用于醫(yī)學CT三維成像領域。該技術基于三維空間信息，完整投影整個三維數據場立體空間結構，尤其適合于顯示形狀以及邊界模糊的生物組織器官。體繪制方法主要分為三類：以圖像空間為序的、以物體空間為序的以及基于頻域空間變換的體繪制方法。1）以圖像空間為序的體繪制，從視點出發(fā)投射光線，累積最終光亮度后成像，典型的代表是光線投射法[12]。光線投射法是沿著固定方向，例如視線方向，從屏幕圖像的像素發(fā)出，光線穿越數據場圖像序列，穿越的同時進行顏色采樣獲取，然后累計顏色值，最終得到可視化渲染立體視圖。2）以物體空間為序的體繪制法，例如拋雪球法、體單元投影法等，首先沿某個觀察方向計算數據點不透明度及顏色值，然后將每個數據點投影到圖像平面上，完成數據點的坐標由對象空間到圖像空間的變換。接著，設置光照模型，計算數據點遮擋關系以及光照強度，將每一個像素點上不同數據點的顏色累計在一起，然后得到最終顏色，完成數據可視化。3）基于頻域空間變換的體繪制方法利用卷積公式將空間域的計算轉移到頻率域，再將計算結果變換回空間域完成可視化。

2 問題討論及展望

2.1 醫(yī)學圖像分割

由于人體的內臟、軟組織具有形狀不規(guī)則、結構復雜等特點，因此相比于普通圖像，醫(yī)學圖像經常會存在灰度不均勻、邊界模糊等現象。然而，醫(yī)學模型三維重建有一個很重要的基礎就是醫(yī)學圖像的準確分割。但是目前在醫(yī)學圖像分割領域依然缺乏一套廣泛通用的方法和理論，如何提高斷層數據圖像分割的準確性和速度是當前醫(yī)學圖像三維重建主要研究的方向之一。

為解決上述問題，學者們提出了用戶引導的交互式半自動分割方法以及基于領域知識的分割方法。半自動分割方法先分析斷層圖像，交互給定分割閾值，對圖像二值化，進行區(qū)域修整，然后通過在圖像上人工標記一些控制點，由計算機通過這些控制點利用松弛算法等自動產生包圍所要分割區(qū)域的曲線。應用領域知識分割醫(yī)學圖像是指利用病理部位在圖像中的灰度分布、區(qū)域分布、組織形狀等專業(yè)知識將病灶分割出來的方法。但是，無論是半自動分割還是基于知識的分割，依然離不開人手工參與。近年來，人工智能，特別是卷積神經網絡在計算機醫(yī)學圖像分割技術領域得到了迅速應用和不斷發(fā)展[13]。基于深度學習的醫(yī)學影像分割算法包括基于全卷積神經網絡的分割、基于U-Net 網絡的分割（包括加入密集連接的、融合殘差思想的、基于循環(huán)神經網絡的、集成注意力機制的、面向3D影像的、基于自適應數據集的、基于神經網絡架構搜索等的U-Net 網絡），以及其他基于多任務學習、多模態(tài)融合等的深度學習的分割算法?；谏疃葘W習的圖像分割可以從大量醫(yī)學圖像數據中自動提取特征，該技術在數字醫(yī)學應用中具有非常重要的研究意義。

2.2 醫(yī)學圖像融合

在醫(yī)學臨床應用實踐過程中，醫(yī)學圖像融合技術依然有許多問題亟待解決，包括：1）由于需要綜合地分析數據、整理數據并舍棄部分數據，其結果必然會出現某些有用信息遺漏及融合圖像細節(jié)不清晰等問題。如何提高融合質量，保證重建模型的可靠性以及真實感圖形的逼真度[14]，是醫(yī)學圖像融合技術需進一步研究的方向之一。2）由于變形移動會影響到匹配的精度，故醫(yī)學圖像融合現今大多應用于受呼吸運動影響較小的組織器官，例如顱腦、盆腔、頸部等，而受呼吸運動影響較大的內臟器官，例如肺、肝膽、胰臟等軟組織器官則較難應用圖像融合，相關問題的解決方法依然有待研究。

2.3 三維重建技術

面繪制技術的優(yōu)勢是能快速構建組織器官三維立體表面。但是，面繪制技術亦存在不足：1）面繪制可以較好地重建骨骼、牙齒等硬組織器官，但是對于邊界模糊不清的軟組織則繪制效果不佳。2）面繪制技術在其繪制設計過程中，不僅需要準確地分析相鄰切片間不同分支等值線的拓撲關系, 而且需要準確識別各個分支頂點之間的相互連接關系，相應的繪制技術依然還有待完善。3）面繪制技術僅能繪制模型表面，缺乏模型內部信息表達，無法完成某些需要器官內部結構支持判斷的病情診斷的需求。

體繪制技術因為能投影整個三維數據場立體信息，因此相比于面繪制而言能獲得更好的重建效果。但是，體繪制處理數據量大、流程長，更多地受到硬件的限制，不能滿足實時交互的需求。因此體繪制加速一直是研究的熱點。近年來，眾多加速體繪制算法被提出，包括基于并行加速技術的（并行繪制、GPU硬件加速[15]、光線追蹤繪制）、基于數據約減技術的（PDF約簡模型、自適應繪制、多分辨率繪制）等。如何在已有的算法基礎上，根據醫(yī)學診療具體應用需求實現體繪制加速，以獲得最佳組織器官繪制效果、取得最快繪制速度是非常值得深入研究的課題[16]。

3 結束語

隨著信息科技的不斷發(fā)展，計算機技術在醫(yī)學領域有了越來越廣泛的應用[17-18]。本文論述了二維醫(yī)學圖像信息三維可視化涉及到的關鍵技術，追蹤其最新研究進展，討論其面臨的主要問題及解決策略。未來，以三維重建技術為核心的多個學科領域數字化技術的聯合運用，必會發(fā)展成為數字化臨床醫(yī)療診治的新趨勢，醫(yī)學三維數字可視化在現代臨床醫(yī)療診療以及研究中必會發(fā)揮越來越重要的作用。