基于卷積神經(jīng)網(wǎng)絡(luò)注意力機制U-net校正CT圖像中的金屬偽影

朱昱霖，謝耀欽，梁曉坤，鄧 磊，張成龍，周炫汝，張懷岺*

(1.廣東醫(yī)科大學生物醫(yī)學工程學院，廣東 東莞 523808；2.中國科學院深圳先進技術(shù)研究院，廣東 深圳 518055)

金屬為高密度物體，衰減系數(shù)高于人體組織，X線穿過其中時可出現(xiàn)急劇衰減，導致投影數(shù)據(jù)的完整性和連續(xù)性受到破壞；所產(chǎn)生的金屬偽影可嚴重降低CT圖像質(zhì)量，影響對于人體真實組織結(jié)構(gòu)的觀察結(jié)果，進而降低CT用于精準診療及評估的準確性，使其臨床應(yīng)用受到限制[1-2]。目前已有多種方法[3-4]用于校正金屬偽影(metal artifact correction, MAR)；其中的傳統(tǒng)MAR方法包括投影數(shù)據(jù)圖像校正(即在投影域和圖像域進行數(shù)據(jù)恢復)、基于解析重建的濾波反投影法(filtered back projection, FBP)和迭代重建算法。隨著深度學習的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)逐漸用于重建低劑量CT圖像及偽影校正[5-10]。本研究觀察基于CNN的注意力機制U-net(Attention U-net)校正CT圖像中的金屬偽影的價值。

圖1 Attention U-net校正CT圖像中的金屬偽影的主要步驟

1 材料與方法

1.1 實驗材料 自超市購入豬前蹄1支，以直徑7.5 mm高速鋼直鉆金屬麻花鉆頭自其蹄部前表面穿至踝部。

1.2 儀器與方法 采用自制錐形束CT(cone-beam CT, CBCT)平臺，瓦里安公司4343CB探測器及G242球管，醫(yī)蒙德公司ESP 45-80高壓發(fā)生器；桌面CBCT系統(tǒng)的幾何結(jié)構(gòu)與Trilogy放射治療機配備的瓦里安On-Board Imager(OBI)CBCT 系統(tǒng)完全匹配。以亞克力圓筒底座固定豬蹄，使其基本呈垂直直立位，并以底座為水平基準旋轉(zhuǎn)360°進行連續(xù)透視，管電流90 mA，管電壓120 kVp，X線源至探測器距離為1 500 mm、至旋轉(zhuǎn)軸的距離為1 000 mm，共獲得399幅不同角度原始CT圖像，分辨率1 024×1 024像素，像素大小0.139 mm。利用數(shù)據(jù)擴充方法(圖像平移、旋轉(zhuǎn)及形變)將原始CT圖像數(shù)目擴增至2 374幅，并分為訓練集、驗證集和測試集，分別含1 891、118和365幅圖像。本研究獲得院倫理委員會批準(編號：SIAT-IACUC-220211-YGS-XYQ-A2115)。

1.3 圖像處理 利用Attention U-net網(wǎng)絡(luò)快速分割CT圖像中的金屬軌跡(圖1)。首先以訓練集及驗證集訓練Attention U-net框架；之后，輸入測試集并分割其原始CT圖像Iimg中的金屬軌跡Ia及非金屬投影Iu，通過對Iimg中的金屬軌跡進行插值而得到無金屬軌跡的圖像In；之后采用迭代重建算法重建Ia，同時校正條狀偽影，獲得重建圖像Im及二值化重建圖像Imask，并采用FBP重建In得到三維重建圖像Ir；最后通過Imask·Im得到只有金屬信息的圖像，通過(1-Imask)·Ir得到金屬區(qū)域以外組織的圖像，將二者拼接而得到校正圖像If：

If=Imask·Im+(1-Imask)·Ir

(1)

1.3.1 確定金屬區(qū)域 采用Attention U-net框架模型，端到端地從原始CT圖像中分割金屬區(qū)域。

輸入訓練集及驗證集，以Dice損失函數(shù)優(yōu)化訓練Attention U-net框架模型；采用MatlabR2018b、Nvidia GTX980顯卡及Win10系統(tǒng)，以Adaptive Momentum(Adam)算法訓練神經(jīng)網(wǎng)絡(luò)，學習率初始值0.003，訓練100輪。Dice損失函數(shù)為：

(2)

式中，W0為網(wǎng)絡(luò)預(yù)測的金屬區(qū)域，Wa為實際金屬區(qū)域。

輸入測試集，于編碼階段提取測試集Iimg中相關(guān)空間信息，并將其傳播到解碼階段(圖2)；分別以編碼部分和解碼部分為卷積層和反卷積層，其中的編碼部分同CNN，均由5個重復的卷積層組成。首先輸入Iimg，以64通道3×3卷積層塊和線性整流(rectified linear unit, ReLU)層進行處理，于下采樣卷積層中采用2×2最大池化、步長2，使功能通道數(shù)較前一層倍增；之后進行上采樣，并以注意力塊將對應(yīng)的下采樣和上采樣連接層進行連接，經(jīng)2×2反卷積層后，使特征通道數(shù)降為前一層之半，重復4次反卷積和ReLU，使輸出圖像與輸入圖像大小相同；最后以1×1卷積層和sigmoid函數(shù)映射組織的分割目標。

1.3.2 金屬投影區(qū)域插值 對Iimg中的金屬軌跡Ia進行插值校正，得到無金屬區(qū)域的圖像In。

1.3.3 金屬信息補償 采用迭代重建算法重建Ia，獲得重建圖像Im及二值化重建圖像Imask，并以FBP重建In而得到三維重建Ir，所獲重建圖像中的金屬偽影減少，金屬位置成為一個圓斑；為恢復圖像完整性，通過式(1)獲得校正圖像If，以在保持組織結(jié)構(gòu)完整性的同時恢復丟失的信息。

1.4 其他MAR方法 分別采用傳統(tǒng)普通閾值MAR(簡單分割)、圖像增強后的傳統(tǒng)普通閾值MAR(閾值分割)、Cycle生成對抗網(wǎng)絡(luò)(generative adversarial networks, GAN)MAR及手動分割MAR(參考標準)校正Iimg金屬偽影。

圖2 基于注意力機制的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu) (W、L和C分別為Attention U-net通道的長度、寬度和體素數(shù)， W1×L1=512×448，C1=64，Wn=2Wn-1，Ln=2Ln-1，Cn=2Cn-1)

圖4 采用Attention U-net校正金屬偽影前、后的豬前蹄CT圖 A～C.校正前的軸位、冠狀位及矢狀位CT圖； D～F.校正后的軸位、冠狀位及矢狀位CT圖 (圖藍線為選定的第135列等高線)

2 結(jié)果

相比傳統(tǒng)MAR方法，經(jīng)Attention U-net校正后，金屬偽影對CT圖像的影響降低，細節(jié)和輪廓得以恢復，見圖3。

2.1 定性評價 Attention U-net校正金屬偽影較好，同時可保留解剖結(jié)構(gòu)數(shù)據(jù)并抑制二次偽影產(chǎn)生，見圖4。

2.2 定量評價 校正前、后SUN分別為165.0(133.6，198.1)和27.2(14.4，38.7)，AI分別為137.5(99.4，164.6)和29.1(21.1，38.7)，即相比校正前，校正后圖像振幅及像素點CT值更為穩(wěn)定。見表1和圖5。

3 討論

散射及射束硬化等現(xiàn)象產(chǎn)生的金屬偽影可嚴重降低CT圖像質(zhì)量，進而影響臨床診斷。以傳統(tǒng)MAR方法分割金屬軌跡的效能較差，主要由于金屬投影的模糊性和局部性使分割后圖像中仍存在明顯散射現(xiàn)象，且重建圖像過程中的某些微小誤差可致嚴重偽影，如設(shè)定的分割閾值低于金屬閾值時，未分割的金屬軌跡部分可形成殘余偽影，而高于金屬閾值則可致金屬周圍組織模糊、相鄰解剖結(jié)構(gòu)缺失。目前多以Cycle GAN直接生成校正圖像，可造成不同程度組織結(jié)構(gòu)失真[3-4]。本研究采用Attention U-net，通過精準分割金屬軌跡而確定金屬掩模，可基本解決MAR方法的上述不足；首先以Attention U-net自動分割金屬軌跡，再對金屬區(qū)域進行插值后直接重建，降低了算法復雜度、提高了計算效率；重建圖像過程中對金屬部分進行補償，有利于恢復圖像的完整性，避免校正后圖像存在黑斑。

表1 豬前蹄原始CT圖像及以不同MAR方法校正偽影后CT圖像的像素點的CT值、SUN及AI

圖5 采用Attention U-net校正金屬偽影前(A)、后(B)與以參考標準校正偽影后豬前蹄CT圖的第135列等高線CT值的對比圖

本研究的主要局限性：①訓練Attention U-net網(wǎng)絡(luò)用時2 h，較為耗時，且需手動勾畫大量金屬軌跡作為訓練數(shù)據(jù)；②對金屬區(qū)域進行直接插值，易造成二次偽影，恢復金屬區(qū)域數(shù)據(jù)方法有待改進；③僅針對單只豬前蹄CT圖像中的金屬偽影進行了實驗觀察。

綜上所述，基于CNN的Attention U-net算法校正圖像中的金屬偽影可降低計算復雜度、提高MAR效率，有助于恢復原始圖像的完整性。