用于SAR估計的基于U-Net網絡的快速膝關節(jié)模型重建

肖 亮，婁煜堃，周航宇

用于SAR估計的基于U-Net網絡的快速膝關節(jié)模型重建

肖 亮*，婁煜堃，周航宇

北京化工大學 信息科學與技術學院，北京 100029

膝關節(jié)高場磁共振成像（MRI）時，射頻功率沉積（）是一個關鍵的安全指標．目前對于局部的準確估計只能通過電磁仿真實現(xiàn)，這就要求得到每一個個體的膝關節(jié)模型．本文提出一種針對低場磁共振圖像的基于卷積神經網絡的分割方法，以實現(xiàn)膝關節(jié)磁共振圖像的快速重建．數(shù)據集來自于矢位1加權自旋回波圖像，將膝關節(jié)組織按照“肌肉-脂肪-骨骼”模型進行簡化，除脂肪與骨骼之外的其他組織歸類為肌肉．采用一種全卷積的神經網絡，即U-Net進行逐層的圖像分割，卷積層數(shù)為4，訓練采用交叉熵函數(shù)．本文對圖像的自動分割結果與手動標注結果進行了定量的比較．此外，采用3 T正交鳥籠線圈進行了仿真，結果驗證了組織簡化對于估計的可行性，并且所提方法構建的模型可以得到較為精準的局部分布．

高場磁共振成像；射頻功率沉積（）；膝關節(jié)；U-Net網絡；圖像分割

引 言

目前，磁共振成像（MRI）是膝關節(jié)的主要影像學檢查方法．高場與超高場MRI具有圖像信噪比高和空間分辨率高的優(yōu)點，為膝關節(jié)疾病的進一步精確診斷提供了強有力的工具．然而，3 T以上1+與電場在人體組織中分布的不均勻性增強，造成圖像質量降低；而且電場的非均勻分布導致人體組織中可能出現(xiàn)局部射頻功率沉積（）超標的情況[1]，對人體組織造成傷害，從而成為MRI掃描過程中一個關鍵的安全因素．

對于膝關節(jié)高場成像而言，國際上已經開展了一些局部的研究[2-4]．而國內迄今主要是全局的研究[5]，局部僅限于胚胎、盆腔等[6]．與全局不同，局部一般而言不能通過在體實測得到，不同個體的局部精準估計需要通過電磁仿真實現(xiàn)[7-9]．為了達到實用的目的，要求能夠快速而精確的獲得個體的膝關節(jié)模型．這就需要在磁共振圖像的基礎上進行圖像分割，標定各像素所屬的組織類型，從而重建出膝關節(jié)模型．

一些情況下，基于低場磁共振圖像或小翻轉角掃描獲得的高場圖像重建病人的膝關節(jié)模型，能夠降低高場掃描中超標的風險．但由于這些圖像的信噪比與對比度較低，因此要分割出所有組織非常困難．然而，對于估計而言，有研究[10-12]表明采用“肌肉-脂肪-肺”模型可以達到一定的近似程度，即考慮組織的介電性能（介電常數(shù)與電導率），在重建中與肌肉、脂肪、肺接近的組織分別歸類為肌肉、脂肪與肺．

卷積神經網絡（CNN）是當前發(fā)展迅速的深度學習方法，在膝關節(jié)分割方面已有一定的應用[13-15]．2015年，Ronneberger等[16]以CNN為基礎提出了一種改進的全卷積網絡U-Net，其在傳統(tǒng)全卷積網絡的編解碼結構上增加了淺層編碼結果與深層解碼結果的跳躍連接，邊緣分割比較精細．

本研究采用U-Net對低場矢位膝關節(jié)圖像進行分割與標注，考慮到膝關節(jié)中骨骼的比例與骨骼的介電性能，采用“肌肉-脂肪-骨骼”模型對組織進行簡化歸類．重建出的膝關節(jié)模型置于3 T的正交鳥籠線圈中進行電磁仿真，所得到的10g（局部的一種指標，即10 g組織中的平均值）與手動標注全部組織所重建的模型進行比較判斷．實驗表明，采用U-Net能夠得到較好的分割圖像．同時，仿真結果驗證了組織簡化用于估計的可行性，并且本方法構建的模型的10g的最大值接近于手動分割的結果，熱點區(qū)域基本不變．

1 材料與方法

1.1 數(shù)據集

本研究采用的膝關節(jié)矢位磁共振圖像在嘉恒醫(yī)療裝備有限公司的0.35 T MRI系統(tǒng)JC35P上掃描得到，成像時間在2016~2017年．訓練集15人、測試集14人，受試者平均年齡約51歲．訓練與測試集中各有約1/2的受試者存在半月板、韌帶損傷或者骨質增生等問題．掃描均獲得所有受試者知情與同意，并經過溫州醫(yī)科大學附屬第一醫(yī)院倫理委員會的許可．

磁共振圖像掃描采用矢位1加權的自旋回波序列，使用90?翻轉脈沖．圖像層厚為4.5 mm、層間距為0.5 mm、層數(shù)處于19~24之間、脈沖間隔時間（）為600 ms（19層）~750 ms（24層）、回波時間（）為16 ms、成像視野（）為230×230 mm2，圖像重建分辨率為384×384．既往研究表明，對于3 T系統(tǒng)的估計而言，5 mm的模型分辨率可以滿足要求[10,11,17]．所有圖像均經過預增強，灰度分布調整到0~4 095之間．

組織的手動標注由兩名有多年經驗的影像科醫(yī)生在Photoshop軟件上完成，基本上按照完整的膝關節(jié)組織類型來標注，包括肌肉、脂肪、松質骨、皮質骨、半月板、軟骨、積液等．韌帶與肌腱由于占有像素較少，且不明顯，因此作為肌肉的一部分．

1.2 組織的簡化歸類

膝關節(jié)是人體的一個復雜的部位，包含若干種類型的組織，對其進行精確的分割是極其困難與耗時的．研究表明在電磁仿真中，可以采用“肌肉-脂肪-肺”模型進行組織簡化：人體器官大部分組織的介電性能與肌肉接近，脂肪與肌肉相差非常明顯，肺處于兩者之間[18]．這樣通過電磁仿真可以在一定近似度上實現(xiàn)對局部的估計．

在膝關節(jié)中，骨骼占有一定的比例，而骨骼的介電性能處于脂肪與肌肉之間．因此，這里將上述模型修改為“肌肉-脂肪-骨骼”模型．圖像分為背景、肌肉、脂肪以及骨骼四種區(qū)域，除脂肪與骨骼外的其他組織均歸類為肌肉，以此為基礎進行訓練與測試，以及局部的估計．

1.3 U-Net網絡結構

圖1給出了一個典型的U-Net網絡結構（參考文獻[16]的Fig.1），它是一種具有全卷積形式的改進型CNN．傳統(tǒng)的CNN由于下采樣，特征圖不斷收縮，所以相對而言更適合圖像識別而非分割．而U-Net在收縮路徑之后添加了與之對稱的擴張路徑，在每一個下采樣操作對稱的位置進行上采樣操作（一般進行轉置卷積計算，也稱為反卷積），這樣在擴張路徑上特征圖尺寸會不斷恢復，因此就有較大的可能得到原始圖像的分割結果．此外，這種網絡結構能夠在相對較小的數(shù)據集上進行訓練．

圖1 U-Net網絡結構的示例，這里圖像大小為384′384，卷積層數(shù)為4（依據文獻[16]重制）

1.4 網絡訓練

在一臺桌面電腦上完成U-Net網絡的全部訓練與測試，其配置為：四核Intel i7-4770處理器，16 GB內存，一塊GPU顯卡，型號為GeForce GTX TITAN．電腦上運行64位Windows操作系統(tǒng)，網絡運行的軟件平臺為TensorFlow，編程語言為Python．

U-Net網絡訓練中，經反復調整得到優(yōu)化的結構與參數(shù)．卷積層數(shù)為4，下采樣操作的數(shù)量為3，卷積核的大小為7×7，初始的卷積核數(shù)量為16．網絡訓練采用梯度下降算法[19,20]，使用的誤差函數(shù)為交叉熵函數(shù)，定義為：

是來自一批次輸入中的每一個輸入，()是預測對象的真實值，()是網絡輸出結果通過softmax函數(shù)預測的值．softmax函數(shù)的作用是將輸出結果作映射，映射后所有類別的輸出范圍為[0, 1]，且和為1，其定義為：

p表示第類輸出，表示求和時來自所有類別的第類．

1.5 圖像分割效果評估

為了評估網絡的分割效果，采用骰子系數(shù)（）進行定量分析，以手動標注為參考．用表示網絡分割結果，表示手動標注的結果，則定義如下：

其中運算符| |表示統(tǒng)計區(qū)域中像素的數(shù)量．

1.6 SAR仿真與計算

的電磁場仿真采用Remcom XFDTD軟件（Remcom Inc.，State College，PA）進行，硬件平臺為前面所述的桌面電腦．線圈模型來自于一個3 T的正交鳥籠膝線圈[21]，該線圈有8根桿，長度為180 mm、直徑為175 mm，采用集總元件，重建的膝關節(jié)模型置于線圈中心．定義為單位質量組織中所吸收的射頻功率，由(4)式給定：

對于1個特定體素，其局部（這里為10g）定義為：

這里是以為中心的質量等于10 g的區(qū)域，是中的任一體素．

2 實驗結果

為簡便起見，這里將包含完整組織類型的手動標注稱為手動標注（完整），依據“肌肉-脂肪-骨骼”進行組織簡化的手動標注稱為手動標注（簡化）．

2.1 圖像分割結果

為驗證U-Net網絡的分割性能，將測試集圖像輸入訓練好的網絡，其輸出逐層地與手工標注（簡化）結果進行比較．采用作為定量評價標準，結果如表1所示．表1顯示，基于U-Net的分割結果在三種組織上的平均值都大于0.92．

表1 測試集基于U-Net分割結果與手動標注（簡化）的骰子系數(shù)（DCC）

圖2給出了兩個例子，分別顯示了兩名受試者的網絡分割與手動標注（簡化）圖像．圖2(a)為一名正常的受試者（女性，年齡21歲），圖2(b)為一名半月板損傷并有積液的受試者（女性，年齡58歲），為便于顯示，這里給出了中間連續(xù)7層的圖片．

圖2 兩名女性受試者的U-Net分割與手動標注（簡化）圖像．(a)和(b)分別為一名21歲和58歲的女性受試者. 紅色、黃色、白色區(qū)域分別對應肌肉、脂肪與骨骼

2.2 局部SAR的估計

對于測試集，根據其U-Net分割與手動標注（完整）結果分別重建了膝關節(jié)模型，將該模型分別置于鳥籠線圈中進行了電磁場仿真，再根據仿真得到的電場強度計算其10g．找出10g的最大值Max(10g)，并計算U-Net分割與手動標注（完整）得到的Max(10g)的相對誤差（無量綱），然后在整個測試集范圍計算相對誤差的平均值與標準差，結果如表2所示．為了驗證組織簡化的合理性，手動標注（完整）與手動標注（簡化）所構建的模型也進行了仿真與結果分析．

表2 基于U-Net分割與手動標注得到的測試集的Max(SAR10g)的相對誤差

圖2所示的兩名受試者的網絡分割與手動標注所重建膝關節(jié)的10g如圖3所示，由于層數(shù)較多，這里顯示的是10g的最大密度投影（MIP）圖．

圖3 兩名女性受試者（與圖2相同）膝關節(jié)SAR10g分布的MIP. (a)一名21歲女性受試者，手動分割（完整）、手動標注（簡化）以及U-Net分割得到的Max(SAR10g)分別為0.088 7 W/kg、0.088 5 W/kg以及0.087 5 W/kg；(b)一名58歲的女性受試者，手動分割（完整）、手動標注（簡化）以及U-Net分割得到的Max(SAR10g)分別為0.078 1 W/kg、0.079 6 W/kg以及0.081 8 W/kg．每個圖最右邊的色條表示圖中不同的顏色對應的SAR10g（單位為W/kg）

從圖3可以看出，U-Net分割與手動標注（簡化）的Max(10g)均接近手動標注（完整）的結果，并且10g的熱點區(qū)域位置基本相同．

3 討論

3.1 U-Net分割、組織簡化與SAR估計

U-Net是一種全卷積的神經網絡，相比傳統(tǒng)CNN，由于增加了上采樣層以及下、上采樣層之間的連接通道，其更適合于完成精細的圖像分割工作．相比半自動分割方法，它能夠實現(xiàn)全自動的分割，提高實時性，減輕醫(yī)生或研究人員的工作量．因此，在臨床與科研方面具有很大的應用潛力．

對于膝關節(jié)而言，由于包含的組織類型較多，采用U-Net進行完整組織的圖像分割具有較大的難度，花銷數(shù)十小時的訓練時間也難以收斂，分割效果較差，即使增加網絡層數(shù)其改善也不明顯．考慮到估計的應用背景，電磁場仿真主要取決于介質的介電常數(shù)與電導率，肌肉、脂肪以及骨骼的這兩種參數(shù)相互之間差別較大，而肌肉與膝關節(jié)其他大部分組織比較接近，這樣構成“肌肉-脂肪-骨骼”模型用于組織的簡化分類．U-Net依據該模型對矢位1加權自旋回波圖像進行訓練與測試，不到10 h就能達到收斂，并且具有較好的分割效果，單幅384×384圖像的平均分割時間小于0.3 s．與依據“肌肉-脂肪-骨骼”手動標注的圖像相比，三種組織的平均值均大于0.92，展現(xiàn)了一定程度的良好的分割性能．

仿真與計算初步表明，依據“肌肉-脂肪-骨骼”手動標注并重建的膝關節(jié)模型的局部的最大值，接近按照完整組織手動標注并重建的結果，相對誤差平均值小于3%，熱點區(qū)域基本不變，這驗證了組織簡化在估計方面的有效性．基于組織簡化的U-Net圖像分割所重建出的膝關節(jié)模型，其Max(10g)的最大值相對誤差平均值小于4%（見表2），熱點區(qū)域也基本不變，表明U-net分割所重建出的膝關節(jié)模型具有較高的相似度，能夠較好地應用于估計．

3.2 不足與展望

CNN訓練集的大小對網絡性能有較大影響，在本研究中，訓練集人數(shù)為15，盡管超過10（一般公認的人數(shù)底線），但仍希望能夠明顯地擴大人員數(shù)量，增大在年齡、體型、病變情況等方面的覆蓋面．同時，測試集的樣本數(shù)量也需要擴大，以充分驗證所提方法的可信度．在今后的工作中增加數(shù)據集規(guī)模的同時，希望針對性的增加帶有病變組織的膝關節(jié)圖像，以驗證本方法對于膝關節(jié)疾病組織的分割敏感性與特異性．鑒于此，本研究尚屬膝關節(jié)估計的一個初步性的工作．

由于低場MRI在信噪比與分辨率等方面的不足，研究所用的圖像難以清晰地反映關節(jié)以及相鄰腿部組織的細節(jié)，同時模型也不能用于7 T MRI系統(tǒng)的仿真之中．今后希望能夠獲得高場高分辨的數(shù)據集，層厚為2 mm，甚至1 mm，這樣不僅可以對U-Net網絡性能進行高可信度的評估，而且所建模型能夠用于7 T甚至9.4 T MRI系統(tǒng)的仿真，顯著地擴大所提方法的適用面．

實驗結果表明，單個U-Net分割效果總體較好，但也有部分圖像的有待提高．為了進一步改善網絡的分割精度，除了加大訓練集的人員數(shù)量外，可以考慮調整網絡的結構，采用多U-Net網絡并行結構，這樣預期可以取得更好的效果．

4 結論

本文針對高場膝關節(jié)MRI中局部估計的現(xiàn)實需求，提出了一種基于低場磁共振圖像的分割方法以重建膝關節(jié)模型．依據“肌肉-脂肪-骨骼”模型進行組織簡化，采用U-Net進行圖像的自動分割，實驗結果表明所重建的模型能夠獲得與手動標注模型接近的10g分布，從而為高場膝關節(jié)掃描的實時而準確的估計提供了有潛在價值的手段．

[1] PADORMO F, BEQIRI A, HAJNAL J V, et al. Parallel transmission for ultrahigh-field imaging[J]. NMR Biomed, 2016, 29(9): 1145-1161.

[2] BOSS A, GRAF H, BERGER A, et al. Tissue warming and regulatory responses induced by radio frequency energy deposition on a whole-body 3-Tesla magnetic resonance imager[J]. J Magn Reson Imaging, 2007, 26(5): 1334-1339.

[3] JIN J, WEBER E, DESTRUEL A, et al. An open 8-channel parallel transmission coil for static and dynamic 7T MRI of the knee and ankle joints at multiple postures[J]. Magn Reson Med, 2018, 79(3): 1804-1816.

[4] GAGLIARDI V, RETICO A, BIAGI L, et al. Subject-specific knee SAR prediction using a degenerate birdcage at 7 T[C]. 2018 IEEE International Symposium on Medical Measurements and Applications (MeMeA), 2018: 1-5. doi: 10.1109/MeMeA.2018.8438709.

[5] 燕新強, 薛蓉, 豐寶桐, 等. 一種多通道磁共振成像設備的SAR實時監(jiān)測系統(tǒng)及方法: 中國, CN201410503941.7[P]. 2014-12-24.

[6] HUANG Q H, GAO Y, XIN X G. Study on the law of1field homogeneity and SAR inside human body varying with field strength at high and ultra-high field MR[J]. Chin J Biomed Eng, 2013, 32(1): 21-27.黃綺華, 高勇, 辛學剛. 高場和超高場MR下人體內1場均勻性及SAR隨場強變化規(guī)律的研究[J]. 中國生物醫(yī)學工程學報, 2013, 32(1): 21-27.

[7] GRAESSLIN I, HOMANN H, BIEDERER S, et al. A specific absorption rate prediction concept for parallel transmission MR[J]. Magn Reson Med, 2012, 68(5): 1664-1674.

[8] GRAESSLIN I, VERNICKEL P, B?RNERT P, et al. Comprehensive RF safety concept for parallel transmission MR[J]. Magn Reson Med, 2015, 74(2): 589-598.

[9] VAN DEN BERGEN B, VAN DEN BERG CA, BARTELS LW, et al. 7 Tesla body MRI: B1 shimming with simultaneous SAR reduction[J]. Phys Med Biol, 2007, 52: 5429-5441.

[10] HOMANN H, B?RNERT P, EGGERS H, et al. Toward individualized SAR models and in vivo validation[J]. Magn Reson Med, 2011, 66(6): 1767-1776.

[11] WOLF S, DIEHL D, GEBHARDT M, et al. SAR simulations for high-field MRI: how much detail, effort, and accuracy is needed?[J]. Magn Reson Med, 2013, 69(4): 1157-1168.

[12] WU T N, SHAO Q, YANG L. Simplified segmented human models for whole body and localised SAR evaluation of 20 MHz to 6 GHz electromagnetic field exposures[J]. Radiat Prot Dosimetry, 2013, 153(3): 266-272.

[13] PRASOON A, PETERSEN K, IGEL C, et al. Deep feature learning for knee cartilage segmentation using a triplanar convolutional neural network[C]. International conference on MICCAI 2013, 2013: 246-253.

[14] LIU F, ZHOU Z Y, JANG H, et al. Deep convolutional neural network and 3D deformable approach for tissue segmentation in musculoskeletal magnetic resonance imaging[J]. Magn Reson Med, 2018, 79(4): 2379-2391.

[15] ZHOU Z Y, ZHAO G Y, KIJOWSKI R, et al. Deep convolutional neural network for segmentation of knee joint anatomy[J]. Magn Reson Med, 2018, 80(6): 2759-2770.

[16] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]. International Conference on MICCAI 2015, 2015: 234-241.

[17] COLLINS C M, SMITH M B. Spatial resolution of numerical models of manand calculated specific absorption rate using the FDTD method: a study at 64 MHz in a magnetic resonance imaging coil[J]. J Magn Reson Imaging, 2003, 18(3): 383-388.

[18] HASGALL P A, DI GENNARO F, BAUMGARTNER C, et al. IT’IS Database for thermal and electromagnetic parameters of biological tissues[R]. Version 4.0, 2018-5-15. doi: 10.13099/VIP21000-04-0.itis swiss/database.

[19] HINTON G, SRIVASTAVA N, SWERSKY K. Neural networks for machine learning lecture 6a: Overview of mini-batch gradient descent[R]. Toronto University, 2012: 14.

[20] YUAN K, YING B, VLASKI S, et al. Stochastic gradient descent with finite samples sizes[C]. 2016 IEEE 26th International Workshop on Machine Learning for Signal Processing (MLSP), 2016: 1-6.

[21] PETERSON D M, CARRUTHERS C E, WOLVERTON B L, et al. Application of a birdcage coil at 3 Tesla to imaging of the human knee using MRI[J]. Magn Reson Med, 1999, 42(2): 215-221.

A U-Net Network-Based Rapid Construction of Knee Models for Specific Absorption Rate Estimation

*，，

College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029, China

The specific absorption rate () needs to be estimated for safety concerns when performing high-field magnetic resonance imaging (MRI) on knee joint. Electromagnetic simulation can be used to calculate the localon knees if a patient-specific knee model is available. In this work, a method for rapid construction of knee models from low-field magnetic resonance knee images was proposed. A convolutional neural network (CNN) was first used to segment the sagittal1-weighted spin echo images of knees into fat, bone and muscle. All the pixels other than those from the fat and bone are classified as muscle pixels. The U-Net network, a full CNN with a convolutional layer number of four and adopting a cross entropy function, was used to perform segmentation slice-by-slice. The results from automatic segmentation were compared with those obtained with manual delineation with quantitative measures. Moreover,with a 3 T quadrature birdcage coil was calculated. The simulation results validated the proposed method by showing that and a relatively accurate localestimation could be obtained with the knee models constructed from low-field knee images.

high-field magnetic resonance imaging (MRI), specific absorption rate (), knee joint, U-Net network, image segmentation

O482.53；TP751.1

A

10.11938/cjmr20192716

2019-02-27;

2019-05-30

北京化工大學高精尖科技創(chuàng)新團隊基金資助項目(buctylkjcx06).

* Tel: 010-64414931, E-mail: xiaoliang@mail.buct.edu.cn.