基于3D U-Net實現(xiàn)人體耳軟骨MRI圖像的解剖結(jié)構(gòu)分割

孫若凡 張唯唯

(中國醫(yī)學(xué)科學(xué)院基礎(chǔ)醫(yī)學(xué)研究所 北京協(xié)和醫(yī)學(xué)院基礎(chǔ)學(xué)院，醫(yī)學(xué)分子生物學(xué)國家重點實驗室，北京 100005)

引言

小耳畸形是一種常見的先天性頜面部畸形，一般表現(xiàn)為重度耳廓發(fā)育不全，據(jù)流行病統(tǒng)計學(xué)顯示其發(fā)病率在中國為5.18/10000[1-2]。耳廓重建術(shù)是治療該病的整形外科方法，其中耳軟骨支架構(gòu)造的環(huán)節(jié)，除材質(zhì)以外，在對稱和美觀上對臨床都有極高的要求[3-4]。因此，所構(gòu)建的耳軟骨支架在形態(tài)上要求與健側(cè)耳廓軟骨具有較高的一致性，特別是在皮膚擴張和覆蓋后與健側(cè)耳廓仍可以保持對稱。目前，作為耳廓再造的臨床實踐標(biāo)準(zhǔn)，基于自體肋軟骨的人工雕刻支架需要在手術(shù)過程中參考通用模版實施，但是僅靠二維X 光圖片制作的模版難以提供完整耳軟骨的立體結(jié)構(gòu)信息，術(shù)后效果依賴于醫(yī)生的經(jīng)驗[2，5]。近年來，新興的組織工程和3D生物打印技術(shù)的發(fā)展為耳廓再造和修復(fù)提供了新思路，研究者通過患者健側(cè)的3D 激光表面掃描或者CT 圖像運用計算機來設(shè)計可打印的耳軟骨復(fù)合物支架，在一定程度上緩解了對人工雕刻的依賴。但是這些技術(shù)的具體實施同時對基于醫(yī)學(xué)圖像的耳軟骨分割的準(zhǔn)確性提出了更為嚴苛的要求[6-8]。

首先，為了構(gòu)造結(jié)構(gòu)精準(zhǔn)的耳軟骨(復(fù)合物)支架，需要醫(yī)學(xué)成像設(shè)備能清晰的呈現(xiàn)單純耳軟骨的形態(tài)。嚴格來說，3D 激光表面掃描僅能對外耳輪廓進行成像，同樣CT 圖像難以區(qū)分耳軟骨與周圍組織[9-10]。核磁共振成像(magnetic resonance imaging，MRI)軟組織對比度高，無電離輻射，非常適合先天性小耳畸形人群(學(xué)齡兒童為主)進行健側(cè)耳軟骨成像[10]，但是已知常規(guī)的MRI 結(jié)構(gòu)成像序列難以對軟骨清晰成像。最近，在肌骨系統(tǒng)成像研究中，應(yīng)用超短回波時間序列(ultra-short echo time，UTE)對關(guān)節(jié)軟骨具有良好的成像效果，提示可作為耳軟骨成像的選擇[11-12]。其次，考慮到耳軟骨獨特且復(fù)雜的形態(tài)結(jié)構(gòu)[13]，高質(zhì)量的支架構(gòu)建離不開高效率的耳軟骨及其子結(jié)構(gòu)的圖像分割算法，尤其是針對解剖子結(jié)構(gòu)的分割算法可以完整的提供耳軟骨各部分的立體結(jié)構(gòu)信息，通過計算化的修飾和調(diào)整能夠有效輔助耳軟骨再造手術(shù)和3D 生物打印(或耳軟骨組織工程)。有研究指出使用抑脂擾相梯度回波(Spolied Gradient-echo with Fat Saturation，F(xiàn)SSGE)MRI 序列結(jié)合手動分割可以準(zhǔn)確的描繪耳軟骨[10]，但這種人工勾勒的方法費時費力，不易推廣。雖然目前沒有關(guān)于耳軟骨自動分割的報導(dǎo)，但是很多該類方法已經(jīng)應(yīng)用于膝關(guān)節(jié)和腕關(guān)節(jié)軟骨分割，其中包括傳統(tǒng)的圖像處理算法、基于圖譜的方法、經(jīng)典的貝葉斯和K 近鄰等機器學(xué)習(xí)方法，以及深度學(xué)習(xí)方法，尤其是后者近年來在關(guān)節(jié)軟骨分割領(lǐng)域獲得了非常積極的進展[14-15]。

雖然使用UTE 序列產(chǎn)生的圖像可以將耳軟骨呈現(xiàn)為高亮信號，但是脂肪、結(jié)締組織，和皮膚同時也會呈現(xiàn)為亮信號，因此，很難從信號強度上將耳軟骨和周圍組織區(qū)分。這也導(dǎo)致傳統(tǒng)分割算法，比如閾值、區(qū)域生長，甚至機器學(xué)習(xí)的聚類等方法，難以對純耳軟骨區(qū)域?qū)崿F(xiàn)自動分割。另一方面，基于圖譜方法十分依賴于配準(zhǔn)工具和技術(shù)，不同的形變方式所產(chǎn)生的結(jié)果差異明顯，耗時不等。還有，機器學(xué)習(xí)方法多數(shù)用于分類任務(wù)而且需要大樣本量來訓(xùn)練，難以滿足純耳軟骨區(qū)域的語義級別的分割需求。此外，如果缺乏耳軟骨解剖子結(jié)構(gòu)的先驗知識(或?qū)＜壹壍臉?biāo)注)，對使用傳統(tǒng)的圖像分割方法以及機器學(xué)習(xí)方法是巨大的挑戰(zhàn)和困難。基于深度學(xué)習(xí)的圖像分割算法具有很強的自學(xué)習(xí)能力，能夠很好的提取圖像特征，甚至完成基于像素的語義分割，例如全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)[16]、U-Net[17]、3D U-Net[18]、V-Net[19]等已廣泛應(yīng)用到醫(yī)學(xué)圖像分割任務(wù)中。FCN 在卷積層之后連接了全連接層，可以實現(xiàn)像素級的分類完成語義級別的分割，但由于沒有充分考慮像素之間的關(guān)系，并不適用于邊界復(fù)雜的軟骨分割[16]。U-Net 在FCN 的基礎(chǔ)上引入了上采樣的對稱路徑，增加跳躍連接設(shè)計，實現(xiàn)了多尺度估計，具有較好的泛化能力[17]。U-Net 出現(xiàn)之后被多次使用在軟骨分割研究中，取得了較為滿意的效果[14]。3D U-Net 是U-Net架構(gòu)的三維擴展，可以對三維圖像進行語義分割，V-Net 為3D U-Net 的變形，在整體框架中引入了殘差結(jié)構(gòu)和卷積代替了池化和上采樣，雖然精度較高，但是模型參數(shù)量太大很多情況需要對圖像切塊進行訓(xùn)練，難以保證分割結(jié)果的連續(xù)性[18-21]。

針對耳軟骨UTE 圖像特點，本研究提出對3D U-Net 進行優(yōu)化和改進，并利用監(jiān)督學(xué)習(xí)實現(xiàn)耳軟骨12 個解剖結(jié)構(gòu)的自動分割。首先，使用UTE MRI序列對耳軟骨進行成像；然后，由專家制定分割策略對單純耳軟骨進行手動標(biāo)注，并進一步基于解剖特點精細分割出12 個解剖結(jié)構(gòu)；接下來，在3D UNet 架構(gòu)的基礎(chǔ)上，根據(jù)耳軟骨圖像尺寸較大和結(jié)構(gòu)復(fù)雜等特點，提出在編碼層增加殘差結(jié)構(gòu)和使用卷積替代池化兩方面優(yōu)化網(wǎng)絡(luò)構(gòu)架，并采用多尺度融合的輸出方式結(jié)合不同維度的特征信息，以及使用加權(quán)Dice 損失函數(shù)緩解類間不平衡問題；最后，在后處理中增加三維全連接條件隨機場對結(jié)果進一步優(yōu)化，完整地實現(xiàn)耳軟骨解剖結(jié)構(gòu)的自動分割。本研究首次將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人體耳軟骨MRI 圖像分割，將有助于先天性小耳畸形的耳廓再造和修復(fù)。

1 材料和方法

1.1 數(shù)據(jù)采集

數(shù)據(jù)采集獲得了中國醫(yī)學(xué)科學(xué)院基礎(chǔ)醫(yī)學(xué)研究所倫理委員會的審閱和批準(zhǔn)，所有志愿者均簽署知情同意書。共招募40 位健康志愿者(年齡(29.7±7.4)歲，女性/男性＝25/15)進行右側(cè)外耳廓MRI矢狀位掃描(其中兩位因右耳損傷改為左側(cè)掃描)。掃描設(shè)備為3 T 磁場強度的Achieva 機型(Philips Medical Systems)及32 通道的頭線圈。掃描序列為UTE，掃描參數(shù)如下:TR＝5.58 ms，TE＝0.14 ms，翻轉(zhuǎn)角＝15°，層厚＝1.2 mm，層間距＝0.6 mm，體素＝0.25 mm×0.25 mm×0.6 mm，圖像矩陣＝800×800×80 體素。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理步驟主要包括格式轉(zhuǎn)換、轉(zhuǎn)向、調(diào)整尺寸、配準(zhǔn)、裁剪。首先，將收集到的圖像從DICOM 格式轉(zhuǎn)換為NIFTI 格式后，將圖像轉(zhuǎn)到標(biāo)準(zhǔn)空間，并統(tǒng)一圖像尺寸；接著，使用剛性配準(zhǔn)將數(shù)據(jù)統(tǒng)一對位到挑選出來的參考圖像上；最后，在已對位的圖像上進行定位裁剪，保留完整的耳軟骨結(jié)構(gòu)的基礎(chǔ)上盡可能減少圖像背景，使圖像矩陣改變?yōu)?0×192×224 體素。

使用UTE 成像序列對外耳進行圖像采集，需識別和區(qū)分耳軟骨組織及周圍組織并手動繪出耳軟骨。手動分割步驟和規(guī)則由兩名具有5年以上臨床整形外科背景的醫(yī)生和兩名專業(yè)的醫(yī)學(xué)影像分析研究者依據(jù)離體耳軟骨解剖結(jié)果結(jié)合影像學(xué)特征科學(xué)規(guī)劃和制定。實際分割專家為1 名經(jīng)過專業(yè)培訓(xùn)且具有3年以上醫(yī)學(xué)圖像分割經(jīng)驗的研究者。

參照文獻[22]的方法，基于UTE 圖像，使用3D Slicer 4.10.1 軟件，手動逐層繪制出每位志愿者的耳軟骨標(biāo)簽，并將耳軟骨標(biāo)簽作為UTE 圖像的蒙版，可去除耳軟骨以外的腦骨等背景區(qū)域。專家根據(jù)單純耳軟骨的標(biāo)簽或蒙版，結(jié)合耳廓解剖結(jié)構(gòu)的定義和整形外科的臨床需求，對以下耳軟骨的12 個解剖子結(jié)構(gòu)進一步手動分割:對耳輪(antihelix)、對耳輪腳(crura anthelicis)、三角窩(fossa triangular)、耳輪(helix)、耳輪腳(crus of helix)、耳甲艇(cymba conchae)、耳舟(scapha)、耳屏(tragus)、對耳屏(antitragus)、耳屏間切跡(intertragic notch)、外耳道(external auditory canal)、耳甲腔(cavum conchae)，以及3 次獨立重復(fù)的操作，每次分割間隔時間為1個月，重復(fù)方式為同1 名專家重復(fù)分割3 次，并將結(jié)果均以NIFTI 格式存儲。

1.3 基于深度學(xué)習(xí)的耳軟骨分割

針對耳軟骨結(jié)構(gòu)的復(fù)雜性，基于3D U-Net 網(wǎng)絡(luò)構(gòu)架提出改進以實現(xiàn)完整耳軟骨結(jié)構(gòu)的高質(zhì)量分割。一般的3D U-Net 架構(gòu)由編碼層和解碼層構(gòu)成，一共包含三級下采樣和三級上采樣，在每個層級都有兩個3×3×3 卷積操作和1 個ReLU 操作，并在編碼層和解碼層同級之間使用了跳躍連接，用來合成高分辨率的特征圖。本研究提出的改進點包增加網(wǎng)絡(luò)深度，引入殘差模塊，使用卷積替代池化進行下采樣，增加多尺度融合輸出，改用權(quán)重損失函數(shù)，以及后處理優(yōu)化，使分割精度得到提升。

改進模型的架構(gòu)如圖1所示，首先，與3D U-Net不同的是增加一級網(wǎng)絡(luò)深度，從而增加模型的非線性表達能力，以便學(xué)習(xí)耳軟骨復(fù)雜的結(jié)構(gòu)特征。其次，參照文獻[19]的設(shè)計，在編碼層的每一級相應(yīng)的增加殘差結(jié)構(gòu)[23]。如圖1中灰色箭頭及加號所示，殘差結(jié)構(gòu)中的“跳躍連接”可以跳過一次或多次卷積執(zhí)行恒等映射，該方式可以避免因網(wǎng)絡(luò)加深導(dǎo)致的梯度消失等問題，使網(wǎng)絡(luò)更好地優(yōu)化。具體的殘差結(jié)構(gòu)如圖2所示，它由兩個核大小為3×3×3 的卷積層和一個隨機失活層(dropout)構(gòu)成。其中，卷積操作前后特征圖數(shù)量保持一致，卷積層的激活函數(shù)選用LeakyReLU，能讓輸入小于0 的部分的值為負且具有微小的梯度，這使得在反向傳播過程中，對于輸入小于0 的部分，也可以計算得到梯度(而不是像ReLU 一樣值為0)，避免梯度方向的鋸齒問題。為了加快網(wǎng)絡(luò)收斂，卷積層中還加入歸一化(instance normalization，IN)的處理。引入的隨機失活層(失活概率設(shè)置為0.6)，可以使部分神經(jīng)元在訓(xùn)練中失活，避免參數(shù)過擬合，從而提高網(wǎng)絡(luò)的泛化性能。然后，如圖1中棕色箭頭所示，在編碼層每級之間使用3×3×3 的卷積核對特征圖進行卷積，步長大小設(shè)置為2，卷積后特征圖數(shù)量翻倍，達到池化的效果，也可以在訓(xùn)練網(wǎng)絡(luò)時保證性能的情況下占用更小的GPU 內(nèi)存。此外，如圖1中黑色虛線箭頭所示，跳躍連接的保留能夠?qū)⑼壍木幋a層特征圖和解碼層特征圖進行拼接，使底層特征與高層特征進行融合，讓網(wǎng)絡(luò)保留更多高層特征圖和細節(jié)信息。在最終輸出時，融合多個解碼層特征圖的多尺度信息，提高圖像分割的精度，如圖1中淺綠色部分所示，將解碼層第2 級和第3 級中間特征圖經(jīng)過核為1×1×1 的卷積操作和上采樣，此時特征圖尺寸與解碼層最后一級的輸出保持一致，輸出特征圖數(shù)量為13 即需要分割的13 類(12 個結(jié)構(gòu)與背景)，并將這3 層解碼層信息融合作為輸出結(jié)果。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The network architecture

圖2 殘差結(jié)構(gòu)Fig.2 The structural diagram of residual block

為了解決耳軟骨形態(tài)復(fù)雜以及子結(jié)構(gòu)間形態(tài)差異大的問題，對圖像多個結(jié)構(gòu)分割設(shè)計了加權(quán)Dice 損失函數(shù)，即

式中，C為類別數(shù)，αi為對應(yīng)類別設(shè)置的權(quán)重，pi為真實值，qi為預(yù)測概率。通過設(shè)置超參數(shù)αi可以調(diào)整網(wǎng)絡(luò)模型分割時平衡的關(guān)注每一個結(jié)構(gòu)，提高分割結(jié)果。

相鄰的體素共享大量的空間上下文信息，網(wǎng)絡(luò)產(chǎn)生的分割結(jié)果應(yīng)該是連續(xù)平滑的實體。然而，在訓(xùn)練中的局部極小值和輸入圖像中的噪聲會導(dǎo)致一些虛假輸出，在預(yù)測中存在很小的孤立區(qū)域、孔洞或不連續(xù)的地方，尤其是耳軟骨的結(jié)構(gòu)與結(jié)構(gòu)之間會存在這些問題。為了強化耳軟骨多個結(jié)構(gòu)間的關(guān)系，使用三維全連接條件隨機場(3D fully connected dense conditional random fields，3D DenseCRF)作為后處理[24]，提高結(jié)構(gòu)化的預(yù)測。

1.4 訓(xùn)練和測試

在改進的網(wǎng)絡(luò)訓(xùn)練中，將40 例數(shù)據(jù)采用8∶1∶1的比例劃分為32 例訓(xùn)練集、4 例驗證集和4 例測試集，由于40 例數(shù)據(jù)均有對應(yīng)的手動分割結(jié)果，因此使用十折交叉驗證的方式驗證模型的性能。優(yōu)化函數(shù)采用自適應(yīng)矩估計(adaptive moment estimation，Adam)，可以對學(xué)習(xí)率進行自適應(yīng)約束，加速神經(jīng)網(wǎng)絡(luò)的參數(shù)收斂。初始學(xué)習(xí)率LR 設(shè)為0.001，最大迭代次數(shù)設(shè)為150。本研究在基于Python 3.6 的PyTorch 框架下進行神經(jīng)網(wǎng)絡(luò)的搭建，實驗環(huán)境為1 塊存儲空間為11 GB 的NVIDIA GTX1080Ti GPU。

1.5 評估指標(biāo)

對神經(jīng)網(wǎng)絡(luò)的性能評估，使用兩個指標(biāo)，其中一個為Dice 相似度系數(shù)(dice similarity coefficient，DSC)

另外一個為95% Hausdorff 表面距離(95%Hausdorff surface distance，HD95)

對于每個耳軟骨解剖結(jié)構(gòu)，S是分割圖像中該結(jié)構(gòu)的點集合，R是標(biāo)準(zhǔn)標(biāo)注圖中該結(jié)構(gòu)的點集合，?S和?R分別是對應(yīng)的邊緣點集合。其中表示某點集合V中點的數(shù)量，dm(v，V) 表示點v和點集V中所有點的最小歐幾里德距離(Euclidean distance)，inf5%v∈V(dm) 表示點集V內(nèi)最大前5%的dm值的下確界。DSC 指標(biāo)越大表明比較的兩者重合度越高，HD95 指標(biāo)越小表明邊緣相似度越高。本研究以測試集圖像上各評價指標(biāo)的平均值和標(biāo)準(zhǔn)差作為評判各神經(jīng)網(wǎng)絡(luò)性能的依據(jù)。

2 結(jié)果

2.1 數(shù)據(jù)預(yù)處理結(jié)果

圖3分別從不同層面展示了耳軟骨的UTE 圖像、耳軟骨、解剖結(jié)構(gòu)手動分割的結(jié)果。對12 個結(jié)構(gòu)的體積、表面積和厚度進行了計算測量并對3 次重復(fù)的結(jié)果進行了方差分析(P>0.05)，結(jié)果表明耳軟骨12 個結(jié)構(gòu)的3 次重復(fù)手動分割在形態(tài)學(xué)指標(biāo)上均無顯著性差異。另外，對3 次重復(fù)手動分割解剖結(jié)構(gòu)兩兩之間計算DSC 值，結(jié)果顯示耳軟骨重要的支撐性結(jié)構(gòu)，如耳輪、對耳輪，組間DSC 值達到了93%，所有解剖結(jié)構(gòu)的組間平均DSC 達到了88%。這些結(jié)果顯示3 次重復(fù)手動解剖結(jié)構(gòu)分割具有高度一致性，表明手動分割策略制定科學(xué)且可以重復(fù)。圖4中展示了各個結(jié)構(gòu)在耳軟骨中的占比情況。同時，對訓(xùn)練集和驗證集共36 例數(shù)據(jù)的體積、表面積和厚度進行了組內(nèi)的方差分析(P>0.05)，結(jié)果表明個體數(shù)據(jù)間無顯著性差異。

圖3 耳軟骨UTE 圖像與手動分割結(jié)果(每行從左到右依次為橫斷面、矢狀面、冠狀面和三維重建展示)。(a)耳軟骨的UTE 圖像；(b)UTE 圖像中描繪的耳軟骨輪廓和三維重建結(jié)果；(c)UTE 圖像中描繪的耳軟骨解剖結(jié)構(gòu)輪廓和三維重建結(jié)果Fig.3 The multiple views of UTE image and the manual segmentation results of auricular cartilage(From left to right in each line，there are axial，sagittal，coronal view，and their three-dimensional reconstructions).(a) The view of UTE image of auricular cartilage；(b) Pure auricular cartilage delineated in UTE image and its three-dimensional reconstruction；(c) Anatomical structures of auricular cartilage delineated in UTE image and their threedimensional reconstructions

圖4 耳軟骨解剖結(jié)構(gòu)手動分割結(jié)果各結(jié)構(gòu)占比Fig.4 The proportion of each anatomical structure of auricular cartilage in the manual segmentation results

2.2 網(wǎng)絡(luò)分割結(jié)果

表1分別展示了3D U-Net 模型、改進模型、及其增加3D denseCRF 后處理的耳軟骨12 個解剖結(jié)構(gòu)的DSC 和HD95。該指標(biāo)計算均為測試集網(wǎng)絡(luò)預(yù)測輸出與金標(biāo)準(zhǔn)(手動分割結(jié)果)的比較結(jié)果。可以看出，基礎(chǔ)的3D U-Net 在12 個結(jié)構(gòu)中平均DSC指標(biāo)是0.758，平均HD95 指標(biāo)為5.103。改進的模型在12 個結(jié)構(gòu)中平均DSC 指標(biāo)是0.807，平均HD95 指標(biāo)為2.158，兩項指標(biāo)的方差也均有下降。增加3D denseCRF 后，平均DSC 指標(biāo)是0.818，平均HD95 指標(biāo)為1.917。

表1 基于深度學(xué)習(xí)的自動分割結(jié)果(平均值±標(biāo)準(zhǔn)差)Tab.1 The deep learning-based automatic segmentation results (mean±standard deviation)

表2則進一步展示了使用改進模型和優(yōu)化后處理后，每個耳軟骨解剖子結(jié)構(gòu)分割結(jié)果以及相對應(yīng)手動分割結(jié)果的體積、表面積和厚度，也展示了DSC和HD95，該指標(biāo)計算同樣為網(wǎng)絡(luò)預(yù)測輸出結(jié)果與金標(biāo)準(zhǔn)(手動分割結(jié)果)的比較結(jié)果。從解剖測量結(jié)果來看，自動分割結(jié)果的12 個結(jié)構(gòu)的體積、表面積和厚度與手動分割結(jié)果數(shù)值接近，平均數(shù)值差異為8.7%。從指標(biāo)結(jié)果來看，重要的支撐結(jié)構(gòu)，耳輪和對耳輪的平均DSC 指標(biāo)值可以達到0.907 和0.901，而對于較小的結(jié)構(gòu)比如對耳輪腳、三角窩和耳輪腳，平均DSC 指標(biāo)值對應(yīng)為0.763、0.768 和0.723，其他結(jié)構(gòu)的平均DSC 指標(biāo)可以達到0.823。平均HD95 的指標(biāo)值顯示除了對耳輪腳、耳屏間切跡和耳甲腔的平均HD95 較高外，其他結(jié)構(gòu)的平均HD95 指標(biāo)結(jié)果較低。

表2 基于改進網(wǎng)絡(luò)(及后處理)的多解剖結(jié)構(gòu)分割結(jié)果與手動分割結(jié)果比較(平均值±標(biāo)準(zhǔn)差)Tab.2 The comparison between the proposed network(and CRF)and manual segmentation results of multiple anatomical structures(mean±standard deviation)

另外，改進模型的結(jié)果與手動分割結(jié)果在體積、表面積和厚度t檢驗中顯示對耳輪、對耳輪腳、三角窩、耳輪、耳輪腳、耳甲艇、耳舟、耳屏、對耳屏、耳屏間切跡這些結(jié)構(gòu)的結(jié)果無顯著性差異(P>0.05)，但是在耳甲腔的厚度和外耳道的體積和表面積有一定差異性。

圖5中給出了本研究模型的預(yù)測結(jié)果與金標(biāo)準(zhǔn)的三維重建對比。在對照圖中可以看出模型可以對12 個結(jié)構(gòu)都有準(zhǔn)確的分割結(jié)果，結(jié)構(gòu)清晰，沒有多余的碎塊和破洞，結(jié)構(gòu)之間沒有明顯的不連續(xù)孔洞，連接緊密。但是，從精細的結(jié)構(gòu)形態(tài)可以看出，模型分割結(jié)果的結(jié)構(gòu)邊緣不夠平滑，部分邊緣存在鋸齒狀。圖6顯示了對耳輪(包括對耳輪腳)和耳輪兩個支柱性結(jié)構(gòu)的局部放大對比圖。圖中可以看出，模型的分割結(jié)果和手動分割結(jié)果在解剖形狀上非常接近。

圖5 多解剖結(jié)構(gòu)分割結(jié)果比較(每行左為基于深度學(xué)習(xí)的自動分割，右為手動標(biāo)簽)。(a)耳正面；(b)耳背面Fig.5 Results of multiple anatomical structure segmentation (In each line，the left is deep learningbased automatic segmentation and the right is by manual labeling).(a) The front of ear；(b) The back of ear

圖6 對耳輪和耳輪的分割結(jié)果(每行左為基于深度學(xué)習(xí)的自動分割，右為手動標(biāo)簽)。(a)對耳輪；(b)耳輪Fig.6 Results of the segmentation for antihelix and helix (In each line，the left is deep learning-based automatic segmentation and the right is by manual labeling).(a) Antihelix；(b) Helix

3 討論

基于3D U-Net，本研究針對UTE 圖像的人體耳軟骨解剖結(jié)構(gòu)分割，提出改進的網(wǎng)絡(luò)構(gòu)架?；A(chǔ)3D U-Net 訓(xùn)練時GPU 顯存占用約為9.8 GB，使用改進模型訓(xùn)練時占用約為9.5 GB，基礎(chǔ)3D U-Net 預(yù)測時占用約為6.3 GB，使用改進模型預(yù)測時占用約為5.9 GB。實現(xiàn)了降低了訓(xùn)練和預(yù)測時GPU 的存儲空間載荷。在參數(shù)上，基礎(chǔ)3D U-Net 模型的參數(shù)412 萬，而改進模型將參數(shù)量減少到了178 萬，實現(xiàn)在網(wǎng)絡(luò)中整幅圖像的輸入輸出并取得了較好結(jié)果。

從表1中的實驗結(jié)果來看，改進模型比3D UNet 基礎(chǔ)模型平均DSC 指標(biāo)值提高了4.9%，HD95平均指標(biāo)值降低了2.945，整體評價顯著提高(P<0.01)，說明改進模型分割的耳解剖結(jié)構(gòu)和真實的結(jié)構(gòu)在形態(tài)上具有很高的相似度。增加三維全連接條件隨機場處理步驟之后，平均DSC 指標(biāo)進一步提高1.1%，平均HD95 下降0.241，說明三維全連接條件隨機場可以根據(jù)圖像獲取更多的邊緣細節(jié)，可以進一步提高分割結(jié)果的準(zhǔn)確性。從表2和圖6的結(jié)果來看，臨床上所關(guān)注的重點結(jié)構(gòu)——耳輪和對耳輪的平均DSC 指標(biāo)可以達到0.907 和0.901，表明在重要結(jié)構(gòu)的分割結(jié)果與金標(biāo)準(zhǔn)非常接近。然而，對耳輪腳、三角窩和耳輪腳的指標(biāo)值并不是很高，可能的原因是這些結(jié)構(gòu)的體積相對較小，但邊緣復(fù)雜，在模型關(guān)注度不高的情況下難以保證與手動分割有較高一致性。耳屏和耳屏間切跡結(jié)構(gòu)雖然體積占比也相對較低，但是在圖像中解剖特點明顯，模型分割難度不高，指標(biāo)值結(jié)果比其他小體積結(jié)構(gòu)高。對于耳輪腳、耳屏間切跡和耳甲腔獲得較高的平均HD95 指標(biāo)值，這可能由于耳輪腳和耳屏間切跡兩個結(jié)構(gòu)體積較小，邊界的定義不明顯，特別是耳甲腔與多個結(jié)構(gòu)相鄰，不利于識別和標(biāo)注，一定程度上造成人工和機器識別的出入。從模型的結(jié)果與手動分割結(jié)果在12 個結(jié)構(gòu)的體積、表面積和厚度的的統(tǒng)計分析結(jié)果來看，只有耳甲腔的厚度和外耳道的體積和表面積有一定差異性，說明在多數(shù)結(jié)構(gòu)的解剖測量中模型分割結(jié)果與手動分割結(jié)果有較高一致性，其中差異性的造成可能是由于耳甲腔與外耳道結(jié)構(gòu)相連且邊界復(fù)雜，造成模型的分割結(jié)果難以達到手工分割的精準(zhǔn)程度。整體來看，提出的改進模型，通過多個優(yōu)化點提高了平均分割精度，分割結(jié)果比較精準(zhǔn)，但是在較小結(jié)構(gòu)和個體間差異很大的結(jié)構(gòu)的分割結(jié)果未能達到理想水平。

盡管數(shù)據(jù)運用了對位裁剪的預(yù)處理，但耳軟骨區(qū)域和背景之間，以及不同大小的結(jié)構(gòu)之間仍然存在嚴重的類間不平衡問題，導(dǎo)致小結(jié)構(gòu)的分割效果不夠理想。為了盡可能的減少類間不平衡，使用耳軟骨標(biāo)簽作為蒙版提取UTE 圖像中耳軟骨區(qū)域，可以進一步減少腦骨、皮膚等背景因素的影響。但是通過UTE 圖像可以看出，耳廓是一個比較特殊的器官，整體表現(xiàn)為漏斗形結(jié)構(gòu)，在圖像每一層中有結(jié)構(gòu)區(qū)域的占比很低，仍然存在較多的背景。經(jīng)統(tǒng)計，裁剪后背景仍然占到了整個圖像體素點的95%，一些較小結(jié)構(gòu)如三角窩和耳輪腳的占比還不到0.2%，圖4也顯示出結(jié)構(gòu)之間的體積占比差異也非常明顯。為了解決此類的問題，本研究對Dice 損失函數(shù)進行改進，針對每一個結(jié)構(gòu)在圖像中的占比賦予了不同權(quán)重，即給予背景非常小的權(quán)重以減少背景的影響，而給予小結(jié)構(gòu)較大的權(quán)重使模型能夠更專注于分割小的結(jié)構(gòu)，有效的提高分割結(jié)果。

在臨床應(yīng)用上，耳軟骨解剖結(jié)構(gòu)的圖像自動分割結(jié)果能夠有效輔助耳軟骨再造手術(shù)、3D 生物打印(或耳軟骨組織工程)和術(shù)后評估。首先，解剖結(jié)構(gòu)分割結(jié)果可以作為特異性或個性化的健側(cè)參考模板，它比之前臨床使用的通用模板更立體更充分的顯示個體的解剖結(jié)構(gòu)。特別的，操作者可以使用分割結(jié)果對具體的解剖結(jié)構(gòu)進行拼接合成適合患者肋軟骨雕刻的支架模型，輔助醫(yī)生更好的完成對每個患者的個性化支架的雕刻過程。然后，分割結(jié)果經(jīng)過格式轉(zhuǎn)換后可以提供可打印的模型，各個結(jié)構(gòu)可以根據(jù)實際需要自由的調(diào)整尺寸或拼接來搭建支架，并且可以用于后續(xù)相關(guān)的力學(xué)、材料等研究。最后，針對耳軟骨支架植入術(shù)后進行無創(chuàng)檢測和評價[25]，對采集到的UTE 組合圖像可以通過本研究提出的方法，提取已植入耳軟骨支架的分割結(jié)果，輔助醫(yī)生觀察和判斷支架的整體以及各個結(jié)構(gòu)的形態(tài)學(xué)變化，計算出相關(guān)的幾何指標(biāo)結(jié)果，方便醫(yī)生對術(shù)后各個時間段的情況進行評估，及時的進行修復(fù)或者調(diào)整。

本研究存在一些局限性，首先是使用的訓(xùn)練集數(shù)據(jù)量相對較少。實驗中使用了40 例數(shù)據(jù)，訓(xùn)練數(shù)據(jù)僅為32 例，這會影響模型的精度也會容易導(dǎo)致過擬合。進一步增加數(shù)據(jù)量可以有效提高模型的魯棒性和泛化性，但由于是全監(jiān)督訓(xùn)練，增加訓(xùn)練數(shù)據(jù)的同時也意味著需要對應(yīng)的分割標(biāo)簽，除了數(shù)據(jù)采集之外手動分割也是一項繁雜的工作。在后續(xù)的研究中需要探索自動生成網(wǎng)絡(luò)可用標(biāo)簽的方法，權(quán)衡增加數(shù)據(jù)量所帶來的人工標(biāo)注問題。其次，雖然通過預(yù)處理和改進損失函數(shù)可以一定程度改善類間不平衡，提高小結(jié)構(gòu)的分割精度，但最終小結(jié)構(gòu)的指標(biāo)還是難以達到如對耳輪和耳輪的水平。在未來的工作中，網(wǎng)絡(luò)優(yōu)化方面考慮增加注意力機制等模塊來提高網(wǎng)絡(luò)的性能，也會嘗試使用Transformer 新框架[26]驗證耳軟骨的分割性能。

4 結(jié)論

在小耳畸形的整形外科手術(shù)中，為患者構(gòu)建高質(zhì)量耳軟骨支架一直是臨床研究的重點。本研究將UTE 序列應(yīng)用于耳軟骨數(shù)據(jù)采集，以此對數(shù)據(jù)進行耳軟骨及解剖結(jié)構(gòu)實施手動標(biāo)注，并基于3D UNet 提出改進模型實現(xiàn)MRI 圖像人體耳軟骨的解剖結(jié)構(gòu)自動分割。研究結(jié)果顯示，改進的3D U-Net 網(wǎng)絡(luò)模型在招募的數(shù)據(jù)集上有很好的適用性，可以準(zhǔn)確的分割出耳軟骨及其12 個子結(jié)構(gòu)，有望優(yōu)化臨床自體肋軟骨雕刻方案、為耳軟骨組織工程或者3D生物打印提供可打印模型以及完善支架植入術(shù)后無創(chuàng)評估方法。

(致謝:感謝中國醫(yī)學(xué)科學(xué)院整形外科醫(yī)院蔣海越教授、劉霞副教授，博士研究生楊國珺、王迪，以及清華大學(xué)生物醫(yī)學(xué)工程學(xué)院生物醫(yī)學(xué)影像研究中心負責(zé)人李睿與影像技術(shù)顧問何樂、朱艷東)