基于3D-nnUnet的三維超聲胎肺容積自動測量

王琳，曹艷，鄧子微，胡炯通，梁嘉敏，曹曉焱，潘文雄，嚴(yán)玉玲，孫志偉，楊鑫，倪東

1）深圳市福田婦幼保健院醫(yī)學(xué)影像科，廣東深圳 518016；2）深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，廣東深圳 518071

胎肺發(fā)育不良是一種常見的新生兒呼吸道疾病，新生兒發(fā)病率約0.11%，但致死率高達70%［1］.準(zhǔn)確評估產(chǎn)前胎肺發(fā)育的成熟度，可有效避免胎肺發(fā)育不良的發(fā)生，對降低新生兒的病死率有重要意義.

傳統(tǒng)評估胎肺成熟度的方法有羊水振蕩實驗、泡沫穩(wěn)定實驗、磷脂成分檢測等［2-3］.但這些方法均要做羊膜腔穿刺，不僅費時費力，還存在一定風(fēng)險，患者接受度較低.在臨床上，超聲檢測是測量和評估胎兒生長狀況的主要手段，具有簡單、快速、無創(chuàng)和可重復(fù)的特點.目前應(yīng)用超聲指標(biāo)評估胎肺成熟度已受到越來越多臨床醫(yī)生的重視.

近年來采用超聲評估胎肺成熟度的方法主要有二維超聲測量和三維超聲測量.二維超聲測量方法主要測量胸圍、肺的面積、肺動脈內(nèi)徑、胸圍/腹圍、胎肺面積/頭圍等指標(biāo)［4-5］.但當(dāng)孕婦患有妊娠糖尿病或胎兒本身存在異常時，二維超聲測量方法對胎肺成熟度的評估會受到一定限制.三維超聲測量方法主要測量胎肺容積.研究認(rèn)為用二維超聲測量方法評估胎肺成熟度的敏感性和準(zhǔn)確性較三維的方法低，如VERGANI 等［6］分別使用三維超聲和二維超聲測量值進行胎肺成熟度評估，結(jié)果顯示使用三維超聲測量值進行胎肺成熟度評估更可靠，在特異性和敏感性上更具有優(yōu)勢.

目前常用的三維超聲胎肺容積測量方法包括平行切面法［7］和虛擬器官計算機輔助分析（virtual organ computer-aided analysis，VOCAL）［8］.平行切面法通過逐層手動勾畫出肺邊界來計算胎肺容積，VOCAL 是一種三維超聲體積自動測量技術(shù)，通過轉(zhuǎn)角位從不同角度來手動勾畫胎肺邊界以測算胎肺容積.研究顯示兩者均可測量正?；蛘甙l(fā)育不良的胎肺，但VOCAL 的準(zhǔn)確性較高，重復(fù)性較平行切面法稍差［9］.然而，兩種方法在臨床使用時，都會受到操作者經(jīng)驗的影響，易產(chǎn)生假陰性或假陽性［10］，且三維數(shù)據(jù)的勾畫相對繁瑣和耗時，臨床實用性差.因此，三維超聲胎肺容積測量急需精確高效的自動分割和測量方法的探索.

近年來深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域得到了廣泛的應(yīng)用，也令三維超聲圖像自動分割技術(shù)飛速發(fā)展.YANG等［11］使用基于三維的卷積神經(jīng)網(wǎng)絡(luò)從胎兒超聲體數(shù)據(jù)中自動分割出了胎兒、妊娠囊和胎盤，實現(xiàn)了更準(zhǔn)確和快速的分割.YANG等［12］提出了一種結(jié)合渲染式對比學(xué)習(xí)和半監(jiān)督學(xué)習(xí)的三維分割算法框架，解決了小樣本標(biāo)注和邊緣模糊問題，實現(xiàn)了三維超聲影像中的卵巢和卵泡的精確分割.應(yīng)用深度學(xué)習(xí)進行胎肺三維分割的可行性強，且前景廣闊.

然而，胎肺三維超聲圖像質(zhì)量較差，這為胎肺精確分割帶來了挑戰(zhàn).圖1給出的胎肺三維超聲圖像展示了當(dāng)前精確分割面臨的4種主要困難：①胎肺與周圍組織的對比度小，難以精確區(qū)分胎肺區(qū)域，見圖1（a）；②胎肺邊緣模糊，難以精確分割，見圖1（b）；③不同孕周胎肺大小變化大，增加了分割模型的學(xué)習(xí)難度，見圖1（b）與圖1（c），圖1（b）為 16 孕周的胎肺，圖 1（c）為 25 孕周的胎肺；④圖像存在陰影和遮擋，會對分割模型造成干擾，見圖1（d）.其中，藍(lán)色線區(qū)域為醫(yī)生手動勾畫的右肺；紅色線區(qū)域為醫(yī)生手動勾畫的左肺；橙色箭頭指示胎肺圖像存在其他組織遮擋；綠色箭頭處指示圖像存在陰影.

圖1 胎肺三維超聲圖像分割困難示例Fig.1 Examples of difficulties in segmenting fetal lung three-dimensional ultrasound images

針對上述問題，本研究基于3D-nnUnet［13］首次提出一種對胎肺三維超聲圖像進行自動精確分割容積測量的方法，主要貢獻可總結(jié)為：①首次從不同孕周的三維超聲胎肺容積圖像中高效穩(wěn)定地精確分割出胎肺，填補了臨床三維胎肺精確分割方法的空白.②采用網(wǎng)絡(luò)動態(tài)自適應(yīng)模塊自動生成最適合于胎肺三維數(shù)據(jù)的網(wǎng)絡(luò)配置，有效克服了胎肺圖像組織對比度低和邊緣模糊的問題，提升了分割精度.③創(chuàng)新性地提出困難樣本聚焦和簡單樣本懲罰（hard-mining and easy-penalized，HMEP）損失，通過關(guān)注困難樣本、減少簡單樣本影響的方法解決胎肺超聲圖像在不同孕周差異大、樣本分布極不均衡導(dǎo)致分割模型泛化能力差的問題，進一步提升了分割精度，也為分割任務(wù)中正負(fù)樣本強烈不平衡的場景提供解決方案.④能夠做到對胎肺容積的自動準(zhǔn)確測量，其自動測量結(jié)果與醫(yī)生手動勾畫結(jié)果經(jīng)檢驗無顯著性差異，可提高臨床三維胎肺容積測量的效率與準(zhǔn)確度，為進一步的胎肺成熟度評估提供有力依據(jù).

1 三維超聲胎肺自動分割方法

本研究提出的胎肺三維超聲自動分割與容積計算框架包含預(yù)處理、網(wǎng)絡(luò)自適應(yīng)、網(wǎng)絡(luò)訓(xùn)練和測試，以及后處理4個步驟，如圖2.在預(yù)處理階段，對數(shù)據(jù)進行裁剪、重采樣、標(biāo)準(zhǔn)化和多種數(shù)據(jù)增強.在網(wǎng)絡(luò)自適應(yīng)階段，根據(jù)數(shù)據(jù)大小選擇最合適的patch 尺寸，生成兩種動態(tài)網(wǎng)絡(luò)配置.在網(wǎng)絡(luò)訓(xùn)練和測試階段，先采用五折交叉驗證對生成的兩種網(wǎng)絡(luò)分別進行訓(xùn)練，通過驗證集選擇表現(xiàn)最佳的網(wǎng)絡(luò)配置；在測試時，對得到的最佳網(wǎng)絡(luò)進行多模型集成推理，獲取自動分割的預(yù)測圖像.在后處理階段，通過保留兩個最大連通域得到最終的分割圖像并計算預(yù)測胎肺容積.

圖2 胎肺三維超聲自動分割與測量流程Fig.2 The flow chart of automatic three-dimensional ultrasound segmentation and measurement of fetal lung

1.1 網(wǎng)絡(luò)動態(tài)自適應(yīng)模塊

三維超聲圖像尺寸巨大且大小不一，這對圖像的特征學(xué)習(xí)和計算機性能要求帶來巨大挑戰(zhàn).為保證有效利用有限的計算資源，傳統(tǒng)的解決方法有：①設(shè)計合適的patch 尺寸并基于patch 進行圖像分割，這樣可以固定網(wǎng)絡(luò)輸入，但會損失大量的上下文信息，造成分割結(jié)果不連續(xù)和出現(xiàn)偽影現(xiàn)象.②將圖像統(tǒng)一縮放至較小尺寸來固定網(wǎng)絡(luò)輸入，但這樣會降低圖像質(zhì)量，損失許多細(xì)節(jié)信息，以至于無法得到較好的精細(xì)化分割結(jié)果.為避免以上問題，本研究提出網(wǎng)絡(luò)動態(tài)自適應(yīng)模塊，根據(jù)現(xiàn)有計算條件選擇合適的patch 尺寸，生成相應(yīng)的網(wǎng)絡(luò)配置.主要設(shè)計思路是：根據(jù)胎肺三維超聲預(yù)處理后圖像的實際大小，選擇適合所用圖形處理器顯存的patch尺寸，并由此得到分割時網(wǎng)絡(luò)下采樣的次數(shù)K和卷積層總數(shù)5K+ 2.這樣就可以使網(wǎng)絡(luò)結(jié)構(gòu)自動適應(yīng)輸入patch 尺寸與空間，確保網(wǎng)絡(luò)能接受的區(qū)域大小覆蓋整個輸入.選擇合適的patch 尺寸的過程如圖3.

圖3 網(wǎng)絡(luò)動態(tài)自適應(yīng)模塊patch尺寸的選擇機制Fig.3 Selection mechanism of patch size in network dynamic adaptive module

1.2 分割網(wǎng)絡(luò)設(shè)計

胎肺數(shù)據(jù)在不同孕周大小差異巨大，因此對分割網(wǎng)絡(luò)的適應(yīng)能力也不同.為找到適應(yīng)不同孕周數(shù)據(jù)的分割網(wǎng)絡(luò)，本研究基于3D-nnUnet 設(shè)計了兩個獨立網(wǎng)絡(luò)：①FRUnet（full resolution Unet）：網(wǎng)絡(luò)在全像素數(shù)據(jù)上運行，基于patch 尺寸直接進行精細(xì)化分割；②CUnet（cascade Unet）：專門為胎肺數(shù)據(jù)中較大的體數(shù)據(jù)設(shè)計，先在低分辨率圖像上得到粗分割結(jié)果，在此基礎(chǔ)上再進行細(xì)分割，進行細(xì)節(jié)的補充和調(diào)整.這兩種網(wǎng)絡(luò)架構(gòu)都適合胎肺三維超聲數(shù)據(jù)，故本研究同時對這兩種網(wǎng)絡(luò)進行訓(xùn)練，根據(jù)交叉驗證結(jié)果自動選擇一個表現(xiàn)更好的網(wǎng)絡(luò)配置.

本研究設(shè)計的胎肺分割網(wǎng)絡(luò)框架如圖4.胎肺三維超聲圖像以patch 為單位，在FRUnet 網(wǎng)絡(luò)和CUnet 網(wǎng)絡(luò)模塊中進行特征學(xué)習(xí).FRUnet 模塊由1個 3D UNet［14］組成，CUnet 模塊由 2 個 3D UNet 級聯(lián)組成.3D UNet 網(wǎng)絡(luò)下采樣結(jié)構(gòu)中采樣次數(shù)K與卷積層的總數(shù)由patch 尺寸決定.每個patch 通過K次下采樣快速聚合上下文信息，一直下采樣到特征圖達到最小體素(4 × 4 × 4).每次下采樣操作進行2次“卷積—標(biāo)準(zhǔn)化—激活函數(shù)”的操作.每次上采樣均通過轉(zhuǎn)置卷積實現(xiàn).其中，下采樣每個尺寸的特征圖均通過跳躍連接與上采樣得到的相應(yīng)尺寸的特征圖進行融合.

圖4 胎肺三維分割網(wǎng)絡(luò)框架Fig.4 The framework of three-dimensional fetal lung segmentation network

1.3 損失函數(shù)設(shè)計

損失函數(shù)關(guān)系著網(wǎng)絡(luò)的學(xué)習(xí)和收斂，對網(wǎng)絡(luò)的性能起著關(guān)鍵作用.在三維分割中最常用的損失函數(shù)為骰子損失（dice loss）［15］，用來衡量預(yù)測圖和金標(biāo)準(zhǔn)兩者間的重疊程度，可較好地解決分割任務(wù)中正負(fù)樣本強烈不平衡（前景區(qū)域較小）的問題.但實際上，dice損失在訓(xùn)練過程中更側(cè)重對前景區(qū)域的挖掘，在小目標(biāo)情況下容易不穩(wěn)定，對困難樣本和不均衡的樣本關(guān)注度不夠.對于分割困難樣本的學(xué)習(xí)，焦點損失（focal loss）［16］通過調(diào)節(jié)簡單樣本權(quán)重降低的速率，加強網(wǎng)絡(luò)對困難樣本的關(guān)注度.TopK 損失（TopK loss）［17］通過強迫網(wǎng)絡(luò)在訓(xùn)練過程中關(guān)注少數(shù)困難樣本，使模型在學(xué)習(xí)的過程中可以更好地專注于復(fù)雜不均衡樣本.兩者都沒有過多關(guān)注樣本前景區(qū)域.

本研究針對胎肺數(shù)據(jù)在不同孕周胎肺圖像差異大和樣本數(shù)量在不同孕周分布極其不均衡的問題，融合dice 損失、focal 損失和TopK 損失的優(yōu)勢，創(chuàng)新性地提出HMEP 損失與簡單樣本懲罰（easypenalized，EP）損失，使網(wǎng)絡(luò)在保證對前景區(qū)域足夠挖掘的基礎(chǔ)上，加強對困難樣本和不均衡樣本的關(guān)注，進一步提升網(wǎng)絡(luò)的學(xué)習(xí)能力.HMEP損失是dice 損失、focal 損失和TopK 損失的復(fù)合損失函數(shù)，即

EP 損失是dice 損失和focal 損失的復(fù)合損失函數(shù)，即

其中，Ldice、Lfocal和LTopK分別為 dice 損失、focal 損失和TopK損失，即

這里，N為體素總數(shù)；C為類別數(shù)；本研究log默認(rèn)以e 為底；c為像素i的正確分類；為體素i的類標(biāo)簽c的真實二元指示符；為對應(yīng)的預(yù)測分割概率；γ為權(quán)重因子；本研究設(shè)置K為10%表現(xiàn)最差像素的集合.

2 實 驗

2.1 數(shù)據(jù)采集

實驗數(shù)據(jù)采集自深圳市福田婦幼保健院超聲科，所用的超聲設(shè)備型號為GE e8、GE e10和三星Ws 80，使用三維容積探頭共采集到325 個胎肺三維超聲數(shù)據(jù).經(jīng)產(chǎn)科專家納入排除，均確認(rèn)為正常胎肺數(shù)據(jù).所有數(shù)據(jù)由6 位中高年資醫(yī)生（臨床經(jīng)驗6 ～10 a）在橫斷面上逐幀精確標(biāo)注左右兩個胎肺輪廓，并由2 位高年資醫(yī)生（臨床經(jīng)驗＞10 a）進行嚴(yán)格核查修改.在本研究中，290 個三維樣本數(shù)據(jù)及其標(biāo)注用于實驗，35個樣本數(shù)據(jù)用于獨立測試.實驗數(shù)據(jù)涵蓋16 ～40孕周，其分布如圖5.用于分割的二維數(shù)據(jù)和分割標(biāo)注是由三維數(shù)據(jù)及其標(biāo)注在橫斷面上切分出來的，實驗數(shù)據(jù)集規(guī)模與劃分如表1.

表1 二維和三維實驗數(shù)據(jù)集劃分Table 1 Two-dimensional and three-dimensional experimental data set division

圖5 胎肺數(shù)據(jù)孕周分布Fig.5 Distribution of numbers of fetal lung samples in different gestation weeks

2.2 數(shù)據(jù)預(yù)處理

在本研究中，用于胎肺二維分割實驗的圖像經(jīng)中心裁剪并縮放至448 × 448 像素，再進行標(biāo)準(zhǔn)化處理（圖像的像素矩陣減去均值并除以其標(biāo)準(zhǔn)差）.在3D-Unet 分割實驗中，用于胎肺三維分割實驗的三維圖像經(jīng)中心裁剪并縮放至256 × 256 × 256 體像素，訓(xùn)練集通過隨機裁剪進行數(shù)據(jù)增強.在3D-nnUnet分割實驗中，先利用三維圖像的標(biāo)簽尋找一個最小的三維邊界框，裁剪掉與三維圖像無關(guān)的區(qū)域.之后為保持三維圖像中單個體素所代表的實際空間大小一致，在確定重采樣的目標(biāo)空間大小后，根據(jù)目標(biāo)空間確定每個三維圖像的目標(biāo)尺寸，并對三維圖像尺寸進行調(diào)整.最后，對每個三維胎肺圖像利用自身均值和標(biāo)準(zhǔn)差進行標(biāo)準(zhǔn)化.

2.3 網(wǎng)絡(luò)設(shè)置

本研究將提出的三維分割網(wǎng)絡(luò)與常用的二維和三維分割網(wǎng)絡(luò)進行對比.所用二維分割網(wǎng)絡(luò)包括：①FCN［18］：采用FCN-8s，通過反卷積將特征圖恢復(fù)到原圖大小，其骨干網(wǎng)絡(luò)為VGG-16；②Unet［19］：通過跳躍連接將下采樣提取的不同尺度胎肺特征圖像依次融入上采樣過程；③PSPN［20］：利用金字塔池化在不同層次上融合提取到的胎肺特征，其骨干網(wǎng)絡(luò)為 ResNet-34；④ DeeplabV3+［21］：應(yīng)用膨脹卷積和深度可分離卷積，將空間金字塔池化和編碼解碼操作融合成一體，其骨干網(wǎng)絡(luò)為ResNet-101.進行三維分割對比實驗的是3D-Unet，保留二維Unet 原有模塊結(jié)構(gòu)，將三維卷積算子替換為原來的二維算子.

所有分割網(wǎng)絡(luò)均使用Adam 優(yōu)化器，初始學(xué)習(xí)率為1 × 10-4，權(quán)重衰減因子為0.01.所有網(wǎng)絡(luò)均基于PyTorch學(xué)習(xí)框架，操作系統(tǒng)為Linux，在兩塊型號為NVIDIA GTX3060Ti 的GPU 上進行訓(xùn)練.考慮到胎肺數(shù)據(jù)在不同孕周分布極不平衡，在二維分割實驗中采用focal 損失，其中γ= 2.在三維分割實驗中，采用EP損失與HMEP損失作為損失函數(shù).

2.4 評估指標(biāo)

1） Dice 相似度系數(shù)（dice similarity coefficient，DSC）用來衡量兩個分割區(qū)域G與S之間的相似性，DSC的值越大越好.在本研究中用來計算網(wǎng)絡(luò)分割結(jié)果與真實標(biāo)注結(jié)果間的相似度，表達式為

2）交并比（intersection over union，IoU）用于度量區(qū)域X與Y之間的相似性，其值越大越好，表達式為

3）豪斯多夫距離 （Hausdorff distance，HD）描述分割區(qū)域X與Y邊緣之間的距離，其值越小越好，表達式為

其中，x和y分別是區(qū)域X與Y中的點；‖x-y‖表示點x與y之間的歐氏距離.

2.5 優(yōu)化與后處理

為得到二維胎肺分割的最優(yōu)結(jié)果，針對胎肺圖像邊緣模糊與圖像對比度差的問題，本研究提出3種優(yōu)化策略：①上采樣增加邊緣分支，使網(wǎng)絡(luò)在反傳時能夠?qū)W習(xí)到更多胎肺邊緣信息，增強網(wǎng)絡(luò)對胎肺邊緣的約束.②測試時增強（test time augmentation，TTA），在二維分割模型推理測試階段，將原始測試圖像進行水平翻轉(zhuǎn)等數(shù)據(jù)增強，再對推理的多個結(jié)果進行綜合得到平均輸出作為最終分割結(jié)果.③邊緣優(yōu)化+TTA，即將前兩種方法綜合起來同時使用.在三維分割實驗中，針對過分割的問題，本研究采用保留最大兩個連通區(qū)域以去除分割結(jié)果中的冗余組織，提升三維胎肺分割效果.

3 實驗結(jié)果及分析

3.1 二維分割對比實驗結(jié)果及優(yōu)化分析

為探究在二維胎肺圖像中可達到的最佳分割效果，本研究進行了二維分割對比實驗.表2給出了二維分割實驗中，分別采用FCN、Unet、PSPN 和DeepLab V3+網(wǎng)絡(luò)在測試集上的分割結(jié)果，以及分割效果表現(xiàn)最好的DeepLab V3+網(wǎng)絡(luò)使用不同優(yōu)化方法后的分割結(jié)果.由表2 可見，DeepLab V3+網(wǎng)絡(luò)的分割性能最佳，其分割的DSC可達82.5%，能夠比較準(zhǔn)確地分割出胎肺.采用邊緣優(yōu)化與TTA相結(jié)合的優(yōu)化方法能使DeepLab V3+網(wǎng)絡(luò)的DSC 提升至83.2%，IoU 可達71.2%，HD 指標(biāo)減至6.325 mm，表明該優(yōu)化方法進一步提高了網(wǎng)絡(luò)對胎肺的分割準(zhǔn)確率.

表2 不同二維分割方法分割結(jié)果1）Table 2 Segmentation results of different two-dimensional segmentation methods

由表2可知，采用二維網(wǎng)絡(luò)在測試集上分割出胎肺的平均DSC 超過80%，平均IoU 超過69%，平均HD小于7 mm，說明采用二維網(wǎng)絡(luò)分割胎肺的方法雖然可行，但離精確分割還有一定差距.實際上，二維分割忽略了胎肺的空間信息，不能學(xué)到胎肺在空間中的連續(xù)性，這是二維分割胎肺方法的固有局限，也是導(dǎo)致二維分割胎肺不精準(zhǔn)的最大原因.

圖6 展示了不同二維分割網(wǎng)絡(luò)分割結(jié)果.其中，圖6（a）為二維B超原圖；圖6（b）為醫(yī)生的手工標(biāo)注結(jié)果（金標(biāo)準(zhǔn)）；圖6（c）—（f）依次為采用FCN、Unet、PSPN和DeepLab V3+網(wǎng)絡(luò)的分割結(jié)果.由圖6可見，F(xiàn)CN網(wǎng)絡(luò)分割效果最差；Unet與PSPN網(wǎng)絡(luò)次之，分割結(jié)果不夠精細(xì)；DeepLab V3+網(wǎng)絡(luò)既能較完整地分割出胎肺，亦能保證分割出的胎肺邊緣比較精細(xì)，更貼近人工標(biāo)注的水準(zhǔn)，因此分割效果最好.

圖6 不同二維網(wǎng)絡(luò)對胎肺的分割結(jié)果Fig.6 Segmentation results of fetal lungs by different two-dimensional networks

3.2 三維分割結(jié)果及優(yōu)化分析

表3記錄了3D-Unet和3D-nnUnet兩種三維分割網(wǎng)絡(luò)采用不同的損失函數(shù)時，在測試集上獲得的性能指標(biāo)和平均分割時間，同時記錄了分割結(jié)果經(jīng)后處理優(yōu)化前后網(wǎng)絡(luò)的分割性能指標(biāo).結(jié)果表明，當(dāng)兩種網(wǎng)絡(luò)均采用dice 損失時，3D-nnUnet 網(wǎng)絡(luò)的各項分割性能均明顯優(yōu)于3D-Unet 網(wǎng)絡(luò)，分割后DSC達85.3%，IoU 達74.4%，HD 達5.882 mm，高于二維分割實驗中DeepLab V3+網(wǎng)絡(luò)達到的最佳分割性能（表2），可見采用三維網(wǎng)絡(luò)分割胎肺的方法優(yōu)于采用二維網(wǎng)絡(luò)的分割方法.采用HMEP 損失的3D-nnUnet 網(wǎng)絡(luò)的分割性能要優(yōu)于使用dice 損失與EP 損失，其DSC 達85.3%，提升了1.8%.對比4 種網(wǎng)絡(luò)分割方法所用時間發(fā)現(xiàn)，3D-Unet 網(wǎng)絡(luò)采用dice 損失分割胎肺的平均時間約為1.4 s；3D-nnUnet 網(wǎng)絡(luò)分別采用dice 損失、EP 損失和HMEP損失分割胎肺的時間相差無幾，平均用時均接近2.6 s.可見，3D-Unet網(wǎng)絡(luò)在分割效率上略高于3D-nnUnet 網(wǎng)絡(luò)，而采用何種損失函數(shù)對于3D-nnUnet網(wǎng)絡(luò)模型的分割效率幾乎無影響.

表3 不同三維分割方法經(jīng)后處理前后的分割結(jié)果1）Table 3 Segmentation results of different three-dimensional segmentation methods before and after post-processing

圖7展示了同一三維胎肺圖像在不同三維分割方法下的分割結(jié)果.其中，圖7（b）為醫(yī)生手動標(biāo)注的金標(biāo)準(zhǔn)；圖7（c）和（d）分別為采用dice損失的3DUnet和3D-nnUnet網(wǎng)絡(luò)的分割結(jié)果；圖7（e）和（f）分別為采用EP損失和HMEP損失的3D-nnUnet網(wǎng)絡(luò)的分割結(jié)果.由圖7 可見，3D-Unet 分割的胎肺結(jié)果中明顯存在其他組織，分割效果差；3D-nnUnet 網(wǎng)絡(luò)采用dice 損失時，分割出的胎肺明顯好于3DUnet網(wǎng)絡(luò)，但和金標(biāo)準(zhǔn)相比，肺尖和肺底存在欠分割現(xiàn)象，對胎肺邊緣的分割也不夠精準(zhǔn)，這說明dice損失未能較好地關(guān)注到困難樣本，對目標(biāo)邊緣的約束也不夠；當(dāng)3D-nnUnet采用EP損失時，通過添加focal損失來降低易分割區(qū)域的樣本權(quán)重，增強了網(wǎng)絡(luò)對肺尖和肺底這些較小的困難區(qū)域的學(xué)習(xí)，分割效果比使用dice損失有一定提升，但與金標(biāo)準(zhǔn)相比，胎肺部分邊緣仍較難與其他組織區(qū)分，存在過分割現(xiàn)象；當(dāng)3D-nnUnet網(wǎng)絡(luò)采用HMEP損失時，因在EP損失的基礎(chǔ)上增加了TopK損失，強迫網(wǎng)絡(luò)在訓(xùn)練過程中關(guān)注困難樣本，令網(wǎng)絡(luò)在保證對前景區(qū)域足夠挖掘的基礎(chǔ)上，進一步提升了網(wǎng)絡(luò)的學(xué)習(xí)能力.結(jié)果顯示，相比其他方法，采用HMEP損失的網(wǎng)絡(luò)分割效果最好，在肺尖肺底和胎肺邊緣這些困難區(qū)域的分割都有一定提升，整體分割效果與人工標(biāo)注的金標(biāo)準(zhǔn)結(jié)果最接近，說明所提HMEP損失的三維分割策略在關(guān)注困難樣本的學(xué)習(xí)上有效.

圖7 不同三維分割網(wǎng)絡(luò)采用不同損失函數(shù)的分割結(jié)果Fig.7 Segmentation results of fetal lungs by different 3D segmentation networks with different loss functions

對比表3中未經(jīng)后處理優(yōu)化和經(jīng)后處理優(yōu)化后不同三維分割方法下的各項分割結(jié)果發(fā)現(xiàn)，本研究提出的后處理優(yōu)化方法有助于提高網(wǎng)絡(luò)對三維胎肺的分割精度.與其他分割方法相比，采用HMEP損失的3D-nnUnet 網(wǎng)絡(luò)分割結(jié)果表現(xiàn)最佳.經(jīng)后處理優(yōu)化后，分割性能得到進一步提升，DSC 達85.7%，提升了0.4%，能較精確地分割出胎肺，進一步減小了胎肺容積的測量誤差.

圖8展示了2例三維超聲胎肺數(shù)據(jù)在3D-nnUnet最佳分割模型結(jié)果在后處理前后分割出的三維胎肺結(jié)果.由圖8可知，網(wǎng)絡(luò)的分割結(jié)果未經(jīng)后處理方法優(yōu)化時，分割結(jié)果存在冗余的組織，模型表現(xiàn)出過分割的性能.但是，后處理優(yōu)化方法能幫助網(wǎng)絡(luò)去除分割出的冗余組織，解決分割過擬合的問題，從而使網(wǎng)絡(luò)能更精確地分割出胎肺.

圖8 后處理優(yōu)化前后分割結(jié)果可視化示例Fig.8 Examples of segmentation results before and after post-processing optimization

3.3 分割模型穩(wěn)定性分析

為分析所提分割模型的穩(wěn)定性及其在不同孕周大小胎肺數(shù)據(jù)的分割性能，本研究采用35 例孕周分布在 16 ～ 20、21 ～ 25、26 ～ 30、31 ～ 35 和 36 ～40孕周5個區(qū)間的獨立測試數(shù)據(jù)，由高年資醫(yī)生統(tǒng)一標(biāo)注審核，再經(jīng)本研究提出的分割網(wǎng)絡(luò)模型統(tǒng)一進行預(yù)處理和測試.表4為不同孕周數(shù)據(jù)各項分割評估指標(biāo)平均結(jié)果的統(tǒng)計.結(jié)果表明，本研究提出的胎肺精確分割模型在不同的孕周對胎肺分割的準(zhǔn)確率比較穩(wěn)定，模型穩(wěn)定性好，平均準(zhǔn)確率超85%，平均IoU 超75%，平均HD 小于6 mm.無論是在大孕周還是在小孕周，網(wǎng)絡(luò)都能保持較高性能，且在大孕周上分割性能更佳，HD值更小.

表4 不同孕周數(shù)據(jù)各分割評估指標(biāo)的平均結(jié)果Table 4 The average results of each segmentation evaluation index in different gestational weeks

3.4 自動分割和手動勾畫一致性分析

為分析所提分割網(wǎng)絡(luò)模型所預(yù)測的胎肺容積和醫(yī)生手動勾畫計算的胎肺容積之間的差異，對35例16 ～40 孕周的胎肺數(shù)據(jù)進行一致性分析，包括皮爾遜相關(guān)性分析、配對樣本t檢驗和Bland-Altman圖.胎肺容積真實值與預(yù)測值的散點圖如圖9（a）所示，兩者間皮爾遜相關(guān)系數(shù)r2= 0.99.其中，SSE 為真實與預(yù)測值之間的誤差平方和；n為樣本數(shù).由圖9（a）可知，真實值與預(yù)測值之間存在很強的線性相關(guān)性.本研究采用配對樣本t檢驗來比較胎肺容積真實值與預(yù)測值之間的差異，在顯著性水平為0.05 的情況下，所得P值遠(yuǎn)小于0.05，因此認(rèn)為通過網(wǎng)絡(luò)分割出的胎肺容積與醫(yī)生手動標(biāo)注的胎肺容積之間無明顯統(tǒng)計學(xué)差異.圖9（b）為自動分割方法與醫(yī)生手動勾畫方法間的Bland-Altman圖，橫坐標(biāo)為兩種方法的平均值，縱坐標(biāo)為兩種方法的差值.由圖9（b）可見，所有數(shù)據(jù)均介于兩者差值的95%區(qū)間，即差值的1.96的標(biāo)準(zhǔn)差(±1.96s)范圍內(nèi)，說明自動分割方法和醫(yī)生手動勾畫方法具有非常強的一致性.

圖9 胎肺容積真實值與預(yù)測值間一致性檢驗結(jié)果Fig.9 Results of the consistency test between the true value and the predicted value of fetal lung volume

結(jié) 語

針對目前臨床上基于三維超聲胎肺容積測量結(jié)果不準(zhǔn)確和實用性差的問題，提出一種基于3D-nnUnet、網(wǎng)絡(luò)動態(tài)自適應(yīng)和HMEP損失的三維胎肺超聲自動分割和容積測量方法.此方法是一種從胎兒三維超聲肺部體數(shù)據(jù)中實現(xiàn)自動精確分割胎肺的較理想的方法，填補了臨床上精確分割出胎肺方法的空白.此方法能夠提高臨床三維胎肺容積測量的效率與準(zhǔn)確度，為進一步實現(xiàn)快速、無創(chuàng)的胎肺成熟度評估提供有力依據(jù).這規(guī)避了傳統(tǒng)方法有創(chuàng)性和接受度較低的缺點，在診斷胎兒肺發(fā)育不良及評估肺成熟度方面有較好的應(yīng)用前景.