基于深度學習的二維心臟超聲圖像分割模型在小規(guī)模數(shù)據(jù)集上的性能評估

林天予， 宋亮， 高智凡*， 張賀曄*

(1.中山大學 生物醫(yī)學工程學院， 廣東 深圳 518107； 2.深圳北芯生命科技股份有限公司， 廣東 深圳 518052)

從二維超聲心動圖中勾畫出心臟結構是一項常見的臨床診斷任務。診斷專家通常在收縮末期和舒張末期分割心臟的左心室內膜邊界，并使用這些邊界提供定量的心臟功能分析，例如計算左心室射血分數(shù)等[1]。在超聲心動圖的左心室手動分割操作方面，目前還存在以下問題：(1)需要具有豐富臨床經驗的專業(yè)醫(yī)生，進行大量枯燥且耗時的分割操作工作。(2)分割結果可能帶有主觀性，可重復性差；(3)超聲心動圖的成像具有各向異性、噪聲較大、容易受肺部偽影的影響，可讀性較低的缺點[2-3]。上述因素導致左心室的人工操作分割難度較大，有必要探討新技術手段在此方面的改進。

近年來深度學習技術在超聲心動圖左心室自動分割領域中的應用逐漸成為研究熱點[4-5]。相較于傳統(tǒng)的機器學習方法，深度學習可以自動學習超聲心動圖中豐富的隱含特征，而無需進行人為的特征設計[6-11]。但深度學習對大數(shù)據(jù)集的需求卻與醫(yī)學圖像處理領域數(shù)據(jù)稀缺、獲取難度大的難題形成了一定的矛盾[12-13]。因此，研究和提高醫(yī)學圖像分割模型在數(shù)據(jù)量較少時的性能十分重要。2014年Long等[14]提出了用于語義分割的全卷積神經網(wǎng)絡(fully convolutional network, FCN)。FCN沒有考慮全局的語義信息，并且需要較長的訓練時間和較大的數(shù)據(jù)量才能很好地收斂。隨后Chen等[15]在FCN的基礎上進行了改進，他們的新方法在超聲圖像分割上取得了一定進展。2015年Ronneberger等[16]提出了針對醫(yī)學圖像分割的U-Net。U-Net通過多層次的特征提取保留了高級和低級的語義特征、通過跳躍連接找回邊緣特征，并可以在較少的醫(yī)學數(shù)據(jù)上使用，但U-Net在分割目標的定位方面還具有局限性。后續(xù)Vigneault等[17]基于U-Net的方法得到了更強的超聲分割性能。2019年蔣建慧等[18]使用卷積神經網(wǎng)絡(convolutional nerual network, CNN)對超聲心動圖數(shù)據(jù)進行分類，再使用FCN完成左心室分割以及射血分數(shù)的自動計算。2020年Li等[19]提出了密集金字塔和深度監(jiān)督神經網(wǎng)絡(dense pyramid and deep supervision network，DPS-Net)，其使用了10858張二維超聲心動圖，對其在多視角超聲心動圖序列上的全自動分割進行了研究。然而，受限于醫(yī)學圖像領域的數(shù)據(jù)稀缺現(xiàn)象，獲取如此大量的數(shù)據(jù)用于醫(yī)學圖像領域的深度學習任務并非易事，因此DPS-Net在小規(guī)模數(shù)據(jù)集上的性能值得進一步檢驗。

為了研究DPS-Net在樣本規(guī)模較小時進行左心室超聲分割任務上的性能，本研究使用了兩個開源數(shù)據(jù)集：用于多結構超聲分割的心臟超聲采集(cardiac acquisitions for multi-structure ultrasound segmentation，CAMUS)和HMC-QU數(shù)據(jù)集，對DPS-Net進行實驗，并將其與FCN及U-Net進行比較，以估計DPS-Net在小規(guī)模數(shù)據(jù)集上的臨床應用潛力。

1 資料與方法

1.1 數(shù)據(jù)集與數(shù)據(jù)預處理

研究共使用兩個超聲心動圖數(shù)據(jù)集：CAMUS和HMC-QU。CAMUS數(shù)據(jù)集來源于法國圣艾蒂安大學醫(yī)院，其符合該醫(yī)院倫理委員會的規(guī)定。HMC-QU數(shù)據(jù)集來源于哈馬德醫(yī)療公司(Hamad Medical Corporation，HMC)醫(yī)院，符合該倫理委員會的規(guī)定。本研究所使用的兩個公開數(shù)據(jù)集均已進行過倫理審查。其中CAMUS是一個開源的基準數(shù)據(jù)集[20]，已經具有分配好的訓練數(shù)據(jù)和測試數(shù)據(jù)，但沒有為其測試集提供標簽，因此本研究小組將CAMUS的訓練集作為本研究的數(shù)據(jù)集，稱為CAMUS-t。

CAMUS-t數(shù)據(jù)集取自450名患者的超聲心動檢查，共含1 800張單幅圖像。每名患者的超聲檢查都含有4張圖片：兩張是心室收縮末期(end systolic, ES)的心尖四室視圖(apical four-chamber view, A4C)和心尖二室視圖(apical two-chamber view, A2C)；兩張是心室舒張末期(end diastole, ED)的A4C和A2C視圖。CAMUS-t數(shù)據(jù)集共含有900張ES圖像和900張ED圖像。CAMUS-t中的數(shù)據(jù)具有一定的異構性，A4C和A2C視圖的混合、ED和ES圖像的混合為神經網(wǎng)絡的自動分割帶來了挑戰(zhàn)。在CMAUS-t數(shù)據(jù)集的450名患者中，366名(81%)患者的超聲心動圖具有良好的圖像質量，84名(19%)患者的超聲心動圖質量較差。為了使研究結果更加符合臨床實際情況，本研究并沒有預先進行數(shù)據(jù)選擇，而將低質量圖像納入深度學習方法的性能研究。

從開源數(shù)據(jù)集HMC-QU[21-23]中隨機選取了100位患者的超聲數(shù)據(jù)，并使用其在一個心動周期內的若干張A4C超聲圖像進行研究，共2 157張圖像。不同于CAMUS-t，HMC-QU數(shù)據(jù)的異構性來自于圖像在心動周期中不同時刻的變化，其異構程度較小。

在數(shù)據(jù)預處理階段，將兩個數(shù)據(jù)集中分辨率不同的2D超聲心動圖縮放到128px×128px，以滿足神經網(wǎng)絡輸入的需要。研究中將數(shù)據(jù)分為3類：訓練數(shù)據(jù)用于模型的訓練；驗證數(shù)據(jù)用于模型參數(shù)的微調；測試數(shù)據(jù)用于模型的最終評估。

1.2 模型與訓練

1.2.1 模型

對DPS-Net、U-Net和FCN在小規(guī)模數(shù)據(jù)集上的左心室分割性能進行了研究。其中U-Net和FCN主要用于與DPS-Net的實驗結果對比。

DPS-Net的主要結構和輸入超聲心動圖、得到分割結果流程如圖1所示。DPS-Net使用多層次、多尺度的特征提取和金字塔池化模塊來提取圖像的特征。金字塔池化模塊結合了一張圖像中3個尺度的語義信息以保留圖像的細節(jié)。特征的提取與融合階段之間使用了跳躍連接機制，將提取到的語義信息傳遞到特征融合階段進行深度監(jiān)督。深度監(jiān)督模塊對提取到的所有層次特征圖生成預測并進行監(jiān)督學習。這能夠增強反向傳播時的梯度信號，防止梯度消失并通過各個預測之間的相互制約改善過擬合問題。上述模塊使得DPS-Net可以充分獲取一張超聲心動圖上各層次、各尺度的語義信息，從而具有更強的從零訓練的能力，在樣本較少時仍具有較強的應用潛力。

在各模型的對比實驗中，分別使用CAMUS-t的ES和ED圖像訓練DPS-Net，DPS-Net主要由特征提取、金字塔池化和深度監(jiān)督3個部分構成。In the comparison experiments of each model, DPS-Net is trained using ES and ED images of CAMUS-t. DPS-Net is mainly composed of three parts: feature extraction, pyramid pooling and deep supervision.圖1 DPS-Net的工作流程圖Figure 1 The workflow chart of DPS-Net

1.2.2 訓練

實驗主要從兩個方面開展：首先，將3個網(wǎng)絡分別在CAMUS-t的ED和ES圖像上進行比較，證明DPS-Net相較于其他模型在少量樣本的左心室超聲分割任務上的出色性能；隨后，進一步減小數(shù)據(jù)的總量，分別使用CAMUS-t和HMC-QU數(shù)據(jù)集，測試DPS-Net在較小的樣本空間內維持高性能的能力。研究結果中所有數(shù)據(jù)都來自10次重復實驗的平均值。

在對所用模型進行對比實驗時，如無特殊說明，隨機將超聲圖像按照60∶20∶20的比例劃分為訓練集、驗證集和測試集。

使用Adam優(yōu)化算法訓練DPS-Net。實驗中不對DPS-Net進行預訓練，使用Xavier初始化方法來初始化權重，并設置權重衰減系數(shù)為0.000 1的L2正則化，以最小化過擬合問題。學習率設置方面，選擇0.001的初始學習率，并使用ReduceLROnPlateau方法以0.8的衰減率進行學習率的衰減。最后結合EarlyStopping機制，動態(tài)停止模型訓練，防止過擬合。實驗中每次訓練的平均迭代次數(shù)為40。模型的訓練在Ubuntu 18.04系統(tǒng)環(huán)境下完成，并配備有一塊RTXA4000 GPU和一塊Xeon(R) 2.2 GHz CPU。

研究分別使用了U-Net和FCN與DPS-Net進行比較。U-Net是用于醫(yī)學圖像分割的經典模型，其采樣過程中的特征級聯(lián)和模型本身的輕量特征使其能夠適用于樣本數(shù)較少時的醫(yī)學圖像分割任務。實驗中所使用的FCN基于VGG16架構，并使用VGG16的預訓練參數(shù)以減少訓練時間。

1.3 評價指標

為了評價各模型在左心室內膜分割任務上的性能，研究使用以下3個評價指標對模型的性能進行評估：Dice系數(shù)、豪爾斯多夫距離[24](Hausdorff distance, HD)和Fβ分數(shù)(Fβscore,Fβ)。G表示給定數(shù)據(jù)標簽的輪廓，P表示神經網(wǎng)絡模型分割結果的輪廓；VG表示輪廓G所包圍的像素區(qū)域，VP表示輪廓P所包圍的像素區(qū)域。

Dice系數(shù)是真陽像素與數(shù)據(jù)標簽和自動分割左心室像素之和的比值。Dice在0到1之間取值，不具有單位。其表示了自動分割的圖像與數(shù)據(jù)標簽圖像的相似程度：Dice系數(shù)越高，則表示自動分割結果與標簽圖像的相似程度就越高。

(1)

HD是G上的每個點到P中最近的點的距離之中的最大距離。它描述了G和P之間的最大不匹配程度。HD越低表示預測結果與給定數(shù)據(jù)標簽的差距越小，分割的效果越好。HD的表達式見式(2)。

HD=max{D[d(g,p),p],D[d(p,g),g]}

(2)

其中，D[d(g,p),p]=maxp∈P‖d(g,p)-p‖，d(g,p)=argming∈G‖g-p‖。計算HD時，兩點間距離的度量采用曼哈頓距離。曼哈頓距離給出了兩點間的直線距離在坐標軸上的投影長度之和，以像素數(shù)(px)為單位。

(3)

Fβ分數(shù)在0到1之間取值，不具有單位。本研究中設置β2=0.3，表示評估模型時更注重分割結果的準確率。

2 結果

在CAMUS-t的實驗中得到的各評價指標的平均值如表1所示。作為U-Net的變體，DPS-Net在Fβ分數(shù)上平均比U-Net高出8個百分點，在Dice系數(shù)上平均高出10個百分點。DPS-Net的分割結果在ED和ES視圖上的HD分別為7.917和5.960，這說明自動分割結果與數(shù)據(jù)集標注的最大不匹配程度在7個像素左右。

FCN分割結果的各項指標均落后于DPS-Net和U-Net，這說明其在小規(guī)模數(shù)據(jù)集上的左心室超聲分割任務中沒有顯著優(yōu)勢。DPS-Net在Dice系數(shù)(P=0.144)、Fβ分數(shù)(P=0.000 11)和HD(P=3.244×10-6)上的表現(xiàn)說明，數(shù)據(jù)量較小時，數(shù)據(jù)的異構會對模型性能造成不能忽略的影響。表1中各效能指標比較均P<0.05，這說明實驗所得的分割效果度量在不同的模型之間存在顯著統(tǒng)計學差異，DPS-Net在ED和ES視圖的分割上都取得了最優(yōu)的表現(xiàn)。

表1 各模型對CAMUS-t中ES和ED視圖分割效果度量的樣本平均值Table 1 Sample means of the segmentation quality measures for ED and ES frames in CAMUS-t

從CAMUS-t中抽取不同圖像質量樣本，展示3種分割模型的結果與相應的數(shù)據(jù)標簽，結果如圖2所示?？梢姛o論是在低對比度、存在噪聲的圖像中，還是在清晰、低噪聲的圖像中，DPS-Net的分割結果都最接近數(shù)據(jù)標簽。

A、B：成像質量較高的ED視圖分割；C、D：成像質量較高的ES視圖分割；E、F：成像質量較低的ED視圖分割；G、H：成像質量較低的ES視圖分割。A、B: Segmentation of ED frames in high-quality image; C、D: Segmentation of ES frames in high-quality image; E、F: Segmentation of ED frames in low-quality image; G、H: Segmentation of ES frames in low-quality image.圖2 CAMSU-t標簽與DPS-Net、U-Net、FCN的左心室分割結果對比圖Figure 2 Comparison of LV segmentation results between label from CAMUS-t in DPS-Net, U-Net, and FCN

為了證明DPS-Net在樣本數(shù)量較少時的高分割性能，研究進一步減小了樣本數(shù)量。取定第351至400名患者的數(shù)據(jù)為驗證集，第401至450名患者的數(shù)據(jù)為測試集。在剩余的350名患者的數(shù)據(jù)中，隨機抽取一定數(shù)量的患者數(shù)據(jù)對DPS-Net進行訓練，得到的相關性能評價如圖3所示。

圖3 CAMUS中訓練的患者數(shù)量對DPS-Net分割性能的影響Figure 3 Effect of the number of patients used for training on the performance of DPS-Net segmentation in CAMUS dataset

結果顯示在使用300名患者的數(shù)據(jù)進行訓練時，DPS-Net取得了最優(yōu)性能。但相對于使用50名患者數(shù)據(jù)訓練的模型性能，前者在Dice系數(shù)上僅領先2個百分點，在Fβ分數(shù)上僅上升了3個百分點，優(yōu)勢并不明顯。這說明了DPS-Net在CAMUS-t中僅需50名患者的數(shù)據(jù)便足以得到可觀的分割性能。由此看出，DPS-Net的性能隨數(shù)據(jù)量的增加而增加，但增加速度較緩，性能穩(wěn)定。當僅使用25名患者的超聲數(shù)據(jù)進行訓練時，DPS-Net的性能明顯下滑，最終取得了0.708的Dice系數(shù)，0.610的Fβ分數(shù)和14.690的HD。

本研究在HMC-QU數(shù)據(jù)集上做了進一步驗證：分別取定一定數(shù)量患者的超聲心動圖作為研究數(shù)據(jù)，按照60∶20∶20將數(shù)據(jù)劃分為訓練集、驗證集、測試集，并研究DPS-Net等3個模型在這些數(shù)據(jù)上的表現(xiàn)，結果如圖4。

圖4 HMC-QU中訓練的患者數(shù)量對DPS-Net分割性能的影響Figure 4 Effect of the number of patients used for training on the performance of DPS-Net segmentation in HMC-QU dataset

圖4顯示FCN在研究中表現(xiàn)出對較大數(shù)據(jù)量的依賴性，其性能指標隨數(shù)據(jù)量的減少發(fā)生了明顯下滑，與DPS-Net和U-Net產生了明顯的差異。U-Net則在Dice系數(shù)(P=9.768×10-5)和Fβ分數(shù)(P=0.000 13)上的表現(xiàn)與DPS-Net存在顯著的統(tǒng)計學差異，而在HD(P=0.239)上沒有明顯統(tǒng)計學差異。值得指出，在10名患者的數(shù)據(jù)上進行研究時，DPS-Net使用僅130張超聲圖像進行訓練，便得到了可觀的Dice系數(shù)(0.960)和Fβ分數(shù)(0.954)。

3 討論

準確的左心室超聲分割是心臟功能定量分析的基本保障，但超聲心動圖的自動分割卻一直是一個臨床難題[25-26]。除去自身特征導致的分割難題之外，超聲心動圖還存在數(shù)據(jù)獲取難、優(yōu)質樣本數(shù)量少的問題[27-28]。因此自動分割算法在較少的樣本中獲得較高性能的能力值是本研究的主要內容?；诮陙砩疃葘W習方法在醫(yī)學圖像處理中的廣泛應用，2020年Li等[19]提出了DPS-Net并在10 858張超聲心動數(shù)據(jù)上對DPS-Net進行了全面地研究。2021年Liu等[29]在36 890張超聲心動圖上進一步研究并擴展了DPS-Net。相對于上述兩項研究使用的較大數(shù)據(jù)量[19，29]，本研究專注于DPS-Net在小規(guī)模數(shù)據(jù)集上的性能表現(xiàn)，使用兩種常用的經典分割算法FCN和U-Net在相同數(shù)據(jù)集條件下與DPS-Net進行對比，證明DPS-Net在使用較少的樣本時，依然具有優(yōu)異的分割性能。

本研究中DPS-Net在異構性更強的CAMUS-t數(shù)據(jù)集中全面超越了U-Net和FCN方法，并與兩者有顯著的統(tǒng)計學差異。DPS-Net在訓練數(shù)據(jù)較少時，仍然可以取得穩(wěn)定的高性能，這一點在CAMUS-t和HMC-QU數(shù)據(jù)集上均得到了驗證。在CAMUS和HMC-QU數(shù)據(jù)集中，分別只需要最少50個和10個患者的超聲數(shù)據(jù)便可將使DPS-Net取得良好的性能(Dice系數(shù)分別為0.935和0.960)。

綜上所述，本研究使用了兩個公開心臟超聲數(shù)據(jù)集，對近來提出的DPS-Net模型在小規(guī)模數(shù)據(jù)集上的左心室自動分割任務的性能進行了研究，結果證明DPS-Net在CAMUS-t數(shù)據(jù)集上的分割性能全面超越了醫(yī)學圖像分割的經典模型U-Net以及語義分割任務的經典模型FCN，并且可以在使用極少量樣本數(shù)據(jù)時性能表現(xiàn)良好，說明其在醫(yī)學圖像領域數(shù)據(jù)稀缺的背景下，也能獲得可滿足臨床需求的高精度模型，具有較好的應用前景。

作者貢獻聲明

林天予：設計實驗、統(tǒng)計分析數(shù)據(jù)、撰寫論文；高智凡：提出研究思路和框架、修改論文；宋亮：參與論文審閱，指導論文寫作；張賀曄：參與論文審閱，指導論文寫作。

利益沖突聲明

本研究未受到企業(yè)、公司等第三方資助，不存在潛在利益沖突。