基于委員會(huì)查詢和自步多樣性學(xué)習(xí)的醫(yī)學(xué)圖像分割

曹源　王妍　王文強(qiáng)　賀小偉

摘要：由于擁有像素級(jí)標(biāo)記的醫(yī)學(xué)圖像數(shù)量非常少，制約了卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割任務(wù)上的應(yīng)用，因此，該文提出了一種基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法，在訓(xùn)練數(shù)據(jù)有限的情況下提升醫(yī)學(xué)圖像分割模型的性能。該文所提算法結(jié)合了基于委員會(huì)查詢的數(shù)據(jù)選擇方法，實(shí)現(xiàn)動(dòng)態(tài)地從易到難選擇樣本，對(duì)模型進(jìn)行訓(xùn)練。同時(shí)，該算法通過(guò)應(yīng)用仿射傳播聚類，保證了數(shù)據(jù)選擇的多樣性，提升了圖像分割模型的性能。為了驗(yàn)證所提算法框架的有效性，分別在3類醫(yī)學(xué)圖像分割任務(wù)的5個(gè)不同數(shù)據(jù)集任務(wù)上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該文所提算法可以顯著提升分割性能。在使用相同數(shù)據(jù)的訓(xùn)練的情況下，相比于全監(jiān)督學(xué)習(xí)，使用該文算法可以得到更高的Dice評(píng)估指標(biāo)、表面距離和平均交并比值。

關(guān)鍵詞：自步多樣性學(xué)習(xí);圖像分割;委員會(huì)查詢;深度學(xué)習(xí)

中圖分類號(hào)：TP3－05

DOI：10.16152/j.cnki.xdxbzr.2020－02－016

Self－paced learning with diversity for medical image segmentationby using query－by－committee

CAO Yuan1，2，WANG Yan3， WANG Wenqiang1，2， HE Xiaowei1，2

Abstract： Because ?the number of pixel－wise labeled medical images are extremely small， which prevents the application of convolutional neural network （CNN） in medical image segmentation tasks，? a query－by－committee based self－paced learning with diversity （SPLD） framework is proposed to boost the performance of medical image segmentation with limited data. The proposed SPLD algorithm combines the data selection method based the query－by－committee to realize the dynamic selection of samples from easy to difficult and train the model. Meanwhile， by applying the affine propagation clustering， the proposed algorithm guarantees the diversity of data and the? performance of image segmentation model is further enhanced. To verify the effectiveness of the proposed QBC based SPLD framework， we conducted experiments on three medical image segmentation tasks with five different datasets. The experimental results show that the proposed algorithm can significantly improve the segmentation performance.With the same dataset，? the proposed SPLD could significantly improve the segmentation performance and achieve a higher Dice score， surface distance and mean Intersection over Union （mIoU） than fully supervised learning.

Key words： self－paced diversity learning; image segmentation; query by committee; deep learning

醫(yī)學(xué)圖像分割結(jié)果的精度對(duì)醫(yī)生的診斷結(jié)果有著關(guān)鍵影響。近年來(lái)，基于深度學(xué)習(xí)的圖像分割技術(shù)成為醫(yī)學(xué)圖像語(yǔ)義分割領(lǐng)域中最流行的方法，并已經(jīng)應(yīng)用到了視網(wǎng)膜血管分割［1］、器官分割［2］和細(xì)胞分割［3］等任務(wù)中。由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證需要大量的圖像數(shù)據(jù)，深度學(xué)習(xí)往往需要臨床專家進(jìn)行大量的標(biāo)注，在這種情況下，有必要充分利用醫(yī)學(xué)數(shù)據(jù)背后的信息，為臨床使用提供可靠的結(jié)果。

深度學(xué)習(xí)中使用的優(yōu)化函數(shù)大多是非凸函數(shù)［4］，這也增加了尋找全局最優(yōu)解的難度。自步學(xué)習(xí) （self－paced learning， SPL）［5］是一種流行的訓(xùn)練策略，SPL可以模擬人類的學(xué)習(xí)過(guò)程，它通過(guò)先輸入簡(jiǎn)單的樣本，后輸入復(fù)雜的樣本，來(lái)挖掘訓(xùn)練數(shù)據(jù)背后的信息，從而提高模型性能［6］。但是，數(shù)據(jù)的復(fù)雜程度是未知的，在自步學(xué)習(xí)算法設(shè)計(jì)中，需要從計(jì)算機(jī)的角度，實(shí)現(xiàn)對(duì)數(shù)據(jù)難易程度的判定。

根據(jù)文獻(xiàn)［7］所述，數(shù)據(jù)集背后的概率分布很難獲得，如果直接將SPL學(xué)習(xí)框架應(yīng)用到圖像分割任務(wù)中，SPL模型將選擇同一概率分布簇中的圖像，使模型的權(quán)值優(yōu)化到局部最小解［8］。而從不同概率分布中選擇訓(xùn)練數(shù)據(jù)，可以提高訓(xùn)練結(jié)果的泛化性能，從而防止模型優(yōu)化到局部最優(yōu)解。在Jiang等人通過(guò)將數(shù)據(jù)多樣性引入到SPL學(xué)習(xí)策略中，提出了基于多樣性的自步學(xué)習(xí)策略（self－paced learning with diversity， SPLD），實(shí)現(xiàn)了在自步學(xué)習(xí)過(guò)程中保證數(shù)據(jù)的多樣性，并應(yīng)用到了稀疏型分類任務(wù)中［8］。但是，該算法無(wú)法直接應(yīng)用到稠密型分類任務(wù)中，如圖像分割任務(wù)。

本文提出了一種通用的醫(yī)學(xué)圖像分割的自步學(xué)習(xí)框架。與傳統(tǒng)的自步學(xué)習(xí)方法不同的是，本文所提方法不使用圖像分類結(jié)果的準(zhǔn)確性來(lái)確定樣本的復(fù)雜程度，而是使用委員會(huì)查詢（QBC）［9］技術(shù)來(lái)確定SPL學(xué)習(xí)過(guò)程中樣本的難易程度。我們將該框架命名為基于委員會(huì)查詢的自步多樣性學(xué)習(xí)（SPLD－QBC），委員會(huì)中的一個(gè)成員是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network， CNN）的深度分割網(wǎng)絡(luò)，每個(gè)成員都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。在SPLD－QBC學(xué)習(xí)框架下，數(shù)據(jù)的復(fù)雜程度和多樣性取決于每個(gè)成員之間的深層特征，均由所有成員提取的特征向量的余弦相似度進(jìn)行計(jì)算。

圖1顯示了本文所提出的SPLD－QBC框架應(yīng)用在視網(wǎng)膜血管分割任務(wù)上的流程。SPLD－QBC框架中，委員會(huì)中的每個(gè)成員為一個(gè)具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，在每個(gè)成員中選取一個(gè)特定的特征圖，對(duì)其進(jìn)行全局平均池化后，即得到輸入數(shù)據(jù)的特征向量。SPLD－QBC框架通過(guò)提取的特征向量實(shí)現(xiàn)對(duì)樣本難易程度和多樣性的定義。

本文的主要研究?jī)?nèi)容如下：

1）設(shè)計(jì)了一種結(jié)合SPLD和QBC學(xué)習(xí)機(jī)制的通用醫(yī)學(xué)圖像語(yǔ)義分割框架，提高了分割模型的性能。

2）將SPLD－QBC應(yīng)用于5個(gè)數(shù)據(jù)集的3個(gè)醫(yī)學(xué)圖像分割任務(wù)。實(shí)驗(yàn)結(jié)果表明，SPLD－QBC框架可以顯著提高模型性能。

3）從實(shí)驗(yàn)和理論上證明了SPLD－QBC的有效性，論證了模型的泛化能力。

1 相關(guān)工作

1.1 自步學(xué)習(xí)

SPL算法將課程學(xué)習(xí)（Curriculum learning）嵌入到學(xué)習(xí)目標(biāo)函數(shù)中，并添加正則項(xiàng)，從而組成學(xué)習(xí)的目標(biāo)函數(shù)［10］。SPL算法可以同時(shí)優(yōu)化模型參數(shù)w和權(quán)重v=［v1，v2，…，vn］T，其中，v表示每個(gè)樣本選擇的權(quán)重。SPL的目標(biāo)函數(shù)如下：

其中，λ表示學(xué)習(xí)速度；f表示機(jī)器學(xué)習(xí)模型；L表示損失函數(shù)；xi和yi表示訓(xùn)練數(shù)據(jù)及其對(duì)應(yīng)的標(biāo)簽。

從理論角度來(lái)看，SPL已經(jīng)擴(kuò)展到自步課程學(xué)習(xí)［10］、自步強(qiáng)化學(xué)習(xí)［11］以及自步集成學(xué)習(xí)［12］。在SPL的擴(kuò)展中，在式（1）中加入了幾個(gè)正則項(xiàng)來(lái)進(jìn)行具體任務(wù)的優(yōu)化。從應(yīng)用的角度看，SPL已經(jīng)在分類［13］、人臉重新識(shí)別［14］和矩陣分解［15］中得到了應(yīng)用。大多數(shù)基于SPL的應(yīng)用是在稀疏標(biāo)簽分類數(shù)據(jù)上實(shí)現(xiàn)的，即每個(gè)數(shù)據(jù)的標(biāo)簽為單一的標(biāo)量。但是，目前還沒(méi)有研究將SPL應(yīng)用于密集的標(biāo)簽分類數(shù)據(jù)，例如醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)，即標(biāo)簽為每個(gè)像素點(diǎn)的類別。

1.2 自步多樣性學(xué)習(xí)

SPLD通過(guò)嵌入一個(gè)與特定模型優(yōu)化目標(biāo)無(wú)關(guān)的正則化項(xiàng)來(lái)確定訓(xùn)練數(shù)據(jù)的多樣性。SPLD學(xué)習(xí)框架考慮了數(shù)據(jù)的多樣性和數(shù)據(jù)難易程度，并將數(shù)據(jù)依次輸入模型進(jìn)行訓(xùn)練，以保證更好的模型性能。SPLD的修改是在式（1）中加入正則化項(xiàng)，形成多樣性約束。目標(biāo)函數(shù)如式（2）所示：

其中，γ是新添加的控制數(shù)據(jù)多樣性的超參數(shù)。SPLD首先被用在了基于隨機(jī)森林［16］和支持向量機(jī)（SVM）的動(dòng)作識(shí)別任務(wù)和多媒體事件檢測(cè)中。兩個(gè)任務(wù)中使用的數(shù)據(jù)集都是稀疏標(biāo)簽數(shù)據(jù)集，每個(gè)數(shù)據(jù)所屬的類在SPLD模型中都是已知的。然而，在醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)中，圖像級(jí)標(biāo)簽即分類標(biāo)簽是未知的。因此，在醫(yī)學(xué)圖像分割任務(wù)中，無(wú)法利用預(yù)先獲得的類別標(biāo)簽來(lái)控制數(shù)據(jù)多樣性。

1.3 委員會(huì)查詢

委員會(huì)查詢（query－by－committee， QBC）是一種主動(dòng)學(xué)習(xí)算法。在QBC中，使用相同的數(shù)據(jù)對(duì)委員會(huì)中的每個(gè)成員進(jìn)行訓(xùn)練，之后每個(gè)成員對(duì)數(shù)據(jù)進(jìn)行投票，根據(jù)投票結(jié)果的一致性決定數(shù)據(jù)是否要加入到訓(xùn)練集：如果投票結(jié)果相似，說(shuō)明樣本較為容易;相反，如果投票結(jié)果相差較大，說(shuō)明樣本較為復(fù)雜。因此，基于QBC的主動(dòng)學(xué)習(xí)可以有效地評(píng)估訓(xùn)練數(shù)據(jù)的難易程度。在QBC中，交叉熵常用于計(jì)算數(shù)據(jù)的相似度［17］，然而，熵一直是基于稀疏標(biāo)簽預(yù)測(cè)的，不適合用于稠密標(biāo)簽分類任務(wù)，因此，需要對(duì)其進(jìn)行改進(jìn)。

2方 法

2.1 自步學(xué)習(xí)正則項(xiàng)

在說(shuō)明算法之前，我們首先給出變量的定義。 令Labeled Data={{x1，y1}，{x2，y2}，…，{xn，yn}}是從包含有n個(gè)分割金標(biāo)準(zhǔn)的醫(yī)學(xué)圖像中裁剪的圖像塊的集合。令C={θ θ …，θG}

為包含有|C|個(gè)成員的委員會(huì)，且每個(gè)成員θi都是用于醫(yī)學(xué)圖像語(yǔ)義分割的CNN。本文的方法利用QBC框架，在每次迭代中，每個(gè)委員會(huì)中的成員都會(huì)計(jì)算輸入數(shù)據(jù)的特征。

基于CNN的圖像分割網(wǎng)絡(luò)通常包含一個(gè)編碼器和一個(gè)解碼器。在SPLD－QBC中，從編碼器的最后一層提取特征圖，并使用全局平均池化（global average pooling， GAP）層將特征圖轉(zhuǎn)換為特征向量。委員會(huì)中的每個(gè)成員都生成代表輸入圖像特征的特征向量，并將從θi中生成的特征向量定義為Fi。兩個(gè)成員之間的相似性是通過(guò)余弦距離來(lái)衡量的，如式（3）所示：

其中，｜Fi｜表示委員會(huì)C中成員θi提取的高級(jí)特征向量的長(zhǎng)度，每個(gè)成員之間的相似性可以表述為

本文將輸入數(shù)據(jù)xk在委員會(huì)之間的特征相似性定義為

SPLD－QBC框架背后的假設(shè)是，如果提取的特征向量之間的相似性較高，則表明委員會(huì)中的所有成員都已充分學(xué)習(xí)了輸入數(shù)據(jù)xk。因此，如果成員之間的特征向量具有較高的相似度，說(shuō)明該樣本是“簡(jiǎn)單”樣本，SPL訓(xùn)練過(guò)程中首先會(huì)將其輸入到模型中進(jìn)行訓(xùn)練。相反，樣本之間相似性較小則意味著從每個(gè)成員中所生成的特征具有極大的差異，這表明當(dāng)前模型難以學(xué)習(xí)該樣本。在獲得所有訓(xùn)練樣本的相似性之后，將它們歸一化為［0，1］，以形成式（1）中的SPL正則項(xiàng)。歸一化方法為

為了在訓(xùn)練過(guò)程中應(yīng)用SPL策略，需要解決以下3個(gè)問(wèn)題：

1）在初始訓(xùn)練時(shí)期應(yīng)選擇多少數(shù)據(jù)？SPL策略必須首先利用少量數(shù)據(jù)提供的信息訓(xùn)練模型中的參數(shù)，然后， 將更多帶標(biāo)簽的數(shù)據(jù)添加到訓(xùn)練集中， 以控制樣本的選擇和學(xué)習(xí)的步長(zhǎng)。 但是， 在初始的迭代過(guò)程中， CNN尚未收斂。 如果將數(shù)據(jù)選擇規(guī)則直接應(yīng)用于SPL策略， 那么該模型可能會(huì)崩潰， 導(dǎo)致SPL框架無(wú)法正常工作。? 為了解決這個(gè)問(wèn)題， 我們隨機(jī)選擇少量訓(xùn)練樣本來(lái)訓(xùn)練模型。 例如， 可以隨機(jī)抽取10％的樣本用來(lái)訓(xùn)練委員會(huì)中的每個(gè)成員， 對(duì)CNN中的參數(shù)進(jìn)行預(yù)熱。 訓(xùn)練數(shù)據(jù)的初始比率在本文的算法中定義成名為ITDR的超參數(shù)。如果模型收斂，則使用式（6）控制學(xué)習(xí)速率以及選擇樣本的權(quán)重。

2）基于QBC學(xué)習(xí)的另一個(gè)問(wèn)題是，所有成員都具有相同的CNN架構(gòu)。這表示如果它們的參數(shù)相同，當(dāng)輸入相同時(shí)，輸出的特征向量也是相同的，從而造成QBC算法失效。為了克服這一缺點(diǎn)，我們?cè)诿總€(gè)CNN中使用不同的種子隨機(jī)初始化模型權(quán)重。由于使用了不同的種子，每個(gè)成員中的參數(shù)隨之也會(huì)不同，這使得它們可以有效地確定數(shù)據(jù)的相似性。此外，在訓(xùn)練過(guò)程中，將針對(duì)不同的解決方案優(yōu)化參數(shù)。

3）如何控制學(xué)習(xí)速度？在實(shí)踐中，我們需要防止SPL學(xué)習(xí)器貪婪地添加數(shù)據(jù)，即防止其將每個(gè)數(shù)據(jù)的vk設(shè)置為1。如果SPL學(xué)習(xí)器在每個(gè)訓(xùn)練結(jié)束后添加固定數(shù)量的訓(xùn)練數(shù)據(jù)，則所有數(shù)據(jù)將被添加到訓(xùn)練集中，所提出的方法將退化為全監(jiān)督學(xué)習(xí)（fully supervised learning， FSL）方法。為了解決這個(gè)問(wèn)題，在不確定性采樣策略的啟發(fā)之下［18］，通過(guò)設(shè)置不確定性閾值來(lái)對(duì)查詢規(guī)則施加限制。該閾值在本文算法中稱為UT。當(dāng)且僅當(dāng)委員會(huì)中所有成員評(píng)估數(shù)據(jù)的vk值大于閾值UT時(shí)，SPL學(xué)習(xí)器才將樣本定義為“簡(jiǎn)單”樣本，在下一次的迭代訓(xùn)練過(guò)程中將數(shù)據(jù)添加到訓(xùn)練集中對(duì)模型進(jìn)行優(yōu)化。

此外，在訓(xùn)練過(guò)程中會(huì)動(dòng)態(tài)更改UT。在第一個(gè)訓(xùn)練迭代過(guò)程中，UT等于v中最大vk的0.9倍。隨著訓(xùn)練迭代次數(shù)的增加，UT根據(jù)式（7）動(dòng)態(tài)變化，

其中，e表示當(dāng)前訓(xùn)練迭代的次數(shù)；m表示總訓(xùn)練迭代次數(shù)。

2.2 基于聚類的數(shù)據(jù)多樣性

直觀地，從不同類別中選擇訓(xùn)練數(shù)據(jù)是一種在模型訓(xùn)練期間保持?jǐn)?shù)據(jù)多樣性的方法，且這種方法易于實(shí)現(xiàn)。但是，用于分割的醫(yī)學(xué)圖像通常缺少分類標(biāo)簽，在這種情況下，本文使用聚類算法實(shí)現(xiàn)對(duì)數(shù)據(jù)的分組。在確定數(shù)據(jù)難以程度時(shí)，使用了每個(gè)成員提取的特征向量，同理，在數(shù)據(jù)分組階段，還可以使用提取的特征向量進(jìn)行聚類。

在委員會(huì)中，對(duì)于每個(gè)訓(xùn)練數(shù)據(jù)，模型都會(huì)生成|C|特征向量。我們使用|C|的平均值特征作為樣本的特征向量，如式（8）所示：

但是，使用聚類算法實(shí)現(xiàn)數(shù)據(jù)分組的過(guò)程中，最優(yōu)的分組個(gè)數(shù)無(wú)法確定，如果聚類數(shù)太大，則所有數(shù)據(jù)將被單獨(dú)分組到一個(gè)中心，且每個(gè)中心的樣本數(shù)量很少;相反，如果聚類數(shù)過(guò)少，則不能有效地表示多樣性。為了解決這個(gè)問(wèn)題，我們使用仿射傳播算法［19］對(duì)生成的特征向量進(jìn)行聚類。放射變換算法在聚類初始情況下不需要確定聚類的類別數(shù)，聚類的過(guò)程中根據(jù)樣本的分布特性來(lái)確定類別的簇，從而動(dòng)態(tài)地根據(jù)樣本特征進(jìn)行聚類。

在每個(gè)訓(xùn)練時(shí)期，將仿射傳播算法應(yīng)用于特征提取并將數(shù)據(jù)聚類到不同的聚類類別中。之后，應(yīng)用SPL方法從每個(gè)聚類組中選擇模型認(rèn)為較為簡(jiǎn)單的樣本。為了保證訓(xùn)練樣本的多樣性，SPL學(xué)習(xí)器從每個(gè)組中選擇最簡(jiǎn)單的樣本，并且相應(yīng)的數(shù)據(jù)權(quán)重變量變?yōu)関=［v v …，vg］，且vi=［vi1，vi2，…，vig（i）］，s.t.i∈［1，g］，g（i）表示第i組中數(shù)據(jù)樣本的個(gè)數(shù)。

通過(guò)應(yīng)用分組策略，SPLD的損失函數(shù)從式（2）變?yōu)槭剑?）：

綜上所述，本文提出的基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法步驟如下。

Step 1隨機(jī)從數(shù)據(jù)集Labeled Data中選擇ITDR的數(shù)據(jù)。

當(dāng)模型尚未收斂：

Step 2 使用式（2）中的損失函數(shù)訓(xùn)練委員會(huì)C中的每個(gè)成員;

for e=1 to m：

Step 3 根據(jù)式（8）提取每個(gè)數(shù)據(jù)的特征向量u，并使用仿射傳播算法對(duì)數(shù)據(jù)聚類為g類;

for j in 1 to g：

Step 4 根據(jù)式（6）在第j組中計(jì)算樣本的vj;

Step 5 在第j組所有樣本中選擇vjg（i）> UT的樣本，并使用式（9）作為損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練;

Step 6 使用式（7）更新UT。

3 實(shí) 驗(yàn)

為了證明本文所提SPLD－QBC學(xué)習(xí)框架的有效性，在5個(gè)不同的數(shù)據(jù)集上進(jìn)行3種類型的醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)，包括視網(wǎng)膜血管分割、肺部器官語(yǔ)義分割和核醫(yī)學(xué)圖像中的細(xì)胞分割。

3.1 實(shí)現(xiàn)細(xì)節(jié)

本文實(shí)驗(yàn)是基于TensorFlow深度學(xué)習(xí)庫(kù)來(lái)完成的。為了應(yīng)用自步學(xué)習(xí)框架，使用了從原始醫(yī)學(xué)圖像中裁剪的128×128分辨率的塊圖像進(jìn)行模型訓(xùn)練。在測(cè)試階段，每個(gè)成員的卷積神經(jīng)網(wǎng)絡(luò)模型推斷的是整個(gè)分割結(jié)果而不是圖像塊的分割結(jié)果。由于硬件限制，在自步多樣性學(xué)習(xí)算法中，委員會(huì)中成員的數(shù)量設(shè)置為2，3和4。受文獻(xiàn)［20］的啟發(fā)，學(xué)習(xí)率在訓(xùn)練中動(dòng)態(tài)調(diào)整為初始學(xué)習(xí)率的（1-em）0.9倍，其中，e表示當(dāng)前的訓(xùn)練的迭代次數(shù)，m表示總的訓(xùn)練迭代次數(shù)。在視網(wǎng)膜血管分割任務(wù)中m=1 000，肺器官分割中m=500，核細(xì)胞分割中m=300;ITDR設(shè)置為10％；超參數(shù)λ和γ二者均設(shè)為1。

此外，委員會(huì)成員的網(wǎng)絡(luò)設(shè)計(jì)針對(duì)特定的任務(wù)進(jìn)行了選擇和優(yōu)化，模型的性能除了受到訓(xùn)練方法的影響，也會(huì)受到選擇的神經(jīng)網(wǎng)絡(luò)的限制。因此，在每個(gè)實(shí)驗(yàn)中，我們將提出的自步多樣性學(xué)習(xí)算法與自步學(xué)習(xí)策略和全監(jiān)督學(xué)習(xí)策略進(jìn)行比較，即將全監(jiān)督學(xué)習(xí)作為對(duì)照組。

3.2 視網(wǎng)膜血管分割實(shí)驗(yàn)

視網(wǎng)膜血管分割在眼底圖像視網(wǎng)膜疾病的自動(dòng)檢測(cè)中起著重要的作用。視網(wǎng)膜血管圖像分析為糖尿病視網(wǎng)膜病變、青光眼等疾病的診斷提供了重要信息［21］。DRIVE數(shù)據(jù)集是一個(gè)公共數(shù)據(jù)集，由40張565×584大小的眼底圖像組成［22］，這些圖像被手動(dòng)分為一個(gè)包含20張圖像的訓(xùn)練集和一個(gè)包含20張圖像的測(cè)試集。STARE數(shù)據(jù)集是另一個(gè)由20幅605×700大小的眼底圖像組成的公共數(shù)據(jù)集［23］，這些圖像被手動(dòng)分為一個(gè)包含10幅圖像的訓(xùn)練集和一個(gè)包含10幅圖像的測(cè)試集。因?yàn)檠鄣讏D像中血管的形狀、厚度和對(duì)比度都各不相同，所以，視網(wǎng)膜血管分割模型需要綜合考慮這些因素。對(duì)于血管分割任務(wù)，本文采用全分辨率殘差網(wǎng)絡(luò)（FRRN）［24］作為每個(gè)成員的架構(gòu)。FRRN融合了不同大小的輸入，提升了模型的多尺度特性。提取FRRN中定義的最后一個(gè)全分辨率殘差單元作為每個(gè)成員的潛在特征，并利用該特征計(jì)算樣本的難易程度和多樣性。

由于視網(wǎng)膜血管分割任務(wù)中每個(gè)像素都屬于血管或背景，所以，這是一個(gè)二值分類任務(wù)。為了評(píng)估模型的性能，計(jì)算了分割結(jié)果與真值之間的Dice指標(biāo)和Hausdorff表面距離（HD）［25］。Dice指標(biāo)考慮了分割結(jié)果與真值之間的重疊，Dice指數(shù)值越高，表明模型性能越好。HD度量了空間的兩個(gè)子集之間的距離，較低的HD意味著該模型更好，評(píng)估結(jié)果見(jiàn)表1。

如表1所示，自步多樣性學(xué)習(xí)算法的訓(xùn)練策略優(yōu)于自步學(xué)習(xí)和全監(jiān)督學(xué)習(xí)方法。通過(guò)在一個(gè)由4名成員組成的委員會(huì)中使用4個(gè)FRRN神經(jīng)網(wǎng)絡(luò)，我們的自步多樣性學(xué)習(xí)模型在STARE數(shù)據(jù)集上的Dice系數(shù)為0.852 0，表面距離為44.920;在DRIVE數(shù)據(jù)集上的Dice系數(shù)為0.826 3，表面距離為31.457 6。進(jìn)一步觀察發(fā)現(xiàn)，成員數(shù)越多越有利于模型訓(xùn)練。

圖2中展示了不同的樣本上的訓(xùn)練結(jié)果。圖2中的每行代表一個(gè)樣本的原始圖像、全監(jiān)督學(xué)習(xí)算法、自步學(xué)習(xí)算法、自步多樣性學(xué)習(xí)算法得到的分割結(jié)果以及相應(yīng)的金標(biāo)準(zhǔn)?？梢杂^察發(fā)現(xiàn)，相較于自步學(xué)習(xí)算法和全監(jiān)督學(xué)習(xí)算法，我們提出的自步多樣性學(xué)習(xí)算法可以捕捉更多的毛細(xì)血管。這說(shuō)明自步多樣性學(xué)習(xí)策略訓(xùn)練的模型由于具有多樣性學(xué)習(xí)能力，對(duì)小目標(biāo)和大目標(biāo)都有較高的捕捉能力。圖2中SPLD－QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

3.3 基于胸部X光片的器官分割

通過(guò)胸部X光掃描病人的器官是日常診斷的重要程序之一，同時(shí)也是醫(yī)生診斷的重要依據(jù)［26］。然而，由于胸部X光片在形狀、大小和對(duì)比度等方面存在較大的差異，肺部器官分割仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

與視網(wǎng)膜血管分割任務(wù)不同，肺器官分割任務(wù)是語(yǔ)義分割，因?yàn)槟Ｐ蛯⒚總€(gè)像素分別預(yù)測(cè)為左肺、右肺、心臟或背景。本文分別在JSRT數(shù)據(jù)集［27］和Montgomery數(shù)據(jù)集［28］上進(jìn)行了實(shí)驗(yàn)。JSRT數(shù)據(jù)集包含247個(gè)胸部X光片，包括左肺、右肺、心臟和背景4個(gè)類別。而Montgomery的數(shù)據(jù)集包含138張胸透，包括左肺、右肺和背景3個(gè)類別。在保證器官結(jié)構(gòu)細(xì)節(jié)的前提下，將所有的圖像縮放為256*256大小。在實(shí)驗(yàn)中，隨機(jī)選擇80％的樣本進(jìn)行訓(xùn)練，其余20％用來(lái)測(cè)試。

由于器官分割任務(wù)中像素分類的類別大于2，所以它是一種語(yǔ)義分割任務(wù)。實(shí)驗(yàn)使用AdapNet［29］作為每個(gè)成員的模型。AdapNet結(jié)合了深度特征融合方法，增加了模型的魯棒性，同時(shí)擴(kuò)大了感受野。將網(wǎng)絡(luò)中第一個(gè)反卷積層之前的網(wǎng)絡(luò)層中的特征圖輸入到平均池化層中，轉(zhuǎn)化為特征向量，代表每個(gè)成員的深層特征。為了評(píng)估模型的性能，計(jì)算了分割結(jié)果和金標(biāo)準(zhǔn)的mIoU和HD，mIoU越高，表明模型性能越強(qiáng)，比較結(jié)果如表2所示。

如表2所示，SPLD－QBC模型優(yōu)于SPL和FSL模型。進(jìn)一步比較發(fā)現(xiàn)，本文的方法在HD度量指標(biāo)上取得了最好的性能，約為FSL模型在Montgomery數(shù)據(jù)集上取得的HD值的一半（40.577 1和22.748 7）。其中，部分分割結(jié)果如圖3所示。對(duì)于Montgomery數(shù)據(jù)集，當(dāng)委員會(huì)成員數(shù)量增加時(shí)，分割圖中的噪聲量明顯降低。對(duì)于JSRT數(shù)據(jù)集，本文提出的SPLD－QBC模型可以對(duì)心臟RoI進(jìn)行精確分割。此外，在兩個(gè)數(shù)據(jù)集中使用SPLD－QBC模型進(jìn)行分割的圖像器官的形狀比使用FSL模型的更完整。圖3中SPLD－QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

3.4 核素圖像上的細(xì)胞分割

核素圖像的分割是數(shù)字病理切片分析的重要任務(wù)之一［30］。臨床實(shí)踐中最重要的步驟之一就是從整個(gè)圖像（WSIs）中提取信息成分［31］。然而，一個(gè)WSI中包含大量的細(xì)胞，手工分割費(fèi)時(shí)費(fèi)力。

將本文提出的模型應(yīng)用于H＆E染色的多器官細(xì)胞核分割數(shù)據(jù)集［32］，其包含30個(gè)WSI和對(duì)應(yīng)的22 000個(gè)細(xì)胞邊界。WSIs中的每個(gè)像素被分為兩類，一類是細(xì)胞核，另一類是背景。我們將每個(gè)成員設(shè)置為一個(gè)全卷積DenseNet網(wǎng)絡(luò)［33］，在這個(gè)任務(wù)中，隨機(jī)選擇20個(gè)樣本作為訓(xùn)練集，其余的10個(gè)樣本作為測(cè)試集。每個(gè)圖像的分辨率被調(diào)整為1 024×1 024，從一個(gè)WSI中裁剪了64個(gè)分辨率為128×128的裁剪圖像。與視網(wǎng)膜血管分割任務(wù)相同，使用DSC和HD來(lái)評(píng)估模型性能，如表3所示。

如表3所示，本文所提出的模型獲得了最佳的mIoU和HD評(píng)估指標(biāo)。不同算法的細(xì)胞核部分分割結(jié)果如圖4所示，SPLD－QBC分割出更好的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

4 結(jié) 語(yǔ)

本文提出了一種用于醫(yī)學(xué)圖像分割的通用醫(yī)學(xué)圖像語(yǔ)義分割框架，該方法可以提高醫(yī)學(xué)圖像語(yǔ)義分割模型的性能。通過(guò)應(yīng)用委員會(huì)查詢方法，可以動(dòng)態(tài)選擇訓(xùn)練樣本的序列，從而使模型達(dá)到更高的模型性能。為了防止模型權(quán)重被優(yōu)化到局部最小值，采用聚類算法來(lái)保證數(shù)據(jù)的多樣性，從而使模型參數(shù)被優(yōu)化到全局最小值。實(shí)驗(yàn)結(jié)果表明，本文提出的SPLD－QBC算法可以顯著提高分割模型的性能，并且可以嵌入到基于CNN的分割模型中。

參考文獻(xiàn)：

［1］HU K， ZHANG Z， NIU， et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross－entropy loss function ［J］. Neurocomputing， 2018， 309：179－191.

［2］DAI W， DONG N， WANG Z， et al. Scan： Structure correcting adversarial network for organ segmentation in chest x－rays ［C］∥Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support， 2018： 263－273.

［3］ARBELLE A， RAVIV TR. Microscopy cell segmentation via adversarial neural networks ［C］∥2018 IEEE 15th International Symposium on Biomedical Imaging. IEEE， 2018：645－648.

［4］BENGIO Y， LOURADOUR J， COLLOBERT R， et al. Curriculum learning ［C］∥The 26th Annual International Conference on Machine Learning. ACM，2009：41－48.

［5］KUMAR MP， PACKER B，KOLLER D. Self－paced learning for latent variable models ［C］∥Advances in Neural Information Processing Systems. Vancouver：Curran Associates Company，2010：1189－1197.

［6］代建建， 陶洋， 章思青. 基于自步學(xué)習(xí)的無(wú)線傳感網(wǎng)入侵檢測(cè)集成算法［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2019， 40（5）：57－61.

DAI J J， TAO Y， ZHANG S Q. Wireless sensor network intrusion detection integration algorithm based on self－step learning［J］. Computer Engineering and Design，2019，40（5）：57－61.

［7］KINGMA D P， WELLING M. Auto－encoding variational bayes ［J］.Computer Science，2013.

［8］JIANG L， MENG D Y. Self－paced learning with diversity ［J］.Neural Information Processing Systems. 2014：2078－2086.

［9］SEUNG H S， OPPER M， SOMPOLINSKY H. Query by committee ［C］∥Fifth Annual Workshop on Computational Learning Theory. ACM， 1992： 287－294.

［10］JIANG L， MENG D， ZHAO Q， et al. Self－paced curriculum learning ［C］∥Twenty－Ninth AAAI Conference on Artificial Intelligence. IEEE， 2015.

［11］MATTISEN T，OLIVER A，COHEN T.Teacher－student curriculum learning ［J］.IEEE Transactions on Neural Networks and Learning Systems，2019：1－9.

［12］PI T， LI X， ZHANG Z， et al. Self－paced boost learning for classification ［C］∥International Joint Conference on Artificial Intelligence， 2016：1932－1938.

［13］CHEN W， GOU S， WANG X， et al. Classification of PolSAR images using multilayer autoencoders and a self－paced learning approach ［J］. Remote Sensing， 2018， 10（1）： 110.

［14］ZHOU S， WANG J， MENG D， et al. Deep self－paced learning for person re－identification ［J］. Pattern Recognition，2018， 76：739－751.

［15］ZHAO Q， MENG D， JIANG L， et al. Self－paced learning for matrix factorization ［C］∥Twenty－Ninth AAAI Conference on Artificial Intelligence，2015.

［16］BREIMAN L. Random forests ［J］. Machine learning，2001，45（1）：5－32.

［17］BACHMAN P， SORDONI A， TRISCHLER A. Learning algorithms for active learning ［C］∥The 34th International Conference on Machine Learning. JMLR， 2017：301－310.

［18］LEWIS D D， CATLETT J. Heterogeneous uncertainty sampling for supervised learning ［C］∥In Machine Learning Proceedings.Morgan Kaufmann，1994：148－156.

［19］FREY B J， DUECK D. Clustering by passing messages between data points ［J］. Science， 1995， 315（5814）：972－976.

［20］CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Semantic image segmentation with deep convolutional nets and fully connected crfs ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014， 40（4）：834－848.

［21］KANSKI J J， BOWLING B. Clinical Ophthalmology： ASystematic Approach ［M］. Elsevier Health Sciences. 2017.

［22］STAAL J， ABRMOFF M D， NIEMEIJER M， et al. Ridge－based vessel segmentation in color images of the retina ［J］. IEEE Transactions on Medical Imaging， 2004， 23（4）：501－509.

［23］HOOVER A D， KOUZNETSOVA V， GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response ［J］. IEEE Transactions on Medical Imaging， 2000， 19（3）： 203－210.

［24］POHLEN T， HERMANS A， MATHIAS M， et al. Full－resolution residual networks for semantic segmentation in street scenes ［C］∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE，2017：4151－4160.

［25］ROCKAFELLAR R T， WETS R J B. Variational analysis ［M］.Berlin：Springer Science ＆ Business Media，1998：317.

［26］張三海， 盧明科， 鄒仁民，等. X線胸部透視與胸部攝片輻射劑量對(duì)比分析［J］. 人民軍醫(yī)， 2006， 50（7）：425－426.

ZHANG S H， LU M K， ZOU R M， et al. Comparative analysis of radiation dose between X－ray chest fluoroscopy and chest radiograph ［J］. People′s Military Surgeon， 2006， 50（7）： 425－426.

［27］VANG B， STEGMANN M B， LOOG M. Segmentation of anatomical structures in chest radiographs using supervised methods：A comparative study on a public database ［J］. Medical Image Analysis， 2006， 10（1）：19－40.

［28］CANDEMIR S， JAEGER S， PALANIAPPAN K， et al. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration ［J］. IEEE Transactions on Medical Imaging， 2013， 33（2）：577－590.

［29］VALADA A， VERTENS J， DHALL A， et al. Adapnet： Adaptive semantic segmentation in adverse environmental conditions ［C］∥IEEE International Conference on Robotics and Automation.IEEE，2017：4644－4651.

［30］徐亮， 李萬(wàn)湖， 陳兆秋. 核素圖像體外標(biāo)記物的研制及在圖像融合中的初步應(yīng)用［J］. 中國(guó)醫(yī)學(xué)影像技術(shù)， 2016， 32（11）：1749－1752.

XU L， LI W H， CHEN Z Q. The development of in vitro marker for nuclide image and its preliminary application in image fusion ［J］. Chinese Journal of Medical Imaging Technology， 2016， 32（11）：1749－1752.

［31］ARBEL E， REMER I， BEN－DOR A. Deep Learning Based Partial Annotation Framework for Instance Segmentation in Histopathology Images［EB／OL］.［2019／4／17］. https：∥openreview.net／forum？id=H1lhBhpN9V.

［32］KUMAR N， VERMA R， ANAND D， et al. A Multi－organ Nucleus Segmentation Challenge ［J］. IEEE Transactions on Medical Imaging，2019：1.

［33］JGOU S， DROZDZAL M， VAZQUEZ D， et al. The one hundred layers tiramisu： Fully convolutional densenets for semantic segmentation ［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.IEEE，2015：11－19.

（編 輯 李 靜）

收稿日期：2019－12－12

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（61971350，61901374）；陜西省自然科學(xué)基金資助項(xiàng)目（2017JQ4007）

作者簡(jiǎn)介：曹源，男，寧夏銀川人，從事影像組學(xué)研究。

通信作者：賀小偉，男，陜西榆林人，教授，博士生導(dǎo)師，從事光學(xué)分子影像、醫(yī)學(xué)圖像處理及可視化研究。