• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于委員會(huì)查詢和自步多樣性學(xué)習(xí)的醫(yī)學(xué)圖像分割

    2020-04-29 10:47:00曹源王妍王文強(qiáng)賀小偉
    關(guān)鍵詞:圖像分割深度學(xué)習(xí)

    曹源 王妍 王文強(qiáng) 賀小偉

    摘要:由于擁有像素級(jí)標(biāo)記的醫(yī)學(xué)圖像數(shù)量非常少,制約了卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割任務(wù)上的應(yīng)用,因此,該文提出了一種基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法,在訓(xùn)練數(shù)據(jù)有限的情況下提升醫(yī)學(xué)圖像分割模型的性能。該文所提算法結(jié)合了基于委員會(huì)查詢的數(shù)據(jù)選擇方法,實(shí)現(xiàn)動(dòng)態(tài)地從易到難選擇樣本,對(duì)模型進(jìn)行訓(xùn)練。同時(shí),該算法通過(guò)應(yīng)用仿射傳播聚類,保證了數(shù)據(jù)選擇的多樣性,提升了圖像分割模型的性能。為了驗(yàn)證所提算法框架的有效性,分別在3類醫(yī)學(xué)圖像分割任務(wù)的5個(gè)不同數(shù)據(jù)集任務(wù)上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該文所提算法可以顯著提升分割性能。在使用相同數(shù)據(jù)的訓(xùn)練的情況下,相比于全監(jiān)督學(xué)習(xí),使用該文算法可以得到更高的Dice評(píng)估指標(biāo)、表面距離和平均交并比值。

    關(guān)鍵詞:自步多樣性學(xué)習(xí);圖像分割;委員會(huì)查詢;深度學(xué)習(xí)

    中圖分類號(hào):TP3-05

    DOI:10.16152/j.cnki.xdxbzr.2020-02-016

    Self-paced learning with diversity for medical image segmentationby using query-by-committee

    CAO Yuan1,2,WANG Yan3, WANG Wenqiang1,2, HE Xiaowei1,2

    Abstract: Because ?the number of pixel-wise labeled medical images are extremely small, which prevents the application of convolutional neural network (CNN) in medical image segmentation tasks,? a query-by-committee based self-paced learning with diversity (SPLD) framework is proposed to boost the performance of medical image segmentation with limited data. The proposed SPLD algorithm combines the data selection method based the query-by-committee to realize the dynamic selection of samples from easy to difficult and train the model. Meanwhile, by applying the affine propagation clustering, the proposed algorithm guarantees the diversity of data and the? performance of image segmentation model is further enhanced. To verify the effectiveness of the proposed QBC based SPLD framework, we conducted experiments on three medical image segmentation tasks with five different datasets. The experimental results show that the proposed algorithm can significantly improve the segmentation performance.With the same dataset,? the proposed SPLD could significantly improve the segmentation performance and achieve a higher Dice score, surface distance and mean Intersection over Union (mIoU) than fully supervised learning.

    Key words: self-paced diversity learning; image segmentation; query by committee; deep learning

    醫(yī)學(xué)圖像分割結(jié)果的精度對(duì)醫(yī)生的診斷結(jié)果有著關(guān)鍵影響。近年來(lái),基于深度學(xué)習(xí)的圖像分割技術(shù)成為醫(yī)學(xué)圖像語(yǔ)義分割領(lǐng)域中最流行的方法,并已經(jīng)應(yīng)用到了視網(wǎng)膜血管分割[1]、器官分割[2]和細(xì)胞分割[3]等任務(wù)中。由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證需要大量的圖像數(shù)據(jù),深度學(xué)習(xí)往往需要臨床專家進(jìn)行大量的標(biāo)注,在這種情況下,有必要充分利用醫(yī)學(xué)數(shù)據(jù)背后的信息,為臨床使用提供可靠的結(jié)果。

    深度學(xué)習(xí)中使用的優(yōu)化函數(shù)大多是非凸函數(shù)[4],這也增加了尋找全局最優(yōu)解的難度。自步學(xué)習(xí) (self-paced learning, SPL)[5]是一種流行的訓(xùn)練策略,SPL可以模擬人類的學(xué)習(xí)過(guò)程,它通過(guò)先輸入簡(jiǎn)單的樣本,后輸入復(fù)雜的樣本,來(lái)挖掘訓(xùn)練數(shù)據(jù)背后的信息,從而提高模型性能[6]。但是,數(shù)據(jù)的復(fù)雜程度是未知的,在自步學(xué)習(xí)算法設(shè)計(jì)中,需要從計(jì)算機(jī)的角度,實(shí)現(xiàn)對(duì)數(shù)據(jù)難易程度的判定。

    根據(jù)文獻(xiàn)[7]所述,數(shù)據(jù)集背后的概率分布很難獲得,如果直接將SPL學(xué)習(xí)框架應(yīng)用到圖像分割任務(wù)中,SPL模型將選擇同一概率分布簇中的圖像,使模型的權(quán)值優(yōu)化到局部最小解[8]。而從不同概率分布中選擇訓(xùn)練數(shù)據(jù),可以提高訓(xùn)練結(jié)果的泛化性能,從而防止模型優(yōu)化到局部最優(yōu)解。在Jiang等人通過(guò)將數(shù)據(jù)多樣性引入到SPL學(xué)習(xí)策略中,提出了基于多樣性的自步學(xué)習(xí)策略(self-paced learning with diversity, SPLD),實(shí)現(xiàn)了在自步學(xué)習(xí)過(guò)程中保證數(shù)據(jù)的多樣性,并應(yīng)用到了稀疏型分類任務(wù)中[8]。但是,該算法無(wú)法直接應(yīng)用到稠密型分類任務(wù)中,如圖像分割任務(wù)。

    本文提出了一種通用的醫(yī)學(xué)圖像分割的自步學(xué)習(xí)框架。與傳統(tǒng)的自步學(xué)習(xí)方法不同的是,本文所提方法不使用圖像分類結(jié)果的準(zhǔn)確性來(lái)確定樣本的復(fù)雜程度,而是使用委員會(huì)查詢(QBC)[9]技術(shù)來(lái)確定SPL學(xué)習(xí)過(guò)程中樣本的難易程度。我們將該框架命名為基于委員會(huì)查詢的自步多樣性學(xué)習(xí)(SPLD-QBC),委員會(huì)中的一個(gè)成員是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的深度分割網(wǎng)絡(luò),每個(gè)成員都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。在SPLD-QBC學(xué)習(xí)框架下,數(shù)據(jù)的復(fù)雜程度和多樣性取決于每個(gè)成員之間的深層特征,均由所有成員提取的特征向量的余弦相似度進(jìn)行計(jì)算。

    圖1顯示了本文所提出的SPLD-QBC框架應(yīng)用在視網(wǎng)膜血管分割任務(wù)上的流程。SPLD-QBC框架中,委員會(huì)中的每個(gè)成員為一個(gè)具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),在每個(gè)成員中選取一個(gè)特定的特征圖,對(duì)其進(jìn)行全局平均池化后,即得到輸入數(shù)據(jù)的特征向量。SPLD-QBC框架通過(guò)提取的特征向量實(shí)現(xiàn)對(duì)樣本難易程度和多樣性的定義。

    本文的主要研究?jī)?nèi)容如下:

    1)設(shè)計(jì)了一種結(jié)合SPLD和QBC學(xué)習(xí)機(jī)制的通用醫(yī)學(xué)圖像語(yǔ)義分割框架,提高了分割模型的性能。

    2)將SPLD-QBC應(yīng)用于5個(gè)數(shù)據(jù)集的3個(gè)醫(yī)學(xué)圖像分割任務(wù)。實(shí)驗(yàn)結(jié)果表明,SPLD-QBC框架可以顯著提高模型性能。

    3)從實(shí)驗(yàn)和理論上證明了SPLD-QBC的有效性,論證了模型的泛化能力。

    1 相關(guān)工作

    1.1 自步學(xué)習(xí)

    SPL算法將課程學(xué)習(xí)(Curriculum learning)嵌入到學(xué)習(xí)目標(biāo)函數(shù)中,并添加正則項(xiàng),從而組成學(xué)習(xí)的目標(biāo)函數(shù)[10]。SPL算法可以同時(shí)優(yōu)化模型參數(shù)w和權(quán)重v=[v1,v2,…,vn]T,其中,v表示每個(gè)樣本選擇的權(quán)重。SPL的目標(biāo)函數(shù)如下:

    其中,λ表示學(xué)習(xí)速度;f表示機(jī)器學(xué)習(xí)模型;L表示損失函數(shù);xi和yi表示訓(xùn)練數(shù)據(jù)及其對(duì)應(yīng)的標(biāo)簽。

    從理論角度來(lái)看,SPL已經(jīng)擴(kuò)展到自步課程學(xué)習(xí)[10]、自步強(qiáng)化學(xué)習(xí)[11]以及自步集成學(xué)習(xí)[12]。在SPL的擴(kuò)展中,在式(1)中加入了幾個(gè)正則項(xiàng)來(lái)進(jìn)行具體任務(wù)的優(yōu)化。從應(yīng)用的角度看,SPL已經(jīng)在分類[13]、人臉重新識(shí)別[14]和矩陣分解[15]中得到了應(yīng)用。大多數(shù)基于SPL的應(yīng)用是在稀疏標(biāo)簽分類數(shù)據(jù)上實(shí)現(xiàn)的,即每個(gè)數(shù)據(jù)的標(biāo)簽為單一的標(biāo)量。但是,目前還沒(méi)有研究將SPL應(yīng)用于密集的標(biāo)簽分類數(shù)據(jù),例如醫(yī)學(xué)圖像語(yǔ)義分割任務(wù),即標(biāo)簽為每個(gè)像素點(diǎn)的類別。

    1.2 自步多樣性學(xué)習(xí)

    SPLD通過(guò)嵌入一個(gè)與特定模型優(yōu)化目標(biāo)無(wú)關(guān)的正則化項(xiàng)來(lái)確定訓(xùn)練數(shù)據(jù)的多樣性。SPLD學(xué)習(xí)框架考慮了數(shù)據(jù)的多樣性和數(shù)據(jù)難易程度,并將數(shù)據(jù)依次輸入模型進(jìn)行訓(xùn)練,以保證更好的模型性能。SPLD的修改是在式(1)中加入正則化項(xiàng),形成多樣性約束。目標(biāo)函數(shù)如式(2)所示:

    其中,γ是新添加的控制數(shù)據(jù)多樣性的超參數(shù)。SPLD首先被用在了基于隨機(jī)森林[16]和支持向量機(jī)(SVM)的動(dòng)作識(shí)別任務(wù)和多媒體事件檢測(cè)中。兩個(gè)任務(wù)中使用的數(shù)據(jù)集都是稀疏標(biāo)簽數(shù)據(jù)集,每個(gè)數(shù)據(jù)所屬的類在SPLD模型中都是已知的。然而,在醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)中,圖像級(jí)標(biāo)簽即分類標(biāo)簽是未知的。因此,在醫(yī)學(xué)圖像分割任務(wù)中,無(wú)法利用預(yù)先獲得的類別標(biāo)簽來(lái)控制數(shù)據(jù)多樣性。

    1.3 委員會(huì)查詢

    委員會(huì)查詢(query-by-committee, QBC)是一種主動(dòng)學(xué)習(xí)算法。在QBC中,使用相同的數(shù)據(jù)對(duì)委員會(huì)中的每個(gè)成員進(jìn)行訓(xùn)練,之后每個(gè)成員對(duì)數(shù)據(jù)進(jìn)行投票,根據(jù)投票結(jié)果的一致性決定數(shù)據(jù)是否要加入到訓(xùn)練集:如果投票結(jié)果相似,說(shuō)明樣本較為容易;相反,如果投票結(jié)果相差較大,說(shuō)明樣本較為復(fù)雜。因此,基于QBC的主動(dòng)學(xué)習(xí)可以有效地評(píng)估訓(xùn)練數(shù)據(jù)的難易程度。在QBC中,交叉熵常用于計(jì)算數(shù)據(jù)的相似度[17],然而,熵一直是基于稀疏標(biāo)簽預(yù)測(cè)的,不適合用于稠密標(biāo)簽分類任務(wù),因此,需要對(duì)其進(jìn)行改進(jìn)。

    2方 法

    2.1 自步學(xué)習(xí)正則項(xiàng)

    在說(shuō)明算法之前,我們首先給出變量的定義。 令Labeled Data={{x1,y1},{x2,y2},…,{xn,yn}}是從包含有n個(gè)分割金標(biāo)準(zhǔn)的醫(yī)學(xué)圖像中裁剪的圖像塊的集合。令C={θ θ …,θG}

    為包含有|C|個(gè)成員的委員會(huì),且每個(gè)成員θi都是用于醫(yī)學(xué)圖像語(yǔ)義分割的CNN。本文的方法利用QBC框架,在每次迭代中,每個(gè)委員會(huì)中的成員都會(huì)計(jì)算輸入數(shù)據(jù)的特征。

    基于CNN的圖像分割網(wǎng)絡(luò)通常包含一個(gè)編碼器和一個(gè)解碼器。在SPLD-QBC中,從編碼器的最后一層提取特征圖,并使用全局平均池化(global average pooling, GAP)層將特征圖轉(zhuǎn)換為特征向量。委員會(huì)中的每個(gè)成員都生成代表輸入圖像特征的特征向量,并將從θi中生成的特征向量定義為Fi。兩個(gè)成員之間的相似性是通過(guò)余弦距離來(lái)衡量的,如式(3)所示:

    其中,|Fi|表示委員會(huì)C中成員θi提取的高級(jí)特征向量的長(zhǎng)度,每個(gè)成員之間的相似性可以表述為

    本文將輸入數(shù)據(jù)xk在委員會(huì)之間的特征相似性定義為

    SPLD-QBC框架背后的假設(shè)是,如果提取的特征向量之間的相似性較高,則表明委員會(huì)中的所有成員都已充分學(xué)習(xí)了輸入數(shù)據(jù)xk。因此,如果成員之間的特征向量具有較高的相似度,說(shuō)明該樣本是“簡(jiǎn)單”樣本,SPL訓(xùn)練過(guò)程中首先會(huì)將其輸入到模型中進(jìn)行訓(xùn)練。相反,樣本之間相似性較小則意味著從每個(gè)成員中所生成的特征具有極大的差異,這表明當(dāng)前模型難以學(xué)習(xí)該樣本。在獲得所有訓(xùn)練樣本的相似性之后,將它們歸一化為[0,1],以形成式(1)中的SPL正則項(xiàng)。歸一化方法為

    為了在訓(xùn)練過(guò)程中應(yīng)用SPL策略,需要解決以下3個(gè)問(wèn)題:

    1)在初始訓(xùn)練時(shí)期應(yīng)選擇多少數(shù)據(jù)?SPL策略必須首先利用少量數(shù)據(jù)提供的信息訓(xùn)練模型中的參數(shù),然后, 將更多帶標(biāo)簽的數(shù)據(jù)添加到訓(xùn)練集中, 以控制樣本的選擇和學(xué)習(xí)的步長(zhǎng)。 但是, 在初始的迭代過(guò)程中, CNN尚未收斂。 如果將數(shù)據(jù)選擇規(guī)則直接應(yīng)用于SPL策略, 那么該模型可能會(huì)崩潰, 導(dǎo)致SPL框架無(wú)法正常工作。? 為了解決這個(gè)問(wèn)題, 我們隨機(jī)選擇少量訓(xùn)練樣本來(lái)訓(xùn)練模型。 例如, 可以隨機(jī)抽取10%的樣本用來(lái)訓(xùn)練委員會(huì)中的每個(gè)成員, 對(duì)CNN中的參數(shù)進(jìn)行預(yù)熱。 訓(xùn)練數(shù)據(jù)的初始比率在本文的算法中定義成名為ITDR的超參數(shù)。如果模型收斂,則使用式(6)控制學(xué)習(xí)速率以及選擇樣本的權(quán)重。

    2)基于QBC學(xué)習(xí)的另一個(gè)問(wèn)題是,所有成員都具有相同的CNN架構(gòu)。這表示如果它們的參數(shù)相同,當(dāng)輸入相同時(shí),輸出的特征向量也是相同的,從而造成QBC算法失效。為了克服這一缺點(diǎn),我們?cè)诿總€(gè)CNN中使用不同的種子隨機(jī)初始化模型權(quán)重。由于使用了不同的種子,每個(gè)成員中的參數(shù)隨之也會(huì)不同,這使得它們可以有效地確定數(shù)據(jù)的相似性。此外,在訓(xùn)練過(guò)程中,將針對(duì)不同的解決方案優(yōu)化參數(shù)。

    3)如何控制學(xué)習(xí)速度?在實(shí)踐中,我們需要防止SPL學(xué)習(xí)器貪婪地添加數(shù)據(jù),即防止其將每個(gè)數(shù)據(jù)的vk設(shè)置為1。如果SPL學(xué)習(xí)器在每個(gè)訓(xùn)練結(jié)束后添加固定數(shù)量的訓(xùn)練數(shù)據(jù),則所有數(shù)據(jù)將被添加到訓(xùn)練集中,所提出的方法將退化為全監(jiān)督學(xué)習(xí)(fully supervised learning, FSL)方法。為了解決這個(gè)問(wèn)題,在不確定性采樣策略的啟發(fā)之下[18],通過(guò)設(shè)置不確定性閾值來(lái)對(duì)查詢規(guī)則施加限制。該閾值在本文算法中稱為UT。當(dāng)且僅當(dāng)委員會(huì)中所有成員評(píng)估數(shù)據(jù)的vk值大于閾值UT時(shí),SPL學(xué)習(xí)器才將樣本定義為“簡(jiǎn)單”樣本,在下一次的迭代訓(xùn)練過(guò)程中將數(shù)據(jù)添加到訓(xùn)練集中對(duì)模型進(jìn)行優(yōu)化。

    此外,在訓(xùn)練過(guò)程中會(huì)動(dòng)態(tài)更改UT。在第一個(gè)訓(xùn)練迭代過(guò)程中,UT等于v中最大vk的0.9倍。隨著訓(xùn)練迭代次數(shù)的增加,UT根據(jù)式(7)動(dòng)態(tài)變化,

    其中,e表示當(dāng)前訓(xùn)練迭代的次數(shù);m表示總訓(xùn)練迭代次數(shù)。

    2.2 基于聚類的數(shù)據(jù)多樣性

    直觀地,從不同類別中選擇訓(xùn)練數(shù)據(jù)是一種在模型訓(xùn)練期間保持?jǐn)?shù)據(jù)多樣性的方法,且這種方法易于實(shí)現(xiàn)。但是,用于分割的醫(yī)學(xué)圖像通常缺少分類標(biāo)簽,在這種情況下,本文使用聚類算法實(shí)現(xiàn)對(duì)數(shù)據(jù)的分組。在確定數(shù)據(jù)難以程度時(shí),使用了每個(gè)成員提取的特征向量,同理,在數(shù)據(jù)分組階段,還可以使用提取的特征向量進(jìn)行聚類。

    在委員會(huì)中,對(duì)于每個(gè)訓(xùn)練數(shù)據(jù),模型都會(huì)生成|C|特征向量。我們使用|C|的平均值特征作為樣本的特征向量,如式(8)所示:

    但是,使用聚類算法實(shí)現(xiàn)數(shù)據(jù)分組的過(guò)程中,最優(yōu)的分組個(gè)數(shù)無(wú)法確定,如果聚類數(shù)太大,則所有數(shù)據(jù)將被單獨(dú)分組到一個(gè)中心,且每個(gè)中心的樣本數(shù)量很少;相反,如果聚類數(shù)過(guò)少,則不能有效地表示多樣性。為了解決這個(gè)問(wèn)題,我們使用仿射傳播算法[19]對(duì)生成的特征向量進(jìn)行聚類。放射變換算法在聚類初始情況下不需要確定聚類的類別數(shù),聚類的過(guò)程中根據(jù)樣本的分布特性來(lái)確定類別的簇,從而動(dòng)態(tài)地根據(jù)樣本特征進(jìn)行聚類。

    在每個(gè)訓(xùn)練時(shí)期,將仿射傳播算法應(yīng)用于特征提取并將數(shù)據(jù)聚類到不同的聚類類別中。之后,應(yīng)用SPL方法從每個(gè)聚類組中選擇模型認(rèn)為較為簡(jiǎn)單的樣本。為了保證訓(xùn)練樣本的多樣性,SPL學(xué)習(xí)器從每個(gè)組中選擇最簡(jiǎn)單的樣本,并且相應(yīng)的數(shù)據(jù)權(quán)重變量變?yōu)関=[v v …,vg],且vi=[vi1,vi2,…,vig(i)],s.t.i∈[1,g],g(i)表示第i組中數(shù)據(jù)樣本的個(gè)數(shù)。

    通過(guò)應(yīng)用分組策略,SPLD的損失函數(shù)從式(2)變?yōu)槭剑?):

    綜上所述,本文提出的基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法步驟如下。

    Step 1隨機(jī)從數(shù)據(jù)集Labeled Data中選擇ITDR的數(shù)據(jù)。

    當(dāng)模型尚未收斂:

    Step 2 使用式(2)中的損失函數(shù)訓(xùn)練委員會(huì)C中的每個(gè)成員;

    for e=1 to m:

    Step 3 根據(jù)式(8)提取每個(gè)數(shù)據(jù)的特征向量u,并使用仿射傳播算法對(duì)數(shù)據(jù)聚類為g類;

    for j in 1 to g:

    Step 4 根據(jù)式(6)在第j組中計(jì)算樣本的vj;

    Step 5 在第j組所有樣本中選擇vjg(i)> UT的樣本,并使用式(9)作為損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練;

    Step 6 使用式(7)更新UT。

    3 實(shí) 驗(yàn)

    為了證明本文所提SPLD-QBC學(xué)習(xí)框架的有效性,在5個(gè)不同的數(shù)據(jù)集上進(jìn)行3種類型的醫(yī)學(xué)圖像語(yǔ)義分割任務(wù),包括視網(wǎng)膜血管分割、肺部器官語(yǔ)義分割和核醫(yī)學(xué)圖像中的細(xì)胞分割。

    3.1 實(shí)現(xiàn)細(xì)節(jié)

    本文實(shí)驗(yàn)是基于TensorFlow深度學(xué)習(xí)庫(kù)來(lái)完成的。為了應(yīng)用自步學(xué)習(xí)框架,使用了從原始醫(yī)學(xué)圖像中裁剪的128×128分辨率的塊圖像進(jìn)行模型訓(xùn)練。在測(cè)試階段,每個(gè)成員的卷積神經(jīng)網(wǎng)絡(luò)模型推斷的是整個(gè)分割結(jié)果而不是圖像塊的分割結(jié)果。由于硬件限制,在自步多樣性學(xué)習(xí)算法中,委員會(huì)中成員的數(shù)量設(shè)置為2,3和4。受文獻(xiàn)[20]的啟發(fā),學(xué)習(xí)率在訓(xùn)練中動(dòng)態(tài)調(diào)整為初始學(xué)習(xí)率的(1-em)0.9倍,其中,e表示當(dāng)前的訓(xùn)練的迭代次數(shù),m表示總的訓(xùn)練迭代次數(shù)。在視網(wǎng)膜血管分割任務(wù)中m=1 000,肺器官分割中m=500,核細(xì)胞分割中m=300;ITDR設(shè)置為10%;超參數(shù)λ和γ二者均設(shè)為1。

    此外,委員會(huì)成員的網(wǎng)絡(luò)設(shè)計(jì)針對(duì)特定的任務(wù)進(jìn)行了選擇和優(yōu)化,模型的性能除了受到訓(xùn)練方法的影響,也會(huì)受到選擇的神經(jīng)網(wǎng)絡(luò)的限制。因此,在每個(gè)實(shí)驗(yàn)中,我們將提出的自步多樣性學(xué)習(xí)算法與自步學(xué)習(xí)策略和全監(jiān)督學(xué)習(xí)策略進(jìn)行比較,即將全監(jiān)督學(xué)習(xí)作為對(duì)照組。

    3.2 視網(wǎng)膜血管分割實(shí)驗(yàn)

    視網(wǎng)膜血管分割在眼底圖像視網(wǎng)膜疾病的自動(dòng)檢測(cè)中起著重要的作用。視網(wǎng)膜血管圖像分析為糖尿病視網(wǎng)膜病變、青光眼等疾病的診斷提供了重要信息[21]。DRIVE數(shù)據(jù)集是一個(gè)公共數(shù)據(jù)集,由40張565×584大小的眼底圖像組成[22],這些圖像被手動(dòng)分為一個(gè)包含20張圖像的訓(xùn)練集和一個(gè)包含20張圖像的測(cè)試集。STARE數(shù)據(jù)集是另一個(gè)由20幅605×700大小的眼底圖像組成的公共數(shù)據(jù)集[23],這些圖像被手動(dòng)分為一個(gè)包含10幅圖像的訓(xùn)練集和一個(gè)包含10幅圖像的測(cè)試集。因?yàn)檠鄣讏D像中血管的形狀、厚度和對(duì)比度都各不相同,所以,視網(wǎng)膜血管分割模型需要綜合考慮這些因素。對(duì)于血管分割任務(wù),本文采用全分辨率殘差網(wǎng)絡(luò)(FRRN)[24]作為每個(gè)成員的架構(gòu)。FRRN融合了不同大小的輸入,提升了模型的多尺度特性。提取FRRN中定義的最后一個(gè)全分辨率殘差單元作為每個(gè)成員的潛在特征,并利用該特征計(jì)算樣本的難易程度和多樣性。

    由于視網(wǎng)膜血管分割任務(wù)中每個(gè)像素都屬于血管或背景,所以,這是一個(gè)二值分類任務(wù)。為了評(píng)估模型的性能,計(jì)算了分割結(jié)果與真值之間的Dice指標(biāo)和Hausdorff表面距離(HD)[25]。Dice指標(biāo)考慮了分割結(jié)果與真值之間的重疊,Dice指數(shù)值越高,表明模型性能越好。HD度量了空間的兩個(gè)子集之間的距離,較低的HD意味著該模型更好,評(píng)估結(jié)果見(jiàn)表1。

    如表1所示,自步多樣性學(xué)習(xí)算法的訓(xùn)練策略優(yōu)于自步學(xué)習(xí)和全監(jiān)督學(xué)習(xí)方法。通過(guò)在一個(gè)由4名成員組成的委員會(huì)中使用4個(gè)FRRN神經(jīng)網(wǎng)絡(luò),我們的自步多樣性學(xué)習(xí)模型在STARE數(shù)據(jù)集上的Dice系數(shù)為0.852 0,表面距離為44.920;在DRIVE數(shù)據(jù)集上的Dice系數(shù)為0.826 3,表面距離為31.457 6。進(jìn)一步觀察發(fā)現(xiàn),成員數(shù)越多越有利于模型訓(xùn)練。

    圖2中展示了不同的樣本上的訓(xùn)練結(jié)果。圖2中的每行代表一個(gè)樣本的原始圖像、全監(jiān)督學(xué)習(xí)算法、自步學(xué)習(xí)算法、自步多樣性學(xué)習(xí)算法得到的分割結(jié)果以及相應(yīng)的金標(biāo)準(zhǔn)??梢杂^察發(fā)現(xiàn),相較于自步學(xué)習(xí)算法和全監(jiān)督學(xué)習(xí)算法,我們提出的自步多樣性學(xué)習(xí)算法可以捕捉更多的毛細(xì)血管。這說(shuō)明自步多樣性學(xué)習(xí)策略訓(xùn)練的模型由于具有多樣性學(xué)習(xí)能力,對(duì)小目標(biāo)和大目標(biāo)都有較高的捕捉能力。圖2中SPLD-QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    3.3 基于胸部X光片的器官分割

    通過(guò)胸部X光掃描病人的器官是日常診斷的重要程序之一,同時(shí)也是醫(yī)生診斷的重要依據(jù)[26]。然而,由于胸部X光片在形狀、大小和對(duì)比度等方面存在較大的差異,肺部器官分割仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

    與視網(wǎng)膜血管分割任務(wù)不同,肺器官分割任務(wù)是語(yǔ)義分割,因?yàn)槟P蛯⒚總€(gè)像素分別預(yù)測(cè)為左肺、右肺、心臟或背景。本文分別在JSRT數(shù)據(jù)集[27]和Montgomery數(shù)據(jù)集[28]上進(jìn)行了實(shí)驗(yàn)。JSRT數(shù)據(jù)集包含247個(gè)胸部X光片,包括左肺、右肺、心臟和背景4個(gè)類別。而Montgomery的數(shù)據(jù)集包含138張胸透,包括左肺、右肺和背景3個(gè)類別。在保證器官結(jié)構(gòu)細(xì)節(jié)的前提下,將所有的圖像縮放為256*256大小。在實(shí)驗(yàn)中,隨機(jī)選擇80%的樣本進(jìn)行訓(xùn)練,其余20%用來(lái)測(cè)試。

    由于器官分割任務(wù)中像素分類的類別大于2,所以它是一種語(yǔ)義分割任務(wù)。實(shí)驗(yàn)使用AdapNet[29]作為每個(gè)成員的模型。AdapNet結(jié)合了深度特征融合方法,增加了模型的魯棒性,同時(shí)擴(kuò)大了感受野。將網(wǎng)絡(luò)中第一個(gè)反卷積層之前的網(wǎng)絡(luò)層中的特征圖輸入到平均池化層中,轉(zhuǎn)化為特征向量,代表每個(gè)成員的深層特征。為了評(píng)估模型的性能,計(jì)算了分割結(jié)果和金標(biāo)準(zhǔn)的mIoU和HD,mIoU越高,表明模型性能越強(qiáng),比較結(jié)果如表2所示。

    如表2所示,SPLD-QBC模型優(yōu)于SPL和FSL模型。進(jìn)一步比較發(fā)現(xiàn),本文的方法在HD度量指標(biāo)上取得了最好的性能,約為FSL模型在Montgomery數(shù)據(jù)集上取得的HD值的一半(40.577 1和22.748 7)。其中,部分分割結(jié)果如圖3所示。對(duì)于Montgomery數(shù)據(jù)集,當(dāng)委員會(huì)成員數(shù)量增加時(shí),分割圖中的噪聲量明顯降低。對(duì)于JSRT數(shù)據(jù)集,本文提出的SPLD-QBC模型可以對(duì)心臟RoI進(jìn)行精確分割。此外,在兩個(gè)數(shù)據(jù)集中使用SPLD-QBC模型進(jìn)行分割的圖像器官的形狀比使用FSL模型的更完整。圖3中SPLD-QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    3.4 核素圖像上的細(xì)胞分割

    核素圖像的分割是數(shù)字病理切片分析的重要任務(wù)之一[30]。臨床實(shí)踐中最重要的步驟之一就是從整個(gè)圖像(WSIs)中提取信息成分[31]。然而,一個(gè)WSI中包含大量的細(xì)胞,手工分割費(fèi)時(shí)費(fèi)力。

    將本文提出的模型應(yīng)用于H&E染色的多器官細(xì)胞核分割數(shù)據(jù)集[32],其包含30個(gè)WSI和對(duì)應(yīng)的22 000個(gè)細(xì)胞邊界。WSIs中的每個(gè)像素被分為兩類,一類是細(xì)胞核,另一類是背景。我們將每個(gè)成員設(shè)置為一個(gè)全卷積DenseNet網(wǎng)絡(luò)[33],在這個(gè)任務(wù)中,隨機(jī)選擇20個(gè)樣本作為訓(xùn)練集,其余的10個(gè)樣本作為測(cè)試集。每個(gè)圖像的分辨率被調(diào)整為1 024×1 024,從一個(gè)WSI中裁剪了64個(gè)分辨率為128×128的裁剪圖像。與視網(wǎng)膜血管分割任務(wù)相同,使用DSC和HD來(lái)評(píng)估模型性能,如表3所示。

    如表3所示,本文所提出的模型獲得了最佳的mIoU和HD評(píng)估指標(biāo)。不同算法的細(xì)胞核部分分割結(jié)果如圖4所示,SPLD-QBC分割出更好的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    4 結(jié) 語(yǔ)

    本文提出了一種用于醫(yī)學(xué)圖像分割的通用醫(yī)學(xué)圖像語(yǔ)義分割框架,該方法可以提高醫(yī)學(xué)圖像語(yǔ)義分割模型的性能。通過(guò)應(yīng)用委員會(huì)查詢方法,可以動(dòng)態(tài)選擇訓(xùn)練樣本的序列,從而使模型達(dá)到更高的模型性能。為了防止模型權(quán)重被優(yōu)化到局部最小值,采用聚類算法來(lái)保證數(shù)據(jù)的多樣性,從而使模型參數(shù)被優(yōu)化到全局最小值。實(shí)驗(yàn)結(jié)果表明,本文提出的SPLD-QBC算法可以顯著提高分割模型的性能,并且可以嵌入到基于CNN的分割模型中。

    參考文獻(xiàn):

    [1]HU K, ZHANG Z, NIU, et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function [J]. Neurocomputing, 2018, 309:179-191.

    [2]DAI W, DONG N, WANG Z, et al. Scan: Structure correcting adversarial network for organ segmentation in chest x-rays [C]∥Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 2018: 263-273.

    [3]ARBELLE A, RAVIV TR. Microscopy cell segmentation via adversarial neural networks [C]∥2018 IEEE 15th International Symposium on Biomedical Imaging. IEEE, 2018:645-648.

    [4]BENGIO Y, LOURADOUR J, COLLOBERT R, et al. Curriculum learning [C]∥The 26th Annual International Conference on Machine Learning. ACM,2009:41-48.

    [5]KUMAR MP, PACKER B,KOLLER D. Self-paced learning for latent variable models [C]∥Advances in Neural Information Processing Systems. Vancouver:Curran Associates Company,2010:1189-1197.

    [6]代建建, 陶洋, 章思青. 基于自步學(xué)習(xí)的無(wú)線傳感網(wǎng)入侵檢測(cè)集成算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2019, 40(5):57-61.

    DAI J J, TAO Y, ZHANG S Q. Wireless sensor network intrusion detection integration algorithm based on self-step learning[J]. Computer Engineering and Design,2019,40(5):57-61.

    [7]KINGMA D P, WELLING M. Auto-encoding variational bayes [J].Computer Science,2013.

    [8]JIANG L, MENG D Y. Self-paced learning with diversity [J].Neural Information Processing Systems. 2014:2078-2086.

    [9]SEUNG H S, OPPER M, SOMPOLINSKY H. Query by committee [C]∥Fifth Annual Workshop on Computational Learning Theory. ACM, 1992: 287-294.

    [10]JIANG L, MENG D, ZHAO Q, et al. Self-paced curriculum learning [C]∥Twenty-Ninth AAAI Conference on Artificial Intelligence. IEEE, 2015.

    [11]MATTISEN T,OLIVER A,COHEN T.Teacher-student curriculum learning [J].IEEE Transactions on Neural Networks and Learning Systems,2019:1-9.

    [12]PI T, LI X, ZHANG Z, et al. Self-paced boost learning for classification [C]∥International Joint Conference on Artificial Intelligence, 2016:1932-1938.

    [13]CHEN W, GOU S, WANG X, et al. Classification of PolSAR images using multilayer autoencoders and a self-paced learning approach [J]. Remote Sensing, 2018, 10(1): 110.

    [14]ZHOU S, WANG J, MENG D, et al. Deep self-paced learning for person re-identification [J]. Pattern Recognition,2018, 76:739-751.

    [15]ZHAO Q, MENG D, JIANG L, et al. Self-paced learning for matrix factorization [C]∥Twenty-Ninth AAAI Conference on Artificial Intelligence,2015.

    [16]BREIMAN L. Random forests [J]. Machine learning,2001,45(1):5-32.

    [17]BACHMAN P, SORDONI A, TRISCHLER A. Learning algorithms for active learning [C]∥The 34th International Conference on Machine Learning. JMLR, 2017:301-310.

    [18]LEWIS D D, CATLETT J. Heterogeneous uncertainty sampling for supervised learning [C]∥In Machine Learning Proceedings.Morgan Kaufmann,1994:148-156.

    [19]FREY B J, DUECK D. Clustering by passing messages between data points [J]. Science, 1995, 315(5814):972-976.

    [20]CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully connected crfs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 40(4):834-848.

    [21]KANSKI J J, BOWLING B. Clinical Ophthalmology: ASystematic Approach [M]. Elsevier Health Sciences. 2017.

    [22]STAAL J, ABRMOFF M D, NIEMEIJER M, et al. Ridge-based vessel segmentation in color images of the retina [J]. IEEE Transactions on Medical Imaging, 2004, 23(4):501-509.

    [23]HOOVER A D, KOUZNETSOVA V, GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response [J]. IEEE Transactions on Medical Imaging, 2000, 19(3): 203-210.

    [24]POHLEN T, HERMANS A, MATHIAS M, et al. Full-resolution residual networks for semantic segmentation in street scenes [C]∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2017:4151-4160.

    [25]ROCKAFELLAR R T, WETS R J B. Variational analysis [M].Berlin:Springer Science & Business Media,1998:317.

    [26]張三海, 盧明科, 鄒仁民,等. X線胸部透視與胸部攝片輻射劑量對(duì)比分析[J]. 人民軍醫(yī), 2006, 50(7):425-426.

    ZHANG S H, LU M K, ZOU R M, et al. Comparative analysis of radiation dose between X-ray chest fluoroscopy and chest radiograph [J]. People′s Military Surgeon, 2006, 50(7): 425-426.

    [27]VANG B, STEGMANN M B, LOOG M. Segmentation of anatomical structures in chest radiographs using supervised methods:A comparative study on a public database [J]. Medical Image Analysis, 2006, 10(1):19-40.

    [28]CANDEMIR S, JAEGER S, PALANIAPPAN K, et al. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration [J]. IEEE Transactions on Medical Imaging, 2013, 33(2):577-590.

    [29]VALADA A, VERTENS J, DHALL A, et al. Adapnet: Adaptive semantic segmentation in adverse environmental conditions [C]∥IEEE International Conference on Robotics and Automation.IEEE,2017:4644-4651.

    [30]徐亮, 李萬(wàn)湖, 陳兆秋. 核素圖像體外標(biāo)記物的研制及在圖像融合中的初步應(yīng)用[J]. 中國(guó)醫(yī)學(xué)影像技術(shù), 2016, 32(11):1749-1752.

    XU L, LI W H, CHEN Z Q. The development of in vitro marker for nuclide image and its preliminary application in image fusion [J]. Chinese Journal of Medical Imaging Technology, 2016, 32(11):1749-1752.

    [31]ARBEL E, REMER I, BEN-DOR A. Deep Learning Based Partial Annotation Framework for Instance Segmentation in Histopathology Images[EB/OL].[2019/4/17]. https:∥openreview.net/forum?id=H1lhBhpN9V.

    [32]KUMAR N, VERMA R, ANAND D, et al. A Multi-organ Nucleus Segmentation Challenge [J]. IEEE Transactions on Medical Imaging,2019:1.

    [33]JGOU S, DROZDZAL M, VAZQUEZ D, et al. The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.IEEE,2015:11-19.

    (編 輯 李 靜)

    收稿日期:2019-12-12

    基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61971350,61901374);陜西省自然科學(xué)基金資助項(xiàng)目(2017JQ4007)

    作者簡(jiǎn)介:曹源,男,寧夏銀川人,從事影像組學(xué)研究。

    通信作者:賀小偉,男,陜西榆林人,教授,博士生導(dǎo)師,從事光學(xué)分子影像、醫(yī)學(xué)圖像處理及可視化研究。

    猜你喜歡
    圖像分割深度學(xué)習(xí)
    計(jì)算機(jī)定量金相分析系統(tǒng)的軟件開(kāi)發(fā)與圖像處理方法
    有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
    基于灰色系統(tǒng)理論的數(shù)字圖像處理算法
    一種改進(jìn)的分水嶺圖像分割算法研究
    科技視界(2016年26期)2016-12-17 16:25:03
    電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
    基于LabVIEW雛雞雌雄半自動(dòng)鑒別系統(tǒng)
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    一種圖像超像素的快速生成算法
    基于魯棒性的廣義FCM圖像分割算法
    国产高清有码在线观看视频| 日本黄大片高清| 国产在线视频一区二区| 欧美激情国产日韩精品一区| 99re6热这里在线精品视频| 你懂的网址亚洲精品在线观看| 欧美三级亚洲精品| 欧美精品一区二区大全| 亚洲av国产av综合av卡| 精华霜和精华液先用哪个| 黄片无遮挡物在线观看| 中文天堂在线官网| www.av在线官网国产| 国产av一区二区精品久久 | 性色av一级| 下体分泌物呈黄色| 国产人妻一区二区三区在| 亚洲精品中文字幕在线视频 | 国产精品99久久99久久久不卡 | 国产精品一区二区在线观看99| 成人免费观看视频高清| 国产有黄有色有爽视频| 国产免费福利视频在线观看| 午夜福利网站1000一区二区三区| 高清午夜精品一区二区三区| 免费观看av网站的网址| 只有这里有精品99| av在线观看视频网站免费| 亚洲怡红院男人天堂| 国国产精品蜜臀av免费| 亚洲色图综合在线观看| 久久韩国三级中文字幕| 搡老乐熟女国产| 久久人人爽av亚洲精品天堂 | 国产91av在线免费观看| a级毛色黄片| 蜜桃亚洲精品一区二区三区| 尤物成人国产欧美一区二区三区| 免费少妇av软件| 高清在线视频一区二区三区| 国产亚洲欧美精品永久| 狂野欧美激情性xxxx在线观看| 亚洲欧美日韩卡通动漫| 午夜激情福利司机影院| 香蕉精品网在线| 久久久欧美国产精品| 男女免费视频国产| 少妇被粗大猛烈的视频| 亚洲国产欧美在线一区| 激情 狠狠 欧美| 最近最新中文字幕免费大全7| 大码成人一级视频| 视频中文字幕在线观看| 2021少妇久久久久久久久久久| 国产精品一二三区在线看| 免费黄网站久久成人精品| 久久国产精品男人的天堂亚洲 | 九九在线视频观看精品| 中文欧美无线码| 大片电影免费在线观看免费| 久久99热这里只频精品6学生| 国产精品一区www在线观看| 日日啪夜夜爽| 老女人水多毛片| 联通29元200g的流量卡| 高清午夜精品一区二区三区| 欧美bdsm另类| 国产精品一区二区在线不卡| 一本一本综合久久| 免费看日本二区| 国产精品人妻久久久久久| 免费看光身美女| 22中文网久久字幕| 22中文网久久字幕| 亚洲精品色激情综合| 国产免费视频播放在线视频| av女优亚洲男人天堂| 在线免费观看不下载黄p国产| 久久久久久久久久久丰满| 91精品国产九色| 日本欧美视频一区| 国产在线免费精品| 男女啪啪激烈高潮av片| 久久久成人免费电影| 成人特级av手机在线观看| 亚洲高清免费不卡视频| 国产老妇伦熟女老妇高清| 嘟嘟电影网在线观看| 亚洲丝袜综合中文字幕| 免费av不卡在线播放| 日韩av在线免费看完整版不卡| 精品一区二区免费观看| 美女xxoo啪啪120秒动态图| 国产亚洲精品久久久com| 蜜桃亚洲精品一区二区三区| av专区在线播放| 亚洲成人av在线免费| 男人舔奶头视频| 丰满人妻一区二区三区视频av| 成人影院久久| 高清欧美精品videossex| 国产爽快片一区二区三区| 少妇的逼水好多| 欧美日韩综合久久久久久| 日本av免费视频播放| 久久人人爽人人爽人人片va| 一区二区三区免费毛片| 干丝袜人妻中文字幕| 免费人成在线观看视频色| 一级毛片黄色毛片免费观看视频| 26uuu在线亚洲综合色| 日韩av免费高清视频| 最近手机中文字幕大全| 极品教师在线视频| 亚洲三级黄色毛片| 免费观看在线日韩| 搡女人真爽免费视频火全软件| 国产精品一区二区在线不卡| 国产成人aa在线观看| 新久久久久国产一级毛片| 成人高潮视频无遮挡免费网站| 男女边摸边吃奶| 一本色道久久久久久精品综合| 91精品国产国语对白视频| 99热这里只有是精品在线观看| 亚洲丝袜综合中文字幕| 肉色欧美久久久久久久蜜桃| 草草在线视频免费看| 久久精品久久精品一区二区三区| 韩国av在线不卡| 成人综合一区亚洲| 你懂的网址亚洲精品在线观看| 99热国产这里只有精品6| 亚洲av电影在线观看一区二区三区| 大香蕉97超碰在线| 亚洲图色成人| 欧美激情极品国产一区二区三区 | 亚州av有码| 六月丁香七月| 麻豆精品久久久久久蜜桃| h视频一区二区三区| 欧美日韩一区二区视频在线观看视频在线| 少妇丰满av| 国产精品一区二区在线不卡| 久久久久国产精品人妻一区二区| 秋霞伦理黄片| 你懂的网址亚洲精品在线观看| 精品国产乱码久久久久久小说| 激情 狠狠 欧美| 国产片特级美女逼逼视频| 国产爽快片一区二区三区| 人人妻人人爽人人添夜夜欢视频 | 成人亚洲欧美一区二区av| 3wmmmm亚洲av在线观看| 午夜免费鲁丝| 狂野欧美激情性bbbbbb| 欧美97在线视频| 网址你懂的国产日韩在线| 国产精品无大码| 中国国产av一级| 精品人妻熟女av久视频| 日韩电影二区| 纵有疾风起免费观看全集完整版| www.色视频.com| 午夜免费观看性视频| 99视频精品全部免费 在线| 欧美bdsm另类| 久久 成人 亚洲| 香蕉精品网在线| 亚洲最大成人中文| av免费观看日本| 日日摸夜夜添夜夜爱| 午夜精品国产一区二区电影| 精品少妇黑人巨大在线播放| 自拍偷自拍亚洲精品老妇| 中文精品一卡2卡3卡4更新| 久久韩国三级中文字幕| 欧美高清性xxxxhd video| 欧美激情极品国产一区二区三区 | 国产精品女同一区二区软件| 51国产日韩欧美| 久久久精品免费免费高清| 我的老师免费观看完整版| 国产成人精品婷婷| 在线 av 中文字幕| 日本欧美视频一区| 肉色欧美久久久久久久蜜桃| 一级毛片 在线播放| 王馨瑶露胸无遮挡在线观看| 精品99又大又爽又粗少妇毛片| 不卡视频在线观看欧美| 91aial.com中文字幕在线观看| 水蜜桃什么品种好| 中文字幕亚洲精品专区| 日日摸夜夜添夜夜添av毛片| 午夜福利在线观看免费完整高清在| 亚洲美女视频黄频| 美女福利国产在线 | 国产伦在线观看视频一区| 国产黄色免费在线视频| 国产精品一区二区在线不卡| 青春草国产在线视频| 免费看不卡的av| 汤姆久久久久久久影院中文字幕| 91久久精品国产一区二区三区| 狂野欧美白嫩少妇大欣赏| 午夜免费观看性视频| 国产乱人视频| 一边亲一边摸免费视频| 丝袜脚勾引网站| 久久久精品免费免费高清| 国产乱人视频| 久久ye,这里只有精品| 亚洲精品成人av观看孕妇| 亚洲人成网站在线观看播放| 永久网站在线| 久久久国产一区二区| 国内精品宾馆在线| 一级毛片aaaaaa免费看小| 高清黄色对白视频在线免费看 | 久久精品久久精品一区二区三区| 国产v大片淫在线免费观看| 看十八女毛片水多多多| 一区二区av电影网| 精品久久久久久久末码| 久久精品国产鲁丝片午夜精品| 熟女电影av网| 国产精品人妻久久久影院| 女性被躁到高潮视频| 美女中出高潮动态图| 亚洲精品亚洲一区二区| 丰满乱子伦码专区| 香蕉精品网在线| 女性生殖器流出的白浆| 国产精品av视频在线免费观看| 亚洲欧美清纯卡通| av视频免费观看在线观看| 国产黄色免费在线视频| av国产精品久久久久影院| 成年av动漫网址| 成人亚洲精品一区在线观看 | 2021少妇久久久久久久久久久| 老女人水多毛片| 男女免费视频国产| 男女国产视频网站| 极品教师在线视频| 国产高清不卡午夜福利| 成人国产av品久久久| 免费观看无遮挡的男女| 直男gayav资源| 久久人妻熟女aⅴ| 国产亚洲欧美精品永久| 成年人午夜在线观看视频| 国产精品人妻久久久久久| 成人黄色视频免费在线看| 国产免费视频播放在线视频| av在线老鸭窝| 插逼视频在线观看| 亚洲精品自拍成人| 亚洲国产精品专区欧美| 免费观看无遮挡的男女| 久久久久久久大尺度免费视频| 国产日韩欧美亚洲二区| 国产精品99久久久久久久久| 肉色欧美久久久久久久蜜桃| 这个男人来自地球电影免费观看 | 成人无遮挡网站| 国产乱人偷精品视频| 欧美日韩综合久久久久久| 国产成人免费观看mmmm| 大片免费播放器 马上看| 内地一区二区视频在线| 亚洲色图av天堂| 草草在线视频免费看| 一区二区三区免费毛片| 国产亚洲av片在线观看秒播厂| 久久国产精品大桥未久av | 一区二区av电影网| 亚洲第一区二区三区不卡| 搡女人真爽免费视频火全软件| 好男人视频免费观看在线| 久久久久久久久久久丰满| 国产女主播在线喷水免费视频网站| 国产国拍精品亚洲av在线观看| 乱系列少妇在线播放| 久久久精品免费免费高清| 国产精品成人在线| 国产精品女同一区二区软件| 妹子高潮喷水视频| 日韩国内少妇激情av| 中文欧美无线码| 91精品国产国语对白视频| 亚洲精品乱码久久久v下载方式| 国产高清不卡午夜福利| 久久久成人免费电影| 2021少妇久久久久久久久久久| 欧美一级a爱片免费观看看| 亚洲av日韩在线播放| 黑人猛操日本美女一级片| 久久99热6这里只有精品| 少妇高潮的动态图| 欧美少妇被猛烈插入视频| 欧美一级a爱片免费观看看| 菩萨蛮人人尽说江南好唐韦庄| 免费看日本二区| 国产黄色免费在线视频| 在线免费十八禁| 一级毛片黄色毛片免费观看视频| 国模一区二区三区四区视频| 国产男女超爽视频在线观看| 国产免费一区二区三区四区乱码| 成人亚洲精品一区在线观看 | 亚洲三级黄色毛片| 777米奇影视久久| av线在线观看网站| 久久精品久久久久久噜噜老黄| 欧美3d第一页| 亚洲熟女精品中文字幕| 干丝袜人妻中文字幕| 久久久午夜欧美精品| 国产淫片久久久久久久久| 国产av码专区亚洲av| 91久久精品国产一区二区成人| 亚洲久久久国产精品| 我要看日韩黄色一级片| 中国美白少妇内射xxxbb| 97在线视频观看| 美女中出高潮动态图| 日韩三级伦理在线观看| 精品久久久噜噜| 十分钟在线观看高清视频www | 联通29元200g的流量卡| 高清av免费在线| 精品久久久噜噜| 亚洲一级一片aⅴ在线观看| 亚洲不卡免费看| 日韩伦理黄色片| 久热久热在线精品观看| 免费观看a级毛片全部| 热re99久久精品国产66热6| 亚洲精品日韩在线中文字幕| 人妻系列 视频| 亚洲av中文av极速乱| 日韩 亚洲 欧美在线| 大话2 男鬼变身卡| 老司机影院成人| 夜夜看夜夜爽夜夜摸| 能在线免费看毛片的网站| 亚洲av二区三区四区| 在线观看免费高清a一片| 亚洲在久久综合| 成人18禁高潮啪啪吃奶动态图 | 人妻系列 视频| 国产黄色免费在线视频| 色视频www国产| 自拍偷自拍亚洲精品老妇| 99热全是精品| 日产精品乱码卡一卡2卡三| 精品人妻熟女av久视频| 男女边摸边吃奶| 欧美xxxx性猛交bbbb| 日韩人妻高清精品专区| 97精品久久久久久久久久精品| 天天躁夜夜躁狠狠久久av| av女优亚洲男人天堂| 寂寞人妻少妇视频99o| 国内精品宾馆在线| 欧美精品人与动牲交sv欧美| 99热6这里只有精品| 亚洲精品日韩在线中文字幕| 建设人人有责人人尽责人人享有的 | 大陆偷拍与自拍| 欧美成人一区二区免费高清观看| 一级毛片黄色毛片免费观看视频| 女性被躁到高潮视频| 国产免费一级a男人的天堂| 久久久久网色| 91午夜精品亚洲一区二区三区| 最近2019中文字幕mv第一页| 只有这里有精品99| 如何舔出高潮| 亚洲怡红院男人天堂| 久久精品国产鲁丝片午夜精品| 精品一区二区免费观看| 老师上课跳d突然被开到最大视频| 少妇人妻久久综合中文| 国产日韩欧美在线精品| 国产精品欧美亚洲77777| 男女无遮挡免费网站观看| 一级a做视频免费观看| 成人午夜精彩视频在线观看| 深爱激情五月婷婷| 亚洲国产日韩一区二区| 好男人视频免费观看在线| 欧美区成人在线视频| 一级毛片我不卡| 色网站视频免费| 春色校园在线视频观看| 中文天堂在线官网| 国产中年淑女户外野战色| 自拍偷自拍亚洲精品老妇| 一级av片app| 日韩伦理黄色片| 久久精品国产a三级三级三级| 久久久久久伊人网av| 久久久a久久爽久久v久久| av又黄又爽大尺度在线免费看| 免费人成在线观看视频色| 免费av中文字幕在线| 亚洲欧美成人精品一区二区| 啦啦啦中文免费视频观看日本| 久久精品国产亚洲av涩爱| 亚洲aⅴ乱码一区二区在线播放| 人人妻人人澡人人爽人人夜夜| 99久久综合免费| 夜夜看夜夜爽夜夜摸| 中文乱码字字幕精品一区二区三区| 国内少妇人妻偷人精品xxx网站| 亚洲精品第二区| 日产精品乱码卡一卡2卡三| 一级av片app| 免费播放大片免费观看视频在线观看| 老女人水多毛片| 一级片'在线观看视频| av视频免费观看在线观看| 国产精品精品国产色婷婷| 欧美激情国产日韩精品一区| 久久 成人 亚洲| 精品国产一区二区三区久久久樱花 | 韩国av在线不卡| 亚洲国产日韩一区二区| 97热精品久久久久久| 欧美xxⅹ黑人| 久久人人爽人人片av| 亚洲精品日韩av片在线观看| 又爽又黄a免费视频| 爱豆传媒免费全集在线观看| 亚洲丝袜综合中文字幕| 一级毛片久久久久久久久女| 久久女婷五月综合色啪小说| 老司机影院成人| 亚洲av中文av极速乱| 国产一级毛片在线| 国产精品秋霞免费鲁丝片| av在线老鸭窝| 国国产精品蜜臀av免费| 国产在线视频一区二区| 一本久久精品| 日韩av在线免费看完整版不卡| 性色av一级| 最黄视频免费看| 精品亚洲成a人片在线观看 | 亚洲最大成人中文| 午夜福利影视在线免费观看| 男女边摸边吃奶| 国产一级毛片在线| 国产成人91sexporn| 在线观看一区二区三区激情| 国国产精品蜜臀av免费| 不卡视频在线观看欧美| 97热精品久久久久久| 边亲边吃奶的免费视频| 国产视频内射| 国产精品一区二区性色av| 水蜜桃什么品种好| 少妇猛男粗大的猛烈进出视频| 伦精品一区二区三区| 大片免费播放器 马上看| 大话2 男鬼变身卡| 久久精品久久久久久久性| 少妇被粗大猛烈的视频| 亚洲第一av免费看| 成人18禁高潮啪啪吃奶动态图 | 欧美 日韩 精品 国产| 亚洲av男天堂| 午夜免费男女啪啪视频观看| 久久韩国三级中文字幕| 国产免费福利视频在线观看| 99热这里只有是精品在线观看| 日本午夜av视频| 国产日韩欧美亚洲二区| 亚洲精品国产成人久久av| 久久精品国产亚洲av涩爱| 一级毛片我不卡| 午夜福利高清视频| 美女高潮的动态| 少妇人妻久久综合中文| av视频免费观看在线观看| 免费观看性生交大片5| 夜夜看夜夜爽夜夜摸| 午夜激情福利司机影院| 亚洲av成人精品一二三区| 大又大粗又爽又黄少妇毛片口| 成人特级av手机在线观看| 国产成人精品福利久久| 国产精品嫩草影院av在线观看| 国内少妇人妻偷人精品xxx网站| 嘟嘟电影网在线观看| 一本—道久久a久久精品蜜桃钙片| av视频免费观看在线观看| 欧美zozozo另类| 精品熟女少妇av免费看| 国产精品一二三区在线看| 精品久久久久久电影网| 小蜜桃在线观看免费完整版高清| 卡戴珊不雅视频在线播放| 我的老师免费观看完整版| 免费看av在线观看网站| 亚州av有码| 日日摸夜夜添夜夜添av毛片| 性色avwww在线观看| 亚洲激情五月婷婷啪啪| 国产深夜福利视频在线观看| 免费av中文字幕在线| 亚洲中文av在线| 国产老妇伦熟女老妇高清| 国产 一区精品| 国产一区有黄有色的免费视频| 99九九线精品视频在线观看视频| 美女脱内裤让男人舔精品视频| 午夜激情福利司机影院| 久久久成人免费电影| 少妇的逼水好多| 卡戴珊不雅视频在线播放| 中文天堂在线官网| 熟妇人妻不卡中文字幕| 精品久久久久久久久av| 成人免费观看视频高清| 国产黄色视频一区二区在线观看| 少妇人妻 视频| 亚洲av中文字字幕乱码综合| 六月丁香七月| 这个男人来自地球电影免费观看 | 男人狂女人下面高潮的视频| 国产精品人妻久久久影院| 内射极品少妇av片p| 最近手机中文字幕大全| 国产一区二区三区av在线| 又黄又爽又刺激的免费视频.| 国产精品精品国产色婷婷| 国产熟女欧美一区二区| 干丝袜人妻中文字幕| 亚洲精品色激情综合| 内射极品少妇av片p| 男人和女人高潮做爰伦理| 自拍偷自拍亚洲精品老妇| 久久久a久久爽久久v久久| 欧美日韩视频高清一区二区三区二| 你懂的网址亚洲精品在线观看| 热re99久久精品国产66热6| 亚洲精品色激情综合| 十八禁网站网址无遮挡 | 日韩一区二区视频免费看| 亚洲欧美日韩卡通动漫| 边亲边吃奶的免费视频| 九九爱精品视频在线观看| av一本久久久久| 免费av不卡在线播放| 三级国产精品片| 我的女老师完整版在线观看| 国产毛片在线视频| 久久久色成人| 精品久久久久久久久亚洲| 国产淫语在线视频| 91精品伊人久久大香线蕉| 久久热精品热| 亚洲图色成人| 一级二级三级毛片免费看| 国产有黄有色有爽视频| 嘟嘟电影网在线观看| 亚洲内射少妇av| 女性生殖器流出的白浆| 久久人人爽人人片av| 一本色道久久久久久精品综合| 欧美人与善性xxx| 精品一区二区三区视频在线| 精品国产三级普通话版| 国产精品不卡视频一区二区| 中文字幕精品免费在线观看视频 | 亚洲av成人精品一区久久| av国产精品久久久久影院| 国产乱人视频| 中文在线观看免费www的网站| 观看美女的网站| 永久免费av网站大全| 99久久人妻综合| 国产精品女同一区二区软件| 两个人的视频大全免费| 99久久人妻综合| 久久人人爽av亚洲精品天堂 | 国产精品久久久久久久久免| 国产国拍精品亚洲av在线观看| 亚洲经典国产精华液单| 天堂俺去俺来也www色官网| 亚洲av福利一区| 亚洲av二区三区四区| 天堂俺去俺来也www色官网| 午夜激情久久久久久久| 免费av不卡在线播放| 干丝袜人妻中文字幕| 日本猛色少妇xxxxx猛交久久| 久久久久久久久久人人人人人人| 国产精品久久久久久精品古装| 麻豆国产97在线/欧美| 国产高清不卡午夜福利| 免费看日本二区| 久久久精品94久久精品| 日本免费在线观看一区| 亚洲精品国产av蜜桃| 亚洲av电影在线观看一区二区三区| av在线蜜桃| 国产深夜福利视频在线观看| 天堂8中文在线网| 久久久亚洲精品成人影院| 国产色爽女视频免费观看|