• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于委員會(huì)查詢和自步多樣性學(xué)習(xí)的醫(yī)學(xué)圖像分割

    2020-04-29 10:47:00曹源王妍王文強(qiáng)賀小偉
    關(guān)鍵詞:圖像分割深度學(xué)習(xí)

    曹源 王妍 王文強(qiáng) 賀小偉

    摘要:由于擁有像素級(jí)標(biāo)記的醫(yī)學(xué)圖像數(shù)量非常少,制約了卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分割任務(wù)上的應(yīng)用,因此,該文提出了一種基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法,在訓(xùn)練數(shù)據(jù)有限的情況下提升醫(yī)學(xué)圖像分割模型的性能。該文所提算法結(jié)合了基于委員會(huì)查詢的數(shù)據(jù)選擇方法,實(shí)現(xiàn)動(dòng)態(tài)地從易到難選擇樣本,對(duì)模型進(jìn)行訓(xùn)練。同時(shí),該算法通過(guò)應(yīng)用仿射傳播聚類,保證了數(shù)據(jù)選擇的多樣性,提升了圖像分割模型的性能。為了驗(yàn)證所提算法框架的有效性,分別在3類醫(yī)學(xué)圖像分割任務(wù)的5個(gè)不同數(shù)據(jù)集任務(wù)上進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,該文所提算法可以顯著提升分割性能。在使用相同數(shù)據(jù)的訓(xùn)練的情況下,相比于全監(jiān)督學(xué)習(xí),使用該文算法可以得到更高的Dice評(píng)估指標(biāo)、表面距離和平均交并比值。

    關(guān)鍵詞:自步多樣性學(xué)習(xí);圖像分割;委員會(huì)查詢;深度學(xué)習(xí)

    中圖分類號(hào):TP3-05

    DOI:10.16152/j.cnki.xdxbzr.2020-02-016

    Self-paced learning with diversity for medical image segmentationby using query-by-committee

    CAO Yuan1,2,WANG Yan3, WANG Wenqiang1,2, HE Xiaowei1,2

    Abstract: Because ?the number of pixel-wise labeled medical images are extremely small, which prevents the application of convolutional neural network (CNN) in medical image segmentation tasks,? a query-by-committee based self-paced learning with diversity (SPLD) framework is proposed to boost the performance of medical image segmentation with limited data. The proposed SPLD algorithm combines the data selection method based the query-by-committee to realize the dynamic selection of samples from easy to difficult and train the model. Meanwhile, by applying the affine propagation clustering, the proposed algorithm guarantees the diversity of data and the? performance of image segmentation model is further enhanced. To verify the effectiveness of the proposed QBC based SPLD framework, we conducted experiments on three medical image segmentation tasks with five different datasets. The experimental results show that the proposed algorithm can significantly improve the segmentation performance.With the same dataset,? the proposed SPLD could significantly improve the segmentation performance and achieve a higher Dice score, surface distance and mean Intersection over Union (mIoU) than fully supervised learning.

    Key words: self-paced diversity learning; image segmentation; query by committee; deep learning

    醫(yī)學(xué)圖像分割結(jié)果的精度對(duì)醫(yī)生的診斷結(jié)果有著關(guān)鍵影響。近年來(lái),基于深度學(xué)習(xí)的圖像分割技術(shù)成為醫(yī)學(xué)圖像語(yǔ)義分割領(lǐng)域中最流行的方法,并已經(jīng)應(yīng)用到了視網(wǎng)膜血管分割[1]、器官分割[2]和細(xì)胞分割[3]等任務(wù)中。由于深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證需要大量的圖像數(shù)據(jù),深度學(xué)習(xí)往往需要臨床專家進(jìn)行大量的標(biāo)注,在這種情況下,有必要充分利用醫(yī)學(xué)數(shù)據(jù)背后的信息,為臨床使用提供可靠的結(jié)果。

    深度學(xué)習(xí)中使用的優(yōu)化函數(shù)大多是非凸函數(shù)[4],這也增加了尋找全局最優(yōu)解的難度。自步學(xué)習(xí) (self-paced learning, SPL)[5]是一種流行的訓(xùn)練策略,SPL可以模擬人類的學(xué)習(xí)過(guò)程,它通過(guò)先輸入簡(jiǎn)單的樣本,后輸入復(fù)雜的樣本,來(lái)挖掘訓(xùn)練數(shù)據(jù)背后的信息,從而提高模型性能[6]。但是,數(shù)據(jù)的復(fù)雜程度是未知的,在自步學(xué)習(xí)算法設(shè)計(jì)中,需要從計(jì)算機(jī)的角度,實(shí)現(xiàn)對(duì)數(shù)據(jù)難易程度的判定。

    根據(jù)文獻(xiàn)[7]所述,數(shù)據(jù)集背后的概率分布很難獲得,如果直接將SPL學(xué)習(xí)框架應(yīng)用到圖像分割任務(wù)中,SPL模型將選擇同一概率分布簇中的圖像,使模型的權(quán)值優(yōu)化到局部最小解[8]。而從不同概率分布中選擇訓(xùn)練數(shù)據(jù),可以提高訓(xùn)練結(jié)果的泛化性能,從而防止模型優(yōu)化到局部最優(yōu)解。在Jiang等人通過(guò)將數(shù)據(jù)多樣性引入到SPL學(xué)習(xí)策略中,提出了基于多樣性的自步學(xué)習(xí)策略(self-paced learning with diversity, SPLD),實(shí)現(xiàn)了在自步學(xué)習(xí)過(guò)程中保證數(shù)據(jù)的多樣性,并應(yīng)用到了稀疏型分類任務(wù)中[8]。但是,該算法無(wú)法直接應(yīng)用到稠密型分類任務(wù)中,如圖像分割任務(wù)。

    本文提出了一種通用的醫(yī)學(xué)圖像分割的自步學(xué)習(xí)框架。與傳統(tǒng)的自步學(xué)習(xí)方法不同的是,本文所提方法不使用圖像分類結(jié)果的準(zhǔn)確性來(lái)確定樣本的復(fù)雜程度,而是使用委員會(huì)查詢(QBC)[9]技術(shù)來(lái)確定SPL學(xué)習(xí)過(guò)程中樣本的難易程度。我們將該框架命名為基于委員會(huì)查詢的自步多樣性學(xué)習(xí)(SPLD-QBC),委員會(huì)中的一個(gè)成員是一個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的深度分割網(wǎng)絡(luò),每個(gè)成員都使用相同的數(shù)據(jù)集進(jìn)行訓(xùn)練。在SPLD-QBC學(xué)習(xí)框架下,數(shù)據(jù)的復(fù)雜程度和多樣性取決于每個(gè)成員之間的深層特征,均由所有成員提取的特征向量的余弦相似度進(jìn)行計(jì)算。

    圖1顯示了本文所提出的SPLD-QBC框架應(yīng)用在視網(wǎng)膜血管分割任務(wù)上的流程。SPLD-QBC框架中,委員會(huì)中的每個(gè)成員為一個(gè)具有相同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò),在每個(gè)成員中選取一個(gè)特定的特征圖,對(duì)其進(jìn)行全局平均池化后,即得到輸入數(shù)據(jù)的特征向量。SPLD-QBC框架通過(guò)提取的特征向量實(shí)現(xiàn)對(duì)樣本難易程度和多樣性的定義。

    本文的主要研究?jī)?nèi)容如下:

    1)設(shè)計(jì)了一種結(jié)合SPLD和QBC學(xué)習(xí)機(jī)制的通用醫(yī)學(xué)圖像語(yǔ)義分割框架,提高了分割模型的性能。

    2)將SPLD-QBC應(yīng)用于5個(gè)數(shù)據(jù)集的3個(gè)醫(yī)學(xué)圖像分割任務(wù)。實(shí)驗(yàn)結(jié)果表明,SPLD-QBC框架可以顯著提高模型性能。

    3)從實(shí)驗(yàn)和理論上證明了SPLD-QBC的有效性,論證了模型的泛化能力。

    1 相關(guān)工作

    1.1 自步學(xué)習(xí)

    SPL算法將課程學(xué)習(xí)(Curriculum learning)嵌入到學(xué)習(xí)目標(biāo)函數(shù)中,并添加正則項(xiàng),從而組成學(xué)習(xí)的目標(biāo)函數(shù)[10]。SPL算法可以同時(shí)優(yōu)化模型參數(shù)w和權(quán)重v=[v1,v2,…,vn]T,其中,v表示每個(gè)樣本選擇的權(quán)重。SPL的目標(biāo)函數(shù)如下:

    其中,λ表示學(xué)習(xí)速度;f表示機(jī)器學(xué)習(xí)模型;L表示損失函數(shù);xi和yi表示訓(xùn)練數(shù)據(jù)及其對(duì)應(yīng)的標(biāo)簽。

    從理論角度來(lái)看,SPL已經(jīng)擴(kuò)展到自步課程學(xué)習(xí)[10]、自步強(qiáng)化學(xué)習(xí)[11]以及自步集成學(xué)習(xí)[12]。在SPL的擴(kuò)展中,在式(1)中加入了幾個(gè)正則項(xiàng)來(lái)進(jìn)行具體任務(wù)的優(yōu)化。從應(yīng)用的角度看,SPL已經(jīng)在分類[13]、人臉重新識(shí)別[14]和矩陣分解[15]中得到了應(yīng)用。大多數(shù)基于SPL的應(yīng)用是在稀疏標(biāo)簽分類數(shù)據(jù)上實(shí)現(xiàn)的,即每個(gè)數(shù)據(jù)的標(biāo)簽為單一的標(biāo)量。但是,目前還沒(méi)有研究將SPL應(yīng)用于密集的標(biāo)簽分類數(shù)據(jù),例如醫(yī)學(xué)圖像語(yǔ)義分割任務(wù),即標(biāo)簽為每個(gè)像素點(diǎn)的類別。

    1.2 自步多樣性學(xué)習(xí)

    SPLD通過(guò)嵌入一個(gè)與特定模型優(yōu)化目標(biāo)無(wú)關(guān)的正則化項(xiàng)來(lái)確定訓(xùn)練數(shù)據(jù)的多樣性。SPLD學(xué)習(xí)框架考慮了數(shù)據(jù)的多樣性和數(shù)據(jù)難易程度,并將數(shù)據(jù)依次輸入模型進(jìn)行訓(xùn)練,以保證更好的模型性能。SPLD的修改是在式(1)中加入正則化項(xiàng),形成多樣性約束。目標(biāo)函數(shù)如式(2)所示:

    其中,γ是新添加的控制數(shù)據(jù)多樣性的超參數(shù)。SPLD首先被用在了基于隨機(jī)森林[16]和支持向量機(jī)(SVM)的動(dòng)作識(shí)別任務(wù)和多媒體事件檢測(cè)中。兩個(gè)任務(wù)中使用的數(shù)據(jù)集都是稀疏標(biāo)簽數(shù)據(jù)集,每個(gè)數(shù)據(jù)所屬的類在SPLD模型中都是已知的。然而,在醫(yī)學(xué)圖像語(yǔ)義分割任務(wù)中,圖像級(jí)標(biāo)簽即分類標(biāo)簽是未知的。因此,在醫(yī)學(xué)圖像分割任務(wù)中,無(wú)法利用預(yù)先獲得的類別標(biāo)簽來(lái)控制數(shù)據(jù)多樣性。

    1.3 委員會(huì)查詢

    委員會(huì)查詢(query-by-committee, QBC)是一種主動(dòng)學(xué)習(xí)算法。在QBC中,使用相同的數(shù)據(jù)對(duì)委員會(huì)中的每個(gè)成員進(jìn)行訓(xùn)練,之后每個(gè)成員對(duì)數(shù)據(jù)進(jìn)行投票,根據(jù)投票結(jié)果的一致性決定數(shù)據(jù)是否要加入到訓(xùn)練集:如果投票結(jié)果相似,說(shuō)明樣本較為容易;相反,如果投票結(jié)果相差較大,說(shuō)明樣本較為復(fù)雜。因此,基于QBC的主動(dòng)學(xué)習(xí)可以有效地評(píng)估訓(xùn)練數(shù)據(jù)的難易程度。在QBC中,交叉熵常用于計(jì)算數(shù)據(jù)的相似度[17],然而,熵一直是基于稀疏標(biāo)簽預(yù)測(cè)的,不適合用于稠密標(biāo)簽分類任務(wù),因此,需要對(duì)其進(jìn)行改進(jìn)。

    2方 法

    2.1 自步學(xué)習(xí)正則項(xiàng)

    在說(shuō)明算法之前,我們首先給出變量的定義。 令Labeled Data={{x1,y1},{x2,y2},…,{xn,yn}}是從包含有n個(gè)分割金標(biāo)準(zhǔn)的醫(yī)學(xué)圖像中裁剪的圖像塊的集合。令C={θ θ …,θG}

    為包含有|C|個(gè)成員的委員會(huì),且每個(gè)成員θi都是用于醫(yī)學(xué)圖像語(yǔ)義分割的CNN。本文的方法利用QBC框架,在每次迭代中,每個(gè)委員會(huì)中的成員都會(huì)計(jì)算輸入數(shù)據(jù)的特征。

    基于CNN的圖像分割網(wǎng)絡(luò)通常包含一個(gè)編碼器和一個(gè)解碼器。在SPLD-QBC中,從編碼器的最后一層提取特征圖,并使用全局平均池化(global average pooling, GAP)層將特征圖轉(zhuǎn)換為特征向量。委員會(huì)中的每個(gè)成員都生成代表輸入圖像特征的特征向量,并將從θi中生成的特征向量定義為Fi。兩個(gè)成員之間的相似性是通過(guò)余弦距離來(lái)衡量的,如式(3)所示:

    其中,|Fi|表示委員會(huì)C中成員θi提取的高級(jí)特征向量的長(zhǎng)度,每個(gè)成員之間的相似性可以表述為

    本文將輸入數(shù)據(jù)xk在委員會(huì)之間的特征相似性定義為

    SPLD-QBC框架背后的假設(shè)是,如果提取的特征向量之間的相似性較高,則表明委員會(huì)中的所有成員都已充分學(xué)習(xí)了輸入數(shù)據(jù)xk。因此,如果成員之間的特征向量具有較高的相似度,說(shuō)明該樣本是“簡(jiǎn)單”樣本,SPL訓(xùn)練過(guò)程中首先會(huì)將其輸入到模型中進(jìn)行訓(xùn)練。相反,樣本之間相似性較小則意味著從每個(gè)成員中所生成的特征具有極大的差異,這表明當(dāng)前模型難以學(xué)習(xí)該樣本。在獲得所有訓(xùn)練樣本的相似性之后,將它們歸一化為[0,1],以形成式(1)中的SPL正則項(xiàng)。歸一化方法為

    為了在訓(xùn)練過(guò)程中應(yīng)用SPL策略,需要解決以下3個(gè)問(wèn)題:

    1)在初始訓(xùn)練時(shí)期應(yīng)選擇多少數(shù)據(jù)?SPL策略必須首先利用少量數(shù)據(jù)提供的信息訓(xùn)練模型中的參數(shù),然后, 將更多帶標(biāo)簽的數(shù)據(jù)添加到訓(xùn)練集中, 以控制樣本的選擇和學(xué)習(xí)的步長(zhǎng)。 但是, 在初始的迭代過(guò)程中, CNN尚未收斂。 如果將數(shù)據(jù)選擇規(guī)則直接應(yīng)用于SPL策略, 那么該模型可能會(huì)崩潰, 導(dǎo)致SPL框架無(wú)法正常工作。? 為了解決這個(gè)問(wèn)題, 我們隨機(jī)選擇少量訓(xùn)練樣本來(lái)訓(xùn)練模型。 例如, 可以隨機(jī)抽取10%的樣本用來(lái)訓(xùn)練委員會(huì)中的每個(gè)成員, 對(duì)CNN中的參數(shù)進(jìn)行預(yù)熱。 訓(xùn)練數(shù)據(jù)的初始比率在本文的算法中定義成名為ITDR的超參數(shù)。如果模型收斂,則使用式(6)控制學(xué)習(xí)速率以及選擇樣本的權(quán)重。

    2)基于QBC學(xué)習(xí)的另一個(gè)問(wèn)題是,所有成員都具有相同的CNN架構(gòu)。這表示如果它們的參數(shù)相同,當(dāng)輸入相同時(shí),輸出的特征向量也是相同的,從而造成QBC算法失效。為了克服這一缺點(diǎn),我們?cè)诿總€(gè)CNN中使用不同的種子隨機(jī)初始化模型權(quán)重。由于使用了不同的種子,每個(gè)成員中的參數(shù)隨之也會(huì)不同,這使得它們可以有效地確定數(shù)據(jù)的相似性。此外,在訓(xùn)練過(guò)程中,將針對(duì)不同的解決方案優(yōu)化參數(shù)。

    3)如何控制學(xué)習(xí)速度?在實(shí)踐中,我們需要防止SPL學(xué)習(xí)器貪婪地添加數(shù)據(jù),即防止其將每個(gè)數(shù)據(jù)的vk設(shè)置為1。如果SPL學(xué)習(xí)器在每個(gè)訓(xùn)練結(jié)束后添加固定數(shù)量的訓(xùn)練數(shù)據(jù),則所有數(shù)據(jù)將被添加到訓(xùn)練集中,所提出的方法將退化為全監(jiān)督學(xué)習(xí)(fully supervised learning, FSL)方法。為了解決這個(gè)問(wèn)題,在不確定性采樣策略的啟發(fā)之下[18],通過(guò)設(shè)置不確定性閾值來(lái)對(duì)查詢規(guī)則施加限制。該閾值在本文算法中稱為UT。當(dāng)且僅當(dāng)委員會(huì)中所有成員評(píng)估數(shù)據(jù)的vk值大于閾值UT時(shí),SPL學(xué)習(xí)器才將樣本定義為“簡(jiǎn)單”樣本,在下一次的迭代訓(xùn)練過(guò)程中將數(shù)據(jù)添加到訓(xùn)練集中對(duì)模型進(jìn)行優(yōu)化。

    此外,在訓(xùn)練過(guò)程中會(huì)動(dòng)態(tài)更改UT。在第一個(gè)訓(xùn)練迭代過(guò)程中,UT等于v中最大vk的0.9倍。隨著訓(xùn)練迭代次數(shù)的增加,UT根據(jù)式(7)動(dòng)態(tài)變化,

    其中,e表示當(dāng)前訓(xùn)練迭代的次數(shù);m表示總訓(xùn)練迭代次數(shù)。

    2.2 基于聚類的數(shù)據(jù)多樣性

    直觀地,從不同類別中選擇訓(xùn)練數(shù)據(jù)是一種在模型訓(xùn)練期間保持?jǐn)?shù)據(jù)多樣性的方法,且這種方法易于實(shí)現(xiàn)。但是,用于分割的醫(yī)學(xué)圖像通常缺少分類標(biāo)簽,在這種情況下,本文使用聚類算法實(shí)現(xiàn)對(duì)數(shù)據(jù)的分組。在確定數(shù)據(jù)難以程度時(shí),使用了每個(gè)成員提取的特征向量,同理,在數(shù)據(jù)分組階段,還可以使用提取的特征向量進(jìn)行聚類。

    在委員會(huì)中,對(duì)于每個(gè)訓(xùn)練數(shù)據(jù),模型都會(huì)生成|C|特征向量。我們使用|C|的平均值特征作為樣本的特征向量,如式(8)所示:

    但是,使用聚類算法實(shí)現(xiàn)數(shù)據(jù)分組的過(guò)程中,最優(yōu)的分組個(gè)數(shù)無(wú)法確定,如果聚類數(shù)太大,則所有數(shù)據(jù)將被單獨(dú)分組到一個(gè)中心,且每個(gè)中心的樣本數(shù)量很少;相反,如果聚類數(shù)過(guò)少,則不能有效地表示多樣性。為了解決這個(gè)問(wèn)題,我們使用仿射傳播算法[19]對(duì)生成的特征向量進(jìn)行聚類。放射變換算法在聚類初始情況下不需要確定聚類的類別數(shù),聚類的過(guò)程中根據(jù)樣本的分布特性來(lái)確定類別的簇,從而動(dòng)態(tài)地根據(jù)樣本特征進(jìn)行聚類。

    在每個(gè)訓(xùn)練時(shí)期,將仿射傳播算法應(yīng)用于特征提取并將數(shù)據(jù)聚類到不同的聚類類別中。之后,應(yīng)用SPL方法從每個(gè)聚類組中選擇模型認(rèn)為較為簡(jiǎn)單的樣本。為了保證訓(xùn)練樣本的多樣性,SPL學(xué)習(xí)器從每個(gè)組中選擇最簡(jiǎn)單的樣本,并且相應(yīng)的數(shù)據(jù)權(quán)重變量變?yōu)関=[v v …,vg],且vi=[vi1,vi2,…,vig(i)],s.t.i∈[1,g],g(i)表示第i組中數(shù)據(jù)樣本的個(gè)數(shù)。

    通過(guò)應(yīng)用分組策略,SPLD的損失函數(shù)從式(2)變?yōu)槭剑?):

    綜上所述,本文提出的基于委員會(huì)查詢的自步多樣性學(xué)習(xí)算法步驟如下。

    Step 1隨機(jī)從數(shù)據(jù)集Labeled Data中選擇ITDR的數(shù)據(jù)。

    當(dāng)模型尚未收斂:

    Step 2 使用式(2)中的損失函數(shù)訓(xùn)練委員會(huì)C中的每個(gè)成員;

    for e=1 to m:

    Step 3 根據(jù)式(8)提取每個(gè)數(shù)據(jù)的特征向量u,并使用仿射傳播算法對(duì)數(shù)據(jù)聚類為g類;

    for j in 1 to g:

    Step 4 根據(jù)式(6)在第j組中計(jì)算樣本的vj;

    Step 5 在第j組所有樣本中選擇vjg(i)> UT的樣本,并使用式(9)作為損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練;

    Step 6 使用式(7)更新UT。

    3 實(shí) 驗(yàn)

    為了證明本文所提SPLD-QBC學(xué)習(xí)框架的有效性,在5個(gè)不同的數(shù)據(jù)集上進(jìn)行3種類型的醫(yī)學(xué)圖像語(yǔ)義分割任務(wù),包括視網(wǎng)膜血管分割、肺部器官語(yǔ)義分割和核醫(yī)學(xué)圖像中的細(xì)胞分割。

    3.1 實(shí)現(xiàn)細(xì)節(jié)

    本文實(shí)驗(yàn)是基于TensorFlow深度學(xué)習(xí)庫(kù)來(lái)完成的。為了應(yīng)用自步學(xué)習(xí)框架,使用了從原始醫(yī)學(xué)圖像中裁剪的128×128分辨率的塊圖像進(jìn)行模型訓(xùn)練。在測(cè)試階段,每個(gè)成員的卷積神經(jīng)網(wǎng)絡(luò)模型推斷的是整個(gè)分割結(jié)果而不是圖像塊的分割結(jié)果。由于硬件限制,在自步多樣性學(xué)習(xí)算法中,委員會(huì)中成員的數(shù)量設(shè)置為2,3和4。受文獻(xiàn)[20]的啟發(fā),學(xué)習(xí)率在訓(xùn)練中動(dòng)態(tài)調(diào)整為初始學(xué)習(xí)率的(1-em)0.9倍,其中,e表示當(dāng)前的訓(xùn)練的迭代次數(shù),m表示總的訓(xùn)練迭代次數(shù)。在視網(wǎng)膜血管分割任務(wù)中m=1 000,肺器官分割中m=500,核細(xì)胞分割中m=300;ITDR設(shè)置為10%;超參數(shù)λ和γ二者均設(shè)為1。

    此外,委員會(huì)成員的網(wǎng)絡(luò)設(shè)計(jì)針對(duì)特定的任務(wù)進(jìn)行了選擇和優(yōu)化,模型的性能除了受到訓(xùn)練方法的影響,也會(huì)受到選擇的神經(jīng)網(wǎng)絡(luò)的限制。因此,在每個(gè)實(shí)驗(yàn)中,我們將提出的自步多樣性學(xué)習(xí)算法與自步學(xué)習(xí)策略和全監(jiān)督學(xué)習(xí)策略進(jìn)行比較,即將全監(jiān)督學(xué)習(xí)作為對(duì)照組。

    3.2 視網(wǎng)膜血管分割實(shí)驗(yàn)

    視網(wǎng)膜血管分割在眼底圖像視網(wǎng)膜疾病的自動(dòng)檢測(cè)中起著重要的作用。視網(wǎng)膜血管圖像分析為糖尿病視網(wǎng)膜病變、青光眼等疾病的診斷提供了重要信息[21]。DRIVE數(shù)據(jù)集是一個(gè)公共數(shù)據(jù)集,由40張565×584大小的眼底圖像組成[22],這些圖像被手動(dòng)分為一個(gè)包含20張圖像的訓(xùn)練集和一個(gè)包含20張圖像的測(cè)試集。STARE數(shù)據(jù)集是另一個(gè)由20幅605×700大小的眼底圖像組成的公共數(shù)據(jù)集[23],這些圖像被手動(dòng)分為一個(gè)包含10幅圖像的訓(xùn)練集和一個(gè)包含10幅圖像的測(cè)試集。因?yàn)檠鄣讏D像中血管的形狀、厚度和對(duì)比度都各不相同,所以,視網(wǎng)膜血管分割模型需要綜合考慮這些因素。對(duì)于血管分割任務(wù),本文采用全分辨率殘差網(wǎng)絡(luò)(FRRN)[24]作為每個(gè)成員的架構(gòu)。FRRN融合了不同大小的輸入,提升了模型的多尺度特性。提取FRRN中定義的最后一個(gè)全分辨率殘差單元作為每個(gè)成員的潛在特征,并利用該特征計(jì)算樣本的難易程度和多樣性。

    由于視網(wǎng)膜血管分割任務(wù)中每個(gè)像素都屬于血管或背景,所以,這是一個(gè)二值分類任務(wù)。為了評(píng)估模型的性能,計(jì)算了分割結(jié)果與真值之間的Dice指標(biāo)和Hausdorff表面距離(HD)[25]。Dice指標(biāo)考慮了分割結(jié)果與真值之間的重疊,Dice指數(shù)值越高,表明模型性能越好。HD度量了空間的兩個(gè)子集之間的距離,較低的HD意味著該模型更好,評(píng)估結(jié)果見(jiàn)表1。

    如表1所示,自步多樣性學(xué)習(xí)算法的訓(xùn)練策略優(yōu)于自步學(xué)習(xí)和全監(jiān)督學(xué)習(xí)方法。通過(guò)在一個(gè)由4名成員組成的委員會(huì)中使用4個(gè)FRRN神經(jīng)網(wǎng)絡(luò),我們的自步多樣性學(xué)習(xí)模型在STARE數(shù)據(jù)集上的Dice系數(shù)為0.852 0,表面距離為44.920;在DRIVE數(shù)據(jù)集上的Dice系數(shù)為0.826 3,表面距離為31.457 6。進(jìn)一步觀察發(fā)現(xiàn),成員數(shù)越多越有利于模型訓(xùn)練。

    圖2中展示了不同的樣本上的訓(xùn)練結(jié)果。圖2中的每行代表一個(gè)樣本的原始圖像、全監(jiān)督學(xué)習(xí)算法、自步學(xué)習(xí)算法、自步多樣性學(xué)習(xí)算法得到的分割結(jié)果以及相應(yīng)的金標(biāo)準(zhǔn)??梢杂^察發(fā)現(xiàn),相較于自步學(xué)習(xí)算法和全監(jiān)督學(xué)習(xí)算法,我們提出的自步多樣性學(xué)習(xí)算法可以捕捉更多的毛細(xì)血管。這說(shuō)明自步多樣性學(xué)習(xí)策略訓(xùn)練的模型由于具有多樣性學(xué)習(xí)能力,對(duì)小目標(biāo)和大目標(biāo)都有較高的捕捉能力。圖2中SPLD-QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    3.3 基于胸部X光片的器官分割

    通過(guò)胸部X光掃描病人的器官是日常診斷的重要程序之一,同時(shí)也是醫(yī)生診斷的重要依據(jù)[26]。然而,由于胸部X光片在形狀、大小和對(duì)比度等方面存在較大的差異,肺部器官分割仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。

    與視網(wǎng)膜血管分割任務(wù)不同,肺器官分割任務(wù)是語(yǔ)義分割,因?yàn)槟P蛯⒚總€(gè)像素分別預(yù)測(cè)為左肺、右肺、心臟或背景。本文分別在JSRT數(shù)據(jù)集[27]和Montgomery數(shù)據(jù)集[28]上進(jìn)行了實(shí)驗(yàn)。JSRT數(shù)據(jù)集包含247個(gè)胸部X光片,包括左肺、右肺、心臟和背景4個(gè)類別。而Montgomery的數(shù)據(jù)集包含138張胸透,包括左肺、右肺和背景3個(gè)類別。在保證器官結(jié)構(gòu)細(xì)節(jié)的前提下,將所有的圖像縮放為256*256大小。在實(shí)驗(yàn)中,隨機(jī)選擇80%的樣本進(jìn)行訓(xùn)練,其余20%用來(lái)測(cè)試。

    由于器官分割任務(wù)中像素分類的類別大于2,所以它是一種語(yǔ)義分割任務(wù)。實(shí)驗(yàn)使用AdapNet[29]作為每個(gè)成員的模型。AdapNet結(jié)合了深度特征融合方法,增加了模型的魯棒性,同時(shí)擴(kuò)大了感受野。將網(wǎng)絡(luò)中第一個(gè)反卷積層之前的網(wǎng)絡(luò)層中的特征圖輸入到平均池化層中,轉(zhuǎn)化為特征向量,代表每個(gè)成員的深層特征。為了評(píng)估模型的性能,計(jì)算了分割結(jié)果和金標(biāo)準(zhǔn)的mIoU和HD,mIoU越高,表明模型性能越強(qiáng),比較結(jié)果如表2所示。

    如表2所示,SPLD-QBC模型優(yōu)于SPL和FSL模型。進(jìn)一步比較發(fā)現(xiàn),本文的方法在HD度量指標(biāo)上取得了最好的性能,約為FSL模型在Montgomery數(shù)據(jù)集上取得的HD值的一半(40.577 1和22.748 7)。其中,部分分割結(jié)果如圖3所示。對(duì)于Montgomery數(shù)據(jù)集,當(dāng)委員會(huì)成員數(shù)量增加時(shí),分割圖中的噪聲量明顯降低。對(duì)于JSRT數(shù)據(jù)集,本文提出的SPLD-QBC模型可以對(duì)心臟RoI進(jìn)行精確分割。此外,在兩個(gè)數(shù)據(jù)集中使用SPLD-QBC模型進(jìn)行分割的圖像器官的形狀比使用FSL模型的更完整。圖3中SPLD-QBC分割出更好結(jié)果的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    3.4 核素圖像上的細(xì)胞分割

    核素圖像的分割是數(shù)字病理切片分析的重要任務(wù)之一[30]。臨床實(shí)踐中最重要的步驟之一就是從整個(gè)圖像(WSIs)中提取信息成分[31]。然而,一個(gè)WSI中包含大量的細(xì)胞,手工分割費(fèi)時(shí)費(fèi)力。

    將本文提出的模型應(yīng)用于H&E染色的多器官細(xì)胞核分割數(shù)據(jù)集[32],其包含30個(gè)WSI和對(duì)應(yīng)的22 000個(gè)細(xì)胞邊界。WSIs中的每個(gè)像素被分為兩類,一類是細(xì)胞核,另一類是背景。我們將每個(gè)成員設(shè)置為一個(gè)全卷積DenseNet網(wǎng)絡(luò)[33],在這個(gè)任務(wù)中,隨機(jī)選擇20個(gè)樣本作為訓(xùn)練集,其余的10個(gè)樣本作為測(cè)試集。每個(gè)圖像的分辨率被調(diào)整為1 024×1 024,從一個(gè)WSI中裁剪了64個(gè)分辨率為128×128的裁剪圖像。與視網(wǎng)膜血管分割任務(wù)相同,使用DSC和HD來(lái)評(píng)估模型性能,如表3所示。

    如表3所示,本文所提出的模型獲得了最佳的mIoU和HD評(píng)估指標(biāo)。不同算法的細(xì)胞核部分分割結(jié)果如圖4所示,SPLD-QBC分割出更好的區(qū)域使用黃色圓圈進(jìn)行了標(biāo)注。

    4 結(jié) 語(yǔ)

    本文提出了一種用于醫(yī)學(xué)圖像分割的通用醫(yī)學(xué)圖像語(yǔ)義分割框架,該方法可以提高醫(yī)學(xué)圖像語(yǔ)義分割模型的性能。通過(guò)應(yīng)用委員會(huì)查詢方法,可以動(dòng)態(tài)選擇訓(xùn)練樣本的序列,從而使模型達(dá)到更高的模型性能。為了防止模型權(quán)重被優(yōu)化到局部最小值,采用聚類算法來(lái)保證數(shù)據(jù)的多樣性,從而使模型參數(shù)被優(yōu)化到全局最小值。實(shí)驗(yàn)結(jié)果表明,本文提出的SPLD-QBC算法可以顯著提高分割模型的性能,并且可以嵌入到基于CNN的分割模型中。

    參考文獻(xiàn):

    [1]HU K, ZHANG Z, NIU, et al. Retinal vessel segmentation of color fundus images using multiscale convolutional neural network with an improved cross-entropy loss function [J]. Neurocomputing, 2018, 309:179-191.

    [2]DAI W, DONG N, WANG Z, et al. Scan: Structure correcting adversarial network for organ segmentation in chest x-rays [C]∥Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 2018: 263-273.

    [3]ARBELLE A, RAVIV TR. Microscopy cell segmentation via adversarial neural networks [C]∥2018 IEEE 15th International Symposium on Biomedical Imaging. IEEE, 2018:645-648.

    [4]BENGIO Y, LOURADOUR J, COLLOBERT R, et al. Curriculum learning [C]∥The 26th Annual International Conference on Machine Learning. ACM,2009:41-48.

    [5]KUMAR MP, PACKER B,KOLLER D. Self-paced learning for latent variable models [C]∥Advances in Neural Information Processing Systems. Vancouver:Curran Associates Company,2010:1189-1197.

    [6]代建建, 陶洋, 章思青. 基于自步學(xué)習(xí)的無(wú)線傳感網(wǎng)入侵檢測(cè)集成算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì), 2019, 40(5):57-61.

    DAI J J, TAO Y, ZHANG S Q. Wireless sensor network intrusion detection integration algorithm based on self-step learning[J]. Computer Engineering and Design,2019,40(5):57-61.

    [7]KINGMA D P, WELLING M. Auto-encoding variational bayes [J].Computer Science,2013.

    [8]JIANG L, MENG D Y. Self-paced learning with diversity [J].Neural Information Processing Systems. 2014:2078-2086.

    [9]SEUNG H S, OPPER M, SOMPOLINSKY H. Query by committee [C]∥Fifth Annual Workshop on Computational Learning Theory. ACM, 1992: 287-294.

    [10]JIANG L, MENG D, ZHAO Q, et al. Self-paced curriculum learning [C]∥Twenty-Ninth AAAI Conference on Artificial Intelligence. IEEE, 2015.

    [11]MATTISEN T,OLIVER A,COHEN T.Teacher-student curriculum learning [J].IEEE Transactions on Neural Networks and Learning Systems,2019:1-9.

    [12]PI T, LI X, ZHANG Z, et al. Self-paced boost learning for classification [C]∥International Joint Conference on Artificial Intelligence, 2016:1932-1938.

    [13]CHEN W, GOU S, WANG X, et al. Classification of PolSAR images using multilayer autoencoders and a self-paced learning approach [J]. Remote Sensing, 2018, 10(1): 110.

    [14]ZHOU S, WANG J, MENG D, et al. Deep self-paced learning for person re-identification [J]. Pattern Recognition,2018, 76:739-751.

    [15]ZHAO Q, MENG D, JIANG L, et al. Self-paced learning for matrix factorization [C]∥Twenty-Ninth AAAI Conference on Artificial Intelligence,2015.

    [16]BREIMAN L. Random forests [J]. Machine learning,2001,45(1):5-32.

    [17]BACHMAN P, SORDONI A, TRISCHLER A. Learning algorithms for active learning [C]∥The 34th International Conference on Machine Learning. JMLR, 2017:301-310.

    [18]LEWIS D D, CATLETT J. Heterogeneous uncertainty sampling for supervised learning [C]∥In Machine Learning Proceedings.Morgan Kaufmann,1994:148-156.

    [19]FREY B J, DUECK D. Clustering by passing messages between data points [J]. Science, 1995, 315(5814):972-976.

    [20]CHEN L C, PAPANDREOU G, KOKKINOS I, et al. Semantic image segmentation with deep convolutional nets and fully connected crfs [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 40(4):834-848.

    [21]KANSKI J J, BOWLING B. Clinical Ophthalmology: ASystematic Approach [M]. Elsevier Health Sciences. 2017.

    [22]STAAL J, ABRMOFF M D, NIEMEIJER M, et al. Ridge-based vessel segmentation in color images of the retina [J]. IEEE Transactions on Medical Imaging, 2004, 23(4):501-509.

    [23]HOOVER A D, KOUZNETSOVA V, GOLDBAUM M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response [J]. IEEE Transactions on Medical Imaging, 2000, 19(3): 203-210.

    [24]POHLEN T, HERMANS A, MATHIAS M, et al. Full-resolution residual networks for semantic segmentation in street scenes [C]∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2017:4151-4160.

    [25]ROCKAFELLAR R T, WETS R J B. Variational analysis [M].Berlin:Springer Science & Business Media,1998:317.

    [26]張三海, 盧明科, 鄒仁民,等. X線胸部透視與胸部攝片輻射劑量對(duì)比分析[J]. 人民軍醫(yī), 2006, 50(7):425-426.

    ZHANG S H, LU M K, ZOU R M, et al. Comparative analysis of radiation dose between X-ray chest fluoroscopy and chest radiograph [J]. People′s Military Surgeon, 2006, 50(7): 425-426.

    [27]VANG B, STEGMANN M B, LOOG M. Segmentation of anatomical structures in chest radiographs using supervised methods:A comparative study on a public database [J]. Medical Image Analysis, 2006, 10(1):19-40.

    [28]CANDEMIR S, JAEGER S, PALANIAPPAN K, et al. Lung segmentation in chest radiographs using anatomical atlases with nonrigid registration [J]. IEEE Transactions on Medical Imaging, 2013, 33(2):577-590.

    [29]VALADA A, VERTENS J, DHALL A, et al. Adapnet: Adaptive semantic segmentation in adverse environmental conditions [C]∥IEEE International Conference on Robotics and Automation.IEEE,2017:4644-4651.

    [30]徐亮, 李萬(wàn)湖, 陳兆秋. 核素圖像體外標(biāo)記物的研制及在圖像融合中的初步應(yīng)用[J]. 中國(guó)醫(yī)學(xué)影像技術(shù), 2016, 32(11):1749-1752.

    XU L, LI W H, CHEN Z Q. The development of in vitro marker for nuclide image and its preliminary application in image fusion [J]. Chinese Journal of Medical Imaging Technology, 2016, 32(11):1749-1752.

    [31]ARBEL E, REMER I, BEN-DOR A. Deep Learning Based Partial Annotation Framework for Instance Segmentation in Histopathology Images[EB/OL].[2019/4/17]. https:∥openreview.net/forum?id=H1lhBhpN9V.

    [32]KUMAR N, VERMA R, ANAND D, et al. A Multi-organ Nucleus Segmentation Challenge [J]. IEEE Transactions on Medical Imaging,2019:1.

    [33]JGOU S, DROZDZAL M, VAZQUEZ D, et al. The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.IEEE,2015:11-19.

    (編 輯 李 靜)

    收稿日期:2019-12-12

    基金項(xiàng)目:國(guó)家自然科學(xué)基金資助項(xiàng)目(61971350,61901374);陜西省自然科學(xué)基金資助項(xiàng)目(2017JQ4007)

    作者簡(jiǎn)介:曹源,男,寧夏銀川人,從事影像組學(xué)研究。

    通信作者:賀小偉,男,陜西榆林人,教授,博士生導(dǎo)師,從事光學(xué)分子影像、醫(yī)學(xué)圖像處理及可視化研究。

    猜你喜歡
    圖像分割深度學(xué)習(xí)
    計(jì)算機(jī)定量金相分析系統(tǒng)的軟件開(kāi)發(fā)與圖像處理方法
    有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
    基于灰色系統(tǒng)理論的數(shù)字圖像處理算法
    一種改進(jìn)的分水嶺圖像分割算法研究
    科技視界(2016年26期)2016-12-17 16:25:03
    電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
    基于LabVIEW雛雞雌雄半自動(dòng)鑒別系統(tǒng)
    MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
    大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
    一種圖像超像素的快速生成算法
    基于魯棒性的廣義FCM圖像分割算法
    免费高清视频大片| 大码成人一级视频| 久久国产亚洲av麻豆专区| 九色亚洲精品在线播放| 亚洲精品在线观看二区| 精品国产美女av久久久久小说| 久久久水蜜桃国产精品网| 国产成人精品无人区| 免费在线观看黄色视频的| 国产精品永久免费网站| 又黄又粗又硬又大视频| 99久久久亚洲精品蜜臀av| 一进一出好大好爽视频| 俄罗斯特黄特色一大片| 久久久久久久久久久久大奶| 国产色视频综合| 久久中文字幕人妻熟女| 日本黄色日本黄色录像| 欧美激情高清一区二区三区| 欧美日韩中文字幕国产精品一区二区三区 | 麻豆国产av国片精品| 黄色视频不卡| 日韩欧美三级三区| 成人亚洲精品一区在线观看| 国产极品粉嫩免费观看在线| 99精品在免费线老司机午夜| 女人被躁到高潮嗷嗷叫费观| 天堂动漫精品| 亚洲色图 男人天堂 中文字幕| 中文字幕最新亚洲高清| 一边摸一边做爽爽视频免费| 他把我摸到了高潮在线观看| 18美女黄网站色大片免费观看| 国产单亲对白刺激| 亚洲va日本ⅴa欧美va伊人久久| 涩涩av久久男人的天堂| 日本免费a在线| 成人手机av| 久热这里只有精品99| www日本在线高清视频| 手机成人av网站| 精品一区二区三区视频在线观看免费 | 久久久久国产精品人妻aⅴ院| 亚洲五月色婷婷综合| 亚洲三区欧美一区| 日韩中文字幕欧美一区二区| 黑人巨大精品欧美一区二区蜜桃| 免费一级毛片在线播放高清视频 | 国产在线精品亚洲第一网站| 黄色怎么调成土黄色| av国产精品久久久久影院| 50天的宝宝边吃奶边哭怎么回事| 国产片内射在线| 最新美女视频免费是黄的| 久久久久久久久免费视频了| 久久国产亚洲av麻豆专区| 精品久久久精品久久久| 欧美不卡视频在线免费观看 | 国产在线观看jvid| 国产又色又爽无遮挡免费看| 亚洲精品美女久久av网站| 日韩av在线大香蕉| 国产激情久久老熟女| 欧美日韩av久久| 日韩精品免费视频一区二区三区| 中亚洲国语对白在线视频| 在线播放国产精品三级| 国产亚洲av高清不卡| 国产欧美日韩一区二区三| 亚洲一区二区三区欧美精品| 91大片在线观看| 久久香蕉精品热| 18禁国产床啪视频网站| 久久午夜亚洲精品久久| 亚洲精品av麻豆狂野| ponron亚洲| 亚洲国产精品sss在线观看 | 黄片播放在线免费| 国产高清视频在线播放一区| 久久久久久大精品| 亚洲成国产人片在线观看| 老司机深夜福利视频在线观看| ponron亚洲| 午夜福利在线免费观看网站| 中文字幕色久视频| 国产乱人伦免费视频| 80岁老熟妇乱子伦牲交| 在线观看免费日韩欧美大片| 日日摸夜夜添夜夜添小说| 91字幕亚洲| av在线天堂中文字幕 | 亚洲专区中文字幕在线| 久久香蕉国产精品| 99在线视频只有这里精品首页| 国产精品一区二区免费欧美| 成人国产一区最新在线观看| 精品国产乱码久久久久久男人| 婷婷丁香在线五月| 一二三四在线观看免费中文在| 久久精品国产清高在天天线| 欧美色视频一区免费| 日日摸夜夜添夜夜添小说| 神马国产精品三级电影在线观看 | 一边摸一边做爽爽视频免费| 99在线人妻在线中文字幕| 国产欧美日韩综合在线一区二区| 成人永久免费在线观看视频| 欧美黑人精品巨大| 国产av又大| 啦啦啦在线免费观看视频4| 国产精品国产高清国产av| 亚洲专区国产一区二区| 一区二区三区精品91| 欧美成人性av电影在线观看| 亚洲人成电影免费在线| 人妻久久中文字幕网| 色播在线永久视频| 久久久久久久久中文| 老司机在亚洲福利影院| 久久香蕉精品热| 久久久国产欧美日韩av| 欧美黄色片欧美黄色片| 久久久久国内视频| 夫妻午夜视频| 国产亚洲精品综合一区在线观看 | 国产亚洲av高清不卡| 国产男靠女视频免费网站| 男女午夜视频在线观看| 长腿黑丝高跟| 国产97色在线日韩免费| 又紧又爽又黄一区二区| 天堂动漫精品| 亚洲成国产人片在线观看| 老司机在亚洲福利影院| 啦啦啦 在线观看视频| 免费在线观看亚洲国产| 女性被躁到高潮视频| 久久精品国产亚洲av香蕉五月| 91国产中文字幕| 淫妇啪啪啪对白视频| 热re99久久国产66热| 免费搜索国产男女视频| 色精品久久人妻99蜜桃| 国产欧美日韩综合在线一区二区| 久久国产精品人妻蜜桃| 亚洲午夜精品一区,二区,三区| 成人三级黄色视频| 国产成人精品在线电影| 一区二区三区精品91| 大码成人一级视频| 无限看片的www在线观看| 老司机靠b影院| 亚洲精品一二三| 电影成人av| 国产在线精品亚洲第一网站| 亚洲美女黄片视频| 一区二区三区精品91| 亚洲中文日韩欧美视频| 久久久国产成人精品二区 | 亚洲熟妇中文字幕五十中出 | av欧美777| 欧美乱妇无乱码| 精品卡一卡二卡四卡免费| 国产又爽黄色视频| 日韩人妻精品一区2区三区| 我的亚洲天堂| 亚洲成人精品中文字幕电影 | 757午夜福利合集在线观看| av视频免费观看在线观看| 波多野结衣一区麻豆| 欧美日韩国产mv在线观看视频| 国产高清激情床上av| 男人操女人黄网站| 午夜福利影视在线免费观看| 午夜福利,免费看| 97超级碰碰碰精品色视频在线观看| 国产乱人伦免费视频| 亚洲精品美女久久久久99蜜臀| 成年人黄色毛片网站| 韩国av一区二区三区四区| 久久亚洲精品不卡| 中文字幕人妻熟女乱码| a级毛片黄视频| 国产精品一区二区三区四区久久 | 亚洲av第一区精品v没综合| 91大片在线观看| 亚洲精品在线观看二区| 中亚洲国语对白在线视频| 丁香六月欧美| 久久精品国产亚洲av香蕉五月| 久99久视频精品免费| a级毛片黄视频| 久久久水蜜桃国产精品网| 操出白浆在线播放| 成人亚洲精品av一区二区 | 国产av一区在线观看免费| 老司机在亚洲福利影院| 久久久久亚洲av毛片大全| 精品乱码久久久久久99久播| 免费搜索国产男女视频| 一级作爱视频免费观看| 国产97色在线日韩免费| 久久影院123| 亚洲一区二区三区不卡视频| 国产精品免费视频内射| 男女午夜视频在线观看| 日韩三级视频一区二区三区| 最近最新免费中文字幕在线| 午夜精品在线福利| 国产人伦9x9x在线观看| www日本在线高清视频| 欧美在线黄色| 免费看十八禁软件| 精品国产国语对白av| 亚洲视频免费观看视频| 两人在一起打扑克的视频| 在线观看66精品国产| 淫秽高清视频在线观看| 最近最新中文字幕大全电影3 | netflix在线观看网站| 精品人妻在线不人妻| 久99久视频精品免费| 水蜜桃什么品种好| 香蕉丝袜av| 国产精品一区二区免费欧美| 日本 av在线| 黄色片一级片一级黄色片| 一二三四在线观看免费中文在| 久久久久久大精品| 丰满迷人的少妇在线观看| 波多野结衣av一区二区av| 后天国语完整版免费观看| 国产免费男女视频| 久久久久久久午夜电影 | 欧美日本中文国产一区发布| 久久草成人影院| 免费在线观看影片大全网站| 1024视频免费在线观看| 欧美国产精品va在线观看不卡| 99国产精品免费福利视频| 大码成人一级视频| 日本五十路高清| 91国产中文字幕| 岛国在线观看网站| 天天添夜夜摸| 亚洲欧洲精品一区二区精品久久久| av天堂在线播放| 香蕉国产在线看| 又黄又爽又免费观看的视频| 黄色视频不卡| 成人18禁高潮啪啪吃奶动态图| 91成人精品电影| 欧美乱妇无乱码| 亚洲av五月六月丁香网| 日本免费a在线| 可以在线观看毛片的网站| 日韩欧美一区视频在线观看| 精品久久蜜臀av无| 婷婷精品国产亚洲av在线| 日韩av在线大香蕉| 免费在线观看视频国产中文字幕亚洲| 国产精品日韩av在线免费观看 | 精品国产亚洲在线| 一级片免费观看大全| av电影中文网址| 久久久水蜜桃国产精品网| 国产精品永久免费网站| 日本欧美视频一区| 日本撒尿小便嘘嘘汇集6| 身体一侧抽搐| 久久精品亚洲av国产电影网| 少妇 在线观看| 日本a在线网址| 男男h啪啪无遮挡| 国产91精品成人一区二区三区| 久久久久国产一级毛片高清牌| 成人国产一区最新在线观看| 别揉我奶头~嗯~啊~动态视频| 亚洲五月色婷婷综合| 51午夜福利影视在线观看| 丁香六月欧美| 在线天堂中文资源库| 国产精品一区二区在线不卡| 一区二区日韩欧美中文字幕| 女人被狂操c到高潮| 91字幕亚洲| 欧美精品一区二区免费开放| 国产视频一区二区在线看| 久久99一区二区三区| 99久久99久久久精品蜜桃| 日本精品一区二区三区蜜桃| 制服人妻中文乱码| 精品国产美女av久久久久小说| 精品午夜福利视频在线观看一区| 国产亚洲精品第一综合不卡| 久久这里只有精品19| 丝袜在线中文字幕| 99riav亚洲国产免费| 女性被躁到高潮视频| 国产精品av久久久久免费| 亚洲 欧美一区二区三区| 欧美老熟妇乱子伦牲交| 黑人猛操日本美女一级片| 在线观看一区二区三区激情| 国产97色在线日韩免费| 国产野战对白在线观看| 久9热在线精品视频| 亚洲中文日韩欧美视频| 女性生殖器流出的白浆| 亚洲性夜色夜夜综合| 亚洲aⅴ乱码一区二区在线播放 | 国产三级黄色录像| 午夜精品久久久久久毛片777| e午夜精品久久久久久久| 国产日韩一区二区三区精品不卡| 午夜91福利影院| 天堂俺去俺来也www色官网| 亚洲少妇的诱惑av| 国产蜜桃级精品一区二区三区| 成人免费观看视频高清| 精品国产乱码久久久久久男人| 精品免费久久久久久久清纯| 国产熟女午夜一区二区三区| 午夜成年电影在线免费观看| 成人18禁高潮啪啪吃奶动态图| 激情在线观看视频在线高清| 另类亚洲欧美激情| 久久久久九九精品影院| 多毛熟女@视频| 老熟妇乱子伦视频在线观看| 久热这里只有精品99| a在线观看视频网站| 亚洲欧美日韩高清在线视频| 亚洲伊人色综图| 久久人妻福利社区极品人妻图片| 色婷婷av一区二区三区视频| 欧美国产精品va在线观看不卡| av在线播放免费不卡| 国产精品成人在线| 亚洲情色 制服丝袜| 999久久久国产精品视频| 淫秽高清视频在线观看| 黄色丝袜av网址大全| 黄色 视频免费看| а√天堂www在线а√下载| 精品国内亚洲2022精品成人| 长腿黑丝高跟| 久久国产亚洲av麻豆专区| 国产黄a三级三级三级人| 黑人欧美特级aaaaaa片| 欧美激情 高清一区二区三区| 级片在线观看| 1024香蕉在线观看| 久久人妻av系列| a级片在线免费高清观看视频| 人人妻人人澡人人看| 亚洲专区中文字幕在线| 热99re8久久精品国产| 伊人久久大香线蕉亚洲五| 别揉我奶头~嗯~啊~动态视频| 麻豆久久精品国产亚洲av | 国产精品影院久久| 亚洲一区高清亚洲精品| 美女午夜性视频免费| 可以免费在线观看a视频的电影网站| 91成人精品电影| 最新在线观看一区二区三区| 久久久国产欧美日韩av| 人妻久久中文字幕网| 久久狼人影院| 男女高潮啪啪啪动态图| 亚洲男人天堂网一区| 9色porny在线观看| 91精品三级在线观看| 精品国产乱子伦一区二区三区| 国产成年人精品一区二区 | 91av网站免费观看| 日韩精品中文字幕看吧| av超薄肉色丝袜交足视频| 变态另类成人亚洲欧美熟女 | 夫妻午夜视频| 久久久国产欧美日韩av| 国产熟女午夜一区二区三区| 午夜91福利影院| 久久精品aⅴ一区二区三区四区| 色综合站精品国产| 日日干狠狠操夜夜爽| 免费在线观看日本一区| 黑人巨大精品欧美一区二区蜜桃| 亚洲精品美女久久久久99蜜臀| 成人手机av| 黄片播放在线免费| 中文亚洲av片在线观看爽| 久久久精品欧美日韩精品| 99久久精品国产亚洲精品| 久久精品国产综合久久久| 91字幕亚洲| 国产一区二区在线av高清观看| 欧美日韩视频精品一区| 怎么达到女性高潮| 欧美日韩黄片免| 久久人妻熟女aⅴ| 午夜免费鲁丝| 女生性感内裤真人,穿戴方法视频| 一级毛片高清免费大全| 久久人妻福利社区极品人妻图片| 亚洲av五月六月丁香网| 超色免费av| 热re99久久精品国产66热6| 麻豆国产av国片精品| 亚洲全国av大片| 色婷婷av一区二区三区视频| 欧美av亚洲av综合av国产av| svipshipincom国产片| 精品国产美女av久久久久小说| 9色porny在线观看| 亚洲av日韩精品久久久久久密| 在线观看舔阴道视频| 免费观看人在逋| 亚洲午夜精品一区,二区,三区| 中亚洲国语对白在线视频| 日韩中文字幕欧美一区二区| 99热国产这里只有精品6| 伊人久久大香线蕉亚洲五| 国产亚洲欧美98| 欧美av亚洲av综合av国产av| 在线播放国产精品三级| 亚洲精品美女久久av网站| 精品高清国产在线一区| 丝袜美腿诱惑在线| av免费在线观看网站| 高清毛片免费观看视频网站 | 久久亚洲真实| 久久婷婷成人综合色麻豆| 精品国产一区二区久久| 国产成人系列免费观看| 亚洲精品国产色婷婷电影| 99国产精品免费福利视频| 看黄色毛片网站| 欧美激情高清一区二区三区| 一级a爱视频在线免费观看| 91国产中文字幕| 天天躁夜夜躁狠狠躁躁| 欧美一级毛片孕妇| 1024香蕉在线观看| 看片在线看免费视频| 香蕉丝袜av| 777久久人妻少妇嫩草av网站| 久久久久久久精品吃奶| 女性被躁到高潮视频| 国产亚洲精品久久久久5区| 国产亚洲欧美98| 丝袜人妻中文字幕| 亚洲专区国产一区二区| 中文欧美无线码| 亚洲熟妇中文字幕五十中出 | 91字幕亚洲| 一进一出抽搐动态| 亚洲精品在线美女| 久久久久国内视频| 一级a爱视频在线免费观看| 久久人妻福利社区极品人妻图片| 91精品国产国语对白视频| 老汉色av国产亚洲站长工具| 精品久久久久久成人av| 国产主播在线观看一区二区| 美女扒开内裤让男人捅视频| 午夜a级毛片| 一级片'在线观看视频| 亚洲精品一区av在线观看| 制服诱惑二区| av免费在线观看网站| av网站免费在线观看视频| 亚洲va日本ⅴa欧美va伊人久久| 狠狠狠狠99中文字幕| 欧美性长视频在线观看| 免费观看人在逋| 不卡av一区二区三区| 欧美激情高清一区二区三区| 精品高清国产在线一区| 亚洲,欧美精品.| 亚洲精品国产一区二区精华液| 久久国产精品男人的天堂亚洲| 国产精品亚洲av一区麻豆| 韩国精品一区二区三区| 如日韩欧美国产精品一区二区三区| 一级a爱视频在线免费观看| 久久久久久久精品吃奶| 757午夜福利合集在线观看| 日日干狠狠操夜夜爽| 老司机深夜福利视频在线观看| 免费高清在线观看日韩| 热re99久久国产66热| 国产一区二区在线av高清观看| 亚洲欧美日韩高清在线视频| 88av欧美| 午夜免费鲁丝| 日本精品一区二区三区蜜桃| 亚洲情色 制服丝袜| 国产一卡二卡三卡精品| 国产人伦9x9x在线观看| 女生性感内裤真人,穿戴方法视频| 欧美日韩国产mv在线观看视频| 69av精品久久久久久| 色哟哟哟哟哟哟| 少妇的丰满在线观看| 日韩欧美三级三区| 在线观看舔阴道视频| 母亲3免费完整高清在线观看| 国产高清视频在线播放一区| 成人亚洲精品av一区二区 | 韩国av一区二区三区四区| cao死你这个sao货| 国产精品综合久久久久久久免费 | 淫妇啪啪啪对白视频| 精品国产乱码久久久久久男人| 午夜两性在线视频| 最新在线观看一区二区三区| 亚洲,欧美精品.| 一本综合久久免费| 午夜福利在线观看吧| av免费在线观看网站| 人人妻人人澡人人看| 久热这里只有精品99| 久久国产亚洲av麻豆专区| 啪啪无遮挡十八禁网站| 嫩草影视91久久| 黑人猛操日本美女一级片| 国产精品九九99| 757午夜福利合集在线观看| 波多野结衣一区麻豆| 久久国产精品男人的天堂亚洲| 精品国产乱子伦一区二区三区| 国产精品av久久久久免费| 中文亚洲av片在线观看爽| 操美女的视频在线观看| 午夜免费观看网址| 美国免费a级毛片| 91国产中文字幕| 亚洲国产精品sss在线观看 | 国产一卡二卡三卡精品| 午夜福利影视在线免费观看| 两性夫妻黄色片| 亚洲国产精品999在线| 午夜免费鲁丝| 欧美在线一区亚洲| 亚洲 国产 在线| 国产精品永久免费网站| 99精国产麻豆久久婷婷| 动漫黄色视频在线观看| 91麻豆av在线| 国产一区二区三区综合在线观看| 国产亚洲精品一区二区www| 桃红色精品国产亚洲av| 国产在线观看jvid| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩乱码在线| 亚洲成人免费电影在线观看| 久久精品国产99精品国产亚洲性色 | 亚洲国产欧美日韩在线播放| 国产亚洲欧美精品永久| videosex国产| 亚洲中文字幕日韩| 大码成人一级视频| 国产亚洲欧美在线一区二区| 97人妻天天添夜夜摸| 国产麻豆69| 国产精品久久久人人做人人爽| 午夜日韩欧美国产| 又大又爽又粗| 国产成人系列免费观看| 亚洲精品av麻豆狂野| 一级,二级,三级黄色视频| 男女午夜视频在线观看| 黄色怎么调成土黄色| 亚洲黑人精品在线| 成人国产一区最新在线观看| 国产aⅴ精品一区二区三区波| 性色av乱码一区二区三区2| 老汉色∧v一级毛片| www.精华液| 国产av精品麻豆| 热re99久久精品国产66热6| 一级片'在线观看视频| 90打野战视频偷拍视频| 一区二区三区激情视频| 老司机午夜福利在线观看视频| 日韩三级视频一区二区三区| 久热爱精品视频在线9| 十分钟在线观看高清视频www| 天堂√8在线中文| 一级a爱视频在线免费观看| 在线av久久热| 久久精品影院6| 变态另类成人亚洲欧美熟女 | 热99国产精品久久久久久7| 欧美日韩福利视频一区二区| 丰满的人妻完整版| 国产伦一二天堂av在线观看| 99香蕉大伊视频| 午夜福利一区二区在线看| 成人永久免费在线观看视频| 欧美日韩福利视频一区二区| 久久精品国产清高在天天线| 欧美精品啪啪一区二区三区| 制服诱惑二区| 精品久久久久久,| 国产av一区在线观看免费| 国产精品1区2区在线观看.| 在线观看免费视频网站a站| 黑人猛操日本美女一级片| 国产欧美日韩一区二区三| 久久国产亚洲av麻豆专区| 日本免费a在线| 又黄又爽又免费观看的视频|