• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Self-Attention StyleGAN的皮膚癌圖像生成與分類

    2022-09-21 05:37:44帥仁俊劉文佳吳夢(mèng)麟
    關(guān)鍵詞:皮膚癌卷積分類

    趙 宸,帥仁俊,馬 力,劉文佳,吳夢(mèng)麟

    1.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京211816

    2.南京市衛(wèi)生信息中心,南京210003

    3.南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院,江蘇 常州213003

    與其他類型的癌癥相比,皮膚癌的高發(fā)病率使之成為了世界上最嚴(yán)重的健康問題之一[1]。近五十年來,全世界黑色素瘤的發(fā)病率在急劇上升。對(duì)于黑色素瘤患者來說,五年以內(nèi)生存率為95%,而晚期則只有15%,這種非常顯著的差異突出了及時(shí)地識(shí)別并發(fā)現(xiàn)黑色素瘤對(duì)于患者維持生命的重要性。因此,及時(shí)發(fā)現(xiàn)皮膚癌是降低皮膚癌發(fā)病率的關(guān)鍵因素[2]。

    皮膚鏡是一種用來消除皮膚表面反射的成像技術(shù)。當(dāng)表面反射被消除時(shí),深層皮膚癌病變的可視化得到增強(qiáng)[3]。這種技術(shù)與標(biāo)準(zhǔn)攝影相比可以產(chǎn)生較高的診斷準(zhǔn)確率。為了改善皮膚癌病變疾病的診斷效果,在臨床中引入了皮膚鏡檢查以協(xié)助皮膚科醫(yī)生進(jìn)行診斷[4]。但在臨床醫(yī)學(xué)中,醫(yī)生對(duì)于皮膚鏡的病變圖像(尤其是黑色素瘤)的肉眼識(shí)別率存在一定的誤差,而且對(duì)于黑色素瘤的識(shí)別要求醫(yī)生有一定的技術(shù)與經(jīng)驗(yàn)。皮膚癌病變識(shí)別的容錯(cuò)率較低,誤識(shí)別會(huì)對(duì)患者產(chǎn)生非常嚴(yán)重的后果[5]。

    隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,人工智能和深度學(xué)習(xí)技術(shù)得到了廣泛的應(yīng)用,尤其是在圖像處理方面取得了很大的進(jìn)步,深度卷積神經(jīng)網(wǎng)絡(luò)(DCNNS)能夠精確地檢測、分割識(shí)別醫(yī)學(xué)圖像中的區(qū)域與對(duì)象[6]。深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)臨床應(yīng)用越來越廣泛,不僅僅是模式識(shí)別領(lǐng)域中的圖像分類,在圖像生成方面也達(dá)到了很好的效果[7-8]。

    Milton[9]提出了一種基于深度學(xué)習(xí)模型的集成神經(jīng)網(wǎng)絡(luò),包括PNASNet-5-large、Inception-ResNetv2、SeNet154和Inceptionv4。在將皮膚鏡檢查圖像輸入網(wǎng)絡(luò)之前,需要對(duì)其進(jìn)行處理和適當(dāng)增強(qiáng)。在ISIC2018數(shù)據(jù)集上,準(zhǔn)確性為0.76。但樣本量不足,準(zhǔn)確度較低。Akram 等[10]提出了一個(gè)基于集成的深度神經(jīng)網(wǎng)絡(luò),并在ISIC2018皮膚癌病變數(shù)據(jù)集中進(jìn)行了分類測試。該方法集成了圖像深層的特征信息,生成了最具區(qū)別性的特征向量,并保留了原始特征空間。Hu等[11]提出了一種綜合分類方法,該方法結(jié)合了基于屏蔽和深度卷積殘差網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng),通過一系列實(shí)驗(yàn)驗(yàn)證了該方法的有效性。該模型使用更少的訓(xùn)練樣本在皮膚疾病數(shù)據(jù)集上獲得了更好的分類結(jié)果。

    Rashid 等[12]將生成對(duì)抗網(wǎng)絡(luò)(GAN)應(yīng)用于皮膚癌病變圖像數(shù)據(jù)的增強(qiáng),并且GAN 的鑒別器還充當(dāng)了最終分類器,從ISIC2018挑戰(zhàn)數(shù)據(jù)集中進(jìn)行識(shí)別7個(gè)皮膚癌病變類別。作者還利用遷移學(xué)習(xí)來微調(diào)DenseNet和ResNet 架構(gòu),并將其分類性能與基于GAN 的數(shù)據(jù)增強(qiáng)模型進(jìn)行比較。所提出的方法在平衡精度得分方面獲得了顯著的性能提升。Baur 等[13]提出了一種深層識(shí)別的GAN(DDGAN)。合成了逼真的256×256 皮膚病灶圖像,并對(duì)DDGAN、DC-GAN和LAPGAN進(jìn)行了比較,表明DDGAN 和LAPGAN 都可以學(xué)習(xí)數(shù)據(jù)集的分布并合成逼真的樣本。

    Baur等[14]利用了漸進(jìn)式增長的概念,該概念與其他GAN體系結(jié)構(gòu)(如DC-GAN和LAPGAN)在數(shù)量和質(zhì)量上都進(jìn)行了比較。結(jié)果表明,借助漸進(jìn)式生長,可以合成皮膚癌病變的高度真實(shí)的皮膚鏡圖像,即使是專業(yè)的皮膚科醫(yī)生也很難將其與真實(shí)的皮膚病區(qū)分開。Bissoto等[15]采用pix2pixHD GAN進(jìn)行圖像合成。他們不是從隨機(jī)噪聲中生成圖像,而是從語義圖和實(shí)例圖合成圖像。為了反映GAN 系列生成網(wǎng)絡(luò)對(duì)圖像模式識(shí)別的重要性,Bissoto等[16]從6個(gè)方面總結(jié)和比較了近年來的GAN:架構(gòu)貢獻(xiàn)、條件技術(shù)、法線和約束貢獻(xiàn)、損失函數(shù)、圖像到圖像的轉(zhuǎn)換以及驗(yàn)證指標(biāo)。結(jié)果表明,StyleGAN對(duì)黑色素瘤生成的影響比其他GAN更現(xiàn)實(shí)和更合適。Gong等[17]利用StyleGAN 生成高質(zhì)量圖像,以解決ISIC2019 數(shù)據(jù)集的最小和不均勻分布,并提高了CNN的分類準(zhǔn)確性。他們的方法提高了皮膚鏡圖像分類的準(zhǔn)確性?;赟tyleGAN 在增強(qiáng)皮膚癌數(shù)據(jù)方面的出色表現(xiàn),選擇優(yōu)化改進(jìn)StyleGAN并將其用于皮膚癌分類項(xiàng)目。

    從以上文獻(xiàn)來看,當(dāng)前皮膚癌病變圖像合成研究中最重要的挑戰(zhàn)之一是通過上述方法生成的圖像的分辨率和質(zhì)量較差,且神經(jīng)網(wǎng)絡(luò)的魯棒性低。可需要更先進(jìn)的GAN架構(gòu)生成高分辨率圖像應(yīng)用于皮膚癌病變圖像合成。

    為解決上述問題,本文提出了一種基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)(self-attention style-based GAN,SA-StyleGAN)與SE-ResNeXt-50 相結(jié)合的皮膚癌病變圖像生成與分類的框架。使用SA-StyleGAN 擴(kuò)展數(shù)據(jù)集樣本,通過合成新的樣本圖像來增加模型生成圖像的多樣性以及不確定性。對(duì)于圖像分類,使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50 上構(gòu)建分類器。使用改進(jìn)的損失函數(shù)可以減少類別內(nèi)的樣本距離,擴(kuò)大不同皮膚癌病變圖像類別之間的樣本距離,更好地分析ISIC2019圖像的特征并最終產(chǎn)生更好的分類模型。

    1 研究方法

    在本文中,提出了一種基于自注意力的樣式生成對(duì)抗網(wǎng)絡(luò)(SA-StyleGAN)與SE-ResNeXt-50相結(jié)合的皮膚癌病變圖像生成與分類的框架。首先對(duì)ISIC2019 數(shù)據(jù)集的樣本圖像使用SA-StyleGAN進(jìn)行樣本擴(kuò)充,之后將所有樣本圖像送入已經(jīng)過ImageNet數(shù)據(jù)集預(yù)訓(xùn)練過且經(jīng)過遷移學(xué)習(xí)的SE-ResNeXt-50進(jìn)行分類,最后得到分類的結(jié)果以及各項(xiàng)結(jié)果性能指標(biāo)。所提出模型的總體框架如圖1所示。

    圖1 生成與分類模型框架流程圖Fig.1 Framework flowchart of generation and classification model

    提出的皮膚癌病變樣本圖像聲稱與分類框架包括三個(gè)主要部分:

    (1)根據(jù)基于樣式對(duì)抗生成網(wǎng)絡(luò)的基本架構(gòu),提出了SA-StyleGAN,以生成高質(zhì)量的皮膚癌病變樣本圖像,并提供給SE-ResNeXt-50分類模型進(jìn)行分類。

    (2)將Angular SoftMax(A-SoftMax)損失函數(shù)與SE-ResNeXt-50 分類神經(jīng)網(wǎng)絡(luò)相結(jié)合,解決樣本不平衡造成的數(shù)據(jù)影響,來平衡不同類別樣本的權(quán)重,從而可以改善分類模型的性能。

    (3)使用遷移學(xué)習(xí)來訓(xùn)練SE-ResNeXt-50 模型,以提供適當(dāng)?shù)念A(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型參數(shù)來對(duì)ISIC2019 皮膚癌病變圖像進(jìn)行分類,并獲得出色的平衡多類別準(zhǔn)確性(BMA)。

    圖2顯示了皮膚癌病變樣本圖像生成,分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖。使用SA-StyleGAN平衡,擴(kuò)充數(shù)據(jù)集樣本,從而通過合成新的樣本圖像來增加模型不確定性,來均衡不同類別樣本的權(quán)重。對(duì)于圖像分類,使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50上構(gòu)建分類器,通過預(yù)訓(xùn)練的模型對(duì)樣本進(jìn)行分類,最終得到分類結(jié)果以及各項(xiàng)性能指標(biāo)。

    圖2 皮膚癌病變樣本圖像生成、分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖Fig.2 Structure diagram of skin cancer lesion sample generative classification with transfer learning

    1.1 基于樣式的生成對(duì)抗網(wǎng)絡(luò)(StyleGAN)

    基于樣式的生成對(duì)抗網(wǎng)絡(luò)(StyleGAN)是由Karras等[18]提出的。與其他對(duì)抗生成網(wǎng)絡(luò)不同,StyleGAN中的樣式(用Gram矩陣表示)借用了樣式轉(zhuǎn)換并實(shí)現(xiàn)了無監(jiān)督的高度可控圖像生成。

    StyleGAN包括三個(gè)部分:潛碼(latent code)和非線性映射網(wǎng)絡(luò)(nonlinear mapping network),噪聲(noise)以及生成網(wǎng)絡(luò)(synthesis network)。這三個(gè)部分將在下面詳細(xì)描述。

    1.1.1 潛碼和非線性映射網(wǎng)絡(luò)

    潛在代碼中的每個(gè)維度對(duì)應(yīng)于皮膚癌病變圖像中所關(guān)注的特征,例如區(qū)域、顏色和頭發(fā)。當(dāng)要更改病變圖像特征時(shí),必須找到相應(yīng)的尺寸并調(diào)整潛碼的值。初始潛碼(z1,z2∈Z) 經(jīng)過正則化后進(jìn)入非線性映射網(wǎng)絡(luò),并獲得非線性映射(8 層MLP)后,得到了w1,w2∈W。此時(shí),圖像尺寸不變。經(jīng)過仿射變換和解耦合后,獲得y=(ys,yb)代表樣式的樣式,并用于完成綜合網(wǎng)絡(luò)中的自適應(yīng)實(shí)例規(guī)范化(AdaIN)。

    為了進(jìn)一步實(shí)現(xiàn)解耦合,使用了混合正則化操作。在訓(xùn)練期間,圖像的一部分由兩個(gè)潛在代碼生成(也就是說,圖像由兩個(gè)潛在代碼生成的各種樣式控制)。該方法可以防止相鄰皮膚癌病變類型的相關(guān)性。

    1.1.2 噪聲

    生成網(wǎng)絡(luò)在每次卷積后,將噪聲添加到皮膚癌病變圖像中的每個(gè)像素,以實(shí)現(xiàn)多樣性和隨機(jī)性。該噪聲僅影響需要變化的皮膚癌病變,而不會(huì)改變圖像中皮膚的良性皮膚和關(guān)鍵特征。

    1.1.3 生成網(wǎng)絡(luò)

    在合成網(wǎng)絡(luò)中,對(duì)原始病變圖像進(jìn)行卷積并逐步取樣。在此過程中,y=(ys,yb)用于表示來自非線性映射網(wǎng)絡(luò)的皮膚樣式,并接受噪聲以完成卷積,AdaIN 和采樣操作。AdaIN公式如下:

    其中,μ(xi)和σ(xi)是通過使用每個(gè)通道的特征圖中的所有像素獲得的平均值和方差(即,特征圖更改為平均值0和方差1),而特定的ith 是第i層的特征圖像。

    1.2 基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)(SAStyleGAN)

    StyleGAN為高分辨率圖像的合成以及對(duì)合成圖像的樣式和特征的精細(xì)控制做出了巨大貢獻(xiàn)。但這種結(jié)構(gòu)主要設(shè)計(jì)用于具有連續(xù)信息和樣式明顯變化的圖像。皮膚癌病變圖像與這些圖像之間存在顯著差異。本文致力于通過更改樣式控制方法并根據(jù)原始Style-GAN簡化生成器和鑒別器體系結(jié)構(gòu)來解決這些問題。

    皮膚癌病變的圖案,顏色和樣式遠(yuǎn)沒有其他圖像豐富,而且它們的變化不像人臉圖像那樣連續(xù)。由于此限制,將復(fù)雜的GAN 架構(gòu)直接應(yīng)用于皮膚癌病變圖像的合成是不合適的。在原始StyleGAN 的基礎(chǔ)上,本文對(duì)樣式控制方法進(jìn)行了一些修改,并簡化了生成器和鑒別器的結(jié)構(gòu)。擬議的修改如下:

    (1)本文放棄了混合正則化工具。皮膚病灶混合的樣式會(huì)導(dǎo)致樣式在生成的圖像中重疊,這很難區(qū)分和處理。因此,在修改的模型中僅使用一個(gè)潛在代碼。由于在臨床醫(yī)學(xué)中,不同皮膚病變的形狀紋理較為相似,所以生成的病變圖像的質(zhì)量需要足夠高。圖3 為使用了初始StyleGAN 兩個(gè)潛在代碼和使用了本文SA-Style-GAN一個(gè)潛在代碼生成的樣本對(duì)比圖。

    圖3 使用了初始StyleGAN兩個(gè)潛在代碼和使用了本文SA-StyleGAN一個(gè)潛在代碼生成的樣本對(duì)比圖Fig.3 Sample comparison diagram generated by using two latent codes of initial StyleGAN and one latent code generated by proposed SA-StyleGAN

    可以看出,在使用StyleGAN初始的兩潛在代碼時(shí),生成的皮膚病變樣本圖像會(huì)產(chǎn)生類似風(fēng)格遷移的扭曲,很難被歸類,是屬于質(zhì)量較低的樣本。而本文使用的單潛在代碼則可以有效地消除樣本圖像扭曲不清晰等問題,為分類器提供高質(zhì)量的樣本圖像,也為醫(yī)學(xué)皮膚領(lǐng)域提供更有意義的參考價(jià)值。

    (2)本文修改了StyleGAN 生成器的結(jié)構(gòu)。由于皮膚病變圖像風(fēng)格和色彩的單一性,對(duì)于皮膚分類器而言,224×224 相比于256×256 的樣本在分類器中神經(jīng)網(wǎng)絡(luò)參數(shù)量更少,為了減少高分辨率帶給生成器的計(jì)算壓力,在保證生成樣本質(zhì)量的情況下提高生成器的處理效率,將生成器的最后一個(gè)模塊的尺寸設(shè)置為224×224。

    圖4 為使用StyleGAN 初始噪聲部分和本文SAStyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比。

    圖4 使用StyleGAN初始噪聲部分和本文SA-StyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比圖Fig.4 Detailed comparison of results of original noise part of StyleGAN and improved noise part of proposed SA-StyleGAN

    在使用初始StyleGAN 噪聲部分來生成樣本圖像時(shí),噪聲會(huì)導(dǎo)致生成的圖像包含許多不必要的噪點(diǎn),為減少噪聲對(duì)生成器的影響,在每個(gè)綜合網(wǎng)絡(luò)模塊中,除了第一層(兩次添加噪聲模塊)外,其他層僅添加一次噪聲模塊。即在第二個(gè)3×3 卷積層之前添加一個(gè)噪聲模塊,在第二個(gè)3×3 卷積層之后添加一個(gè)噪聲模塊,依此類推。

    通過圖4可看出,使用本文SA-StyleGAN改進(jìn)的噪聲部分生成的樣本幾乎沒有噪點(diǎn),樣本質(zhì)量更優(yōu)。由于皮膚病變樣本圖像各類別病變較為相似,顏色風(fēng)格相近且單一,同一類型病變不同發(fā)展時(shí)期特殊性導(dǎo)致的外形難以區(qū)分等特殊性,皮膚科臨床醫(yī)學(xué)對(duì)于樣本的質(zhì)量與細(xì)節(jié)要求較高,本文的改進(jìn)噪聲部分可為皮膚科臨床區(qū)分病變類型提供更真實(shí)客觀的樣本。

    (3)修改了StyleGAN 鑒別器的結(jié)構(gòu)。如圖3 所示,合成網(wǎng)絡(luò)單元的不同模塊被級(jí)聯(lián),并且在一個(gè)訓(xùn)練周期之后直接從初始輸入生成預(yù)定大小的圖像。然后將生成的圖像直接輸入到鑒別器。鑒別器由幾個(gè)鑒別器塊組成,每個(gè)鑒別器塊具有三個(gè)卷積層和兩個(gè)平均池化層。此外,判別結(jié)果在退出和最后兩個(gè)完全連接的層之后輸出。

    (4)增加自我注意力模塊的最佳位置是在中高層特征圖上(生成256×256像素的皮膚癌病變圖像的情況下為27 和28 層)。盡管使用了漸進(jìn)式訓(xùn)練和使用了自我注意機(jī)制,但由于高分辨率的不穩(wěn)定訓(xùn)練行為,生成的樣本仍遭受一些偽影的影響。為了減輕不穩(wěn)定的訓(xùn)練行為,使用了兩個(gè)時(shí)間尺度的更新規(guī)則。為上一層的特征圖,其中Nj是特征圖中的位置數(shù)。使用的權(quán)重αj計(jì)算模型在特征圖x中jth的位置,其中Wk是1×1卷積模塊。

    使用權(quán)重αj,通過加權(quán)平均將所有位置的特征分組來獲取全局特征(global attention pooling)。

    第i個(gè)位置zi的最終重定義的特征為:

    其中,Wv執(zhí)行特征變換以捕獲通道方面的依賴關(guān)系。逐個(gè)廣播元素添加用于將全局上下文特征聚合到每個(gè)位置的特征。

    本文生成的皮膚癌病變圖像特征來自于在合成網(wǎng)絡(luò)中學(xué)習(xí)到的各種圖像的特征以及最初在混合規(guī)則中設(shè)置的潛在代碼。合成網(wǎng)絡(luò)學(xué)習(xí)到的主要特征是:(1)皮膚癌病變圖像中的頭發(fā),(2)皮膚癌病變的顏色,以及(3)皮膚癌病變的形狀和面積。引入噪聲后,可以從合成網(wǎng)絡(luò)的卷積層逐層學(xué)習(xí)皮膚癌病變圖像的樣式,并將其與接收到的噪聲結(jié)合起來以生成新的皮膚癌病變圖像,并進(jìn)一步擴(kuò)大ISIC2019的隨機(jī)性和多樣性。圖5 顯示了SA-StyleGAN的網(wǎng)絡(luò)結(jié)構(gòu)。

    圖5 SA-StyleGAN的結(jié)構(gòu)示意圖Fig.5 Structure diagram of SA-StyleGAN

    1.3 遷移學(xué)習(xí)

    遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法,使用現(xiàn)有知識(shí)來解決不同但相關(guān)的領(lǐng)域問題[19]。遷移學(xué)習(xí)的目的是利用現(xiàn)有數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,然后將預(yù)訓(xùn)練的模型直接應(yīng)用于目標(biāo)數(shù)據(jù)集的訓(xùn)練[20]。使用SE-ResNeXt-50在1 000個(gè)類別的ImageNet數(shù)據(jù)集[21]上預(yù)先訓(xùn)練了模型參數(shù),之后調(diào)整了卷積層的預(yù)訓(xùn)練參數(shù)來初始化網(wǎng)絡(luò)參數(shù)。通過遷移學(xué)習(xí)可以顯著提高分割模型的精度。

    1.4 SE-ResNeXt-50

    SE(Squeeze-and-Excitation)模塊[22]可通過顯式建模通道之間的相互依賴關(guān)系,自適應(yīng)地重新校準(zhǔn)各通道的特征響應(yīng)。這些塊可以堆疊在一起,形成SENet 架構(gòu),在不同的數(shù)據(jù)集都有很好的泛化能力,并為現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)帶來顯著的性能改善。

    圖6 是SE 模塊的結(jié)構(gòu)示意圖。給定一個(gè)輸入x∈,其特征通道數(shù)為c1,通過一系列卷積等一般變換(Ftr()) 后得到一個(gè)特征通道數(shù)為c2的輸入uc。之后是壓縮(Squeeze)操作Fsq(?),把每個(gè)輸入的皮膚癌病變特征圖的空間維度從H×W壓縮到1。之后通過全局平均池化層完成,順著空間維度來進(jìn)行特征c1壓縮,將每個(gè)二維的特征通道變成一個(gè)具有整體卷積層的感受野實(shí)數(shù)zc:

    圖6 特征壓縮與激發(fā)模塊結(jié)構(gòu)示意圖Fig.6 Structure diagram of SE module

    zc表征著在特征通道上響應(yīng)的全局分布,而且使得靠近輸入的層也可以獲得整體的感受野,之后將輸出的維度和輸入的特征通道數(shù)相匹配。

    激發(fā)操作(Excitation)Fex(?,w) 是通過一個(gè)bottleneck結(jié)構(gòu)來捕捉不同通道的內(nèi)部依賴,來分析得到特征通道的裁剪系數(shù)sc。通過參數(shù)w來為每個(gè)特征通道生成權(quán)重,δ為sigmoid激活函數(shù)。

    最后是重置權(quán)重的操作,本文將激發(fā)操作的輸出權(quán)重看作是經(jīng)過特征選擇后的每個(gè)特征通道的重要程度,然后通過Fscale()逐通道加權(quán)到先前的特征上,完成在通道維度上的對(duì)原始特征的重標(biāo)定。

    ResNeXt[23]是一種簡單、高度模塊化的圖像具有多分支結(jié)構(gòu)的分類網(wǎng)絡(luò)結(jié)構(gòu),通過重復(fù)一個(gè)聚合了一組具有相同拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)換的構(gòu)建塊來進(jìn)行構(gòu)建。

    如圖7 所示,ResNeXt 的主要結(jié)構(gòu)由四種Residual block(RB)構(gòu)成,首先經(jīng)過7×7 的卷積層與3×3 的最大池化層,之后分別經(jīng)過3個(gè)RB1、4個(gè)RB2、6個(gè)RB3、3個(gè)RB4,在經(jīng)過最后的全局平均池化全連接層后,得到最后的皮膚癌病變分類結(jié)果。ResNeXt結(jié)構(gòu)如圖8所示。

    圖7 四種殘差塊(RB)的結(jié)構(gòu)示意圖Fig.7 Structure diagram of four residual block(RB)

    圖8 ResNeXt的結(jié)構(gòu)示意圖Fig.8 Structure diagram of ResNeXt

    為了提高模型的準(zhǔn)確率,傳統(tǒng)的方法主要是增加網(wǎng)絡(luò)的深度或?qū)挾龋请S著超參數(shù)數(shù)量的增加,網(wǎng)絡(luò)設(shè)計(jì)的難度和時(shí)間空間復(fù)雜度也會(huì)增加。因此本文提出的SE-ResNeXt結(jié)構(gòu)可以在不增加參數(shù)復(fù)雜度的前提下提高準(zhǔn)確率,同時(shí)還減少了超參數(shù)的數(shù)量。從工程應(yīng)用場景上來分析,本生成分類模型主要的應(yīng)用場景為醫(yī)院皮膚科信息科室,主要用于高效區(qū)分各種難以區(qū)分的臨床皮膚病變病例,及時(shí)地對(duì)患者的病情進(jìn)行識(shí)別分析,提高黑色素瘤患者的存活率,如圖9。

    圖9 初始ResNeXt與改進(jìn)ResNeXt的對(duì)比圖Fig.9 Comparison of initial ResNeXt and improved ResNeXt

    本文使用了Angular SoftMax(A-SoftMax)損失[24]作為分類模型的損失函數(shù),它引入了歸一化權(quán)重,零偏置和角余量的概念??梢詳U(kuò)大不同類樣本間的距離,縮小同類樣本間的距離。A-SoftMax損失公式如下:

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 數(shù)據(jù)集

    本文實(shí)驗(yàn)所采用的數(shù)據(jù)集是國際皮膚影像協(xié)作組織ISIC2019 挑戰(zhàn)賽[25-27]公開使用的皮膚病圖像數(shù)據(jù)集,該數(shù)據(jù)集包括25 331 張訓(xùn)練圖片和8 239 張測試圖片。實(shí)驗(yàn)過程中,本文隨機(jī)從5 066 張訓(xùn)練圖片中抽取其20%作為驗(yàn)證集,參考其驗(yàn)證結(jié)果來對(duì)模型進(jìn)行調(diào)節(jié),將剩下的20 265張圖像80%作為訓(xùn)練數(shù)據(jù)集,在訓(xùn)練過程中對(duì)訓(xùn)練數(shù)據(jù)使用SA-StyleGAN進(jìn)行數(shù)據(jù)樣本擴(kuò)充,對(duì)驗(yàn)證集和測試集數(shù)據(jù)不做數(shù)據(jù)增強(qiáng)操作。最后在測試集上進(jìn)行測試得到最終的分類結(jié)果,根據(jù)其輸出來計(jì)算分類評(píng)估指標(biāo)。

    2.2 預(yù)處理

    本文使用訓(xùn)練集中每種類型皮膚癌病變的數(shù)據(jù)來生成更多的樣本,并將其納入實(shí)驗(yàn)中。通過SA-StyleGAN對(duì)8 種類型的皮膚癌病變圖像分別生成1 000 張圖片,并邀請(qǐng)專業(yè)的檢查專家對(duì)其進(jìn)行區(qū)分。結(jié)果表明,生成的皮膚癌病變圖像與真實(shí)的ISIC2019圖像相差不大,可以作為訓(xùn)練數(shù)據(jù)集。

    2.3 性能指標(biāo)

    2.3.1 生成圖像結(jié)果性能指標(biāo)

    Inception score(IS)[28]是GAN生成的圖像質(zhì)量的量度,它使用預(yù)訓(xùn)練的初始網(wǎng)絡(luò)[29]通過計(jì)算來提取生成的圖像特征:

    DKL()、p(y|x)、p(y)、y、x分別表示KL 散度公式、樣本的條件標(biāo)簽分布、從所有樣本獲得的邊際分布、給定圖片以及圖片中的主要對(duì)象。高值表示樣本圖像類似于特定的ImageNet類別。

    Fréchet inception distance(FID)[30]將一組生成的圖像嵌入到由特定起始層或任何CNN[29]表示的特征空間中。它使用連續(xù)的多元高斯分布來表示實(shí)際數(shù)據(jù)和生成數(shù)據(jù)的嵌入特征分布,并且這兩個(gè)高斯分布之間的Fréchet距離是通過以下公式計(jì)算的:

    μr和Cr分別表示實(shí)際數(shù)據(jù)的均值和協(xié)方差,而μg和Cg分別表示所生成數(shù)據(jù)的均值和協(xié)方差。由于FID具有良好的可識(shí)別性、魯棒性和計(jì)算效率,因此它是GAN的良好度量。

    2.3.2 分類結(jié)果性能指標(biāo)

    為了全面評(píng)估模型的分類性能,使用了均衡權(quán)重多類精確度(BMA)、敏感度(SE)、平均精度(AP)、特異性(SP)、骰子系數(shù)(DC)、曲線下面積(AUC)作為評(píng)估指標(biāo)。

    NTP、NTN、NFP、NFN、p、r、TPR、FPR、C分別表示真陽性、真陰性、假陽性、假陰性、精度、召回率、真陽性率、假陽性率,ISIC2019中皮膚癌病變的類別數(shù)。

    2.4 結(jié)果與分析

    為了更好地驗(yàn)證本文的實(shí)驗(yàn)結(jié)果,使用SA-StyleGAN、StyleGAN[18]、PGAN[31]、DC-GAN[32]、LAPGAN[33]和GAN[34]分別生成1 000 了個(gè)皮膚癌病變圖像,然后對(duì)樣品進(jìn)行20次評(píng)估。實(shí)驗(yàn)結(jié)果如表1和圖10所示。

    表1 各模型生成的皮膚癌病變圖像性能指標(biāo)對(duì)比Table 1 Comparison of performance indexes of skin cancer lesion images generated by each model

    圖10 不同對(duì)抗生成網(wǎng)絡(luò)生成的樣本圖像Fig.10 Sample images generated by different generative adversarial networks

    由表1可知,由SA-StyleGAN生成的皮膚癌樣本圖像的IS值(越高越好)最高,達(dá)到3.37。比其他五種方法的IS值分別高0.26、1.02、0.89、1.23、1.84,所提出方法的FID值(越低越好)最低,達(dá)到0.83,比其他五種方法分別低1.78、0.52、1.01、1.59、3.04。精確度和查全率的值都在0 到1 的范圍內(nèi),接近1 的值表示良好的結(jié)果。與其他五個(gè)模型相比,SA-StyleGAN 在四個(gè)指標(biāo)上得分最高,這表明SA-StyleGAN 生成的圖像質(zhì)量更高,且網(wǎng)絡(luò)性能更出色。

    圖11顯示了SA-StyleGAN生成的一些皮膚癌病變圖像。

    圖11 SA-StyleGAN生成的皮膚癌病變圖像Fig.11 Skin cancer lesion images generated by SA-StyleGAN

    在經(jīng)過100 個(gè)epoch 后,整個(gè)模型產(chǎn)生了良好的結(jié)果,測試損失達(dá)到最小,相應(yīng)的測試BMA 為0.947 1。表2 顯示了不同類型皮膚癌病變的BMA、AUC、AP、SE、SP、DC的結(jié)果。

    表2 在ISIC2019數(shù)據(jù)集上的分類結(jié)果Table 2 Classification results in ISIC2019 test dataset

    表3 顯示了不同神經(jīng)網(wǎng)絡(luò)在ISIC2019 數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果,可以看出本文使用的SE-ResNeXt-50在獲得了最高精度的情況下,參數(shù)量較少且訓(xùn)練時(shí)間較短,在保證高精確分類結(jié)果的同時(shí),也兼?zhèn)淞烁咝У倪\(yùn)算效率。

    表3 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果Table 3 Classification results in ISIC2019 test dataset

    混淆矩陣(也稱為誤差矩陣)是準(zhǔn)確性評(píng)估的標(biāo)準(zhǔn)格式。皮膚癌病變分類模型輸出分為八類,因此用8×8矩陣表示,圖12顯示了ISIC2019分類結(jié)果的混淆矩陣。

    圖12 分類結(jié)果的均值混淆矩陣Fig.12 Confusion matrix of average classification results

    本文在不同的神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)集中對(duì)SA-StyleGAN進(jìn)行了測試,測試的結(jié)果如表4~6所示。

    表4 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集中分類的結(jié)果Table 4 Classification results of different neural networks in ISIC2019 data set

    表5 在ISIC2019中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 5 Classification results of using SA-StyleGAN for sample augmentation in ISIC2019

    通過表4~6 可以看出,在ISIC2019 中,不同的神經(jīng)網(wǎng)絡(luò)在使用了本文提出的SA-StyleGAN 進(jìn)行數(shù)據(jù)及樣本擴(kuò)充之后得到的分類結(jié)果比沒有使用時(shí)的分類結(jié)果有顯著的提升,CNN、RNN-CNN、ResNet、DenseNet、SE-ResNeXt-50 使用了SA-StyleGAN 的結(jié)果比沒有使用的結(jié)果分別高2.12、3.42、2.06、2.12、3.92 個(gè)百分點(diǎn)。在ImageNet數(shù)據(jù)集中的分類結(jié)果表示,SA-StyleGAN在其他分類任務(wù)數(shù)據(jù)集中也可以得到很好的效果來輔助分類。

    表6 在ImageNet中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 6 Classification results of using SA-StyleGAN for sample augmentation in ImageNet

    表7表明,本文方法的BMA比Guissous等[35]提出的DenseNet-Inception-v3高6.71個(gè)百分點(diǎn),比Pacheco等[36]提出的基于CNN 的整體分類模型高4.61 個(gè)百分點(diǎn),比Nahata等[37]提出的Inception-ResNet高3.71個(gè)百分點(diǎn),比基于Gessert 等[38]提出的深度學(xué)習(xí)模型集合的分類模型高3.21個(gè)百分點(diǎn)。與現(xiàn)有研究相比,本文提出方法得到了更精確的分類BMA,且生成了高質(zhì)量的皮膚癌病變樣本圖像。

    表7 在ISIC2019數(shù)據(jù)集上本文方法與最新現(xiàn)有研究的結(jié)果對(duì)比Table 7 Comparison of results of proposed method with the latest existing research on ISIC2019 data set

    在本文中,使用SE-ResNeXt-50解決了當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)增加時(shí)由反向傳播引起的梯度消失。在引入角余量,歸一化權(quán)重和零偏差之后,新?lián)p失函數(shù)在ISIC2019分類任務(wù)中實(shí)現(xiàn)了良好的分類精度。實(shí)現(xiàn)了最大的類內(nèi)樣本距離小于最小的類內(nèi)樣本距離的識(shí)別標(biāo)準(zhǔn),減少了數(shù)據(jù)集內(nèi)的類內(nèi)不平衡的情況。使用SA-StyleGAN來生成高質(zhì)量的皮膚癌病變圖像并擴(kuò)展ISIC2019 數(shù)據(jù)集,從而有效減少皮膚癌病變數(shù)據(jù)集樣本類別內(nèi)的樣本失衡。遷移學(xué)習(xí)用于將ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練加權(quán)參數(shù)遷移到SE-ResNeXt-50來處理ISIC2019數(shù)據(jù)集,從而提高了模型的學(xué)習(xí)效率和BMA的收斂速度。

    當(dāng)對(duì)模型進(jìn)行測試和仿真時(shí),有必要在發(fā)現(xiàn)難以區(qū)分的皮膚癌病變圖像時(shí)將人工智能系統(tǒng)與皮膚科醫(yī)生的臨床經(jīng)驗(yàn)相結(jié)合。計(jì)算機(jī)輔助診斷的意義在于良好的療效和預(yù)后。它也可以協(xié)助醫(yī)生進(jìn)行臨床病理判斷和診斷。

    3 結(jié)束語

    本文提出了一種新的皮膚癌病變圖像生成與分類框架,使用SA-StyleGAN來進(jìn)行皮膚癌病變數(shù)據(jù)集樣本擴(kuò)充,解決了現(xiàn)有皮膚癌病變圖像數(shù)據(jù)集各類樣本數(shù)量、權(quán)重不均衡,圖像不清晰且質(zhì)量差的問題,為分類模型提供了高質(zhì)量的訓(xùn)練樣本圖像。本文SA-StyleGAN在ISIC2019 皮膚癌病變數(shù)據(jù)集的實(shí)驗(yàn)生成樣本圖像的各項(xiàng)性能指標(biāo)都顯著優(yōu)于現(xiàn)有的其他對(duì)抗生成網(wǎng)絡(luò)。本文使用的SE-ResNeXt-50 分類模型可以更好地處理樣本圖像不同層次的圖像信息,降低了神經(jīng)網(wǎng)絡(luò)分類任務(wù)的難度。本文的工作可以幫助皮膚科醫(yī)生進(jìn)行診斷,并為基于人工智能的皮膚鏡圖像分析提供有價(jià)值的參考。在未來的工作中,將致力于將本文的生成與分類框架用于其他樣本數(shù)量不足且樣本圖像質(zhì)量較差的疾病數(shù)據(jù)集,另一個(gè)重點(diǎn)將是進(jìn)一步加強(qiáng)和改進(jìn)自動(dòng)分類系統(tǒng)。將致力于將該計(jì)算機(jī)輔助診斷系統(tǒng)移植到移動(dòng)設(shè)備上,更好地為患者和皮膚科醫(yī)生服務(wù)。

    猜你喜歡
    皮膚癌卷積分類
    老年人也應(yīng)警惕皮膚癌
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    分類算一算
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    分類討論求坐標(biāo)
    數(shù)據(jù)分析中的分類討論
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    教你一招:數(shù)的分類
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
    常見非黑素瘤性皮膚癌的外科治療進(jìn)展
    亚洲性久久影院| 免费不卡的大黄色大毛片视频在线观看| 精品午夜福利在线看| 校园人妻丝袜中文字幕| 美女高潮的动态| 成人午夜精彩视频在线观看| 高清午夜精品一区二区三区| 欧美日本视频| 亚洲av.av天堂| freevideosex欧美| 欧美区成人在线视频| 人妻 亚洲 视频| 色5月婷婷丁香| 久久女婷五月综合色啪小说 | 久久久欧美国产精品| 国产在线男女| 看黄色毛片网站| 中文字幕亚洲精品专区| 少妇熟女欧美另类| 亚洲精品中文字幕在线视频 | 一区二区三区精品91| 欧美最新免费一区二区三区| 亚洲成人中文字幕在线播放| 舔av片在线| 精品人妻熟女av久视频| 午夜视频国产福利| 亚洲一区二区三区欧美精品 | 91狼人影院| 男人舔奶头视频| 高清av免费在线| 日韩免费高清中文字幕av| 亚洲人成网站在线播| 亚洲,欧美,日韩| 2022亚洲国产成人精品| av在线天堂中文字幕| 国产精品99久久99久久久不卡 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 久久影院123| 国精品久久久久久国模美| 少妇人妻精品综合一区二区| 国产精品人妻久久久久久| 91午夜精品亚洲一区二区三区| 日韩av免费高清视频| 国产亚洲精品久久久com| 中文字幕人妻熟人妻熟丝袜美| 亚洲av二区三区四区| 日韩伦理黄色片| 啦啦啦中文免费视频观看日本| 亚洲成人一二三区av| 人妻一区二区av| 国产精品福利在线免费观看| 女人十人毛片免费观看3o分钟| 嘟嘟电影网在线观看| 亚洲,欧美,日韩| 日韩欧美精品v在线| 成人漫画全彩无遮挡| 久久人人爽人人片av| 午夜免费男女啪啪视频观看| 国产精品无大码| 18禁在线播放成人免费| 啦啦啦啦在线视频资源| 高清视频免费观看一区二区| 99热国产这里只有精品6| 91久久精品国产一区二区成人| 色视频www国产| 欧美老熟妇乱子伦牲交| 日韩中字成人| 少妇裸体淫交视频免费看高清| 成人鲁丝片一二三区免费| av在线亚洲专区| 国产精品成人在线| 亚洲色图综合在线观看| 涩涩av久久男人的天堂| 人体艺术视频欧美日本| 亚洲一级一片aⅴ在线观看| 好男人视频免费观看在线| 精品亚洲乱码少妇综合久久| 1000部很黄的大片| 我要看日韩黄色一级片| 久久精品国产亚洲av天美| 黄色一级大片看看| 成人国产麻豆网| 视频中文字幕在线观看| 国产精品久久久久久精品古装| 尾随美女入室| 日韩伦理黄色片| 大片免费播放器 马上看| 日本三级黄在线观看| 波野结衣二区三区在线| 日韩av免费高清视频| 最近的中文字幕免费完整| 国产又色又爽无遮挡免| 欧美亚洲 丝袜 人妻 在线| 一级二级三级毛片免费看| 一级av片app| 黄色一级大片看看| 久久人人爽人人爽人人片va| 日本黄色片子视频| 久久鲁丝午夜福利片| 26uuu在线亚洲综合色| 91久久精品国产一区二区成人| 18禁动态无遮挡网站| 久久鲁丝午夜福利片| 99热国产这里只有精品6| 久久韩国三级中文字幕| 老女人水多毛片| 熟女电影av网| 有码 亚洲区| 99热6这里只有精品| 日日摸夜夜添夜夜添av毛片| 草草在线视频免费看| 成人无遮挡网站| 亚洲在线观看片| 22中文网久久字幕| 男女国产视频网站| 丝瓜视频免费看黄片| 欧美最新免费一区二区三区| 久久久久久久午夜电影| 狠狠精品人妻久久久久久综合| 岛国毛片在线播放| 各种免费的搞黄视频| 黄色视频在线播放观看不卡| 国产欧美亚洲国产| 国产男人的电影天堂91| 干丝袜人妻中文字幕| 天天一区二区日本电影三级| 黑人高潮一二区| 国产精品99久久99久久久不卡 | 性插视频无遮挡在线免费观看| 精品人妻一区二区三区麻豆| 纵有疾风起免费观看全集完整版| 国产精品女同一区二区软件| 老师上课跳d突然被开到最大视频| 国产免费福利视频在线观看| 黄色怎么调成土黄色| 免费黄网站久久成人精品| 九九在线视频观看精品| 国产高清国产精品国产三级 | 伦理电影大哥的女人| www.色视频.com| 色婷婷久久久亚洲欧美| 小蜜桃在线观看免费完整版高清| 亚洲欧美成人综合另类久久久| 亚洲精品国产av成人精品| 久久久精品免费免费高清| 久久99精品国语久久久| 国模一区二区三区四区视频| 精品99又大又爽又粗少妇毛片| 黄色日韩在线| 欧美国产精品一级二级三级 | 精品人妻熟女av久视频| 亚洲成色77777| 18禁裸乳无遮挡动漫免费视频 | 日韩中字成人| 乱系列少妇在线播放| 亚洲,欧美,日韩| 精品一区二区免费观看| 韩国av在线不卡| 日韩,欧美,国产一区二区三区| 日本wwww免费看| 午夜福利视频1000在线观看| 精品少妇黑人巨大在线播放| 最近最新中文字幕免费大全7| 大香蕉97超碰在线| 麻豆成人av视频| 精品久久久久久电影网| 下体分泌物呈黄色| 国产白丝娇喘喷水9色精品| 亚洲自偷自拍三级| 国产视频内射| 免费观看在线日韩| 日韩成人av中文字幕在线观看| 伊人久久国产一区二区| 久久99蜜桃精品久久| 美女内射精品一级片tv| 80岁老熟妇乱子伦牲交| 草草在线视频免费看| 丝袜脚勾引网站| 精品少妇黑人巨大在线播放| 有码 亚洲区| 蜜桃亚洲精品一区二区三区| 亚洲欧美一区二区三区黑人 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 看黄色毛片网站| 亚洲人与动物交配视频| 亚洲久久久久久中文字幕| 久久久a久久爽久久v久久| 女人久久www免费人成看片| 少妇被粗大猛烈的视频| a级毛片免费高清观看在线播放| 日韩免费高清中文字幕av| 久久人人爽人人片av| 蜜桃久久精品国产亚洲av| 国产在线一区二区三区精| 国产乱人偷精品视频| 国产成人a区在线观看| 免费大片黄手机在线观看| 身体一侧抽搐| 中国三级夫妇交换| 成人无遮挡网站| 久久精品国产鲁丝片午夜精品| 波野结衣二区三区在线| 精品一区二区免费观看| 性插视频无遮挡在线免费观看| 国产爽快片一区二区三区| 亚洲最大成人中文| 街头女战士在线观看网站| 在线观看国产h片| 99热6这里只有精品| kizo精华| av在线观看视频网站免费| 亚洲精品国产色婷婷电影| 亚洲精品成人av观看孕妇| 不卡视频在线观看欧美| 国产一区亚洲一区在线观看| 亚洲久久久久久中文字幕| 国内少妇人妻偷人精品xxx网站| 一区二区三区四区激情视频| 免费av观看视频| 久久久久久伊人网av| 久久精品国产亚洲网站| 夜夜看夜夜爽夜夜摸| 美女xxoo啪啪120秒动态图| 免费黄频网站在线观看国产| 3wmmmm亚洲av在线观看| 99热这里只有是精品在线观看| 夫妻性生交免费视频一级片| 一级二级三级毛片免费看| 真实男女啪啪啪动态图| 国产精品偷伦视频观看了| 亚洲va在线va天堂va国产| av在线亚洲专区| 国产成年人精品一区二区| 免费看日本二区| 边亲边吃奶的免费视频| 18禁裸乳无遮挡免费网站照片| 91狼人影院| 777米奇影视久久| 亚洲国产成人一精品久久久| 国产爱豆传媒在线观看| 最近中文字幕高清免费大全6| 日韩电影二区| 搡女人真爽免费视频火全软件| 国产美女午夜福利| 成年女人看的毛片在线观看| 一区二区三区免费毛片| 国产精品99久久久久久久久| 久久久精品94久久精品| 精品视频人人做人人爽| 18禁裸乳无遮挡动漫免费视频 | 亚洲自拍偷在线| 国产免费一区二区三区四区乱码| av在线亚洲专区| 啦啦啦在线观看免费高清www| 亚洲精品456在线播放app| 1000部很黄的大片| 毛片女人毛片| 五月开心婷婷网| 日本猛色少妇xxxxx猛交久久| 亚洲精品成人av观看孕妇| 亚洲成人av在线免费| 久久久久久久午夜电影| 天堂网av新在线| av免费观看日本| 亚洲精品日本国产第一区| 大香蕉久久网| 午夜亚洲福利在线播放| 18+在线观看网站| 日韩大片免费观看网站| 欧美xxxx性猛交bbbb| 全区人妻精品视频| 一二三四中文在线观看免费高清| 国产伦精品一区二区三区四那| 久久久久久久久大av| 免费看日本二区| 国内少妇人妻偷人精品xxx网站| 97热精品久久久久久| 午夜视频国产福利| 一级a做视频免费观看| 日本三级黄在线观看| 中文欧美无线码| 人妻少妇偷人精品九色| 午夜福利网站1000一区二区三区| videossex国产| 人妻一区二区av| 有码 亚洲区| 97在线人人人人妻| 亚洲成人精品中文字幕电影| 亚洲人成网站高清观看| 久久亚洲国产成人精品v| 国产亚洲91精品色在线| 久久精品国产鲁丝片午夜精品| 久久国产乱子免费精品| 三级国产精品片| 你懂的网址亚洲精品在线观看| 啦啦啦中文免费视频观看日本| 国产成人午夜福利电影在线观看| 中文精品一卡2卡3卡4更新| 精品亚洲乱码少妇综合久久| 国产伦精品一区二区三区视频9| 建设人人有责人人尽责人人享有的 | 亚洲人与动物交配视频| 成人毛片a级毛片在线播放| 国产免费一区二区三区四区乱码| 成人免费观看视频高清| 精品少妇久久久久久888优播| 久热这里只有精品99| 一级毛片 在线播放| 午夜精品国产一区二区电影 | 禁无遮挡网站| 国产av码专区亚洲av| 69人妻影院| 成人午夜精彩视频在线观看| 亚洲欧洲日产国产| 成人一区二区视频在线观看| 亚洲国产欧美在线一区| 男女那种视频在线观看| 高清日韩中文字幕在线| 高清在线视频一区二区三区| 亚洲国产av新网站| 美女高潮的动态| 久久精品人妻少妇| 最近2019中文字幕mv第一页| 成人毛片a级毛片在线播放| 国产高清有码在线观看视频| 麻豆精品久久久久久蜜桃| 国产精品女同一区二区软件| 国产老妇伦熟女老妇高清| a级一级毛片免费在线观看| 少妇人妻一区二区三区视频| 精品久久久久久久末码| 国产淫语在线视频| 亚洲成人中文字幕在线播放| 国产在视频线精品| 欧美高清成人免费视频www| 在线观看一区二区三区| 一本一本综合久久| av在线亚洲专区| 亚洲综合色惰| 99热全是精品| 久久久久久久久久人人人人人人| 久久久久久国产a免费观看| 久久久久久久国产电影| 免费观看在线日韩| 亚洲精品色激情综合| 久久久色成人| 国产成人a区在线观看| 久久久亚洲精品成人影院| 久久久久久久久大av| 熟女人妻精品中文字幕| 日韩国内少妇激情av| 777米奇影视久久| 男人狂女人下面高潮的视频| 成年女人看的毛片在线观看| 午夜免费鲁丝| 国产免费又黄又爽又色| 欧美日韩在线观看h| 精品久久久精品久久久| 人人妻人人看人人澡| 搡女人真爽免费视频火全软件| 亚洲欧美一区二区三区国产| .国产精品久久| 亚洲av电影在线观看一区二区三区 | 在线观看人妻少妇| 亚洲自拍偷在线| 毛片女人毛片| 亚洲欧美精品自产自拍| 亚洲国产精品成人久久小说| av网站免费在线观看视频| 禁无遮挡网站| 精品熟女少妇av免费看| 国产精品熟女久久久久浪| 国产白丝娇喘喷水9色精品| 少妇猛男粗大的猛烈进出视频 | 亚洲国产色片| 亚洲一区二区三区欧美精品 | 搡女人真爽免费视频火全软件| 中文字幕免费在线视频6| 国产精品偷伦视频观看了| 男人和女人高潮做爰伦理| 尾随美女入室| 各种免费的搞黄视频| 久久人人爽人人片av| 国产白丝娇喘喷水9色精品| 五月玫瑰六月丁香| 亚洲欧美日韩卡通动漫| 97在线人人人人妻| 国产精品偷伦视频观看了| 美女cb高潮喷水在线观看| 国产精品99久久久久久久久| 自拍欧美九色日韩亚洲蝌蚪91 | 高清av免费在线| 熟妇人妻不卡中文字幕| freevideosex欧美| 禁无遮挡网站| 五月开心婷婷网| 久久久精品94久久精品| 国产大屁股一区二区在线视频| 深夜a级毛片| 国产成人aa在线观看| 三级男女做爰猛烈吃奶摸视频| av一本久久久久| 日韩电影二区| 嫩草影院精品99| 亚洲国产精品999| 综合色丁香网| 三级经典国产精品| 欧美日韩国产mv在线观看视频 | 一本色道久久久久久精品综合| 国产精品麻豆人妻色哟哟久久| 日韩三级伦理在线观看| 欧美一级a爱片免费观看看| 国产男女内射视频| 日日摸夜夜添夜夜添av毛片| 69av精品久久久久久| 亚洲经典国产精华液单| 美女cb高潮喷水在线观看| 我的老师免费观看完整版| 亚洲人与动物交配视频| 国产精品偷伦视频观看了| 免费看日本二区| 久久久久精品久久久久真实原创| 尤物成人国产欧美一区二区三区| 国产男人的电影天堂91| 97超碰精品成人国产| 午夜免费鲁丝| 波野结衣二区三区在线| 五月天丁香电影| 亚洲激情五月婷婷啪啪| 免费看日本二区| 少妇被粗大猛烈的视频| 免费黄频网站在线观看国产| 久久久久久久午夜电影| 伊人久久精品亚洲午夜| 国产精品久久久久久av不卡| 亚洲欧美一区二区三区黑人 | 久久韩国三级中文字幕| 三级男女做爰猛烈吃奶摸视频| 久久国内精品自在自线图片| 日韩人妻高清精品专区| 啦啦啦啦在线视频资源| 成人国产麻豆网| av在线老鸭窝| 精品久久久久久久久av| 欧美激情国产日韩精品一区| 少妇猛男粗大的猛烈进出视频 | 99热6这里只有精品| 少妇人妻一区二区三区视频| 又爽又黄a免费视频| 欧美精品国产亚洲| 亚洲欧美成人精品一区二区| 春色校园在线视频观看| 国产男女超爽视频在线观看| 美女cb高潮喷水在线观看| 国产爱豆传媒在线观看| 男人狂女人下面高潮的视频| 亚洲av男天堂| 成人午夜精彩视频在线观看| 最近中文字幕高清免费大全6| av天堂中文字幕网| 男人爽女人下面视频在线观看| 丝袜美腿在线中文| 成人亚洲欧美一区二区av| 免费观看的影片在线观看| 国内少妇人妻偷人精品xxx网站| 日本黄色片子视频| 久久久成人免费电影| 欧美97在线视频| 91久久精品国产一区二区三区| 国产精品99久久久久久久久| 日韩欧美精品免费久久| 亚洲av欧美aⅴ国产| 欧美丝袜亚洲另类| 日本色播在线视频| 丝袜喷水一区| 噜噜噜噜噜久久久久久91| 伊人久久精品亚洲午夜| 精品久久久精品久久久| 亚洲一区二区三区欧美精品 | 国产成年人精品一区二区| 久热这里只有精品99| 日本av手机在线免费观看| 国产高清不卡午夜福利| 狂野欧美激情性bbbbbb| 日韩中字成人| 亚洲av成人精品一区久久| 搡老乐熟女国产| 国产精品一区二区三区四区免费观看| 性色avwww在线观看| 久久热精品热| 久久久久久久国产电影| 国产成人精品婷婷| 欧美老熟妇乱子伦牲交| 欧美xxxx黑人xx丫x性爽| 国产免费福利视频在线观看| 性色av一级| www.色视频.com| a级一级毛片免费在线观看| 免费观看性生交大片5| 精品国产露脸久久av麻豆| 人妻少妇偷人精品九色| 黄片wwwwww| av在线老鸭窝| 国产精品女同一区二区软件| 99视频精品全部免费 在线| 下体分泌物呈黄色| 3wmmmm亚洲av在线观看| 午夜精品一区二区三区免费看| 嫩草影院精品99| 看十八女毛片水多多多| 黄色视频在线播放观看不卡| 欧美bdsm另类| 国产探花在线观看一区二区| 久久精品久久精品一区二区三区| 插逼视频在线观看| 亚洲欧美日韩另类电影网站 | 午夜激情久久久久久久| 日韩国内少妇激情av| 久久国内精品自在自线图片| 国产精品成人在线| av在线老鸭窝| 观看美女的网站| 高清午夜精品一区二区三区| 国产视频内射| 又大又黄又爽视频免费| 亚洲不卡免费看| 亚洲伊人久久精品综合| 晚上一个人看的免费电影| 2021天堂中文幕一二区在线观| 最近的中文字幕免费完整| 亚洲精品自拍成人| 久久精品夜色国产| 免费高清在线观看视频在线观看| 久久久久国产精品人妻一区二区| 男的添女的下面高潮视频| 五月天丁香电影| 国产女主播在线喷水免费视频网站| 99久国产av精品国产电影| 亚洲欧美精品自产自拍| 国内精品宾馆在线| av网站免费在线观看视频| 51国产日韩欧美| 一区二区三区精品91| 一级av片app| 国内揄拍国产精品人妻在线| av线在线观看网站| 高清日韩中文字幕在线| 99热这里只有是精品50| 在线观看三级黄色| 大又大粗又爽又黄少妇毛片口| 3wmmmm亚洲av在线观看| 亚洲av不卡在线观看| 亚洲精品成人久久久久久| 色视频www国产| 黄片wwwwww| 亚洲av不卡在线观看| 日日撸夜夜添| 亚洲三级黄色毛片| 丝袜美腿在线中文| 日韩av在线免费看完整版不卡| 亚洲不卡免费看| av一本久久久久| 国产白丝娇喘喷水9色精品| 欧美xxxx性猛交bbbb| 美女主播在线视频| 联通29元200g的流量卡| 国产成人a∨麻豆精品| 婷婷色麻豆天堂久久| 亚洲国产精品国产精品| 美女xxoo啪啪120秒动态图| 欧美日韩一区二区视频在线观看视频在线 | 在线观看人妻少妇| 国产精品精品国产色婷婷| 久久久久久久久久成人| 一本一本综合久久| 久久精品久久久久久噜噜老黄| 日本一本二区三区精品| 国产亚洲91精品色在线| 大香蕉久久网| 亚洲精品成人av观看孕妇| 成人国产av品久久久| 国产亚洲最大av| 国产熟女欧美一区二区| 免费看av在线观看网站| 高清av免费在线| 亚洲经典国产精华液单| 国产亚洲一区二区精品| 又粗又硬又长又爽又黄的视频| 成年版毛片免费区| 亚洲欧美一区二区三区国产| 99热网站在线观看| 日日摸夜夜添夜夜添av毛片| 毛片女人毛片| 国产真实伦视频高清在线观看| 九九爱精品视频在线观看| 国产一区亚洲一区在线观看| 精品久久久久久久人妻蜜臀av| 18禁裸乳无遮挡免费网站照片| 亚洲天堂av无毛| 久久久精品免费免费高清| 大片免费播放器 马上看| 精品人妻偷拍中文字幕| 久久久久久久久久久丰满| 我要看日韩黄色一级片| 国产男女超爽视频在线观看| 亚洲va在线va天堂va国产| 一个人看的www免费观看视频| 国产精品福利在线免费观看| 国产精品一二三区在线看| 哪个播放器可以免费观看大片| 亚洲精品国产av蜜桃| 各种免费的搞黄视频| 午夜免费男女啪啪视频观看| 啦啦啦中文免费视频观看日本| 三级男女做爰猛烈吃奶摸视频|