• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于Self-Attention StyleGAN的皮膚癌圖像生成與分類

    2022-09-21 05:37:44帥仁俊劉文佳吳夢(mèng)麟
    關(guān)鍵詞:皮膚癌卷積分類

    趙 宸,帥仁俊,馬 力,劉文佳,吳夢(mèng)麟

    1.南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,南京211816

    2.南京市衛(wèi)生信息中心,南京210003

    3.南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院,江蘇 常州213003

    與其他類型的癌癥相比,皮膚癌的高發(fā)病率使之成為了世界上最嚴(yán)重的健康問題之一[1]。近五十年來,全世界黑色素瘤的發(fā)病率在急劇上升。對(duì)于黑色素瘤患者來說,五年以內(nèi)生存率為95%,而晚期則只有15%,這種非常顯著的差異突出了及時(shí)地識(shí)別并發(fā)現(xiàn)黑色素瘤對(duì)于患者維持生命的重要性。因此,及時(shí)發(fā)現(xiàn)皮膚癌是降低皮膚癌發(fā)病率的關(guān)鍵因素[2]。

    皮膚鏡是一種用來消除皮膚表面反射的成像技術(shù)。當(dāng)表面反射被消除時(shí),深層皮膚癌病變的可視化得到增強(qiáng)[3]。這種技術(shù)與標(biāo)準(zhǔn)攝影相比可以產(chǎn)生較高的診斷準(zhǔn)確率。為了改善皮膚癌病變疾病的診斷效果,在臨床中引入了皮膚鏡檢查以協(xié)助皮膚科醫(yī)生進(jìn)行診斷[4]。但在臨床醫(yī)學(xué)中,醫(yī)生對(duì)于皮膚鏡的病變圖像(尤其是黑色素瘤)的肉眼識(shí)別率存在一定的誤差,而且對(duì)于黑色素瘤的識(shí)別要求醫(yī)生有一定的技術(shù)與經(jīng)驗(yàn)。皮膚癌病變識(shí)別的容錯(cuò)率較低,誤識(shí)別會(huì)對(duì)患者產(chǎn)生非常嚴(yán)重的后果[5]。

    隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展,人工智能和深度學(xué)習(xí)技術(shù)得到了廣泛的應(yīng)用,尤其是在圖像處理方面取得了很大的進(jìn)步,深度卷積神經(jīng)網(wǎng)絡(luò)(DCNNS)能夠精確地檢測、分割識(shí)別醫(yī)學(xué)圖像中的區(qū)域與對(duì)象[6]。深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)臨床應(yīng)用越來越廣泛,不僅僅是模式識(shí)別領(lǐng)域中的圖像分類,在圖像生成方面也達(dá)到了很好的效果[7-8]。

    Milton[9]提出了一種基于深度學(xué)習(xí)模型的集成神經(jīng)網(wǎng)絡(luò),包括PNASNet-5-large、Inception-ResNetv2、SeNet154和Inceptionv4。在將皮膚鏡檢查圖像輸入網(wǎng)絡(luò)之前,需要對(duì)其進(jìn)行處理和適當(dāng)增強(qiáng)。在ISIC2018數(shù)據(jù)集上,準(zhǔn)確性為0.76。但樣本量不足,準(zhǔn)確度較低。Akram 等[10]提出了一個(gè)基于集成的深度神經(jīng)網(wǎng)絡(luò),并在ISIC2018皮膚癌病變數(shù)據(jù)集中進(jìn)行了分類測試。該方法集成了圖像深層的特征信息,生成了最具區(qū)別性的特征向量,并保留了原始特征空間。Hu等[11]提出了一種綜合分類方法,該方法結(jié)合了基于屏蔽和深度卷積殘差網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng),通過一系列實(shí)驗(yàn)驗(yàn)證了該方法的有效性。該模型使用更少的訓(xùn)練樣本在皮膚疾病數(shù)據(jù)集上獲得了更好的分類結(jié)果。

    Rashid 等[12]將生成對(duì)抗網(wǎng)絡(luò)(GAN)應(yīng)用于皮膚癌病變圖像數(shù)據(jù)的增強(qiáng),并且GAN 的鑒別器還充當(dāng)了最終分類器,從ISIC2018挑戰(zhàn)數(shù)據(jù)集中進(jìn)行識(shí)別7個(gè)皮膚癌病變類別。作者還利用遷移學(xué)習(xí)來微調(diào)DenseNet和ResNet 架構(gòu),并將其分類性能與基于GAN 的數(shù)據(jù)增強(qiáng)模型進(jìn)行比較。所提出的方法在平衡精度得分方面獲得了顯著的性能提升。Baur 等[13]提出了一種深層識(shí)別的GAN(DDGAN)。合成了逼真的256×256 皮膚病灶圖像,并對(duì)DDGAN、DC-GAN和LAPGAN進(jìn)行了比較,表明DDGAN 和LAPGAN 都可以學(xué)習(xí)數(shù)據(jù)集的分布并合成逼真的樣本。

    Baur等[14]利用了漸進(jìn)式增長的概念,該概念與其他GAN體系結(jié)構(gòu)(如DC-GAN和LAPGAN)在數(shù)量和質(zhì)量上都進(jìn)行了比較。結(jié)果表明,借助漸進(jìn)式生長,可以合成皮膚癌病變的高度真實(shí)的皮膚鏡圖像,即使是專業(yè)的皮膚科醫(yī)生也很難將其與真實(shí)的皮膚病區(qū)分開。Bissoto等[15]采用pix2pixHD GAN進(jìn)行圖像合成。他們不是從隨機(jī)噪聲中生成圖像,而是從語義圖和實(shí)例圖合成圖像。為了反映GAN 系列生成網(wǎng)絡(luò)對(duì)圖像模式識(shí)別的重要性,Bissoto等[16]從6個(gè)方面總結(jié)和比較了近年來的GAN:架構(gòu)貢獻(xiàn)、條件技術(shù)、法線和約束貢獻(xiàn)、損失函數(shù)、圖像到圖像的轉(zhuǎn)換以及驗(yàn)證指標(biāo)。結(jié)果表明,StyleGAN對(duì)黑色素瘤生成的影響比其他GAN更現(xiàn)實(shí)和更合適。Gong等[17]利用StyleGAN 生成高質(zhì)量圖像,以解決ISIC2019 數(shù)據(jù)集的最小和不均勻分布,并提高了CNN的分類準(zhǔn)確性。他們的方法提高了皮膚鏡圖像分類的準(zhǔn)確性?;赟tyleGAN 在增強(qiáng)皮膚癌數(shù)據(jù)方面的出色表現(xiàn),選擇優(yōu)化改進(jìn)StyleGAN并將其用于皮膚癌分類項(xiàng)目。

    從以上文獻(xiàn)來看,當(dāng)前皮膚癌病變圖像合成研究中最重要的挑戰(zhàn)之一是通過上述方法生成的圖像的分辨率和質(zhì)量較差,且神經(jīng)網(wǎng)絡(luò)的魯棒性低。可需要更先進(jìn)的GAN架構(gòu)生成高分辨率圖像應(yīng)用于皮膚癌病變圖像合成。

    為解決上述問題,本文提出了一種基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)(self-attention style-based GAN,SA-StyleGAN)與SE-ResNeXt-50 相結(jié)合的皮膚癌病變圖像生成與分類的框架。使用SA-StyleGAN 擴(kuò)展數(shù)據(jù)集樣本,通過合成新的樣本圖像來增加模型生成圖像的多樣性以及不確定性。對(duì)于圖像分類,使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50 上構(gòu)建分類器。使用改進(jìn)的損失函數(shù)可以減少類別內(nèi)的樣本距離,擴(kuò)大不同皮膚癌病變圖像類別之間的樣本距離,更好地分析ISIC2019圖像的特征并最終產(chǎn)生更好的分類模型。

    1 研究方法

    在本文中,提出了一種基于自注意力的樣式生成對(duì)抗網(wǎng)絡(luò)(SA-StyleGAN)與SE-ResNeXt-50相結(jié)合的皮膚癌病變圖像生成與分類的框架。首先對(duì)ISIC2019 數(shù)據(jù)集的樣本圖像使用SA-StyleGAN進(jìn)行樣本擴(kuò)充,之后將所有樣本圖像送入已經(jīng)過ImageNet數(shù)據(jù)集預(yù)訓(xùn)練過且經(jīng)過遷移學(xué)習(xí)的SE-ResNeXt-50進(jìn)行分類,最后得到分類的結(jié)果以及各項(xiàng)結(jié)果性能指標(biāo)。所提出模型的總體框架如圖1所示。

    圖1 生成與分類模型框架流程圖Fig.1 Framework flowchart of generation and classification model

    提出的皮膚癌病變樣本圖像聲稱與分類框架包括三個(gè)主要部分:

    (1)根據(jù)基于樣式對(duì)抗生成網(wǎng)絡(luò)的基本架構(gòu),提出了SA-StyleGAN,以生成高質(zhì)量的皮膚癌病變樣本圖像,并提供給SE-ResNeXt-50分類模型進(jìn)行分類。

    (2)將Angular SoftMax(A-SoftMax)損失函數(shù)與SE-ResNeXt-50 分類神經(jīng)網(wǎng)絡(luò)相結(jié)合,解決樣本不平衡造成的數(shù)據(jù)影響,來平衡不同類別樣本的權(quán)重,從而可以改善分類模型的性能。

    (3)使用遷移學(xué)習(xí)來訓(xùn)練SE-ResNeXt-50 模型,以提供適當(dāng)?shù)念A(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型參數(shù)來對(duì)ISIC2019 皮膚癌病變圖像進(jìn)行分類,并獲得出色的平衡多類別準(zhǔn)確性(BMA)。

    圖2顯示了皮膚癌病變樣本圖像生成,分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖。使用SA-StyleGAN平衡,擴(kuò)充數(shù)據(jù)集樣本,從而通過合成新的樣本圖像來增加模型不確定性,來均衡不同類別樣本的權(quán)重。對(duì)于圖像分類,使用遷移學(xué)習(xí)方法在預(yù)訓(xùn)練的SE-ResNeXt-50上構(gòu)建分類器,通過預(yù)訓(xùn)練的模型對(duì)樣本進(jìn)行分類,最終得到分類結(jié)果以及各項(xiàng)性能指標(biāo)。

    圖2 皮膚癌病變樣本圖像生成、分類過程與遷移學(xué)習(xí)模型結(jié)構(gòu)示意圖Fig.2 Structure diagram of skin cancer lesion sample generative classification with transfer learning

    1.1 基于樣式的生成對(duì)抗網(wǎng)絡(luò)(StyleGAN)

    基于樣式的生成對(duì)抗網(wǎng)絡(luò)(StyleGAN)是由Karras等[18]提出的。與其他對(duì)抗生成網(wǎng)絡(luò)不同,StyleGAN中的樣式(用Gram矩陣表示)借用了樣式轉(zhuǎn)換并實(shí)現(xiàn)了無監(jiān)督的高度可控圖像生成。

    StyleGAN包括三個(gè)部分:潛碼(latent code)和非線性映射網(wǎng)絡(luò)(nonlinear mapping network),噪聲(noise)以及生成網(wǎng)絡(luò)(synthesis network)。這三個(gè)部分將在下面詳細(xì)描述。

    1.1.1 潛碼和非線性映射網(wǎng)絡(luò)

    潛在代碼中的每個(gè)維度對(duì)應(yīng)于皮膚癌病變圖像中所關(guān)注的特征,例如區(qū)域、顏色和頭發(fā)。當(dāng)要更改病變圖像特征時(shí),必須找到相應(yīng)的尺寸并調(diào)整潛碼的值。初始潛碼(z1,z2∈Z) 經(jīng)過正則化后進(jìn)入非線性映射網(wǎng)絡(luò),并獲得非線性映射(8 層MLP)后,得到了w1,w2∈W。此時(shí),圖像尺寸不變。經(jīng)過仿射變換和解耦合后,獲得y=(ys,yb)代表樣式的樣式,并用于完成綜合網(wǎng)絡(luò)中的自適應(yīng)實(shí)例規(guī)范化(AdaIN)。

    為了進(jìn)一步實(shí)現(xiàn)解耦合,使用了混合正則化操作。在訓(xùn)練期間,圖像的一部分由兩個(gè)潛在代碼生成(也就是說,圖像由兩個(gè)潛在代碼生成的各種樣式控制)。該方法可以防止相鄰皮膚癌病變類型的相關(guān)性。

    1.1.2 噪聲

    生成網(wǎng)絡(luò)在每次卷積后,將噪聲添加到皮膚癌病變圖像中的每個(gè)像素,以實(shí)現(xiàn)多樣性和隨機(jī)性。該噪聲僅影響需要變化的皮膚癌病變,而不會(huì)改變圖像中皮膚的良性皮膚和關(guān)鍵特征。

    1.1.3 生成網(wǎng)絡(luò)

    在合成網(wǎng)絡(luò)中,對(duì)原始病變圖像進(jìn)行卷積并逐步取樣。在此過程中,y=(ys,yb)用于表示來自非線性映射網(wǎng)絡(luò)的皮膚樣式,并接受噪聲以完成卷積,AdaIN 和采樣操作。AdaIN公式如下:

    其中,μ(xi)和σ(xi)是通過使用每個(gè)通道的特征圖中的所有像素獲得的平均值和方差(即,特征圖更改為平均值0和方差1),而特定的ith 是第i層的特征圖像。

    1.2 基于自注意力樣式的生成對(duì)抗網(wǎng)絡(luò)(SAStyleGAN)

    StyleGAN為高分辨率圖像的合成以及對(duì)合成圖像的樣式和特征的精細(xì)控制做出了巨大貢獻(xiàn)。但這種結(jié)構(gòu)主要設(shè)計(jì)用于具有連續(xù)信息和樣式明顯變化的圖像。皮膚癌病變圖像與這些圖像之間存在顯著差異。本文致力于通過更改樣式控制方法并根據(jù)原始Style-GAN簡化生成器和鑒別器體系結(jié)構(gòu)來解決這些問題。

    皮膚癌病變的圖案,顏色和樣式遠(yuǎn)沒有其他圖像豐富,而且它們的變化不像人臉圖像那樣連續(xù)。由于此限制,將復(fù)雜的GAN 架構(gòu)直接應(yīng)用于皮膚癌病變圖像的合成是不合適的。在原始StyleGAN 的基礎(chǔ)上,本文對(duì)樣式控制方法進(jìn)行了一些修改,并簡化了生成器和鑒別器的結(jié)構(gòu)。擬議的修改如下:

    (1)本文放棄了混合正則化工具。皮膚病灶混合的樣式會(huì)導(dǎo)致樣式在生成的圖像中重疊,這很難區(qū)分和處理。因此,在修改的模型中僅使用一個(gè)潛在代碼。由于在臨床醫(yī)學(xué)中,不同皮膚病變的形狀紋理較為相似,所以生成的病變圖像的質(zhì)量需要足夠高。圖3 為使用了初始StyleGAN 兩個(gè)潛在代碼和使用了本文SA-Style-GAN一個(gè)潛在代碼生成的樣本對(duì)比圖。

    圖3 使用了初始StyleGAN兩個(gè)潛在代碼和使用了本文SA-StyleGAN一個(gè)潛在代碼生成的樣本對(duì)比圖Fig.3 Sample comparison diagram generated by using two latent codes of initial StyleGAN and one latent code generated by proposed SA-StyleGAN

    可以看出,在使用StyleGAN初始的兩潛在代碼時(shí),生成的皮膚病變樣本圖像會(huì)產(chǎn)生類似風(fēng)格遷移的扭曲,很難被歸類,是屬于質(zhì)量較低的樣本。而本文使用的單潛在代碼則可以有效地消除樣本圖像扭曲不清晰等問題,為分類器提供高質(zhì)量的樣本圖像,也為醫(yī)學(xué)皮膚領(lǐng)域提供更有意義的參考價(jià)值。

    (2)本文修改了StyleGAN 生成器的結(jié)構(gòu)。由于皮膚病變圖像風(fēng)格和色彩的單一性,對(duì)于皮膚分類器而言,224×224 相比于256×256 的樣本在分類器中神經(jīng)網(wǎng)絡(luò)參數(shù)量更少,為了減少高分辨率帶給生成器的計(jì)算壓力,在保證生成樣本質(zhì)量的情況下提高生成器的處理效率,將生成器的最后一個(gè)模塊的尺寸設(shè)置為224×224。

    圖4 為使用StyleGAN 初始噪聲部分和本文SAStyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比。

    圖4 使用StyleGAN初始噪聲部分和本文SA-StyleGAN改進(jìn)噪聲部分的結(jié)果詳細(xì)對(duì)比圖Fig.4 Detailed comparison of results of original noise part of StyleGAN and improved noise part of proposed SA-StyleGAN

    在使用初始StyleGAN 噪聲部分來生成樣本圖像時(shí),噪聲會(huì)導(dǎo)致生成的圖像包含許多不必要的噪點(diǎn),為減少噪聲對(duì)生成器的影響,在每個(gè)綜合網(wǎng)絡(luò)模塊中,除了第一層(兩次添加噪聲模塊)外,其他層僅添加一次噪聲模塊。即在第二個(gè)3×3 卷積層之前添加一個(gè)噪聲模塊,在第二個(gè)3×3 卷積層之后添加一個(gè)噪聲模塊,依此類推。

    通過圖4可看出,使用本文SA-StyleGAN改進(jìn)的噪聲部分生成的樣本幾乎沒有噪點(diǎn),樣本質(zhì)量更優(yōu)。由于皮膚病變樣本圖像各類別病變較為相似,顏色風(fēng)格相近且單一,同一類型病變不同發(fā)展時(shí)期特殊性導(dǎo)致的外形難以區(qū)分等特殊性,皮膚科臨床醫(yī)學(xué)對(duì)于樣本的質(zhì)量與細(xì)節(jié)要求較高,本文的改進(jìn)噪聲部分可為皮膚科臨床區(qū)分病變類型提供更真實(shí)客觀的樣本。

    (3)修改了StyleGAN 鑒別器的結(jié)構(gòu)。如圖3 所示,合成網(wǎng)絡(luò)單元的不同模塊被級(jí)聯(lián),并且在一個(gè)訓(xùn)練周期之后直接從初始輸入生成預(yù)定大小的圖像。然后將生成的圖像直接輸入到鑒別器。鑒別器由幾個(gè)鑒別器塊組成,每個(gè)鑒別器塊具有三個(gè)卷積層和兩個(gè)平均池化層。此外,判別結(jié)果在退出和最后兩個(gè)完全連接的層之后輸出。

    (4)增加自我注意力模塊的最佳位置是在中高層特征圖上(生成256×256像素的皮膚癌病變圖像的情況下為27 和28 層)。盡管使用了漸進(jìn)式訓(xùn)練和使用了自我注意機(jī)制,但由于高分辨率的不穩(wěn)定訓(xùn)練行為,生成的樣本仍遭受一些偽影的影響。為了減輕不穩(wěn)定的訓(xùn)練行為,使用了兩個(gè)時(shí)間尺度的更新規(guī)則。為上一層的特征圖,其中Nj是特征圖中的位置數(shù)。使用的權(quán)重αj計(jì)算模型在特征圖x中jth的位置,其中Wk是1×1卷積模塊。

    使用權(quán)重αj,通過加權(quán)平均將所有位置的特征分組來獲取全局特征(global attention pooling)。

    第i個(gè)位置zi的最終重定義的特征為:

    其中,Wv執(zhí)行特征變換以捕獲通道方面的依賴關(guān)系。逐個(gè)廣播元素添加用于將全局上下文特征聚合到每個(gè)位置的特征。

    本文生成的皮膚癌病變圖像特征來自于在合成網(wǎng)絡(luò)中學(xué)習(xí)到的各種圖像的特征以及最初在混合規(guī)則中設(shè)置的潛在代碼。合成網(wǎng)絡(luò)學(xué)習(xí)到的主要特征是:(1)皮膚癌病變圖像中的頭發(fā),(2)皮膚癌病變的顏色,以及(3)皮膚癌病變的形狀和面積。引入噪聲后,可以從合成網(wǎng)絡(luò)的卷積層逐層學(xué)習(xí)皮膚癌病變圖像的樣式,并將其與接收到的噪聲結(jié)合起來以生成新的皮膚癌病變圖像,并進(jìn)一步擴(kuò)大ISIC2019的隨機(jī)性和多樣性。圖5 顯示了SA-StyleGAN的網(wǎng)絡(luò)結(jié)構(gòu)。

    圖5 SA-StyleGAN的結(jié)構(gòu)示意圖Fig.5 Structure diagram of SA-StyleGAN

    1.3 遷移學(xué)習(xí)

    遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法,使用現(xiàn)有知識(shí)來解決不同但相關(guān)的領(lǐng)域問題[19]。遷移學(xué)習(xí)的目的是利用現(xiàn)有數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,然后將預(yù)訓(xùn)練的模型直接應(yīng)用于目標(biāo)數(shù)據(jù)集的訓(xùn)練[20]。使用SE-ResNeXt-50在1 000個(gè)類別的ImageNet數(shù)據(jù)集[21]上預(yù)先訓(xùn)練了模型參數(shù),之后調(diào)整了卷積層的預(yù)訓(xùn)練參數(shù)來初始化網(wǎng)絡(luò)參數(shù)。通過遷移學(xué)習(xí)可以顯著提高分割模型的精度。

    1.4 SE-ResNeXt-50

    SE(Squeeze-and-Excitation)模塊[22]可通過顯式建模通道之間的相互依賴關(guān)系,自適應(yīng)地重新校準(zhǔn)各通道的特征響應(yīng)。這些塊可以堆疊在一起,形成SENet 架構(gòu),在不同的數(shù)據(jù)集都有很好的泛化能力,并為現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)帶來顯著的性能改善。

    圖6 是SE 模塊的結(jié)構(gòu)示意圖。給定一個(gè)輸入x∈,其特征通道數(shù)為c1,通過一系列卷積等一般變換(Ftr()) 后得到一個(gè)特征通道數(shù)為c2的輸入uc。之后是壓縮(Squeeze)操作Fsq(?),把每個(gè)輸入的皮膚癌病變特征圖的空間維度從H×W壓縮到1。之后通過全局平均池化層完成,順著空間維度來進(jìn)行特征c1壓縮,將每個(gè)二維的特征通道變成一個(gè)具有整體卷積層的感受野實(shí)數(shù)zc:

    圖6 特征壓縮與激發(fā)模塊結(jié)構(gòu)示意圖Fig.6 Structure diagram of SE module

    zc表征著在特征通道上響應(yīng)的全局分布,而且使得靠近輸入的層也可以獲得整體的感受野,之后將輸出的維度和輸入的特征通道數(shù)相匹配。

    激發(fā)操作(Excitation)Fex(?,w) 是通過一個(gè)bottleneck結(jié)構(gòu)來捕捉不同通道的內(nèi)部依賴,來分析得到特征通道的裁剪系數(shù)sc。通過參數(shù)w來為每個(gè)特征通道生成權(quán)重,δ為sigmoid激活函數(shù)。

    最后是重置權(quán)重的操作,本文將激發(fā)操作的輸出權(quán)重看作是經(jīng)過特征選擇后的每個(gè)特征通道的重要程度,然后通過Fscale()逐通道加權(quán)到先前的特征上,完成在通道維度上的對(duì)原始特征的重標(biāo)定。

    ResNeXt[23]是一種簡單、高度模塊化的圖像具有多分支結(jié)構(gòu)的分類網(wǎng)絡(luò)結(jié)構(gòu),通過重復(fù)一個(gè)聚合了一組具有相同拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)換的構(gòu)建塊來進(jìn)行構(gòu)建。

    如圖7 所示,ResNeXt 的主要結(jié)構(gòu)由四種Residual block(RB)構(gòu)成,首先經(jīng)過7×7 的卷積層與3×3 的最大池化層,之后分別經(jīng)過3個(gè)RB1、4個(gè)RB2、6個(gè)RB3、3個(gè)RB4,在經(jīng)過最后的全局平均池化全連接層后,得到最后的皮膚癌病變分類結(jié)果。ResNeXt結(jié)構(gòu)如圖8所示。

    圖7 四種殘差塊(RB)的結(jié)構(gòu)示意圖Fig.7 Structure diagram of four residual block(RB)

    圖8 ResNeXt的結(jié)構(gòu)示意圖Fig.8 Structure diagram of ResNeXt

    為了提高模型的準(zhǔn)確率,傳統(tǒng)的方法主要是增加網(wǎng)絡(luò)的深度或?qū)挾龋请S著超參數(shù)數(shù)量的增加,網(wǎng)絡(luò)設(shè)計(jì)的難度和時(shí)間空間復(fù)雜度也會(huì)增加。因此本文提出的SE-ResNeXt結(jié)構(gòu)可以在不增加參數(shù)復(fù)雜度的前提下提高準(zhǔn)確率,同時(shí)還減少了超參數(shù)的數(shù)量。從工程應(yīng)用場景上來分析,本生成分類模型主要的應(yīng)用場景為醫(yī)院皮膚科信息科室,主要用于高效區(qū)分各種難以區(qū)分的臨床皮膚病變病例,及時(shí)地對(duì)患者的病情進(jìn)行識(shí)別分析,提高黑色素瘤患者的存活率,如圖9。

    圖9 初始ResNeXt與改進(jìn)ResNeXt的對(duì)比圖Fig.9 Comparison of initial ResNeXt and improved ResNeXt

    本文使用了Angular SoftMax(A-SoftMax)損失[24]作為分類模型的損失函數(shù),它引入了歸一化權(quán)重,零偏置和角余量的概念??梢詳U(kuò)大不同類樣本間的距離,縮小同類樣本間的距離。A-SoftMax損失公式如下:

    2 實(shí)驗(yàn)結(jié)果與分析

    2.1 數(shù)據(jù)集

    本文實(shí)驗(yàn)所采用的數(shù)據(jù)集是國際皮膚影像協(xié)作組織ISIC2019 挑戰(zhàn)賽[25-27]公開使用的皮膚病圖像數(shù)據(jù)集,該數(shù)據(jù)集包括25 331 張訓(xùn)練圖片和8 239 張測試圖片。實(shí)驗(yàn)過程中,本文隨機(jī)從5 066 張訓(xùn)練圖片中抽取其20%作為驗(yàn)證集,參考其驗(yàn)證結(jié)果來對(duì)模型進(jìn)行調(diào)節(jié),將剩下的20 265張圖像80%作為訓(xùn)練數(shù)據(jù)集,在訓(xùn)練過程中對(duì)訓(xùn)練數(shù)據(jù)使用SA-StyleGAN進(jìn)行數(shù)據(jù)樣本擴(kuò)充,對(duì)驗(yàn)證集和測試集數(shù)據(jù)不做數(shù)據(jù)增強(qiáng)操作。最后在測試集上進(jìn)行測試得到最終的分類結(jié)果,根據(jù)其輸出來計(jì)算分類評(píng)估指標(biāo)。

    2.2 預(yù)處理

    本文使用訓(xùn)練集中每種類型皮膚癌病變的數(shù)據(jù)來生成更多的樣本,并將其納入實(shí)驗(yàn)中。通過SA-StyleGAN對(duì)8 種類型的皮膚癌病變圖像分別生成1 000 張圖片,并邀請(qǐng)專業(yè)的檢查專家對(duì)其進(jìn)行區(qū)分。結(jié)果表明,生成的皮膚癌病變圖像與真實(shí)的ISIC2019圖像相差不大,可以作為訓(xùn)練數(shù)據(jù)集。

    2.3 性能指標(biāo)

    2.3.1 生成圖像結(jié)果性能指標(biāo)

    Inception score(IS)[28]是GAN生成的圖像質(zhì)量的量度,它使用預(yù)訓(xùn)練的初始網(wǎng)絡(luò)[29]通過計(jì)算來提取生成的圖像特征:

    DKL()、p(y|x)、p(y)、y、x分別表示KL 散度公式、樣本的條件標(biāo)簽分布、從所有樣本獲得的邊際分布、給定圖片以及圖片中的主要對(duì)象。高值表示樣本圖像類似于特定的ImageNet類別。

    Fréchet inception distance(FID)[30]將一組生成的圖像嵌入到由特定起始層或任何CNN[29]表示的特征空間中。它使用連續(xù)的多元高斯分布來表示實(shí)際數(shù)據(jù)和生成數(shù)據(jù)的嵌入特征分布,并且這兩個(gè)高斯分布之間的Fréchet距離是通過以下公式計(jì)算的:

    μr和Cr分別表示實(shí)際數(shù)據(jù)的均值和協(xié)方差,而μg和Cg分別表示所生成數(shù)據(jù)的均值和協(xié)方差。由于FID具有良好的可識(shí)別性、魯棒性和計(jì)算效率,因此它是GAN的良好度量。

    2.3.2 分類結(jié)果性能指標(biāo)

    為了全面評(píng)估模型的分類性能,使用了均衡權(quán)重多類精確度(BMA)、敏感度(SE)、平均精度(AP)、特異性(SP)、骰子系數(shù)(DC)、曲線下面積(AUC)作為評(píng)估指標(biāo)。

    NTP、NTN、NFP、NFN、p、r、TPR、FPR、C分別表示真陽性、真陰性、假陽性、假陰性、精度、召回率、真陽性率、假陽性率,ISIC2019中皮膚癌病變的類別數(shù)。

    2.4 結(jié)果與分析

    為了更好地驗(yàn)證本文的實(shí)驗(yàn)結(jié)果,使用SA-StyleGAN、StyleGAN[18]、PGAN[31]、DC-GAN[32]、LAPGAN[33]和GAN[34]分別生成1 000 了個(gè)皮膚癌病變圖像,然后對(duì)樣品進(jìn)行20次評(píng)估。實(shí)驗(yàn)結(jié)果如表1和圖10所示。

    表1 各模型生成的皮膚癌病變圖像性能指標(biāo)對(duì)比Table 1 Comparison of performance indexes of skin cancer lesion images generated by each model

    圖10 不同對(duì)抗生成網(wǎng)絡(luò)生成的樣本圖像Fig.10 Sample images generated by different generative adversarial networks

    由表1可知,由SA-StyleGAN生成的皮膚癌樣本圖像的IS值(越高越好)最高,達(dá)到3.37。比其他五種方法的IS值分別高0.26、1.02、0.89、1.23、1.84,所提出方法的FID值(越低越好)最低,達(dá)到0.83,比其他五種方法分別低1.78、0.52、1.01、1.59、3.04。精確度和查全率的值都在0 到1 的范圍內(nèi),接近1 的值表示良好的結(jié)果。與其他五個(gè)模型相比,SA-StyleGAN 在四個(gè)指標(biāo)上得分最高,這表明SA-StyleGAN 生成的圖像質(zhì)量更高,且網(wǎng)絡(luò)性能更出色。

    圖11顯示了SA-StyleGAN生成的一些皮膚癌病變圖像。

    圖11 SA-StyleGAN生成的皮膚癌病變圖像Fig.11 Skin cancer lesion images generated by SA-StyleGAN

    在經(jīng)過100 個(gè)epoch 后,整個(gè)模型產(chǎn)生了良好的結(jié)果,測試損失達(dá)到最小,相應(yīng)的測試BMA 為0.947 1。表2 顯示了不同類型皮膚癌病變的BMA、AUC、AP、SE、SP、DC的結(jié)果。

    表2 在ISIC2019數(shù)據(jù)集上的分類結(jié)果Table 2 Classification results in ISIC2019 test dataset

    表3 顯示了不同神經(jīng)網(wǎng)絡(luò)在ISIC2019 數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果,可以看出本文使用的SE-ResNeXt-50在獲得了最高精度的情況下,參數(shù)量較少且訓(xùn)練時(shí)間較短,在保證高精確分類結(jié)果的同時(shí),也兼?zhèn)淞烁咝У倪\(yùn)算效率。

    表3 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集分類時(shí)的參數(shù)以及訓(xùn)練時(shí)間和分類結(jié)果Table 3 Classification results in ISIC2019 test dataset

    混淆矩陣(也稱為誤差矩陣)是準(zhǔn)確性評(píng)估的標(biāo)準(zhǔn)格式。皮膚癌病變分類模型輸出分為八類,因此用8×8矩陣表示,圖12顯示了ISIC2019分類結(jié)果的混淆矩陣。

    圖12 分類結(jié)果的均值混淆矩陣Fig.12 Confusion matrix of average classification results

    本文在不同的神經(jīng)網(wǎng)絡(luò)與數(shù)據(jù)集中對(duì)SA-StyleGAN進(jìn)行了測試,測試的結(jié)果如表4~6所示。

    表4 不同神經(jīng)網(wǎng)絡(luò)在ISIC2019數(shù)據(jù)集中分類的結(jié)果Table 4 Classification results of different neural networks in ISIC2019 data set

    表5 在ISIC2019中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 5 Classification results of using SA-StyleGAN for sample augmentation in ISIC2019

    通過表4~6 可以看出,在ISIC2019 中,不同的神經(jīng)網(wǎng)絡(luò)在使用了本文提出的SA-StyleGAN 進(jìn)行數(shù)據(jù)及樣本擴(kuò)充之后得到的分類結(jié)果比沒有使用時(shí)的分類結(jié)果有顯著的提升,CNN、RNN-CNN、ResNet、DenseNet、SE-ResNeXt-50 使用了SA-StyleGAN 的結(jié)果比沒有使用的結(jié)果分別高2.12、3.42、2.06、2.12、3.92 個(gè)百分點(diǎn)。在ImageNet數(shù)據(jù)集中的分類結(jié)果表示,SA-StyleGAN在其他分類任務(wù)數(shù)據(jù)集中也可以得到很好的效果來輔助分類。

    表6 在ImageNet中使用SA-StyleGAN進(jìn)行樣本擴(kuò)充后的分類結(jié)果Table 6 Classification results of using SA-StyleGAN for sample augmentation in ImageNet

    表7表明,本文方法的BMA比Guissous等[35]提出的DenseNet-Inception-v3高6.71個(gè)百分點(diǎn),比Pacheco等[36]提出的基于CNN 的整體分類模型高4.61 個(gè)百分點(diǎn),比Nahata等[37]提出的Inception-ResNet高3.71個(gè)百分點(diǎn),比基于Gessert 等[38]提出的深度學(xué)習(xí)模型集合的分類模型高3.21個(gè)百分點(diǎn)。與現(xiàn)有研究相比,本文提出方法得到了更精確的分類BMA,且生成了高質(zhì)量的皮膚癌病變樣本圖像。

    表7 在ISIC2019數(shù)據(jù)集上本文方法與最新現(xiàn)有研究的結(jié)果對(duì)比Table 7 Comparison of results of proposed method with the latest existing research on ISIC2019 data set

    在本文中,使用SE-ResNeXt-50解決了當(dāng)神經(jīng)網(wǎng)絡(luò)層數(shù)增加時(shí)由反向傳播引起的梯度消失。在引入角余量,歸一化權(quán)重和零偏差之后,新?lián)p失函數(shù)在ISIC2019分類任務(wù)中實(shí)現(xiàn)了良好的分類精度。實(shí)現(xiàn)了最大的類內(nèi)樣本距離小于最小的類內(nèi)樣本距離的識(shí)別標(biāo)準(zhǔn),減少了數(shù)據(jù)集內(nèi)的類內(nèi)不平衡的情況。使用SA-StyleGAN來生成高質(zhì)量的皮膚癌病變圖像并擴(kuò)展ISIC2019 數(shù)據(jù)集,從而有效減少皮膚癌病變數(shù)據(jù)集樣本類別內(nèi)的樣本失衡。遷移學(xué)習(xí)用于將ImageNet數(shù)據(jù)集的預(yù)訓(xùn)練加權(quán)參數(shù)遷移到SE-ResNeXt-50來處理ISIC2019數(shù)據(jù)集,從而提高了模型的學(xué)習(xí)效率和BMA的收斂速度。

    當(dāng)對(duì)模型進(jìn)行測試和仿真時(shí),有必要在發(fā)現(xiàn)難以區(qū)分的皮膚癌病變圖像時(shí)將人工智能系統(tǒng)與皮膚科醫(yī)生的臨床經(jīng)驗(yàn)相結(jié)合。計(jì)算機(jī)輔助診斷的意義在于良好的療效和預(yù)后。它也可以協(xié)助醫(yī)生進(jìn)行臨床病理判斷和診斷。

    3 結(jié)束語

    本文提出了一種新的皮膚癌病變圖像生成與分類框架,使用SA-StyleGAN來進(jìn)行皮膚癌病變數(shù)據(jù)集樣本擴(kuò)充,解決了現(xiàn)有皮膚癌病變圖像數(shù)據(jù)集各類樣本數(shù)量、權(quán)重不均衡,圖像不清晰且質(zhì)量差的問題,為分類模型提供了高質(zhì)量的訓(xùn)練樣本圖像。本文SA-StyleGAN在ISIC2019 皮膚癌病變數(shù)據(jù)集的實(shí)驗(yàn)生成樣本圖像的各項(xiàng)性能指標(biāo)都顯著優(yōu)于現(xiàn)有的其他對(duì)抗生成網(wǎng)絡(luò)。本文使用的SE-ResNeXt-50 分類模型可以更好地處理樣本圖像不同層次的圖像信息,降低了神經(jīng)網(wǎng)絡(luò)分類任務(wù)的難度。本文的工作可以幫助皮膚科醫(yī)生進(jìn)行診斷,并為基于人工智能的皮膚鏡圖像分析提供有價(jià)值的參考。在未來的工作中,將致力于將本文的生成與分類框架用于其他樣本數(shù)量不足且樣本圖像質(zhì)量較差的疾病數(shù)據(jù)集,另一個(gè)重點(diǎn)將是進(jìn)一步加強(qiáng)和改進(jìn)自動(dòng)分類系統(tǒng)。將致力于將該計(jì)算機(jī)輔助診斷系統(tǒng)移植到移動(dòng)設(shè)備上,更好地為患者和皮膚科醫(yī)生服務(wù)。

    猜你喜歡
    皮膚癌卷積分類
    老年人也應(yīng)警惕皮膚癌
    基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
    分類算一算
    從濾波器理解卷積
    電子制作(2019年11期)2019-07-04 00:34:38
    分類討論求坐標(biāo)
    數(shù)據(jù)分析中的分類討論
    基于傅里葉域卷積表示的目標(biāo)跟蹤算法
    教你一招:數(shù)的分類
    一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法
    常見非黑素瘤性皮膚癌的外科治療進(jìn)展
    成人18禁在线播放| 亚洲电影在线观看av| 18禁观看日本| 天堂√8在线中文| 久久亚洲真实| 免费久久久久久久精品成人欧美视频| 91在线观看av| 午夜免费成人在线视频| videosex国产| 一区二区三区激情视频| 99热只有精品国产| 后天国语完整版免费观看| 国产片内射在线| 曰老女人黄片| 欧美日本亚洲视频在线播放| 日韩精品青青久久久久久| 自线自在国产av| 日韩欧美国产一区二区入口| 国产成人欧美| 大型黄色视频在线免费观看| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲片人在线观看| 老汉色av国产亚洲站长工具| 国产av精品麻豆| 成在线人永久免费视频| 国产精品亚洲美女久久久| 免费无遮挡裸体视频| 曰老女人黄片| 麻豆成人av在线观看| 亚洲欧美日韩另类电影网站| 午夜日韩欧美国产| 日韩国内少妇激情av| 久久精品国产综合久久久| 高潮久久久久久久久久久不卡| 黑人欧美特级aaaaaa片| 国产精品永久免费网站| 中文字幕最新亚洲高清| 成人18禁高潮啪啪吃奶动态图| 女人被狂操c到高潮| 成熟少妇高潮喷水视频| 精品久久久久久久久久免费视频| 9191精品国产免费久久| 亚洲精品一卡2卡三卡4卡5卡| 在线观看www视频免费| 黄网站色视频无遮挡免费观看| 亚洲中文字幕日韩| 丝袜在线中文字幕| 亚洲国产精品sss在线观看| 91麻豆精品激情在线观看国产| 久久久久久国产a免费观看| 18禁美女被吸乳视频| 给我免费播放毛片高清在线观看| 无人区码免费观看不卡| 欧洲精品卡2卡3卡4卡5卡区| 精品国产乱子伦一区二区三区| 一本综合久久免费| 在线观看免费视频日本深夜| 在线观看一区二区三区| 18美女黄网站色大片免费观看| 多毛熟女@视频| 变态另类成人亚洲欧美熟女 | 91国产中文字幕| 国产极品粉嫩免费观看在线| 两人在一起打扑克的视频| 成人手机av| 精品无人区乱码1区二区| 两个人看的免费小视频| 久久国产精品影院| 啦啦啦 在线观看视频| 欧美人与性动交α欧美精品济南到| 中文字幕最新亚洲高清| 天天躁夜夜躁狠狠躁躁| 国产精品精品国产色婷婷| aaaaa片日本免费| 丁香六月欧美| 欧美 亚洲 国产 日韩一| 色老头精品视频在线观看| 欧美日韩瑟瑟在线播放| 亚洲成人久久性| 国产精品久久久久久亚洲av鲁大| 两个人免费观看高清视频| 99在线人妻在线中文字幕| 69av精品久久久久久| 亚洲人成伊人成综合网2020| 成人国产综合亚洲| 亚洲精品美女久久久久99蜜臀| 亚洲色图 男人天堂 中文字幕| 国内精品久久久久精免费| 亚洲精品国产区一区二| 嫩草影院精品99| 欧美黄色淫秽网站| 曰老女人黄片| 亚洲熟妇中文字幕五十中出| 97超级碰碰碰精品色视频在线观看| 国产伦一二天堂av在线观看| 亚洲第一av免费看| 午夜免费激情av| 日韩大尺度精品在线看网址 | 人人妻人人澡人人看| 成人精品一区二区免费| 国产xxxxx性猛交| 夜夜爽天天搞| 国产99久久九九免费精品| 999久久久国产精品视频| 国产精品爽爽va在线观看网站 | 多毛熟女@视频| 一边摸一边做爽爽视频免费| 国产三级黄色录像| 中出人妻视频一区二区| 亚洲电影在线观看av| 国产黄a三级三级三级人| 美女 人体艺术 gogo| 9191精品国产免费久久| 国产免费av片在线观看野外av| 亚洲五月婷婷丁香| 国产成人精品久久二区二区免费| 搡老岳熟女国产| 色播亚洲综合网| 国产高清videossex| 国产一级毛片七仙女欲春2 | 老司机午夜十八禁免费视频| 777久久人妻少妇嫩草av网站| 在线永久观看黄色视频| 波多野结衣一区麻豆| 亚洲国产精品久久男人天堂| 欧美激情极品国产一区二区三区| 成人三级黄色视频| 91麻豆精品激情在线观看国产| 国产伦人伦偷精品视频| 99精品久久久久人妻精品| 国产片内射在线| 黄网站色视频无遮挡免费观看| 亚洲精品美女久久av网站| 两个人视频免费观看高清| 日韩有码中文字幕| 欧美成人免费av一区二区三区| 久久这里只有精品19| 美女扒开内裤让男人捅视频| 91老司机精品| 一边摸一边抽搐一进一出视频| 午夜视频精品福利| 亚洲精品久久成人aⅴ小说| 在线永久观看黄色视频| 欧美国产日韩亚洲一区| 9191精品国产免费久久| 国产精品久久久久久亚洲av鲁大| 岛国视频午夜一区免费看| 亚洲中文av在线| a级毛片在线看网站| 午夜老司机福利片| 最近最新中文字幕大全电影3 | 丝袜人妻中文字幕| 精品国产一区二区久久| 最新美女视频免费是黄的| 波多野结衣巨乳人妻| 午夜两性在线视频| 日本 av在线| 国产高清有码在线观看视频 | 一边摸一边做爽爽视频免费| 久久 成人 亚洲| 99香蕉大伊视频| tocl精华| 免费在线观看亚洲国产| 成人18禁在线播放| 国产人伦9x9x在线观看| 老司机在亚洲福利影院| 91字幕亚洲| 午夜精品国产一区二区电影| 日韩中文字幕欧美一区二区| 成人18禁高潮啪啪吃奶动态图| 一本大道久久a久久精品| 精品不卡国产一区二区三区| 亚洲国产精品sss在线观看| 国产精品爽爽va在线观看网站 | 亚洲av美国av| 国产成人一区二区三区免费视频网站| 少妇 在线观看| 国产精品日韩av在线免费观看 | 欧美午夜高清在线| 最新在线观看一区二区三区| 亚洲国产欧美日韩在线播放| av超薄肉色丝袜交足视频| 欧美最黄视频在线播放免费| 老汉色∧v一级毛片| 欧美老熟妇乱子伦牲交| 日韩视频一区二区在线观看| 91国产中文字幕| 久久伊人香网站| 国产精品免费视频内射| 美女午夜性视频免费| av在线天堂中文字幕| 亚洲人成伊人成综合网2020| 久久精品91蜜桃| 91成年电影在线观看| 欧美中文综合在线视频| 亚洲欧美精品综合一区二区三区| 亚洲成人免费电影在线观看| 国产麻豆69| 欧美中文日本在线观看视频| 国产人伦9x9x在线观看| 精品国产国语对白av| 97超级碰碰碰精品色视频在线观看| 两性夫妻黄色片| 欧美成人免费av一区二区三区| 欧美绝顶高潮抽搐喷水| 午夜影院日韩av| 俄罗斯特黄特色一大片| 国产97色在线日韩免费| 国产乱人伦免费视频| 国产一区二区激情短视频| 91麻豆av在线| 免费看a级黄色片| a在线观看视频网站| 久久精品国产综合久久久| 1024香蕉在线观看| 婷婷丁香在线五月| 人人妻,人人澡人人爽秒播| 色精品久久人妻99蜜桃| 一本大道久久a久久精品| 99热只有精品国产| 日本在线视频免费播放| 黑人巨大精品欧美一区二区蜜桃| 国产av又大| 久久精品亚洲熟妇少妇任你| 一个人免费在线观看的高清视频| 久久午夜综合久久蜜桃| 国产精品久久久av美女十八| 性少妇av在线| 成人av一区二区三区在线看| 99riav亚洲国产免费| 久久精品亚洲精品国产色婷小说| av有码第一页| 亚洲欧美日韩高清在线视频| 国产精品香港三级国产av潘金莲| 国产精品亚洲av一区麻豆| 亚洲精品在线美女| 中亚洲国语对白在线视频| 在线国产一区二区在线| 久久精品影院6| 亚洲第一欧美日韩一区二区三区| 乱人伦中国视频| www.www免费av| 国产亚洲精品一区二区www| 午夜免费观看网址| 熟女少妇亚洲综合色aaa.| 亚洲全国av大片| 丝袜人妻中文字幕| 九色亚洲精品在线播放| 满18在线观看网站| 亚洲国产欧美网| 黄网站色视频无遮挡免费观看| 免费av毛片视频| 禁无遮挡网站| 两个人看的免费小视频| 999久久久精品免费观看国产| 天堂√8在线中文| 久久久精品国产亚洲av高清涩受| 好看av亚洲va欧美ⅴa在| 欧美av亚洲av综合av国产av| 国内精品久久久久久久电影| 国产一区二区三区视频了| 久久亚洲真实| 欧美 亚洲 国产 日韩一| 国产一区二区激情短视频| 天堂影院成人在线观看| 日本 av在线| e午夜精品久久久久久久| 999精品在线视频| 亚洲国产欧美一区二区综合| 熟妇人妻久久中文字幕3abv| 嫩草影院精品99| 亚洲欧美日韩高清在线视频| 亚洲av美国av| 成人18禁高潮啪啪吃奶动态图| 99re在线观看精品视频| 亚洲第一欧美日韩一区二区三区| 婷婷精品国产亚洲av在线| 给我免费播放毛片高清在线观看| 精品不卡国产一区二区三区| 亚洲五月天丁香| 亚洲一区二区三区不卡视频| av有码第一页| 国产激情欧美一区二区| www.999成人在线观看| 亚洲avbb在线观看| 免费看a级黄色片| 中文字幕人妻熟女乱码| 不卡一级毛片| 给我免费播放毛片高清在线观看| 亚洲三区欧美一区| 亚洲人成电影观看| 国产亚洲av高清不卡| а√天堂www在线а√下载| 亚洲av成人一区二区三| 女性生殖器流出的白浆| 亚洲 欧美一区二区三区| 国产一卡二卡三卡精品| av天堂久久9| 国产不卡一卡二| 极品人妻少妇av视频| 少妇粗大呻吟视频| 这个男人来自地球电影免费观看| 午夜激情av网站| 18禁美女被吸乳视频| 国产亚洲精品av在线| 天堂√8在线中文| 国产日韩一区二区三区精品不卡| 亚洲成人国产一区在线观看| 最新美女视频免费是黄的| 欧美黑人精品巨大| 国产激情久久老熟女| 亚洲欧美日韩无卡精品| 狂野欧美激情性xxxx| 日韩精品青青久久久久久| 99在线视频只有这里精品首页| 亚洲五月色婷婷综合| 欧美在线一区亚洲| 激情在线观看视频在线高清| av网站免费在线观看视频| 国产精品乱码一区二三区的特点 | 脱女人内裤的视频| 亚洲熟妇中文字幕五十中出| 怎么达到女性高潮| 99在线人妻在线中文字幕| 黄片播放在线免费| 人人妻人人爽人人添夜夜欢视频| 久久久久久久久免费视频了| 天堂动漫精品| 欧美最黄视频在线播放免费| 久热这里只有精品99| 很黄的视频免费| 美国免费a级毛片| 久久久久久久久中文| 亚洲美女黄片视频| 黄色片一级片一级黄色片| 国产乱人伦免费视频| 男女下面进入的视频免费午夜 | 99在线人妻在线中文字幕| 国内精品久久久久久久电影| 在线观看www视频免费| 国产午夜精品久久久久久| 久久久久久亚洲精品国产蜜桃av| 亚洲电影在线观看av| 亚洲黑人精品在线| 亚洲成国产人片在线观看| 丝袜在线中文字幕| 视频区欧美日本亚洲| www.熟女人妻精品国产| 波多野结衣高清无吗| 色播亚洲综合网| 正在播放国产对白刺激| 老司机靠b影院| 99国产精品一区二区蜜桃av| 级片在线观看| 啦啦啦免费观看视频1| av福利片在线| 激情在线观看视频在线高清| 欧美黑人欧美精品刺激| 国产区一区二久久| 亚洲国产高清在线一区二区三 | 一进一出好大好爽视频| 国产麻豆69| 亚洲中文字幕日韩| 免费女性裸体啪啪无遮挡网站| xxx96com| 美女免费视频网站| 欧美色视频一区免费| 美女国产高潮福利片在线看| 变态另类丝袜制服| 成人三级做爰电影| 女同久久另类99精品国产91| 露出奶头的视频| 99久久综合精品五月天人人| 亚洲欧美激情在线| 国产精品精品国产色婷婷| 欧美大码av| 在线视频色国产色| 香蕉国产在线看| 欧美日韩精品网址| 欧美日本中文国产一区发布| 欧美久久黑人一区二区| 免费高清视频大片| 色综合婷婷激情| 大陆偷拍与自拍| 久久精品亚洲精品国产色婷小说| 大型av网站在线播放| 成人国产综合亚洲| 国产成人影院久久av| 成人特级黄色片久久久久久久| 禁无遮挡网站| 亚洲专区中文字幕在线| 男人操女人黄网站| 国产精品98久久久久久宅男小说| 国产一卡二卡三卡精品| 国产精品免费一区二区三区在线| 无人区码免费观看不卡| 97人妻天天添夜夜摸| 亚洲无线在线观看| 国产人伦9x9x在线观看| 国产精品久久久av美女十八| 欧美日韩一级在线毛片| 变态另类成人亚洲欧美熟女 | www.精华液| 美女午夜性视频免费| 成年女人毛片免费观看观看9| 国产精品99久久99久久久不卡| 色婷婷久久久亚洲欧美| 国产免费av片在线观看野外av| 桃色一区二区三区在线观看| 亚洲电影在线观看av| av视频在线观看入口| 国产成人精品久久二区二区免费| 免费少妇av软件| 欧美人与性动交α欧美精品济南到| 欧美精品啪啪一区二区三区| 琪琪午夜伦伦电影理论片6080| 天堂影院成人在线观看| 午夜影院日韩av| 一进一出抽搐动态| 日本黄色视频三级网站网址| cao死你这个sao货| 久久国产亚洲av麻豆专区| 国产av一区二区精品久久| 女人精品久久久久毛片| 精品国产超薄肉色丝袜足j| 亚洲黑人精品在线| 欧美激情久久久久久爽电影 | 成年女人毛片免费观看观看9| 999精品在线视频| 18美女黄网站色大片免费观看| 中文字幕精品免费在线观看视频| 日韩三级视频一区二区三区| 黄色丝袜av网址大全| 国产精品香港三级国产av潘金莲| 精品无人区乱码1区二区| 久久欧美精品欧美久久欧美| 中文字幕色久视频| 国产精品久久久久久精品电影 | 女人被躁到高潮嗷嗷叫费观| 亚洲人成电影免费在线| 精品一区二区三区视频在线观看免费| 久久精品91无色码中文字幕| 成人国产综合亚洲| 日韩视频一区二区在线观看| 久久国产精品人妻蜜桃| 国产高清激情床上av| 国产精品亚洲av一区麻豆| 国产精品影院久久| 99香蕉大伊视频| 国产99白浆流出| 99riav亚洲国产免费| 丝袜在线中文字幕| 成人国语在线视频| 久久青草综合色| 久久久久久久午夜电影| 欧美国产精品va在线观看不卡| 一个人观看的视频www高清免费观看 | 最好的美女福利视频网| 国产精品久久电影中文字幕| 欧美黑人欧美精品刺激| 久久精品国产综合久久久| 亚洲一码二码三码区别大吗| 精品一区二区三区视频在线观看免费| 免费在线观看亚洲国产| 欧美黑人精品巨大| 啦啦啦韩国在线观看视频| 国产精品自产拍在线观看55亚洲| 97人妻天天添夜夜摸| 久久午夜亚洲精品久久| 国产男靠女视频免费网站| 美女扒开内裤让男人捅视频| 十八禁网站免费在线| 欧美日本视频| 夜夜爽天天搞| 久久久久久人人人人人| 婷婷丁香在线五月| 国产精品二区激情视频| 好看av亚洲va欧美ⅴa在| av超薄肉色丝袜交足视频| 久久婷婷成人综合色麻豆| 桃色一区二区三区在线观看| 色综合亚洲欧美另类图片| 成人欧美大片| 亚洲av熟女| 亚洲电影在线观看av| x7x7x7水蜜桃| 两个人免费观看高清视频| 九色国产91popny在线| 在线免费观看的www视频| 欧美大码av| 黄片小视频在线播放| www.熟女人妻精品国产| 99国产精品免费福利视频| 精品久久久精品久久久| 午夜福利在线观看吧| 国产欧美日韩一区二区三区在线| 欧美成人免费av一区二区三区| 欧美黄色片欧美黄色片| 黑人操中国人逼视频| 亚洲五月天丁香| 国产高清视频在线播放一区| 少妇的丰满在线观看| 国产精品免费一区二区三区在线| netflix在线观看网站| 亚洲国产精品成人综合色| 亚洲精品在线美女| 波多野结衣一区麻豆| 亚洲成人久久性| 别揉我奶头~嗯~啊~动态视频| 久久精品91蜜桃| 精品国产一区二区久久| 两个人免费观看高清视频| 国产高清videossex| 一区二区日韩欧美中文字幕| 亚洲男人的天堂狠狠| 日本 av在线| 日韩欧美在线二视频| 国产蜜桃级精品一区二区三区| 午夜成年电影在线免费观看| 午夜福利欧美成人| 国产亚洲欧美精品永久| 国产免费av片在线观看野外av| 制服人妻中文乱码| avwww免费| 色av中文字幕| 国产又色又爽无遮挡免费看| 亚洲国产中文字幕在线视频| 一a级毛片在线观看| 国产亚洲欧美精品永久| 午夜a级毛片| 久久久久精品国产欧美久久久| 午夜福利,免费看| 搡老熟女国产l中国老女人| www.www免费av| 亚洲少妇的诱惑av| 两个人看的免费小视频| 性色av乱码一区二区三区2| 999久久久精品免费观看国产| 国产单亲对白刺激| 老汉色av国产亚洲站长工具| 国产精品国产高清国产av| 久99久视频精品免费| 日本 av在线| 波多野结衣巨乳人妻| a级毛片在线看网站| 91字幕亚洲| www.熟女人妻精品国产| 亚洲人成77777在线视频| 女同久久另类99精品国产91| 国产97色在线日韩免费| 亚洲成av片中文字幕在线观看| 日韩国内少妇激情av| 99在线视频只有这里精品首页| 午夜福利欧美成人| 99国产精品99久久久久| 午夜福利在线观看吧| 女人高潮潮喷娇喘18禁视频| 久久人妻av系列| 少妇裸体淫交视频免费看高清 | 国产aⅴ精品一区二区三区波| 成人亚洲精品一区在线观看| 国产精品免费视频内射| 亚洲成a人片在线一区二区| 宅男免费午夜| 中文字幕精品免费在线观看视频| 一区在线观看完整版| 国产真人三级小视频在线观看| 亚洲色图综合在线观看| 色精品久久人妻99蜜桃| av中文乱码字幕在线| 久久人人爽av亚洲精品天堂| 最近最新中文字幕大全免费视频| 欧美一区二区精品小视频在线| 亚洲国产精品久久男人天堂| 亚洲性夜色夜夜综合| 国产午夜福利久久久久久| 色av中文字幕| 亚洲av美国av| 国产成人免费无遮挡视频| 国产精品av久久久久免费| 国产乱人伦免费视频| 大香蕉久久成人网| 色哟哟哟哟哟哟| 99久久国产精品久久久| 亚洲美女黄片视频| 亚洲精品国产一区二区精华液| 国产一卡二卡三卡精品| 亚洲色图综合在线观看| 性色av乱码一区二区三区2| 国产精品综合久久久久久久免费 | 999久久久国产精品视频| 国产高清videossex| 免费女性裸体啪啪无遮挡网站| 一进一出抽搐gif免费好疼| 法律面前人人平等表现在哪些方面| 成在线人永久免费视频| 国产成人欧美| 国产片内射在线| 51午夜福利影视在线观看| 午夜视频精品福利| 国产精品一区二区在线不卡| 一夜夜www| 日韩精品青青久久久久久| 91老司机精品| 国产精品 国内视频| 亚洲成人精品中文字幕电影| 国产精品野战在线观看| 一本久久中文字幕| 日韩精品免费视频一区二区三区| 黑人操中国人逼视频| 一区在线观看完整版| 在线永久观看黄色视频| 欧美性长视频在线观看| 非洲黑人性xxxx精品又粗又长| 欧美老熟妇乱子伦牲交|