• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      基于PL-EfficientNet 的糖尿病視網(wǎng)膜病變檢測(cè)研究

      2022-11-05 08:31:02白杰李艷萍
      電子設(shè)計(jì)工程 2022年21期
      關(guān)鍵詞:視網(wǎng)膜標(biāo)簽卷積

      白杰,張 賽,李艷萍

      (太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院,山西榆次 030600)

      糖尿病視網(wǎng)膜病變(DR)是導(dǎo)致人類失明的主要因素之一。在目前臨床診斷中,該疾病主要依賴眼科醫(yī)生對(duì)彩色眼底圖像進(jìn)行詳查后對(duì)患者的病情進(jìn)行評(píng)估[1]。大量的DR 患者受限于糖尿病患者數(shù)量龐大、地區(qū)醫(yī)療資源匱乏,無(wú)法得到及時(shí)的診斷與治療,從而錯(cuò)過(guò)了最佳的治療機(jī)會(huì),最終造成不可逆轉(zhuǎn)的視力損傷乃至失明的嚴(yán)重后果。此外,人工診斷的效果極度依賴臨床醫(yī)生的診治經(jīng)驗(yàn),部分醫(yī)生經(jīng)驗(yàn)不足等原因造成的誤診、漏診時(shí)有發(fā)生[2]。因此,提出一種利用圖像處理、模式識(shí)別以及機(jī)器學(xué)習(xí)等技術(shù)對(duì)彩色眼底圖像進(jìn)行自動(dòng)、準(zhǔn)確處理與分析的算法,是一項(xiàng)十分迫切的任務(wù)[3]。

      現(xiàn)有DR 檢測(cè)診斷算法大致分為兩類,第一類是基于傳統(tǒng)圖像特征提取方法,如文獻(xiàn)[4]利用形態(tài)學(xué)方法提取眼底圖像的病變特征,結(jié)合機(jī)器學(xué)習(xí)中SVM 分類器進(jìn)行分類;第二類是基于卷積神經(jīng)網(wǎng)絡(luò)的方法,如文獻(xiàn)[5],通過(guò)遷移學(xué)習(xí)引入ResNet 與Inception-ResNet-v2 網(wǎng)絡(luò)模型自動(dòng)診斷DR 病變程度,在Diabetic Retinopathy Detection 競(jìng)賽數(shù)據(jù)集上驗(yàn)證得到二次加權(quán)(Kappa)值為0.76。文獻(xiàn)[6]利用不同卷積神經(jīng)網(wǎng)絡(luò)做對(duì)比實(shí)驗(yàn),同樣在Diabetic Retinopathy Detection 競(jìng)賽數(shù)據(jù)集上驗(yàn)證,二次加權(quán)(Kappa)值達(dá)到了0.786。

      針對(duì)高質(zhì)量無(wú)標(biāo)簽眼底圖像利用率較低及DR不同病變等級(jí)之間特征差異小、模型難以捕捉所有分類微細(xì)節(jié)而造成診斷效率欠佳的問題,文中提出了PL-EfficientNet(Pseudo-Label EfficientNet) DR 檢測(cè)算法,引入高效網(wǎng)絡(luò)模型[7],通過(guò)半監(jiān)督偽標(biāo)簽技術(shù)[8],將無(wú)標(biāo)簽眼底圖像數(shù)據(jù)加入訓(xùn)練數(shù)據(jù)集,既有效防止過(guò)擬合的發(fā)生,又提高了模型的檢測(cè)及診斷效率,同時(shí)也避免了高質(zhì)量眼底圖像數(shù)據(jù)的浪費(fèi)。

      1 算法原理

      1.1 高效網(wǎng)絡(luò)

      為了提高DR 分類模型的診斷效率,文中將遷移學(xué)習(xí)技術(shù)引入高效模型,由于實(shí)驗(yàn)使用的眼底圖像數(shù)據(jù)集與ImageNet 數(shù)據(jù)集特征差異較大,因此對(duì)模型重新初始化訓(xùn)練。使用高效模型系統(tǒng)地研究了模型縮放,通過(guò)使用簡(jiǎn)單而高效的復(fù)合系數(shù)平衡網(wǎng)絡(luò)深度、寬度和分辨率,以實(shí)現(xiàn)更好的性能。與以往卷積神經(jīng)網(wǎng)絡(luò)相比,高效模型效率更佳[9]。

      一個(gè)卷積網(wǎng)絡(luò)層i可以定義為一個(gè)函數(shù)Yi=Fi(Xi),其中Fi是運(yùn)算函數(shù),Yi是輸出張量,Xi是輸入張量;張量維度為其中Hi和Wi是空間維度(分辨率),Ci是通道維度(寬度)。一個(gè)卷積網(wǎng)絡(luò)層N用組合表示為:

      在實(shí)際應(yīng)用中,卷積網(wǎng)絡(luò)層通常被劃分為多個(gè)階段,每個(gè)階段的所有層共享相同的架構(gòu)。例如,ResNet 有五個(gè)階段,每個(gè)階段的所有層都具有相同的卷積類型,但第一層執(zhí)行向下采樣。因此,可以將卷積神經(jīng)網(wǎng)絡(luò)定義為:

      式(2)中,表示在階段i中Fi被重復(fù)Li次,表示第i層輸入張量的類型,卷積空間維度逐漸縮小,但通道維度是擴(kuò)展的。設(shè)計(jì)卷積網(wǎng)絡(luò)層主要用于尋找最佳的層架構(gòu)Fi,模型縮放試圖擴(kuò)展網(wǎng)絡(luò)長(zhǎng)度Li、寬度Ci和分辨率Wi、Hi,但不更改基線網(wǎng)絡(luò)中預(yù)定義的Fi。通過(guò)固定Fi,模型縮放簡(jiǎn)化了新的資源約束的設(shè)計(jì)問題,但它仍然有一個(gè)大的設(shè)計(jì)空間,以探索不同的Li、Ci、Hi、Wi的每一層。為了進(jìn)一步縮小設(shè)計(jì)空間,使用復(fù)合系數(shù)φ統(tǒng)一擴(kuò)展網(wǎng)絡(luò)寬度、深度和分辨率,如式(3)-(5)所示:

      其中,α、β、γ是常量,由一個(gè)小網(wǎng)格搜索,分別代表深度、長(zhǎng)度和寬度,φ為規(guī)定的系數(shù),用來(lái)擴(kuò)展網(wǎng)絡(luò)大小。約束如式(6)、(7)所示:

      1.2 偽標(biāo)簽

      當(dāng)前DR 檢測(cè)算法中,多數(shù)學(xué)者采用監(jiān)督學(xué)習(xí)進(jìn)行研究,利用改進(jìn)的深度卷積網(wǎng)絡(luò)實(shí)現(xiàn)較優(yōu)的DR 檢測(cè)分類結(jié)果,而半監(jiān)督學(xué)習(xí)訓(xùn)練數(shù)據(jù)時(shí),同時(shí)存在標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)。偽標(biāo)簽技術(shù)則是使用無(wú)標(biāo)簽數(shù)據(jù)提高泛化性能。聚類假設(shè)指出,決策邊界應(yīng)位于低密度區(qū)域以提高泛化性能,而概率較高的數(shù)據(jù)點(diǎn)相同類別的可能性較大,因此偽標(biāo)簽具有較高的可信度[8]。偽標(biāo)簽流程如圖1 所示。

      圖1 偽標(biāo)簽流程圖

      為了提高算法的普遍適用性,實(shí)驗(yàn)使用53 576 幅高質(zhì)量無(wú)標(biāo)簽眼底圖像,其標(biāo)簽由完成預(yù)訓(xùn)練的EfficientNet-b4 及EfficientNet-b5 模型按不同權(quán)重預(yù)測(cè)得到。不同病變等級(jí)眼底圖像數(shù)量及采樣后各病變等級(jí)眼底圖像數(shù)量如表1 所示。

      表1 預(yù)測(cè)無(wú)標(biāo)簽數(shù)據(jù)病變等級(jí)

      由表1 可知,預(yù)測(cè)得到的眼底圖像各病變等級(jí)圖像數(shù)量分布極不平衡,針對(duì)這一問題,實(shí)驗(yàn)采用欠采樣抽樣方式平衡各病變等級(jí)圖像數(shù)量。

      2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

      2.1 數(shù)據(jù)集

      實(shí)驗(yàn)使用Kaggle國(guó)際競(jìng)賽中的Diabetic Retinopathy Detection(DR 2015)、Aptos 2019 Blindness Detection(DR 2019)競(jìng)賽數(shù)據(jù)集,其中DR 2015 數(shù)據(jù)集來(lái)自于免費(fèi)視網(wǎng)膜篩選平臺(tái)EyePacs,包括88 702 幅高分辨率彩色眼底圖像[10]。DR 2019 數(shù)據(jù)集來(lái)自于印度Aravind 眼科醫(yī)院,含有高質(zhì)量彩色眼底圖像5 580幅[11]。根據(jù)DR 不同病變類型,眼底圖像分為非增殖性糖尿病視網(wǎng)膜病(NPDR),如圖2(a)-(d)所示,以及增殖性糖尿病視網(wǎng)膜病(PDR),圖2(e)所示。

      圖2 糖尿病視網(wǎng)膜病變圖像

      為了解決眼底圖像中存在的偽影、失焦以及曝光不足或曝光過(guò)度等影響圖像像素強(qiáng)度值和引起誤差變化等情況,對(duì)原始數(shù)據(jù)集所有彩色眼底圖像進(jìn)行預(yù)處理[12]。

      2.2 歸一化預(yù)處理

      眼底圖像歸一化預(yù)處理過(guò)程:首先剔除損壞圖像,去除無(wú)信息黑色背景邊緣,對(duì)亮度不一的圖像進(jìn)行亮度均衡、對(duì)比度均衡處理[12]。實(shí)驗(yàn)將圖像輸入尺寸設(shè)置為256×256 像素。DR 圖像歸一化預(yù)處理前后對(duì)比圖如圖3 所示。

      圖3 歸一化預(yù)處理前后DR圖像對(duì)比圖

      針對(duì)數(shù)據(jù)集中各病變等級(jí)標(biāo)簽眼底圖像數(shù)量分布不平衡(如圖4 所示)的問題,采用數(shù)據(jù)增強(qiáng)方法擴(kuò)充數(shù)據(jù),從而提高模型的泛化性能。將圖像隨機(jī)旋轉(zhuǎn)(-180°,180°),同時(shí)進(jìn)行水平、垂直翻轉(zhuǎn)及移動(dòng),增加圖像數(shù)量少的樣本數(shù)量,解決數(shù)據(jù)不平衡的問題[13]。

      圖4 DR不平衡數(shù)據(jù)分布圖

      2.3 評(píng)價(jià)指標(biāo)

      Kappa 值是評(píng)價(jià)判斷一致性程度指標(biāo),同時(shí)也是描述診斷一致性較為理想的指標(biāo),在臨床試驗(yàn)中得到廣泛應(yīng)用[14]。在國(guó)際性競(jìng)賽中,平方加權(quán)值是評(píng)估模型的主要指標(biāo),它將線性加權(quán)的權(quán)值平方,放大距離大的兩個(gè)類別的判斷不一致程度:

      其中,i、j代表類別編號(hào),其差值代表兩個(gè)類別的距離。N為類別總數(shù),Wi,j代表放大的平方差值,Oi,j代表將第i類判別為第j類的個(gè)數(shù),Ei,j代表真實(shí)列表,由公式計(jì)算可得到平方加權(quán)Kappa 值(k),實(shí)驗(yàn)采用k值作為模型參考指標(biāo)。

      2.4 實(shí)驗(yàn)流程及設(shè)置

      為了使模型更加充分學(xué)習(xí)到眼底圖像深層次細(xì)節(jié)信息,實(shí)驗(yàn)對(duì)眼底圖像進(jìn)行預(yù)處理后通過(guò)數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù),重新初始化訓(xùn)練EfficientNet-b4 及EfficientNet-b5 模型,并使用DR 2019 標(biāo)簽數(shù)據(jù)進(jìn)行微調(diào),利用模型較優(yōu)性能預(yù)測(cè)DR 2015 測(cè)試集中53 576 幅無(wú)標(biāo)簽眼底圖像所對(duì)應(yīng)的標(biāo)簽,之后結(jié)合標(biāo)簽數(shù)據(jù)二次訓(xùn)練得到最優(yōu)模型及參數(shù)。

      實(shí)驗(yàn) 在Win10系統(tǒng)、GeForce GT-X 1080 Ti顯卡、Pytorch-GPU上進(jìn)行。采用CrossEntropyLoss 損失函數(shù)、SGD 優(yōu)化器,初始學(xué)習(xí)率設(shè)置為0.001,K 折交叉驗(yàn)證設(shè)置為3 折,Epoch 設(shè)置為150。

      2.5 實(shí)驗(yàn)結(jié)果對(duì)比分析

      1)高效模型與其他模型對(duì)比

      為了驗(yàn)證高效模型效率優(yōu)于其他先進(jìn)模型以及進(jìn)一步得出偽標(biāo)簽技術(shù)可以有效提高模型診斷效率的結(jié)論,設(shè)置多組對(duì)比實(shí)驗(yàn),各模型所得k值如表2所示。由表中數(shù)據(jù)可知,在相同實(shí)驗(yàn)環(huán)境下,各實(shí)驗(yàn)?zāi)P途〉幂^優(yōu)性能,但是EfficientNet 系列模型整體優(yōu)于RegNetY1_6GF 及其他模型,因此采用EfficientNet 系列模型進(jìn)行后續(xù)實(shí)驗(yàn)。與此同時(shí),證實(shí)了偽標(biāo)簽技術(shù)可有效優(yōu)化EfficientNet 系列模型性能,既提高了眼底圖像使用效率,又提升了檢測(cè)算法診斷準(zhǔn)確性。

      表2 高效模型與其他模型k 值對(duì)比

      2)與其他先進(jìn)算法對(duì)比

      為了證實(shí)所提算法在糖尿病視網(wǎng)膜病變檢測(cè)中的先進(jìn)性與有效性,使用k值作為評(píng)估指標(biāo),將所提算法與文獻(xiàn)[5-6,11,15-16]進(jìn)行比較,結(jié)果如表3 所示。所有算法均建立在Kaggle 公開競(jìng)賽數(shù)據(jù)集上進(jìn)行驗(yàn)證,所提算法k值達(dá)到0.918,優(yōu)于其他先進(jìn)算法,并優(yōu)于DR 2015、DR 2019 競(jìng)賽中的部分模型,證實(shí)該算法在DR 檢測(cè)中,可以得到更高的診斷準(zhǔn)確率。

      表3 文中模型與其他先進(jìn)模型k 值對(duì)比

      3 結(jié)論

      文中提出PL-EfficientNet糖尿病視網(wǎng)膜病變檢測(cè)算法,基于高效網(wǎng)絡(luò)與偽標(biāo)簽技術(shù),為了克服DR不同病變等級(jí)之間特征差異小,模型難以捕捉分類微細(xì)節(jié)而造成效率欠佳以及高質(zhì)量無(wú)標(biāo)簽眼底圖像利用率低的問題,選用重新初始化權(quán)重的高效網(wǎng)絡(luò)模型,更容易提取眼底圖像病灶特征。利用偽標(biāo)簽技術(shù)融合無(wú)標(biāo)簽數(shù)據(jù),有效抑制模型過(guò)擬合,優(yōu)化模型性能。與其他先進(jìn)算法相比,該算法k值更優(yōu),模型魯棒性更佳,因此文中所提算法在實(shí)際臨床診斷應(yīng)用中比其他方法更具潛力。在后續(xù)工作中,將繼續(xù)改進(jìn)及完善該算法,實(shí)現(xiàn)更高的檢測(cè)診斷效率,并擴(kuò)展其使用領(lǐng)域。

      猜你喜歡
      視網(wǎng)膜標(biāo)簽卷積
      深度學(xué)習(xí)在糖尿病視網(wǎng)膜病變?cè)\療中的應(yīng)用
      基于3D-Winograd的快速卷積算法設(shè)計(jì)及FPGA實(shí)現(xiàn)
      家族性滲出性玻璃體視網(wǎng)膜病變合并孔源性視網(wǎng)膜脫離1例
      高度近視視網(wǎng)膜微循環(huán)改變研究進(jìn)展
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      無(wú)懼標(biāo)簽 Alfa Romeo Giulia 200HP
      車迷(2018年11期)2018-08-30 03:20:32
      不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
      海峽姐妹(2018年3期)2018-05-09 08:21:02
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      復(fù)明片治療糖尿病視網(wǎng)膜病變視網(wǎng)膜光凝術(shù)后臨床觀察
      標(biāo)簽化傷害了誰(shuí)
      贵港市| 象州县| 东平县| 长岛县| 云安县| 三明市| 大宁县| 庆安县| 仁寿县| 东乌珠穆沁旗| 保亭| 乐陵市| 图木舒克市| 荣成市| 商水县| 虞城县| 儋州市| 枣庄市| 彩票| 荥经县| 饶阳县| 博罗县| 安仁县| 固原市| 天柱县| 尚义县| 平山县| 霍城县| 宜兴市| 珠海市| 广汉市| 祁连县| 天镇县| 克什克腾旗| 沁阳市| 庆元县| 三河市| 中卫市| 南丰县| 广平县| 东安县|