蔣芙蓉,趙靜文,劉翔,石蘊(yùn)玉,湯顯,宋家琳
1.上海工程技術(shù)大學(xué)電子電氣工程學(xué)院,上海 201620;2.第二軍醫(yī)大學(xué)附屬長(zhǎng)征醫(yī)院超聲科,上海 200003
癌癥是全球主要的死亡原因之一。據(jù)國(guó)際癌癥研究機(jī)構(gòu)(IARC)統(tǒng)計(jì),2020年全球有1 929 萬例新病例,996 萬例與癌癥相關(guān)的死亡。到2040年,預(yù)計(jì)每年新增病例數(shù)將達(dá)到2 950 萬,與癌癥相關(guān)的死亡人數(shù)將達(dá)到1 640萬[1]。外科病理學(xué)報(bào)告不僅是簡(jiǎn)單記錄或刻板印證臨床猜想的一種手段,對(duì)于腫瘤病理學(xué)而言,它是診斷的主宰因素和確定治療方案的一個(gè)重要決策因素[2],因此,組織病理診斷是臨床診斷的金標(biāo)準(zhǔn)[3-5]。但是,在顯微鏡下觀察組織病理圖像并給出診斷的方式是有誤差的,主要原因有(1)長(zhǎng)時(shí)間的閱片使得病理醫(yī)師不堪重負(fù)[6];(2)診斷主要依靠醫(yī)師的主觀經(jīng)驗(yàn)[7-8];(3)有資質(zhì)的病理醫(yī)師配備數(shù)目極少且分布不均。
近年來,計(jì)算機(jī)應(yīng)用的蓬勃發(fā)展促進(jìn)了計(jì)算機(jī)輔助診斷(Computer-Aided Diagnosis, CAD)病理圖像的興起,利用CAD 既可以遵循統(tǒng)一的量化評(píng)價(jià)標(biāo)準(zhǔn),大大減輕病理醫(yī)師的負(fù)擔(dān),同時(shí)也可以解決醫(yī)療資源地區(qū)分布不平衡的問題。近年來,該領(lǐng)域涌現(xiàn)出大量的研究成果,本研究將對(duì)此進(jìn)行梳理總結(jié)。
在臨床醫(yī)學(xué)中,CT、MRI及超聲圖像是醫(yī)生診斷病情并給出治療建議的常用依據(jù)。由于組織病理圖像信息量更豐富、形態(tài)特征更明顯,因而成為病理醫(yī)師臨床診斷的金標(biāo)準(zhǔn)。圖1從診斷病理學(xué)的角度揭示了從組織病理到診斷的工作流程,理解這一過程對(duì)于自動(dòng)化分析病理圖像至關(guān)重要[9]。
圖1 組織病理學(xué)工作流程圖Figure 1 Histopathology workflow diagram
隨著數(shù)字病理掃描儀和計(jì)算機(jī)技術(shù)的發(fā)展,WSI已逐漸取代傳統(tǒng)切片成為病理學(xué)家診斷病情的依據(jù)。傳統(tǒng)切片的診斷流程一般是醫(yī)生通過顯微鏡觀察病理切片的組織區(qū)域并給出診斷,這種方式需要病理醫(yī)生不斷調(diào)整顯微鏡視野去支持診斷結(jié)論[10]。WSI是通過石蠟組織切片之后進(jìn)行染色,再利用全自動(dòng)顯微鏡掃描平臺(tái)得到。其中,染色方法一般為蘇木精-伊紅染色法,這是一種由堿性染液蘇木精和酸性染液伊紅構(gòu)成的染色方法,主要應(yīng)用于生物醫(yī)學(xué)。蘇木精使細(xì)胞核內(nèi)的染色質(zhì)與胞質(zhì)內(nèi)的核酸著紫藍(lán)色,伊紅使細(xì)胞質(zhì)和細(xì)胞外基質(zhì)中的成分著紅色。病理醫(yī)師主要根據(jù)細(xì)胞核的形態(tài)及分布進(jìn)行病理學(xué)診斷[11]。
WSI通常以多分辨率金字塔結(jié)構(gòu)存儲(chǔ),放大倍率從1 至40 不等(圖2)[12]。與傳統(tǒng)切片圖像相比,WSI具有以下優(yōu)點(diǎn):(1)載玻片的數(shù)字化使得病理醫(yī)師可在計(jì)算機(jī)上而不是通過顯微鏡觀察病理圖像,打破時(shí)間和空間的限制,促使遠(yuǎn)程會(huì)診成為可能;(2)WSI 可永久保存,彌補(bǔ)了玻璃切片易褪色、易碎的缺陷;(3)WSI 分辨率高,色彩逼真,可從中觀察出豐富的病理信息[13-15]。然而,圖像文件包含原始圖像的多個(gè)縮減采樣版本,且尺寸較大,病變區(qū)域在低倍率下難以分辨,在高倍率下處理相當(dāng)耗時(shí)。因此,實(shí)現(xiàn)WSI的全自動(dòng)處理和分析仍是一個(gè)技術(shù)難題[16]。
圖2 金字塔式WSIFigure 2 Pyramid whole slide image
隨著計(jì)算機(jī)技術(shù)的普及,人工智能已滲透入生活的許多方面,醫(yī)療領(lǐng)域更是如此。數(shù)年前,疾病診斷主要依靠病理學(xué)家獨(dú)立完成,高強(qiáng)度的顯微鏡閱片方式使醫(yī)師不堪重負(fù),并且受醫(yī)生主觀經(jīng)驗(yàn)影響,最終的診斷結(jié)果也因人而異。相比之下,CAD 以其準(zhǔn)確率高、便捷惠民、解放人力等優(yōu)勢(shì)促進(jìn)了智慧醫(yī)療的蓬勃發(fā)展,越來越多的學(xué)者也投身于CAD 在病理圖像方面的研究。一般而言,組織病理圖像的輔助診斷和其他醫(yī)療影像類似,主要分階段進(jìn)行,大致分為以下幾個(gè)步驟:(1)圖像預(yù)處理;(2)感興趣區(qū)域分割;(3)特征提取與選擇;(4)疾病分類。本研究主要對(duì)感興趣區(qū)域分割和疾病分類兩大任務(wù)中的研究進(jìn)展進(jìn)行梳理歸納。
鑒于病理學(xué)家利用病理圖像診斷病情的步驟,在機(jī)器學(xué)習(xí)領(lǐng)域,CAD 首先需準(zhǔn)確分割出病變區(qū)域,即感興趣區(qū)域,以便后期進(jìn)行分類診斷。在病理學(xué)圖像中,染色使不同的細(xì)胞結(jié)構(gòu)呈現(xiàn)不同的顏色。細(xì)胞核是組織病理學(xué)中的感興趣區(qū)域,因此常常以細(xì)胞核的形態(tài)變化作為病變分類的主要參考依據(jù)。目前,機(jī)器學(xué)習(xí)在這一任務(wù)中的方式主要有: 弱監(jiān)督、有監(jiān)督、無監(jiān)督。
Jia等[17]提出一種弱監(jiān)督學(xué)習(xí)算法來分割癌癥區(qū)域,在多實(shí)例學(xué)習(xí)框架下,引入關(guān)于正例的約束條件,用全卷積網(wǎng)絡(luò)分割癌變區(qū)域,該實(shí)驗(yàn)的F-score為0.622,性能超越先前的方法。Cui等[18]提出一種有監(jiān)督的全卷積神經(jīng)網(wǎng)絡(luò),首先對(duì)圖像進(jìn)行顏色歸一化和分割為小塊的預(yù)處理;其次提出核-邊界模型用于檢測(cè)每個(gè)小塊,經(jīng)由拼接得到粗糙的預(yù)測(cè)結(jié)果;最后運(yùn)用快速和非參數(shù)的后處理得到精確的細(xì)胞核分割結(jié)果。實(shí)驗(yàn)最終在數(shù)據(jù)集BCD 和BNC 上得到了優(yōu)越的量化指標(biāo),在BCD 數(shù)據(jù)集上的精準(zhǔn)率為0.942,在BNC 數(shù)據(jù)集上的精準(zhǔn)率為0.920。Moriya 等[19]提出一種將無監(jiān)督學(xué)習(xí)和常規(guī)聚類相結(jié)合的方法,首先采用球形K-Means算法提取聚類質(zhì)心,其次將傳統(tǒng)的K-Means算法應(yīng)用于由質(zhì)心提取的表示,最終將聚類標(biāo)簽投影到目標(biāo)圖像。實(shí)驗(yàn)最終將肺癌標(biāo)本的70張圖像分割成3 類區(qū)域:浸潤(rùn)性癌、非侵入性癌及正常組織,所提出的方案優(yōu)于多閾值Otsu 和傳統(tǒng)的KMeans 方法,3 種方法的NMI 分別為0.626、0.167、0.168;其中,NMI 是度量聚類時(shí),X 和Y 的相似程度,值域?yàn)閇0,1 ],值越高代表聚類越準(zhǔn)確。
此外,分割算法的計(jì)算復(fù)雜度也成為廣大研究者的研究重點(diǎn),Sulimowicz 等[20]從4 個(gè)方面實(shí)現(xiàn)了更精確和更快的感興趣區(qū)域分割。(1)在使用從粗到細(xì)拓?fù)浔3址指钭鳛榛€的前提下,提出使用超像素規(guī)則性優(yōu)化方案來避免不規(guī)則和極小的超像素;(2)采用預(yù)測(cè)策略,僅聚焦于更精細(xì)圖像級(jí)別的重要超像素;(3)將從最粗糙的圖像級(jí)別獲取的信息重新運(yùn)用于其他精細(xì)的圖像級(jí)別;(4)采用高效的并行化方案,運(yùn)用自適應(yīng)數(shù)據(jù)劃分,從而得到較高的加速度。實(shí)驗(yàn)最終在數(shù)據(jù)集BSD500 和NLST 上進(jìn)行驗(yàn)證,結(jié)果表明該算法相較于基準(zhǔn)模型,速度提升了13倍。
作為病理圖像診斷的另一重要任務(wù),病理圖像分類可為醫(yī)師提供輔助意見,幫助醫(yī)生制定治療方案。同時(shí),疾病尤其是癌癥圖像的分類主要依靠病理醫(yī)師的主觀經(jīng)驗(yàn),不同的醫(yī)師可能會(huì)給出不同的診斷結(jié)果,因此實(shí)現(xiàn)病理圖像的自動(dòng)分類對(duì)CAD 至關(guān)重要。
基于梯度增強(qiáng)樹分類器和幾個(gè)常見深度神經(jīng)網(wǎng)絡(luò),Rakhlin 等[21]使用10 倍交叉驗(yàn)證,在數(shù)據(jù)集ICIAR 2018 Grand Challenge on Breast Cancer Histology Images 上得到優(yōu)于其他傳統(tǒng)方法的性能。為避免在大尺寸圖像上提取局部特征的弊端,Xu等[22]針對(duì)20 倍和40 倍放大倍數(shù)做提取斑塊處理,并丟棄只有白色背景的補(bǔ)丁,隨即將其輸入到AlexNet,提取特征向量,進(jìn)行特征選擇之后采用支持向量機(jī)進(jìn)行最終分類。
在處理大尺寸WSI 時(shí),大多研究將整張WSI 分塊輸入模型中,從而進(jìn)行分類;但這種基于塊的處理忽略了相鄰斑塊間的關(guān)系,因此會(huì)降低分類性能。為改善這種情況,Takahama 等[23]提出一種結(jié)合特征提取模型和分割模型的病理圖像分類模型,從分類模型中提取斑塊特征,繼而輸入分割模型中,得到腫瘤概率熱圖,此方法同時(shí)考慮了全局特征和局部信息,相比傳統(tǒng)的基于塊的分類方法,性能有所提高。
此外,基于片級(jí)的處理方式會(huì)帶來計(jì)算負(fù)擔(dān),并且疾病和健康類別的特征區(qū)分不明顯,甚至?xí)蚕韼讉€(gè)幾何特征。Li 等[24]提出一種分析綜合模型學(xué)習(xí)與共享特征算法,即引入聯(lián)合分析和綜合學(xué)習(xí)模型,將低秩共享字典和共享分析算子集成到該框架中,實(shí)現(xiàn)了計(jì)算簡(jiǎn)單的病例圖像分類。
雖然機(jī)器學(xué)習(xí)方法在一定程度上減輕了專業(yè)醫(yī)師的負(fù)擔(dān),診斷結(jié)果與專業(yè)病理學(xué)家相當(dāng)甚至有所超越,但前期的特征提取仍依靠人工完成。隨著深度學(xué)習(xí)的發(fā)展,可以省去人工提取特征的步驟,實(shí)現(xiàn)病理圖像端到端的全自動(dòng)診斷。深度學(xué)習(xí)發(fā)展至今,卷積神經(jīng)網(wǎng)絡(luò)一直是最常用的模型,只需將圖像及圖像標(biāo)簽輸入模型中進(jìn)行訓(xùn)練測(cè)試,便可輸出相應(yīng)的診斷結(jié)果。其中,基于AlexNet[25]、VGGNet[26]、GoogLeNet[27]等網(wǎng)絡(luò)的病理圖像診斷取得了長(zhǎng)足發(fā)展。
Wang[28]選擇了27 層的GoogLeNet,通過塊級(jí)預(yù)測(cè)來區(qū)分腫瘤組織和正常組織,然后匯總進(jìn)行腫瘤概率熱圖的繪制,提取熱圖上的28 個(gè)幾何和形態(tài)學(xué)特征進(jìn)行計(jì)算,構(gòu)建隨機(jī)森林分類器,完成整張WSI的分類任務(wù),同時(shí)還可定位腫瘤所在部位。此外,實(shí)驗(yàn)在WSI 的40 倍放大倍數(shù)下獲得了最佳性能,AUC為0.925。Motlagh等[29]首先利用ResNet V1 50實(shí)現(xiàn)4種類型癌癥的檢測(cè)分類,其次采用ResNet V1 50 和ResNet V1 152分別對(duì)良性腫瘤和惡性腫瘤實(shí)現(xiàn)亞型分類。在實(shí)驗(yàn)環(huán)節(jié),和Inception 網(wǎng)絡(luò)做對(duì)比評(píng)價(jià),總結(jié)得出Inception 網(wǎng)絡(luò)更適用于組織病理圖像的自動(dòng)分類。為不改變模型結(jié)構(gòu),Spanhol 等[30]提出一種基于斑塊分類再聚合的策略,即對(duì)輸入圖像做一定修改,隨即輸入到AlexNet 中,表現(xiàn)出比傳統(tǒng)學(xué)習(xí)更優(yōu)異的性能,也避免了模型修改的計(jì)算代價(jià)。
在實(shí)踐中,病理學(xué)家一般會(huì)在圖像的多個(gè)放大級(jí)別下切換,以準(zhǔn)確評(píng)估疾病類型。然而在深度學(xué)習(xí)中,圖像一般在輸入到卷積神經(jīng)網(wǎng)絡(luò)模型前就已固定好放大倍數(shù),此流程與病理醫(yī)師診斷流程不一致,有可能會(huì)造成誤判[31]。Lao等[32]集成多個(gè)放大級(jí)別的圖像構(gòu)建圖像集,采用成熟的ResNet 網(wǎng)絡(luò)對(duì)BreakHis 數(shù)據(jù)集進(jìn)行CAD。實(shí)驗(yàn)證明,此方法的分類準(zhǔn)確率高于任一種固定放大級(jí)別的性能。
視覺注意力機(jī)制是人類視覺所特有的大腦信號(hào)處理機(jī)制。人類視覺通過快速掃描全局圖像,獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域,然后對(duì)這一區(qū)域投入更多注意力資源,以獲取更多所需要關(guān)注目標(biāo)的細(xì)節(jié)信息,抑制其他無用信息。近年來,注意力機(jī)制在深度學(xué)習(xí)多個(gè)領(lǐng)域被廣泛使用,醫(yī)學(xué)診斷領(lǐng)域也不例外[33]。Sun 等[34]開發(fā)了一種聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的網(wǎng)絡(luò)模型,突出局部的形態(tài)學(xué)特征,此舉可有效提供診斷依據(jù);最后采用10倍交叉驗(yàn)證,使用3 個(gè)常見的指標(biāo)(Accuracy、Sensitivity、Specificity)量化評(píng)估結(jié)果,總體性能超過3位副主任醫(yī)師的診斷結(jié)果。Mehta 等[35]基于注意力機(jī)制提出HATNet 結(jié)構(gòu),通過擴(kuò)展單詞包模型來學(xué)習(xí)全局表示;該方法通過匯集局部和全局的信息,使得網(wǎng)絡(luò)能夠在無標(biāo)記情況下學(xué)習(xí)到圖像特征以進(jìn)行分類。
不可避免地,在病理圖像數(shù)據(jù)收集層面,類別分布可能會(huì)不平衡。因此Momeni 等[36]提出Deep Recurrent Attention Module(DRAM),該模型在每個(gè)時(shí)間點(diǎn)t,有選擇地聚焦在大塊區(qū)域中的一個(gè)給定位置(一瞥),然后模型從這個(gè)一瞥中提取特征,更新其內(nèi)部狀態(tài),并選擇下一個(gè)要關(guān)注的位置。這個(gè)過程重復(fù)固定數(shù)量的步驟,在此期間,模型以一致的方式遞增地組合信息??傮w架構(gòu)可分解成由多層神經(jīng)網(wǎng)絡(luò)組成的多個(gè)子組件,其中每個(gè)子組件將一些輸入向量映射成輸出向量,最后實(shí)現(xiàn)匯總分類。實(shí)驗(yàn)證明,通過選擇性地選擇聚焦位置,DRAM 可實(shí)現(xiàn)與最先進(jìn)的算法[37-39]有相當(dāng)?shù)男阅堋?/p>
為了能針對(duì)誤標(biāo)記的病理圖像,提高診斷準(zhǔn)確性,Li 等[40]提出反向主動(dòng)學(xué)習(xí)策略來去除訓(xùn)練集中的誤標(biāo)記補(bǔ)丁,其次提出用于分類的atrous DenseNet網(wǎng)絡(luò),將DenseNet 的普通卷積替換為atrous 卷積,實(shí)現(xiàn)多尺度特征提取。
針對(duì)組織病理圖像較復(fù)雜的特點(diǎn),越來越多的研究?jī)A向使用多種網(wǎng)絡(luò)結(jié)構(gòu)集成的概念,以結(jié)合不同模型的優(yōu)勢(shì)。Hashimoto 等[41]提出一個(gè)集多尺度、區(qū)域?qū)购投鄬?shí)例于一體的端到端系統(tǒng),以實(shí)現(xiàn)癌癥疾病的亞型分類,其性能明顯優(yōu)于其他病理專家和常規(guī)卷積神經(jīng)網(wǎng)絡(luò)方法。Alom 等[42]提出Inception Recurrent Residual Convolutional Neural Network(IRRCNN)模型,該模型融合了Inception-v4、ResNet 及RCNN 的優(yōu)勢(shì),在BreakHis 和Breast Cancer Classification Challenge 2015 兩個(gè)公開數(shù)據(jù)集上獲得了優(yōu)異的性能。
雖然公開數(shù)據(jù)集的存在使得病理圖像的輔助診斷有較為統(tǒng)一的評(píng)價(jià)對(duì)比,但數(shù)據(jù)集規(guī)模仍較小,難以支撐深度學(xué)習(xí)對(duì)于大規(guī)模標(biāo)注數(shù)據(jù)的需求。除了常見的數(shù)據(jù)增強(qiáng)預(yù)處理方法外,在實(shí)際的輔助診斷進(jìn)程中,新興的遷移學(xué)習(xí)方法也廣泛應(yīng)用于病理診斷領(lǐng)域。
然而,經(jīng)典的AlexNet、VggNet層數(shù)較少,現(xiàn)代的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層數(shù)越來越多,且層級(jí)連接也更為復(fù)雜,如ResNet和DenseNet。因此,隨之而來的研究和嘗試也促進(jìn)了深度學(xué)習(xí),甚至是遷移學(xué)習(xí)的發(fā)展。
ResNet 引入跳躍連接,避免了神經(jīng)網(wǎng)絡(luò)訓(xùn)練在層數(shù)太多時(shí)導(dǎo)致的信息丟失,解決了梯度消失和信息爆炸的問題。另外,大多病理組織圖像為彩色圖像,使用ResNet可以學(xué)習(xí)到顏色和文本特征,利于分類[46]。DenseNet 中的Dense Block 模塊利用了該模塊中前面所有層的信息,即每一個(gè)layer 都和前面的layer 稠密連接,通過這一連接方式,增加了梯度的傳遞,特征得到了重用,相比ResNet擁有更少的參數(shù)數(shù)量,甚至減少了在小樣本數(shù)據(jù)上的過擬合[47]。Talo等[48]使用預(yù)先訓(xùn)練好的DenseNet-161 及ResNet-50模型,分別用于灰色和彩色病理圖像的分類,該研究還發(fā)現(xiàn)彩色病理圖像相比灰色病理圖像的分類準(zhǔn)確率高出1個(gè)百分點(diǎn),原因是DenseNet只學(xué)習(xí)到文本特征,而ResNet額外學(xué)習(xí)了顏色特征。
隨著各種成像技術(shù)的興起和自動(dòng)診斷需求的上升,醫(yī)學(xué)圖像檢索成為生物醫(yī)學(xué)工程領(lǐng)域一項(xiàng)富有挑戰(zhàn)性的任務(wù)?;趦?nèi)容的圖像檢索和基于文本的圖像檢索是醫(yī)學(xué)圖像檢索中最流行的辦法,但是基于文本關(guān)鍵字的檢索方法在應(yīng)對(duì)大規(guī)模醫(yī)學(xué)數(shù)據(jù)時(shí)有局限性,也對(duì)人工標(biāo)記有很大要求;基于內(nèi)容的圖像檢索由于關(guān)注圖像的實(shí)際視覺內(nèi)容,因而具有更強(qiáng)的客觀性[49]。在病理圖像檢索層面,基于內(nèi)容的組織病理圖像檢索是廣大研究者關(guān)注的熱點(diǎn)。組織病理圖像檢索是通過提取病理圖像的形態(tài)結(jié)構(gòu)信息,從數(shù)字病理庫(kù)中查找在圖像內(nèi)容上與醫(yī)生提供的感興趣區(qū)域最相似的圖像區(qū)域,并將圖像區(qū)域所在的病例返回給醫(yī)生,醫(yī)生可以逐一查看檢索返回的相似區(qū)域,同時(shí)參考相似病例的專家診斷意見,幫助醫(yī)生更全面地了解查詢圖像包含的病變情況,做出更可靠的診斷[50]。
為提高整體的檢索精度,李?。?1]提出粒子群-核極限學(xué)習(xí)機(jī)算法,利用粒子群算法[52]來優(yōu)化核極限學(xué)習(xí)機(jī)中的參數(shù),然后進(jìn)行預(yù)分類,綜合顏色和紋理特征進(jìn)行病理圖像檢索,最后調(diào)用MATLAB GUI 界面構(gòu)建病理圖像檢索的一體化平臺(tái)。
經(jīng)典的底層特征雖具有不錯(cuò)的可解釋性,但難以區(qū)別不同的病變類別。為提高檢索精度,Caicedo等[53]將用于文本分析的詞袋模型應(yīng)用到組織病理圖像檢索領(lǐng)域,底層特征映射到高層特征,有效地提高檢索準(zhǔn)確率。此外,其他成像方式的檢索也可應(yīng)用上述方法,如Kamath 等[54]將詞袋模型應(yīng)用到X-ray圖像檢索,利用具有旋轉(zhuǎn)不變性的加速穩(wěn)健特征算法進(jìn)行特征提取以構(gòu)建視覺詞匯,繼而采用K-means算法排除無關(guān)特征,最終保留下最魯棒的80%特征;對(duì)于每個(gè)特征包編碼,計(jì)算視覺單詞的出現(xiàn)次數(shù),使用支持向量機(jī)多類分類器實(shí)現(xiàn)檢索功能,返回匹配圖像。采用以上方法檢索病理圖像由于基于浮點(diǎn)特征會(huì)導(dǎo)致時(shí)間復(fù)雜度較大。為提高深度學(xué)習(xí)的可解釋性和檢索效率,受病理學(xué)家決策過程的啟發(fā),Peng等[55]設(shè)計(jì)了一個(gè)面向分類和檢索的多任務(wù)學(xué)習(xí)框架。通過添加三重?fù)p失函數(shù)比較樣本間距離,采用柯西哈希損失函數(shù)加速最近鄰搜索,此方式直觀且易被理解,檢索得到10 張最相似圖像可以有效支持醫(yī)師進(jìn)行臨床決策。從概念上而言,組織病理圖像檢索是一個(gè)可以為醫(yī)師提供輔助參考意見的決策平臺(tái)?;跈C(jī)器學(xué)習(xí)和深度學(xué)習(xí)診斷的輸出結(jié)果較為單一,難以為醫(yī)師提供充足的診斷證據(jù)。而組織病理圖像檢索的實(shí)用性和可解釋性卻更勝一籌,在流程上更加人性化,能提供相關(guān)參考意見,但醫(yī)生的工作壓力仍然很大。未來在自動(dòng)檢索方面如果可以發(fā)展一體化診斷治療平臺(tái),將會(huì)大大提高診斷效率。
人工智能在多個(gè)領(lǐng)域皆有應(yīng)用和發(fā)展,醫(yī)學(xué)領(lǐng)域也不例外。病理診斷作為臨床診斷的金標(biāo)準(zhǔn),是病理醫(yī)師提供診斷報(bào)告的最可靠的依據(jù),但人工診斷方式仍有較大的主觀性,缺乏統(tǒng)一的量化標(biāo)準(zhǔn)。計(jì)算機(jī)技術(shù)和成像技術(shù)的快速發(fā)展使得在計(jì)算機(jī)上觀察組織病理圖像成為可能,CAD 病理圖像也成為新的熱點(diǎn)及趨勢(shì)。本研究參照病理專家的常規(guī)診斷流程,按圖像類型、圖像處理及病理診斷等方面總結(jié)了以往的重要成果,同時(shí)也提出幾點(diǎn)改進(jìn)方向:(1)深度學(xué)習(xí)一直由于缺乏可解釋性而被稱為“黑匣子”,難以被醫(yī)學(xué)界理解接受,模擬病理醫(yī)師的診斷思路來設(shè)計(jì)CAD模型是必須的;(2)單一模型的性能相比多模型結(jié)合的性能仍有局限,若利用多種經(jīng)典模型并加以改進(jìn)會(huì)更有利于病理診斷;(3)生成對(duì)抗網(wǎng)絡(luò)在擴(kuò)充數(shù)據(jù)集層面已有大量應(yīng)用,在實(shí)際診斷方面的潛力仍待挖掘;(4)隨著各種移動(dòng)設(shè)備的興起,開發(fā)CAD的一體化平臺(tái)為大勢(shì)所趨??傊诮M織病理圖像的CAD 是一個(gè)需要長(zhǎng)期注入精力的領(lǐng)域。