基于深度遷移學(xué)習(xí)的甲狀腺癌術(shù)中冷凍切片病理診斷模型研究

嚴丹丹,饒 潔,尹修恒,鞠仙莉,黃奧玲,陳正卓,夏良兵,袁靜萍

甲狀腺癌是常見的惡性腫瘤,發(fā)病率較高。根據(jù)甲狀腺癌的病理組織學(xué)類型,可分為乳頭狀癌、濾泡狀癌、髓樣癌和未分化癌四種,其中乳頭狀癌的發(fā)病率最高(約占80%)[1]。盡管大多數(shù)甲狀腺癌患者術(shù)后預(yù)后較好,但仍有10%患者死于復(fù)發(fā)或轉(zhuǎn)移[1]。術(shù)中冷凍HE切片病理診斷是甲狀腺疾病術(shù)中病理診斷的重要手段,病理醫(yī)師需在30 min內(nèi)對病變的類型及性質(zhì)進行判斷,其病理診斷結(jié)果對指導(dǎo)病灶切除范圍和制定精確的手術(shù)治療方案具有重要意義。在以往的術(shù)中冷凍HE切片病理診斷過程中,由于診斷時間限制和(或)診斷經(jīng)驗不足,甲狀腺惡性腫瘤存在漏診、誤診的可能。

隨著人工智能(artificial intelligence, AI)的發(fā)展,一些學(xué)者將深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用于肺癌、前列腺癌、乳腺癌和胃癌的數(shù)字病理切片圖像分析中,已經(jīng)證明深度學(xué)習(xí)是開發(fā)病理輔助診斷模型的有力工具[2]。深度遷移學(xué)習(xí)是一種重要的機器學(xué)習(xí)技術(shù),它可以在數(shù)據(jù)缺乏或時間緊迫等情況下利用已有的知識和經(jīng)驗來解決建模問題。深度遷移學(xué)習(xí)通常將已建立的模型定義為初始模型,使用另一個領(lǐng)域已標注的數(shù)據(jù)對其進行二次訓(xùn)練,從而實現(xiàn)“遷移”學(xué)習(xí)的效果。通過將一個領(lǐng)域中已經(jīng)學(xué)習(xí)到的知識應(yīng)用于另一個領(lǐng)域,深度遷移學(xué)習(xí)可以加速模型的訓(xùn)練、提高模型的性能和泛化能力[3]。本文采用乳腺疾病術(shù)中冷凍HE切片病理圖像診斷模型作為初始值,使用少量甲狀腺術(shù)中冷凍HE切片病理標注數(shù)據(jù)進行遷移學(xué)習(xí)。通過比較從零學(xué)習(xí)和遷移學(xué)習(xí)兩種模型的性能差異,以探索深度遷移學(xué)習(xí)在病理圖像分類中的有效性。

1 材料與方法

1.1 臨床資料收集2021年1月～2022年12月武漢大學(xué)人民醫(yī)院病理科682例甲狀腺疾病術(shù)中冷凍HE切片標本,包括245例良性病變、349例乳頭狀癌、70例濾泡狀癌、10例髓樣癌和8例未分化癌。所有切片均使用江豐KF-PRO-005掃描儀掃描成×20數(shù)字病理圖片(WSI),按照8 ∶2的比例分為訓(xùn)練集和內(nèi)部測試集,其中546張WSI用于模型訓(xùn)練,136張用于模型測試。訓(xùn)練集中有病變的圖片由具有15年病理診斷經(jīng)驗的高級職稱病理醫(yī)師進行像素級別的標注。此外,收集湖北省荊州市監(jiān)利縣人民醫(yī)院2019年1月～2021年12月甲狀腺疾病術(shù)中冷凍HE切片633例,包括良性病變210例、乳頭狀癌330、濾泡狀癌76例、髓樣癌8例、未分化癌9例,使用江豐KF-PRO-005掃描儀掃描成×20數(shù)字病理圖片作為外部測試集。

1.2 方法

1.2.1模型構(gòu)建 對于訓(xùn)練集和測試集中的所有數(shù)據(jù),按照本研究前期建立的方法[4],首先采用Otsu算法和形態(tài)學(xué)濾波技術(shù)過濾切片圖像的背景區(qū)域。然后,在20×視野下,以一定的步長將整張WSI按照580×580大小切割成圖像塊。在訓(xùn)練集中共生成859 662個陰性(不含癌區(qū)域)圖像塊和1 368 756個陽性(含癌區(qū)域)圖像塊,采用基于VGG算法建立甲狀腺疾病癌區(qū)識別分類模型,實現(xiàn)陽性區(qū)域與非陽性區(qū)域圖像的像素級識別。在模型訓(xùn)練過程中,將乳腺疾病術(shù)中冷凍HE切片圖像分類模型的參數(shù)作為初始值,通過深度遷移學(xué)習(xí)方法,納入甲狀腺疾病術(shù)中冷凍HE切片病理圖像數(shù)據(jù),對模型參數(shù)進行二次訓(xùn)練。在前期的乳腺疾病術(shù)中冷凍HE切片圖像模型訓(xùn)練中,其訓(xùn)練模型是基于牛津大學(xué)提出的VGG卷積神經(jīng)網(wǎng)絡(luò)模型,同時引入了拉普拉斯圖像增強和加權(quán)損失函數(shù)方法進行優(yōu)化的深度學(xué)習(xí)模型,該模型由1 412張乳腺HE切片訓(xùn)練,包括良性病變、原位癌、浸潤癌,訓(xùn)練后模型的準確率在訓(xùn)練集達88.7%、在測試集達82.27%[5]。在模型構(gòu)建過程中,訓(xùn)練集圖像塊經(jīng)過隨機旋轉(zhuǎn)和鏡像變換處理進行圖形增強,同時對圖像的亮度、飽和度、對比度和色調(diào)進行隨機擾動,以增強模型對不同切片染色效果的兼容性。

1.2.2模型測試 在預(yù)測過程中,輸入WSI經(jīng)過預(yù)處理后,提取所有有效HE圖像塊輸入模型。在模型得出圖像塊級別的預(yù)測概率后,標記病變發(fā)生位置的熱力圖。WSI級別分類階段的預(yù)測概率是從圖像塊級別分類階段的預(yù)測概率熱力圖中提取形成的。鑒于病理診斷更關(guān)注WSI級別的預(yù)測概率,在圖像塊分析完成后,取每張WSI像素級預(yù)測概率值最大的前100個概率值的均值作為整張WSI切片的預(yù)測概率。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法分類模型如圖1所示。

圖1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)VGG算法分類模型

1.3 指標評價為評估深度遷移學(xué)習(xí)的分類效果,本研究將內(nèi)部測試集和外部測試集中WSI級別的預(yù)測結(jié)果分別與原始分類標簽進行比較,提取真陽性(true positive, TP)、假陽性(false positive, FP)、假陰性(false negative, FN)和真陰性(true negative, TN)四格表資料數(shù)據(jù),以Accuracy、Precision、Recall、F1-socre值4個指標來評價其性能。其中Accuracy代表正確預(yù)測的樣本占總樣本的百分比,Accuracy=(TP+TN)/(TP+TN+FP+FN);Precision代表預(yù)測為某一類的樣本中真正該樣本的百分比,即查準率Precision=TP/(TP+FP);Recall代表樣本中的某一類樣本預(yù)測正確的百分比,即查全率Recall=TP/(TP+FN);F1-Score是綜合評估查準率和查全率的指標,F1-socre=2×Recall×Precision/(Recall+Precision)。

此外,為評價模型的總體分類效果和應(yīng)用價值,本研究采用ROC曲線下面積(area under curve, AUC)作為指標。AUC值0.5～0.7時準確性較低,AUC值0.7～0.9時準確性一般,AUC值0.9以上時準確性較高,AUC值越接近于1,說明分類總體效果越好。

2 結(jié)果

2.1 深度遷移學(xué)習(xí)模型的有效性本研究對比了使用和不使用遷移學(xué)習(xí)兩種條件下,深度學(xué)習(xí)多分類模型在測試集中的表現(xiàn),以評估深度遷移學(xué)習(xí)模型的有效性?；谏疃葘W(xué)習(xí)神經(jīng)網(wǎng)絡(luò)VGG算法分類模型,本研究測試集中病理圖像分類結(jié)果在內(nèi)部測試集和外部測試集的Accuracy、Precision、Recall和F1-socre值如表1所示。在內(nèi)部測試集和外部測試集中,遷移學(xué)習(xí)模型均具備較好的預(yù)測正確率,且遷移學(xué)習(xí)的查準率和查全率均高于從零學(xué)習(xí)。

表1 在內(nèi)部測試集和外部測試集中從零學(xué)習(xí)和遷移學(xué)習(xí)模型的分類結(jié)果

2.2 深度遷移學(xué)習(xí)模型的總體性能評價為評估基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)VGG算法分類模型對內(nèi)部測試集和外部測試集數(shù)據(jù)的總體分類效果,本研究采用AUC作為評價指標。內(nèi)部測試集中,從零學(xué)習(xí)和遷移學(xué)習(xí)的AUC分別為0.938和0.956,表明在內(nèi)部測試集中遷移學(xué)習(xí)分類效果的總體性能較好(圖2A)。在外部測試集中,從零學(xué)習(xí)和遷移學(xué)習(xí)的AUC分別為0.915和0.930(圖2B),表明本研究提出的遷移學(xué)習(xí)模型在甲狀腺疾病術(shù)中冷凍HE切片病理圖像分類模型中具備較好的推廣性和較高的穩(wěn)定性。

圖2 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分類模型在內(nèi)部測試集(A)和外部測試集(B)的性能評價

3 討論

甲狀腺癌是內(nèi)分泌系統(tǒng)常見的惡性腫瘤,全球發(fā)病率約占所有惡性腫瘤的1.5%。2020年WHO數(shù)據(jù)統(tǒng)計顯示,全球新發(fā)甲狀腺癌病例達43.72萬例,其中女性病例數(shù)為31.18萬,位列第五[6]。過去30年,全球范圍內(nèi)甲狀腺癌的發(fā)病率大幅增加,已成為十大惡性腫瘤之一。近年來,我國甲狀腺癌的發(fā)病率逐年上升,2022年2月國家癌癥中心數(shù)據(jù)顯示,15～44歲人群中甲狀腺癌的發(fā)病率位居第二[7],而在女性惡性腫瘤中,甲狀腺癌僅次于乳腺癌和肺癌,位居第三[7]。病理診斷是癌癥診斷的金標準,精確的甲狀腺腫瘤病理診斷是臨床精準治療的前提。隨著甲狀腺疾病的發(fā)病率逐年上升,患者數(shù)量逐漸增長,病理醫(yī)師臨床診斷工作負荷不斷加重,導(dǎo)致了漏診/誤診發(fā)生的可能。

術(shù)中冷凍切片是近年來應(yīng)用于病理診斷的新技術(shù),是目前最快速、難度系數(shù)最大、醫(yī)療安全風(fēng)險最高的診斷之一。在手術(shù)過程中,術(shù)中冷凍HE切片病理檢查對患者的病理診斷具有重要意義,可指導(dǎo)患者進一步的手術(shù)決策。在甲狀腺疾病手術(shù)治療過程中,術(shù)中冷凍HE切片病理檢查可初步判斷疾病的良、惡性,有助于臨床醫(yī)師精確制定手術(shù)切除的范圍以及是否進行淋巴結(jié)清掃,進一步指導(dǎo)手術(shù)治療方案。鑒于術(shù)中冷凍切片的質(zhì)量低于福爾馬林固定石蠟包埋切片,病理醫(yī)師需在30 min內(nèi)對病理標本做出診斷,即使是經(jīng)驗豐富的病理學(xué)家,術(shù)中冷凍切片的診斷也極具挑戰(zhàn)性。據(jù)統(tǒng)計,全國有執(zhí)照的病理醫(yī)師缺口高達9萬人,國內(nèi)病理醫(yī)師的培養(yǎng)周期較為漫長,而訓(xùn)練有素、有資格對術(shù)中冷凍切片進行診斷的病理醫(yī)師數(shù)量更為稀少[8]。

近年來,隨著數(shù)字病理和AI技術(shù)的發(fā)展,其在臨床醫(yī)療領(lǐng)域的應(yīng)用日新月異。以深度學(xué)習(xí)為代表的AI技術(shù)在目標學(xué)習(xí)和圖像分割方面發(fā)揮了重要作用[9-11]。目前,深度學(xué)習(xí)在乳腺、肺、胃、結(jié)直腸、前列腺等器官疾病的病理診斷方面取得一定的成績[12-15]。深度學(xué)習(xí)在病理圖像分析領(lǐng)域的應(yīng)用,有望使病理診斷結(jié)果更加精準和客觀,并在一定程度上降低病理醫(yī)師疲勞閱片,提高病理醫(yī)師工作效率[16]。深度遷移學(xué)習(xí)是指將已經(jīng)在一個領(lǐng)域上訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到另一個領(lǐng)域上,并對其進行微調(diào)以適應(yīng)新任務(wù)的過程。一般情況下,深度遷移學(xué)習(xí)可以通過將預(yù)訓(xùn)練模型的一部分或全部參數(shù)固定,只對新的任務(wù)進行微調(diào)來完成[17]?；诒菊n題組已構(gòu)建的乳腺疾病術(shù)中冷凍HE切片病理圖像輔助診斷模型[5],考慮到乳腺疾病的病理圖像與甲狀腺疾病的組織病理學(xué)圖像具有一定的相似性,本研究將已建立的乳腺疾病術(shù)中冷凍HE切片病理輔助診斷模型作為初始模型,然后使用少量已標注的甲狀腺疾病術(shù)中冷凍HE切片病理圖像數(shù)據(jù)作對初始模型進行訓(xùn)練,結(jié)果發(fā)現(xiàn),從乳腺疾病到甲狀腺疾病的遷移學(xué)習(xí)模型預(yù)測結(jié)果的查準率和查全率均高于從零學(xué)習(xí),且在內(nèi)部測試集和外部測試集中,遷移學(xué)習(xí)分類模型的總體性能均高于從零學(xué)習(xí)分類模型,展示出較好的推廣性和較高的穩(wěn)定性。

在模型測試集中,從零學(xué)習(xí)模型預(yù)測結(jié)果與遷移學(xué)習(xí)模型預(yù)測結(jié)果出現(xiàn)了不一致的情況。我們調(diào)閱原始HE切片發(fā)現(xiàn),遷移學(xué)習(xí)模型預(yù)測熱力圖結(jié)果基本正確。在外部測試集中的某些病例中,遷移學(xué)習(xí)模型判斷為甲狀腺良性病變的區(qū)域在從零學(xué)習(xí)模型中被判斷為甲狀腺癌。復(fù)習(xí)原始HE切片發(fā)現(xiàn),從零學(xué)習(xí)模型不僅將結(jié)節(jié)性甲狀腺腫伴乳頭狀增生的區(qū)域誤判為甲狀腺癌,而且將部分甲狀腺濾泡性腺瘤錯誤診斷為甲狀腺癌。本研究進一步分析了導(dǎo)致從零學(xué)習(xí)模型預(yù)測結(jié)果和遷移學(xué)習(xí)模型預(yù)測結(jié)果不一致的切片,發(fā)現(xiàn)這些病例原始HE切片的制片質(zhì)量存在一定問題。在部分切片中,蘇木精染色較深,伊紅染色較淺,甲狀腺乳頭狀增生區(qū)域形成密集的假乳頭狀結(jié)構(gòu),導(dǎo)致了部分區(qū)域的細胞密集、核質(zhì)比很高,且呈現(xiàn)出一片藍染。在從零學(xué)習(xí)訓(xùn)練模型中,本組所選擇均為染色均一、切片質(zhì)量較好的HE切片,機器沒有學(xué)習(xí)過質(zhì)量差或染色異常的切片,因此難以辨別;而遷移學(xué)習(xí)訓(xùn)練模型利用已在乳腺疾病術(shù)中冷凍HE切片圖像數(shù)據(jù)中建立的經(jīng)驗,進一步優(yōu)化甲狀腺疾病術(shù)中冷凍HE切片圖像數(shù)據(jù)的建模過程,有效克服了染色不均、褶皺、刀痕等問題。通過將在乳腺疾病中已學(xué)習(xí)到的知識應(yīng)用于甲狀腺疾病,遷移學(xué)習(xí)提高了模型預(yù)測的診斷價值。在實際病理工作中,由于不同技師專業(yè)技術(shù)能力、不同批次染色效果的差異,導(dǎo)致病理制片質(zhì)量很難一直維持在最佳水平。而遷移學(xué)習(xí)可以利用已有的知識和經(jīng)驗來解決在數(shù)據(jù)缺乏、資源有限等情況下的建模問題。通過將一個領(lǐng)域中已經(jīng)學(xué)習(xí)到的知識應(yīng)用于另一個領(lǐng)域,遷移學(xué)習(xí)可以加速模型的構(gòu)建,提高模型的性能和泛化能力。盡管本研究的病理輔助診斷模型是以HE染色圖像為基礎(chǔ),未來在深度遷移學(xué)習(xí)的幫助下,病理輔助診斷模型將推廣應(yīng)用到更寬廣的領(lǐng)域。

機器學(xué)習(xí)在圖像處理方面具有許多優(yōu)勢,可在短時間內(nèi)對圖像進行分類,具有可重復(fù)性和不會疲勞的特點。隨著AI技術(shù)在醫(yī)學(xué)圖像研究領(lǐng)域的不斷推進,AI在病理診斷方面展現(xiàn)出了令人矚目的成果。AI輔助診斷不僅可以提高病理診斷效率,還可以減輕病理醫(yī)師的工作負荷,降低人力資源成本。在AI輔助病理診斷模型建模中,從零開始訓(xùn)練是一項耗時且費力的工作,需要具有豐富診斷經(jīng)驗的病理醫(yī)師對大量的病理圖片進行標注以作為訓(xùn)練集。深度遷移學(xué)習(xí)在圖像分類領(lǐng)域具有顯著優(yōu)勢,能夠利用預(yù)訓(xùn)練模型加速模型的構(gòu)建,即使在新任務(wù)數(shù)據(jù)較少的情況下也能做到。此外,預(yù)訓(xùn)練模型可以學(xué)習(xí)到的大量特征表示可以遷移到新任務(wù)中,從而提高模型的泛化性能。隨著AI深度學(xué)習(xí)算法技術(shù)的發(fā)展,深度遷移學(xué)習(xí)算法的進一步優(yōu)化,其分類判讀的準確率和穩(wěn)定性也會增加,使用更少的數(shù)據(jù)得到更優(yōu)質(zhì)的算法模型在未來也將成為可能。深度學(xué)習(xí)算法技術(shù)在病理切片判讀分類中也將應(yīng)用到更多疾病的診斷中,使病理醫(yī)師的實踐診斷經(jīng)驗更好地積累和傳承,提升和突破人類對疾病現(xiàn)有的認知。我們期待在不久的將來,AI將會給醫(yī)療診斷帶來更為廣闊的研究領(lǐng)域和應(yīng)用市場。