基于深度卷積神經(jīng)網(wǎng)絡的胃活檢胃癌預測模型研究

王素英 張慧芝 桂坤 陳炳憲*

（1.寧波市臨床病理診斷中心 浙江省寧波市 315000 2.杭州智團信息技術(shù)有限公司 浙江省杭州市 310052）

1 引言

癌癥是目前人類難以攻克的頑疾，胃癌的發(fā)病率、致死率高居我國癌癥前列，盡早進行胃鏡篩查是降低胃癌發(fā)病率及死亡率的有力手段，然而胃鏡活檢高普及率大大增加了病理醫(yī)生的工作強度及負擔，其次，傳統(tǒng)的病理診斷存在主觀性強、重復性差等問題，人工智能走進臨床病理診斷成為必然趨勢。因此，我們聯(lián)合病理專家及計算機專家，利用計算機前沿技術(shù)，研發(fā)大數(shù)據(jù)驅(qū)動的人工智能軟件，建立胃癌預測模型，輔助應用于胃癌診斷。首先挑選大量明確診斷胃癌的活檢切片及正常胃活檢切片，將病理切片數(shù)字化（即通過全自動切片掃描儀，將病理切片圖像轉(zhuǎn)化成數(shù)字圖像），病理專家利用標識軟件對數(shù)字圖像中的腫瘤區(qū)域進行人工標識，計算機專家將已標識的圖像，采用基于深度學習的圖像分割技術(shù)，建立胃癌預測模型，進一步進行驗證及測試。

2 材料和方法

在這一章節(jié)中，我們將詳細介紹胃癌預測模型。

2.1 整體技術(shù)路線概述

整體技術(shù)路線如圖1所示。

圖1：基于深度神經(jīng)網(wǎng)絡的胃癌預測技術(shù)框架

訓練階段：在診斷為癌的胃鏡切片中標注出患癌組織輪廓，隨后根據(jù)標注結(jié)果，截取陽性圖塊和陰性圖快，訓練深度卷積神經(jīng)網(wǎng)絡，用于預測圖塊患癌概率。

應用階段：掃描胃活檢病理切片為數(shù)字圖像，通過全圖推理算法獲取組織前景的一系列圖塊，依次送入訓練好的深度卷積神經(jīng)網(wǎng)絡中，完成全圖患癌部位的預測，通過對熱力圖的特征提取訓練切片級胃癌預測模型，最終完成整張胃活檢切片的癌變概率預測。

2.2 數(shù)據(jù)標注與預處理方法

數(shù)據(jù)標注：胃活檢數(shù)字病理圖像尺寸很大，平均10 萬×10 萬個像素平方大小。我們研發(fā)了專門的數(shù)據(jù)標注工具，用于標注胃癌病變區(qū)域和正常組織區(qū)域。對于患有胃癌的數(shù)字病理圖像，如圖2(a)所示，采用閉合曲線標注出所有患癌區(qū)域；對于陰性切片，如圖2(b)所示，用矩形標注工具標注正常胃組織。

圖2：切片標注示例

標注數(shù)據(jù)處理方法：對于陰性標注的圖像處理：首先在1 倍率的數(shù)字圖像中獲取胃組織的前景。具體計算公式如下所示：

其中，IS, IR, IG, IB分別為原始圖像的S 空間圖像，R,G,B 通道圖像。為對應圖像的otsu 閾值。最終計算出的It為二值圖像，像素真值部分為前景區(qū)域，零值部分為切片背景區(qū)域。

利用劃窗法截取20 倍率下數(shù)字圖像patch，步長為200，窗口大小為250*250。若窗口中組織前景的mask 占比大于0.3，則作為陰性圖塊。

對于陽性標注的圖像處理：首先在1 倍率數(shù)字圖像下將標注曲線進行輪廓填充，獲取陽性標注的mask 圖像。然后用劃窗法截取20 倍率下數(shù)字圖像圖塊，步長200，窗口大小250*250。若窗口中組織前景的mask 占比大于0.3。則作為陽性patch 數(shù)據(jù)。

2.3 訓練圖塊分類的深度卷積網(wǎng)絡模型

圖塊的分類網(wǎng)絡模型，選用Efficientnet 和resnet50 卷積網(wǎng)絡。Efficientnet 作者提出復合模型擴張方法結(jié)合神經(jīng)結(jié)構(gòu)搜索技術(shù)獲得卷積網(wǎng)絡合適的depth、width 及resolution。Resnet50 包含四個殘差塊，最后進行全連接操作用于分類任務。以resnet50 為例，訓練輸入圖像為標注后處理獲取的陽性及陰性圖塊。分類標簽為0-陰性圖塊，1-陽性圖塊。Loss 設計為二值交叉熵代價函數(shù)。設有m 個樣本，y(i)為樣本標簽，hθ(x(i))為模型預測的結(jié)果，則損失函數(shù)可表示為：

ResNet 模型用于圖塊分類如圖3所示。

圖3：ResNet 模型用于圖塊分類

2.4 全圖推理算法

在全圖推理階段，預測整張切片的癌變部位，并以熱力圖的形式展現(xiàn)。該過程的結(jié)果可以預測整張數(shù)字切片中的癌變區(qū)域具體位置，并為下一步切片分類的提供原始特征矩陣。具體的推理流程分為以下三步：

第一步：提取1 倍率下胃活檢數(shù)字病理圖像，獲取組織前景區(qū)域mask。保存為0-1 矩陣It，其中組織前景設定為1，背景設定為0。具體計算公式如下所示：

其中，IS, IR, IG, IB分別為原始圖像的S 空間圖像，R,G,B 通道圖像。為對應圖像的otsu 閾值。最終計算出的It為二值圖像，像素真值部分為前景區(qū)域，零值部分為切片背景區(qū)域。

第二步：從矩陣It中提取值為1 的坐標位置，即為1 倍率下數(shù)字圖像中為前景的像素坐標點(xi,yi)。對每個這樣的坐標點，切換到20 倍率下為(20xi,20yi)，以此為中心點在20 倍率下截取224×224的矩形作為卷積神經(jīng)網(wǎng)絡推理圖塊，推理訓練好的圖塊分類網(wǎng)絡，預測患癌概率

第三步：遍歷所有Itissue的真值，預測每個像素點對應20 倍率圖塊預測的生成熱力圖矩陣h：

2.5 全圖識別特征提取與切片級分類模型

利用全圖推理后獲取1 倍率下的熱力圖與1 倍率下組織前景信息，進行特征工程，提取31 個特征，詳見表1。訓練時選取了與切片陰陽性相關(guān)系數(shù)最高的五個特征進行分類器SVM，random forest，lightgbm 的訓練與評估。片級分類模型的特征及相關(guān)性詳見表2。

表1：全視野推理結(jié)果的熱力圖特征描述

表2：前五個主要特征及其與片級陰陽性的相關(guān)性分析

3 訓練方法

3.1 數(shù)據(jù)來源與處理

胃活檢數(shù)字病理圖像來源于寧波市臨床病理診斷中心，挑選了胃癌切片和良性胃活檢切片，采用寧波江豐生物信息技術(shù)有限公司提供的高精度切片掃描儀KF-PRO-400將切片掃描為數(shù)字病理圖像，掃描倍率為20 倍。

胃鏡數(shù)字切片數(shù)量分配如表3所示，截取的20 倍率圖塊數(shù)量統(tǒng)計如表4所示。

表3：胃鏡數(shù)字切片數(shù)量分配

表4：截取的20 倍率圖塊數(shù)量統(tǒng)計

3.2 圖塊分類模型訓練細節(jié)

在訓練集中用圖像增強方法提升模型泛化能力，圖像增強方法如隨機裁剪為224*224 圖像，隨機翻轉(zhuǎn)，隨機gamma 變換，隨機高斯模糊，紋理變換等。訓練時優(yōu)化器為Adam，初始學習率0.01，采用early stop 策略，當驗證集loss 下降到最低點不再下降時，提前終止訓練。

圖塊分類網(wǎng)絡訓練時的圖像增強如圖4所示。

圖4：圖塊分類網(wǎng)絡訓練時的圖像增強

3.3 評估指標

（1）評價視野級分類性能的指標：

準確率 Accuracy = (TP+TN)/(TP+TN+FP+FN)，指預測正確的樣本數(shù)占總樣本數(shù)的百分比。

（2）評價切片級分類性能的指標：

ROC 曲線及AUC

ROC 曲線常用于二分類問題中的模型比較，主要表現(xiàn)為一種真正例率 (TPR) 和假正例率 (FPR) 的權(quán)衡。具體方法是在不同的分類閾值 (threshold) 設定下分別以TPR 和FPR 為縱、橫軸作圖。

ROC 曲線圍成的面積即為AUC，AUC 越接近1 分類效果越好。

4 實驗結(jié)果和分析

4.1 分類模型評估

如表5所示，Efficientnet-b1 深度卷積網(wǎng)絡模型在驗證集和測試集中分類準確率最優(yōu)。相交更復雜的Efficientnet-b2，Efficientnet-b3結(jié)構(gòu)表現(xiàn)更好。

表5：CNN 模型評估

4.2 全圖識別結(jié)果可視化

基于訓練得到的Efficientnet-b1 深度卷積網(wǎng)路模型，對胃活檢數(shù)字切片進行全圖推理，獲取癌變區(qū)域熱力圖，如圖5所示，左圖為1 倍率下數(shù)字圖像原圖，右圖為預測癌變區(qū)域熱力圖，顏色越接近紅色的區(qū)域表示對應的組織越可能有癌變。

圖5：全圖推理預測癌變區(qū)域

下一步對切片分類訓練集和測試集中的所有切片進行全圖推理，獲取對應的預測熱力圖。提取預測熱力圖中的圖像特征進行切片級分類模型的訓練和測試。

4.3 片級分類模型評估

不同分類模型在切片測試集中的表現(xiàn)如圖6所示。

圖6：不同分類模型在切片測試集中的表現(xiàn)

在測試集中，lightgbm 的切片分類效果最優(yōu)，靈敏度100%時，特異度達到53%

5 討論

自21世紀以來，人工智能在病理界有了廣泛的應用，比如遠程病理會診、病理教學、質(zhì)量控制、切片管理等。近來，人們的研究轉(zhuǎn)向?qū)I 應用于病理輔助診斷中來，2017年9月，美國食品和藥品管理局（FDA）批準了第一個全載玻片成像掃描（WSI），2018年批準Philips IntelliSite 病理解決方案（PIPS）作為第一個用于病理診斷的WSI 方案。我們聯(lián)合了寧波臨床病理診斷中心的病理專家及寧波江豐生物信息技術(shù)有限公司的計算機專家，利用寧波江豐生物信息技術(shù)有限公司自主研發(fā)的高精度切片掃描儀KFPRO-400，將明確診斷胃癌的500 張胃活檢切片及500 張良性切片掃描成數(shù)字圖像，由多位高年資病理專家采用江豐公司自主研發(fā)的標注軟件對腫瘤區(qū)域進行標注，計算機專家探索研發(fā)一種新的計算機深度學習方法，建立胃癌預測模型，用于初步篩選胃活檢標本，從而大大提高病理醫(yī)生的工作效率診斷準確率。

隨著科技發(fā)展，計算機硬件的計算能力不斷的得到提升，深度學習開始在圖像語義分割上大放異彩，學者們提出了一系列有監(jiān)督的模型并取得了卓越的分割效果。我們以胃癌為靶心，圍繞胃鏡病理切片智能識別、診斷，展開大數(shù)據(jù)與人工智能技術(shù)在胃鏡病理切片診斷及輔助治療上的應用。研究基于深度學習的粗標記胃鏡病理切片圖像分割算法，通過計算機對病理切片進行分割識別，緩解緊張的醫(yī)療資源，輔助醫(yī)生實現(xiàn)高準確性診斷。

傳統(tǒng)的醫(yī)學圖像分割算法包含區(qū)域的分割方法、邊緣的分割方法、圖論的分割方法和泛函的圖像分割方法等。隨著人工智能和計算機視覺等相關(guān)領(lǐng)域的快速發(fā)展，深度學習亦被運用于醫(yī)學圖像分割，并取得了顯著效果。Garcia 等[1]提出基于深度學習的胃癌免疫組織化學圖像的淋巴細胞自動檢測方法，該方法主要是基于卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）模型的分類任務，可以從一張免疫組織化學染色圖像中分辨出患者是否患有癌癥，但不能精確給出癌癥區(qū)域。Sharma 等[3]也提出了一種基于CNN 的分類方法用于識別胃癌，他們基于典型的AlexNet 網(wǎng)絡[4]提取圖片特征信息，實現(xiàn)對整張數(shù)字病理圖像胃癌的識別。Ficsor 等[5]提出一種細胞計數(shù)方法，Zaitoun 等[6]提出一種基于句法結(jié)構(gòu)的方法。此外，Cosatto 等[7]提出通過半監(jiān)督學習的方法檢測胃癌細胞，Sharma等[8]利用神經(jīng)網(wǎng)絡提取胃癌細胞核內(nèi)的紋理信息以及支持向量機（support vector machine，SVM）算法實現(xiàn)了對胃癌的識別。然而，這些方法并不能很好地解決胃癌病理切片的識別問題，大多是基于整張病理切片圖進行分類識別，雖然能識別出是否為胃癌患者，但不能準確定位到腫瘤區(qū)域，對于醫(yī)師的后續(xù)治療不能起到很大作用。為此，本研究采用基于深度學習的圖像分割技術(shù)實現(xiàn)對病理切片的胃癌區(qū)域識別，幫助醫(yī)學專業(yè)人員精準定位癌癥區(qū)域，以期對患者的后續(xù)治療產(chǎn)生積極意義?；谏疃染矸e神經(jīng)網(wǎng)絡搭建的胃鏡活檢數(shù)字圖像預測框架，可以準確定數(shù)字圖像的癌變區(qū)域。在此基礎(chǔ)上通過特征提取搭建機器學習分類模型，可有效預測整張切片的患癌概率，在測試集中l(wèi)ightgbm 分類模型AUC 為0.963。實驗結(jié)果表明，有良好的切片分類性能。可大大減輕病理醫(yī)生的診斷效率，減小誤判。