深度神經(jīng)網(wǎng)絡(luò)技術(shù)在腫瘤細胞識別中的應(yīng)用

紀春陽，徐秀林，王燕

上海理工大學醫(yī)療器械與食品學院，上海200093

前言

惡性腫瘤是目前嚴重威脅人類健康和生命的疾病之一［1］。一項發(fā)表在《柳葉刀》醫(yī)學期刊的CONCORD-3 研究稱全球癌癥的新發(fā)病例預計在2030年將增加到2 220 萬例［2］。近年來，隨著醫(yī)療技術(shù)的不斷突破，癌癥死亡率保持了逐年下降的趨勢，這與對癌癥的早期檢測意識的提高是密切相關(guān)的［3］。

通過早期篩查診斷，會顯著增加癌癥治愈的機會。目前臨床上常用的檢查方法是活體組織檢查及影像學篩查，前者常?；ㄙM大量的時間和經(jīng)濟成本，而影像學檢查的準確性會受到圖像質(zhì)量和放射科醫(yī)師專業(yè)知識的影響，使患者常常錯過最佳治療時間［4-5］。因此，如何將現(xiàn)代科學技術(shù)的研究成果與醫(yī)學檢查和診斷有效結(jié)合，造?；颊?，是研究人員亟待解決的問題，同時也是醫(yī)生和患者的共同期望。

當下的大數(shù)據(jù)時代［6］，伴隨著云計算、并行分析、硬件優(yōu)化的進步，特別是神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，解決了許多臨床上常規(guī)方法無法解決的問題。神經(jīng)網(wǎng)絡(luò)在醫(yī)療領(lǐng)域［7］、自然語言處理［8］、計算機視覺［9］、智能博弈［10］等方面的應(yīng)用成為當前研究的前沿熱點。尤其是在智慧醫(yī)療方面，醫(yī)學圖像計算領(lǐng)域受到機器學習和計算機視覺技術(shù)進步的影響，神經(jīng)網(wǎng)絡(luò)技術(shù)已成功應(yīng)用到計算機輔助診斷（Computer Aided Diagnosis,CAD）領(lǐng)域。CAD技術(shù)旨在輔助醫(yī)生提高醫(yī)學圖像分析和診斷的準確率，同時也被用作腫瘤良惡性標記或分類。本研究針對基于不同框架的深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network,DNN）在腫瘤細胞識別的應(yīng)用方面展開綜述。

1 DNN模型與應(yīng)用

1.1 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）

受Hubel和Wiesel 在1962年對貓視覺皮層電生理學的研究啟發(fā)，Lecun等［11］在1989年正式提出將反向傳播算法用于神經(jīng)網(wǎng)絡(luò)，并提出一種新的深度學習架構(gòu)，即CNN。自2012年，Krizhesky 等［12］使用GPU 圖形處理單元，設(shè)計出更深程度的神經(jīng)網(wǎng)絡(luò)AlexNet 之后，使得CNN 技術(shù)逐步趨于完善，如今CNN 已在醫(yī)學圖像的形態(tài)識別和影像質(zhì)量測評方面有了更廣泛的應(yīng)用。經(jīng)過多年的發(fā)展，已構(gòu)成很多以CNN 為架構(gòu)的變體［13］。以LeNet-5 CNN為例，它的基本結(jié)構(gòu)由3種不同類型的層組成：卷積層、池化層與全連接層［14］，如圖1所示。通常訓練樣本的特征表現(xiàn)具有多樣性，為了將不同映射的特征計算后提取，需將卷積層設(shè)計成由多個卷積核構(gòu)成的形式。池化層旨在聚合特征、通過降低維度來減少運算量，例如對一塊區(qū)域中的數(shù)據(jù)進行采樣處理，求得該區(qū)域最大值或平均值并替代該區(qū)域中所有數(shù)據(jù)。在池化過程中有可能會發(fā)生數(shù)據(jù)信息的損失，但能使該區(qū)域的特征信息更為具體，提高了模型泛化能力，更有利于進行圖像識別。全連接層將上一層全部人工神經(jīng)元信息與當前層進行全連接，生成全局特征信息，通常用N 維向量作為輸出結(jié)果，最終交給分類器或回歸方程。最后一層為輸出層，常用歸一化指數(shù)函數(shù)（Sotfmax）和支持向量機（SVM）線性分類器作為分類任務(wù)［15］，兩者有著截然不同的損失函數(shù)。Softmax線性分類器的損失函數(shù)用于計算相對概率，也稱為交叉熵損失。SVM 輸出一個能精準分類正確樣本與錯誤樣本的超平面，并在訓練過程中，使其分類樣本的精度達到最優(yōu)化。

圖1 卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Fig.1 Convolution neural network architecture

任湘等［16］將深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于乳腺癌分子分型預測，依據(jù)乳腺癌分子分型為Luminal A、Luminal B、HER-2、Basal-like 4 種。首先收集原始乳腺癌病灶區(qū)域MRI 影像圖像，然后對乳腺癌病灶信息進行人工標注。使用CNN對其進行卷積運算并進行特征提取，反復訓練網(wǎng)絡(luò)獲得判別模型。最后，使用訓練模型對乳腺癌分子分型MRI影像測試集進行驗證，并分析其預測效果。實驗結(jié)果表明，通過CNN對乳腺癌病理圖像進行分析，其工作特征曲線下面積最高值為0.697，基本完成了預測任務(wù)。

CNN 能在眾多分類任務(wù)中取得良好的成績，歸因于其多層高級堆疊、局部連接、權(quán)值共享和池化的特點。在醫(yī)學圖像分類領(lǐng)域中，通常會把CNN 作為首選。

1.2 深度信念網(wǎng)絡(luò)（Deep Belief Networks,DBN）

由Hinton等［17］在2006年提出的一種概率生成模型，稱為DBN，該模型由多層隨機隱藏變量和一層可見神經(jīng)元組成，如圖2所示。它可以通過貪婪學習層（RBM 層）初始化深度網(wǎng)絡(luò)，同時進行深度訓練［18］。網(wǎng)絡(luò)中有兩個至關(guān)重要的組成部分：無監(jiān)督的特征學習、判別函數(shù)的監(jiān)督學習。前者基于使用聚類算法對樣本特征進行提取，后者基于各類特征的相關(guān)度，生成并不斷優(yōu)化判別函數(shù)，對樣本進行分類。

近年來，研究人員為了解決深層次神經(jīng)網(wǎng)絡(luò)的優(yōu)化問題，不斷優(yōu)化DBN模型，派生出一種快速而貪婪的算法，即“受限玻爾茲曼機”（Restricted Boltzmann Machines,RBM），該算法可以逐層地進行深層學習和生成有向信念網(wǎng)絡(luò)［19］。DBN 網(wǎng)絡(luò)采用RBM 算法進行初始化學習，并利用喚醒睡眠算法對權(quán)重參數(shù)進行微調(diào)。Wang［20］進一步優(yōu)化DBN網(wǎng)絡(luò)，并成功地將其應(yīng)用到輸入是連續(xù)值或整體結(jié)構(gòu)的情況。大量實驗表明，預測監(jiān)督學習的主要任務(wù)在于揭示沒有在輸入層充分表達的變量，貪婪的深度分層訓練策略可以幫助優(yōu)化深層網(wǎng)絡(luò)。

圖2 深度信念網(wǎng)絡(luò)架構(gòu)Fig.2 Deep belief network architecture

Khatami等［21］首先利用基于小波變換和KS-檢驗的去噪技術(shù)，以消除圖像的噪聲和權(quán)重較低的特征。然后使用無監(jiān)督的深層信任網(wǎng)絡(luò)來學習未標記的特征。在前兩個步驟中獲得的判別特征子集作為最終分類器的輸入。通過使用基于樸素貝葉斯、徑向基函數(shù)網(wǎng)絡(luò)、隨機森林、最小序列分類器優(yōu)化、SVM的DBN網(wǎng)絡(luò)，實現(xiàn)對肺癌、乳腺癌、肝癌、喉癌4個不同腫瘤細胞的識別，證明DBN 網(wǎng)絡(luò)在醫(yī)學數(shù)據(jù)集中對圖像檢索的可行性。

Abdel-zaher 等［22］利用DBN、無監(jiān)督路徑和反相傳播技術(shù)實現(xiàn)乳腺癌細胞檢測，構(gòu)建了基于Liebenberg Marquardt 算法的反向傳播神經(jīng)網(wǎng)絡(luò)，并在深層信念網(wǎng)絡(luò)路徑（DBN-NN）訓練過程中初始化比例權(quán)重。對于威斯康星乳腺癌數(shù)據(jù)集（WBCD）識別精度達到99.68%。

DBN的高度靈活性使得其在近幾年衍生出多種派生模型，為了解決好訓練集維度單一化的問題，卷積深度信念網(wǎng)絡(luò)，利用相鄰像素的空間關(guān)系，通過多個卷積RMB 算法實現(xiàn)模型的變換，目前已有足夠理論來支撐這一模型，但其學習率因受到訓練樣本與計算資源的限制，目前無法訓練出較為成熟的深度模型。

1.3 生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks,GAN）

GAN是由Goodfellow［23］在2014年提出的一種深度學習框架，近幾年GAN在DNN領(lǐng)域的高速發(fā)展歸因于其獨特的架構(gòu)和基于博弈論中“二人零和博弈”的設(shè)計理念。在GAN網(wǎng)絡(luò)中“博弈”雙方分別為生成模型（Generator）和判別模型（Discriminator）［24］。對于生成網(wǎng)絡(luò)來說，主要任務(wù)是將輸入樣本數(shù)據(jù)施加隨機噪聲，生成基于同分布下的噪聲樣本，其創(chuàng)新之處在于輸入量可由隨機噪聲向量代替，解決了訓練樣本集不足的問題，而判別模型就是將偽樣本與真實樣本區(qū)分開，并輸出是否為真實樣本的概率。于是訓練過程就變成了優(yōu)化目標模型G 和D 的過程。一般情況下，生成模型盡可能生成最真實的樣本去“欺騙”判別模型，所以希望判別模型輸出的結(jié)果概率值盡可能大，而判別模型為了更好地區(qū)分真?zhèn)螛颖?，盡可能地使結(jié)果概率值小，從另一個角度來看，模型的訓練過程就是一個具有優(yōu)化功能的min-max游戲，GAN網(wǎng)絡(luò)架構(gòu)如圖3所示。

Shin 等［25］在解決訓練集不足和人工識別存在缺陷的問題中，使用ScarGAN 鏈式生成對抗網(wǎng)絡(luò)模擬MRI 腦腫瘤圖像，以擴增訓練集。實驗分3 步進行：（1）生成器模擬腫瘤組織形狀的掩模、采用特定于域的啟發(fā)式算法；（2）生成初始腫瘤圖像、細化生成器；（3）向模擬圖像添加細節(jié)。模擬圖像改變了腫瘤的大小、位置，或?qū)⒛[瘤置于健康的大腦中，判別單元精準分類圖像并將其標記。結(jié)果表明，GAN 網(wǎng)絡(luò)能通過合成圖像的形式，實現(xiàn)樣本的數(shù)據(jù)增強，同時在訓練過程中，對腫瘤圖像進行精準的分類。通過ScarGAN 網(wǎng)絡(luò)模擬的腫瘤組織進行掃描訓練，將腦腫瘤預測中包含的正確細胞百分比從81.0%提高到86.0%。

圖3 生成對抗網(wǎng)絡(luò)架構(gòu)Fig.3 Generative adversarial network architecture

劉海東等［26］借助GAN 網(wǎng)絡(luò)，將乳腺癌病理圖像分析進行有效特征提取和可疑區(qū)域標記。在模型訓練過程中，首先將少量標記樣本進行分類訓練，然后融合由網(wǎng)絡(luò)提取的判別特征來標記可疑區(qū)域。為了驗證GAN網(wǎng)絡(luò)對乳腺癌圖像分類的有效性，將GAN網(wǎng)絡(luò)與傳統(tǒng)CNN網(wǎng)絡(luò)進行對照實驗，研究結(jié)果表明，該GAN網(wǎng)絡(luò)具有增強樣本數(shù)量、優(yōu)化腫瘤圖像特點，并且具有較好的判別能力，不僅提高深度網(wǎng)絡(luò)的學習率，同時也推動GAN 網(wǎng)絡(luò)在病理圖像標記層面上的發(fā)展。

在機器學習過程中，神經(jīng)網(wǎng)絡(luò)判別率通常會受到樣本集數(shù)量和質(zhì)量的影響。GAN網(wǎng)絡(luò)雖然在圖像分類層面上略顯不足，但其圖像生成、圖像優(yōu)化的特點是其他神經(jīng)網(wǎng)絡(luò)所不具備的。與此同時，GAN 網(wǎng)絡(luò)近幾年也逐步涉入到圖像超分辨率層面：圖像分辨率SR的目的是從低分辨率圖像中恢復高分辨率圖像。Lin 等［27］提出由密集連接的深卷積發(fā)生器網(wǎng)絡(luò)和鑒別器組成的生成對抗網(wǎng)絡(luò)框架的SR無監(jiān)督學習方法，位于生成器頂層亞像素卷積核在低分辨率空間部署，用于放大輸入，生成器直接使樣本從低分辨率恢復為高分辨率圖像。部署在判別器中的梯形卷積和ReLu 激活函數(shù)用于鑒別高分辨率圖像，通過反向傳播從而確保本地全局內(nèi)容一致性和像素忠誠度，證明無監(jiān)督學習的單圖像SR 算法的可行性和有效性。

1.4 深度殘差網(wǎng)絡(luò)（Deep Residual Networks,DRN）

DRN 通常都以分層堆疊神經(jīng)元，端到端的方式形成低-中-高特征和分類器。先前的研究已經(jīng)證明網(wǎng)絡(luò)的深度對特征表示至關(guān)重要，并推測堆疊更多的層可以提高網(wǎng)絡(luò)的鑒別能力。然而，更深層次的神經(jīng)網(wǎng)絡(luò)通常更難以訓練，僅僅增加網(wǎng)絡(luò)深度并不能對學習率有較大提高。網(wǎng)絡(luò)越深，精度下降越為嚴重，這種現(xiàn)象被稱為退化［28］。

微軟亞洲研究院在2015年借鑒高速網(wǎng)絡(luò)的跨層鏈接模式，提出DRN，具有剩余單元的深度網(wǎng)絡(luò)在幾個大規(guī)模圖像識別比賽（ImageNet、MS COCO 等）中具有令人信服的準確性和良好的收斂行為。這些殘差的學習框架能有效緩解學習效率下降問題，有利于培養(yǎng)更深層次的網(wǎng)絡(luò)。通過使用標識映射作為跳過連接和后加激活，殘余單位允許信號直接從一個模塊傳播到其他模塊。因此，訓練數(shù)據(jù)中編碼的信息可以充分有效地利用殘差網(wǎng)絡(luò)來提高性能。這種跳過連接的另一個優(yōu)點是它們不會增加額外的連接參數(shù)或計算復雜性，如圖4所示。

圖4 深度殘差網(wǎng)絡(luò)架構(gòu)Fig.4 Deep residual network architecture

Gandomkar 等［29］提出基于DRN 的乳腺多分類（Mutern）框架。 樣本使用來自公共數(shù)據(jù)庫（BreakHis）的81例患者數(shù)據(jù)。每例患者都有4 個放大倍數(shù)（×40，×100，×200，×400）的圖像，共7 786 幅。首先，訓練具有152層的深度殘留網(wǎng)絡(luò)（ResNet）用于分辨圖像中良惡性斑塊，并將其分為4 個良性亞類（腺病、纖維腺瘤、葉狀腫瘤、管狀腺體），4 個惡性亞類（導管癌、小葉癌、粘液癌、乳頭狀癌）。然后，使用與決策樹結(jié)合的ResNets 在不同放大倍數(shù)下的輸出圖像對每個患者進行診斷。良惡性分類的研究結(jié)果表明，在4 個不同放大率下，正確分類率分別達到98.52%、97.90%、98.33%和97.66%。

Lei 等［30］為了解決在對喉部上皮樣癌細胞-2（Hep-2）切片進行處理時因不均勻照明引起形變的問題，使用基于深度監(jiān)督殘差網(wǎng)絡(luò)框架對Hep-2細胞圖像進行分類。訓練網(wǎng)絡(luò)采用ResNet-50的網(wǎng)絡(luò)，對其進行深入監(jiān)督學習以提取詳細的特征，通過直接指導網(wǎng)絡(luò)的上下層的訓練方式來實現(xiàn)分類。該模型不同于傳統(tǒng)網(wǎng)絡(luò)模型由始至終的訓練模式，采用的是跨模態(tài)遷移學習策略。所提出的方法使用兩個開源的數(shù)據(jù)集（國際模式識別會議ICPR 2012 和ICPR 2016-細胞分類競賽數(shù)據(jù)集）進行評估，分類準確率分別為88.96%和91.38%，該模型顯示了巨大的臨床應(yīng)用潛力。

DRN 在復雜的臨床任務(wù)中取得令人信服的表現(xiàn)，較好地解決了梯度爆炸、梯度消失等問題，在未來的研究中，若將DRN 網(wǎng)絡(luò)的理論框架擴展到其他DNN，探索新的權(quán)重初始化和非線性處理方法，將具有更為重要的意義。

2 總結(jié)與展望

機器學習和人工智能的進步已經(jīng)開始接近甚至超過人腦的性能，但是機器系統(tǒng)能更有效地將信息概括和更可靠地預測未知事物。機器學習的最新進展—DNN，將有助于擴大醫(yī)護人員所提供的醫(yī)療服務(wù)質(zhì)量。通過不同的網(wǎng)絡(luò)架構(gòu)和分類方法分析可知，對于同一腫瘤細胞病理數(shù)據(jù)集進行判別所得結(jié)果的準確性和學習效率也是不盡相同的，例如在病理圖像識別領(lǐng)域中：CNN 的識別率略高于GAN，但GAN 在訓練的同時也捕捉了真實樣本的潛在分布，并生成新的數(shù)據(jù)樣本，以擴充訓練集，解決了因臨床病理圖像較少而無法制作龐大的訓練數(shù)據(jù)集的問題；在腫瘤細胞信息處理領(lǐng)域：DBN通過其獨特的模型，更適用于對腫瘤細胞病理信息進行深度挖掘，通常隨著網(wǎng)絡(luò)層數(shù)的加深，模型的準確率并不能同時提高，并且?guī)碛柧殨r間的增加與過擬合等問題，通過大量實驗表明，DRN更能好地解決上述問題。

通過對比研究各類深度網(wǎng)絡(luò)的差異，研究人員可以進一步優(yōu)化網(wǎng)絡(luò)使診斷更經(jīng)濟、迅速和準確。因此，DNN技術(shù)可以被看作是一種精準的診斷工具，不僅可作為癌癥的診斷工具，還有可以應(yīng)用于其他的診療技術(shù)中，例如心腦肌電的識別、心血管系統(tǒng)的建模、藥物的研究與制造、疾病的預測等。但根據(jù)上述的研究表明，目前各類深度學習神經(jīng)網(wǎng)絡(luò)框架仍存在著以下問題：

（1）DNN 在理論證明和數(shù)學推導方面仍存在缺陷，尤其是CNN 在池化過程中，對維持圖像的形變、平移不變性還需進一步研究，因此對網(wǎng)絡(luò)結(jié)構(gòu)、參數(shù)優(yōu)化的研究和數(shù)學模型的建立應(yīng)成為未來主要研究方向；（2）大部分DNN的學習率因受到訓練樣本與計算資源的限制，目前無法訓練出較為成熟的深度模型，因此研發(fā)新的層次模型與優(yōu)化并行計算，將成為DNN 在未來大規(guī)模數(shù)據(jù)識別的研究方向；（3）DNN模型的特殊結(jié)構(gòu)，使得其在穩(wěn)定性、同步性、學習率、訓練難度上存在問題，例如GAN 網(wǎng)絡(luò)的訓練方法為單獨交替迭代訓練，導致權(quán)重參數(shù)震蕩嚴重，為了平衡生成器和判別器，需要設(shè)置眾多模型參數(shù)，模型不容易收斂，訓練時間過長。如何將上述問題解決，是決定DNN技術(shù)在醫(yī)療領(lǐng)域普及的關(guān)鍵。