深度學習在皮膚圖像識別中的應用

譚 鴻，巴 偉，李承新

傳統(tǒng)的醫(yī)療模式需要醫(yī)生一對一的診治患者，不僅耗費大量的人力物力，且無法滿足日益增長的醫(yī)療服務需求。而隨著大數(shù)據(jù)時代的到來和計算能力與云儲存能力的顯著增強，人工智能（artificial intelligence，AI）的發(fā)展，特別是深度學習（deep learning，DL）技術的進步使得通過智能診斷系統(tǒng)實現(xiàn)輔助診治成為可能。本文將通過分析深度學習的應用原理及在皮膚圖像分類中的最新進展，探討深度學習應用于皮膚病分類識別的優(yōu)點與不足。

1 深度學習用于圖像分類的原理

深度學習最早由Hinton等[1]在2006年提出，通過模仿人類神經網絡來對圖像、聲音、文本等數(shù)據(jù)進行解釋。深度學習是一種具有多層表征的表征學習方法，通過組合簡單但非線性的模塊來獲得分類特征，每個模塊將一個級別的表征（從原始信號輸入開始）轉換為一個更高級別、更抽象的表征，最后通過綜合多個高級特征來輸出結果。與傳統(tǒng)的機器學習需要人為提取特征不同，深度學習的關鍵是這些特征是深度學習算法自動分析及提取的。

深度學習是一個框架，包含多個重要算法：卷積神經網絡（convolutional neural networks，CNN）、稀疏編碼（sparse coding）、限制波爾茲曼機（restricted boltzmann machine，RBM）、自動編碼器（autoencoder）、深信度網絡（deep belief networks，DBN）、多層反饋循環(huán)神經網絡（recurrent neural network，RNN）。不同的算法適用于處理不同的數(shù)據(jù)類型（圖像、聲音、文本）。CNN最早由LeCun提出并應用在手寫字體識別上（圖1）[2,3]，適用于圖像識別與圖像分類。2012年，CNN在ImageNet（世界上最大的圖像識別數(shù)據(jù)庫）大賽上奪冠，表現(xiàn)出強大的圖像識別能力。CNN也包含多種模型，如AlexNet、VGG、GoogleNet、ResNet等，均已被證實在圖像識別和分類中有著良好表現(xiàn)[4-8]。

近年來，隨著AI技術的發(fā)展和大數(shù)據(jù)中心的建立，CNN在醫(yī)學圖像識別領域的應用成為研究熱點。CNN是一種“端對端”模型，即輸入圖像便能輸出類別。通過使用已經標識醫(yī)學圖像資源，深度學習在放射學[9,10]、病理學[11,12]、眼科學[13]、心臟病學[14]等領域已取得了一系列突破。作為一門高度依賴形態(tài)學的學科，皮膚圖像在皮膚病的診斷中發(fā)揮著重要作用。皮膚科醫(yī)生除了借助肉眼可視圖像（臨床圖像）外，還可以通過皮膚鏡、皮膚超聲、皮膚CT、皮膚光學相干層析成像（optical coherence tomography，OCT）、皮膚組織病理檢查等技術來輔助診斷。通過已標記的皮損圖像，深度學習可充分挖掘數(shù)據(jù)、提取特征并對皮損進行分類。

圖1 經典的LeNet-5結構識別手寫字體示意圖

2 深度學習在皮膚臨床圖像分類中的應用

臨床圖像具有易獲得、成本低的優(yōu)點，已累積的龐大數(shù)據(jù)量保證了深度學習在臨床圖像分類中的可行性。但相較于皮膚鏡圖像、皮膚組織病理圖像而言，臨床圖像并不是標準化的圖像，拍攝角度的不同、曝光程度的差異、周圍毛發(fā)的干擾與背景皮膚的凹凸不平對深度學習的分類識別存在或多或少的干擾，這些干擾限制了深度學習在臨床圖像上的應用。人為剔除干擾較大的圖像是目前通用的研究方法，未來研究可能會通過某些干擾處理方式來增強深度學習的應用能力，如用于識別耳郭、鼻翼、眼角等凹凸不平或毛發(fā)遮蓋部位的皮膚腫物等。2017年1月，斯坦福大學人工智能實驗室使用經過ImageNet預訓練的v3 CNN模型對近129 450張臨床和皮膚鏡圖像進行自動分類，涉及2 032種不同皮膚病，使用樹狀分類法將疾病分為惡性腫瘤、良性腫瘤和非腫瘤性皮膚病，并逐級往下分類至互斥的各種疾病。21名美國認證皮膚科醫(yī)生的表現(xiàn)至少與一種算法相匹配，該算法對皮膚惡性腫瘤和黑素瘤的曲線下面積（area under the curve，AUC）分別為0.96和0.94[15]。2018年Han等[16]使用ResNet125模型對12種皮膚腫物共計19 398幅臨床圖像進行了分類，包括基底細胞癌、鱗狀細胞癌和黑素瘤等，該算法對各種皮膚腫物的AUC為0.82～0.96，其中黑素瘤的AUC為0.96，與16名皮膚科醫(yī)生水平相當。上述兩項研究均采用了人機對抗的方法，機器（深度學習）達到了與皮膚科醫(yī)生相當?shù)乃?，顯示出了深度學習在臨床圖像分類中具有良好的應用價值和前景。其后一批韓國學者使用ECOC SVM分類器與經過預訓練的AlexNet模型對3 753幅臨床圖像進行了分類，對鱗狀細胞癌、光線性角化病、基底細胞癌、黑素瘤的敏感性、特異性均在90%以上[17]。

3 深度學習在皮膚鏡圖像分類中的應用

皮膚鏡圖像作為觀察皮膚色素性疾病的利器，對皮膚病的診斷有著重要意義。由于皮膚鏡圖像較臨床圖像更為標準，使其成為深度學習研究的熱點。國際皮膚影像合作組織（international skin imaging collaboration，ISIC）的公開數(shù)據(jù)庫集合了超過13 000幅從不同臨床中心收集的皮膚鏡圖像，在其2016年舉辦的黑素瘤皮膚鏡診斷競賽中，38個單位提供的79種深度學習算法參賽，排名前5的預測模型平均準確率在81%～84%[18,19]。2017年Thao和Quang[20]使用經過ImageNet預訓練的VGG-16模型對ISIC 2017挑戰(zhàn)集（包含2 000幅訓練圖像及600幅測試圖像）的皮膚鏡圖像進行分類，對黑素瘤的平均AUC為0.816。2018年Haenssle等[21]訓 練 的v4 CNN模型與58名皮膚科醫(yī)生（其中30名是皮膚鏡專家）對100幅皮膚鏡圖像（包括黑素瘤、色素痣以及其他類似黑素瘤的皮損）進行分類。皮膚科醫(yī)生分別在缺乏及知曉臨床資料的情況下對圖像進行分類，取得的平均AUC水平均低于CNN，表明CNN在皮膚鏡圖像分類方面已超越人類水平。美國伊利諾斯大學的科研人員提出了一個多卷積神經網絡（deep convolutional neural network, DCNN），他們將數(shù)據(jù)庫中的皮膚鏡圖像分為惡性和良性皮膚腫物，對CNN模型進行訓練及測試，為了提高模型在錯誤分類圖像上的準確率，重復以錯誤圖像為模型提供附加訓練。利用ISIC 2016數(shù)據(jù)集對該研究所提出的深度學習模型進行了訓練和測試。結果表明，該模型在訓練和測試方面的有效性分別為0.98和0.81[22]。德克薩斯大學休斯頓健康科學中心聯(lián)合北京協(xié)和醫(yī)學院使用GoogleNet Inception v3模型對色素痣、脂溢性角化病、基底細胞癌和銀屑病4種常見疾病進行了分類,對數(shù)據(jù)集A（1 067幅皮膚鏡圖像）的精確度為（86.54±3.63）%，數(shù)據(jù)集B（528幅皮膚鏡圖像）的精確度為（85.86±4.65）%[23]。Kaymak等[24]使用兩步分類法對皮膚腫物進行分類：第一步是將皮膚腫物區(qū)分為黑素細胞病變和非黑素細胞病變；第二步是將黑素細胞病變區(qū)分為黑素瘤和良性黑素細胞病變，非黑素細胞病變包括基底細胞癌、光線性角化病、良性角化病、皮膚纖維瘤和血管病變等。訓練出的AlexNet模型的準確性為58%，靈敏度為60.6%，特異性為57.8%。另外一項人機對抗研究共分析了724幅皮膚鏡圖像，包括黑素瘤（81例患者的350幅圖像）和色素痣（194例患者的374幅圖像），均經組織病理學檢查證實。為了進行雙重交叉驗證，Yu等[25]將它們分成兩個互相排斥的子集：一半的圖像數(shù)據(jù)集被選擇進行訓練，其余的被選擇進行測試，并且與皮膚科專家和非專家的準確性進行比較。深度神經網絡的準確性分別為83.51%和80.23%，高于非專家的準確性（67.84%，62.71%），接近專家的準確性（81.08%，81.64%），其AUC值也與專家接近。北京協(xié)和醫(yī)院的王詩琪等[26]使用經過5 094幅色素痣和脂溢性角化病的皮膚鏡圖像遷移訓練的ResNet-50二分類模型對30幅色素痣和30幅脂溢性角化病的皮膚鏡圖像進行分類，與95名經過皮膚鏡培訓的皮膚科醫(yī)師判讀結果進行比較，準確率差異無統(tǒng)計學意義。

4 深度學習在其他皮膚圖像分類中的應用

深度學習的應用跟數(shù)據(jù)量有很大關系，目前深度學習在皮膚圖像分類中的應用主要集中在臨床圖像與皮膚鏡圖像中。近兩年也有將深度學習應用于光學相干斷層掃描（optical coherence tomography，OCT）圖像及組織病理圖像的報道。OCT是近十年迅速發(fā)展起來的一種新興成像技術，它利用弱相干光干涉儀的基本原理，得到生物組織的二維或三維結構圖像。目前OCT在皮膚科應用相對較少，獲得的數(shù)據(jù)有限，使得人工識別OCT圖像中的異常結構或細胞十分困難。而通過深度學習自動分析及提取OCT圖像中的關鍵特征便具有了重大意義。2018年Mandache等[27]訓練了一個10層的CNN模型，利用40幅全層OCT圖像檢測基底細胞癌，CNN取得了95.2%的特異度及96.54%的靈敏度，表明深度學習在OCT圖像分類識別中具有良好前景。盡管深度學習已在肺癌、乳腺癌的組織病理分類中取得了一些成績，但在皮膚病的組織病理圖像中應用較少。2019年，Hekler等[28]使用了345幅黑素瘤及350幅色素痣的病理圖像，以其中隨機100幅組織病理圖像（黑素瘤:色素痣=1:1）作為測試集，其余圖片作為訓練集，重復10次檢測后得到已接受預訓練的ResNet50的平均分類錯誤率在黑素瘤中為18%，在色素痣中為20%，全套圖像的分類錯誤率為19%。而文獻報道的不同病理專家對黑素瘤和色素痣的診斷不一致率達到25%[29]，說明深度學習對黑素瘤組織病理學診斷存在潛在幫助。

5 結語

深度學習在皮膚病領域還處于研究階段，尚未完全實現(xiàn)臨床應用。限制深度學習應用的主要障礙是數(shù)據(jù)量的不足與診斷標準的不統(tǒng)一。數(shù)據(jù)量的不足影響了深度學習的準確性，想實現(xiàn)少見病的臨床應用則更加困難。常見病診斷標準的不同，也進一步限制了深度學習的臨床應用，特別是皮膚組織病理的診斷與分類，在世界范圍內尚存在較大差異，能否提出一個共同的疾病分類診斷標準使之能應用到深度學習上還有待探討。

隨著大數(shù)據(jù)時代的到來，在皮膚病領域建立一個盡可能全面、標準的人工智能診斷系統(tǒng)是可行并具有重大意義的。而建立一個更全面、更標準的皮膚病智能診斷系統(tǒng)還需要多中心、多學科的不斷交流與一定量的數(shù)據(jù)積累。期望未來當人工智能面向全人類的時候，患者能夠通過人工智能醫(yī)學平臺實現(xiàn)快速就醫(yī)和初步診斷。而未來的皮膚病智能診斷系統(tǒng)不僅僅將提供診斷，還將提供輔助檢查、治療、藥物輸送、預后及健康教育等一系列服務。