深度學(xué)習(xí)在影像醫(yī)學(xué)應(yīng)用中的初步研究進(jìn)展

高 翾(綜述) 王小林△(審校)

(1上海市影像醫(yī)學(xué)研究所 上海 200032; 2復(fù)旦大學(xué)附屬中山醫(yī)院介入治療科 上海 200032)

近年來,人工智能(artifactual intelligence,AI)已經(jīng)越來越多地進(jìn)入到日常生活中,特別是AlphaGo、無人駕駛汽車等代表性的AI成果已經(jīng)極大地改變了人們對AI技術(shù)當(dāng)前發(fā)展水平——特別是圖像智能處理方面的感性認(rèn)識[1]。究其根源,這些引人注目的進(jìn)步都是建立在一種稱為深度學(xué)習(xí)(deep learning)的技術(shù)之上。在近幾十年里,以深度學(xué)習(xí)方法為代表的圖像處理技術(shù)得到了突破性的進(jìn)展[2]。深度學(xué)習(xí)方法在機(jī)器學(xué)習(xí)以及計(jì)算機(jī)視覺領(lǐng)域的強(qiáng)大優(yōu)勢,使其成為國內(nèi)外研究機(jī)構(gòu)在圖像識別領(lǐng)域爭相研究的熱點(diǎn)。2015年1月,百度、微軟和Google等公司基于深度神經(jīng)網(wǎng)絡(luò)的圖像識別系統(tǒng)已經(jīng)相繼刷新計(jì)算機(jī)圖像識別能力的記錄,其對圖像識別的錯誤率分別為5.33%、4.94%和4.82%,大大超過人類對圖像的識別能力[3-5]。

深度學(xué)習(xí)在人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上發(fā)展起來的突破性技術(shù) 實(shí)際上,深度學(xué)習(xí)方法并非是一種全新技術(shù),它是傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(artificial neural network)技術(shù)的擴(kuò)展,屬于機(jī)器學(xué)習(xí)領(lǐng)域的一大類算法。人工神經(jīng)網(wǎng)絡(luò)技術(shù)最早可追溯到20世紀(jì)50年代,其發(fā)展過程經(jīng)歷了多次波折。直到2006年以后,伴隨互聯(lián)網(wǎng)蓬勃發(fā)展而來的海量有標(biāo)記數(shù)據(jù)的出現(xiàn)、圖形處理器(graphic processing unit,GPU)計(jì)算硬件的飛速發(fā)展以及Hinton、Bengio、LeCun等人在深層次神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法上取得突破,使得之前不可能完成訓(xùn)練的深層次神經(jīng)網(wǎng)絡(luò)可以得到有效訓(xùn)練,深度學(xué)習(xí)方法才再一次流行并進(jìn)一步發(fā)展起來[6-7]。

在原理上,深度神經(jīng)網(wǎng)絡(luò)是一種多層次的表示學(xué)習(xí)(representation learning)方法,它將特征提取與分類器有機(jī)地結(jié)合在一起,形成一個“端到端”(end to end)的結(jié)構(gòu),可以從大量輸入信息中直接自動學(xué)習(xí)特征并完成分類等目標(biāo)任務(wù)。深度神經(jīng)網(wǎng)絡(luò)有多種類型,不同的網(wǎng)絡(luò)適用的領(lǐng)域不盡相同。其中,一種稱為卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)的深度神經(jīng)網(wǎng)絡(luò)是圖像處理領(lǐng)域的代表性網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)對圖像信息的處理過程在形式結(jié)構(gòu)上非常類似于人類的神經(jīng)系統(tǒng)處理視覺信息的過程。人的視覺刺激在視網(wǎng)膜上形成后,經(jīng)外側(cè)膝狀體再至初級視覺皮層,之后又經(jīng)數(shù)十層傳遞才會形成初步的視覺信息。卷積神經(jīng)網(wǎng)絡(luò)也是以層次化、級聯(lián)化的方式,對輸入的圖像矩陣,從最低級的像素信息開始,逐層提取出重要的特征信息,同時抑制無關(guān)背景信息,以上一層的抽象結(jié)果作為下一層的直接輸入,以獲得更高層次、更為抽象的特征,從而將原始的像素信息不斷抽象化、概念化,最終使得原始輸入從一開始與任務(wù)目的無關(guān)的表示形式轉(zhuǎn)換為適合于任務(wù)目標(biāo)的表現(xiàn)形式。在數(shù)學(xué)上,卷積神經(jīng)網(wǎng)絡(luò)的每一層都是一個非線性映射,經(jīng)過數(shù)十層乃至上百層的復(fù)合后,最終可以獲得一個表示能力非常強(qiáng)的映射函數(shù),對特定目標(biāo)進(jìn)行針對性訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)幾乎可以對任意函數(shù)實(shí)現(xiàn)進(jìn)行近似逼近[2,4,7-10]。

深度神經(jīng)網(wǎng)絡(luò)用于處理醫(yī)學(xué)影像圖像 從深度學(xué)習(xí)方法的歷史發(fā)展過程可以看出,足夠數(shù)量的有標(biāo)記數(shù)據(jù)與恰當(dāng)?shù)哪Ｐ陀?xùn)練方法是深度學(xué)習(xí)方法成功運(yùn)用的關(guān)鍵因素。作為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的擴(kuò)展,深度神經(jīng)網(wǎng)絡(luò)非常重要的一個特性就是其網(wǎng)絡(luò)層數(shù)多、層次復(fù)雜。雖然這樣的結(jié)構(gòu)使網(wǎng)絡(luò)具有很好的表示能力,但伴隨而來的是網(wǎng)絡(luò)參數(shù)多、訓(xùn)練需要的數(shù)據(jù)量大、容易過擬合等訓(xùn)練難題。深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練是一個有監(jiān)督學(xué)習(xí)(supervised learning)的過程,對模型參數(shù)的調(diào)整依賴于含有明確的目標(biāo)類別標(biāo)記的訓(xùn)練樣本。模型越復(fù)雜,含有的待調(diào)整參數(shù)越多,需要的訓(xùn)練樣本數(shù)越多。因而當(dāng)能夠得到的訓(xùn)練樣本數(shù)目較少時,訓(xùn)練有效的深度神經(jīng)網(wǎng)絡(luò)就比較困難。但在實(shí)際生活中,由于各種條件的限制,獲取足夠數(shù)目的訓(xùn)練樣本往往很困難,甚至不可能。遷移學(xué)習(xí)(transfer learning)方法的提出在一定程度上減小了訓(xùn)練的難度,尤其是使基于較小數(shù)據(jù)量來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)成為可能。遷移學(xué)習(xí)是在已經(jīng)利用大樣本數(shù)據(jù)訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上,根據(jù)待訓(xùn)練網(wǎng)絡(luò)的應(yīng)用目標(biāo),保留原網(wǎng)絡(luò)的絕大部分結(jié)構(gòu)以及對應(yīng)參數(shù),利用含有與應(yīng)用目標(biāo)相關(guān)標(biāo)記的訓(xùn)練樣本,對新網(wǎng)絡(luò)參數(shù)重新進(jìn)行調(diào)整的網(wǎng)絡(luò)訓(xùn)練方法[11-15]。

由于深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的巨大優(yōu)勢,當(dāng)這項(xiàng)技術(shù)在普通光學(xué)圖像上的性能被充分肯定后,不少研究開始嘗試運(yùn)用它來處理醫(yī)學(xué)圖像,特別是醫(yī)學(xué)影像圖像。在利用遷移學(xué)習(xí)方法處理醫(yī)學(xué)影像圖像的過程中,發(fā)現(xiàn)了一個非常有意思的現(xiàn)象。當(dāng)前,用來進(jìn)行遷移學(xué)習(xí)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型基本上都是基于ImageNet數(shù)據(jù)集中的圖像。ImageNet是一個為計(jì)算機(jī)視覺領(lǐng)域競賽專門準(zhǔn)備的圖像數(shù)據(jù)集,其中含有1 500萬張經(jīng)過標(biāo)注的高清光學(xué)圖片,這些圖片包含多達(dá)2 200個類目[16]。2015年最好的深度神經(jīng)網(wǎng)絡(luò)技術(shù)在這一數(shù)據(jù)集上針對圖像分類任務(wù)的top-5錯誤率僅為3.57%[17]。以這些在ImageNet數(shù)據(jù)集上訓(xùn)練得到的網(wǎng)絡(luò)結(jié)構(gòu)及相關(guān)參數(shù)為基礎(chǔ),對少量的醫(yī)學(xué)影像圖像進(jìn)行圖像分類任務(wù)的遷移學(xué)習(xí)訓(xùn)練后,人們發(fā)現(xiàn)得到的網(wǎng)絡(luò)仍然能夠達(dá)到較高的正確率。例如,利用深度神經(jīng)網(wǎng)絡(luò)對胸片上的肺結(jié)核病灶進(jìn)行診斷,其受試者工作特征曲線的曲線下面積(area under receiver operating characteristic curve,AUC)可達(dá)到0.99[13]。雖然醫(yī)學(xué)影像圖像在圖像原理和展示方式等方面性質(zhì)都不同于一般的光學(xué)圖像,但只是利用少量醫(yī)學(xué)影像圖像來訓(xùn)練模型仍然可以得到性能較好的神經(jīng)網(wǎng)絡(luò)這一事實(shí)提示:深度神經(jīng)網(wǎng)絡(luò)對醫(yī)學(xué)影像圖像的處理與對自然光學(xué)圖像的處理能力類似,利用自然光學(xué)圖像訓(xùn)練得到的深度神經(jīng)網(wǎng)絡(luò)可以推廣到醫(yī)學(xué)影像圖像領(lǐng)域[18]。

醫(yī)學(xué)影像數(shù)據(jù)的特殊性限制了深度學(xué)習(xí)方法在醫(yī)學(xué)影像領(lǐng)域的運(yùn)用方式 在當(dāng)前的臨床實(shí)踐與科研工作中,醫(yī)學(xué)影像圖像占據(jù)了醫(yī)學(xué)圖像的絕大部分。這些醫(yī)學(xué)影像圖像主要來自于CT、MRI、PET-CT以及超聲等醫(yī)學(xué)成像設(shè)備。在醫(yī)學(xué)影像圖像與一般的自然圖像之間存在著許多差別,而正是這些差別直接影響著深度學(xué)習(xí)方法在醫(yī)學(xué)影像學(xué)領(lǐng)域運(yùn)用的具體方式。醫(yī)學(xué)影像圖像與一般的自然圖像之間的差別可以表現(xiàn)在以下幾個方面。

醫(yī)學(xué)影像圖像是醫(yī)學(xué)概念實(shí)體 醫(yī)學(xué)影像圖像在圖像內(nèi)容上表達(dá)的是醫(yī)學(xué)概念實(shí)體,需要通過特定的醫(yī)學(xué)影像成像設(shè)備獲得。一般而言,在機(jī)器視覺或計(jì)算機(jī)圖像處理領(lǐng)域,其所涉及的圖像通常為自然圖像,一般直接來自于光學(xué)相機(jī)。而醫(yī)學(xué)影像圖像一般需要以特定的成像原理通過特殊處理方法獲得,例如CT圖像是通過X射線的衰減系數(shù)經(jīng)特定重建算法獲得,MR圖像是磁共振信號經(jīng)傅里葉變換后獲得,醫(yī)學(xué)影像圖像是利用特定的成像原理人工合成的圖像,在本質(zhì)上迥異于一般自然圖像。因此,與一般的自然圖像比較,醫(yī)學(xué)影像圖像的獲取方式?jīng)Q定了醫(yī)學(xué)圖像的獲取受到醫(yī)療場景的限制,而醫(yī)學(xué)診療在倫理及經(jīng)濟(jì)上的要求使得醫(yī)學(xué)影像圖像的獲得難度高,不可能像一般的自然圖像那樣能夠大規(guī)模地任意獲取。

醫(yī)學(xué)影像圖像標(biāo)注成本高 一般的自然圖像所呈現(xiàn)的內(nèi)容基本上是人們在日常生活中所接觸到的各種事物,例如人物、各種動物、各種車輛等,表達(dá)的都是所有人均可進(jìn)行認(rèn)知的一般性概念實(shí)體。因而對一般的自然圖像進(jìn)行圖像內(nèi)容的標(biāo)注非常容易,成本往往很低。而醫(yī)學(xué)影像圖像所涉及的內(nèi)容都是醫(yī)學(xué)上的概念實(shí)體,專業(yè)性強(qiáng),具有特殊的圖像語義體系,其概念定義準(zhǔn)確嚴(yán)密,范疇界限鮮明,對醫(yī)學(xué)影像圖像進(jìn)行解讀需要在一套完整的醫(yī)學(xué)知識體系下,按照醫(yī)學(xué)影像學(xué)的專業(yè)規(guī)范進(jìn)行。因此,只有接受過針對性嚴(yán)格訓(xùn)練的醫(yī)務(wù)人員才能分析醫(yī)學(xué)影像圖像所表達(dá)的圖像信息,這也意味著對醫(yī)學(xué)影像圖像進(jìn)行高質(zhì)量內(nèi)容標(biāo)注的成本非常高,獲得大規(guī)模的高質(zhì)量標(biāo)記的醫(yī)學(xué)影像學(xué)數(shù)據(jù)往往是一件非常困難的事情。

醫(yī)學(xué)影像圖像有自身限制 醫(yī)學(xué)影像圖像在圖像性質(zhì)上存在自身的特點(diǎn),其空間分辨率與對比度分辨率往往受到一定的限制。當(dāng)前,隨著光學(xué)相機(jī)的技術(shù)發(fā)展,一般的自然圖像可以達(dá)到非常高的空間分辨率,即便是普通的數(shù)碼相機(jī),其像素一般都可達(dá)到數(shù)百萬至數(shù)千萬像素的水平。而醫(yī)學(xué)影像圖像不同,由于成像原理以及日常使用效率的考慮,絕大多數(shù)的醫(yī)學(xué)影像圖像在圖像大小上存在限制,作為數(shù)字化的圖像,醫(yī)學(xué)影像圖像的像素矩陣一般都很小。以磁共振圖像為例,由于圖像大小對其掃描時間具有非常大的影響,一般磁共振圖像實(shí)際的掃描矩陣長寬多設(shè)置在200至512之間,考慮到病灶通常只占人體的一小部分,因此實(shí)際感興趣的成像區(qū)域在數(shù)學(xué)上往往只是一個很小的矩陣。此外,醫(yī)學(xué)影像圖像多為灰度圖像,而且出于對存儲容量的限制,醫(yī)學(xué)圖像的灰度級通常也被限制在一定的范圍內(nèi),這樣使得醫(yī)學(xué)圖像的對比度分辨率相對有限。因此,與一般的日常生活領(lǐng)域的自然圖像不同,醫(yī)學(xué)影像圖像并不一味追求高清大圖,它對圖像質(zhì)量的要求是以圖像的信息含量充分滿足臨床診療需求為前提條件。因此,與目前計(jì)算機(jī)視覺以及機(jī)器學(xué)習(xí)領(lǐng)域通用的數(shù)據(jù)集相比較,其空間分辨率與對比度分辨率都比較低。

醫(yī)學(xué)影像圖像數(shù)據(jù)集建設(shè)要求 醫(yī)學(xué)影像圖像在獲取性與圖像性質(zhì)上的特點(diǎn)對深度學(xué)習(xí)方法在醫(yī)學(xué)影像領(lǐng)域的實(shí)際應(yīng)用提出了特殊的要求[19]。由于深度學(xué)習(xí)方法一般都有監(jiān)督學(xué)習(xí)方法,獲取高質(zhì)量的標(biāo)注數(shù)據(jù)是其成功應(yīng)用的關(guān)鍵,使得建設(shè)專門的、符合醫(yī)學(xué)領(lǐng)域的各種實(shí)踐傳統(tǒng)與現(xiàn)有規(guī)范的醫(yī)學(xué)圖像數(shù)據(jù)庫成為深度學(xué)習(xí)方法在醫(yī)學(xué)領(lǐng)域、特別是臨床醫(yī)學(xué)領(lǐng)域成功運(yùn)用的必要條件。但就目前為止,無論是在機(jī)器學(xué)習(xí)領(lǐng)域還是在醫(yī)學(xué)影像學(xué)領(lǐng)域,對這樣數(shù)據(jù)集的建設(shè)標(biāo)準(zhǔn)并沒有太多的明確表述。但作為醫(yī)學(xué)影像學(xué)專業(yè)背景的醫(yī)師,結(jié)合深度學(xué)習(xí)方法的特殊性,我們認(rèn)為這樣的數(shù)據(jù)集應(yīng)該至少滿足以下的幾個要求。

疾病譜的全面覆蓋 對疾病譜的全面覆蓋往往是建立優(yōu)質(zhì)數(shù)據(jù)集的難點(diǎn),主要表現(xiàn)在:一,對少見疾病的覆蓋。醫(yī)學(xué)疾病種類繁多,而且長尾效應(yīng)非常明顯,很多種類的疾病其實(shí)際病例數(shù)并不多。由于醫(yī)學(xué)領(lǐng)域?qū)膊≡\斷準(zhǔn)確性的要求非常高,并不能因?yàn)樯僖娋腿藶楹雎缘裟承┘膊?因而一個能夠在臨床上具有實(shí)際應(yīng)用價值的診斷工具必然要以一定的方式解決這個問題。二,強(qiáng)調(diào)收集的是具備有明確病理診斷結(jié)果的醫(yī)學(xué)影像圖像。當(dāng)前,臨床醫(yī)師進(jìn)行診療決策的關(guān)鍵通常是病理診斷的結(jié)果,然而并不是每一位接受醫(yī)學(xué)影像學(xué)檢查的患者都具有確鑿的病理結(jié)論。這意味著影像圖像數(shù)據(jù)集是建立在一個巨大篩選工作量的基礎(chǔ)上。三,對疾病譜隨時間、地域變化的包容性。疾病譜并不是一成不變的,而不同疾病種類在數(shù)目上的比例會在一定程度上影響深度學(xué)習(xí)方法運(yùn)用的準(zhǔn)確性。

醫(yī)學(xué)影像圖像標(biāo)注的完備性 醫(yī)學(xué)圖像的標(biāo)注,除了一般的病灶位置和病灶性質(zhì)外,我們認(rèn)為還有一個目前較少關(guān)注的內(nèi)容,即病例出現(xiàn)的臨床背景。因?yàn)閷︶t(yī)學(xué)影像圖像的解讀往往是放在一定的臨床情景之下的,醫(yī)學(xué)影像圖像往往并不能直接反映病變的病理本質(zhì),經(jīng)常會有“異病同影”的情況,因此從醫(yī)學(xué)圖像成像原理的角度,無論是利用什么計(jì)算機(jī)算法,都很難讓人相信僅僅利用單純的圖像信息就能夠達(dá)到很高的準(zhǔn)確水平。此外,具體的臨床情景信息也有助于對深度學(xué)習(xí)方法的黑箱原理進(jìn)行進(jìn)一步的理論解釋。

影像文本報告信息的處理 一般而言,來源于臨床實(shí)踐的醫(yī)學(xué)影像圖像都會有對應(yīng)的影像文本報告,這些影像文本報告反映了人對醫(yī)學(xué)影像圖像信息的理解深度與水平。雖然深度學(xué)習(xí)方法的實(shí)際應(yīng)用并不直接依賴于影像文本報告的具體內(nèi)容,但考慮到在目前醫(yī)療實(shí)踐中,醫(yī)學(xué)影像結(jié)論的責(zé)任由具體的影像醫(yī)師承擔(dān),因此根據(jù)深度學(xué)習(xí)方法得到的診斷結(jié)論需要轉(zhuǎn)化為他人能夠理解的文本形式。而要最終達(dá)到自動的“看圖說話”的效果,需要利用已有的影像文本報告作為進(jìn)行自然語言處理的材料。因此,對相應(yīng)影像文本報告信息的充分利用直接關(guān)系到深度學(xué)習(xí)方法在臨床醫(yī)學(xué)特別是醫(yī)學(xué)影像學(xué)領(lǐng)域的可接受性。

深度學(xué)習(xí)方法在影像醫(yī)學(xué)領(lǐng)域的應(yīng)用現(xiàn)狀 深度學(xué)習(xí)方法作為在圖像信息處理領(lǐng)域非常有效的一類方法,已經(jīng)有不少研究開始嘗試將其利用到醫(yī)學(xué)圖像分析的過程中。就目前已發(fā)表的涉及到醫(yī)學(xué)圖像的文獻(xiàn)來看,目前的研究大致可以分為兩個方向。

技術(shù)實(shí)現(xiàn)層面 研究的重點(diǎn)是深度學(xué)習(xí)方法這一種具體的圖像處理技術(shù)本身,嘗試?yán)闷鋪斫鉀Q計(jì)算機(jī)視覺領(lǐng)域的經(jīng)典問題,如圖像中目標(biāo)探測與定位[20-23]、圖像特征提取[24]、圖像分割[25-29]、圖像重建[30]、圖像分類[31-37]等。這些文獻(xiàn)更多的是從工程實(shí)現(xiàn)角度來評估深度學(xué)習(xí)方法在解決這些問題上的新穎性、有效性,其關(guān)注的重心還是在于深度學(xué)習(xí)方法這一技術(shù)的各種性能指標(biāo),醫(yī)學(xué)影像圖像更多的是用作實(shí)際檢驗(yàn)這些方法的材料。當(dāng)前這個方向的研究成果占據(jù)了已發(fā)表的關(guān)于深度學(xué)習(xí)方法文章的絕大多數(shù),而且大多發(fā)表在工程技術(shù)類別的期刊或會議論文上。

實(shí)際的生產(chǎn)運(yùn)用層面 將深度學(xué)習(xí)方法作為臨床問題的解決手段,評估利用深度學(xué)習(xí)方法解決臨床實(shí)際問題的有效性,特別是將深度學(xué)習(xí)方法的結(jié)果與人工處理的結(jié)果放在一起來進(jìn)行優(yōu)劣比較。不過,這類研究目前很少,能夠按照臨床試驗(yàn)標(biāo)準(zhǔn)進(jìn)行的研究更少。當(dāng)前,這些研究的成果基本上發(fā)表在醫(yī)學(xué)類期刊或綜合性期刊上。

需要說明的是,以本文寫作時間為限,在現(xiàn)有的關(guān)于深度學(xué)習(xí)的研究中,能夠大規(guī)模獲得的圖像數(shù)據(jù)基本上都是皮膚以及眼底病變的圖片,顯然相對容易獲取[38-39]。而在影像醫(yī)學(xué)領(lǐng)域,在大數(shù)據(jù)基礎(chǔ)上進(jìn)行深度學(xué)習(xí)研究的相關(guān)報告非常少,所涉及到的病種、 圖像類型也相對有限,這個事實(shí)也從另一個側(cè)面提示了深度學(xué)習(xí)方法具體落實(shí)在醫(yī)學(xué)影像領(lǐng)域的難度。

例如,在圖像數(shù)據(jù)相對容易獲取的X線平片方面,Cicero等[40]在35 038例后前位胸片疾病的基礎(chǔ)上,回顧性評估了GoogLeNet網(wǎng)絡(luò)鑒別常見異常胸片的能力。他們發(fā)現(xiàn)GoogLeNet網(wǎng)絡(luò)鑒別出正常胸片的敏感性是91%,特異性是91%,AUC為0.964;鑒別出胸腔積液的敏感性是91%,特異性是91%,AUC為0.962;鑒別出肺水腫的敏感性是82%,特異性是82%,AUC為0.868;鑒別出肺實(shí)變的敏感性是74%,特異性是75%,AUC為0.850;鑒別出心影增大的敏感性是81%,特異性是80%,AUC為0.875;鑒別出氣胸的敏感性是78%,特異性是78%,AUC為0.861。

此外,Larson等[41]在14 036例手X線平片的基礎(chǔ)上評估了50層深度殘差網(wǎng)絡(luò)對骨齡的預(yù)測能力,并將深度學(xué)習(xí)的結(jié)果與專家評估的結(jié)果進(jìn)行了比較。作者用模型預(yù)測結(jié)果與專家預(yù)測結(jié)果之間距離的絕對差值及均方根作為衡量模型效能的標(biāo)準(zhǔn),發(fā)現(xiàn)在200例的測試集上,模型預(yù)測結(jié)果與專家預(yù)測結(jié)果的平均差別為0年,兩種預(yù)測結(jié)果之間的絕對差值及均方根分別為0.63及0.5年。因而作者認(rèn)為在評估骨骼的成熟度方面,卷積神經(jīng)網(wǎng)絡(luò)的水平與人類專家相似。

在CT方面,Yasaka等[42]評估了卷積神經(jīng)網(wǎng)絡(luò)對增強(qiáng)CT圖像上肝臟占位性疾病的鑒別診斷能力。作為分類目標(biāo),他們把待分類的病灶分為5類:典型的肝細(xì)胞癌;除外典型肝細(xì)胞癌以及早期肝細(xì)胞癌以外的其他肝惡性腫瘤;不確定的肝腫塊以及腫塊樣病灶(包括早期肝細(xì)胞癌以及不典型增生結(jié)節(jié)),除血管瘤及囊腫以外的少見良性病灶;血管瘤;囊腫。由于數(shù)據(jù)量偏少,他們以460例患者的增強(qiáng)CT圖像為基礎(chǔ),采用數(shù)據(jù)擴(kuò)增的方法,將圖像數(shù)量擴(kuò)增到55 536。 在具體評估模型的準(zhǔn)確性時,他們以上述第1-2類為一大類,剩余3類為另一大類,對這樣2分類模型的平均AUC為0.92。

以上報道通過利用深度學(xué)習(xí)方法獲得了比較好的效果,但其所設(shè)置的最終分類數(shù)目都比較少,甚至對最終的分類進(jìn)行了簡化。這樣的分類目標(biāo)與實(shí)際臨床工作中所需要考慮的疾病類別還有相當(dāng)大的距離。因此,這些研究只是驗(yàn)證了深度學(xué)習(xí)方法本身在影像醫(yī)學(xué)領(lǐng)域運(yùn)用的可行性,距能夠成功地進(jìn)行實(shí)際運(yùn)用還有較大差距。

結(jié)語 由于影像醫(yī)學(xué)領(lǐng)域在獲得高質(zhì)量標(biāo)注數(shù)據(jù)方面的難度,需要更多地從其他的角度來彌補(bǔ)這一缺陷。根據(jù)作者目前的初步經(jīng)驗(yàn),認(rèn)為比較成功的方法主要包括以下4個方面:

合理簡化目標(biāo)分類數(shù)目 按照臨床上對醫(yī)學(xué)圖像信息分析需求的實(shí)際情況來設(shè)置網(wǎng)絡(luò)最后的目標(biāo)分類,不完全拘泥于全面的病理分類譜,這樣由于減少了分類數(shù)量,相應(yīng)地減少了待訓(xùn)練網(wǎng)絡(luò)參數(shù),使得相應(yīng)深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度得以降低。

以實(shí)時在線的方式進(jìn)行深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 在影像醫(yī)學(xué)領(lǐng)域,對深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)當(dāng)是一個持續(xù)不斷的過程。每當(dāng)收集到新的符合標(biāo)準(zhǔn)的數(shù)據(jù),就將其納入訓(xùn)練集優(yōu)化相應(yīng)深度神經(jīng)網(wǎng)絡(luò)的權(quán)重,之后重復(fù)評估網(wǎng)絡(luò)的效能。這樣的訓(xùn)練方式能夠使網(wǎng)絡(luò)在一定程度上適應(yīng)疾病譜以及相應(yīng)患病人群的時刻變遷。

針對特定的運(yùn)用場景選擇合適的深度神經(jīng)網(wǎng)絡(luò)就作者目前在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上的經(jīng)驗(yàn)而言,并不是越復(fù)雜的網(wǎng)絡(luò)其效果越好。一些相對簡單的深度神經(jīng)網(wǎng)絡(luò),例如VGG-Net等,往往也能達(dá)到或超過相對復(fù)雜的Inception-Resnet等網(wǎng)絡(luò)的水平。

利用生成式對抗網(wǎng)絡(luò)(generative adversarial network)擴(kuò)展圖像數(shù)據(jù) 對于少見或罕見疾病的醫(yī)學(xué)影像圖像,可以利用生成式對抗網(wǎng)絡(luò)擴(kuò)增現(xiàn)有的圖像數(shù)據(jù)。作者的初步經(jīng)驗(yàn),無論是單獨(dú)使用擴(kuò)增后的圖像還是混合利用擴(kuò)增圖像與原有圖像,都可以較好地改善現(xiàn)有深度神經(jīng)網(wǎng)絡(luò)模型的最終效能。

總之,深度學(xué)習(xí)方法作為一項(xiàng)新興技術(shù),其在影像醫(yī)學(xué)領(lǐng)域應(yīng)用才剛剛開始。針對在影像醫(yī)學(xué)領(lǐng)域運(yùn)用的實(shí)際情況,需要合理調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)與訓(xùn)練方式,甚至構(gòu)建新的網(wǎng)絡(luò)結(jié)構(gòu)模型。由于它在圖像信息分析領(lǐng)域的有效性,深度學(xué)習(xí)方法很可能會逐步滲透到影像醫(yī)學(xué)的臨床診療實(shí)踐中,成為臨床診療工作的有力工具。