人工智能在醫(yī)學(xué)影像分析中的應(yīng)用進(jìn)展

俞益洲, 石德君, 馬杰超, 周 振

(1.香港大學(xué)計(jì)算機(jī)科學(xué)系，香港 999077；2.深睿人工智能研究院，北京 100080)

人工智能(artificial intelligence, AI)是一門旨在模擬、延伸和擴(kuò)展人類智能，集理論、方法和應(yīng)用研發(fā)于一體的新興技術(shù)學(xué)科[1]。隨著AI的迅速發(fā)展，醫(yī)學(xué)影像分析與處理已成為醫(yī)學(xué)信息中發(fā)展最快的領(lǐng)域之一，而物體分類、檢測(cè)、分割和生成等作為AI圖像處理的關(guān)鍵問題，在醫(yī)學(xué)應(yīng)用中具有重要意義。

1 圖像分類

圖像分類是計(jì)算機(jī)視覺中最基本的任務(wù)之一，是由模型自動(dòng)輸出給定圖像的類別標(biāo)簽，建模核心是提取圖像特征和構(gòu)建分類器。傳統(tǒng)圖像分類方法系采用人工設(shè)計(jì)特征，如共生矩陣(GLCM)、Gabor過濾器及局部二值模式(LBP)等[2]，計(jì)算復(fù)雜、低效，且分類精度往往不高。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)能挖掘海量數(shù)據(jù)中隱含的統(tǒng)計(jì)模式，自動(dòng)學(xué)習(xí)對(duì)分類任務(wù)最有區(qū)分力的圖像特征[3]。隨著網(wǎng)絡(luò)深度增加，CNN模型精度越來越高，深度學(xué)習(xí)(deep learning, DL)由此得名?；谧匀粓D像構(gòu)建的圖像分類網(wǎng)絡(luò)是最早遷移到醫(yī)學(xué)影像分析中的DL模型，如分類異常胸片和正常胸片。醫(yī)學(xué)影像分類使用的DL模型在時(shí)間線上與計(jì)算機(jī)視覺中類似[4]。

由于醫(yī)學(xué)影像標(biāo)注數(shù)據(jù)稀缺，研究者往往使用遷移學(xué)習(xí)，即利用預(yù)訓(xùn)練模型進(jìn)行權(quán)重初始化。遷移學(xué)習(xí)在醫(yī)學(xué)影像分類任務(wù)中的優(yōu)勢(shì)得到了研究證實(shí)[5]，證實(shí)遷移學(xué)習(xí)在醫(yī)學(xué)影像分類任務(wù)中的優(yōu)勢(shì)。目前多個(gè)大型疾病診斷分類模型均采用遷移學(xué)習(xí)，分類精度達(dá)到?？漆t(yī)師水平[6-7]。

可解釋性問題是DL一直以來面臨的挑戰(zhàn)，即CNN模型提取哪些特征以實(shí)現(xiàn)高分類精度[8]。將CNN模型用于醫(yī)學(xué)影像領(lǐng)域時(shí)，可解釋性問題尤為突出——模型預(yù)測(cè)可能與醫(yī)師判斷相左，而醫(yī)師需要知道原因。有學(xué)者采用可視化研究，對(duì)CNN分類機(jī)制進(jìn)行探索[9-10]；借助類別激活圖(class activation maps, CAM)展示模型在預(yù)測(cè)分類時(shí)關(guān)注了輸入圖像的哪些區(qū)域。類似的可視化技術(shù)還被用于其他醫(yī)學(xué)影像的DL分類任務(wù)[11]。

MRI和CT三維圖像分類任務(wù)研究催生了3D CNN模型。Mohammed等[12]搭建3D CNN模型對(duì)三維MRI進(jìn)行阿爾茲海默病(Alzheimer's disease， AD)分類，針對(duì)不同分類任務(wù)，模型F1為0.75～0.94。Shen等[13]提出3D深度層級(jí)語義網(wǎng)絡(luò)模型預(yù)測(cè)CT中肺結(jié)節(jié)的特征和惡性程度，同時(shí)輸出低級(jí)語義特征(毛刺、實(shí)性、鈣化等)和高級(jí)惡性分?jǐn)?shù)，協(xié)助醫(yī)師解讀模型的預(yù)測(cè)結(jié)果，在LIDC數(shù)據(jù)集上的良惡性分類準(zhǔn)確率達(dá)到84.2%。

2 目標(biāo)檢測(cè)

計(jì)算機(jī)視覺目標(biāo)檢測(cè)旨在對(duì)圖像中的目標(biāo)進(jìn)行定位和識(shí)別，其中的算法不僅需要給出被檢測(cè)目標(biāo)類別(如CT切片上某塊區(qū)域是否包含肺結(jié)節(jié))，還要在圖像中給出其位置和范圍。

在醫(yī)學(xué)影像分析領(lǐng)域，目標(biāo)檢測(cè)主要體現(xiàn)為病灶檢測(cè)。目前病灶檢測(cè)算法主要有單階段方法和雙階段方法。單階段方法[如YOLO(you only look once)和SSD(single shot detection)等[14-15]]的主要思想是于欲檢測(cè)圖像特征圖的不同位置均勻進(jìn)行密集抽樣，再對(duì)抽樣特征進(jìn)行定位邊界回歸和病灶類別分類，整個(gè)過程只需一步，速度較快。雙階段方法(如RCNN系列[16-17])的主要思想則是通過區(qū)域生成網(wǎng)絡(luò)(region proposal network，RPN)產(chǎn)生一系列候選框，再對(duì)其進(jìn)行再次定位邊界回歸和病灶類別分類，共經(jīng)兩次定位邊界回歸，其準(zhǔn)確率較高。

基于YOLO系列的網(wǎng)絡(luò)結(jié)構(gòu)一般將圖像分成多個(gè)區(qū)域，并查看每個(gè)區(qū)域是否包含物體及其具體位置。Afshari等[18]提出一種基于YOLO的深度網(wǎng)絡(luò)結(jié)構(gòu)，用于檢測(cè)對(duì)PET圖像中的多個(gè)器官(腦、心臟等)，平均準(zhǔn)確率為75%～98%，召回率為94%～100%。Almasni等[19]使用YOLO網(wǎng)絡(luò)對(duì)乳腺腫塊進(jìn)行自動(dòng)檢測(cè)，定位準(zhǔn)確率99.7%，并能區(qū)分良性和惡性病變，總準(zhǔn)確率為97%。

基于SSD系列的網(wǎng)絡(luò)直接采用CNN，以不同尺度特征圖進(jìn)行檢測(cè)，在一定程度上克服了YOLO檢測(cè)小物體效果較差的問題。與一般意義上基于自然圖像的物體檢測(cè)相比較，醫(yī)學(xué)影像分析有其特殊性和側(cè)重點(diǎn)，其維度通道一般基于醫(yī)學(xué)數(shù)據(jù)類型而改變，例如PET-CT數(shù)據(jù)一般情況下為二維單通道灰度圖，而MRI數(shù)據(jù)多為三維四通道灰度圖。Ma等[20]提出一種基于分組卷積網(wǎng)絡(luò)的單級(jí)SSD檢測(cè)框架，針對(duì)輸入圖像的多層面性質(zhì)，自動(dòng)學(xué)習(xí)不同輸入層面之間的權(quán)重關(guān)系，并在肺結(jié)節(jié)檢測(cè)數(shù)據(jù)集LUNA16上取得了較高得分。Datong等[21]則針對(duì)醫(yī)學(xué)影像分辨率低、背景復(fù)雜的特點(diǎn)提出基于單級(jí)SSD的冠狀動(dòng)脈鈣離子的檢測(cè)算法。Zhang等[22]使用特征金字塔結(jié)構(gòu)改進(jìn)模型，將底層特征映射與上層反卷積特征映射連接起來，使各層之間的關(guān)系更加明確，在胃鏡檢測(cè)息肉中的準(zhǔn)確率達(dá)到90.4%，并極大降低息肉的漏診率。

RCNN系列網(wǎng)絡(luò)是目前基于DL目標(biāo)檢測(cè)的代表模型。Lu等[23]以基于RCNN的網(wǎng)絡(luò)在MRI上檢測(cè)盆腔淋巴結(jié)，414例直腸癌ROC的AUC達(dá) 0.912。Liu等[24]將RCNN用于檢測(cè)結(jié)腸炎，針對(duì)二維層面生成一系列候選框，再行類別分類和定位回歸。為自動(dòng)檢測(cè)領(lǐng)域肺結(jié)節(jié)，Zhu等[25]將RCNN網(wǎng)絡(luò)改進(jìn)成基于3D的網(wǎng)絡(luò)，能夠有效學(xué)習(xí)結(jié)節(jié)特征，并在LIDC上得到92%的敏感度。Yan等[26]以三維網(wǎng)絡(luò)建模上下層的聯(lián)系，提出一種利用3D信息的檢測(cè)算法，對(duì)CT中的多種病灶進(jìn)行通用檢測(cè)。

3 物體分割

器官和亞結(jié)構(gòu)分割是定量分析醫(yī)學(xué)影像的基礎(chǔ)，比如面積和體積，往往也是計(jì)算機(jī)輔助診斷(computer aided diagnosis， CAD)流程的第一步；常見評(píng)價(jià)指標(biāo)有像素水平的分類準(zhǔn)確率，區(qū)域水平的Dice系數(shù)、IoU及Hausdorff距離等[27]。

U-net是最知名的CNN分割模型之一[28]，奪得2015 ISBI顯微鏡圖片細(xì)胞分割挑戰(zhàn)的冠軍，IoU達(dá)92%?，F(xiàn)已有多個(gè)U-net的變種模型，尤其是為適應(yīng)三維醫(yī)學(xué)影像的3D U-net[29]、V-net[30]及AnatomyNet[31]等。V-net在3D U-net基礎(chǔ)上加入殘差模塊，結(jié)合基于Dice的損失函數(shù)，在MRI膀胱分割中Dice達(dá)到0.87[30]；AnatomyNet則在頭部CT 19個(gè)器官分割任務(wù)上取得了最優(yōu)Dice表現(xiàn)[31]。

全卷積網(wǎng)絡(luò)(fully convolutional networks， FCN)是語義分割領(lǐng)域的經(jīng)典模型，系很多后續(xù)經(jīng)典分割模型的原型，也被用于醫(yī)學(xué)影像領(lǐng)域，以經(jīng)典分類模型作為編碼主干，以反卷積替代全連接層，將特征圖分辨率恢復(fù)到原始圖像大小，從而實(shí)現(xiàn)逐像素分類[32]。Jiang等[33]利用基于AlexNet的FCN進(jìn)行視網(wǎng)膜血管分割，于4個(gè)公開數(shù)據(jù)集上取得最優(yōu)表現(xiàn)。Gibson等[34]以3D DenseVNet在腹部CT圖像中對(duì)9個(gè)器官進(jìn)行分割，以FCN為基本框架，同時(shí)在主干中使用Dense連接實(shí)現(xiàn)特征重用，提升參數(shù)使用效率，對(duì)不同器官的分割Dice達(dá)到0.63～0.96。Tetteh 等[35]提出cross-hair過濾器來近似3D卷積核，參數(shù)量隨卷積核尺寸呈線性增加，而非指數(shù)增加，結(jié)合模擬數(shù)據(jù)預(yù)訓(xùn)練，大幅提升了模型在三維血管造影圖像中血管分割的效果。Cao等[36]提出一種雙路分割網(wǎng)絡(luò)模型提升魯棒性，在公開數(shù)據(jù)集LIDC上取得了82.74%的Dice得分。Alom等[37]觀察循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network， RNN)對(duì)CNN分割網(wǎng)絡(luò)的效用，相比U-Net和ResU-Net，其分割效果在眼底圖片、皮膚癌和肺結(jié)節(jié)3個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集上均有所提升。

4 圖像生成

圖像生成旨在從A圖像自動(dòng)生成偽B圖像，A圖像可為隨機(jī)噪聲，也可為來自不同域的圖像(如自然圖像中A和B來自不同風(fēng)格的圖像，在醫(yī)學(xué)影像中A和B可分別代表MRI和CT)，一般由生成對(duì)抗網(wǎng)絡(luò)(generative adversarial nets， GAN)來實(shí)現(xiàn)；后者是一種特殊神經(jīng)網(wǎng)絡(luò)模型，模型可分為生成器和判別器兩個(gè)部分，生成器負(fù)責(zé)從A圖像生成逼近真實(shí)B圖像的偽B圖像，判別器負(fù)責(zé)區(qū)分B圖像和偽B圖像，兩個(gè)模型交替訓(xùn)練，最終判別器無法區(qū)分生成器生成的偽B圖像與真實(shí)的B圖像，說明生成器已達(dá)到 “以假亂真”的水平。

在醫(yī)學(xué)影像中，成像算法面臨的一大挑戰(zhàn)是利用低輻射劑量獲得高分辨率圖像，這其中涉及噪聲和偽影處理。GAN在醫(yī)學(xué)圖像領(lǐng)域受到廣泛關(guān)注。為了產(chǎn)生更逼真的圖像，Nie等[38]采用對(duì)抗性訓(xùn)練策略和圖像梯度差分損失函數(shù)。Bi等[39]提出一種新的合成多通道GAN方法模擬合成PET數(shù)據(jù)，以解決PET數(shù)據(jù)再低分辨率和低信噪比方面的問題。

相比 GAN，條件對(duì)抗網(wǎng)絡(luò)(conditional generative adversarial nets， CGAN)生成器的輸入不再是一個(gè)隨機(jī)噪聲，而是以一張真實(shí)圖像和一個(gè)控制條件去生成偽圖像，即CGAN生成器的任務(wù)不僅在于騙過生成器，還要讓生成圖像滿足某種特定條件。Yi等[40]基于CGAN方法在低劑量CT上進(jìn)行去噪處理，得到了較好的分辨率和損失率。Sanchez等[41]使用對(duì)抗學(xué)習(xí)的方法，從低分辨率圖像生成高分辨率MRI，并通過修改不同對(duì)抗損失函數(shù)來提高生成圖像的質(zhì)量，顯示了CGAN在三維醫(yī)學(xué)影像超分辨率成像方面的潛力。

循環(huán)對(duì)抗生成網(wǎng)絡(luò)(cycle generative adversarial nets，CycleGAN)本質(zhì)上是兩個(gè)鏡像對(duì)稱的GAN模型構(gòu)成的環(huán)形網(wǎng)絡(luò)，共享兩個(gè)生成器，各帶一個(gè)判別器。Kang等[42]通過學(xué)習(xí)常規(guī)劑量冠狀動(dòng)脈CTA而生成低劑量CTA的映射，并去除低劑量階段圖像的噪聲。You等[43]提出一種基于半監(jiān)督的圖像恢復(fù)算法，將殘差學(xué)習(xí)方式用于CycleGAN，在低分辨率CT圖像中準(zhǔn)確恢復(fù)了高分辨率CT圖像。Ravi等[44]提出一種基于具有物理激勵(lì)循環(huán)一致性的對(duì)抗性深度神經(jīng)網(wǎng)絡(luò)，來解決內(nèi)窺鏡采集過程中圖像像素低的問題，平均意見得分研究也證實(shí)了這種定量的圖像質(zhì)量評(píng)估能力。

5 小結(jié)

醫(yī)學(xué)影像分析領(lǐng)域研究大量借用計(jì)算機(jī)視覺研發(fā)DL技術(shù)，包括分類、檢測(cè)、分割，來提升醫(yī)學(xué)影像解讀的效率和精度。目前DL模型在多項(xiàng)多種影像模態(tài)相關(guān)任務(wù)中已接近甚至超越人類專家的水平。使用GAN等圖像生成技術(shù)可提升醫(yī)學(xué)影像質(zhì)量，實(shí)現(xiàn)不同影像模態(tài)的轉(zhuǎn)換，減少輻射劑量及采集次數(shù)。同時(shí)，借助醫(yī)學(xué)影像的特性及特定臨床任務(wù)進(jìn)行DL技術(shù)創(chuàng)新，可實(shí)現(xiàn)對(duì)計(jì)算機(jī)視覺領(lǐng)域的反哺，比如提供大量遷移學(xué)習(xí)研究實(shí)例，對(duì)二維模型進(jìn)行三維改造和探索多種DL模塊的協(xié)同作用等[4]。AI在醫(yī)學(xué)影像分析中的研究將有望切實(shí)提升醫(yī)師工作效率和工作質(zhì)量。