基于深度神經(jīng)網(wǎng)絡(luò)的冠脈造影圖像的血管狹窄自動(dòng)定位及分類預(yù)測(cè)

叢 超 肖朝暉 陳文俊 王 毅

1(陸軍軍醫(yī)大學(xué)大坪醫(yī)院特色醫(yī)學(xué)中心放射科，重慶 400016)

2(重慶理工大學(xué)電氣與電子工程學(xué)院，重慶 400054)

3(重慶理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，重慶 400054)

引言

冠狀動(dòng)脈疾病(冠心病，coronary artery disease, CAD)已經(jīng)成為全球發(fā)病率和死亡率的主要原因[1]。侵入式冠脈造影成像技術(shù)(X-ray coronary angiography, CAG，或invasive coronary angiography，ICA)是目前診斷冠心病的金標(biāo)準(zhǔn)成像技術(shù)，其中針對(duì)動(dòng)脈狹窄的診斷和評(píng)估是開展進(jìn)一步診斷和臨床規(guī)劃的重要步驟。

目前，在醫(yī)療圖像處理及輔助診斷領(lǐng)域，基于機(jī)器視覺和人工智能的方法與臨床診斷評(píng)估方法已越來(lái)越緊密地結(jié)合在一起，用于解決處理過(guò)程中的圖像降噪、目標(biāo)識(shí)別、組織分割、疾病預(yù)測(cè)等問題，成為醫(yī)療診斷不可分割的一部分。在侵入式冠脈造影成像中，也有許多研究人員對(duì)狹窄檢測(cè)方法提出基于機(jī)器視覺、模式識(shí)別的自動(dòng)或半自動(dòng)算法，以協(xié)助疾病的評(píng)估診斷。其中，較為常見的是基于動(dòng)脈血管檢測(cè)的算法流程[2]，其步驟包括動(dòng)脈提取、直徑計(jì)算和狹窄分析等。例如，許多學(xué)者將機(jī)器視覺中目標(biāo)輪廓提取/中心線提取的技術(shù)應(yīng)用到血管中心的跟蹤上[3-5]，更為流行的方法是基于圖像分割的技術(shù)[6-8]和基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的分割[9-15]等。這樣，通過(guò)精確提取CAG圖像中的冠狀動(dòng)脈，以此為基準(zhǔn)，實(shí)現(xiàn)對(duì)冠心病的疾病預(yù)測(cè)與定性/定量分析。

現(xiàn)有技術(shù)中的一些算法在實(shí)際臨床應(yīng)用上有一定局限。首先，血管分割或輪廓提取降低了算法的魯棒性，使許多方法只能在小規(guī)模的數(shù)據(jù)集上進(jìn)行評(píng)估；其次，這些方法很難做到端到端(end-to-end)，都包括一定比例的預(yù)處理步驟，如選擇對(duì)比幀和繪制動(dòng)脈輪廓。此外，血管輪廓的標(biāo)注工作是評(píng)估標(biāo)準(zhǔn)和監(jiān)督學(xué)習(xí)樣本的不可或缺的一部分，其中大量的手動(dòng)工作給操作人員帶來(lái)沉重的負(fù)擔(dān)。

近年來(lái)，基于端到端的深度學(xué)習(xí)技術(shù)(deep learning)逐漸成為醫(yī)療圖像處理領(lǐng)域的重要研究方向。例如，通過(guò)CNN分類/預(yù)測(cè)模型，可以實(shí)現(xiàn)針對(duì)癌癥疾病的病理圖像分類、腫瘤目標(biāo)檢測(cè)[16-17]和眼底病變的分類[18]等。然而，在心臟圖像處理領(lǐng)域，深度學(xué)習(xí)技術(shù)還是主要集中于CT/MRI圖像的左心室分割、血管分割和基于分割的CT血管的狹窄識(shí)別。針對(duì)CAG圖像的處理，深度學(xué)習(xí)技術(shù)還沒有得到廣泛的應(yīng)用。

因此，針對(duì)CAG圖像中動(dòng)脈狹窄的診斷，提出了一個(gè)端到端的深度學(xué)習(xí)模型架構(gòu)。該算法架構(gòu)主要利用冠脈造影定量分析(QCA)，而無(wú)須依賴血管分割掩?；蜉喞崛〗Y(jié)果進(jìn)行監(jiān)督學(xué)習(xí)，從而實(shí)現(xiàn)了圖像級(jí)/動(dòng)脈級(jí)/患者級(jí)的狹窄分類預(yù)測(cè)與圖像中的狹窄定位檢測(cè)。同時(shí)，在圖像數(shù)據(jù)準(zhǔn)備的過(guò)程中，利用inception模型，結(jié)合長(zhǎng)短記憶模型(LSTM)，識(shí)別不同冠脈類別和造影時(shí)間序列圖像中的造影幀，實(shí)現(xiàn)了算法流程的全自動(dòng)化。

1 方法

1.1 數(shù)據(jù)來(lái)源和評(píng)估方式

針對(duì)235例患者展開研究，數(shù)據(jù)均來(lái)自CORE320——多種族、多中心、國(guó)際性的冠狀動(dòng)脈疾病的診斷數(shù)據(jù)庫(kù)[19]。該數(shù)據(jù)集使用了侵入性冠狀動(dòng)脈造影圖像，將造影血管的病變嚴(yán)重程度的冠脈造影定量分析(QCA)作為其評(píng)價(jià)標(biāo)準(zhǔn)[20]。

所有用例都保存為通用DICOM格式，每個(gè)都包括8～20個(gè)DICOM視頻文件，分辨率為512像素×512像素或1 024像素×1 024像素，每個(gè)DICOM包含60～200幀, 15幀/s。使用DICOM標(biāo)簽識(shí)別主視圖(LAO/RAO)和次視圖(CRA/CAU)，并按照臨床診斷經(jīng)驗(yàn)選取4個(gè)LCA的典型視角(LAO CRA、LAO CAU、RAO CRA和RAO CAU)和3個(gè)RCA典型視角(LAO、RAO和淺CRA)進(jìn)行狹窄識(shí)別實(shí)驗(yàn)。

數(shù)據(jù)集刪除了5個(gè)缺乏足夠數(shù)據(jù)的用例(LCA或RCA中DICOM視頻數(shù)量少于1)，并排除了36個(gè)由于圖像質(zhì)量低或?qū)Ρ榷炔疃鵁o(wú)法進(jìn)行訓(xùn)練的用例(但仍包括在狹窄分類評(píng)估中)。剩下的194例中，共計(jì)1 844個(gè)視頻被歸類為上述的7個(gè)典型視圖。隨后，通過(guò)視覺檢查，進(jìn)一步排除了74個(gè)對(duì)比度差或狹窄特征不明顯的視頻。最后，共計(jì)194例的10 872張圖像(CAG中的完全造影幀)被用作圖像級(jí)狹窄分類訓(xùn)練和評(píng)估，所有的230例的13 744張圖像被用作多視角結(jié)合的動(dòng)脈級(jí)和患者級(jí)狹窄預(yù)測(cè)評(píng)估；針對(duì)分類呈陽(yáng)性(>25%)的用例中，又選取了690張圖像和1 588個(gè)人工標(biāo)注的狹窄定位框用作血管狹窄定位訓(xùn)練和定位評(píng)估。在評(píng)估的過(guò)程中，參與訓(xùn)練的圖像都采用4倍交叉驗(yàn)證(4-fold cross validation)的方式參與評(píng)估。

1.2 訓(xùn)練與評(píng)估標(biāo)簽準(zhǔn)備

狹窄分類的訓(xùn)練標(biāo)簽主要由QCA中的狹窄分?jǐn)?shù)確定。根據(jù)狹窄程度，QCA結(jié)果被分為3個(gè)臨床相關(guān)組：0類為<25%狹窄組，1類為25%～95%狹窄組，2類為>95%狹窄組。圖像分類訓(xùn)練主要基于以上定義進(jìn)行三分類或二分類(<25%和>25%)訓(xùn)練，這里命名為2-CAT/3-CAT。其中，動(dòng)脈級(jí)/患者級(jí)的狹窄標(biāo)簽可以直接由QCA生成，而圖像級(jí)別的標(biāo)簽可通過(guò)QCA中的每段狹窄嚴(yán)重程度[20]和29段模型[21]位置確定。為了最大程度地讓算法流程自動(dòng)化，采用最優(yōu)視圖映射(optimal view mapping, OVM)方法[22]，將每個(gè)節(jié)段的狹窄類別映射到7個(gè)典型視角視頻/圖像中。

血管狹窄定位的訓(xùn)練標(biāo)簽被定義為圖像中的一組坐標(biāo)或矩形框，被標(biāo)定了圖像中的血管狹窄或疑似狹窄病灶所出現(xiàn)的位置和大小，由兩位獨(dú)立的專家從690 張CAG圖像中直觀繪制。該方法規(guī)定：在分辨率為512像素×512像素的CAG圖像中，狹窄病灶區(qū)域的最小尺寸為35像素×35像素。

1.3 訓(xùn)練模型及訓(xùn)練策略

Inception-v3模型[23]作為基本的圖像分類器與特征提取器，應(yīng)用于造影幀分類、血管狹窄分類及特征提取。模型的輸入尺寸均為512像素×512像素×3通道，并對(duì)輸入圖像進(jìn)行隨機(jī)小幅度(變化在10%以內(nèi))對(duì)比度偏移、圖像旋轉(zhuǎn)平移、仿射變換等數(shù)據(jù)增強(qiáng)技術(shù)，以提高算法魯棒性。

1.3.1造影幀預(yù)檢測(cè)

首先，采樣1 000張完全造影幀和非造影幀圖像。其中，完全造影幀定義為“候選幀”，非造影幀定義為“冗余幀”。將這些圖像輸入，并預(yù)訓(xùn)練一個(gè)inception模型，讓其分類識(shí)別候選/冗余幀。然后，將訓(xùn)練完成模型的全連接(FC)層的輸出特征矢量連接到一個(gè)雙向LSTM結(jié)構(gòu)的輸入端。另外，采樣了146個(gè)CAG視頻，每個(gè)視頻通過(guò)最近鄰法進(jìn)行插值或采樣選取64幀，并定義其完全造影階段的起始幀和結(jié)束幀作為標(biāo)簽，再將這些視頻圖像輸入雙向LSTM結(jié)構(gòu)進(jìn)行訓(xùn)練。最后，對(duì)LSTM的輸出結(jié)果進(jìn)行采樣來(lái)避免相似的幀，這就是候選幀的選取。

針對(duì)inception的候選/冗余預(yù)訓(xùn)練，將損失函數(shù)定義為二元熵，初始學(xué)習(xí)率(LR)為1×10-4，預(yù)訓(xùn)練100個(gè)周期(epochs)。對(duì)于LSTM訓(xùn)練，將損失函數(shù)定義為卷積F1分?jǐn)?shù)[24]，LR=4×10-5，共訓(xùn)練200個(gè)周期。

1.3.2狹窄分類訓(xùn)練

對(duì)于圖像級(jí)狹窄分類訓(xùn)練，將inception分類網(wǎng)絡(luò)的最后一個(gè)全連接層和激活層用2/3-CAT設(shè)置替換。為了讓訓(xùn)練能夠更快收斂并提高分類性能[25-26]，使用ImageNet數(shù)據(jù)集將inception預(yù)訓(xùn)練得到網(wǎng)絡(luò)權(quán)重作為血管狹窄訓(xùn)練的初始值。隨后，使用4倍交叉驗(yàn)證的方式，將194例患者的10 872張圖像分為3倍訓(xùn)練集和1倍驗(yàn)證集，使用訓(xùn)練集對(duì)預(yù)訓(xùn)練好的inception模型進(jìn)行狹窄分類訓(xùn)練。

為了提高訓(xùn)練效果，減少過(guò)擬合，設(shè)計(jì)了一種新的訓(xùn)練策略——冗余訓(xùn)練。該策略將預(yù)先分類的冗余幀添加到訓(xùn)練數(shù)據(jù)集中(不在測(cè)試或驗(yàn)證中)，冗余幀被標(biāo)記為一個(gè)新的類別(R類)。在2/3-CAT(名為2R/3R-CAT)上，執(zhí)行了此訓(xùn)練策略。為了避免引入類別不平衡，對(duì)每種情況下的冗余幀和候選幀進(jìn)行了大致相同的采樣。

每個(gè)模型(4個(gè)LCA角度視圖訓(xùn)練集和1個(gè)RCA訓(xùn)練集，在2/3/2R/3R-CAT設(shè)置中)都接受了200個(gè)階段的LR=1×10-4訓(xùn)練。采用Adam優(yōu)化器和交叉熵?fù)p失函數(shù)，并采用類別重采樣策略，以防止類別不平衡。

此外，在LCA/RCA的4或3角度視圖中，對(duì)1類(狹窄)的輸出分?jǐn)?shù)應(yīng)用max-pooling層來(lái)評(píng)估動(dòng)脈級(jí)狹窄預(yù)測(cè)，并使用類似的方法評(píng)估患者級(jí)狹窄預(yù)測(cè)。對(duì)于動(dòng)脈/患者水平，僅使用2R-CAT訓(xùn)練模型評(píng)估<25%/>25%的預(yù)測(cè)。

圖像級(jí)、動(dòng)脈級(jí)和患者級(jí)狹窄分類的詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 基于Inception的多級(jí)別狹窄分類網(wǎng)絡(luò)架構(gòu)Fig.1 Multi-level stenosis classification network architecture based on inception model

1.4 狹窄檢測(cè)與定位方法

訓(xùn)練后，使用類激活圖(class activation map, CAM[27])來(lái)識(shí)別每個(gè)訓(xùn)練模型中的區(qū)分區(qū)域，這些區(qū)分區(qū)域?qū)ζ浞诸悰Q策具有不同的權(quán)重。CAM提供了對(duì)CNN行為的深入檢查，并且可以用于特征模式定位，而無(wú)需在圖像分類的情況下使用額外的標(biāo)簽或信息。

CAM(用變量Ms指代)的計(jì)算可以描述為第l層中k個(gè)特征圖Alk(i,j)的線性加權(quán)總和，再根據(jù)全局平均池化(global average pooling, GAP)層映射到對(duì)應(yīng)的行列坐標(biāo)(i和j)。CAM的詳細(xì)實(shí)現(xiàn)和公式如下：

(1)

神經(jīng)元權(quán)重wsk是從指定的輸出類別s反向傳播(back propagation)通過(guò)對(duì)梯度的平均池化獲得的，有

(2)

式中，Z是歸一化操作。

在式(2)中，將ReLU運(yùn)算應(yīng)用于線性組合，以從特征圖Alk中排除負(fù)激活值。實(shí)驗(yàn)將CAM的位置放在倒數(shù)第2個(gè)卷積層(inception-v3的第310層，l=310)，同時(shí)在反向傳遞時(shí)取輸出類別為狹窄類別(在2/2R-CAT，s=1)，這樣所獲得的識(shí)別血管狹窄定位的能力最佳。在獲取CAM之后，將其上采樣至原圖大小(512像素×512像素)，然后對(duì)其進(jìn)行閾值處理，以通過(guò)輸入CAG圖像創(chuàng)建狹窄區(qū)域s和峰值狹窄定位信息。 用式(1)和(2)，可以計(jì)算出狹窄區(qū)域的激活范圍及其坐標(biāo)，其計(jì)算流程如圖2所示。

圖2 基于類激活圖的狹窄定位方法Fig.2 CAM-based stenosis positioning method

基于CAM，通過(guò)閾值檢測(cè)從背景中檢測(cè)到高激活區(qū)域，并生成了其邊界框。 CAM的計(jì)算提供了一種粗略的狹窄定位能力，作為一種無(wú)監(jiān)督的方法，而無(wú)需為狹窄的位置提供大量的人工輸入。

1.5 血管狹窄檢測(cè)評(píng)估分析

在本研究中，輔助診斷分類算法性能的評(píng)估主要基于患者進(jìn)行4倍交叉驗(yàn)證，包括各患者的圖像級(jí)、血管級(jí)、患者級(jí)的嚴(yán)重性分類。在CORE320數(shù)據(jù)集中，0、1、2類的分布分別為39.5%、49.9%、10.6%。為了避免類別不平衡問題，利用加權(quán)準(zhǔn)確度Accuracy、加權(quán)Cohen's Kappa和F-score值進(jìn)行評(píng)估，并繪制了ROC曲線以及曲線下面積AUC。

針對(duì)血管狹窄的檢測(cè)評(píng)估，主要是通過(guò)計(jì)算整體敏感度(Sens)、每狹窄敏感度(Senss)、每狹窄特異度(Specs)和均方誤差(MSE)來(lái)完成。Sens定義為圖像中最顯著狹窄的檢測(cè)召回率，與COCO基準(zhǔn)[28]中的AR^(max=1)相似；Senss和Specs被定義為圖像中所有狹窄檢測(cè)的召回率。

所有統(tǒng)計(jì)評(píng)估均在Python中進(jìn)行(版本3.6， Python軟件基金會(huì)，https://www.python.org)，敏感性、特異性、準(zhǔn)確性、T1得分和AUC使用Scikit-learn版本0.19.1計(jì)算。對(duì)具有隨機(jī)性的實(shí)驗(yàn)結(jié)果開展統(tǒng)計(jì)分析，其中基于正態(tài)分布的連續(xù)變量，報(bào)告為均值±標(biāo)準(zhǔn)差。

2 結(jié)果

2.1 狹窄分類實(shí)驗(yàn)

狹窄分類評(píng)估基于230例的13 744張圖像，其中嚴(yán)重性分布為：狹窄<25%者87例(37.8%)，狹窄25%～99%者119例(51.7%)，狹窄100%者24例(10.4%)。為了檢驗(yàn)所提出的冗余訓(xùn)練策略的性能，分別采用了原生訓(xùn)練法和冗余訓(xùn)練法，并比較了它們之間的評(píng)價(jià)指標(biāo)。

基于圖像級(jí)的定量評(píng)價(jià)結(jié)果如表1所示，冗余訓(xùn)練對(duì)2-CAT和3-CAT類別的分類準(zhǔn)確度(Acc)、F1分?jǐn)?shù)和Kappa分?jǐn)?shù)都有顯著的改善。同時(shí)，比較了本方法和文獻(xiàn)[3-4,12,29]方法針對(duì)狹窄分類的性能。結(jié)果表明，提出的方法在分類性能上優(yōu)于傳統(tǒng)方法。一些基于血管的方法[3-4]的準(zhǔn)確度分別為0.86、0.94，但它們并不是完全自動(dòng)化的狹窄評(píng)估，也不能提供患者級(jí)別的狹窄分類結(jié)果。

表1 3-CAT、2-CAT分類診斷性能評(píng)估(μ±σ)，計(jì)算準(zhǔn)確度(Acc)、Cohen′s Kappa(κ)和F1評(píng)分(F1)Tab.1 Performance (μ±σ) in 3/2-CAT setups, metrics were calculated by accuracy (Acc), Cohen’s Kappa (κ) and F1-score (F1)

在基于動(dòng)脈級(jí)別和患者級(jí)別的評(píng)估中，LCA、RCA和per-patient的靈敏度分別為0.94、0.90和0.96，對(duì)LCA、RCA和per-patient的AUCs為0.87、0.88和0.86?；趫D像、動(dòng)脈、患者分類的ROC曲線如圖3所示。

圖3 基于4-fold交叉驗(yàn)證的ROC特性曲線。(a)LCA分類；(b)RCA分類；(c)患者級(jí)分類Fig.3 The receiver operating characteristic curve derived from validation. (a)RCA; (b)LCA;(c)patient-level

2.2 狹窄檢測(cè)評(píng)估

狹窄區(qū)域的定位實(shí)驗(yàn)主要基于訓(xùn)練好的2-CAT/2R-CAT分類模型。圖4中的熱圖顯示了模型在圖像中定位可疑狹窄特征的能力，如血管邊界變窄和主動(dòng)脈直徑異常。其中，(b)的圖形是由原生訓(xùn)練模型生成的CAM，(c)是由冗余訓(xùn)練模型生成的。與原生訓(xùn)練模型相比，冗余訓(xùn)練模型在冠狀動(dòng)脈上的關(guān)注區(qū)域更集中于造影血管的形態(tài)上，同時(shí)也更不容易受到背景噪聲的干擾。

圖4 類激活圖(CAM)熱圖的注意力機(jī)制(上為RCA示例，下為L(zhǎng)CA示例；黑色箭頭標(biāo)注疑似狹窄區(qū)域)。(a)輸入的原始圖像，用黑色箭頭標(biāo)注疑似狹窄區(qū)域；(b)原生訓(xùn)練2-CAT模型生成的CAM注意力熱圖與原始圖像的疊加，用白色矩形標(biāo)注過(guò)擬合區(qū)域；(c)冗余訓(xùn)練2R-CAT模型生成的CAM熱圖與原始圖像疊加Fig.4 Examples of class activation maps (CAM) generated from RCA (the top) and LCA (the bottom), the arrows indicate suspected stenosis. (a)Frames with suspected stenosis annotated with black arrows; (b)CAM with overfitting regions annotated by white dash rectangle; (c)CAM with redundancy training

圖5提供了狹窄檢測(cè)算法的一些結(jié)果，包含LCA和RCA各個(gè)視角的各3例圖像?？梢钥闯?，算法可以很好地檢測(cè)血管造影各個(gè)視角圖像中出現(xiàn)的血管狹窄特征，尤其是當(dāng)狹窄特征出現(xiàn)在冠狀動(dòng)脈血管的近端時(shí)，檢測(cè)效果更加突出。

圖5 狹窄檢測(cè)算法結(jié)果。(a)原始圖像，從左到右依次為3個(gè)不同視角的RCA圖像和LCA圖像，用白色箭頭標(biāo)注疑似血管狹窄區(qū)域；(b)基于CAM狹窄檢測(cè)的算法結(jié)果，用黃框表示狹窄檢測(cè)的ROI最大外接矩形框Fig.5 Results of stenosis detection algorithm. (a) Orignal image, the suspected vascular stenosis area is marked with white arrows; (b) The algorithm results in this paper include the thermal map generated by CAM and the detection frame after binary processing

針對(duì)血管狹窄的檢測(cè)評(píng)估的定量結(jié)果如表2所示?；贑AM的方法在沒有任何定位標(biāo)簽的情況下，可達(dá)到70%的全局靈敏度。并且，在512像素×512像素的圖像上，定位的均方誤差(MSE)小于40 像素。圖5提供了狹窄檢測(cè)算法的結(jié)果，包含LCA和RCA各個(gè)視角的各3例圖像。從檢測(cè)效果可以看出，算法可以很好地檢測(cè)血管造影各個(gè)視角圖像中出現(xiàn)的血管狹窄特征，尤其是當(dāng)狹窄特征出現(xiàn)在冠狀動(dòng)脈血管的近端時(shí)，檢測(cè)效果更加突出。

表2 左冠狀動(dòng)脈(LCA)、右冠狀動(dòng)脈(RCA)狹窄的定位性能評(píng)估Tab.2 Performance of stenosis positioning on left coronary artery (LCA), right coronary artery (RCA)

此外，進(jìn)一步在完整的CAG時(shí)間序列圖像(視頻)中應(yīng)用并可視化了2R-CAT模型的檢測(cè)結(jié)果，如圖6所示。在心臟和相機(jī)運(yùn)動(dòng)的影響下，算法仍然成功地跟蹤了狹窄特征在不同時(shí)間序列圖像上的位置。對(duì)于視頻中的早期或后期中血管造影劑不足的圖像，模型將其排除在狹窄檢測(cè)之外。對(duì)于部分血管造影并具有狹窄特征的中間幀，該模型能夠正確定位狹窄發(fā)生的位置。

圖6 視頻中的CAM可視化(每行從左到右依次為同一個(gè)CAG視頻的第3、6、9、12、15、18、21、24幀，每個(gè)子圖上為視頻中的圖像、下為CAM熱圖)。(a) RCA，在其中段和遠(yuǎn)端發(fā)現(xiàn)兩個(gè)明顯的狹窄； (b)LCA，在其近端發(fā)現(xiàn)一個(gè)明顯的狹窄Fig.6 Examples of CAMs visualization in a video(From left to right in each line are the 3rd, 6th, 9th, 12th, 15th, 18th, 21st and 24th frames of the same CAG video; In each sub-picture, the upper are images from video, the bottom are their CAM). (a)Two significant stenoses were identified by the physician in the mid-RCA and the distal segment of RCA; (b)A significant stenosis was found at the proximal end of the LCA

3 討論

研究的主要發(fā)現(xiàn)歸納如下：一是提出了一種全自動(dòng)、端到端(end-to-end)的CAG圖像的血管狹窄分類工作流程，在無(wú)需血管輪廓提取和分割的前提下，達(dá)到了較高的分類靈敏度(0.96)和AUC(0.86)；二是提出的冗余訓(xùn)練策略進(jìn)一步提高了分類的AUC值、準(zhǔn)確性、F1得分和kappa評(píng)分；三是采用了基于CAM的弱監(jiān)督目標(biāo)識(shí)別定位方法，用于預(yù)測(cè)血管狹窄的位置。實(shí)驗(yàn)證明，分類模型和定位算法已經(jīng)實(shí)現(xiàn)了從圖像到患者的輔助診斷預(yù)測(cè)潛力，具有較高的精確度，不僅提供了冠脈造影過(guò)程中的初步篩選方法，而且為更精確和自動(dòng)化的計(jì)算機(jī)輔助CAD診斷奠定了基礎(chǔ)。

端到端的工作流程有利于減少人機(jī)交互步驟[30]。所提出的工作流程可以直接應(yīng)用于CAG視頻，算法會(huì)自動(dòng)選擇最佳幀來(lái)進(jìn)行狹窄分類并定位狹窄位置，同時(shí)在動(dòng)脈和患者水平上提供結(jié)果。該工作流程在海量圖像數(shù)據(jù)的臨床環(huán)境中具有優(yōu)勢(shì)，因?yàn)榧皶r(shí)篩選所有CAG視頻來(lái)消除正?；蜉p度狹窄的病例，可以提高生產(chǎn)率，并有可能挽救生命[1]。

在以往的一些研究[3-4,12]中，血管分割是一個(gè)初步的、必不可少的步驟，它導(dǎo)致了整個(gè)系統(tǒng)的不穩(wěn)定和過(guò)多的人工操作。一個(gè)重要的原因是冠脈造影圖像中包含了太多的信息，包括多角度視圖、背景框架和血管狹窄的視覺特征。如前所述，這些因素很難處理，并且在監(jiān)督學(xué)習(xí)過(guò)程中會(huì)導(dǎo)致嚴(yán)重的過(guò)度擬合和采樣不平衡。在這樣的情況下，冗余訓(xùn)練策略的提出，提高了分類的精確度，并減少了分類訓(xùn)練中的過(guò)度擬合；然后，可視化和比較實(shí)驗(yàn)表明，該方法減少了背景結(jié)構(gòu)引起的訓(xùn)練過(guò)擬合，提高了分類性能。

與先前的方法[3-4,12,29]進(jìn)行比較研究，也顯示了本算法的優(yōu)越性：僅使用來(lái)自QCA的訓(xùn)練標(biāo)簽和有限的用戶交互，就能達(dá)到與半自動(dòng)、重標(biāo)簽的訓(xùn)練方法近似或更優(yōu)越的性能。另外，通過(guò)提供狹窄的分類和定位，醫(yī)生或放射科醫(yī)師可以驗(yàn)證所提出的CNN框架的性能，并更快地進(jìn)行定量冠狀動(dòng)脈造影。

提出的研究有如下幾個(gè)局限性：

1)狹窄分類的評(píng)估是在相同的研究和模式下進(jìn)行的，其分類金標(biāo)準(zhǔn)和訓(xùn)練標(biāo)簽主要來(lái)源于單一的診斷參考源(QCA)。后續(xù)將會(huì)使用外部同類研究(例如CTA[14])進(jìn)行比較，從多個(gè)角度評(píng)估技術(shù)的性能。

2)狹窄分類方法具有一定的局限性。實(shí)驗(yàn)將狹窄分類定義為3組：<25%狹窄，25%～99%狹窄和完全閉塞(3-CAT)，而<25%狹窄和25%～100%狹窄(2-CAT)。這是因?yàn)楝F(xiàn)階段的目的是將正常和輕度狹窄病例從隊(duì)列中排除。后續(xù)可以將輕度～中度狹窄的更精確分類用于不同的臨床目的，如血液動(dòng)力學(xué)顯著的狹窄檢測(cè)。

3)需要改進(jìn)的方面是狹窄定位實(shí)驗(yàn)，由于定位標(biāo)簽選取上的工作量較大，在定位評(píng)估中只針對(duì)CAG視頻中的單個(gè)靜態(tài)幀，而沒有對(duì)所有時(shí)間序列圖像中的狹窄特征/位置跟蹤進(jìn)行量化評(píng)估。

4 結(jié)論

本研究提出了一種全自動(dòng)的端到端深度學(xué)習(xí)方法，用于冠脈造影圖像中動(dòng)脈狹窄的分類和檢測(cè)。該方法利用深度學(xué)習(xí)模型與監(jiān)督學(xué)習(xí)技術(shù)，僅使用來(lái)自QCA的輕度訓(xùn)練標(biāo)簽，在有限的用戶交互下完成監(jiān)督學(xué)習(xí)并達(dá)到較精確的分類和預(yù)測(cè)的任務(wù)。隨后，在一個(gè)多中心、多種族的數(shù)據(jù)集上，對(duì)提出的方法進(jìn)行了全面的驗(yàn)證，并與幾種最新的方法進(jìn)行了比較，展示了方法的潛力、前景和先進(jìn)性。

未來(lái)的工作將著眼于進(jìn)一步完善算法，以滿足針對(duì)時(shí)間序列的處理，并利用其他臨床信息進(jìn)行訓(xùn)練及評(píng)估。同時(shí)，考慮把算法應(yīng)用到其他成像方式(如計(jì)算機(jī)斷層血管造影)的狹窄檢測(cè)中。