一種基于深度學(xué)習(xí)的頸動(dòng)脈斑塊超聲圖像識別方法

趙媛孫夏Aaron Fenster丁明躍＊

1華中科技大學(xué)生命科學(xué)與技術(shù)學(xué)院生物醫(yī)學(xué)工程系,分子生物物理學(xué)教育部重點(diǎn)實(shí)驗(yàn)室 （武漢 430074）

2西安大略大學(xué)，Robarts研究所醫(yī)學(xué)成像實(shí)驗(yàn)室 （倫敦 N6A 5B7）

一種基于深度學(xué)習(xí)的頸動(dòng)脈斑塊超聲圖像識別方法

趙媛1孫夏1Aaron Fenster2丁明躍1＊

1華中科技大學(xué)生命科學(xué)與技術(shù)學(xué)院生物醫(yī)學(xué)工程系,分子生物物理學(xué)教育部重點(diǎn)實(shí)驗(yàn)室 （武漢 430074）

2西安大略大學(xué)，Robarts研究所醫(yī)學(xué)成像實(shí)驗(yàn)室 （倫敦 N6A 5B7）

文章將深度學(xué)習(xí)應(yīng)用于頸動(dòng)脈斑塊超聲圖像識別，分析討論了不同感興趣區(qū)域（Region of Interest，ROI）選取方式對卷積神經(jīng)網(wǎng)絡(luò)識別斑塊性能的影響，并通過遷移學(xué)習(xí)來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，采用分割出血管內(nèi)外膜的ROI作為訓(xùn)練集時(shí)，網(wǎng)絡(luò)的識別能力最好，受試者操作特性（Receiver Operating Characteristic，ROC）曲線下面積為0.972。另外，用分割出血管內(nèi)外膜的ROI對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，之后再用原始ROI進(jìn)行微調(diào)，也可以有效提高卷積神經(jīng)網(wǎng)絡(luò)對原始ROI的識別能力，ROC曲線下面積從0.802提高至0.856。

頸動(dòng)脈斑塊 卷積神經(jīng)網(wǎng)絡(luò) 遷移學(xué)習(xí) 計(jì)算機(jī)輔助診斷

大量醫(yī)學(xué)研究結(jié)果表明，心腦血管疾病的基礎(chǔ)病理是動(dòng)脈粥樣硬化。頸動(dòng)脈連接心臟和頭部，是顱內(nèi)供血的主要來源，也是人體中最容易發(fā)生動(dòng)脈粥樣硬化的部位之一[1,2]。若頸動(dòng)脈斑塊發(fā)生破裂，很可能會栓塞腦動(dòng)脈，繼而引起中風(fēng)等臨床事件，頸動(dòng)脈粥樣硬化斑塊篩查在心腦血管疾病預(yù)防方面具有重要的臨床意義。超聲成像因其廉價(jià)、安全，是目前臨床上用于篩查頸動(dòng)脈粥樣硬化斑塊的首選方法，它不僅能夠反映血管的解剖結(jié)構(gòu)和斑塊特性，還能提供血管內(nèi)血流速度和血管狹窄率等指標(biāo)[3]。但在傳統(tǒng)的超聲檢查中，探頭的角度和方向、診斷醫(yī)師的經(jīng)驗(yàn)水平以及超聲圖像的質(zhì)量都會影響診斷結(jié)果。因此，利用計(jì)算機(jī)輔助診斷超聲圖像中的頸動(dòng)脈粥樣硬化斑塊情況，提高臨床診斷的效率和準(zhǔn)確率，具有重要的臨床應(yīng)用價(jià)值。

2006年Hinton首次提出“深度學(xué)習(xí)”[4,5]。目前，深度學(xué)習(xí)已經(jīng)在圖像處理、語音識別等領(lǐng)域取得了突破性進(jìn)展[6-9]。許多學(xué)者將深度學(xué)習(xí)，尤其是卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到醫(yī)學(xué)圖像處理中，為醫(yī)學(xué)圖像診斷提供了新的思路和研究手段[10-12]。但是，深度學(xué)習(xí)算法在醫(yī)學(xué)圖像中的應(yīng)用目前還主要存在著三個(gè)方面的問題：首先，深度學(xué)習(xí)網(wǎng)絡(luò)需要龐大的數(shù)據(jù)量進(jìn)行訓(xùn)練，然而，醫(yī)學(xué)圖像數(shù)據(jù)的獲取通常是比較困難和耗時(shí)的，有金標(biāo)準(zhǔn)的樣本更難收集；其次，深度學(xué)習(xí)網(wǎng)絡(luò)通常需要尺寸相同的圖像作為輸入，但是醫(yī)學(xué)圖像中的感興趣區(qū)域（Region of Interest，ROI）通常是不規(guī)則，大小不一的；最后，由于醫(yī)學(xué)圖像本身的復(fù)雜性，即使是有經(jīng)驗(yàn)的醫(yī)生在診斷過程中也有可能得出不同的結(jié)論，這使得深度學(xué)習(xí)網(wǎng)絡(luò)更加難以訓(xùn)練[13]。

本文從頸動(dòng)脈超聲三維體數(shù)據(jù)上截取二維橫斷面序列圖，根據(jù)醫(yī)生的經(jīng)驗(yàn)知識提取了不同類型的ROI，使用卷積神經(jīng)網(wǎng)絡(luò)對頸動(dòng)脈粥樣硬化斑塊超聲圖像進(jìn)行識別，并分析討論了不同ROI選取方式對卷積神經(jīng)網(wǎng)絡(luò)識別斑塊性能的影響。此外，還通過遷移學(xué)習(xí)提高了卷積神經(jīng)網(wǎng)絡(luò)對原始頸動(dòng)脈斑塊超聲圖像ROI的識別能力，其結(jié)果有助于頸動(dòng)脈粥樣硬化斑塊的計(jì)算機(jī)輔助診斷。

1.實(shí)驗(yàn)數(shù)據(jù)與方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

圖1. 三維頸動(dòng)脈超聲圖像例圖

圖2. 重采樣得到的二維頸動(dòng)脈超聲圖像，圖中紅色線為血管內(nèi)膜，黃色線為血管外膜

圖3. 三種不同類型ROI，3a、3b、3c分別表示ROI1、ROI2、ROI3

圖4. 本文采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，池化層使用平均值池化

本文使用的超聲圖像由加拿大西安大略大學(xué)羅伯茨研究所醫(yī)學(xué)影像實(shí)驗(yàn)室（Imaging Research Laboratories，Robarts Research Institute，The University of Western Ontario，London，Canada）提供，包含有36位患者的三維頸動(dòng)脈超聲圖像數(shù)據(jù)。每位患者采集了兩個(gè)時(shí)間點(diǎn)（時(shí)間間隔為3個(gè)月）的雙側(cè)頸動(dòng)脈三維超聲圖像數(shù)據(jù)，一共有144個(gè)三維體數(shù)據(jù)，以RAW格式存儲。實(shí)驗(yàn)儀器為Philip ATL HDI 5000超聲機(jī)，L12-5線陣探頭，探頭的中心頻率為8.5MHz。將探頭安裝在線性電機(jī)上，使探頭垂直頸部進(jìn)行掃描，掃描線速度為3mm/s，掃描距離約為4cm。所采用的三維超聲設(shè)備與文獻(xiàn)[14]中相同。采集到的二維頸動(dòng)脈橫切面相互平行，間隔為0.2mm，重建好的三維超聲圖像數(shù)據(jù)的分辨率為0.1mm×0.1mm×0.2mm，見圖1。本文使用的二維超聲圖像從三維數(shù)據(jù)中等距（1cm）重采樣得到，共得到1828張頸總動(dòng)脈橫斷面超聲圖像。每幅圖像都含有醫(yī)生手動(dòng)標(biāo)注的內(nèi)外膜信息，見圖2。其中內(nèi)中膜厚度≥1.5mm的樣本為有斑塊樣本，共1153例；內(nèi)中膜厚度＜1.5mm的樣本為無斑塊樣本，共675例[15]。

1.2 ROI選取

獲得的二維頸動(dòng)脈超聲圖像大小為800×521，因?yàn)閳D像尺寸較大并且包含了很多無用信息，所以根據(jù)內(nèi)外膜信息選取了3中不同類型的ROI，如圖3所示。ROI1直接根據(jù)血管的位置從二維圖像中選取，選取時(shí)ROI1的尺寸為L×L，L=max{xmax–xmin，ymax–ymin}+10，其中，（x,y）是外膜的坐標(biāo)信息。ROI2是在ROI1的基礎(chǔ)上去掉外膜外的其他組織，外膜外的灰度值都設(shè)置為0。ROI3是在ROI2的基礎(chǔ)上勾勒出內(nèi)膜，內(nèi)膜內(nèi)的灰度值都設(shè)置為0。因?yàn)檠艽笮〔煌缘玫降腞OI尺寸也不相同，本文對所有ROI進(jìn)行降采樣，統(tǒng)一圖像的大小為112×112。之后將所有ROI分別旋轉(zhuǎn)90?、180?和270?來擴(kuò)充數(shù)據(jù)量。最終得到的每種ROI均含有7312個(gè)樣本，其中4612個(gè)有斑塊樣本，2700個(gè)無斑塊樣本。

1.3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層感知器，采用權(quán)值共享來減少網(wǎng)絡(luò)中參數(shù)的個(gè)數(shù)，主要包含特征提取層和特征映射層，也就是卷積層和下采樣層。本文中使用的卷積神經(jīng)網(wǎng)絡(luò)包含2個(gè)卷積層，2個(gè)池化層和2個(gè)全連接層，網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。兩個(gè)卷積層中的卷積核大小均為5×5，數(shù)量分別是32和50。兩個(gè)池化層都選擇大小為2×2的局域做不重疊平均值池化，兩個(gè)全連接層的特征維度分別為250和2。

1.4 網(wǎng)絡(luò)訓(xùn)練方法

在Linux下使用Caffe來進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。初始學(xué)習(xí)率和學(xué)習(xí)動(dòng)量分別設(shè)為0.01和0.9，權(quán)重懲罰為0.0005，每迭代10000次學(xué)習(xí)率減小10倍，最大迭代次數(shù)為20000次。在訓(xùn)練網(wǎng)絡(luò)時(shí)，從數(shù)據(jù)中隨機(jī)選擇30個(gè)患者的頸動(dòng)脈超聲圖像ROI作為訓(xùn)練集，剩余6個(gè)患者的作為測試集。選取的訓(xùn)練集一共有6124個(gè)樣本，其中有3932個(gè)有斑塊樣本和2129個(gè)無斑塊樣本。測試集一共有1188個(gè)樣本，其中包含680個(gè)有斑塊樣本和508個(gè)無斑塊樣本。

2.實(shí)驗(yàn)結(jié)果與分析

首先，分別對三種不同類型的ROI進(jìn)行了訓(xùn)練和測試。采用受試者操作特性（Receiver Operating Characteristic，ROC）曲線及ROC曲線下面積（Area Under the Curve，AUC）來評價(jià)用不同類型ROI訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)對頸動(dòng)脈斑塊超聲圖像的識別能力。ROC曲線如圖5所示，ROC曲線下面積列于表1。

由圖5和表1可以看出，ROI3的識別能力最好，AUC值為0.973，遠(yuǎn)大于ROI1和ROI2。因此，準(zhǔn)確分割頸動(dòng)脈血管的內(nèi)外膜對斑塊的分類識別有重要的影響。另外，可以看出分割了外膜的ROI2比原始ROI1的識別性能也略高一些。由于超聲圖像本身的復(fù)雜性，醫(yī)生在診斷頸動(dòng)脈粥樣硬化時(shí)通常是先確定血管的位置，之后將內(nèi)中膜的厚度作為判斷動(dòng)脈粥樣硬化的重要指標(biāo)。在診斷過程中由于血管外膜對超聲的反射能力比較強(qiáng)，淺側(cè)壁通常會有偽影干擾，因此準(zhǔn)確分割出內(nèi)外膜，可有效地提高計(jì)算機(jī)輔助診斷的準(zhǔn)確性。

圖5. 三種類型ROI的ROC曲線

圖6. 不同網(wǎng)絡(luò)訓(xùn)練方式的 ROC曲線

最后，用ROI3訓(xùn)練網(wǎng)絡(luò)，將訓(xùn)練好的網(wǎng)絡(luò)中的參數(shù)作為初始值，將ROI1作為輸入來對網(wǎng)絡(luò)進(jìn)行微調(diào)，最后用ROI1測試集進(jìn)行測試，在本文中，該種方式得到的測試結(jié)果用ROI3+ROI1來表示。類似的，分別得到ROI2+ROI1、ROI3+ROI2+ROI1、ROI2+ROI3+ROI1的測試結(jié)果。不同網(wǎng)絡(luò)訓(xùn)練方法得到的ROC曲線如圖6所示，ROC曲線下面積列于表2。從圖2和表2中可以看出，通過遷移學(xué)習(xí)可以提高頸動(dòng)脈斑塊超聲圖像的識別能力。其中，先用ROI3訓(xùn)練網(wǎng)絡(luò)，得到訓(xùn)練的結(jié)果后再用ROI1對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，可以得到最好的識別效果，AUC值為0.856。其他三種遷移學(xué)習(xí)方法：ROI2+ROI1、ROI3+ROI2+ROI1、ROI2+ROI3+ROI1得到的AUC值相差不大，但是都比直接使用原始ROI，即ROI1，得到的分類效果要好。

表1. 三種類型ROI的ROC曲線下面積值

表2. 不同訓(xùn)練方式的ROC曲線下面積值

3.總結(jié)

卷積神經(jīng)網(wǎng)絡(luò)在語音識別和圖像處理領(lǐng)域有著獨(dú)特的優(yōu)越性，在醫(yī)學(xué)圖像處理中也有著廣泛的應(yīng)用。本文將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到二維頸動(dòng)脈斑塊超聲圖像識別中，比較了不同ROI選取方式對卷積神經(jīng)網(wǎng)絡(luò)識別斑塊性能的影響。此外，本文還引入了醫(yī)生在診斷頸動(dòng)脈粥樣硬化斑塊時(shí)的經(jīng)驗(yàn)技巧，通過遷移學(xué)習(xí)來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明：①用分割出內(nèi)外膜的ROI進(jìn)行訓(xùn)練和測試可以得到最好的識別效果，ROC曲線下面積值為0.973。因此，準(zhǔn)確分割頸動(dòng)脈血管的內(nèi)外膜對斑塊的診斷意義重大；②在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，先使用分割出內(nèi)外膜（基于醫(yī)生的經(jīng)驗(yàn)）的ROI進(jìn)行預(yù)訓(xùn)練，再用原始ROI對網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，可以提高卷積神經(jīng)網(wǎng)絡(luò)對原始頸動(dòng)脈斑塊超聲圖像的識別能力，本文中ROC曲線下面積值從0.802提高至0.856。

致謝：感謝國家自然科學(xué)基金（81571754）和高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（2013014213006）對本研究內(nèi)容的資助。

[1] Gillard J, Graves M, Hatsukami T, et al. Carotid disease:The role of imaging in diagnosis and management[J]. Cambridge University Press, 2006,27(6):e48-e49.

[2] 羅俊, 王淑珍. 頸動(dòng)脈粥樣硬化與心血管疾病的關(guān)系[J]. 心血管病學(xué)進(jìn)展, 2011,32(2):236-238.

[3] Ge J, Chirillo F, Schwedtmann J, et al. Screening of ruptured plaques in patients with coronary artery disease by intravascular ultrasound[J]. Heart, 1999,81(6):621-627.

[4] Hinton GE, Salakhutdinov RR. Reducing the dimensionality of data with neural networks[J]. Science, 2006,313(5786):504-507.

[5] Hinton GE, Osindero S, Teh YW. A fast learning algorithm for deep belief nets[J]. Neural computation, 2006,18(7):1527-1554.

[6] Krizhevsky A, Sutskever I, Hinton GE. Imagenet classification with deep convolutional neural networks[C]. Advances in neural information processing systems, 2012:1097-1105.

[7] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015:3431-3440.

[8] Wang Y, Wang X, Liu W. Unsupervised local deep feature for image recognition[J]. Information Sciences, 2016,351(C):67-75.

[9] Dahl GE, Yu D, Deng L, et al. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012,20(1):30-42.

[10] Menchón-Lara RM, Sancho-Gómez JL, Bueno-Crespo A. Early-stage atherosclerosis detection using deep learning over carotid ultrasound images[J]. Applied Soft Computing, 2016,16(49):616-628.

[11] 孫夏, 吳蔚, 吳鵬, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的頸動(dòng)脈斑塊超聲圖像特征識別[J]. 中國醫(yī)療器械信息, 2016,22(5):4-8.

[12] Lu F, Wu F, Hu P, et al. Automatic 3D liver location and segmentation via convolutional neural network and graph cut[J]. International Journal of Computer Assisted Radiology and Surgery, 2016,12(2):1-12.

[13] Sun W, Zheng B, Huang X, et al. Balance the nodule shape and surroundings:a new multichannel image based convolutional neural network scheme on lung nodule diagnosis[C]. SPIE Medical Imaging. International Society for Optics and Photonics, 2017:101343L-101343L-7.

[14] Fenster A, Downey D B, Cardinal H N. Three-dimensional ultrasound imaging[J]. Physics in medicine and biology, 2001,46(5):R67.

[15] Touboul P J, Hennerici M G, Meairs S, et al. Mannheim carotid intima-media thickness and plaque consensus (2004–2006–2011)[J]. Cerebrovascular Diseases, 2012,34(4):290-296.

A Novel Deep Learning Based Method for Carotid Plaque Ultrasound Images Recognition

ZHAO Yuan1SUN Xia1Aaron Fenster2DING Ming-yue1＊
1 Department of Bio-medical Engineering, College of Life Science and Technology, Key Laboratory of Molecular Biophysics of the Ministry of Education Medical Ultrasound Laboratory, Huazhong University of Science and Technology (Wuhan 430074)
2 Imaging Research Laboratories, Robarts Research Institute, The University of Western Ontario (London N6A 5B7)

We train convolutional neural network (CNN) to recognize ultrasound images of carotid plaque, and analyzed the impacts of different regions of interests (ROIs) on the recognition performance of CNN, and fne-tune the parameters of CNN by transfer learning. The experimental results demonstrated that the CNN trained by the ROIs segmented vessel wall intima and adventitia performs the best identifcation, and the area under the curve (AUC) of receiver operating characteristic (ROC) is as high as of 0.972. In addition, using the ROIs mentioned above to pre-train CNN and fun-tuning the parameters of CNN by original ROIs can improve the recognition capacity of CNN, and the AUC increases from 0.802 to 0.856.

carotid plaque, convolutional neural network, transfer learning, computer-aided diagnosis

1006-6586(2017)09-0009-03

TP391.4

A

2017-04-12

丁明躍，通訊作者。

國家自然科學(xué)基金（81571754），高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（2013014213006）。