基于雙層信息融合的乳腺切片癌細(xì)胞識(shí)別

劉景鑫，張同舟，鄭彩俠，張磊超，徐慧，孔俊

1.吉林大學(xué)中日聯(lián)誼醫(yī)院，吉林 長(zhǎng)春 130033；2.東北師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院，吉林 長(zhǎng)春 130117

引言

乳腺癌是女性最常見(jiàn)的惡性腫瘤之一，其治療的關(guān)鍵是早期發(fā)現(xiàn)和診斷[1-5]。病理切片檢查是乳腺癌診斷的有效手段，但通常需要具有豐富醫(yī)學(xué)知識(shí)和臨床經(jīng)驗(yàn)的醫(yī)生對(duì)其進(jìn)行處理與分析，導(dǎo)致分析和診斷的過(guò)程耗費(fèi)大量精力且診斷結(jié)果容易帶有主觀偏向性。因此，迫切需要研究基于計(jì)算機(jī)的分析與識(shí)別方法，來(lái)自動(dòng)識(shí)別乳腺組織切片癌細(xì)胞，以提供客觀的、統(tǒng)一的診斷結(jié)果，為醫(yī)生的進(jìn)一步處理提供大量有用信息。

近年來(lái)，模式分析與識(shí)別技術(shù)已被廣泛應(yīng)用于各種醫(yī)學(xué)圖像處理中，如腦磁共振圖像分割[6]、心臟序列圖像分割[7]、乳腺癌識(shí)別[2]、肝癌識(shí)別與診斷等[8-9]。2017年，Esteva等[10]提出了利用深度神經(jīng)網(wǎng)絡(luò)對(duì)皮膚癌圖像進(jìn)行識(shí)別，識(shí)別結(jié)果的準(zhǔn)確率與專(zhuān)業(yè)的人類(lèi)醫(yī)生相當(dāng)，相關(guān)研究論文被選為封面論文在Nature上發(fā)表。由此可見(jiàn)，利用計(jì)算機(jī)圖像處理、模式識(shí)別技術(shù)對(duì)醫(yī)學(xué)圖像進(jìn)行分析與處理已經(jīng)引起了研究人員的廣泛關(guān)注，并已取得了很大的研究進(jìn)展。利用深度學(xué)習(xí)技術(shù)可以取得良好的識(shí)別效果，但需要海量的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以使其具有良好的性能。然而在實(shí)際問(wèn)題中，海量數(shù)據(jù)的獲取通常非常耗費(fèi)人力，有時(shí)甚至是無(wú)法完成的任務(wù)。因此，如何在僅有少量醫(yī)學(xué)圖像的情況下開(kāi)發(fā)出具有較好性能的識(shí)別模型是一個(gè)重要的研究課題，具有深遠(yuǎn)的研究意義與廣泛的應(yīng)用價(jià)值。

醫(yī)學(xué)圖像識(shí)別主要包含兩個(gè)關(guān)鍵步驟：圖像特征提取和分類(lèi)模型構(gòu)建。特征提取的目的是從圖像中抽象出能表達(dá)圖像本質(zhì)內(nèi)容的特征，如紋理特征、顏色特征和形狀特征等[11-14]。給定一幅乳腺細(xì)胞切片圖像，可以通過(guò)單一特征或多種不同的特征來(lái)描述其包含的內(nèi)容。大量研究表明，同時(shí)融合多種特征可以增加特征描述的魯棒性和類(lèi)別區(qū)別能力，從而有益于對(duì)圖像的分類(lèi)與識(shí)別[15]。分類(lèi)模型的構(gòu)建是指利用圖像特征學(xué)習(xí)一個(gè)分類(lèi)準(zhǔn)則，通過(guò)該準(zhǔn)則可以對(duì)不同類(lèi)別的圖像進(jìn)行識(shí)別。在醫(yī)學(xué)圖像分析與處理領(lǐng)域中，常用的分類(lèi)模型有神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)（Support Vector Machine，SVM）等[2,8,16-17]。不同的分類(lèi)器對(duì)圖像樣本的分類(lèi)能力不同，對(duì)于某個(gè)分類(lèi)器而言比較容易識(shí)別的樣本可能對(duì)于其他分類(lèi)器而言是難以識(shí)別的樣本，因此，適當(dāng)融合分類(lèi)器的決策結(jié)果，可以有效提高乳腺切片癌細(xì)胞圖像的識(shí)別精度。

綜上，為了同時(shí)利用乳腺細(xì)胞切片圖像的多種特征信息，并且融合不同分類(lèi)器的決策結(jié)果，本文提出一種基于雙層信息融合的乳腺切片癌細(xì)胞識(shí)別方法，該方法可利用少量的數(shù)據(jù)訓(xùn)練一個(gè)較好的分類(lèi)模型，在乳腺癌細(xì)胞識(shí)別的任務(wù)上取得了較好的效果。

1 本文方法

本文提出的基于雙層信息融合的乳腺切片癌細(xì)胞識(shí)別方法的總體流程，見(jiàn)圖1，首先對(duì)細(xì)胞圖像提取紋理、顏色和邊緣形狀信息，然后將3種信息進(jìn)行融合后分別輸入到3個(gè)不同的分類(lèi)器（基于稀疏表示的分類(lèi)器（Sparse Representation Based Classification，SRC）[18]、SVM[19]和K近鄰分類(lèi)器（K-Nearest Neighbor，KNN）中，最后將3個(gè)分類(lèi)器的決策結(jié)果進(jìn)行融合，得到最終的識(shí)別結(jié)果。

圖1 方法流程圖

1.1 特征層信息融合

乳腺切片細(xì)胞圖像具有特殊性和復(fù)雜性，采用單一的特征很難精確的描述圖像內(nèi)容。因此，為了更好地抽象乳腺細(xì)胞切片圖像的本質(zhì)信息，本文對(duì)其同時(shí)提取局部二值模式（Local Binary Pattern，LBP）[20]、梯度直方圖和HSV空間顏色直方圖特征，分別挖掘圖像的紋理信息、邊緣形狀信息和顏色信息，并將3種信息進(jìn)行融合作為乳腺切片細(xì)胞的特征描述子。

LBP特征是一種圖像紋理信息描述子，其基本思想是對(duì)圖像進(jìn)行局部區(qū)域劃分，并將局部區(qū)域內(nèi)所有像素與區(qū)域中心像素分別進(jìn)行比較，若周?chē)袼氐幕叶戎敌∮谥行南袼氐幕叶戎担瑒t該像素點(diǎn)的位置被標(biāo)記為0，否則被標(biāo)記為1，最后將得到的0和1值按一定順序組成二進(jìn)制數(shù)，并將其轉(zhuǎn)換成十進(jìn)制數(shù)（即LBP碼）作為該區(qū)域的紋理特征描述子，見(jiàn)圖2。在圖2中，將周?chē)袼攸c(diǎn)的灰度值2、8、9、8、7、4、1和4分別與中心像素點(diǎn)的灰度值5進(jìn)行比較，得到二進(jìn)制碼為01111000，轉(zhuǎn)化為十進(jìn)制數(shù)為120，則該中心點(diǎn)的LBP值為120。

梯度直方圖可有效描述圖像邊緣和形狀信息，而顏色直方圖可以捕獲圖像的顏色信息。為了消除圖像形變、遮擋等因素對(duì)特征提取的影響，本文首先將細(xì)胞圖像規(guī)則地劃分為不重疊的若干局部區(qū)域，然后在每個(gè)區(qū)域中分別計(jì)算像素點(diǎn)的梯度值，并將其統(tǒng)計(jì)為梯度直方圖。對(duì)于顏色特征，在每個(gè)區(qū)域內(nèi)分別統(tǒng)計(jì)HSV顏色空間3個(gè)通道的顏色分量直方圖，并將3個(gè)顏色分量的直方圖聯(lián)合起來(lái)作為圖像顏色特征描述子。

圖2 LBP描述子示意圖

為了將提取的LBP、梯度直方圖和顏色直方圖特征進(jìn)行有效融合，本文首先采用詞袋模型（Bag-of-Words，BOW）[21]分別對(duì)每種特征進(jìn)行編碼，以得到更緊湊、更魯棒的特征向量，然后將編碼后的3種特征向量拼接為一個(gè)特征向量作為乳腺細(xì)胞切片圖像的特征描述子。

1.2 決策層信息融合

在臨床工作中，由于個(gè)人經(jīng)驗(yàn)和水平不同，不同的醫(yī)生在診斷某一病癥時(shí)看法不同，因此可通過(guò)參考多個(gè)醫(yī)生的診斷結(jié)果來(lái)進(jìn)一步確診病癥。類(lèi)似地，在計(jì)算機(jī)視覺(jué)領(lǐng)域，不同分類(lèi)器的學(xué)習(xí)能力與識(shí)別能力也具有一定的差異性，對(duì)于比較難以識(shí)別的樣本，不同分類(lèi)器一般會(huì)給出不同的識(shí)別結(jié)果。因此，融合多種分類(lèi)器的識(shí)別結(jié)果，可以有效減少信息的不確定性，提高算法識(shí)別率[22]。本文分別采用SRC、SVM和KNN分類(lèi)器對(duì)細(xì)胞圖像進(jìn)行分類(lèi)，并將3種分類(lèi)器的結(jié)果進(jìn)行投票融合，進(jìn)而得到最終的識(shí)別結(jié)果。

SRC分類(lèi)器是由Wright等[18]在2009年提出，該分類(lèi)器是基于模擬生物視覺(jué)的感知特性提出的，在圖像處理、模式識(shí)別和壓縮感知等領(lǐng)域得到了較好的應(yīng)用[23]。SRC的基本原理是利用全部有標(biāo)簽的訓(xùn)練圖像作為字典原子，然后分別采用不同類(lèi)別的字典原子對(duì)測(cè)試圖像進(jìn)行重構(gòu)，測(cè)試圖像的類(lèi)別被歸為具有最小重構(gòu)誤差的那一類(lèi)。給定含有C類(lèi)樣本的訓(xùn)練樣本（圖像）集合A=[A1,…,Ac,…,Ac],Ac∈Rm×n代表來(lái)自第c類(lèi)的樣本，y代表給定的待測(cè)試樣本，SRC的目標(biāo)函數(shù)如下：

其中，x為樣本重構(gòu)系數(shù)，||x||1代表對(duì)x求l1范數(shù)，Ax=y代表用字典A對(duì)樣本y進(jìn)行重構(gòu)。得到樣本重構(gòu)系數(shù)后，對(duì)于給定的測(cè)試樣本y，可以利用字典重構(gòu)誤差計(jì)算其標(biāo)簽，如公式(2)所示：

其中，δi(·)為系數(shù)選擇函數(shù)，它的作用是僅保留 x?1中第i類(lèi)字典原子對(duì)應(yīng)的重構(gòu)系數(shù)，其他類(lèi)別的字典原子對(duì)應(yīng)的重構(gòu)系數(shù)置為0。

SVM[19]是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)方法，該方法在小樣本、高維度的模式分類(lèi)以及非線性圖像識(shí)別問(wèn)題中均表現(xiàn)出了優(yōu)良的性能。SVM的基本原理是通過(guò)最小化結(jié)構(gòu)化風(fēng)險(xiǎn)來(lái)提高學(xué)習(xí)的泛化能力，使得置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，從而實(shí)現(xiàn)在樣本量較少的情況下也能學(xué)習(xí)到較好的分類(lèi)準(zhǔn)則。SVM的尋優(yōu)過(guò)程即是分隔間距和誤差補(bǔ)償之間的平衡過(guò)程。KNN是一種簡(jiǎn)單、計(jì)算復(fù)雜度非常低的分類(lèi)方法，該方法根據(jù)待分類(lèi)樣本的K個(gè)最鄰近樣本的類(lèi)別來(lái)決策該樣本所屬的類(lèi)別，即在樣本特征空間中，如果某個(gè)樣本的K個(gè)近鄰樣本中的大多數(shù)屬于某個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。

SRC、SVM和KNN在處理圖像識(shí)別任務(wù)時(shí)各有優(yōu)勢(shì)，為了融合這3種分類(lèi)器的優(yōu)勢(shì)以充分提高識(shí)別結(jié)果的準(zhǔn)確性，本文將融合后的乳腺細(xì)胞切片圖像特征分別輸入到3個(gè)分類(lèi)器中，并將得到的3個(gè)分類(lèi)結(jié)果采取投票機(jī)制計(jì)算最終的識(shí)別結(jié)果。

2 實(shí)驗(yàn)結(jié)果及分析

為了測(cè)試本文提出的基于雙層信息融合的乳腺切片癌細(xì)胞識(shí)別方法的有效性，我們?cè)卺t(yī)生提供的真實(shí)醫(yī)學(xué)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)。

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用的實(shí)驗(yàn)數(shù)據(jù)是乳腺非特殊型浸潤(rùn)性癌組織切片圖像，所有實(shí)驗(yàn)圖像均是由中日聯(lián)誼醫(yī)院病理醫(yī)生采用iScan Coreo數(shù)字病理切片掃描儀將乳腺癌組織掃描成數(shù)字圖像，然后截取40倍物鏡放大倍數(shù)圖像獲得。此外，醫(yī)生也對(duì)每幅圖像中的細(xì)胞為正常細(xì)胞還是癌細(xì)胞進(jìn)行了預(yù)先標(biāo)注。實(shí)驗(yàn)數(shù)據(jù)共251幅圖像，其中100幅為癌細(xì)胞圖像，151幅為正常細(xì)胞圖像，圖像大小為80×80或50×50像素，每幅圖像中包含一個(gè)細(xì)胞核（癌細(xì)胞或正常細(xì)胞），見(jiàn)圖3。

2.2 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，我們分別從實(shí)驗(yàn)數(shù)據(jù)中隨機(jī)選擇50%的樣本作為訓(xùn)練樣本，其余樣本作為測(cè)試樣本，隨機(jī)實(shí)驗(yàn)重復(fù)10次，并計(jì)算10次結(jié)果的平均識(shí)別率和標(biāo)準(zhǔn)差。平均識(shí)別率和標(biāo)準(zhǔn)差的計(jì)算公式如(3)和公式(4)所示[24]：

為了說(shuō)明本文的特征層融合機(jī)制是有效的，我們對(duì)比了僅采用單特征的識(shí)別結(jié)果和3個(gè)特征融合的識(shí)別結(jié)果（分類(lèi)器統(tǒng)一采用SRC分類(lèi)器），實(shí)驗(yàn)結(jié)果見(jiàn)表1。從表1中可以看出，特征層信息融合可以有效提高識(shí)別準(zhǔn)確率。

圖3 實(shí)驗(yàn)數(shù)據(jù)庫(kù)中的部分圖像

表1 采用單特征和多特征融合的識(shí)別結(jié)果

為了進(jìn)一步說(shuō)明本文的決策層融合機(jī)制的有效性，我們對(duì)比了采用3個(gè)特征融合，但在決策層僅采用單個(gè)分類(lèi)器的識(shí)別結(jié)果和本文的雙層（特征層和決策層）信息融合方法的識(shí)別結(jié)果，見(jiàn)表2。相比于僅采用單分類(lèi)器進(jìn)行識(shí)別，本文的方法有效地提高了識(shí)別準(zhǔn)確率，且識(shí)別結(jié)果的標(biāo)準(zhǔn)差也相對(duì)較小，說(shuō)明本文提出的方法具有較好的穩(wěn)定性。

表2 采用單分類(lèi)器和本文方法的識(shí)別結(jié)果

3 結(jié)論

本文提出了一種基于雙層信息融合的乳腺切片癌細(xì)胞識(shí)別方法，該方法分別在特征層和決策層將多種信息進(jìn)行融合，可以有效提高癌細(xì)胞和正常細(xì)胞的識(shí)別準(zhǔn)確率，且適用于數(shù)據(jù)量較少的情況。我們?cè)谡鎸?shí)的乳腺癌細(xì)胞切片圖像數(shù)據(jù)庫(kù)上測(cè)試了本文算法的有效性。

根據(jù)《臨床技術(shù)操作規(guī)范》和《等級(jí)醫(yī)院評(píng)審標(biāo)準(zhǔn)》，病理科質(zhì)量控制指標(biāo)有“常規(guī)切片優(yōu)良率≥98%”“術(shù)中快速病理診斷準(zhǔn)確率≥95%”和“常規(guī)診斷報(bào)告準(zhǔn)確率≥95%”等[25]。可以看出本文算法在實(shí)驗(yàn)數(shù)據(jù)上的識(shí)別準(zhǔn)確率基本可以達(dá)到該標(biāo)準(zhǔn)，因此本文算法可以作為一種癌細(xì)胞輔助診斷手段，但不能完全取代病理醫(yī)生進(jìn)行診斷，在實(shí)際問(wèn)題中，可以通過(guò)人機(jī)結(jié)合的方式來(lái)減少誤診和漏診，以進(jìn)一步提高診斷的正確率。

[1] Addeh J,Ebrahimzadeh A.Breast cancer recognition using a novel hybrid intelligent method[J].JMSS,2012,2(2):95-102.

[2] Senapati MR,Mohanty,et al.Local linear wavelet neural network for breast cancer recognition[J].Neural Comput Appl,2013,22(1):125-131.

[3] 安靜,夏玉軍.MRI、超聲及鉬靶在乳腺腫塊大小測(cè)量中的比較[J].中國(guó)醫(yī)療設(shè)備,2016,31(5):67-69.

[4] 付巖松,孫心平.彩超在早期乳腺癌診斷中的應(yīng)用價(jià)值[J].中國(guó)醫(yī)療設(shè)備,2014,29(8):173-174.

[5] 李彬,湯素瓊,黃華明,等.乳腺癌鈣化在數(shù)字化全景乳腺攝影中的特征性分析[J].中國(guó)醫(yī)療設(shè)備, 2015,30(2):63-64.

[6] Wang J,Kong J,Lu Y,et al.A modi?ed FCM algorithm for MRI brain image segmentation using both local and non-local spatial constraints[J].Comput Med Imag Grap,2008,32(8):685-698.

[7] 王蓓,張立明.利用圖像先驗(yàn)知識(shí)與Snake結(jié)合對(duì)心臟序列圖像的分割[J].復(fù)旦學(xué)報(bào):自然科學(xué)版,2003,42(1):81-86.

[8] 楊育彬,李寧,陳世福,等.基于圖像特征的智能肺癌識(shí)別[J].南京大學(xué)學(xué)報(bào):自然科學(xué)版,2003,39(2):211-218.

[9] Zheng C,Li W,Wang S,et al.Hepatoma cells recognition based on matrix absolute gray relational degree of B-mode[J].OPTIK,2014,125(4):1579-1584.

[10] Esteva A,Kuprel B,Novoa RA,et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature,2017,542(7639):115-118.

[11] Yang NC,Chang WH,Kuo C-M,et al.A fast MPEG-7 dominant color extraction with new similarity measure for image retrieval[J].J Vis Commun Image R,2008,19(2):92-105.

[12] Islam MM,Zhang D,Lu G.A geometric method to compute directionality features for texture images[A].Multimedia and Expo, 2008 IEEE International Conference on IEEE[C].New York:IEEE,2008:1521-1524.

[13] Leung WH,Chen T.Trademark retrieval using contour-skeleton stroke classification[A].Multimedia and Expo,2002 ICME’02 Proceedings 2002 IEEE International Conference on IEEE[C].New York:IEEE,2002:517-520.

[14] Liu Y,Zhang J,Tjondronegoro D,et al.A shape ontology framework for bird classi?cation[A].Digital Image Computing Techniques and Applications, 9thBiennial Conference of the Australian Pattern Recognition Society on IEEE[C].New York:IEEE,2007:478-484.

[15] Zheng C,Zhang F,Hou H,et al.Active discriminative dictionary learning for weather recognition[J].Math Probl in Eng,2016:1-12.

[16] 廖苗,趙于前,曾業(yè)戰(zhàn),等.基于支持向量機(jī)和橢圓擬合的細(xì)胞圖像自動(dòng)分割[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2017,51(4):722-728.

[17] 黃建燈,陳慶全.基于支持向量機(jī)的紅細(xì)胞彩色圖像分割[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2009,18(1):35-38.

[18] Wright J,Yang AY,Ganesh A,et al.Robust face recognition via sparse representation[J].IEEE Trans Anal Patt Mach Intel,2009,31(2):210-227.

[19] Vapnik VN,Vapnik V.Statistical Learning Theory[M].New York:Wiley,1998.

[20] Ojala T,Pietik?inen M,Harwood D.A comparative study of texture measures with classification based on featured distributions[J].Pattern Recogn,1996,29(1):51-59.

[21] Csurka G,Dance CR,Fan L,et al.Visual categorization with bags of keypoints[J].ECCV,2004,44(247):1-22.

[22] 劉安斐,李弼程,張先飛.基于數(shù)據(jù)融合的多特征遙感圖像分類(lèi)[J].數(shù)據(jù)采集與處理,2006,21(4):463-467.

[23] 宋相法,焦李成.基于稀疏編碼和集成學(xué)習(xí)的多示例多標(biāo)記圖像分類(lèi)方法[J].電子與信息學(xué)報(bào),2013,35(3):622-626.

[24] 錢(qián)能生.概率論、數(shù)理統(tǒng)計(jì)與隨機(jī)過(guò)程[M].廣州:華南理工大學(xué)出版社,2003.

[25] 馬恒輝,周曉軍.南京市臨床病理室間質(zhì)控評(píng)價(jià)標(biāo)準(zhǔn)介紹[J].臨床與實(shí)驗(yàn)病理學(xué)雜志,2017,33(2):222-224.