基于自監(jiān)督學(xué)習(xí)的病理圖像層次分割

吳崇數(shù)，林 霖，薛蘊(yùn)菁，時(shí) 鵬*

（1.福建師范大學(xué)數(shù)學(xué)與信息學(xué)院，福州 350117；2.數(shù)字福建環(huán)境監(jiān)測(cè)物聯(lián)網(wǎng)實(shí)驗(yàn)室（福建師范大學(xué)），福州 350117；3.福建醫(yī)科大學(xué)附屬協(xié)和醫(yī)院放射科，福州 350001）

（?通信作者電子郵箱pshi@fjnu.edu.cn）

0 引言

近年來，世界腫瘤發(fā)病率和死亡率仍呈上升趨勢(shì)［1］。作為腫瘤檢測(cè)的金標(biāo)準(zhǔn)，組織病理學(xué)檢驗(yàn)對(duì)腫瘤的診斷有十分重要的參考價(jià)值。在腫瘤組織顯微圖像的分析中，蘇木精-伊紅染色病理切片是腫瘤組織顯微圖像分析中常用的染色方法之一［2-3］。病理切片中細(xì)胞核被堿性的蘇木精染成藍(lán)紫色，細(xì)胞質(zhì)被酸性的伊紅染成紅色，因此HE 染色圖像中有三種不同的細(xì)胞結(jié)構(gòu)：細(xì)胞核、細(xì)胞質(zhì)和未染色的胞外間隙。然而，對(duì)于病理圖像分析而言，人工分析大量的HE 染色圖像數(shù)據(jù)是一項(xiàng)艱巨的任務(wù)，且分析的結(jié)果易受主觀因素的影響，工作效率難以提高。

隨著圖像處理技術(shù)在醫(yī)學(xué)領(lǐng)域的廣泛應(yīng)用，HE染色圖像的自動(dòng)分割成為計(jì)算機(jī)輔助診斷研究的重點(diǎn)之一。目前相關(guān)研究主要可分為兩類，分別是基于閾值［4-6］、形態(tài)學(xué)［7-9］的圖像處理方法與基于機(jī)器學(xué)習(xí)［10-13］的方法。其中基于閾值的方法主要通過對(duì)圖像進(jìn)行預(yù)處理，使其易于進(jìn)行閾值分割，如轉(zhuǎn)換色彩空間［4］、構(gòu)建超像素圖像［5］，或利用優(yōu)化算法得到最優(yōu)閾值［6］?；谛螒B(tài)學(xué)的方法通過像素強(qiáng)度、梯度流和不同細(xì)胞結(jié)構(gòu)間的染色差異來尋找分割邊界，如統(tǒng)計(jì)水平集［7］、活動(dòng)輪廓模型［8-9］以及其他的邊緣檢測(cè)算法。但由于染色后細(xì)胞核、細(xì)胞質(zhì)以及胞外間隙之間沒有明確的界限，難以尋找合適的閾值將各組織結(jié)構(gòu)加以區(qū)分；而細(xì)胞核形狀的多樣性也導(dǎo)致在細(xì)胞核檢測(cè)和分割中難以建立穩(wěn)定的形狀模型。

基于機(jī)器學(xué)習(xí)的方法則通過將圖像中的所有像素劃分為不同的類別達(dá)到分割的目的，近期在病理圖像分割方面大部分為基于深度學(xué)習(xí)的監(jiān)督學(xué)習(xí)方法。文獻(xiàn)［10］利用多尺度卷積網(wǎng)絡(luò)和基于圖分割的方法實(shí)現(xiàn)了一個(gè)從粗到細(xì)的細(xì)胞核分割框架；文獻(xiàn)［11］設(shè)計(jì)了類似于U-Net 的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行各組織語義分割；文獻(xiàn)［12］提出了一種基于全卷積網(wǎng)絡(luò)的深度輪廓感知網(wǎng)絡(luò)，可同時(shí)輸出分割概率圖及核間輪廓線；文獻(xiàn)［13］將快速掃描深度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于像素級(jí)區(qū)域分割。雖然上述的基于卷積神經(jīng)網(wǎng)絡(luò)的方法在各自的實(shí)驗(yàn)中都取得了非常好的分割效果，但是在實(shí)際的HE 染色組織病理圖像分析時(shí)，采用監(jiān)督學(xué)習(xí)方法存在的困難主要有兩點(diǎn)：第一，對(duì)病理圖像的各組織輪廓標(biāo)注是一項(xiàng)耗時(shí)且繁瑣的任務(wù)；第二，HE染色質(zhì)量參差不齊，染色結(jié)果存在較大差異，這使得如何選取訓(xùn)練樣本成為一個(gè)難題，且每一個(gè)網(wǎng)絡(luò)的分割能力與訓(xùn)練樣本密不可分，泛化能力差。

在臨床實(shí)踐中，高通量計(jì)算機(jī)輔助HE 染色圖像處理需要高魯棒性和盡可能少的人工參與，將染色誤差和主觀錯(cuò)誤對(duì)結(jié)果的影響降到最低。本文方法基于自監(jiān)督學(xué)習(xí)思想，通過像素的第一層聚類，得到用于精確分類的帶標(biāo)簽的訓(xùn)練樣本，在基于可靠性選擇的訓(xùn)練樣本基礎(chǔ)上再進(jìn)行第二層分類，達(dá)到精確分割各類組織的目的。首先，在特征提取時(shí)考慮了HE 圖像的色彩強(qiáng)度和局部相關(guān)性，對(duì)RGB 色彩空間進(jìn)行互信息計(jì)算進(jìn)行特征選擇。將得到的與分割結(jié)果具有高相關(guān)性的特征進(jìn)行組合，通過K-means 像素級(jí)聚類將圖像分割成各類色彩穩(wěn)定的預(yù)定義組織結(jié)構(gòu)以及各類模糊區(qū)域。其中預(yù)定義色彩穩(wěn)定區(qū)域包括細(xì)胞核色彩穩(wěn)定區(qū)域、細(xì)胞質(zhì)色彩穩(wěn)定區(qū)域和胞外間隙色彩穩(wěn)定區(qū)域，模糊區(qū)域包括核質(zhì)模糊區(qū)和質(zhì)隙模糊區(qū)。然后，將預(yù)定義組織結(jié)構(gòu)穩(wěn)定色彩區(qū)域組成訓(xùn)練集，采用樸素貝葉斯分類方法，對(duì)模糊區(qū)域進(jìn)行像素級(jí)精確分割并通過形態(tài)學(xué)后處理，得到細(xì)胞核、細(xì)胞質(zhì)和胞外間隙之間的精確邊界。最后，對(duì)粘連細(xì)胞核區(qū)域進(jìn)行基于形狀和色彩強(qiáng)度相結(jié)合的混合分水嶺分割，得到單個(gè)細(xì)胞核之間的準(zhǔn)確邊界，為病理學(xué)家對(duì)特定細(xì)胞核或感興趣區(qū)域（Region of Interest，ROI）進(jìn)行深入量化分析提供可靠依據(jù)。

1 本文方法

為了得到有效且穩(wěn)定的HE 染色圖像分割結(jié)果，如圖1所示，本文提出了一系列自動(dòng)化處理流程，包括圖像預(yù)處理、特征提取、K-means聚類、樸素貝葉斯分類以及粘連細(xì)胞核分割。該流程能夠準(zhǔn)確分離出圖像中細(xì)胞的不同組織結(jié)構(gòu)，在此基礎(chǔ)上進(jìn)行的量化分析所得一系列指標(biāo)將幫助病理學(xué)家更高效地做出診斷。

圖1 基于自監(jiān)督學(xué)習(xí)的HE病理圖像分割流程Fig.1 Flowchart of HE stained pathological image segmentation based on self-supervised learning

1.1 HE染色圖像獲取

本文中采用的病理圖像樣本為腦膜瘤組織HE 染色圖像。世界衛(wèi)生組織（World Health Organization，WHO）將腦膜瘤分為三級(jí)：良性腦膜瘤（WHO Ⅰ級(jí)）、非典型腦膜瘤（WHOⅡ級(jí)）和間變型或惡性腦膜瘤（WHO Ⅲ級(jí)），并將一級(jí)稱為低級(jí)別腦膜瘤，將二、三級(jí)稱為高級(jí)別腦膜瘤［14］。實(shí)驗(yàn)中所收集的組織樣本為高級(jí)別和低級(jí)別兩類腦膜瘤組織切片，均來自福建醫(yī)科大學(xué)附屬協(xié)和醫(yī)院的臨床病例（倫理批件號(hào)：2019KJTYL024）。在染色圖像獲取階段，對(duì)宏觀組織切片進(jìn)行切分得到微觀組織切片，并用文獻(xiàn)［15］中所述的標(biāo)準(zhǔn)組織學(xué)方法進(jìn)行HE 染色。最后得到大小為2 048×1 536×24 比特的RGB 圖像并存儲(chǔ)為tif格式。由于原始HE 染色圖像通常存在兩種質(zhì)量問題，即染料在組織細(xì)胞上的分布不均勻以及細(xì)小顏料顆粒形成的椒鹽噪聲。根據(jù)圖像的特點(diǎn)，使用滑動(dòng)窗口為5×5的中值濾波器［16］和高斯濾波器［17］相結(jié)合的方式對(duì)圖像進(jìn)行濾波處理，使得圖像的色彩強(qiáng)度均勻化并消除了椒鹽噪聲。

1.2 高相關(guān)特征提取建立初始特征集

本文所提出的自監(jiān)督像素級(jí)分割方法的關(guān)鍵在于將每個(gè)像素作為一個(gè)單獨(dú)的樣本，從而將基于形態(tài)學(xué)特征的傳統(tǒng)圖像分割方法轉(zhuǎn)變?yōu)榛谙袼氐姆诸惙椒āＲ虼?，選擇與分類結(jié)果具有高相關(guān)性的特征在該方法中起著決定性作用。如圖2 所示，通過計(jì)算各類色彩特征與像素最終分類結(jié)果的互信息對(duì)特征進(jìn)行選擇，其中互信息能夠反映類標(biāo)簽與備選特征之間的相關(guān)程度，互信息值越大，表示該特征對(duì)分類的結(jié)果影響越大［18］。此外，由于不同分類結(jié)果對(duì)應(yīng)的特征互信息有較大差異，因此選取將像素分為三類的完整類標(biāo)簽和僅包含細(xì)胞核與背景的兩類標(biāo)簽分別進(jìn)行計(jì)算，增強(qiáng)特征選取的魯棒性。

為節(jié)省圖像預(yù)處理時(shí)間，提高分類效率，基于最常用的RGB色彩空間進(jìn)行特征選擇。具體計(jì)算方法包含以下步驟：

1）在RGB 色彩空間中，呈藍(lán)紫色的細(xì)胞核、紅色的細(xì)胞質(zhì)以及白色的胞外間隙都有其特定的色域表現(xiàn)，因此能夠有效分辨HE 染色圖像的各細(xì)胞結(jié)構(gòu)的色彩差異，故將RGB 色彩空間的各個(gè)色彩通道作為備選特征，如圖2（d）～（f）所示。

2）基于層次K-means 聚類的HE 染色圖像分割模型［19］已經(jīng)被證明對(duì)于HE 染色圖像的分割是有效的，因此將其作為基準(zhǔn)分割模型，獲得不同組織的可靠的類標(biāo)簽，如圖2（b）所示。

3）分別計(jì)算各備選特征與類標(biāo)簽之間的互信息值。以離散變量為例，兩個(gè)隨機(jī)變量X與Y之間的互信息定義如下：

其中：Ωx、Ωy分別為X、Y的樣本空間；p(x)、p(y)分別為X、Y概率密度函數(shù)；p(x，y)是X、Y的聯(lián)合概率密度。

圖2 用于互信息計(jì)算的特征導(dǎo)向圖Fig.2 Feature-oriented graphs for mutual information calculation

表1互信息的計(jì)算結(jié)果給出了RGB色彩空間的三個(gè)色彩通道與類標(biāo)簽的互信息值。由互信息計(jì)算結(jié)果可知，在RGB色彩空間中，R、G 兩個(gè)色彩通道為分類結(jié)果提供的信息量相近且都要遠(yuǎn)大于B 色彩通道，因此選擇R、G 兩個(gè)色彩通道并將其映射到二維特征空間中形成二維特征，將該二維特征表示為(R，G)。

表1 類標(biāo)簽與備選特征間的互信息值Tab.1 Mutual information values between class labels and candidate features

1.3 第一層K-means聚類粗分割獲得自監(jiān)督訓(xùn)練樣本集

選取的二維特征集以色彩強(qiáng)度的形式保留了不同組織結(jié)構(gòu)的色彩信息，因此使用K-means 聚類［20］可以將屬于不同類型的組織結(jié)構(gòu)自動(dòng)地進(jìn)行劃分，對(duì)組合好的特征集進(jìn)行聚類，并根據(jù)色彩強(qiáng)度值的特點(diǎn)采用曼哈頓距離作為相似度指標(biāo)。其中曼哈頓距離表示兩個(gè)點(diǎn)在笛卡爾直角坐標(biāo)系上的絕對(duì)軸距之和，定義如式（2）所示：

其中：(xi，yi)和(xj，yj)為兩個(gè)樣本點(diǎn)特征量，d(i，j)為它們之間的曼哈頓距離。

由于HE 染色圖像中，染色細(xì)胞核、細(xì)胞質(zhì)以及胞外間隙之間界限較模糊，基于這一特點(diǎn)首先將像素聚類為以下5 類：細(xì)胞核色彩穩(wěn)定區(qū)域、核質(zhì)模糊區(qū)、細(xì)胞質(zhì)色彩穩(wěn)定區(qū)域、質(zhì)隙模糊區(qū)以及胞外間隙色彩穩(wěn)定區(qū)域。圖3（b）給出了HE 染色圖像經(jīng)K-means 聚類后的每個(gè)像素所屬的類別及分布，其中不同的像素類別色彩由外到內(nèi)分別定義為淺黑色、淺灰色、灰色、淺白色、深灰色。紅色（深灰色）為胞外間隙像素，黃色（淺白色）為質(zhì)隙模糊區(qū)像素，綠色（灰色）為細(xì)胞質(zhì)像素，青色（淺灰色）為核質(zhì)模糊區(qū)像素，藍(lán)色（淺黑色）為細(xì)胞核像素。由圖3（c）、（e）和（g）可以看到細(xì)胞核色彩穩(wěn)定區(qū)域、細(xì)胞質(zhì)色彩穩(wěn)定區(qū)域和胞外間隙色彩穩(wěn)定區(qū)域在原圖中的分布，分別代表了各自所屬細(xì)胞結(jié)構(gòu)核心區(qū)域的染色色彩強(qiáng)度，因此也是最接近先驗(yàn)知識(shí)的色彩部分，其分布近似于人類專家的標(biāo)注結(jié)果，可作為自監(jiān)督學(xué)習(xí)中第二層精確分類的標(biāo)記樣本。圖3（d）為核質(zhì)模糊區(qū)，其中的像素的RGB 值處于細(xì)胞核色彩與細(xì)胞質(zhì)色彩的過渡區(qū)域。圖3（f）為質(zhì)隙模糊區(qū)，其中的像素的RGB值處于細(xì)胞質(zhì)色彩與胞外間隙色彩的過渡區(qū)域。

圖3 K-means聚類結(jié)果Fig.3 K-means clustering results

1.4 第二層樸素貝葉斯分類精細(xì)分割各類組織區(qū)域

由于核質(zhì)模糊區(qū)和質(zhì)隙模糊區(qū)屬于色彩過渡區(qū)域，因此二者需要根據(jù)一定的先驗(yàn)知識(shí)才能對(duì)其進(jìn)行精細(xì)分割。由聚類所得到的細(xì)胞核穩(wěn)定區(qū)域、細(xì)胞質(zhì)穩(wěn)定區(qū)域和胞外間隙穩(wěn)定區(qū)域的色彩分布最接近先驗(yàn)知識(shí)，可基于此對(duì)模糊區(qū)域進(jìn)行分割。本文采用樸素貝葉斯分類器對(duì)模糊區(qū)域進(jìn)行像素級(jí)分類。

設(shè)S=(s1，s2，…，sn)為一個(gè)待分類項(xiàng)，每個(gè)si為S的一個(gè)特征屬性?，F(xiàn)有類別集合C=(c1，c2，…，cm)，求出在S的特征條件下，所有類別的概率，選取概率最大的類別作為S的類別標(biāo)簽，可以得到樸素貝葉斯分類器的計(jì)算式［21］定義如下所示：

其中：V(S)為S的類別標(biāo)簽。對(duì)于所有類別，p(S)是一個(gè)常數(shù)，p(ci)為類別先驗(yàn)概率，p(s1|ci)，p(s2|ci)，…，p(sn|ci)是在類別為ci的條件下S中各特征屬性的條件概率，這些都可以從訓(xùn)練集中得到。在此處，訓(xùn)練集由細(xì)胞核色彩穩(wěn)定區(qū)域、細(xì)胞質(zhì)色彩穩(wěn)定區(qū)域和胞外間隙色彩穩(wěn)定區(qū)域的像素組成，待分類樣本由核質(zhì)模糊區(qū)和質(zhì)隙模糊區(qū)的像素組成。

在進(jìn)行樸素貝葉斯分類實(shí)驗(yàn)中發(fā)現(xiàn)，訓(xùn)練集樣本數(shù)量不足可能導(dǎo)致分類精度降低。因此需要對(duì)訓(xùn)練樣本進(jìn)行擴(kuò)充，以提高細(xì)胞核的分割精確度，擴(kuò)充的訓(xùn)練數(shù)據(jù)集由以下因素決定：

1）對(duì)細(xì)胞核的精確分割是HE 染色圖像分割的首要任務(wù)。

2）如圖3（d）和（f）所示，模糊區(qū)域主要集中在藍(lán)色細(xì)胞核與紅色細(xì)胞質(zhì)區(qū)域。

3）由圖3（g）可知，在進(jìn)行像素聚類后，白色的胞外間隙部分已基本完全區(qū)分。

結(jié)合互信息的計(jì)算結(jié)果可知，R 色彩通道對(duì)細(xì)胞核的分割有最大的貢獻(xiàn)，因此，取RGB 色彩空間中的R 色彩通道，并對(duì)其進(jìn)行窗口大小為5×5、步長(zhǎng)為1的均值濾波。

由式（4）計(jì)算所得特征記為R'，并用其代替原特征集(R，G)中的R特征，構(gòu)成新的二維特征集(R'，G)，將(R，G)和(R'，G)一同作為樸素貝葉斯分類器的訓(xùn)練集。擴(kuò)充訓(xùn)練集后，增加了R 色彩通道在進(jìn)行樸素貝葉斯分類時(shí)的權(quán)重以及增強(qiáng)圖像的局部相關(guān)性?；跀U(kuò)充后的訓(xùn)練集，計(jì)算各組織結(jié)構(gòu)的先驗(yàn)概率，待分類樣本基于這一先驗(yàn)概率計(jì)算后驗(yàn)概率，取最大的后驗(yàn)概率作為待分類樣本的類別。在圖4 中，圖（a）中兩種模糊區(qū)域所有的像素經(jīng)樸素貝葉斯分類后得到模糊區(qū)域像素所屬的三個(gè)預(yù)定義類別，如圖（b）中所示；在與第一層聚類所得的穩(wěn)定區(qū)域結(jié)合后，得到完成分割后的所有像素分布圖，如圖（c）所示，紅色（深灰色）屬于胞外間隙的像素，綠色（灰色）屬于細(xì)胞質(zhì)的像素，藍(lán)色（淺黑色）屬于細(xì)胞核的像素；圖（d）為總模糊區(qū)域；圖（e）為第二層分割后的分割結(jié)果類標(biāo)簽偽彩色圖像。

圖4 樸素貝葉斯分類結(jié)果Fig.4 Naive Bayesian classification results

1.5 第三層粘連細(xì)胞核分割劃分單個(gè)細(xì)胞邊界

在臨床生物學(xué)研究中，需要對(duì)組織病理學(xué)圖像中的不同細(xì)胞結(jié)構(gòu)進(jìn)行定量分析，如計(jì)算細(xì)胞核數(shù)量、核質(zhì)比等指標(biāo)［19］。細(xì)胞核數(shù)量是腫瘤的分析的重要指標(biāo)之一，僅將細(xì)胞核區(qū)域簡(jiǎn)單分割不能滿足研究需求；因此，需要對(duì)細(xì)胞核區(qū)域進(jìn)行精確分割，找到每個(gè)細(xì)胞核的邊界。分水嶺算法［22］是一種圖像區(qū)域分割法，在分割的過程中，它會(huì)把跟鄰近像素間的相似性作為重要的參考依據(jù)，從而將在空間位置上相近并且灰度值相近（求梯度）的像素點(diǎn)互相連接起來構(gòu)成一個(gè)封閉的輪廓。分水嶺算法常用的操作步驟如下：彩色圖像灰度化，然后求梯度圖，最后在梯度圖的基礎(chǔ)上進(jìn)行分水嶺分割，求得分段圖像的邊緣線［23］。由于存在一些細(xì)胞核粘連緊密，導(dǎo)致相互間的邊界色彩無法與細(xì)胞核色彩進(jìn)行區(qū)分，因此僅進(jìn)行基于色彩標(biāo)記的分水嶺分割無法滿足實(shí)際需要。針對(duì)HE 染色圖像中粘連細(xì)胞特點(diǎn)，本文采用基于色彩標(biāo)記與基于形態(tài)學(xué)相結(jié)合的混合分水嶺分割方式加以改進(jìn)。在設(shè)計(jì)初始標(biāo)記（即區(qū)域極小值點(diǎn)）時(shí)，取聚類得到的細(xì)胞核色彩穩(wěn)定區(qū)域進(jìn)行形態(tài)學(xué)處理，得到初始標(biāo)記，并以此進(jìn)行第一階段的分水嶺分割。根據(jù)得到的細(xì)胞核形狀，進(jìn)行第二階段的基于形狀的分水嶺分割，得到最終的分割結(jié)果，如圖5所示。

圖5 細(xì)胞核區(qū)域分水嶺分割效果Fig.5 Nucleus region segmentation effect based on watershed algorithm

1.6 病理圖像關(guān)鍵特征測(cè)量

本文采用文獻(xiàn)［19］中定義的一系列腫瘤HE 圖像的特征指標(biāo)對(duì)分割后圖像進(jìn)行量化分析。如表2 所示，這些關(guān)鍵指標(biāo)表征了健康組織和腫瘤組織之間的形態(tài)差異，且能夠反映出腫瘤的進(jìn)展情況。其中，細(xì)胞核數(shù)量、細(xì)胞核面積占比和細(xì)胞核與細(xì)胞質(zhì)的面積比三種定量指標(biāo)與腫瘤的發(fā)展具有高度相關(guān)性，它們構(gòu)成了相關(guān)病理統(tǒng)計(jì)分析所需的組織學(xué)微觀結(jié)構(gòu)，并且已經(jīng)在淋巴瘤定量實(shí)驗(yàn)［19］中得到證實(shí)。

表2 腫瘤組織細(xì)胞的關(guān)鍵形態(tài)特征集Tab.2 Key morphological feature set of tumor tissue cells

2 實(shí)驗(yàn)與結(jié)果分析

在進(jìn)行HE 染色組織切片圖像采集時(shí)，不同時(shí)間、光照、對(duì)比度等條件下得到的圖像的色彩有較大的差異，而且不同級(jí)別的腦膜瘤在細(xì)胞密度、細(xì)胞核占比以及核質(zhì)比等指標(biāo)上也存在差異，因此本文以腦膜瘤HE 染色圖像驗(yàn)證算法的魯棒性及精度。實(shí)驗(yàn)中選取高低級(jí)別腦膜瘤的HE 染色組織切片共46 例，其中高級(jí)別23 例，低級(jí)別23 例。圖像獲取過程中，選取每個(gè)組織切片中的5 個(gè)典型感興趣區(qū)域（Region of Interest，ROI）進(jìn)行圖像采集，構(gòu)成實(shí)驗(yàn)用HE圖像樣本集。與此同時(shí)，在2.50 GHz CPU 和8 GB RAM 的且無并行計(jì)算優(yōu)化的環(huán)境下，使用Matlab 處理1 536×2 048像素的RGB 圖像。本文實(shí)驗(yàn)共使用230（46 組×5）幅HE 染色圖像對(duì)全自動(dòng)分割模型進(jìn)行評(píng)估，并針對(duì)以下三種評(píng)估方式進(jìn)行了系統(tǒng)性實(shí)驗(yàn)：1）算法魯棒性分析；2）與前期方法的分割效果對(duì)比；3）與人工專家的分割結(jié)果對(duì)比。

2.1 算法魯棒性分析

由于HE 染色圖像的色彩分布受多種因素的共同作用，不同的采樣組之間會(huì)呈現(xiàn)出圖像色彩和細(xì)胞核形狀上的多樣性，因此實(shí)現(xiàn)不同組HE 染色圖像的精確分割對(duì)算法的魯棒性是一個(gè)巨大的挑戰(zhàn)。為檢驗(yàn)本文的分割算法在處理不同組HE染色圖像時(shí)的穩(wěn)定性，基于同一組織切片所得到的圖像中各類細(xì)胞組織分布具有相對(duì)較高的相似度這一特點(diǎn)，本文從46 組HE 染色切片數(shù)據(jù)集中隨機(jī)選取了10 組作為10 個(gè)樣本，分別計(jì)算每組圖像中細(xì)胞核、細(xì)胞質(zhì)面積占比與核質(zhì)比等能夠反映細(xì)胞組織分布的特征，然后對(duì)每組所得到的數(shù)據(jù)計(jì)算標(biāo)準(zhǔn)差作為算法穩(wěn)定性的判據(jù)，實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同組圖像各指標(biāo)計(jì)算結(jié)果的標(biāo)準(zhǔn)差對(duì)比Fig.6 Standard deviation comparison of each indicator calculation result for different group of images

從圖6中可以看出，對(duì)于屬于同一組織切片的HE 染色圖像，細(xì)胞核區(qū)域占比、細(xì)胞質(zhì)區(qū)域占比和核質(zhì)比的各自標(biāo)準(zhǔn)差都保持在10%以內(nèi)，大部分在5%以內(nèi)。這可以反映出以下兩點(diǎn)：第一，所選定的組織切片上的細(xì)胞組織分布基本一致，可作為圖像分割實(shí)驗(yàn)的可靠依據(jù)。第二，本算法對(duì)不同級(jí)別腦膜瘤的HE 染色圖像的處理具有較高的穩(wěn)定性，且對(duì)細(xì)胞核分割的穩(wěn)定性高于對(duì)細(xì)胞質(zhì)和胞外間隙的分割穩(wěn)定性。

2.2 HE圖像自動(dòng)化分割方法對(duì)比

在對(duì)組織進(jìn)行蘇木精-伊紅染色時(shí)會(huì)受到各種因素的影響，導(dǎo)致獲得的圖像質(zhì)量下降。其中染料分布不均勻是最為常見的一種情況。染料分布不均勻會(huì)出現(xiàn)細(xì)胞核染色過淺或者細(xì)胞質(zhì)染色過深的情況，這使得細(xì)胞核與細(xì)胞質(zhì)之間沒有清晰的色彩邊界。因此在使用層次K-means 聚類對(duì)這類低質(zhì)量HE 染色圖像進(jìn)行分割時(shí)，會(huì)出現(xiàn)這樣一種情況：第一次聚類將較深的細(xì)胞質(zhì)區(qū)域劃分到細(xì)胞核中，第二次聚類在隨機(jī)選擇初始類中心時(shí)，屬于細(xì)胞核類的聚類中心就會(huì)向細(xì)胞質(zhì)區(qū)域偏移，導(dǎo)致第二次聚類時(shí)將原屬于細(xì)胞質(zhì)區(qū)域的部分像素再次劃分到細(xì)胞核中，再加上圖像區(qū)域填充，裂縫修復(fù)等圖像后處理步驟，就會(huì)產(chǎn)生成片的粘連區(qū)域，導(dǎo)致后續(xù)無法對(duì)細(xì)胞核進(jìn)行精確分割的同時(shí)也降低了細(xì)胞核的分割精度。圖7中的兩幅圖像由于細(xì)胞質(zhì)染色過深導(dǎo)致使用類別為3 的K-means聚類進(jìn)行劃分時(shí)，顏色較深的細(xì)胞質(zhì)區(qū)域像素被錯(cuò)誤地劃分為細(xì)胞核區(qū)域，由此產(chǎn)生成片的粘連細(xì)胞核區(qū)域，加上分水嶺分割后的效果如圖7 中的層次K-means 聚類分割結(jié)果圖。

圖7 低質(zhì)量圖像分割效果對(duì)比Fig.7 Low quality image segmentation effect comparison

本文中改進(jìn)的算法在進(jìn)行第一層的聚類時(shí)，不直接將類別數(shù)設(shè)置為預(yù)定義結(jié)構(gòu)的3 類，而是設(shè)置為5 類，目的是能夠?qū)⑦吔邕^渡區(qū)域劃分出來，并且得到的細(xì)胞核區(qū)域、細(xì)胞質(zhì)區(qū)域和胞外間隙區(qū)域的色彩穩(wěn)定區(qū)域，將其作為監(jiān)督樣本集。通過計(jì)算各類別的先驗(yàn)概率，第二層的樸素貝葉斯分類基于此先驗(yàn)概率對(duì)模糊過渡區(qū)域像素進(jìn)行分類，效果如圖7 中的本文方法分割結(jié)果。

2.3 對(duì)細(xì)胞核邊界精確分割

細(xì)胞核數(shù)量是反映HE 染色病理圖像分割精度的金標(biāo)準(zhǔn)，也是HE 染色圖像分割的首要任務(wù)。細(xì)胞核的量化指標(biāo)對(duì)病理圖像分析起著至關(guān)重要的作用。在此設(shè)計(jì)實(shí)驗(yàn)對(duì)比幾種常用的細(xì)胞核分割方法的分割效果，其中包括在醫(yī)學(xué)圖像處理上常用的ImageJ 軟件［24］中的細(xì)胞核計(jì)數(shù)插件RetFM-J 方法［25］，基于色彩標(biāo)記的分水嶺分割方法［26］和基于細(xì)胞核形態(tài)的分水嶺分割方法［27］。從實(shí)驗(yàn)的高級(jí)別和低級(jí)別腦膜瘤HE染色圖像組中分別隨機(jī)選取3 組（一共6 組，每組中有5 幅圖像，總圖像數(shù)為30 幅）作為待測(cè)樣本，然后用不同的幾種分割的算法和病理學(xué)專家分別進(jìn)行細(xì)胞核個(gè)數(shù)統(tǒng)計(jì)。由于圖像中的細(xì)胞密度較大，病理學(xué)專家將每幅圖等分成16（4×4）個(gè)區(qū)域，每個(gè)區(qū)域大小為384×512 像素，然后專家根據(jù)細(xì)胞分布選擇4 個(gè)ROI 進(jìn)行測(cè)量，并基于細(xì)胞均勻分布的原則估計(jì)整個(gè)圖像的相關(guān)指標(biāo)。詳細(xì)的計(jì)數(shù)對(duì)比結(jié)果如表3 所示，以專家計(jì)數(shù)作為衡量算法準(zhǔn)確度的標(biāo)準(zhǔn)，RetFM-J方法的細(xì)胞和計(jì)數(shù)遠(yuǎn)大于專家計(jì)數(shù)結(jié)果，基于色彩標(biāo)記的分割方法僅將第一次K-means 聚類結(jié)果的細(xì)胞核核心色彩部分作為色彩標(biāo)記進(jìn)行分水嶺分割，基于形態(tài)的分割方法將細(xì)胞核區(qū)域僅依靠粘連細(xì)胞形態(tài)進(jìn)行分割，本文方法將色彩標(biāo)記和形態(tài)分割進(jìn)行結(jié)合。

表3 給出了各種方法的計(jì)數(shù)結(jié)果與專家計(jì)數(shù)的誤差及方差情況。

從表3 中可以看出：本文方法的誤差基本保持在5%以內(nèi)，平均精度在96%以上，與其他方法相比，其方差維持在一個(gè)較低的水平；而且，本文方法對(duì)低級(jí)別3 號(hào)樣本的分割誤差與其他組的差距較大，其原因可能為在進(jìn)行染色組織圖像獲取時(shí)，所選取的5個(gè)ROI區(qū)域的細(xì)胞分布不均勻。表3中的計(jì)數(shù)對(duì)比結(jié)果反映出對(duì)隨機(jī)抽取的6 組樣本細(xì)胞核計(jì)數(shù)結(jié)果中，本文的混合分水嶺分割方法的細(xì)胞核數(shù)量最接近專家的計(jì)數(shù)結(jié)果。在細(xì)胞核形狀較為均勻且均呈近似圓形的情況下，基于細(xì)胞形態(tài)的分割方法的分割精度也可能接近專家的計(jì)數(shù)結(jié)果。部分由本文的全自動(dòng)分割方法的分割效果圖放置在圖8 中。結(jié)合表3 和圖8 可知，本文提出的自動(dòng)化分割方法可以代替?zhèn)鹘y(tǒng)人工計(jì)數(shù)方法，大大提高病理分析效率。

圖8 高低級(jí)別腦膜瘤HE染色圖像的分割效果Fig.8 Segmentation effect of HE stained images of high and low grade meningiomas

表3 細(xì)胞核統(tǒng)計(jì)結(jié)果對(duì)比Tab.3 Comparison of nucleus statistics

3 結(jié)語

作為最常用的組織染色技術(shù)之一，HE染色圖像被廣泛應(yīng)用于組織病理學(xué)分析。然而，與其他染色技術(shù)相比，HE 染色圖像存在結(jié)構(gòu)邊界模糊、切片染色不均勻等問題，且不同實(shí)驗(yàn)環(huán)境下得到的圖像的色彩有較大的差異，對(duì)算法魯棒性和準(zhǔn)確性要求較高。這使得HE 染色圖像的高通量分析難以進(jìn)行，也是制約分析效率的主要原因。

本文提出的方法將無監(jiān)督學(xué)習(xí)K-means 聚類方法和有監(jiān)督學(xué)習(xí)樸素貝葉斯分類方法相結(jié)合，形成了HE 染色圖像全自動(dòng)分割并量化輸出相應(yīng)指標(biāo)的完整過程。三層逐步求精的自監(jiān)督分割方法根據(jù)HE 染色病理圖像本身的像素特點(diǎn)，自適應(yīng)地尋找個(gè)組織結(jié)構(gòu)色彩穩(wěn)定區(qū)域作為監(jiān)督樣本，使得分割結(jié)果更加穩(wěn)定和有效。實(shí)驗(yàn)結(jié)果表明，所提出的全自動(dòng)自監(jiān)督學(xué)習(xí)方法無需人工干預(yù)，在細(xì)胞核計(jì)數(shù)上已經(jīng)達(dá)到了病理學(xué)專家水平。

與前期全自動(dòng)層次K-means 聚類方法［18］相比，所提出的方法改進(jìn)體現(xiàn)在以下幾點(diǎn)：第一，將特征控制在RGB 色彩空間，并從中提取精煉的特征，不需要進(jìn)行特征空間轉(zhuǎn)換或更多的特征計(jì)算，降低了特征提取階段的計(jì)算量。第二，通過對(duì)HE染色圖像的色彩分布分析改進(jìn)了聚類的類別數(shù)，提取到了各結(jié)構(gòu)的穩(wěn)定核心色彩區(qū)域，為實(shí)現(xiàn)第二層的樸素貝葉斯分類提供可靠依據(jù)。第三，因?yàn)楸O(jiān)督集的存在，克服了層次聚類在一些低質(zhì)量圖像上常見的分割錯(cuò)誤。此外，在未經(jīng)優(yōu)化的常規(guī)實(shí)驗(yàn)環(huán)境下，本文方法處理一幅圖像平均時(shí)間花費(fèi)在35 s左右，完全能夠滿足臨床使用的實(shí)時(shí)性要求。

本文提出的方法優(yōu)勢(shì)主要集中在以下幾個(gè)方面：第一，與傳統(tǒng)HE 染色圖像分割方法相比，該方法以單個(gè)像素作為研究對(duì)象，解決了基于形態(tài)學(xué)的分割方法在處理低質(zhì)量圖像時(shí)所存在的問題，同時(shí)考慮到鄰域像素的影響，提取局部相關(guān)特征，提高了分割的準(zhǔn)確性和魯棒性。第二，與有監(jiān)督方法相比，所提出的方法的訓(xùn)練樣本由聚類自動(dòng)生成，不需要額外的人工標(biāo)記樣本，可以實(shí)現(xiàn)全自動(dòng)化批量處理。由于大部分HE染色圖像與本實(shí)驗(yàn)所使用的腦膜瘤HE 圖像有著相似或相同的細(xì)胞結(jié)構(gòu)和色彩分布特性，因此本文的算法存在較強(qiáng)的泛化能力，能夠適應(yīng)不同類型的HE 染色圖像分割任務(wù)。未來對(duì)本文方法進(jìn)一步提升的方面將主要集中在第一層的聚類過程中。由于K-means 聚類在選擇初始類中心時(shí)存在不確定性，可能會(huì)導(dǎo)致所產(chǎn)生的監(jiān)督集不準(zhǔn)確進(jìn)而影響第二層的分割結(jié)果，最終導(dǎo)致分割精度下降?；旌戏炙畮X分割由于色彩標(biāo)記的選擇策略以及細(xì)胞核形態(tài)的多樣性導(dǎo)致其仍然存在一定的過分割現(xiàn)象，針對(duì)這兩個(gè)問題，在今后的研究中可以加入一些標(biāo)注樣本使得第一層產(chǎn)生的監(jiān)督集更加準(zhǔn)確，設(shè)計(jì)更穩(wěn)定的混合分水嶺分割模型以提高細(xì)胞核分割精度。