面向計(jì)算機(jī)顯微視覺系統(tǒng)的白細(xì)胞識(shí)別

張從鵬，馬 巖，毛 潭，熊國順

(北方工業(yè)大學(xué) 機(jī)械與材料工程學(xué)院，北京 100144)

引 言

血涂片白細(xì)胞顯微視覺檢驗(yàn)是臨床醫(yī)學(xué)中的重要檢驗(yàn)項(xiàng)目。利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)白細(xì)胞檢驗(yàn)的自動(dòng)化和智能化是當(dāng)前的熱點(diǎn)和發(fā)展趨勢(shì)。國內(nèi)外很多學(xué)者針對(duì)如何更好地分割和識(shí)別白細(xì)胞提出了很多方法。CSEKE[1]基于Otsu算法，通過遞歸方法最大化圖像中黑色、灰色和白色區(qū)域之間的類內(nèi)方差并自動(dòng)篩選出分割閾值，實(shí)現(xiàn)白細(xì)胞的分割，但該方法無法將細(xì)胞漿分割出來。2012年，MOHAPATRA等人[2]基于范函鏈接型網(wǎng)絡(luò)對(duì)白細(xì)胞分割，根據(jù)各區(qū)域像素按顏色分類，將白細(xì)胞分割為細(xì)胞核和細(xì)胞質(zhì)兩部分。HUANGA等人[3]利用共生矩陣和形態(tài)信息提取85個(gè)紋理和形態(tài)特征，采用主成分分析(principal component analysis，PCA)進(jìn)行特征降維、K均值進(jìn)行五分類，該方法對(duì)于嗜中性粒細(xì)胞的分類準(zhǔn)確率比較低。REZATOFIGHI等人[4]首先利用Gram-Schmidt正交化增強(qiáng)白細(xì)胞區(qū)域顏色向量，由灰度直方圖確定分割閾值并分割出白細(xì)胞核，然后采用snake分割細(xì)胞漿。WANG等人[5]利用梯度矢量流輪廓法實(shí)現(xiàn)白細(xì)胞和細(xì)胞核的提取，并根據(jù)白細(xì)胞形態(tài)學(xué)等特征利用支持向量機(jī)(support vector machine，SVM)對(duì)白細(xì)胞進(jìn)行分類，但在分類精度上還有待提高。LI等人[6]基于mean-shift聚類算法在細(xì)胞圖像上得到可視化紋理的區(qū)域塊，并根據(jù)區(qū)域塊的特征參量利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行白細(xì)胞識(shí)別。LIU等人[7]基于C-Y顏色空間和形態(tài)學(xué)運(yùn)算得到白細(xì)胞圖像，并閾值分割對(duì)比度拉伸的G圖像，完成細(xì)胞核的提取。HUAI等人[8]將細(xì)胞核和細(xì)胞質(zhì)的旋轉(zhuǎn)不變共生局部二值模式特征和常規(guī)形態(tài)學(xué)特征進(jìn)行歸一化處理，并利用隨機(jī)森林分類器完成白細(xì)胞分類。上述分割和分類算法雖側(cè)重角度不同，但都是為了提高白細(xì)胞的分類識(shí)別率。

本文中搭建了面向顯微視覺檢測(cè)系統(tǒng)，研究血涂片自動(dòng)檢驗(yàn)中的關(guān)鍵技術(shù)問題，擬采用高效圖像提取方法和分類識(shí)別算法，提高檢測(cè)系統(tǒng)的檢測(cè)效率和精度，滿足顯微視覺平臺(tái)對(duì)白細(xì)胞臨床形態(tài)學(xué)自動(dòng)檢驗(yàn)的需求。

1 顯微視覺系統(tǒng)

顯微形態(tài)學(xué)檢驗(yàn)平臺(tái)由顯微光學(xué)成像系統(tǒng)、計(jì)算機(jī)視覺系統(tǒng)、自動(dòng)控制系統(tǒng)等組成[9]。光學(xué)成像系統(tǒng)選用奧林巴斯光學(xué)顯微鏡，搭配UPLFLN100X02油鏡。利用230萬像素的彩色CCD工業(yè)相機(jī)對(duì)血涂片顯微圖像進(jìn)行采集。圖1所示的玻片為血細(xì)胞涂片。

Fig.1 Micro-vision detection system for blood cell smears

2 白細(xì)胞圖像分割

2.1 白細(xì)胞圖像預(yù)處理

白細(xì)胞圖像預(yù)處理包括：通過中值濾波器對(duì)采集到的細(xì)胞圖像進(jìn)行平滑處理，去除細(xì)胞圖像上的顆粒噪聲；采用相應(yīng)的濾波器進(jìn)行細(xì)胞圖像邊緣的銳化。

2.2 白細(xì)胞背景剝離

2.2.1 RGB模型與HSI模型對(duì)比 為了提高白細(xì)胞背景剝離方法的簡易性，將預(yù)處理后的血細(xì)胞圖像采用固定閾值方法分割成像素為200×200的白細(xì)胞子圖。然后將彩色細(xì)胞子圖轉(zhuǎn)換為R,G,B三通道[10]的單通道圖像。實(shí)驗(yàn)中發(fā)現(xiàn),除了G通道細(xì)胞核灰度值跟背景灰度值上有較大的差異外，R通道和B通道表現(xiàn)不明顯。因此，RGB模型不適合用來分割圖中的白細(xì)胞。

HSI顏色模型可用作白細(xì)胞顯微圖像的分割顏色模型[11]。通過對(duì)細(xì)胞圖像的H,S,I單通道圖像灰度觀察發(fā)現(xiàn)，H通道表現(xiàn)出適合白細(xì)胞背景剝離的良好性能，與參考文獻(xiàn)[12]中結(jié)論基本一致。模型灰度圖如圖2所示。

Fig.2 Comparison of RGB model and HSI model of white blood cells

綜上分析，本文中采用H通道圖像進(jìn)行白細(xì)胞背景剝離。

2.2.2 區(qū)域生長法背景剝離 區(qū)域生長[13]是根據(jù)一種事先定義的準(zhǔn)則將像素或者子區(qū)域聚合成更大區(qū)域的過程。其相似性質(zhì)可包括平均灰度值、紋理、顏色等信息。區(qū)域生長算法實(shí)現(xiàn)的步驟如下：(1)對(duì)圖像目標(biāo)區(qū)域進(jìn)行掃描，令R表示整幅圖像區(qū)域，根據(jù)預(yù)設(shè)相似準(zhǔn)則，將目標(biāo)圖像區(qū)域分裂成若干不重疊的子區(qū)域Ri，i=1,2,3,…,n；(2)以Ri為中心，判斷其鄰域Rj是否滿足相似準(zhǔn)則，若滿足,則合并Ri和Rj，對(duì)任何i和j都有i≠j;(3)以合并后的Ri和Rj為中心，重復(fù)步驟(2)；(4)當(dāng)無法進(jìn)行新的合并時(shí)，返回步驟(1)；(5)重復(fù)步驟(1)～步驟(4)，當(dāng)無法進(jìn)行新的分裂時(shí)，生長結(jié)束。

那么分割可以看成將整幅圖像R劃分為n個(gè)子區(qū)域R1,R2,…,Rn的過程，并滿足以下條件：(1)U(Ri)=R；(2)Ri是一個(gè)連通區(qū)域，i=1,2,3,…,n；(3)Ri∩Rj=空集，對(duì)任何i和j都有i≠j；(4)P(Ri)=ture,i=1,2,…,n；(5)P(Ri∪Rj)=false,i≠j。)

在血細(xì)胞H單通道圖像上，使用區(qū)域生長分割算法后，會(huì)得到很多不同的子區(qū)域[14]，可以精確地將整個(gè)白細(xì)胞在圖中與其它紅細(xì)胞以及背景分割開來，如圖3所示。然后根據(jù)先驗(yàn)知識(shí)，除背景區(qū)域之外，整張圖像中選取最靠近圖片中心的區(qū)域，得到白細(xì)胞圖像。

Fig.3 Cell region growth segmentation diagram

2.3 細(xì)胞核提取

最大類間方差法是1979年由日本學(xué)者OTSU提出的，簡稱大津法[15]，是一種自適應(yīng)閾值確定的方法。根據(jù)圖像的灰度特性，將圖像分為前景和背景兩個(gè)部分。當(dāng)取最佳閾值時(shí)，前景與背景之間差別是最大的，評(píng)價(jià)差別的標(biāo)準(zhǔn)就是最大類間方差。通常細(xì)胞核與細(xì)胞質(zhì)在RGB顏色模型的B通道上灰度級(jí)別存在較大差異，在上一步進(jìn)行白細(xì)胞背景剝離的基礎(chǔ)上，擬采用細(xì)胞核與細(xì)胞漿作為白細(xì)胞背景剝離后B通道灰度圖像的前景和背景，利用大津法進(jìn)行細(xì)胞核的提取。

設(shè)背景剝離后的B通道白細(xì)胞圖像為I(x,y)，細(xì)胞核和細(xì)胞漿的分割閾值記作T，細(xì)胞核區(qū)域像素比例為w1，平均灰度值為μ1；細(xì)胞漿區(qū)域像素比例為w2，平均灰度值為μ2。白細(xì)胞平均灰度值為μ0，類間方差為g。令圖像大小為M，細(xì)胞核像素?cái)?shù)為N1，細(xì)胞漿像素?cái)?shù)記作N2，則：

w1=N1/M

(1)

w2=N2/M

(2)

N1+N2=M

(3)

w1+w2=1

(4)

μ0=μ1×w1+μ2×w2

(5)

g=w1×(μ0-μ1)2+w2×(μ0-μ2)2

(6)

將(5)式代入(6)式得到g的等價(jià)表達(dá)式：

g=w1×w2×(μ1-μ2)2

(7)

采用遍歷的方法使類間方差最大的閾值T即為所求。通過對(duì)B通道白細(xì)胞圖像閾值為T的閾值分割，即得到細(xì)胞核圖像與細(xì)胞漿圖像。從灰度直方圖角度觀察，灰度圖橫坐標(biāo)為灰度等級(jí),取值范圍是0～255，縱坐標(biāo)為每個(gè)灰度等級(jí)相應(yīng)的像素個(gè)數(shù)，最大類間方差的過程其實(shí)是在尋找前景和背景兩個(gè)灰度波峰之間的波谷值，如圖4所示。圖4b和圖4c中橫坐標(biāo)為灰度等級(jí)，縱坐標(biāo)為像素個(gè)數(shù)，橫縱坐標(biāo)均為無量綱物理量。

Fig.4 Valley threshold of channel B

圖4b為灰度圖原圖,存在較多毛刺，確定波谷值時(shí)會(huì)產(chǎn)生偏移。進(jìn)一步采用平滑的方法對(duì)原灰度圖進(jìn)行擬合，如圖4c所示。平滑后的直方圖可以清晰地找到波谷點(diǎn)，從而確定分割的閾值。利用波谷點(diǎn)閾值對(duì)白細(xì)胞B通道灰度圖像進(jìn)行細(xì)胞核提取，得到細(xì)胞核和細(xì)胞漿圖像，如圖5所示。

本文中將預(yù)處理后的圖片，在H通道上采用區(qū)域生長的方法進(jìn)行白細(xì)胞的背景剝離。并在提取出白細(xì)胞的基礎(chǔ)上，將白細(xì)胞的細(xì)胞核與細(xì)胞漿作為圖像的前景與背景，在白細(xì)胞B通道圖像上利用大津法，實(shí)現(xiàn)了細(xì)胞核的提取。圖6為白細(xì)胞完整分割流程。圖6h灰度圖中橫坐標(biāo)為灰度等級(jí),取值范圍是0～255，縱坐標(biāo)為每個(gè)灰度等級(jí)相應(yīng)的像素個(gè)數(shù)。

Fig.5 Nucleus extraction results

Fig.6 Leukocyte segmentation process

3 白細(xì)胞的特征提取及分類

3.1 BP神經(jīng)網(wǎng)絡(luò)對(duì)白細(xì)胞分類流程

在應(yīng)用反向傳播(back propagation，BP)神經(jīng)網(wǎng)絡(luò)[16]進(jìn)行分類時(shí)，訓(xùn)練集數(shù)據(jù)占有重要的地位，直接影響分類器的質(zhì)量。選取具有代表性且分割效果較好的白細(xì)胞子圖作為訓(xùn)練集，可以避免因?yàn)檫^分割或欠分割造成的提取特征參量偏差，并增強(qiáng)分類器的魯棒性。然后對(duì)測(cè)試集中白細(xì)胞圖像進(jìn)行特征提取，組建特征向量，然后傳入訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行分類。

3.2 白細(xì)胞特征提取

白細(xì)胞圖像的分割是為了提取對(duì)細(xì)胞核和細(xì)胞漿描述的特征參量[17]，擬采用形態(tài)、顏色、紋理3個(gè)方面對(duì)細(xì)胞核和細(xì)胞漿進(jìn)行特征提取。

3.2.1 形態(tài)特征 提取的細(xì)胞的形態(tài)特征[18]包括細(xì)胞核的分葉數(shù)，細(xì)胞核的凸性，細(xì)胞核的偏心率，細(xì)胞核的伸長度，細(xì)胞核的圓形度，細(xì)胞的面積、周長、圓形度、核質(zhì)比,以及形狀因子。

3.2.2 顏色特征 顏色特征[19]選取細(xì)胞，細(xì)胞核以及細(xì)胞漿在R,G,B這3個(gè)通道上的灰度均值，方差以及偏斜率。

3.2.3 紋理特征 紋理特征選取細(xì)胞、細(xì)胞核和細(xì)胞漿像素的灰度共生矩陣[20]，求取其能量、對(duì)比度、逆差矩、熵、相關(guān)性。

3.3 白細(xì)胞BP神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)

BP神經(jīng)網(wǎng)絡(luò)的工作原理是將樣本數(shù)據(jù)通過輸入層、經(jīng)隱含層向網(wǎng)絡(luò)輸出層進(jìn)行正向傳遞，傳遞過程稱為正向傳播。樣本數(shù)據(jù)經(jīng)過多層網(wǎng)絡(luò)計(jì)算，將得到的結(jié)果與標(biāo)注的分類標(biāo)簽進(jìn)行比較，通過損失函數(shù)計(jì)算誤差，然后再由輸出層向輸入層進(jìn)行反饋調(diào)節(jié)，這種反饋調(diào)節(jié)機(jī)制稱為反向傳播。通過反饋信號(hào)，每層神經(jīng)元進(jìn)行自我更新，逐層反饋到輸入層。其中，反饋誤差信號(hào)就是各個(gè)神經(jīng)元更新權(quán)值的依據(jù)。本文中擬采用3層網(wǎng)絡(luò)架構(gòu)，選取sigmoid函數(shù)作為激活函數(shù)。

(1)確定網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)。在白細(xì)胞的形態(tài)特征、顏色特征、紋理特征中選取了17種特征作為輸入層節(jié)點(diǎn)數(shù)，即m=17，輸出層節(jié)點(diǎn)數(shù)對(duì)應(yīng)白細(xì)胞的常規(guī)分類種數(shù)，即n=5，隱含層節(jié)點(diǎn)數(shù)l的確定參考如下公式：

(8)

式中，a取0～10的常數(shù)，通過實(shí)驗(yàn)方法確定節(jié)點(diǎn)數(shù)l=12。

(2)特征參量歸一化。將白細(xì)胞特征參量進(jìn)行歸一化操作，避免數(shù)據(jù)量級(jí)差別帶來的計(jì)算偏差。

(3)網(wǎng)絡(luò)初始化和算法選擇。初始化階段，給予權(quán)重系數(shù)W一個(gè)隨機(jī)數(shù)(-1.0～1.0)，學(xué)習(xí)速率為0.1，迭代次數(shù)為500次。然后采用梯度修正法和反向錯(cuò)誤傳播算法。

3.4 實(shí)驗(yàn)結(jié)果分析

在圖1所示的顯微視覺平臺(tái)上，完成了1075幅高質(zhì)量白細(xì)胞圖像采集，其中訓(xùn)練集數(shù)據(jù)是508幅，567幅作為測(cè)試集數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如表1所示。

由實(shí)驗(yàn)結(jié)果可以看出，對(duì)5類常見白細(xì)胞的識(shí)別

Table 1 Experimental results of leukocyte recognition

率為88.2%～98.2%， 由于嗜堿性粒細(xì)胞其表面顆粒度復(fù)雜，在細(xì)胞核提取過程中容易造成過分割和欠分割的現(xiàn)象，導(dǎo)致分割方法失效。故分類過程中取得了較低的識(shí)別率。

良好的分割是識(shí)別的前提，精確的分割結(jié)果可以得到白細(xì)胞的高識(shí)別率。如表1所示，白細(xì)胞樣本綜合識(shí)別率為95.6%，在臨床應(yīng)用中取得預(yù)期效果。

4 結(jié) 論

面向血細(xì)胞形態(tài)學(xué)臨床檢驗(yàn)應(yīng)用需求，研究了白細(xì)胞的顯微視覺圖像人工智能識(shí)別算法。通過實(shí)驗(yàn)篩選，白細(xì)胞圖像顏色模型采用的背景分割方法具有較高的效率和精度；并在背景剝離的基礎(chǔ)上，利用大津法實(shí)現(xiàn)了白細(xì)胞細(xì)胞核和細(xì)胞漿的有效提??；設(shè)計(jì)了白細(xì)胞BP神經(jīng)網(wǎng)絡(luò)分類器，并完成了特征向量庫訓(xùn)練，實(shí)現(xiàn)了對(duì)白細(xì)胞的自動(dòng)識(shí)別，大樣本識(shí)別準(zhǔn)確率達(dá)到95.6%，為白細(xì)胞形態(tài)學(xué)識(shí)別的自動(dòng)化和智能化奠定了基礎(chǔ)。