改進(jìn)的GrabCut方法在舌診系統(tǒng)中的應(yīng)用*

韋玉科，范 鵬 ，曾 貴

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

改進(jìn)的GrabCut方法在舌診系統(tǒng)中的應(yīng)用*

韋玉科，范 鵬 ，曾 貴

(廣東工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，廣東 廣州 510006)

數(shù)字舌象圖片的正確分割是實(shí)現(xiàn)計(jì)算機(jī)中醫(yī)舌診自動(dòng)化系統(tǒng)的重要前提，為了高效而準(zhǔn)確地分割出舌象，提出了一種基于四叉樹與GrabCut的舌象分割方法。該方法首先利用四叉樹分解對采集的舌象初分割，然后用相似區(qū)域的顏色均值優(yōu)化GrabCut算法中高斯混合模型參數(shù)，最終完成舌象分割。實(shí)驗(yàn)結(jié)果表明:該算法使得舌象分割效率大大提高，具有很好的實(shí)用性。

舌診系統(tǒng)；舌象分割；GrabCut；高斯混合模型；四叉樹

0 引 言

舌診是中醫(yī)四診中望診的重要內(nèi)容，被歷代中醫(yī)學(xué)家所重視。舌象也是反映人體生理功能和病理變化最敏感的指標(biāo)，在中醫(yī)診療過程中具有重要的應(yīng)用價(jià)值[1]。但長期以來，由于是以醫(yī)生的主觀判斷為主，缺乏客觀診斷方法與標(biāo)準(zhǔn)，從而阻礙了中醫(yī)的發(fā)展。對其進(jìn)行研究不僅為臨床舌象診斷提供了客觀標(biāo)準(zhǔn)，也為舌診客觀化研究和建立中醫(yī)遠(yuǎn)程診療系統(tǒng)發(fā)揮了重要作用[2]。

一直以來,很多學(xué)者致力于舌診的電腦化研究中，國內(nèi)很多單位也進(jìn)行了舌診系統(tǒng)的相關(guān)開發(fā)，近年來，取得了不少成果。其中主要有:1)舌診和脈診系統(tǒng)(香港理工大學(xué))；2)中醫(yī)舌診健康咨詢系統(tǒng)(廈門大學(xué))；3)中醫(yī)“四診儀”(上海)。隨著相關(guān)研究的不斷進(jìn)行，如何高效而準(zhǔn)確地分割出舌體，成為研究者不斷探索的重要問題。吳佳等人提出基于分水嶺變換和主動(dòng)輪廓模型的舌體輪廓圖像分割算法[3]，王明英等人提出基于Snakes模型的舌象分割改進(jìn)算法[4]，陳善超等人改進(jìn)圖論分割方法的舌象分割應(yīng)用[5]，這些方法都對舌象這一特定的圖像進(jìn)行了很好的分割。

近些年，基于圖割理論的分割方法引起了人們的極大興趣。該方法將圖像分割過程轉(zhuǎn)化為求解包含區(qū)域信息和邊界信息的能量函數(shù)的最小化過程，基于該理論，人們提出了多種分割算法[6～8]。其中，2004年Rother Y等人在Graph Cut算法[6]基礎(chǔ)上提出的GrabCut算法[7]成為應(yīng)用在圖像分割領(lǐng)域的成熟代表之一。直接利用GrabCut算法，由于確定高斯混合模型(GMM)參數(shù)成本較大，使得整個(gè)算法在圖像分割中效率不高。很多學(xué)者為此提出了許多改進(jìn)方法[9～12]。由于舌象圖片較大，舌體不規(guī)則，舌的顏色與唇和臉的顏色接近，給舌象分割帶來很大難度。

本文在四叉樹結(jié)構(gòu)上利用區(qū)域一致性進(jìn)行舌象的分解，然后使用相似區(qū)域的像素均值代表該區(qū)域像素估計(jì)GMM參數(shù)，利用GrabCut算法對舌象進(jìn)行分割，取得了良好的效果。

1 舌診系統(tǒng)與舌象采集裝置

計(jì)算機(jī)舌診系統(tǒng)集成了計(jì)算機(jī)技術(shù)、圖像處理技術(shù)以及醫(yī)學(xué)圖像分析方法。它通過傳感器等設(shè)備將采集到的舌象傳送到計(jì)算機(jī)，然后利用圖像處理等技術(shù)進(jìn)行舌像的分割、特征分析及其它信息分析，并與標(biāo)準(zhǔn)舌象庫進(jìn)行比較分析，實(shí)現(xiàn)舌診的自動(dòng)化。常見的計(jì)算機(jī)舌診系統(tǒng)框架如圖1所示。

圖1 舌診系統(tǒng)框架圖Fig 1 Frame diagram of tongue diagnosis system

為了獲取高質(zhì)量的舌象圖片，利用電荷耦合器件(CCD)采集目標(biāo)，并對攝像頭位置裝配一個(gè)五軸控制支架。每軸控制都由步進(jìn)電機(jī)驅(qū)動(dòng)包括X,Y,Z3個(gè)坐標(biāo)線位移和2個(gè)角位移，步進(jìn)電動(dòng)機(jī)利用圖像處理和識(shí)別獲得的信息進(jìn)行反饋調(diào)節(jié)控制。這樣攝像頭可以在水平和垂直方向移動(dòng)并保持垂直平面內(nèi)的上下轉(zhuǎn)動(dòng)，從而獲取最佳的攝取舌象圖片角度。

其中5部電機(jī)中3部為線位移驅(qū)動(dòng)的移動(dòng)電機(jī)，2部為角位移驅(qū)動(dòng)的轉(zhuǎn)動(dòng)電機(jī)。驅(qū)動(dòng)導(dǎo)向部件選用臺(tái)灣CPC直線導(dǎo)軌和CPC細(xì)桿，重復(fù)定位精度為±0.02 mm。步進(jìn)電動(dòng)機(jī)的控制選用雷賽DMC2410運(yùn)動(dòng)控制卡進(jìn)行計(jì)算機(jī)編程。DMC2410運(yùn)動(dòng)控制卡主要性能指標(biāo)如下:32位PCI總線，33 MHz；2～4軸硬件直線插補(bǔ)和任意2軸圓弧插補(bǔ)；脈沖頻率5 MHz；20位通用數(shù)字輸入和20位通用數(shù)字輸出。

2 四叉樹分割方法

令R表示整幅圖像，分割是將R劃分成n個(gè)子區(qū)域R1，R2，…,Rn的過程，滿足下列條件:

2)Ri是一個(gè)連通域，i=1,2,…,n；

3)Ri∩Rj=?,對所有的i和j，i≠j；

4)P(Ri)=TRUE，對于i=1,2,…,n；

5)P(Ri∪Rj)=FALSE，對于任意相鄰區(qū)域Ri和Rj。

上述條件中，P(Ri)是定義在集合Ri的點(diǎn)上的邏輯謂詞，?是空集。

分割時(shí)，將圖像(一般為2N×2N)分成4個(gè)大小相同的區(qū)域，并為每個(gè)區(qū)域設(shè)定均勻一致性標(biāo)準(zhǔn)，如果滿足，則區(qū)域不再分割；否則，繼續(xù)把該區(qū)域分割成4個(gè)子區(qū)域。分割的終止條件是每個(gè)子區(qū)域都符合均勻一致性標(biāo)準(zhǔn)。

3 GrabCut算法基本理論

GrabCut算法基本思想是把整幅圖像映射為s-t網(wǎng)絡(luò)圖(如圖2所示)，其中,源點(diǎn)s表示前景終點(diǎn)，匯點(diǎn)t表示背景終點(diǎn)。由圖2可知，邊集E包含兩部分:源點(diǎn)匯點(diǎn)和所有其它節(jié)點(diǎn)的連接邊、圖中相鄰節(jié)點(diǎn)之間的邊。相應(yīng)的，邊的權(quán)值需反映出像素點(diǎn)與前景、背景的相似程度，相鄰像素間的顏色差異，它們分別反映了圖像的區(qū)域?qū)傩院瓦吔鐚傩?，不妨分別稱之為區(qū)域能量和邊界能量。記圖像分割的總能量、區(qū)域能量和邊界能量分別為E(A),R(A)及B(A)，則有

(1)

區(qū)域能量項(xiàng)為

(2)

∑(αn,kn)-1[Zn-μ(αn,kn)].

(3)

邊界能量項(xiàng)為

(4)

根據(jù)以上定義，可以利用迭代的方式求取其最小能量函數(shù)值。

2)為TU中像素n估計(jì)所對應(yīng)的GMM參數(shù)

(5)

(6)

4)用max flow/min cut算法估計(jì)分割并更新GMM

(7)

5)重復(fù)(2)～(4)步，直到收斂。

圖2 s-t網(wǎng)絡(luò)圖Fig 2 s-t network diagrams

4 基于四叉樹與GrabCut的舌象分割方法

因?yàn)橐环鶊D像的像素級單元往往很大，GrabCut算法采用迭代估計(jì)方式確定GMM參數(shù)需要處理到每個(gè)像素點(diǎn)，這樣雖然增加了分割精度但同時(shí)也為此付出了時(shí)間代價(jià)，致使算法的效率下降。經(jīng)過對比研究發(fā)現(xiàn)，確定GMM參數(shù)的時(shí)間約占總分割時(shí)間的90 %。GrabCut算法初始化GMM參數(shù)時(shí)以整幅圖像為樣本，更新時(shí)以TU為樣本；前N-1次迭代切割學(xué)習(xí)、修正GMM參數(shù)，使GMM逐步逼近真實(shí)的前景、背景概率密度分布，最后第N次切割實(shí)現(xiàn)最終的圖像分割。大容量的樣本序列迭代GMM參數(shù)成為制約整個(gè)算法的瓶頸。因此,選用有效的精簡樣本來作為前景和背景的典型代表成為提高GrabCut算法的效率的出發(fā)點(diǎn)。

四叉樹分解是一種圖像分析技術(shù)，它將圖像二次分解為比圖像本身更均一的塊，該技術(shù)揭示了圖像的結(jié)構(gòu)信息。四叉樹分解可以將圖像快速劃分成區(qū)域內(nèi)顏色相似的若干方塊，并且各方塊間保持著相應(yīng)的拓?fù)潢P(guān)系，滿足圖割理論進(jìn)行切割的特點(diǎn)。

基于以上分析，本文利用四叉樹分解的各個(gè)方塊中RGB均值作為該區(qū)域像素點(diǎn)的典型代表來進(jìn)行GMM參數(shù)的迭代估計(jì)，從而改進(jìn)GrabCut算法。在迭代估計(jì)完成后，利用得到的參數(shù)對原圖像進(jìn)行切割，完成最終的分割。

4.1 舌象的四叉樹分解預(yù)處理

通過對四叉樹結(jié)構(gòu)和GrabCut算法的分析，將圖像分成若干大小合適的方塊圖將直接影響著分割的結(jié)果。為了算法實(shí)現(xiàn)方便，本文將每個(gè)像素對應(yīng)的RGB值取其灰度值，均勻一致性標(biāo)準(zhǔn)定義為區(qū)域內(nèi)各像素的灰度差不超過某個(gè)閾值，即各像素的灰度值的接近程度要滿足要求。舌象的四叉樹分解結(jié)果(閾值為10，35)，如圖3。將分解圖像中分塊記為節(jié)點(diǎn)，整個(gè)分解圖記作C=(c1,c2,…，cn,…,cN)，N為節(jié)點(diǎn)個(gè)數(shù)。

圖3 四叉樹分割示意圖Fig 3 Diagram of quad-tree segmentation

4.2 算法流程

綜上所述，基于四叉樹和GrabCut的舌象分割算法主要實(shí)現(xiàn)步驟如下:

1)輸入圖像I，對I進(jìn)行四叉樹分解，生成區(qū)域方塊大小合適的四叉樹圖C。

2)初始化操作:用矩形框框選舌圖像的舌體或者舌苔部分來完成相應(yīng)變量和模型的初始化:

b.對于cn∈TB，設(shè)置cn的初始化值為0；cn∈TU時(shí)設(shè)置cn的初始化值為1;

c.分別用αn=0和αn=1節(jié)點(diǎn)集合來初始化舌圖像前景/背景的GMM。

3)迭代估計(jì)GMM參數(shù):

a.在TU中進(jìn)行前景/背景GMM的標(biāo)號(對應(yīng)GMM中加權(quán)概率最大的高斯分布的編號);

b.對TU構(gòu)造s-t網(wǎng)絡(luò)(相鄰節(jié)點(diǎn)用線連接，每個(gè)節(jié)點(diǎn)分別與源點(diǎn)和匯點(diǎn)相連)，用max flow/min cut算法進(jìn)行切割;

c.更新GMM;

d.迭代執(zhí)行步驟(2)中a～c，直到滿足收斂條件。

4)根據(jù)GMM參數(shù)對圖像I構(gòu)造s-t網(wǎng)絡(luò)，用max flow/min cut算法進(jìn)行切割。

5)輸出圖像的切割結(jié)果。

5 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)平臺(tái)Matlab R2010b，Microsoft Visual Studio 2010，CPU:Intel Core i3，RAM:2GB。其中GMM中高斯分布個(gè)數(shù)取5，max flow/min cut調(diào)用了BoyKov提供的開源代碼實(shí)現(xiàn)。部分實(shí)驗(yàn)結(jié)果如圖4所示，從左往右依次設(shè)定圖片標(biāo)號為1～5(為了顯示方便,文中圖片都做了適當(dāng)?shù)目s小處理)。

圖4 部分舌象圖片及其分割結(jié)果Fig 4 Part of tongue images and their segmentation results

實(shí)驗(yàn)中,從舌象庫中選取了5組圖像分別用GrabCut算法和本文算法進(jìn)行比較，驗(yàn)證本文算法的可行性。為了顯示和算法的需要，圖片大小均調(diào)整成256×256，閾值均在30左右。表1為實(shí)驗(yàn)數(shù)據(jù)。

本文采用了大量舌象圖片進(jìn)行實(shí)驗(yàn)分割，可以看出:本文算法和GrabCut算法的結(jié)果相當(dāng)，效果令人滿意，很難區(qū)別差異。同時(shí)發(fā)現(xiàn)在舌象分割中，效果最好的是舌體顏色偏紅的圖片，效果最差的是一些舌體顏色偏黃，含有黃色舌苔的圖片。這主要是因?yàn)镚rabCut算法本身就是基于顏色概率模型造成的，當(dāng)舌體部分較黃時(shí)，背景的臉部顏色極大程度上干擾了舌的正確分割;相反，舌體較紅，由于和背景顏色偏差大，算法的收斂速度快，分割效果良好。由表1的數(shù)據(jù)可以看出:本文的算法所需時(shí)間相對穩(wěn)定，平均耗時(shí)是GrabCut算法的25.56 %，分割效率提高了很多，并且能夠滿足臨床診斷的需求。不過，四叉樹閾值的選擇對最后的分割結(jié)果還是有較大影響的，需要人為選定，是本文算法的不足之處。

表1 GrabCut算法和本文算法提取目標(biāo)耗時(shí)比較Tab 1 Comparison of time-consuming of extracting target of this algorithm and GrabCut algorithm

6 結(jié)束語

四叉樹分割具有分塊靈活性高、計(jì)算速度快，方便訪問和剪枝的優(yōu)點(diǎn)。CrabCut算法以其高精度的分割能力和方便快捷的人機(jī)交互，在舌象分割中有很好的應(yīng)用前景。但是海量數(shù)據(jù)使算法分割效率降低，并且在交互分割中容易受到相似背景的干擾，使得分割效果下降。本文在研究四叉樹結(jié)構(gòu)和GMM參數(shù)迭代估計(jì)的基礎(chǔ)上，對舌象圖片進(jìn)行了分割。實(shí)驗(yàn)結(jié)果表明了算法的可行性，是一種有效的舌象分割方法，在舌診系統(tǒng)中得到了很好的應(yīng)用。

[1] 郭 睿,王憶勤,顏建軍,等.中醫(yī)舌診的客觀化研究[J].中國中西醫(yī)結(jié)合雜志,2009,29(7):642-645.

[2] 楊大生,陳彧暉,鄒豐美,等.一種有效的舌體自動(dòng)化分割算法[J].計(jì)算機(jī)應(yīng)用研究,2007,24(2):170-172.

[3] 吳 佳,張永紅,白 凈,等.基于分水嶺變換和主動(dòng)輪廓模型的舌體輪廓圖像分割[J].清華大學(xué)學(xué)報(bào),2008,48(6):1040-1043.

[4] 王明英,張新峰,卓 力.一種基于Snakes模型的中醫(yī)舌象分割改進(jìn)算法[J].測控技術(shù),2011,30(5):32-35.

[5] 陳善超,符紅光,王 穎.改進(jìn)的一種圖論分割方法在舌像分割中的應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(5):201-203.

[6] Boykov Y,Jolly M P.Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]∥Proceedings of IEEE International Conference on Computer Vision,2001:105-112.

[7] Rother C,Kolmogorov V,Blake A.Grabcut:Interactive foreground extraction using iterated graph cuts[J].ACM Transactions on Graphics,2004,23(3):309-314.

[8] Agarwala A,Doncheva M,AgrawalaA M,et al.Interactive digital photomontage[J].ACM Transactions on Graphics,2004,23(3):294-302.

[9] 周良芬,何建農(nóng).基于GrabCut改進(jìn)的圖像分割算法[J].計(jì)算機(jī)應(yīng)用,2013,33(1):49-52.

[10] 徐秋平,郭 敏,王亞榮.基于多尺度分析與圖割的快速圖像分割算法[J].計(jì)算機(jī)應(yīng)用研究,2009,26(10):3989-3991.

[11] Han S D,Tao W B,et al.Image segmentation based on GrabCut framework integrating multiscale nonlinear structure tensor[J].IEEE Transactions on Image Processing,2009,18(10):2289-2302

[12] Shanmugavadivu P,Thenmozhi G.Detection of microcalcification in mammogram images using semi-automated texture-based GrabCut segmentation[C]∥International Conference on Emerging Trends in Science,Engineering and Technology,INCOSET，2012:198-203.

Application of improved GrabCut method in tongue diagnosis system*

WEI Yu-ke, FAN Peng, ZENG Gui

(College of Computer, Guangdong University of Technology,Guangzhou 510006,China)

Correct segmentation of digital tongue is an important prophase work to establish tongue diagnosis automatic system of traditional Chinese medicine (TCM),in order to divide tongue image efficiently and accurately,present a segmentation method based on quad-tree and GrabCut.The method uses quad-tree decomposition to divide collected tongue image first,and then uses mean color of similar regional,optimize Gaussian mixture model (GMM) parameters of GrabCut algorithm,finally achieve tongue image segmentation.Experimental results show that this method increases efficiency of tongue image segmentation greatly,and has a good practicability.

tongue diagnosis system; tongue image segmentation; GrabCut; Gaussian mixture model(GMM); quad-tree

10.13873/J.1000—9787(2014)10—0157—04

2014—02—12

廣東省教育部產(chǎn)學(xué)研結(jié)合項(xiàng)目(2012B091100350);廣州市科技計(jì)劃項(xiàng)目(12C42111613)

TP 391

A

1000—9787(2014)10—0157—04

韋玉科(1965-),女,壯族,廣西荔浦縣人,博士,副教授,主要研究方向?yàn)橹悄苄畔⑻幚?、圖像處理、模式識(shí)別。