融合多顏色分量的舌圖像閾值分割算法研究

余兆釵 張祖昌 李佐勇* 劉維娜

1(閩江學(xué)院計(jì)算機(jī)與控制工程學(xué)院 福建 福州 350121)2(福建省信息處理與智能控制重點(diǎn)實(shí)驗(yàn)室(閩江學(xué)院) 福建 福州 350121)3(福建省高校人文社科研究基地互聯(lián)網(wǎng)創(chuàng)新研究中心(閩江學(xué)院) 福建 福州 350121)4(福建信息職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系 福建 福州 350003)

0 引 言

在傳統(tǒng)中醫(yī)(TCM)中，舌診[1-2]具有無(wú)痛、簡(jiǎn)單和直接等特點(diǎn)，被廣泛用于評(píng)估人體健康狀態(tài)。中醫(yī)舌診在我國(guó)已經(jīng)有3 000多年的歷史，積累了豐富的臨床經(jīng)驗(yàn)。中醫(yī)從業(yè)者可以從舌體的顏色、形狀、紋理、舌苔厚薄等特征出發(fā)提取人體的生理和病理信息。舌苔的顏色和紋理特征，被稱為中醫(yī)證候，能夠反映人體的一些疾病以及健康狀態(tài)[3]。

現(xiàn)代西醫(yī)逐漸將人的舌體作為上消化道的一個(gè)擴(kuò)展，它為人體健康狀況提供了重要的線索。越來(lái)越多的西醫(yī)從業(yè)者將舌診視為臨床決策的一種有效方法[4]。舌體表面黏膜新陳代謝旺盛，身體疾病的征兆會(huì)很快在舌體上表現(xiàn)出來(lái)。以舌苔為例，由于其與唾液細(xì)菌的存活存在密切聯(lián)系，成了無(wú)牙患者吸入性肺炎的一個(gè)風(fēng)險(xiǎn)指標(biāo)[5]。甚至有醫(yī)學(xué)文獻(xiàn)記載，舌淀粉樣本可能是漿細(xì)胞瘤的臨床表現(xiàn)[6]。越來(lái)越多的研究證實(shí)了人類舌體在臨床診斷中推斷系統(tǒng)性疾病的潛力。

傳統(tǒng)中醫(yī)舌診依賴于醫(yī)生的經(jīng)驗(yàn)，缺乏定量和穩(wěn)定的診斷。現(xiàn)在，隨著計(jì)算機(jī)硬件和軟件的發(fā)展，利用圖像處理和模式識(shí)別技術(shù)開(kāi)發(fā)計(jì)算機(jī)輔助的舌象自動(dòng)診斷系統(tǒng)變得可能[6]。自動(dòng)舌診系統(tǒng)通常首先利用圖像分割技術(shù)從舌圖像中提取出目標(biāo)(即舌體)，然后利用特征提取方法提取舌體特征，最后使用分類器得到最終的舌診結(jié)果。在這個(gè)過(guò)程中，用于提取舌體的舌圖像分割是至關(guān)重要的一步。近年來(lái)，人們提出了一些舌圖像分割方法[7-10]。然而，由于不同個(gè)體的舌體在形狀、大小、顏色、舌苔厚薄等方面存在巨大差異，以及舌體與其近鄰組織之間顏色相似性引起的弱邊緣，舌圖像分割仍然是一個(gè)具有挑戰(zhàn)性的課題。

1 舌圖像分割相關(guān)算法

國(guó)際主流的舌圖像分割方法是基于主動(dòng)輪廓模型ACM(Active Contour Model)的方法。ACM又稱為Snake模型，是一種流行的可變形狀模型，廣泛應(yīng)用于輪廓提取中。給定一個(gè)初始輪廓曲線，主動(dòng)輪廓模型在內(nèi)外力的共同作用下將初始輪廓曲線朝真實(shí)目標(biāo)輪廓處演化?；贏CM的分割方法主要研究點(diǎn)在初始輪廓的獲取和曲線演化上。比如，Pang等提出一種雙橢圓形變輪廓模型方法BEDC[7]，其結(jié)合了雙橢圓形變模板(BEDT)和主動(dòng)輪廓模型。BEDC首先定義了一種稱為BEDT的形變模板作為舌體的一種粗略描述，然后通過(guò)最小化BEDT能量函數(shù)來(lái)獲得初始的舌體輪廓，最后利用模板能量代替?zhèn)鹘y(tǒng)內(nèi)能量的主動(dòng)輪廓模型來(lái)演化初始輪廓，進(jìn)而獲得最終的分割結(jié)果。Zhang等[8]提出了一種融合極坐標(biāo)邊緣檢測(cè)和主動(dòng)輪廓模型的方法。此方法先對(duì)原始圖像進(jìn)行極坐標(biāo)轉(zhuǎn)化，利用邊緣檢測(cè)算子獲得極坐標(biāo)邊緣圖像，同時(shí)從舌圖像中提取邊緣模板；然后，利用邊緣模板過(guò)濾掉舌體內(nèi)部紋理造成的虛假舌體邊緣；接著，利用圖像二值化技術(shù)結(jié)合形態(tài)學(xué)濾波進(jìn)一步剔除舌體以外的虛假舌體邊緣(比如，臉部褶皺引起的邊緣)；最后，將邊緣檢測(cè)結(jié)果作為初始的舌體輪廓，運(yùn)用主動(dòng)輪廓模型方法對(duì)初始輪廓進(jìn)行演化，進(jìn)而獲得最終的分割結(jié)果。此方法對(duì)舌體與近鄰部分(嘴唇和臉部)顏色近似造成的弱輪廓提取效果欠佳，而且在舌體與嘴唇的間隙處以及舌尖部分容易發(fā)生誤分割。Ning等[9]提出了一種融合梯度向量流GVF(Gradient Vector Flow)、區(qū)域合并技術(shù)RM(Region Merging)和主動(dòng)輪廓模型的方法，簡(jiǎn)稱為GVFRM。此方法先將傳統(tǒng)的梯度向量流改造為標(biāo)量擴(kuò)散方程，對(duì)舌圖像進(jìn)行擴(kuò)散以期達(dá)到平滑圖像、保留舌體輪廓結(jié)構(gòu)的預(yù)處理目的；然后，利用分水嶺算法將預(yù)處理過(guò)的舌圖像分割成許多小區(qū)域；接著，運(yùn)用基于最大相似性準(zhǔn)則的區(qū)域合并算法結(jié)合目標(biāo)、背景標(biāo)記將小區(qū)域合并成大區(qū)域，從而形成初始的舌體輪廓；最后，利用主動(dòng)輪廓模型對(duì)初始輪廓進(jìn)行演化，得到最終的分割結(jié)果。當(dāng)舌體靠近圖像的邊界時(shí)，錯(cuò)誤的目標(biāo)、背景標(biāo)記容易造成錯(cuò)誤的區(qū)域合并結(jié)果，從而導(dǎo)致誤分割。此方法在舌體與嘴唇的間隙處以及顏色近似性造成的弱邊緣處分割效果欠佳。Shi等主要提出了兩種基于主動(dòng)輪廓模型的舌圖像分割方法，分別簡(jiǎn)稱為C2G2F[10]和DGF[11]。C2G2F方法首先檢測(cè)舌尖點(diǎn)、舌根點(diǎn)和左右舌體三角點(diǎn)共4個(gè)特征點(diǎn)，利用4個(gè)特征點(diǎn)結(jié)合舌體形狀先驗(yàn)構(gòu)成初始的舌體輪廓；然后，將初始舌體輪廓分成上半部分輪廓和下半部分輪廓；接著，用參數(shù)化GVF主動(dòng)輪廓模型和測(cè)地線主動(dòng)輪廓模型分別演化上半部分和下半部分初始輪廓；最后，把演化后的上半部分和下半部分初始輪廓合并成最終的舌體輪廓。不幸的是，這種方法容易檢測(cè)到不理想的特征點(diǎn)，甚至未能檢測(cè)到部分特征點(diǎn)。在C2G2F方法基礎(chǔ)之上，Shi等提出了一種改進(jìn)的方法即DGF。DGF方法首先利用顯著目標(biāo)檢測(cè)算子來(lái)粗略地定位舌體所在的圖像窗口；然后，利用C2G2F方法思路在圖像窗口內(nèi)檢測(cè)四個(gè)特征點(diǎn)，獲取包含上半部分輪廓和下半部分輪廓的初始舌體輪廓；接著，利用測(cè)地線主動(dòng)輪廓模型和測(cè)地線-梯度向量流主動(dòng)輪廓模型來(lái)分別演化上半部分初始輪廓和下半部分初始輪廓；最后合并上半部分初始輪廓和下半部分初始輪廓作為最終的舌體輪廓。DGF方法未能完全克服C2G2F方法的局限性，分割準(zhǔn)確性和穩(wěn)定性都有待提升。綜上所述，現(xiàn)有的舌圖像分割方法存在一定的局限性，分割效果有待進(jìn)一步提升。為了提高分割精度，在探索RGB和HSI顏色空間中舌圖像特征的基礎(chǔ)上，本文提出一種簡(jiǎn)單而有效的舌圖像閾值分割算法，改善了舌圖像分割的效果。

2 算法設(shè)計(jì)

本文算法通過(guò)對(duì)多個(gè)顏色分量執(zhí)行閾值分割來(lái)實(shí)現(xiàn)舌圖像的分割，算法流程如圖1所示。下面將詳細(xì)闡述算法的每個(gè)步驟。

圖1 本文算法的流程圖

2.1 人臉區(qū)域的提取

通過(guò)圖像采集設(shè)備采集到的舌圖像往往含有下巴托架、人臉擋板等非人臉區(qū)域。下巴托架和人臉擋板等非人臉區(qū)域會(huì)對(duì)舌圖像的分割造成不良影響，因此需要先提取出人臉區(qū)域。為此，本文算法設(shè)計(jì)了以下過(guò)程來(lái)提取人臉區(qū)域：

(1) 下巴托架區(qū)域的分割：對(duì)舌圖像的藍(lán)色通道執(zhí)行經(jīng)典的Otsu閾值分割算法[12]，得到如圖2(b)所示的閾值分割結(jié)果，圖中黑色區(qū)域即為下巴托架區(qū)域。

(a) 原始舌圖像(b) 用于確定下巴托架區(qū)域的藍(lán)色通道閾值分割結(jié)果

(c) 圖像托架之外區(qū)域紅色通道閾值分割結(jié)果(d) 對(duì)(c)進(jìn)行形態(tài)學(xué)開(kāi)運(yùn)算、孔洞填充后的最大目標(biāo)區(qū)域圖2 人臉區(qū)域分割過(guò)程本文算法產(chǎn)生的中間結(jié)果

(2) 人臉區(qū)域的提?。菏紫龋瑢⑸鄨D像紅色通道中下巴托架區(qū)域的像素點(diǎn)信息排除，利用剩余像素點(diǎn)信息執(zhí)行Otsu閾值分割算法，得到如圖2(c)所示的閾值分割結(jié)果；接著，對(duì)圖2(c)的分割結(jié)果執(zhí)行形態(tài)學(xué)開(kāi)運(yùn)算和孔洞填充操作，搜索最大目標(biāo)區(qū)域，即可得到如圖2(d)所示的人臉區(qū)域。其中，開(kāi)運(yùn)算采用了半徑為1的圓盤(pán)狀結(jié)構(gòu)元。采用圓盤(pán)狀結(jié)構(gòu)元的原因在于臉部形狀與圓盤(pán)相似。圖3展示了半徑為“1”的圓盤(pán)狀結(jié)構(gòu)元。

010111010

圖3 半徑為1的圓盤(pán)狀結(jié)構(gòu)元

2.2 初始舌體區(qū)域的提取

(1) 顏色空間轉(zhuǎn)換：將一幅圖像從RGB顏色空間轉(zhuǎn)換到HSI顏色空間，即:

(1)

(2)

(3)

式中：

其中，CC1101模塊為數(shù)據(jù)包處理、載波監(jiān)聽(tīng)、數(shù)據(jù)傳輸?shù)忍峁┝藦V泛的硬件支持[9]，采用該芯片作為傳感器節(jié)點(diǎn)的射頻模塊，可以保證節(jié)點(diǎn)的長(zhǎng)期可靠工作。CC1101模塊外接26 MHz的晶振作為外部時(shí)鐘源，無(wú)線模塊工作時(shí)，綜合節(jié)點(diǎn)實(shí)時(shí)性和通信距離，設(shè)定其數(shù)據(jù)傳輸率為38.4 kbps，數(shù)據(jù)包格式為19個(gè)字節(jié)。此時(shí)，模塊的室外傳輸距離170 m左右，穿一層墻（25 cm）情況下，傳輸距離為70 m。

(4)

在式(1)-式(4)中，R、G和B分別代表圖像的紅色、綠色和藍(lán)色分量，H、S、I代表圖像的色調(diào)、飽和度和亮度分量。以圖2(a)中的舌圖像為例，由式(1)計(jì)算所得的色調(diào)分量如圖4(a)所示。從圖4(a)可以看到，舌體和上嘴唇像素點(diǎn)通常比其周圍的臉部像素點(diǎn)更暗或更亮，更亮的像素點(diǎn)擁有更大的色調(diào)值。由此，可以通過(guò)對(duì)高低色調(diào)像素點(diǎn)各設(shè)置一個(gè)色調(diào)閾值(參數(shù))來(lái)提取包含真實(shí)舌體和上嘴唇區(qū)域的初始舌體區(qū)域。為了減少算法參數(shù)的個(gè)數(shù)，下一步將執(zhí)行色調(diào)分量的變換。

(a) 圖2(a)對(duì)應(yīng)的色調(diào)分量 (b) 變換后的色調(diào)分量

(c) 變換后色調(diào)分量的閾值分割結(jié)果(d) 初始舌體區(qū)域圖4 初始舌體區(qū)域提取過(guò)程中本文算法產(chǎn)生的中間結(jié)果

(2) 色調(diào)分量的變換：對(duì)HSI顏色空間中圖像的色調(diào)分量執(zhí)行如下變換：

H′(i,j)=max{H(i,j),Hmax-H(i,j)}

(5)

式中：Hmax表示圖像所有像素點(diǎn)色調(diào)的最大值，(i,j)表示像素點(diǎn)坐標(biāo)。圖4(a)的色調(diào)變換結(jié)果如圖4(b)所示。從圖4(b)可以看到，色調(diào)變換步驟使大部分舌體和上嘴唇像素點(diǎn)比它們周圍的臉部像素點(diǎn)更亮，即大部分舌體和上嘴唇像素點(diǎn)擁有更高的色調(diào)值。因此，下一步只需要設(shè)置一個(gè)參數(shù)(如式(6)中的閾值T) 來(lái)獲得用于提取初始舌體區(qū)域的圖像二值化結(jié)果。相比于通過(guò)對(duì)像素點(diǎn)原始色調(diào)值設(shè)置兩個(gè)閾值(參數(shù))來(lái)提取初始舌體區(qū)域的做法，這樣就減少了一個(gè)參數(shù)。

(3) 圖像閾值分割：在變換后的色調(diào)分量上執(zhí)行如下的圖像閾值分割，可得到一幅圖像的二值化結(jié)果:

(6)

式中：

T=VH′(αN)

(7)

在式(7)中，VH′表示降序排列后的向量H′，N表示H′中元素的總個(gè)數(shù)，α則是一個(gè)控制圖像中目標(biāo)像素點(diǎn)比例的參數(shù)。圖4(c)展示了在圖4(b)所示的色調(diào)變換結(jié)果上執(zhí)行閾值分割后所得的圖像二值化結(jié)果。

2.3 舌體區(qū)域修正

如圖4(d)所示，本文算法提取初始舌體區(qū)域時(shí)，容易將上嘴唇、上嘴唇與舌根之間的間隙區(qū)域誤分割為舌體區(qū)域。

通過(guò)觀察舌圖像可以發(fā)現(xiàn)，舌根和上嘴唇之間通常存在一個(gè)偏暗的間隙區(qū)。在RGB顏色空間下，對(duì)初始目標(biāo)區(qū)域的紅色通道進(jìn)行Otsu[12]閾值分割，很容易得到此間隙區(qū)，如圖5(a)所示。然后，通過(guò)形態(tài)學(xué)腐蝕操作擴(kuò)大間隙區(qū)，以分離舌體和上嘴唇，如圖5(b)所示。最后，搜索最大目標(biāo)區(qū)域，執(zhí)行形態(tài)學(xué)膨脹操作，得到圖5(c)的結(jié)果。這里的腐蝕與膨脹操作均使用了半徑為“6”的圓盤(pán)狀結(jié)構(gòu)元。圖5(d)展示了本文算法提取的最終舌體輪廓。

(a) 對(duì)舌圖像初始舌體區(qū)域的R通道執(zhí)行Otsu閾值分割所得結(jié)果(b) 對(duì)閾值分割結(jié)果執(zhí)行腐蝕操作后的結(jié)果，用于分離上嘴唇和舌體區(qū)域

(c) 修正后的舌體區(qū)域(d) 舌體輪廓圖5 舌體區(qū)域修正過(guò)程中本文算法產(chǎn)生的中間結(jié)果

3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的分割性能，我們從福建省第三人民醫(yī)院提供的100幅舌圖像作為實(shí)驗(yàn)對(duì)象，將本文算法與GVFRM[9]、G2G2F[10]以及DGF[11]算法進(jìn)行了分割效果的定性和定量比較、分割速度的定量比較。其中，定量比較采用四個(gè)常見(jiàn)的分類測(cè)度[13]，即錯(cuò)分類誤差ME(Misclassification Error)、假正率/虛警率FPR(False Positive Rate)、假負(fù)率FNR(False Negative Rate)以及kappa指數(shù)KI(Kappa Index)。四種定量測(cè)度定義如下：

(8)

(9)

(10)

(11)

式中：Bm與Fm分別是手動(dòng)分割結(jié)果的背景與目標(biāo)，Ba與Fa為自動(dòng)分割算法分割出來(lái)的背景與目標(biāo)，·表示集合中元素的個(gè)數(shù)。ME、FPR、FNR的取值范圍都在0到1之間，值越小，表明分割效果越好；而KI值則是越大表明分割效果越好。

首先，我們對(duì)4種分割算法的分割效果進(jìn)行了定性的評(píng)價(jià)。圖6給出了6幅典型舌圖像的分割結(jié)果，這些圖像的典型特征包括有裂紋、病態(tài)舌苔、舌體偏小或偏大、是否包含牙齒、健康舌像。圖中從左到右分別展示了原圖像、手動(dòng)理想分割結(jié)果、GVFRM分割結(jié)果、C2G2F分割結(jié)果、DGF分割結(jié)果、本文算法分割結(jié)果。GVFRM的分割結(jié)果如圖6(c)所示，其在第二幅圖上產(chǎn)生了嚴(yán)重的欠分割；在第六幅圖上產(chǎn)生了比較嚴(yán)重的過(guò)分割現(xiàn)象；在其他四幅圖上分割效果稍好，但每幅舌圖像的上邊界都在上嘴唇下沿或者牙齒下沿附近，把舌根與上嘴唇之間的間隙區(qū)域錯(cuò)誤地分割為舌體。C2G2F的分割結(jié)果如圖6(d)所示，其在第二幅和第四幅圖上分割效果尚可，分別產(chǎn)生了輕微的過(guò)分割和欠分割，但在第五幅和第六幅圖上產(chǎn)生了嚴(yán)重的過(guò)分割，在第一幅和第三幅圖上同時(shí)產(chǎn)生了嚴(yán)重的欠分割和過(guò)分割。DGF分割結(jié)果如圖6(e)所示，其在第二幅和第四幅圖上的分割效果較好，但仍然存在一定程度的過(guò)分割現(xiàn)象；在第五幅和第六幅圖上產(chǎn)生了明顯的過(guò)分割；在第一幅和第三幅圖上分割效果最差，同時(shí)存在比較嚴(yán)重的欠分割和過(guò)分割。本文算法分割結(jié)果如圖6(f)所示，與上述三種方法相比，本文算法在六幅代表性舌圖像上均獲得了更加準(zhǔn)確的分割結(jié)果，但本文算法仍然在第二幅和第四幅圖上存在一定程度的過(guò)分割，這是由于舌體和嘴唇顏色太過(guò)近似造成的，將在以后的工作中加以解決。

(a)原圖像(b)手動(dòng)理想分割結(jié)果(c)GVFRM分割結(jié)果(d)C2G2F分割結(jié)果(e)DGF分割結(jié)果(f)本文算法分割結(jié)果圖6 四種算法分割結(jié)果的對(duì)比

接著，我們對(duì)使用這四種算法分割舌像庫(kù)里的100幅舌圖像所得到的分割精度與時(shí)間消耗進(jìn)行了定量評(píng)價(jià)。表1列出了四種算法分割結(jié)果對(duì)應(yīng)測(cè)度(ME、FPR、FNR、KI)的平均值和標(biāo)準(zhǔn)偏差，以及時(shí)間消耗的平均值和標(biāo)準(zhǔn)偏差。這些定量測(cè)試結(jié)果表明，相比于其他三種算法，本文算法具有更高的KI值，更低的ME值，表明本文算法擁有更高的分割精度、更低的誤分割率；本文算法擁有更低的FPR值，表明本文算法過(guò)分割程度更輕；本文算法的FNR值低于C2G2F和DGF，略高于GVFRM，主要原因在于相比于本文算法，GVFRM算法存在比較嚴(yán)重的過(guò)分割，把舌體及周圍非舌體區(qū)域都分割成了舌體，所以其對(duì)應(yīng)的欠分割程度比本文算法還低。從時(shí)間消耗來(lái)看，本文算法運(yùn)行速度要比其他三種算法快，主要原因是其他三種算法都要先得到舌體的初始輪廓模型，然后再演化出最終輪廓，而本文算法只使用了閾值分割以及其他形態(tài)學(xué)運(yùn)算，沒(méi)有做時(shí)間復(fù)雜度高的操作。

表1 100幅舌像平均分割性能的定量比較(均值±標(biāo)準(zhǔn)差)

4 結(jié) 語(yǔ)

本文提出了一種融合多顏色分量的舌圖像閾值分割算法。本文算法首先對(duì)RGB顏色空間中的藍(lán)色和紅色分量執(zhí)行Otsu閾值分割，檢測(cè)出舌圖像中的人臉區(qū)域；然后，對(duì)HSI顏色空中的色調(diào)分量執(zhí)行變換，在變換后的色調(diào)分量對(duì)應(yīng)人臉區(qū)域上執(zhí)行閾值分割，以獲得包含真實(shí)舌體和上嘴唇區(qū)域的初始舌體區(qū)域；接著，對(duì)初始舌體區(qū)域?qū)?yīng)的紅色通道執(zhí)行Otsu閾值分割，得到舌根和上嘴唇之間的間隙區(qū)域；最后，利用間隙區(qū)域分離舌體和上嘴唇，進(jìn)而剔除掉初始舌體區(qū)域中的上嘴唇區(qū)域，獲得最終的舌體分割結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文算法不僅明顯改善了舌圖像分割的效果，而且運(yùn)行速度也更快。