基于圖像處理的望診面色自動(dòng)識(shí)別研究

陳夢(mèng)竹 岑翼剛 許家佗 崔龍濤 王文強(qiáng) 屠立平 黃景斌 荊聰聰 張建峰

摘要：目的 結(jié)合圖像處理與中醫(yī)理論實(shí)現(xiàn)面色自動(dòng)識(shí)別。方法 根據(jù)中醫(yī)望診面色相關(guān)理論，采用基于YCbCr顏色空間的橢圓膚色模型和主動(dòng)外觀模型算法對(duì)面部皮膚進(jìn)行感興趣區(qū)域分割，采用RGB空間、HSV空間、Lab空間中的顏色直方圖、顏色空間的統(tǒng)計(jì)特征以及局部二值模式（LBP）特征對(duì)各區(qū)域進(jìn)行顏色與紋理特征提取，使用支持向量機(jī)、極限學(xué)習(xí)機(jī)、BP神經(jīng)網(wǎng)絡(luò)對(duì)提取到的面色特征進(jìn)行識(shí)別比較。結(jié)果 將面色識(shí)別區(qū)域分成8塊。結(jié)合顏色特征、紋理特征和LBP特征時(shí)，面色識(shí)別率達(dá)89.08%。青、赤、黃、白、黑5種面色中，白色采用BP神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率最高，達(dá)89.5%。結(jié)論 本研究結(jié)合膚色檢測(cè)、圖像處理與中醫(yī)望診理論，可實(shí)現(xiàn)面部膚色自動(dòng)識(shí)別。

關(guān)鍵詞：中醫(yī)；望診；面色；圖像處理；膚色檢測(cè)；識(shí)別

DOI：10.3969/j.issn.1005-5304.2018.12.023

中圖分類號(hào)：R2-05；R241.2 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-5304（2018）12-0097-05

Abstract： Objective To realize automatic complexion recognition through combining image processing with TCM theory. Methods According to theories of TCM observation diagnosis complexion， elliptical skin color model based on YCbCr color space and active appearance model algorithm were used to segment the facial skin. Color and texture features were extracted for each region by using RGB space， HSV space， color histogram in Lab space， statistical features of color space and local binarization （LBP） features. Support vector machine， extreme learning machine and BP neural network were used to identify and compare the extracted facial features. Results The face recognition areas were divided into 8 blocks. Combined with color features， texture features and LBP features， the face recognition rate reached 89.08%. Among the five colors of cyan， red， yellow， white and black， the BP neural network on white complexion had the highest classification accuracy rate of 89.5%. Conclusion This study combines skin color detection， image processing and TCM complexion recognition theory to achieve automatic facial complexion recognition.

Keywords： TCM； observation diagnosis； complexion； image processing； complexion detection； recognition

隨著人工智能的快速發(fā)展，中醫(yī)四診客觀化逐漸成為研究熱點(diǎn)，其中舌診和脈診相關(guān)研究開展較早，部分成果已應(yīng)用到臨床，而望面色是望診必不可少的部分。中醫(yī)學(xué)認(rèn)為，臟腑、心理、氣血和經(jīng)絡(luò)變化均可呈現(xiàn)在人臉的相關(guān)區(qū)域；望診時(shí)，面部由于皮膚暴露較多，易于觀察，一般作為人體皮膚顏色的主要辨別部分。面色大致分為5種（青、赤、黃、白、黑），分別反映不同類型的機(jī)體狀態(tài)：青、黑色可提示疼痛，赤、黃色可提示熱證，白色可提示寒證。傳統(tǒng)的望面色方法為肉眼觀察患者面色并進(jìn)行診斷，其結(jié)果與醫(yī)生臨床經(jīng)驗(yàn)關(guān)系密切，并受到外部光線等條件影響，具有較大主觀性。目前臨床面色診斷尚缺乏評(píng)價(jià)標(biāo)準(zhǔn)，采用計(jì)算機(jī)技術(shù)進(jìn)行定量分析有利于臨床診斷的客觀化。

目前，面診客觀化研究已取得了一些進(jìn)展。傅言[1]在不同顏色空間下對(duì)識(shí)別肝病類別進(jìn)行圖像分析，構(gòu)建了可進(jìn)行皮膚識(shí)別區(qū)域分割的平臺(tái)。劉明佳[2]以顏色形成原理和生物醫(yī)學(xué)為切入點(diǎn)設(shè)計(jì)了人臉圖像采集設(shè)備，使用膚色模型結(jié)合灰度投影算法對(duì)樣本進(jìn)行五官圖像區(qū)域分割。毛紅朝[3]探索中醫(yī)面診信息提取的各種圖像處理算法，采用高斯膚色統(tǒng)計(jì)模型和Adaboost結(jié)合的方法精確定位人臉區(qū)域。吳暾華[4]根據(jù)中醫(yī)面色臟腑分屬圖，采用復(fù)雜背景下的多姿人臉檢測(cè)方法，建立了望面色的眼動(dòng)跟蹤模型。部分研究對(duì)人臉圖像進(jìn)行臉頰和嘴唇的識(shí)別區(qū)域分割，將臉頰的皮膚區(qū)域在Lab顏色空間作為面部的顏色特征，結(jié)合支持向量機(jī)（SVM）評(píng)估白、紅、黃及健康的面色，但尚缺乏青類面色數(shù)據(jù)[5-7]。

目前研究多采用RGB、HSV、Lab空間進(jìn)行特征提取。本研究圖像背景相對(duì)單一，無需復(fù)雜度高的算法即可有效實(shí)現(xiàn)膚色分割，而紋理中局部二值模式（LBP）特征可簡(jiǎn)單有效地表示人臉圖像[8]，因此，本研究基于青、紅、黃、白、黑5種面色，對(duì)相應(yīng)圖像進(jìn)行分析并分別提取其顏色和紋理特征，最后使用機(jī)器學(xué)習(xí)的方法對(duì)提取到的特征進(jìn)行面色分類。

1 研究方法

本研究實(shí)驗(yàn)框架及算法流程見圖1。主要分為三部分：分割皮膚感興趣區(qū)域（ROI）、顏色及紋理特征的提取、人臉面色識(shí)別。首先基于YCbCr顏色空間的橢圓膚色模型和主動(dòng)外觀模型（AAM），在中醫(yī)面診理論的指導(dǎo)下對(duì)人臉圖像進(jìn)行ROI分割；然后采用RGB空間、HSV空間、Lab空間中的顏色直方圖，提取不同顏色空間下的信息作為顏色特征，同時(shí)，將顏色分量的統(tǒng)計(jì)特征及LBP特征作為融合特征；最后使用SVM、極限學(xué)習(xí)機(jī)（ELM）、BP神經(jīng)網(wǎng)絡(luò)分別對(duì)提取到的特征面色進(jìn)行評(píng)估比較及分類。

圖1 基于圖像處理的面色識(shí)別算法流程圖

1.1 基于YCbCr空間的感興趣區(qū)域分割

五臟的生理病理變化可由面色顯現(xiàn)出來，面色的主要部分是人臉的膚色。本研究人臉圖像由望診標(biāo)準(zhǔn)光源箱得到，NIKON D40數(shù)碼單反相機(jī)在固定模式下拍攝面部圖像。研究對(duì)象來源于上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院體檢中心，年齡20～60歲。采用望診標(biāo)準(zhǔn)光源箱，拍攝前與受試者溝通，洗去面部化妝品，保持自然面色，并保持情緒穩(wěn)定。拍攝時(shí)受試者取端坐位，面對(duì)人工光源，確保面部光線明亮，充分暴露額部。首先選取粉刺、胡須等數(shù)據(jù)噪聲較少者進(jìn)行，樣本包括青、紅、黃、白、黑5種膚色。由于膚色在YCbCr空間具有聚類特性，為避免錯(cuò)分非膚色區(qū)域，首先將原始大小為1424×2144像素的圖像從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間；然后根據(jù)橢圓膚色模型比較像素對(duì)應(yīng)的Y值，如在膚色模型亮度范圍內(nèi)，且對(duì)應(yīng)的紅、藍(lán)分量分別在133≤Cr≤173、77≤Cb≤127范圍內(nèi)，則滿足條件的像素賦值1，否則為0，從而形成二值圖像；采用形態(tài)學(xué)的開、閉運(yùn)算對(duì)二值圖像去除某些噪聲點(diǎn)，減小噪聲對(duì)膚色分割的影響，使孤立的像素點(diǎn)形成連通域，最后定位出人臉，得到分割后的ROI。將得到的圖像統(tǒng)一設(shè)置成285×429像素大小。采用橢圓模型公式[9]計(jì)算：

1.2 基于主動(dòng)外觀模型算法的特征點(diǎn)定位

AAM算法是經(jīng)典的人臉特征點(diǎn)檢測(cè)方法[10]。該算法提取人臉的形狀信息及紋理信息，采用主成分分析得到可變形的人臉統(tǒng)計(jì)模型，并將待測(cè)圖像的形狀變化模型結(jié)合紋理變化模型形成人臉模板。AAM算法為避免復(fù)雜的求導(dǎo)和迭代，由訓(xùn)練集假設(shè)殘差向量分別和形狀參數(shù)與紋理參數(shù)之間存在的線性關(guān)系，用線性回歸的方法來訓(xùn)練形狀參數(shù)與紋理參數(shù)的更新矩陣，并通過調(diào)整殘差向量更新參數(shù)。AAM算法分為模型建立與擬合計(jì)算2個(gè)部分：首先對(duì)訓(xùn)練樣本進(jìn)行手工特征點(diǎn)標(biāo)記，通過普魯克分析把所有樣本標(biāo)注的特征點(diǎn)對(duì)齊，得到1個(gè)統(tǒng)計(jì)形狀模型，再將所有訓(xùn)練樣本變形以匹配形狀模型；然后使用特征分析建立一個(gè)對(duì)應(yīng)的紋理模型；最后將形狀和紋理模型通過學(xué)習(xí)的方法結(jié)合起來，得到最終模型。

根據(jù)中醫(yī)理論，將人臉手動(dòng)分割成8個(gè)ROI，分別是：額頭、雙側(cè)上眼臉、雙側(cè)臉頰、鼻頭、口唇、下頜[11]。額頭部分膚色塊提?。菏紫扔葾AM算法得到人臉關(guān)鍵點(diǎn)的位置，見圖2（a）；根據(jù)人臉的幾何位置關(guān)系[12]，人臉是呈豎直對(duì)稱的，見圖2（b）；左眉毛的第2個(gè)點(diǎn)和第3個(gè)點(diǎn)做一條中垂線L1，右眉毛的第2個(gè)和第3個(gè)點(diǎn)同樣做一條中垂線L2，這樣矩形框的長(zhǎng)度確定出來，L即兩條中垂線的最短距離；接著，取矩形框長(zhǎng)度的一半作為矩形框的寬度W，見圖2（c），藍(lán)色線標(biāo)注的即為額頭部分ROI；按“1.1”項(xiàng)下方法，對(duì)ROI部分再進(jìn)行1次基于YCbCr空間的膚色分割，確定膚色區(qū)域，得到1個(gè)分割后最大的連通域。由于額頭區(qū)域是整張人臉中最有可能涉及非膚色區(qū)域的部分，因此，先對(duì)額頭手動(dòng)定位一個(gè)矩形框，然后對(duì)框里的皮膚和非皮膚部分進(jìn)行膚色分割，最后得到1個(gè)額頭的膚色塊。其余7個(gè)ROI則無需上述操作，直接根據(jù)五官的關(guān)鍵點(diǎn)定位后手動(dòng)選取膚色框即可，方法同額頭部分，見圖2（d）。

1.3 顏色和紋理特征提取

望診面色研究中，顏色信息是最主要的特征。對(duì)不同顏色空間的信息進(jìn)行面診分析的研究不斷深入。Zhuo L等[6]提出在Lab空間中提取顏色直方圖和色差等統(tǒng)計(jì)特征作為人臉的膚色特征，將提取的特征使用SVM進(jìn)行面色評(píng)估。HSV顏色空間與人類感覺顏色方式相似，色彩的分類簡(jiǎn)單自然，感知度較強(qiáng)。通過公式（5）、（6）、（7）、（8）、（9）可將RGB顏色空間轉(zhuǎn)換到HSV顏色空間：

采用多顏色空間信息融合的技術(shù)分別對(duì)ROI提取HSV、RGB、Lab等顏色直方圖均值作為顏色特征。顏色直方圖的統(tǒng)計(jì)特征不僅反映了不同膚色類型，而且反映皮膚的紋理特性。紋理是對(duì)圖像灰度空間分布模式的提取和分析，故本研究同時(shí)提取了皮膚區(qū)域的統(tǒng)計(jì)特征，包括能量（Asm）、相關(guān)性（Corr）、對(duì)比度（Con）、熵（Ent）：

LBP特征是個(gè)細(xì)小尺度的算子，在人臉識(shí)別中，直接對(duì)整幅圖像使用LBP直方圖來提取特征會(huì)丟失人臉的微觀信息，更適應(yīng)于描述圖像局部紋理變化。故本研究分別提取8個(gè)分割好的ROI的LBP特征譜統(tǒng)計(jì)直方圖作為特征向量。LBP特征是將圖像中某一像素值作為閾值，對(duì)以該像素為中心的鄰域進(jìn)行閾值操作，見圖3?；叶刃∮陂撝抵?，灰度大于閾值置1，進(jìn)而得到一組二進(jìn)制數(shù)，LBP編碼的計(jì)算公式如下：

1.4 不同分類器的面色識(shí)別

分類器用于中醫(yī)面色識(shí)別，分類的性能直接影響最終的識(shí)別結(jié)果。SVM是Corinna Cortes和Vapnik V N[14]首先提出的，可用于模式分類和非線性回歸的問題，其主要定義了函數(shù)間隔（用 表示）：

式中x是特征，y是結(jié)果標(biāo)簽。記超平面關(guān)于所有樣本點(diǎn)（xi，yi）的函數(shù)間隔最小值（i表示第i個(gè)樣本）為 ，然后由目標(biāo)函數(shù)max 迭代求解超平面參數(shù)（ω，b），從而得到分類器。

SVM具有泛化能力強(qiáng)、適用于小樣本學(xué)習(xí)的特點(diǎn)，并且能夠有效避免過擬合和局部最小化以及“維數(shù)災(zāi)難”等問題。其理論基礎(chǔ)是非線性映射，利用內(nèi)積核函數(shù)來代替向高位空間的非線性映射，同時(shí)具有對(duì)小樣本非線性分類快速高效的特性。

ELM是一種新型的快速學(xué)習(xí)算法[15]，其假設(shè)有N個(gè)樣本（xi，yi），對(duì)于1個(gè)有L個(gè)隱層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)可表示為：

一些傳統(tǒng)的基于梯度下降法的算法可用來求解此類問題，但基本的基于梯度的學(xué)習(xí)算法需要在迭代的過程中調(diào)整所有參數(shù)。而ELM算法中，一旦輸入權(quán)重ωi和隱層的偏置bi被隨機(jī)確定，隱層的輸出矩陣H就被唯一確定。訓(xùn)練單隱層神經(jīng)網(wǎng)絡(luò)可轉(zhuǎn)化為求解一個(gè)線性系統(tǒng)。且輸出權(quán)重β可被確定。Hβ=Y， ，其中H+是矩陣H的Moore-Penrose廣義逆。

ELM最大的特點(diǎn)是相對(duì)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)（SLFNs），在保證學(xué)習(xí)精度的前提下算法速度更快。所有隱節(jié)點(diǎn)參數(shù)獨(dú)立于目標(biāo)函數(shù)或訓(xùn)練數(shù)據(jù)集。對(duì)于單隱層神經(jīng)網(wǎng)絡(luò)，ELM可隨機(jī)初始化輸入權(quán)重和偏置并得到相應(yīng)的輸出權(quán)重。

BP神經(jīng)網(wǎng)絡(luò)是為了解決多層前向神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)優(yōu)化而提出來的算法，其主要特點(diǎn)是信號(hào)前向傳遞，誤差反向傳遞。在前向傳遞中，輸入信息從輸入層經(jīng)隱含層逐層處理，直到輸出層。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向傳播，根據(jù)預(yù)測(cè)誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閾值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出不斷逼近期望輸出。

2 實(shí)例測(cè)試

皮膚色塊樣本來源于上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院體檢中心150名體檢人員的面色圖像。采集到的圖像經(jīng)過3名中醫(yī)基礎(chǔ)診斷專家一致性判讀分為青、赤、黃、白、黑5類膚色樣本，見圖4。實(shí)驗(yàn)平臺(tái)為2.40 GHz，內(nèi)存8.0 G，Windows7操作系統(tǒng)，matlab2014a編程。

采用3種特征進(jìn)行測(cè)試：

特征1：F1={H， S， V， R， G，B， L， a， b}；

特征2：F2={H， S， V， R， G，B， L， a， b， Asm， Corr， Con， Ent}；

特征3：F3={H， S， V， R， G，B， L， a， b， Asm， Corr， Con， Ent， LBP}；

為評(píng)估3種特征的分類性能，選擇953塊皮膚區(qū)域作為訓(xùn)練樣本，238塊皮膚區(qū)域作為測(cè)試樣本，面色識(shí)別率見表1。

表1表明，在面色識(shí)別研究中，顏色特征是最重要的特征，僅提取HSV、RGB、Lab顏色空間作為融合特征進(jìn)行分類時(shí)，分類準(zhǔn)確率最高為79.42%；增加紋理特征時(shí)，分類結(jié)果達(dá)85.71%；而結(jié)合顏色特征、紋理特征和LBP特征時(shí)，分類結(jié)果最高為89.08%。

將青、赤、黃、白、黑分別標(biāo)簽為0、1、2、3、4，測(cè)試樣本分別為42、35、48、60、54塊，測(cè)試結(jié)果見表2。其中，青色的皮膚采用3種分類器分類效果差別不明顯；紅色的皮膚使用SVM和ELM分類器時(shí)效果更好；黃色的皮膚在使用SVM時(shí)效果更明顯；白色的皮膚采用BP神經(jīng)網(wǎng)絡(luò)的分類準(zhǔn)確率最高，達(dá)89.50%；黑色的皮膚在使用分類器時(shí)相較其他顏色準(zhǔn)確率均低，ELM的分類效果欠佳。影響分類效果的因素有以下幾方面：①測(cè)試樣本的有限性，受試者面部受陽(yáng)光照射面積、程度不均勻；②實(shí)驗(yàn)研究對(duì)象大多為亞洲人，膚色整體偏黃，膚色偏黑的樣本較少，且摻雜許多面色發(fā)灰的樣本，導(dǎo)致膚色為黑色的類分類效果不佳；③中醫(yī)5種面色的區(qū)分是相對(duì)的而非絕對(duì)；④膚色存在明顯的個(gè)體差異。

3 小結(jié)

面診客觀化研究需進(jìn)行定量化分析，首先應(yīng)對(duì)人臉進(jìn)行圖像區(qū)域分割并選擇合適的特征。本研究實(shí)現(xiàn)了簡(jiǎn)單有效的人臉圖像區(qū)域分割，并提取相應(yīng)區(qū)域的顏色和紋理特征后進(jìn)行膚色識(shí)別的算法。采用基于YCbCr顏色空間的橢圓膚色模型定位人臉，結(jié)合AAM模板對(duì)ROI進(jìn)行分割，然后分別提取顏色、紋理和LBP特征，最后用SVM、ELM、BP神經(jīng)網(wǎng)絡(luò)分別對(duì)算法進(jìn)行識(shí)別評(píng)估。結(jié)果表明，所提出的膚色特征具有良好的分類性能，識(shí)別率達(dá)89.50%。然而，本實(shí)驗(yàn)對(duì)黑色的分類尚未達(dá)到理想效果，后續(xù)將重視對(duì)此類樣本數(shù)據(jù)的深入分析，并擴(kuò)大樣本量，增加醫(yī)生對(duì)樣本的評(píng)價(jià)。同時(shí)，將進(jìn)一步探索面部特征的提取、選擇及分類器的設(shè)計(jì)。

參考文獻(xiàn)：

[1] 傅言.基于圖像分析的中醫(yī)面診及在肝病上的研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2006.

[2] 劉明佳.基于人臉彩色圖像的疾病診斷研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2008.

[3] 毛紅朝.面向中醫(yī)面診的診斷信息提取——關(guān)鍵算法研究與實(shí)現(xiàn)[D].廈門：廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，2007.

[4] 吳暾華.面向中醫(yī)面診診斷信息提取的若干掛件技術(shù)研究[D].廈門：廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，2008.

[5] YANG Y， ZHANG J， ZHUO L， et al. Cheek region extraction method for face diagnosis of traditional Chinese medicine[C]//IEEE， International Conference on Signal Processing. IEEE，2013：1663- 1667.

[6] ZHUO L， YANG Y， ZHANG J， et al. Human facial complexion recognition of traditional Chinese medicene based on uniform color space[J]. International Journal of Pattern Recognition & Artificial Intelligence，2014，28（4）：1450008.

[7] ZHANG J， ZHANG P， ZHUO L. Fuzzy support vector machine based on color modeling for facial complexion recognition in traditional Chinese medicine[J]. Chinese Journal of Electronics， 2016，25（3）：474-480.

[8] OJALA T. Gray scale and rotation invariant texture classification with local binary patterns[C]//European Conference on Computer Vision. Springer Berlin Heidelberg，2000：404-420.

[9] 高建坡，王煜堅(jiān)，楊浩，等.一種基于KL變換的橢圓模型膚色檢測(cè)方法[J].電子與信息學(xué)報(bào)，2007，29（7）：1739-1743.

[10] COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Computer Society，2001，1407（6）：484-498.

[11] 許家佗，吳宏進(jìn)，陸璐明，等.不同健康狀態(tài)的面部光譜色度特征分析[J].生物醫(yī)學(xué)工程學(xué)雜志，2012，29（6）：1062-1067.

[12] 曾岳，馮大政.一種基于人臉垂直對(duì)稱性的變形2DPCA算法[J].計(jì)算機(jī)工程與科學(xué)，2011，33（7）：74-79.

[13] 馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究[J].北京測(cè)繪，2007（3）：19-22.

[14] VAPNIK V N. The nature of statistical learning theory （statistics for engineering and information science）[M]. New York：Springer-Verlag，1999.

[15] HUANG G B， ZHU Q Y， SIEW C K. Extreme learning machine：Theory and applications[J]. Neurocomputing，2006，70（1）：489-501.