基于膚色和唇色的自適應(yīng)面部皮膚區(qū)域提取研究

邱曉欣，張文強(qiáng)

基于膚色和唇色的自適應(yīng)面部皮膚區(qū)域提取研究

邱曉欣，張文強(qiáng)

針對中醫(yī)面診客觀化中需要檢測獲取面部皮膚區(qū)域從而進(jìn)行面色和面部光澤診斷的問題，提出了一種基于唇色和面部膚色的自適應(yīng)的方法進(jìn)行面部皮膚區(qū)域的分割提取。使用基于YCrCb的膚色模型建立初始膚色模板，通過提取模板在HSV空間的代表信息進(jìn)行膚色消除，區(qū)分出嘴唇區(qū)域，并利用唇色與膚色在HSV空間的距離信息進(jìn)行自動適應(yīng)的迭代操作，最終得到較為完整的膚色區(qū)域。實驗結(jié)果證明，能有效地消除眼睛和嘴唇部分對面部區(qū)域的干擾，并且在不同臉色的情況下，依然能保持穩(wěn)定高質(zhì)量的提取能力。

圖像處理；膚色檢測；面部分割；色彩空間

0 引言

膚色檢測在圖像處理中被廣泛應(yīng)用于人臉跟蹤，姿態(tài)分析，圖像檢索等人機(jī)互動領(lǐng)域[1-6]。而計算機(jī)信息技術(shù)的發(fā)展為中醫(yī)4診采集的量化研究提供了契機(jī)，使“望、聞、問、切”4診由主觀描述逐漸向定量檢測的方向過渡。其中，望診是通過觀察對象的臉、舌頭等方面進(jìn)行診斷，通常這些診斷還要配合對象的身體狀況綜合使用。但是傳統(tǒng)中醫(yī)是根據(jù)經(jīng)驗豐富的中醫(yī)醫(yī)生通過目視來判斷的，缺少客觀和量化的依據(jù)，而利用計算機(jī)技術(shù)輔助進(jìn)行中醫(yī)客觀化非常重要。目前中醫(yī)面診中的一個重要環(huán)節(jié)是根據(jù)面色和面部光澤得到診斷信息，因此，需要通過計算機(jī)圖形圖像技術(shù)進(jìn)行面部皮膚區(qū)域提取。

傅言對所截取的反映病癥典型區(qū)域的色塊，比較了若干種提取人臉膚色的方法[7]。樸鑫利用積分投影、snake 算法及模板匹配方法將人臉區(qū)域劃分為20個小區(qū)域，粗略定位了各色部所在區(qū)域[8]。近年基于模板匹配的人臉檢測算法成為熱門,這種算法對圖像使用已知模式進(jìn)行匹配[9-10]。但是，這些方法需要大量的人工操作或者大量的圖像先驗知識。而傳統(tǒng)獲得皮膚的方法通常先設(shè)置一個固定的值區(qū)分皮膚像素和非皮膚像素。例如Crowley等在歸一化的RGB空間中使用直方圖獲取觀察得到的特定的 RGB向量[11]。Saxe在HSV空間定義了一個顏色判定來區(qū)分膚色與背景[12]，在一定范圍皮膚顏色相似的人群中可以進(jìn)行，但是,在膚色和唇色的顏色變化很大的時候固定值不能很好地適應(yīng)變化，在唇色和非唇色比較相似時不能很好地工作，容易提取錯誤。為了解決這個問題，本文使用一種基于膚色和唇色自適應(yīng)的方法進(jìn)行面部膚色區(qū)域的抽取。該方法通過皮膚色與唇色之間關(guān)系的迭代計算進(jìn)行皮膚區(qū)域與非皮膚區(qū)域的抽取，當(dāng)?shù)揭粋€適當(dāng)?shù)闹禃r停止進(jìn)行，獲得較為完整的非皮膚區(qū)域模板，再用已有的初始皮膚區(qū)域消去非皮膚區(qū)域模板的內(nèi)容，就可以得到受眼睛部分及嘴唇部分干擾較小的皮膚區(qū)域。本文的方法無需通過模板匹配進(jìn)行面部雜物的消除，同時,在不同膚色類型下依然能穩(wěn)定提取較高比例的面部皮膚區(qū)域。

1 數(shù)據(jù)集

對圖像采集的基本設(shè)備包括標(biāo)準(zhǔn)化的采集箱，一臺攝像機(jī)（Logitech C525，用USB接口進(jìn)行交互），處理電腦為i3核，有4G內(nèi)存。標(biāo)準(zhǔn)面部圖像采集箱是特殊制造的，它包括LED（光源，色溫值約5600K，Ra值90）和內(nèi)嵌于中間的攝像機(jī)來拍攝接受視頻圖像數(shù)據(jù)。這個標(biāo)準(zhǔn)面部圖像采集箱的大小為36cm*40cm*28cm。其它的拍攝條件包括人臉距離33cm（相機(jī)和拍攝對象之間的距離），Tv（快門速度）1/15s. Av（光圈值）5.6，ISO（感光度）80，白平衡，自定義模式，水平拍攝。拍攝窗口的大小為220mm*170mm。對象的圖像信息是從上海中醫(yī)藥大學(xué)、上海中醫(yī)藥大學(xué)附屬龍華醫(yī)院、上海中醫(yī)藥大學(xué)附屬曙光醫(yī)院、上海仁濟(jì)醫(yī)院中采集獲取的。這項研究已經(jīng)由上海醫(yī)學(xué)倫理學(xué)會批準(zhǔn)，所有患者簽署了知情同意書，手續(xù)不完備的信息不會被收錄。采集到的圖像包括各種面部圖像，按膚色分5類，有黑、紅、黃、青和白色。5種面部膚色的圖像，如圖1所示：

圖1 五種面部膚色的圖像

從左到右：白色面部膚色；黑色面部膚色；紅色面部膚色；黃色的面部膚色；青色的面部膚色。均見電子版。

2 自適應(yīng)的面部皮膚區(qū)域提取分割

本方法首先先抽取面部皮膚信息，建立初始膚色模板。之后基于初始膚色面部模板在HSV空間提取H通道和S通道的統(tǒng)計直方圖峰值，在進(jìn)行膚色消除的同時尋找嘴唇區(qū)域，利用嘴唇區(qū)域的HSV空間值迭代進(jìn)行高精度的膚色像素消除工作，留下包括眼睛區(qū)域和嘴唇區(qū)域的非膚色模板。再用已有的初始膚色模板刪除非膚色模板部分，剩下的則是經(jīng)過提取篩選較為完整的最終膚色區(qū)域。

2.1初始面部膚色模板

從采集箱采集的圖像需要先進(jìn)行面部定位，然后進(jìn)行皮膚信息的提取。本文使用級聯(lián)檢測器能快速地對面部進(jìn)行定位[13]。然后，使用基于YCrCb的顏色空間膚色模型法提取面部皮膚模板[14]。

YCbCr顏色空間能從RGB空間簡單地轉(zhuǎn)換過來，而且能比較徹底地分離亮度和色度份量，在人臉膚色建模的領(lǐng)域里受到很大的重視，在不同光照下具有魯棒性[15,16]。通過Anil K.Jain等人研究了膚色像素點在YCbCr空間及在二維投影 CbCr子空間中的情況。這些膚色像素點是該實驗從Heinrich-Hertz-Institute（HHI）圖像庫中的137幅圖像由人工提取共853571個膚色像素點[17]。從他們的實驗結(jié)果可以看到膚色聚類是橢圓形狀既中間厚，兩頭尖，兩個尖頭部分是Y值較大和較小時的樣子。在CbCr上的投影也集中在一個較小的橢圓形區(qū)域內(nèi)。

通過對較為集中區(qū)域進(jìn)行橢圓形擬合可以得到如下非線性變換的膚色模型，如公式（1）、（2）：

表達(dá)式中的常量分別：cx=109.38，cy=152.02，ecx=1.60，ecy=2.41，θ=2.53，a=25.39，b=14.03，是由Anil K.Jain等人的實驗得出的。計算膚色像素點是否在這個擬合的橢圓形內(nèi)，如果在橢圓形內(nèi)則為膚色區(qū)域，否則就是非膚色區(qū)域。通過這種方法先構(gòu)造一個初始的基于YCrCb顏色空間的面部膚色模板。如圖2所示：

圖2 基于YCrCb空間的提取效果

圖2（a）為原始面部圖像，圖2（b）為使用YCrCb的顏色空間膚色模型后得到的圖像。

HSV空間類似于人類感覺顏色的方式，色彩分類簡單自然，具有較強(qiáng)的感知度。假設(shè)k1是在R，G，B顏色通道中的最大值，k2是最小值。通過公式（3）（4）（5），我們可以從RGB顏色空間變換得到 HSV 顏色空間。特別是在H和S的顏色通道，臉部皮膚顏色和嘴唇的顏色可以明顯進(jìn)行區(qū)分，這樣能夠得到一個初始唇色。后續(xù)步驟使用H0和S0構(gòu)建面部膚色模板，H0為整臉圖像在H通道的直方圖峰值，作為面部在H色彩通道膚色信息的代表值，而S0為整臉圖像在S通道的直方圖峰值，作為面部在S飽和度顏色通道膚色的代表信息值。

臉部與唇部在H與S通道映射到灰度圖像時的像素分布情況樣例。如圖3所示：

圖3 臉部與唇部在H與S通道像素分布情況

橫軸為0-255，縱軸為最大值，(a)是整張臉部在H通道的情況，(b)是整張臉部在S通道的情況，(c)是嘴唇區(qū)域在H通道的情況，(d)是嘴唇區(qū)域在S通道的情況。得公式（3）、（4）、（5）：

2.2非膚色模板

本文使用通過在YCrCb的顏色空間膚色模型獲取得到初始的面部膚色模板，然后，基于這個膚色模板進(jìn)行去除非唇色像素的操作。需要對這個初始面部膚色模板的顏色空間轉(zhuǎn)換為HSV空間，通過研究實驗發(fā)現(xiàn)唇色和面部膚色都處于一個很小的 H通道范圍內(nèi)，但是，還是有一定距離可以進(jìn)行區(qū)分，而唇色和面部膚色的差異在S通道則較為明顯，如圖2所示。因此可以進(jìn)行去除工作。如公式（6）：

如果模板內(nèi)有像素點的值H和H通道代表值H0之間的偏差小于ht，則代表這個像素點與面部膚色像素相似。如公式（7）：

經(jīng)過試驗測試如果模板內(nèi)有像素的值S和S通道皮膚像素代表值S0之間的距離小于100，則與面部膚色像素相似的可能性很大。同時符合這兩個條件的像素可以被去除。則在面部膚色模板內(nèi)靠近面部膚色的大部分區(qū)域會被移除，然后留下一個保留了眼睛和唇部區(qū)域的模板。接著做一些形態(tài)學(xué)開運算和閉運算，用于去除微小點和填充小孔。由于正常人的嘴唇處于面部的下半部分，可以通過在面部下半部分尋找大塊連通區(qū)域，起始位置大于寬度1/20，區(qū)域橫縱比大于1.2，區(qū)域面積大于圖片1/100,來確定為嘴唇。

具體迭代過程如下：

第1步：設(shè)ht值為3，做面部膚色去除操作，然后搜索尋找嘴唇。如果找到嘴唇區(qū)域，則獲取嘴唇在 H通道的峰值hl，以及獲取嘴唇的區(qū)域像素集合SS0，然后進(jìn)行第2步。如果找不到嘴唇區(qū)域，代表去除皮膚操作的范圍不夠，嘴唇區(qū)域不能被區(qū)分出來。則ht加1，增加去除范圍的情況下重新進(jìn)行去除操作，再尋找嘴唇，循環(huán)操作直到找到嘴唇為止，進(jìn)行第2步。當(dāng)ht>8時強(qiáng)行結(jié)束迭代。

第2步：獲取H0和hl的差值為hd，如果hd小于7，則說明嘴唇的顏色和面部膚色在 H通道相近，可以退出。否則，說明嘴唇顏色和面部膚色依然可以明顯地被區(qū)分繼續(xù)進(jìn)行第3步。

第3步：ht加1，做面部膚色去除操作，如果找到嘴唇，則獲取嘴唇的區(qū)域為SS1然后判斷SS0和SS1的區(qū)域差異量SSd。如果hd小于7及SSd=7及SSd8，為臨界點，結(jié)束迭代。如果都不是，則設(shè)SS0=SS1然后重新進(jìn)行第3步。如圖4所示：

圖4 迭代進(jìn)行消除得到的非膚色模板情況

最后，對初始膚色面部模板減除使用迭代結(jié)束后得到的非膚色模板的內(nèi)容，即可得到最終的膚色區(qū)域。

3 實驗結(jié)果

為了驗證本方法的有效性，本文使用250人臉圖像數(shù)據(jù)集進(jìn)行測試，包括5種類型的面部膚色，每種50個樣本。5種類型的面部皮膚區(qū)域提取情況樣例如圖5所示：

圖5 五種類型的面部皮膚區(qū)域提取情況樣例

上列為原輸入圖片，下列為提取出來的皮膚區(qū)域，從左到右依次是白色面部膚色；黑色面部膚色；紅色面部膚色；黃色的面部膚色；青色的面部膚色。

為了評估膚色區(qū)域的效果，本實驗定義一個重疊區(qū)域精度OL，如公式（8）：

S1為人工標(biāo)注的面部皮膚區(qū)域，S2為本方法提取得到的面部皮膚區(qū)域。若OL值越大，表明效果更好。5種膚色類型的重疊精度平均值如表1所示：

表1.五種皮膚類型的OL比例

從表1可以看到，本文的自適應(yīng)膚色區(qū)域提取法能有效提取面部的膚色區(qū)域，去除大部分唇色與眼睛部分的干擾，并且在各種面部膚色類型下依然能進(jìn)行穩(wěn)定高質(zhì)量的人臉面部膚色區(qū)域提取。

4 總結(jié)

在面對不同膚色類型的情況下，本文提出的自適應(yīng)面部區(qū)域提取法依然是有效且穩(wěn)定的，同時能有效地消除眼睛和嘴唇部分，使得對于膚色判定的干擾更少。這種基于面部膚色與唇色自適應(yīng)面部皮膚區(qū)域提取方法可以應(yīng)用到需要進(jìn)行膚色分類的應(yīng)用中。

[1] Vadakkepat P, Lim P, De Silva L C, et al. Multimodal approach to human-face detection and tracking[J]. Industrial Electronics, IEEE Transactions on, 2008, 55(3): 1385-1393.

[2] Chan C S, Liu H, Brown D J. Recognition of human motion from qualitative normalised templates[J]. Journal of Intelligent and Robotic Systems, 2007, 48(1): 79-95.

[3] Kubota N, Nishida K. Perceptual control based on prediction for natural communication of a partner robot[J]. Industrial Electronics, IEEE Transactions on, 2007, 54(2): 866-877.

[4] Linda O, Manic M. Fuzzy force-feedback augmentation for manual control of multirobot system[J]. Industrial Electronics, IEEE Transactions on, 2011, 58(8): 3213-3220.

[5] Chan C S, Liu H, Brown D J. Human arm-motion classification using qualitative normalised templates[C]// Knowledge-Based Intelligent Information and Engineer -ing Systems. Springer Berlin Heidelberg, 2006: 639-646.

[6] Pratl G, Dietrich D, Hancke G P, et al. A new model for autonomous, networked control systems[J]. Industrial Informatics, IEEE Transactions on, 2007, 3(1): 21-32.

[7] 傅言.基于圖像分析的中醫(yī)面診及在肝病上的研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2006.

[8] 樸鑫.面診中的人臉分割研究［D］.哈爾濱:哈爾濱工業(yè)大學(xué)深圳研究生院,2006.

[9] 由霖,修春波.基于模板匹配的目標(biāo)識別算法[C].2011年中國智能自動化會議論文集,2011:737-740.

[10] 盧緒軍,趙勛杰.一種基于膚色和模板匹配的人臉檢測方法[J].計算機(jī)應(yīng)用與軟件,2011,28(7):112-114,140.

[11] Crowley J L, Berard F. Multi-modal tracking of faces for video communications[C]//Computer Vision and Pattern Recognition, 1997. Proceedings., 1997 IEEE Computer Society Conference on. IEEE, 1997: 640-645.

[12] Saxe D, Foulds R. Toward robust skin identification in video images[C]//Automatic Face and Gesture Recognition, 1996., Proceedings of the Second International Conference on. IEEE, 1996: 379-384.

[13] Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001, 1: I-511-I-518 vol. 1.

[14] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.

[15] 李嵐,朱林杰,張云,等.膚色與梯度互補(bǔ)的人臉檢測研究[J].計算機(jī)應(yīng)用與軟件,2013,30(2):280-282,295

[16] 李智勇,田貞.基于膚色模型的人臉檢測研究[J].現(xiàn)代電子技術(shù),2011,34(3):131-133.

[17] Hsu R L, Abdel-Mottaleb M, Jain A K. Face detection in color images[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2002, 24(5): 696-706.

TP311 文獻(xiàn)標(biāo)志碼：A

2015.04.24）

1007-757X(2015)08-0001-03

國家自然科學(xué)基金（81373555）

邱曉欣（1989-），女，復(fù)旦大學(xué)，計算機(jī)科學(xué)技術(shù)學(xué)院，研究方向：機(jī)器智能、視頻分析、圖像處理，上海，200433

張文強(qiáng)（1970-），男，復(fù)旦大學(xué)，計算機(jī)科學(xué)技術(shù)學(xué)院，研究方向：機(jī)器智能、視頻分析、機(jī)器人等，上海，200433