復(fù)雜背景下基于人臉的自適應(yīng)膚色檢測(cè)

萬(wàn) 靜 袁 澤 張雪超

1(北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院 北京 100029)2(北京工商大學(xué) 北京 100036)

?

復(fù)雜背景下基于人臉的自適應(yīng)膚色檢測(cè)

萬(wàn) 靜1袁 澤1張雪超2

1(北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院 北京 100029)2(北京工商大學(xué) 北京 100036)

針對(duì)傳統(tǒng)膚色檢測(cè)在復(fù)雜背景下對(duì)類膚色像素的抗干擾能力弱，以及光照對(duì)膚色顏色特性影響的問(wèn)題，提出一種自適應(yīng)的膚色檢測(cè)方法。通過(guò)Adaboost結(jié)合Haar的人臉檢測(cè)，并利用改進(jìn)后的二值化提取出包含光照信息的皮膚區(qū)域。然后利用改進(jìn)后的直方圖反向投影法，結(jié)合膚色樣本在YCbCr空間中Y亮度分量訓(xùn)練得到的最佳閾值，對(duì)整幅圖像進(jìn)行膚色檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法在復(fù)雜背景下以及光照的影響均有良好的魯棒性，在準(zhǔn)確率、召回率方面較傳統(tǒng)的膚色檢測(cè)方法有提高。

膚色檢測(cè) 局部二值化 自適應(yīng)閾值 直方圖反向投影

0 引 言

膚色檢測(cè)作為圖像處理中一項(xiàng)重要的研究?jī)?nèi)容，能作用在人臉檢測(cè)與識(shí)別、手勢(shì)識(shí)別、人機(jī)交互以及基于內(nèi)容的不良圖像過(guò)濾等眾多計(jì)算機(jī)視覺(jué)領(lǐng)域。通過(guò)膚色檢測(cè)可以有效排除背景干擾，縮小處理范圍，提高工作效率以及結(jié)果的準(zhǔn)確度。

在對(duì)膚色檢測(cè)研究中，Duan等[1]提出一種基于YUV和YIQ顏色空間結(jié)合的參數(shù)法，固定顏色分量閾值對(duì)膚色像素進(jìn)行檢測(cè)。Jure等[2]又進(jìn)一步發(fā)現(xiàn)膚色像素點(diǎn)在其他顏色空間有著更優(yōu)秀的聚類性，將膚色像素點(diǎn)轉(zhuǎn)換到Y(jié)CbCr顏色空間后，其Cb和Cr分量在2D平面聚類成一個(gè)類似橢圓的形狀，于是對(duì)膚色像素點(diǎn)在Cb-Cr平面進(jìn)行擬合，構(gòu)造出一個(gè)橢圓邊界模型，對(duì)膚色和非膚色進(jìn)行區(qū)分。這種明確固定分界線的方法雖然計(jì)算方便，并且能有效地檢測(cè)出膚色像素，但是對(duì)于和膚色顏色相近的背景環(huán)境的區(qū)分效果十分不理想。

為了解決復(fù)雜背景干擾的問(wèn)題，近年來(lái)，學(xué)習(xí)型的自適應(yīng)膚色檢測(cè)方法[3-5]陸續(xù)被提出，利用臉部膚色像素點(diǎn)為學(xué)習(xí)樣本，分別采用建立高斯模型和加權(quán)平均Mahalanobis(馬氏)距離來(lái)判別其他像素點(diǎn)是否為膚色點(diǎn)。但是它們對(duì)臉部膚色像素提取方案并不理想，文獻(xiàn)[4]使用固定閾值的方法提取膚色像素點(diǎn)，文獻(xiàn)[5]使用Sobel邊緣檢測(cè)來(lái)檢測(cè)出膚色像素點(diǎn)，這兩種方法提取膚色像素時(shí)對(duì)陰影處理的魯棒性不好，導(dǎo)致信息不準(zhǔn)確。在自適應(yīng)學(xué)習(xí)過(guò)程中采用訓(xùn)練高斯模型耗時(shí)比較高，無(wú)法進(jìn)行實(shí)時(shí)性應(yīng)用，并且對(duì)于提取出的人臉膚色像素點(diǎn)屬于小樣本訓(xùn)練，并不太適合在大樣本環(huán)境下才能表現(xiàn)優(yōu)秀的高斯模型法。

針對(duì)上述問(wèn)題，本文對(duì)自適應(yīng)膚色檢測(cè)方法進(jìn)行了改進(jìn)。首先利用人臉檢測(cè)，采用改進(jìn)后的自適應(yīng)二值法提取人臉中的膚色像素，改進(jìn)后的二值化充分考慮了陰影的影響，保證了提取信息的完整性。然后利用YCbCr顏色空間中Cb-Cr分量的直方圖反向投影算法并結(jié)合Y分量的范圍對(duì)分割出來(lái)的區(qū)域進(jìn)行分類判斷。這樣做既考慮到了亮度信息，對(duì)光照、陰影有良好的魯棒性，可減小漏檢率；又能準(zhǔn)確檢測(cè)出圖像中的膚色區(qū)域，有效改進(jìn)類膚色背景干擾這一難題。

1 基于人臉的自適應(yīng)膚色檢測(cè)方法

本文提出的自適應(yīng)膚色檢測(cè)原理就是利用待測(cè)圖像本身可以確定的信息對(duì)已知膚色檢測(cè)算法和相關(guān)閾值加以更新，利用更新后的結(jié)果對(duì)原待檢圖像進(jìn)行檢測(cè)，得到更為準(zhǔn)確的檢測(cè)效果。本文算法的框架如圖1所示。

圖1 自適應(yīng)膚色檢測(cè)算法框架

1.1 膚色像素提取

(1) 人臉檢測(cè)

準(zhǔn)確地提取出膚色像素樣本點(diǎn)是整個(gè)算法的前提，為了適應(yīng)不同環(huán)境的膚色檢測(cè)，本文針對(duì)每一張待測(cè)人物圖像提取可確認(rèn)的膚色區(qū)域。

人臉檢測(cè)目的是分割出人物確認(rèn)的膚色區(qū)域以及排除邊緣背景和頭發(fā)的干擾。首先采用adaboost+haar[6]的人臉檢測(cè)方法檢測(cè)出人臉的具體大小及方位。然后根據(jù)三庭五眼的人臉比例如圖2所示，以檢測(cè)到的人臉圓心O為區(qū)域中心，人臉圓的半徑r為邊長(zhǎng)，劃出一塊正方形的人臉部分，這樣做能有效達(dá)到預(yù)期目的。

圖2 人臉檢測(cè)及截取示意圖

(2) 非膚色區(qū)域排除

對(duì)區(qū)域內(nèi)存在的非膚色像素進(jìn)行排除，例如眉毛、眼睛以及鼻子陰影。為了保證提取到膚色像素樣本的準(zhǔn)確性，本文將人臉區(qū)域分為三類：眼白和牙齒；眉毛、眼球和鼻子陰影；膚色區(qū)域。由經(jīng)驗(yàn)可知，以上三類在顏色特性上屬于三個(gè)區(qū)間，所以分開(kāi)進(jìn)行比較排除。

首先對(duì)眼白和牙齒像素進(jìn)行變換，白色在RGB空間的三個(gè)分量數(shù)值很接近并都趨近于255，而膚色的R(紅色)>G(綠色)>B(藍(lán)色)，并且數(shù)值接近，所以可以設(shè)定一個(gè)限制條件來(lái)判別像素點(diǎn)P的預(yù)屬性：

F:|Value(R)-Value(G)|=T1

Value(G)-Value(B)=T2

T1

P∈膚色

其中Value(R)、Value(G)、Value(B)分別為像素在RGB空間三個(gè)通道的分量數(shù)值。

通過(guò)26張人臉圖像，對(duì)膚色部分進(jìn)行人工標(biāo)注得到229 736個(gè)膚色像素點(diǎn)。其中9張人臉圖像的牙齒、眼白較清晰，共提取546個(gè)非膚色像素點(diǎn)。按照上述統(tǒng)計(jì)規(guī)則進(jìn)行比較區(qū)分，得到閾值t=5時(shí)兩者區(qū)分效果最好。

其次對(duì)眼球、眉毛以及鼻子處陰影部分進(jìn)行排除。采用在HSV空間的V分量上進(jìn)行處理，其表示的為色彩的明亮程度，范圍為0(黑色)～255(白色)，并且使用一種改進(jìn)后的自適應(yīng)閾值區(qū)域二值化的方法來(lái)排除非膚色部分的干擾。傳統(tǒng)的自適應(yīng)閾值二值化法為Otsu(最大類間方差法)，但是傳統(tǒng)的算法對(duì)類間方差為單峰的圖像效果十分優(yōu)秀。如果有光影的影響，類間方差呈現(xiàn)雙峰或多峰，分割效果不理想如圖3所示，右半部分光亮度弱的直接二值化為非膚色，失去了大量有效信息。

圖3 傳統(tǒng)Otsu算法結(jié)果

為了解決這一問(wèn)題，本文結(jié)合局部二值化的原理，在人臉圖像上以單個(gè)眼睛的大小為模板，也就是三分之一邊長(zhǎng)為寬度，五分之一邊長(zhǎng)為高度的窗口將人臉?lè)譃?5個(gè)矩形塊。然后在每個(gè)矩形塊中進(jìn)行Otsu算法求得最佳閾值t，以該最佳閾值對(duì)矩形塊進(jìn)行二值化，具體算法如下：

Step1 將圖像image按照寬的1/3，高的1/5分割成15部分：

(1)

其中Simage表示輸入圖像，Si分割后每部分的圖像。

Step2 計(jì)算分割后圖像Si的灰度直方圖，并對(duì)直方圖進(jìn)行歸一化：

(2)

其中M為所有像素點(diǎn)在總數(shù)，nj為灰度級(jí)為j的像素點(diǎn)數(shù)，Pj為像素點(diǎn)灰度為j時(shí)的概率。

Step3 以灰度級(jí)t為閾值，可以將灰度級(jí)分為兩類：C1、C2，對(duì)于這兩類，每一類出現(xiàn)的概率w0、w1為：

(3)

Step4 根據(jù)每一類的概率，可以計(jì)算出每一類累積灰度值μ0、μ1為：

(4)

Step5 對(duì)于整個(gè)0～T(255)灰度級(jí)，可以求得累積灰度值μT為：

(5)

Step6 最終計(jì)算出類間方差σ為：

σ=(μT×w0-μ0)2/(w0×w1)

(6)

當(dāng)類間方差σ最大時(shí)，表示兩類的差距最大，此時(shí)對(duì)應(yīng)的閾值t為最佳分割閾值。

(3) 膚色像素提取效果

對(duì)圖3中的人臉圖像進(jìn)行改進(jìn)后的二值化后可以得到結(jié)果如圖4所示。

圖4 優(yōu)化后Otsu算法結(jié)果

對(duì)于右邊亮度較暗的部分有了明顯改善，但是圖中分割塊1、2、7、10、11之前為較平滑的膚色區(qū)域，經(jīng)過(guò)局部二值化后，對(duì)它們進(jìn)行了一次錯(cuò)誤分割，導(dǎo)致產(chǎn)生了一些信息的丟失。所以為了保證信息的完整性，還應(yīng)該用局部二值化后的結(jié)果與全局二值化的結(jié)果進(jìn)行幾何運(yùn)算，找回丟失的信息，如圖5所示。

圖5 圖像幾何運(yùn)算

1.2 自適應(yīng)膚色判別

(1) 改進(jìn)的直方圖反向投影算法

為了將膚色區(qū)域找出來(lái)并成功避開(kāi)背景的干擾，本文以YCbCr顏色空間中的Cb-Cr分量為參考，進(jìn)行直方圖反向投影算法。文獻(xiàn)[8]中的研究如圖6所示，膚色像素點(diǎn)在YCbCr顏色空間的聚類性十分優(yōu)秀，特別是在Cb-Cr平面上投影，而其Y(亮度)分量的幾乎貫穿整個(gè)Y(亮度)軸，所以在之前的膚色檢測(cè)研究中，大部分方法都是基于Cb-Cr兩個(gè)分量。但是從圖7(a)顯示膚色像素點(diǎn)在Cb-Cr平面的分布一定程度上還是受Y(亮度)分量的影響(亮度高和低的部分Cb-Cr分量的范圍相對(duì)較小)，如果只考慮Cb-Cr分量會(huì)使誤檢率增加，如圖7(b)所示。如果使用Y-Cb-Cr全部顏色信息作為反向投影參數(shù)，相當(dāng)于在圖像中查找和樣本像素點(diǎn)像素值相同的點(diǎn)，會(huì)產(chǎn)生大量的漏檢，如圖7(c)所示。

圖6 文獻(xiàn)[8]膚色像素分布

圖7 檢測(cè)結(jié)果

所以本文在反向投影的基礎(chǔ)上添加Y分量的閾值標(biāo)準(zhǔn)，在一定范圍內(nèi)進(jìn)行查找，這樣在不增大漏檢率的同時(shí)還可降低誤檢率。具體步驟如下：

Step1 使用已提取的人臉膚色像素點(diǎn)共n個(gè)：Pi(Y,Cb,Cr) (i=1,2,…,n)，建立Cb-Cr分量的樣本直方圖模型。

Step2 引入Y分量參數(shù)，將直方圖每個(gè)bin中的m個(gè)像素點(diǎn)：Pbin-j(Y,Cb,Cr)(j=1,2,…,m)對(duì)應(yīng)的Y分量求和并求得平均值Ebin-y：

(7)

其中Pbin-j(Y)為直方圖每個(gè)bin中的像素點(diǎn)Pbin-j(Y,Cb,Cr)中Y分量值。

Step3 同對(duì)測(cè)試圖像的所有像素建立Cb-Cr分量的直方圖。

Step4 對(duì)測(cè)試圖像中的像素P(w,h)在其直方圖中所在bin的位置，查詢?cè)撓袼卦跇颖局狈綀D模型中相同位置所對(duì)應(yīng)的bin數(shù)值，并且將待測(cè)像素點(diǎn)的Y分量與其所在bin對(duì)應(yīng)的Ebin-y進(jìn)行比較，如果滿足:|Y-Ebin-y|<β，bin數(shù)值不變，否則置為0。

Step5 將查找得到的bin數(shù)值代替原圖像中的像素P(w,h)的值，也就是反向投影過(guò)程。

Step6 對(duì)測(cè)試圖像中的每一個(gè)像素都采用上述的反向投影步驟，最后得到的就是測(cè)試圖像根據(jù)膚色樣本投影出來(lái)的膚色概率結(jié)果圖。

(2) 改進(jìn)算法的結(jié)果

根據(jù)改進(jìn)后算法以圖7(a)為例可以得到檢測(cè)正確率T與閾值β的關(guān)系以及膚色檢測(cè)效果如圖8所示。圖中Y軸表示膚色、非膚色判別正確的總和比上待測(cè)圖像總的像素點(diǎn)，也就是正確檢測(cè)率TAccuracy：

(8)

圖8 檢測(cè)正確率與閾值β的關(guān)系圖

可以看到隨著β的變化，正確率先增大后減小，符合上一段中提到的規(guī)律：β=0時(shí)表示Y分量和平均值Ebin-y相等，漏檢率較高；β=255時(shí)表示不考慮Y分量，誤檢率較高。所以取閾值β=55時(shí)，檢測(cè)效果最好，其膚色檢測(cè)效果如圖9所示。對(duì)于每幅待檢圖像，Y分量閾值并不相同，所以可采用多幅圖像進(jìn)行擬合訓(xùn)練找到最佳閾值。

圖9 改進(jìn)后算法膚色檢測(cè)結(jié)果

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文選擇Pratheepan[11]人物膚色數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。針對(duì)數(shù)據(jù)集中的32張人物圖像，首先選取12張作為參考，訓(xùn)練出1.2節(jié)中的最佳Y分量閾值β；然后使用另外20張作為測(cè)試集，驗(yàn)證訓(xùn)練結(jié)果，并與傳統(tǒng)的參數(shù)法[1]、學(xué)習(xí)型的膚色檢測(cè)法(融合法)[11]以及亮度自適應(yīng)法[5]的結(jié)果進(jìn)行比較。

2.2 實(shí)驗(yàn)步驟與分析

(1) Y分量閾值的訓(xùn)練及驗(yàn)證

用于訓(xùn)練的12張樣本共包含2 459 261個(gè)像素點(diǎn)并且人工標(biāo)注好膚色點(diǎn)和非膚色點(diǎn)。首先，使用1.1節(jié)中的方法檢測(cè)出每張圖像中的人臉并處理提取膚色像素樣本點(diǎn)。然后，使用1.2節(jié)中的方法，利用每張圖像提取出來(lái)的膚色像素點(diǎn)投影出整幅圖像中的像素點(diǎn)并與標(biāo)注結(jié)果作比較，得出檢測(cè)正確率T與閾值β的關(guān)系圖，如圖10所示。從圖中可以看出β∈[55,105]時(shí)，檢測(cè)效果最優(yōu)。

圖10 樣本檢測(cè)正確率與閾值的關(guān)系

驗(yàn)證訓(xùn)練結(jié)果是使用測(cè)試集，方法和訓(xùn)練步驟一致，只是判斷標(biāo)準(zhǔn)變?yōu)椋簻?zhǔn)確率TPrecision、召回率TRecall以及F值。20張測(cè)試樣本，共3 454 050個(gè)像素點(diǎn)，其中膚色像素點(diǎn)793 581個(gè)，測(cè)試在不同Y分量閾值下的檢測(cè)結(jié)果如圖11所示。

(9)

(10)

(11)

圖11 不同Y分量閾值下的測(cè)試結(jié)果

可以從結(jié)果中得到：當(dāng)Y分量的閾值β=105時(shí)，判斷標(biāo)準(zhǔn)F值最大，也就是召回率和準(zhǔn)確率協(xié)調(diào)平衡的最優(yōu)結(jié)果，而此結(jié)果和實(shí)驗(yàn)第一步的訓(xùn)練結(jié)果相吻合，β∈[55,105]。

(2) 對(duì)比實(shí)驗(yàn)

使用20幅圖像作為測(cè)試集，分別使用參數(shù)法、融合法、亮度自適應(yīng)進(jìn)行實(shí)驗(yàn)，并與本文方法結(jié)果進(jìn)行比較，其中Y分量閾值β的訓(xùn)練結(jié)果為[55，105]。所以測(cè)試過(guò)程中取β=80，檢測(cè)效果圖如12所示，各項(xiàng)參數(shù)結(jié)果如表1所示。

表1 測(cè)試集在不同方法下的測(cè)試結(jié)果

由圖12中的檢測(cè)效果對(duì)比可以看出，參數(shù)法對(duì)背景判斷最差，但是表1中其召回率最高說(shuō)明其檢測(cè)出來(lái)的膚色像素點(diǎn)數(shù)量最多，適合大規(guī)模的檢測(cè)，對(duì)特定環(huán)境的檢測(cè)效果不好。而本文方法無(wú)論是背景環(huán)境還是光照影響的處理都有較好表現(xiàn)，而且準(zhǔn)確率、召回率對(duì)于融合法都有明顯的提高。在線亮度自適應(yīng)法的召回率雖然優(yōu)于本文方法，但是本文的準(zhǔn)確率確更高，最終的綜合判斷標(biāo)準(zhǔn)F值最高。

圖12 檢測(cè)結(jié)果比較

3 結(jié) 語(yǔ)

本文通過(guò)顏色分量結(jié)合亮度分量提出一種自適應(yīng)的膚色檢測(cè)，檢測(cè)到人臉后并不是根據(jù)膚色特征提取樣本點(diǎn)，而是通過(guò)人臉?lè)植家约案倪M(jìn)后的局部自適應(yīng)二值化方法，保證了正樣本提取的完整性。然后通過(guò)直方圖反向投影算法，能有效排除復(fù)雜背景下類膚色像素的干擾，在保證正檢率的同時(shí)還具有較低的誤檢率，并且在此過(guò)程中還考慮了亮度對(duì)膚色的影響，進(jìn)一步提高了正確率。

[1] Duan Lijuan,Cui Guoqin.Adult Image Detection Method Base-on Skin Color Model and Support Vector Machine[C]//The 5th Asian Conference on Computer Vision,2002,1:23-25.

[2] Jure Kovac,Peter Peer.Human Skin Colour Clustering for Face Detection[J].International Conference on Computer as a Tool,2003:144-148.

[3] Simone Bianco,Raimondo Schettini.Adaptive Color Constancy Using Faces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(8):1505-1518.

[4] 方晶晶,李振波.人體膚色區(qū)域的自適應(yīng)模型分割方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(2):229-234.

[5] Fang J J,Li Z.Human Skin Color Region Segmentation Based On Adaptive Model[J].Journal of Computer-Aided Design & Computer Graphics,2013,25(2):229-234.

[6] 王任大,尹勇.基于在線學(xué)習(xí)的亮度自適應(yīng)皮膚區(qū)域檢測(cè)方法[J].系統(tǒng)仿真學(xué)報(bào),2014,26(9):2121-2125.

[7] Wang R D,Yin Y.Luminance Adaptive Method for Skin Area Detection Based on Online Learning[J].Journal of System Simulation,2014,26(9):2121-2125.

[8] 閆斌,梁嵐珍.改進(jìn)的膚色提取法在人臉檢測(cè)中的應(yīng)用[J].計(jì)算機(jī)仿真,2014,31(10):354-357.

[9] Yan B,Liang L Z.Improved Color Model Used in Face Detection[J].Computer Simulation,2014,31(10):354-357.

[10] Zhu Y.Face Detection Method Based on Multi-feature Fusion in YCbCr Color Space[C]//5thInternational Congress on Image and Signal Processing,Chongqing,China.USA:IEEE,2012:1249-1252.

[11] Hsu R,Abdel-Mottaleb M,Jain A.Face Detection in Color Images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence (S0162-8828),2002(5):696-706.

[12] Chen Z X,Liu C Y.Fast face detection algorithm based on improved skin-color model[J].Arabian Journal for Science and Engineering,2013,38(3):629-635.

[13] Kim C,Choi S I,Turk M.A new biased discriminate analysis using composite vectors for eye detection[J].IEEE Transactions on Systems Man and Cybernetics:Part B-Cybernetics,2012,42(4):1095-1106.

[14] Tan W,Chan C,Yogarajah P.A Fusion Approach for Efficient Human Skin Detection[J].IEEE Transactions on Industrial Informatics,2012,8(1):138-147.

FACE-BASED ADAPTIVE SKIN COLOUR DETECTION IN COMPLEX BACKGROUND

Wan Jing1Yuan Ze1Zhang Xuechao2

1(CollegeofInformationScienceandTechnology,BeijingUniversityofChemicalTechnology,Beijing100029,China)2(BeijingTechnologyandBusinessUniversity,Beijing100036,China)

Traditional skin colour detection has the problems of weak anti-interference capability for similar skin colour pixels in complex background and the influence of illumination on characteristics of skin colour. In light of these, we propose an adaptive skin colour detection approach. First, it extracts the skin area with illumination information by combining Adaboost with Haar face detection and making use of the improved binarisation algorithm. Then, it employs the improved histogram back projection method and combines the Y brightness components of skin colour sample in YCbCr space to find the optimal threshold through training, and makes skin colour detection on entire image. Experimental result shows that our approach is robust in complex background and under the influence of illumination. Compared with tradition skin colour detection approaches, our approach has the improvement in both precision and recall.

Skin colour detection Local binarisation Adaptive threshold Histogram back projection

2015-03-10。中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(zz1311)。萬(wàn)靜，副教授，主研領(lǐng)域：信息智能系統(tǒng)。袁澤，碩士生。張雪超，副教授。

TP391.4

A

10.3969/j.issn.1000-386x.2016.11.035