基于雙膚色模型和改進(jìn)的SNoW算法的人臉檢測方法

丁 勇 吳彥儒

(合肥工業(yè)大學(xué)管理學(xué)院 安徽 合肥 230009)

基于雙膚色模型和改進(jìn)的SNoW算法的人臉檢測方法

丁 勇 吳彥儒

(合肥工業(yè)大學(xué)管理學(xué)院 安徽 合肥 230009)

針對環(huán)境與光照對面部膚色提取的影響，提出一種基于雙膚色模型和改進(jìn)的SNoW算法相結(jié)合的人臉檢測方法。首先，利用自適應(yīng)光照補(bǔ)償方法對圖像進(jìn)行預(yù)處理，減少光照變化導(dǎo)致的色彩偏差；然后，綜合利用YCbCr和HSI膚色模型提取預(yù)處理后圖像中的人臉信息；最后，結(jié)合改進(jìn)的SNoW算法檢測人臉位置。實(shí)驗(yàn)結(jié)果表明，在復(fù)雜背景和光照變化的情況下，該方法可以準(zhǔn)確檢測和定位人臉，提升了檢測效率和提高了算法對于復(fù)雜背景、光照、表情的魯棒性。

人臉檢測 雙膚色模型 SNoW分類器 魯棒性

0 引 言

人臉識別技術(shù)是圖像處理和模式識別等領(lǐng)域內(nèi)一個(gè)重要研究課題，具有非接觸、直觀、方便快捷、可擴(kuò)展性等優(yōu)點(diǎn)，使其在平安城市、金融/社保、教育、交通及行政辦公等領(lǐng)域備受矚目，廣泛應(yīng)用[1-3]。人臉檢測是人臉識別系統(tǒng)起始階段，也是重要環(huán)節(jié)，主要工作是從包含復(fù)雜背景的圖像中檢測并提取出存在的人臉[4-5]。人臉檢測的方法[6-7]大致可分為：(1)基于模板匹配的檢測法[8]；(2)基于人臉知識的檢測法[9]；(3)基于統(tǒng)計(jì)學(xué)習(xí)的檢測法[10]。

膚色特征是人臉的重要信息[1]，不受形狀、表情和姿態(tài)等的影響，在膚色空間上有很好的聚集性[11]，但背景環(huán)境、光照等對膚色提取存在影響。針對這些問題，本文提出融合雙膚色模型和改進(jìn)的SNoW算法進(jìn)行人臉檢測的方法。首先，利用自適應(yīng)光照補(bǔ)償技術(shù)對受到光照影響的圖像進(jìn)行光照補(bǔ)償，再結(jié)合YCbCr和HIS兩種膚色空間，建立膚色模型分割出膚色區(qū)域，最后，結(jié)合改進(jìn)的SNoW分類器(Sparse Network of Winnows)進(jìn)行人臉檢測與定位。由于連續(xù)均值量化變換(SMQT)提取待測圖像中人臉的特征幾乎不受光照和傳感器等因素的影響，SNoW分類器是一種特征空間線性單元的稀疏網(wǎng)絡(luò)結(jié)構(gòu)，可以在表情不同、復(fù)雜光照及存在遮擋等情況下訓(xùn)練出多種人臉，使得人臉檢測更加準(zhǔn)確。Nilsson等人直接利用連續(xù)均值量化特征和SNoW分類器對整個(gè)圖像處理進(jìn)行正面人臉圖像檢測[10],有著較高的人臉檢測率。本文方法先通過雙膚色模型提取出圖像中可能存在人臉區(qū)域，再利用改進(jìn)的SNoW算法進(jìn)行人臉檢測與定位。通過與文獻(xiàn)[10]方法對比實(shí)驗(yàn)分析，本文方法在復(fù)雜背景、光照不均勻、表情各異等場景下魯棒性好，檢測速度較快，有著較優(yōu)的人臉檢測與定位效果。

1 膚色分割

1.1 顏色空間選擇

膚色分割需要有效的膚色模型，膚色模型的建立與顏色空間的選取直接相關(guān)[11]。顏色空間選用的幾個(gè)要點(diǎn)：(1)膚色在顏色空間的聚類性；(2) 膚色模型分割“膚色”與“非膚色”區(qū)域的效果； (3) 由RGB顏色空間轉(zhuǎn)換到該顏色空間的效率。

RGB色彩空間中亮度信息和色度信息混合在一起，受光照影響較為明顯,導(dǎo)致膚色分割效果不理想。研究表明,不同種族、不同年齡的膚色在亮度上的差異比色度上的差異明顯[12]。因此，可以利用膚色在色度空間上較好的聚類性進(jìn)行膚色分割。YCbCr和HSI是常見的顏色空間，YCbCr顏色空間中，Y代表亮度信息，Cb和Cr代表色度信息，膚色像素在該空間聚類性良好，受光照影響較小，色彩轉(zhuǎn)換計(jì)算簡單。HSI顏色空間由色調(diào)、色飽和度和亮度構(gòu)成，三個(gè)分量彼此獨(dú)立，可單獨(dú)處理。YCbCr顏色空間和HSI顏色空間都可以充分表示膚色，具有色度和亮度分離、獨(dú)立的特點(diǎn)，能夠減弱光照變化帶來的影響，利于膚色區(qū)域的分割與提取。通過查閱文獻(xiàn)[13-14]與實(shí)驗(yàn)證明，通過多膚色空間進(jìn)行膚色區(qū)域的分割與提取效果較單一膚色空間好。因此，本文融合YCbCr和HSI色彩空間建立膚色模型進(jìn)行膚色分割和提取。

RGB色彩空間和YCbCr色彩空間變換公式[15]如下：

(1)

(2)

其中:

(3)

(4)

(5)

因此，在YCbCr顏色空間和HSI顏色空間設(shè)定閾值，建立區(qū)分膚色與非膚色的顏色模型。

在YCbCr顏色空間上膚色模型為：

77≤Cb≤130 133≤Cr≤173

(6)

如果圖像顏色像素的Cb與Cr值滿足式(6)，則判定為膚色。

在HSI顏色空間上膚色模型為：

0≤H≤45或318≤H≤360 0.1

(7)

如果圖像在HSI色彩空間上滿足式(7)，則判定為膚色。

根據(jù)膚色模型進(jìn)行實(shí)驗(yàn)，圖1為膚色檢測結(jié)果。圖1中，(a)為原圖(光照不足)，(b)、(c)分別是在YCbCr與HSI顏色空間上建立膚色模型分割與提取膚色區(qū)域的實(shí)驗(yàn)結(jié)果，接著去除結(jié)果差異的部分，提取出共同區(qū)域，結(jié)果如(d)，再通過圖像形態(tài)學(xué)變換進(jìn)一步排除非膚色區(qū)域，減少噪聲干擾，結(jié)果如(e)。圖1結(jié)果表明，融合兩種膚色模型進(jìn)行膚色分割，有效去除了部分非膚色區(qū)域，極大地縮小了需要檢測的范圍，從而得到可能存在人臉的區(qū)域。利用膚色模型進(jìn)行人臉分割，具有分割效果良好、計(jì)算速度較快的優(yōu)點(diǎn)，但易受到光照、復(fù)雜背景以及色差等因素的影響，導(dǎo)致誤檢或者丟失有效的人臉信息。因此，本文采用自適應(yīng)光照補(bǔ)償技術(shù)對待測圖像進(jìn)行預(yù)處理，以達(dá)到減少噪聲的效果，提高膚色分割效果。

(a) 原圖 (b) YCbCr模型檢測結(jié)果

(c) HSI模型檢測結(jié)果 (d) 兩種模型結(jié)合檢測結(jié)果

(e) 膚色區(qū)域提取 (f) 膚色填充 圖1 膚色檢測結(jié)果

1.2 自適應(yīng)光照補(bǔ)償算法

圖像的采集與存儲過程中難免受到光照、設(shè)備等因素的影響，而且周圍環(huán)境可能存在較多的近膚色等情況，影響膚色檢測算法的性能，對檢測結(jié)果造成誤差。因此，本文采用自適應(yīng)光照補(bǔ)償技術(shù)，對圖像的部分像素進(jìn)行非線性變換，以達(dá)到修正圖像的效果。

首先統(tǒng)計(jì)待檢測圖像總像素?cái)?shù)，并從低到高排列，將亮度5%與95%處的亮度值作為閾值，若前后5%亮度區(qū)域包含的像素點(diǎn)數(shù)量超過總像素?cái)?shù)量的40%，則進(jìn)行光照補(bǔ)償[16]。步驟如下：

Step1 設(shè)圖像像素的亮度值為f(x,y),總像素?cái)?shù)為N，有L個(gè)灰度級(L=256)，第k級灰度值為lk,對應(yīng)的像素個(gè)數(shù)為mk，則出現(xiàn)的概率：

(8)

Step2 第k級前灰度級的概率之和為Sk：

(9)

Step3 當(dāng)Sk<0.05且Sk+1>0.05時(shí)，將k+1級的灰度值作為參考黑refB。當(dāng)Sk<0.95且Sk+1>0.95時(shí)，將k+1級的灰度值作為參考白refW。

Step4 待檢測圖像中像素點(diǎn)經(jīng)過處理后灰度值記為g(x,y)，公式如下：

(10)

圖2(a)是圖1(a)進(jìn)行自適應(yīng)光照補(bǔ)償處理后的結(jié)果，圖像亮度得到改善，圖2(b)、(c)、(d) 為膚色分割結(jié)果。通過比較圖1和圖2的結(jié)果,得出待測圖像經(jīng)過自適應(yīng)光照補(bǔ)償處理后，再進(jìn)行人臉膚色區(qū)域分割與提取，可以準(zhǔn)確地提取人臉區(qū)域。

(a) 自適應(yīng)光照補(bǔ)償處理 (b) 兩種色彩空間結(jié)合

(c) 膚色區(qū)域提取 (d) 膚色填充圖2 適應(yīng)光照補(bǔ)償后膚色檢測結(jié)果

2 改進(jìn)的SNoW算法

SNoW學(xué)習(xí)體系的核心思想是利用預(yù)定義好的樣本特征來訓(xùn)練線性稀疏網(wǎng)絡(luò)，最終通過訓(xùn)練的網(wǎng)絡(luò)進(jìn)行分類[10,17]。SNoW分類器用于人臉定位最早由Roth提出。

2.1SMQT特征提取

圖像分割得到的人臉圖像塊為D(x)，經(jīng)SMQT(Successive Mean Quantization Transform)變換輸出的像素值序列為F(x)，變換函數(shù)為：

SMQTL:D(x)→F(x)

SMQTL函數(shù)可以通過二叉樹原理進(jìn)行表述，二叉樹的節(jié)點(diǎn)位置代表一個(gè)均值量化單元MQU(Mean Quantization Unit)。每個(gè)MQU的計(jì)算需要三個(gè)步驟：

Step1 均值計(jì)算

(11)

Step2 量化

(12)

Step3D(x)分解

(13)

由此可以得到一個(gè)MQU，如圖3所示。

圖3 MQU計(jì)算示意圖

由此可知，SMQT的基本計(jì)算單元為MQU，定義u(l,n)為MQU的節(jié)點(diǎn)輸出集，其中,l為二叉樹的當(dāng)前分類層數(shù)，l=1,2,…,L；n為該分支在l級輸出MQU的個(gè)數(shù)。則經(jīng)過L層的處理后，得到新的像素值序列F(x)可由最底層的MQU輸出結(jié)果加權(quán)求和得出，即SMQT特征為：

(14)

2.2 改進(jìn)的SNoW分類器

傳統(tǒng)的SNoW算法采用待測圖像的原始亮度當(dāng)作特征訓(xùn)練分類器[17]。該特征定義如圖4所示，待測圖像的每個(gè)像素點(diǎn)都有256種可能的灰度值，圖像大小為m×n的待測圖像，線性網(wǎng)格大小為m×n×256，存在占用資源多，執(zhí)行效率低，魯棒性差等缺點(diǎn)。

圖4 亮度特征圖

1) 新算法的實(shí)現(xiàn)

通過局部二值化映射算法對傳統(tǒng)算法進(jìn)行改進(jìn)[17]，步驟如下:

(15)

Step3 將B(x,y)映射為B′(x,y)，將B′(x,y)作為像素特征的訓(xùn)練樣本,其值為：

B′(x,y)=B(x,y)+2×B(x+1,y)+4×

B(x,y+1)+8×B(x+1,y+1)

(16)

新算法的優(yōu)點(diǎn)：

① 占用資源少。由于B′(x,y)只有16種可能值,比傳統(tǒng)算法節(jié)約了很大的資源。

② 魯棒性好。利用局部二值化改進(jìn)算法減少了光照變化帶來的噪聲，算法的魯棒性得到提高。

2) 訓(xùn)練SNoW分類器

訓(xùn)練主要分為2個(gè)步驟：

3 實(shí)驗(yàn)結(jié)果與分析

針對本文提出的人臉檢測方法與文獻(xiàn)[10]的方法進(jìn)行對比仿真實(shí)驗(yàn)，人臉測試圖像總共140幅，其中單人圖片80幅，多人圖片60幅，包含726個(gè)人臉。測試集圖像來源有AFLW人臉數(shù)據(jù)庫和互聯(lián)網(wǎng)，其中包含復(fù)雜光照、復(fù)雜環(huán)境、多姿態(tài)、表情不同和遮擋等情況。在Windows7(32位)操作系統(tǒng)下，處理器為Intel(R)Core(TM)i5-3450 CPU @ 3.1GHz,4.00 GB內(nèi)存，編程環(huán)境為Matlab R2012a，進(jìn)行仿真實(shí)驗(yàn)。圖5為本文方法和文獻(xiàn)[10]Mikael Nilsson方法的部分仿真實(shí)驗(yàn)結(jié)果。其中，圖5中(a1)-(a5)是通過本文提出的基于雙膚色模型和改進(jìn)的SNoW算法的檢測方法實(shí)驗(yàn)得出的結(jié)果，圖5中(b1)-(b5)是通過文獻(xiàn)[10]的方法實(shí)驗(yàn)得出的結(jié)果。

(a1) (b1)

(a2) (b2)

(a3)

(b3)

(a4)

(a5)

(b5)圖5 人臉檢測對比實(shí)驗(yàn)結(jié)果

由圖5(a1)、(b1)表明，在復(fù)雜背景和光照不足的條件下，進(jìn)行單人圖像人臉檢測中兩種方法效果都很理想，后續(xù)的大量實(shí)驗(yàn)也有力地證實(shí)兩種方法在背景復(fù)雜、各種光照強(qiáng)度下進(jìn)行單人人臉檢測效果非常理想。圖5(a2)、(b2)表明，在復(fù)雜背景干擾但光照影響較小的情況下，本文方法與文獻(xiàn)[10]方法進(jìn)行多人臉檢測效果也十分理想。圖5(a3)、(b3)、(a4)、(b4)可表明，在光照不足或者過強(qiáng)、存在類膚色物體干擾的情況時(shí)，文獻(xiàn)[10]方法對多人臉的檢測存在漏檢與誤檢的發(fā)生。圖5(a5)、(b5)表明在光照復(fù)雜、姿態(tài)各異、側(cè)臉、戴眼鏡等多種情況下進(jìn)行多人臉檢測，文獻(xiàn)[10]方法與本文方法都存在漏檢和誤檢，但總體比較，本文方法對復(fù)雜背景和光照的影響有較強(qiáng)的魯棒性。

表1 兩種方法的人臉檢測結(jié)果統(tǒng)計(jì)

從表1的統(tǒng)計(jì)結(jié)果可見，本文采用的方法進(jìn)行人臉檢測的正確率比參考文獻(xiàn)[10]方法提高了1.51%；誤檢率較文獻(xiàn)[10]方法降低了2.90%；漏檢率也有所下降?？傮w來看，盡管本文在光照復(fù)雜、姿態(tài)各異、側(cè)臉、戴眼鏡等多種情況下進(jìn)行多人臉檢測存在誤檢與漏檢，但較文獻(xiàn)[10]方法有一定的提高與改善。

表2 兩種方法的人臉檢測時(shí)間對比

從表2兩種算法進(jìn)行人臉檢測的耗時(shí)對比可以看出，不管是單人臉還是多人臉檢測速度，本文所采用的方法較文獻(xiàn)[10]方法都有一定的提高。

根據(jù)以上實(shí)驗(yàn)對比分析，雙膚色模型對膚色的分割效果較單一膚色模型有很大的提升，自適應(yīng)光照補(bǔ)償技術(shù)對受到光照影響的圖像改善明顯，再通過改進(jìn)的SNoW算法進(jìn)行人臉檢測，綜合檢測率、漏檢率、誤檢率和檢測速度的對比，本文提出的方法進(jìn)行人臉檢測有著良好的效果。

4 結(jié) 語

本文提出一種基于雙膚色模型和改進(jìn)的SNoW算法相結(jié)合的人臉檢測方法。受光照影響的人臉圖像通過自適應(yīng)光照補(bǔ)償技術(shù)處理,減少光照產(chǎn)生的噪音；接著利用在YCbCr和HSI顏色空間上的膚色模型對待測圖像進(jìn)行膚色分割和提取，最后利用改進(jìn)的SNoW算法進(jìn)行人臉檢測。通過實(shí)驗(yàn)得出，該方法在復(fù)雜背景和光照變化等多種情況下，有著較高的檢測率，并降低了漏檢率與誤檢率，對于復(fù)雜背景、光照和表情等的變化魯棒性良好，能滿足現(xiàn)實(shí)環(huán)境下人臉檢測的要求。

實(shí)驗(yàn)過程中，本文方法在進(jìn)行存在人臉姿態(tài)傾斜或者偏向過大的圖像檢測過程中漏檢率較高；另外對于近膚色且與人臉大小相近的物體排除率較低，造成誤檢。如何改進(jìn)人臉檢測算法，提高對存在人臉姿態(tài)傾斜或者偏向過大的圖像的檢測率，降低漏檢率、誤檢率和檢測時(shí)間是下一步研究的目標(biāo)。

[1] 梁路宏,艾海舟,徐光祐,等.人臉檢測研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào), 2002, 25(5):449-458.

[2] 徐曉艷. 人臉識別技術(shù)綜述[J]. 電子測試, 2015(10):885-894.

[3] 劉晗. 人臉識別技術(shù)在十大領(lǐng)域的創(chuàng)新應(yīng)用[J].中國安防,2015(21):66-69.

[4] Chai D, Ngan K N. Face segmentation using skin-color map in videophone applications [J]. IEEE Transactions on Circuits & Systems for Video Technology, 1999, 9(4):551-564.

[5] 歐凡. 機(jī)器視覺人臉識別若干關(guān)鍵問題研究[D].大連理工大學(xué), 2011.

[6] 田源,于鳳芹. 人臉檢測方法綜述[J].計(jì)算機(jī)安全,2009(5):76-79.

[7] Hatem H, Zuo B, Majeed R. A Survey of Feature Base Methods for Human Face Detection [J]. International Journal of Control & Automation, 2015, 8:61-78.

[8] Craw I, Ellis H, Lishman J R. Automatic extraction of face-features[J]. Pattern Recognition Letters, 1987, 5(2):183-187.

[9] 張洪明, 高文. 基于膚色模型、神經(jīng)網(wǎng)絡(luò)和人臉結(jié)構(gòu)模型和平面旋轉(zhuǎn)人臉檢測[J].計(jì)算機(jī)學(xué)報(bào), 2002, 25(11):1250-1256.

[10] Nilsson M, Nordberg J, Claesson I. Face detection using local SMQT features and split up snow classifier[C]// IEEE International Conference on Acoustics, Speech and Signal Processing, 2007, 2: 589-592.

[11] 楊國林,馮喬生,張亞萍. 基于膚色的人臉檢測綜述[J].軟件,2013,34(3):7-9.

[12] Lee D, Wang J, Plataniotis K N. Contribution of skin color cue in face detection applications [M]//Advances in Low-Level Color Image Processing. Springer Netherlands, 2014: 367-407.

[13] 李偉生, 楊瑞娟, 周麗芳,等. 基于多膚色空間及AdaBoost算法的人臉檢測方法[J].計(jì)算機(jī)應(yīng)用研究, 2012, 29(6):2368-2370.

[14] 趙艷妮,郭華磊. 基于多色彩空間的膚色檢測研究[J].計(jì)算機(jī)技術(shù)與發(fā)展, 2013(10):250-252.

[15] 宋凌怡. 基于膚色模型的人臉檢測與人眼定位[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2015,53(6): 1246-1250.

[16] 許雪梅, 黃征宇, 李麗嫻,等. 一種基于HSV顏色分割和模糊級聯(lián)分類器的人臉檢測技術(shù)[J].計(jì)算機(jī)應(yīng)用與軟件, 2014,31(4):197-200.

[17] 徐健,常志國. 一種改進(jìn)的基于SNoW的人臉定位算法[J].現(xiàn)代電子技術(shù),2008, 31(18):146-148.

A FACE DETECTION METHOD BASED ON DUAL SKIN MODEL AND IMPROVED SNoW ALGORITHM

Ding Yong Wu Yanru

(SchoolofManagement,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

Aiming at the effect of environment and light on facial skin color extraction, a new face detection method based on double skin color model and improved SNoW algorithm is proposed. Firstly, the image is preprocessed by adaptive illumination compensation method to reduce the color deviation caused by illumination variation. Then, the face information of the preprocessed image is extracted by using the skin color model of YCbCr and HIS. Finally, the improved SNoW algorithm is used to detect the face position. Experimental results show that the proposed method can detect and locate human faces accurately, and improve the detection efficiency and the robustness of the algorithm to complex backgrounds, illumination and expression in complex background and illumination.

Face detection Dual skin model SNoW classifier Robustness

2016-04-17。國家自然科學(xué)基金重點(diǎn)項(xiàng)目(71331002)；國家自然科學(xué)基金項(xiàng)目(71571059)。丁勇，副教授，主研領(lǐng)域：信息管理與信息系統(tǒng)、決策理論與方法、項(xiàng)目管理等。吳彥儒，碩士生。

TP751.1

A

10.3969/j.issn.1000-386x.2017.05.024