基于膚色和人臉形狀約束的正面人臉輪廓提取算法

黃福珍，佘星星

(上海電力學(xué)院電力與自動(dòng)化工程學(xué)院，上海 200090)

人臉輪廓是一種重要的臉部特征信息，它在人臉檢測(cè)、人臉識(shí)別、人臉跟蹤，以及基于模型的編碼等方面有著廣泛的應(yīng)用[1，2].傳統(tǒng)的人臉輪廓提取方法主要是利用邊緣檢測(cè)算子進(jìn)行邊緣的提取，然后根據(jù)人臉輪廓特點(diǎn)去除雜散的冗余邊緣并進(jìn)行邊緣的修補(bǔ).其缺點(diǎn)是精確度不高，計(jì)算量大，并且對(duì)噪音比較敏感.活動(dòng)輪廓模型是近年來(lái)提出的一種新的人臉輪廓檢測(cè)方法[3]，該方法的檢測(cè)效果較好，但對(duì)初始輪廓很敏感，且計(jì)算量大.主動(dòng)形狀模型和主動(dòng)外觀模型也可用于人臉輪廓提取[4，5]，但這兩種方法都需要大量的樣本訓(xùn)練，一般都只能檢測(cè)相對(duì)于訓(xùn)練圖像而言有較小視點(diǎn)變化的人臉輪廓.

膚色在人臉檢測(cè)中的作用至關(guān)重要[6，7]，它不依賴于面部的細(xì)節(jié)特征，并且不會(huì)隨著人臉的旋轉(zhuǎn)，以及面部表情、面部被部分遮擋(如頭發(fā)、眼鏡)等情況變化而變化，而是具有相對(duì)的穩(wěn)定性.多數(shù)情況下，膚色都會(huì)和背景物體的顏色有較大的區(qū)別，因此膚色特征是人臉檢測(cè)中最有效的特征之一.同時(shí)，基于膚色的人臉檢測(cè)有著原理簡(jiǎn)單、實(shí)現(xiàn)速度快的特點(diǎn)，故適合實(shí)時(shí)使用.本文提出一種基于膚色和人臉形狀約束的正面人臉輪廓提取方法.實(shí)驗(yàn)結(jié)果表明，該方法能夠較好地將頸部從人臉區(qū)域中去除，并最終得到一個(gè)滿意的封閉人臉輪廓，而且運(yùn)算速度較快.

1 膚色分割

為了將人臉區(qū)域從非人臉區(qū)域分割開(kāi)來(lái)，需要使用適合不同膚色和不同光照條件的可靠的膚色模型.應(yīng)用于膚色檢測(cè)的顏色空間有許多，如RGB，YCbCr，YUV，YIQ，HSI等[6].大量實(shí)驗(yàn)證明，YCbCr顏色空間是人臉檢測(cè)的最好選擇，因?yàn)槠涫芰炼茸兓挠绊懶?，能較好地限制膚色分布區(qū)域，而且其膚色聚類(lèi)特性比較好[8].YCbCr空間中的Cb分量是藍(lán)色分量B與亮度Y的差，而在膚色中B分量所占比重較小.De DIOS[9]提出了YCgCr空間，其中Cg是綠色分量G與亮度Y的差，能更有效地反映膚色的特征.由于膚色在YCgCr顏色空間比在YCbCr顏色空間具有更好的聚類(lèi)性，所以本文采用YCgCr空間.

RGB空間到Y(jié)CgCr空間的轉(zhuǎn)換格式為[10]:

膚色模型是在一定顏色空間描述顏色分布規(guī)律的數(shù)學(xué)模型，是膚色檢測(cè)的前提.一般情況下，常用的膚色檢測(cè)模型都是基于統(tǒng)計(jì)特征給出一個(gè)色度值范圍.本文將采樣得到的膚色樣本中的每個(gè)膚色像素點(diǎn)的R，G，B值轉(zhuǎn)換到Y(jié)CgCr色彩空間，得到每個(gè)膚色像素點(diǎn)的色度值(Cg，Cr)，并在CgCr空間中對(duì)膚色像素進(jìn)行統(tǒng)計(jì)分析，最終得到膚色的閾值范圍為:Cg∈[85，135]，Cr∈[-Cg+260，-Cg+280].

得到膚色閾值范圍后，對(duì)圖像中的每一個(gè)像素點(diǎn)，先進(jìn)行顏色空間的轉(zhuǎn)換，再由上述閾值判斷是否屬于膚色點(diǎn).膚色檢測(cè)結(jié)果如圖1所示.

圖1 膚色檢測(cè)結(jié)果

2 人臉區(qū)域篩選

由膚色檢測(cè)結(jié)果可以看出，圖像中檢測(cè)到的候選人臉區(qū)域中存在許多非膚色點(diǎn)和塊，這主要是由膚色點(diǎn)誤判，以及人臉中諸如眼睛、嘴唇等位置的顏色和膚色范圍相差迥異造成的.本文采用一系列形態(tài)學(xué)處理和連通區(qū)域標(biāo)記的方法來(lái)剔除那些明顯不是人臉的區(qū)域，該方法可以有效地去除那些明顯不是人臉的區(qū)域.圖2為對(duì)膚色提取區(qū)域進(jìn)行多次膨脹和腐蝕運(yùn)算處理后的結(jié)果.從圖2可以看到，經(jīng)形態(tài)學(xué)處理后背景中的一些類(lèi)膚色孤立點(diǎn)已被消除，人物的鼻子區(qū)域被去除，嘴部和脖子區(qū)域也變得更加像素化，這為后續(xù)處理打下了基礎(chǔ).

然后，通過(guò)連通區(qū)域標(biāo)記法對(duì)圖像中的連通區(qū)域進(jìn)行標(biāo)記，根據(jù)連通區(qū)域內(nèi)的像素?cái)?shù)量，分析并去除連通區(qū)域中明顯不是人臉的區(qū)域.再將計(jì)算出的連通區(qū)域像素?cái)?shù)量從大到小進(jìn)行排列，取最大值進(jìn)行保留，其余部分變?yōu)榕c背景同色.經(jīng)過(guò)連通區(qū)域標(biāo)記篩選后的人臉區(qū)域如圖3所示.從圖3可以看出，圖像中人臉區(qū)域雜點(diǎn)及背景中的誤檢測(cè)全部被成功去除，只剩下面部及頸部區(qū)域.

圖2 數(shù)學(xué)形態(tài)學(xué)處理結(jié)果

圖3 連通區(qū)域標(biāo)記結(jié)果

3 人臉輪廓的初步提取及下巴輪廓的提取

人臉輪廓初步提取的算法十分簡(jiǎn)單，即圖像中的每個(gè)像素點(diǎn)，若為黑色且其8鄰域內(nèi)所有像素點(diǎn)均為黑色，則將該點(diǎn)置為白色;其余點(diǎn)不做改變.初步提取后的人臉輪廓如圖4所示.

上述處理后得到的人臉輪廓并不是真正意義上的“人臉”輪廓，除了人臉區(qū)域外，還包括一部分頸部輪廓.為了能得到一個(gè)較完美的人臉輪廓，有必要去除頸部輪廓并重新構(gòu)造一個(gè)下巴輪廓.至今對(duì)人臉輪廓提取中關(guān)于頸部輪廓處理和下巴輪廓重建的算法有很多，但其中大多數(shù)算法要么運(yùn)算時(shí)間長(zhǎng)，要么實(shí)現(xiàn)效果欠佳，真正實(shí)現(xiàn)效果較好的算法很少.本文根據(jù)人臉形態(tài)特征進(jìn)行頸部輪廓的去除和下巴輪廓的構(gòu)建.

頸部區(qū)域去除方法十分簡(jiǎn)單，即根據(jù)人臉的長(zhǎng)寬比例來(lái)去除頸部輪廓.我們對(duì)前期搜集來(lái)的大量人臉圖像中的近百幅人臉區(qū)域進(jìn)行了長(zhǎng)寬比例統(tǒng)計(jì)，最終得出人臉長(zhǎng)寬近似比例為21∶17，即R≈1.23.由于該數(shù)據(jù)只是起到了一個(gè)估算頸部起始位置的作用，故本文對(duì)其要求并不嚴(yán)格.但考慮到有些圖像中由于存在著裝風(fēng)格的原因而導(dǎo)致不存在頸部區(qū)域的情況，因此判斷圖像是否存在頸部區(qū)域還是十分必要的.具體判斷方法如下.

(1)從矩陣含有1的第一行開(kāi)始向下繼續(xù)掃描H-1行.

(2)判斷該行元素中是否含有1.如果有，則表明該行仍位于人臉區(qū)域內(nèi);如果不含1，則表明掃描已經(jīng)越出人臉區(qū)域，可以確定此圖像中并不含有頸部區(qū)域，進(jìn)而跳過(guò)頸部區(qū)域的去除步驟，直接給出結(jié)果.

本文僅對(duì)存在頸部區(qū)域的情況進(jìn)行頸部去除算法介紹.首先，通過(guò)區(qū)域?qū)挾扔?jì)算出人臉寬度W，則人臉長(zhǎng)度H=R×W，由于所得到的人臉的長(zhǎng)度H值是從下巴到額頭之間的距離，那么如果從下巴最低點(diǎn)開(kāi)始去除輪廓，則必然還會(huì)留有一部分頸部輪廓.通過(guò)分析，我們將H的值適當(dāng)縮小到原有長(zhǎng)度的80%，即保留初始人臉輪廓長(zhǎng)度的80%H.頸部輪廓去除效果如圖5所示.

圖4 初步人臉輪廓提取結(jié)果

圖5 頸部輪廓去除效果

構(gòu)造人臉下巴輪廓的方法很多，本文所使用的是基于輪廓位置信息的數(shù)據(jù)擬合方法.由于人臉輪廓近似于一個(gè)橢圓形，因此可以將圖5中斷開(kāi)的兩點(diǎn)用平滑曲線連接起來(lái).首先由人臉輪廓區(qū)域得到與該區(qū)域近似的橢圓長(zhǎng)短軸以及中心點(diǎn)等參數(shù)，然后由這些參數(shù)擬合橢圓，進(jìn)而構(gòu)建出人臉下巴輪廓.由于提取出的人臉輪廓是單像素線條，不易觀察，故需要對(duì)輪廓加粗處理.最簡(jiǎn)單的加粗方法就是通過(guò)膨脹算法.圖6中白色曲線即為經(jīng)過(guò)加粗的人臉輪廓曲線.從圖6可以看出，人臉下巴輪廓可以較好地?cái)M合出來(lái).

圖6 人臉輪廓最終提取結(jié)果

4 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)中的圖片均來(lái)源于美國(guó)Caltech Faces標(biāo)準(zhǔn)人臉庫(kù)，該數(shù)據(jù)庫(kù)中共有450幅896×592的正面人臉圖像，由27個(gè)不同的人在不同的光照、表情、背景下得到.本文對(duì)其中的多數(shù)圖像進(jìn)行檢測(cè)并得到較好的輪廓提取曲線，部分成功提取到的人臉輪廓結(jié)果如圖7所示.

由圖7可以看出，對(duì)于正面人臉，本文所用算法能夠正確檢測(cè)不同光照條件下，不同膚色、大小的人臉，基本上去除了頸部區(qū)域，并且能夠提取到較為完整的人臉輪廓.但實(shí)驗(yàn)中也存在少量誤檢現(xiàn)象，通過(guò)分析誤檢的實(shí)驗(yàn)結(jié)果.認(rèn)為造成誤檢的主要原因包括以下3個(gè)方面.

(1)膚色模型不夠精確 不同種族不同地域的人臉膚色存在較大差異，盡管YCgCr顏色空間中膚色聚類(lèi)性較好，但不同顏色對(duì)光的反射和吸收比存在差異，這必然會(huì)導(dǎo)致膚色誤檢的發(fā)生.

(2)去除頸部區(qū)域算法不夠精準(zhǔn) 本文所提出的頸部區(qū)域去除方法是建立在人體形態(tài)特征上的，但每個(gè)人的面部長(zhǎng)寬比例不可能都符合本文所提出的比例.因此，對(duì)于面部偏胖或者偏瘦的人像，在去除頸部區(qū)域上可能會(huì)發(fā)生去除量失衡的情況.

(3)添加下巴輪廓算法需要改善 多數(shù)情況下，下巴輪廓需要程序自行擬合構(gòu)造，故輪廓與真實(shí)人臉吻合度取決于前期提取出的人臉輪廓幾何特征.但是由于存在膚色誤檢以及系統(tǒng)誤差等因素，通過(guò)橢圓擬合得到的數(shù)據(jù)可能并不十分符合真實(shí)情況，故會(huì)對(duì)下巴輪廓擬合構(gòu)建產(chǎn)生一定的影響.

圖7 部分正確的人臉輪廓實(shí)驗(yàn)結(jié)果

5 結(jié)語(yǔ)

本文提出的一種基于膚色和人臉形狀約束的正面人臉輪廓提取算法，較好地克服了下巴輪廓難以從頸部提取的問(wèn)題，并且能夠從背景較復(fù)雜的圖像中提取出完整、封閉的人臉輪廓.本算法簡(jiǎn)單，速度較快，易于實(shí)現(xiàn)，適于實(shí)時(shí)使用.今后的工作是提高膚色檢測(cè)的正確率和繼續(xù)嘗試修改面部細(xì)節(jié)的驗(yàn)證規(guī)則，以進(jìn)一步提高人臉輪廓提取的正確率，同時(shí)考慮有較大偏轉(zhuǎn)的人臉輪廓的提取問(wèn)題.

[1]胡元奎，汪增福.快速的人臉輪廓檢測(cè)及姿態(tài)估計(jì)算法[J].模式識(shí)別與人工智能，2006，19(5):652-657.

[2]吳綠芳，雷蘊(yùn)奇，吳眾山.基于膚色模型和梯度算子的正面人臉輪廓提取[J].電腦與信息技術(shù)，2008，16(1):1-4.

[3]YOKOYAMA T，YAGI Y，YACHIDA M.Active contour model for extracting human faces[C]//Proceedings of the 14th International Conference on Pattern Recognition，1998:673-676.

[4]SUN Da-rui，ZHOU Zhao-jie，WU Le-nan.Face boundary extraction by statistical constraint active contour model[C]//Proceedings of the IEEE International Conference on Neural Networks and Signal Processing，2003:371-373.

[5]LI Yong，ZHANG Chang-shui，LV Xiao-guang，et al.Face contourextraction with active shape modelsembedded knowledge[C]//Proceedings of 5th International Conference on Signal Processing，2000:1347-1350.

[6]KAKUMANU P，MAKROGIANNIS S，BOURBAKIS N.A survey of skin-color modeling and detection methods[J].Pattern Recognition，2007，40(3):1 106-1 122.

[7]徐戰(zhàn)武，朱淼良.基于顏色的皮膚檢測(cè)綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12(3):377-388.

[8]徐戰(zhàn)武，朱淼良.膚色檢測(cè)最優(yōu)空間[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18(9):1 350-1 356.

[9]De DIOS J，GARCIA N.Face detection based on a new color space YCgCr[C]//Proceedings of International Conference on Image Processing，2003:909-912.

[10]張爭(zhēng)珍，石躍祥.YCgCr顏色空間的膚色聚類(lèi)人臉檢測(cè)法[J]. 計(jì)算機(jī)工程與應(yīng)用，2009，45(22):163-165.