基于改進的MBLBP人臉檢測算法設計與實現

薛賓田

（河南牧業(yè)經濟學院 信息工程學院，河南鄭州，450053）

0 引言

人臉檢測在計算機視覺研究中是一個具有挑戰(zhàn)性的課題。因為人臉檢測的環(huán)境復雜多樣，特別是在圖像背景比較復雜的情況下，人臉檢測的錯誤率很高，許多背景被錯誤檢測為人臉，針對此問題人們提出進行基于特征的人臉的方法?；谔卣鞯娜四槞z測是使用掃描窗口掃描整個圖像，并計算掃描窗口中的特征向量[1]，然后使用強分類器對這些特征向量進行判斷該特征向量是否符合人臉特征。通過分析和對比Haar特征和MBLBP(Multi block Local Binary Pattern)特征作為人臉特征在人臉檢測算法中的優(yōu)缺點[2~3]，本文選擇使用MBLBP作為人臉特征并對該特征進行改進。改進后的基于MBLBP特征人臉檢測不僅提高了在復雜環(huán)境下檢測的準確率，而且與基于Haar特征人臉檢測算法相比檢測速度更快。

1 問題分析及人臉特征分析

■ 1.1 復雜背景下人臉檢測問題分析

通常復雜背景下基于特征的人臉檢測算法會將背景中的一些區(qū)域判斷為人臉，因為此時許多特征和人臉特征具有相似性，從而將背景錯誤判斷為人臉，因此誤檢率或虛警率較高。

針對復雜背景情況下檢測錯誤率較高的問題，有兩種解決辦法。一種是尋找更加具有區(qū)分度的特征來描述人臉，或者使用特征融合進行人臉描述，Yuseok Ban等將Haar特征和LBP特征進行融合建立人臉分類器，但是特征數量的增加會降低人臉檢測的速度，同時對人臉特征強度要求太過于嚴格會造成人臉漏檢的情況。因此簡單增加人臉特征數量是行不通的，這會導致計算速度以及檢測準確率等問題。

另一種方法就是利用膚色特征，先利用膚色與背景明顯不同的顏色特征將人臉和相似的膚色區(qū)域和圖形中復雜的背景部分分離出來，然后在這些被分離出的膚色區(qū)域進行基于特征的人臉檢測[4~5]。這樣可以提高人臉檢測的準確率；為提高檢測速度，我們還需要一種尋找能保持人臉檢測準確率的同時檢測速度也較快的特征。經過分析本文采用經過改進的MBLBP特征作為人臉檢測的新特征。

■ 1.2 Haar特征和MBLBP特征

Haar特征也稱為矩形特征，該特征是由Papageorgiou等人進行科研時提出的，主要應用于人臉特征的表示。Viola等人對Haar特征進行了擴展，并成功地應用到人臉檢測中，主要有5種。這五種特征共分為三類，分別為二矩形組成的特征、三矩形組成的特征和四矩形組成特征，每個矩形中的子矩形大小和形狀都是相同的。Haar特征的特征值是矩形特征中白色矩形框和黑色矩形框所對應檢測窗口中灰度圖像所有像素點值的和的差值。這些特征能夠很好地刻畫人臉的一些具體特征。

Haar特征中的二矩形特征主要用來描述垂直或者水平方向有變化的特征，在人臉中表現為人的眼睛部分和臉頰部分的變化；三矩形特征主要表示這兩個方向中更復雜的變化，在人臉中表現為人的鼻梁和兩邊臉頰的變化，因為鼻梁灰度值一般比兩側的臉頰較低，如圖 1所示。從圖中可以看出，上述Haar特征可以很好的反應人臉特征，但是這些Haar特征數量很大，必須使用相應算法從這些特征中挑選出最佳特征。若需要計算這些Haar特征，則需要計算出每個特征相對于矩形內灰度值的和，這個過程是非常耗時的，這將大大降低人臉訓練和檢測的速度。針對此問題，Viola等人引入了積分圖(Integral Image)概念。

圖1 人臉Haar特征

積分圖是將圖像上任意一點到圖像起始點形成的矩形內像素點灰度值的和作為一個二維數組的值保存，得到的二維數組就是積分圖。當要計算圖像上某個矩形區(qū)域內像素值的和時，可以直接引用數組的值利用這些數組的值直接進行加減就可以得到矩形面積，而不用每次都計算矩形區(qū)域內像素灰度值的和。對于圖像內一點a(x,y)，其積分圖ii(x,y) 的定義如下，式中i(x',y')表示原圖像中在該點的灰度像素值：

根據積分圖的定義可知，每個像素點的積分值是從當前像素點到起始點坐標(1,1)形成的矩形內所有像素灰度值總和。所以ii(x,y)可以通過以下迭代式得到。

式 2 中s(x,y)代表當前像素點i(x,y)和y軸方向上所有像素點的和。用數學公式表示為：

并且定義ii(0,y)=0，s(x,0)=0。圖2是人臉灰度圖和積分圖圖像。從圖中可以看出積分圖越到底部亮度越大，因為圖像的矩形區(qū)域越大灰度值和越大，所以圖像像素越亮。

圖2 灰度圖與積分圖

盡管積分圖的提出解決了Haar特征值計算較慢的問題，但是當Haar特征數量非常巨大時，這些特征值的計算仍然要花費很長時間。而通常情況下Haar特征的數量確實很大，如在19×19的圖像中，Haar特征就有近16萬個，特征數量巨大導致訓練和檢測速度降低。另外Haar只能對邊緣、線條和中心特征進行描述，人臉的其他特征Haar特征往往無能為力，如人臉的兩個眼睛和鼻子構成的三角特征Haar就無法表示，而使用紋理特征則要可以。

紋理特征是圖像中由于灰度和顏色的不同而表現出的一種特征，在人的直觀上紋理顯示的是圖像的平滑性、稀疏性和規(guī)則性等特點。紋理特征和其他特征相比，不僅包含了灰度信息的空間特性，還包含了圖像表面信息和周圍像素點的信息。LBP特征(Local Binary Pattern)是一種算子，可以用來描述圖像局部紋理特征，能夠很好的描述圖像的局部信息和全局信息。MB-LBP特征是LBP的一種推廣。MBLBP在LBP窗口的基礎上分別在垂直和水平方向進行放大，尺寸不固定，但是還是分為9個方塊。MBLBP的這一特征能夠很好的描述人臉的局部細節(jié)特征和全局特征。

原始的LBP算子是一個3×3的窗口，并以窗口中心像素作為閾值，然后與其他八個像素點進行比較，若像素點大于中心像素點的值就標記為1，否則標記為0，這樣一個3×3的窗口可以產生一個八位的二進制數，表示的特征種類有256個，可以用來代表紋理信息。

MBLBP特征也是一個3×3的方格，但是每個方格并不是一個像素而是由很多像素組成。MBLBP特征值是通過中心區(qū)域矩形內像素的平均值gc和該矩形區(qū)域的八鄰域矩形{g1,...,g8}進行比較，同LBP特征計算規(guī)則一樣，如果八鄰域矩形平均值大于中心區(qū)域像素點平均值標記為1，反之標記為0，將八個鄰域標記進行組合得到 MBLBP二進制編碼值。

MBLBP特征由于可以放大縮小窗口，適于描述從微觀到宏觀的特征，因而比Haar特征更適合作為人臉特征。根據MBLBP特征的定義，也可以使用積分圖來提高MBLBP特征值的計算速度。MBLBP特征和Haar相比能夠描述的圖像特征比較多，在圖像的不同位置，以不同大小的特征分別可以描述邊、線、點和角等。通常情況下，MBLBP特征的數量比Haar少的多，如在一個20乘20的窗口內只有3969個MBLBP，此時Haar特征有45891個，因此基于MBLBP特征的人臉訓練和檢測速度都比Haar特征快。

2 改進的MBLBP人臉檢測算法

■ 2.1 MBLBP特征存在的問題

將膚色分割預處理與基于特征的人臉檢測兩種方法結合起來能夠很好地解決復雜環(huán)境下人臉檢測問題。膚色分割將圖像中復雜的背景過濾掉減少背景對檢測算法的干擾，然后由基于特征的人臉檢測算法對分割結果進行檢測。

盡管MBLBP特征能描述更加豐富的人臉特征，而且特征總量少，訓練分類器和檢測速度都比較快，但是MBLBP特征也有一些問題，如當中心矩形灰度值比所有相鄰矩形的灰度值都大或小時，就不能準確的描述中心像素與周圍像素的細微差別，因為此時只使用了中心矩形的灰度值與相鄰矩形的灰度值進行比較，比如在圖 3所示情況下，MBLBP特征的計算結果為0，沒有反映這個差別。

圖3 特殊MBLBP值

所以本文在MBLBP的基礎上對其進行改進使MBLBP特征能夠更加細致的描述人臉特征，從而提高人臉在復雜環(huán)境或者光照變化情況下檢測準確率。

■ 2.2 MBLBP特征的改進

在灰度圖像中灰度值變化較大的地方，通常具有較多的紋理信息，而灰度值均勻分布的區(qū)域紋理信息較少，原來的MBLBP特征無法區(qū)分一些灰度值變化較大的特殊特征。比如現在有兩個MBLBP特征，每個特征的八鄰域矩形區(qū)域灰度均值都比中心矩形灰度均值點小，兩個MBLBP特征值都是0，但是第一個MBLBP特征的第一行中三個矩形區(qū)域內的灰度均值比第三行內三個矩形內的灰度均值大，第二個MBLBP特征正好相反，所以兩個MBLBP特征是有區(qū)別的。

本文改進的地方是，讓鄰域內每個矩形區(qū)域灰度均值和九個矩形灰度值的全局均值μ進行比較，如果差值的絕對值大于這個九個矩形區(qū)域灰度均值的均方差δ，該區(qū)域標記為1，反之標記為0。

改進后的MBLBP特征值不僅可以描述中心矩形區(qū)域灰度均值較大的特征，而且也可以描述較小的灰度均值特征，同時可以過濾掉一些灰度均值基本和中心區(qū)域均值相同的紋理信息。所以改進后的MBLBP特征能夠更細致的描述人臉特征。

圖4 是對人臉原MBLBP特征和改進后MBLBP特征值分布進行對比試驗。從實驗結果可以看出，原MBLBP特征中特征值集中在0和255的比較多（圖b最左和最右兩側），這樣使其他特征值的區(qū)分度降低；而改進后的MBLBP特征將原來特征值為0和255的特征進行了更加細致的區(qū)分（峰值不再集中到0和255）。

圖4 原MBLBP和改進MBLBP特征值分布對比

3 實驗及結果分析

實驗一主要證明改進MBLBP特征具有描述更多特征的優(yōu)點?；贖aar特征、MBLBP特征和改進的MBLBP特征在人臉數據庫MIT上學習并生成分類器，MIT人臉數據庫中共有7087個訓練樣本，其中人臉圖像有2706張，非人臉圖像有4381張。

實驗二對基于Harr特征、基于膚色分割算法和本文基于改進的MBLBP特征的三種人臉檢測算法進行對比試驗。實驗平臺：matlab R2013a，實驗數據：MIT人臉數據庫，由麻省理工大學提供。

■ 3.1 實驗一及結果分析

圖5(a)是三個由不同數量弱分類器構成的強分類器的檢測錯誤率對比，檢測錯誤率指將人臉檢測為非人臉和將非人臉檢測為人臉的總數量與總測試樣本數量的比值。

圖5 不同特征分類器誤檢率對比

從圖5(a)中可以看出，在使用相同數量的特征進行檢測時，改進后的MBLBP特征分類器具有較低的錯誤率。圖5(b)是三種特征類型分類器的ROC曲線，即在虛警率和相應的檢測率形成的曲線，從圖中可以看出當虛警率為0.25時，改進MBLBP特征形成的分類器檢測率比Haar特征分類器大約高0.07，比原來MBLBP特征分類器檢測率高0.04。以上實驗說明，基于改進后的MBLBP特征對人臉更具有區(qū)分度，主要因為改進的MBLBP特征能夠描述更多圖像的紋理信息。

■ 3.2 實驗二及結果分析

圖6 是基于Haar特征人臉檢測，基于膚色分割算法人臉檢測和本文算法的對比試驗。

圖6 多人臉檢測結果

圖6只是部分實驗結果，為了對比三個算法檢測率和誤檢率，本文一共在50張多人臉圖片，共350個人臉的測試樣本上進行了實驗，分別統(tǒng)計了基于Haar特征人臉檢測，基于膚色分割人臉檢測和本文提出的人臉檢測算法的檢測率和誤檢率，統(tǒng)計結果如表 1所示。

表1 人臉檢測統(tǒng)計表

試驗結果表明，本文算法與基于Haar特征的人臉檢測算法相比具有較高檢測率同時，也降低了將背景錯誤檢測為人臉的數量。由于基于Haar特征的人臉檢測要在整幅圖像中掃描人臉，而有些背景特征與人臉特征比較相似，所以會將一些背景錯誤的判斷為人臉?；谀w色的人臉檢測檢測率很高，但是錯誤率也比較高，主要是因為人的手部或者其他膚色區(qū)域容易被錯誤的判斷為人臉，如圖6(b)實驗結果。

盡管在膚色分割情況下人臉檢測錯誤率很高，但是當膚色檢測與基于改進MBLBP特征人臉檢測結合后人臉檢測效果很好，如圖 6 (c)實驗結果，因為基于改進MBLBP特征人臉檢測方法會在膚色區(qū)域進行再次檢測剔除非人臉候選區(qū)域。而且由于膚色分割過濾掉了大部分背景區(qū)域，基于特征的檢測方法總的掃描窗口數量和檢測區(qū)域大小是成正比，所以基于改進MBLBP特征的人臉檢測只是針對膚色區(qū)域進行人臉檢測而不用去檢測非膚色區(qū)域，這樣便縮短了檢測時間。所以，本文算法在保證正確率的同時也加快了檢測速度。

4 總結

針對復雜背景下人臉檢測存在的一些問題進行分析，并提出了相應的解決辦法。然后對Haar特征和MBLBP特征進行詳細的分析和比較，并將積分圖應用到求解MBLBP特征值中，提高了MBLBP特征值的計算速度。由于MBLBP特征存在對紋理特征灰度變換較大的特征點無法詳細描述的缺點，本文對MBLBP特征進行了改進，并比較了原MBLBP特征和改進后MBLBP特征值分布，改進后的MBLBP特征能夠更加細致的描述人臉紋理特征。最后，將膚色分割和基于改進MBLBP特征的人臉檢測結合起來，利用兩者的優(yōu)點成功解決了人臉在復雜背景下無法準確檢測的問題。雖然本文能夠在一定程度上提高檢查速度和降低誤檢率，但是在人臉出現旋轉或者部分遮擋情況時本文會出現誤判情況，所以后期本文會針對人臉旋轉和部分遮擋問題改進本文算法。