復(fù)雜光照下的視頻人臉檢測(cè)與識(shí)別研究

江龍強(qiáng)，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

?

復(fù)雜光照下的視頻人臉檢測(cè)與識(shí)別研究

江龍強(qiáng)，林志賢，姚劍敏，郭太良

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350002)

為了解決復(fù)雜光照下的視頻人臉檢測(cè)與識(shí)別率受影響的問(wèn)題，提出了一種光照不變的人臉檢測(cè)與識(shí)別方法。該方法基于Retinex理論，提取光照不變分量，然后用于訓(xùn)練AdaBoost分類(lèi)器；對(duì)輸入的視頻序列也進(jìn)行相同的光照預(yù)處理，然后用訓(xùn)練的AdaBoost分類(lèi)器進(jìn)行人臉檢測(cè)；把檢測(cè)到的光照不變?nèi)四槇D像采用分塊加權(quán)LBP進(jìn)行特征提取，采用歐氏距離與最近鄰分類(lèi)器進(jìn)行分類(lèi)。實(shí)驗(yàn)結(jié)果表明：該方法能有效提高視頻人臉檢測(cè)率與人臉識(shí)別率，而且對(duì)于人臉檢測(cè)與識(shí)別只需要一次光照處理，具有更高的效率。

人臉檢測(cè)；人臉識(shí)別；LBP；Retinex理論；AdaBoost算法

人臉識(shí)別[1]技術(shù)經(jīng)過(guò)多年的發(fā)展，已經(jīng)取得了很大進(jìn)展，涌現(xiàn)出很多優(yōu)秀的人臉識(shí)別算法。但是，光照的變化仍然是影響人臉識(shí)別的關(guān)鍵問(wèn)題之一[2]。主要光照處理算法可以分為以下3類(lèi)：1)基于圖像增強(qiáng)的方法，例如Gamma校正[3]、對(duì)數(shù)變換[4]、直方圖均衡化[5]等。這類(lèi)方法實(shí)現(xiàn)起來(lái)簡(jiǎn)單、高效，在光照輕微變化時(shí)可以有效消除光照對(duì)人臉識(shí)別的影響。2)基于人臉建模的方法，比較典型的有光照錐[6]和球諧函數(shù)法。這類(lèi)方法對(duì)光照的處理效果最好，但是需要大量的訓(xùn)練樣本，計(jì)算量大且復(fù)雜，難以在實(shí)時(shí)系統(tǒng)中應(yīng)用。3)光照不變量的方法，例如自商圖像(SQI)[7]、基于Retinex理論[8]的單尺度Retinex算法(SSR)和雙尺度Retinex算法(MSR)等。這類(lèi)方法在人臉識(shí)別的光照預(yù)處理中取得了比較好的效果，也是目前人臉識(shí)別中消除光照影響的主流方法。

目前大多數(shù)的研究者把人臉檢測(cè)與人臉特征提取分開(kāi)研究，而對(duì)于一個(gè)完備的人臉識(shí)別系統(tǒng)，光照的變化同時(shí)影響兩個(gè)方面：人臉檢測(cè)和人臉特征提取，所以有必要研究如何處理光照以同時(shí)提高人臉檢測(cè)率和人臉識(shí)別率。因此本文將人臉檢測(cè)和人臉識(shí)別的光照預(yù)處理統(tǒng)一起來(lái)，提出采用光照不變量法對(duì)人臉圖像進(jìn)行光照預(yù)處理后再進(jìn)行檢測(cè)與識(shí)別。

1 基本原理

1.1 Retinex理論

美國(guó)物理學(xué)家Edwin Land[9]等在1963年提出Retinex理論。Retinex理論認(rèn)為人眼觀(guān)察物體時(shí)，投射到人眼的可見(jiàn)光強(qiáng)度由物體的表面反射性質(zhì)和入射光強(qiáng)度的乘積決定，人類(lèi)感知到的物體表面顏色與投射到人眼的光譜特性關(guān)系不大，與物體表面的反射性質(zhì)密切相關(guān)。根據(jù)Retinex理論，給定圖像為

I(x,y)=R(x,y)L(x,y)

(1)

式中：I(x,y)表示人眼感知到的圖像；R(x,y)和L(x,y)分別表示物體表面的反射系數(shù)和入射光照。R(x,y)由物體的本身屬性決定，也就是得到的光照不變分量。但是由圖像I(x,y)求解物體表面反射系數(shù)和入射光照L(x,y)是個(gè)不定方程求解問(wèn)題，需要約束條件。通常假設(shè)I(x,y)的邊緣也代表其反射系數(shù)R(x,y)的邊緣，而R(x,y)與成像表面劇烈變化的邊緣信息相關(guān)，因此R(x,y)代表圖像中的高頻信息；而光照部分L(x,y)在空間上平滑變化緩慢，是圖像中的低頻信息。為了能夠分離出R(x,y)和L(x,y)，需要將原始圖像變換到對(duì)數(shù)域處理，對(duì)式(1)兩邊取對(duì)數(shù)，得到

(2)

1.2 AdaBoost人臉檢測(cè)

基于AdaBoost的人臉檢測(cè)算法是Viola[10]等于2001年提出。AdaBoost即Adaptive Boosting，是一種統(tǒng)計(jì)學(xué)習(xí)型算法。該算法的提出使得人臉檢測(cè)技術(shù)取得巨大進(jìn)展，是當(dāng)前主流的人臉檢測(cè)算法。

AdaBoost算法核心思想是通過(guò)一個(gè)迭代的訓(xùn)練過(guò)程訓(xùn)練若干弱分類(lèi)器，然后組合成強(qiáng)分類(lèi)器用于檢測(cè)。AdaBoost算法整體過(guò)程分為訓(xùn)練階段和檢測(cè)階段，訓(xùn)練階段通過(guò)大量的正負(fù)樣本訓(xùn)練得到分類(lèi)器，檢測(cè)階段通過(guò)這個(gè)分類(lèi)器對(duì)圖像進(jìn)行檢測(cè)，查找人臉。AdaBoost算法流程圖如圖1所示。

圖1 AdaBoost算法流程

AdaBoost算法以Haar-like[11]矩形特征為輸入訓(xùn)練人臉?lè)诸?lèi)器。首先采集人臉和非人臉樣本，計(jì)算樣本歸一化后的積分圖像，提取樣本中的Haar-like矩形特征，一個(gè)Haar-like矩形特征就是一個(gè)單獨(dú)的弱分類(lèi)器。弱分類(lèi)器的公式為

(3)

得到弱分類(lèi)器之后，需要組合成強(qiáng)分類(lèi)器。AdaBoost訓(xùn)練強(qiáng)分類(lèi)器的算法流程描述為：

3)對(duì)每一輪迭代t=1,…,T進(jìn)行如下計(jì)算，t表示迭代次數(shù)：

(2)對(duì)于每個(gè)特征j，訓(xùn)練其分類(lèi)器hj，計(jì)算并選擇最小加權(quán)分類(lèi)誤差εt為

(4)

式中：εt對(duì)應(yīng)具有最小加權(quán)分類(lèi)誤差的分類(lèi)器為ht。

(3)計(jì)算弱分類(lèi)器ht的權(quán)值αt為

(5)

(4)對(duì)每個(gè)樣本都更新權(quán)重，其公式為

(6)

當(dāng)樣本xi被正確分類(lèi)時(shí)ei=0,反之ei=1。

4)最后得到強(qiáng)分類(lèi)器為

(7)

式中：αt表示弱分類(lèi)器的權(quán)重；h(x)=1表示人臉，h(x)=0表示非人臉。

在人臉檢測(cè)的過(guò)程中，一般待檢測(cè)的窗口包含大量很明顯的非人臉窗口，為了快速地排除這些非人臉窗口，通常采用多個(gè)強(qiáng)分類(lèi)器級(jí)聯(lián)成一個(gè)級(jí)聯(lián)強(qiáng)分類(lèi)器，能夠極大提高分類(lèi)效率。

1.3 局部二值模式(LBP)

局部二值模式(Local Binary Pattern，LBP)是一種局部紋理描述算子，由Ojala[12]等人提出來(lái)，最初用來(lái)描述圖像紋理特征，Ahonen等人將LBP應(yīng)用到人臉識(shí)別中并取得了不錯(cuò)的效果。LBP算子具有計(jì)算簡(jiǎn)單、對(duì)線(xiàn)性光照變化不敏感的特性，適用于實(shí)時(shí)紋理特征提取。

1.3.1 基本LBP算子

基本的LBP算子對(duì)于每副圖像上的像素點(diǎn)提取其周?chē)?×3窗口的像素值，以窗口中心點(diǎn)的灰度值為閾值，與周?chē)?鄰域的灰度值進(jìn)行比較。LBP編碼計(jì)算可以由式(8)和(9)計(jì)算得到，即

(8)

(9)

式中：xc和yc分別為窗口中心點(diǎn)的橫坐標(biāo)和縱坐標(biāo)；gc表示窗口中心點(diǎn)的灰度；gi表示gc的8鄰域的灰度值，LBP的編碼過(guò)程如圖2所示。

圖2 LBP編碼示意圖

窗口中心點(diǎn)的灰度值201，8鄰域的像素點(diǎn)與中心點(diǎn)進(jìn)行比較后得到二進(jìn)制串為10011001，轉(zhuǎn)換成十進(jìn)制數(shù)表示為153。對(duì)整幅圖像(除了圖像邊緣)進(jìn)行計(jì)算后就可以得到圖像的LBP紋理圖，統(tǒng)計(jì)整個(gè)圖的LBP值就能得到LBP直方圖。

1.3.2 LBP算子拓展

為了提取更有效的紋理特征，Ojala等引入雙線(xiàn)性插值的方法拓展出任意半徑和任意采樣點(diǎn)的圓形鄰域，用LBPP,R表示，P為鄰域采樣點(diǎn)數(shù)量，R為半徑。常見(jiàn)的圓形鄰域LBP算子有LBP8,1，LBP8,2，LBP16,2等。

2 基于Retinex理論的視頻人臉檢測(cè)與識(shí)別

為了解決復(fù)雜光照下的視頻人臉檢測(cè)與人臉識(shí)別受到影響的問(wèn)題，本文采用基于Retinex理論的光照預(yù)處理方法，將人臉檢測(cè)與人臉識(shí)別的光照預(yù)處理統(tǒng)一起來(lái)，并應(yīng)用于視頻人臉檢測(cè)與識(shí)別，不僅有效地提高人臉檢測(cè)率、人臉識(shí)別率，還顯著提升了視頻人臉檢測(cè)和識(shí)別的效率。本文的算法流程如圖3所示。

圖3 本文算法流程圖

2.1 光照不變?nèi)四槞z測(cè)

為了得到光照不變?nèi)四槇D像，本文先將圖像變換到對(duì)數(shù)域，然后用低通濾波器分離出光照分量，再用對(duì)數(shù)域圖像減去光照分量，提取出光照不變分量。然后用于訓(xùn)練AdaBoost分類(lèi)器，對(duì)輸入的視頻序列也提取光照不變分量，再用AdaBoost分類(lèi)器進(jìn)行人臉檢測(cè)，從而消除復(fù)雜光照對(duì)人臉檢測(cè)的影響。

2.1.1 光照不變特征提取

基于Retinex理論的光照不變特征提取流程圖如圖4所示。

圖4 基于Retinex理論的光照不變特征提取流程圖

輸入圖像I，經(jīng)過(guò)對(duì)數(shù)變換后得到對(duì)數(shù)域圖像I′,I′經(jīng)過(guò)低通濾波器后提取出M，M接近光照分量L′，然后I′減去M就能得到光照不變分量R′的近似值N，即

R′?N=I′-M

(10)

提取的光照不變特征需要同時(shí)能滿(mǎn)足用于AdaBoost人臉檢測(cè)和LBP紋理特征提取，所以要求光照不變特征圖像不僅要保持足夠的Haar-like特征，還要保留足夠的紋理信息。因此選擇合適的低通濾波器十分關(guān)鍵，本文采用膨脹濾波器(Dilation Filter)[13]，這是一種形態(tài)學(xué)濾波器，它提取每幅圖像上(2n+1)·(2n+1)窗口的像素值，從中選出最大的像素值放到當(dāng)前窗口的中心點(diǎn)位置，并采用這樣的窗口遍歷整幅圖像，膨脹濾波器的表達(dá)式為

(11)

圖5 本文算法光照處理的前后對(duì)比圖

2.1.2 AdaBoost人臉檢測(cè)

本文建立了一個(gè)數(shù)量為10 000，正負(fù)樣本比例為1∶1的訓(xùn)練樣本庫(kù)，庫(kù)中所有正負(fù)樣本均歸一化到24×24像素，然后都進(jìn)行基于Retinex理論的光照預(yù)處理，再用于訓(xùn)練AdaBoost分類(lèi)器。將待測(cè)圖像也進(jìn)行光照處理，然后用訓(xùn)練的AdaBoost分類(lèi)器檢測(cè)人臉。在Extended Yale B上測(cè)試本文的人臉檢測(cè)方法，并與傳統(tǒng)的人臉檢測(cè)方法進(jìn)行對(duì)比，如圖6，在光照較惡劣情況下，本文方法仍能夠準(zhǔn)確找到人臉，而傳統(tǒng)AdaBoost檢測(cè)算法無(wú)法找到人臉。而且本文所提取的人臉圖像經(jīng)過(guò)歸一化后可直接用于LBP紋理特征提取。

圖6 未進(jìn)行光照處理和光照處理的人臉檢測(cè)對(duì)比圖

2.2 光照不變?nèi)四樧R(shí)別

圖7 分塊LBP特征提取流程圖

本文采用加權(quán)歐氏距離進(jìn)行直方圖距離度量，根據(jù)光照情況和各子塊的信息熵不同，分配不同的權(quán)值。采用最近鄰分類(lèi)器進(jìn)行分類(lèi)。

3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文方法的效果，本文采用Yale B和Extended Yale B人臉庫(kù)進(jìn)行實(shí)驗(yàn)。人臉檢測(cè)選用Extended Yale B人臉庫(kù)中一個(gè)人(Yale B11)正面人臉(姿態(tài)P00)的585張未裁剪圖像。人臉識(shí)別選用Yale B人臉庫(kù)中10個(gè)人不同光照的正面人臉(姿態(tài)P00)500張裁剪為124×124的人臉圖像，分為5個(gè)光照子集。

3.1 人臉檢測(cè)實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證光照不變?nèi)四槞z測(cè)方法的效果，實(shí)驗(yàn)中分別采用了直方圖均衡化算法(HE)、對(duì)數(shù)變換以及本文的算法。分別在Extended Yale B人臉庫(kù)上進(jìn)行人臉檢測(cè)，比較在以上3種算法中得到的人臉檢測(cè)率以及誤檢率如表1所示。

表1 各種光照預(yù)處理算法下人臉檢測(cè)率和誤檢率

從表1可以看出，圖像經(jīng)過(guò)光照處理后，人臉檢測(cè)率都有相應(yīng)的提高。其中，直方圖均衡化處理效果最差；對(duì)數(shù)變換有所提高，但還不理想；本文算法比對(duì)數(shù)變換高了6%，但是誤檢數(shù)略高。檢查本文算法的15張誤檢圖像發(fā)現(xiàn)都是背景過(guò)于復(fù)雜造成誤檢，加入膚色檢測(cè)能夠排除這部分誤檢，但是加入膚色檢測(cè)會(huì)增加漏檢，不過(guò)這部分漏檢對(duì)于視頻流是完全可以忽略的。根據(jù)以上分析，本文算法對(duì)于解決復(fù)雜光照下人臉檢測(cè)具有較好的效果。

3.2 人臉識(shí)別實(shí)驗(yàn)結(jié)果和分析

圖8顯示了Yale B中5個(gè)光照子集經(jīng)過(guò)光照處理前后的對(duì)比效果。可以看出本文提取的光照不變特征圖像紋理清晰，有效濾除了光照。

圖8 采用Retinex理論進(jìn)行光照預(yù)處理的效果圖

為了定量驗(yàn)證光照不變?nèi)四樧R(shí)別方法的效果，實(shí)驗(yàn)中分別采用了直方圖均衡化算法(HE)、對(duì)數(shù)變換、自商圖像(SQI)以及本文的方法。特征提取采用采樣點(diǎn)為8、半徑為2的統(tǒng)一局部二值模式，采用4×4分塊、加權(quán)歐氏距離和最近鄰分類(lèi)器，分別在Yale B人臉庫(kù)上進(jìn)行測(cè)試，測(cè)試結(jié)果如表2所示。

表2 Yale B人臉庫(kù)中子集1作為訓(xùn)練集的識(shí)別結(jié)果 %

從表2可以看出，直方圖均衡化處理效果比直接進(jìn)行LBP特征提取效果略好；對(duì)數(shù)變換有所提高，但自商圖像效果更為理想，識(shí)別率都能在90%以上；本文算法在子集2、子集3和子集4上比自商圖像略好，在子集5上效果略差。經(jīng)過(guò)分析，本文算法對(duì)于光照劇烈變換的情況細(xì)節(jié)恢復(fù)不太理想，會(huì)產(chǎn)生假紋理。

3.3 視頻人臉檢測(cè)和識(shí)別實(shí)驗(yàn)結(jié)果和分析

上文已經(jīng)在數(shù)據(jù)庫(kù)上對(duì)本文的算法進(jìn)行人臉檢測(cè)和人臉識(shí)別效果的實(shí)驗(yàn)和分析，現(xiàn)在分析在視頻人臉檢測(cè)和識(shí)別中的效果。本文在VC平臺(tái)上實(shí)現(xiàn)了基于本文方法的人臉檢測(cè)和識(shí)別系統(tǒng)，即視頻人臉檢測(cè)和識(shí)別，如圖9所示。

圖9 采用本文算法進(jìn)行光照預(yù)處理的效果圖

圖9顯示傳統(tǒng)算法在視頻人臉檢測(cè)時(shí)在正面光照下可以檢測(cè)到人臉，但是光照不均勻情況下無(wú)法檢測(cè)到人臉，而本文算法提取的光照不變特征則能很好地檢測(cè)到人臉。

圖10顯示本文算法在視頻人臉檢測(cè)與識(shí)別的實(shí)驗(yàn)結(jié)果，其中，窗口大小為640×480檢測(cè)人臉耗時(shí)25.971 969 ms，識(shí)別人臉耗時(shí)63.780 906 ms，由于只在人臉檢測(cè)和識(shí)別之前進(jìn)行了一次光照預(yù)處理，因此整個(gè)視頻人臉檢測(cè)與識(shí)別的效率也能得到提高。

圖10 采用本文算法進(jìn)行視頻人臉識(shí)別

4 結(jié)論

本文提出了用于視頻人臉識(shí)別的光照不變?nèi)四槞z測(cè)與識(shí)別的方法，通過(guò)對(duì)AdaBoost訓(xùn)練樣本進(jìn)行基于Retinex理論的光照預(yù)處理，提取出光照不變分量，再訓(xùn)練AdaBoost分類(lèi)器，然后對(duì)視頻流的幀圖像也進(jìn)行基于Retinex理論的光照預(yù)處理，再用訓(xùn)練成的AdaBoost分類(lèi)器進(jìn)行人臉檢測(cè)，用分塊加權(quán)LBP進(jìn)行特征提取。實(shí)驗(yàn)結(jié)果表明本文的方法能有效提高復(fù)雜光照下視頻人臉檢測(cè)與識(shí)別的正確率，同時(shí)合并了人臉檢測(cè)與識(shí)別的圖像預(yù)處理，提高了識(shí)別效率。

[1]GALTON F.Personal identification and description[J].The Journal of the Anthropological Institute of Great Britain and Ireland, 1889(18):177-191.

[2]PHILLIPS P J, GROTHER P, MICHEALS R，et al.FRVT2006 and ICE 2006 large-scale results[EB/OL].[2014-08-10].http://wenku.baidu.com/link?url=LeWDYN60C-VjLjyKorMJKPSoyLm8-pQYDc1lpDTumuzqwGYuurpwMxA7NCurgFSgKGpqxfknGOezONa_HFJ9rqnMgbDKrhvkLpkehpVXH9i National Institute of Standards and Technology, NISTIR, 2007, 7408.

[3]康健.基于多閾值多尺度 LBP 的人臉識(shí)別研究[D].北京：北京郵電大學(xué)，2013.

[4]章毓晉.圖像工程：上冊(cè)——圖像處理[M].北京：清華大學(xué)出版社，2006.

[5]李錦, 王俊平, 萬(wàn)國(guó)挺, 等.一種結(jié)合直方圖均衡化和 MSRCR 的圖像增強(qiáng)新算法[J].西安電子科技大學(xué)學(xué)報(bào), 2014, 41(3): 103-109.

[6]王海洋.人臉光照矯正算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué), 2013.

[7]施水才, 楊忱, 王濤, 等.基于自商圖像的人臉圖像增強(qiáng)[J].計(jì)算機(jī)工程與應(yīng)用, 2013, 49(13)：142-144.

[8]凌敏.基于Retinex理論的圖像增強(qiáng)算法研究[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用, 2014, 17(1): 137.

[9]LAND E.An alternative technique for the computation of the designator in the Retinex theory of color vision[EB/OL].[2014-08-10].http://www.pnas.org/content/83/10/3078.

[10]VIOLA P, JONES M.Rapid object detection using a boosted cascade of simple features[C]//Proc.the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.[S.l.]：IEEE Press，2001：511-518.

[11]黃華盛.基于 Haar 特征的人臉識(shí)別算法[J].計(jì)算機(jī)光盤(pán)軟件與應(yīng)用, 2013, 16(23): 88.

[12]OJALA T, PIERIKAINEN M, HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition, 1996, 29(1): 1-59.

[13]NABATCHIAN A.Human Face Recognition[D].Windsor, Ontario, Canada: University of Windsor,2011.

江龍強(qiáng)(1990— )，碩士生，主研信息顯示系統(tǒng)；

林志賢(1975— )，博士，教授，從事平板顯示器驅(qū)動(dòng)技術(shù)、圖像處理、信息顯示技術(shù)等研究工作；

姚劍敏(1978— )，博士，副研究員，主研模式識(shí)別、三維顯示技術(shù)等；

郭太良(1963— )，研究員，博士生導(dǎo)師，主要從事FED顯示器方面的研究工作。

責(zé)任編輯：薛 京

Study of Video Face Detection and Recognition under Complex Illumination

JIANG Longqiang, LIN Zhixian, YAO Jianmin, GUO Tailiang

(CollegeofPhysicsandInformationEngineering，F(xiàn)uzhouUniversity，F(xiàn)uzhou350002，China)

In order to solve video face detection and recognition rate affected by the problem of complex light, an illumination invariant method of face detection and recognition is proposed in this paper.The method is based on the Retinex theory.Firstly, the illumination invariant component is extracted from input image.Then it′s used to train the AdaBoost classifier.Illumination invariant component is also extracted from input video sequence to detect face by using the trained AdaBoost classifier.Block weighted LBP algorithm is used to extract illumination invariant face feature.Euclidean distance and the nearest neighbor classifier are used to classify the feature vectors.The experimental results show that the method can effectively increase the rate of video face detection and face recognition, and it only needs an illumination pretreatment for video face detection and recognition.Therefore, it has higher efficiency.

face detection; face recognition; LBP; Retinex; AdaBoost

國(guó)家“863”計(jì)劃項(xiàng)目(2012AA03A301；2013AA030601)；國(guó)家自然科學(xué)基金項(xiàng)目(61101169；61106053)；福建省2014年省屬高?？蒲姓n題JK類(lèi)重點(diǎn)項(xiàng)目

TN949.6

A

10.16280/j.videoe.2015.07.021

2014-09-10

【本文獻(xiàn)信息】江龍強(qiáng)，林志賢，姚劍敏，等.復(fù)雜光照下的視頻人臉檢測(cè)與識(shí)別研究[J].電視技術(shù),2015，39(7).