基于偏最小二乘回歸的性別識別

薛佳辰，馮 鈞，雷 震，李子青

（1.河海大學(xué) 計算機與信息學(xué)院，江蘇 南京210000；2.中國科學(xué)院自動化研究所模式識別國家重點實驗室，北京100190）

0 引 言

隨著生物識別技術(shù)在監(jiān)控、人機交互、人口統(tǒng)計等方面的廣泛應(yīng)用，性別識別［1］作為其重要分支近年來已經(jīng)成為一個研究熱點，國內(nèi)外的很多學(xué)者都對其進行了研究。

早期的大多數(shù)研究主要集中于解決單一受控場景下的人臉圖像的性別識別［2－4］。這些人臉圖像一般沒有光照、表情、姿態(tài)等變化，在這種環(huán)境下，性別識別取得了較好的效果。但由于自然場景遠(yuǎn)比受控場景復(fù)雜，這就要求性別識別系統(tǒng)對于光照、表情、姿態(tài)等影響具有很好的魯棒性，同時滿足簡單高效的計算要求以及較好的泛化能力。高偉等人［5］使用概率提升樹 （probabilistic boosting tree）進行

性別估計，并研究了種族對于性別估計的影響。Shan C.等［6］先用Adaboost挑選局部二元模式 （LBP）特征，然后使用非線性的SVM進行性別識別。

為了解決自然場景下的性別識別問題，本文提出了一種基于PLS模型［7－9］的性別識別方法。由于PLS是一種線性回歸模型，因此符合計算簡單高效的要求。在特征抽取階段，本文使用MB－LBP［10］算子來提取圖像的特征，并提出一種新的特征算子 MBV－LBP作為 MB－LBP的補充。通過實驗證明了這種基于PLS的新方法既可以取得較好的實驗結(jié)果，同時又提高了泛化能力。

1 人臉圖像的特征提取

和其它模式識別問題一樣，性別識別可以分為特征提取和分類識別兩個階段。通常情況下，特征提取是識別任務(wù)的前提，對于最終的識別效果影響很大。

局部二元模式 （local binary pattern，LBP［11］）作為一種典型的描述圖像局部紋理特征的算子，在人臉識別領(lǐng)域發(fā)揮了重要的作用。雖然LBP算子對單調(diào)的灰度變化具有不變性，但由于這種特征的局部化特點，使其易受噪聲的影響而不夠穩(wěn)定，同時缺乏對整體信息的描述能力。S.Liao等人［10］對LBP進行了改進，提出了一種新的特征描述算子MB－LBP。在原始的LBP算子中，相鄰的單個像素灰度值被用來與中心灰度值進行比較進而獲得編碼。在MB－LBP算子中，進行比較的是子區(qū)域的平均值，它有效地提取了人臉的宏觀紋理結(jié)構(gòu)特征，提高了對光照、表情等影響的魯棒性。

實驗證明MB－LBP是一種有效的提取圖像紋理特征的算子。然而，局部區(qū)域的平均值操作只反應(yīng)了圖像的一階特性，忽略了包含豐富信息的高階特性。因此，本文提出了一種新的特征算子 MBV－LBP （multi－scale block variance local binary patterns），提取圖像的高階信息紋理特征。與MB－LBP算子不同，在 MBV－LBP算子中，進行比較并且編碼的是子區(qū)域的方差值，由于方差能很好地描述數(shù)據(jù)的波動關(guān)系，因此 MBV－LBP算子能有效表示出子區(qū)域之間的變化差異，從原始的人臉圖像中提取出更細(xì)微的紋理結(jié)構(gòu)信息。通過把包含一階信息的MB－LBP和包含高階信息的MBV－LBP結(jié)合起來，我們可以提取出更加完備的特征。這對于隨后的性別識別任務(wù)是非常有利的。圖1簡單展示了MB－LBP和 MBV－LBP算子的編碼過程，對于 MB－LBP算子，是將子區(qū)域0－8的平均值進行比較編碼；對于MBVLBP算子，則是將子區(qū)域0－8的方差進行比較編碼。

圖1 MB－LBP和MBV－LBP編碼過程

此外考慮到計算的簡單高效性，MB－LBP特征的提取過程借助積分圖進行加速，同樣，MBV－LBP的運算過程也可以通過積分圖進行加速，參考式 （1），和傳統(tǒng)的積分圖操作不同的是，它是先對圖像灰度值進行平方，然后再構(gòu)造積分圖式中：u——子區(qū)域的平均值，n——子區(qū)域中的像素點個數(shù)。

圖2中顯示了分別通過 MB－LBP和 MBV－LBP算子提取的特征圖像。可以看出，MB－LBP算子抽取了宏觀的輪廓特征，忽略了一些紋理的細(xì)節(jié)，而MBV－LBP則著重于提取細(xì)節(jié)紋理特征，兩者結(jié)合可以提供更加完備的特征信息。

圖2 MB－LBP、MBV－LBP特征

2 基于偏最小二乘回歸的性別識別

偏最小二乘法 （PLS）通過探尋自變量X和應(yīng)變量Y之間的相關(guān)關(guān)系進行回歸建模。經(jīng)過幾十年的研究，在理論和應(yīng)用方面都取得了迅速發(fā)展。

PLS方法研究的焦點是通過提取自變量X和因變量Y的隱含成分 （latent component），也時常稱為因子，分別對X和Y進行分解，并通過使因子之間的協(xié)方差最大來保證隱含成分之間的相關(guān)性。其核心假設(shè)是，認(rèn)為觀測到的數(shù)據(jù)是由少量隱含成分 （不是直接觀察或者測量到的變量）驅(qū)動的系統(tǒng)或進程產(chǎn)生的。其默認(rèn)假設(shè)是：①來自自變量X的隱含成分可以很好的預(yù)測因變量Y的值；②X和Y的隱含成分矩陣T和U之間存在一個線性約束關(guān)系，也就是U＝TD＋H。因此，PLS方法研究的關(guān)鍵點也就是如何得到這些因子。

基于偏最小二乘回歸的性別建模：偏最小二乘法已經(jīng)成功應(yīng)用到了工程技術(shù)、生物醫(yī)學(xué)等領(lǐng)域的分析預(yù)測、多元回歸分析和建模中，這里，第一次將PLS應(yīng)用到性別識別領(lǐng)域，用PLS模型來探尋特征集X和性別標(biāo)簽集Y之間的內(nèi)在關(guān)系。假設(shè)矩陣X表示特征集，其中每一列xi對應(yīng)一個樣本特征，矩陣Y表示性別標(biāo)簽集，在這里的特定應(yīng)用下，矩陣Y實際上是一個一維向量，其中每一維yi是xi對應(yīng)的性別。這樣，X和Y分別是 （n×N）、（n×1）的零均值矩陣。PLS將X和Y分解成如下的形式

其中，T和U是大小為 （n×p）的提取出來的p個隱含成分所構(gòu)成的矩陣，P和Q分別是大小為 （N×p）和 （1×p）的系數(shù)矩陣，E和F分別是大小為 （n×N）和 （n×1）的殘差矩陣。PLS的求解方法可以參考非線性迭代的最小二乘算法 （NIPALS），在這個算法中每一次迭代都求得一個基礎(chǔ)向量w和c，從而把X和Y投影到一個一維空間，得到X和Y的一個相關(guān)成分，使得得分向量t和u （分別是T和U的列向量）之間的協(xié)方差最大

也就等價于

顯然，可以把求解w的問題轉(zhuǎn)化成求解如下式子的最大特征值問題

其它的變量參數(shù)可以根據(jù)NIPALS算法中的相互關(guān)系求解得到。PLS采用了貪婪策略求得每一次迭代中的一個基礎(chǔ)向量，然后把X和Y投影到一個低維空間。由于U＝TD＋H，其中，D是一個 （p×p）的對角矩陣，H是殘差矩陣。于是可以得到

其中，CT＝DQT是 （p×1）的回歸系數(shù)矩陣，F(xiàn)＊＝HQT＋F是殘差矩陣。把X和Y投影到隱含空間后，就可以找到（N×1）的回歸矩陣B使得

其中，B ＝ XTU（TTXXTU）－1TTY

從式 （9）可以發(fā)現(xiàn)，PLS模型只使用到了p個隱含變量，一般情況下p＜＜N。并且，PLS模型同時完成了特征降維和性別識別兩大任務(wù)，這在實際應(yīng)用中是非常高效的。

3 實驗與討論

本文選擇兩個數(shù)據(jù)庫進行實驗，一個是公開的人臉數(shù)據(jù)庫LFW［12］，另一個是從互聯(lián)網(wǎng)上采集的人臉圖像組成的Web數(shù)據(jù)庫。這兩個數(shù)據(jù)庫中的人臉圖像都是在真實環(huán)境下采集，包含著復(fù)雜的表情、光照、姿勢變化。圖3中隨機的列出了兩個數(shù)據(jù)庫中的一些人臉樣例。從樣例圖像中可以發(fā)現(xiàn)，Web庫中的圖像比LFW庫中的圖像更復(fù)雜更難處理，這與最后實驗中的識別率也是一致的。

3.1 對PLS模型的分析

在進行測試之前，先分析訓(xùn)練得到的PLS模型，圖4中展示了通過PLS模型學(xué)習(xí)得到的最具有性別辨識力的人臉區(qū)域。從圖中可以看出，這些區(qū)域集中在眼睛和嘴附近以及臉龐周圍，這與人眼的視覺觀察是一致的，因為這些區(qū)域攜帶了較強的性別信息，例如通過是否有胡子就可以很容易辨別出來是男性還是女性。

圖3 LFW庫和Web庫中的示例圖像

圖4 對訓(xùn)練得到的PLS模型的視

3.2 實驗方法

首先手動的對人臉圖像進行性別的標(biāo)識，過濾掉有爭議的或者人眼辨識模糊的圖片，最后共得到LFW庫的圖像12836張、Web庫的圖像15749張，所有的圖像均分割且歸一化到142×120像素大小。

在提 取 MB－LBP特征和 MBV－LBP特征 時，由 于S.Liao等［10］已經(jīng)證實了中小尺度的特征能獲得更好的判別能力，本文在MB－LBP和 MBV－LBP中使用的尺度為3×3，9×9，15×15，21×21，27×27，33×33 （注意，尺度為3×3的MB－LBP特征實際上就是原始的LBP特征）。然后，把人臉圖像分成20×20的42個子塊，提取每塊的直方圖特征并串接起來組成最后的特征。

為了測試算法的有效性和泛化能力，本文設(shè)計了兩類實驗。第一類，訓(xùn)練集和測試集來自同一個數(shù)據(jù)庫，使用5倍交叉驗證得到平均結(jié)果。第二類，訓(xùn)練集和測試集來自不同的數(shù)據(jù)庫，來測試方法的泛化能力。

3.3 實驗結(jié)果

本文將PLS與一些經(jīng)典的識別方法進行比較，如Adaboost，AdaSVM （Adaboost＋SVM），PCA＋LDA。對于Adaboost方法，選取700個特征組合成最終的分類器。對于AdaSVM，由Adaboost選出來的700個特征進一步通過基于RBF核的SVM分類器來進行分類學(xué)習(xí)。對于PCA＋LDA，主成分保留了原始能量的95%。具體的實驗結(jié)果可以參看以下表格。

在第一類實驗中，采用5倍交叉驗證的策略。表1和表2分別是在LFW庫和Web庫上的實驗結(jié)果。從中可以看出，把MB－LBP和MBV－LBP特征融合起來可以提高性別識別的準(zhǔn)確率。對于分類方法之間的比較，PLS模型明顯優(yōu)于Adaboost、AdaSVM以及PCA＋LDA的方法，通過對MB－LBP和MBV－LBP特征融合，PLS可以在兩個庫上分別得到95.49%和88.34%的最高識別率。在第二類實驗中，訓(xùn)練集和測試集來自不同數(shù)據(jù)庫，實驗結(jié)果已在表3、表4中列出。從實驗數(shù)據(jù)來看，PLS模型較之于其它分類方法依然取得了最好的結(jié)果，另外，與使用單一的特征算子相比，MB－LBP和 MBV－LBP的融合可以得到更好的效果。

表1 LFW庫上的實驗結(jié)果

表2 Web庫上的實驗結(jié)果

表3 在Web庫上訓(xùn)練、LFW庫上測試的實驗結(jié)果

表4 在LFW庫上訓(xùn)練、Web庫上測試的實驗結(jié)果

通過上述實驗，可以得出兩個結(jié)論：①MB－LBP和MBV－LBP特征算子的融合明顯比單獨的特征算子描述能力強，能取得更好的性別識別效果，證明了 MBV－LBP與MB－LBP之間的互補性。②在分類方法中，PLS僅使用了不高于30維的隱含變量便取得了較好的識別效果，相比Adaboost使用700維特征，明顯地提高了計算效率。圖5顯示了使用不同個數(shù)的隱含因子得到的識別率，跨庫實驗也證明了PLS模型的泛化能力也很好。

4 結(jié)束語

圖5 不同數(shù)量隱含因子下PLS模型的識別率

本文就自然場景中人臉圖像的性別識別提出了一種基于偏最小二乘回歸 （PLS）的識別方法，并提出了一種新的特征算子MBV－LBP。

首先對人臉提取 MB－LBP特征和 MBV－LBP特征，然后通過PLS對特征和性別之間的隱含關(guān)系進行建模，最后在LFW庫和Web庫上進行了性別識別的實驗。實驗結(jié)果表明基于MB－LBP和 MBV－LBP的特征融合能夠提供更加完備的描述信息，PLS也比目前流行的性別識別算法更有優(yōu)越性，泛化能力更好。

［1］XU Ziyi.Gender recognition based on face images ［D］.Shanghai：Shanghai Jiaotong University，2009 （in Chinese）.［許孜奕.基于人臉的性別識別 ［D］.上海：上海交通大學(xué)，2009.］

［2］Bekios－Calfa J，Buenaposada J M，Baumela L.Revisiting linear discriminant techniques in gender recognition ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （4）：858－864.

［3］Alexandre L A.Gender recognition：A multiscale decision fusion approach ［J］.Pattern Recognition Letters，2010，31（11）：1422－1427.

［4］Ullah I，Hussain M，Muhammad G，et al.Gender recognition from face images with local WLD descriptor ［C］／／19th International Conference on Systems，Signals and Image Processing.IEEE，2012：417－420.

［5］Gao W，Ai H.Face gender classification on consumer images in a multiethnic environment ［M］.Advances in Biometrics.Springer Berlin Heidelberg，2009：169－178.

［6］Shan C.Learning local binary patterns for gender classification on real－world face images ［J］.Pattern Recognition Letters，2012，33 （4）：431－437.

［7］Kruger U，Xie L.Partial least squares ［J］.Statistical Monitoring of Complex Multivariate Processes：With Applications in Industrial Process Control，2012：375－409.

［8］Cleophas T J，Zwinderman A H.Partial least squares ［M］.Machine Learning in Medicine.Springer Netherlands，2013：197－213.

［9］Abdi H.Partial least squares regression and projection on latent structure regression（PLS Regression）［J］.Wiley Interdisciplinary Reviews：Computational Statistics，2010，2 （1）：97－106.

［10］Liao S，Zhu X，Lei Z，et al.Learning multi－scale block local binary patterns for face recognition ［C］／／Proceedings of the 7th International Conference on Advances in Biometrics，2007：828－837.

［11］Doshi N，Schaefer G.A comparative analysis of local binary pattern texture classification ［C］／／Visual Communications and Image Processing.IEEE，2012：1－6.

［12］Huang G，Ramesh M，Berg T，et al.Labeled faces in the wild：A database for studying face recognition in unconstrained environments ［C］／／Workshop on Faces in ‘Real－Life’Images：Detection，Alignment，and Recognition，2008.