區(qū)域塊SFIT-MTLBP人臉識(shí)別研究

劉曉尚 吳薇 田雄

摘 要：在少量樣本情況下，為了解決傳統(tǒng)LBP算法對(duì)人臉特征提取分類(lèi)魯棒性不強(qiáng)問(wèn)題，提高人臉特征選取的泛化能力，提出一種在人臉面部區(qū)域基于SIFT特征點(diǎn)檢測(cè)的MTLBP人臉識(shí)別算法。從人臉五官區(qū)域選取尺度不變的關(guān)鍵點(diǎn)，并在其鄰域選取MTLBP紋理特征，結(jié)合SIFT描述算子和MTLBP特征直方圖形成一系列特征，對(duì)該人臉特征空間向量進(jìn)行分類(lèi)識(shí)別。在相同的少量訓(xùn)練樣本下，該算法與原始LBP算法及其它改進(jìn)型LBP算法相比，識(shí)別率提高了20%左右。

關(guān)鍵詞：區(qū)域塊;SIFT關(guān)鍵點(diǎn)檢測(cè);MTLBP紋理特征;小樣本;人臉識(shí)別

DOI：10. 11907/rjdk. 182096

中圖分類(lèi)號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-7800（2019）004-0009-04

0 引言

人臉識(shí)別一直是計(jì)算機(jī)視覺(jué)和模式識(shí)別研究的熱門(mén)領(lǐng)域。近年來(lái)，局部二值模式（Local Binary Patterns，LBP）紋理特征提取算法被廣泛應(yīng)用于人臉識(shí)別。LBP算法最初由Ojala等[1]提出，用于圖像紋理分類(lèi)，Timo等[2]將該算法應(yīng)用于描述人臉特征，并采用x2統(tǒng)計(jì)作為不相似度量，取得了很好的識(shí)別效果。隨后，人們又對(duì)LBP算法在人臉識(shí)別上進(jìn)行了各種改進(jìn)，局部三元模式（LTP）和中心對(duì)稱(chēng)（CS-LBP）模式被用于人臉特征提取[3-4]。Guo等[5]使用LBP方差（LBPV）進(jìn)行全局匹配的旋轉(zhuǎn)不變紋理分類(lèi)，基于低分辨率的多閾值局部二值模式和自適應(yīng)閾值二值模式也成功用于人臉識(shí)別[6-8]。但是，基于單一特征的人臉描述忽略了人臉其它特征的表達(dá)，特別是在少量樣本情況下，人臉尺度變化和圖像角度旋轉(zhuǎn)時(shí)，局部二值模式特征提取對(duì)同一人臉進(jìn)行識(shí)別不具備很好的魯棒性。大多文獻(xiàn)為了提高人臉識(shí)別率，往往訓(xùn)練大量樣本盡可能代表人臉在各個(gè)姿態(tài)下的特征，然而該傳統(tǒng)做法不僅無(wú)法提高識(shí)別率，還會(huì)不利于類(lèi)間分類(lèi)。多特征提取融合的人臉表示方法走進(jìn)了人們的視線，在此基礎(chǔ)上，基于SIFT特征和旋轉(zhuǎn)不變LBP特征相結(jié)合的圖像匹配算法得到發(fā)展[9-10]。因此，為了與人臉尺度不變特征相結(jié)合，突出表現(xiàn)人臉局部紋理特征，在文獻(xiàn)[7]和文獻(xiàn)[10]啟發(fā)下，本文提出一種在人臉面部五官上選取尺度不變特征（Scale-invariant feature transform，SIFT）和多閾值紋理特征相結(jié)合的人臉識(shí)別方法，最后采用最近鄰分類(lèi)器進(jìn)行分類(lèi)識(shí)別。實(shí)驗(yàn)表明，相對(duì)傳統(tǒng)LBP算法，本文算法融合方式在少量樣本下即可明顯提高識(shí)別率。

1 相關(guān)算法理論

1.1 人臉區(qū)域選定

當(dāng)圖像被劃分成區(qū)域時(shí)，可以預(yù)期某些區(qū)域比其它區(qū)域包含更多有用信息[11]。由于人臉五官上的紋理信息最為豐富，眼睛、鼻子、嘴巴特征也是識(shí)別一個(gè)人的重要特征，利用圖像分割算法將面部五官?gòu)娜四槇D像上分割出來(lái)分步識(shí)別，會(huì)對(duì)人臉識(shí)別起到積極作用[12]。實(shí)驗(yàn)表明：①人臉紋理特征最為豐富的地方在人臉整體輪廓和面部五官上，有效分割人臉面部五官區(qū)域，可將一些對(duì)人臉面部識(shí)別區(qū)分度不大，但在紋理特征中占比較大的區(qū)域劃分出去，如背景、頭發(fā)、臉頰等;②SIFT關(guān)鍵點(diǎn)的檢測(cè)并不都集中在人臉五官區(qū)域，將人臉五官區(qū)域分割出來(lái)再檢測(cè)SIFT關(guān)鍵點(diǎn)，可將人臉五官紋理特征很好地結(jié)合起來(lái)。

1.2 SIFT特征關(guān)鍵點(diǎn)檢測(cè)

SIFT即尺度不變特征變換，由Lowe[13]于1999年提出，2004年加以完善。SIFT特征對(duì)旋轉(zhuǎn)、尺度縮放等保持不變性，可以很方便地與其它形式特征向量進(jìn)行融合。SIFT特征關(guān)鍵點(diǎn)檢測(cè)是基于圖像尺度空間理論的方法，主要步驟如下：

（1）尺度空間極值點(diǎn)檢測(cè)。尺度空間構(gòu)建使用高斯金字塔表示，利用不同尺度的高斯差分核與圖像卷積生成。為了尋找尺度空間極值點(diǎn)，在尺度空間中，每一個(gè)采樣點(diǎn)要與其所有相鄰點(diǎn)比較，即同尺度的8個(gè)相鄰點(diǎn)與上下相鄰尺度對(duì)應(yīng)的2×9個(gè)點(diǎn)比較。如果該采樣點(diǎn)是26個(gè)鄰域中的最大值或最小值時(shí)，即為圖像在該尺度下的特征點(diǎn)。尺度空間采樣點(diǎn)及其鄰域空間分布如圖1所示。

（3）SIFT特征描述子。以關(guān)鍵點(diǎn)為中心區(qū)域，將該區(qū)域分為4×4個(gè)子區(qū)域，對(duì)每個(gè)區(qū)域建立8個(gè)方向的梯度方向直方圖，從而形成128維向量。

1.3 多閾值LBP紋理特征提取

LBP算子最初定義在像素為3×3的矩形鄰域內(nèi)，以矩形中心像素為閾值，若周?chē)袼卮笥谥行南袼兀瑒t該位置被標(biāo)記為1，否則被標(biāo)記為0。經(jīng)比較后，3×3鄰域內(nèi)可產(chǎn)生8位依次排列的二進(jìn)制數(shù)，此即為該中心像素的LBP值[14]。

原始圖像和在不同閾值下經(jīng)過(guò)LBP編碼后的圖像如圖2所示，可以看出，當(dāng)閾值由0到4時(shí)，人臉圖像輪廓更加清楚，人臉面部主要紋理特征被突出，不利于類(lèi)間分類(lèi)的大量紋理信息被弱化或剔除。

2 基于區(qū)域塊SIFT-MTLBP的人臉描述

本文基于小樣本情況，最大化描述人臉局部面部特征，不僅在提取人臉面部特征時(shí)采用多閾值局部二值模式突出五官特征，還考慮到同類(lèi)樣本在尺度和角度旋轉(zhuǎn)變化時(shí)面部特征之間存在的轉(zhuǎn)化聯(lián)系[15]。通俗地講，即考慮到同一個(gè)人的人臉面部局部特征，從人臉正面到側(cè)面過(guò)程中基于尺度空間不變點(diǎn)和其周?chē)y理特征存在的聯(lián)系。

人臉識(shí)別過(guò)程中的關(guān)鍵步驟在于特征點(diǎn)或特征區(qū)域選取，只有選定特征區(qū)域能夠很好地表達(dá)人臉身份信息，提取到合適的特征向量，才能更精確地進(jìn)行分類(lèi)。以O(shè)RL人臉庫(kù)為例，文中基于區(qū)域塊SIFT-MTLBP的特征提取步驟如下：

（1）利用樣本的Haar特征[16-17]進(jìn)行分類(lèi)器訓(xùn)練，得到級(jí)聯(lián)boosted[18]分類(lèi)器，可以檢測(cè)圖片中的眼睛、鼻子和嘴巴區(qū)域。該步驟通過(guò)改進(jìn)OpenCV自帶級(jí)聯(lián)分類(lèi)器實(shí)現(xiàn)。

3 實(shí)驗(yàn)與分析

3.1 訓(xùn)練集與測(cè)試集

為了充分驗(yàn)證本文方法的有效性，采用英國(guó)劍橋大學(xué)Olivetti研究所的ORL人臉庫(kù)和韓國(guó)浦項(xiàng)科技大學(xué)PF01人臉庫(kù)的POSE子集庫(kù)進(jìn)行實(shí)驗(yàn)。使用ORL人臉庫(kù)進(jìn)行實(shí)驗(yàn)說(shuō)明，圖4為ORL人臉庫(kù)部分樣本。實(shí)驗(yàn)將人臉庫(kù)中每個(gè)人臉樣本分為訓(xùn)練集Mi和測(cè)試集Nj，[i，j∈（1，2？？？10）]分別代表訓(xùn)練集和測(cè)試集中包含的樣本數(shù)。在訓(xùn)練樣本為3的情況下，抽取同一人臉圖片的特定組合集進(jìn)行訓(xùn)練。例如選取圖4中第5-7幅圖片進(jìn)行訓(xùn)練，分別記為I5、I6、I7，組成訓(xùn)練集合為{I5，I6，I7}，其它圖片作為測(cè)試集;選取第3、8、9幅圖片進(jìn)行訓(xùn)練，分別記為I3、I8、I9，組成訓(xùn)練集合為{I3，I8，I9}，其它圖片作為測(cè)試集等;訓(xùn)練集和測(cè)試集一一對(duì)應(yīng)，分別保存在訓(xùn)練序列和測(cè)試序列中。訓(xùn)練樣本為4及以上時(shí)，在每個(gè)樣本中選擇[Ci10，i∈（1，10）]的任意排列組合作為訓(xùn)練集，每種組合之外的圖片作為測(cè)試集。

3.2 閾值與權(quán)重

在多閾值LBP特征與SIFT特征融合情況下，無(wú)法知道閾值與權(quán)重的不同組合會(huì)對(duì)識(shí)別率有何種程度影響。為了確定最理想的閾值和權(quán)重組合，本文在實(shí)驗(yàn)中選取從? 0～4的閾值與權(quán)重比在0～1的不同組合中進(jìn)行實(shí)驗(yàn)。在ORL人臉庫(kù)和PF01人臉庫(kù)的pose子集上，每張人臉每次選取7個(gè)訓(xùn)練樣本進(jìn)行訓(xùn)練，其余樣本作為測(cè)試不參與訓(xùn)練過(guò)程，由此得到不同閾值與不同權(quán)重比組合下的平均識(shí)別率，實(shí)驗(yàn)結(jié)果如表1所示。由表1可知，選取閾值為2，權(quán)重為0.6的識(shí)別率最為理想。

其中，[Si]、[Mi]分別為實(shí)驗(yàn)樣本得到正確匹配的樣本數(shù)和期望樣本數(shù)。

引入?yún)⒖嘉墨I(xiàn)中的3種算法與本文進(jìn)行對(duì)比：文獻(xiàn)[2]采用采樣半徑為2、采樣點(diǎn)為8不加權(quán)重的LBP特征提取方式，文獻(xiàn)[7]采用低分辨率下多閾值LBP方法，文獻(xiàn)[4]基于Gabor變換使用中心對(duì)稱(chēng)LBP的方法。特別說(shuō)明的是，文獻(xiàn)[3]中采用圖像部分子塊，尤其是在眼角部分加權(quán)后的實(shí)驗(yàn)與本文有較大可比性，實(shí)驗(yàn)所用到的訓(xùn)練集和測(cè)試集均與本文一致。ORL人臉庫(kù)與FP01人臉庫(kù)POSE子集的對(duì)比實(shí)驗(yàn)結(jié)果如圖5、圖6所示。

由實(shí)驗(yàn)結(jié)果對(duì)比可知：①本文方法在樣本較少情況下，相比傳統(tǒng)LBP算法和MTLBP算法具有更高識(shí)別率，特別是在POSE子集上，識(shí)別率在樣本數(shù)為3時(shí)提高了20%以上，達(dá)到85%左右，考慮到樣本中姿態(tài)和表情等因素影響，該結(jié)果已經(jīng)相當(dāng)理想;②本文方法在樣本數(shù)增加時(shí)，識(shí)別率受到限制，只達(dá)到了近99%，特別是在樣本數(shù)大于7時(shí)，較文獻(xiàn)[2]中方法并沒(méi)有產(chǎn)生較大優(yōu)勢(shì)。

因此，本文方法在FP01人臉庫(kù)pose子集上識(shí)別效果優(yōu)于在ORL人臉庫(kù)上，因?yàn)樵趐ose子集上人臉圖像僅是人臉姿態(tài)、角度的改變。該結(jié)果也表明在SIFT特征下采取人臉圖像局部的紋理信息，更適合人臉姿態(tài)變化時(shí)的人臉表達(dá)，實(shí)驗(yàn)結(jié)果符合預(yù)期。當(dāng)然，本文方法也有其局限性，在訓(xùn)練樣本達(dá)到7張圖片以上時(shí)，沒(méi)有融合全局特征的平均識(shí)別率很難再有所提高，所以本文方法更適合小部分樣本人臉圖像訓(xùn)練和識(shí)別。

4 結(jié)語(yǔ)

本文提出一種將尺度不變特征轉(zhuǎn)換（SIFT）與MTLBP相結(jié)合的人臉識(shí)別方法，該方法利用SIFT算法檢測(cè)出同一人臉在旋轉(zhuǎn)尺度變化時(shí)保持的不變點(diǎn)，在該不變點(diǎn)上提取豐富的紋理特征，同SIFT特征向量一起作為人臉識(shí)別依據(jù)。實(shí)驗(yàn)表明，本文方法能夠較好地提高人臉特征泛化能力，在識(shí)別率稍有下降的情況下，有效減少了訓(xùn)練樣本數(shù)。不足之處是沒(méi)有考慮到人臉的全局特征，當(dāng)樣本數(shù)提高到一定程度時(shí)，本文方法在識(shí)別率上受到了限制。因此，怎樣融合全局特征突破局限，將是今后努力的方向。

參考文獻(xiàn)：

[1] OJALA T，PIETIK？INEN M，M？ENP？？ T. Multiresolution gray- scale and rotation invariant texture classification with local binary patterns[C]. European Conference on Computer Vision，2000：404-420.

[2] AHONEN T，HADID A，PIETIK？INEN M. Face recognition with local binary patterns[C]. European Conference on Computer Vision， 2004：469-481.

[3] 李偉生，王立逗，周麗芳. 一種基于LTP自適應(yīng)閾值的人臉識(shí)別方法[J]. 小型微型計(jì)算機(jī)系統(tǒng)，2014，35（9）：2099-2103.

[4] NIKAN S，AHMADI M. Partial GMP-CS-LBP face recognition using image subblocks[C]. Barcelona：The Tenth International Conference on Systems， 2015.

[5] GUO Z， ZHANG L， ZHANG D. Rotation invariant texture classification using LBP variance （LBPV） with global matching[J]. Pattern Recognition， 2010， 43（3）：706-719.

[6] 周凱，楊路明，宋虹，等. 基于多閾值局部二值模式的人臉識(shí)別方法[J]. 計(jì)算機(jī)工程，2009， 35（17）：167-169.

[7] ZHAO H，CHEN X， LONG M， et al. Human face recognition based on low resolution muti-threshold local binary pattern[C]. International Conference on Electronics， Communications and Control， 2012：1865-1868.

[8] 張潔玉， 趙鴻萍， 陳曙. 自適應(yīng)閾值及加權(quán)局部二值模式的人臉識(shí)別[J]. 電子與信息學(xué)報(bào)， 2014， 36（6）：1327-1333.

[9] 董振鑫， 廖仕榮， 程慧，等. 基于多特征融合的圖像匹配算法[J]. 軟件導(dǎo)刊， 2017， 16（7）：44-47.

[10] 鄭永斌， 黃新生， 豐松江. SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010， 22（2）：286-292.

[11] LIAO S， JAIN A K. Partial face recognition： an alignment free approach[C]. International Joint Conference on Biometrics，2011：1-8.

[12] 嚴(yán)云洋. 圖像的特征抽取方法及其應(yīng)用研究[D].南京：南京理工大學(xué)， 2008.

[13] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[14] 康健.? 基于多閾值多尺度LBP的人臉識(shí)別研究[D]. 北京：北京郵電大學(xué)，2013.

[15] SWAPNA K，ARPANA B. Feature extraction from face images using SIFT and MLBP algorithm[C]. Imperial Journal of Interdisciplinary Research （IJIR），2017：2454-1362.

[16] 侯小紅， 郭敏. 一種基于Harris-SIFT特征點(diǎn)檢測(cè)的LBP人臉表情識(shí)別算法[J]. 西北大學(xué)學(xué)報(bào)：自然科學(xué)版，2017，47（2）：209-214.

[17] 甘玲，朱江，苗東. 擴(kuò)展Haar特征檢測(cè)人眼的方法[J]. 電子科技大學(xué)學(xué)報(bào)，2010， 39（2）：247-250.

[18] VIOLA P，JONES M. Rapid object detection using a boosted cascade of simple features[C]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2001：511-518.

[19] 林曉帆，丁曉青，吳佑壽. 最近鄰分類(lèi)器置信度估計(jì)的理論分析[J]. 科學(xué)通報(bào)，1998， 43（3）：322-325.

[20] 馬圓，田思佳，馮巍，等. 基于肺部PET/CT圖像不同紋理特征的K最近鄰分類(lèi)器[J]. 北京生物醫(yī)學(xué)工程， 2018（1）：57-61.

（責(zé)任編輯：何 麗）