基于LBP和PCA算法的智能人臉識別*

江　琨　鄭　祿　帖　軍

(中南民族大學　武漢　430070)

?

基于LBP和PCA算法的智能人臉識別*

江琨鄭祿帖軍

(中南民族大學武漢430070)

論文通過提取LBP算子的特征,將人臉分成子區(qū)域,通過連接這些子區(qū)域的LBP直方圖生成人臉特征向量。由于生成的特征向量的維數(shù)過高,通過PCA算法降維壓縮,用歐式距離分類器完成測試樣本和訓練樣本的人臉識別。最終結(jié)合這些算法,開發(fā)出了一套智能人臉檢測系統(tǒng)。該智能人臉識別檢測系統(tǒng)包括人臉圖像的采集、圖像的預處理和智能識別三個功能模塊。

人臉識別; 局部二值模式; 主成分分析法; OpenCV; C++

Class NumberTP301.6

1　引言

人臉識別是在圖像或視頻流中進行人臉的檢測和定位,其中包括人臉在圖像或視頻流中的所在位置、大小、形態(tài)、個數(shù)等信息,近年來由于計算機運算速度的飛速發(fā)展使得圖像處理技術(shù)在許多領(lǐng)域得到了廣泛應(yīng)用如今在許多公司或研究所已經(jīng)作為一門獨立的課題來研究探索。

本文針對人臉識別技術(shù)從理論的闡述到論證并完成了智能人臉識別檢測系統(tǒng)。該智能人臉識別檢測系統(tǒng)包括人臉圖像的采集、圖像的預處理和智能識別三個階段。人臉圖像的采集階段通過 DirectShow對攝像頭的圖像采集,圖像的預處理階段通過直方圖均衡化對圖像增強,AdaBoost階段創(chuàng)建訓練樣本,分為正樣本和負樣本,來對人臉樣本圖像進行訓練,得到訓練的分類器并對人臉進行檢測,Camshift 階段提出了基于 HSV色彩空間對人臉膚色聚類分析的方法[1],并建立了模型。針對單人臉和多人臉做了一些改進型的研究[2]。PCA 階段將樣本圖像投影在特征空間獲得平均臉和主成分臉等,開發(fā)中針對處理的每個階段做出了適當理論論證和試驗結(jié)果,并在算法方面做了適當改進。

2　人臉識別算法

2.1基于LBP的人臉識別算法及改進

局部二值模式(Local Binary Pattern,LBP)的基本思想是對圖像的像素和它局部周圍像素進行對比后的結(jié)果進行求和[3]。把這個像素作為中心,對相鄰像素進行閾值比較。如果中心像素的亮度大于等于它的相鄰像素,把它標記為1,否則標記為0。用二進制數(shù)字來表示每個像素,比如11001111。因此,由于周圍相鄰8個像素,最終可能獲取28個可能組合,被稱為局部二值模式,有時被稱為LBP碼。LBP操作可以被定義為

(1)

其中(xC,yC)是中心元素,亮度是ic;而in則是相鄰像素的亮度。s是一個符號函數(shù)：

(2)

這種定義方法能夠較好地捕捉到圖像中的細節(jié)。

2.1.1LBP算法的改進

旋轉(zhuǎn)不變的LBP算法：為了降低LBP的編碼模式,對同一編碼模式經(jīng)旋轉(zhuǎn)(循環(huán)位移,按位旋轉(zhuǎn))后產(chǎn)生的編碼結(jié)果編碼為同一值,即這些旋轉(zhuǎn)結(jié)果中的最小值。

LBP均勻模式(uniform LBP)：均勻模式就是一個二進制序列從0到1或是從1到0的變過不超過2次(這個二進制序列首尾相連)。比如：10100000的變化次數(shù)為3次所以不是一個uniform pattern。所有的8位二進制數(shù)中共有58個uniform pattern。

2.1.2對LBP特征向量進行提取的步驟

首先將檢測窗口劃分為16×16的小區(qū)域(cell);對于每個cell中的一個像素,將相鄰的8個像素的灰度值與其進行比較,若周圍像素值大于中心像素值,則該像素點的位置被標記為1,否則為0。這樣,3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù),即得到該窗口中心像素點的LBP值;然后計算每個cell的直方圖,即每個數(shù)字(假定是十進制數(shù)LBP值)出現(xiàn)的頻率;然后對該直方圖進行歸一化處理;最后將得到的每個cell的統(tǒng)計直方圖進行連接成為一個特征向量,也就是整幅圖的LBP紋理特征向量。

2.2基于PCA的人臉識別方法

主成份分析法(principal Component Analysis,PCA),也叫做主分量分析法[4]。主成分分析(PCA)的原理就是將一個高維向量x,通過一個特殊的特征向量矩陣U,投影到一個低維的向量空間中,表征為一個低維向量y,并且僅僅損失了一些次要信息。也就是說,通過低維表征的向量和特征向量矩陣,可以基本重構(gòu)出所對應(yīng)的原始高維向量[5]。

2.2.1對PCA算法的改進

本文主要在光照、角度和人臉尺寸等外在因素方面做了改進。外在因素帶來的圖像差異和人臉本身帶來的差異是無法區(qū)分的,特征臉在很大程度上反映了光照等因素的差異。實驗表明,特征臉方法隨著光照、角度和人臉尺寸等因素的引入,識別率急劇下降。可以通過采用同一個人的訓練樣本的平均來計算類間散布矩陣,但也只能在一定程度上糾正這個缺點。主分量的方法使得變換后表達能力最佳,次分量的方法則考慮了高頻的人臉區(qū)分能力;由于外在因素帶來的圖象差異和人臉本身帶來的差異是不加任何區(qū)分的,因此,不管如何選擇正交基,也不能根本解決問題;其改善的一個思路是針對干擾所在,對輸入圖象作規(guī)范化處理,其中包括將輸入圖的均值方差歸一化、人臉尺寸歸一化、掩模等;另一種改進是考慮到局部人臉圖象受外在干擾相對較小,在進行人臉識別時,除計算特征臉之外,還可利用 K-L變換計算出特征眼睛、特征嘴巴等;然后將局部特征向量加權(quán)進行匹配,就能夠得到一些好的效果。對用 K-L 變換和fisher準則分別求出來的一些特征臉進行比較后得出如下結(jié)論,即認為特征臉很大程度上反映了光照等的差異,而fisher臉則能壓制圖象之間的與識別信息無關(guān)的差異。

2.2.2特征向量的選取

在人臉識別中,特征向量矩陣U稱為特征臉(eigenface)空間,因此其中的特征向量ui進行量化后可以看出人臉輪廓,在下面的實驗中可以看出。

以人臉識別為例,來說明PCA的應(yīng)用。設(shè)有N個人臉訓練樣本,每個樣本由其像素灰度值組成一個向量xi,則樣本圖像的像素點數(shù)即為xi的維數(shù),M=width*height,由向量構(gòu)成的訓練樣本集為{X1,X2,…Xn}。

該樣本集的平均向量(平均向量又叫平均臉)為

(3)

樣本集的協(xié)方差矩陣為

(4)

求出協(xié)方差矩陣的特征向量ui和對應(yīng)的特征值λi,這些特征向量組成的矩陣U就是人臉空間的正交基底,用它們的線性組合可以重構(gòu)出樣本中任意的人臉圖像,并且圖像信息集中在特征值大的特征向量中,即使丟棄特征值小的向量也不會影響圖像質(zhì)量。將協(xié)方差矩陣的特征值按大到小排序：λ1≥λ2≥…≥λd≥λd+1≥…。由大于λd的λi對應(yīng)的特征向量構(gòu)成主成分,主成分構(gòu)成的變換矩陣為

U=(U1,U2,…,Ud)

(5)

這樣每一幅人臉圖像都可以投影到U=(U1,U2,…,Ud)構(gòu)成的特征臉子空間中,U的維數(shù)為M×d。有了這樣一個降維的子空間,任何一幅人臉圖像都可以向其作投影y=UTx,即并獲得一組坐標系數(shù),即低維向量y,維數(shù)d×1,為稱為KL分解系數(shù)。這組系數(shù)表明了圖像在子空間的位置,從而可以作為人臉識別的依據(jù)。

總結(jié)一下：

(6)

2) 根據(jù)式(6),可以得出：

(7)

這里的x就是根據(jù)投影系數(shù)向量y重構(gòu)出的人臉圖像,丟失了部分圖像信息,但不會影響圖像質(zhì)量。

2.2.3距離函數(shù)的選擇

一旦圖像被投影到特征空間中,剩下的任務(wù)就是如何判別這些圖像的相似性。通常有兩種方法來判別圖像間的相似性:一種是計算在Z維空間中圖像間的距離,另一種方式是測量圖像間的相似性。當測量距離時,希望距離盡可能的小,一般選擇距離測試圖像最近的訓練圖像作為它所屬的類別。而測量相似性的時候,則希望圖像盡可能地相似,也就是說具有最大相似性地訓練圖像類別被認為是測試圖像所屬地類別。有許多種計算方法[6],下面將介紹四種:

小鼠RAW264.7細胞用含10% FBS的DMEM培養(yǎng)液于37 ℃、5% CO2培養(yǎng)箱中常規(guī)培養(yǎng)。細胞按1×105/mL、200 μL/孔接種于96孔板中，置于37 ℃、5% CO2細胞培養(yǎng)箱中貼壁24 h后，隨機分為對照組（L-NAME）和給藥組（化合物1～7，50 μg/mL），各組加入終質(zhì)量濃度為1 μg/mL的LPS，每組設(shè)3個復孔。繼續(xù)培養(yǎng)24 h，離心，取上清液按照Griess法測定上清液中NO的含量，操作步驟見試劑盒說明書（碧云天NO檢測試劑盒S0021）。

1)L1范式：L1范式也稱為和范式,它將像素間的絕對值的差值相加,L1范式距離公式為

(8)

2)L2范式(最近鄰法)：L2范式也稱歐氏距離(歐幾里德距離)或者是歐氏距離的平方根,它將像素的平方差異相加,L2范式距離公式為

(9)

3) 最小距離(Min)：首先計算各類訓練樣本的平均值,然后距離比較和上面L2范式完全相同,這樣分類時每類只需比較一次,減少計算量,樣本X與第i類的距離公式如下：

(10)

4) 角度(余弦)：角度測量也就是協(xié)方差,它計算兩個規(guī)一化以后的向量間的角度。圖像A和圖像B之間的協(xié)方差為

(11)

本文選擇的是歐幾里德距離,通過LBP計算圖像特征,將人臉直方圖均衡化,用PCA降低直方圖向量維數(shù),歐式距離作分類器進行的人臉識別。

3　LBP算法與PCA算法的結(jié)合

首先運用直方圖均值化和歸一化過程[7],對圖像進行預處理,然后通過LBP算子的特征提取[8],然后通過連接這些子區(qū)域的LBP直方圖生成人臉特征向量,由于生成的特征向量的維數(shù)過高,通過PCA算法降維壓縮,最后用歐式距離[9]分類器完成測試樣本和訓練樣本的人臉識別[10]。

改進后的算法流程：

第一步：運用直方圖均值化和歸一化過程,對數(shù)據(jù)組訓練圖像進行預處理。

第二步：運用LBP算法進行特征提取,并在特征矩陣中存儲期望的值。

第三步：在特征矩陣中,根據(jù)不同特征的分類將其訓練圖像放到不同子集中,然后把這些值存儲到特征向量的一個列向量中。

第四步：輸入測試圖像。

第五步：像上面第二步和第三步一樣,將測試圖像進行特征提取和分類。

第六步：在同一組的訓練圖像作為測試圖像裝載到圖像組中。

第七步：在已有的圖像組中,運用PCA去識別這些測試圖。

第八步：顯示識別結(jié)果。

本文將算法改進前后運行的時間做了比較,實驗結(jié)果如圖1所示。

實驗表明,該方法對后期人臉特征提取效果優(yōu)于改進前的效果,很大程度上降低了提取時間,提高了人臉識別的速度,效果明顯。

圖1　測試圖像運行時間比較

4　算法的應(yīng)用

通過算法的研究,又結(jié)合OpenCV庫,最終使用MFC開發(fā)出了一套人臉識別系統(tǒng)。該系統(tǒng)主要分為兩三部分：人臉圖像的采集、圖像的預處理和智能識別。

首先,介紹一下開發(fā)平臺和開發(fā)時使用的庫。該人臉識別系統(tǒng)采用了MFC框架來開發(fā)。微軟基礎(chǔ)類庫(Microsoft Foundation Classes,MFC)是一個微軟公司提供的類庫(class libraries),以C++類的形式封裝了Windows API,并且包含一個應(yīng)用程序框架,以減少應(yīng)用程序開發(fā)人員的工作量。其中包含的類包含大量Windows句柄封裝類和很多Windows的內(nèi)建控件和組件的封裝類。

開發(fā)中使用了OpenCV(Open Source Computer Vision Library)庫中的一些API。OpenCV是一個基于(開源)發(fā)行的跨平臺計算機視覺庫,可以運行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成,同時提供了Python、Ruby、Matlab等語言的接口,實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。

圖2　人臉識別界面

下面將介紹一下人臉識別過程,人臉識別過程可以通過已有的圖片,也可以通過攝像頭來獲取圖片來識別。本系統(tǒng)可以通過獲取已有的圖片中的人臉信息,將其與數(shù)據(jù)庫中的人臉信息進行對比,識別出用戶的身份。通過攝像頭來捕獲人臉信息就是：把視頻流中的人臉信息分離出來,與數(shù)據(jù)庫中的人臉信息進行對比,識別出用戶的身份。系統(tǒng)的識別界面如圖2所示。

5　結(jié)語

近年來,隨著人們生活水平的逐漸提高,整個社會對于安全防范、視頻監(jiān)控的需求正呈現(xiàn)快速增長趨勢。本文利用OpenCV的平臺使用PCA和LBP算法,開發(fā)出了本套智能人臉檢測系統(tǒng)。基于 PCA 的人臉識別算法它主要用于圖像壓縮中圖像的特征提取;基于 LBP 特征的人臉識別算法能夠在圖像的局部的層級通過對圖像紋理特征的描繪達到描述圖像的目的,在圖像的檢索、識別以及分析方面有很好的效果。

[1] 陳勝勇,劉盛.基于 OpenCV 的計算機視覺技術(shù)實現(xiàn)[D].北京:科學出版社,2008:20-25.

CHEN Shengyong, LIU Sheng. The Computer Vision Technology based on OpenCV[D]. Beijing: Science Press,2008:20-25.

[2] 史東承.人臉圖像信息處理與識別技術(shù)[M].北京:電子工業(yè)出版社,2010:38-42.

SHI Dongcheng. Face Image Information Processing and Recognition Technology[M]. Beijing: Electronic Industry Press,2010:38-42.

[3] 王宇,林成德.非局部二值模式人臉表示與識別方法[J].廈門大學學報(自然科學版),2009(2):28-34.

WANG Yu, Lin Chengde. The Local Binary Pattern Face Representation and Recognition Method[J]. Journal of Xiamen University (Natural Science Edition),2009(2):28-34.

[4] 王莉莉,楊躍東,高玉健.基于多子空間KL變換的紋理圖像自監(jiān)督分割方法[J].中國圖象圖形學報,2007(9):103-108.

WANG Lili, YANG Yuedong, GAO Yujian. Based on Many Children Space KL Transform Texture Image Segmentation Method Since the Supervision[J]. Journal of Image and Graphics,2007(9):103-108.

[5] 張曉華,山世光,曹波,等.CAS-PEAL大規(guī)模中國人臉圖像數(shù)據(jù)庫及其基本評測介紹[J].計算機輔助設(shè)計與圖形學學報,2005(1):323-325.

ZHANG Xiaohua, SHAN Shiguang, CAO Bo, et al. CAS-PEALLarge-Scale Face Image Database and its Basic Evaluation Introduction[J]. Journal of Computer Aided Design and Graphics,2005(1):323-325.

[6] 王瑋,黃非非,李見為,等.采用LBP金字塔的人臉描述與識別[J].計算機輔助設(shè)計與圖形學學報,2009(1):301-304.WANG Wei, HUANG Feifei, LI Jianwei, et al. The LBP Pyramid Face Description and Recognition[J]. Journal of Computer Aided Design and Graphics,2009(1):301-304.

[7] 徐少平,劉小平,李春泉,等.基于LBP值對空間統(tǒng)計特征的紋理描述符[J].模式識別與人工智能,2013(8):49-52.

XU Shaoping, LIU Xiaoping, LI Chunquan, et al. Based on LBP Values of the Statistical Characteristics of Spatial Texture Descriptor[J]. Pattern Recognition and Artificial Intelligence,2013(08):49-52.

[8] 彭輝,張長水,榮鋼,等.基于K-L變換的人臉自動識別方法[J].清華大學學報(自然科學版),1997(3):39-44.

PENG Hui, ZHANG Changshui, RONG Gang, et al. Face Automatic Identification Method based on K - L Transform[J]. Journal of Tsinghua University(JCR Science Edition),1997(3):39-44.

[9] 解聰,雷輝,徐星,等.基于并行歐式距離變換的三維障礙距離場計算[J].浙江大學學報(工學版),2014(2):83-84.

XIE Cong, LEI Hui, XU Xing. Based on Parallel 3d Euclidean Distance Transform Obstacle Distance Field[J]. Journal of ZheJiang University(Engineering Science),2014(2):83-84.

[10] 黨力,孔凡讓.獨立子空間下的草圖人臉合成與識別[J].中國科學技術(shù)大學學報,2012(1):83-84.

DANG Li, KONG Fanrang. Under the Independent Subspace of Sketch Face Synthesis and Recognition[J]. Journal of University of Science and Technology of China,2012(1):83-84.

Intelligent Face Recognition Based on LBP and PCA Algorithm

JIANG KunZHENG LuTIE Jun

(South-Central University for Nationality, Wuhan430070)

In this paper,by extracting characteristics of LBP operator,face is divided into sub regions,and then by connecting these sub regions of LBP histogram face feature vector is generated. Due to the dimensions of the feature vector is exorbitant,dimension is reduced and compressed by PCA algorithm,finally the test sample is completed with Euclidean distance classifier and the training sample of face recognition.Finally,combined with the research,a smart face detection system which includes face image acquisition,image preprocessing and intelligent recognition is developed.

face recognition, LBP, PAC, OpenCV, C++

2016年4月10日,

2016年5月29日

中南民族大學大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目(編號：XCX15032)；中南民族大學中央高?；究蒲袠I(yè)務(wù)費專項資金項目(編號：CZZ15002)資助。

江琨，男，研究方向：數(shù)字圖像處理。鄭祿，男，碩士，助理實驗師，研究方向：物聯(lián)網(wǎng)、數(shù)字圖像處理等。帖軍，男，博士，副教授，研究方向：圖像處理、模式匹配等。

TP301.6

10.3969/j.issn.1672-9722.2016.10.039