基于信息融合的三維人臉識別*

1 三維人臉檢測方法

人臉檢測是指從動態(tài)場景或復雜的背景中檢測出人臉的存在并確定其位置，然后分離處理的過程.以往的研究中，往往以整張人臉作為檢測基礎［11-12］，受到環(huán)境干擾較大，算法速度上也受影響.為減少整張人臉的環(huán)境影響，并結合人臉固有生理特征信息，文中擬通過檢測人臉左右眼位置來確定人臉位置，然后利用區(qū)域膚色特征及深度信息特征實現(xiàn)人臉過濾.

1.1 人眼位置檢測

雙眼的位置是人臉的重要特征之一，相對于其他臉部特征，它在人臉姿態(tài)發(fā)生變化時也能保持相對穩(wěn)定.文中提出的人臉檢測主要依靠雙眼位置來完成，借用Paul 等［13］提出的級聯(lián)的Harr 分類器的思想，使用學習算法對人眼的左右眼數(shù)據(jù)庫訓練，得到對應的左右眼級聯(lián)分類器，然后根據(jù)人眼分布信息經(jīng)驗值來確認人臉的區(qū)域.記Pl(xl，yl)為左眼位置，Pr(xr，yr)為右眼位置.則人臉的區(qū)域可以表達為

其中l(wèi)=xl-xr.在具體實現(xiàn)中要注意左右眼的規(guī)定，因為捕獲圖像是實際圖像的水平翻轉.文中在程序實現(xiàn)上以圖像中x 坐標較大者為左眼，較小者為右眼.

1.2 人臉檢測膚色過濾

區(qū)域膚色特征是表征人臉的重要方面，選取膚色顏色空間和膚色模型進行有效的膚色過濾，能夠提高人臉檢測的準確率.文中選擇YCbCr 作為膚色分割的顏色空間，相對于其他諸如RGB、CMY、HIS等顏色空間，該顏色空間在膚色提取上更具表征能力［14］.在膚色模型方面，考慮到光照變化可能對模型造成的影響，選擇了混合高斯模型，并通過最大期望算法(EM)對膚色模型進行迭代估計.單個的膚色高斯模型為:

式中，c 為顏色向量，μ 為均矢量，E 為協(xié)方差矩陣.μ 和E 可以通過式(3)和式(4)得到:

式中，cj為第j 個顏色向量，n 代表皮膚顏色樣本c的總數(shù).顏色向量的膚色概率G 可以通過式(5)表示:

通過對檢測到的人臉區(qū)域進行膚色統(tǒng)計，可以得到當前區(qū)域中膚色像素點所占整個區(qū)域的百分比，利用所占比例的信息來對檢測區(qū)域進行膚色過濾.

1.3 人臉檢測深度信息過濾

上述檢測方法對于照片人臉或紋理特別豐富的區(qū)域還會出現(xiàn)誤檢現(xiàn)象.為避免誤檢情況，文中引入人臉深度信息以提高人臉檢測的準確性.通過對檢測的人臉區(qū)域深度信息進行統(tǒng)計分析，可以有效濾除照片人臉及紋理特征豐富區(qū)域.具體實現(xiàn)方法如下.記d(x，y)為圖像中像素點p(x，y)的深度信息，則人臉區(qū)域的平均深度N 可以表示為

深度信息的方差V 表示如下:

V 反應了檢測到人臉區(qū)域深度信息的變化情況，通過該值過濾人臉.

2 基于動態(tài)規(guī)整的人臉輪廓快速提取

2.1 人臉對齊

人臉對齊是人臉識別的重要前提，對齊效果直接影響后續(xù)的特征提取，進而影響識別結果.現(xiàn)有的三維人臉對齊的方法包括:①主成分分析(PCA)投影［15］;②通過迭代近鄰點(ICP)找對稱軸［16］;③建立姿態(tài)模型對人臉姿態(tài)估計，利用計算出的姿態(tài)參數(shù)對齊人臉.上述方法均存在計算量大的問題，文中結合前面已完成人眼定位的情況，基于人眼位置基本水平的客觀事實，通過左右眼位置完成人臉傾斜角度計算，實現(xiàn)對應人臉的角度矯正，完成人臉對齊.

2.2 基于動態(tài)規(guī)整的人臉輪廓比較

動態(tài)規(guī)整(DTW)算法的核心思想是利用動態(tài)規(guī)劃的方法實現(xiàn)不同長度特征之間的距離衡量，常用于解決語音識別過程中發(fā)音長短不一的模板匹配問題.該算法具有明顯的優(yōu)點:不需要提取訓練;DTW 計算時間短，高效.文中引入動態(tài)規(guī)整算法實現(xiàn)人臉輪廓匹配，以期在人臉識別第一步快速過濾人臉，減少后續(xù)人臉特征的提取和匹配計算，提升系統(tǒng)的處理能力和實時性.

人臉的3D 輪廓信息，特別是人臉中軸線是重要的特征信息.人臉中軸線是指以鼻尖為中心，將人臉分為對稱的兩部分的一條輪廓線，它包含了人臉額頭、鼻梁、嘴唇等的深度信息，以及相互間的深度位置關系.

在人臉深度信息上，鼻尖位置是人臉曲率變化最劇烈的區(qū)域，且穩(wěn)定性高.文中對人臉深度信息按式(8)進行ShapeIndex 計算，計算出每一個點p 的ShapeIndex 值:式中，k1(p)為最大曲率，k2(p)為最小曲率.根據(jù)鼻尖一般處于人臉中心的實際情況及計算出的ShapeIndex 值對鼻尖進行精確的定位.然后，融合鼻尖和眼睛的位置來提取出人臉中軸線的深度輪廓信息.如圖1(b)所示為提取出的人臉中軸輪廓線.

圖1 人臉中軸輪廓線Fig.1 Medial axis contour of face

3 基于信息融合的改進LBP 的多尺度人臉識別

3.1 改進的區(qū)域LBP 特征

圖像的LBP 具有很強的局部描述能力，最初多用于紋理匹配領域.LBP 特征的描述如圖2 所示.從圖中可以看出，LBP 特征的核心是將中心像素點的值與周圍像素點的值進行比較，大于中心點像素值的編碼為1，小于中心點像素值編碼為0，并規(guī)定一個起始方向得到一組編碼.如圖2 所示，采用左上角為起始方向，得到的編碼為11000111，對應的十進制數(shù)為199.基于這種編碼方法，對整個圖像進行歸一化的編碼，則可以得到一個256 維的直方圖.采用歐氏距離衡量兩張圖像256 維度的直方圖，實現(xiàn)兩張圖的匹配.

圖2 LBP 特征描述Fig.2 Feature description of LBP

上述采用單個像素點編碼的方法易于受到噪聲、旋轉等因素的干擾.為克服傳統(tǒng)LBP 算法基于單個像素值與中心值比較進行計算的缺陷，提高識別的魯棒性，文中提出一種基于區(qū)域像素值的改進LBP 算法.通過對中心像素區(qū)域與周圍區(qū)域進行比較確定編碼，獲得更具有描述能力和抗干擾能力的區(qū)域LBP 特征.區(qū)域LBP 特征提取方法如圖3 所示.改進后的區(qū)域LBP 特征的計算方式不再依賴單個像素點的像素值，而是通過計算一個區(qū)域的像素來決定LBP 的編碼.如對編號“7”區(qū)域的計算，在傳統(tǒng)的LBP 中是由一個像素點值決定的，而在擴展的LBP 特征中其是由4 個像素點值共同決定的.

圖3 區(qū)域LBP 模式Fig.3 Regional model of LBP

3.2 區(qū)域權值確定

人臉的表情和姿態(tài)會造成人臉區(qū)域的顏色和深度信息的變化，是困擾人臉識別的重要問題.結合人臉生理上的固有特征，對區(qū)域LBP 特征權值的分配進行了研究，使區(qū)域LBP 特征匹配具有更好的魯棒性.

3.2.1 彩色人臉圖權值分布

彩色人臉圖權值分布主要是根據(jù)人臉特征色彩空間的分布特點實現(xiàn)的，諸如眼睛、嘴唇等具有較豐富紋理信息的區(qū)域，賦予較高的權值，可以認為這些區(qū)域的信息對人臉的匹配起到主導作用.權值分布情況如圖4 所示.

圖4 人臉彩色圖像圖LBP 權值分布Fig.4 Weight value distribution of LBP for image

權值分布圖中白色區(qū)域的權值為4，灰色區(qū)域的權值設置為2，深灰色區(qū)域的權值設置為1，黑色區(qū)域的權值設置為0.這種權值分布符合人臉彩色圖的紋理變化分布，能夠有效地表征人臉的LBP 特征區(qū)域分布.

3.2.2 人臉生理特征信息分布

為更好地確定深度人臉LBP 特征權值分布，文中分析人臉的生理特征及肌肉分布信息，人臉肌肉信息分布如圖5 所示.

圖5 人臉肌肉分布和LBP 權值分布圖Fig.5 Muscle distribution of face and weight value distribution of LBP

通過對人臉肌肉分布信息研究后，確定人臉中的剛性區(qū)域.人臉剛性區(qū)域發(fā)生形變較小，深度LBP有較為穩(wěn)定的前提，應賦予較高的權值，得出圖5(b)所示的人臉深度權重信息分布圖.權值分布圖中白色區(qū)域權值設為4，灰色區(qū)域的權值設為2，深灰色區(qū)域的權值設為1，黑色區(qū)域的權值設為0.從深度圖的權值分布可以看出，人臉的中心區(qū)域，特別是鼻子區(qū)域有較高的權重，表示該部分在深度上形變較小，可以很好地表征人臉的個體信息.

3.3 LBP 特征匹配

分別對人臉彩色圖像和深度圖像進行區(qū)域LBP特征提取，得到兩個具有很強人臉描述能力的區(qū)域LBP 直方圖.為使人臉識別系統(tǒng)具有快速判別能力，采用式(9)的方法來衡量區(qū)域LBP 特征的相似度:

式中，F(xiàn)、D 分別為當前人臉的區(qū)域LBP 特征和保存在人臉數(shù)據(jù)庫的區(qū)域LBP 特征;wi，j代表了當前分塊區(qū)域的權值.通過式(10)判斷是否為同一張臉:

式中，δ 為判別識別是否成功的閾值，當T 為1 時表示識別成功，T 為0 時表示識別失敗，繼續(xù)尋找數(shù)據(jù)庫的人臉的LBP 特征進行匹配.

4 實驗結果及分析

系統(tǒng)在Xeon 3.07 Ghz 工作站上實現(xiàn)，使用Visual Studio 2010 開發(fā)，采集設備為Kinect，圖像處理方面使用OpenCV 圖像處理庫來完成圖像的基本操作.由5 個人在不同姿態(tài)、不同深度、不同光照下分別采集10 張人臉;將這50 張人臉作為訓練樣本數(shù)據(jù)，利用Kinect 采集的視頻圖像序列作為測試樣本.

4.1 人臉檢測分析

圖6 所示為通過Kinect 在不同姿態(tài)下采集的人臉RGB 圖像及深度圖.在獲取多組不同姿態(tài)下的人臉圖像，可以得到其對應的深度圖以及深度數(shù)據(jù).通過計算人臉區(qū)域的深度信息方差來得到深度閾值范圍，并作為人臉檢測的特征之一，這樣可以有效過濾掉人臉照片和紋理豐富的非人臉區(qū)域.過濾結果對比如圖7 所示.

圖6 不同姿態(tài)下人臉的RGB 圖像及其深度圖Fig.6 RGB image and depth image for face with different gesture

圖7(a)為文獻［13］的人臉檢測結果，圖7(b)則示出了文中提出的融合深度和彩色信息圖的人臉檢測結果.在Kinect 采集的視頻序列中挑選了場景變化較大的100 幀數(shù)據(jù)作為測試對象，具體的統(tǒng)計數(shù)據(jù)見表1.

圖7 人臉檢測結果Fig.7 Face detection results

表1 人臉檢測統(tǒng)計結果Table 1 Statistical results of face detection %

4.2 人臉對齊處理

文中采用的人臉對齊方法，使用了雙眼位置作為對齊的基本信息，通過計算雙眼的相對位置來實現(xiàn)快速的人臉對齊.通過實驗驗證，人臉在不同角度傾斜時，該方法在穩(wěn)定性和速度上都有良好表現(xiàn).不同傾斜人臉對齊情況如圖8 所示.

圖8 傾斜人臉對齊實驗結果Fig.8 Experimental results of inclined face alignment

4.3 人臉識別時間分析

文中根據(jù)人臉在深度圖和彩色圖上的生理信息分布確定了LBP 的權值分布，并通過快速的人臉輪廓排除算法對人臉識別過程進行加速，對比于傳統(tǒng)的3D 人臉識別方法，文中提出的方法在速度上獲得了可觀的提升，人臉識別處理時間分析見表2.

4.4 區(qū)域LBP 算法閾值確定及算法性能比較

文中多處涉及對算法閾值的確定，以彩色圖像LBP 特征閾值計算為例，描述文中閾值的確定方法.

表2 人臉識別處理時間分析Table 2 Analysis of face recognition time

圖9 示出了21 組數(shù)據(jù)的LBP 特征結果.“+”表示數(shù)據(jù)庫中21 個已存的不同人臉與當前檢測人臉進行分區(qū)域LBP 特征匹配的結果.“* ”表示21 個識別正確的結果所對應的分區(qū)域LBP 閾值匹配分布.從圖中可以清楚看到，彩色圖人臉LBP 特征匹配閾值合適的設置區(qū)間應為4000～5000.文中根據(jù)訓練數(shù)據(jù)和人工標定結果最終將彩色人臉LBP 的匹配閾值設置為4500.針對圖9 所示數(shù)據(jù)庫中LBP匹配值有多個小于彩色人臉LBP 匹配閾值的情況，即圖像中代表數(shù)據(jù)中的LBP 匹配值和代表識別正確結果LBP 匹配值的紅線有多個交點的情況，文中選擇最接近的結果作為最終匹配結果，即選擇最小的LBP 匹配值作為人臉最后的識別結果.

通過上述的方法確定了系統(tǒng)中所采用方法的閾值，識別結果如圖10 所示.

圖10 人臉識別系統(tǒng)識別結果Fig.10 Results of face recognition

使用Kinect 采集10 人人臉信息作為樣本庫，挑選其中3 人在不同場景下的750 幀視頻序列數(shù)據(jù)作為檢測數(shù)據(jù)，用傳統(tǒng)LBP 算法和改進的區(qū)域LBP 算法進行測試比較，測試結果見表3.

表3 兩種算法的成功匹配率Table 3 Successful matching rate of two algorithms %

從表3 中可以看出，使用改進區(qū)域LBP 特征匹配的方法能更好地適應環(huán)境的變化，更有效地去除圖像噪聲、光照變化等因素對匹配結果的影響.

5 結語

文中提出了一種融合Kinect 采集的彩色圖像和深度信息來完成人臉識別的方法.在人臉檢測部分，提出利用雙眼進行人臉定位，并結合膚色模型和人臉深度信息模型實現(xiàn)非人臉區(qū)域的濾除.在人臉對齊的基礎上，引入DTW 算法實現(xiàn)人臉輪廓的快速排除，提高了系統(tǒng)的實時性.在識別研究中，提出了一種改進的區(qū)域LBP 算法，在區(qū)域LBP 算法的權值選取方面融合人臉的彩色圖像信息和人臉生理特征信息，提高了識別的魯棒性.

文中雖然在人臉識別的實時性和魯棒性方面有所改進，但是系統(tǒng)應用還存在諸多不足.接下來將在以下幾個方面展開研究:①弱光條件下人臉的檢測及識別;②不同姿態(tài)下的人臉識別，特別是人臉有徑向轉動的情況;③大數(shù)據(jù)庫環(huán)境的測試.

［1］Li S Z，Jain A K.Handbook of face recognition［M］.New York:Springer，2011.

［2］Abdi H，Williams L J.Principal component analysis［J］.Wiley Interdisciplinary Reviews:Computational Statistics，2010，2(4):433-459.

［3］王建忠.高維數(shù)據(jù)幾何結構及降維［M］.北京:高等教育出版社，2012:95-114.

［4］Chan L H，Salleh S H，Ting C M，et al.PCA and LDAbased face verification using back-propagation neural network［C］∥Proceedings of the 10th International Conference on Information Sciences，Signal Processing and their Application.Kuala Lumpur:IEEE，2010:728-732.

［5］Yuan B H，Cao H G，Chu J L.Combining local binary pattern and local phase quantization for face recognition［C］∥Proceedings of 2012 International Symposium on Biometrics and Security Technologies.Taipei:IEEE，2012:51-53.

［6］Dornaika F，Bosaghzadeh A.Exponential local discriminant embedding and its application to face recognition［J］.IEEE Transactions on Cybernetics，2013，43(3):921-934.

［7］Ho Huy T，Chellappa R.Pose-invariant face recognition using Markov random fields ［J］.IEEE Transactions on Image Processing，2013，22(4):1537-1583.

［8］Smeets D，F(xiàn)abry T，Hermans J，et al.Fusion of an isometric deformation modeling approach using spectral decomposition and a region-based approach using ICP for expression-invariant 3D face recognition［C］∥Proceedings of 2010 International Conference on Pattern Recognition.Istanbul:IEEE，2010:1172-1175.

［9］Priya M V，Narayanan R，Sivaa M，et al.A combined approach for face detection with 3D mesh and eigen face［J］.Procedia Engineering，2012，38:298-305.

［10］梁亞玲，杜明輝.基于唇部灰度能量圖的唇讀方法［J］.華南理工大學學報:自然科學版，2011，39(7):88-94.Liang Ya-ling，Du Ming-hui.Lipreading based on lip gray energy image［J］.Journal of South China University of Technology:Natural Science Edition，2011，39(7):88-94.

［11］Berretti S，Del Bimbo A，Pala P.3D face recognition using iso-geodesic stripes ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(12):2162-2177.

［12］Paysan P，Knothe R，Amberg B，et al.A 3D face model for pose and illumination invariant face recognition［C］∥Proceedings of 2009 Advanced Video and Signal Based Surveillance.Genova:IEEE，2009:296-301.

［13］Paul V，Michael J J.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57(2):137-154.

［14］Takiwaki H，Overgaard L，Serup J.Comparison of narrow-band reflectance spectrophotometric and tristimulus colorimetric measurements of skin color twenty-three anatomical sites evaluated by the Dermaspectrometer and the chroma meter CR-200［J］.Skin Phamacol，1994，7(4):217-225.

［15］Wehrens R.Chemometrics with R ［M］.Heidelberg:Springer，2011:43-66.

［16］李曉莉，達飛鵬.基于排除算法的快速三維人臉識別方法［J］.自動化學報，2010，36(1):153-158.Li Xiao-li，Da Fei-peng.A rapid method for 3D face recognition based on rejection algorithm［J］.Acta Automatica Sinica，2010，36(1):153-158.