人臉對(duì)齊處理對(duì)面部色澤變化的影響

李思璇　孫兵

摘要：對(duì)人臉識(shí)別考勤系統(tǒng)所獲取的圖像序列進(jìn)行色澤變化分析，可有效獲取員工的健康信息。本文利用基于Haar-like特征的人臉識(shí)別算法自動(dòng)確定左眼、右眼、鼻子和嘴巴特征點(diǎn)位置，分別采用左右眼兩點(diǎn)對(duì)齊法、左右眼+鼻子三點(diǎn)對(duì)齊法、左右眼+嘴巴三點(diǎn)對(duì)齊法，對(duì)圖像序列進(jìn)行配準(zhǔn)處理以得到標(biāo)準(zhǔn)化圖像序列，對(duì)標(biāo)準(zhǔn)化圖像序列的各色彩分量進(jìn)行相關(guān)函數(shù)分析，研究人臉圖像序列對(duì)齊處理方法對(duì)面部色澤變化的影響。探討能夠有效減小圖像序列對(duì)齊處理引起的面部色澤變化的方法，更好地保留員工自身健康變化引起的面部色澤變化，提供更為準(zhǔn)確的健康警示信息。

關(guān)鍵詞：人臉對(duì)齊;面部色澤變化;健康警示;相關(guān)函數(shù)

中圖分類號(hào)：TP391 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：B ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? DOI：10.3969/j.issn.1006-1959.2019.19.002

文章編號(hào)：1006-1959（2019）19-0004-04

Analyzing the Influence of Face Alignment Processing on Facial Color Change

LI Si-xuan1，SUN Bing2

（College of Biological and Medical Engineering1，College of Electronic and Information Engineering2，

Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

Abstract：The color image change analysis of the image sequence obtained by the face recognition attendance system can effectively obtain the employee's health information. In this paper， the face recognition algorithm based on Haar-like feature is used to automatically determine the position of the left eye， right eye， nose and mouth feature points， respectively， using the left and right eye two-point alignment method， left and right eye + nose three-point alignment method， left and right eyes + mouth three point alignment method is used to register the image sequence to obtain a standardized image sequence， and the correlation function analysis is performed on each color component of the normalized image sequence， and the face image sequence alignment processing method affects the color change of the face. To explore ways to effectively reduce facial color changes caused by image sequence alignment processing， to better preserve facial color changes caused by employees' own health changes， and to provide more accurate health warning information.

Key words：Face alignment;Facial color change;Health warning;Correlation function

人臉對(duì)齊處理是采用計(jì)算機(jī)進(jìn)行人臉圖像處理的一個(gè)很關(guān)鍵的預(yù)處理步驟，通過(guò)人臉對(duì)齊處理可以將多幅人臉圖像中的眼睛、鼻子和嘴巴等特征點(diǎn)位置校準(zhǔn)到相同位置，進(jìn)而實(shí)現(xiàn)多幅人臉圖像的配準(zhǔn)[1]。在對(duì)彩色人臉圖像進(jìn)行配準(zhǔn)時(shí)，人臉對(duì)齊處理會(huì)對(duì)人臉圖像的色彩產(chǎn)生影響，所以應(yīng)選取對(duì)色彩影響盡可能小的對(duì)齊方法。本文圍繞人臉采集后進(jìn)行人臉對(duì)齊處理開(kāi)展研究，通過(guò)實(shí)驗(yàn)分析了基于幾何變換的兩點(diǎn)對(duì)齊法和三點(diǎn)對(duì)齊法[2]對(duì)人臉圖像色彩（人臉面部色澤）變化的影響，從而優(yōu)選出對(duì)人臉面部色澤變化影響盡可能小的人臉對(duì)齊方法。

1概述

人體內(nèi)臟器官在人臉面部都有對(duì)應(yīng)的反射區(qū)，可以通過(guò)對(duì)人臉面部反射區(qū)的色澤觀察了解對(duì)應(yīng)內(nèi)臟器官的狀況，進(jìn)而評(píng)估人體的健康狀況?！皝喗】怠笔墙橛诮】岛图膊￠g的一種狀態(tài)[3]，既沒(méi)有達(dá)到“健康”的標(biāo)準(zhǔn)，又不符合西醫(yī)中對(duì)于“疾病”的診斷標(biāo)準(zhǔn)，如果能夠及時(shí)發(fā)現(xiàn)并采取相應(yīng)的措施和手段就可恢復(fù)健康，否則可能引起疾病。據(jù)世界衛(wèi)生組織的一項(xiàng)全球調(diào)查顯示，75%的人群處于亞健康狀態(tài)，20%需要醫(yī)治，健康人群只占5%[3]。中醫(yī)“治未病”的主要思想是未病先防，在中醫(yī)診斷的“望、聞、問(wèn)、切”四診法中，“望診”是通過(guò)觀察人面、舌、眼、耳、手的顏色、紋理和形態(tài)來(lái)了解就診者的身體狀況和內(nèi)臟器官功能的變化情況，其中面部是很重要的觀察部位，也就是“望診”中的“面診”。

隨著計(jì)算機(jī)信息處理技術(shù)的發(fā)展，人們已經(jīng)能夠通過(guò)采集人臉面部圖像并結(jié)合圖像處理技術(shù)實(shí)現(xiàn)中醫(yī)面診，已獲得很多的相關(guān)研究成果[4-9]。但就目前的研究成果來(lái)看，都要求人們必須在指定的時(shí)間段到指定的場(chǎng)所采集人臉面部圖像，這對(duì)于上班族們來(lái)說(shuō)就成了一種“額外”的負(fù)擔(dān)，不能做到隨時(shí)隨地實(shí)現(xiàn)健康狀況的評(píng)測(cè)和監(jiān)管。人臉識(shí)別考勤機(jī)已成為利用人臉識(shí)別技術(shù)對(duì)員工進(jìn)行非接觸、快速高效的考勤記錄設(shè)備[10]，并可積累員工的長(zhǎng)時(shí)間人臉圖像。本研究提出了一種兼有健康警示功能的人臉識(shí)別考勤系統(tǒng)，該系統(tǒng)能夠在完成員工日常簽到考勤的同時(shí)，對(duì)人臉圖像序列進(jìn)行面部色澤變化檢測(cè)，通過(guò)分析給出員工健康評(píng)估和健康警示?；谠撓到y(tǒng)獲取健康警示信息的關(guān)鍵是從人臉圖像序列中提取面部色澤變化信息，而面部色澤變化一方面是由于員工自身健康狀況變化引起，另一方面是由于人臉采集和處理過(guò)程中的誤差導(dǎo)致，后者需要盡可能減小。

2人臉圖像對(duì)齊處理方法

2.1人臉圖像和特征點(diǎn)數(shù)據(jù)采集 ?人臉圖像序列的采集過(guò)程首先選取實(shí)驗(yàn)場(chǎng)地，然后采集測(cè)試者人臉圖像并自動(dòng)檢測(cè)出左眼、右眼、鼻子和嘴巴特征點(diǎn)，記錄相應(yīng)的位置信息。人臉圖像序列采集采用Python語(yǔ)言實(shí)現(xiàn)，其中人臉檢測(cè)采用了OpenCV庫(kù)函數(shù)中的基于Haar-like特征的Haar級(jí)聯(lián)分類器實(shí)現(xiàn)，處理流程見(jiàn)圖1。

本文采用了以下函數(shù)分別檢測(cè)人臉、眼睛、鼻子和嘴巴特征位置。

cv2.CascadeClassifier（'haarcascade_frontalface_default.xml'）

cv2.CascadeClassifier（'haarcascade_eyes.xml'）

cv2.CascadeClassifier（'haarcascade_nose.xml'）

cv2.CascadeClassifier（'haarcascade_mouth.xml'）

Haar級(jí)聯(lián)分類器以長(zhǎng)方形框出眼睛、鼻子或嘴巴的位置信息，本文以長(zhǎng)方形中心處的位置作為眼睛、鼻子或嘴巴特征點(diǎn)的位置數(shù)據(jù)。

2.2人臉對(duì)齊處理和標(biāo)準(zhǔn)化圖像截取 ?標(biāo)準(zhǔn)圖像是指經(jīng)過(guò)人臉對(duì)齊處理后、從采集的人臉圖像中截取僅包含人臉面部的圖像，標(biāo)準(zhǔn)化圖像的模板見(jiàn)圖2。

標(biāo)準(zhǔn)化圖像寬度W、高度H，圖像左上角為原點(diǎn)（0，0），固定左眼和右眼位置分別為（x1，y1）和（x2，y2），由于每個(gè)人的鼻子和嘴巴位置相對(duì)于眼睛的位置不盡相同，所以在模板中沒(méi)有固定鼻子和嘴巴的位置。

2.2.1左右眼兩點(diǎn)對(duì)齊法 ?人臉圖像雙眼兩點(diǎn)對(duì)齊法只需要知道兩個(gè)眼睛的位置就可以實(shí)現(xiàn)。通過(guò)MATLAB的兩個(gè)函數(shù)可以實(shí)現(xiàn)人臉兩點(diǎn)對(duì)齊和標(biāo)準(zhǔn)圖截取。

tform2=cp2tform（input_pts，base_pts，'Nonreflective Similarity'）

Img2=imtransform（Img， tform2，'XData'，[1：W]，'YData'，[1：H]）

上述函數(shù)中Img是采集的圖像序列Pi，i=1，2，3…K，人臉對(duì)齊和標(biāo)準(zhǔn)化截取后的圖像序列Img2記為Ii=i，1，2，3，……，K。

2.2.2左右眼+鼻子三點(diǎn)對(duì)齊法 ?人臉圖像雙眼和鼻子三點(diǎn)對(duì)齊法需要知道兩個(gè)眼睛和鼻子的位置對(duì)應(yīng)關(guān)系，圖2的標(biāo)準(zhǔn)化圖像模板中只預(yù)設(shè)了左眼和右眼位置，沒(méi)有預(yù)設(shè)鼻子的位置。本文首先采用前文所述的雙眼兩點(diǎn)對(duì)齊法對(duì)第1幅圖像進(jìn)行標(biāo)準(zhǔn)化處理后，再將第1幅人臉圖像中鼻子（x）的位置投影到標(biāo)準(zhǔn)圖上并設(shè)定為標(biāo)準(zhǔn)化圖像模板中鼻子的位置（x3，y3）。

tform3=cp2tform（input_points， base_points，'Similarity'）

Img3=imtransform（Img，tform3，'XData'，[1：W]，'YData'，[1：H]）

上述函數(shù)中Img是采集的圖像序列Pi，i=1，2，……，K，人臉對(duì)齊和標(biāo)準(zhǔn)化截取后的圖像序列Img3記為Ii=i，1，2，3，……，K。

2.2.3左右眼+嘴巴三點(diǎn)對(duì)齊法 ?雙眼和嘴巴三點(diǎn)對(duì)齊法只是將第三個(gè)特征點(diǎn)選為嘴巴，處理過(guò)程與左右眼+鼻子三點(diǎn)對(duì)齊法相同。

3面部色澤變化評(píng)價(jià)指標(biāo)

為了定量描述標(biāo)準(zhǔn)化圖像序列的色澤變化，分別對(duì)人臉圖像的紅色、綠色、藍(lán)色三個(gè)通道分量和灰度圖像數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，計(jì)算圖像序列的相關(guān)系數(shù)及相關(guān)系數(shù)的均值和均方差。

人臉對(duì)齊處理后，得到標(biāo)準(zhǔn)化圖像序列Ii=i，1，2，3，……，K，分別采用公式（1）計(jì)算紅色、綠色、藍(lán)色通道數(shù)據(jù)和灰度圖像數(shù)據(jù)的相關(guān)系數(shù)C（i）i，i=1，2，3，……，K。

其中，Ii=i，1，2，3，……，K，表示第i幅標(biāo)準(zhǔn)化圖像， 是像素點(diǎn)位置。如果上式計(jì)算過(guò)程中像素點(diǎn)取自紅色通道，得到紅色通道數(shù)據(jù)相關(guān)系數(shù)，同理可以得到綠色和藍(lán)色通道以及灰度圖像的相關(guān)系數(shù)，B（k，l）是由0或1組成的掩膜數(shù)據(jù)，見(jiàn)圖3。

獲得相關(guān)系數(shù)C（i），i=2，3，……，K后，通過(guò)公式（2）和（3）計(jì)算相關(guān)系數(shù)的均值和均方差。

4人臉對(duì)齊方法對(duì)面部色澤的影響分析

4.1數(shù)據(jù)采集方法 ?首先讓測(cè)試者面對(duì)鏡頭、雙目凝視鏡頭，頭部隨機(jī)上下左右做微小擺動(dòng)和轉(zhuǎn)動(dòng)，獲得原始圖像序列;再利用基于Haar-like特征的人臉識(shí)別模塊識(shí)別出面部、左眼、右眼、鼻子和嘴巴位置，存儲(chǔ)原始人臉圖像和各人臉圖像中左眼、右眼、鼻子和嘴巴位置數(shù)據(jù)。

4.2實(shí)驗(yàn)數(shù)據(jù)集 ?為了充分驗(yàn)證所采用三種不同對(duì)齊方法的性能差異，共設(shè)計(jì)采集了兩類各2組數(shù)據(jù)，每組數(shù)據(jù)由24幅圖像組成，分辨率為640×480：

①同一天同一背景下測(cè)試者面部位置和姿勢(shì)略不同的48幅圖像分成2組（各24幅），后續(xù)分析分別稱為數(shù)據(jù)1和數(shù)據(jù)2。這兩組數(shù)據(jù)避免了時(shí)空因素的影響，能夠較好地反映人臉對(duì)齊法對(duì)圖像色彩的直接影響。

②背景不同、隔天（相近時(shí)間）采集的48幅圖像，地點(diǎn)1采集的24張人臉數(shù)據(jù)稱為數(shù)據(jù)3，地點(diǎn)2采集的24張人臉數(shù)據(jù)稱為數(shù)據(jù)4。這兩組數(shù)據(jù)在測(cè)試者無(wú)顯著健康變化的前提下獲得，反映人臉對(duì)齊法對(duì)圖像色彩影響分析結(jié)論的魯棒性。

4.3實(shí)驗(yàn)結(jié)果和分析 ?實(shí)驗(yàn)選取標(biāo)準(zhǔn)圖像寬121個(gè)像素、高151個(gè)像素，左眼位置（91，45）、右眼位置（31，45）。

對(duì)各組圖像序列進(jìn)行特征點(diǎn)位置提取，并基于雙眼兩點(diǎn)法、雙眼+鼻子三點(diǎn)法、雙眼+嘴巴三點(diǎn)法獲取相關(guān)系數(shù)，數(shù)據(jù)1的特征點(diǎn)位置以及三種方法得到的相關(guān)系數(shù)曲線見(jiàn)圖4～圖7，另外3組數(shù)據(jù)的結(jié)果類似。在此基礎(chǔ)上計(jì)算得到三種方法相關(guān)系數(shù)的統(tǒng)計(jì)結(jié)果見(jiàn)表1。

由圖4和表1可以看出：①在每組實(shí)驗(yàn)結(jié)果中，紅色通道相關(guān)系數(shù)的均方差最小，藍(lán)色通道相關(guān)系數(shù)的均方差最大;②同一組圖像序列中，雙眼兩點(diǎn)對(duì)齊法的相關(guān)系數(shù)方差最大，雙眼+嘴巴三點(diǎn)對(duì)齊法的相關(guān)系數(shù)方差最小;③相同背景、短時(shí)間內(nèi)獲得的圖像序列的相關(guān)系數(shù)變化要遠(yuǎn)小于不同背景及不同時(shí)間獲得的圖像序列。

綜上所述，三種對(duì)齊方法中的雙眼兩點(diǎn)對(duì)齊法對(duì)色澤影響較大，雙眼+嘴巴三點(diǎn)對(duì)齊法對(duì)色澤影響較小。理論分析也可知，由于雙眼+嘴巴構(gòu)成三個(gè)特征點(diǎn)三角形要大于雙眼+鼻子三個(gè)特征點(diǎn)三角形，從而在圖像配準(zhǔn)過(guò)程中減小未知畸變，進(jìn)而避免帶來(lái)較大的色彩變化，因而實(shí)驗(yàn)結(jié)果也獲得了較好理論支撐。

參考文獻(xiàn)：

[1]張建樹(shù).人臉對(duì)齊與圖像分類關(guān)鍵算法研究[D].浙江師范大學(xué)，2018.

[2]王文峰，李大湘，王棟，等.人臉識(shí)別原理與實(shí)戰(zhàn)[M].北京：電子工業(yè)出版社，2018：70-84.

[3]黃海波，肖子曾，向忠軍，等.中醫(yī)藥治療亞健康的進(jìn)展[J].中醫(yī)藥導(dǎo)報(bào)，2015，21（5）：50-52.

[4]孫琦，李新霞，武建，等.TCMI智能中診平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)[J].醫(yī)學(xué)信息，2018，31（7）：7-9.

[5]王天芳，李燦東，朱文鋒.中醫(yī)四診操作規(guī)范專家共識(shí)[J].中華中醫(yī)藥雜志，2018，33（1）：185-192.

[6]梁玉梅.基于面象特征的中醫(yī)體質(zhì)自動(dòng)辨識(shí)系統(tǒng)研究[D].北京工業(yè)大學(xué)，2016.

[7]張紅凱，李福鳳.中醫(yī)面診信息采集與識(shí)別方法研究進(jìn)展[J].世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化，2015，17（2）：400-404.

[8]蔡軼珩，呂慧娟，郭松，等.中醫(yī)望診圖像信息標(biāo)準(zhǔn)量化與顯示復(fù)現(xiàn)[J].北京工業(yè)大學(xué)學(xué)報(bào)，2014，40（3）：466-472.

[9]王祉，張紅凱，李福鳳，等.中醫(yī)面診信息計(jì)算機(jī)識(shí)別方法研究及臨床應(yīng)用概述[J].中華中醫(yī)藥學(xué)刊，2014（8）：1882-1885.

[10]王曉亞，封筠.人臉識(shí)別考勤技術(shù)研究[J].河北省科學(xué)院學(xué)報(bào)，2014，31（2）：54-59.