一種基于視覺注意模型的人臉圖像評估算法?

朱利偉，蔡曉東，曾澤興，梁奔香

（桂林電子科技大學(xué)信息與通信學(xué)院，桂林541004）

·微機軟件·

一種基于視覺注意模型的人臉圖像評估算法?

朱利偉，蔡曉東，曾澤興，梁奔香

（桂林電子科技大學(xué)信息與通信學(xué)院，桂林541004）

人臉識別受光照和姿態(tài)等影響。對人臉圖像進行質(zhì)量評估有利于在人臉識別過程中獲得有利于識別的人臉圖像。提出一種新的基于視覺注意模型的人臉圖像質(zhì)量評估方法。首先進行人臉檢測獲得人臉區(qū)域，然后對人臉區(qū)域分別進行眼睛檢測和顯著性檢測，再根據(jù)所得到的眼睛區(qū)域和顯著圖計算左眼顯著性和右眼顯著性，最后計算雙眼顯著性，作為人臉圖像質(zhì)量。該方法計算簡單，不需要參考圖像。實驗結(jié)果表明，該方法能對人臉圖像質(zhì)量進行正確評估，評估結(jié)果符合人眼的視覺注意。

人臉；人臉檢測；質(zhì)量評估；視覺注意力模型；顯著性；無參考

1 引 言

人臉識別是模式識別領(lǐng)域一個非?；钴S的研究方向，在安全、經(jīng)濟領(lǐng)域有著廣闊的應(yīng)用場景。近年來，對人臉識別的研究取得了突破性進展，但是人臉識別算法普遍受光照、姿態(tài)變化、年齡增長、圖像分辨率等因素的影響，離大規(guī)模實際應(yīng)用存在一定距離。

在一個人臉識別系統(tǒng)中，輸入圖像的質(zhì)量嚴重影響系統(tǒng)識別率。準(zhǔn)確評估輸入的人臉圖像質(zhì)量，對提高人臉識別系統(tǒng)的性能（如正確識別率，錯誤拒絕率等）具有重要意義。

目前，很多圖像質(zhì)量評估方法已經(jīng)被提出，但是針對人臉圖像質(zhì)量的評估方法很少。主要有2類：有參考的圖像質(zhì)量評估方法和無參考的圖像質(zhì)量評估方法。其中無參考的圖像質(zhì)量評估方法又可以分為基于機器學(xué)習(xí)和基于非機器學(xué)習(xí)這兩種。

有參考的質(zhì)量評估方法有著較完整的理論體系和成熟的評價框架，常用的方法如峰值信噪比（PeakSignal－Noise Ratio）和結(jié)構(gòu)相似性（Structural Similarity），這類方法需要參考圖像。但是在一個實際的人臉識別應(yīng)用中參考圖像很難得到或是得到的代價很大。Liu［1］等提出一種分塊評估人臉圖像質(zhì)量再融合的方法，采用訓(xùn)練圖像的平均臉作為參考圖像。

對于無參考的質(zhì)量評估方法，不需要參考圖像就能對圖像進行合理評價，符合實際應(yīng)用需求，是未來的發(fā)展趨勢之一?；诜菣C器學(xué)習(xí)的無參考質(zhì)量評估方法，通常是根據(jù)反映人臉圖像質(zhì)量的特征結(jié)合人臉的先驗知識來評估人臉圖像質(zhì)量。多數(shù)這類方法僅僅針對一種或幾種反映人臉圖像質(zhì)量特征的因素，無法很好地反映人臉圖像的整體質(zhì)量。Abaza等人［2］利用高斯模型將對比度、明亮度、清晰度、光照等分別進行歸一化，通過加權(quán)方式將歸一化的質(zhì)量因素整合成人臉的質(zhì)量標(biāo)簽。Marsico等人［3］提出一種基于人臉頭部姿態(tài)、光照變化、人臉對稱性的質(zhì)量評估方法，該方法依賴與人臉特征點的準(zhǔn)確定位。Nasrollahi等人［4］通過分別評估頭部姿態(tài)、清晰度、明亮度、分辨率這四個因素，然后固定加權(quán)綜合來評估人臉圖像整體質(zhì)量。Luo等人［5］利用人臉區(qū)域與圖像面積之比、人臉區(qū)域陰影區(qū)域所占比例、人臉區(qū)域清晰度來評估人臉圖像質(zhì)量

基于機器學(xué)習(xí)的無參考質(zhì)量評估方法的基本思路是：在訓(xùn)練階段，獲得用于訓(xùn)練的人臉圖像質(zhì)量；抽取反映圖像質(zhì)量的特征向量，以此特征向量和其所對應(yīng)的人臉圖像質(zhì)量構(gòu)建質(zhì)量評估模型。在測試階段，用同樣的方法抽取測試圖像的特征向量作為質(zhì)量評估模型的輸入，模型輸出值即為人臉圖像質(zhì)量的客觀評估值。這類方法需要預(yù)先知道部分人臉圖像的質(zhì)量，用之訓(xùn)練模型。但是人臉圖像的質(zhì)量很難準(zhǔn)確獲得。Li等人［6］提取圖像的相位一致性、熵、梯度信息，通過回歸神經(jīng)網(wǎng)絡(luò)建立評估模型。Wong等人［7］提出一種基于分塊和概率的人臉圖像質(zhì)量評估方法。訓(xùn)練時，首先對一系列標(biāo)準(zhǔn)圖像進行分塊，然后通過對每一個塊提取DCT特征建立局部概率模型。將測試圖像各個分塊概率的log乘積作為人臉圖像的最終質(zhì)量。

目前大部分人臉圖像質(zhì)量評估方法都是基于傳統(tǒng)的與人臉無關(guān)的圖像屬性，比如對比度、明亮度、模糊度等，這些方法無法或很難獲取符合人類視覺感受的質(zhì)量評估。

從人類視覺感受出發(fā)，提出了一種基于顯著性檢測的、結(jié)合人臉先驗知識的人臉圖像質(zhì)量評估方法。實驗結(jié)果表明，該方法能夠有效評估人臉圖像質(zhì)量。系統(tǒng)流程圖如圖1所示。

圖1 人臉圖像質(zhì)量評估流程圖

2 人臉圖像的顯著性

顯著性區(qū)域檢測的本質(zhì)是一種視覺注意模型（Visual attention model，VAM）。VAM是依據(jù)視覺注意機制得到圖像中最容易引起注意的顯著部分，并用一幅灰度圖像表示其顯著性，灰度圖像的灰度值由低到高對應(yīng)顯著性從小到大［8］。對于人臉圖像而言，最容易引起注意的是眼睛、鼻子、嘴巴，尤其是眼睛。因此，在顯著圖上，人臉圖像的這些部分應(yīng)該更亮。從算法的效果和時間復(fù)雜度考慮，采用了SR方法［9］。結(jié)果如圖2（b）所示。

其中輸入圖像為I（x），對其傅里葉變換，并且求出振幅譜A（f）和相位譜P（f）。L（f）是log振幅譜。h是一個n*n均值濾波的卷積核，默認n＝3。R（f）就是SR譜。然后利用SR譜和相位譜，進行傅里葉反變換，最后進行一個高斯模糊濾波（σ＝8），最終得到顯著圖S（x）。

3 基于顯著性的人臉圖像質(zhì)量評估方法

通過觀察人臉圖像顯著圖可以知道，標(biāo)準(zhǔn)人臉顯著圖的明亮區(qū)域集中在兩只眼睛的位置，隨著光照條件、頭部姿態(tài)、清晰度、表情等變化，顯著圖的明亮區(qū)域相應(yīng)變化。提出一種基于這種觀察的人臉圖像質(zhì)量評估方法。

其中S（x）表示人臉圖像顯著圖；S表示人臉圖像顯著性；Sl（x）表示左眼區(qū)域顯著圖；Ls表示左眼的顯著性；Sr（x）表示右眼區(qū)域顯著圖；Rs表示右眼顯著性；Qs表示人臉圖像質(zhì)量。計算過程如圖2所示。

圖2 人臉圖像質(zhì)量計算

4 實驗結(jié)果與分析

4.1 不同顯著性的人臉圖像質(zhì)量評估的有效性差別

為評估SR算法能否作為有效的人臉圖像的顯著性檢測方法，比較了SR算法與主流的4種顯著性檢測方法：ac［10］、ft［11］、hc［12］、lc［13］在feret［14］、fei［15］人臉庫中的表現(xiàn)。一些具有代表性的測試圖像及實驗結(jié)果見圖3、4。從圖中可以看出，SR方法得到的顯著圖很好地反映了人眼的視覺感受，而且隨著頭部姿態(tài)、光照條件、圖像清晰度等變化，呈現(xiàn)一定的規(guī)律。其它方法，雖然能夠獲得更加符合人眼視覺感受的顯著圖，但是卻無法正確反映頭部姿態(tài)、光照條件、圖像清晰度等的變化。

圖3 不同的顯著性檢測方法在feret人臉庫的表現(xiàn)

4.2 基于顯著性的人臉圖像質(zhì)量評估的有效性

提出的算法在yaleb人臉庫上進行了實驗。部分結(jié)果如圖5所示。如果人臉圖像左邊亮，右邊暗，則左眼的顯著性高，右眼的顯著性低，結(jié)果兩者的乘積小，反之亦然。如果人臉圖像整體曝光過亮或過暗，則眼睛區(qū)域之外的部分顯著性明顯提高，則兩只眼睛的顯著性會降低，結(jié)果兩者的乘積小。實驗驗證了提出的人臉圖像質(zhì)量評估方法的可行性。

圖4 不同的顯著性檢測方法在fei人臉庫的表現(xiàn)

圖5 基于顯著性的人臉圖像質(zhì)量評估在yaleb中的結(jié)果

4.3 實驗對比

為驗證提出的人臉圖像質(zhì)量評估方法的有效性，與PSNR、mssim算法進行了比較。結(jié)果如圖6所示。從圖中可以看出，提出的人臉圖像質(zhì)量評估方法和psnr、mssim算法的評估結(jié)果趨勢大體一致。都能準(zhǔn)確評估出質(zhì)量最差和質(zhì)量最好的人臉圖像。提出的算法評估出的結(jié)果更符合人眼視覺系統(tǒng)。

圖6 不同的人臉圖像質(zhì)量評估方法比對

5 結(jié)束語

提出了一種基于顯著性分析的無參考的人臉圖像質(zhì)量評估算法。首先對人臉圖像進行人臉檢測，然后對人臉區(qū)域分別進行雙眼檢測和顯著性檢測，接著分別計算左眼和右眼的顯著性，最后將兩者的乘積作為人臉圖像的質(zhì)量。實驗結(jié)果表明，本文算法符合人的視覺注意模型，而且能夠正確地評估人臉圖像質(zhì)量。

［1］ LIU Y，LUO Y，ZHOU W，et al.Image－quality－based fusion approach for face recognition［C］.//Image and Signal Processing（CISP）.Chongqing，CHINA：IEEE，2012.

［2］ ABAZA A，HARRISON M A，BOURLAI T.Quality metrics for practical face recognition［C］.//Pattern Recognition（ICPR）.Tsukuba：IEEE，2012.

［3］ DE MARSICO M，NAPPIM，RICCIO D.Measuringmeasures for face sample quality［C］.//MiFor＇11 Proceedings of the 3rd international ACM workshop on Multimedia in forensics and intelligence.New York，NY，USA：ACM，2011.

［4］ NASROLLAHIK，TM.Extracting a Good Quality Frontal Face Image From a Low－Resolution Video Sequence［J］.IEEE Transactions on Circuits and Systems for Video Technology，2011，21（10）：1353－1362.

［5］ LUO W，WANG X，TANG X.Content－based photo quality assessment［C］.//Computer Vision（ICCV）.Barcelona：IEEE，2011.

［6］ LIC，BOVIK A C，WU X.Blind image quality assessment using a general regression neural network［J］.//Neural Networks.2011，22（5）：793－799.

［7］ WONG Y，CHEN S，MAU S，et al.Patch－based probabilistic image quality assessment for face selection and improved video－based face recognition［C］.//Computer Vision and Pattern Recognition Workshops（CVPRW）.Colorado Springs，CO：IEEE，2011.

［8］ 沈蘭蓀，張菁，李曉光.圖像檢索與壓縮域處理技術(shù)的研究［M］.北京：人民郵電出版社，2008：107－121.

SHEN LANSUN，ZHANG QING，LIXIAOGUANG.Image Retrieval And Compressed Domain Processing［M］.Beijing：Post＆Telecom Press，2008：107－121.

［9］ HOU X，ZHANG L.Saliency detection：A spectral residual approach［C］.//Computer Vision and Pattern Recognition.Minneapolis，MN：IEEE，2007.

［10］ ACHNANTA R，ESTRADA F，WILS P，et al.Salient region detection and segmentation［M］.GER：Springer，2008：66－75.

［11］ ACHANTA R，HEMAMIS，etal.Frequency－tuned salient region detection［C］.//Computer Vision and Pattern Recognition.Miami，F(xiàn)L：IEEE，2009.

［12］ CHENG M，ZHANG G，MITRA N J，et al.Global contrast based salient region detection［C］.//Computer Vision and Pattern Recognition（CVPR）Providence，RI：IEEE，2011.

［13］ ZHAI Y，MUBARAK S.Visual attention detection in video sequences using spatiotemporal cues［C］.//MULTIMEDIA＇06 Proceedings of the 14th annual ACM international conference on Multimedia.New York，NY，USA：ACM，2006.

［14］ PHILLIPS P J，WECHSLER H，HUANG J，et al.The FERET database and evaluation procedure for face－recognition algorithms［J］.Image and Vision Computing，1998，16（5）：295－306.

［15］ C.E.Thomaz and G.A.Giraldi.A new rankingmethod for Principal Components Analysis and its application to face image analysis［J］.Image and Vision Computing，2010，28（6）：902－913.

A Face Image Assessment Algorithm Based on Visual Attention Model

Zhu Liwei，Cai Xiaodong，Zeng Zexing，Liang Benxiang
（School of Information and Communication，Guilin University of Electronic Technology，Guilin 541004，China）

Face recognition is influenced by illumination and posture.Face image quality assessment obtained in the process of face recognition is good for face image recognition.This paper proposes a new model based on visual attention to do quality assessmentmethod.First，the face region is got by face detection，and then eyes detection and significance detection are conducted separately.According to the obtained eyes area and significant figure，the significant characteristics of the right eye and the left one are calculated and that of two eyes is used as a human face image quality.Thismethod is simple and do not need the reference images.The test results show that the method can assess the face image quality correctly and the assessment results conform to the human eye visual attention.

Human face；Face detection；Quality assessment；Visual attention model；Significant characteristics；No reference

10.3969/j.issn.1002－2279.2015.06.010

TP391.41

A

1002－2279（2015）06－0036－04

廣西自然科學(xué)基金（2013GXNSFAA019326）；國家科技支撐課題（2012BAH20B10）

朱利偉（1989－），男，廣西省桂林市人，碩士研究生，主研方向：圖像處理、模式識別。

蔡曉東（1971－），男，廣西省桂林市人，博士，副教授，主研并行化圖像和視頻處理、模式識別與智能系統(tǒng)。

2015－03－10