基于特征級和決策級融合的人臉吸引力評價方法

李金蔓，汪劍鳴,2，金光浩

(1.天津工業(yè)大學 電子與信息工程學院，天津 300387； 2.天津工業(yè)大學 計算機科學與技術(shù)學院，天津 300387)(*通信作者電子郵箱jinguanghao@tjpu.edu.cn)

0 引言

深度學習和機器學習等技術(shù)的發(fā)展，可以使網(wǎng)絡自動學習并選取多種特征用于分類或識別，從而達到很高的精度。在人臉檢測領(lǐng)域，因為人臉包含著豐富而又復雜的信息，往往會提取多種面部特征信息進行融合并篩選，從而實現(xiàn)更高的檢測精度。在交友或面試等很多社交場合，人臉吸引力作為第一印象，發(fā)揮著很重要的作用。區(qū)別于簡單的人臉檢測，人臉吸引力的檢測不僅涉及到人臉的多種特征的融合，更包含個人的審美和大眾審美偏好等決策因素。目前人臉可用于吸引力分析的特征可分為兩大類：一類是臉型輪廓、幾何比例、膚色、對稱性等全局特征；一類是皮膚紋理、五官尺寸等局部特征[1]。Eisenthal等[2]提出基于人臉的37個距離特征和頭發(fā)顏色、面部平滑程度、人臉對稱性作為人臉吸引力程度的表征特征，這是在人臉吸引力預測領(lǐng)域的最初探索。Mao等[3]提出了一個17維的面部吸引力幾何特征表示，在分類問題上取得了不錯的結(jié)果。Zhang等[4]將幾個低級別的人臉特征和高級特征相結(jié)合，提出了一個基于數(shù)據(jù)驅(qū)動的面部美麗程度分析框架。依靠手動標注和典型的特征，面部吸引力程度研究已經(jīng)取得了很好的效果。但是僅僅手工獲取的特征級的信息融合已經(jīng)難以對人臉吸引力這一研究達到實際的應用需求精度。Gan等[5]則在不依賴人工特征選擇的情況下，通過卷積限制玻爾茲曼機(Convolutional Restricted Boltzmann Machine, CRBM)對面部吸引力特征進行自動學習。另外，Gan等[6]提出了一種基于自適應去卷積網(wǎng)絡(Adaptive Deconvolutional Network, ADN)的面部美麗程度預測模型，通過卷積網(wǎng)絡來實現(xiàn)圖片特征的層次化表達。上述的研究方法還僅限于單一層面上的特征融合，還沒有利用決策級融合的互補性，無法直接用于個性化的人臉吸引力檢測。通過決策級融合能夠充分利用多模態(tài)信息，更加精確地預測結(jié)果。Simonyan等[7]通過時空雙流網(wǎng)絡輸出兩個分數(shù)，通過決策級融合，對動作的識別精確度有顯著提高。何剛等[8]曾嘗試將特征級和決策級信息融合進行場景分類，并且取得了不錯的結(jié)果。

本文借鑒了多層次融合的思想，針對僅依靠特征級融合在個性化人臉吸引力預測中精度不高的問題，提出了一個基于特征級和決策級信息融合的個性化人臉吸引力預測框架。該方法能夠充分利用多模態(tài)信息，發(fā)揮信息融合在特征級和決策級的互補性優(yōu)勢，不僅在特征級融合了具有代表性的人臉吸引力特征，同時在決策級上融合進大眾主流審美偏好信息進而進行個性化預測。實驗結(jié)果表明，所提方法相比于其他關(guān)于個性化人臉吸引力問題研究的算法，在個性化預測精確度上有顯著的提高。

1 相關(guān)工作

1.1 人臉吸引力特征提取

人臉吸引力特征提取對于最終的分類預測結(jié)果至關(guān)重要，本文主要提取17維全局特征[9]、Gabor紋理特征[10]作為面部吸引力的全局和局部特征的典型代表。17維全局特征是通過獲得72個面部特征點，計算一些重要的面部特征點之間的距離，歸一化距離特征得到的。Gabor特征則是采用多方向多尺度的濾波器對人臉圖片提取紋理信息進行描述。由于獲得的特征維數(shù)過高，本文采用了用于降維的線性判別分析(Linear Discriminant Analysis, LDA)算法[11]，其基本思想是將數(shù)據(jù)投影到較低維空間上，將這些獲得的特征作為深度網(wǎng)絡特征提取后的特征補充。

1.2 信息融合

多層次信息融合分為數(shù)據(jù)級融合、特征級融合和決策級融合[12]。數(shù)據(jù)級融合作為一個正式的研究領(lǐng)域也稱為多傳感器融合，主要是通過多個來源的數(shù)據(jù)，可以比單一數(shù)據(jù)提供更有意義、準確且可靠的消息，在軍事安全和民用領(lǐng)域有諸多應用。特征級融合則是將來自于同一個對象的不同特征進行融合，根據(jù)融合策略不同而有不同的融合方法。決策級融合則是由不同的判別器都先得到一個結(jié)果，然后再進行融合決策。而本文則是利用了同一張圖片提取的多種代表性特征進行特征級融合后進行第一輪預測，再與大眾主流審美偏好信息評分進行決策級融合，最終實現(xiàn)個性化人臉吸引力預測。

2 多層次信息融合的人臉吸引力預測框架

本文提出的基于多層次信息融合的人臉吸引力預測框架如圖1所示。首先，對輸入圖像提取全局特征和局部特征；然后，進行特征級融合，同時通過卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)的卷積層進行自動特征提取，再將所提取特征和第一次融合的特征進行特征級再融合，得到圖像最終的特征表達輸入到全連接層；最后由網(wǎng)絡最終輸出的決策分數(shù)和輸入圖像的大眾偏好評分進行決策級融合得到預測結(jié)果。

圖1 系統(tǒng)框圖Fig.1 System framework

2.1 建立數(shù)據(jù)集

大眾審美偏好信息代表了公眾視野中具有吸引力的面孔的共同特征。由于大數(shù)據(jù)相關(guān)研究的發(fā)展，可以通過各種社交網(wǎng)站輕松獲取公共評分數(shù)據(jù)。在本文中，已經(jīng)公開的SCUT-FBP-500數(shù)據(jù)庫[13]已經(jīng)帶有人臉吸引力標簽；另一個FaceScrub 數(shù)據(jù)集[14]是沒有吸引力的標簽。因此，本文設(shè)計了一個在線評分系統(tǒng)來收集FaceScrub子集的評分。

本文根據(jù)研究標準選擇了FaceScrub數(shù)據(jù)庫的圖像，這些圖像是女性的面孔，臉部沒有被遮擋，沒有強烈的光線變化，沒有強烈的表情變化。同時邀請了測試人員通過在線評分系統(tǒng)對子集進行評分，獲得每張照片的評分和分布。然后通過平均所有測試者的評分來計算每張圖片的標簽。標簽通過整體概率密度分布進行分析，評分分布接近高斯分布，評分在2.5附近有較高的分布。這意味著一般的面孔比非常漂亮或不引人注目的面孔更普遍，這也反映了現(xiàn)實世界的情況。事實上，在社交生活中，非常有吸引力的人臉數(shù)量是少數(shù)，普通的人臉最常見。

本文通過標準偏差分布來驗證標簽的有效性，如圖2所示，其中橫坐標為平均吸引力評分，1代表非常不漂亮，5代表非常漂亮。由圖2可以看出：當評分接近1和5時，偏差很小；在2.5和3.5之間的區(qū)間，偏差最大。這也表明人們的偏好對于非常有吸引力的、沒有吸引力的面孔是非常一致的，但是對于一般的面孔而言是非常主觀的。

圖2 標準偏差分布Fig. 2 Distribution of standard deviation

同時，數(shù)據(jù)庫通過設(shè)計實驗進行驗證。另外將測試者隨機分成兩組，計算兩組之間的平均Pearson相關(guān)系數(shù)(Pearson Correlation coefficient, PC)[15]。將此過程重復多次得到平均系數(shù)為0.89，結(jié)果如表1所示。表1結(jié)果表明數(shù)據(jù)庫標簽具有高度一致性。

表1 FaceScrub數(shù)據(jù)標簽一致性驗證Tab. 1 Consistency verification of FaceScrub data label

2.2 特征級融合

特征融合和信息融合已廣泛應用于人臉識別、運動識別、場景識別和分割等領(lǐng)域[16-18]，目前也已應用于人臉吸引力程度分析。本文提出了一種融合全局和局部特征來表示人臉吸引力的方法。為了融合特征，選擇了典型相關(guān)分析(Canonical Correlation Analysis, CCA)[19]特征融合方法。典型相關(guān)分析是對兩個變量之間相關(guān)性的統(tǒng)計研究,也是一種降維技術(shù)。典型相關(guān)分析的實質(zhì)是在兩組隨機變量中選擇幾個具有代表性的綜合指標(變量的線性組合)。兩個指標之間的相關(guān)性用于表示兩組變量之間的相關(guān)性。在兩組變量的相關(guān)分析中，它可以在簡化變量中發(fā)揮合理的作用。當?shù)湫拖嚓P(guān)系數(shù)足夠大時，另一組變量的線性組合可以根據(jù)回歸分析值中的一組變量值來預測。

CCA算法的具體步驟為：

1)尋找具有最高相關(guān)系數(shù)的典型變量的線性組合。這個組合不是唯一的，它可能涵蓋變量的所有特征。

2)繼續(xù)尋求每組變量的線性組合，并且這次需要兩組變量之間具有最大相關(guān)性的線性相關(guān)性，并且與1)中組合無關(guān)。

3)這兩種線性組合的關(guān)系與正交組合的關(guān)系相似。每組變量的線性組合產(chǎn)生一個新的變量。

X′=ωx1x1+…+ωxmxm=ωXTX

(1)

Y′=ωy1y1+…+ωymym=ωYTY

(2)

其中：X和Y被稱為典型變量，X′、Y′為X、Y投影到一維上的結(jié)果。然后將融合后的特征與CNN所提取的圖像特征進行特征級再融合。

本文通過支持向量機(Support Vector Machine, SVM)、隨機森林(Random Forest, RF)和多元線性回歸(Linear)這幾種傳統(tǒng)機器學習算法驗證了特征融合在面部吸引力預測中的有效性,同時對比了融合了典型特征的CNN和簡單CNN的性能。

2.3 決策級融合

本文提出了幾種個人和大眾審美偏好信息決策級融合的方法，用于個性化人臉美學評價研究,并對其性能進行了比較,通過大量的實驗驗證了所提方法的有效性和可靠性。通過CNN來自動提取圖像的層次化特征，并將其與特征級融合后的面部吸引力典型代表特征進行二次特征融合，然后通過網(wǎng)絡的全連接層輸出第一次的決策結(jié)果；基于所提出的決策級融合方法對第一次決策結(jié)果與大眾偏好信息進行決策級融合，最后輸出個性化預測結(jié)果。根據(jù)對現(xiàn)有方法的研究分析，本文提出了如下幾種決策級融合方法：

1)CNN+平均(AVErage, AVE) 融合。將CNN輸出的第一次決策結(jié)果與數(shù)據(jù)庫的大眾偏好評分進行決策級融合。AVE融合是取第一次的決策結(jié)果和大眾偏好評分的平均，也就是，第一次的決策結(jié)果和大眾偏好評分按照相同的權(quán)重參與評分決策。

2)CNN +線性自動賦權(quán)(Linear Automatic Empowerment, LAE)融合。由于不同個體受群眾影響程度的差異，模型應該是適應性的。由于個人審美與大眾審美偏好高度相關(guān)，因此該模型應具有普遍一致性。個人審美偏好評分和大眾審美偏好評分是線性的關(guān)系?；谧罨镜木€性模型來設(shè)計和改進本文的模型，建立了一個稱為LAE的自適應模型，使用殘差作為損失函數(shù)，目的是為了最小化解決模型參數(shù)的殘差。損失函數(shù)的具體形式如下：

(3)

其中：m是樣本數(shù)量；yi是真實值；f(xi)是預測值。本文使用了LAE來建立決策級融合模型：

R=αRC+βRP

(4)

α+β=1

(5)

其中：α，β是權(quán)重系數(shù)，0<α,β<1；R表示最終個性化預測分數(shù)；RC表示圖片的大眾評價分數(shù)；RP表示圖片的第一次決策輸出的分數(shù)。這里的權(quán)重因子根據(jù)每個不同的個體自動選擇。

3)CNN+支持向量回歸(Support Vector Regression, SVR)融合。通過SVR建立決策級融合模型，將CNN輸出的第一次決策結(jié)果和數(shù)據(jù)庫大眾偏好評分的標簽融合。SVR是通過構(gòu)建高維空間中的線性決策函數(shù)來構(gòu)造的，并通過核函數(shù)來實現(xiàn)，最終實現(xiàn)個性化面部吸引力評分預測。

4)CNN融合。本文嘗試直接在CNN結(jié)構(gòu)中添加了融合層，網(wǎng)絡結(jié)構(gòu)如圖3所示。融合層被用來將個人審美偏好信息和大眾審美偏好信息融合在一起，并最終通過全連接層來輸出預測評級。通過這種方式，可以實現(xiàn)端到端自動提取測量圖像的特征以進行個性化的人臉吸引預測，比現(xiàn)有的方法更有效率。

圖3 融合CNN網(wǎng)絡架構(gòu)Fig. 3 Fusion CNN architecture

3 實驗結(jié)果及分析

本文在兩個公開的人臉數(shù)據(jù)集上進行了評估：第一個是SCUT-FBP[13]，其中包括500張具有吸引力評分的亞洲女性照片；第二個是FaceScrub[14]，其中包含6 195位公眾人物的141 130張人臉照片。對于這兩個數(shù)據(jù)集，利用所提的融合框架進行實驗。

3.1 模型評估標準

本文基于Pearson相關(guān)系數(shù)(PC)[15]、殘差(RESidual, RES)[20]和決定系數(shù)(Coefficient of Determination, R2)[21]評估不同算法的預測性能。

(6)

(7)

(8)

其中:m是樣本數(shù)量;yi是真實值;f(xi)是預測值。相關(guān)系數(shù)接近于1或-1，相關(guān)性較強;相關(guān)系數(shù)接近0，相關(guān)性較弱。通常，相關(guān)系數(shù)為0.8～1.0是強相關(guān)的。殘差包含有關(guān)模型基本假設(shè)的重要信息，如果回歸模型是正確的，可以使用殘差作為誤差的觀測值，它應該符合模型的假設(shè)并具有誤差的一些性質(zhì)。決策系數(shù)反映了因變量的整體變化，可以用回歸關(guān)系來解釋。如果R2越接近1，則表示擬合程度越好。

3.2 特征級融合對比實驗

本文使用的機器學習方法包括SVM回歸(SVR)、線性回歸(Linear)、隨機森林(RandomForest)，比較了不同算法在預測面部吸引力評分方面的表現(xiàn)。通過用10%數(shù)據(jù)集作為測試的交叉驗證實驗獲得相關(guān)結(jié)果。同時，為了驗證特征融合比僅使用單個幾何特征更有效，使用CCA算法融合F17特征和Gabor濾波器獲得的局部特征。最后，再將融合了全局和局部特征的CNN與簡單CNN的性能進行對比。實驗結(jié)果如表2所示。

表2 基于SCUT-FBP數(shù)據(jù)庫特征融合結(jié)果對比Tab. 2 Comparison of feature fusion results based on database SCUT-FBP

從表2可以看出：最好的相關(guān)系數(shù)(PC)是通過CNN實現(xiàn)的；線性回歸在PC、RES和R2上也表現(xiàn)出良好的性能。此外，組合特征顯示比單特征具有更好的性能，這表明幾何特征和皮膚紋理特征對于面部美感的感知是重要的。在以后的研究中，考慮將不同信息的更多特征融合來比較它們的有效性。

3.3 決策級融合對比實驗

本文利用CNN自動提取特征，再與面部典型特征進行特征級融合，并將其輸入決策級融合模型以預測最終評分。通過實驗對比了單一方法和決策級融合方法的性能，結(jié)果如表3所示。單一方法SCNN(Single CNN),網(wǎng)絡只輸入個人主觀評分。決策級融合方法包括CNN融合、SVR融合、AVE融合和LAE融合。

從表3中看出，由CNN+SVR融合得到的Pearson相關(guān)系數(shù)(PC)是最好的。此外，實驗驗證了共識性和主觀性信息融合取得了更好的結(jié)果。

在驗證了融合模型的有效性之后，再次在FaceScrub子集上進行測試實驗，比較了四種融合策略的性能，結(jié)果如表4所示。與SCUT-FBP不同，F(xiàn)aceScrub子集中的圖像都是西方女性的面孔，這也是模型預測的一個不確定因素。本文構(gòu)建的子集標簽通過自洽性和一致性驗證，數(shù)據(jù)分布符合一般人臉吸引力程度分布規(guī)律。

從表4可以看出，由FaceScrub子集結(jié)果可以得到與SCUT-FBP數(shù)據(jù)庫相同的結(jié)論，由CNN+SVR融合得到的Pearson相關(guān)系數(shù)(PC)是最好的。在單一隨機實驗中，SVR 融合可以達到PC為0.99、RES為0.01。

表 3 不同方法在SCUT-FBP數(shù)據(jù)庫的結(jié)果對比Tab. 3 Result comparison of different methods on database SCUT-FBP

表 4 不同方法FaceScrub子集上的結(jié)果對比Tab. 4 Result comparison of different methods on subset FaceScrub

將本文所提出框架的實驗結(jié)果和現(xiàn)有關(guān)于個性化人臉吸引力研究和共識性人臉吸引力研究的相關(guān)成果[4,13,22-26]進行對比，結(jié)果如表5所示，表中最后兩行代表分別基于SCUT-FBP數(shù)據(jù)庫和FaceScrub子集的實驗結(jié)果。由表5可知，在個性化人臉吸引力研究問題中，本文所提出框架能夠?qū)崿F(xiàn)更高的相關(guān)系數(shù)和更小的誤差，甚至優(yōu)于共識性人臉吸引力算法所達到的最好指標。

表5 不同方法實驗結(jié)果對比Tab. 5 Comparison of experimental results of different methods

4 結(jié)語

針對特征級融合對于個性化人臉吸引力預測這個問題預測相關(guān)性不夠的問題，本文提出了一個集合特征級融合和決策級融合的個性化人臉吸引力預測框架，有效地將關(guān)鍵性的大眾審美偏好融入模型中，提高了個性化相關(guān)性系數(shù)，從而達到了很高的個性化預測精度。在基于SCUT-FBP-500和FaceScrub兩個公開數(shù)據(jù)庫的實驗中，該框架相比其他關(guān)于個性化人臉吸引力問題研究的算法表現(xiàn)出突出優(yōu)勢。將更典型的代表性特征納入框架并采用更有效的方法得到大眾審美及個性化預測信息，是下一步需要改進的方向。