基于卷積神經(jīng)網(wǎng)絡(luò)的人臉圖像美感分類

吳 菲,朱欣娟,吳曉軍,MATTHIAS R?tsch

(1.西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 陜西 西安 710048;2.陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,陜西 西安 710062;3.洛特林根大學(xué) 機(jī)械工程學(xué)院，德國(guó) 洛特林根 72762)

0 引 言

隨著計(jì)算機(jī)視覺(jué)、人工智能領(lǐng)域飛速發(fā)展,越來(lái)越多的學(xué)者從計(jì)算美學(xué)的角度,希望計(jì)算機(jī)能夠模擬人腦,通過(guò)可計(jì)算方法自主評(píng)價(jià)圖像美學(xué)質(zhì)量[1]。為了能夠篩選出高質(zhì)量圖像,早期通過(guò)手動(dòng)提取圖像美學(xué)特征,再利用傳統(tǒng)分類器對(duì)圖像高低美感進(jìn)行分類[2-5]。近年來(lái)深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域,如物體分類、語(yǔ)義分割、目標(biāo)檢測(cè)及物體跟蹤等表現(xiàn)出越來(lái)越大的應(yīng)用潛力[6]。研究者們基于圖像全局[7-9]、局部[10-12]、個(gè)性化查詢[13]等方法,使用卷積神經(jīng)網(wǎng)絡(luò)[14]進(jìn)行圖像美學(xué)評(píng)價(jià)。

機(jī)器人作為人工智能與機(jī)器視覺(jué)的代表,不僅實(shí)現(xiàn)智能化,同時(shí)能夠?qū)κ挛镞M(jìn)行觀察并作出判斷[15]。人臉圖像美學(xué)評(píng)價(jià)成為機(jī)器學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)之一[16-20]。人臉圖像識(shí)別是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)[21],它不僅要提取人臉特征,還要將待識(shí)別的人臉特征與已得到的人臉特征模板進(jìn)行比較,根據(jù)相似程度對(duì)人臉的身份信息進(jìn)行判斷。人臉圖像美學(xué)識(shí)別是以藝術(shù)為主體,通過(guò)識(shí)別人臉圖像,使計(jì)算機(jī)模擬人腦對(duì)人臉圖像美感進(jìn)行判斷識(shí)別。人臉圖像識(shí)別和人臉圖像美學(xué)識(shí)別均屬于生物特征識(shí)別范疇,研究人臉面部圖像,在圖像特征提取、圖像數(shù)據(jù)集上有很多共性。但是由于美學(xué)感知受個(gè)人主觀、文化喜好等影響,因此人臉圖像美學(xué)識(shí)別在研究時(shí)需要考慮主觀評(píng)價(jià)因素。目前,針對(duì)人臉美學(xué)評(píng)價(jià)的研究,公共數(shù)據(jù)集較少,2015年華南理工大學(xué)公開(kāi)了專門(mén)用于人臉美麗評(píng)價(jià)的基準(zhǔn)數(shù)據(jù)集“SCUT-FBP”[22]。SCUT-FBP數(shù)據(jù)集為人臉圖像美學(xué)評(píng)價(jià)的研究作出了貢獻(xiàn)[23],但該數(shù)據(jù)集數(shù)據(jù)量小、圖片背景簡(jiǎn)單、表情中性,且均為亞洲女性。由于現(xiàn)實(shí)環(huán)境復(fù)雜多變,對(duì)人臉圖像進(jìn)行美感分類評(píng)價(jià)時(shí)很難控制人物所在背景的單一性，同時(shí)識(shí)別的人物從年輕到年老的情況均會(huì)出現(xiàn)，因此，人臉圖像美感評(píng)價(jià)分類器采用這些簡(jiǎn)單背景數(shù)據(jù)集訓(xùn)練會(huì)出現(xiàn)識(shí)別率不高等問(wèn)題。

圖像感知人臉美學(xué)計(jì)算具有廣泛的應(yīng)用前景。在機(jī)器視覺(jué)領(lǐng)域,計(jì)算機(jī)對(duì)人臉的美學(xué)評(píng)價(jià),感知人臉的美感,可以更好地進(jìn)行人機(jī)交互。同時(shí),在照相機(jī)系統(tǒng)中,人臉圖像美學(xué)評(píng)價(jià)可以幫助用戶自動(dòng)篩選出滿意的照片等。因此研究復(fù)雜環(huán)境背景下人臉圖像美感分類具有重要的現(xiàn)實(shí)意義和實(shí)用價(jià)值。本文基于經(jīng)典的LeNet-5網(wǎng)絡(luò)模型，通過(guò)改變卷積神經(jīng)網(wǎng)絡(luò)中卷積層、全連接層,并在FemaleFace數(shù)據(jù)集上進(jìn)行模型訓(xùn)練和結(jié)果測(cè)試,確定出適合判斷人臉圖像美感分類的卷積神經(jīng)網(wǎng)絡(luò)模型。

1 人臉圖像美感分類模型設(shè)計(jì)

本文的人臉圖像美感分類識(shí)別算法流程如圖1所示。

圖1 人臉圖像美感分類算法流程圖

主要通過(guò)對(duì)比經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)對(duì)數(shù)據(jù)集圖像進(jìn)行高低美感分類。同時(shí)在模型的構(gòu)建過(guò)程當(dāng)中,當(dāng)模型沒(méi)有達(dá)到收斂狀態(tài)時(shí),采用誤差反向傳播更新權(quán)值來(lái)縮小誤差。

1.1 人臉圖像美感分類網(wǎng)絡(luò)模型構(gòu)建

針對(duì)小樣本數(shù)據(jù)集FemaleFace,本文選用經(jīng)典的LeNet-5網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò),給出了一種針對(duì)人臉圖像美感分類的網(wǎng)絡(luò)模型F-Net(FemaleFace-Net)。該網(wǎng)絡(luò)模型通過(guò)保留LeNet-5網(wǎng)絡(luò)中固有的網(wǎng)絡(luò)層數(shù)量,根據(jù)對(duì)網(wǎng)絡(luò)模型中卷積核大小、池化操作、損失函數(shù)等進(jìn)行調(diào)整。調(diào)整全連接層當(dāng)中特征元數(shù)量,網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示,包括4個(gè)卷積層、4個(gè)池化層和2個(gè)全連接層,以此實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境背景中人臉圖像高、低美感分類。

圖2 F-Net網(wǎng)絡(luò)模型結(jié)構(gòu)

1.2 模型參數(shù)優(yōu)化設(shè)置

1.2.1 卷積層 在卷積層中,采用不同數(shù)量的3*3大小的卷積核對(duì)輸入的人臉圖像進(jìn)行特征提取,每一層卷積后會(huì)將本層提取到的特征傳遞給下一層。卷積操作的計(jì)算公式為

(1)

1.2.2 池化層 為了降低計(jì)算復(fù)雜度,在池化層選擇最大池化方法對(duì)提取到的圖像特征進(jìn)行降維,同時(shí)池化單元具有平移不變性,保證提取到的圖像特征不變。這樣不僅增強(qiáng)了對(duì)數(shù)據(jù)集中圖像位移的魯棒性,同時(shí)可以忽略目標(biāo)人臉圖像的傾斜、旋轉(zhuǎn)等相對(duì)位置的變化,以此提高對(duì)數(shù)據(jù)集中人臉圖像特征提取的精度,增大模型的適應(yīng)性。

為保證人臉圖像邊界信息的完整性,在卷積層、池化層中全部采用相同填充對(duì)輸入的人臉圖像進(jìn)行邊緣補(bǔ)齊,進(jìn)而保證了圖像輸入輸出維度的一致性。相同填充對(duì)輸入輸出圖像大小關(guān)系計(jì)算公式為

n1=n2/S

(2)

式中：n1為輸出圖像;n2為輸入圖像;S為步長(zhǎng)大小。

1.2.3 LRN歸一化層 在模型設(shè)計(jì)時(shí),為了提高模型的收斂效率,同時(shí)可以創(chuàng)建神經(jīng)元的競(jìng)爭(zhēng)機(jī)制,引入LRN歸一化層,來(lái)提高神經(jīng)元的活躍程度。LRN計(jì)算公式為

(3)

1.2.4 交叉熵?fù)p失函數(shù) 使用交叉熵?fù)p失函數(shù),計(jì)算人臉圖像美感分類模型中正確結(jié)果與預(yù)測(cè)結(jié)果之間的誤差,運(yùn)算公式為

(4)

式中：p為標(biāo)準(zhǔn)的概率分布;q為預(yù)測(cè)的概率分布。由于在分類模型訓(xùn)練中學(xué)習(xí)速率可以被輸出的誤差所控制,因此使用交叉熵?fù)p失函數(shù)可以避免在模型梯度下降時(shí)學(xué)習(xí)速率降低的問(wèn)題。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)環(huán)境在Windows 10 64位操作系統(tǒng)的TensorFlow環(huán)境中執(zhí)行,處理器為Inter(R)Xeon(R)CPU E5-2620 v4 @ 2.10 GHz 2.10 GHz,顯卡型號(hào)是NVIDIA Quadro P4000,顯存8 G的計(jì)算機(jī)下完成。訓(xùn)練batch size 設(shè)置為10,初始學(xué)習(xí)率設(shè)定為0.001,訓(xùn)練階段共迭代2 000次,每200次保存一次模型。

FemaleFace數(shù)據(jù)集來(lái)源于德國(guó)洛特林根大學(xué)RT-Lion實(shí)驗(yàn)室,共收集了1 600張人臉圖片,用于機(jī)器人視覺(jué)研究。數(shù)據(jù)集圖片來(lái)源于人物實(shí)際工作和生活,均為處于復(fù)雜環(huán)境背景下的不同年齡、不同表情的女性人像圖。與現(xiàn)有人像數(shù)據(jù)集SCUT-FBP相比,此數(shù)據(jù)集中人物所處背景復(fù)雜,形態(tài)多樣,年齡跨度大,表情豐富,同時(shí)數(shù)據(jù)集中人像包含不同種族和膚色人種。本文將數(shù)據(jù)集中圖片按照0～1分值分成高、低美感2類,分值0.500以下為低美感圖像,分值0.500及以上為高美感圖像。

2.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)初期,首先使用經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet-5、AlexNet、VGG-16分別在FemaleFace數(shù)據(jù)集中進(jìn)行模型訓(xùn)練,使用訓(xùn)練好的模型在測(cè)試集中進(jìn)行測(cè)試,測(cè)試結(jié)果為L(zhǎng)eNet-5的分類準(zhǔn)確率66%,AlexNet分類準(zhǔn)確率58%,VGG-16分類準(zhǔn)確率為62%。LeNet-5網(wǎng)絡(luò)是最簡(jiǎn)單的網(wǎng)絡(luò)模型,在FemaleFace數(shù)據(jù)集中分類結(jié)果是最佳,分類準(zhǔn)確率沒(méi)有因?yàn)槟Ｐ秃?jiǎn)單而受到影響;在訓(xùn)練復(fù)雜的VGG-16網(wǎng)絡(luò)模型時(shí),因其網(wǎng)絡(luò)層數(shù)多,數(shù)據(jù)集樣本量小,造成過(guò)擬合現(xiàn)象,不僅浪費(fèi)了空間資源，同時(shí)在訓(xùn)練過(guò)程中耗時(shí)長(zhǎng),準(zhǔn)確率不高。因此在構(gòu)建網(wǎng)絡(luò)模型時(shí),以經(jīng)典的神經(jīng)卷積網(wǎng)絡(luò)模型中卷積層數(shù)、全連接層數(shù)為參考,使用LeNet-5網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò)進(jìn)行模型的改進(jìn)。

2.2.1 卷積層數(shù)的確定 由于使用了小樣本數(shù)據(jù)集,在構(gòu)建網(wǎng)絡(luò)模型時(shí)為了能夠確定人臉圖像美感分類網(wǎng)絡(luò)模型中卷積層的數(shù)量,在LeNet-5網(wǎng)絡(luò)層數(shù)的基礎(chǔ)上,依次增加1層、2層、3層、4層卷積層進(jìn)行網(wǎng)絡(luò)模型訓(xùn)練,并將網(wǎng)絡(luò)模型命名為T(mén)1、T2、T3、T4,同時(shí)每個(gè)卷積層都包括池化操作。網(wǎng)絡(luò)模型訓(xùn)練完成后,對(duì)測(cè)試集圖像進(jìn)行分類識(shí)別,每個(gè)網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率如表1所示。卷積層數(shù)的變化會(huì)影響分類準(zhǔn)確率,準(zhǔn)確率均保持在60%以上,最高準(zhǔn)確率達(dá)到68.67%。在模型訓(xùn)練的過(guò)程中,隨著卷積層數(shù)的增多,準(zhǔn)確率沒(méi)有呈現(xiàn)明顯的上升趨勢(shì),因此在保證網(wǎng)絡(luò)簡(jiǎn)單的前提下,選擇準(zhǔn)確率的第一個(gè)峰值點(diǎn)所對(duì)應(yīng)的T2網(wǎng)絡(luò)結(jié)構(gòu),作為卷積層數(shù)的最終選擇。

表1 不同卷積層測(cè)試準(zhǔn)確率

2.2.2 全連接層確定 由于全連接層能夠根據(jù)特征的組合進(jìn)行分類,進(jìn)而減少因特征的差異對(duì)分類結(jié)果的影響,因此全連接層在分類準(zhǔn)確率中也有很大作用。在全連接層層數(shù)的確定中,參考3個(gè)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型中全連接層層數(shù),在全連接層數(shù)上沒(méi)有過(guò)多改變,在每層全連接層特征元的提取數(shù)量進(jìn)行了調(diào)整。在已經(jīng)確定好卷積層數(shù)量的T2網(wǎng)絡(luò)結(jié)構(gòu)中,通過(guò)改變?nèi)B接層層數(shù)和全連接層提取特征數(shù)量,進(jìn)行5次實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同全連接層數(shù)量及特征個(gè)數(shù)測(cè)試準(zhǔn)確率

通過(guò)在FemaleFace數(shù)據(jù)集中卷積層相同,全連接層不同的網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練并測(cè)試,結(jié)果表明,全連接層每層特征數(shù)量的變化會(huì)影響分類結(jié)果的準(zhǔn)確率,同時(shí)隨著增加特征元減少的全連接層,分類準(zhǔn)確率也會(huì)受到影響。因此選擇實(shí)驗(yàn)結(jié)果的第一個(gè)峰值點(diǎn)。

2.3 結(jié)果分析

2.3.1 數(shù)據(jù)集分析 在進(jìn)行人臉圖像美感分類模型訓(xùn)練和測(cè)試的數(shù)據(jù)集中,由于圖像分值處在高低美感分界線0.400～0.600之間的圖像,識(shí)別錯(cuò)誤率較高,在分類過(guò)程中,容易將分值0.400～0.500之間的低美感圖像識(shí)別為高美感圖像,同時(shí)在FemaleFace數(shù)據(jù)集中,佩戴墨鏡、帽子等配件的人物圖像因其遮擋五官也會(huì)容易將此類高美感圖像識(shí)別為低美感圖像。由于數(shù)據(jù)集中圖像沒(méi)有處在一個(gè)單一的背景環(huán)境下,當(dāng)圖片中出現(xiàn)多人物關(guān)系時(shí),模型在測(cè)試過(guò)程中很難判斷人物的主次關(guān)系而造成識(shí)別錯(cuò)誤;最后,表情過(guò)分夸張,大喜、大怒的人臉圖像容易識(shí)別錯(cuò)誤。因此，分值在分類線的圖像的錯(cuò)誤判斷對(duì)實(shí)驗(yàn)的分類準(zhǔn)確率結(jié)果影響很大。

2.3.2 模型結(jié)構(gòu)分析 F-Net網(wǎng)絡(luò)模型添加局部響應(yīng)歸一化LRN操作,使用交叉熵?fù)p失函數(shù)。在每個(gè)卷積層后面都使用池化層中最大池化操作進(jìn)行降維。同時(shí)F-Net采用相同填充方式保證了圖像邊緣信息不被丟失。該模型在FemaleFace數(shù)據(jù)集訓(xùn)練得到的網(wǎng)絡(luò)模型分類準(zhǔn)確率最高,達(dá)到73%。與經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型在FemaleFace數(shù)據(jù)集上訓(xùn)練得到的模型相比,LeNet-5模型分類識(shí)別準(zhǔn)確率為66%,F-Net提高了7%;AlexNet分類識(shí)別準(zhǔn)確率為58%,F-Net提高了15%;VGG-16分類識(shí)別準(zhǔn)確率為62%,F-Net提高了11%。F-Net以簡(jiǎn)單的網(wǎng)絡(luò)模型結(jié)構(gòu)達(dá)到了良好的分類效果。

3 結(jié) 語(yǔ)

本文基于LeNet-5經(jīng)典網(wǎng)絡(luò)模型,在復(fù)雜背景、人臉表情豐富的FemaleFace人臉圖像數(shù)據(jù)集進(jìn)行人臉圖像美感分類卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和測(cè)試。通過(guò)對(duì)模型參數(shù)的優(yōu)化,對(duì)比不同卷積層數(shù)量、全連接層數(shù)量及每層全連接層神經(jīng)元的提取數(shù)量確定了一種適用于人臉圖像美學(xué)評(píng)價(jià)的卷積神經(jīng)網(wǎng)絡(luò)模型F-Net,通過(guò)與經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型分類準(zhǔn)確率的對(duì)比,驗(yàn)證了本文改進(jìn)網(wǎng)絡(luò)模型的有效性。

對(duì)于人臉圖像美學(xué)評(píng)價(jià),復(fù)雜的背景環(huán)境難免會(huì)對(duì)評(píng)價(jià)結(jié)果產(chǎn)生影響,在以后的工作中,主要集中在圖像局部與整體的分割,通過(guò)將圖像中人臉部分進(jìn)行人臉識(shí)別,增強(qiáng)人臉區(qū)域提取局部特征，同時(shí)將圖像整體進(jìn)行遍歷提取圖像全局特征,將提取到的特征進(jìn)行特征融合,以進(jìn)一步提高識(shí)別的準(zhǔn)確率。然而,目前樣本數(shù)據(jù)集量小,將會(huì)繼續(xù)增加數(shù)據(jù)集中的樣本數(shù)量,提高模型的泛化能力。