基于深度學(xué)習(xí)的臉部年齡預(yù)測(cè)算法

張亮亮，張明艷，程凡永，周 鵬

（安徽工程大學(xué)安徽省電氣傳動(dòng)與控制重點(diǎn)實(shí)驗(yàn)室，安徽蕪湖 241000）

0 概述

人臉部年齡的準(zhǔn)確預(yù)測(cè)具有很高的利用價(jià)值，在智能推薦、電子商務(wù)廣告推送、圖像信息檢索與圖像理解［1］等人機(jī)交互任務(wù)中具有廣闊的應(yīng)用前景。目前使用較廣泛的年齡預(yù)測(cè)系統(tǒng)由特征提取和年齡預(yù)測(cè)兩個(gè)部分組成。前者涉及到人體測(cè)量學(xué)模型［2］、柔性模型［3］及流形學(xué)習(xí)模型［4］等。人體測(cè)量學(xué)模型在對(duì)人臉器官信息測(cè)量的基礎(chǔ)上結(jié)合數(shù)學(xué)建模方法，可有效描述輪廓變化和年齡增長(zhǎng)之間的關(guān)系。柔性模型關(guān)鍵是將人臉部形狀和灰度或紋理相聯(lián)系，并進(jìn)行相應(yīng)的訓(xùn)練獲取人臉的特征信息，進(jìn)而獲得相應(yīng)的人臉模型。流形學(xué)習(xí)模型通過(guò)使用流形嵌入技術(shù)對(duì)不同年齡的人臉圖像進(jìn)行訓(xùn)練學(xué)習(xí)，進(jìn)而獲取到相應(yīng)的年齡變化趨勢(shì)，該算法的優(yōu)勢(shì)在于不需要大量的個(gè)體樣本，甚至在某些特殊情況下單個(gè)個(gè)體僅需要一個(gè)樣本即可。年齡預(yù)測(cè)部分主要包括回歸模型［5］和分類(lèi)模型［6］。回歸模型依據(jù)人類(lèi)年齡值的連續(xù)特點(diǎn)，使用相應(yīng)的回歸函數(shù)實(shí)現(xiàn)對(duì)年齡值的擬合計(jì)算，進(jìn)而能夠有效實(shí)現(xiàn)對(duì)年齡的預(yù)測(cè)。文獻(xiàn)［5］用二次回歸函數(shù)表示臉部圖像的年齡變化規(guī)律，該方法在局部年齡段可取得較好的預(yù)測(cè)結(jié)果，但對(duì)于該年齡段之外的臉部圖像年齡預(yù)測(cè)效果欠佳。分類(lèi)模型在對(duì)年齡進(jìn)行預(yù)測(cè)時(shí)，通常是按照提前劃分好的年齡段實(shí)現(xiàn)對(duì)年齡的準(zhǔn)確預(yù)測(cè)，并且最終計(jì)算出的預(yù)測(cè)結(jié)果也不是與真實(shí)年齡值相似的值，而是一個(gè)一定大小的預(yù)測(cè)范圍。文獻(xiàn)［6］借助EM 算法在低維2DLDA+LDA 空間中構(gòu)建了11 種高斯模型，由此能夠?qū)Ω鞫文挲g區(qū)間進(jìn)行明確劃分。

上述方法都難以有效提取人臉的復(fù)雜特征并挖掘出人臉的年齡變化規(guī)律。針對(duì)這兩個(gè)方面的問(wèn)題，本文結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network，RNN）的優(yōu)點(diǎn)對(duì)臉部圖像進(jìn)行分割，并得到臉部圖像的左眼、右眼、鼻子和嘴巴四個(gè)部分的局部圖像，再通過(guò)Inception V4 模型［7］提取人臉面部圖像多尺度局部特征，并將這四個(gè)部分的局部特征使用串聯(lián)的方式得到融合特征。通過(guò)將不同年齡的融合特征輸入雙向長(zhǎng)短期記憶（Long Short-Time Memory，LSTM）［8］中學(xué)習(xí)不同年齡的特征關(guān)聯(lián)性，以實(shí)現(xiàn)對(duì)不同年齡的準(zhǔn)確預(yù)測(cè)。

1 年齡特征提取

1.1 基于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的年齡特征提取

卷積神經(jīng)網(wǎng)絡(luò)［9］是一種深度學(xué)習(xí)模型，利用該模型可快速有效地提取圖像特征。目前卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖像識(shí)別和分析等領(lǐng)域。如圖1 所示，CNN 的層級(jí)結(jié)構(gòu)有以下5 層構(gòu)成：第1層是輸入層（Input Layer），該層的主要作用是預(yù)處理原始圖像；第2 層是卷積層（Convolution Layer），該層可完成卷積運(yùn)算；第3 層是池化層（Pooling Layer），該層可實(shí)現(xiàn)對(duì)圖像的壓縮處理；第4 層是全連接層（Fully Connected Layer），該層可實(shí)現(xiàn)特征轉(zhuǎn)換處理；第5 層是輸出層（Output Layer），該層的作用是將分類(lèi)結(jié)果輸出。卷積運(yùn)算的過(guò)程如式（1）所示：

其中，l為卷積層數(shù)，為第l層的第j個(gè)特征圖，Mj為感受野，K為卷積核，b為偏置，∫為激勵(lì)函數(shù)。

圖1 CNN 結(jié)構(gòu)Fig.1 Structure of CNN

當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)較深時(shí)，傳統(tǒng)的CNN 模型提取的特征主要為抽象特征，缺少人臉的多尺度信息，而年齡預(yù)測(cè)不僅需要人臉的抽象特征，而且還需要注重細(xì)節(jié)特征。因此，直接使用傳統(tǒng)的CNN 模型對(duì)年齡進(jìn)行預(yù)測(cè)的效果欠佳。

1.2 基于Inception V4 的年齡特征提取

針對(duì)傳統(tǒng)CNN 模型對(duì)年齡預(yù)測(cè)效果較差的問(wèn)題，本文將Inception V4用于特征提取中。Inception V4是Google 在以Inception 網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成的前三代分類(lèi)器的基礎(chǔ)上，經(jīng)過(guò)升級(jí)得到的第四代卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器。該網(wǎng)絡(luò)分類(lèi)器的結(jié)構(gòu)如圖2 所示。Inception V4 網(wǎng)絡(luò)對(duì)于構(gòu)成Inception 塊的每個(gè)深度網(wǎng)絡(luò)網(wǎng)格大小都進(jìn)行設(shè)計(jì)和統(tǒng)一，并通過(guò)在每一層中引入多尺度卷積核來(lái)實(shí)現(xiàn)多尺度特征的提取，且在圖像分類(lèi)中取得較高的分類(lèi)準(zhǔn)確率。

圖2 Inception V4 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of Inception V4

本文用Inception V4提取臉部子區(qū)域圖像的特征。當(dāng)臉部圖像經(jīng)過(guò)預(yù)處理輸入Inception 網(wǎng)絡(luò)后，該模塊會(huì)對(duì)同一輸入映射上的多個(gè)不同變換進(jìn)行5×5 和3×3的卷積變換以及最大池化，并將相應(yīng)的結(jié)果都傳送到輸出上，其過(guò)程如圖3 所示。即該模塊對(duì)每個(gè)神經(jīng)網(wǎng)絡(luò)層都會(huì)進(jìn)行并行計(jì)算，且該模型的下一層會(huì)對(duì)獲取的特征信息進(jìn)行判斷以及如何有效利用。

圖3 Inception 模塊工作機(jī)理Fig.3 Working mechanism of Inception module

上述運(yùn)算在充分保留信息密度的同時(shí)，也會(huì)引起計(jì)算量激增。為了降低計(jì)算量，Inception V4 借助于1×1 卷積對(duì)輸入張量進(jìn)行特征降維和融合，例如圖4 中的Inception-A 塊，利用1×1 卷積和多通道的優(yōu)勢(shì)，能夠有效提取空間信息，并且能夠?qū)⑻崛〉降目臻g信息壓縮到更低維度。通過(guò)以上運(yùn)算操作，不僅可充分保留臉部圖像的信息密度，而且可更有效地提高神經(jīng)網(wǎng)絡(luò)的表征能力。由Inception V4 得到不同年齡的融合特征后，雙向LSTM 將對(duì)這些不同年齡的多尺度融合特征進(jìn)行關(guān)聯(lián)性分析，以完成年齡預(yù)測(cè)。

2 年齡預(yù)測(cè)

2.1 整體框架

不同個(gè)體的人臉老化過(guò)程具有個(gè)性化和動(dòng)態(tài)性的雙重特點(diǎn)。因此，假如將年齡預(yù)測(cè)作為一種分類(lèi)問(wèn)題，即能夠?qū)⒉煌挲g當(dāng)作彼此相互獨(dú)立問(wèn)題來(lái)處理，但是這樣的做法忽略了不同年齡之間的相關(guān)性，將會(huì)導(dǎo)致各個(gè)年齡區(qū)間的主要信息被遺漏。假設(shè)將預(yù)測(cè)年齡看作是回歸分析中的主要問(wèn)題，并由此展開(kāi)一系列的具體操作，雖然能夠?qū)Σ煌挲g的相關(guān)性加以考慮，但是處理過(guò)程卻將人臉年齡的變化作為一個(gè)恒速變化對(duì)待，而實(shí)際上青年人的人臉變化速度相較于中老年人更快［10］。

針對(duì)以上問(wèn)題，本文將Inception V4 與雙向LSTM 聯(lián)合用于年齡預(yù)測(cè)領(lǐng)域，實(shí)現(xiàn)了多尺度特征提取和特征關(guān)聯(lián)性分析的結(jié)合，充分挖掘臉部特征變化規(guī)律以降低年齡預(yù)測(cè)誤差。本文所提算法先預(yù)處理原始臉部圖像，進(jìn)而可以得到人臉局部圖像，然后利用Inception V4 模型對(duì)臉部局部特征進(jìn)行分類(lèi)提取，再將不同局部特征相串聯(lián)進(jìn)而得到融合特征，繼而將不同年齡的融合特征輸入至雙向LSTM 中，以學(xué)習(xí)不同年齡特征間的相關(guān)性，從而完成年齡預(yù)測(cè)。本文所提年齡預(yù)測(cè)框架流程如圖5所示。

圖5 年齡預(yù)測(cè)流程Fig.5 Procedure of age prediction

2.2 基于雙向LSTM 的年齡預(yù)測(cè)

卷積神經(jīng)網(wǎng)絡(luò)在特征提取方面表現(xiàn)較佳且應(yīng)用廣泛。然而，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取的特征通常是靜態(tài)特征，特征之間缺少相關(guān)性，但現(xiàn)實(shí)世界中很多元素之間都是相互聯(lián)系的，人臉年齡特征則是如此。因此，在年齡估計(jì)階段需挖掘出不同年齡臉部特征的相關(guān)性以及變化規(guī)律。

針對(duì)以上問(wèn)題，本文將雙向LSTM 應(yīng)用于算法的年齡預(yù)測(cè)階段。LSTM 可對(duì)時(shí)序數(shù)據(jù)進(jìn)行合理的處理，并且確保每次輸入中的重要信息都可以得到保留，從理論上來(lái)講可以將輸入的所有核心信息都包括在內(nèi)，繼而通過(guò)對(duì)所有輸入信息進(jìn)行綜合考慮來(lái)預(yù)測(cè)輸出。但是這里所包含的所有輸入信息僅對(duì)預(yù)測(cè)內(nèi)容前面的內(nèi)容進(jìn)行考慮，即只對(duì)上下文中的“上文”信息進(jìn)行有效考慮，但是卻忽略了“下文”信息，則該過(guò)程有可能導(dǎo)致重要信息丟失的問(wèn)題。雙向LSTM 正是基于這種思想，不僅從前往后保留預(yù)測(cè)年齡前面的重要信息，而且從后往前保留預(yù)測(cè)年齡后面的重要信息，即對(duì)各個(gè)年齡特征進(jìn)行關(guān)聯(lián)性分析。年齡預(yù)測(cè)框架如圖6 所示。其中，圖片1、圖片2 和圖片3 表示同一人物不同年齡時(shí)刻的圖片，將這些人臉圖像經(jīng)過(guò)預(yù)處理后，按年齡順序依次輸入Inception V4 中提取臉部圖像多尺度特征，并得到特征向量x0、x1、x2。然后依次將特征向量輸入到雙向LSTM 中，分別用前向和后向LSTM 來(lái)學(xué)習(xí)過(guò)去和未來(lái)包含的隱藏年齡變化信息，以獲得臉部圖像的老化模式。在雙向LSTM 的最后一層中添加一個(gè)全連接層，由全連接層和Softmax 激勵(lì)函數(shù)輸出預(yù)測(cè)的年齡分布，進(jìn)而完成年齡預(yù)測(cè)。

圖6 年齡預(yù)測(cè)模型框架Fig.6 Framework of age prediction model

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)平臺(tái)

FG-NET［11-12］數(shù)據(jù)集包含固定約束框架下的1 002 幅彩色和灰度臉部圖像，它是由82 個(gè)人的人臉圖像組成的，平均每人有12 幅圖像，這些人的年齡為0～69 歲。FG-NET 中的樣本圖像如圖7 所示。

圖7 FG-NET 數(shù)據(jù)集示例Fig.7 Examples of FG-NET dataset

受到數(shù)據(jù)采集總量的影響，F(xiàn)G-NET 借助于留一交叉驗(yàn)證方法來(lái)合理劃分各類(lèi)訓(xùn)練集和相應(yīng)的測(cè)試集，該方法的主要操作方式是在所有人中任意選擇其中一人，并將其影像作為測(cè)試集，而其他所有圖像均用作訓(xùn)練集，最終的預(yù)測(cè)誤差取平均值。

MORPH［13-14］數(shù)據(jù)集是由北卡羅來(lái)納大學(xué)研究人員收集到的真實(shí)數(shù)據(jù)，共包括Album 1 和Album 2這2 個(gè)部分。對(duì)論文的具體引用情況進(jìn)行分析可知，Album2 數(shù)據(jù)集是現(xiàn)階段應(yīng)用較為普遍且較為常見(jiàn)的數(shù)據(jù)集之一，與預(yù)測(cè)年齡相關(guān)的多數(shù)理論資料都在該數(shù)據(jù)集中展開(kāi)了實(shí)際測(cè)評(píng)。Album2 也是一個(gè)跨時(shí)間的數(shù)據(jù)集，其收錄了同一個(gè)人在不同年齡段的圖片。該數(shù)據(jù)集分為商業(yè)和學(xué)術(shù)版本，學(xué)術(shù)版本包括了13 000 個(gè)人的55 134 張圖片，照片收集時(shí)間跨度為2003 年—2007 年，人物年齡為16 歲～77 歲，且平均年齡為33 歲。MORPH 數(shù)據(jù)集中的示例圖像如圖8 所示。

圖8 MORPH 數(shù)據(jù)集示例Fig.8 Examples of MORPH dataset

本文使用TensorFlow［15］平臺(tái)進(jìn)行實(shí)驗(yàn)驗(yàn)證，TensorFlow 是Google 官方對(duì)外公開(kāi)的一款機(jī)器學(xué)習(xí)框架，由于該框架具有較強(qiáng)的靈活性和可移植性，因此利用該框架可使得計(jì)算模型輕易地部署到分布式集群、單主機(jī)以及移動(dòng)設(shè)備上。

3.2 評(píng)價(jià)指標(biāo)

評(píng)價(jià)算法的優(yōu)劣不能缺少一個(gè)客觀(guān)公正的指標(biāo)，針對(duì)年齡預(yù)測(cè)算法優(yōu)劣的評(píng)價(jià)存在多種指標(biāo)。而目前針對(duì)年齡預(yù)測(cè)評(píng)價(jià)，使用較多的指標(biāo)之一是平均絕對(duì)誤差（Mean Absolute Error，MAE）［16］。

MAE 是全部預(yù)測(cè)值和實(shí)際值進(jìn)行綜合比對(duì)后而得出的平均誤差，其相應(yīng)的數(shù)學(xué)定義可表示為：

其中，S表示測(cè)試圖像的數(shù)量，xi表示第i幅圖像的真實(shí)值，表示第i幅圖像的預(yù)測(cè)值。該指標(biāo)計(jì)算結(jié)果越小，則表明算法的性能越佳。

3.3 實(shí)驗(yàn)結(jié)果與驗(yàn)證

為了從不同角度驗(yàn)證本文算法在年齡預(yù)測(cè)中的適用性和優(yōu)越性，本文利用TensorFlow平臺(tái)在FG-NET和MORPH 數(shù)據(jù)集中完成相關(guān)算法的驗(yàn)證。在FGNET 數(shù)據(jù)集上與文獻(xiàn)［17-19］算法進(jìn)行對(duì)比，結(jié)果如表1 所示。從表1 可知，本文算法在FG-NET 數(shù)據(jù)集上對(duì)年齡預(yù)測(cè)的MAE 均低于其他3 種方法。與本文算法相比，文獻(xiàn)［17］提出的LARR 算法是一種流形學(xué)習(xí)方法，該算法主要利用支持向量回歸的方法對(duì)年齡進(jìn)行預(yù)測(cè)，而由對(duì)比實(shí)驗(yàn)結(jié)果可知，使用卷積神經(jīng)網(wǎng)絡(luò)提取年齡特征對(duì)年齡預(yù)測(cè)更加有效。文獻(xiàn)［18］將年齡預(yù)測(cè)問(wèn)題轉(zhuǎn)換為相應(yīng)的特征優(yōu)化問(wèn)題，在確保圖像局部流形結(jié)構(gòu)不變化的同時(shí)也保留了人臉老化圖像的序數(shù)信息，而從對(duì)比實(shí)驗(yàn)結(jié)果來(lái)看，通過(guò)使用雙向LSTM 學(xué)習(xí)人臉年齡變化的方式，能夠更好地利用不同年齡間的相關(guān)性信息，在對(duì)年齡進(jìn)行預(yù)測(cè)時(shí)，則能夠獲得更佳性能。文獻(xiàn)［19］提出一種新的修正對(duì)比損失函數(shù)，通過(guò)模擬單個(gè)樣本之間的成對(duì)序數(shù)關(guān)系來(lái)增強(qiáng)算法的魯棒性，而實(shí)驗(yàn)結(jié)果表明使用Inception V4 能夠更好地提取人臉面部圖像的細(xì)微特征，從而保留多尺度信息，且結(jié)合雙向LSTM 能夠取得更佳的預(yù)測(cè)準(zhǔn)確率。

表1 4 種算法在FG-NET 數(shù)據(jù)集上的MAE 對(duì)比Table 1 MAE comparison of four algorithms on FG-NET database

實(shí)驗(yàn)將本文算法和文獻(xiàn)［20-22］算法在MORPH數(shù)據(jù)集上進(jìn)行對(duì)比，結(jié)果如表2 所示。從表2 可以看出，在MORPH 數(shù)據(jù)上，本文算法相比其他3 種算法對(duì)年齡的預(yù)測(cè)效果更好。文獻(xiàn)［20］將多尺度分析策略從傳統(tǒng)方法引入到CNN 中，實(shí)現(xiàn)了多尺度面部年齡特征分析，該算法對(duì)人臉進(jìn)行區(qū)域劃分，雖然提取了人臉的多尺度特征，但是不同年齡臉部特征的相關(guān)性和變化規(guī)律未能充分利用，對(duì)比實(shí)驗(yàn)結(jié)果表明使用雙向LSTM 可更好地利用不同年齡之間的相關(guān)性信息，提高預(yù)測(cè)準(zhǔn)確率。文獻(xiàn)［21］將傳統(tǒng)的年齡回歸問(wèn)題轉(zhuǎn)化為一系列二分類(lèi)的子問(wèn)題，但是人臉年齡變化是動(dòng)態(tài)過(guò)程，不同年齡之間的相關(guān)性信息對(duì)于年齡預(yù)測(cè)也是十分重要的，由對(duì)比實(shí)驗(yàn)結(jié)果可知，使用雙向LSTM 學(xué)習(xí)人臉老化模式的年齡預(yù)測(cè)方法，在預(yù)測(cè)準(zhǔn)確率上更有優(yōu)勢(shì)。文獻(xiàn)［22］使用輕量化的模型用于單一圖像的年齡估計(jì)，可移植性高，但對(duì)于特征提取，輕量化模型難以提取人臉多尺度特征，通過(guò)對(duì)比實(shí)驗(yàn)可知，使用Inception V4 提取人臉年齡特征，能夠更好地保留人臉多尺度信息，并提高年齡預(yù)測(cè)準(zhǔn)確率。

表2 4 種算法在MORPH 數(shù)據(jù)集上的MAE 對(duì)比Table 2 MAE comparison of four algorithms on MORPH database

由以上對(duì)比實(shí)驗(yàn)可知，在FG-NET 和MORPH 數(shù)據(jù)集中，采用本文算法對(duì)年齡進(jìn)行預(yù)測(cè)的MAE 均小于其他3 種算法，取得最優(yōu)年齡預(yù)測(cè)準(zhǔn)確率。這說(shuō)明與其他算法相比，本文算法綜合了卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)，不僅實(shí)現(xiàn)了多尺度特征提取，而且充分利用了臉部年齡特征變化的相關(guān)性，并降低了年齡預(yù)測(cè)的誤差。

4 結(jié)束語(yǔ)

針對(duì)人臉年齡預(yù)測(cè)問(wèn)題，本文提出一種基于深度學(xué)習(xí)的臉部年齡預(yù)測(cè)算法。該算法將臉部圖像分為四部分人臉局部圖像，使用Inception V4 分別提取多尺度局部特征，將特征以串聯(lián)的方式相融合并輸入雙向LSTM 中，以學(xué)習(xí)年齡變化的相關(guān)性，從而完成臉部年齡的準(zhǔn)確預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，與其他算法相比，本文算法在利用多尺度卷積神經(jīng)網(wǎng)絡(luò)提取臉部年齡特征后，利用臉部年齡特征變化與時(shí)間的相關(guān)性，可大幅降低年齡預(yù)測(cè)誤差。下一步將把實(shí)驗(yàn)測(cè)試擴(kuò)展到工業(yè)細(xì)分揀、人的身份識(shí)別等更多實(shí)際應(yīng)用中，以更好地驗(yàn)證本文算法的普適性。