基于多任務學習的人臉屬性識別方法

李 亞,張雨楠,彭 程,楊俊欽,劉 淼

(廣州大學 計算機科學與網(wǎng)絡工程學院,廣州 510006)

0 概述

人臉具有豐富的屬性信息,如性別、年齡、膚質(zhì)、是否戴眼鏡等。這些屬性特征在人機交互、嫌犯識別、視頻監(jiān)控、精準廣告投放[1-3]等方面都有廣泛應用。

傳統(tǒng)人臉屬性識別方法主要包括3個階段:人臉檢測、特征提取和識別分類器訓練。其中,常見的特征提取方法有局部二值模式(Local Binary Pattern,LBP)[4]和方向梯度直方圖(Histogram of Oriented Gradient,HOG)[5]。在現(xiàn)實應用中,傳統(tǒng)方法易受非限定條件下復雜環(huán)境的影響,導致錯誤率升高。近來出現(xiàn)了多個基于深度學習的屬性識別方法,不但降低了非限定條件下的識別錯誤率,還能識別更加精細的人臉屬性。如文獻[6]提出的LNet+ANet網(wǎng)絡以及相關改進[7-8]。隨著神經(jīng)網(wǎng)絡的加深,屬性識別效果逐步提升,但同時也帶來了應用部署時計算資源要求高,以及難以實時識別處理的問題,限制了模型在資源有限的嵌入式和便攜式設備上的應用。

為解決上述問題,本文提出一種輕量高效的人臉屬性識別方法。通過輕量化的殘差模塊構建基礎網(wǎng)絡,極大減少了模型參數(shù),同時可以加快訓練和預測過程速度。根據(jù)屬性類間的關聯(lián)關系設計共享分支網(wǎng)絡,與每個屬性一個分支相比進一步減少模型參數(shù)。為了改善正負樣本數(shù)不均衡問題,采用帶權重的交叉熵作為損失函數(shù)訓練網(wǎng)絡。

1 網(wǎng)絡基礎

常用的卷積神經(jīng)網(wǎng)絡由LECUN提出[9],通常由卷積層、池化層和全連接層組成,通過反向傳播算法[10]對模型參數(shù)進行更新。

1.1 一般卷積操作

卷積層是卷積神經(jīng)網(wǎng)絡的核心,用多個卷積核和上一層輸出的特征圖進行卷積。卷積層公式如下:

(1)

由式(1)可知,要得到當前層某通道的特征圖需融合上一層所有通道的特征圖,計算過程包括濾波和融合。假設卷積層輸入尺寸為hi×wi×ci,即上一層輸出的特征圖大小為hi×wi,通道數(shù)為ci。若卷積核大小統(tǒng)一為d×d,步長為1,輸出尺寸為hi×wi×ci+1。計算過程即ci+1個d×d卷積核遍歷ci個特征圖進行濾波,產(chǎn)生ci+1×ci個中間特征圖,再疊加每個輸入通道對應的特征圖產(chǎn)生ci+1個特征圖。一個卷積層的計算量如式(2)所示:

cost(i+1)=hi×wi×d×d×ci×ci+1

(2)

隨著網(wǎng)絡深度的增加,卷積層的計算量將成倍增加,而所需要存儲的參數(shù)個數(shù),即空間花銷亦成倍增加。一個通道的特征圖需要對上一層所有通道的特征圖進行過濾與融合才能獲得,卷積層的這種計算方式存在著大量的計算冗余,需進一步優(yōu)化。

1.2 深度可分離卷積操作

針對計算冗余問題,深度可分離卷積對傳統(tǒng)卷積過程進行改進,將完整的卷積運算分解為完全解耦的兩步進行,網(wǎng)絡上用獨立的兩層來實現(xiàn),第一層是逐通道卷積層,第二層是逐點卷積層。

基于1.1節(jié)假設,卷積層輸入尺寸為hi×wi×ci,輸出尺寸為hi×wi×ci+1。逐通道卷積層對輸入的每個通道用單個卷積核進行過濾,從而得到與輸入通道數(shù)相同的中間輸出。與傳統(tǒng)卷積不同,該層只產(chǎn)生ci個中間特征圖,計算量為hi×wi×d×d×ci。第二層是逐點卷積層,用ci+1個1×1的卷積核遍歷第一層輸出的ci個特征圖,然后對同一輸出通道的特征進行融合,最后輸出ci+1個特征圖,計算量為hi×wi×ci×ci+1。因此,采用深度可分離卷積結構的卷積層計算量為:

hi×wi×ci×(d2+ci+1)

(3)

1.3 跨層連接

跨層連接是指將網(wǎng)絡中的前后層連通,使網(wǎng)絡中的每一層都接受它前面層的特征作為輸入。隨著網(wǎng)絡層數(shù)的加深,網(wǎng)絡在訓練過程中的前傳信號和梯度信號會逐漸消失?？鐚舆B接可使信號在輸入層和輸出層之間高速流通,有效抑制梯度丟失和梯度爆炸等問題,在圖像分類和分割等問題上表現(xiàn)出了良好的性能?？鐚舆B接的網(wǎng)絡單元結構如圖1所示。

圖1 跨層連接模塊示意圖

傳統(tǒng)神經(jīng)網(wǎng)絡原本擬合的是y=F(x),而跨層連接將網(wǎng)絡的擬合目標轉變?yōu)閥=F(x)+x。Resnet[14]的實驗證明了這種擬合的轉變能夠保留輸入的原始結構信息,不但能有效防止過擬合,而且使網(wǎng)絡更易優(yōu)化。受Resnet啟發(fā),本文采用跨層連接來設計網(wǎng)絡模塊。

2 輕量化人臉屬性識別方法

2.1 整體網(wǎng)絡結構

本文設計了一個面向豐富人臉屬性識別的輕量化多任務學習網(wǎng)絡LFaceA。整體網(wǎng)絡結構如圖2所示,包括特征學習共享網(wǎng)和屬性識別分支網(wǎng)兩部分。

圖2 整體網(wǎng)絡結構

特征學習共享網(wǎng)絡基于Resnet進行改進,由多個輕量殘差模塊(Light Residual Module,LightRM)構成。模塊由一對深度可分離卷積結構組成,模塊間采用跨層連接。這種輕量化的設計大大減少了參數(shù)量,加快了訓練和預測的速度。此外,本文采用小卷積核來改進傳統(tǒng)卷積。與大卷積核相比,小卷積核所需要的參數(shù)更少,并且可通過堆疊多個小卷積核達到與大卷積核一樣的感受野[15]。本文網(wǎng)絡均采用了3×3和1×1的小卷積核,進一步減少網(wǎng)絡的參數(shù)和計算量。

網(wǎng)絡各層參數(shù)大小及詳細網(wǎng)絡設計結構如表1所示,輸入是三通道的224×224大小的圖像。特征學習共享部分首先是一個普通的3×3卷積,然后連接16個輕量化殘差模塊進行特征學習。屬性識別分支網(wǎng)以學到的特征為輸入,多個關聯(lián)屬性共享一個分支網(wǎng)。屬性識別分支先通過一個輕量化殘差模塊和一個大小為1×1的卷積層提取與該屬性組相關的精細特征;再連接一個7×7的平均池化層進行降維;然后為預防過擬合,連接了一個dropout層,以0.5的比率丟棄部分神經(jīng)元;最后通過一個全連接層進行屬性識別并輸出。

2.2 輕量化殘差模塊設計

輕量化殘差模塊詳細設計如圖3所示。深度可分離卷積結構第一層的卷積核尺寸為3×3,卷積輸出先經(jīng)過批歸一化處理(Batch Normalization,BN),然后進行非線性化處理。非線性化處理采用ReLU6激活函數(shù),該函數(shù)是ReLU[16]的變種。ReLU的處理方法是將卷積結果小于零的部分置零,大于零的部分保持不變。而ReLU6除了保持小于零的部分置零外,大于零的部分設置上限為6。深度可分離卷積結構第二層的卷積核尺寸為1×1,對第一層的中間輸出進行融合,最終經(jīng)過批歸一化處理后輸出滿足目標通道數(shù)的卷積結果。輕量化殘差模塊間采用跨層連接的模式,使信號在前后層之間高速流通,可有效抑制梯度消失。

圖3 輕量化殘差模塊

2.3 共享屬性識別子網(wǎng)絡構建

人臉具有豐富的屬性,而部分屬性間往往具有較強的關聯(lián)性[8,17-19]。例如,“山羊胡子”“光頭”等屬性與“性別是男”這一屬性有極強的關聯(lián)度,而與“直發(fā)”“灰發(fā)”“卷發(fā)”等屬性幾乎沒有關聯(lián)關系。由此,本文構建了可共享的屬性識別子網(wǎng)絡。為確定屬性間的關聯(lián)關系,本文對CelebA數(shù)據(jù)集中的圖像進行了統(tǒng)計,各屬性對通過構建關聯(lián)矩陣得到關聯(lián)關系圖。如圖4所示,不同顏色表征屬性對間的關聯(lián)程度,紅色表示關聯(lián)程度最高,藍色表示關聯(lián)程度最低(本刊為黑白印刷,彩色效果請至《計算機工程》官網(wǎng)查看電子文檔)。

圖4 CelebA數(shù)據(jù)集中人臉屬性關聯(lián)關系圖

與每個屬性都單獨設計一個識別分支相比,多屬性共享識別分支網(wǎng)絡的方法可進一步減少網(wǎng)絡參數(shù),加快識別速度。受文獻[8]的啟發(fā),本文把CelebA數(shù)據(jù)集上的40種屬性分成9組(如表2所示),分別設計了9個共享的子網(wǎng)絡來進行屬性識別。子網(wǎng)絡首先通過一個輕量殘差模塊提取與本屬性組相關的精細特征,然后再進行相應的識別。這種設計不僅避免了大量屬性分支的計算與空間花銷,而且更好地利用了關聯(lián)屬性間的共同特征,具有更好的識別效果。

表2 屬性分組表Table 2 Attribute grouping table

3 實驗結果與分析

3.1 數(shù)據(jù)集介紹

實驗采用了CelebA[6]人臉屬性數(shù)據(jù)集,如圖5所示。該數(shù)據(jù)集由香港中文大學發(fā)布,提供了人臉對齊和自然場景下近20萬張人臉圖像,標注了40種人臉屬性。本文按照8∶1∶1的比例劃分數(shù)據(jù)集,分別用于模型的訓練、驗證和測試,采用屬性識別錯誤率對模型進行評價,與當前較先進的人臉屬性識別方法進行了比較。

圖5 CelebA數(shù)據(jù)集部分圖像展示

3.2 模型損失函數(shù)與評價方法

和文獻[20]一樣,本文也采用了交叉熵損失函數(shù)對模型進行訓練,其一般形式如下:

(4)

與發(fā)酵前荷葉上清液相比，2株腸球菌荷葉發(fā)酵上清液的3種抗氧化酶活力均顯著提高(P<0.001)(圖3)。其中，WEHI01發(fā)酵上清的SOD、CAT酶活力均極顯著高于WEFA23發(fā)酵上清(P<0.001)，而WEFA23發(fā)酵上清的GSH-Px酶活力顯著高于WEHI01發(fā)酵上清(P<0.01)。

(5)

(6)

結合權重式(5)、式(6),本文在模型訓練中采用的損失函數(shù)如式(7)所示:

(7)

為了便于與現(xiàn)有研究比較,本文采用了識別錯誤率(ERR)和多屬性平均識別錯誤率(mERR)作為評價指標。

3.3 識別錯誤率比較

將本文方法與的人臉屬性識別方法文獻[6]方法,Moon[7]和Mcnn[8]在識別錯誤率上進行了比較。文獻[6]首次采用深度神經(jīng)網(wǎng)絡方法,超越了傳統(tǒng)方法。Moon和Mcnn在文獻[6]的基礎上,分別通過改進損失函數(shù)和網(wǎng)絡結構的方式,進一步降低了識別錯誤率。詳細實驗結果見表3,其中Mcnn-AUX是Mcnn的變體。結果表明,本文方法在大部分屬性上的識別錯誤率表現(xiàn)良好,在平均識別錯誤率上的效果最好。此外,本文用自然場景下的人臉圖像進行網(wǎng)絡訓練和測試,mERR指標僅僅上升0.2%。實驗證明本文提出的網(wǎng)絡模型具有很強的抗噪聲能力,在復雜自然環(huán)境下依然保持較好的識別效果。

表3 屬性識別錯誤率比較Table 3 Comparison of attribute recognition error rates %

3.4 模型效率比較

為了衡量模型效率,本文分別從模型參數(shù)量、空間開銷和運算速度三方面進行評價,與當前最新的屬性識別方法文獻[6]方法,Moon和Mcnn,以及主流的深度模型進行比較。在運算速度方面,分別比較了基于GPU(單塊Nvidia 1080Ti 顯卡)和基于CPU(Intel i7-8700k 3.7 GHz)的處理速度。詳細的比較結果如表4所示,第2、3列分別表示GPU和CPU環(huán)境下處理一幅圖需要的時間。其中,Moon和Mcnn沒有公布源碼,標號*表示該結果由復現(xiàn)所得。

表4 網(wǎng)絡模型計算與空間開銷對比

Table 4 Comparison of calculation and space cost of network models

網(wǎng)絡模型GPU/msCPU/ms參數(shù)量/107模型大小/MBResnet-181.1840.0711.7745.0Resnet-502.85112.2425.6498.0VGG-162.92283.30138.44528.0Moon2.86*282.18*135.00528.0*Mcnn0.65*19.50*15.0052.5*LFaceA0.6212.970.662.7

由表4可知,本文設計的網(wǎng)絡模型與其他網(wǎng)絡模型相比,運行速度大大提升,尤其是在計算能力弱的CPU上,與現(xiàn)有的深度學習模型拉開了較大的距離。在模型參數(shù)量上,本文方法僅為其他方法的幾十分之一,模型的空間開銷非常小,能方便地部署在資源受限的移動和嵌入式設備中。

3.5 消融實驗

本文提出的網(wǎng)絡模型基于輕量化殘差模塊構建,而輕量化殘差模塊由2個深度可分離卷積結構組合而成,模塊間通過跨層連接的方式堆疊。此外考慮到屬性間的關聯(lián)關系,本文還設計了共享的屬性識別分支網(wǎng)絡。為了驗證網(wǎng)絡設計的有效性,本節(jié)設計了一系列實驗進行驗證。

首先定義需要驗證的網(wǎng)絡變體。為了驗證跨層連接和深度可分離卷積結構的有效性,本文在原LFaceA網(wǎng)絡的基礎上分別構建了去掉跨層連接的模型LFaceA-Ⅰ和去掉深度可分離卷積結構的模型LFaceA-Ⅱ。LFaceA-Ⅰ和LFaceA-Ⅱ的模型中仍包含共享的屬性識別分支網(wǎng)。其次,為了驗證共享屬性分支網(wǎng)絡的有效性,在原LFaceA網(wǎng)絡的基礎上構建了完全去掉屬性識別分支網(wǎng)絡的LFaceA-Ⅲ和每個屬性一個分支網(wǎng)絡的LFaceA-Ⅳ。LFaceA-Ⅲ和LFaceA-Ⅳ的模型中共享的特征學習網(wǎng)絡部分保持不變,仍基于輕量化殘差模塊構建,模塊間通過跨層連接的方式堆疊。

實驗結果如表5所示。LFaceA和LFaceA-Ⅰ相比參數(shù)量一樣,但跨層連接結構下平均識別錯誤率和處理速度均優(yōu)于LFaceA-Ⅰ。LFaceA和LFaceA-Ⅱ相比雖然網(wǎng)絡層數(shù)完全一樣,但采用了深度可分離卷積結構后,參數(shù)量僅是LFaceA-Ⅱ的1/5,而且參數(shù)的減少對識別錯誤率和處理速度影響不大。LFaceA-Ⅲ因為去除了屬性識別分支,其參數(shù)量最少,但識別的速度和錯誤率與LFaceA相比有所降低。LFaceA-Ⅳ模型的參數(shù)量最大,但每個屬性都有獨立的識別分支,并未降低識別錯誤率。

表5 消融實驗結果Table 5 Results of ablation experiment

由實驗結果可以看出,模型LFaceA的識別錯誤率最低,雖然在參數(shù)量上高于去除了屬性識別分支的LFaceA-Ⅲ,但其大小僅2.7 MB,完全可以部署于資源有限的移動或便攜式設備上。分析LFaceA模型特點可得出以下3點結論:

1)輕量化殘差模塊中采用的可分離卷積結構對模型輕量化效果提升明顯,同時對識別錯誤率的影響不大,可廣泛應用于需要輕量化的網(wǎng)絡模型中。

2)輕量化殘差模塊間的跨層連接方式對模型識別錯誤率的影響較大,未采用跨層連接的網(wǎng)絡錯誤率有大幅上升。隨著深度的增加,跨層連接有利于特征在層間的保持,因此提升了識別效果。

3)關聯(lián)屬性共享識別網(wǎng)絡的方法,有效利用了關聯(lián)屬性的共享特征,提升了關聯(lián)屬性的識別效果。

3.6 識別結果統(tǒng)計及可視化

本文提出的網(wǎng)絡模型在CelebA上用接近20萬張圖片進行了測試,平均錯誤率降低至8.45%。數(shù)據(jù)集中的所有圖像均標注了40種人臉屬性,其中75%的圖像都能正確識別出35個以上的屬性,而單張圖像能正確識別的最低屬性個數(shù)是27,且只有2張,正確識別屬性數(shù)在30～35之間的占總圖像數(shù)的24%,正確識別屬性數(shù)在27～30的圖片僅有19張。

從上述統(tǒng)計數(shù)據(jù)可以看出,99%的圖像都能正確識別30個以上的人臉屬性。本文將屬性識別個數(shù)達到最高值40的和屬性識別個數(shù)較少的圖像進行了可視化。如圖6所示,圖中數(shù)字比值為人臉屬性識別正確個數(shù)與屬性總數(shù)之比。圖像分為2組,圖6(a)組為識別效果好的人臉圖像組,圖6(b)組為識別效果差的人臉圖像組。從可視化結果上可以觀察到,識別效果差的人臉圖像受背景復雜、非常規(guī)眼鏡配戴方式等因素的影響較大。

圖6 人臉圖像屬性識別結果

4 結束語

本文設計了一個面向人臉屬性識別的輕量化多任務學習網(wǎng)絡。網(wǎng)絡基于輕量化殘差模塊進行構建,包括特征學習共享網(wǎng)和屬性識別分支網(wǎng)兩部分。輕量化殘差模塊由兩個深度可分離卷積結構組合而成,模塊間采用跨層連接。屬性識別分支網(wǎng)基于屬性類間的關聯(lián)關系進行分組,相互間關聯(lián)程度大的屬性共享一個識別分支。實驗結果表明,本文提出的網(wǎng)絡模型降低了空間開銷,提升了預測速度,同時未引起識別錯誤率的升高,達到了實時應用的要求,可以方便地部署在資源有限的移動便攜式設備上。下一步將結合時空信息將算法擴展到視頻人臉屬性識別任務中。