一種基于融合深度卷積神經(jīng)網(wǎng)絡(luò)與度量學(xué)習(xí)的人臉識(shí)別方法

呂璐 蔡曉東 曾燕 梁曉曦

摘 要： 現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)方法大多以增大類間距離為學(xué)習(xí)目標(biāo)，而忽略類內(nèi)距離的減小，這對(duì)于人臉識(shí)別來說，將導(dǎo)致一些非限制條件下（如姿態(tài)、光照等）的人臉無法被準(zhǔn)確識(shí)別，為了解決此問題，提出一種基于融合度量學(xué)習(xí)算法和深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別方法。首先，提出一種基于多Inception結(jié)構(gòu)的人臉特征提取網(wǎng)絡(luò)，使用較少參數(shù)來提取特征;其次，提出一種聯(lián)合損失的度量學(xué)習(xí)方法，將分類損失和中心損失進(jìn)行加權(quán)聯(lián)合;最后，將深度卷積神經(jīng)網(wǎng)絡(luò)和度量學(xué)習(xí)方法進(jìn)行融合，在網(wǎng)絡(luò)訓(xùn)練時(shí)，達(dá)到增大類間距離同時(shí)減小類內(nèi)距離的學(xué)習(xí)目標(biāo)。實(shí)驗(yàn)結(jié)果表明，該方法能提取出更具區(qū)分性的人臉特征，與分類損失方法及融合了其他度量學(xué)習(xí)方式的方法相比，提升了非限制條件下的人臉識(shí)別準(zhǔn)確率。

關(guān)鍵詞： 多Inception結(jié)構(gòu); 深度卷積神經(jīng)網(wǎng)絡(luò); 度量學(xué)習(xí)方法; 深度人臉識(shí)別; 特征提取; 損失函數(shù)融合

中圖分類號(hào)： TN711?34; TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）09?0058?04

Abstract： The current convolutional neural network （CNN） methods mostly take the increase of inter?class distance as the learning objective， but ignore the decrease of intra?class distance， which makes that the human face can′t be recognize accurately under some unrestricted conditions （such as posture and illumination）. In order to eliminate the above problem， a face recognition method based on deep CNN and metric learning method is proposed. A face feature extraction network based on multi?Inception structure is presented to extract the feature with less parameters. A metric learning method based on joint loss is presented to perform the weighting joint for the softmax loss and center loss. The deep CNN and metric learning method are fused to reach the learning objective of inter?class distance increase and intra?class distance decrease. The experimental results indicate that the proposed method can extract the more discriminative facial features， and improve the more face recognition accuracy under unrestricted conditions than the Softmax loss method and methods fusing other metric learning modes.

Keywords： multi?Inception structure; deep CNN; metric learning method; deep face recognition; feature extraction; loss function fusion

0 引 言

近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的方法在人臉驗(yàn)證識(shí)別領(lǐng)域取得了顯著的成就，相對(duì)于基于手工提取特征的方法[1?2]，卷積神經(jīng)網(wǎng)絡(luò)方法能獲得更高的準(zhǔn)確率。

目前，大部分基于CNN的特征提取網(wǎng)絡(luò)使用分類損失（Softmax Loss）作為網(wǎng)絡(luò)訓(xùn)練的監(jiān)督信號(hào)，這些網(wǎng)絡(luò)以分類為學(xué)習(xí)目標(biāo)，在訓(xùn)練過程中不同類別之間的距離會(huì)逐漸增大。Deepface[3]使用分類網(wǎng)絡(luò)方法，同時(shí)使用復(fù)雜的3D對(duì)齊方式和大量的訓(xùn)練數(shù)據(jù)。DeepID1[4]則是首先對(duì)人臉圖片進(jìn)行分塊，然后使用多個(gè)分類網(wǎng)絡(luò)對(duì)不同人臉塊進(jìn)行特征提取，最后使用聯(lián)合貝葉斯算法對(duì)這些特征進(jìn)行融合，此方法可以提取到包含豐富類別相關(guān)信息的人臉特征。

然而，對(duì)于人臉識(shí)別來說，屬于同一個(gè)人的不同環(huán)境條件下的人臉圖片也會(huì)有較大的差別，單純使用分類網(wǎng)絡(luò)的方法已經(jīng)無法對(duì)這些條件下的人臉進(jìn)行有效的驗(yàn)證識(shí)別。所以，增大類間距離的同時(shí)減小類內(nèi)距離成為深度人臉特征學(xué)習(xí)的一個(gè)重要目標(biāo)。DeepID2[5]和CASIA[6]在網(wǎng)絡(luò)中加入了驗(yàn)證損失（Contrastive Loss），它聯(lián)合網(wǎng)絡(luò)中的分類損失在網(wǎng)絡(luò)訓(xùn)練時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行反饋調(diào)節(jié)，這種方法需要生成大量的正、負(fù)樣本對(duì)作為訓(xùn)練數(shù)據(jù)，正樣本對(duì)用來減小類內(nèi)距離，負(fù)樣本對(duì)用來增大類間距離;然而，這些樣本對(duì)的生成具有較大的隨機(jī)性，容易導(dǎo)致網(wǎng)絡(luò)性能不穩(wěn)定。FaceNet[7]提出一種有效的三重?fù)p失函數(shù)（Triplet Loss），其訓(xùn)練數(shù)據(jù)為三元組數(shù)據(jù)，每一個(gè)三元組包含3個(gè)樣本（anchor，positive，negative），其中樣本anchor與樣本positive屬于同一類別，樣本negative屬于其他類別，在訓(xùn)練過程中，樣本anchor與樣本positive之間距離會(huì)被減小，樣本anchor與樣本negative之間的距離會(huì)被增加;然而，隨機(jī)的三元組選擇方式會(huì)降低網(wǎng)絡(luò)的收斂速度和穩(wěn)定性，雖然本文中提出了一種每批次內(nèi)的線上生成三元組的方式，并對(duì)三元組的選擇加上條件限制，但這樣的方式增加了計(jì)算資源的消耗和網(wǎng)絡(luò)訓(xùn)練的難度。

本文提出一種基于融合卷積神經(jīng)網(wǎng)絡(luò)與度量學(xué)習(xí)的人臉識(shí)別方法，將基于聯(lián)合函數(shù)的度量學(xué)習(xí)方法融合到卷積神經(jīng)網(wǎng)絡(luò)方法中，使卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中以增大類間距和減小類內(nèi)距為學(xué)習(xí)目標(biāo)，最終本文方法使用較少的網(wǎng)絡(luò)參數(shù)且不需要復(fù)雜的樣本選擇，提取到區(qū)分能力更強(qiáng)的深度人臉特征。

1 基于融合卷積神經(jīng)網(wǎng)絡(luò)與度量學(xué)習(xí)的特征提

取方法

1.1 基于多Inception結(jié)構(gòu)的人臉特征提取網(wǎng)絡(luò)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般由卷積層、池化層和全連接層組成。為了能提取到魯棒性更強(qiáng)的特征，一般的做法是對(duì)網(wǎng)絡(luò)進(jìn)行加深和加寬，具體是通過卷積層和池化層的堆疊，以及多個(gè)全連接層的使用來實(shí)現(xiàn)。然而，簡單的增大網(wǎng)絡(luò)的尺寸可能會(huì)導(dǎo)致以下幾個(gè)問題：

1） 網(wǎng)絡(luò)參數(shù)過多，在訓(xùn)練數(shù)據(jù)數(shù)量有限的情況下，網(wǎng)絡(luò)容易產(chǎn)生過擬合現(xiàn)象;

2） 隨著網(wǎng)絡(luò)尺寸的增大，網(wǎng)絡(luò)的計(jì)算復(fù)雜度也隨之增加，這將消耗更多的計(jì)算資源;

3） 網(wǎng)絡(luò)深度越深，越容易出現(xiàn)梯度彌散現(xiàn)象，這將導(dǎo)致網(wǎng)絡(luò)模型參數(shù)難以被優(yōu)化，增加了網(wǎng)絡(luò)訓(xùn)練的難度。

解決上述幾個(gè)問題的方法就是在加深加寬網(wǎng)絡(luò)的同時(shí)，減少網(wǎng)絡(luò)參數(shù)的數(shù)量。

GoogleNet[8]提出Inception結(jié)構(gòu)，這種結(jié)構(gòu)能夠有效地減少網(wǎng)絡(luò)的參數(shù)數(shù)量，同時(shí)也能加深加寬網(wǎng)絡(luò)，增加網(wǎng)絡(luò)的特征提取能力。隨著對(duì)卷積神經(jīng)網(wǎng)絡(luò)研究的深入，原始的Inception模型已經(jīng)無法滿足人臉特征提取的需要，文獻(xiàn)[9]對(duì)Inception結(jié)構(gòu)做了一些改進(jìn)，其中一項(xiàng)重要的改進(jìn)就是將Inception結(jié)構(gòu)中大的卷積分解成多個(gè)小的卷積，在卷積層的輸入與輸出都保持不變的情況下，大量節(jié)約了計(jì)算資源，而且這種方法增加了網(wǎng)絡(luò)的深度，也減少了參數(shù)的數(shù)量，具體結(jié)構(gòu)如圖1a）所示。隨后，文獻(xiàn)[9]又提出一種非對(duì)稱卷積結(jié)構(gòu)進(jìn)一步增加網(wǎng)絡(luò)深度和節(jié)約計(jì)算資源，即將[n×n]的卷積用一個(gè)[1×n]的卷積連接一個(gè)[n×1]的卷積來代替，如圖1b）所示，而且這種結(jié)構(gòu)應(yīng)用在特征圖大小在12×12～20×20之間的網(wǎng)絡(luò)層時(shí)，表現(xiàn)很好。

本文基于文獻(xiàn)[9]提出的Inception結(jié)構(gòu)，提出一種基于多Inception結(jié)構(gòu)的人臉特征提取網(wǎng)絡(luò)，通過對(duì)每一個(gè)網(wǎng)絡(luò)層的輸入、輸出尺寸和濾波器個(gè)數(shù)進(jìn)行重新設(shè)計(jì)，達(dá)到提取人臉深度特征的目標(biāo)。本文使用網(wǎng)絡(luò)的具體細(xì)節(jié)如表1所示。首先，本文的網(wǎng)絡(luò)輸入是尺寸為112×96的RGB人臉圖片;其次，網(wǎng)絡(luò)中Inception3a層和Inception3b層中使用的Inception結(jié)構(gòu)為圖1a）的結(jié)構(gòu)，而當(dāng)特征圖輸入到Inception4a和Inception4b層時(shí)，其尺寸已經(jīng)減小到14×12，所以這兩層使用的Inception結(jié)構(gòu)為圖1b）的結(jié)構(gòu)，本文經(jīng)過實(shí)驗(yàn)取[n=5。]由于過多使用最大池化層對(duì)特征圖尺寸進(jìn)行減半，將損失大量的特征信息，所以本文網(wǎng)絡(luò)使用三種方式對(duì)特征圖進(jìn)行減半：第一種，使用卷積核大小為3×3，步長為2的卷積層，如網(wǎng)絡(luò)中的Conv13層;第二種，與圖1a）的結(jié)構(gòu)相似，其中去掉1×1卷積分支和池化分支中的1×1卷積層，并在與聯(lián)合層相連的3×3卷積層以及3×3池化層中使用的步長為2，這種方式應(yīng)用在網(wǎng)絡(luò)中的Inception?Pool層中;第三種方式是池化核為3×3、步長為2的普通池化層，應(yīng)用在網(wǎng)絡(luò)中的Pool2和Pool4層中。最后，在網(wǎng)絡(luò)的最后設(shè)置一個(gè)節(jié)點(diǎn)數(shù)為320的全連接層，作為人臉特征提取層，大幅壓縮了最終人臉特征的維數(shù)。

1.2 基于聯(lián)合損失的度量學(xué)習(xí)方法

基于CNN的特征提取網(wǎng)絡(luò)大多數(shù)使用Softmax Loss函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)，在網(wǎng)絡(luò)訓(xùn)練時(shí)，通過反饋其損失值來優(yōu)化網(wǎng)絡(luò)參數(shù)，隨著迭代次數(shù)的增加，其損失值會(huì)逐漸降低，訓(xùn)練數(shù)據(jù)中的各個(gè)類別也會(huì)慢慢被分開。對(duì)于普通的類別分類任務(wù)來說，Softmax Loss函數(shù)已經(jīng)可以滿足需求。但對(duì)于人臉分類識(shí)別任務(wù)來說，由于人臉的復(fù)雜多變性，Softmax Loss只能增大不同類人臉間的距離，而無法減少同一類人臉間的距離，這將導(dǎo)致一些非限制條件下的人臉無法被準(zhǔn)確識(shí)別。文獻(xiàn)[10]提出一種中心損失函數(shù)（Center Loss），其主要作用是在網(wǎng)絡(luò)訓(xùn)練時(shí)盡可能減小類內(nèi)距離，具體計(jì)算如下：

式中：[N]為訓(xùn)練批次的大小;[xi]是此批次中第[i]個(gè)樣本的特征向量，屬于第[k]類;[ck]為第[k]類的中心特征向量。每經(jīng)過一次迭代，都會(huì)對(duì)批次中樣本對(duì)應(yīng)的類別中心[ck]進(jìn)行更新;這樣可以在訓(xùn)練時(shí)有效地減小各個(gè)類別的樣本與對(duì)應(yīng)的類別中心的距離，達(dá)到減小類內(nèi)距離的目標(biāo)。

然而，在訓(xùn)練網(wǎng)絡(luò)時(shí)，僅使用中心損失函數(shù)可以將類內(nèi)距離變得很小，但是無法區(qū)分各個(gè)類別。所以，本文使用Softmax Loss和Center Loss對(duì)網(wǎng)絡(luò)訓(xùn)練進(jìn)行聯(lián)合監(jiān)督，以達(dá)到增大類間距離的同時(shí)減小類內(nèi)距離的目標(biāo)。使用方法為將兩個(gè)損失函數(shù)進(jìn)行加權(quán)，具體計(jì)算如下：

式中：公式的前半部分為Softmax Loss函數(shù);[M]為訓(xùn)練數(shù)據(jù)類別總數(shù);[w]為最后一個(gè)全連接層的權(quán)重集合;[b]為對(duì)應(yīng)的偏置值;[λ]為Center Loss的權(quán)重值，用來平衡這兩個(gè)損失，本文經(jīng)過實(shí)驗(yàn)將其值設(shè)置為0.000 8。本文提出的網(wǎng)絡(luò)，其中Softmax Loss層和Center Loss層在網(wǎng)絡(luò)中的具體使用方式如圖2所示。

2 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)平臺(tái)的配置包括Intel i3?4130（4×3.4 GHz處理器）、8 GB內(nèi)存、GTX1080Ti顯卡以及Ubuntu 14.04操作系統(tǒng)，并使用基于C++編程語言的Caffe[11]深度學(xué)習(xí)開源框架。

2.1 訓(xùn)練樣本

本文使用的訓(xùn)練樣本是CASIA?WebFace[6]數(shù)據(jù)庫，是一個(gè)大型公開數(shù)據(jù)庫，它包含10 575個(gè)人，約49萬張人臉圖片，本文使用此數(shù)據(jù)庫來訓(xùn)練網(wǎng)絡(luò)。在經(jīng)過人臉檢測(cè)、關(guān)鍵點(diǎn)定位以及手工對(duì)一些標(biāo)簽錯(cuò)誤的圖片進(jìn)行刪減之后，最終可用的訓(xùn)練圖片約有45萬張。

2.2 測(cè)試庫

本文使用公開人臉庫LFW[12]數(shù)據(jù)庫進(jìn)行測(cè)試。LFW數(shù)據(jù)庫有5 479個(gè)人，共13 233張人臉圖片。本文的測(cè)試結(jié)果是基于LFW數(shù)據(jù)庫的6 000對(duì)人臉驗(yàn)證任務(wù)，包括3 000對(duì)正樣本和3 000對(duì)負(fù)樣本。

2.3 實(shí)驗(yàn)細(xì)節(jié)

本文對(duì)所有訓(xùn)練和測(cè)試樣本都做相同的預(yù)處理，首先，使用MTCNN[13]算法對(duì)每一張樣本做人臉檢測(cè)和5個(gè)關(guān)鍵點(diǎn)定位（兩只眼睛、一個(gè)鼻子和兩個(gè)嘴角）;然后根據(jù)定位出的5個(gè)關(guān)鍵點(diǎn)的位置做相似變換，最后將所有人臉裁剪成112×96大小的RGB圖片。網(wǎng)絡(luò)的訓(xùn)練參數(shù)設(shè)置如下：初始學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減設(shè)置為0.005，訓(xùn)練批次大小為48（由于GPU顯存有限，所以iter_size設(shè)置為4），最大迭代次數(shù)為10萬次。在測(cè)試時(shí)，提取測(cè)試圖片原圖和水平翻轉(zhuǎn)圖的特征作為最終的比對(duì)特征，并使用Cosine距離計(jì)算相似度。

2.4 參數(shù)[n]與[λ]的取值

參數(shù)[n]為圖1b）Inception結(jié)構(gòu)中的卷積核的大小，參數(shù)[λ]為本文網(wǎng)絡(luò)使用的聯(lián)合監(jiān)督信號(hào)中Center Loss的權(quán)重值，本文測(cè)試不同的[n]和[λ]值在兩種損失函數(shù)下對(duì)LFW庫人臉驗(yàn)證準(zhǔn)確率的影響，結(jié)果如表2所示。從結(jié)果中可以得出，當(dāng)[n]值設(shè)置為5且[λ]設(shè)置為0.000 8時(shí)，本文所提出的網(wǎng)絡(luò)性能表現(xiàn)相對(duì)較好。

2.5 LFW庫測(cè)試結(jié)果及分析

本文使用表1中的網(wǎng)絡(luò)模型做對(duì)比實(shí)驗(yàn)，其中一個(gè)使用Softmax Loss作為訓(xùn)練監(jiān)督信號(hào)，另一個(gè)使用Softmax Loss和Center Loss聯(lián)合作為訓(xùn)練監(jiān)督信號(hào);在LFW庫6 000對(duì)非限制條件下的人臉驗(yàn)證任務(wù)上，當(dāng)參數(shù)[n=5，λ=]0.000 8時(shí)，前者取得了96.08%的準(zhǔn)確率，后者取得了98.30%的準(zhǔn)確率;可以看出，使用Center Loss作為網(wǎng)絡(luò)訓(xùn)練的監(jiān)督信號(hào)，可以有效地減小類內(nèi)距離，配合使用Softmax Loss，在訓(xùn)練時(shí)可以達(dá)到增大類間距離和減小類內(nèi)距離的目標(biāo);最終，可使網(wǎng)絡(luò)能提取出魯棒性更強(qiáng)的特征。同時(shí)也與一些其他的方法做了對(duì)比，具體如表3所示。

首先，與傳統(tǒng)算法High?dim LBP和Fisher vector faces相比，本文方法基于深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)非限制條件下的人臉具有更高的識(shí)別準(zhǔn)確率。其次，與一些分類網(wǎng)絡(luò)方法DeepFace和DeepID1相比，本文方法融合了度量學(xué)習(xí)算法，能提取出區(qū)分能力更強(qiáng)的人臉特征。最后，與基于Contrastive Loss的方法WebFace相比，本文方法使用了更少的人臉關(guān)鍵點(diǎn)，且有更高的驗(yàn)證識(shí)別準(zhǔn)確率。然而，與方法DeepID2相比，本文方法在準(zhǔn)確率方面存在一定差距，但是本文方法僅使用了單個(gè)網(wǎng)絡(luò)，遠(yuǎn)少于其使用的網(wǎng)絡(luò)數(shù)量。

3 結(jié) 論

本文提出一種基于融合深度卷積神經(jīng)網(wǎng)絡(luò)與度量學(xué)習(xí)的人臉識(shí)別方法。首先，提出一種基于多Inception結(jié)構(gòu)的有效卷積神經(jīng)網(wǎng)絡(luò)，僅使用1.05×107的參數(shù)數(shù)量來提取人臉特征;其次，將基于聯(lián)合損失的度量學(xué)習(xí)算法融合到深度卷積神經(jīng)網(wǎng)絡(luò)中，使網(wǎng)絡(luò)在訓(xùn)練過程中以增大類間距離及減小類內(nèi)距離為學(xué)習(xí)目標(biāo);最后，在LFW庫人臉驗(yàn)證任務(wù)上的實(shí)驗(yàn)結(jié)果證明，本文方法可以提取出更具區(qū)分能力的人臉特征，且達(dá)到了98.30%的驗(yàn)證準(zhǔn)確率。

參考文獻(xiàn)

[1] CHEN Dong， CAO Xudong， WEN Fang， et al. Blessing of dimensionality： high?dimensional feature and its efficient compression for face verification [C]// Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland： IEEE， 2013： 3025?3032.

[2] SIMONYAN K， PARKHI O， VEDALDI A， et al. Fisher vector faces in the wild [C]// Proceedings of 2013 British Machine Vision Conference. British： [s.n.]， 2013： 1?11.

[3] TAIGMAN Y， YANG M， RANZATO M， et al. DeepFace： closing the gap to human?level performance in face verification [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1701?1708.

[4] SUN Yi， WANG Xiaogang， TANG Xiaoou. Deep learning face representation from predicting 10 000 classes [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus： IEEE， 2014： 1891?1898.

[5] SUN Yi， WANG Xiaogang， TANG Xiaoou. Deep learning face representation by joint identification?verification [J]. Advances in neural information processing systems， 2014， 27： 1988?1996.

[6] YI Dong， LEI Zhen， LIAO Shengcai， et al. Learning face representation from scratch [J]. Computer science， 2014（11）： 1?9.

[7] SCHROFF F， KALENICHENKO D， PHILBIN J. FaceNet： a unified embedding for face recognition and clustering [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 815?823.

[8] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2014 IEEE Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2014： 1?9.

[9] SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision [C]// 2016 IEEE Conference on Computer Science and Pattern Recognition. Las Vegas： IEEE， 2015： 2818?2826.

[10] WEN Yandong， ZHANG Kaipeng， LI Zhifeng， et al. A discriminative feature learning approach for deep face recognition [J]. Computers & operations research， 2016， 47（9）： 11?26.

[11] JIA Yangqing， SHELHAMER E， DONAHUE J， et al. Caffe： convolutional architecture for fast feature embedding [J]. Computer science， 2014（3）： 675?678.

[12] HUANG G B， MATTAR M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments [J/OL]. [2008?10?03]. http：//www.tamaraberg.com/papers/Huang_eccv2008?lfw.pdf.

[13] ZHANG Kaipeng， ZHANG Zhanpeng， LI Zhifeng， et al. Joint face detection and alignment using multi?task cascaded convolutional networks [J]. IEEE signal processing letters， 2016， 23（10）： 1499?1503.