基于Siamese 網(wǎng)絡(luò)的人臉認(rèn)證算法研究

陳 震，張超才，李士林

（廈門(mén)理工學(xué)院電氣工程與自動(dòng)化學(xué)院，福建 廈門(mén)361024）

1 引言

人臉認(rèn)證識(shí)別在身份識(shí)別應(yīng)用領(lǐng)域隨處可見(jiàn)，需求量呈現(xiàn)上升的趨勢(shì)。傳統(tǒng)的人臉認(rèn)證算法主要有主成分分析[1]、線性判別分析[2]、LBP[3]等。傳統(tǒng)人臉認(rèn)證算法特征提取能力不足，在光照、角度等較差環(huán)境下，識(shí)別精度更易受影響。近年來(lái)隨著深度學(xué)習(xí)研究的興起，卷積神經(jīng)網(wǎng)絡(luò)在圖像分類、識(shí)別等領(lǐng)域的研究也取得了空前的發(fā)展[4]?？衫镁矸e神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，提取人臉的結(jié)構(gòu)特征信息，將提取的特性信息進(jìn)行對(duì)比分析，判斷是否來(lái)自同一個(gè)人，從而判斷人臉識(shí)別目的。具代表性的有DeepFace 算法、DeepⅠD 系列算法等[5]。這種人臉識(shí)別算法也存在不足之處，認(rèn)證測(cè)試時(shí)，無(wú)法滿足大量新樣本進(jìn)行測(cè)試，需重新訓(xùn)練模型，增加了整個(gè)系統(tǒng)模型使用的不穩(wěn)定性。

針對(duì)以上問(wèn)題，本文算法模型使用改進(jìn)的Siamese 神經(jīng)網(wǎng)絡(luò)模型，在網(wǎng)絡(luò)模型中添加殘差網(wǎng)絡(luò)的殘差結(jié)構(gòu)，通過(guò)殘差結(jié)構(gòu)組提取人臉圖像的特征信息，再計(jì)算兩張人臉圖片特征信息的歐式距離，并通過(guò)距離來(lái)判斷這兩張人臉是否屬于同一個(gè)人。當(dāng)有新樣本認(rèn)證測(cè)試時(shí)，無(wú)需重新測(cè)試模型，只需提取新樣本特征信息，將新樣本特征信息與其他模型的特征信息進(jìn)行歐式距離比較，就可對(duì)新人臉樣本進(jìn)行人臉認(rèn)證。

2 基礎(chǔ)理論與方法

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是在神經(jīng)網(wǎng)絡(luò)中加入卷積運(yùn)算的神經(jīng)網(wǎng)絡(luò)，可解決神經(jīng)網(wǎng)絡(luò)參數(shù)過(guò)多、網(wǎng)絡(luò)層之間連接數(shù)過(guò)大等問(wèn)題，使網(wǎng)絡(luò)訓(xùn)練參數(shù)利用率達(dá)到最大化。卷積神經(jīng)網(wǎng)絡(luò)一般由卷積層、池化層等組成。

卷積層可提取輸入數(shù)據(jù)的特征信息，啟發(fā)于信號(hào)與系統(tǒng)的卷積操作。對(duì)于二維圖像數(shù)據(jù)，卷積層通過(guò)卷積核在圖像數(shù)據(jù)上滑動(dòng)，所覆蓋圖像數(shù)據(jù)與卷積核對(duì)應(yīng)位置參數(shù)進(jìn)行相乘再相加得出輸出數(shù)據(jù)。

池化層是通過(guò)窗口對(duì)數(shù)據(jù)進(jìn)行池化操作，其目的是簡(jiǎn)化卷積層的輸出及減少網(wǎng)絡(luò)參數(shù)量，增強(qiáng)對(duì)模型訓(xùn)練的表達(dá)能力。池化操作主要為求和、求最大值、求平均值等。

2.2 Siamese 網(wǎng)絡(luò)模型

Siamese 網(wǎng)絡(luò)也是孿生網(wǎng)絡(luò)[6]，網(wǎng)絡(luò)由兩個(gè)模型結(jié)構(gòu)相同的分支子網(wǎng)絡(luò)構(gòu)成，分支子網(wǎng)絡(luò)訓(xùn)練輸出圖像中的特征信息，再根據(jù)特征信息相比較來(lái)計(jì)算出相似度，即Siamese 是根據(jù)相似性來(lái)訓(xùn)練的網(wǎng)絡(luò)模型。

在Siamese 網(wǎng)絡(luò)結(jié)構(gòu)中，有兩個(gè)輸入x1、x2 和輸出D，x1、x2 分別輸送至兩個(gè)分支子網(wǎng)絡(luò)，通過(guò)分支子網(wǎng)絡(luò)輸出映射到新空間得到輸出向量Y（x1）和Y（x2），再計(jì)算輸出向量之間的差值即可得到相似性度量D。

訓(xùn)練Siamese 網(wǎng)絡(luò)時(shí)，訓(xùn)練參數(shù)為兩張輸入圖片以及標(biāo)簽，通過(guò)輸入圖片類型來(lái)給定標(biāo)簽值，輸入為同一類別時(shí)標(biāo)簽值為1；反之為0。

3 改進(jìn)Siamese 網(wǎng)絡(luò)模型

3.1 網(wǎng)絡(luò)模型的改進(jìn)

在本網(wǎng)絡(luò)模型中，改進(jìn)Siamese 網(wǎng)絡(luò)模型的分支子網(wǎng)絡(luò)卷積網(wǎng)絡(luò)層，采用殘差卷積神經(jīng)網(wǎng)絡(luò)來(lái)替代普通卷積網(wǎng)絡(luò)。殘差結(jié)構(gòu)組成的卷積神經(jīng)網(wǎng)絡(luò)層提取人臉圖片特征信息，使其映射到容易識(shí)別相似性度量的目標(biāo)空間中，在目標(biāo)空間中使用對(duì)比損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)，最終通過(guò)樣本間的相似性來(lái)判別人臉樣本是否屬于同一個(gè)人。結(jié)合殘差結(jié)構(gòu)和Siamese網(wǎng)絡(luò)的模型流程如圖1 所示。

3.2 子網(wǎng)絡(luò)模型結(jié)構(gòu)

本網(wǎng)絡(luò)模型的分支子網(wǎng)絡(luò)由殘差結(jié)構(gòu)（ResNet）組成，殘差結(jié)構(gòu)通過(guò)跨網(wǎng)絡(luò)層連接的方式來(lái)實(shí)現(xiàn)[7]，若殘差結(jié)構(gòu)輸入為x，輸出為y，則通過(guò)卷積后的輸出F（x）與輸入x的相加和作為整個(gè)結(jié)構(gòu)的輸出y。

圖1 改進(jìn)后的模型流程圖

分支網(wǎng)絡(luò)模型主要由三部分組成，第一部分是標(biāo)準(zhǔn)卷積層及池化層；第二部分是3 個(gè)殘差結(jié)構(gòu)的堆疊以及最大值池化層；第三部分是全局平均池化、Dropout 層及全連接層。

3.3 網(wǎng)絡(luò)模型的損失函數(shù)

網(wǎng)絡(luò)模型的損失函數(shù)采用對(duì)比損失函數(shù)（Contrastive Loss）來(lái)訓(xùn)練網(wǎng)絡(luò)模型。Siamese 網(wǎng)絡(luò)的分支子網(wǎng)絡(luò)對(duì)人臉圖像數(shù)據(jù)進(jìn)行特征提取，特征提取的人臉圖像數(shù)據(jù)通過(guò)該損失函數(shù)來(lái)改變特征間歐式距離，規(guī)則為減小同類樣本間距離，增大異類樣本間距離，通過(guò)改變距離來(lái)訓(xùn)練網(wǎng)絡(luò)模型參數(shù)，達(dá)到網(wǎng)絡(luò)訓(xùn)練目的。輸入圖像數(shù)據(jù)用（x1，x2）表示，標(biāo)簽用y表示，其中若x1、x2 是同一類樣本，則標(biāo)簽y的值為1，反之為0，樣本標(biāo)簽間歐式距離用D表示，對(duì)比損失函數(shù)的表達(dá)式為：

在對(duì)比損失函數(shù)的表達(dá)式中，m超參數(shù)（margin）表示距離閾值，當(dāng)樣本是同類樣本時(shí)對(duì)網(wǎng)絡(luò)起調(diào)節(jié)作用。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中，優(yōu)化目標(biāo)是最小化損失函數(shù)，當(dāng)y=0 時(shí)，損失函數(shù)值為，若使Loss值最小，即（m－D）＜0 ，所以D要大于m的值，需增加不同樣本間的歐式距離D；當(dāng)y=1 時(shí)，損失函數(shù)值為，若使Loss值最小，則需減小同樣本間的歐式距離D。通過(guò)上述表達(dá)式可知，該損失函數(shù)是通過(guò)不斷增加異類樣本間歐式距離，減小同類樣本間歐式距離，來(lái)對(duì)網(wǎng)絡(luò)模型進(jìn)行參數(shù)訓(xùn)練，提高網(wǎng)絡(luò)模型對(duì)人臉數(shù)據(jù)的區(qū)分能力。

4 實(shí)驗(yàn)驗(yàn)證與分析

本文提出的算法模型由Pytorch 框架實(shí)現(xiàn)，主要擴(kuò)展庫(kù)有Matplotlib、torchvision 等。

4.1 數(shù)據(jù)集

本文所使用的數(shù)據(jù)集是網(wǎng)上公開(kāi)數(shù)據(jù)集CASⅠAWebFace 人臉數(shù)據(jù)集，該數(shù)據(jù)集通過(guò)半自動(dòng)的方式在互聯(lián)網(wǎng)上收集人臉圖像。根據(jù)本文實(shí)驗(yàn)要求，在該數(shù)據(jù)集人臉數(shù)據(jù)集中選取40 份樣本，每個(gè)樣本有160 張圖片，其中120 張用于訓(xùn)練模型，其余圖片做測(cè)試集使用，輸出圖片尺寸為100×100。

4.2 實(shí)驗(yàn)結(jié)果與分析

本文在訓(xùn)練算法時(shí)參數(shù)選擇為：學(xué)習(xí)率為0.000 5；batch_size 為64；優(yōu)化方法是Adam；使用對(duì)比損失函數(shù)訓(xùn)練模型參數(shù)。最后利用測(cè)試部分?jǐn)?shù)據(jù)集對(duì)模型進(jìn)行測(cè)試，測(cè)試指標(biāo)有準(zhǔn)確度（Acc）、AUC（ROC 曲線下的面積），ROC曲線的橫縱坐標(biāo)分別用FPR（真陽(yáng)率）、TPR（假陽(yáng)率）表示。算法測(cè)試對(duì)比如表1 所示。

表1 算法測(cè)試對(duì)比表

由表1 可得，本文所提出算法在所選取數(shù)據(jù)集上與其他算法對(duì)比有一定的優(yōu)勢(shì)。

5 結(jié)論

為了解決傳統(tǒng)人臉認(rèn)證算法識(shí)別精度不足及受環(huán)境干擾較大等缺點(diǎn)，本文提出了基于Siamese 神經(jīng)網(wǎng)絡(luò)框架的人臉認(rèn)證方法。研究了殘差卷積神經(jīng)網(wǎng)絡(luò)模型，并將其與Siamese 神經(jīng)網(wǎng)絡(luò)模型相結(jié)合；對(duì)模型的網(wǎng)絡(luò)層數(shù)及卷積核大小進(jìn)行調(diào)整，提高人臉認(rèn)證的精度。經(jīng)過(guò)測(cè)試，基于改進(jìn)的Siamese 卷積神經(jīng)網(wǎng)絡(luò)模型，存在人臉認(rèn)證精度不足問(wèn)題，但受實(shí)驗(yàn)環(huán)境和時(shí)間等限制，該模型對(duì)大型數(shù)據(jù)集的訓(xùn)練效率還有待提高，未來(lái)應(yīng)進(jìn)行針對(duì)大型數(shù)據(jù)集的研究和分析。