基于輕量化網(wǎng)絡(luò)和近紅外人臉活體檢測(cè)算法

趙一洲，王浩

(四川大學(xué)電子信息學(xué)院，成都 610065)

0 引言

隨著人類數(shù)字時(shí)代的到來(lái)，人臉生物識(shí)別領(lǐng)域技術(shù)被廣泛應(yīng)用在各大場(chǎng)合，如門禁系統(tǒng)、高鐵機(jī)場(chǎng)入口核查系統(tǒng)以及移動(dòng)終端的解鎖系統(tǒng)等身份認(rèn)證[1]。由于人臉識(shí)別系統(tǒng)最容易以照片、視頻和面具攻擊作為攻擊手段[2-3]，高效快捷辨別真?zhèn)?，抵御欺騙攻擊確保系統(tǒng)安全一直是人臉識(shí)別領(lǐng)域需要克服的挑戰(zhàn)。針對(duì)欺騙攻擊和消除安全隱患，設(shè)計(jì)一個(gè)基于檢測(cè)精度高、耗時(shí)短、泛化能力強(qiáng)的人臉活體檢測(cè)至關(guān)重要。

近年來(lái)，為了識(shí)破這些假冒的攻擊方式，國(guó)內(nèi)外研究學(xué)者已經(jīng)提出多種不同的活體檢測(cè)方法，主要圍繞傳統(tǒng)圖像特征表達(dá)、主動(dòng)式檢測(cè)以及深度學(xué)習(xí)三方面進(jìn)行展開研究[4]。傳統(tǒng)圖像特征表達(dá)是最早的人臉活體檢測(cè)方法[5]，主要是基于真實(shí)人臉和欺騙人臉紋理和光譜信息差異識(shí)別真?zhèn)?，例如：LBP、DOG、HOG、SIFT等特征，和SVM分類配合實(shí)現(xiàn)[6]，基于手工特征表達(dá)雖然可以取得不錯(cuò)的精度，但特征層次較低導(dǎo)致其泛化能力較弱。主動(dòng)式人臉活體檢測(cè)方法[7]，需要用戶配合完成一些指定動(dòng)作，該方法耗時(shí)時(shí)間較長(zhǎng)，也需要外界配合，不能滿足實(shí)時(shí)應(yīng)用的需求。

真實(shí)人臉 面具攻擊

隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用，圖像所提取的深度特征相比傳統(tǒng)的手工特征，具有更豐富的語(yǔ)義信息，可進(jìn)一步提高算法的魯棒性和泛化能力。人臉活體檢測(cè)首次采用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)[8]，以及Lucena等人采用遷移方法設(shè)計(jì)了FASNet(Face Anti Spoofing Network)[9]。上述基于特征提取的方法中，未考慮光照條件對(duì)活體檢測(cè)的精度影響。

針對(duì)上述問題，提出基于近紅外圖像的活體檢測(cè)方法，近紅外圖像基本不受外界光照影響，原理是真實(shí)的人臉和紙片、屏幕、立體面具等攻擊媒介的反射特性是不同的，所以成像不同，而這種差異在紅外波反射方面會(huì)更加明顯，對(duì)于照片和視頻攻擊有很好的抵御效果。張自友采用紅外圖像基于LBP和GLCM的方法區(qū)分[10]等傳統(tǒng)方法，以及2019年在人臉抗欺騙攻擊檢測(cè)挑戰(zhàn)提出FeatherNets輕量型網(wǎng)絡(luò)和模態(tài)融合的方法進(jìn)行活體檢測(cè)識(shí)別[11]。為了解決計(jì)算和存儲(chǔ)成本的問題和滿足檢測(cè)精度和實(shí)時(shí)性的需求。鑒于深度學(xué)習(xí)算法近紅外圖像在活體檢測(cè)方面表現(xiàn)出來(lái)的優(yōu)勢(shì)，本文提出一種基于近紅外圖像的人臉活體檢測(cè)算法，在FeatherNets輕量型網(wǎng)絡(luò)基礎(chǔ)上改進(jìn)其激活函數(shù)和注意力機(jī)制模塊，并擴(kuò)充一些訓(xùn)練和測(cè)試樣本提高算法的泛化能力，實(shí)驗(yàn)結(jié)果表明此算法的有效性。

1 基于紅外圖的人臉檢測(cè)算法

FeatherNets是一種輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)，并提出了一種新的流媒體模塊結(jié)構(gòu)，該結(jié)構(gòu)人臉識(shí)別任務(wù)中相比全局平均池化體現(xiàn)了更大的優(yōu)勢(shì)，深度卷積模塊(DWConv)可以更好地識(shí)別不同區(qū)域特征的重要性，例如人臉圖像的中心單元比邊緣單元更重要。

如圖1在流媒體模塊中，采用步長(zhǎng)大于1的深度卷積層進(jìn)行降采樣，將其輸出直接平展成一維特征向量計(jì)算過程由式(1)表示。

圖1 流模塊

FVn(y,x,m)=∑i,jKi,j,m·FINy(i),INx(j),m

(1)

式(1)的左邊，F(xiàn)V為平展特征向量，表示FV的第n個(gè)元素，對(duì)應(yīng)深度卷積層s輸出特征映射的第m個(gè)通道中的(y，x)單元。式(1)的右邊，K為深度卷積核，F(xiàn)為大小為HWC的特征圖(H、W和分別表示特征圖高度、寬度和通道)。m為通道指數(shù)，i和j表示核K的空間位置，INy(i)和INx(j)表示F中相應(yīng)的位置。最后，將特征圖展開后，為了減少參數(shù)和預(yù)防過度擬合，并沒有添加全連接層。

FeatherNets包含了兩個(gè)不同的網(wǎng)絡(luò)FeatherNetA和FeatherNetB，主要區(qū)別就是網(wǎng)絡(luò)下采樣結(jié)構(gòu)不同。如圖所示網(wǎng)絡(luò)模塊結(jié)構(gòu)BlockA、BlockB和BlockC。BlockC和BlockB分別是我們的網(wǎng)絡(luò)FeatherNetA和FeatherNetB的下采樣模塊。本文選用FeatherNetB網(wǎng)絡(luò)架構(gòu)為基礎(chǔ)網(wǎng)絡(luò)，主要介紹前兩個(gè)網(wǎng)絡(luò)模塊。BlockA用作網(wǎng)絡(luò)架構(gòu)的主要構(gòu)建塊，是利用逆殘差結(jié)構(gòu)的思維，先擴(kuò)張后壓縮的方式，用深層次卷積提取特征信息。BlockB中次要分支上引入了平均池化層，因?yàn)槠骄鼗瘜幽軌蚯度攵喑叨刃畔⒉⒃诓煌慕邮苡蚓酆咸匦?，并且?duì)計(jì)算成本影響較小情況下帶來(lái)性能收益。

表1中FeatherNetB結(jié)構(gòu)中t是擴(kuò)展因子，c為通道數(shù)，SE是加入網(wǎng)絡(luò)結(jié)構(gòu)的注意力機(jī)制模塊，NL代表使用的激活函數(shù)。網(wǎng)絡(luò)起初采用快速下采樣模式和較少的參數(shù)將特征圖大小迅速變小，從而解決了由于計(jì)算有限而導(dǎo)致特征嵌入弱和處理時(shí)間長(zhǎng)的問題。

表1 FeatherNetB結(jié)構(gòu)

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)數(shù)據(jù)主要使用了CASIA-SURF數(shù)據(jù)集，是一個(gè)大型的多模態(tài)開源數(shù)據(jù)集，由3種模態(tài)數(shù)據(jù)(RGB、depth和IR)組成，包含了1000個(gè)不同年齡段人。攻擊方式包含去除眼睛、鼻子和嘴巴部位的A4紙以平鋪和彎曲兩種方式放置在志愿者臉上共六種，如圖3經(jīng)過移除了背景區(qū)域的紅外人臉圖像。。由于紅外攝像頭在光線不足的情況下，對(duì)圖像成像影響很小，本文算法僅采用IR數(shù)據(jù)集進(jìn)行訓(xùn)練。

由于CASIA-SURF數(shù)據(jù)集輸入模型訓(xùn)練的圖像都是移除背景后的人臉信息，模型學(xué)習(xí)到的信息較為單一，并且網(wǎng)上未有其他對(duì)應(yīng)的近紅外公開數(shù)據(jù)集。為了提高模型的魯棒性和學(xué)習(xí)到更多的圖像特征，本文使用Intel RealSense 435i設(shè)備采集了一些人臉信息，包括20個(gè)活體人臉和30個(gè)照片人臉。志愿者在正常光照、光線不足兩種環(huán)境下各個(gè)角度的圖像和志愿者照片攻擊的圖像各20張，以及除志愿者外網(wǎng)上收集不同種族的照片打印，二者共2000張圖像，示例如圖4所示。

圖4 自采集數(shù)據(jù)集

考慮現(xiàn)實(shí)的復(fù)雜性，我們采集到的數(shù)據(jù)很難完全滿足正態(tài)分布，所以需要增加數(shù)據(jù)擾動(dòng)，進(jìn)一步提高模型的精確度以及泛化能力。對(duì)采集圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、平移和縮放等操作，最終在原有基礎(chǔ)上擴(kuò)充5倍數(shù)據(jù)，并統(tǒng)一處理為分辨率224×224的圖像作為網(wǎng)絡(luò)輸入大小，以9:1的比例分別添加到公開數(shù)據(jù)集中訓(xùn)練和測(cè)試中，本文將新添加的數(shù)據(jù)集命名為CASIA-SURF IR+，訓(xùn)練和測(cè)試數(shù)據(jù)集分布如表2所示。

表2 數(shù)據(jù)集

2.2 激活函數(shù)

激活函數(shù)是網(wǎng)絡(luò)結(jié)構(gòu)的核心單元，由圖2中看出FeatherNets的每一個(gè)結(jié)構(gòu)塊都應(yīng)用了ReLU6激活函數(shù)，ReLU6函數(shù)是分段線性函數(shù)，計(jì)算簡(jiǎn)單，避免了梯度消失的問題，定義公式(2)如下：

圖2 FeatherNets網(wǎng)絡(luò)結(jié)構(gòu)

f(x)=min(max(0，x)，6)

(2)

但同時(shí)也存在一個(gè)問題，ReLU6激活函數(shù)非線性很弱，并且在訓(xùn)練過程中也會(huì)存在某些神經(jīng)元永遠(yuǎn)不會(huì)被激活的狀態(tài)。為解決此問題提出了Swish激活函數(shù)[12]。Swish激活函數(shù)具備無(wú)上界有下界、平滑、非單調(diào)的特性，由于ReLU6函數(shù)在為零的情況下突然發(fā)生改變，而Swish函數(shù)不會(huì)發(fā)生突然改變的情況，使得網(wǎng)絡(luò)訓(xùn)練時(shí)候更加容易收斂，計(jì)算公式(3)如下：

swish(x)=x·sigmod(βx)

(3)

由于Swish的計(jì)算成本很高，為了滿足本文的輕量級(jí)網(wǎng)絡(luò)的需求，使得模型在訓(xùn)練中變得更加輕便，在此基礎(chǔ)上對(duì)Swish簡(jiǎn)單變形操作。使用h-sigmoid來(lái)構(gòu)造Swish函數(shù)將得到h-swish(hard version of swish)函數(shù)[13]，計(jì)算公式(4)如下：

(4)

圖5 函數(shù)對(duì)比圖

本實(shí)驗(yàn)是將FeatherNetB結(jié)構(gòu)中BlockB的激活函數(shù)變?yōu)閔-swish函數(shù)，應(yīng)用在不同的網(wǎng)絡(luò)層級(jí)中，效果不一樣，實(shí)驗(yàn)如圖6所示。

圖6 函數(shù)在不同網(wǎng)絡(luò)層實(shí)驗(yàn)對(duì)比柱狀圖

經(jīng)由實(shí)驗(yàn)驗(yàn)證，h-swish激活函數(shù)相對(duì)于ReLU6函數(shù)，無(wú)論應(yīng)用在哪一層，準(zhǔn)確率都有提升，在BlockB最后三層使用h-swish激活函數(shù)，效果最佳。

2.3 注意力機(jī)制模塊

注意力機(jī)制模塊作用相當(dāng)于人腦在捕捉視覺圖像時(shí)，處理整個(gè)場(chǎng)景會(huì)選擇性聚焦于突出的部分。WOO S[14]提出CBAM(Convolutional Block Attention Module)解決在卷積池化過程中特征圖的不同通道和空間所占的重要性不同帶來(lái)的損失問題，并且在不顯著增加計(jì)算量和參數(shù)量的前提下能提升網(wǎng)絡(luò)模型的特征提取能力。注意力機(jī)制模塊主要分為通道注意力和空間注意力模塊兩個(gè)方面。

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))

(5)

(6)

空間注意力模塊中，首先，還是使用平均池化和最大池化對(duì)輸入特征圖進(jìn)行通道壓縮操作，對(duì)輸入特征分別在通道維度上做了mean和max操作，最后得到了兩個(gè)二維的特征，將其按通道維度拼接在一起得到一個(gè)通道數(shù)為2的特征圖，之后使用一個(gè)包含單個(gè)卷積核的隱藏層對(duì)其進(jìn)行卷積操作，要保證最后得到的特征在空間維度上與輸入的特征圖一致。該部分公式(7)和(8)表示如下：

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))

(7)

(8)

由于SE模塊只關(guān)注通道信息，CBAM模塊除此之外，還關(guān)注了空間信息，所以在FeatherNetB網(wǎng)絡(luò)架構(gòu)中將SE模塊替換為CBAM模塊，能獲取到更重要的人臉信息。下表3是改進(jìn)之后的FeatherNetB結(jié)構(gòu)：

表3 改進(jìn)后FeatherNetB結(jié)構(gòu)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺(tái)及參數(shù)

本文的實(shí)驗(yàn)環(huán)境是在一臺(tái)操作系統(tǒng)為Ubuntu 16.04的工作站上運(yùn)行。配備一個(gè)Intel Xeon E5-1650 v4六核處理器，主頻為3.6GHz，內(nèi)存32GB，GPU為NVIDIA GeForce GTX 1080Ti，顯存11GB。

在實(shí)驗(yàn)過程中，訓(xùn)練改進(jìn)的FeatherNetB網(wǎng)絡(luò)，參數(shù)設(shè)置如下：基礎(chǔ)學(xué)習(xí)率為0.01，batch size為32，每隔15個(gè)epoch衰減一次，衰減率為0.0001。優(yōu)化方法采用的動(dòng)量(momentum)，設(shè)置其系數(shù)為0.9。

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

針對(duì)人臉活體檢測(cè)分類，使用來(lái)自于生物識(shí)別防假體攻擊方面的標(biāo)準(zhǔn)文件ISO/IEC 30107-3的一套評(píng)價(jià)指標(biāo)。評(píng)價(jià)其性能的指標(biāo)有三個(gè)：APCER(Attack Presentation Classification Error Rate)、BPCER(Bona Fide PresentationClassification Error Rate)、ACER(Average Classification Error Rate)。計(jì)算公式如下：

(9)

(10)

(11)

(12)

其中APCER_PAI表示第PAI類欺騙攻擊的錯(cuò)誤識(shí)別率，S表示欺騙攻擊的類別數(shù)，N_PAI表示第PAI類欺騙攻擊的攻擊次數(shù)，若第i次檢測(cè)判斷為假體人臉，則Resi為1；若判斷為活體人臉，則Resi為0。APCER表示物種攻擊被錯(cuò)誤的歸類為真實(shí)的比例。BPCER是真實(shí)樣例被錯(cuò)誤的歸類為攻擊的比例，NBF表示活體人臉檢測(cè)的次數(shù)，ACER是平均錯(cuò)誤率。

3.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證采集數(shù)據(jù)集對(duì)檢測(cè)效果的影響，使用原有的FeatherNetB網(wǎng)絡(luò)，在保證其他參數(shù)不變的情況下，分別選取了訓(xùn)練集和測(cè)試集不包含采集數(shù)據(jù)集和包含采集數(shù)據(jù)集的模型進(jìn)行檢驗(yàn)。結(jié)果如表4所示。

表4 驗(yàn)證自采集數(shù)據(jù)集的有效性

經(jīng)過實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，用同一數(shù)據(jù)集測(cè)試，訓(xùn)練數(shù)據(jù)集樣本庫(kù)的擴(kuò)充有效降低了模型的錯(cuò)誤率。原始的測(cè)試數(shù)據(jù)集比擴(kuò)充后測(cè)試數(shù)據(jù)集的錯(cuò)誤率低，證明擴(kuò)充測(cè)試數(shù)據(jù)集多樣性，能更好地驗(yàn)證模型的好壞，結(jié)果表明，采用擴(kuò)充后的數(shù)據(jù)集，泛化能力更強(qiáng)。

表5中訓(xùn)練和測(cè)試包含自采集數(shù)據(jù)集作為本文訓(xùn)練和測(cè)試數(shù)據(jù)。同時(shí)驗(yàn)證激活函數(shù)及CBAM模塊對(duì)模型產(chǎn)生的影響，分別對(duì)比優(yōu)化前后模型的分類性能如表5。

表5 驗(yàn)證改進(jìn)的激活函數(shù)以及CBAM模塊對(duì)模型的影響

由實(shí)驗(yàn)結(jié)果表明，改進(jìn)注意力機(jī)制和激活函數(shù)對(duì)模型檢測(cè)精度影響相差不多，可注意力機(jī)制模塊的改進(jìn)明顯學(xué)習(xí)到了更多真實(shí)樣例的特征，所以真實(shí)樣例被歸為錯(cuò)誤的準(zhǔn)確率有較高的提升。二者結(jié)合進(jìn)一步提高了模型的檢測(cè)效果。

在驗(yàn)證過程中，本文比較了不同網(wǎng)絡(luò)和本文方法在準(zhǔn)確度和系統(tǒng)資源的占用情況。如圖表6所示，相對(duì)于MobileNetV2，本文模型無(wú)論在模型參數(shù)量還是浮點(diǎn)數(shù)上都具有優(yōu)勢(shì)。在與基礎(chǔ)網(wǎng)絡(luò)對(duì)比，參數(shù)量和浮點(diǎn)數(shù)分別增加了0.171%和0.494%，但錯(cuò)誤率降低了1.7192%。

表6 不同模型的參數(shù)對(duì)比

4 結(jié)語(yǔ)

本文針對(duì)紅外圖像的特性以及輕量型網(wǎng)絡(luò)的優(yōu)點(diǎn)，提出一種基于改進(jìn)FeatherNetB網(wǎng)絡(luò)和近紅外的人臉活體檢測(cè)的方法。同時(shí)為了增強(qiáng)模型的魯棒性，在CASIA-SURF數(shù)據(jù)集的基礎(chǔ)上增加了不同光照和不同角度的真假人臉照片，通過實(shí)驗(yàn)測(cè)試驗(yàn)證了增加數(shù)據(jù)集的有效性。在保證模型參數(shù)量以及浮點(diǎn)數(shù)盡可能少的占用系統(tǒng)資源額情況下，在卷積網(wǎng)絡(luò)上改進(jìn)其激活函數(shù)和注意力機(jī)制模塊，經(jīng)過理論推導(dǎo)和實(shí)驗(yàn)證明該方法提升了模型的精度和泛化能力。