針對(duì)眼部掩模的人臉識(shí)別對(duì)抗貼片研究

崔廷玉,張 武,賀正蕓,2,周星宇,張 瑤,胡谷雨,潘志松

(1.陸軍工程大學(xué) 指揮控制工程學(xué)院,江蘇 南京 210007;2.湖南工業(yè)大學(xué) 軌道交通學(xué)院,湖南 株洲 412008;3.陸軍工程大學(xué) 通信工程學(xué)院,江蘇 南京 210007)

0 引 言

近年來(lái),隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,人臉識(shí)別被廣泛應(yīng)用于現(xiàn)實(shí)世界的工作與生活中,其中包括門禁系統(tǒng)、監(jiān)管系統(tǒng)等。然而,深度神經(jīng)網(wǎng)絡(luò)在對(duì)抗樣本面前會(huì)表現(xiàn)出極大的脆弱性。Szegedy等人[1]發(fā)現(xiàn),通過(guò)在圖像上添加微小擾動(dòng)可以使得深度神經(jīng)網(wǎng)絡(luò)模型錯(cuò)誤分類。Moosavi-Dezfooli等人[2]證明了“擾動(dòng)普遍存在”。隨后,GoodFellow等人[3]提出了對(duì)抗樣本的概念。

現(xiàn)有的人臉識(shí)別方法大多基于深度神經(jīng)網(wǎng)絡(luò),因此,通過(guò)對(duì)人臉圖像添加攻擊性擾動(dòng)同樣會(huì)對(duì)人臉識(shí)別模型造成影響。例如,Song等人[4]提出一種注意力機(jī)制的對(duì)抗攻擊生成網(wǎng)絡(luò)生成對(duì)抗樣本。Dong等人[5]提出一種基于決策的演化攻擊算法。Deb等人[6]通過(guò)生成對(duì)抗網(wǎng)絡(luò)自動(dòng)生成對(duì)抗性人臉。Zhu等人[7]通過(guò)修改語(yǔ)義信息生成對(duì)抗樣本。Sharif等人[8]通過(guò)一種通用的方法訓(xùn)練生成神經(jīng)網(wǎng)絡(luò)以生成對(duì)抗樣本。Zhong等人[9]提出了一種基于dropout技術(shù)的DFANet攻擊算法。

以往的攻擊方法大多在數(shù)字場(chǎng)景下對(duì)圖像全局添加擾動(dòng),往往在現(xiàn)實(shí)世界中難以實(shí)現(xiàn)。為驗(yàn)證對(duì)抗攻擊在現(xiàn)實(shí)場(chǎng)景中的實(shí)用性,Kurakin等人[10]用手機(jī)拍攝打印出來(lái)的對(duì)抗樣本欺騙分類網(wǎng)絡(luò)。Shen等人[11]利用投影設(shè)備將對(duì)抗擾動(dòng)投影到臉部實(shí)現(xiàn)對(duì)人臉識(shí)別模型的對(duì)抗攻擊。

為提高對(duì)抗樣本在物理世界中的實(shí)用性,基于對(duì)抗貼片的攻擊方法被提出。Brown等人[12]提出了局部可視化擾動(dòng)方法,將對(duì)抗貼片通過(guò)打印實(shí)現(xiàn)物理場(chǎng)景的對(duì)抗攻擊。構(gòu)造現(xiàn)實(shí)世界對(duì)抗樣本最成功的范例是期望轉(zhuǎn)換(Expectation Over Transformation,EOT)算法[13],通過(guò)對(duì)圖像進(jìn)行一系列轉(zhuǎn)換增強(qiáng)對(duì)抗樣本的魯棒性。而后,Sharif等人[14]提出一種使用基于優(yōu)化的方法生成針對(duì)眼鏡區(qū)域的對(duì)抗貼片。Komkov和Petiushko等人[15]在帽子區(qū)域添加擾動(dòng)以生成對(duì)抗貼片(AdvHat)。

AdvHat方法雖然具有良好的白盒攻擊性能,但是其黑盒場(chǎng)景下的可遷移性較差,無(wú)法在現(xiàn)實(shí)世界實(shí)現(xiàn)對(duì)抗攻擊。Feng等人[16]研究表明,眼部區(qū)域包含了較多的特征信息,因而在AdvHat方法的基礎(chǔ)上,該文提出一種新的針對(duì)類似于人眼面具的眼部掩模的對(duì)抗貼片生成方法(AdvEyeMask)。該方法引入了動(dòng)量的思想,并對(duì)輸入圖像應(yīng)用了添加隨機(jī)噪聲、亮度調(diào)整以及隨機(jī)放縮等多樣性變換,并根據(jù)圖像的平移不變特性對(duì)梯度矩陣進(jìn)行高斯核卷積處理。該文分別在單模型、集成模型場(chǎng)景下對(duì)AdvEyeMask方法進(jìn)行了實(shí)驗(yàn)與分析,并在物理場(chǎng)景下進(jìn)行了攻擊某商用人臉識(shí)別設(shè)備的實(shí)驗(yàn),并取得了成功。

總體而言,主要貢獻(xiàn)如下：

(1)提出一種新的針對(duì)眼部掩模的對(duì)抗貼片生成方法(Adversarial Eye Mask,AdvEyeMask),具有較高的白盒攻擊性能,并利用商業(yè)人臉比對(duì)API成功實(shí)現(xiàn)黑盒攻擊。隨后進(jìn)行了溯源實(shí)驗(yàn)并證明佩戴對(duì)抗貼片的攻擊者可以避免身份的暴露。

(2)將AdvEyeMask方法與現(xiàn)有的AdvHat方法進(jìn)行攻擊性能對(duì)比實(shí)驗(yàn),驗(yàn)證AdvEyeMask方法的有效性。

(3)為證明AdvEyeMask方法生成對(duì)抗貼片在現(xiàn)實(shí)世界中的魯棒性,在物理場(chǎng)景下進(jìn)行了攻擊某商用人臉識(shí)別設(shè)備的實(shí)驗(yàn),并實(shí)現(xiàn)成功攻擊。

1 相關(guān)研究現(xiàn)狀概述

1.1 對(duì)抗樣本描述

對(duì)于原始數(shù)據(jù)x,其真實(shí)標(biāo)簽為ytrue,預(yù)訓(xùn)練得到的模型分類器為f(·),則對(duì)于模型分類器,可以對(duì)原始數(shù)據(jù)進(jìn)行正確分類,即f(x)=ytrue。當(dāng)攻擊者向原始數(shù)據(jù)添加擾動(dòng)產(chǎn)生新的數(shù)據(jù),即xadv=x+δ,使得分類器對(duì)xadv的分類產(chǎn)生新的結(jié)果,即f(xadv)=ytarget,其中ytarget≠ytrue,則稱通過(guò)對(duì)原始數(shù)據(jù)添加擾動(dòng)產(chǎn)生的新的數(shù)據(jù)xadv為對(duì)抗樣本。其中,若ytarget為指定目標(biāo),則稱xadv為有目標(biāo)對(duì)抗樣本,否則稱為無(wú)目標(biāo)對(duì)抗樣本。該文是針對(duì)指定的目標(biāo)人物進(jìn)行攻擊,故屬于有目標(biāo)對(duì)抗。

1.2 基于梯度的攻擊方法

基于梯度的對(duì)抗攻擊方法是一種常見(jiàn)的白盒攻擊方法,Goodfellow等人最早提出了FGSM方法,該方法計(jì)算輸入的損失函數(shù)的梯度,并通過(guò)選定的常數(shù)與梯度符號(hào)向量相乘來(lái)產(chǎn)生小的擾動(dòng)。而后,Kurakin等人[17]對(duì)FGSM方法引入迭代的思想提出了BIM方法,以迭代的方式沿著梯度增加的方向進(jìn)行多步小的擾動(dòng)。相比FGSM方法而言,BIM方法獲取的擾動(dòng)更加準(zhǔn)確。Dong等人[18]提出一種基于動(dòng)量迭代的FGSM(Momentum Iterative FGSM,MI-FGSM)方法。該方法將動(dòng)量項(xiàng)整合到攻擊過(guò)程中,有助于逃離局部極大值,提高對(duì)抗樣本的可遷移性。針對(duì)圖像在現(xiàn)實(shí)場(chǎng)景中的變換以及圖像平移不變性,分別提出了DIM方法[19]與TIM方法。這兩種方法緩解了過(guò)擬合現(xiàn)象,在黑盒場(chǎng)景設(shè)置下實(shí)現(xiàn)較好的攻擊效果。

2 針對(duì)眼部掩模的人臉識(shí)別對(duì)抗貼片生成算法

該文提出一種新的基于眼部掩模的對(duì)抗貼片的生成方法(Adversarial Eye Mask,AdvEyeMask)。基于動(dòng)量的貼片更新方法如圖1所示。算法主要包含聯(lián)合多樣性處理、高精度人臉特征提取特征網(wǎng)絡(luò)以及混合余弦損失函數(shù)三部分。首先,該方法對(duì)攻擊者圖像添加隨機(jī)噪聲、亮度調(diào)整以及隨機(jī)放縮填充等多樣性變換,增強(qiáng)對(duì)抗貼片的環(huán)境適應(yīng)性。將眼部掩模與攻擊者人臉圖像相結(jié)合,對(duì)所得人臉圖像進(jìn)行大小轉(zhuǎn)換處理并輸入到人臉識(shí)別網(wǎng)絡(luò)模型中,利用多個(gè)現(xiàn)有的人臉識(shí)別模型分別對(duì)輸入人臉圖像進(jìn)行特征提取,并對(duì)各模型獲得的特征進(jìn)行結(jié)合,以獲得輸入人臉的特征,將面具人臉與目標(biāo)人臉的余弦相似度損失與平滑度損失相結(jié)合構(gòu)成混合余弦損失函數(shù),最后對(duì)目標(biāo)損失函數(shù)反向求導(dǎo)并更新對(duì)抗貼片。

圖1 算法流程

2.1 基于動(dòng)量的貼片更新方法

該文提出一種新的針對(duì)眼部掩模的對(duì)抗樣本生成方法,該方法采用基于梯度的攻擊方法,對(duì)目標(biāo)損失函數(shù)進(jìn)行反向求導(dǎo)以獲得輸入圖像的梯度信息,進(jìn)而對(duì)迭代過(guò)程中的對(duì)抗貼片進(jìn)行更新。在計(jì)算圖像梯度信息的過(guò)程中,引入了多樣性攻擊方法DIM,對(duì)輸入圖像進(jìn)行多樣性變換,來(lái)緩解迭代過(guò)程中的過(guò)擬合現(xiàn)象。此外,還引入了動(dòng)量的思想,通過(guò)MI-FGSM方法避免陷入局部極大值,穩(wěn)定更新方向。并且針對(duì)圖像的平移不變特性,引入了TIM方法[20],利用預(yù)定義的高斯核對(duì)圖像的梯度矩陣進(jìn)行卷積操作,從而降低生成的對(duì)抗貼片對(duì)白盒模型的敏感程度。對(duì)抗貼片更新過(guò)程表示如下：

xdiv=D(B(x+noise))

(1)

(2)

gt+1=μ·gt+(1-μ)·{W*

(3)

Pt+1=Clip[0,1]{Pt-α·sign(gt+1)}

(4)

此外,實(shí)驗(yàn)中借鑒了Komkov等人提出的兩階段梯度更新方式,分別在第一階段和第二階段進(jìn)行梯度更新時(shí)設(shè)置了不同的步長(zhǎng)和動(dòng)量平衡因子。在第一階段快速得到眼部區(qū)域?qū)官N片的同時(shí),通過(guò)第二階段進(jìn)一步對(duì)貼片進(jìn)行優(yōu)化。每階段中,根據(jù)最近100次相似度值形成的線性回歸模型系數(shù)是否大于等于0,以此作為該階段結(jié)束的條件。

2.2 聯(lián)合多樣性處理與高斯核卷積處理

為提高生成的對(duì)抗樣本在黑盒場(chǎng)景下的攻擊性能,該文在訓(xùn)練過(guò)程中對(duì)輸入圖像進(jìn)行聯(lián)合多樣性處理,并針對(duì)圖像平移不變特性,對(duì)目標(biāo)損失進(jìn)行高斯核卷積處理,提高了對(duì)抗樣本的黑盒攻擊性能。

2.2.1 聯(lián)合多樣性處理

為了提高對(duì)抗樣本在物理場(chǎng)景下應(yīng)用的魯棒性,采用聯(lián)合多樣性處理的思想,對(duì)輸入圖像進(jìn)行添加隨機(jī)噪聲、隨機(jī)亮度調(diào)整以及縮放填充以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)場(chǎng)景下發(fā)生的變化進(jìn)行模擬。

2.2.2 高斯核卷積處理

針對(duì)圖像的平移不變特性,對(duì)迭代中目標(biāo)損失的梯度信息進(jìn)行高斯核卷積處理。該方法的使用增強(qiáng)了生成的對(duì)抗樣本的遷移性,降低了生成的對(duì)抗樣本對(duì)白盒模型的敏感程度,提高了對(duì)抗樣本的黑盒攻擊性能。

(5)

其中,W為預(yù)定義的高斯核,模糊矩陣的梯度。

2.3 高精度人臉特征提取神經(jīng)網(wǎng)絡(luò)

該文使用了4個(gè)預(yù)訓(xùn)練模型分別對(duì)輸入圖像進(jìn)行特征提取,所選用的人臉識(shí)別模型分別為L(zhǎng)ResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFaceNet。LResNetE-IR與MobileFaceNet網(wǎng)絡(luò)結(jié)構(gòu)可對(duì)人臉進(jìn)行高精度特征提取,高效地實(shí)現(xiàn)人臉識(shí)別任務(wù)。

2.3.1 LResNetE-IR網(wǎng)絡(luò)

為得到更適合人臉識(shí)別的預(yù)訓(xùn)練模型,對(duì)ResNet網(wǎng)絡(luò)的設(shè)置進(jìn)行了改動(dòng)[21]。圖2為L(zhǎng)ResNetE-IR的網(wǎng)絡(luò)結(jié)構(gòu)。首先,對(duì)于網(wǎng)絡(luò)的輸入,將預(yù)訓(xùn)練模型的第一個(gè)大小為7×7,步長(zhǎng)為2的卷積層替換為大小為3×3,步長(zhǎng)為1的卷積層,因此在訓(xùn)練過(guò)程中保持了高維特征映射的分辨率。原主干網(wǎng)絡(luò)ResNet所采用輸入大小也由224×224轉(zhuǎn)換為112×112。此外,采用BN-Conv-BN-PReLu-Conv-BN結(jié)構(gòu)作為殘差塊,并在殘差塊中將第一個(gè)卷積層的步長(zhǎng)從2調(diào)整到1,激活函數(shù)采用PReLu替代了原來(lái)的ReLu,使得改善后的網(wǎng)絡(luò)結(jié)構(gòu)更適合于人臉識(shí)別模型的訓(xùn)練,而后在最后的卷積層之后添加BN-Dropout-FC-BN模塊。

圖2 LResNetE-IR網(wǎng)絡(luò)結(jié)構(gòu)

2.3.2 MobileFaceNets網(wǎng)絡(luò)

MobileFaceNets是在MobileNetV2的基礎(chǔ)上所得的卷積網(wǎng)絡(luò)。MobileNetV2網(wǎng)絡(luò)通過(guò)平均池化模塊對(duì)人臉特征進(jìn)行提取。針對(duì)平均池化方法識(shí)別精度下降的弊端,Chen等人[22]提出以全局加權(quán)池化替代平均池化方法,避免了均值化效果以及提高預(yù)訓(xùn)練模型工作性能,進(jìn)而得到MobileFaceNets網(wǎng)絡(luò)。

2.4 混合余弦損失函數(shù)

該文將余弦相似度損失與TV損失函數(shù)相結(jié)合作為目標(biāo)損失函數(shù),對(duì)每次迭代中得到的損失進(jìn)行反向求導(dǎo)以更新對(duì)抗貼片。使用余弦相似度損失函數(shù)求解攻擊者與目標(biāo)人物的相似度損失,以及通過(guò)TV損失函數(shù)平滑處理對(duì)抗貼片,使得生成的對(duì)抗貼片更加真實(shí)自然。

2.4.1 余弦相似度損失

余弦相似度可以衡量個(gè)體之間的差異性。當(dāng)兩個(gè)向量間的夾角趨于0時(shí),余弦值越接近于1,表明兩個(gè)向量相似度越高;當(dāng)兩個(gè)向量夾角趨于90度時(shí),余弦值越接近于0,表明兩個(gè)向量相似度越低。余弦相似度如公式(6)所示：

(6)

余弦相似度實(shí)現(xiàn)方法如公式(7)所示：

Lcosine(xadj,xtar)=-cos(exadj,extar)

(7)

其中,cos()為余弦距離函數(shù),exadj和extar分別表示佩戴面具的人臉與目標(biāo)人臉的特征向量。余弦相似度損失越小,面具人臉與目標(biāo)人臉相似度越大。

2.4.2 平滑損失

平滑損失(TV loss)作為一種常用的正則項(xiàng),通過(guò)降低TV loss可以在一定程度上起到減小圖像中相鄰像素差異的作用。該文引入了平滑度損失進(jìn)行衡量,TV值越小平滑度損失越小,生成對(duì)抗貼片更具平滑自然性。平滑損失函數(shù)如公式(8)所示：

(8)

其中,Pi,j表示生成的對(duì)抗貼片中的像素點(diǎn)坐標(biāo)(i,j)對(duì)應(yīng)的像素值。

該文將平滑損失與余弦相似度損失相結(jié)合構(gòu)造目標(biāo)損失函數(shù),并通過(guò)所得目標(biāo)損失迭代更新對(duì)抗貼片：

L(xadj,ytar)=Lcosine(xadj,xtar)+ε·Ltv(P)

(9)

該文沿用AdvHat方法中對(duì)平滑損失權(quán)重的設(shè)定,將平滑損失權(quán)重ε設(shè)置為0.000 1。

以下為對(duì)抗貼片生成算法。

對(duì)抗貼片生成算法：

輸入：攻擊者人臉圖像x,佩戴對(duì)抗貼片的攻擊者人臉圖像xadj,目標(biāo)者人臉圖像xtar,對(duì)抗貼片位置掩膜M,步長(zhǎng)α,動(dòng)量平衡因子μ,平滑損失權(quán)重ε,高斯卷積核W;

輸出：對(duì)抗貼片P;

初始化參數(shù)：初始貼片P0為白色,回歸模型初始系數(shù)coef=-1,t=0,stage=1

while stage≤ 2 do

輸入多樣性變換,如公式(1)(2)所示。

目標(biāo)損失,如公式(9)所示。

目標(biāo)損失反向求導(dǎo)并利用高斯核對(duì)其進(jìn)行卷積進(jìn)而求得梯度,如公式(3)所示。

貼片更新,如公式(4)所示。

觀察近100次迭代相似度的值形成的線性回歸模型更新系數(shù)coef

end while

輸出對(duì)抗貼片：returnP=Pt+1

對(duì)當(dāng)前迭代次數(shù)進(jìn)行判斷：

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)分別對(duì)單模型以及集成模型的攻擊實(shí)驗(yàn)進(jìn)行詳細(xì)說(shuō)明,其中包括實(shí)驗(yàn)所需的數(shù)據(jù)集選取、參數(shù)以及模型設(shè)置等。此外,進(jìn)行了消融實(shí)驗(yàn),增加了實(shí)驗(yàn)可對(duì)比性。為體現(xiàn)AdvEyeMask方法的有效性與實(shí)用性,還對(duì)所得對(duì)抗樣本進(jìn)行了溯源實(shí)驗(yàn)來(lái)進(jìn)行說(shuō)明。而后,令佩戴對(duì)抗貼片的攻擊者攻擊某商用人臉識(shí)別設(shè)備,驗(yàn)證其物理場(chǎng)景對(duì)抗攻擊性能。

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集與參數(shù)設(shè)置

實(shí)驗(yàn)中選取CASIA-FaceV5亞洲人臉數(shù)據(jù)庫(kù)中的500名人員人臉圖像作為目標(biāo)對(duì)象,構(gòu)成500張目標(biāo)人臉數(shù)據(jù)集,其中男性圖像與女性圖像數(shù)量比例接近1∶1。此外,還選取了實(shí)驗(yàn)室中一男一女兩名人員人臉圖像作為攻擊人臉,構(gòu)成包含兩張人臉圖像攻擊者數(shù)據(jù)集。

此外,實(shí)驗(yàn)中借鑒了Komkov等人提出的兩階段梯度更新方式,分別在第一階段設(shè)置步長(zhǎng)為1/51,以及設(shè)置動(dòng)量平衡因子為0.9;在第二階段設(shè)置步長(zhǎng)為1/255,設(shè)置動(dòng)量平衡因子為0.995。

3.1.2 模型設(shè)置

實(shí)驗(yàn)選取了InsightFace Model Zoo中四個(gè)經(jīng)過(guò)訓(xùn)練的人臉識(shí)別模型作為攻擊對(duì)象,分別為L(zhǎng)ResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFaceNet。這四個(gè)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)體系結(jié)構(gòu)有所不同,其中LResNet34E-IR、LResNet50E-IR以及LResNet100E-IR以ResNet網(wǎng)絡(luò)作為主體架構(gòu),模型MobileFaceNet的主體架構(gòu)則是MobileNet網(wǎng)絡(luò)。實(shí)驗(yàn)表明,模型LResNet34E-IR、LResNet50E -IR、LResNet100E-IR以及MobileFaceNet在LFW數(shù)據(jù)集上的識(shí)別精度分別達(dá)到了80.08%、99.80%、99.77%和99.50%。

3.1.3 評(píng)價(jià)指標(biāo)

當(dāng)前,人臉識(shí)別系統(tǒng)工作原理大多為：對(duì)輸入人臉與數(shù)據(jù)庫(kù)人臉進(jìn)行特征相似度比對(duì),若特征相似度超過(guò)系統(tǒng)設(shè)定閾值,則判定為匹配成功。同時(shí),各個(gè)人臉識(shí)別系統(tǒng)所設(shè)置的閾值大小可能會(huì)略有不同。該文選取某廠商人臉識(shí)別設(shè)備的相似度閾值0.70作為識(shí)別閾值,即當(dāng)特征相似度超過(guò)0.70時(shí),則判定為攻擊成功,反之,則為攻擊失敗。

3.2 單模型攻擊實(shí)驗(yàn)

本節(jié)將介紹利用單模型LResNet- 100E-IR進(jìn)行攻擊實(shí)驗(yàn),使每位攻擊者分別針對(duì)500張目標(biāo)人臉圖像進(jìn)行攻擊,生成相應(yīng)的對(duì)抗貼片,并測(cè)試白盒攻擊成功率。實(shí)驗(yàn)結(jié)果如表1所示,原始圖像均不能導(dǎo)致LResNet100E-IR產(chǎn)生錯(cuò)誤分類;而面具人臉?lè)謩e以99.60%和93.60%的攻擊成功率使得白盒模型產(chǎn)生誤判。此外,表中可以看出在白盒場(chǎng)景下,兩位佩戴對(duì)抗貼片的攻擊者與目標(biāo)人臉?lè)謩e實(shí)現(xiàn)0.81和0.79的平均相似度,AdvEyeMask方法顯著提升了平均相似度,可以在白盒設(shè)置下實(shí)現(xiàn)良好的攻擊效果。

表1 單模型生成對(duì)抗貼片的攻擊成功率與平均相似度

3.3 集成模型攻擊實(shí)驗(yàn)

單模型攻擊所生成的對(duì)抗樣本雖有良好的白盒攻擊性能,但現(xiàn)實(shí)場(chǎng)景中模型多為黑盒模型,故單模型攻擊不適用于現(xiàn)實(shí)場(chǎng)景。如表1所示,佩戴基于單模型LResNet100E-IR生成的對(duì)抗貼片的攻擊者person1和person2,攻擊黑盒模型LResNet50E-IR時(shí)僅分別達(dá)到0.48和0.44的平均相似度,在識(shí)別閾值設(shè)定為0.70的條件下無(wú)法成功實(shí)現(xiàn)黑盒攻擊。對(duì)此,實(shí)驗(yàn)中將模型LResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFace- Net進(jìn)行集成,針對(duì)所生成的對(duì)抗貼片,利用百度API對(duì)佩戴對(duì)抗貼片的攻擊者與目標(biāo)人臉進(jìn)行比對(duì),求得黑盒場(chǎng)景下的人臉特征相似度。分別對(duì)佩戴單模型與集成模型生成對(duì)抗貼片攻擊者人臉通過(guò)百度API進(jìn)行相似度比對(duì),如表2所示,兩位佩戴單模型對(duì)抗貼片攻擊者對(duì)百度API的攻擊成功率分別為33.20%和17.80%,而佩戴集成模型對(duì)抗貼片的攻擊成功率達(dá)到了69.60%和64.20%。由此可見(jiàn),集成方法攻擊成功率得到了較大提升。

表2 分別佩戴在單模型與集成模型生成對(duì)抗貼片的攻擊者對(duì)目標(biāo)人物的攻擊成功率與平均相似度(百度API)

圖3中為單模型與集成模型方法攻擊性能對(duì)比示例,其中在每組攻擊者示例中,左列圖像為單模型方法,右列為集成模型方法,中間為目標(biāo)人臉。由圖中可以清晰地看出,集成模型方法具有更好的黑盒攻擊性能。

圖3 單模型與集成模型方法生成對(duì)抗貼片攻擊效果對(duì)比

此外,表中還對(duì)佩戴單模型與集成模型方法與目標(biāo)人臉的平均相似度進(jìn)行統(tǒng)計(jì)。可以看出,通過(guò)集成模型方法可以使得攻擊者和目標(biāo)人物的平均相似度提升超過(guò)0.10。因此,可以證明集成模型方法對(duì)于攻擊性能提升的有效性。

3.4 消融實(shí)驗(yàn)

本節(jié)將AdvEyeMask方法與AdvHat方法的攻擊性能進(jìn)行了對(duì)比。分別在LResNet100E-IR單模型與集成模型的實(shí)驗(yàn)場(chǎng)景下,通過(guò)兩種方法生成對(duì)抗貼片,并對(duì)其特征相似度進(jìn)行了比較。表3分別為AdvHat方法與AdvEyeMask方法在單模型場(chǎng)景下與目標(biāo)人物在白盒模型LResNet100E-IR與LResNet50E-IR黑盒模型攻擊場(chǎng)景下的平均相似度,可以看出,相比于AdvHat方法,AdvEyeMask方法可以使得攻擊者與目標(biāo)人物的平均相似度在白盒場(chǎng)景下實(shí)現(xiàn)0.41的提升,并且在黑盒場(chǎng)景下達(dá)到0.28的提升。表4展示了Adv-Hat方法與AdvEyeMask方法利用集成模型生成對(duì)抗貼片,在百度API平臺(tái)所得攻擊成功率與平均相似度。由表4可知,AdvEyeMask方法可以使得平均相似度比AdvHat方法提升0.31和0.38。由AdvEyeMask方法與AdvHat方法相比在百度API測(cè)試攻擊成功率提升64.4百分點(diǎn)。由實(shí)驗(yàn)可得AdvEyeMask方法可以獲得比AdvHat方法更強(qiáng)的攻擊性能。

表3 佩戴由AdvHat方法與AdvEyeMask方法在單模型場(chǎng)景下生成的對(duì)抗貼片的攻擊者與目標(biāo)人物分別在白盒攻擊與黑盒攻擊場(chǎng)景下的平均相似度

表4 佩戴AdvHat方法與AdvEyeMask方法在集成模型上生成的對(duì)抗貼片的攻擊者與目標(biāo)人物的攻擊成功率與平均相似度(百度API)

此外,將集成模型場(chǎng)景下兩種攻擊方法人臉比對(duì)相似度以折線圖形式進(jìn)行展示。如圖4所示,左圖為AdvHat方法在百度API所得相似度趨勢(shì)統(tǒng)計(jì)圖,右圖為AdvEyeMask方法通過(guò)百度API平臺(tái)測(cè)試所得相似度趨勢(shì)統(tǒng)計(jì)圖。圖中實(shí)線部分為攻擊者1的相似度趨勢(shì)曲線,虛線部分為攻擊者2相似度的趨勢(shì)曲線。由圖中可以看出,AdvEyeMask方法人臉比對(duì)相似度趨勢(shì)為0.70左右,而通過(guò)AdvHat方法人臉比對(duì)相似度趨勢(shì)僅為0.30與0.40左右,因而,AdvEyeMask方法在相似度上明顯高于AdvHat方法。

圖4 人臉比對(duì)相似度折線圖

3.5 溯源實(shí)驗(yàn)

在實(shí)際應(yīng)用中還應(yīng)考慮攻擊者的真實(shí)身份是否會(huì)暴露。對(duì)此,實(shí)驗(yàn)中分別測(cè)試了兩位攻擊者在佩戴貼片前后的相似度,相似度越低,攻擊者暴露的可能性越小。期間對(duì)集成模型方法通過(guò)四種現(xiàn)有的人臉識(shí)別模型進(jìn)行實(shí)驗(yàn),對(duì)佩戴貼片前后的攻擊者平均相似度進(jìn)行比較,進(jìn)而對(duì)溯源性進(jìn)行說(shuō)明。實(shí)驗(yàn)結(jié)果如表5所示,由此可以看出佩戴貼片前后的攻擊者具有較低的平均相似度,在四種現(xiàn)有的人臉識(shí)別模型攻擊成功率均為0,無(wú)法成功實(shí)現(xiàn)對(duì)抗攻擊,因而在現(xiàn)實(shí)場(chǎng)景應(yīng)用中不會(huì)輕易暴露攻擊者身份。

表5 集成模型生成對(duì)抗貼片在溯源實(shí)驗(yàn)中所得的平均相似度

3.6 物理場(chǎng)景攻擊實(shí)驗(yàn)

為進(jìn)一步測(cè)試對(duì)抗貼片的物理場(chǎng)景攻擊效果,該文設(shè)計(jì)并實(shí)驗(yàn)了AdvEyeMask方法在物理場(chǎng)景下的攻擊性能。實(shí)驗(yàn)選取某款商用人臉識(shí)別設(shè)備作為攻擊對(duì)象,選取一名實(shí)驗(yàn)人員作為攻擊者,對(duì)其他四名目標(biāo)人臉進(jìn)行對(duì)抗攻擊。而后,將AdvEyeMask方法通過(guò)打印獲得真實(shí)貼片。實(shí)驗(yàn)中,佩戴對(duì)抗貼片的攻擊者在人臉識(shí)別設(shè)備前分別進(jìn)行近、遠(yuǎn)、上、下、左、右的變換,以此來(lái)觀察對(duì)抗貼片的魯棒性。

如圖5所示,給出了物理場(chǎng)景下佩戴對(duì)抗貼片的攻擊者攻擊人臉識(shí)別設(shè)備的實(shí)驗(yàn)效果。在六種不同的視角情況下,佩戴對(duì)抗貼片的攻擊者均可以實(shí)現(xiàn)成功攻擊,結(jié)果表明,AdvEyeMask方法在物理場(chǎng)景下可實(shí)現(xiàn)對(duì)某商用人臉識(shí)別設(shè)備的有效攻擊。

4 結(jié)束語(yǔ)

該文設(shè)計(jì)了一種新的針對(duì)人的眼部掩模的對(duì)抗貼片生成方法(AdvEyeMask),生成的對(duì)抗貼片具有良好的魯棒性,而且在白盒和黑盒場(chǎng)景下都可實(shí)現(xiàn)較好攻擊,并且在攻擊現(xiàn)有的人臉識(shí)別系統(tǒng)時(shí)可以實(shí)現(xiàn)較高的攻擊成功率。進(jìn)行了單模型以及集成模型攻擊實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果表明,AdvEyeMask方法生成的對(duì)抗貼片可以實(shí)現(xiàn)較高的白盒攻擊成功率,并在一定程度上對(duì)百度API實(shí)現(xiàn)黑盒攻擊。將AdvEyeMask方法與AdvHat方法進(jìn)行對(duì)比,實(shí)驗(yàn)證明AdvEyeMask方法在白盒以及黑盒場(chǎng)景下攻擊性能均得到了較大的提高。此外,文中對(duì)AdvEyeMask方法溯源性進(jìn)行分析,實(shí)驗(yàn)結(jié)果表明佩戴對(duì)抗貼片的攻擊者身份不易被暴露。最后,實(shí)驗(yàn)了物理場(chǎng)景下佩戴對(duì)抗貼片的攻擊者對(duì)某商用人臉識(shí)別設(shè)備的攻擊性能,并實(shí)現(xiàn)成功攻擊。