基于k-WTA的對(duì)抗樣本防御模型研究

吳 倩，曹春杰

（1.海南大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，海南 ?？?570228；2.海南大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，海南 ?？?570228）

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像識(shí)別［1］及其他領(lǐng)域中取得了巨大成功，廣泛應(yīng)用于現(xiàn)實(shí)世界，如人臉識(shí)別系統(tǒng)，但都依賴于深度神經(jīng)網(wǎng)絡(luò)的安全性.因此，神經(jīng)網(wǎng)絡(luò)的安全問(wèn)題已經(jīng)成為人工智能安全領(lǐng)域的關(guān)注重點(diǎn).目前已經(jīng)有研究表明，深度神經(jīng)網(wǎng)絡(luò)易受到添加微小擾動(dòng)的原始樣本的干擾［2］，這些人眼無(wú)法察覺(jué)的擾動(dòng)卻能使系統(tǒng)產(chǎn)生錯(cuò)誤的判斷結(jié)果，此類輸入樣本被稱作對(duì)抗樣本［3］.

目前對(duì)抗樣本的產(chǎn)生方法主要分為3大類：基于梯度的攻擊方法，如快速梯度符號(hào)法（FGSM）［3］，利用高維空間中深度神經(jīng)網(wǎng)絡(luò)模型的線性性質(zhì)，通過(guò)輸入向量梯度方向添加擾動(dòng)快速得到對(duì)抗擾動(dòng)，但是使用梯度法產(chǎn)生的對(duì)抗樣本進(jìn)行對(duì)抗訓(xùn)練存在極大極小值問(wèn)題；基于優(yōu)化的攻擊方法，如C&W［4］，通過(guò)限制于真實(shí)圖像的距離l0，l2，l∞范數(shù)，減小對(duì)抗樣本的擾動(dòng)幅度，但是該系列方法通過(guò)復(fù)雜的線性搜索方法來(lái)找到最佳擾動(dòng)值，十分耗時(shí)且不切實(shí)際，該系列方法計(jì)算得到的擾動(dòng)在添加到圖像后，可通過(guò)降低圖像質(zhì)量而失效；基于生成網(wǎng)絡(luò)的方法，如Natural GAN［5］，通過(guò)生成對(duì)抗網(wǎng)絡(luò)來(lái)生成文字和圖像的對(duì)抗樣本，使生成的對(duì)抗樣本更加自然，對(duì)抗生成網(wǎng)絡(luò)也被用于黑盒攻擊，該系列方法雖然生成速度快，但是比上述2類方法往往擾動(dòng)大，人眼觀察效果明顯.

與對(duì)抗攻擊相反，對(duì)抗防御是使模型能夠抵抗對(duì)抗樣本的技術(shù)，與攻擊相比，防御是一項(xiàng)更為艱巨的任務(wù).盡管如此，仍然提出了大量的防御方法，主要有2個(gè)方面：1）被動(dòng)防御，包括輸入重構(gòu)、對(duì)抗檢測(cè)；2）主動(dòng)防御，包括防御蒸餾和對(duì)抗訓(xùn)練.

被動(dòng)防御主要有2種方法：輸入重構(gòu)，如高層特征引導(dǎo)降噪器（HGD）［6］，利用對(duì)抗樣本與原始樣本在神經(jīng)網(wǎng)絡(luò)高層特征的差異來(lái)訓(xùn)練對(duì)抗樣本降噪器；對(duì)抗檢測(cè)，如Lu等［7］提出用SafetyNet來(lái)提取每個(gè)ReLU層輸出的二進(jìn)制閾值作為對(duì)抗檢測(cè)器的特征，并通過(guò)RBF-SVM分類器檢測(cè)對(duì)抗樣本.

主動(dòng)防御主要有2種方法：1）防御蒸餾［8］，本質(zhì)上是通過(guò)梯度遮蔽來(lái)防御對(duì)抗攻擊的方法；2）對(duì)抗訓(xùn)練［9］，將每一次模型訓(xùn)練過(guò)程中生成的對(duì)抗樣本加入到訓(xùn)練集中對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而提高深度神經(jīng)網(wǎng)絡(luò)的魯棒性.參考文獻(xiàn)［10］中對(duì)抗訓(xùn)練被認(rèn)為是最強(qiáng)對(duì)抗防御算法.但目前存在的對(duì)抗防御方法大多需要針對(duì)攻擊方式對(duì)模型進(jìn)行特定設(shè)計(jì)和修改，耗費(fèi)大量的時(shí)間和精力且防御效果不佳.

基于上述問(wèn)題，筆者提出Att-k-DefGAN，有效提高深度神經(jīng)網(wǎng)絡(luò)的魯棒性，模型訓(xùn)練結(jié)束后可以防御多種對(duì)抗攻擊，同時(shí)利用生成對(duì)抗網(wǎng)絡(luò)生成假圖提供對(duì)抗訓(xùn)練所需的足夠樣本，減少了防御訓(xùn)練所需的大量時(shí)間和資源.

1 相關(guān)工作

1.1 對(duì)抗攻擊對(duì)抗攻擊方法主要分為3類：基于梯度的攻擊方法，基于優(yōu)化的攻擊方法和基于生成的攻擊方法.經(jīng)典的代表算法有PGD，MI-FGSM，AdvGAN++和MAN等.

PGD（Projected Gradient Descent）是2018年Madry等［11］提出FGSM的變體——投影梯度下降法，是一種多步迭代算法，每一步與FGSM相似做一次梯度下降，但是只移動(dòng)一小步，每步迭代所移動(dòng)的擾動(dòng)大小都受到限制，

2018年Dong等［12］提出的動(dòng)量迭代攻擊法（Momentum Iterative Fast Gradient Sign Method，MI-FGSM）.通過(guò)將動(dòng)量引入I-FGSM，在迭代過(guò)程中沿?fù)p失函數(shù)的梯度方向累加速度矢量，加速梯度下降的一種方法，從而提高隨機(jī)梯度下降的穩(wěn)定性，可以在產(chǎn)生更具可傳遞性的對(duì)抗樣本的同時(shí)不降低其攻擊性能，極大地提高了黑盒攻擊能力.

AdvGAN++是基于生成的攻擊方法的一種，2019年由Mangla等［13］提出，將潛在特征作為對(duì)抗例子生成的先驗(yàn)信息，從而生成與原始圖像具有高感知度的對(duì)抗例子，此方法要優(yōu)于AdvGAN將輸入圖像作為先驗(yàn)信息，可以實(shí)現(xiàn)更高的攻擊成功率.

MAN是一種多目標(biāo)對(duì)抗網(wǎng)絡(luò)，2019年由Han等［14］提出，可以使用單一模型生成多目標(biāo)類別對(duì)抗樣本，通過(guò)將指定的類別信息合并到中間特征中，可以在運(yùn)行時(shí)攻擊目標(biāo)分類模型的任何類別，在單目標(biāo)攻擊和多目標(biāo)攻擊中，MAN生成的對(duì)抗樣本都具有更強(qiáng)的攻擊性和轉(zhuǎn)移性.

1.2 對(duì)抗防御對(duì)抗防御方法主要分為針對(duì)模型的防御和針對(duì)數(shù)據(jù)的防御.其中常用的經(jīng)典方法有HGD、對(duì)抗訓(xùn)練、Defense-GAN和隱寫分析等.

HGD（High-level representation Guided Denoiser，HGD）是2018年Liao等［15］提出的一種高級(jí)特征引導(dǎo)去噪器方法.利用原始圖像和對(duì)抗樣本引起的目標(biāo)模型輸出之間的差距作為損失函數(shù)，而非重建對(duì)抗樣本和原始圖像之間的距離損失來(lái)訓(xùn)練對(duì)抗樣本去噪器.此網(wǎng)絡(luò)只需要學(xué)習(xí)如何去除噪聲，而無(wú)需重建整張圖.該方法使用U-Net作為去噪網(wǎng)絡(luò)，與去噪自動(dòng)編碼器的編碼器和解碼器直接相連構(gòu)成HGD.HGD具有良好的泛化性，可以提高目標(biāo)模型的魯棒性，并且效率更高，需要的訓(xùn)練數(shù)據(jù)和時(shí)間都更少.

對(duì)抗訓(xùn)練被認(rèn)為是效果最好的對(duì)抗防御方法.2017年Wu等［7］提出對(duì)抗訓(xùn)練，即在每輪迭代中通過(guò)對(duì)干凈樣本添加擾動(dòng)生成對(duì)抗樣本，然后將對(duì)抗樣本和干凈樣本進(jìn)行混合，共同作為模型訓(xùn)練數(shù)據(jù)集輸入到目標(biāo)分類網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，該方法試圖讓目標(biāo)網(wǎng)絡(luò)適應(yīng)對(duì)抗樣本，從而對(duì)其他對(duì)抗樣本也具有魯棒性.

Defense-GAN［16］是2018年提出的一種新的基于GAN的防御方法Defense-GAN.通過(guò)使用GAN可以有效地抵抗不同場(chǎng)景下的攻擊，Defense-GAN可以連同任意分類器使用，可以看做分類任務(wù)之前的預(yù)處理，如果GAN表達(dá)能力足夠好，則無(wú)需重新訓(xùn)練分類器.同時(shí)具有高度非線性性質(zhì)，使得基于梯度的白盒攻擊將很難實(shí)現(xiàn)，但是GAN要進(jìn)行適當(dāng)?shù)挠?xùn)練和調(diào)整，否則防御效果會(huì)受到輸入樣本和對(duì)抗樣本的影響.

2019年Liu等［17］首次提出將隱寫分析應(yīng)用于對(duì)抗樣本檢測(cè)，通過(guò)估計(jì)對(duì)抗性攻擊引起的修改概率來(lái)增強(qiáng)隱寫分析特征，從而對(duì)對(duì)抗樣本進(jìn)行檢測(cè)，此方法基于高維人工特征和FLD集成，因此不會(huì)被二次對(duì)抗攻擊.

2 基于k-WTA的對(duì)抗樣本防御模型

2.2 Att-k-DefGAN框架圖1展示了Att-k-DefGAN的總體框架，主要包括5個(gè)部分：特征提取器F、生成器網(wǎng)絡(luò)G、鑒別器網(wǎng)絡(luò)D、攻擊算法Ω和目標(biāo)攻擊模型M.其中，攻擊算法Ω負(fù)責(zé)將原始干凈圖像轉(zhuǎn)化為經(jīng)過(guò)對(duì)抗攻擊算法預(yù)訓(xùn)練的對(duì)抗樣本，攻擊目標(biāo)模型M成功后作為模型的訓(xùn)練集.特征提取器F負(fù)責(zé)對(duì)原始圖像特征進(jìn)行提取，得到特征圖F(x)，使得網(wǎng)絡(luò)模型能夠?qū)W習(xí)到原始圖像深層特征之間的聯(lián)系.生成器G負(fù)責(zé)接收?qǐng)D像的特征提取器F的輸出F(x)和噪聲向量z作為級(jí)聯(lián)向量，并生成假圖x fak e.鑒別器D接收經(jīng)過(guò)指定對(duì)抗攻擊算法Ω（如PGD攻擊）預(yù)處理的圖像x adv和生成器輸出x fa ke，并將樣本進(jìn)行正確分類，當(dāng)判斷為對(duì)抗圖像x adv時(shí)可以預(yù)測(cè)類別，反之，當(dāng)判斷為假圖像x fake時(shí)，不對(duì)圖像進(jìn)行類別預(yù)測(cè).同時(shí)，生成的假圖x fake輸入到目標(biāo)攻擊模型M中，通過(guò)對(duì)抗損失函數(shù)引導(dǎo)生成器的訓(xùn)練.另外，為了生成指定類別的假樣本，此框架將類別信號(hào)c引入生成器，從而引導(dǎo)模型訓(xùn)練.

圖1 Att-k-Def GAN框架圖

攻擊算法Ω接收真實(shí)樣本x rea l和與之相對(duì)應(yīng)的真標(biāo)簽c r eal作為輸入，對(duì)真實(shí)樣本進(jìn)行預(yù)處理，生成對(duì)抗樣本x adv，并與真標(biāo)簽c re al一起輸出.生成器G以隨機(jī)噪聲z與特征圖F(x)級(jí)聯(lián)的向量F(x)*作為輸入，生成假圖像x fak e.鑒別器接收假圖像x fake和對(duì)抗圖像x adv及對(duì)抗圖像對(duì)應(yīng)的真標(biāo)簽c re al，D對(duì)假圖像x fak e的鑒別損失函數(shù)反饋?zhàn)饔糜谏善鱃，指導(dǎo)生成器G的訓(xùn)練，引導(dǎo)x fake越來(lái)越接近真實(shí)圖像；D對(duì)對(duì)抗圖像x adv的鑒別損失函數(shù)、分類損失函數(shù)和對(duì)假圖像x fake的鑒別損失函數(shù)共同指導(dǎo)鑒別器D的訓(xùn)練，鑒別損失引導(dǎo)鑒別器D不斷提高對(duì)生成樣本和真實(shí)樣本的區(qū)分能力，分類損失使D能夠有效對(duì)樣本進(jìn)行分類，促使生成器G根據(jù)類別信號(hào)c fak e生成相應(yīng)類別的假樣本.

2.3 k-WTA的原理k-WTA激活函數(shù)是對(duì)1989年Majani等人提出的布爾KWTA2的自然概括，2020年Xiao等［18］首次提出將其運(yùn)用到對(duì)抗防御中，并從理論及實(shí)驗(yàn)方面證明其可行性.圖2展示了k-WTA激活函數(shù)的魯棒性原理，利用k-WTA模型生成不連續(xù)的密集的短直線（藍(lán)色）去擬合一維函數(shù)（綠色）.

圖2 k-WTA激活函數(shù)魯棒性原理圖［18］

由圖2可知，由于在不連續(xù)中，梯度無(wú)法確認(rèn).因此，攻擊者對(duì)對(duì)抗樣本的搜索將會(huì)盲目，同時(shí)因?yàn)闄?quán)重W的維度在參數(shù)空間中比數(shù)據(jù)空間中大得多，不會(huì)影響模型的正常分類訓(xùn)練，網(wǎng)絡(luò)可以被成功訓(xùn)練.

2.4 基于注意力機(jī)制的特征提取器將原圖通過(guò)與生成器網(wǎng)絡(luò)完全對(duì)稱的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行降維提取圖像特征，再引入注意力機(jī)制（SE模塊［19］），將圖像淺層特征中的空間關(guān)系和通道特征關(guān)系抽離出來(lái)形成深層特征，使圖像學(xué)習(xí)到不同通道特征的權(quán)重系數(shù)，從而使模型對(duì)各個(gè)通道的特征更有辨識(shí)力，相比直接輸入原圖進(jìn)行學(xué)習(xí)，添加注意力機(jī)制的特征提取器使得模型能以更小的代價(jià)學(xué)習(xí)更多的圖像知識(shí).

2.5 損失函數(shù)對(duì)Rob-GAN［20］中的損失函數(shù)做出改進(jìn)，鑒別器判斷圖像的來(lái)源和類別P(S|x)，P(C|x)=D(x)，在生成器G增加了原始圖像的深層特征進(jìn)行融合作為輸入x fa ke=G((c fake，z))+F(x re al))，并增加對(duì)抗損失，對(duì)GAN生成器的訓(xùn)練進(jìn)行約束損失函數(shù)由3個(gè)部分組成：

分類損失

對(duì)抗損失

2.6 網(wǎng)絡(luò)結(jié)構(gòu)本文中鑒別器采用的是AC-GAN［21］的標(biāo)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)，因?yàn)椴粌H會(huì)區(qū)分真實(shí)和虛假的圖像，當(dāng)真標(biāo)簽可用時(shí)還可以預(yù)測(cè)類別，同時(shí)鼓勵(lì)高分類精度.生成器與傳統(tǒng)的GAN訓(xùn)練類似，定期更新以模擬真實(shí)數(shù)據(jù)的分布.

生成器 生成器的具體網(wǎng)絡(luò)結(jié)構(gòu)如表1所示：生成器第一層全連接層輸入為128的噪聲，輸出是42×64×16的圖像，其中42為特征圖大小，64×16為通道數(shù).然后是4個(gè)殘差塊，一個(gè)批正則化，最后一層為3*3卷積核大小的卷積層.生成器中包含3個(gè)上采樣殘差塊和1個(gè)普通殘差塊，其中上采樣使用UpSampling2D實(shí)現(xiàn)，除最后一層使用Tanh激活函數(shù)外其余層都使用ReLU激活函數(shù).

表1 Att-k-DefGAN生成器的具體結(jié)構(gòu)表

鑒別器 鑒別器的具體網(wǎng)絡(luò)結(jié)構(gòu)如表2所示：鑒別器第一層是1個(gè)特殊的下采樣殘差塊，然后是1個(gè)下采樣殘差塊，2個(gè)普通殘差塊，一層激活層，最后一層全連接層有2種：1）判斷真假圖像時(shí)輸出通道數(shù)為1；2）判斷圖像類別時(shí)輸出通道數(shù)為類別數(shù).其中下采樣用AvgPooling2D實(shí)現(xiàn)，因?yàn)榕齽t化會(huì)使同一批次的不同樣本產(chǎn)生依賴關(guān)系，而此模型要對(duì)每個(gè)樣本獨(dú)立進(jìn)行梯度懲罰，所以鑒別器中不使用批正則化層.另外，鑒別器中使用k-WTA激活函數(shù)替換ReLU激活函數(shù)，此為核心.鑒別器網(wǎng)絡(luò)中殘差塊中也只使用普通卷積層，卷積核大小為3*3，步長(zhǎng)為1.

表2 Att-k-DefGAN鑒別器的具體結(jié)構(gòu)表

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)環(huán)境及訓(xùn)練細(xì)節(jié)實(shí)驗(yàn)環(huán)境：處理器：64 bit Intel（R）Xeon（R）Gold 5117 CPU@2.00 GHz；內(nèi)存（RAM）：256 GiB；操作系統(tǒng)：Windows Server 2019 Datacenter；顯卡：NVIDIA GeForce RTX 2080 Ti雙卡；框架：Pytorch［22］；數(shù)據(jù)集：CIFAR-10和ImageNet的子集.

3.1.1 對(duì)比實(shí)驗(yàn)將Att-k-DefGAN與Rob-GAN［20］、對(duì)抗訓(xùn)練［9］進(jìn)行比較.Rob-GAN是目前效果最好的攻防一體化模型，對(duì)抗訓(xùn)練是目前普遍使用、防御效果最好的訓(xùn)練方法，因此選擇這2種方法作為對(duì)比實(shí)驗(yàn).為了公平比較，3種方法使用相同的生成器和鑒別器的網(wǎng)絡(luò)體系結(jié)構(gòu)，其他重要因素，如學(xué)習(xí)率、優(yōu)化算法和每個(gè)周期中的鑒別器更新次數(shù)也保持不變.訓(xùn)練過(guò)程中分別使用訓(xùn)練集訓(xùn)練.從正態(tài)分布中采樣噪聲矢量，并使用標(biāo)簽平滑來(lái)穩(wěn)定訓(xùn)練過(guò)程.

模型訓(xùn)練完成后，再將測(cè)試集輸入到鑒別器中進(jìn)行測(cè)試，以模型正確分類的精確度作為衡量標(biāo)準(zhǔn).超參數(shù)設(shè)置如下：對(duì)于使用ReLU的網(wǎng)絡(luò)（Rob-GAN、對(duì)抗訓(xùn)練和Att-k-DefGAN的生成器），動(dòng)量大小為0.9進(jìn)行隨機(jī)梯度下降訓(xùn)練，學(xué)習(xí)速率設(shè)置為0.000 2，訓(xùn)練迭代次數(shù)為200 epochs，每50步衰減50%，批次大小設(shè)為80.對(duì)使用k-WTA的網(wǎng)絡(luò)（Att-k-DefGAN的鑒別器），設(shè)置稀疏比γ=0.1，其余與使用ReLU網(wǎng)絡(luò)相同的參數(shù).訓(xùn)練階段，使用對(duì)抗攻擊強(qiáng)度為ε=0.062 5的PGD攻擊生成對(duì)抗樣本.判別器和生成器的迭代次數(shù)設(shè)置為2∶1.

化石能源已被最大限度的開發(fā)利用，工業(yè)、經(jīng)濟(jì)的高速發(fā)展也伴隨著能源危機(jī)，新能源技術(shù)在此時(shí)迎來(lái)春天。新能源發(fā)電技術(shù)走入世人眼中，諸如風(fēng)力發(fā)電、光伏太陽(yáng)能發(fā)電技術(shù)等。雖然新能源發(fā)電技術(shù)能夠應(yīng)對(duì)能源危機(jī)，但由于其本身具有發(fā)電間歇性的缺陷，并網(wǎng)時(shí)會(huì)對(duì)電網(wǎng)造成電力波動(dòng)，降低電能質(zhì)量，從而被限制發(fā)電量，微電網(wǎng)的提出為此問(wèn)題指出了道路。

3.1.2 消融實(shí)驗(yàn)在CIFAR-10數(shù)據(jù)集上實(shí)驗(yàn)，在原有Att-k-DefGAN模型框架上，將使用k-WTA激活函數(shù)的訓(xùn)練模型與未使用k-WTA激活函數(shù)的訓(xùn)練模型（用ReLU激活函數(shù)代替）對(duì)比.為了公平比較，兩者使用相同的生成器和鑒別器的網(wǎng)絡(luò)體系結(jié)構(gòu)，其他重要因素，如學(xué)習(xí)率、優(yōu)化算法和每個(gè)周期中的鑒別器更新次數(shù)也保持不變.不同的是Att-k-DefGAN的鑒別器中使用k-WTA激活函數(shù)，另一個(gè)模型的鑒別器則用Relu激活函數(shù)代替，其他實(shí)驗(yàn)細(xì)節(jié)同3.1.1.

3.2 實(shí)驗(yàn)結(jié)果及分析

3.2.1 對(duì)比實(shí)驗(yàn)結(jié)果為了測(cè)試模型的魯棒性，選擇廣泛使用的l∞PGD攻擊［11］在數(shù)據(jù)集CIFAR-10和ImageNet子集上進(jìn)行測(cè)試，l∞擾動(dòng)設(shè)為δmax∈np.range(0，0.01，0.02，0.03，0.04).另外將圖像縮放到［-1，1］而不是［0，1］，因?yàn)樯善鞯淖詈笠粚佑衪anh（）輸出，所以要進(jìn)行相應(yīng)的修改.所有結(jié)果均為運(yùn)行5次后的平均結(jié)果，結(jié)果如圖3和4所示.

圖3 CIFAR-10數(shù)據(jù)集上不同PGD攻擊下的模型分類精確度圖

圖4 ImageNet數(shù)據(jù)集子集上不同PGD攻擊下的模型分類精確度圖

從圖3和4可以看出，在CIFAR-10數(shù)據(jù)集中訓(xùn)練后的Att-k-DefGAN在無(wú)攻擊情況下分類較Rob-GAN、對(duì)抗訓(xùn)練最高提高10%以上，且在攻擊強(qiáng)度為0.01的情況下提高效果最為明顯.在ImageNet子集上最高較Rob-GAN和對(duì)抗訓(xùn)練分別提高8%和11%.但在ImageNet子集上防御性能較弱，但在攻擊強(qiáng)度小于0.03的情況下，Att-k-DefGAN的防御性替提升仍相對(duì)明顯.在CIFAR-10數(shù)據(jù)集上，攻擊強(qiáng)度小于0.03的情況下，Att-k-DefGAN所獲得的分類器精確度要高于60%，證明Att-k-DefGAN訓(xùn)練后能獲得的具有強(qiáng)魯棒性的分類器.觀察2組實(shí)驗(yàn)對(duì)比，在［0，0.04］的攻擊強(qiáng)度下，Att-k-DefGAN模型的分類精確度相對(duì)于Rob-GAN、對(duì)抗訓(xùn)練均有提高，證明了Att-k-Def GAN模型進(jìn)一步提高了模型對(duì)對(duì)抗攻擊的防御能力.

3.2.2 消融實(shí)驗(yàn)結(jié)果實(shí)驗(yàn)選擇l∞PGD攻擊［11］和MI-FGSM 2種梯度攻擊在數(shù)據(jù)集CIFAR-10上進(jìn)行測(cè)試，l∞擾動(dòng)設(shè)為δmax∈np.range(0，0.01，0.02，0.03，0.04).所有結(jié)果均為運(yùn)行5次后的平均結(jié)果，結(jié)果如圖5和6所示.

從圖5和6可以看出，在相同數(shù)據(jù)集和攻擊強(qiáng)度下，使用k-WTA激活函數(shù)的Att-k-DefGAN較未使用k-WTA激活函數(shù)的Att-DefGAN模型的防御能力最高提高近7%.在攻擊強(qiáng)度為0的情況下，兩者的分類精確度近似，在攻擊強(qiáng)度為［0.01，0.04］的PGD和MI-FGSM攻擊條件下，有k-WTA激活函數(shù)的模型防御能力均有所提高.因此，使用k-WTA激活函數(shù)訓(xùn)練模型可以有效提高模型對(duì)梯度攻擊的防御能力.

圖5 CIFAR-10數(shù)據(jù)集上不同PGD攻擊下的模型分類精確度圖

圖6 CIFAR-10數(shù)據(jù)集上不同MI-FGSM攻擊下的模型分類精確度圖

4 結(jié)束語(yǔ)

針對(duì)深度神經(jīng)網(wǎng)絡(luò)易受對(duì)抗攻擊的問(wèn)題，提出一種基于k-WTA的防御性GAN模型，在攻防一體模型Rob-GAN基礎(chǔ)上做出改進(jìn)，加入注意力機(jī)制對(duì)圖像特征進(jìn)行提取作為先驗(yàn)知識(shí)，并加入目標(biāo)模型模塊對(duì)生成器訓(xùn)練進(jìn)行約束.利用k-WTA激活函數(shù)的不連續(xù)性抵抗基于梯度的對(duì)抗攻擊預(yù)處理，從而進(jìn)一步提高模型的魯棒性，模型訓(xùn)練完成后可獲得具有強(qiáng)魯棒性的分類器網(wǎng)絡(luò)，且訓(xùn)練過(guò)程中不需要了解目標(biāo)模型的結(jié)構(gòu)及參數(shù)，降低了訓(xùn)練所需的成本.下一步將針對(duì)模型的泛化能力做出優(yōu)化來(lái)進(jìn)一步提高防御成功率.