圖像分類模型的對(duì)抗樣本攻防研究綜述

閆嘉樂(lè)，徐 洋，張思聰，李克資

貴州師范大學(xué) 貴州省信息與計(jì)算科學(xué)重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550001

近年來(lái)，深度學(xué)習(xí)作為人工智能的核心技術(shù)被廣泛使用在大量的場(chǎng)景和應(yīng)用中，它在許多任務(wù)中取得先進(jìn)的性能和快速的發(fā)展，例如計(jì)算機(jī)視覺(jué)[1]、自然語(yǔ)言處理[2]、語(yǔ)音辨識(shí)[3]、自動(dòng)駕駛[4]、醫(yī)療診斷[5]等任務(wù)，有些領(lǐng)域甚至超過(guò)人類的處理能力。在計(jì)算機(jī)視覺(jué)領(lǐng)域，自從Krizhevsky等人[6]利用AlexNet網(wǎng)絡(luò)在圖像分類任務(wù)上取得了劃時(shí)代的突破以來(lái)，卷積神經(jīng)網(wǎng)絡(luò)成為該領(lǐng)域最先進(jìn)的模型，雖然深度學(xué)習(xí)模型性能很優(yōu)越，但不幸的是，Szegedy等人[7]研究發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)模型在對(duì)抗樣本面前非常脆弱，此后的研究工作發(fā)現(xiàn)深度學(xué)習(xí)模型在語(yǔ)音識(shí)別[8]、文本分類[9]、惡意軟件檢測(cè)[10]等不同的任務(wù)中也存在對(duì)抗樣本現(xiàn)象。由于圖像分類模型的對(duì)抗攻擊在文獻(xiàn)中是最常見(jiàn)的，因此這是本文梳理的重點(diǎn)。

卷積神經(jīng)網(wǎng)絡(luò)模型和其他的深度學(xué)習(xí)模型在面對(duì)對(duì)抗攻擊時(shí)的脆弱性，促使機(jī)器學(xué)習(xí)社區(qū)重新審視與模型構(gòu)建相關(guān)的所有過(guò)程，試圖找到模型缺乏魯棒性可能的原因。對(duì)抗攻擊與防御之間的軍備競(jìng)賽最終形成了一個(gè)對(duì)抗機(jī)器學(xué)習(xí)的最新研究領(lǐng)域，該領(lǐng)域致力于構(gòu)建更可信、更魯棒的深度學(xué)習(xí)模型。

圖像分類的對(duì)抗機(jī)器學(xué)習(xí)目前是一個(gè)非常活躍的研究領(lǐng)域，它占據(jù)了該領(lǐng)域的大部分研究工作，幾乎每天都有新的論文發(fā)表，但迄今為止還沒(méi)有一個(gè)有效的解決方案來(lái)確保深度學(xué)習(xí)模型的安全性。本文梳理和總結(jié)了圖像分類領(lǐng)域的研究工作，整理了該領(lǐng)域的核心分類體系，以便為讀者更好地探索該領(lǐng)域打下堅(jiān)實(shí)的基礎(chǔ)。

雖然對(duì)抗樣本領(lǐng)域已經(jīng)存在多篇在圖像領(lǐng)域的綜述論文[11-13]，但本文相比這些綜述文章對(duì)該領(lǐng)域的介紹更加全面，可以讓讀者對(duì)圖像分類領(lǐng)域的全貌有一個(gè)清晰的了解。本文相比2020年文獻(xiàn)[11]梳理總結(jié)了對(duì)抗樣本防御相關(guān)的工作，相比2022年文獻(xiàn)[12]梳理總結(jié)了解釋對(duì)抗樣本存在性的相關(guān)工作，以期為讀者拋磚引玉，相比2021年文獻(xiàn)[13]梳理總結(jié)了物理世界的對(duì)抗樣本相關(guān)的工作。本文梳理和回顧了圖像分類領(lǐng)域?qū)箻颖竟艉头烙陌l(fā)展歷程，如圖1所示。

圖1 對(duì)抗樣本的發(fā)展歷程Fig.1 Development process of AE

1 對(duì)抗樣本相關(guān)概念的介紹

1.1 對(duì)抗樣本的定義

本節(jié)以圖像分類模型為例，介紹對(duì)抗樣本的定義。一個(gè)圖像對(duì)抗樣本可以形式化定義如下：f表示由正常圖像訓(xùn)練得到的分類模型，x表示正常的輸入圖像，敵手（adversary）尋找一個(gè)對(duì)抗擾動(dòng)δ（adversarial perturbation，AP），使得x"=x+δ，x"即為對(duì)抗樣本（adversarial example，AE），其中對(duì)抗擾動(dòng)δ使得x跨越了分類模型f的決策邊界導(dǎo)致f(x)≠f(x")，如圖2所示。綜上，對(duì)抗樣本的簡(jiǎn)單形式化定義如公式（1）：

圖2 對(duì)抗樣本在2維決策空間下示例Fig.2 Example of AE in 2D decision space

圖3展示了一個(gè)圖像對(duì)抗樣本生成的示例，敵手在分類模型的測(cè)試階段使用FGSM攻擊[14]方法精心制作一個(gè)對(duì)抗擾動(dòng)，添加在正常樣本上生成對(duì)抗樣本，輸入給分類模型，使得本來(lái)以57%置信度分類為大熊貓的圖像被以99%的置信度誤分類為長(zhǎng)臂猿。

圖3 圖像對(duì)抗樣本的生成Fig.3 Generation of image AE

1.2 相關(guān)術(shù)語(yǔ)介紹

（1）白盒攻擊和黑盒攻擊

根據(jù)敵手對(duì)目標(biāo)模型的先驗(yàn)知識(shí)掌握情況，攻擊可以被分類為白盒攻擊（white-box attack）和黑盒攻擊（black-box attack）。在白盒攻擊中，敵手可以完全訪問(wèn)目標(biāo)模型的訓(xùn)練數(shù)據(jù)、參數(shù)和結(jié)構(gòu)，甚至是防御的參數(shù)和結(jié)構(gòu)。在黑盒攻擊中，敵手并不知道目標(biāo)模型和訓(xùn)練模型的參數(shù)，以及防御方法的有關(guān)信息。

（2）目標(biāo)攻擊和無(wú)目標(biāo)攻擊

根據(jù)對(duì)抗攻擊是否設(shè)置目標(biāo)結(jié)果，攻擊被分為目標(biāo)攻擊（targeted attack）和無(wú)目標(biāo)攻擊（non-targeted attack）。目標(biāo)攻擊是敵手旨在誘導(dǎo)目標(biāo)模型將輸入樣本分類為特定目標(biāo)結(jié)果。無(wú)目標(biāo)攻擊是敵手旨在誘導(dǎo)目標(biāo)模型將輸入樣本分類為非正常樣本的真實(shí)結(jié)果的其他任何結(jié)果。（3）單步攻擊和迭代攻擊

根據(jù)生成對(duì)抗樣本的計(jì)算復(fù)雜度，攻擊被分為單步攻擊（one-step attack）和多步攻擊（iterative attack）。單步攻擊使用梯度一步計(jì)算得到對(duì)抗擾動(dòng)，迭代攻擊利用更多的迭代步驟來(lái)制作和微調(diào)對(duì)抗擾動(dòng)。

（4）置信度和類別標(biāo)簽

置信度（confidence）是輸入樣本經(jīng)過(guò)模型分類為某種類別的概率。類別標(biāo)簽（class label）指圖片分類模型得到的類別標(biāo)簽結(jié)果。

（5）目標(biāo)模型和替代模型

目標(biāo)模型（target model）是被敵手攻擊的模型。替代模型（substitute model）是一個(gè)由敵手設(shè)法訓(xùn)練的模型，用來(lái)重現(xiàn)目標(biāo)模型的預(yù)測(cè)行為。

（6）對(duì)抗樣本的遷移性

對(duì)抗樣本的遷移性（transferability）是指對(duì)抗樣本在原始被計(jì)算的模型之外的模型進(jìn)行泛化的能力。

（7）數(shù)字攻擊和物理世界攻擊

數(shù)字攻擊（digital attack）是可以完全訪問(wèn)模型的實(shí)際數(shù)字輸入的攻擊。物理世界攻擊（physical-world attack）是攻擊真實(shí)世界的系統(tǒng)。

（8）擾動(dòng)約束度量

由于對(duì)于人類視覺(jué)系統(tǒng)來(lái)說(shuō)，很難定義一個(gè)不易察覺(jué)的標(biāo)準(zhǔn)，Lp范數(shù)經(jīng)常被用來(lái)控制添加到圖像中擾動(dòng)的大小。L1和L2范數(shù)分別表示正常圖像和對(duì)抗圖像在輸入空間中的曼哈頓距離和歐幾里德距離，L0范數(shù)表示對(duì)抗圖像在正常圖像中修改的像素?cái)?shù)量，L∞范數(shù)衡量的是正常圖像和對(duì)抗圖像之間對(duì)應(yīng)位置上所有像素的最大差異。

2 對(duì)抗樣本的攻擊方法

本章主要梳理和總結(jié)了深度學(xué)習(xí)圖像分類領(lǐng)域?qū)箻颖镜南嚓P(guān)攻擊方法，總體上按白盒和黑盒兩大類攻擊進(jìn)行介紹，最后為了強(qiáng)調(diào)物理世界中對(duì)抗樣本的嚴(yán)峻性，回顧了相關(guān)研究工作。圖4根據(jù)敵手對(duì)模型的不同訪問(wèn)程度描述了攻擊的大致分類。在本章中，白盒（基于梯度的）攻擊和黑盒（基于遷移的、基于置信度分?jǐn)?shù)的和基于決策邊界的攻擊）會(huì)被詳細(xì)地介紹。表1和表2中對(duì)白盒攻擊進(jìn)行了總結(jié)和分析。

表1 對(duì)抗樣本的攻擊方法總結(jié)Table 1 Summarization of adversarial attack methods

表2 對(duì)抗攻擊方法分析Table 2 Analysis of adversarial attack methods

圖4 敵手對(duì)模型不同訪問(wèn)程度的攻擊類別分類Fig.4 Classification of attack categories of adversaries with different access degrees to model

2.1 白盒攻擊

本節(jié)根據(jù)對(duì)抗樣本的制作機(jī)理，將白盒攻擊總結(jié)為3個(gè)方向進(jìn)行介紹分別是：基于梯度的攻擊、基于優(yōu)化的攻擊和其他的白盒攻擊方法。

2.1.1 基于梯度的攻擊

基于梯度的攻擊算法主要利用目標(biāo)模型關(guān)于給定輸入的梯度信息來(lái)尋找一個(gè)使模型損失值更大的對(duì)抗擾動(dòng)，從而使加入該對(duì)抗擾動(dòng)的正常圖像導(dǎo)致模型誤分類，這種攻擊方式在文獻(xiàn)中使用得最多。由于基于梯度的攻擊通常需要獲取目標(biāo)模型內(nèi)部結(jié)構(gòu)的信息，因此絕大多數(shù)基于梯度的攻擊都是白盒攻擊。

Goodfellow等人[14]開(kāi)創(chuàng)性地提出了基于梯度的單步攻擊方法：快速梯度符號(hào)方法（fast gradient sign method，F(xiàn)GSM）。FGSM方法在給定上限范數(shù)約束ε的一次迭代中，沿著正常樣本梯度的反方向添加擾動(dòng)來(lái)最大化目標(biāo)模型的訓(xùn)練損失誤差，降低分類的置信度，增加類間混淆的可能性，使得模型分類錯(cuò)誤。給定一個(gè)輸入圖像x，F(xiàn)GSM根據(jù)公式（2）生成一個(gè)對(duì)抗樣本x"。FGSM算法簡(jiǎn)單有效，在圖像攻擊領(lǐng)域發(fā)揮著重要的作用，很多后續(xù)的研究都是基于該算法進(jìn)行的。

鑒于單步攻擊的FGSM的擾動(dòng)較大，成功率較低。Kurakin等人[15]在FGSM方法的原理上進(jìn)行優(yōu)化，提出了基本迭代攻擊方法（basic iterative method，BIM），有些文獻(xiàn)中也稱為I-FGSM方法（iterative fast gradient sign method），該攻擊在本質(zhì)上是迭代的FGSM算法，將FGSM的單次計(jì)算對(duì)抗擾動(dòng)轉(zhuǎn)換為迭代小步計(jì)算對(duì)抗擾動(dòng)，BIM攻擊通過(guò)迭代公式（3）來(lái)生成對(duì)抗圖像，該攻擊方法是引入物理世界攻擊的一個(gè)有影響力的貢獻(xiàn)。

雖然I-FGSM方法提高了對(duì)抗樣本攻擊的成功率，但是該方法生成的對(duì)抗圖像容易陷入優(yōu)化的局部極值點(diǎn)，且易過(guò)擬合到攻擊模型上，因此會(huì)減弱生成的對(duì)抗樣本的遷移性。針對(duì)該問(wèn)題，Dong等人[16]在I-FGSM的基礎(chǔ)上添加一個(gè)動(dòng)量項(xiàng)，從而加速了收斂以及避免落入優(yōu)化的局部極小值，形成了MI-FGSM方法（momentum iterative fast gradient sign method），該方法添加動(dòng)量的巧妙思路解決了以往迭代攻擊的缺點(diǎn)：隨著迭代次數(shù)的增加，黑盒攻擊的可遷移性減弱，該思路不僅增強(qiáng)了對(duì)白盒模型的攻擊能力，而且提高了對(duì)于黑盒模型的攻擊成功率。MI-FGSM攻擊方法的非定向攻擊可以被歸納為公式（4）所示，其中g(shù)i的初始值為0，且gi使用衰減因子μ累積前i次迭代的梯度，從而穩(wěn)定了梯度的更新。

I-FGSM由于對(duì)有效對(duì)抗擾動(dòng)的多次搜索，因此被認(rèn)為是強(qiáng)大的攻擊之一，但它計(jì)算代價(jià)高昂。后來(lái)，Madry等人[17]提出了投影梯度下降（projected gradient descent，PGD）方法，本質(zhì)是I-FGSM的一種變體，與I-FGSM相比，PGD使用均勻的隨機(jī)噪聲初始化，增加攻擊的迭代輪數(shù)，并且提出在I-FGSM中對(duì)梯度進(jìn)行投影，而不是對(duì)梯度進(jìn)行裁剪操作。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，PGD攻擊被對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議的學(xué)者們廣泛認(rèn)為是最強(qiáng)大的一階攻擊。PGD攻擊的非定向攻擊如公式（5）所示：

雖然基于梯度的攻擊方法在白盒環(huán)境中取得了令人難以置信的成功率，但大多數(shù)現(xiàn)有的基于梯度的攻擊方法在黑盒環(huán)境中往往表現(xiàn)出較弱的可遷移性，特別是在攻擊具有防御機(jī)制的模型的情況下。針對(duì)該問(wèn)題，Wang等人[18]提出了VMI-FGSM（variance tuning MI-FGSM）方法，以增強(qiáng)基于梯度的迭代攻擊方法類的可遷移性。具體來(lái)說(shuō)，在梯度計(jì)算的每次迭代中，不直接使用當(dāng)前的梯度進(jìn)行動(dòng)量積累，而是進(jìn)一步考慮之前迭代的梯度方差來(lái)調(diào)整當(dāng)前梯度，以穩(wěn)定更新方向擺脫糟糕的局部最優(yōu)值。

前邊介紹的基于梯度的攻擊都集中在從整體上擾動(dòng)圖像，并且限制擾動(dòng)的L2或者L∞范數(shù)，Papernot等人[19]提出JSMA方法（Jacobian-based saliency map attack）則將擾動(dòng)限制在圖像的一個(gè)較小的區(qū)域。JSMA攻擊引入顯著性映射來(lái)評(píng)估每個(gè)輸入特征對(duì)模型類預(yù)測(cè)的影響，利用該信息來(lái)篩選在改變模型預(yù)測(cè)時(shí)最有影響力的像素，通過(guò)擾動(dòng)一些顯著特征來(lái)引起模型的錯(cuò)誤分類，該攻擊方法傾向于找到稀疏的對(duì)抗擾動(dòng)，生成的對(duì)抗樣本的視覺(jué)質(zhì)量很高。

綜上所述，目前基于梯度的攻擊中，主要有基于FGSM攻擊進(jìn)行發(fā)展和改進(jìn)的路線（I-FGSM、MI-FGSM、PGD、VMI-FGSM），以及基于稀疏性擾動(dòng)的發(fā)展路線（JSMA等）。FGSM計(jì)算成本低，但是生成的對(duì)抗擾動(dòng)通常比迭代攻擊（例如I-FGSM、MI-FGSM、PGD、VMI-FGSM等）生成的對(duì)抗擾動(dòng)更大，生成的對(duì)抗樣本的視覺(jué)質(zhì)量較差，并且對(duì)模型的欺騙效果更差。MI-FGSM和PGD都改進(jìn)了I-FGSM方法，MI-FGSM在優(yōu)化過(guò)程中使用動(dòng)量，增強(qiáng)了對(duì)抗樣本的可遷移性，PGD嘈雜的初始點(diǎn)和投影梯度產(chǎn)生了更強(qiáng)的攻擊，VMI-FGSM改進(jìn)MIFGSM，使用梯度的方差調(diào)整更新，進(jìn)一步增強(qiáng)了對(duì)抗樣本的可遷移性。

2.1.2 基于優(yōu)化的攻擊

生成對(duì)抗樣本的核心問(wèn)題是如何找到有效的對(duì)抗擾動(dòng)，尋找對(duì)抗擾動(dòng)可以被形式化為一個(gè)優(yōu)化問(wèn)題，因此可以通過(guò)對(duì)優(yōu)化問(wèn)題的求解來(lái)實(shí)現(xiàn)攻擊。通常來(lái)說(shuō)，基于優(yōu)化的攻擊相比于基于梯度的攻擊生成的對(duì)抗擾動(dòng)添加在正常圖像上視覺(jué)效果要好，并且生成的擾動(dòng)范數(shù)更小，但相比基于梯度的方法更耗時(shí)。

2014年Szegedy等人[7]首次發(fā)現(xiàn)了深度神經(jīng)網(wǎng)絡(luò)模型在對(duì)抗擾動(dòng)下的脆弱性，首次引入對(duì)抗樣本的概念，其工作是對(duì)抗樣本領(lǐng)域的開(kāi)山之作，文中提出了L-BFGS攻擊算法，通過(guò)尋找導(dǎo)致神經(jīng)網(wǎng)絡(luò)誤分類的最小損失函數(shù)加性擾動(dòng)項(xiàng)，將問(wèn)題轉(zhuǎn)化為凸優(yōu)化問(wèn)題，形式化為公式（6）所示的優(yōu)化問(wèn)題來(lái)尋找對(duì)抗擾動(dòng)。L-BFGS攻擊尋找人類感知最小的對(duì)抗擾動(dòng)，因此生成對(duì)抗擾動(dòng)的計(jì)算開(kāi)銷很大，速度很慢，并且攻擊的成功率不高。文中也證明了對(duì)抗樣本在不同的深度神經(jīng)網(wǎng)絡(luò)分類模型之間具有很好的遷移性。

Carlini和Wagner[20]提出了基于優(yōu)化的相對(duì)較強(qiáng)的一階攻擊CW攻擊，本質(zhì)是基于L-BFGS攻擊的改進(jìn)，具體的CW攻擊相對(duì)于L-BFGS攻擊有以下三個(gè)改進(jìn)：（1）使用模型中實(shí)際輸出的梯度，而不是經(jīng)過(guò)softmax操作后的梯度。（2）應(yīng)用不同的擾動(dòng)約束度量L0、L2、L∞范數(shù)。（3）應(yīng)用不同的目標(biāo)函數(shù)?(·)，通過(guò)實(shí)驗(yàn)分析選擇出了最優(yōu)的目標(biāo)函數(shù)來(lái)生成對(duì)抗樣本。相比L-BFGS攻擊，CW方法可以改變目標(biāo)函數(shù)中的超參數(shù)來(lái)擴(kuò)大最優(yōu)解的搜索空間，進(jìn)而顯著提高對(duì)抗攻擊的成功率。由于CW攻擊需要對(duì)算法的一些參數(shù)進(jìn)行優(yōu)化，速度極慢，并且不具有黑盒可遷移性，但是一種非常強(qiáng)的白盒攻擊方法，可以攻破防御性蒸餾防御方法。

稀疏的對(duì)抗攻擊只擾動(dòng)幾個(gè)像素來(lái)欺騙深度神經(jīng)網(wǎng)絡(luò)。與逐像素的整體擾動(dòng)相比，高度稀疏的對(duì)抗攻擊更危險(xiǎn)，因?yàn)椴灰妆蝗搜鬯煊X(jué)。Zhu等人[21]通過(guò)提出一種同倫（homotopy）優(yōu)化算法在一個(gè)統(tǒng)一的框架內(nèi)同時(shí)解決了對(duì)抗擾動(dòng)的稀疏性和擾動(dòng)約束問(wèn)題。同倫攻擊（homotopy-attack）方法利用不同區(qū)域的特性，施加不同程度的L∞范數(shù)擾動(dòng)上界，其中該上界的計(jì)算依賴于不同坐標(biāo)軸的像素飽和度水平，以最小化地對(duì)抗樣本與正常樣本之間的L0距離。實(shí)驗(yàn)表明該方法與最先進(jìn)的方法相比，可以產(chǎn)生非常稀疏的對(duì)抗擾動(dòng)，同時(shí)保持相對(duì)較低的擾動(dòng)強(qiáng)度。

2.1.3 其他白盒攻擊方法

除了基于梯度和基于優(yōu)化的攻擊方法外，活躍的研究者們還想出了DeepFool和UAP這種基于超平面思想的攻擊方法，以下將簡(jiǎn)要介紹。

為了解決FGSM攻擊中擾動(dòng)大小ε不確定的問(wèn)題，Moosavi-Dezfooli等人[22]提出DeepFool方法，該方法思路是計(jì)算正常樣本和目標(biāo)模型分類邊界之間最小距離來(lái)生成對(duì)抗擾動(dòng)，該方法是一種基于L2范數(shù)的非目標(biāo)攻擊方法，該方法巧妙利用以直代曲、化繁就簡(jiǎn)、迭代解決的思路，將正常圖像周圍的類邊界線性化，形成一個(gè)凸多面體，然后向最優(yōu)方向更新一小步，將正常圖像推向最近的分類超平面，直到其跨過(guò)分類超平面改變類標(biāo)簽，具體如圖5所示。由于DeepFool攻擊產(chǎn)生近似最小擾動(dòng)，因此生成的擾動(dòng)相比于基于梯度和基于優(yōu)化的攻擊方法都要小，相比于基于優(yōu)化的攻擊方法速度更快。

圖5 DeepFool分類超平面示例Fig.5 DeepFool classification hyperplane example

上邊介紹的對(duì)抗攻擊生成的對(duì)抗擾動(dòng)僅可以在特定的圖像上欺騙目標(biāo)模型，是否存在圖像上的通用對(duì)抗擾動(dòng)呢？Moosavi-Dezfooli等人[23]經(jīng)過(guò)研究提出了UAP（universal adversarial perturbations），攻擊者只需在相同分布的所有樣本中添加UAP算法生成的擾動(dòng)即可生成對(duì)抗樣本。UAP方法利用分類超平面思想依次迭代推導(dǎo)出每個(gè)樣本的擾動(dòng)向量Δνi，將Δνi進(jìn)行聚合，最終產(chǎn)生一個(gè)擾動(dòng)ν讓所有的樣本xi跳出分類決策邊界Ri之外生成對(duì)抗樣本，如圖6所示。

圖6 通用對(duì)抗擾動(dòng)示意圖Fig.6 Schematic diagram of UAP

2.2 黑盒攻擊

從現(xiàn)實(shí)的對(duì)抗的角度來(lái)看，黑盒攻擊是最實(shí)用的一類，因?yàn)楹诤泄艏僭O(shè)不了解目標(biāo)模型相關(guān)的信息，它的實(shí)用性使得在對(duì)抗機(jī)器學(xué)習(xí)社區(qū)中非常受歡迎。本節(jié)總結(jié)和梳理形成了3個(gè)方向的黑盒攻擊方法，主要是：基于遷移的攻擊、基于置信度分?jǐn)?shù)查詢的攻擊和基于決策邊界的攻擊。表1和表2中對(duì)黑盒攻擊進(jìn)行了總結(jié)和分析。

2.2.1 基于遷移的攻擊

基于遷移的攻擊允許攻擊者進(jìn)行目標(biāo)模型的查詢和訪問(wèn)目標(biāo)模型的一部分訓(xùn)練數(shù)據(jù)集，然后攻擊者使用這些信息構(gòu)建一個(gè)合成模型，攻擊者在合成模型上使用白盒攻擊生成對(duì)抗樣本，最后將該對(duì)抗樣本遷移到目標(biāo)模型上進(jìn)行攻擊。基于遷移的攻擊是介于黑盒攻擊和白盒攻擊之間的一種攻擊。這種攻擊的條件假設(shè)較強(qiáng)，因此不貼合真實(shí)場(chǎng)景，對(duì)抗樣本更好的可遷移性是基于遷移的攻擊研究的一個(gè)重要目標(biāo)。

Papernot等人[24]提出了最早的黑盒攻擊被稱為本地替代模型攻擊（local substitute model attack，LSMA），在該攻擊中，敵手被允許訪問(wèn)用于訓(xùn)練分類模型的部分原始訓(xùn)練數(shù)據(jù)以及對(duì)分類模型的查詢?cè)L問(wèn)。LSMA攻擊通過(guò)生成替代模型（substitute model）來(lái)模擬被攻擊模型的近似決策邊界，并基于當(dāng)前的替代模型生成對(duì)抗樣本，這些對(duì)抗樣本最終被用于攻擊原始目標(biāo)模型。在訓(xùn)練過(guò)程中，雅可比矩陣（Jacobian matrix）被用來(lái)有效利用，以減少目標(biāo)模型的查詢次數(shù)。LSMA方法使梯度掩蔽防御策略無(wú)效，因?yàn)樗恍枰荻刃畔ⅰ?/p>

后來(lái)，Liu等人[25]在LSMA方法中引入了集成（ensemble）的思想，即同時(shí)選擇多個(gè)模型并結(jié)合其損失值來(lái)生成相應(yīng)的對(duì)抗樣本。該方法考慮了不同模型之間決策邊界的相似性，從而首次實(shí)現(xiàn)了在不同模型之間大范圍遷移對(duì)抗性樣本的目標(biāo)。

Shi等人[26]為了增強(qiáng)黑盒攻擊場(chǎng)景下對(duì)抗樣本的多樣性和可遷移性，受MI-FGSM攻擊方法的啟發(fā)，提出了Curls&Whey黑盒攻擊方法。Curls&Whey攻擊方法通過(guò)在替代模型上生成對(duì)抗樣本，然后運(yùn)用在黑盒模型中，主要包含兩個(gè)步驟：（1）利用卷曲迭代法（curls iteration）沿梯度上升方向或下降方向添加對(duì)抗擾動(dòng)到原始正常圖像，優(yōu)化迭代軌跡多樣性和適應(yīng)性。（2）Whey優(yōu)化主要用來(lái)在對(duì)抗樣本中去除過(guò)多的冗余對(duì)抗擾動(dòng)，提升了對(duì)抗圖像的視覺(jué)質(zhì)量。

此外，Huang和Zhang[27]結(jié)合了基于遷移和基于置信度分?jǐn)?shù)的攻擊思想提出了TREMBA。該方法首先通過(guò)替代模型在白盒攻擊中生成一個(gè)初始的對(duì)抗樣本，然后以這個(gè)初始的對(duì)抗樣本為搜索起點(diǎn)，繼續(xù)使用基于置信度分?jǐn)?shù)的攻擊方法進(jìn)行查詢，最后迭代出遷移效果較好的對(duì)抗樣本。這種方法有效減少了查詢次數(shù)，同時(shí)提高了黑盒攻擊的成功率。

在過(guò)去提出的攻擊中，分類模型對(duì)圖片中的像素點(diǎn)一視同仁，沒(méi)有區(qū)別對(duì)待，學(xué)到了很多缺乏遷移性的噪聲特征，這很容易導(dǎo)致局部最優(yōu)。Wang等人[28]提出了特征重要性感知攻擊（feature importance-aware attack，F(xiàn)IA），用梯度來(lái)表示特征的重要性，通過(guò)抑制重要特征和促進(jìn)瑣碎特征來(lái)優(yōu)化加權(quán)特征映射，使模型決策錯(cuò)誤，從而獲得更強(qiáng)的可遷移性對(duì)抗樣本。

2.2.2 基于置信度分?jǐn)?shù)查詢的攻擊

基于置信度分?jǐn)?shù)查詢的攻擊相對(duì)于基于遷移的攻擊擁有更強(qiáng)的假設(shè)，不需要任何關(guān)于數(shù)據(jù)集的知識(shí)，它會(huì)反復(fù)查詢看不見(jiàn)的分類器，得到分類器輸出的置信度向量，以嘗試生成合適的對(duì)抗擾動(dòng)來(lái)完成攻擊?；谥眯哦确?jǐn)?shù)查詢的攻擊相對(duì)于基于遷移的攻擊更加符合現(xiàn)實(shí)場(chǎng)景。

Chen等人[29]開(kāi)創(chuàng)性地發(fā)展了基于梯度估計(jì)的黑盒攻擊方法，即零階優(yōu)化（zeroth order optimization，ZOO）來(lái)估計(jì)目標(biāo)模型的梯度，以此來(lái)生成對(duì)抗圖像。ZOO方法受CW方法的啟發(fā)，其優(yōu)化的方案一致，由于黑盒攻擊方法，不能獲得模型梯度，因此使用對(duì)稱差商的零階優(yōu)化方法來(lái)估計(jì)梯度和Hessian矩陣，如公式（7）所示。因?yàn)樯疃葘W(xué)習(xí)中輸入樣本的維度較高，因此ZOO方法的近似計(jì)算開(kāi)銷較大，需要較多的模型查詢次數(shù)，后續(xù)的研究工作也都進(jìn)一步朝著降低計(jì)算開(kāi)銷的方向改進(jìn)。

為了解決ZOO攻擊方法的估算梯度開(kāi)銷較大的問(wèn)題，Ilyas等人[30]巧妙利用投影梯度下降（PGD）和自然進(jìn)化策略（natural evolution strategies，NES），估算梯度來(lái)降低置信度獲取成本，在黑盒場(chǎng)景下構(gòu)造對(duì)抗樣本，成功地攻擊了當(dāng)時(shí)谷歌的云視覺(jué)API。

為了進(jìn)一步地降低置信度分?jǐn)?shù)的獲取成本以及加快梯度的估算速度，Tu等人[31]提出了基于自動(dòng)編碼器的零階優(yōu)化方法（autoencoder-based zeroth order optimization method，AutoZOOM），該方法是一個(gè)通用的查詢效率高的黑盒攻擊框架，它可以在黑盒場(chǎng)景下有效地產(chǎn)生對(duì)抗性樣本。AutoZOOM利用自適應(yīng)隨機(jī)梯度估計(jì)策略來(lái)降低查詢的次數(shù)和減小擾動(dòng)的失真度，同時(shí)，使用未標(biāo)記的數(shù)據(jù)離線訓(xùn)練自動(dòng)編碼器，從而加快了對(duì)抗性樣本的生成速度。AutoZOOM方法與標(biāo)準(zhǔn)的ZOO攻擊方法相比，可以大大減少模型的查詢次數(shù)，同時(shí)保持攻擊的有效性以及對(duì)抗性樣本的視覺(jué)質(zhì)量較高。

Su等人[32]提出的One-pixel攻擊和前邊介紹的JSMA攻擊一樣，將對(duì)抗擾動(dòng)限制在圖像較小的區(qū)域內(nèi)，只需要擾動(dòng)幾個(gè)或單個(gè)像素點(diǎn)便可以獲得較好的攻擊效果。為了提高攻擊像素點(diǎn)的查找效率，引入了差分進(jìn)化（differential evolution）的查找策略，使得攻擊簡(jiǎn)單高效。

Du等人[33]提出了meta attack，該攻擊使用基于自動(dòng)編碼器結(jié)構(gòu)的元學(xué)習(xí)來(lái)近似梯度，并使用爬蟲(chóng)元學(xué)習(xí)（reptile meta-learning）訓(xùn)練方法進(jìn)行訓(xùn)練，通過(guò)訓(xùn)練元攻擊者并將其納入優(yōu)化過(guò)程，該方法可以在不降低攻擊成功率和失真度的情況下大幅減少所需的查詢次數(shù)。

最近，Ma等人[34]提出了查詢更加高效的simulator attack，其主要做法是訓(xùn)練一個(gè)模擬器（simulator），其中基于知識(shí)蒸餾（knowledge distillation）的均方誤差損失函數(shù)被應(yīng)用于元學(xué)習(xí)中的內(nèi)部和外部更新，以學(xué)習(xí)許多不同網(wǎng)絡(luò)模型的輸出，從而可以模擬任何未知模型的輸出。一旦訓(xùn)練完成，模擬器只需要少量的查詢數(shù)據(jù)進(jìn)行微調(diào)，就可以準(zhǔn)確地模擬未知網(wǎng)絡(luò)的輸出，這使攻擊需要的大量查詢轉(zhuǎn)移到模擬器上，有效地降低了攻擊中目標(biāo)模型的查詢次數(shù)，使得攻擊更加符合現(xiàn)實(shí)場(chǎng)景。

2.2.3 基于決策邊界的攻擊

基于決策邊界的攻擊既不依賴于替代模型，也不需要置信度分?jǐn)?shù)向量。相比于基于置信度分?jǐn)?shù)查詢的攻擊，基于決策的攻擊代表了一個(gè)更受限制的對(duì)抗場(chǎng)景，即只需要來(lái)自黑盒分類器輸出的類別標(biāo)簽便可以成功攻擊。這種攻擊更加符合真實(shí)世界的場(chǎng)景，因此更具研究?jī)r(jià)值，但攻擊難度更大，通常需要較多的查詢次數(shù)。

為了更加符合現(xiàn)實(shí)世界中的黑盒場(chǎng)景限制，Brendel等人[35]提出了基于決策邊界的攻擊的開(kāi)山之作Boundary Attack，該攻擊只依賴于分類模型輸出的類別標(biāo)簽，無(wú)需梯度或者置信度分?jǐn)?shù)等信息。Boundary Attack生成對(duì)抗樣本的具體的示例如圖7所示，Boundary Attack的思路是尋找與原始圖像x相似的對(duì)抗圖像x"，主要的做法是反復(fù)擾動(dòng)一個(gè)初始對(duì)抗圖像x0"，x0"和x屬于不同的類別，然后沿著x和x0"所屬類別之間的決策邊界進(jìn)行隨機(jī)游走，使用拒絕采樣進(jìn)行優(yōu)化，僅需要對(duì)對(duì)抗圖像x"i查詢模型輸出的類別標(biāo)簽，直到最小化原始圖像x和對(duì)抗圖像x"之間的距離度量d(x,x")即可生成對(duì)抗圖像。由于拒絕采樣優(yōu)化方式的蠻力性質(zhì)，因此Boundary Attack需要較多的迭代搜索次數(shù)（例如數(shù)十萬(wàn)次迭代）才能找到高質(zhì)量的對(duì)抗圖像，因此后來(lái)對(duì)于Boundary Attack的研究主要集中在如何找到更小擾動(dòng)值的搜索方向和如何加快其搜索速度兩個(gè)方面的工作。

圖7 邊界攻擊的示意圖Fig.7 Schematic diagram of boundary attack

為了提高攻擊的查詢效率，Cheng等人[36]提出了基于決策邊界的Opt-Attack，由于只能獲得目標(biāo)模型輸出的類別標(biāo)簽，因此攻擊的目標(biāo)函數(shù)不是連續(xù)的，故難以進(jìn)行優(yōu)化，作者等人重新將問(wèn)題形式化為實(shí)數(shù)值優(yōu)化問(wèn)題，使得目標(biāo)函數(shù)變得連續(xù)，因此可以使用任何的零階優(yōu)化算法求解，解決了Boundary Attack需要超多次的模型查詢以及無(wú)法保證收斂性的問(wèn)題，使得攻擊具有更高的查詢效率。

Chen等人[37]為了解決邊界攻擊的查詢次數(shù)較多的問(wèn)題，提出了一種基于決策邊界的攻擊HSJA（hop skip jump attack），HSJA攻擊在Boundary Attack的基礎(chǔ)上進(jìn)行改進(jìn)，由于在模型決策邊界的邊緣實(shí)現(xiàn)了梯度估計(jì)技術(shù)，解決Boundary Attack的查詢次數(shù)較多的問(wèn)題，因此可以更有效地生成對(duì)抗樣本，具有較高的成功率和較低的查詢次數(shù)。

減少基于決策邊界的攻擊所需的查詢次數(shù)的挑戰(zhàn)是如果不進(jìn)行多次查詢，就很難探索高維數(shù)據(jù)的決策邊界。Li等人[38]提出QEBA（query-efficient boundary-based blackbox attack）試圖通過(guò)向圖像添加擾動(dòng)來(lái)生成查詢，從而減少所需的查詢次數(shù)。因此，探測(cè)決策邊界被簡(jiǎn)化對(duì)每個(gè)生成的查詢搜索一個(gè)更小的、有代表性的子空間，基于子空間的梯度估計(jì)與原始空間的估計(jì)相比是最佳的。QEBA大大減少了模型所需的查詢次數(shù)，針對(duì)離線模型和現(xiàn)實(shí)世界中的在線API均能產(chǎn)生高質(zhì)量的對(duì)抗樣本。

Li等人創(chuàng)新性地克服了黑盒攻擊的梯度不可獲得，提出了一種查詢高效的NonLinear-BA[39]（nonlinear black-box attack）方法，該方法是一種基于非線性梯度投影的邊界黑盒攻擊，通過(guò)利用矢量投影進(jìn)行梯度估計(jì)。高維梯度估計(jì)的計(jì)算成本很高，需要大量的查詢，NLBA將梯度投射到低維的支持物上，極大地提高了估計(jì)效率，可以高效地生成對(duì)抗樣本。

2.3 物理世界中的對(duì)抗樣本

本文第2.1和2.2節(jié)詳細(xì)介紹了在實(shí)驗(yàn)室環(huán)境下數(shù)字世界的白盒和黑盒的關(guān)于圖像分類場(chǎng)景下的對(duì)抗攻擊方法，人工智能研究社區(qū)很多樂(lè)觀的研究者認(rèn)為對(duì)抗樣本僅能存在于數(shù)字世界中，物理世界中受光照條件、距離、拍攝角度、曝光程度、設(shè)備差異以及標(biāo)志遮擋等諸多因素都會(huì)導(dǎo)致對(duì)抗樣本的失效，確實(shí)第2章中的很多對(duì)抗攻擊方法直接用在物理世界中的攻擊效果大多都不理想，但不幸的是，人工智能安全研究者經(jīng)過(guò)研究發(fā)現(xiàn)對(duì)抗樣本在物理世界中也能成功地攻擊深度學(xué)習(xí)模型。因此，本節(jié)從自動(dòng)駕駛、通用目標(biāo)檢測(cè)以及圖像分類等方面梳理了物理世界中對(duì)抗樣本的工作，以期為后續(xù)的研究者提供一些研究靈感。表1對(duì)物理世界中的對(duì)抗樣本攻擊進(jìn)行了總結(jié)。

Eykholt等人[40]在無(wú)人駕駛系統(tǒng)中提出了一種在物理世界中生成對(duì)抗擾動(dòng)的白盒攻擊方法，被稱為魯棒物理擾動(dòng)（robust physical perturbations，RP2），該方法在一系列的動(dòng)態(tài)物理環(huán)境中產(chǎn)生魯棒的對(duì)抗擾動(dòng)，其中動(dòng)態(tài)物理環(huán)境包括距離、角度和分辨率等物理?xiàng)l件的變化，該方法在無(wú)人駕駛系統(tǒng)的道路標(biāo)識(shí)識(shí)別系統(tǒng)中實(shí)現(xiàn)了很高的欺騙率。文中采用兩種方法攻擊路標(biāo)分類模型，分別是海報(bào)（poster）攻擊和貼紙（sticker）攻擊，如圖8所示從左圖到右圖依次為兩種類型的攻擊方法，深度學(xué)習(xí)模型的分類模型會(huì)將“停車”路標(biāo)識(shí)別為限速“60 km/h”的路標(biāo)，這些黑白貼紙模仿了生活中常見(jiàn)的涂鴉，不容易引起人們的注意，具有很強(qiáng)的隱蔽性，這給使用深度學(xué)習(xí)模型的無(wú)人駕駛系統(tǒng)帶來(lái)了巨大挑戰(zhàn)，可能會(huì)導(dǎo)致嚴(yán)重的交通事故。

圖8 無(wú)人駕駛系統(tǒng)的兩種路牌識(shí)別攻擊Fig.8 Two types of road sign recognition attacks for autonomous driving systems

Kong等人[41]提出一種基于GAN[47]的PhysGAN方法來(lái)生成范數(shù)約束的對(duì)抗圖像，打印后的圖像顯示出對(duì)物理世界條件的魯棒性，例如光照條件、視角等變化。PhysGAN方法專門被設(shè)計(jì)用來(lái)欺騙無(wú)人駕駛車的轉(zhuǎn)向模型，該模型是一個(gè)基于回歸公式的角度預(yù)測(cè)問(wèn)題。PhysGAN計(jì)算駕駛視頻的視覺(jué)特征流的擾動(dòng)，但忽略場(chǎng)景的背景，這樣的策略允許對(duì)動(dòng)態(tài)場(chǎng)景條件進(jìn)行有效的擾動(dòng)，從而避免了文獻(xiàn)[40]中靜態(tài)場(chǎng)景假設(shè)的需要。

保證自動(dòng)駕駛安全的重要感知系統(tǒng)主要由攝像機(jī)和激光雷達(dá)等組成，以往的對(duì)抗攻擊的研究大多集中在基于攝像頭的感知上，基于激光雷達(dá)（LiDAR）感知的探索很少。Cao等人[42]首次展示了激光雷達(dá)在白盒場(chǎng)景下實(shí)現(xiàn)的假點(diǎn)欺騙（fake point spoofing）攻擊，該攻擊在模擬場(chǎng)景中取得了很好的攻擊效果，然而在真實(shí)的道路場(chǎng)景中，實(shí)現(xiàn)該攻擊需要將攻擊裝置動(dòng)態(tài)地對(duì)準(zhǔn)受害者汽車上的激光雷達(dá)，因此對(duì)激光發(fā)射裝置的精度要求非常高。同年內(nèi)，Cao等人[43]使用基于梯度的優(yōu)化方法，即LiDAR-Adv攻擊方法生成一個(gè)3D可打印的物理對(duì)抗物體，可以導(dǎo)致激光雷達(dá)無(wú)法檢測(cè)到打印出的3D對(duì)抗物體，因此給激光雷達(dá)系統(tǒng)檢測(cè)障礙物帶來(lái)了新的挑戰(zhàn)。

Thys等人[44]成功地將對(duì)抗樣本攻擊應(yīng)用到目標(biāo)檢測(cè)模型中，提出了一種行人檢測(cè)攻擊（pedestrian detection attack），在白盒環(huán)境下，作者使用對(duì)抗補(bǔ)?。╝dversarial patch）攻擊部署的YOLOv2[48]目標(biāo)檢測(cè)器，具體做法是使用40×40大小的對(duì)抗補(bǔ)丁貼在人的身上，就可以成功避開(kāi)目標(biāo)檢測(cè)器的檢測(cè)，具體的示例如圖9所示，圖像左邊沒(méi)有對(duì)抗補(bǔ)丁的人被目標(biāo)檢測(cè)器成功檢測(cè)出來(lái)，圖像右邊拿著對(duì)抗補(bǔ)丁的人成功地攻擊了目標(biāo)檢測(cè)器，使其被目標(biāo)檢測(cè)器忽略掉。

圖9 利用對(duì)抗補(bǔ)丁的行人檢測(cè)攻擊Fig.9 Pedestrian detection attacks using adversarial patches

Ho等人[49]實(shí)驗(yàn)研究表明，在對(duì)物理世界的物體進(jìn)行成像時(shí)，隨著相機(jī)的抖動(dòng)和姿勢(shì)的變化，可以獲得輕易騙過(guò)深度學(xué)習(xí)模型的圖像，該研究中擾動(dòng)的不可感知性通過(guò)語(yǔ)義的形式呈現(xiàn)，即上下文的不可感知性圖像中的抖動(dòng)和姿勢(shì)看起來(lái)很自然，不易被人察覺(jué)。

對(duì)抗補(bǔ)丁攻擊[45]也是一種發(fā)動(dòng)物理世界攻擊的有效方法，一個(gè)對(duì)抗補(bǔ)丁通常是一個(gè)清晰可見(jiàn)的圖案，它可以放置在被攻擊對(duì)象旁邊從而導(dǎo)致模型輸出錯(cuò)誤的結(jié)果，具體效果如圖10（c）所示，在桌子上香蕉的旁邊放置對(duì)抗補(bǔ)丁，圖像分類模型以很高的置信度將香蕉誤分類為烤面包機(jī)。近來(lái)，Duan等人[46]提出了一種基于神經(jīng)風(fēng)格遷移技術(shù)[50]的AdvCam方法來(lái)計(jì)算不受約束的擾動(dòng)，這種擾動(dòng)以偽裝目標(biāo)對(duì)象的形式來(lái)進(jìn)行物理世界的攻擊，該方法能夠生成比先前工作[40]如圖10（a）和文獻(xiàn)[45]如圖10（c）更隱秘的擾動(dòng)，因?yàn)樯傻臄_動(dòng)對(duì)人眼來(lái)說(shuō)更自然，如圖10（b）所示[46]，AdvCam方法以偽裝自然污漬的形式對(duì)停車標(biāo)志添加對(duì)抗擾動(dòng)來(lái)攻擊深度學(xué)習(xí)分類模型，如圖10（d）所示[46]，AdvCam方法在香蕉旁邊以偽裝產(chǎn)品標(biāo)簽的形式來(lái)達(dá)到攻擊的目的。AdvCam方法生成的物理世界的對(duì)抗擾動(dòng)不僅具有很強(qiáng)的隱蔽性，同時(shí)對(duì)物理世界的各種條件具有很強(qiáng)的魯棒性和適應(yīng)性。

圖10 三種物理世界對(duì)抗攻擊的效果Fig.10 Effect image of three physical worlds adversarial attack

3 對(duì)抗樣本存在性相關(guān)的解釋

對(duì)抗樣本自發(fā)現(xiàn)以來(lái)，就受到研究人員的廣泛關(guān)注，文獻(xiàn)中有大量的假設(shè)來(lái)解釋深度神經(jīng)網(wǎng)絡(luò)的對(duì)抗脆弱性，但是很多的解釋都不能很好地泛化，并且很多解釋之間互相沖突，到目前為止，對(duì)于對(duì)抗樣本存在的原因還沒(méi)有達(dá)成共識(shí)。研究人員普遍認(rèn)為對(duì)抗樣本現(xiàn)象仍未被充分地理解，關(guān)于其成因方面的工作仍然具有吸引力，本章回顧和梳理了該方向的貢獻(xiàn)和主要的假設(shè)。

（1）高維非線性假設(shè)

Szegedy等人[7]認(rèn)為對(duì)抗樣本是數(shù)據(jù)流形（data manifold）上形成的低概率的盲區(qū)（pockets），這些盲區(qū)通常很難通過(guò)簡(jiǎn)單的隨機(jī)抽樣被找到，他們認(rèn)為難以采樣的盲區(qū)正是深度神經(jīng)網(wǎng)絡(luò)的高度非線性導(dǎo)致的，因此模型的泛化能力較差，如圖11所示，樣本空間中的類別?和+被分類模型很好地分開(kāi)，但是每個(gè)類別的每個(gè)元素周圍都密布著另外一個(gè)類別的元素，因?yàn)榈透怕实膶?duì)抗性盲區(qū)密集地分布在圖像空間中。Gu等人[51]和Song等人[52]認(rèn)為這種盲區(qū)的出現(xiàn)主要是由于目標(biāo)函數(shù)、訓(xùn)練過(guò)程以及訓(xùn)練樣本的多樣性和數(shù)據(jù)集的規(guī)模受限等的一些缺陷導(dǎo)致的，進(jìn)而導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型的泛化性較差。

圖11 對(duì)抗樣本存在的非線性解釋Fig.11 Non-linear explanation for existence of AE

（2）線性假設(shè)

Goodfellow等人[14]的假設(shè)與Szegedy等人的非線性假設(shè)相反，他們認(rèn)為深度神經(jīng)網(wǎng)絡(luò)中對(duì)抗樣本的存在恰恰是線性原因?qū)е碌?，由于深度神?jīng)網(wǎng)絡(luò)學(xué)習(xí)高維特征空間的映射，因此在輸入上的微小擾動(dòng)經(jīng)過(guò)高維空間的變換后會(huì)導(dǎo)致最終的輸出結(jié)果大相徑庭。Fawzi等人[53]表明神經(jīng)網(wǎng)絡(luò)模型的對(duì)抗魯棒性是獨(dú)立于訓(xùn)練過(guò)程的，深度神經(jīng)網(wǎng)絡(luò)表示的高階模型中類別之間的距離比線性分類器更大，他們認(rèn)為更深層次的模型中更難找到對(duì)抗樣本，這種解釋也與Szegedy等人的非線性假設(shè)相違背。除此之外也有研究結(jié)果與線性假設(shè)相反，Tabacof等人[54]發(fā)現(xiàn)對(duì)抗樣本現(xiàn)象可能是一個(gè)更復(fù)雜的問(wèn)題，實(shí)驗(yàn)結(jié)果表明淺層的模型比深層模型更容易受到對(duì)抗樣本的影響。雖然有些研究對(duì)線性假設(shè)提出了批評(píng)，但一些相關(guān)的攻擊（例如FGSM[14]和DeepFool[22]）和防御（例如thermometer encoding[55]）都是建立在線性假設(shè)的基礎(chǔ)上的。

（3）邊界傾斜假設(shè)

Tanay等人[56]否定了Goodfellow等人提出的線性假設(shè)，認(rèn)為其不充分且沒(méi)有說(shuō)服力，他們提出了一個(gè)邊界傾斜假設(shè)來(lái)解釋對(duì)抗樣本現(xiàn)象，具體的假設(shè)是深度神經(jīng)網(wǎng)絡(luò)雖然學(xué)習(xí)能力很強(qiáng)，但是通常學(xué)到的訓(xùn)練數(shù)據(jù)的類邊界與訓(xùn)練數(shù)據(jù)的數(shù)據(jù)流形并非完全重合，而是存在一個(gè)傾斜的角度，因此在正常樣本上添加的微小擾動(dòng)容易導(dǎo)致對(duì)抗樣本的產(chǎn)生。隨著傾斜度的降低，所需的擾動(dòng)量也更小，生成的對(duì)抗樣本也具有更高的置信度和誤導(dǎo)率，作者認(rèn)為這種效果可能是模型過(guò)擬合的結(jié)果，如圖12展示了邊界傾斜假設(shè)的示意圖，對(duì)抗樣本存在于傾斜的邊界之間，即訓(xùn)練數(shù)據(jù)學(xué)到的類邊界和訓(xùn)練數(shù)據(jù)的數(shù)據(jù)流形之間。

圖12 對(duì)抗樣本存在的邊界傾斜解釋Fig.12 Boundary tilting explanation for existence of AE

（4）高維流形假設(shè)

Gilmer等人[57]、Mahloujifar等人[58]、Shafahi等人[59]和Fawzi等人[60]一致認(rèn)為對(duì)抗樣本現(xiàn)象是數(shù)據(jù)流形高維性導(dǎo)致的結(jié)果，為了提供證據(jù)，Gilmer等人創(chuàng)建了一個(gè)合成數(shù)據(jù)集來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，以便更好地控制實(shí)驗(yàn)，模型被訓(xùn)練好以后，作者觀察到被模型正確分類的輸入接近于附近被錯(cuò)誤分類的對(duì)抗性輸入，基于該實(shí)驗(yàn)結(jié)果Gilmer等人否認(rèn)對(duì)抗樣本和正常樣本的數(shù)據(jù)分布不同的假設(shè)[52，61]。

（5）缺乏足夠的訓(xùn)練數(shù)據(jù)

Schmidt等人[62]認(rèn)為經(jīng)過(guò)訓(xùn)練學(xué)習(xí)到的模型必須具有很強(qiáng)的泛化性，需要借助魯棒優(yōu)化實(shí)現(xiàn)對(duì)抗魯棒性。作者觀察到對(duì)抗樣本的存在并非神經(jīng)網(wǎng)絡(luò)分類模型的缺陷，而是統(tǒng)計(jì)學(xué)習(xí)的場(chǎng)景下無(wú)法避免的結(jié)果，迄今為止仍然沒(méi)有可行的策略來(lái)實(shí)現(xiàn)模型的對(duì)抗魯棒性。作者通過(guò)實(shí)驗(yàn)認(rèn)為現(xiàn)存的數(shù)據(jù)集規(guī)模太小，不足以支撐訓(xùn)練魯棒的神經(jīng)網(wǎng)絡(luò)模型。

（6）非魯棒特征的假設(shè)

Ilyas等人[63]提出了一種不同的假設(shè)解釋，他們認(rèn)為對(duì)抗樣本是神經(jīng)網(wǎng)絡(luò)的基本數(shù)據(jù)特征，而不是沒(méi)有根據(jù)的錯(cuò)誤。他們證明了對(duì)抗樣本的存在可以歸因于非魯棒的特征，與標(biāo)準(zhǔn)訓(xùn)練框架無(wú)關(guān)，這與研究人員普遍認(rèn)為的結(jié)論相反。非魯棒的特征在數(shù)據(jù)集中普遍存在，這些特征有可能是深度學(xué)習(xí)模型實(shí)現(xiàn)更高準(zhǔn)確性的有效來(lái)源。作者研究還證明了解耦魯棒和非魯棒特征的可能性，并且表明魯棒的特征比非魯棒的特征更加符合人類的感知。

4 對(duì)抗攻擊的防御方法

對(duì)抗樣本的存在嚴(yán)重威脅了深度學(xué)習(xí)模型在現(xiàn)實(shí)場(chǎng)景中的大量應(yīng)用，甚至打擊了研究者對(duì)于深度學(xué)習(xí)前景的信心。幸運(yùn)的是，自對(duì)抗樣本發(fā)現(xiàn)以來(lái)有許多研究工作來(lái)針對(duì)對(duì)抗攻擊進(jìn)行防御，總結(jié)起來(lái)可以大致分為4個(gè)大的方向：增強(qiáng)模型魯棒性的防御、輸入預(yù)處理的防御、對(duì)抗樣本的檢測(cè)防御和可驗(yàn)證魯棒性的防御。

4.1 增強(qiáng)模型魯棒性的防御

4.1.1 對(duì)抗訓(xùn)練

對(duì)抗訓(xùn)練框架被學(xué)術(shù)界普遍認(rèn)為是對(duì)抗攻擊的最強(qiáng)有力的防御策略，該策略的主要的做法是讓模型在訓(xùn)練過(guò)程中暴露在對(duì)抗樣本中，以獲得對(duì)對(duì)抗樣本的免疫力。對(duì)抗訓(xùn)練最初在文獻(xiàn)[7]和[14]中使用，Madry等人[17]首次從理論上研究并且通過(guò)魯棒優(yōu)化的視角來(lái)表述它，隨后很多研究工作專注于對(duì)抗訓(xùn)練。

Ding等人[64]指出對(duì)抗訓(xùn)練對(duì)訓(xùn)練數(shù)據(jù)分布很敏感。Song等人[65]強(qiáng)調(diào)對(duì)抗訓(xùn)練有很差的泛化性。對(duì)抗訓(xùn)練雖然有不足之處，但仍然被許多研究者關(guān)注。在近來(lái)的幾年里，改進(jìn)對(duì)抗訓(xùn)練的多種變體出現(xiàn)。Wang等人[66]提出了MART（misclassification aware adversarial training）方法，將正常樣本的錯(cuò)誤分類結(jié)果在訓(xùn)練過(guò)程中的顯著影響考慮在內(nèi)，進(jìn)一步提升了對(duì)抗訓(xùn)練模型的魯棒性。Vivek等人[67]提出了一種dropout調(diào)度方法，用單步方法提高對(duì)抗訓(xùn)練的有效性。Song等人[68]提出了對(duì)抗訓(xùn)練的魯棒局部特征（robust local features for adversarial training，RLFAT），在訓(xùn)練過(guò)程中使用輸入的隨機(jī)塊洗牌，提升了對(duì)抗訓(xùn)練模型的泛化能力。Zheng等人[69]提出在訓(xùn)練過(guò)程的多個(gè)迭代中使用相同的對(duì)抗擾動(dòng)，在減少整個(gè)訓(xùn)練過(guò)程計(jì)算量的同時(shí)取得可接受的性能，使得對(duì)抗訓(xùn)練更加有效。

考慮對(duì)抗訓(xùn)練的進(jìn)一步變體，Dong等人[70]提出了對(duì)抗分布訓(xùn)練（adversarial distributional training），該方法也將對(duì)抗訓(xùn)練形式化為極大極小化問(wèn)題，但不同的是內(nèi)部最大化的目的是在熵正則化下學(xué)習(xí)對(duì)抗分布，外部的最小化問(wèn)題使最壞情況下對(duì)抗分布的損失最小化。Jia等人[71]提出了可學(xué)習(xí)攻擊策略的對(duì)抗訓(xùn)練LAS-AT方法，通過(guò)學(xué)習(xí)自動(dòng)生成攻擊策略，在不同的訓(xùn)練階段采用不同的攻擊策略來(lái)提升對(duì)抗訓(xùn)練方法的魯棒性。

文獻(xiàn)中關(guān)于對(duì)抗訓(xùn)練還有很多側(cè)重于分析對(duì)抗訓(xùn)練，而不是設(shè)計(jì)其變體。Xie等人[72]報(bào)告了對(duì)抗訓(xùn)練的一些有趣的特性，其中最引人注意的是對(duì)正常圖像和對(duì)抗圖像進(jìn)行單獨(dú)的批量歸一化（batch normalization）導(dǎo)致對(duì)抗魯棒性的改善，以及不受視覺(jué)模型中網(wǎng)絡(luò)深度的限制，更深模型的對(duì)抗魯棒性會(huì)持續(xù)地改善。Wong等人[73]研究表明，F(xiàn)GSM攻擊結(jié)合隨機(jī)初始化的對(duì)抗訓(xùn)練相比于PGD攻擊的對(duì)抗訓(xùn)練同樣有效。但Andriushchenko等人[74]對(duì)FGSM攻擊結(jié)合隨機(jī)初始化的對(duì)抗訓(xùn)練方面的改進(jìn)表示了否定。

文獻(xiàn)中還包含對(duì)抗訓(xùn)練被使用來(lái)滿足特定任務(wù)的需要。Wu等人[75]提出了一種對(duì)抗訓(xùn)練方法，該方法中的對(duì)抗樣本是專門針對(duì)物理世界的攻擊生成的。作者指出，通常用于數(shù)字世界攻擊的對(duì)抗訓(xùn)練和隨機(jī)平滑對(duì)于物理世界的攻擊效果不佳。

4.1.2 其他增強(qiáng)魯棒性的防御

除了對(duì)抗訓(xùn)練通過(guò)專注于對(duì)抗樣本來(lái)修改模型的權(quán)重外，還有許多方法通過(guò)正常的訓(xùn)練數(shù)據(jù)改變模型的相關(guān)結(jié)構(gòu)，從而增強(qiáng)了模型的對(duì)抗魯棒性。Pang等人[76]建議使用最大化馬氏中心損失（maxMahalanobis center loss）替換softmax的交叉熵?fù)p失，以此來(lái)增強(qiáng)模型的對(duì)抗魯棒性。Xiao等人[77]提出使用k-Winner-Takes-All（k-WTA）的不連續(xù)激活函數(shù)替換ReLU激活函數(shù)，從而保護(hù)模型不受基于梯度的攻擊。

4.2 輸入預(yù)處理的防御

基于輸入預(yù)處理的防御旨在通過(guò)輸入的變換來(lái)清除或者減輕對(duì)抗擾動(dòng)對(duì)輸入模型的影響。文獻(xiàn)[78-80]研究了基于JPEG的輸入壓縮來(lái)消除圖像中的對(duì)抗擾動(dòng)，經(jīng)過(guò)壓縮處理的對(duì)抗圖像顯著失去了他們的模型欺騙能力。通常來(lái)說(shuō)，輸入預(yù)處理的防御的優(yōu)點(diǎn)在于它可以很容易與其他防御機(jī)制結(jié)合使用，例如與對(duì)抗訓(xùn)練模型結(jié)合使用。Raff等人[81]提出將多個(gè)輸入變換隨機(jī)組合，從而確保他們對(duì)自適應(yīng)攻擊的防御，但作者也發(fā)現(xiàn)更多的輸入變換會(huì)導(dǎo)致模型在正常圖像上的性能顯著下降。

輸入數(shù)據(jù)的隨機(jī)化變換有助于提升對(duì)抗魯棒性。Xie等人[82]研究表明隨機(jī)調(diào)整對(duì)抗樣本的大小會(huì)降低攻擊能力，作者還發(fā)現(xiàn)在對(duì)抗樣本中添加隨機(jī)填充會(huì)降低攻擊性能。Wang等人[83]使用單獨(dú)的數(shù)據(jù)變換模塊對(duì)模型的輸入數(shù)據(jù)進(jìn)行變換來(lái)消除圖像中可能存在的對(duì)抗擾動(dòng)。在文獻(xiàn)[84]中發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程中的高斯數(shù)據(jù)增強(qiáng)也有助于提升對(duì)抗魯棒性，雖然效果很微小。

Samangouei等人[85]首次使用GAN進(jìn)行輸入的變換，他們的方法Defense-GAN學(xué)習(xí)正常圖像的分布，在推理階段，它計(jì)算一個(gè)接近輸入圖像的輸出，來(lái)消除潛在的對(duì)抗擾動(dòng)。Gupta等人[86]提出了一種基于去噪的防御，它有選擇地去噪圖像的顯著影響區(qū)域，確保模型正常的輸出結(jié)果。Akhtar等人[87]提出了一種針對(duì)通用擾動(dòng)[23]生成的對(duì)抗圖像的防御框架，該框架在目標(biāo)網(wǎng)絡(luò)添加了相關(guān)的預(yù)輸入層，這些預(yù)輸入層被訓(xùn)練來(lái)修正經(jīng)過(guò)擾動(dòng)的圖像，從而使得分類器獲得正確的預(yù)測(cè)。

4.3 對(duì)抗樣本的檢測(cè)防御

檢測(cè)防御技術(shù)主要是為預(yù)先訓(xùn)練的模型提供相應(yīng)的機(jī)制或者模塊，來(lái)檢測(cè)對(duì)抗樣本，以保護(hù)模型免受對(duì)抗攻擊。在大多數(shù)情況下，這些方法僅限于在模型的推理階段檢測(cè)輸入的對(duì)抗樣本的存在。

Xu等人[88]認(rèn)為輸入特征空間大得過(guò)于冗余，因此提出特征壓縮（feature squeezing）機(jī)制，通過(guò)剔除不必要的輸入特征來(lái)減少敵手可用的冗余特征自由度。特征壓縮機(jī)制是一種簡(jiǎn)單的對(duì)抗樣本檢測(cè)框架，它將模型對(duì)原始正常圖像的預(yù)測(cè)與壓縮后的模型預(yù)測(cè)進(jìn)行比較，如果前后兩次的預(yù)測(cè)差異高于指定的閾值，則判定該圖像是對(duì)抗圖像，因此將被丟棄。作者的工作提出了兩種技術(shù)，分別是壓縮顏色位（squeezing color bits）和空間平滑（spatial smoothing），前者可以在不損失太多信息的情況下顯著降低比特深度，后者是一種降低圖像噪聲的處理技術(shù)。

Meng等人[89]提出了神經(jīng)網(wǎng)絡(luò)檢測(cè)對(duì)抗樣本的框架MagNet，該框架由兩個(gè)部分組成，分別是檢測(cè)器（detector）和重整器（reformer），前者主要用于拒絕遠(yuǎn)離不同類別決策邊界的樣本，后者主要用于給定一個(gè)輸入樣本，尋找輸入樣本的近似值，該近似值靠近正常樣本的決策邊界，使用上述的構(gòu)件來(lái)進(jìn)行對(duì)抗樣本的檢測(cè)。

Liang等人[90]將圖像的對(duì)抗擾動(dòng)視為噪聲，采用標(biāo)量量化和空間平滑濾波檢測(cè)對(duì)抗擾動(dòng)。Feinman等人[91]提出利用不確定性估計(jì)和在神經(jīng)網(wǎng)絡(luò)的特征空間中執(zhí)行密度估計(jì)來(lái)檢測(cè)對(duì)抗擾動(dòng)。

4.4 可驗(yàn)證魯棒性的防御

雖然文獻(xiàn)中有很多防御方法，但隨著后來(lái)的研究表明存在更強(qiáng)的攻擊可以擊敗現(xiàn)有的防御方法。盡管對(duì)抗訓(xùn)練被研究者廣泛認(rèn)可是一種相對(duì)出色的防御策略，但其也存在缺陷，例如研究發(fā)現(xiàn)在L∞范數(shù)約束的擾動(dòng)下對(duì)抗訓(xùn)練的模型對(duì)于Lp范數(shù)約束的擾動(dòng)下的攻擊仍然很脆弱，其中的p≠∞?？沈?yàn)證的魯棒性防御試圖保證在正常圖像的Lp范數(shù)球內(nèi)目標(biāo)模型不存在對(duì)抗攻擊可以使模型出錯(cuò)。這個(gè)可驗(yàn)證的魯棒性保證要么是提供打破給定防御的最小的Lp范數(shù)擾動(dòng)[92-93]，要么是提供范數(shù)的下界[94-96]。還有一些工作，旨在提高網(wǎng)絡(luò)的魯棒性，并推動(dòng)產(chǎn)生更適合魯棒性驗(yàn)證技術(shù)的模型[97-98]。目前大多數(shù)的可驗(yàn)證防御僅能證明針對(duì)一種范數(shù)約束擾動(dòng)的魯棒性，卻很難同時(shí)證明針對(duì)多種范數(shù)約束擾動(dòng)的魯棒性，但也存在一些工作可以同時(shí)證明針對(duì)多種范數(shù)約束擾動(dòng)的魯棒性[99-100]。

Croce等人[99]對(duì)使用ReLU激活函數(shù)的神經(jīng)網(wǎng)絡(luò)提出了一個(gè)正則化方法，以此來(lái)增強(qiáng)模型對(duì)于L1和L∞攻擊的魯棒性，并且表明了它的結(jié)果對(duì)于任何的Lp范數(shù)(p≥1)都是可證明的，都能保證構(gòu)建可證明的魯棒模型。相較于為模型的top-1預(yù)測(cè)提供可驗(yàn)證的魯棒性，Jia等人[101]使用高斯隨機(jī)平滑（Gaussian randomized smoothing）方法為模型的top-k預(yù)測(cè)推導(dǎo)出L2范數(shù)約束擾動(dòng)下的嚴(yán)格魯棒性，該方法建立在文獻(xiàn)[102]介紹的隨機(jī)平滑概念上。Zhai等人[103]也基于隨機(jī)平滑的想法提出了一種模型的MACER（maximizing the certified radius）方法，該方法可以擴(kuò)展到大型模型上。Fischer等人[104]擴(kuò)展了隨機(jī)平滑的概念，將平移、旋轉(zhuǎn)等參數(shù)化轉(zhuǎn)換納入其中，并且驗(yàn)證了模型在參數(shù)空間的魯棒性。Zhang等人[105]將隨機(jī)分類器中的高斯平滑噪聲擴(kuò)展至非高斯噪聲，他們?cè)O(shè)計(jì)了一個(gè)非高斯的平滑分布族，該工作對(duì)L1、L2和L∞攻擊的防御更加有效。文獻(xiàn)[106-107]中研究了更多的針對(duì)對(duì)抗補(bǔ)丁攻擊[45]的可驗(yàn)證防御。

近來(lái)可驗(yàn)證魯棒性防御的研究方向在對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域逐漸變得熱門起來(lái)，吸引了機(jī)器學(xué)習(xí)社區(qū)的眾多研究人員的關(guān)注，該領(lǐng)域未來(lái)是極有前景的研究方向，必將促進(jìn)可信機(jī)器學(xué)習(xí)領(lǐng)域的進(jìn)一步的發(fā)展。

綜上所述，對(duì)抗樣本的防御可以被分為4個(gè)大的方向，表3對(duì)其進(jìn)行了分類總結(jié)。

表3 圖像分類領(lǐng)域?qū)箻颖镜姆烙椒偨Y(jié)Table 3 Summary of adversarial defense methods in image classification field

5 對(duì)抗樣本的總體發(fā)展趨勢(shì)和未來(lái)研究展望

5.1 對(duì)抗攻擊

最近的對(duì)抗攻擊方法通常旨在進(jìn)一步減小對(duì)抗擾動(dòng)的范數(shù)約束大小以及增強(qiáng)黑盒攻擊中對(duì)抗樣本的可遷移性，使攻擊對(duì)現(xiàn)實(shí)場(chǎng)景中更具威脅性。近來(lái)的黑盒攻擊研究比較活躍，根據(jù)基于遷移的黑盒攻擊的相關(guān)文獻(xiàn)的報(bào)告，它在具有相似網(wǎng)絡(luò)架構(gòu)的模型之間可以更好遷移。基于決策邊界的攻擊相比于基于置信度分?jǐn)?shù)查詢的攻擊更受歡迎。通常基于置信度分?jǐn)?shù)查詢的攻擊優(yōu)化兩個(gè)相互矛盾的目標(biāo)：（1）通過(guò)使用更少的查詢次數(shù)獲得更高的錯(cuò)誤率；（2）限制對(duì)抗擾動(dòng)的范數(shù)約束盡可能得小，以確保不可察覺(jué)性。通?；跊Q策邊界的攻擊最常用的策略是先查詢黑盒模型得到較大的擾動(dòng)，然后在保持錯(cuò)誤預(yù)測(cè)的同時(shí)，通過(guò)微調(diào)來(lái)減小擾動(dòng)的范數(shù)。

5.2 對(duì)抗防御

盡管針對(duì)攻擊的防御層出不窮，但對(duì)抗機(jī)器學(xué)習(xí)社區(qū)公認(rèn)的相對(duì)有前途的防御仍然是對(duì)抗訓(xùn)練。比較有趣的是，在對(duì)抗樣本的開(kāi)山之作Szegedy等人[7]的工作中，對(duì)抗樣本的概念和對(duì)抗訓(xùn)練的概念同時(shí)被提出，后來(lái)的關(guān)于防御方面的大多數(shù)文獻(xiàn)都偏離了最初的增強(qiáng)模型自身魯棒性的想法，大多防御策略依賴于特定的規(guī)則和啟發(fā)式的方法，因此在更強(qiáng)的攻擊或者不同的攻擊條件下，它們中的許多會(huì)被攻破。事實(shí)上，Tramer等人[108]表明頂級(jí)學(xué)術(shù)會(huì)議上的十三種不同的防御措施可以被適應(yīng)性攻擊（adaptive attack）所攻破。對(duì)抗機(jī)器學(xué)習(xí)社區(qū)從防御角度來(lái)看更關(guān)注于對(duì)抗訓(xùn)練和可驗(yàn)證魯棒性的防御上，因?yàn)檫@兩個(gè)方向相對(duì)來(lái)說(shuō)最有發(fā)展前景，但是也存在經(jīng)過(guò)訓(xùn)練的魯棒模型在正常圖像上的精度下降的挑戰(zhàn)，在文獻(xiàn)中很容易觀察到一般經(jīng)受住較強(qiáng)攻擊的方法在正常圖像上的精度會(huì)降低。

5.3 未來(lái)展望

自對(duì)抗樣本發(fā)現(xiàn)以來(lái)，其論文就如雨后春筍般大量涌現(xiàn)，世界各國(guó)都推出相應(yīng)的可信人工智能計(jì)劃，為構(gòu)建可信人工智能做好了頂層設(shè)計(jì)，為人工智能在安全至關(guān)重要場(chǎng)景中的大量應(yīng)用鋪平了道路。由于該領(lǐng)域仍有很多懸而未決的重大挑戰(zhàn)，因此可以預(yù)見(jiàn)該方向仍然會(huì)是非?；钴S的研究領(lǐng)域，以下將探討一些未來(lái)有前景的研究方向。

深度神經(jīng)網(wǎng)絡(luò)在安全關(guān)鍵領(lǐng)域的大量應(yīng)用使得模型需要更好的魯棒性，大多數(shù)的對(duì)抗防御策略僅限于經(jīng)驗(yàn)評(píng)估，并不聲稱對(duì)未知攻擊具有魯棒性，可驗(yàn)證魯棒性的防御雖然提供了魯棒性的下限，確保被評(píng)估的防御系統(tǒng)的性能不會(huì)低于下限，但可驗(yàn)證魯棒性防御的評(píng)估通常缺乏通用性和可擴(kuò)展性[109]，因此研究其通用性和可擴(kuò)展性是有前景的方向。

在對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域，即使在小的數(shù)據(jù)集上，生成高質(zhì)量對(duì)抗樣本的計(jì)算代價(jià)依然很高，因此對(duì)于響應(yīng)時(shí)間要求很高的應(yīng)用系統(tǒng)來(lái)說(shuō)，攻擊算法的效率至關(guān)重要[110]。對(duì)于防御而言，一個(gè)優(yōu)秀的防御評(píng)估需要測(cè)試大量的攻擊，因?yàn)橛?jì)算效率的問(wèn)題，這些攻擊在給定數(shù)據(jù)集（例如ImageNet數(shù)據(jù)集）上的計(jì)算是不可行的，因此設(shè)計(jì)強(qiáng)大且高效的攻擊算法勢(shì)在必行。

目前存在大量針對(duì)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)攻擊和防御的研究，但鮮有針對(duì)新穎網(wǎng)絡(luò)架構(gòu)的研究，例如二值化神經(jīng)網(wǎng)絡(luò)模型（binarized neural networks，BNNs）、神經(jīng)常微分方程模型（neural ordinary differential equations，Neural ODEs）以及在計(jì)算機(jī)視覺(jué)領(lǐng)域越來(lái)越受歡迎Transformer模型及其變體。近來(lái)的研究指出，BNN模型[111]、Neural ODEs模型[112]以及Transformer模型[113-114]都可以在保證正常樣本上精度的前提下，在對(duì)抗魯棒性上超越傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型。雖然有一些積極的結(jié)果，但是并沒(méi)有被大家接受的答案來(lái)解釋這些模型魯棒性優(yōu)越的根本原因，該方向的深入研究有利于設(shè)計(jì)更高效更魯棒的模型，因此是一個(gè)充滿希望的研究領(lǐng)域。

基于前文的文獻(xiàn)梳理和總結(jié)可以發(fā)現(xiàn)對(duì)抗樣本研究中還存在一些具有挑戰(zhàn)性的研究問(wèn)題，例如關(guān)于對(duì)抗樣本存在性和可遷移性公認(rèn)的可證明解釋[115]，尋找具有內(nèi)在魯棒性的新型網(wǎng)絡(luò)架構(gòu)模型[116]，模型對(duì)抗魯棒性和準(zhǔn)確性的平衡[117]，模型對(duì)抗魯棒性和公平性的平衡[118]，有前景的對(duì)抗訓(xùn)練相關(guān)問(wèn)題的深入研究[119]以及對(duì)抗樣本和可解釋性相結(jié)合方向的研究[120]，希望未來(lái)有工作可以解決這些有趣且重要的開(kāi)放問(wèn)題。

事物都有兩面性，對(duì)抗樣本樣本也不例外。近期的許多研究表明對(duì)抗樣本也可以有積極的作用。例如對(duì)抗樣本被用來(lái)進(jìn)行個(gè)人隱私保護(hù)[121]，被用來(lái)生成數(shù)據(jù)或模型水印[122]和指紋[123]保護(hù)深度學(xué)習(xí)模型免受知識(shí)產(chǎn)權(quán)侵害。對(duì)抗樣本也可以被很好地利用來(lái)提升不平衡學(xué)習(xí)的性能[124]，適當(dāng)設(shè)計(jì)的對(duì)抗樣本也是有效的數(shù)據(jù)增強(qiáng)工具，可以同時(shí)提高模型的泛化性和對(duì)抗魯棒性[125]。此外，值得注意的是對(duì)抗樣本也可以被用來(lái)設(shè)計(jì)更加魯棒的文本驗(yàn)證碼[126]。綜上，在未來(lái)的研究中，如何合理地利用對(duì)抗樣本來(lái)達(dá)到“對(duì)抗向善”的效果也是一個(gè)非常有前景的研究方向。

基礎(chǔ)模型采用與任務(wù)無(wú)關(guān)的大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練來(lái)進(jìn)行表征學(xué)習(xí)，然后根據(jù)特定下游任務(wù)進(jìn)行微調(diào)適應(yīng)，因?yàn)榛A(chǔ)模型的缺陷會(huì)被下游的所有適應(yīng)性模型繼承，因此如何將對(duì)抗魯棒性納入基礎(chǔ)模型的預(yù)訓(xùn)練，以及如何從預(yù)訓(xùn)練到微調(diào)最大化遷移對(duì)抗魯棒性是至關(guān)重要的。Fan等人[127]和Wang等人[128]在元學(xué)習(xí)和對(duì)比學(xué)習(xí)中對(duì)抗魯棒性保存和遷移方面展示了有前景的結(jié)果?；A(chǔ)模型的快速增長(zhǎng)和日益強(qiáng)烈的需求創(chuàng)造了一個(gè)獨(dú)特的機(jī)會(huì)，其對(duì)抗性魯棒性被倡導(dǎo)作為下一代可信人工智能原生屬性，因此基礎(chǔ)模型對(duì)抗魯棒性的研究是一個(gè)有前景的研究問(wèn)題。

對(duì)抗樣本的出現(xiàn)影響了深度神經(jīng)網(wǎng)絡(luò)在安全至關(guān)重要領(lǐng)域的部署，導(dǎo)致一些研究者甚至出現(xiàn)了對(duì)深度學(xué)習(xí)發(fā)展持悲觀的態(tài)度，從目前來(lái)看，對(duì)抗樣本的痛點(diǎn)似乎要長(zhǎng)期留在深度學(xué)習(xí)研究中，解決對(duì)抗樣本問(wèn)題仍然任重而道遠(yuǎn)。

6 結(jié)束語(yǔ)

本文旨在總結(jié)和梳理對(duì)抗樣本在圖像分類領(lǐng)域的攻擊和防御方法，以期促進(jìn)對(duì)抗機(jī)器學(xué)習(xí)領(lǐng)域構(gòu)建更加可信、更加魯棒的深度學(xué)習(xí)模型。為了增強(qiáng)研究人員對(duì)現(xiàn)實(shí)世界中的對(duì)抗樣本的重視，簡(jiǎn)單梳理了物理世界中的對(duì)抗樣本。對(duì)抗樣本為什么會(huì)存在這個(gè)問(wèn)題，迄今為止沒(méi)有達(dá)成一個(gè)有理論依據(jù)的統(tǒng)一共識(shí)，這仍然是一個(gè)有趣且具有挑戰(zhàn)性的問(wèn)題，因此梳理和總結(jié)了解釋對(duì)抗樣本存在性相關(guān)的工作，以期為后續(xù)的研究者解決該問(wèn)題提供一些概況和靈感。最后，基于梳理的大量文獻(xiàn)，思考和分析了對(duì)抗樣本的總體發(fā)展趨勢(shì)和面臨的挑戰(zhàn)以及未來(lái)研究展望。