基于深度強(qiáng)化學(xué)習(xí)的黑盒對(duì)抗攻擊算法

李 蒙，韓立新

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院，江蘇 南京 211100)

0 引 言

隨著深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)的廣泛應(yīng)用，人臉識(shí)別[1]、目標(biāo)檢測(cè)[2]、目標(biāo)跟蹤[3]等領(lǐng)域都出現(xiàn)了與DNN相結(jié)合的方法。在圖像識(shí)別領(lǐng)域中，基于深度神經(jīng)網(wǎng)絡(luò)的方法甚至已經(jīng)超越了人眼的識(shí)別效率。盡管在許多領(lǐng)域中DNN取得了成功，但一些研究發(fā)現(xiàn)DNN很容易受到一些人為的微小擾動(dòng)的干擾，從而產(chǎn)生錯(cuò)誤的結(jié)果。Szegedy等[4]首次提出將微小擾動(dòng)添加到圖像上的方法并成功欺騙了當(dāng)時(shí)最先進(jìn)的圖像分類(lèi)DNN模型，這些被誤分類(lèi)的圖像被稱(chēng)為對(duì)抗樣本，這種對(duì)模型輸入進(jìn)行微小擾動(dòng)，試圖使模型產(chǎn)生錯(cuò)誤輸出的算法被稱(chēng)為對(duì)抗攻擊算法。當(dāng)DNN模型部署到涉及安全、隱私等領(lǐng)域的應(yīng)用上時(shí)，對(duì)抗樣本的存在會(huì)對(duì)這些應(yīng)用的可靠性造成重大影響，因此研究對(duì)抗攻擊方法具有重要意義。

對(duì)抗攻擊算法可以根據(jù)攻擊目的分為2類(lèi)[5]：1)目標(biāo)攻擊，攻擊者使受攻擊的模型將對(duì)抗樣本誤分類(lèi)到指定的類(lèi)別；2)非目標(biāo)攻擊，不指定攻擊的類(lèi)別，使受攻擊模型產(chǎn)生錯(cuò)誤的分類(lèi)結(jié)果即可。根據(jù)攻擊者獲得的受攻擊模型知識(shí)，還可以將對(duì)抗攻擊方法分為2類(lèi)[5]：1)白盒攻擊，攻擊者可以利用受攻擊模型的所有信息，如模型的結(jié)構(gòu)、參數(shù)和訓(xùn)練方法等；2)黑盒攻擊，攻擊者只能與受攻擊模型進(jìn)行交互以獲得有限的知識(shí)，如模型的輸出等，目前主要有基于對(duì)抗樣本遷移性的攻擊和基于交互的攻擊。根據(jù)模型輸出信息的特點(diǎn)，可以將基于交互的攻擊分為基于分?jǐn)?shù)的攻擊和基于決策的攻擊[6]，基于分?jǐn)?shù)的攻擊需要模型輸出樣本的預(yù)測(cè)分?jǐn)?shù)，基于決策的攻擊僅需要模型離散的標(biāo)簽輸出。

本文針對(duì)非目標(biāo)黑盒攻擊問(wèn)題提出一種基于深度強(qiáng)化學(xué)習(xí)的黑盒對(duì)抗攻擊算法(Deep Reinforcement Learning Black-box Adversarial attack, DRLBA)，通過(guò)對(duì)干凈圖像迭代擾動(dòng)生成對(duì)抗樣本，利用獎(jiǎng)勵(lì)函數(shù)約束對(duì)抗樣本質(zhì)量。本文提出的對(duì)抗攻擊算法僅需要受攻擊模型輸出標(biāo)簽，不需要輸出標(biāo)簽的概率。在對(duì)抗攻擊的研究中，尚未出現(xiàn)與深度強(qiáng)化學(xué)習(xí)方法結(jié)合的算法，本文提出的深度強(qiáng)化學(xué)習(xí)黑盒對(duì)抗攻擊算法將對(duì)抗樣本的生成問(wèn)題轉(zhuǎn)化為尋找最優(yōu)決策序列問(wèn)題，智能體與受攻擊分類(lèi)器交互獲得獎(jiǎng)勵(lì)信號(hào)，使智能體具有生成高質(zhì)量對(duì)抗樣本的能力。

1 相關(guān)工作

1.1 對(duì)抗攻擊

近年來(lái)，研究人員提出了大量的對(duì)抗攻擊算法，其中基于白盒和基于黑盒的對(duì)抗攻擊方法引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

Szegedy等人[4]首次提出了對(duì)抗攻擊的概念并在白盒條件下通過(guò)L-BFGS算法生成對(duì)抗樣本，但由于L-BFGS算法采用線性搜索方法搜索最優(yōu)值，導(dǎo)致計(jì)算代價(jià)過(guò)大。在此基礎(chǔ)上，Goodfellow等[7]提出了快速梯度符號(hào)算法(Fast Gradient Sign Method, FGSM)生成對(duì)抗樣本。FGSM算法在白盒條件下計(jì)算受攻擊模型的輸入導(dǎo)數(shù)，并通過(guò)符號(hào)函數(shù)獲取最大化損失函數(shù)的梯度方向，最終將生成的擾動(dòng)和原輸出相加獲得對(duì)抗樣本。Goodfellow等認(rèn)為DNN模型在高維空間的線性性導(dǎo)致了對(duì)抗樣本的產(chǎn)生，但Dropout等正則化方法并不能提高DNN的魯棒性。Papernot等[8]提出了白盒條件下利用雅可比矩陣計(jì)算前向?qū)?shù)生成對(duì)抗樣本的算法，但存在當(dāng)輸入的維數(shù)過(guò)高時(shí)，計(jì)算雅可比矩陣的代價(jià)極高這一問(wèn)題，還沒(méi)有得到有效的解決。

相對(duì)于白盒的對(duì)抗方法，Chen等[9]提出了基于零階優(yōu)化(Zeroth Order Optimization, ZOO)的黑盒對(duì)抗攻擊算法，通過(guò)估計(jì)受攻擊模型的梯度來(lái)生成對(duì)抗樣本，該算法在測(cè)試階段需要與受攻擊模型進(jìn)行大量的交互，這增加了在實(shí)際應(yīng)用中被發(fā)現(xiàn)的風(fēng)險(xiǎn)。因此，Su等[10]提出了基于進(jìn)化計(jì)算的黑盒攻擊算法，僅改變了干凈圖像的一個(gè)像素就使得DNN分類(lèi)錯(cuò)誤，使用了進(jìn)化計(jì)算中的遺傳算法對(duì)初始種群迭代地交叉變異，保留適應(yīng)度高的子代并淘汰適應(yīng)度低的子代，通過(guò)這個(gè)過(guò)程引導(dǎo)子代向最優(yōu)解逼近，初始種群和迭代次數(shù)越多則成功率越高，但基于進(jìn)化計(jì)算的攻擊算法需要的計(jì)算資源極高，且僅單個(gè)像素的擾動(dòng)很容易被人眼發(fā)現(xiàn)。

目前大部分算法都是通過(guò)直接或間接的方式計(jì)算受攻擊模型的梯度，但沒(méi)有考慮到擾動(dòng)對(duì)于圖像語(yǔ)義信息影響的問(wèn)題，因此本文的算法從干凈圖像和對(duì)抗樣本間的視覺(jué)關(guān)系出發(fā)[11]，生成的對(duì)抗樣本只改變圖像的顏色而不影響圖像的物體形狀。

1.2 深度強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)是一種智能體通過(guò)執(zhí)行動(dòng)作不斷地與環(huán)境交互獲得獎(jiǎng)勵(lì)進(jìn)而獲得最大累計(jì)獎(jiǎng)勵(lì)策略的一種學(xué)習(xí)方法[12]。深度強(qiáng)化學(xué)習(xí)是強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)的結(jié)合，經(jīng)常用于一些狀態(tài)空間極大任務(wù)上，如Atari2600視頻游戲[13]、棋類(lèi)游戲[14]等。

Mnih等人[13]提出使用深度Q網(wǎng)絡(luò)(Deep Q-Network, DQN)擬合值函數(shù)，DNN輸出值函數(shù)后結(jié)合ε-貪婪(ε-greedy)策略輸出動(dòng)作。Van Hasselt等人[15]提出了雙DQN(Double DQN, DDQN)算法，將計(jì)算目標(biāo)Q值和選擇動(dòng)作的過(guò)程分開(kāi)，緩解了DQN算法過(guò)高估計(jì)動(dòng)作值函數(shù)的問(wèn)題。

Wang等人[16]提出了Dueling神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，分別估計(jì)狀態(tài)價(jià)值(Value)函數(shù)和動(dòng)作優(yōu)勢(shì)(Advantage)函數(shù)，合并后組成動(dòng)作價(jià)值函數(shù)，加快了DQN的收斂速度。

本文提出的DRLBA方法將對(duì)抗樣本的生成問(wèn)題轉(zhuǎn)化為尋找最優(yōu)決策序列的馬爾可夫決策(Markov Decision Process, MDP)問(wèn)題，使用全局色彩調(diào)整操作定義動(dòng)作空間，智能體執(zhí)行動(dòng)作后接受由受攻擊模型的分類(lèi)結(jié)果、干凈圖像和對(duì)抗樣本結(jié)構(gòu)相似性組成的獎(jiǎng)勵(lì)。獎(jiǎng)勵(lì)用于訓(xùn)練智能體進(jìn)行攻擊，使得智能體擁有生成高質(zhì)量對(duì)抗樣本的能力。本文使用DDQN框架和Dueling神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)解決MDP問(wèn)題。

2 問(wèn)題描述

在使用圖像處理軟件時(shí)，使用者通過(guò)應(yīng)用一組色彩操作來(lái)調(diào)整圖像，這種色彩調(diào)整操作對(duì)圖像的物體形狀信息影響較小。本文將色彩調(diào)整的操作用于生成對(duì)抗圖像，這種方式的優(yōu)勢(shì)在于生成的圖像符合人類(lèi)的視覺(jué)，不易丟失物體形狀信息。

表1 DRLBA動(dòng)作空間

本文將對(duì)抗攻擊表述為智能體尋找使受攻擊模型F誤分類(lèi)的最佳色彩調(diào)整動(dòng)作序列問(wèn)題。該問(wèn)題可以看作一個(gè)MDP問(wèn)題，其中狀態(tài)空間S由干凈圖像和對(duì)抗樣本的拼接(Iraw,Iadv)組成。動(dòng)作空間A如表1所示，由14個(gè)色彩調(diào)整操作組成，動(dòng)作空間中的濾波器操作用于平滑圖像，濾波器的大小均為3×3。對(duì)每一張干凈圖像I，限制最多的色彩調(diào)整次數(shù)T。獎(jiǎng)勵(lì)信號(hào)由受攻擊模型的分類(lèi)結(jié)果、干凈圖像和對(duì)抗樣本的結(jié)構(gòu)相似度指數(shù)[17](Structural SIMilarity index, SSIM)組成，SSIM在超分辨率[18]、圖像修復(fù)[19]等領(lǐng)域有重要應(yīng)用。SSIM基于圖像x和y的亮度l(x,y)、對(duì)比度c(x,y)、結(jié)構(gòu)s(x,y)等3個(gè)距離度量：

(1)

(2)

s(x,y)=(σxy+c3)/(σxσy+c3)

(3)

SSIM(x,y)=l(x,y)c(x,y)s(x,y)

(4)

圖1 DRLBA訓(xùn)練流程圖

如圖1所示，t步時(shí)，本文將干凈圖像Iraw和對(duì)抗樣本Iadv(t-1)的拼接作為智能體的輸入s(t)，智能體根據(jù)神經(jīng)網(wǎng)絡(luò)輸出的動(dòng)作a(t)∈A和ε-貪婪策略生成對(duì)抗樣本Iadv(t)，然后受攻擊模型對(duì)Iadv(t)進(jìn)行分類(lèi)，SSIM(Iraw,Iadv(t))>δ且分類(lèi)錯(cuò)誤則攻擊成功，否則繼續(xù)進(jìn)行擾動(dòng)，在到達(dá)最大擾動(dòng)次數(shù)T后結(jié)束本次攻擊。獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)為：

(5)

3 實(shí)驗(yàn)及分析

3.1 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)環(huán)境：實(shí)驗(yàn)使用語(yǔ)言為Python，采用PyTorch深度學(xué)習(xí)框架，在Manjaro 18.04操作系統(tǒng)上實(shí)現(xiàn)。

數(shù)據(jù)集：1)CIFAR10數(shù)據(jù)集[20]，由50000張訓(xùn)練集圖像和10000張測(cè)試集圖像組成，圖像大小均為3×32×32，圖像標(biāo)簽共有10類(lèi)，每一類(lèi)都包含5000張訓(xùn)練圖像和1000張測(cè)試圖像；2)CIFAR100數(shù)據(jù)集[20]，由50000張訓(xùn)練集圖像和10000張測(cè)試集圖像組成，圖像大小均為3×32×32，圖像標(biāo)簽共有100類(lèi)，每一類(lèi)都包含500張訓(xùn)練圖像和100張測(cè)試圖像。本文僅使用被受攻擊模型分類(lèi)正確的訓(xùn)練集的圖像訓(xùn)練智能體。

受攻擊模型：本文使用SENet18[21]、VGG19[22]、GoogLeNet[23]、ResNet18[24]作為受攻擊模型。在訓(xùn)練智能體時(shí)，僅使用SENet18與智能體交互。CIFAR10數(shù)據(jù)集和CIFAR100數(shù)據(jù)集上訓(xùn)練的受攻擊模型結(jié)構(gòu)僅在全連接輸出層不同。SENet18、VGG19、GoogLeNet、ResNet18在CIFAR10測(cè)試數(shù)據(jù)集上的準(zhǔn)確率為94.10%、94.65%、94.75%、94.82%，在CIFAR100測(cè)試數(shù)據(jù)集上的準(zhǔn)確率為77.19%、69.90%、74.92%、76.52%。

對(duì)比實(shí)驗(yàn)：本文使用FGSM作為對(duì)比算法，限制FGSM的最大擾動(dòng)范圍eps=0.03。FGSM算法僅進(jìn)行白盒非目標(biāo)攻擊。

3.2 實(shí)驗(yàn)參數(shù)

智能體：本文使用DDQN框架和Dueling網(wǎng)絡(luò)結(jié)構(gòu)訓(xùn)練智能體，智能體的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，由8個(gè)卷積層和3個(gè)最大池化層提取特征，動(dòng)作優(yōu)勢(shì)函數(shù)全連接層和值函數(shù)全連接層組合成為輸出。智能體根據(jù)神經(jīng)網(wǎng)絡(luò)輸出和ε-貪婪策略輸出動(dòng)作。在訓(xùn)練階段，僅使用SENet18作為受攻擊模型，ε從0.9衰減到0.1，在測(cè)試階段，使用SENet18、VGG19、GoogLeNet、ResNet18作為受攻擊模型，設(shè)置ε=0。

優(yōu)化算法：本文使用Adam算法[25]訓(xùn)練智能體，batchsize設(shè)置為128，初始學(xué)習(xí)率設(shè)置為0.0001。

圖2 智能體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

3.3 實(shí)驗(yàn)結(jié)果及分析

本文采用DRLBA算法、FGSM算法和4種分類(lèi)模型在CIFAR10、CIFAR100數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)。FGSM和DRLBA都是通過(guò)對(duì)干凈樣本添加全局?jǐn)_動(dòng)生成對(duì)抗樣本。FGSM通過(guò)計(jì)算模型的導(dǎo)數(shù)進(jìn)行單步攻擊，DRLBA通過(guò)與模型交互進(jìn)行迭代攻擊，與模型的最大交互次數(shù)由參數(shù)T控制。本文使用攻擊成功率評(píng)價(jià)攻擊算法的攻擊能力，用平均SSIM評(píng)價(jià)對(duì)抗樣本的質(zhì)量。

CIFAR10、CIFAR100數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示，攻擊算法僅攻擊被受攻擊模型正確分類(lèi)的圖像，僅計(jì)算攻擊成功的對(duì)抗樣本的平均SSIM。本文提出的基于強(qiáng)化學(xué)習(xí)的黑盒攻擊算法在CIFAR10測(cè)試集和4個(gè)受攻擊模型上的攻擊成功率均超過(guò)了90%，在CIFAR100測(cè)試集和4個(gè)受攻擊模型上的攻擊成功率均超過(guò)了96%，F(xiàn)GSM算法僅在CIFAR100數(shù)據(jù)集上攻擊SENet18時(shí)成功率超過(guò)了本文提出的攻擊算法，在其他受攻擊模型上的成功率不穩(wěn)定且低于DRLBA。

表2 各數(shù)據(jù)集上的攻擊成功率和SSIM比較

本文提出的攻擊算法在CIFAR10和CIFAR100數(shù)據(jù)集上取得了理想的攻擊效果。圖3展示了DRLBA生成的對(duì)抗樣本示例，并注明了視覺(jué)標(biāo)簽，受攻擊模型將第1列中的飛機(jī)誤分類(lèi)為鳥(niǎo)，將第2列中汽車(chē)誤分類(lèi)為貓，將第3列中鳥(niǎo)誤分類(lèi)為貓等。對(duì)抗樣本只改變了干凈樣本的顏色屬性，對(duì)圖像的語(yǔ)義影響很小。

圖3 DRLBA對(duì)抗樣本示例

4 結(jié)束語(yǔ)

在黑盒非目標(biāo)攻擊的環(huán)境下，本文提出了基于深度強(qiáng)化學(xué)習(xí)的黑盒對(duì)抗攻擊算法，該方法使用色彩調(diào)整動(dòng)作對(duì)干凈樣本進(jìn)行迭代擾動(dòng)，攻擊成功時(shí)返回對(duì)抗樣本和干凈樣本的結(jié)構(gòu)相似度作為獎(jiǎng)勵(lì)以訓(xùn)練智能體。本文提出的算法僅需要受攻擊模型提供離散的決策信息，實(shí)驗(yàn)結(jié)果表明，在結(jié)構(gòu)復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型上能夠達(dá)到較好的攻擊效果。下一步工作將提高攻擊范圍，擴(kuò)展到目標(biāo)攻擊任務(wù)上，在更復(fù)雜的環(huán)境下進(jìn)行對(duì)抗攻擊。