基于PSO 的路牌識別模型黑盒對抗攻擊方法?

陳晉音, 陳治清, 鄭海斌, 沈詩婧, 蘇蒙蒙

(浙江工業(yè)大學(xué) 信息工程學(xué)院,浙江 杭州 310023)

深度學(xué)習(xí)憑借其強(qiáng)大的特征提取與擬合能力而被廣泛應(yīng)用于各個領(lǐng)域,如自動駕駛[1]、人臉識別[2]、語音識別[3]、惡意軟件檢測[4]、推薦系統(tǒng)[5]、生物信息[6]、城市管理[7]、目標(biāo)檢測與識別[8-14]等.其中,自動駕駛技術(shù)的日趨成熟引起了研究人員的廣泛關(guān)注,其涵蓋了圖像處理、語音識別、激光雷達(dá)、GPS 定位、自動路徑規(guī)劃等大量前沿技術(shù).而無人汽車的高級控制系統(tǒng)依賴基于深度學(xué)習(xí)的圖像識別與目標(biāo)檢測等實現(xiàn)環(huán)境的感知,其中,基于深度學(xué)習(xí)(例如GTSRB-CNN[15])的路牌識別是主要技術(shù)之一.

然而,最新的研究發(fā)現(xiàn),深度學(xué)習(xí)容易受到對抗樣本攻擊[16],即:通過在正常良性樣本中添加精心設(shè)計的微小擾動得到的對抗樣本,可使原本分類準(zhǔn)確率接近99%的深度學(xué)習(xí)模型完全失效,且添加的擾動肉眼不可見.因此,對抗樣本具有較強(qiáng)的迷惑性和危害性.Szegedy 等人[17]首次證明了:通過在輸入數(shù)據(jù)中添加小規(guī)模精心制作的擾動,能夠使卷積神經(jīng)網(wǎng)絡(luò)做出錯誤決策.此后出現(xiàn)了更多的針對深度模型的對抗攻擊方法.根據(jù)深度模型的透明程度,可以分為白盒攻擊和黑盒攻擊:白盒攻擊如FGSM[18]、C&W[19]、DeepFool[20]、通用對抗擾動攻擊[21]、單像素攻擊[22]等;黑盒攻擊如Boundary[23],ZOO[24],POBA-GA[25].這些攻擊方法計算得到的對抗擾動雖然是不明顯的,甚至是肉眼不可見的,但能夠?qū)е律疃葘W(xué)習(xí)模型失效.對抗攻擊不僅發(fā)生在數(shù)字虛擬空間,也出現(xiàn)在現(xiàn)實物理空間中.在物理世界,Kurakin 等人[26]通過手機(jī)攝像頭識別打印的對抗樣本時出現(xiàn)錯誤分類;Sharif 等人[27]研制出了一副帶有對抗擾動的“眼鏡”,可以讓佩戴者躲過人臉識別系統(tǒng)或者被誤識為另一個人;馬玉琨等人[28]提出了一種面向人臉活體檢測的對抗樣本生成算法.

在物理場景的攻擊中,通常需要面對這些挑戰(zhàn):(1) 物理場景的背景環(huán)境是多變的,無法通過控制背景進(jìn)行攻擊;(2) 光線、距離和角度的不同容易引起對抗擾動的攻擊失效;(3) 擾動過小可能使圖像傳感器無法有效捕捉,太大則容易引起人眼的警覺.

自動駕駛車輛的路牌識別系統(tǒng),其安全性和可靠性對汽車行駛過程中做出正確的決策具有重要影響.當(dāng)攻擊者在真實的路牌上添加對抗擾動,并成功攻擊路牌識別系統(tǒng)時,可能會造成難以想象的災(zāi)難.本文針對物理世界中常用的基于深度學(xué)習(xí)的路牌識別系統(tǒng)展開攻擊,設(shè)計基于粒子群優(yōu)化的黑盒物理攻擊方法(black-box physical attack via PSO,簡稱BPA-PSO),攻擊者可以操控被攻擊對象的物理外表,如在路牌上添加一些不易引起人類警覺的海報或貼紙來欺騙自動駕駛車輛的路牌識別系統(tǒng).BPA-PSO 算法在不知道目標(biāo)模型結(jié)構(gòu)和參數(shù)等細(xì)節(jié)的前提下,通過迭代優(yōu)化得到在物理世界實現(xiàn)有效攻擊的對抗樣本,該方法能夠克服真實路牌識別場景中的光線、角度和距離等因素的影響,發(fā)現(xiàn)基于深度學(xué)習(xí)的路牌識別系統(tǒng)中存在的安全漏洞.

根據(jù)攻擊者希望實現(xiàn)的攻擊目標(biāo)的不同,可以分為有目標(biāo)攻擊和無目標(biāo)攻擊.在無目標(biāo)攻擊中,攻擊者的目的是使某一路牌不能被正確識別或者被識別成其他任意一種路牌.例如:攻擊“緊急轉(zhuǎn)彎”標(biāo)識后,被路牌識別系統(tǒng)錯誤識別為任意其他標(biāo)志,使得車輛遇到急轉(zhuǎn)彎時發(fā)生意外.在有目標(biāo)攻擊中,攻擊者試圖在某一路牌上添加海報或貼紙使該路牌標(biāo)志被識別為指定的另一種路牌標(biāo)志,這類攻擊往往帶有更大的危害性.例如:當(dāng)一個區(qū)域內(nèi)被攻擊的路牌標(biāo)志數(shù)量較多,甚至可以構(gòu)成一個系統(tǒng)時,該區(qū)域的交通很容易發(fā)生癱瘓,造成較大的損失.BPA-PSO 算法通過調(diào)整適應(yīng)度函數(shù)的優(yōu)化目標(biāo),能夠同時實現(xiàn)有目標(biāo)攻擊和無目標(biāo)攻擊.

本文專注于研究基于進(jìn)化計算的路牌識別攻擊有兩個重要的原因:首先,這種攻擊屬于黑盒攻擊,符合物理世界中無法獲得模型細(xì)節(jié)的真實情況,并且能夠產(chǎn)生對環(huán)境具有較強(qiáng)魯棒性的對抗擾動;其次,對于自動駕駛車輛來說,當(dāng)它的路牌識別系統(tǒng)受到攻擊時,所引起的后果往往是災(zāi)難性的,因此,研究這種攻擊有助于學(xué)習(xí)如何進(jìn)行防御.圖1 展示了BPA-PSO 算法得到的能夠成功攻擊物理世界中路牌識別系統(tǒng)的對抗樣本,從左到右分別是禁止鳴笛的正常路牌圖像、添加在正常路牌上的對抗擾動、在電子空間中添加擾動后的對抗路牌樣本、在物理世界中添加擾動后打印并拍攝的對抗路牌樣本.其中:正常路牌圖像在物理世界中打印后能夠被正確識別,對抗路牌圖像在物理世界中打印后被路牌識別系統(tǒng)錯誤識別為“限速40km/h”.本文的工作將有助于理解物理世界的自動駕駛車輛中基于深度學(xué)習(xí)的圖像識別模型,檢測已有識別模型的安全漏洞,為進(jìn)一步提高深度學(xué)習(xí)模型魯棒性的研究工作提供幫助.

本文的主要貢獻(xiàn)如下.

(1) 設(shè)計了基于粒子群優(yōu)化的黑盒攻擊方法,不需要了解模型結(jié)構(gòu)和參數(shù)等細(xì)節(jié),能夠僅通過模型輸出類標(biāo)和最高置信度的信息實現(xiàn)有效攻擊,符合實際應(yīng)用場景,同時具有較好的遷移性;

(2) 生成的對抗擾動在物理場景下攻擊有效且不易引起人類警覺,通過在電子空間中模擬物理場景,將對抗樣本旋轉(zhuǎn)、縮放和光影變化后的攻擊效果作為優(yōu)化目標(biāo)的一部分,提高了物理攻擊的穩(wěn)定性和可靠性;

(3) 本文建立了一個新的中國路牌數(shù)據(jù)集和對抗路牌數(shù)據(jù)集,通過大量實驗,驗證了BPA-PSO 算法在電子空間和物理空間中針對基于深度學(xué)習(xí)的路牌識別系統(tǒng)的攻擊有效性.

本文第1 節(jié)對目前針對深度學(xué)習(xí)模型的對抗攻防研究進(jìn)行總結(jié),包括主流的白盒攻擊方法、黑盒攻擊方法以及目前主流的優(yōu)化算法介紹.第2 節(jié)對本文提出的BPA-PSO 算法進(jìn)行介紹,詳細(xì)說明如何在路牌標(biāo)志的局部區(qū)域上添加海報或貼紙來欺騙自動駕駛車輛的路牌識別系統(tǒng),以及如何提高對抗攻擊的物理穩(wěn)定性和可靠性.第3 節(jié)對實驗設(shè)計和結(jié)果分析進(jìn)行闡述,說明了BPA-PSO 算法在多種物理場景中的攻擊有效性和可靠性.第4節(jié)和第5 節(jié)分別對本文進(jìn)行總結(jié),對未來的工作和挑戰(zhàn)進(jìn)行展望.

1 相關(guān)工作

1.1 白盒攻擊方法介紹

攻擊者能夠獲得機(jī)器學(xué)習(xí)所使用的模型結(jié)構(gòu)以及模型的參數(shù),并利用它們產(chǎn)生對抗樣本數(shù)據(jù)的攻擊稱為白盒攻擊,在這種攻擊過程中,更多地需要與模型的內(nèi)部參數(shù)信息之間進(jìn)行交互.本小節(jié)介紹了幾種主流的白盒攻擊方法.

(1) 快速梯度符號法(FGSM)

FGSM[18]是Goodfellow 等人提出的生成對抗樣本的一種簡單算法,其主要思想是:計算深度神經(jīng)網(wǎng)絡(luò)模型梯度變化最大的方向,并在該方向上添加對抗性擾動,通過增加模型損失的方式,使得模型進(jìn)行錯誤的分類.擾動計算公式如下:

其中,?xJ(?)是在當(dāng)前參數(shù)θ下,損失函數(shù)在原始圖像附近計算得到的梯度;sign(?)表示符號函數(shù);y是結(jié)果標(biāo)簽.

(2) C&W 攻擊

C&W 攻擊是由Carlini 和Wagner[19]提出的基于優(yōu)化的攻擊,通過限制對抗擾動的0-范數(shù)、2-范數(shù)或者無窮范數(shù),使擾動變得幾乎不可察覺.因此,這類攻擊的成功需要滿足對抗樣本與原圖的差距越小越好.對抗樣本使得模型分類錯誤,且錯的那一類的置信度越高越好.實驗證明,針對目標(biāo)網(wǎng)絡(luò)的防御幾乎無法抵御這類白盒攻擊生成的對抗樣本.

(3) JSMA 攻擊

在主流的對抗攻擊方法中,常用的是限制擾動的2-范數(shù)或無窮范數(shù)來限制擾動使得人眼無法察覺.然而,Papernot 等人[29]提出了限制擾動0-范數(shù)的方法也能夠?qū)崿F(xiàn)對抗攻擊,并且這種方法只需修改圖像中的幾個像素點的值.該算法的主要思想是:一次只修改一個原始圖像的像素,并通過網(wǎng)絡(luò)層的輸出梯度計算顯著圖來監(jiān)視修改后對分類結(jié)果的影響.在顯著圖中,數(shù)值越大表示欺騙網(wǎng)絡(luò)的可能性越高.該算法根據(jù)計算出的顯著圖像和當(dāng)前圖像,選擇其中最有效的像素點進(jìn)行修改從而欺騙網(wǎng)絡(luò).

(4) Houdini 攻擊

Houdini 是由Cisse 等人[30]提出的一種通過產(chǎn)生可以適應(yīng)任務(wù)損失的對抗性樣本來欺騙基于梯度的機(jī)器學(xué)習(xí)的算法.一般產(chǎn)生對抗樣本的典型算法是采用網(wǎng)絡(luò)損失函數(shù)的梯度來計算擾動.然而,有些任務(wù)損失函數(shù)往往不適合這種方法.例如:在語音識別中是根據(jù)字錯誤率來產(chǎn)生對抗性樣本,而不是損失函數(shù)的梯度.Houdini 則是專門為這類任務(wù)提供產(chǎn)生對抗樣本的方法.

(5) MI-FGSM

Dong 等人[31]提出了一種基于動量的迭代攻擊算法來提升對抗性攻擊能力,即MI-FGSM.它將動量項添加到攻擊的迭代過程中,這有利于加快收斂速度、使更新方向更加平穩(wěn),并在迭代期間能夠從較差的局部最大值中逃脫,從而達(dá)到更好的攻擊效果.

(6) 單像素攻擊

Su 等人[22]在每幅圖像中只改變一個像素點的情況下,使得70.97%的圖像在測試中成功地欺騙了3 種不同的網(wǎng)絡(luò)模型.而且網(wǎng)絡(luò)錯誤分類時的平均置信度高達(dá)97.47%.Su J 等人使用差分進(jìn)化的概念來計算對于樣本,通過對每個像素點進(jìn)行修改生成子圖,并與母圖進(jìn)行對比,根據(jù)選擇標(biāo)準(zhǔn)保留攻擊效果最好的子圖像,從而實現(xiàn)對抗攻擊.

1.2 黑盒攻擊方法介紹

與白盒攻擊相反,黑盒攻擊是指在攻擊者不知道目標(biāo)模型信息的情況下生成對抗樣本.在一些情況下可以假定攻擊者對模型有一定的認(rèn)識,但是絕對不知道目標(biāo)模型的內(nèi)部參數(shù).因此,這種攻擊往往更加符合實際.在本小節(jié)中,介紹了幾種主流的黑盒攻擊方法.

(1) UPSET 和ANGRI 攻擊

UPSET 和ANGRI 是Sarkar 等人[32]提出的兩種黑盒攻擊算法,其中:UPSET 可以作為特定目標(biāo)類的目標(biāo)攻擊,在圖像不可知時產(chǎn)生的對抗性擾動添加到任何圖像上都可以使圖像分類器將其識別成目標(biāo)類別;ANGRI 則是作為特定圖像的目標(biāo)國際,其生成的是特定圖像的擾動.在MNIST 和CIFAR10 數(shù)據(jù)集的實驗中,這兩種攻擊方法都獲得了高欺騙率.

(2) 零階優(yōu)化攻擊(ZOO)

基于零階優(yōu)化的攻擊是Chen 等人[24]提出的一種有效的黑盒攻擊,它是只訪問模型的輸入圖像和輸出的置信度分?jǐn)?shù),基于零階優(yōu)化,通過直接估計目標(biāo)模型的梯度來生成對抗樣本.這種攻擊不需要訓(xùn)練替代模型,并避免了攻擊可轉(zhuǎn)移性的損失,是目前黑盒攻擊中最有效的攻擊方法之一.

(3) 邊界攻擊(boundary attack)

邊界攻擊是由Brendel 等人[23]提出的一種基于決策的對抗攻擊算法,它的主要思想是:從生成大的對抗性擾動開始,然后在保持對抗性擾動的同時,力求減少擾動.這種攻擊幾乎不需要超參數(shù)的調(diào)整,也不依賴于替代模型,只依賴模型的最終決策,并且這種攻擊使得機(jī)器學(xué)習(xí)與真實世界的關(guān)聯(lián)性更大,因為現(xiàn)實中我們很容易得到模型的決策結(jié)果而不是置信度分?jǐn)?shù)或logit值.

1.3 群體智能優(yōu)化算法介紹

本節(jié)主要介紹了幾種常見的群體智能優(yōu)化算法.

(1) 蟻群算法

蟻群算法是Dorigo 等人[33]受到螞蟻覓食現(xiàn)象的啟發(fā)而提出的一種群體智能優(yōu)化算法,屬于隨機(jī)搜索算法,其主要思想是人工模擬螞蟻搜索食物的過程.蟻群算法特點是可以進(jìn)行分布式計算、具有較強(qiáng)的魯棒性以及容易同其他方法相結(jié)合.但與其他方法相比,該算法的復(fù)雜度較大、搜索時間較長,并且容易出現(xiàn)停滯現(xiàn)象.

(2) 粒子群優(yōu)化算法(particle swarm optimization,簡稱PSO)

粒子群優(yōu)化算法是Kennedy 等人[34]源于對鳥群覓食現(xiàn)象而提出的一種進(jìn)化算法.在粒子群算法中,每個粒子能夠記錄下自己飛過的歷史最優(yōu)位置,粒子之間可以通過記憶信息共享實現(xiàn)群體的優(yōu)化.粒子群算法是一種不需要梯度信息的全局優(yōu)化算法.粒子群算法的參數(shù)較少、易于設(shè)置和調(diào)整、具有較快的收斂速度.但粒子群算法也存在易陷入局部最優(yōu)的缺點,并且粒子群的初始解分布對全局最優(yōu)解具有較大的影響.由于該算法出色的優(yōu)化性能,本文采用粒子群算法來優(yōu)化來攻擊路牌識別模型.同時,針對該算法易陷入局部最優(yōu)的缺點,本文通過改變初始解的生成方式來搜索全局近似最優(yōu)解.

(3) 人工魚群算法

人工魚群算法是李曉磊等人[35]提出的一種群體智能優(yōu)化算法.人工魚群算法通過構(gòu)造人工魚來模仿魚群的覓食行為、聚群行為、追尾行為和隨機(jī)行為來實現(xiàn)尋優(yōu).該算法具有較快的收斂速度、對初值和參數(shù)選擇不敏感、易于實現(xiàn)等優(yōu)點.但對于較大規(guī)模的問題時求解困難,收斂較慢.

其他的群體智能優(yōu)化算法還包括菌群算法[36]、蛙跳算法[37]、人工蜂群算法[38]等,它們都具有良好的性能和各自的特點.

2 基于PSO 的路牌識別模型的攻擊方法介紹

2.1 算法框架介紹

本文設(shè)計的基于PSO 的路牌識別模型的攻擊方法主要是通過PSO 算法,在對路牌識別模型內(nèi)部參數(shù)未知的情況下,通過迭代尋優(yōu)來生成路牌識別模型的對抗樣本.同時,利用圖像處理技術(shù)在電子空間中模擬物理世界的噪聲干擾來優(yōu)化對抗擾動,提高對抗樣本在物理世界的攻擊魯棒性.圖2 展示了生成物理世界攻擊有效的對抗樣本的過程:首先輸入一張良性路牌圖像,添加隨機(jī)擾動得到多張對抗路牌圖像作為初始解;然后使用PSO 進(jìn)行尋優(yōu).根據(jù)對抗路牌圖像的攻擊效果更新搜索方向,使得優(yōu)化后對抗路牌圖像的攻擊成功率高、擾動的穩(wěn)定性強(qiáng)以及擾動的不可見效果好.測試優(yōu)化后的對抗路牌圖像在物理世界中的攻擊效果.

2.2 BPA-PSO算法具體步驟介紹

粒子的初始解對PSO 算法的尋優(yōu)結(jié)果具有重要影響.BPA-PSO 通過添加隨機(jī)擾動獲得對抗樣本作為初始解,雖然大部分初始對抗路牌對于最終要攻擊的目標(biāo)路牌識別模型沒有攻擊效果,但是我們相信,其中部分特征與最終要攻擊的目標(biāo)路牌識別模型的對抗樣本特征分布存在一致性.因此,BPA-PSO 算法通過尋優(yōu)操作充分利用隨機(jī)擾動的對抗性特征,將有用的特征保留,最終實現(xiàn)對目標(biāo)路牌識別模型的攻擊.

BPA-PSO 算法的具體描述如下.

(1) 粒子群算法初始化,將添加了隨機(jī)擾動得到的每個對抗樣本作為一個粒子,將每個對抗樣本所有像素點的RGB 值作為粒子的位置矩陣xi,RGB 值的變化速度作為粒子的速度矩陣vi,以及當(dāng)前迭代數(shù)g,最大迭代數(shù)Gk,當(dāng)前慣性權(quán)重因子ω(g),第i個粒子的歷史最優(yōu)位置pbesti,粒子種群發(fā)現(xiàn)的全局最優(yōu)位置

(2) 計算粒子群的適應(yīng)度值,對每個粒子進(jìn)行隨機(jī)圖像變換,并計算每個粒子變換后的適應(yīng)度值;

(3) 根據(jù)得到的粒子群的適應(yīng)度值,比較歷史最佳適應(yīng)度,并更新每個粒子的歷史最優(yōu)位置pbesti、粒子群的全局最優(yōu)位置gbesti;

(4) 更新粒子群的速度vi和位置xi.我們在粒子速度和位置的更新過程中采用了慣性因子,其值較大時全局搜索能力強(qiáng),其值較小時局部搜索能力強(qiáng),計算公式如下:

其中,ωini為初始權(quán)重因子值,ωend為最終權(quán)重因子值,c1和c2為初始化學(xué)習(xí)因子,rand(?)為系統(tǒng)產(chǎn)生的介于(0,1)之間的隨機(jī)數(shù).

(5) 判斷是否達(dá)到最大迭代數(shù)或全局最優(yōu)解滿足條件:若滿足,則結(jié)束迭代,將搜索到的近似最優(yōu)解作為最終的對抗樣本;否則,返回步驟(2)繼續(xù)迭代.

2.3 基于隨機(jī)擾動的對抗路牌初始化

首先準(zhǔn)備一組50 張待攻擊的良性路牌圖像集合,集合中的圖像要求在距離為3m～6m、傾斜角為0°時拍攝的清晰的路牌圖像,并通過添加隨機(jī)擾動獲得初始路牌粒子.為了促進(jìn)物理攻擊的有效性,需要對擾動優(yōu)化目標(biāo)進(jìn)行修改,在對擾動范數(shù)限制的基礎(chǔ)上疊加了擾動平滑性制約(perturbation smoothness restriction,簡稱PSR),計算公式如下:

其中,原始的擾動優(yōu)化目標(biāo)是最小化||ρ||2,修改后的擾動優(yōu)化目標(biāo)是最小化||ρ||2+fPSR(ρ),||ρ||2表示對擾動的2-范數(shù)限制;擾動ρ=x*-x,x*表示對抗路牌圖像,x表示良性路牌圖像;ρi,j是擾動中坐標(biāo)位置為(k,j)的擾動像素點的RGB 三通道像素Rk,j,Gk,j以及Bk,j的平均值;是擾動中與坐標(biāo)位置為(k,j)相鄰的所有擾動像素點的RGB 三通道像素的平均值.

2.4 適應(yīng)度函數(shù)設(shè)計

PSO 算法是以適應(yīng)度函數(shù)為依據(jù),通過比較種群每個個體的適應(yīng)度值來進(jìn)行搜索近似最優(yōu)解.同樣,適應(yīng)度函數(shù)的設(shè)計將直接影響B(tài)PA-PSO 算法搜索到的對抗擾動的性能.適應(yīng)度函數(shù)包括3 部分,分別是對抗性指標(biāo)fadv(x*)、擾動平滑度fPSR(ρ)以及擾動的二范數(shù)||ρ||2,其中:對抗性指標(biāo)fadv(x*)是用來評價生成的對抗樣本對路牌識別模型的攻擊效果,fadv(x*)越低,攻擊效果越好;擾動平滑度fPSR(ρ)是用來評價生成擾動的物理穩(wěn)定性;擾動的二范數(shù)||ρ||2是用來評價生成擾動的隱蔽性.適應(yīng)度函數(shù)計算公式如下:

其中,κ1,κ2是平衡量綱的超參數(shù).κ1是為了控制擾動的平滑度,保證物理攻擊的有效性.κ2是為了控制擾動的隱蔽性.κ1,κ2過大,均容易降低物理攻擊成功率;過小時,物理攻擊成功率和擾動的隱蔽性效果均會下降.實驗發(fā)現(xiàn),κ1,κ2取值范圍在0.001 和0.8 之間均具有較好的物理攻擊效果.本文實驗中,分別設(shè)為5×10-3和1×10-2.根據(jù)適應(yīng)度函數(shù),我們的尋優(yōu)目標(biāo)是搜索到攻擊成功率高、擾動的物理穩(wěn)定性強(qiáng)和擾動的不可見效果好的對抗路牌圖像.根據(jù)攻擊者預(yù)設(shè)的期望,對抗性指標(biāo)可分為目標(biāo)對抗性和無目標(biāo)對抗性攻擊,計算公式如下:

其中,f(?)表示路牌分類器的輸出,包含所有類標(biāo)的置信度分?jǐn)?shù);J(?)表示交叉熵函數(shù);ytarget是目標(biāo)類類標(biāo);n表示圖像變換的類別數(shù),每個粒子通過隨機(jī)縮放、旋轉(zhuǎn)、亮度變換等操作得到新的n張圖像,目的是評價擾動的穩(wěn)定性,在本文實驗中,n的取值為15;scoretrue是真實類標(biāo)的置信度分?jǐn)?shù);rank(?)是真實類標(biāo)的置信度分?jǐn)?shù)排名.

2.5 物理攻擊的有效性保證

BPA-PSO 算法致力于實現(xiàn)物理空間中對路牌識別模型的攻擊,相比于電子空間的攻擊,它的實現(xiàn)更加困難,而一旦實現(xiàn),危害性也更大.我們采取了以下幾種措施來保證物理攻擊的有效性.

(1) 使用海報或貼紙

對于添加到路牌上的擾動,其隱蔽性是很重要的,如果太過明顯或突出,很容易引起人眼的警覺.本文對于擾動的隱蔽性定義并非指擾動不可見,而是指不引起人們的注意.但是因為物理世界的噪聲難以預(yù)測,以至于小規(guī)模不可見的擾動很容易被破壞掉,無法穩(wěn)定的存在.因此,采用海報(打印生成的對抗樣本,擾動分布于整個路牌圖像區(qū)域)或貼紙(打印生成的擾動,擾動區(qū)域較小)作為擾動的存在形式,可以很好地解決這個問題.如圖3 所示:圖3(a)是打印的海報類型的路牌物理對抗樣本,圖3(b)是打印的貼紙類型的路牌物理對抗樣本.

(2) 增加擾動的平滑性

為了擬合物理世界中物體自然色彩的平滑性,在添加隨機(jī)擾動和BPA-PSO 算法對擾動的優(yōu)化中加入了擾動的平滑性.最后,通過最小化fPSR(ρ)可以使相鄰像素點之間的值彼此接近,從而改善對抗樣本圖像的平滑度.這樣不僅減少對抗樣本打印時擾動的失真,也使圖像傳感器能夠充分捕捉擾動的特征,促進(jìn)物理的可實現(xiàn)性.

(3) 增強(qiáng)擾動的存在穩(wěn)定性

我們充分分析了物理世界環(huán)境中的各種因素可能對擾動造成的影響,例如距離、角度、光影變化等,這些都是客觀存在的,并且它們的變化可能會導(dǎo)致擾動的失效.因此,BPA-PSO 算法在優(yōu)化擾動的過程中,通過圖像處理中的縮放、旋轉(zhuǎn)、亮度調(diào)節(jié)來模擬物理真實環(huán)境的變化.這樣,最后得到的對抗樣本就可以在復(fù)雜多變的物理環(huán)境中仍然具有較強(qiáng)的對抗攻擊性.

2.6 算法偽代碼

BPA-PSO 算法的偽代碼說明如下.

算法偽代碼.BPA-PSO 算法.

輸入:一張良性路牌圖像,適應(yīng)度閾值e,粒子數(shù)numParticles,最大迭代次數(shù)Gk,當(dāng)前迭代次數(shù)iter;

輸出:魯棒的對抗樣本x*.

3 實驗與分析

3.1 實驗平臺與評價指標(biāo)介紹

實驗平臺環(huán)境:i7-7700K 4.20GHzx8(CPU),TITAN Xp 12GiBx2(GPU),16GBx4 內(nèi)存(DDR4),Ubuntu 16.04(操作系統(tǒng)),Python 3.5,Tensorflow-gpu-1.3(深度學(xué)習(xí)框架),Tflearn-0.3.2.

為了證明BPA-PSO 算法的物理可實現(xiàn)性,我們分別在物理世界的實驗室模擬場景和真實交通環(huán)境中進(jìn)行了實驗驗證.通過攝像機(jī)采集了大量含有路牌標(biāo)志的場景圖像,并對它們進(jìn)行路牌標(biāo)志的檢測與識別.同時,為了驗證本文算法生成的對抗樣本的穩(wěn)定性,分別對光線、距離、角度等因素進(jìn)行改變,設(shè)計了多種不同的對比場景進(jìn)行實驗.

實驗中,以擾動的2-范數(shù)作為電子空間中的擾動評價標(biāo)準(zhǔn),以攻擊成功率作為生成的對抗樣本魯棒性的評價標(biāo)準(zhǔn),其中,攻擊成功率分為電子空間的攻擊成功率ASRelec和物理空間的攻擊成功率ASRphy:

其中,Nben表示待攻擊的良性樣本數(shù)量,Nadv表示在電子空間中攻擊成功的對抗樣本數(shù)量,Nphy表示在物理空間中攻擊成功的對抗樣本數(shù)量.

3.2 數(shù)據(jù)集與識別模型介紹

在模型的訓(xùn)練數(shù)據(jù)中,采用了本團(tuán)隊成員制作的中國路牌數(shù)據(jù)集(Chinese road sign recognition benchmark,簡稱CRSRB),其中包含了35 類常見的交通路牌標(biāo)志,共計圖片5 000 張.按照8:2 的比例劃分為訓(xùn)練集和測試集,其中,所有圖片大小均為64×64×3.如圖4 所示為部分?jǐn)?shù)據(jù)集展示,采集過程中考慮了不同光照、角度、背景、距離等因素.第1 行從左到右分別是:限重10t、禁止鳴笛、限速40km/h、禁止直行、禁止通行、禁止機(jī)動車通行、連續(xù)彎路,第2 行從左到右分別是:T 字路口、上坡路、步行、環(huán)島行駛、標(biāo)志指示、注意行人、解除限速40km/h.

實驗選用的路牌識別深度模型結(jié)構(gòu)說明見表1,包含不同的結(jié)構(gòu),每種結(jié)構(gòu)分別訓(xùn)練了5 次,總共得到15 個識別模型,平均識別準(zhǔn)確率大于95%,與文獻(xiàn)[15]中的95.68%相近,基本滿足識別要求.表中“5×5×32”表示卷積核窗口尺寸為5×5,深度為32.其中,CHINA-CNN1 采用文獻(xiàn)[15]中的結(jié)構(gòu),使用德國路牌數(shù)據(jù)集.CHINA-CNN2 和CHINA-CNN3 在CHINA-CNN1 的基礎(chǔ)上進(jìn)行了層的修飾,得到結(jié)構(gòu)不同的模型.由于本文使用的路牌識別模型結(jié)構(gòu)與文獻(xiàn)[15]提到的GTSRB-CNN 模型結(jié)構(gòu)相似,因此識別效率在相同的硬件條件下相當(dāng).

Table 1 Structure of road sign recognition model表1 路牌識別模型的網(wǎng)絡(luò)結(jié)構(gòu)

3.3 實驗結(jié)果分析

實驗研究了基于BPA-PSO 算法生成的對抗樣本在電子空間、實驗室物理空間、戶外物理空間(晴天/雨天)等場景下的攻擊效果.

(1) 電子空間場景的攻擊效果分析

首先評估BPA-PSO 算法在電子空間中的攻擊效果,包括攻擊成功率和擾動指標(biāo)計算.如圖5 所示:圖5(a)所示為原圖;圖5(b)所示為ZOO 算法實現(xiàn)對路牌識別模型的黑盒攻擊結(jié)果,其中,第1 列是添加的對抗擾動可視化后的圖,第2 列是添加擾動后的對抗樣本路牌圖像;圖5(c)所示為BPA-PSO 攻擊方法實現(xiàn)對路牌識別模型的黑盒攻擊結(jié)果.

進(jìn)一步,在電子空間中的攻擊效果統(tǒng)計如表2 所示.在基于ZOO 的物理攻擊中,同樣考慮擾動平滑操作,以保證物理擾動的可靠性.由實驗結(jié)果可知:通過ZOO 算法攻擊得到的對抗樣本攻擊成功率較低;而BPA-PSO 算法在電子和物理空間的攻擊成功率達(dá)到了100%,得到的擾動大小比ZOO 也更小.這主要是因為BPA-PSO 算法學(xué)習(xí)了針對模型的對抗樣本的特征分布,在優(yōu)化過程中保留了對最終要攻擊的目標(biāo)模型具有對抗性的特征.表

2 中物理攻擊的對抗路牌圖像是在距離小于5m、傾角小于5°的情況下拍攝的.

Table 2 Attack performance on an electronic space scene表2 電子空間場景的黑盒攻擊效果

(2) 實驗室場景攻擊效果分析

在實驗室場景中,對路牌識別系統(tǒng)進(jìn)行了物理攻擊,主要采用貼紙和海報的方式來破壞路牌圖像的特征,從而使路牌識別系統(tǒng)分類出錯.實驗測試了BPA-PSO 算法得到的對抗路牌圖像在不同距離和不同傾斜角度情況下的目標(biāo)/無目標(biāo)攻擊效果.

實驗結(jié)果見表3,其中,“5m/0°”表示在距離路牌5m 處、攝像頭旋轉(zhuǎn)0°的條件下拍攝.

Table 3 Attack performance in indoor scene表3 實驗室場景下不同距離/傾角的攻擊效果

表3 展示了部分對抗路牌圖像,更多對抗樣本展示在附錄的圖6 中.

根據(jù)結(jié)果可知,對抗路牌樣本在物理攻擊測試中具有較高的攻擊成功率,說明了物理擾動的有效性和可靠性.對于相同的路牌標(biāo)識,海報形式的對抗樣本的攻擊成功率比貼紙形式的更高,這主要是因為海報能夠?qū)崿F(xiàn)比貼紙范圍更廣的擾動展示.

(3) 真實交通環(huán)境(晴天)中的攻擊效果分析

在真實交通環(huán)境(晴天)中,實驗場景設(shè)置了包括距離、角度和光影的變化.我們的攻擊方式分為有目標(biāo)攻擊和無目標(biāo)攻擊,同時,我們添加擾動的形式包括貼紙和海報.

真實交通環(huán)境(晴天)中的無目標(biāo)攻擊實驗結(jié)果見表4,在距離/傾角為分別5m/0°、7m/0°、7m/20°、15m/0°、15m/20°和光影分別為亮、暗的條件下測試對抗樣本的物理攻擊成功率.

Table 4 Untargeted attack in sunny outdoor scene表4 真實交通環(huán)境(晴天)中的無目標(biāo)攻擊

更多對抗路牌圖像展示在圖7 中.根據(jù)實驗結(jié)果可知,對抗路牌樣本在真實的交通環(huán)境(晴天)測試中仍然具有較高的攻擊成功率,說明BPA-PSO 算法生成的對抗樣本對變化的物理環(huán)境具有較強(qiáng)的魯棒性.同時,海報形式的對抗樣本的攻擊成功率仍然比貼紙形式的高.

真實交通環(huán)境(晴天)中的有目標(biāo)攻擊實驗結(jié)果見表5,在距離、角度和光影變化的條件下,測試對抗樣本的物理攻擊成功率.表中每種情況都拍攝3 張圖片,記錄識別結(jié)果和對應(yīng)置信度.

· “tar:0.92”表示被識別為目標(biāo)類且置信度為0.92;

· “ori:0.53”表示被識別為原始正確類標(biāo)且置信度為0.53;

· “oth:0.33”表示被識別為除原始類和目標(biāo)類以外的類標(biāo)且置信度為0.33.

根據(jù)實驗結(jié)果可知:對抗路牌樣本在真實的交通環(huán)境(晴天)測試中,盡管環(huán)境因素發(fā)生變化,大部分的對抗樣本仍然能夠以較高的置信度欺騙路牌識別系統(tǒng).說明BPA-PSO 算法生成的有目標(biāo)的對抗樣本也具有較強(qiáng)的魯棒性.

Table 5 Targeted attack in sunny outdoor scene表5 真實交通環(huán)境(晴天)中的有目標(biāo)攻擊

(4) 真實交通環(huán)境(雨天)中的攻擊效果分析

在另一真實交通環(huán)境中,實驗場景設(shè)置在了雨天的道路上.由于制作對抗樣本的材料是防水的,因此在實驗測試中也獲得了不錯的攻擊效果.

表6 展示了對抗路牌樣本在雨天交通場景下的無目標(biāo)攻擊結(jié)果,更多對抗樣本展示在圖8 中.從實驗結(jié)果可以看出:盡管環(huán)境因素更加惡劣,對抗樣本仍然具有較為可靠的攻擊性.

Table 6 Targeted attack in rainy outdoor scene表6 真實交通環(huán)境(雨天)中的有目標(biāo)攻擊

(5) 攻擊算法對比

在相同的電子場景和物理場景下,實驗還設(shè)置了其他3 種黑盒攻擊方法與本文的BPA-PSO 攻擊方法進(jìn)行對比,分別是PSO,ZOO[24]和Boundary[23].實驗中,分別使用了每種攻擊方法下電子攻擊成功率為100%的對抗樣本來做物理場景的攻擊.其中,攻擊測試的路牌對抗樣本包含5 個類別,共1 000 張圖像.物理場景攻擊的路牌圖像是在距離小于5m、傾角小于5°的情況下拍攝的.

實驗結(jié)果見表7,其中,ASRelec是電子攻擊成功率,ASRphy是物理攻擊成功率.

Table 7 Comparison of attack success rate of different attack algorithms表7 不同攻擊算法的攻擊成功率對比

從實驗結(jié)果可以看出:盡管不同攻擊方法的對抗樣本的電子攻擊成功率均為100%,但在物理場景中,由于物理環(huán)境的噪聲和物理設(shè)備的失真對擾動的破壞,PSO,ZOO 和Boundary 在物理場景的攻擊成功率明顯降低;而BPA-PSO 仍具有較高的物理攻擊成功率.可以看出,BPA-PSO 攻擊方法生成的對抗樣本具有較好的穩(wěn)定性.

(6) 對抗訓(xùn)練

為了提高路牌識別模型面對對抗攻擊的魯棒性,實驗中使用原始良性路牌樣本與使用BPA-PSO 攻擊測試集生成的路牌對抗樣本混合得到的數(shù)據(jù)集對路牌識別模型進(jìn)行對抗訓(xùn)練.混合的數(shù)據(jù)集中原始良性路牌樣本與對抗樣本的數(shù)量比為8:2.實驗中,對抗訓(xùn)練使用的是CHINA-CNN3 模型,經(jīng)過5 個epoch 的訓(xùn)練得到魯棒性較高的路牌識別模型.在計算對抗訓(xùn)練前后的攻擊成功率時,我們挑選了5 類路牌的對抗樣本圖像共計1 000 張來測試對抗訓(xùn)練前后的攻擊成功率.其中,物理場景攻擊測試的路牌圖像是在距離小于5m、傾角小于5°的情況下拍攝的.

表8 展示了BPA-PSO 攻擊方法生成的對抗樣本和ZOO 攻擊方法生成的對抗樣本在路牌識別模型使用BPA-PSO 生成的對抗樣本進(jìn)行對抗訓(xùn)練前后的攻擊效果.

Table 8 Success rate of attack before and after training表8 對抗訓(xùn)練前后的攻擊成功率

根據(jù)實驗結(jié)果可知:

· 將對抗樣本添加到訓(xùn)練集進(jìn)行對抗訓(xùn)練后,對抗樣本在電子和物理環(huán)境的攻擊成功率均明顯下降;

· 同時,其他攻擊方法如ZOO 的攻擊成功率也明顯下降.

因此,路牌識別模型的魯棒性得到了明顯的提高.

4 總結(jié)

本文提出了一種基于粒子群優(yōu)化的路牌識別攻擊方法來生成物理可實現(xiàn)的對抗樣本,這種攻擊方法生成的對抗樣本具有較強(qiáng)的魯棒性和良好的隱蔽性.該攻擊方法屬于黑盒攻擊,可以在不知道模型內(nèi)部參數(shù)的情況下生成對抗樣本.

本文分別在實驗室場景以及真實道路交通場景下對對抗樣本的對抗性進(jìn)行了檢驗,由實驗結(jié)果可見:BPAPSO 算法生成的對抗樣本在復(fù)雜多變的物理環(huán)境下,能夠以高置信度、高欺騙率、高可靠性攻擊路牌識別系統(tǒng).這對于研究如何提高自動駕駛系統(tǒng)中深度模型的魯棒性具有極大的理論意義與實踐價值.

5 未來工作與展望

本文的方法也面臨兩個挑戰(zhàn).

(1) BPA-PSO 攻擊算法需要獲得路牌識別模型輸出的分類置信度分?jǐn)?shù),但在某些場合下只能獲得輸出的類標(biāo).所以在今后的工作中,將研究只用模型輸出的類標(biāo)對路牌識別模型進(jìn)行攻擊;

(2) BPA-PSO 算法的擾動計算時間復(fù)雜度較大,這是由于通過添加隨機(jī)擾動來獲得粒子群的初始解為后續(xù)的尋優(yōu)過程增加了負(fù)擔(dān).所以今后的工作中,將改進(jìn)生成粒子群初始解的方法,優(yōu)化計算擾動的時間復(fù)雜度.

除路牌識別模型外,自動駕駛系統(tǒng)的語音識別、人臉識別、道路安全檢測、車輛檢測、行人檢測等模型都是基于深度學(xué)習(xí)架構(gòu),也面臨同樣的安全威脅.因此,面對對抗攻擊的威脅,設(shè)計有效的防御方案是未來研究工作的重點.

目前,在對抗攻擊防御方面的主流方法有數(shù)據(jù)修改、模型修改以及附加網(wǎng)絡(luò)防御.我們將研究基于BPAPSO 算法生成的對抗樣本通過對抗訓(xùn)練的防御效果,提高自動駕駛系統(tǒng)中深度學(xué)習(xí)模型的安全性.