針對目標(biāo)檢測器的假陽性對抗樣本

袁小鑫 胡 軍 黃永洪

1(計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室(重慶郵電大學(xué)) 重慶 400065) 2(重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 重慶 400065) 3(重慶郵電大學(xué)網(wǎng)絡(luò)空間安全與信息法學(xué)院 重慶 400065)

近年來，隨著深度學(xué)習(xí)的相關(guān)理論技術(shù)和計(jì)算能力的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNNs)模型在計(jì)算機(jī)視覺領(lǐng)域的各項(xiàng)任務(wù)中表現(xiàn)出色，基于DNNs模型的目標(biāo)檢測器逐漸被應(yīng)用在人臉識別[1]、行人跟蹤[2]以及無人駕駛[3]等領(lǐng)域.然而，近年來的研究表明DNNs模型易受攻擊者精心設(shè)計(jì)的對抗樣本的攻擊，從而輸出不正確的預(yù)測結(jié)果，所以DNNs架構(gòu)的目標(biāo)檢測器本身的安全性也越來越受到研究者的關(guān)注.YOLOv3[4]是實(shí)時(shí)檢測任務(wù)中一種主流的目標(biāo)檢測器，比如用YOLOv3實(shí)時(shí)檢測交通信號燈[5]以及交通標(biāo)志[6]，現(xiàn)有針對YOLOv3或其他目標(biāo)檢測器的物理對抗攻擊的方式大多是先通過特定的目標(biāo)模型生成較大的對抗性擾動，再將生成的對抗性擾動打印出來并貼在特定類別的物體上構(gòu)成物理對抗樣本.但是在最近的研究中，出現(xiàn)了一種針對目標(biāo)檢測器的新型對抗樣本——假陽性對抗樣本(false positive adversarial example, FPAE)[7]，此類對抗樣本是通過目標(biāo)模型直接生成得到的，人無法識別該對抗樣本圖像中的內(nèi)容，但目標(biāo)檢測器卻以高置信度將該對抗樣本誤識別為攻擊者指定的目標(biāo)類.研究FPAE的生成有助于發(fā)現(xiàn)YOLOv3及其他目標(biāo)檢測器存在的弱點(diǎn).現(xiàn)有以YOLOv3為目標(biāo)模型生成FPAE的方法僅有Zhao等人[8]提出的AA(appearing attack)方法，該方法在生成過程中為提升對抗樣本的魯棒性，使用了典型的EOT(expectation over transformation)圖像變換方法[9]來模擬各種物理?xiàng)l件，但是并未包含運(yùn)動模糊變換，然而在實(shí)際的拍攝過程中，如果攝像頭與對抗樣本之間發(fā)生較快的相對運(yùn)動，對抗樣本在拍攝出來的照片上就會出現(xiàn)運(yùn)動模糊進(jìn)而影響到對抗樣本的攻擊效果.此外，該方法生成的FPAE在除目標(biāo)模型外的其他模型上進(jìn)行黑盒攻擊的成功率并不高.

為生成性能更好的FPAE，以揭示現(xiàn)有目標(biāo)檢測器存在的弱點(diǎn)和測試現(xiàn)有目標(biāo)檢測器的安全性，本文以YOLOv3為目標(biāo)模型，提出了魯棒且可遷移的假陽性(robust and transferable false positive, RTFP)對抗攻擊方法，該方法在迭代優(yōu)化過程中，除了加入典型的圖像變換外，還新加入了運(yùn)動模糊變換，在設(shè)計(jì)損失函數(shù)時(shí)，借鑒了C&W攻擊[10]中損失函數(shù)的設(shè)計(jì)思想，并考慮了目標(biāo)模型預(yù)測出的每個(gè)邊界框與FPAE所在的真實(shí)邊界框之間的重合度(intersection over union, IOU)，將目標(biāo)模型在FPAE的中心所在的網(wǎng)格預(yù)測出的邊界框與FPAE所在的真實(shí)邊界框之間的IOU作為預(yù)測的邊界框的類別損失的權(quán)重項(xiàng).在現(xiàn)實(shí)世界中的多角度、多距離拍攝測試以及實(shí)際道路上的駕車拍攝測試中，RTFP方法生成的FPAE均能保持較強(qiáng)的魯棒性且遷移性強(qiáng)于現(xiàn)有方法生成的FPAE.

本文的主要貢獻(xiàn)有2個(gè)方面：

1) 提出了一種新的生成FPAE的RTFP方法，該方法在生成FPAE的過程中，通過新加入的運(yùn)動模糊變換和借鑒C&W攻擊思想設(shè)計(jì)出的全新的損失函數(shù)克服了由于運(yùn)動模糊造成的FPAE魯棒性不足以及FPAE在其他目標(biāo)檢測器上的遷移性差的問題;

2) 設(shè)計(jì)了現(xiàn)實(shí)世界中的多角度、多距離拍攝測試以及駕車拍攝測試，在實(shí)際場景下對RTFP方法生成的對抗樣本的攻擊效果進(jìn)行了全面的評估.

1 相關(guān)工作

根據(jù)對抗樣本所適用的場景，可以將現(xiàn)有的針對目標(biāo)檢測器的對抗樣本分為數(shù)字對抗樣本和物理對抗攻樣本，本節(jié)主要回顧現(xiàn)有研究中針對目標(biāo)檢測器的數(shù)字對抗樣本和物理對抗樣本.

1.1 針對目標(biāo)檢測器的數(shù)字對抗樣本

在計(jì)算機(jī)視覺領(lǐng)域，自Szegedy等人[11]指出DNNs分類器易受對抗樣本影響的特性之后，相繼有研究者陸續(xù)提出針對DNNs分類器的對抗攻擊方法，比如生成數(shù)字圖像對抗樣本的FGSM[12]、C&W方法和生成物理對抗樣本的BPA-PSO[13]、RP2方法[14].在針對圖像分類器的對抗攻擊研究取得一定成果后，研究者開始研究針對目標(biāo)檢測器的對抗攻擊.2017年，Xie等人[15]提出了針對目標(biāo)檢測器的DAG對抗攻擊方法，該算法首先獲得圖像中每個(gè)物體的正確類別，然后給每個(gè)物體分別設(shè)定一個(gè)不正確的類別，通過最大化不正確類別的置信度，同時(shí)最小化正確類別的置信度，達(dá)到生成對抗樣本的目的.Lu等人[16]以Faster R-CNN[17]目標(biāo)檢測器為目標(biāo)模型，從拍攝視頻中抽取出包含STOP交通標(biāo)志的幀作為訓(xùn)練樣本，通過最小化目標(biāo)檢測器對STOP交通標(biāo)志的平均預(yù)測分?jǐn)?shù)，設(shè)計(jì)出對抗性STOP交通標(biāo)志圖像.Li等人[18]提出RAP對抗攻擊算法，該算法主要攻擊目標(biāo)檢測器中的區(qū)域建議網(wǎng)絡(luò)RPN，并且在設(shè)計(jì)損失函數(shù)時(shí)，設(shè)計(jì)了針對RPN網(wǎng)絡(luò)的分類損失和回歸損失.Liu等人[19]分別在有目標(biāo)對抗攻擊和無目標(biāo)對抗攻擊的情況下設(shè)計(jì)出不同的對抗性擾動，當(dāng)向原始圖像添加相應(yīng)的對抗性擾動之后可以使Faster R-CNN目標(biāo)檢測器對圖像中的物體錯(cuò)誤識別.Wei等人[20]提出UEA對抗攻擊算法，該算法通過構(gòu)造生成對抗網(wǎng)絡(luò)來快速地生成圖像和視頻對抗樣本，為了提高對抗樣本的遷移性，在訓(xùn)練生成對抗網(wǎng)絡(luò)中的生成器時(shí)，結(jié)合了目標(biāo)檢測器的類別損失和特征損失.Li等人[21]研究了目標(biāo)檢測器中SSM模塊的脆弱性，指出SSM模塊易受背景圖像中的對抗性擾動的影響，并利用SSM這一弱點(diǎn)，設(shè)計(jì)出添加在背景圖像區(qū)域的對抗性擾動.

1.2 針對目標(biāo)檢測器的物理對抗樣本

部署在現(xiàn)實(shí)世界中的目標(biāo)檢測器大多是以攝像頭拍攝到的畫面作為輸入，現(xiàn)實(shí)中的各種環(huán)境因素都會影響對抗樣本的攻擊效果，為進(jìn)一步提升對抗樣本的魯棒性，使之能在物理世界也能欺騙目標(biāo)檢測器，研究者進(jìn)一步提出針對目標(biāo)檢測器的物理對抗樣本.Eykholt等人[22]將針對分類器的RP2對抗攻擊算法進(jìn)行拓展，將其應(yīng)用于YOLOv2目標(biāo)檢測器[23]，將生成的對抗性擾動打印出來并貼到正常的STOP交通標(biāo)志上的相應(yīng)位置后，YOLOv2目標(biāo)檢測器便不能檢測到STOP交通標(biāo)志.Chen等人[24]在設(shè)計(jì)針對Faster R-CNN目標(biāo)檢測器的對抗性STOP交通標(biāo)志圖像時(shí)，提出了ShapeShifter方法，該方法在生成對抗性擾動的過程中使用了EOT變換，并將添加的擾動限制在STOP交通標(biāo)志圖像中除文字之外的其余區(qū)域.Huang等人[25]以Faster R-CNN為目標(biāo)模型將對抗性擾動設(shè)計(jì)成廣告牌的形式，發(fā)現(xiàn)將擾動打印出來并貼在STOP交通標(biāo)志牌的下方時(shí)同樣具有攻擊效果.上述針對目標(biāo)檢測器的物理對抗樣本的構(gòu)造方式，均是將生成的對抗性擾動添加在目標(biāo)類別的物體表面或者周圍構(gòu)造出來的，但是最近有研究者發(fā)現(xiàn)通過直接生成對抗樣本的方式也可以欺騙目標(biāo)檢測器，Kotuliak等人[7]以Faster R-CNN目標(biāo)檢測器為目標(biāo)模型，生成人無法識別卻能使目標(biāo)檢測器產(chǎn)生誤判的假陽性對抗樣本(FPAE)，但是該方法生成的對抗樣本只在很短的距離內(nèi)有攻擊效果.Zhao等人[8]以YOLOv3為目標(biāo)模型提出AA方法，并在生成對抗樣本的過程中采用了EOT變換，提升了對抗樣本的魯棒性，但是并未考慮拍攝時(shí)出現(xiàn)的運(yùn)動模糊因素對FPAE攻擊效果的影響，導(dǎo)致在發(fā)生運(yùn)動模糊的情況下攻擊效果變差，同時(shí)在對其他目標(biāo)檢測器進(jìn)行黑盒攻擊時(shí)攻擊成功率也不高.

2 目標(biāo)檢測器介紹

2.1 現(xiàn)有的主流目標(biāo)檢測器的分類

給定輸入圖像，目標(biāo)檢測器需要預(yù)測出圖像中包含的多個(gè)物體的類別、類別置信度和包圍物體的最小邊界框的坐標(biāo).目前主流的目標(biāo)檢測器可分為2種類型：一種是單階段目標(biāo)檢測器，比如YOLOv2，YOLOv3和SSD[26]；另外一種是2階段目標(biāo)檢測器，比如Fast R-CNN[27]和Faster R-CNN.其中，單階段目標(biāo)檢測器使用單個(gè)DNNs網(wǎng)絡(luò)同時(shí)預(yù)測圖像中的物體類別和所在的位置，2階段目標(biāo)檢測器先通過CNN神經(jīng)網(wǎng)絡(luò)提取圖像特征得到特征圖并產(chǎn)生可能包含物體的候選區(qū)域，再對候選區(qū)域包含的物體進(jìn)行進(jìn)一步的分類以及調(diào)整物體的位置坐標(biāo).一般單階段目標(biāo)檢測器的推理時(shí)間會比2階段目標(biāo)檢測器的推理時(shí)間更短，而2階段目標(biāo)檢測器的準(zhǔn)確度比單階段目標(biāo)檢測器的準(zhǔn)確度更高.

2.2 YOLOv3目標(biāo)檢測器

對于給定的輸入圖像，YOLOv3首先將其縮放為統(tǒng)一的尺寸，然后送入到特征提取網(wǎng)絡(luò)中進(jìn)行處理，最終得到相對輸入圖像32倍下采樣、16倍下采樣和8倍下采樣的3個(gè)不同尺度的輸出特征圖.對于每個(gè)尺度的輸出特征圖，YOLOv3會對輸入圖像中每個(gè)劃分出的網(wǎng)格預(yù)測出3個(gè)邊界框，每個(gè)邊界框的預(yù)測向量中包含邊界框的位置信息(tx,ty,tw,th)、盒置信度分?jǐn)?shù)(scoreobj)以及邊界框中的物體分別屬于訓(xùn)練集中每個(gè)類的類別置信度分?jǐn)?shù)(score1,score2,…,scoren)，所以每個(gè)邊界框?qū)?yīng)的預(yù)測向量的形式為

(tx,ty,tw,th,scoreobj,score1,score2,…,scoren).

(1)

其中，tx表示邊界框在當(dāng)前圖像中的左上角頂點(diǎn)的橫坐標(biāo)，ty表示邊界框在當(dāng)前圖像中的左上角頂點(diǎn)的縱坐標(biāo)，tw表示邊界框的寬度，th表示邊界框的高度，n代表訓(xùn)練集中的類別數(shù)，而每個(gè)尺度的輸出特征圖上的單位點(diǎn)都與原圖中對應(yīng)位置上劃分出的網(wǎng)格相對應(yīng)，將網(wǎng)格中預(yù)測出的3個(gè)邊界框的預(yù)測向量拼接起來就得到單位點(diǎn)所在位置的預(yù)測向量.

3 RTFP方法

為提升FPAE的魯棒性和遷移性以進(jìn)一步揭示現(xiàn)有目標(biāo)檢測器的弱點(diǎn)，本文提出RTFP方法，本節(jié)主要介紹RTFP方法的具體內(nèi)容.

3.1 威脅模型

本文以YOLOv3為目標(biāo)模型，采用白盒有目標(biāo)攻擊生成對抗樣本，即假定攻擊者可以獲取到目標(biāo)模型的結(jié)構(gòu)和參數(shù)信息，同時(shí)設(shè)定目標(biāo)類，也就是攻擊者期望攻擊成功后目標(biāo)模型將對抗樣本識別為指定的類別.在實(shí)驗(yàn)中，除對目標(biāo)模型進(jìn)行白盒攻擊外，為評估對抗樣本的遷移性，本文還將白盒攻擊方式生成的對抗樣本對除目標(biāo)模型之外的其他目標(biāo)檢測器進(jìn)行黑盒攻擊，即假定攻擊者不知道這些目標(biāo)檢測器的結(jié)構(gòu)和參數(shù)信息，其目標(biāo)類與白盒攻擊的目標(biāo)類相同，如果這些目標(biāo)檢測器將對抗樣本識別為設(shè)定的目標(biāo)類則認(rèn)為攻擊成功.此外，本文假定攻擊者只能通過在現(xiàn)實(shí)世界中部署物理對抗樣本來達(dá)到攻擊目標(biāo)檢測器的目的，而不能對輸入到目標(biāo)檢測器中的數(shù)字圖像添加對抗性擾動.

3.2 RTFP方法總體流程

Fig. 1 The workflow of RTFP method圖1 RTFP方法的工作流程

RTFP方法的主要原理是在優(yōu)化過程中對FPAE使用一系列的圖像變換并將其覆蓋在隨機(jī)的背景圖像上，再計(jì)算出目標(biāo)檢測器對背景圖像中FPAE的預(yù)測損失，通過不斷優(yōu)化損失函數(shù)得到最終生成的FPAE.該方法工作流程如圖1所示，先將FPAE用U(0,1)隨機(jī)初始化為待優(yōu)化的方形圖像p，為模擬現(xiàn)實(shí)世界中各種不同的物理?xiàng)l件，需要對圖像p施加一系列圖像變換，變換后得到的圖像記為ptf.同時(shí)，為模擬現(xiàn)實(shí)世界中各種不同的場景，在每次迭代優(yōu)化過程中都會從MS-COCO數(shù)據(jù)集[28]中隨機(jī)選取不同的圖像作為背景圖像xbg，并將所選的背景圖像xbg縮放至YOLOv3要求的輸入圖像的尺寸，再將ptf覆蓋在背景圖像xbg上得到xbp，將xbp送入YOLOv3目標(biāo)檢測器后得到模型對xbp中的ptf的預(yù)測結(jié)果，再使用Adam優(yōu)化器結(jié)合模型的預(yù)測結(jié)果以及p的圖像平滑度損失Losstv對圖像p不斷優(yōu)化，最終得到FPAE，在優(yōu)化過程中始終保證目標(biāo)檢測器的權(quán)重固定，每次只更新圖像p.

3.3 RTFP方法中使用的圖像變換

由于現(xiàn)實(shí)世界中的目標(biāo)檢測器是對攝像頭拍攝到的圖像進(jìn)行檢測，攝像頭在拍攝過程中，物體與攝像頭之間的距離、角度以及物體周圍的光照條件都在不斷變化，這些環(huán)境因素都會影響FPAE的攻擊效果.因此，為了使生成的FPAE更加魯棒，需要在每次迭代優(yōu)化過程中對當(dāng)前生成的圖像p使用一系列圖像變換模擬不同的物理?xiàng)l件.典型的圖形變換方法是Athalye等人[9]提出的EOT變換，其中包含有常見的亮度和對比度變換、縮放變換、旋轉(zhuǎn)變換和加性高斯白噪聲變換.在實(shí)際應(yīng)用場景中，攝像頭在拍攝過程中如果與放置在現(xiàn)實(shí)世界中的FPAE之間發(fā)生較快的相對運(yùn)動，那么FPAE在拍攝到的圖像上就會出現(xiàn)運(yùn)動模糊進(jìn)而影響到FPAE的攻擊效果.為避免FPAE在發(fā)生運(yùn)動模糊的情況下的攻擊效果受到較大的影響，RTFP方法在已有的圖像變換的基礎(chǔ)上新加入了運(yùn)動模糊變換.在RTFP方法的優(yōu)化過程中，待優(yōu)化的圖像p經(jīng)過一系列圖像變換后得到圖像ptf，即ptf=t(p)，t是圖像變換函數(shù)，包括5種可微的圖像變換方法.

1) 亮度和對比度變換.在拍攝過程中，由于對抗樣本周圍的光照強(qiáng)度會不斷變化，所以，在每次迭代優(yōu)化過程中，通過隨機(jī)調(diào)整圖像p的亮度和對比度模擬對抗樣本在不同光照條件下的狀態(tài).

2) 縮放變換.當(dāng)攝像頭從遠(yuǎn)處向?qū)箻颖究拷鼤r(shí)，對抗樣本在拍攝到的圖像中的大小就會不斷變化，并且原始圖像在經(jīng)YOLOv3網(wǎng)絡(luò)處理之前，會先將原始圖像等比例縮放至YOLOv3要求的輸入圖像的尺寸，現(xiàn)實(shí)中的攝像頭拍攝出的原始圖像的長寬比一般不相等，典型的長寬比是4∶3和16∶9，這就導(dǎo)致對原始圖像進(jìn)行等比例縮放之后，其中的對抗樣本的長寬比就不再相等，為了使不同尺寸和長寬比的對抗樣本都能欺騙目標(biāo)檢測器，RTFP方法在優(yōu)化過程中將對抗樣本圖像的尺寸進(jìn)行隨機(jī)調(diào)整，同時(shí)將長寬比的變化范圍設(shè)定在典型4∶3和16∶9 之間，以此來模擬對抗樣本在不同的距離被拍攝時(shí)尺寸的變化情況.

3) 旋轉(zhuǎn)變換.在實(shí)際拍攝過程中，對抗樣本會在拍攝到的圖像上旋轉(zhuǎn)一定的角度，因此，每次通過隨機(jī)旋轉(zhuǎn)圖像p的角度可以模擬對抗樣本在拍攝到的圖像上出現(xiàn)旋轉(zhuǎn)時(shí)的狀態(tài).

4) 加性高斯噪聲變換.在拍攝對抗樣本時(shí)會因?yàn)閿z像設(shè)備的問題導(dǎo)致拍攝的圖像上出現(xiàn)多余的噪聲，通過對圖像p添加隨機(jī)的高斯噪聲，可模擬拍攝到的對抗樣本在受到此類噪聲影響時(shí)的狀態(tài).

5) 運(yùn)動模糊變換.考慮到攝像頭與物體之間發(fā)生較快的相對運(yùn)動時(shí)，對抗樣本會在拍攝到的圖像中出現(xiàn)運(yùn)動模糊的情況，因此，RTFP方法在每次優(yōu)化過程中均對圖像p施加隨機(jī)的運(yùn)動模糊變換，以此來模擬對抗樣本在拍攝到的圖像上出現(xiàn)運(yùn)動模糊時(shí)的狀態(tài).

3.4 RTFP方法中損失函數(shù)的設(shè)計(jì)

在3.2節(jié)中所描述的迭代優(yōu)化過程中，在將覆蓋有ptf的背景圖像xbp送入YOLOv3目標(biāo)檢測器后會得到3個(gè)不同尺度的輸出特征圖，分別對應(yīng)將輸入圖像xbp中劃分出3種不同數(shù)量的網(wǎng)格時(shí)的預(yù)測結(jié)果.對于某個(gè)尺度為s(s的取值為1,2,3,分別對應(yīng)3個(gè)不同的尺度)的輸出特征圖，先計(jì)算出輸入圖像xbp中圖像ptf的中心所在的網(wǎng)格位置cellpt，進(jìn)而得到輸出特征圖中與cellpt對應(yīng)的單位點(diǎn)的位置Is，在Is處的單位點(diǎn)包含的向量就是YOLOv3在cellpt處的網(wǎng)格中預(yù)測出的邊界框的預(yù)測向量，攻擊者最終目的是讓YOLOv3檢測到圖像ptf并將其分類為指定的目標(biāo)類別y，因此，就需要增加cellpt位置的邊界框的預(yù)測向量中盒置信度分?jǐn)?shù)scoreobj與目標(biāo)類別y的類別置信度分?jǐn)?shù)scorey.已有的研究表明C&W攻擊生成的對抗樣本具有較好的攻擊效果[29-30]，因此，RTFP方法在優(yōu)化YOLOv3預(yù)測出的類別置信度時(shí)，借鑒了C&W攻擊中損失函數(shù)的設(shè)計(jì)思想，同時(shí)為盡量優(yōu)化與FPAE最相關(guān)的預(yù)測邊界框，RTFP方法中根據(jù)模型在cellpt位置預(yù)測出的各個(gè)邊界框與ptf在輸出特征圖上對應(yīng)的真實(shí)邊界框之間的IOU為每個(gè)預(yù)測邊界框的損失值設(shè)置了相應(yīng)的權(quán)重，因此在尺度s下對應(yīng)的優(yōu)化問題為

(2)

(3)

3.5 RTFP方法生成FPAE的過程

算法1.calcLoss(x,p,y)./*對于當(dāng)前所選的背景圖像數(shù)據(jù)集，計(jì)算YOLOv3對所有背景圖像中的FPAE的預(yù)測值的損失之和loss*/

輸入：背景圖像集x、當(dāng)前生成的FPAE圖像p、目標(biāo)類別y;

輸出：損失值loss.

①loss=0;

② forxiinxdo

③ptf←t(p);/*t是圖像變換函數(shù)*/

④xpat←(ptf⊕xi);/*將ptf隨機(jī)覆蓋在xi上，⊕表示覆蓋操作*/

⑤loss←loss+J(xpat,y);/*J是RTFP方法的損失函數(shù)*/

⑥ end for

⑦ returnloss.

算法2.getBatchData(xbg,j,k)./*獲取輸入的背景圖像數(shù)據(jù)集中某個(gè)批次的背景圖像數(shù)據(jù)*/

輸入：背景圖像數(shù)據(jù)集xbg、當(dāng)前欲獲取的批次j、總的批次數(shù)k;

輸出：獲取到的數(shù)據(jù)batchData和下一個(gè)批次jnext.

①batchData=0;

② ifj>k

③batchData←xbg中第1個(gè)批次的圖像;

④jnext=2;

⑤ else

⑥batchData←xbg中第j個(gè)批次的圖像;

⑦jnext=j+1;

⑧ returnbatchData,jnext.

算法3.RTFP方法生成FPAE的過程.

輸入：最大迭代次數(shù)e、設(shè)定的目標(biāo)類別y、閾值threshold、訓(xùn)練集Btrain和驗(yàn)證集Bval(Btrain和Bval均來自背景圖像數(shù)據(jù)集B)，Btrain對應(yīng)的總批次數(shù)為k;

輸出：最終生成的FPAE圖像bestP.

① 使用U(0,1)隨機(jī)初始化一張圖像p;

② 將minLoss設(shè)置為無窮大;

③bestP=p;

④j=1;

⑤ fori=1,2,…,edo

⑥totalLoss=calcLoss(Bval,p,y);

⑦ iftotalLoss≤threshold

⑧bestP=p;

⑨ break;

⑩ else

/*Btrain,j,k分別對應(yīng)getBatchData中的xbg,j,k*/

/*Btrainj,p,y分別對應(yīng)calcLoss中的x,p,y*/

4 實(shí)驗(yàn)設(shè)計(jì)與實(shí)驗(yàn)結(jié)果

為測試RTFP方法生成的FPAE的魯棒性和遷移性，本文在現(xiàn)實(shí)場景中分別進(jìn)行了多角度、多距離拍攝測試以及真實(shí)道路上的駕車拍攝測試，本節(jié)主要介紹實(shí)驗(yàn)設(shè)置以及實(shí)驗(yàn)結(jié)果.

4.1 實(shí)驗(yàn)設(shè)置

考慮到Y(jié)OLOv3可被應(yīng)用在無人車的實(shí)時(shí)處理系統(tǒng)中對攝像頭拍攝到的圖像進(jìn)行實(shí)時(shí)檢測，無人車周圍的交通標(biāo)志對無人車的行駛安全非常重要，因此，實(shí)驗(yàn)將目標(biāo)類設(shè)定為MS-COCO數(shù)據(jù)集中的STOP交通標(biāo)志，目標(biāo)模型是在MS-COCO數(shù)據(jù)集上預(yù)訓(xùn)練好的YOLOv3目標(biāo)檢測器，其骨干網(wǎng)是Darknet-53，輸入到Y(jié)OLOv3模型中的圖像被統(tǒng)一縮放成608×608的尺寸，模型的類別置信度閾值設(shè)置為0.5，即當(dāng)FPAE被目標(biāo)檢測器錯(cuò)誤地檢測并分類為STOP標(biāo)志的置信度高于0.5時(shí)，才認(rèn)為FPAE成功欺騙了目標(biāo)檢測器.

在對其他目標(biāo)檢測器進(jìn)行黑盒攻擊測試時(shí)，所選的目標(biāo)檢測器包括Faster R-CNN ResNet-101，F(xiàn)aster R-CNN Inception v2，Mask R-CNN Inception v2[31]，SSD Inception-v2，SSD MobileNet v2. 這些目標(biāo)檢測器均是TensorFlow官方模型庫[32]中提供的在MS-COCO數(shù)據(jù)集上預(yù)訓(xùn)練好的目標(biāo)檢測器，并且在現(xiàn)有研究中也被作為典型的測試模型，這些模型的類別置信度閾值同樣設(shè)置為0.5，模型的其他參數(shù)均按照模型默認(rèn)的參數(shù)進(jìn)行設(shè)置.在現(xiàn)有的使用YOLOv3作為目標(biāo)模型生成FPAE的研究中，與本文所做的工作最接近的僅有Zhao等人[8]提出的AA方法，因此本文選擇AA方法與RTFP方法進(jìn)行對比，實(shí)驗(yàn)中所使用的拍攝設(shè)備為OPPO A92s，圖2是這2種方法生成的FPAE圖像.

Fig. 2 FPAE generated by two methods圖2 2種方法生成的FPAE

4.2 多角度、多距離拍攝測試

為在現(xiàn)實(shí)世界中測試RTFP方法生成的FPAE在多個(gè)不同的距離和角度下的攻擊效果，本實(shí)驗(yàn)將RTFP方法生成的FPAE打印出來，進(jìn)行多角度、多距離的拍攝測試.我們將RTFP方法生成的FPAE打印成50 cm×50 cm的大小，然后將距離對抗樣本1～25 m的直線距離范圍分成5個(gè)距離段，每個(gè)距離段的范圍分別設(shè)置為1～5 m，5～10 m，10～15 m，15～20 m，20～25 m.在每個(gè)距離段內(nèi)，以對抗樣本正對拍攝者為0°，在對抗樣本分別向左和向右偏轉(zhuǎn)0°，15°，30°，45°，60°(向左偏的角度記為負(fù)，向右偏的角度記為正)的情況下，在沿著當(dāng)前直線距離段勻速前進(jìn)的過程中拍攝對抗樣本，最后將拍攝得到的視頻送入各目標(biāo)檢測器測試FPAE的攻擊效果.首先對目標(biāo)模型YOLOv3進(jìn)行白盒攻擊測試，然后對其他目標(biāo)檢測器進(jìn)行黑盒攻擊測試，最后計(jì)算在每個(gè)距離段范圍內(nèi)每個(gè)偏轉(zhuǎn)角度下拍攝的視頻幀的攻擊成功率(attacking success rate,ASR).ASR計(jì)算為

(4)

其中,Nsuccess表示當(dāng)前拍攝到的視頻中成功欺騙目標(biāo)檢測器的幀數(shù)，Nall表示拍攝到的視頻中的總幀數(shù).同時(shí)，本實(shí)驗(yàn)將AA方法生成的對抗樣本也打印成相同的尺寸，并采用同樣的拍攝設(shè)備和拍攝方法進(jìn)行拍攝，最后計(jì)算2種方法在白盒攻擊和黑盒攻擊中的ASR.

表1是RTFP方法生成的FPAE對目標(biāo)模型YOLOv3進(jìn)行白盒攻擊的ASR.可以看到,偏轉(zhuǎn)角度一定，F(xiàn)PAE與攝像機(jī)之間的距離不斷變化時(shí)，總體變化趨勢是距離越遠(yuǎn)，ASR越低，因?yàn)殡S著拍攝距離的增大，F(xiàn)PAE的特征就更不容易被目標(biāo)檢測器捕獲，也就更不容易欺騙目標(biāo)檢測器.從表1中的數(shù)據(jù)可以得到在1～15 m范圍內(nèi)，ASR相對較高，而在大于15 m的范圍內(nèi)，ASR相對較低，其中1～10 m范圍內(nèi)的ASR均達(dá)到了100%，在10～15 m范圍內(nèi)，ASR開始下降，總體范圍在45%～100%之間，在15～20 m范圍內(nèi)的ASR在0%～45%之間，在20～25 m范圍內(nèi)的ASR均為0%.當(dāng)FPAE與攝像機(jī)之間的距離段一定，F(xiàn)PAE的偏轉(zhuǎn)角度不斷變化時(shí)可以看到，在1～10 m的距離范圍內(nèi)，隨著FPAE的偏轉(zhuǎn)角度不斷變化，F(xiàn)PAE在每個(gè)偏轉(zhuǎn)角度下的ASR均是100%;而在10～20 m的距離范圍內(nèi)，總體變化趨勢是ASR隨著偏轉(zhuǎn)角度的增大而減小，這是因?yàn)殡S著距離的變遠(yuǎn)和FPAE的偏轉(zhuǎn)角度的增大，F(xiàn)PAE在拍攝到的圖像上的尺寸變小加之有部分特征并未被拍攝到，進(jìn)而導(dǎo)致FPAE的特征更加難以欺騙目標(biāo)檢測器，所以ASR降低.此外，由于RTFP方法生成的FPAE并非是左右對稱的圖像，因此，F(xiàn)PAE在向左偏轉(zhuǎn)和向右偏轉(zhuǎn)時(shí)，目標(biāo)檢測器捕獲到的特征不同，所以，在10～20 m距離范圍內(nèi)的ASR并非是關(guān)于0°對稱的.

Table 1 ASR of FPAE Generated by RTFP Method on YOLOv3表1 RTFP方法生成的FPAE在YOLOv3上的ASR %

表2～6是RTFP方法生成的FPAE對其他模型進(jìn)行黑盒攻擊的ASR.可以看到FPAE在Faster R-CNN ResNet-101，F(xiàn)aster R-CNN Inception v2，Mask R-CNN Inception v2這3個(gè)模型上都能保持較高的攻擊成功率，反映出RTFP方法生成的FPAE的具有較強(qiáng)的遷移性;同時(shí)，在距離較遠(yuǎn)的情況下，F(xiàn)PAE同樣可以欺騙這些目標(biāo)檢測器，這是由于這些目標(biāo)檢測器在設(shè)計(jì)時(shí)，相比于推理時(shí)間，更注重識別物體的精度，因此，這些目標(biāo)檢測器善于捕捉圖像中小尺寸物體的特征，對交通標(biāo)志本身的特征也更敏感，所以即使在距離較遠(yuǎn)時(shí)，F(xiàn)PAE上的對抗性特征也能被這些目標(biāo)檢測器捕獲，從而可以進(jìn)一步欺騙這些目標(biāo)檢測器;但是SSD Inception v2和SSD MobileNet v2并不善于檢測圖像中的小尺寸物體，所以，在距離相對比較遠(yuǎn)時(shí)，這2種目標(biāo)檢測器便難以捕獲到FPAE的特征，也就無法被FPAE欺騙.

Table 2 ASR of FPAE Generated by RTFP Method on Faster R-CNN ResNet-101表2 RTFP方法生成的FPAE在Faster R-CNN ResNet-101上的ASR %

Table 3 ASR of FPAE Generated by RTFP Method on Faster R-CNN Inception v2表3 RTFP方法生成的FPAE在Faster R-CNN Inception v2上的ASR %

Table 4 ASR of FPAE Generated by RTFP Method on Mask R-CNN Inception v2表4 RTFP方法生成的FPAE在Mask R-CNN Inception v2上的ASR %

Table 5 ASR of FPAE Generated by RTFP Method on SSD Inception v2表5 RTFP方法生成的FPAE在SSD Inception v2上的ASR %

Table 6 ASR of FPAE Generated by RTFP Method on SSD MobileNet v2表6 RTFP方法生成的FPAE在SSD MobileNet v2上的ASR %

Fig. 3 AASR of FPAE on YOLOv3 at different distance ranges圖3 在不同距離范圍內(nèi)FPAE在YOLOv3上 的AASR

Fig. 4 AASR of FPAE on Faster R-CNN ResNet-101 at different distance ranges圖4 在不同距離范圍內(nèi)FPAE在Faster R-CNN ResNet-101上的AASR

Fig. 5 AASR of FPAE on Faster R-CNN Inception v2 at different distance ranges圖5 在不同距離范圍內(nèi)FPAE在Faster R-CNN Inception v2上的AASR

Fig. 6 AASR of FPAE on Mask R-CNN Inception v2 at different distance ranges圖6 在不同距離范圍內(nèi)FPAE在Mask R-CNN Inception v2上的AASR

Fig. 7 AASR of FPAE on SSD Inception v2 at different distance ranges圖7 在不同距離范圍內(nèi)FPAE在SSD Inception v2 上的AASR

Fig. 8 AASR of FPAE on SSD MobileNet v2 at different distance ranges圖8 在不同距離范圍內(nèi)FPAE在SSD MobileNet v2 上的AASR

圖3是RTFP方法與AA方法生成的FPAE在各個(gè)距離段內(nèi)在目標(biāo)模型YOLOv3上的平均攻擊成功率(average attacking success rate,AASR)的對比結(jié)果，圖4～8是RTFP方法與AA方法生成的FPAE在各個(gè)距離段內(nèi)在其他模型上的AASR的對比結(jié)果.AASR計(jì)算為

(5)

其中，Nas是當(dāng)前距離段內(nèi)各個(gè)角度下拍攝到的視頻中成功欺騙目標(biāo)檢測器的幀數(shù)之和，Ndis是當(dāng)前距離段內(nèi)各個(gè)角度下拍攝到的視頻的總幀數(shù).

圖3的結(jié)果表明，對于目標(biāo)模型YOLOv3，2種方法生成的FPAE在各個(gè)距離段內(nèi)的AASR大致相同，表明2種FPAE在目標(biāo)模型上的魯棒性相當(dāng).但是從圖4～8的對比結(jié)果可以看出，RTFP方法生成的FPAE在其他模型上的每個(gè)距離段內(nèi)的AASR均高于AA方法生成的FPAE的AASR，表明RTFP方法生成的FPAE的遷移性強(qiáng)于AA方法生成的FPAE的遷移性.此外，對于除目標(biāo)模型YOLOv3之外的其他模型，在距離相對較近時(shí)，特別是在1～5 m距離范圍內(nèi)，AA方法生成的FPAE在各個(gè)模型上的AASR普遍較低，而RTFP方法生成的FPAE依然可以保持相對較高的AASR.這是由于AA方法的損失函數(shù)中并沒有設(shè)計(jì)圖像平滑度損失，從而導(dǎo)致生成的FPAE上出現(xiàn)較多的噪聲像素點(diǎn)，這些噪聲像素點(diǎn)是以YOLOv3為目標(biāo)模型生成的，所以不會顯著影響FPAE對YOLOv3的攻擊效果，但是這些噪聲像素特征會影響FPAE對其他目標(biāo)檢測器進(jìn)行黑盒攻擊的效果，尤其是在距離較近時(shí)，這些像素點(diǎn)在拍攝到的圖像上非常明顯，因此FPAE會對其他模型進(jìn)行黑盒攻擊的效果有較大影響，而RTFP方法在優(yōu)化損失函數(shù)時(shí)加入了圖像平滑度損失，所以生成的對抗樣本更加平滑，降低了噪聲像素點(diǎn)的影響，從而在距離較近時(shí)，RTFP方法生成的FPAE依然可以保持相對較高的AASR.

4.3 真實(shí)道路上的駕車拍攝測試

為在實(shí)際的道路上測試RTFP方法生成的FPAE的攻擊效果，本文將生成好的FPAE豎立在真實(shí)道路的右側(cè)，然后在距離FPAE較遠(yuǎn)處駕車勻速(速度的誤差在1 km/h內(nèi))駛向FPAE，在保持勻速行駛后，在距FPAE所在位置20 m處開始拍攝，直至駛過FPAE，最后，將拍攝的視頻中所有包含F(xiàn)PAE的幀送入YOLOv3進(jìn)行白盒攻擊測試，再送入其他目標(biāo)檢測器進(jìn)行黑盒攻擊測試，并計(jì)算在各個(gè)目標(biāo)檢測器上的攻擊成功率ASR. 圖9是RTFP方法生成的FPAE在15 km/h，20 km/h，25 km/h，30 km/h的速度下，在目標(biāo)模型YOLOv3和其他目標(biāo)檢測器上的ASR.可以看出，在不同速度下拍攝的FPAE在各個(gè)目標(biāo)檢測器上均能攻擊成功，并且對于每個(gè)模型，F(xiàn)PAE在不同速度下的ASR大致相同，表明FPAE在不同的速度下仍可以保持較好的魯棒性和遷移性.圖10是RTFP方法與AA方法生成的FPAE在15 km/h，20 km/h，25 km/h，30 km/h的行駛速度下對YOLOv3進(jìn)行白盒攻擊的ASR.從圖10中可以看出，RTFP方法生成的FPAE的ASR相對較高，表明RTFP方法生成的FPAE在不同速度下的魯棒性強(qiáng)于AA方法生成的FPAE.圖11～14是RTFP與AA方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的速度下對除YOLOv3之外的其他目標(biāo)檢測器進(jìn)行黑盒攻擊的ASR.從這4組對比結(jié)果可以看出，RTFP方法生成的FPAE在各個(gè)速度下對各個(gè)模型進(jìn)行黑盒攻擊的ASR相對較高，表明RTFP方法生成的FPAE在各個(gè)速度下的遷移性強(qiáng)于AA方法生成的FPAE.道路上的駕車拍攝測試近似反映了RTFP方法和AA方法生成的FPAE在實(shí)際的駕駛場景中的攻擊效果，測試結(jié)果表明RTFP方法生成的FPAE在不同的行駛速度下可以保持較強(qiáng)的魯棒性和遷移性且強(qiáng)于AA方法生成的FPAE.

Fig. 9 ASR of FPAE on YOLOv3 and other object detectors at different speeds圖9 在不同速度下FPAE在YOLOv3和其他目標(biāo) 檢測器上的ASR

Fig. 10 ASR of FPAE on YOLOv3 at 4 different speeds圖10 在4種不同速度下FPAE在YOLOv3上的 ASR

Fig. 11 ASR of FPAE in the black-box attack test at speed of 15 km/h圖11 速度為15 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 12 ASR of FPAE in the black-box attack test at speed of 20 km/h圖12 速度為20 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 13 ASR of FPAE in the black-box attack test at speed of 25 km/h圖13 速度為25 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 14 ASR of FPAE in the black-box attack test at speed of 30 km/h圖14 速度為30 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 15 ASR of FPAE at 4 different speeds圖15 FPAE在4種不同速度下的ASR

Fig. 16 ASR of FPAE in the black-box attack test at speed of 15 km/h圖16 速度為15 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

此外，在駕車拍攝的過程中，攝像頭和FPAE之間會發(fā)生較快的相對運(yùn)動，在這種情況下，F(xiàn)PAE在拍攝出來的圖像上極易發(fā)生運(yùn)動模糊，因此，為驗(yàn)證RTFP方法中加入的運(yùn)動模糊變換的有效性，本測試還進(jìn)行了消融實(shí)驗(yàn).也就是將完整的RTFP方法生成的FPAE與將RTFP方法中的運(yùn)動模糊變換去除之后(將該方法記為RTFP-wmb方法)生成的FPAE使用同樣的拍攝方法進(jìn)行拍攝，然后測試這2種FPAE在各目標(biāo)檢測器上的ASR.圖15是RTFP方法與RTFP-wmb方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的行駛速度下對YOLOv3進(jìn)行白盒攻擊的ASR.從實(shí)驗(yàn)結(jié)果可以看出，完整的RTFP方法在目標(biāo)模型上的ASR更高，說明完整的RTFP方法生成的FPAE的魯棒性強(qiáng)于RTFP-wmb方法生成的FPAE.圖16～19是RTFP方法與RTFP-wmb方法生成的FPAE分別在15 km/h，20 km/h，25 km/h，30 km/h的速度下對其他目標(biāo)檢測器進(jìn)行黑盒攻擊的ASR.從這4組對比結(jié)果可以看出，在不同的行駛速度下，RTFP方法生成的FPAE的ASR在Faster R-CNN ResNet-101，F(xiàn)aster R-CNN Inception v2，Mask R-CNN Inception v2這3個(gè)模型上的ASR較高，而在SSD Inception v2和SSD MobileNet v2這2個(gè)模型上的ASR與RTFP-wmb方法生成的FPAE的ASR大致相同，表明RTFP方法生成的FPAE只在部分模型上的遷移性強(qiáng)于RTFP-wmb生成的FPAE，這是因?yàn)镽TFP方法中加入的運(yùn)動模糊變換的主要作用是提高FPAE抵抗運(yùn)動模糊的能力，也就是側(cè)重于提高FPAE的魯棒性，但是并不能顯著提升FPAE的遷移性.圖20是RTFP方法生成的FPAE成功欺騙YOLOv3目標(biāo)檢測器的樣例幀.

Fig. 17 ASR of FPAE in the black-box attack test at speed of 20 km/h圖17 速度為20 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 18 ASR of FPAE in the black-box attack test at speed of 25 km/h圖18 速度為25 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 19 ASR of FPAE in the black-box attack test at speed of 30 km/h圖19 速度為30 km/h時(shí)FPAE在黑盒攻擊測試 中的ASR

Fig. 20 Sample frames of FPAE successfully fool YOLOv3圖20 FPAE成功欺騙YOLOv3目標(biāo)檢測器的 樣例幀

5 結(jié) 論

本文提出一種可生成具有較強(qiáng)的魯棒性和遷移性的假陽性對抗樣本(FPAE)的RTFP方法，該方法在迭代優(yōu)化過程中考慮了運(yùn)動模糊對FPAE的攻擊效果的影響，除了加入典型的圖像變換方法之外，還新加入了運(yùn)動模糊變換.此外，在設(shè)計(jì)損失函數(shù)時(shí)，借鑒了C&W攻擊中損失函數(shù)的設(shè)計(jì)思想，將目標(biāo)檢測器在對抗樣本所在位置預(yù)測出的多個(gè)邊界框的類別損失設(shè)計(jì)為適用于生成FPAE的損失函數(shù)，并且為防止生成的FPAE出現(xiàn)過多的噪聲像素點(diǎn)，在整個(gè)損失函數(shù)中加入了圖像平滑度損失.本文在現(xiàn)實(shí)場景中對RTFP方法生成的FPAE進(jìn)行了多角度、多距離的拍攝測試以及實(shí)際道路上的駕車拍攝測試，用每次拍攝得到的視頻對目標(biāo)模型YOLOv3和其他目標(biāo)檢測器分別進(jìn)行了白盒攻擊測試和黑盒攻擊測試，并且與現(xiàn)有的AA方法生成的FPAE的攻擊成功率進(jìn)行了對比.在多角度、多距離的拍攝測試中，RTFP方法生成的FPAE在相對較遠(yuǎn)的距離和較大的偏轉(zhuǎn)角度下依然可以欺騙YOLOv3以及其他目標(biāo)檢測器.實(shí)際道路上的駕車拍攝測試表明在4種不同的行駛速度下，RTFP方法生成的FPAE依然能夠?qū)OLOv3和其他目標(biāo)檢測器進(jìn)行欺騙，且攻擊成功率高于現(xiàn)有的AA方法生成的FPAE的攻擊成功率，并且，駕車拍攝測試中的消融實(shí)驗(yàn)表明RTFP方法生成的FPAE的魯棒性強(qiáng)于不加入運(yùn)動模糊變換的RTFP-wmb方法生成的FPAE的魯棒性，說明了RTFP方法中所加入的運(yùn)動模糊變換的有效性.綜合的實(shí)驗(yàn)結(jié)果表明RTFP方法生成的FPAE具有較強(qiáng)的魯棒性和遷移性.

作者貢獻(xiàn)聲明：袁小鑫進(jìn)行文獻(xiàn)調(diào)研，提出論文的創(chuàng)新點(diǎn)，負(fù)責(zé)實(shí)驗(yàn)的實(shí)施與分析以及論文的撰寫；胡軍提供選題來源，設(shè)計(jì)研究思路，指導(dǎo)實(shí)驗(yàn)的設(shè)計(jì)與論文的撰寫；黃永洪提供選題來源，指導(dǎo)實(shí)驗(yàn)設(shè)計(jì)，參加論文研討.