• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于平移隨機(jī)變換的對(duì)抗樣本生成方法

    2023-01-09 14:28:40李哲銘張恒巍馬軍強(qiáng)王晉東
    計(jì)算機(jī)工程 2022年11期
    關(guān)鍵詞:白盒黑盒擾動(dòng)

    李哲銘,張恒巍,馬軍強(qiáng),王晉東,楊 博

    (1.中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)密碼工程學(xué)院,鄭州 450001;2.中國(guó)人民解放軍陸軍參謀部,北京 100000)

    0 概述

    卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)已在圖像識(shí)別和圖像分類領(lǐng)域中得到廣泛應(yīng)用,并表現(xiàn)出良好的性能[1-3]。但是若在原始圖像中加入人類無(wú)法察覺的擾動(dòng),由此形成的對(duì)抗樣本將影響CNN 的性能,從而導(dǎo)致模型分類錯(cuò)誤[4]。該現(xiàn)象給許多實(shí)際應(yīng)用系統(tǒng)帶來(lái)了安全隱患[5],如人臉識(shí)別系統(tǒng)的識(shí)別錯(cuò)誤可能會(huì)導(dǎo)致準(zhǔn)入權(quán)限管理失效[6],自動(dòng)駕駛車輛的識(shí)別錯(cuò)誤可能會(huì)造成嚴(yán)重的交通事故[7]等。因此,研究人員提出多種對(duì)抗樣本攻擊和防御的方法,以提高模型的魯棒性,從而促進(jìn)應(yīng)用系統(tǒng)的安全部署和穩(wěn)定使用。

    現(xiàn)有的攻擊方法主要分為白盒攻擊和黑盒攻擊兩類。在白盒條件下,對(duì)抗樣本生成方法可以針對(duì)性地生成關(guān)于某個(gè)模型的對(duì)抗樣本,現(xiàn)有技術(shù)已經(jīng)具有較高的白盒攻擊成功率。但是,白盒攻擊需要攻擊者掌握更多的模型信息,這在現(xiàn)實(shí)世界中難以實(shí)現(xiàn)。在黑盒條件下,攻擊者只需要掌握較少模型信息便可實(shí)施攻擊[8],因此,黑盒攻擊具有更強(qiáng)的實(shí)用性。研究表明[9],對(duì)抗樣本具有良好的遷移特性,即針對(duì)某一模型生成的對(duì)抗樣本對(duì)其他模型也具有一定的攻擊效果。根據(jù)該性質(zhì),文獻(xiàn)[10]通過引入動(dòng)量項(xiàng)、優(yōu)化梯度損失函數(shù)更新方向和加快收斂速度,提高對(duì)抗樣本的黑盒攻擊成功率。黑盒攻擊成功率低的主要原因是在對(duì)抗樣本生成過程中產(chǎn)生“過擬合”現(xiàn)象[11],即針對(duì)已知模型生成的對(duì)抗樣本僅對(duì)該模型具有較強(qiáng)的攻擊成功率,但是攻擊其他模型的成功率較低。

    本文提出基于平移隨機(jī)變換的對(duì)抗樣本生成方法。從數(shù)據(jù)增強(qiáng)角度,利用平移隨機(jī)變換方法優(yōu)化對(duì)抗樣本的生成過程。通過構(gòu)建概率模型,并對(duì)原始圖像進(jìn)行隨機(jī)變換操作,利用變換后的圖像生成對(duì)抗擾動(dòng),同時(shí)逐步添加到原圖像上迭代生成對(duì)抗樣本,根據(jù)應(yīng)用場(chǎng)景設(shè)計(jì)單模型攻擊算法和集成模型攻擊算法,提高黑盒攻擊成功率。

    1 相關(guān)研究

    對(duì)抗樣本的攻擊和防御在一定意義上可以相互促進(jìn)。針對(duì)深度神經(jīng)網(wǎng)絡(luò)在對(duì)抗攻擊情況下表現(xiàn)出的脆弱性,對(duì)抗樣本既可以用于攻擊已訓(xùn)練好的模型,將攻擊成功率作為一種重要指標(biāo)來(lái)評(píng)價(jià)模型的魯棒性,同時(shí)可將對(duì)抗樣本作為訓(xùn)練數(shù)據(jù)來(lái)進(jìn)一步訓(xùn)練模型,提高模型對(duì)對(duì)抗樣本的識(shí)別能力,從而提高其對(duì)惡意攻擊的防御性能?,F(xiàn)有對(duì)抗樣本生成方法和防御方法相關(guān)研究的優(yōu)點(diǎn)和不足如表1 所示。

    表1 對(duì)抗攻擊和對(duì)抗防御相關(guān)研究成果對(duì)比Table 1 Comparison of research results related to adversarial attack and adversarial defense

    從表1 可以看出,現(xiàn)有的對(duì)抗樣本攻擊方法改進(jìn)主要從尋找優(yōu)化算法角度提高攻擊性能,如文獻(xiàn)[12]提出迭代快速梯度符號(hào)方法(Iterative Fast Gradient Sign Method,I-FGSM),通過將單步生成調(diào)整為多步迭代,細(xì)化對(duì)抗樣本生成過程中的損失函數(shù)更新過程。文獻(xiàn)[10]提出向量迭代快速梯度符號(hào)方法(Momentum Iterative Fast Gradient Sign Method,MI-FGSM),通過引入動(dòng)量項(xiàng)并穩(wěn)定損失函數(shù)的更新方向,以避免陷入局部最大值,從而使損失函數(shù)更快達(dá)到真實(shí)最優(yōu)解,進(jìn)一步提高生成對(duì)抗樣本的攻擊成功率。優(yōu)化算法可以更高效地生成對(duì)抗樣本,但同時(shí)會(huì)加劇對(duì)抗樣本與圖像分類模型的過度擬合。因此,本文從數(shù)據(jù)增強(qiáng)的角度提高對(duì)抗樣本的泛化攻擊能力,提高黑盒攻擊成功率。

    2 背景知識(shí)

    FGSM 是典型的對(duì)抗樣本生成方法。本文研究也是基于FGSM。因此,本節(jié)介紹FGSM 類中的幾種基本方法,定義x為輸入的原始干凈圖像,ytrue為該圖像對(duì)應(yīng)的真實(shí)標(biāo)簽,xadv為生成的對(duì)抗樣本。本文采用θ特征性地表示圖像分類模型的結(jié)構(gòu)、參數(shù)等信息。ε為加入對(duì)抗擾動(dòng)的最大擾動(dòng)值,L(x,ytrue;θ)為神經(jīng)網(wǎng)絡(luò)反向傳播過程中的損失函數(shù)。本文采用交叉熵?fù)p失函數(shù)。

    2.1 快速梯度符號(hào)方法

    快速梯度符號(hào)方法[15]是FGSM 類中的初始版本。該方法中通過計(jì)算輸入圖像x的損失函數(shù)梯度,并以單步的形式沿梯度方向添加擾動(dòng),從而以最快的速度生成對(duì)抗樣本。該方法具有較高的黑盒攻擊成功率,由于損失函數(shù)單步變化不夠精確,因此,白盒攻擊成功率還有待提高,其過程如式(1)所示:

    2.2 迭代快速梯度符號(hào)方法

    針對(duì)FGSM 白盒攻擊成功率低的問題,迭代快速梯度符號(hào)方法(I-FGSM)[12]將FGSM 損失函數(shù)計(jì)算時(shí)的單步計(jì)算改為多步迭代計(jì)算。該方法的實(shí)現(xiàn)過程如式(2)所示:

    2.3 動(dòng)量迭代快速梯度符號(hào)方法

    實(shí)驗(yàn)結(jié)果表明,利用I-FGSM 優(yōu)化損失函數(shù),損失函數(shù)容易陷入局部最優(yōu)值,這也是導(dǎo)致黑盒攻擊成功率降低的一個(gè)原因。針對(duì)該問題,動(dòng)量迭代快速梯度符號(hào)方法(MI-FGSM)[10]將衰減因子引入到對(duì)抗樣本生成過程中,使得損失函數(shù)在計(jì)算過程中保持前進(jìn)的慣性,以穩(wěn)定更新方向,從而突破損失函數(shù)的局部最大值,獲得真實(shí)的最優(yōu)解。MI-FGSM 實(shí)現(xiàn)過程如式(3)和式(4)所示:

    其中:gt為在第t次迭代過程中累積的梯度值;μ為gt的衰減因子。在初始狀態(tài)令gt=0,=x。MI-FGSM保持了I-FGSM 的白盒攻擊成功率,同時(shí)提高了黑盒攻擊成功率。但該方法的黑盒攻擊成功率仍然不高。

    3 基于平移隨機(jī)變換的生成方法

    FGSM 類方法具有簡(jiǎn)潔易懂、生成效率高、可拓展性好等優(yōu)點(diǎn),但其黑盒攻擊成功率較低。為此,本文利用數(shù)據(jù)增強(qiáng)技術(shù),提出基于平移隨機(jī)變換的對(duì)抗樣本生成方法,通過將平移變換引入到對(duì)抗樣本的生成過程中,并將其作為數(shù)據(jù)增強(qiáng)的一種典型應(yīng)用,擴(kuò)展了對(duì)抗樣本生成過程中圖像輸入的多樣化,有效緩解在對(duì)抗樣本生成過程中存在的“過擬合”現(xiàn)象,從而提高攻擊方法的黑盒攻擊成功率。

    對(duì)抗樣本生成方法通常采用單模型攻擊和集成模型攻擊。單模型攻擊是指將原始干凈圖像輸入到單個(gè)圖像分類模型中,以生成對(duì)抗樣本。集成模型攻擊是指將圖像同時(shí)輸入到多個(gè)圖像分類模型中,以生成對(duì)抗樣本。這兩種不同的攻擊方式具有不同的攻擊效果。單模型攻擊是針對(duì)某個(gè)單模型生成對(duì)抗樣本,再攻擊該模型和其他模型,攻擊自身時(shí)為白盒攻擊,攻擊其他模型時(shí)為黑盒攻擊,攻擊成功率可作為對(duì)抗樣本的評(píng)價(jià)指標(biāo)。由于集成模型攻擊采用多模型集成的方式,因此生成的對(duì)抗樣本可以學(xué)習(xí)到更多的模型信息,以降低對(duì)抗樣本對(duì)單模型的過擬合,從而提高對(duì)抗樣本的遷移性,因此黑盒攻擊成功率也更高。在實(shí)際應(yīng)用中,單模型攻擊只需要調(diào)用單個(gè)模型文件,占用的計(jì)算資源較少,以便對(duì)對(duì)抗樣本生成方法的優(yōu)劣進(jìn)行比較。而集成模型攻擊需要調(diào)用多個(gè)模型文件,消耗的時(shí)長(zhǎng)和占用的計(jì)算資源較多,但是可以生成遷移性更強(qiáng)的對(duì)抗樣本,因此,集成模型攻擊常用于進(jìn)一步提高對(duì)抗樣本的黑盒攻擊成功率。

    3.1 目標(biāo)優(yōu)化問題

    從攻擊角度分析,對(duì)抗樣本的目的是使圖像分類模型分類出錯(cuò),即在不改變?nèi)搜劭杀孀R(shí)類別的基礎(chǔ)上,使圖像分類模型無(wú)法正常實(shí)現(xiàn)分類的功能。為此,本文將該問題建模為目標(biāo)優(yōu)化問題,如式(5)所示:

    其中:ytrue為圖像對(duì)應(yīng)的真實(shí)標(biāo)簽;xadv為生成的對(duì)抗樣本;θ為圖像分類模型信息。該優(yōu)化問題的優(yōu)化目標(biāo)是使生成的對(duì)抗樣本相對(duì)于原標(biāo)簽類別的損失函數(shù)達(dá)到最大,以大幅提高分類出錯(cuò)的概率。針對(duì)原圖像標(biāo)簽生成的對(duì)抗樣本損失函數(shù)最大,在對(duì)抗攻擊的測(cè)試過程中,該圖像對(duì)應(yīng)其他標(biāo)簽類別的損失函數(shù)相對(duì)變小,分類就容易出錯(cuò)。

    為提高攻擊成功率,對(duì)抗樣本需具有攻擊性和隱蔽性的特點(diǎn)。為有效衡量對(duì)抗擾動(dòng)的可感知性,本文對(duì)該優(yōu)化問題的約束條件進(jìn)行建模,如式(6)所示:

    對(duì)抗樣本與輸入模型的原始圖像的差值為添加的對(duì)抗擾動(dòng)r=xadv-x,ε為最大擾動(dòng)值。一般用范數(shù)來(lái)度量對(duì)抗擾動(dòng)的距離尺度,通過無(wú)窮范數(shù)來(lái)限定加入的擾動(dòng)大小?;诖?,本文設(shè)計(jì)單模型攻擊算法和集成模型攻擊算法,以提升黑盒攻擊強(qiáng)度并檢驗(yàn)攻擊效果。

    3.2 單模型攻擊算法

    在FGSM 類生成方法中,黑盒攻擊成功率低的主要原因是對(duì)抗樣本與圖像分類模型發(fā)生了過擬合。研究發(fā)現(xiàn)[10],對(duì)抗樣本生成過程與神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程有相似性,對(duì)抗樣本的遷移性可以與神經(jīng)網(wǎng)絡(luò)模型的泛化能力相對(duì)應(yīng)。因此,本文將提高模型泛化能力的方法引入到對(duì)抗樣本的生成過程中。在圖像分類模型的訓(xùn)練過程中,數(shù)據(jù)增強(qiáng)常被用于提高模型的泛化能力,同樣,可以將平移隨機(jī)變換作為數(shù)據(jù)增強(qiáng)的手段,應(yīng)用于對(duì)抗樣本的生成過程中,以提高對(duì)抗樣本的遷移性,從而有效提高對(duì)抗樣本的黑盒攻擊成功率。

    本文將概率變換模型建模為平移隨機(jī)變換過程,并設(shè)置超參數(shù)變換概率p和最大平移距離D,以精準(zhǔn)控制生成過程,其平移隨機(jī)變換函數(shù)如式(7)所示:

    在平移隨機(jī)變換函數(shù)T(·)中,圖像將在上、下、左、右四個(gè)方向上以概率p進(jìn)行最大平移距離為D像素的變換。因?yàn)榇俗儞Q過程是隨機(jī)的,所以能夠有效提高輸入圖像的多樣性,緩解過擬合現(xiàn)象。

    在對(duì)單模型攻擊的過程中,基于此變換函數(shù),本文優(yōu)化目標(biāo)函數(shù)式(5),新的目標(biāo)函數(shù)如式(8)所示:

    本文提出將平移變換過程與MI-FGSM 相結(jié)合的TT-MI-FGSM 方法,其過程如式(9)和 式(10)所示:

    基于以上研究,本文設(shè)計(jì)針對(duì)單模型攻擊的算法,具體過程如算法1 所示。

    算法1單個(gè)分類模型攻擊算法(TT-MI-FGSM)

    在該算法中,平移變換概率p可取0~1 之間的任意數(shù)值,表示平移變換概率逐漸變大。最大平移距離D表示在圖像平移過程中,允許移動(dòng)的像素最大值,例如,當(dāng)圖像大小為299×299×3(表示圖像的長(zhǎng)和寬分別為299 像素,RGB 三通道)時(shí),D的像素值變化范圍為0~299。在D增大的過程中,對(duì)抗樣本的攻擊成功率會(huì)先增大后減小,這說明當(dāng)平移距離較大時(shí),會(huì)影響圖像內(nèi)容與圖像標(biāo)簽的對(duì)應(yīng)關(guān)系,使得式(5)中的標(biāo)簽值失效。因此,在實(shí)驗(yàn)中應(yīng)選取合適的D,保證正常生成對(duì)抗樣本。圖像的最大擾動(dòng)值是指允許在原圖像上添加的最大擾動(dòng),為保證對(duì)抗樣本在人眼視覺下不失真,通常將最大擾動(dòng)值設(shè)置在40 像素以下。最大迭代輪數(shù)T指在生成對(duì)抗樣本過程中的迭代次數(shù),T越大,每輪添加的擾動(dòng)大小,即學(xué)習(xí)率越小,但也會(huì)占用更多的計(jì)算資源。衰減因子μ表示歷史動(dòng)量的作用程度,μ越大,表示歷史動(dòng)量影響越大。在模型攻擊實(shí)驗(yàn)部分,該研究按照文獻(xiàn)[9]中的規(guī)范將T設(shè)置為16,μ設(shè)置為1,此時(shí)方便與已有方法進(jìn)行對(duì)比,從而更好地體現(xiàn)出本文方法的成果優(yōu)勢(shì)。

    從單個(gè)分類模型攻擊算法中可以看出,在對(duì)抗樣本的生成過程中,本文設(shè)置T輪迭代循環(huán),在每輪開始時(shí),都以p為變換概率、D為最大平移距離對(duì)輸入圖像進(jìn)行平移隨機(jī)變換,之后通過圖像標(biāo)簽與基于輸入圖像的邏輯值計(jì)算該圖像的交叉熵?fù)p失函數(shù),并求得其梯度,由式(9)得到新一輪的累積梯度值,并根據(jù)式(10)更新對(duì)抗樣本,直到滿足迭代輪數(shù)要求,則完成迭代更新,輸出對(duì)抗樣本。當(dāng)去掉算法1的第4 個(gè)步驟時(shí),該算法退化為MI-FGSM,這也體現(xiàn)該算法的便利性優(yōu)勢(shì),當(dāng)?shù)啍?shù)T設(shè)置為1 時(shí),該算法即可轉(zhuǎn)化為TT-I-FGSM 的單模型攻擊算法。

    3.3 集成模型攻擊算法

    在對(duì)抗樣本防御領(lǐng)域中,集成對(duì)抗訓(xùn)練的方法可以有效提高分類模型對(duì)對(duì)抗樣本的防御能力[19]。從模型訓(xùn)練角度,集成模型解決了模型訓(xùn)練過程中的擬合問題,提高了模型的泛化能力,從而有助于提高對(duì)抗樣本的防御能力。因此,在集成模型條件下的攻擊算法流程如圖1 所示,以進(jìn)一步緩解對(duì)抗樣本對(duì)分類模型的“依賴”,增加模型的多樣性,從而提高對(duì)抗樣本的泛化能力和黑盒攻擊成功率。

    圖1 集成模型攻擊算法流程Fig.1 Procedure of integrated model attack algorithm

    從圖1 可以看出,將原始干凈圖像輸入到對(duì)抗樣本生成系統(tǒng)后,首先根據(jù)概率模型進(jìn)行平移隨機(jī)變換,變換后出現(xiàn)的空白區(qū)域?qū)⒉捎醚a(bǔ)0 的方式實(shí)現(xiàn)邊界填充,得到299×299×3 的變換后圖像;將得到的圖像輸入到多個(gè)圖像分類模型中,并得到各模型的輸出邏輯值;根據(jù)加權(quán)平均后的邏輯值計(jì)算損失函數(shù),并沿?fù)p失函數(shù)的梯度方向迭代更新,直到完成迭代,此時(shí)輸出對(duì)抗樣本圖像。

    在對(duì)抗樣本生成過程中,本文在集成分類模型上利用TT-MI-FGSM 生成對(duì)抗樣本,如算法2 所示。

    算法2集成分類模型攻擊算法(TT-MI-FGSM)

    在算法2 中,超參數(shù)的意義及設(shè)置的取值范圍與單模型攻擊算法一致,而兩個(gè)算法之間的區(qū)別在于生成對(duì)抗樣本的同時(shí)將圖像輸入到多個(gè)圖像分類模型,并通過多模型輸出邏輯值并權(quán)重集成的方式,實(shí)現(xiàn)生成對(duì)抗樣本的目的。該算法可大幅提高黑盒攻擊成功率,但其生成的對(duì)抗樣本白盒攻擊成功率略有降低。

    3.4 方法的可擴(kuò)展性

    平移隨機(jī)變換作為數(shù)據(jù)增強(qiáng)的一種手段,可用于改進(jìn)FGSM 類方法的性能,并通過與I-FGSM 和MI-FGSM 的結(jié)合,提高對(duì)抗樣本的黑盒攻擊成功率。通過調(diào)整方法中的衰減因子μ、最大平移距離D以及平移變換概率p,實(shí)現(xiàn)與現(xiàn)有對(duì)抗樣本生成方法的轉(zhuǎn)化,體現(xiàn)了該方法的可擴(kuò)展性和便利性優(yōu)勢(shì)。不同對(duì)抗樣本生成方法之間的轉(zhuǎn)化關(guān)系如圖2所示。

    圖2 不同對(duì)抗樣本生成方法之間的轉(zhuǎn)化關(guān)系Fig.2 Conversion relationship among different adversarial examples generation methods

    當(dāng)衰減因子μ為0 時(shí),TT-MI-FGSM 退化為TT-I-FGSM,MI-FGSM 退化為I-FGSM。當(dāng)μ不為0時(shí),損失函數(shù)將在帶有動(dòng)量修正的過程中更新。當(dāng)平移變換概率p或最大平移距離D為0 時(shí),TT-I-FGSM 退化為I-FGSM,TT-MI-FGSM 退化MI-FGSM。當(dāng)平移變換的概率p或最大平移距離D不為0 時(shí),TT-MI-FGSM 將先按一定概率平移變換再進(jìn)行對(duì)抗樣本生成。

    4 實(shí)驗(yàn)與結(jié)果分析

    本文在Intel Core i9-10900K 上,利用python 3.8.5和Tensorflow 1.14.0 深度學(xué)習(xí)框架對(duì)比本文提出方法TT-I-FGSM、TT-MI-FGSM 與其他方法(I-FGSM[12]和MI-FGSM[10])的攻擊成功率。目標(biāo)平臺(tái)的操作系統(tǒng)為Windows 10(專業(yè)版),內(nèi)存為64 GB,主頻為3.7 GHz。為提高對(duì)抗樣本生成效率,實(shí)驗(yàn)使用NVIDIA GeForce RTX 2080Ti GPU 加速完成計(jì)算過程。

    4.1 實(shí)驗(yàn)設(shè)置

    4.1.1 數(shù)據(jù)集

    ImageNet數(shù)據(jù)集[23]是由斯坦福大學(xué)李飛飛教授帶領(lǐng)創(chuàng)建的計(jì)算機(jī)視覺數(shù)據(jù)集,是目前圖像識(shí)別領(lǐng)域最大的數(shù)據(jù)庫(kù),也是評(píng)估圖像分類算法性能的基準(zhǔn)。該數(shù)據(jù)集中的每張圖片都被手工標(biāo)注類別,在對(duì)抗樣本的生成過程中,本文利用其標(biāo)簽以生成對(duì)抗樣本并進(jìn)行攻擊效果檢測(cè),并從ImageNet 數(shù)據(jù)集驗(yàn)證集的每個(gè)類別中各隨機(jī)選擇圖片,利用這1 000 張分類正確的圖片進(jìn)行對(duì)抗樣本的生成。

    4.1.2 分類模型

    在實(shí)驗(yàn)中共使用7個(gè)分類模型,其中,4個(gè)正常訓(xùn)練分類模型分別是Inception-v3[24](Inc-v3)、Inception-v4[25](Inc-v4)、Inception-ResNet-v2[25](IncRes-v2)和ResNetv2-101[26](Res-101);3個(gè)對(duì)抗訓(xùn)練分類模型[19]分別是ens3-adv-Inception-v3(Inc-v3ens3)、ens4-adv-Inception-v3(Incv3ens4)和ens-adv-Inception-ResNet-v2(IncRes-v2ens)。

    4.1.3 基準(zhǔn)方法

    為更好地評(píng)估本文方法的有效性,本文選擇另外兩種典型的對(duì)抗樣本生成方法(I-FGSM[13]和MI-FGSM[10])作為對(duì)比基準(zhǔn),與本文提出的TT-I-FGSM和TT-MI-FGSM 進(jìn)行對(duì)比分析。

    4.1.4 超參數(shù)設(shè)置

    為了方便攻擊成功率對(duì)比,本文按照動(dòng)量法[10]中的規(guī)范設(shè)置超參數(shù),最大擾動(dòng)值ε=16 像素,迭代輪數(shù)T=10,步長(zhǎng)α=1.6,衰減因子μ=1.0。本文提出的超參數(shù):平移變換概率p=0.5,最大平移距離D=11 像素。

    4.2 單模型攻擊實(shí)驗(yàn)

    本文在白盒和黑盒條件下對(duì)本文方法TT-I-FGSM和TT-MI-FGSM 和基準(zhǔn)方法進(jìn)行單模型攻擊測(cè)試。I-FGSM、TT-I-FGSM、MI-FGSM 和TT-MI-FGSM 方法分別在Inc-v3、Inc-v4、IncRes-v2 和Res-101 4 個(gè)正常訓(xùn)練模型上生成對(duì)抗樣本,并在7 個(gè)分類模型上(Incv3、Inc-v4、IncRes-v2、Res-101、Inc-v3ens3、Inc-v3ens4、IncRes-v2ens)進(jìn)行測(cè)試。不同對(duì)抗樣本生成方法的黑盒和白盒攻擊成功率如表2 所示。表中攻擊成功率為分類錯(cuò)誤的圖像數(shù)在圖像總數(shù)中所占的比例,*表示白盒攻擊。

    表2 不同對(duì)抗樣本生成方法攻擊單個(gè)模型的成功率對(duì)比Table 2 Success rate of attack on a single model comparison among different adversarial examples generation methods %

    從表2 可以看出,在白盒條件下,本文提出的方法TT-I-FGSM 和TT-MI-FGSM 在各模型上攻擊成功率保持在97.8%以上的水平。在黑盒條件下,TT-MI-FGSM在正常訓(xùn)練模型上提高了攻擊成功率,例如,在Inc-v3模型上生成的對(duì)抗樣本,攻擊IncRes-v2 模型時(shí),TT-MI-FGSM 攻擊成功率比MI-FGSM 提高19.5 個(gè)百分點(diǎn)。此外,TT-MI-FGSM 在針對(duì)防御模型的黑盒攻擊中也表現(xiàn)出較高的攻擊性能,例如,在Res-101 模型上生成的對(duì)抗樣本,當(dāng)攻擊Inc-v3ens3模型時(shí),TT-MI-FGSM 算法的攻擊成功率為33.6%,比MI-FGSM提高11.3 個(gè)百分點(diǎn)。因此,本文提出的TT-MI-FGSM方法可以有效提高對(duì)抗樣本的遷移性。

    4.3 集成模型攻擊實(shí)驗(yàn)

    集成模型通常對(duì)對(duì)抗樣本具有更好的防御能力。本文通過同時(shí)攻擊多個(gè)分類模型組成的集成模型來(lái)評(píng)估對(duì)抗樣本生成方法的性能。本文分別利用I-FGSM、TT-I-FGSM、MI-FGSM 和TT-MI-FGSM 同時(shí)攻擊具有相同權(quán)重的4個(gè)正常訓(xùn)練模型(Inc-v3、Inc-v4、IncRes-v2和Res-101)構(gòu)成的集成模型,并通過生成的對(duì)抗樣本分別在7 個(gè)圖像分類模型中測(cè)試得到攻擊成功率,實(shí)驗(yàn)結(jié)果如表3 所示。表中攻擊成功率為分類錯(cuò)誤的圖像數(shù)在圖像總數(shù)中所占的比例,*表示白盒攻擊。

    表3 不同對(duì)抗樣本生成方法攻擊集成模型的成功率對(duì)比Table 3 Success rate of attack on intergated model comparison among different adversarial examples generation methods %

    從表3 可以看出,TT-MI-FGSM 方法可在保持或提高白盒攻擊成功率的基礎(chǔ)上,較大幅度提高黑盒攻擊的成功率。例如,在Inc-v3、Inc-v4、IncRes-v2 和Res-101 4 個(gè)正常訓(xùn)練模型的白盒攻擊上,TT-I-FGSM 的攻擊成功率比I-FGSM提高了0.9個(gè)百分點(diǎn)。而在黑盒攻擊中,TT-MI-FGSM 比MI-FGSM 的攻擊成功率平均提高12.83個(gè)百分點(diǎn)。針對(duì)Inc-v3ens3模型的攻擊,TT-MI-FGSM的攻擊成功率為54.2%。

    不同方法生成的對(duì)抗樣本圖片對(duì)比如圖3 所示,與原圖片相比,圖片進(jìn)行平移隨機(jī)變換后生成的對(duì)抗樣本,整體區(qū)域均添加了對(duì)抗擾動(dòng),在人眼視覺上未出現(xiàn)肉眼可見的辨識(shí)偏差。

    圖3 不同方法生成的對(duì)抗樣本圖片對(duì)比Fig.3 Comparison of adversarial examples images generated by different methods

    4.4 超參數(shù)

    本節(jié)重點(diǎn)分析在攻擊方法中各超參數(shù)對(duì)攻擊成功率的影響。本文運(yùn)用TT-I-FGSM 和TT-MI-FGSM攻擊相同權(quán)重的4 個(gè)正常訓(xùn)練模型(Inc-v3、Inc-v4、IncRes-v2 和Res-101)組成的集成模型,通過調(diào)整超參數(shù)設(shè)置,以消融實(shí)驗(yàn)的方式探究超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響。超參數(shù)主要有平移變換概率p、最大平移距離D、計(jì)算梯度時(shí)的迭代輪數(shù)T、圖像最大擾動(dòng)值ε。由于動(dòng)量項(xiàng)中的衰減因子μ只用于特征性地反映梯度的累積效應(yīng),因此本文不對(duì)其進(jìn)行討論。

    4.4.1 平移變換概率p對(duì)攻擊成功率的影響

    其他超參數(shù)設(shè)置:最大擾動(dòng)值ε=16 像素,迭代輪數(shù)T=10,步長(zhǎng)α=1.6,衰減因子μ=1.0,最大平移距離D=11 像素,平移變換概率p從0 以0.1 的幅度增長(zhǎng)到1。當(dāng)p=0 時(shí),表示不發(fā)生平移變換;當(dāng)p=1時(shí),表示一定發(fā)生平移變換。隨平移變換概率p的遞增,白盒攻擊成功率和黑盒攻擊成功率變化情況如圖4 所示。其中,實(shí)線表示白盒攻擊成功率,虛線表示黑盒攻擊成功率。

    圖4 平移變換概率與攻擊成功率關(guān)系Fig.4 Relationship between translation conversion probability and attack success rate

    在白盒攻擊中,將生成的對(duì)抗樣本在4 個(gè)正常分類模型上進(jìn)行分類測(cè)試,TT-I-FGSM 和TT-MI-FGSM白盒攻擊成功率保持平穩(wěn)態(tài)勢(shì),并可實(shí)現(xiàn)均值90%以上的攻擊成功率。在黑盒攻擊中,當(dāng)攻擊3 個(gè)對(duì)抗訓(xùn)練模型時(shí),隨平移變換概率p的遞增,兩個(gè)方法的黑盒攻擊成功率也有了較大幅度的提高。TT-I-FGSM 的攻擊情況如圖4(a)所示,TT-MI-FGSM 的攻擊情況如圖4(b)所示。從圖4(a)和圖4(b)可以看出,兩折線圖變化趨勢(shì)大致相同,相比TT-I-FGSM,TT-MI-FGSM 能夠大幅提高黑盒攻擊成功率,這說明帶有動(dòng)量的平移隨機(jī)變換方法可以更好地提高對(duì)抗樣本的遷移性和黑盒攻擊成功率。同時(shí),當(dāng)p值較小時(shí),黑盒攻擊對(duì)概率p的變化更加敏感,即使略微增大平移變換概率,即可大幅提高攻擊成功率。這種現(xiàn)象表明平移變換有助于黑盒攻擊遷移性的提高。在對(duì)抗樣本生成方法設(shè)計(jì)中,當(dāng)利用對(duì)抗樣本的遷移性對(duì)黑盒模型進(jìn)行攻擊時(shí),可以將平移變換概率設(shè)置為最大值,即p=1,具有最大的黑盒攻擊成功率,而此時(shí)白盒攻擊成功率仍能保持在較高水平。

    4.4.2 最大平移距離D對(duì)攻擊成功率的影響

    最大平移距離D是指在平移隨機(jī)變換過程中,圖像在上、下、左、右4個(gè)方向上的最大移動(dòng)距離。超參數(shù)設(shè)置:平移變換概率p=0.5,最大擾動(dòng)值ε=16 像素,迭代輪數(shù)T=10,步長(zhǎng)α=1.6,衰減因子μ=1.0。實(shí)驗(yàn)運(yùn)用TT-MI-FGSM 在2 個(gè)最大平移距離的區(qū)間范圍內(nèi)進(jìn)行測(cè)試,最大平移距離與攻擊成功率的關(guān)系如圖5 所示。

    圖5 最大平移距離與攻擊成功率關(guān)系Fig.5 Relationship between maximum translation distance and attack success rate

    最大平移距離D在0~280 像素范圍內(nèi)的攻擊成功率變化情況為:在0~40 像素范圍內(nèi),TT-MI-FGSM的白盒攻擊成功率趨于穩(wěn)定,黑盒攻擊成功率快速提高,表明平移變換對(duì)提高對(duì)抗樣本遷移性有較好效果,能夠有效避免與生成模型的過擬合現(xiàn)象;在40~200 像素的區(qū)間范圍內(nèi),白盒攻擊和黑盒攻擊的成功率均趨于穩(wěn)定;在D超過200 像素以后,黑盒攻擊和白盒攻擊的成功率均有所下降,在此過程中,隨著D的增大,出現(xiàn)了欠擬合現(xiàn)象,導(dǎo)致白盒攻擊和黑盒攻擊的成功率均下降。最大移動(dòng)距離D在0~35像素范圍內(nèi)的攻擊成功率變化情況如圖5(b)所示。當(dāng)D=11 像素時(shí),黑盒攻擊成功率的局部最大值平均為45.3%,之后便波動(dòng)變化。因此,在進(jìn)行對(duì)抗樣本生成時(shí),本文選用D=11 像素,此時(shí)既有效提高黑盒攻擊成功率,又保證了較高的白盒攻擊成功率。

    4.4.3 最大擾動(dòng)值ε對(duì)攻擊成功率的影響

    本文分別使用TT-I-FGSM 和TT-MI-FGSM 進(jìn)行白盒攻擊和黑盒攻擊。超參數(shù)設(shè)置:迭代輪數(shù)T=10,衰減因子μ=1.0,平移變換概率p=0.5,圖像最大擾動(dòng)值從4 像素開始,以4 為步長(zhǎng)增長(zhǎng)到32,最大擾動(dòng)值與攻擊成功率關(guān)系如圖6 所示。由α=ε/T可知,隨著最大擾動(dòng)值的增大,在迭代過程中的步長(zhǎng)α也逐漸增大。從圖6可以看出,最大擾動(dòng)值ε在4~16像素范圍內(nèi),隨著擾動(dòng)值的增大,黑盒攻擊成功率得到顯著提高。在黑盒攻擊中,隨著ε的增大,TT-I-FGSM攻擊成功率基本不變,而加入動(dòng)量因子后TT-MI-FGSM的攻擊成功率仍保持了上升趨勢(shì)。

    圖6 最大擾動(dòng)值與攻擊成功率關(guān)系Fig.6 Relationship between maximum disturbance values and attack success rate

    最大擾動(dòng)值ε的增大會(huì)帶來(lái)擾動(dòng)因素的增長(zhǎng),在生成的對(duì)抗樣本中噪點(diǎn)也會(huì)增多,其可視化對(duì)比圖如圖7 所示,當(dāng)ε=32 像素時(shí),擾動(dòng)因素較大,容易被人眼識(shí)別出來(lái)。因此,在實(shí)際對(duì)抗樣本生成過程中,本文選擇ε=16 像素來(lái)生成對(duì)抗樣本,既具有較高的攻擊成功率,又能夠保證對(duì)抗樣本與原圖像的相似效果。

    圖7 最大擾動(dòng)值對(duì)對(duì)抗樣本圖像的影響Fig.7 Influence of maximum disturbance values on adversarial examples image

    4.4.4 迭代輪數(shù)T對(duì)攻擊成功率的影響

    本文將迭代輪數(shù)從2 開始以4 為步長(zhǎng)增大,最大值為30。其他的超參數(shù)設(shè)置:最大擾動(dòng)值ε=16 像素,步長(zhǎng)α=1.6,衰減因子μ=1.0,平移變換概率p=0.5,最大平移距離D=11 像素。迭代輪數(shù)與攻擊成功率的關(guān)系如圖8 所示。從圖8(a)可以看出,隨著迭代輪數(shù)的增加,TT-I-FGSM 方法的白盒攻擊成功率有較大提高,黑盒攻擊的成功率則略微下降,其原因?yàn)殡S著迭代輪數(shù)增加,對(duì)抗樣本與分類模型的擬合得到加強(qiáng)、遷移性有所下降。從圖8(b)可以看出,隨迭代輪數(shù)的增加,TT-MI-FGSM 方法的黑盒攻擊成功率也得到有效加強(qiáng),說明該方法與動(dòng)量法相結(jié)合具有更好的攻擊效果。迭代輪數(shù)的增加將消耗更多的計(jì)算資源,因此,本文選取迭代輪數(shù)T=10,既可以有效提高白盒攻擊和黑盒攻擊的成功率,又能夠保證對(duì)抗樣本的生成效率。

    圖8 迭代輪數(shù)與攻擊成功率的關(guān)系Fig.8 Relationship between iteration number and attack success rate

    在以上的超參數(shù)消融實(shí)驗(yàn)中,本文討論了平移變換概率p、最大平移距離D、最大迭代輪數(shù)T和圖像最大擾動(dòng)值ε的含義,并通過實(shí)驗(yàn)驗(yàn)證不同超參數(shù)對(duì)算法性能的影響。通過實(shí)驗(yàn)可以看出,平移變換概率p的增大可以提高對(duì)抗樣本的攻擊效果。因此,本文可使用最大平移變換概率來(lái)生成攻擊性強(qiáng)的對(duì)抗樣本。最大平移距離D的選取應(yīng)根據(jù)原始圖像的像素大小選擇數(shù)值,如在299×299×3 尺寸的圖像中,選取D=11 像素可以取得較好的攻擊效果。最大擾動(dòng)值可以提高攻擊方法的性能,同時(shí)也會(huì)造成擾動(dòng)過大,產(chǎn)生易被人眼識(shí)別的問題。迭代輪數(shù)的增大可以改進(jìn)黑盒攻擊效果,但由于會(huì)產(chǎn)生更多的計(jì)算開銷,因此在保持一定的對(duì)抗樣本生成效率時(shí)應(yīng)選擇適當(dāng)大小的迭代輪數(shù),通常設(shè)置在20 以下。

    5 結(jié)束語(yǔ)

    本文提出一種基于平移隨機(jī)變換的對(duì)抗樣本生成方法TT-MI-FSGM。通過對(duì)原圖像進(jìn)行平移隨機(jī)變換,擴(kuò)展圖像分類模型的輸入多樣性,緩解對(duì)抗樣本生成過程中的過擬合現(xiàn)象,從而提高對(duì)抗樣本的黑盒攻擊成功率。此外,通過構(gòu)建集成模型攻擊算法,以生成遷移性更強(qiáng)的對(duì)抗樣本。實(shí)驗(yàn)結(jié)果表明,與I-FGSM相比,該方法在集成模型上的黑盒攻擊成功率平均提高了30.4個(gè)百分點(diǎn)。下一步將對(duì)物理世界中對(duì)抗樣本的實(shí)際應(yīng)用進(jìn)行研究,從而為神經(jīng)網(wǎng)絡(luò)模型的實(shí)際部署提供更有效的魯棒性測(cè)試方法。

    猜你喜歡
    白盒黑盒擾動(dòng)
    一種基于局部平均有限差分的黑盒對(duì)抗攻擊方法
    Bernoulli泛函上典則酉對(duì)合的擾動(dòng)
    面向未來(lái)網(wǎng)絡(luò)的白盒交換機(jī)體系綜述
    DWB-AES:基于AES 的動(dòng)態(tài)白盒實(shí)現(xiàn)方法
    (h)性質(zhì)及其擾動(dòng)
    網(wǎng)絡(luò)“黑”“白”之爭(zhēng)
    通信世界(2018年29期)2018-11-21 06:34:44
    小噪聲擾動(dòng)的二維擴(kuò)散的極大似然估計(jì)
    用于光伏MPPT中的模糊控制占空比擾動(dòng)法
    基于EEPROM數(shù)據(jù)讀寫的智能電能表白盒測(cè)試方法
    人妻 亚洲 视频| 永久网站在线| 欧美少妇被猛烈插入视频| 丝袜喷水一区| 极品人妻少妇av视频| 激情视频va一区二区三区| 交换朋友夫妻互换小说| 超碰成人久久| av.在线天堂| 国产免费一区二区三区四区乱码| 国产一区二区激情短视频 | 永久网站在线| 我要看黄色一级片免费的| 日本黄色日本黄色录像| 久久人人爽av亚洲精品天堂| 又黄又粗又硬又大视频| 精品国产乱码久久久久久男人| 国产一区二区在线观看av| 国产无遮挡羞羞视频在线观看| 母亲3免费完整高清在线观看 | 丰满饥渴人妻一区二区三| 汤姆久久久久久久影院中文字幕| 国产成人aa在线观看| 亚洲欧美精品自产自拍| 久久国内精品自在自线图片| 色94色欧美一区二区| 好男人视频免费观看在线| 国产男女超爽视频在线观看| videossex国产| 欧美日韩综合久久久久久| 好男人视频免费观看在线| 99国产综合亚洲精品| 天天躁日日躁夜夜躁夜夜| 99国产综合亚洲精品| av不卡在线播放| 校园人妻丝袜中文字幕| 国产成人av激情在线播放| 久久久久久久久久久免费av| 亚洲熟女精品中文字幕| 老司机影院成人| 午夜久久久在线观看| 男女啪啪激烈高潮av片| 涩涩av久久男人的天堂| 精品国产一区二区久久| 国产亚洲av片在线观看秒播厂| xxx大片免费视频| 国产又色又爽无遮挡免| 色视频在线一区二区三区| 综合色丁香网| 国产精品久久久久久av不卡| av不卡在线播放| 亚洲成人一二三区av| 丝瓜视频免费看黄片| 一区二区日韩欧美中文字幕| 成人免费观看视频高清| 人成视频在线观看免费观看| 国产国语露脸激情在线看| 欧美精品国产亚洲| 汤姆久久久久久久影院中文字幕| 免费高清在线观看视频在线观看| 26uuu在线亚洲综合色| 七月丁香在线播放| 日韩av免费高清视频| 久久热在线av| 成人漫画全彩无遮挡| 观看美女的网站| 在现免费观看毛片| 亚洲成人一二三区av| 热re99久久精品国产66热6| av在线app专区| 18禁国产床啪视频网站| 叶爱在线成人免费视频播放| 1024视频免费在线观看| 一级,二级,三级黄色视频| 欧美日韩一级在线毛片| 欧美少妇被猛烈插入视频| 夜夜骑夜夜射夜夜干| 一区二区三区激情视频| 一级爰片在线观看| 亚洲男人天堂网一区| 国产成人精品无人区| 亚洲美女视频黄频| 国产片内射在线| 最近中文字幕高清免费大全6| 美国免费a级毛片| 亚洲精品第二区| 黄色 视频免费看| 国产成人精品一,二区| 亚洲国产精品999| 欧美黄色片欧美黄色片| 精品国产露脸久久av麻豆| 国产熟女欧美一区二区| 永久网站在线| 国产女主播在线喷水免费视频网站| 国产一区二区激情短视频 | 亚洲一区二区三区欧美精品| 久久精品国产综合久久久| 久久热在线av| 夫妻午夜视频| 亚洲情色 制服丝袜| 亚洲情色 制服丝袜| 亚洲国产最新在线播放| a级毛片黄视频| 99热全是精品| 老汉色∧v一级毛片| 国产成人欧美| 国产亚洲精品第一综合不卡| 久久精品aⅴ一区二区三区四区 | 老司机影院毛片| 男女啪啪激烈高潮av片| 亚洲美女视频黄频| 中文天堂在线官网| 日韩制服骚丝袜av| 日韩av免费高清视频| a 毛片基地| 国产午夜精品一二区理论片| 欧美人与性动交α欧美精品济南到 | av国产精品久久久久影院| 女的被弄到高潮叫床怎么办| 国产熟女欧美一区二区| 成人影院久久| 精品99又大又爽又粗少妇毛片| 看十八女毛片水多多多| 精品久久蜜臀av无| 亚洲精品中文字幕在线视频| 美女脱内裤让男人舔精品视频| 美女国产视频在线观看| a 毛片基地| 亚洲,欧美精品.| 亚洲熟女精品中文字幕| 免费在线观看视频国产中文字幕亚洲 | 香蕉国产在线看| 人人妻人人添人人爽欧美一区卜| 黑人巨大精品欧美一区二区蜜桃| 伊人亚洲综合成人网| 制服人妻中文乱码| 韩国av在线不卡| 欧美 日韩 精品 国产| 乱人伦中国视频| 免费看不卡的av| 国产成人精品福利久久| 成人毛片60女人毛片免费| 久久精品国产自在天天线| 欧美精品av麻豆av| 一级毛片我不卡| 啦啦啦啦在线视频资源| 成人午夜精彩视频在线观看| 精品国产一区二区三区久久久樱花| 国产精品偷伦视频观看了| 免费不卡的大黄色大毛片视频在线观看| 亚洲国产精品一区三区| 99久国产av精品国产电影| 建设人人有责人人尽责人人享有的| 综合色丁香网| av网站免费在线观看视频| 99香蕉大伊视频| 熟女少妇亚洲综合色aaa.| 亚洲成人手机| 青春草国产在线视频| 午夜影院在线不卡| 婷婷色综合www| 啦啦啦啦在线视频资源| 亚洲国产看品久久| 国产免费现黄频在线看| 免费人妻精品一区二区三区视频| 伦理电影免费视频| 久久久久网色| 宅男免费午夜| 久久久国产精品麻豆| 国产黄频视频在线观看| 国产男人的电影天堂91| 亚洲欧美一区二区三区久久| 欧美 日韩 精品 国产| 日韩欧美精品免费久久| 曰老女人黄片| 久久婷婷青草| 亚洲精品视频女| 国产视频首页在线观看| 下体分泌物呈黄色| 人妻 亚洲 视频| 亚洲激情五月婷婷啪啪| 中文精品一卡2卡3卡4更新| 美女国产高潮福利片在线看| 涩涩av久久男人的天堂| 成年美女黄网站色视频大全免费| 亚洲一级一片aⅴ在线观看| 午夜av观看不卡| 成人国产av品久久久| 一级片免费观看大全| 成人国语在线视频| 免费观看无遮挡的男女| 人妻系列 视频| 在线观看免费视频网站a站| 中文字幕人妻丝袜制服| 亚洲av成人精品一二三区| 国产av国产精品国产| 晚上一个人看的免费电影| 午夜免费男女啪啪视频观看| 免费观看在线日韩| 精品久久久久久电影网| 久久韩国三级中文字幕| 亚洲精品中文字幕在线视频| 欧美老熟妇乱子伦牲交| 亚洲伊人久久精品综合| 国产精品一二三区在线看| 国产成人精品福利久久| 国产片内射在线| 丝瓜视频免费看黄片| 男的添女的下面高潮视频| 免费观看性生交大片5| 久久久久久久亚洲中文字幕| 久久99蜜桃精品久久| 一级毛片我不卡| 蜜桃在线观看..| 精品久久久久久电影网| 超碰97精品在线观看| 亚洲成人av在线免费| 国产亚洲午夜精品一区二区久久| 伊人久久大香线蕉亚洲五| 国产女主播在线喷水免费视频网站| 日本av手机在线免费观看| 午夜福利视频在线观看免费| 波多野结衣一区麻豆| 2021少妇久久久久久久久久久| 亚洲国产精品999| 色婷婷av一区二区三区视频| 蜜桃国产av成人99| 母亲3免费完整高清在线观看 | 蜜桃在线观看..| 精品久久久久久电影网| 国产精品久久久久久精品古装| 日本免费在线观看一区| 国产成人av激情在线播放| 欧美av亚洲av综合av国产av | 日本av手机在线免费观看| 久久久久精品性色| 捣出白浆h1v1| 中文字幕最新亚洲高清| 国产成人精品一,二区| 男人操女人黄网站| 少妇人妻精品综合一区二区| 狠狠婷婷综合久久久久久88av| 黑人欧美特级aaaaaa片| 男人添女人高潮全过程视频| 精品国产乱码久久久久久小说| www日本在线高清视频| 欧美+日韩+精品| 国产男人的电影天堂91| 97在线人人人人妻| 日韩伦理黄色片| 国产成人aa在线观看| 国产免费现黄频在线看| 国产高清国产精品国产三级| 国产精品麻豆人妻色哟哟久久| 国产精品 国内视频| 嫩草影院入口| 欧美日本中文国产一区发布| 国产片内射在线| 国产日韩欧美亚洲二区| 欧美bdsm另类| 亚洲av综合色区一区| 香蕉丝袜av| 成人影院久久| 巨乳人妻的诱惑在线观看| 精品国产乱码久久久久久小说| 亚洲欧美一区二区三区国产| 天堂中文最新版在线下载| 高清不卡的av网站| 久久精品aⅴ一区二区三区四区 | 老熟女久久久| 免费观看a级毛片全部| 曰老女人黄片| 日本-黄色视频高清免费观看| 亚洲色图综合在线观看| 亚洲国产精品999| 亚洲综合色网址| 国产精品.久久久| 一边亲一边摸免费视频| 91成人精品电影| 日本午夜av视频| 欧美精品亚洲一区二区| 人体艺术视频欧美日本| 91精品国产国语对白视频| 欧美变态另类bdsm刘玥| 国产男女内射视频| av在线app专区| 久久久久久久久久久久大奶| 一区二区三区乱码不卡18| 精品少妇黑人巨大在线播放| 亚洲第一区二区三区不卡| 啦啦啦中文免费视频观看日本| 日韩欧美一区视频在线观看| 亚洲av男天堂| 国产极品天堂在线| www日本在线高清视频| 亚洲成色77777| 天堂8中文在线网| 亚洲精品久久成人aⅴ小说| 精品亚洲乱码少妇综合久久| 又大又黄又爽视频免费| 丝袜在线中文字幕| 国产精品无大码| 九色亚洲精品在线播放| 国产精品国产三级国产专区5o| 免费女性裸体啪啪无遮挡网站| 日日摸夜夜添夜夜爱| 国产成人午夜福利电影在线观看| 一边亲一边摸免费视频| 国产色婷婷99| 色婷婷av一区二区三区视频| av线在线观看网站| 26uuu在线亚洲综合色| 青春草国产在线视频| 男女啪啪激烈高潮av片| 久久久久精品性色| 永久免费av网站大全| 天天躁日日躁夜夜躁夜夜| 成年人免费黄色播放视频| 91久久精品国产一区二区三区| 天天躁狠狠躁夜夜躁狠狠躁| 性少妇av在线| 免费黄网站久久成人精品| 青草久久国产| 亚洲精品在线美女| 中文欧美无线码| 水蜜桃什么品种好| 男女下面插进去视频免费观看| 91在线精品国自产拍蜜月| 久久久久久久亚洲中文字幕| 国产白丝娇喘喷水9色精品| 国产亚洲av片在线观看秒播厂| 国产在线免费精品| 少妇被粗大猛烈的视频| 2021少妇久久久久久久久久久| 亚洲精品一二三| 最新中文字幕久久久久| 女性被躁到高潮视频| kizo精华| 亚洲天堂av无毛| av一本久久久久| 五月天丁香电影| 极品少妇高潮喷水抽搐| www.av在线官网国产| 日日撸夜夜添| 丝袜脚勾引网站| 亚洲久久久国产精品| 亚洲国产av新网站| 我的亚洲天堂| 天天躁夜夜躁狠狠久久av| 只有这里有精品99| 一区二区av电影网| av网站在线播放免费| 久久影院123| 国产成人免费无遮挡视频| 一本大道久久a久久精品| 最近2019中文字幕mv第一页| 亚洲精品在线美女| 亚洲图色成人| 亚洲国产看品久久| 高清视频免费观看一区二区| av有码第一页| 亚洲国产精品一区二区三区在线| 婷婷色麻豆天堂久久| 欧美人与性动交α欧美精品济南到 | 国产亚洲精品第一综合不卡| 精品一品国产午夜福利视频| 国产精品不卡视频一区二区| 五月开心婷婷网| 中文字幕另类日韩欧美亚洲嫩草| 电影成人av| 成人黄色视频免费在线看| 国产一区二区在线观看av| 午夜久久久在线观看| 久久精品久久精品一区二区三区| 日韩欧美精品免费久久| 日韩 亚洲 欧美在线| 午夜精品国产一区二区电影| 亚洲第一av免费看| 欧美黄色片欧美黄色片| 成人亚洲欧美一区二区av| 1024视频免费在线观看| 99热国产这里只有精品6| av网站在线播放免费| 人人妻人人添人人爽欧美一区卜| 久久97久久精品| 久久99热这里只频精品6学生| 亚洲情色 制服丝袜| 久久综合国产亚洲精品| 久久午夜福利片| 又黄又粗又硬又大视频| 国产老妇伦熟女老妇高清| 中国国产av一级| 国产一区二区 视频在线| 国产综合精华液| 高清不卡的av网站| 国产老妇伦熟女老妇高清| 国产成人aa在线观看| 国产精品一二三区在线看| 极品人妻少妇av视频| 免费久久久久久久精品成人欧美视频| 国产一区二区 视频在线| 国产1区2区3区精品| 高清欧美精品videossex| 国产精品一二三区在线看| 飞空精品影院首页| 亚洲精品一区蜜桃| 性色avwww在线观看| 国产精品久久久久久精品电影小说| 97精品久久久久久久久久精品| 精品国产超薄肉色丝袜足j| 国产爽快片一区二区三区| 亚洲国产看品久久| 亚洲,欧美精品.| 90打野战视频偷拍视频| 日韩av在线免费看完整版不卡| 如日韩欧美国产精品一区二区三区| 中文字幕人妻熟女乱码| 最近最新中文字幕免费大全7| 两个人看的免费小视频| 黄色毛片三级朝国网站| 老司机亚洲免费影院| 纯流量卡能插随身wifi吗| tube8黄色片| 免费看不卡的av| 免费高清在线观看日韩| 欧美日韩成人在线一区二区| 久久久精品国产亚洲av高清涩受| 激情五月婷婷亚洲| 久久午夜福利片| 老汉色∧v一级毛片| h视频一区二区三区| 欧美日本中文国产一区发布| 男女边摸边吃奶| 精品久久久久久电影网| 男女高潮啪啪啪动态图| 我要看黄色一级片免费的| 啦啦啦啦在线视频资源| 成年女人在线观看亚洲视频| 99国产精品免费福利视频| 成人亚洲欧美一区二区av| freevideosex欧美| 精品午夜福利在线看| 国产精品国产三级专区第一集| 视频区图区小说| 欧美另类一区| 又黄又粗又硬又大视频| 另类精品久久| 欧美97在线视频| 宅男免费午夜| 久久久久久久久久人人人人人人| 天天躁夜夜躁狠狠久久av| 国产麻豆69| 高清不卡的av网站| 欧美精品亚洲一区二区| 欧美日韩av久久| videos熟女内射| 深夜精品福利| 满18在线观看网站| 中国三级夫妇交换| 校园人妻丝袜中文字幕| 亚洲精品日本国产第一区| 午夜精品国产一区二区电影| 亚洲视频免费观看视频| 人体艺术视频欧美日本| 男女高潮啪啪啪动态图| 新久久久久国产一级毛片| 男女免费视频国产| 久久影院123| 女的被弄到高潮叫床怎么办| 香蕉丝袜av| 久久99热这里只频精品6学生| 国产精品久久久av美女十八| 伦精品一区二区三区| 曰老女人黄片| 美国免费a级毛片| 韩国精品一区二区三区| 国产不卡av网站在线观看| 天堂中文最新版在线下载| 国产男人的电影天堂91| 日本欧美国产在线视频| 亚洲精品久久午夜乱码| 国产成人欧美| 国产免费福利视频在线观看| 波多野结衣一区麻豆| 亚洲情色 制服丝袜| 久久久精品区二区三区| 一区二区日韩欧美中文字幕| 最近中文字幕2019免费版| 如日韩欧美国产精品一区二区三区| 久久午夜综合久久蜜桃| 欧美 亚洲 国产 日韩一| av在线app专区| a级片在线免费高清观看视频| 亚洲欧美一区二区三区黑人 | 色哟哟·www| 最近的中文字幕免费完整| 国产亚洲av片在线观看秒播厂| 岛国毛片在线播放| 看十八女毛片水多多多| 欧美日韩成人在线一区二区| 国产成人精品久久久久久| 亚洲综合色惰| 国产免费视频播放在线视频| 激情视频va一区二区三区| 亚洲久久久国产精品| 视频在线观看一区二区三区| 日韩av免费高清视频| 亚洲欧美精品综合一区二区三区 | 男人爽女人下面视频在线观看| 黑人巨大精品欧美一区二区蜜桃| 日韩视频在线欧美| 母亲3免费完整高清在线观看 | 亚洲综合色惰| 91精品国产国语对白视频| 亚洲伊人色综图| 性高湖久久久久久久久免费观看| 99香蕉大伊视频| 久久午夜福利片| 伊人久久大香线蕉亚洲五| 国产欧美亚洲国产| 日本色播在线视频| 国产精品久久久久久av不卡| 亚洲成人一二三区av| 亚洲精品美女久久av网站| 99热国产这里只有精品6| xxxhd国产人妻xxx| 国产黄色视频一区二区在线观看| 久久婷婷青草| 国产成人精品久久二区二区91 | 国产视频首页在线观看| 久久久久国产精品人妻一区二区| 人妻 亚洲 视频| av免费观看日本| xxxhd国产人妻xxx| 丝瓜视频免费看黄片| 亚洲国产精品一区二区三区在线| xxx大片免费视频| 欧美日韩精品网址| 精品人妻熟女毛片av久久网站| 国产精品一国产av| 午夜福利视频精品| 亚洲经典国产精华液单| 日韩制服骚丝袜av| 久久午夜福利片| 精品人妻在线不人妻| 最新的欧美精品一区二区| 久久热在线av| 涩涩av久久男人的天堂| 免费观看av网站的网址| av网站在线播放免费| 亚洲精品中文字幕在线视频| 女性生殖器流出的白浆| av福利片在线| 国产精品久久久久久av不卡| 黑人猛操日本美女一级片| 日韩一区二区三区影片| 99国产综合亚洲精品| 91久久精品国产一区二区三区| 久久精品国产亚洲av天美| 国产成人精品无人区| 久久午夜综合久久蜜桃| 免费黄频网站在线观看国产| 丝袜人妻中文字幕| 在线观看美女被高潮喷水网站| 亚洲美女搞黄在线观看| 一级片免费观看大全| 黑人欧美特级aaaaaa片| 精品99又大又爽又粗少妇毛片| 天天操日日干夜夜撸| 国产片内射在线| 老汉色∧v一级毛片| 寂寞人妻少妇视频99o| 在线观看国产h片| 韩国av在线不卡| 99国产精品免费福利视频| 国产成人91sexporn| 国产日韩欧美视频二区| 女人久久www免费人成看片| 国产熟女午夜一区二区三区| 成年人午夜在线观看视频| 欧美人与善性xxx| 久久久久久伊人网av| 国产激情久久老熟女| 欧美亚洲日本最大视频资源| 香蕉丝袜av| 亚洲 欧美一区二区三区| 国产成人精品一,二区| 久久精品国产自在天天线| 春色校园在线视频观看| 精品人妻在线不人妻| 99热网站在线观看| 97人妻天天添夜夜摸| 久久狼人影院| 精品一区二区免费观看| 欧美精品亚洲一区二区| 最近中文字幕2019免费版| 免费av中文字幕在线| 熟妇人妻不卡中文字幕| 免费高清在线观看视频在线观看| 王馨瑶露胸无遮挡在线观看| 深夜精品福利| 一本色道久久久久久精品综合| 少妇人妻精品综合一区二区| 你懂的网址亚洲精品在线观看| 久久热在线av| 久久精品aⅴ一区二区三区四区 | 欧美日韩成人在线一区二区| 一区二区三区乱码不卡18| 成年人免费黄色播放视频| 日韩av免费高清视频| 免费黄频网站在线观看国产| 免费高清在线观看视频在线观看| 美女福利国产在线| 久久精品国产亚洲av涩爱| 高清av免费在线|