機(jī)器學(xué)習(xí)安全攻擊與防御機(jī)制研究進(jìn)展和未來挑戰(zhàn)*

李欣姣 ,吳國偉 ,姚 琳 ,張偉哲 ,張 賓

1(大連理工大學(xué) 軟件學(xué)院,遼寧 大連 116620)

2(遼寧省泛在網(wǎng)絡(luò)與服務(wù)軟件重點(diǎn)實(shí)驗(yàn)室(大連理工大學(xué)),遼寧 大連 116620)

3(鵬城實(shí)驗(yàn)室 網(wǎng)絡(luò)空間安全中心,廣東 深圳 518055)

4(哈爾濱工業(yè)大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院,黑龍江 哈爾濱 150001)

機(jī)器學(xué)習(xí)當(dāng)前被應(yīng)用在各個領(lǐng)域,如惡意檢測、圖像識別分類、語音指令識別、自動駕駛、推薦系統(tǒng)、醫(yī)療系統(tǒng)等等.但是機(jī)器學(xué)習(xí)的安全和隱私問題隨著其應(yīng)用的推廣日漸突出,成為阻礙其發(fā)展的重要因素.機(jī)器學(xué)習(xí)面臨的攻擊會導(dǎo)致機(jī)器學(xué)習(xí)算法分類出錯、計算出錯(如將惡意軟件設(shè)別為正常軟件導(dǎo)致木馬攻擊、在自動駕駛中計算出錯導(dǎo)致交通事故等),從而降低機(jī)器學(xué)習(xí)算法的可信度.同時,機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)往往包含用戶隱私數(shù)據(jù)(如健康數(shù)據(jù)和位置信息、身份數(shù)據(jù)和圖像內(nèi)容等),用戶希望在保證隱私的條件下進(jìn)行訓(xùn)練,但面向隱私的攻擊會導(dǎo)致用戶數(shù)據(jù)的隱私泄露(如攻擊者基于推理結(jié)果分析或計算出用戶的隱私數(shù)據(jù)),從而降低機(jī)器學(xué)習(xí)算法的隱私性.因此,保證機(jī)器學(xué)習(xí)算法的安全性和隱私性是機(jī)器學(xué)習(xí)發(fā)展的重要課題.

保證機(jī)器學(xué)習(xí)的安全性,指保證模型面臨安全攻擊仍能推理出正確結(jié)果的能力.保證機(jī)器學(xué)習(xí)的隱私性,指保證模型面臨隱私攻擊仍能保證模型數(shù)據(jù)、訓(xùn)練數(shù)據(jù)和由此引申出的用戶隱私數(shù)據(jù)不被泄露的能力.從使用對抗訓(xùn)練和防御精餾來提高模型安全性,到使用加密和擾動來提高模型隱私性,雖然機(jī)器學(xué)習(xí)的安全問題從被發(fā)現(xiàn)和提出到現(xiàn)在發(fā)展時間較短,但已經(jīng)取得了一定的進(jìn)展.本文從機(jī)器學(xué)習(xí)面臨的攻擊出發(fā),基于攻擊發(fā)生的位置和時序分類,結(jié)合攻擊者能力分析了各種攻擊產(chǎn)生的原因,并介紹了現(xiàn)有的解決方案.

本文第1 節(jié)介紹機(jī)器學(xué)習(xí)及其遭受攻擊的原因,并按照位置和時序?qū)暨M(jìn)行分類.第2 節(jié)詳細(xì)介紹機(jī)器學(xué)習(xí)面臨的攻擊類型、攻擊產(chǎn)生的原因和攻擊手段.第3 節(jié)闡述機(jī)器學(xué)習(xí)現(xiàn)有的安全機(jī)制.最后給出現(xiàn)有機(jī)器學(xué)習(xí)安全機(jī)制存在的問題和未來的方向.

1 機(jī)器學(xué)習(xí)與安全威脅

1.1 機(jī)器學(xué)習(xí)簡介及分類

機(jī)器學(xué)習(xí)是人工智能發(fā)展至今最重要的學(xué)科,旨在利用數(shù)據(jù)和經(jīng)驗(yàn)改進(jìn)智能算法的性能.機(jī)器學(xué)習(xí)的目標(biāo)是從給定的訓(xùn)練集中學(xué)習(xí)到一個模型,當(dāng)新的未知數(shù)據(jù)到來時,根據(jù)這個模型預(yù)測結(jié)果.機(jī)器學(xué)習(xí)算法的訓(xùn)練集稱為一組樣本,每個樣本包含標(biāo)簽和一組特征值,每個樣本可以由特征值計算一個特征向量,機(jī)器學(xué)習(xí)算法用訓(xùn)練樣本的特征向量和標(biāo)簽構(gòu)建模型的過程稱為訓(xùn)練或?qū)W習(xí)的過程,使用這個模型對新的測試樣本預(yù)測標(biāo)簽的過程稱為推理過程.模型能夠正確推理出測試樣本標(biāo)簽的能力是模型泛化性能的指標(biāo).

機(jī)器學(xué)習(xí)按照形式可以分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)(如圖1 所示).監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)帶有人為標(biāo)注的標(biāo)簽,主要應(yīng)用于分類和預(yù)測任務(wù),常見于統(tǒng)計分類和回歸分析,如垃圾郵件分類、房價預(yù)測等.在分類學(xué)習(xí)中,樣本歸屬于兩個或多個離散的類,模型的目標(biāo)是將新的樣本劃分到這些類中.分類模型的構(gòu)建可以通過尋找不同類之間的超平面,或使用支持向量機(jī)(SVM)、神經(jīng)網(wǎng)絡(luò)或邏輯回歸等方法實(shí)現(xiàn).回歸模型指訓(xùn)練標(biāo)簽為連續(xù)值的訓(xùn)練樣本產(chǎn)生的模型,通過擬合一個與訓(xùn)練樣本的數(shù)據(jù)距離最近的模型(通常為一條曲線),可以實(shí)現(xiàn)對新的測試數(shù)據(jù)基于特征值的預(yù)測.當(dāng)訓(xùn)練數(shù)據(jù)難以分類或人工標(biāo)注類別成本太高時,使用機(jī)器學(xué)習(xí)解決模式識別中的各種問題稱為無監(jiān)督學(xué)習(xí),又稱為歸納性學(xué)習(xí).無監(jiān)督學(xué)習(xí)常見于聚類和數(shù)據(jù)降維,通過循環(huán)和遞減運(yùn)算來減小誤差,達(dá)到分類的目的,K-means 是最常用的聚類方法之一.強(qiáng)化學(xué)習(xí)模型是基于獎勵值學(xué)習(xí)狀態(tài)和動作之間映射的模型,主要應(yīng)用于決策選擇中,如AlphaGO[1]圍棋機(jī)器人的決策.強(qiáng)化學(xué)習(xí)模型根據(jù)動作的獎勵值調(diào)整其權(quán)重,等新的狀態(tài)到來時,采取獎勵值最高的策略.

Fig.1 Classification of machine learning圖1 機(jī)器學(xué)習(xí)分類

1.2 機(jī)器學(xué)習(xí)面臨的安全威脅和攻擊

機(jī)器學(xué)習(xí)的過程由數(shù)據(jù)提供者、機(jī)器學(xué)習(xí)算法及模型訓(xùn)練和機(jī)器學(xué)習(xí)的服務(wù)使用者三方參與.當(dāng)數(shù)據(jù)提供者既提供數(shù)據(jù)又訓(xùn)練和使用模型時,模型和數(shù)據(jù)安全得到一定保障,但往往機(jī)器學(xué)習(xí)的參與方是分離的,因而硬件設(shè)備存儲的安全性、網(wǎng)絡(luò)數(shù)據(jù)傳播的安全性、學(xué)習(xí)算法模型的安全性都是決定機(jī)器學(xué)習(xí)安全性的重要因素.

終端設(shè)備用戶在使用設(shè)備時會產(chǎn)生大量關(guān)于姓名、位置、喜好甚至醫(yī)療記錄等隱私相關(guān)的數(shù)據(jù),這些數(shù)據(jù)從設(shè)備發(fā)出便脫離了數(shù)據(jù)提供者的掌控,因而在機(jī)器學(xué)習(xí)的過程中,數(shù)據(jù)提供者設(shè)備的安全性、機(jī)器學(xué)習(xí)計算方法的可信性、服務(wù)使用者的詢問和計算能力都給數(shù)據(jù)提供者的隱私性帶來隱患.攻擊者除利用存儲和傳輸安全竊取用戶隱私外,還可以作為服務(wù)使用者進(jìn)行詢問攻擊,結(jié)合詢問統(tǒng)計信息和背景知識,對用戶隱私發(fā)動模型提取攻擊、去匿名化攻擊和成員推理攻擊等.

數(shù)據(jù)擁有者在提交數(shù)據(jù)到機(jī)器學(xué)習(xí)計算方法的過程中,攻擊者通過對數(shù)據(jù)進(jìn)行竊取或污染,可以改變模型訓(xùn)練的結(jié)果,降低模型的預(yù)測正確率.當(dāng)攻擊者是服務(wù)使用者時,可以根據(jù)詢問結(jié)果和對模型的背景知識,提取或重構(gòu)模型參數(shù),進(jìn)而通過推理訓(xùn)練數(shù)據(jù)集或構(gòu)造對抗樣本來對模型進(jìn)行多種攻擊.

結(jié)合機(jī)器學(xué)習(xí)的安全威脅,部分文獻(xiàn)[2,3]首先對機(jī)器學(xué)習(xí)中存在的安全問題進(jìn)行了總結(jié)和討論;隨后,文獻(xiàn)[4-11]對更多模型的安全性進(jìn)行了越來越系統(tǒng)的分析和討論.

本文按照機(jī)器學(xué)習(xí)的學(xué)習(xí)和推理兩個階段分析其面臨的攻擊,如圖2 所示.根據(jù)攻擊發(fā)生的邏輯和時序,將機(jī)器學(xué)習(xí)面臨的攻擊分為訓(xùn)練數(shù)據(jù)面臨的數(shù)據(jù)投毒攻擊、測試數(shù)據(jù)面臨的對抗樣本攻擊、訓(xùn)練和測試數(shù)據(jù)的數(shù)據(jù)竊取攻擊和由推理結(jié)果面臨的詢問攻擊帶來的成員測試攻擊、數(shù)據(jù)竊取攻擊、模型提取攻擊.

Fig.2 Attacks on machine learning圖2 機(jī)器學(xué)習(xí)面臨的攻擊

2 機(jī)器學(xué)習(xí)面臨的攻擊

2.1 相關(guān)術(shù)語

首先簡要列出一些在機(jī)器學(xué)習(xí)安全與隱私領(lǐng)域的術(shù)語.

· 對抗樣本(adversarial example):為了讓模型混淆出錯而對原始樣本經(jīng)過精心擾動的樣本.

· 對抗擾動(adversarial perturbation):為使原始樣本稱為對抗樣本而增加的擾動.

· 對抗訓(xùn)練(adversarial training):使用原始訓(xùn)練集和對抗樣本共同訓(xùn)練機(jī)器學(xué)習(xí)模型.

· 敵手(adversary):特指制作對抗樣本的攻擊者.

· 白盒攻擊(write-box attack):攻擊者擁有目標(biāo)模型全部知識的攻擊,包括其參數(shù)值、模型結(jié)構(gòu)、訓(xùn)練方法、訓(xùn)練數(shù)據(jù)等.

· 黑盒攻擊(black-box attack):攻擊者僅擁有模型有限知識的攻擊,例如攻擊者通過在訓(xùn)練階段產(chǎn)生對抗樣本進(jìn)行對抗樣本攻擊.

· 檢測器(detector):檢測樣本是否為對抗樣本的機(jī)制.

· 出錯率(fooling ratio):模型被攻擊后的出錯率.

· 靶向攻擊(targeted attack):指定模型輸出的攻擊,如為對抗樣本指定分類標(biāo)簽等.

· 威脅模型(threat model):模型可能遭受的攻擊方式,例如黑盒攻擊.

· 對抗樣本轉(zhuǎn)移性(transferability):對抗樣本在其生成模型之外的有效性.

· 通用干擾(universal perturbation):使用于任意樣本得到的對抗樣本都能有效使模型出錯的干擾.

2.2 攻擊者分析

攻擊者對機(jī)器學(xué)習(xí)發(fā)動不同攻擊需要不同的訪問權(quán)限和背景知識,因而我們根據(jù)攻擊者能力的不同對其進(jìn)行分析.攻擊者能力的標(biāo)準(zhǔn)包括攻擊者知識、攻擊者目標(biāo)和攻擊者策略這3 個維度[12].

(1) 攻擊者知識.攻擊者知識指攻擊者對目標(biāo)模型的背景知識,包括對訓(xùn)練集的背景知識、對訓(xùn)練集標(biāo)簽的背景知識、對模型算法的背景知識、對模型決策函數(shù)的背景知識、對訓(xùn)練完成的模型的背景知識和對訓(xùn)練結(jié)果的背景知識等;同時包括攻擊者能否修改訓(xùn)練和測試數(shù)據(jù)和能否修改訓(xùn)練數(shù)據(jù)標(biāo)簽等.攻擊者知識決定了攻擊者能夠發(fā)動的攻擊類型.

(2) 攻擊者目標(biāo).攻擊者目標(biāo)指攻擊者要降低模型的性能指標(biāo),包括模型的隱私性指標(biāo)和模型的正確性指標(biāo).模型的隱私性攻擊目標(biāo)指攻擊者根據(jù)其能力推測的信息類型和數(shù)量,如去匿名化和成員推理攻擊是推測用戶身份信息,而模型提取是提取模型參數(shù)信息.模型的正確性攻擊目標(biāo)是攻擊者要改變模型的分類邊界使模型分類出錯,并增大模型最小化的損失函數(shù)使模型出錯率提高.

(3) 攻擊者策略.攻擊者策略指攻擊者發(fā)動攻擊的措施,例如使用何種對抗樣本生成算法進(jìn)行對抗攻擊、通過何種修改手段、修改哪些數(shù)據(jù)發(fā)動污染攻擊等.

2.3 訓(xùn)練數(shù)據(jù)投毒攻擊

訓(xùn)練數(shù)據(jù)投毒攻擊[10,13-17]也稱為訓(xùn)練數(shù)據(jù)污染攻擊,發(fā)生在訓(xùn)練階段,攻擊者具有獲取、修改或創(chuàng)造訓(xùn)練數(shù)據(jù)集的能力,知曉訓(xùn)練數(shù)據(jù)集的標(biāo)簽等背景知識,攻擊目標(biāo)是訓(xùn)練數(shù)據(jù)集,旨在通過修改一定數(shù)量的訓(xùn)練數(shù)據(jù),使模型訓(xùn)練到錯誤的對應(yīng)關(guān)系,從而使模型訓(xùn)練出錯.例如,在在線垃圾郵件過濾模型的訓(xùn)練過程中,通過產(chǎn)生大量投毒郵件,使垃圾郵件判別器無法進(jìn)行正常判斷,或使人臉識別系統(tǒng)出錯[18]等.通過操縱模型輸入[5]、修改訓(xùn)練數(shù)據(jù)[4]或使特征丟失和破壞[19],都能夠發(fā)動投毒攻擊(如圖3 所示).

Fig.3 Data poisoning attack圖3 數(shù)據(jù)投毒攻擊

因?yàn)閿?shù)據(jù)的收集、傳輸途徑不可靠,或進(jìn)入模型前的存儲不安全,攻擊者可以修改訓(xùn)練數(shù)據(jù),對其發(fā)動投毒攻擊,降低模型的正確性.PAC 模型理論[20]可以評估一個機(jī)器學(xué)習(xí)模型能否在一定范圍內(nèi)正確學(xué)習(xí)到預(yù)定內(nèi)容,基于PAC 理論,Kearns[4]指出:對于任意學(xué)習(xí)算法,訓(xùn)練數(shù)據(jù)的修改會影響模型的安全性,要想達(dá)到一定的學(xué)習(xí)準(zhǔn)確率ε,修改訓(xùn)練數(shù)據(jù)的比例β需要滿足β≤ε/(1+ε),即學(xué)習(xí)準(zhǔn)確率與訓(xùn)練數(shù)據(jù)修改比例成反比關(guān)系,被修改數(shù)據(jù)的比例越小,模型的學(xué)習(xí)準(zhǔn)確率越高.數(shù)據(jù)投毒攻擊會修改部分訓(xùn)練數(shù)據(jù)的標(biāo)簽或直接改變部分模型輸入,當(dāng)達(dá)到一定比例時,模型的分類邊界被修改,如圖4 所示,模型的安全性降低.訓(xùn)練數(shù)據(jù)有標(biāo)簽和數(shù)據(jù)兩個部分,因而對訓(xùn)練數(shù)據(jù)的投毒攻擊也可以分為對標(biāo)簽的投毒和對數(shù)據(jù)的投毒.

(1) 標(biāo)簽投毒

攻擊者通過直接修改訓(xùn)練數(shù)據(jù)的標(biāo)簽信息,使訓(xùn)練數(shù)據(jù)對應(yīng)到錯誤的標(biāo)簽,模型學(xué)習(xí)到錯誤的對應(yīng)關(guān)系,在面對新的測試數(shù)據(jù)時偏離正常判斷,準(zhǔn)確率降低.在攻擊者擁有訓(xùn)練數(shù)據(jù)訪問權(quán)時,修改訓(xùn)練數(shù)據(jù)標(biāo)簽是很容易發(fā)動的攻擊.Binggio 等人[21]在SVM 分類訓(xùn)練機(jī)中,通過修改40%的訓(xùn)練數(shù)據(jù)標(biāo)簽,使模型僅有30%的準(zhǔn)確性.Mozaffarikermani 等人[22]對醫(yī)療數(shù)據(jù)標(biāo)簽進(jìn)行修改,大大降低了模型學(xué)習(xí)的準(zhǔn)確性.

Fig.4 Change of classification boundaries by poisoning attack圖4 投毒攻擊改變分類邊界

(2) 數(shù)據(jù)投毒

在訓(xùn)練數(shù)據(jù)進(jìn)入模型之前,攻擊者通過修改原有的訓(xùn)練數(shù)據(jù)或創(chuàng)造新的錯誤的數(shù)據(jù)發(fā)動污染攻擊,使模型的準(zhǔn)確率降低.根據(jù)機(jī)器學(xué)習(xí)模型輸入數(shù)據(jù)的特點(diǎn),可以將學(xué)習(xí)模型分為離線輸入學(xué)習(xí)模型和定時更新在線輸入的學(xué)習(xí)模型.

當(dāng)模型為離線輸入時,Biggio 等人[14]基于測試錯誤有固定公式的SVM 學(xué)習(xí)算法,通過修改其訓(xùn)練數(shù)據(jù),降低了訓(xùn)練精度;Mei 等人[23]針對圖損失訓(xùn)練(包含線性或邏輯回歸或SVM 訓(xùn)練)和連續(xù)輸入的模型,給出了更一般化的污染框架,指出:只要模型符合條件,就能找到最佳的污染方式.

對于在線的或需要定時更新的學(xué)習(xí)模型,Kloft 等人[24]指出:基于模型定時收集訓(xùn)練數(shù)據(jù)的規(guī)律,對新收集的數(shù)據(jù)進(jìn)行污染以降低模型安全性;也指出,可以通過尋找使訓(xùn)練數(shù)據(jù)經(jīng)驗(yàn)平均值差異最大的點(diǎn)來檢測被污染數(shù)據(jù).文獻(xiàn)[25,26]也對在線學(xué)習(xí)模型的新輸入數(shù)據(jù)進(jìn)行了修改,降低了模型的安全性.

當(dāng)攻擊者無權(quán)獲取預(yù)處理數(shù)據(jù),可以間接污染訓(xùn)練數(shù)據(jù)時,Perdisci 等人[27]在蠕蟲簽名生成器的數(shù)據(jù)流中增加擾動,使其修改判別閾值降低簽名識別的準(zhǔn)確性,也屬于數(shù)據(jù)投毒攻擊.

2.4 對抗樣本攻擊

對抗樣本攻擊[6,28,29]的攻擊者具有獲取和修改測試樣本的能力,知曉標(biāo)簽等背景知識,攻擊目標(biāo)是測試數(shù)據(jù)集,旨在通過構(gòu)造對抗樣本,使模型推測結(jié)果出錯.對抗樣本攻擊發(fā)生在推理階段.攻擊者為實(shí)施攻擊而特意構(gòu)造的樣本稱為“對稱樣本”.對抗樣本能夠降低模型正確性,例如使垃圾郵件或惡意文檔逃避檢查,或使分類任務(wù)得到攻擊者的目標(biāo)分類.

對抗樣本攻擊首由Szegedy 等人[5]提出和命名,發(fā)生在模型推理階段,是攻擊者根據(jù)其背景知識通過構(gòu)造對抗樣本,使模型結(jié)果出錯的攻擊.Binggio 等人[12]根據(jù)攻擊者的目標(biāo)、知識和能力提出了攻擊者模型,對攻擊者進(jìn)行了不同的劃分.Papernot 等人[8]根據(jù)攻擊者的目標(biāo)不同,對攻擊者目標(biāo)進(jìn)行了分類.

基于攻擊者能夠獲取的背景知識的不同,對抗樣本攻擊又分為白盒和黑盒兩種:白盒攻擊指攻擊者能夠獲取訓(xùn)練機(jī)制或訓(xùn)練的參數(shù),黑盒攻擊指攻擊者僅能多次查詢或收集訓(xùn)練數(shù)據(jù).白盒攻擊中,攻擊者通過獲取模型的參數(shù)和數(shù)值,使用數(shù)學(xué)方法構(gòu)造對抗樣本,使模型得到攻擊者想要的結(jié)果,使模型安全性降低.黑盒攻擊中,攻擊者通過多次查詢,分析輸入和輸出的對應(yīng)關(guān)系,或通過多次對抗嘗試,修改測試數(shù)據(jù),得到對抗樣本,使模型得到攻擊者想要的結(jié)果,降低模型的安全性.基于攻擊者能否直接修改模型輸入的不同,對抗樣本攻擊又可以分為精致構(gòu)造的對抗樣本攻擊[5]和物理世界的數(shù)據(jù)管道對抗樣本攻擊[30,31].基于攻擊者攻擊目的的不同,對抗樣本攻擊又可以分為對抗樣本造成的逃逸攻擊、對抗樣本造成的靶向錯誤分類攻擊和對抗樣本造成的源/目標(biāo)錯誤分類攻擊[8].按照攻擊者攻擊手段的不同,對抗樣本攻擊又可以分為基于梯度的攻擊(白盒)、基于分?jǐn)?shù)的攻擊(白盒)、基于遷移的攻擊(黑盒)、基于決策的攻擊(黑盒).

對抗樣本攻擊如圖5 所示.

Fig.5 Adversary attack圖5 對抗樣本攻擊

(1) 白盒攻擊

根據(jù)攻擊者想要達(dá)到的目的不同,白盒的對抗樣本攻擊可以分為錯誤分類、源/目標(biāo)對應(yīng)的錯誤分類和靶向錯誤分類[8]這3 種:錯誤分類一般指二分類任務(wù)中,使結(jié)果出錯的攻擊,通常發(fā)生在惡意軟件、郵件或文件的識別學(xué)習(xí)任務(wù)中;源/目標(biāo)對應(yīng)的錯誤分類一般指在多分類標(biāo)簽的分類任務(wù)中,通過優(yōu)化算法修改原始數(shù)據(jù)得到最小修改的對抗樣本,使其通過學(xué)習(xí)模型得到攻擊者指定的錯誤分類,一般發(fā)生在圖像識別的任務(wù)中,對抗樣本能夠得到次級可能性的標(biāo)簽分類;靶向錯誤分類攻擊一般指攻擊者生成的對抗樣本對于人類而言是無意義的,但通過學(xué)習(xí)模型能夠得到攻擊者指定的分類,一般發(fā)生在圖像識別或語音識別中,無意義的圖像和語音得到了明確的分類和識別.

· 錯誤分類攻擊

錯誤分類攻擊也稱逃逸攻擊,攻擊目標(biāo)是二分類的學(xué)習(xí)模型,目的是給訓(xùn)練數(shù)據(jù)或原始數(shù)據(jù)增加擾動,使學(xué)習(xí)到的結(jié)果偏離原始學(xué)習(xí)結(jié)果.Binggio 等人[12]指出:在機(jī)器學(xué)習(xí)中,攻擊者與學(xué)習(xí)者的損失函數(shù)是對抗性的,尋找最小擾動的對抗樣本可以進(jìn)一步轉(zhuǎn)換為最優(yōu)化問題,使用優(yōu)化理論,通過改動最小數(shù)據(jù)量,達(dá)到篡改分類結(jié)果的目的,使惡意郵件逃避檢查,并給出了最優(yōu)化改動的計算公式.Grosse 等人[32]使用文獻(xiàn)[12]中的最優(yōu)化方法進(jìn)行惡意軟件對抗樣本的生成,并指出:在惡意軟件檢測學(xué)習(xí)模型中,輸入數(shù)據(jù)的熵明顯少于圖形分類學(xué)習(xí)的輸入.如何在不改變軟件性能的情況下構(gòu)造對抗樣本,是一個相對困難的問題.惡意軟件檢測系統(tǒng)的分類與圖形分類的區(qū)別在于輸入熵更小,且輸入是離散和受限的.文章提出了能夠降低學(xué)習(xí)模型對改動敏感度的方案,但是只有非常依賴參數(shù)選擇的再次訓(xùn)練(re-training)有明顯效果.

· 源/目標(biāo)對應(yīng)的錯誤分類攻擊

源/目標(biāo)對應(yīng)的錯誤分類攻擊指針對具有特定輸出的特定測試樣本的對抗攻擊,攻擊者針對有特定分類的特定測試樣本進(jìn)行改動,得出明確錯誤分類的對抗樣本.攻擊利用的是機(jī)器學(xué)習(xí)模型在泛化時的缺陷,文獻(xiàn)[5]以針對MNIST 手寫識別數(shù)據(jù)集為例,指出了機(jī)器學(xué)習(xí)模型存在的兩個特點(diǎn).

· 一是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)認(rèn)為,最后一個隱含層的每一個神經(jīng)元代表數(shù)據(jù)的一種語義特征,因而模型通過最大化激活某一神經(jīng)元完成分類.但實(shí)驗(yàn)證明,隨機(jī)的神經(jīng)元組合表現(xiàn)出了相同的特點(diǎn).因而,代表數(shù)據(jù)語義特征的是整個神經(jīng)元激活空間而不是單個的神經(jīng)元.

· 二是機(jī)器學(xué)習(xí)模型存在肉眼不可分辨的微小改動導(dǎo)致結(jié)果不一樣的對抗樣本,作者利用L-BFGS[6]來求解最優(yōu)化問題,計算得到了對抗樣本.

Papernot 等人[8]也以MNIST 數(shù)據(jù)集為例,針對所有的前向DNN 提出了基于雅克比矩陣即前向?qū)?shù)生成的對抗樣本構(gòu)造方法,減少影響的特征數(shù)量,僅改動4.02%輸入數(shù)據(jù),就可達(dá)到97%的攻擊成功率,并給出了輸入和輸出的直接映射.Goodfellow 等人[6]針對文獻(xiàn)[12]中提到的非線性模型易被細(xì)微修改的對抗樣本攻擊的問題,提出即使是線性模型也存在對抗樣本,提出了FGSM 算法.并給出了針對對抗樣本的對抗訓(xùn)練方法(adversarial training),有效降低了欺騙成功率.Moosavidezfooli 等人[33]針對Goodfellow 等人[6]提出的FGSM 算法,提出了計算最小擾動ε的計算方法.Huang 等人[34]針對Goodfellow 等人[6]提出的FGSM 算法,提出了更快尋找擾動的方法,減少攻擊需要添加的擾動.

· 靶向錯誤分類攻擊

靶向錯誤分類攻擊指具有特定錯誤的目標(biāo)輸出的對抗攻擊,攻擊者生成人類無法識別或認(rèn)為是毫無意義的對抗樣本,也可以對已經(jīng)有正確分類的測試樣本進(jìn)行細(xì)微的修改,但卻能夠通過機(jī)器學(xué)習(xí)模型高概率、高可信度地分類到目標(biāo)分類.Nguyen 等人[35]以AlexNet 深度神經(jīng)網(wǎng)絡(luò)為模型,對MNIST 數(shù)據(jù)庫使用進(jìn)化算法和梯度上升算法兩種算法生成具有目標(biāo)分類的圖片,實(shí)驗(yàn)結(jié)果僅有0.94%的出錯率.Carlini 等人[36]指出:經(jīng)由人工產(chǎn)生的人類無法識別的語音片段,可以被機(jī)器識別為指令的音頻.

· 其他情況

在現(xiàn)實(shí)世界中,數(shù)據(jù)從各種攝像頭或傳感器進(jìn)入學(xué)習(xí)模型,攻擊者無法產(chǎn)生細(xì)粒度修改的對抗樣本.在這種條件下,對抗樣本攻擊也是普遍存在的.Smith 等人[37]指出:攻擊者通過多種途徑捕捉合法的人臉圖像,可以使人臉識別系統(tǒng)遭受重放攻擊.Sharif 等人[38]通過對人臉圖像的細(xì)微修改,使機(jī)器混淆無法識別,實(shí)現(xiàn)錯誤分類攻擊.相比于文獻(xiàn)[38],Kurakin 等人[28]通過科學(xué)觀察的方法減少了干擾項(xiàng),使計算更方便,且不固定修改像素的位置,可以少量修改所有像素.Sharif 等人[38]也指出:在通過攝像頭等設(shè)備錄入測試樣本的情境中,捕捉到的鏡片或其他設(shè)備上反射的圖像可以作為對抗樣本使分類結(jié)果出錯,實(shí)現(xiàn)源/目標(biāo)對應(yīng)的錯誤分類攻擊.

(2) 黑盒攻擊

現(xiàn)有的機(jī)器學(xué)習(xí)云服務(wù)平臺多給用戶提供測試用的詢問接口,攻擊者只能通過觀察測試數(shù)據(jù)輸入模型后返回的結(jié)果進(jìn)行攻擊.黑盒攻擊與白盒攻擊不同,攻擊者無法確定要干擾和錯誤分類到的目標(biāo)分類,也無法獲取訓(xùn)練數(shù)據(jù)和模型數(shù)據(jù),因而無法根據(jù)背景知識設(shè)計生成最優(yōu)對抗樣本.最早針對機(jī)器學(xué)習(xí)的黑盒對抗樣本攻擊由Lowd 等人[3]提出,在垃圾郵件過濾器以單詞為變量判別垃圾郵件的條件下,通過多次問詢,給變量增加標(biāo)簽,通過逆向工程(adversarial classifier reverse engineering)和使用成本函數(shù)來獲得垃圾郵件通過過濾器的最小改動,實(shí)現(xiàn)了對抗樣本攻擊.同樣的攻擊模式也發(fā)生在文獻(xiàn)[39,40]中.在回歸機(jī)器學(xué)習(xí)任務(wù)中,Alfeld 等人[41]針對預(yù)測的回歸模型,通過對模型的推理,修改輸入數(shù)據(jù),達(dá)到預(yù)期輸出.

根據(jù)攻擊者的知識,當(dāng)攻擊者的知識不同,黑盒攻擊對模型的影響力也不相同.當(dāng)攻擊者已知模型標(biāo)簽輸出概率時,攻擊僅稍弱于白盒攻擊.Xu 等人[42]針對已知模型的基于內(nèi)容PDFrate[43]和結(jié)構(gòu)Hidost[44]對惡意pdf 進(jìn)行分類的學(xué)習(xí)模型,提出只要向pdf 中植入少量可執(zhí)行代碼就可以實(shí)現(xiàn)攻擊,并給出了基于遺傳編程的隨機(jī)修改惡意軟件生成對抗樣本的方法.Rndic 等人[45]指出:主動防御方法只對特定攻擊防御有效,攻擊者利用其知識可以重建模型和訓(xùn)練數(shù)據(jù),一旦攻擊方法稍有變動,惡意pdf 識別成功率降低,并給出了通過向PDF 文件中增加被pdf renderer 忽略的內(nèi)容發(fā)起攻擊的實(shí)例和實(shí)驗(yàn)報告[46].

(3) 對抗樣本的轉(zhuǎn)移性

對抗樣本攻擊不僅僅局限于攻擊目標(biāo)模型,它的影響面更廣.Papernot 等人[47]指出:對抗樣本具有轉(zhuǎn)移性,即對抗樣本在其生成模型之外的有效性.已知攻擊者通過將自己生成的數(shù)據(jù)輸入模型進(jìn)行分類,并將模型輸出作為標(biāo)簽,可以訓(xùn)練出一個代替模型,并通過代替模型生成對抗樣本.利用轉(zhuǎn)移性,將對抗樣本返回原模型,可以實(shí)現(xiàn)對抗樣本攻擊.Papernot 等人[47]利用轉(zhuǎn)移性發(fā)動對抗樣本攻擊,使原模型達(dá)到82.24%的出錯率.Papernot 等人[48]通過將Amazon 訓(xùn)練的邏輯回歸數(shù)據(jù)庫錯分類到96%,證明利用對抗樣本轉(zhuǎn)移性的黑盒攻擊可以推廣到很多機(jī)器學(xué)習(xí)模型中.

2.5 數(shù)據(jù)竊取攻擊

數(shù)據(jù)竊取攻擊指通過存儲和通信機(jī)制的漏洞、查詢或反演技術(shù)等多種手段竊取機(jī)器學(xué)習(xí)隱私信息(如隱私的訓(xùn)練數(shù)據(jù)、模型的訓(xùn)練方法和訓(xùn)練參數(shù))的攻擊.數(shù)據(jù)竊取攻擊針對機(jī)器學(xué)習(xí)的隱私性,大部分發(fā)生在黑盒攻擊中,因此,攻擊者僅具有竊取部分?jǐn)?shù)據(jù)的能力(如圖6 所示).

訓(xùn)練階段的數(shù)據(jù)竊取攻擊是攻擊者利用數(shù)據(jù)存儲和數(shù)據(jù)傳輸?shù)牟话踩园l(fā)動的攻擊,如經(jīng)由安全信道傳輸?shù)皆贫朔?wù)器的隱私數(shù)據(jù)未經(jīng)加密或采取其他安全措施[8,49,50],被攻擊者竊取.推理階段的數(shù)據(jù)竊取指因?qū)W習(xí)到模型后未及時刪除隱私數(shù)據(jù)或用戶的測試數(shù)據(jù)在進(jìn)入模型前后被攻擊者竊取,如指紋重構(gòu)[51]、移動設(shè)備觸摸手勢重構(gòu)[52]、人臉重放[37]等.

Fig.6 Data stealing attack圖6 數(shù)據(jù)竊取攻擊

2.6 隱私詢問攻擊

詢問攻擊指攻擊者無法獲取訓(xùn)練數(shù)據(jù)和模型數(shù)據(jù),只能通過觀察測試數(shù)據(jù)輸入模型后返回的結(jié)果,即詢問結(jié)果,進(jìn)行計算和推測而發(fā)動的攻擊.主要攻擊類型有3 種:成員推理攻擊、訓(xùn)練數(shù)據(jù)提取攻擊和模型提取攻擊,如圖7 所示.

Fig.7 Querying attack圖7 詢問攻擊

(1) 成員推理攻擊

成員推理攻擊的目標(biāo)是訓(xùn)練數(shù)據(jù)的個體,攻擊者根據(jù)詢問結(jié)果判斷出某個個體是否參與模型訓(xùn)練.成員推理攻擊基于模型提取攻擊、統(tǒng)計的綜合數(shù)據(jù)和有噪聲的真實(shí)數(shù)據(jù)來建立攻擊模型,破壞需要保證訓(xùn)練數(shù)據(jù)隱私性的機(jī)器學(xué)習(xí)模型,Shokri 等人[53]利用成員推理攻擊判斷出某個疾病相關(guān)的數(shù)據(jù)是否參與了模型訓(xùn)練、破壞了模型的隱私性.

(2) 訓(xùn)練數(shù)據(jù)提取攻擊

訓(xùn)練數(shù)據(jù)提取攻擊的目標(biāo)是訓(xùn)練數(shù)據(jù)的條目,是攻擊者利用詢問數(shù)據(jù)與已有知識推測訓(xùn)練數(shù)據(jù)隱私的攻擊.Fredrikson 等人[54]指出:攻擊者利用模型輸出與某些特定屬性的關(guān)聯(lián),可以推測訓(xùn)練數(shù)據(jù)的隱私信息,文章使用模型輸出與人口統(tǒng)計學(xué)信息,在藥物劑量預(yù)測模型中成功恢復(fù)訓(xùn)練數(shù)據(jù)的基因信息.Fredrikson 等人[55]進(jìn)一步指出:模型反演攻擊可以讓攻擊者提取模型輸入,但相比于模型輸入,數(shù)據(jù)與分類的統(tǒng)計信息更具有隱私性.在訓(xùn)練數(shù)據(jù)提取攻擊中,攻擊者利用大量詢問的結(jié)果獲得模型的分類和每個分類輸出的概率,以此創(chuàng)建與模型相似的特征向量,每個特征向量代表某個類別的平均特征向量值,當(dāng)某個類別僅有一個個體時,該個體隱私泄露.如人臉識別模型中,攻擊者可以獲取這個人的人臉信息.

(3) 模型提取攻擊

模型提取攻擊的目標(biāo)是機(jī)器學(xué)習(xí)模型的數(shù)據(jù),指攻擊者利用詢問接口獲得模型的分類與測試輸入輸出數(shù)據(jù),從而重構(gòu)一個與原模型相似的模型的攻擊.Vorobeychik 等人[56]在已知分類和問詢權(quán)限的基礎(chǔ)下,重構(gòu)出了擁有相似訓(xùn)練數(shù)據(jù)量的模型.在已知模型類型、不知模型參數(shù)的情況下,Ateniese 等人[57]通過分析模型可以知道訓(xùn)練數(shù)據(jù)的某些統(tǒng)計屬性,并利用這些統(tǒng)計屬性構(gòu)造一個新的模型,從而進(jìn)一步實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)提取攻擊.Tramer等人[58]指出:依靠詢問接口,僅靠觀察模型推測過程中的輸入輸出,對攻擊者就可以提取模型信息,甚至構(gòu)建一個相似的輔助模型用以進(jìn)行進(jìn)一步的攻擊.

3 安全防御機(jī)制及分析

本節(jié)總結(jié)當(dāng)前針對機(jī)器學(xué)習(xí)針對數(shù)據(jù)投毒攻擊、對抗樣本攻擊、數(shù)據(jù)竊取攻擊和隱私詢問攻擊的防御機(jī)制,并分析這些機(jī)制的優(yōu)缺點(diǎn),如圖8 所示.根據(jù)針對的攻擊不同,現(xiàn)有的安全機(jī)制主要分為正則化、對抗訓(xùn)練、防御精餾、模型隱私改造、加密和擾動.輸入空間的正則化主要針對訓(xùn)練數(shù)據(jù)的污染攻擊,而模型參數(shù)的正則化、對抗訓(xùn)練和防御精餾主要針對推測階段的對抗樣本攻擊.模型隱私改造、加密和擾動主要用來防御由數(shù)據(jù)竊取和詢問攻擊帶來的多種安全問題.

Fig.8 Security attacks and defense mechanisms in machine learning圖8 機(jī)器學(xué)習(xí)中的安全攻擊和防御機(jī)制

3.1 數(shù)據(jù)集和模型正則化

正則化是對機(jī)器學(xué)習(xí)進(jìn)行規(guī)則化的過程,即通過對模型和模型輸入的規(guī)范化操作,降低模型的出錯率.正則化分為對訓(xùn)練數(shù)據(jù)的正則化和對模型的正則化:訓(xùn)練數(shù)據(jù)的正則化可以防御訓(xùn)練數(shù)據(jù)投毒攻擊,而對模型的正則化可以防御對抗樣本攻擊.

(1) 輸入正則化

在模型學(xué)習(xí)能力足夠高而訓(xùn)練數(shù)據(jù)不足時,模型訓(xùn)練容易過擬合,從而在面對新的數(shù)據(jù)時出錯率更高,因而容量足夠的訓(xùn)練數(shù)據(jù)對模型訓(xùn)練至關(guān)重要;同時,在訓(xùn)練數(shù)據(jù)足夠訓(xùn)練模型的情況下,攻擊者可以通過污染訓(xùn)練數(shù)據(jù)的方式降低訓(xùn)練數(shù)據(jù)質(zhì)量,從而使模型訓(xùn)練出錯降低模型的準(zhǔn)確性,因而要保證模型的性能,必須要保證訓(xùn)練數(shù)據(jù)的質(zhì)量.高質(zhì)量的訓(xùn)練數(shù)據(jù)有合理的特征空間和數(shù)據(jù)分布,同時有足夠的數(shù)量.對訓(xùn)練數(shù)據(jù)的正則化可以理解為在保證訓(xùn)練數(shù)據(jù)存儲安全的情況下,提升訓(xùn)練數(shù)據(jù)的質(zhì)量.提升訓(xùn)練數(shù)據(jù)的質(zhì)量稱為數(shù)據(jù)集增強(qiáng),即通過特征提取改變數(shù)據(jù)集的特征空間和數(shù)據(jù)分布,或通過注入噪聲進(jìn)行數(shù)據(jù)擴(kuò)充,從而生成新的訓(xùn)練樣本,創(chuàng)建具有更大容量甚至無限容量的增強(qiáng)數(shù)據(jù)集,從而提升模型的泛化能力.

機(jī)器學(xué)習(xí)認(rèn)為:更多的訓(xùn)練數(shù)據(jù)可以降低模型出錯率,使模型更具泛化能力.因而,擴(kuò)充訓(xùn)練數(shù)據(jù)集是提高模型性能的重要手段.而攻擊者通過修改訓(xùn)練數(shù)據(jù)(例如,在訓(xùn)練數(shù)據(jù)的垃圾郵件中增加某個詞,而在測試數(shù)據(jù)的垃圾郵件中排除這個詞的使用,可以規(guī)避檢查)或測試數(shù)據(jù)(例如,垃圾郵件攻擊者會增加積極的具有隱含意義的詞語來逃避垃圾郵件過濾[40])的分布,就可以達(dá)到投毒攻擊或?qū)箻颖竟舻哪康?這源于模型對未知數(shù)據(jù)不具有魯棒性.

為了防御投毒攻擊,多數(shù)集中式學(xué)習(xí)的防御機(jī)制建立在查找不在預(yù)期輸入域內(nèi)的樣本上[59,60],以提升模型遇到未知數(shù)據(jù)的抵抗能力.Rubinstein 等人[61]指出:規(guī)范訓(xùn)練數(shù)據(jù)分布空間,可以減少投毒攻擊超出模型輸入預(yù)期.Biggio 等人[21]也使用正則化輸入空間降低攻擊者修改訓(xùn)練標(biāo)簽導(dǎo)致的逃逸攻擊.而分布式學(xué)習(xí)的防御機(jī)制建立在查找參與者訓(xùn)練出的不在于期內(nèi)的模型上[62,63].

(2) 模型正則化

模型正則化是利用正則化項(xiàng)對模型參數(shù)和訓(xùn)練方式進(jìn)行規(guī)范化,進(jìn)而提升模型泛化能力的過程.Barreno 等人[64]指出:使用去噪自動編碼器(DAE)可以去除大部分對抗性噪聲,但更小改動的新對抗樣本對去噪自編碼器和深度神經(jīng)網(wǎng)絡(luò)堆疊的網(wǎng)絡(luò)依然攻擊有效.因而提出了深度收縮網(wǎng)絡(luò)(DCN),在損失函數(shù)中加入了平滑度懲罰,即正則化項(xiàng),旨在最小化經(jīng)驗(yàn)風(fēng)險的同時,降低細(xì)微改動對模型輸出的影響,以提高模型對對抗樣本的魯棒性.

· 參數(shù)正則化

模型參數(shù)正則化是利用正則化項(xiàng),使模型參數(shù)滿足某些約束的過程.機(jī)器學(xué)習(xí)中,訓(xùn)練數(shù)據(jù)特征向量對模型輸出的影響受到模型參數(shù)數(shù)值的影響,模型參數(shù)的數(shù)量由特征向量決定,當(dāng)參數(shù)數(shù)值為0 時,代表該特征向量為噪聲特征,模型參數(shù)數(shù)值的大小決定了對應(yīng)特征向量對模型輸出的影響大小.為了達(dá)到正則化的目的,降低數(shù)據(jù)改變對模型輸出的影響,模型訓(xùn)練過程傾向于讓參數(shù)數(shù)值盡可能稀疏(即非零參數(shù)盡可能少),各個參數(shù)數(shù)值盡可能小.

機(jī)器學(xué)習(xí)的損失函數(shù)是模型預(yù)測與真實(shí)結(jié)果的差異值,風(fēng)險函數(shù)是損失函數(shù)的期望值.模型的損失函數(shù)越小,說明模型對訓(xùn)練數(shù)據(jù)學(xué)習(xí)的越充分.為了模型能夠更好地學(xué)習(xí)到訓(xùn)練數(shù)據(jù),需要損失函數(shù)足夠小.為了在保證學(xué)習(xí)足夠充分的同時達(dá)到輸入正則化的目的,同時防止模型過擬合,在損失函數(shù)中加入正則化項(xiàng)λJ(f)來衡量模型的復(fù)雜度.目前常用的正則化項(xiàng)有L0,L1和L2范式.L0范式要求參數(shù)數(shù)值總和要小于某個數(shù)值,L1范式為要求參數(shù)數(shù)值的絕對值總和在一定范圍內(nèi)以保證模型參數(shù)的稀疏性,L2范式要求參數(shù)數(shù)值的平方和在一定范圍內(nèi)以保證模型參數(shù)數(shù)值盡可能小.

· Dropout

Dropout[65]也是模型參數(shù)的一種正則化過程,它改變的不是參數(shù)的數(shù)值,而是參數(shù)的數(shù)量.機(jī)器學(xué)習(xí)的ensemble 方法在提升模型泛化能力的同時帶來了過量的計算代價,Dropout 認(rèn)為,不訓(xùn)練多個模型也可以達(dá)到同樣的效果.即通過在訓(xùn)練期間隨機(jī)丟棄神經(jīng)元及其連接來構(gòu)造簡化的網(wǎng)絡(luò),通過強(qiáng)迫神經(jīng)元和其他隨機(jī)挑選剩下來的神經(jīng)元共同工作,減弱神經(jīng)元之間的聯(lián)合適應(yīng)性,提高模型的泛化能力.而在測試階段,一個簡化的網(wǎng)絡(luò)就可以逼近所有簡化網(wǎng)絡(luò)預(yù)測的平均結(jié)果.實(shí)驗(yàn)表明:Dropout 方法對數(shù)據(jù)集容量要求很高,在大容量數(shù)據(jù)集和增強(qiáng)數(shù)據(jù)集上能夠獲得很好的效果.

3.2 對抗訓(xùn)練機(jī)制

對抗樣本攻擊的產(chǎn)生,是機(jī)器學(xué)習(xí)模型輸入的維度高而模型過于線性導(dǎo)致的,即是模型泛化能力不足,因而無法充分學(xué)習(xí)到訓(xùn)練數(shù)據(jù)和標(biāo)簽的映射關(guān)系.在一定的背景知識下,可以通過添加少量干擾產(chǎn)生對抗樣本來跨越模型的決策邊界,達(dá)到對抗攻擊的目的.為了防御對抗樣本攻擊,除了提升訓(xùn)練數(shù)據(jù)質(zhì)量外,研究從訓(xùn)練數(shù)據(jù)和模型改進(jìn)兩個方面,分別產(chǎn)生了對抗訓(xùn)練和防御精餾等安全模型.

對抗訓(xùn)練指使用對抗模型產(chǎn)生帶有完全標(biāo)注的對抗樣本和合法樣本混合起來對原模型進(jìn)行訓(xùn)練,以提升模型魯棒性的防御機(jī)制.Pinto 等人[66]提出了機(jī)器人互搏模型,一方嘗試抓取物體,另一方嘗試破壞其平衡性,從而使雙方的模型得到優(yōu)化.Kurakin 等人[10]指出:利用傳遞性,可以將小的數(shù)據(jù)庫的對抗樣本訓(xùn)練擴(kuò)展到大數(shù)據(jù)庫的對抗樣本訓(xùn)練.Goodfellow 等人[67]利用對抗訓(xùn)練,將在MNIST 數(shù)據(jù)集上的錯誤識別率從89.4%降到17.9%.Huang 等人[68]通過懲罰錯分類的對抗樣本,增加模型的頑健性.Tramèr 等人[69]提出了聯(lián)合對抗訓(xùn)練(ensemble adversarial training),增加對抗樣本多樣性,但是也提出:在對抗訓(xùn)練中引入所有未知攻擊的對抗樣本是不現(xiàn)實(shí)的,對抗訓(xùn)練的非適應(yīng)性導(dǎo)致對抗訓(xùn)練的局限性.

從對抗樣本存在被提出,研究根據(jù)模型特征提出了L-BFGS[6]、FGSM[35]、DeepFool[33]、Carlini-Wagner[70]等通過多種對抗樣本生成算法,而Xu 等人[42]提出,基于遺傳算法可以不斷產(chǎn)生新的對抗樣本.對抗訓(xùn)練旨在將對抗樣本和正確的標(biāo)簽關(guān)聯(lián)學(xué)習(xí),使模型能夠?qū)W習(xí)到正確的映射關(guān)系.因而尋找更多的對抗樣本生成算法,產(chǎn)生足量的對抗樣本,可以有效抵御對抗樣本攻擊,提高模型性能.

3.3 防御精餾

精餾[71]是通過一個模型的輸出訓(xùn)練另一個模型的機(jī)器學(xué)習(xí)算法,是在保證訓(xùn)練精度的條件下壓縮模型的方法.防御精餾是Papernot 等人[72]在精餾方案的基礎(chǔ)上,通過兩個相同模型之間的訓(xùn)練,達(dá)到梯度掩碼[73],從而增強(qiáng)模型面對對抗樣本的魯棒性的方案.在隨后的研究中,Papernot 等人[74]指出,面對黑盒攻擊防御精餾存在缺陷,并提出了可擴(kuò)展的防御精餾技術(shù).實(shí)驗(yàn)證明:使用防御精餾技術(shù)可以產(chǎn)生輸出表面更平滑的、對擾動不敏感的模型提高模型的頑健性,且能夠?qū)箻颖竟舻某晒β蕪?5%降到不足0.5%.但很快,Carlini[75]就指出了防御精餾存在缺陷,并提出了大量破壞防御精餾安全性的攻擊.

3.4 隱私保護(hù)機(jī)制

數(shù)據(jù)集和模型正則化機(jī)制能夠防御數(shù)據(jù)集投毒攻擊和對抗樣本攻擊;對抗訓(xùn)練機(jī)制能夠提升學(xué)習(xí)模型對對抗樣本的魯棒性;防御精餾能夠提升模型應(yīng)對擾動的能力,提升模型輸出的平滑性.以上3 種方案分別針對數(shù)據(jù)投毒攻擊和對抗樣本攻擊進(jìn)行了防御.而數(shù)據(jù)竊取攻擊和隱私詢問攻擊是針對模型和數(shù)據(jù)的隱私攻擊,通過使用加密、擾動方案,可以在根本上保護(hù)數(shù)據(jù)和模型的隱私,而模型的隱私改造可以使模型以保護(hù)隱私的機(jī)制進(jìn)行學(xué)習(xí).

(1) 加密方案

加密是保障數(shù)據(jù)安全性和隱私性的重要手段,在用戶數(shù)據(jù)進(jìn)入機(jī)器學(xué)習(xí)服務(wù)提供商之前,使用加密手段可以防止因存儲和傳輸?shù)陌踩┒磳?dǎo)致的數(shù)據(jù)竊取攻擊.同態(tài)加密、亂碼電路[76,77]、秘密共享機(jī)制[78,79]和安全處理器機(jī)制是最常使用的加密方法.

考慮到機(jī)器學(xué)習(xí)服務(wù)提供商有竊取和利用用戶隱私的嫌疑,同態(tài)加密技術(shù)[80,81]通過對訓(xùn)練數(shù)據(jù)和模型數(shù)據(jù)的加密實(shí)現(xiàn)了對數(shù)據(jù)隱私的保護(hù),允許用戶直接對密文進(jìn)行相應(yīng)的加法或乘法運(yùn)算,得到數(shù)據(jù)仍是加密的結(jié)果,與對明文進(jìn)行同樣的操作再將結(jié)果加密一樣.使用同態(tài)加密,用戶加密的內(nèi)容到達(dá)機(jī)器學(xué)習(xí)服務(wù)提供商后無法被解密,直接進(jìn)入機(jī)器學(xué)習(xí)模型中,提升了模型的隱私性.同時,通過使用同態(tài)加密保證數(shù)據(jù)安全性不可避免地帶來了效率問題,因此,同態(tài)加密多被應(yīng)用于密文加性計算,而乘法仍在明文進(jìn)行.

亂碼電路是指需要保護(hù)的雙方或多方要獲得某項(xiàng)計算的結(jié)果時,將計算轉(zhuǎn)換為亂碼電路,并將自己的亂碼輸入發(fā)送給另一方,另一方可以根據(jù)電路和收到的亂碼輸入,結(jié)合自己的亂碼輸入獲得計算結(jié)果并分享給發(fā)送方的方法.Bost 等人[81]結(jié)合同態(tài)加密和亂碼電路實(shí)現(xiàn)了超平面決策、樸素貝葉斯和決策樹這3 種經(jīng)典分類機(jī)器學(xué)習(xí)任務(wù).

秘密共享機(jī)制是利用shamir 門限方案的特性,即w個參與者共享一個秘鑰,任意t(門限值)個參與者都能計算出秘鑰的值,而任何t-1 個參與者都無法計算出秘鑰的值.其中,為了共享秘鑰,秘鑰服務(wù)器需秘密地向每一個參與者發(fā)送一部分信息,這些信息稱為共享(share).將秘密共享機(jī)制應(yīng)用在機(jī)器學(xué)習(xí)中,可以使用戶訓(xùn)練的模型通過無共謀的服務(wù)器傳輸,最終通過門限值以上的子模型構(gòu)建新的模型更新.Bonawitz 等人[79]結(jié)合分布式網(wǎng)絡(luò)特征提出了模型加密聚合方案,通過用戶將使用秘密共享秘鑰和用戶私鑰雙重加密的內(nèi)容互相傳遞的方式,在獲得門限值以上的共享后解密得到最終結(jié)果,可實(shí)現(xiàn)高效率、高維度的數(shù)據(jù)加密傳輸計算.但加密聚合方案使得服務(wù)器無法根據(jù)數(shù)值判斷收集到的子模型是否被污染或破壞,使得攻擊者通過攻擊分布式子模型從而破壞全局模型成為可能.如何在加密聚合的環(huán)境下檢測和過濾異常子模型,還沒有很好的解決方案.如何實(shí)時檢測聚合學(xué)習(xí)機(jī)制中的子模型質(zhì)量,是保證全局安全性的關(guān)鍵和重要研究方向.

安全處理器機(jī)制是通過硬件設(shè)備的安全性保證計算安全性的方案,其中,SGX(Intel software guard extensions)[82]是Intel 公司的軟件安全性增強(qiáng)技術(shù),通過一組CPU 指令,隔離應(yīng)用程序代碼和數(shù)據(jù)的特定可信區(qū)域,為開發(fā)人員提供安全可信空間,使敏感數(shù)據(jù)或代碼免受外部的干擾或檢查.

(2) 擾動方案

針對推理階段的詢問攻擊帶來的各種安全問題,安全防御機(jī)制的重點(diǎn)在于保證輸入數(shù)據(jù)和模型數(shù)據(jù)的隱私性.對于本文第2 節(jié)中提出的機(jī)器學(xué)習(xí),容易遭受成員推理攻擊.這是因?yàn)榫哂心硞€特征向量的個體在攻擊者具有一定背景知識的條件下,容易被去匿名化.在數(shù)據(jù)庫系統(tǒng)中,Dwork 等人[83]針對這種問題提出了差分隱私機(jī)制,為數(shù)據(jù)庫分析算法提供了很好的隱私標(biāo)準(zhǔn).對于一種隨機(jī)化算法M,其分別作用于兩個僅相差一個樣本的相鄰數(shù)據(jù)集,差分隱私形式化的定義為

差分隱私指出:通過合理的數(shù)學(xué)計算和對數(shù)據(jù)添加干擾噪聲的方式保護(hù)所發(fā)布數(shù)據(jù)中潛在的用戶隱私信息,可以使攻擊者在擁有完美背景知識的情況下,通過詢問攻擊無法識別單個個體.基于差分隱私的這種特性,將其應(yīng)用于機(jī)器學(xué)習(xí)的數(shù)據(jù)和模型保護(hù)中,可以防止成員推理攻擊,也可以在分布式學(xué)習(xí)中保證原始數(shù)據(jù)的隱私性.根據(jù)應(yīng)用位置的不同,可以分為輸入擾動、模型擾動和輸出擾動.

輸入擾動中,Dwork 等人[84]和Yu 等人[85]將差分隱私引入訓(xùn)練數(shù)據(jù)中,對模型的輸入進(jìn)行擾動,提高了隱私性.模型擾動中,Hardt[86]、Abadi[87]和Song 等人[88]將差分隱私引入模型算法中,對模型的梯度進(jìn)行擾動,提高了隱私性.Geyer 等人[89]將差分隱私引入分布式的隨機(jī)梯度下降算法的梯度干擾中.輸出擾動中,Chaudhuri 等人[90]引入差分隱私對模型的輸出進(jìn)行擾動,減低了攻擊者成員推理攻擊和模型反演攻擊的可能性.Chaudhuri 等人[91]對文獻(xiàn)[90]進(jìn)行了改進(jìn),提出了使用差分隱私的經(jīng)驗(yàn)風(fēng)險最小化算法.Kung 等人[92]提出了將差分隱私應(yīng)用于機(jī)器學(xué)習(xí)中可用性高隱私性高最優(yōu)化算法.

(3) 模型的隱私改造

針對機(jī)器學(xué)習(xí)隱私的攻擊多發(fā)生在模型訓(xùn)練之前的訓(xùn)練數(shù)據(jù)攻擊和訓(xùn)練之后的黑盒攻擊中,攻擊者通過直接盜取訓(xùn)練數(shù)據(jù)發(fā)動隱私攻擊,或通過詢問接口多次詢問,反推訓(xùn)練數(shù)據(jù)和模型隱私,從而重構(gòu)訓(xùn)練數(shù)據(jù)和模型.加密和擾動作為經(jīng)典的安全機(jī)制,雖然提升了機(jī)器學(xué)習(xí)的安全性,但也因計算復(fù)雜度和處理數(shù)據(jù)量的限制無法應(yīng)用于所有機(jī)器學(xué)習(xí)算法中.為了應(yīng)對多種使用環(huán)境和攻擊類型,對模型結(jié)構(gòu)的改造和創(chuàng)新能夠在提高效率的同時滿足安全性要求.

大多數(shù)機(jī)器學(xué)習(xí)服務(wù)提供商采用集中式學(xué)習(xí)的方案,集中收集用戶數(shù)據(jù)進(jìn)行計算并提供給用戶詢問接口.盡管用戶可以在上傳過程中進(jìn)行加密,但服務(wù)提供商進(jìn)行學(xué)習(xí)和計算之前這些數(shù)據(jù)都將變成原始數(shù)據(jù).這種方案使服務(wù)提供商無條件獲取用戶隱私.隨著分布式網(wǎng)絡(luò)的大范圍應(yīng)用,分布式機(jī)器學(xué)習(xí)應(yīng)運(yùn)而生.Hitaj 等人[93]利用生成對抗網(wǎng)絡(luò)對聯(lián)合分布式訓(xùn)練深度學(xué)習(xí)模型發(fā)起攻擊,提高網(wǎng)絡(luò)的隱私性.這使得任意參加訓(xùn)練的用戶都可能成為敵手,生成與其他參與者訓(xùn)練數(shù)據(jù)無限逼近的假樣本來竊取他人隱私.此外,Papernot 等人[94]在精餾方法的基礎(chǔ)上提出了PATE 模型,如圖9 所示.精餾是使用一個教師模型的輸出訓(xùn)練另一個學(xué)生模型以進(jìn)行模型壓縮的方法,而PATE 模型通過將集中式模型分解成多個老師模型最終聚合成學(xué)生模型的方式,降低了模型的敏感度,通過給聚合過程增加差分隱私(differential privacy)[83]的方式提升了隱私性,并通過隱蔽前置操作,僅向用戶提供學(xué)生模型詢問接口的方式降低了模型反演攻擊的可能,提升了安全性.

Fig.9 PATE model圖9 PATE 模型

當(dāng)然,提升硬件和軟件系統(tǒng)的安全性,也是提升機(jī)器學(xué)習(xí)隱私性的重要部分.Ohrimenko 等人[95]提出了可以讓多方安全地進(jìn)行模型訓(xùn)練的安全處理器.區(qū)塊鏈技術(shù)除了在商業(yè)領(lǐng)域的廣泛使用,也被用來進(jìn)行隱私數(shù)據(jù)的保護(hù)[96]和機(jī)器學(xué)習(xí)的參數(shù)存儲[97]等.

安全攻擊和防御機(jī)制見表1.

Table 1 Security attacks and defense mechanisms表1 安全攻擊和防御機(jī)制

4 安全機(jī)器學(xué)習(xí)研究挑戰(zhàn)和方向

在機(jī)器學(xué)習(xí)前后使用加密和擾動機(jī)制,也為機(jī)器學(xué)習(xí)的安全性提供了保障.但是計算復(fù)雜度和可操作數(shù)據(jù)量,使其無法大范圍的使用.同時,針對多種學(xué)習(xí)模型的對抗樣本攻擊,不同的應(yīng)對方案通常只對特定攻擊防御有效,在模型面對新的攻擊形式時依然脆弱.對抗樣本的轉(zhuǎn)移性有利有弊,在可以進(jìn)行對抗訓(xùn)練的同時,也能對新的模型產(chǎn)生干擾.Dropout 和PATE 機(jī)制是機(jī)器學(xué)習(xí)結(jié)構(gòu)的創(chuàng)新,在一定程度上解決了機(jī)器學(xué)習(xí)的安全和隱私問題.但新的問題應(yīng)運(yùn)而生,例如,復(fù)雜的算法結(jié)構(gòu)會降低學(xué)習(xí)效率、同時提升對訓(xùn)練數(shù)據(jù)的容量和維度要求,而訓(xùn)練數(shù)據(jù)的容量和維度本身就是機(jī)器學(xué)習(xí)面臨的問題.出于對計算成本和安全收益的考量,如何平衡性能與安全,是所有安全機(jī)制面臨的問題.除了已知的數(shù)據(jù)污染攻擊、對抗樣本攻擊和詢問攻擊等,新的攻擊形式正在產(chǎn)生,亟需研究更有力的安全機(jī)制.

綜上,現(xiàn)有的機(jī)器學(xué)習(xí)安全機(jī)制還有很大的發(fā)展空間,總結(jié)未來的研究方向如下.

(1) 數(shù)據(jù)和模型的異常檢測

一方面,訓(xùn)練數(shù)據(jù)的數(shù)量不足會導(dǎo)致模型過擬合,使模型面對新數(shù)據(jù)時出錯率更高;訓(xùn)練數(shù)據(jù)的投毒攻擊會降低數(shù)據(jù)質(zhì)量,從而降低模型的正確性.因而,保證模型的性能必須保證訓(xùn)練數(shù)據(jù)的數(shù)量與質(zhì)量.為了保證訓(xùn)練數(shù)據(jù)的數(shù)量,合理地收集、整理和擾動是擴(kuò)充數(shù)據(jù)集的重要途徑;為了保證訓(xùn)練數(shù)據(jù)及的質(zhì)量,合理的數(shù)據(jù)清洗和正則化策略可以減少和防御訓(xùn)練數(shù)據(jù)的投毒攻擊.

另一方面,在多個子模型共同參與學(xué)習(xí)的機(jī)器學(xué)習(xí)模型中,攻擊者通過偷渡或破壞少數(shù)模型的訓(xùn)練結(jié)果發(fā)動對整體模型的投毒攻擊,影響模型的正確性.為了防止模型參與方出錯,Bonawitz 等人[79]結(jié)合分布式網(wǎng)絡(luò)的特征提出了模型的加密聚合方案,保證了模型參與方在傳輸中的安全和隱私,但同樣給聚合方檢測和過濾異常子模型帶來了困難,無法防御參與方發(fā)動的異常攻擊.因此,如何在保證傳輸安全的條件下檢測和過濾異常子模型,是保證全局安全性的關(guān)鍵和研究方向.

(2) 對抗樣本生成算法和模型輸出平滑性

通過在模型訓(xùn)練過程中不斷將對抗樣本和正確的標(biāo)簽作為訓(xùn)練數(shù)據(jù),對抗訓(xùn)練機(jī)制能夠提高模型應(yīng)對對抗樣本的魯棒性.L-BFGS[6]、FGSM[35]、DeepFool[33]、Carlini-Wagner[70]、Xu[42]這些對抗樣本生成算法不僅被用來發(fā)動對抗樣本攻擊,其生成的對抗樣本也被用在對抗訓(xùn)練中.尋找和發(fā)現(xiàn)更多的對抗樣本生成算法以擴(kuò)充對抗訓(xùn)練的訓(xùn)練數(shù)據(jù)集,是機(jī)器學(xué)習(xí)應(yīng)對對抗樣本攻擊的重要手段.

對抗樣本生成算法不斷更新,研究者無法及時將對抗樣本應(yīng)用到對抗訓(xùn)練中.為了應(yīng)對新興攻擊手段,防御精餾可以提高模型對細(xì)微數(shù)據(jù)改動的魯棒性,提高模型輸出的平滑性,一定程度上防御對抗樣本攻擊.為了提升模型應(yīng)對新的對抗樣本的能力,更多平滑輸出的方法是重要的研究方向.

(3) 模型隱私性提升

對機(jī)器學(xué)習(xí)的隱私攻擊多發(fā)生在推理階段的黑盒詢問攻擊中,攻擊者通過多次詢問反推訓(xùn)練數(shù)據(jù)和模型隱私,從而重構(gòu)訓(xùn)練數(shù)據(jù)和模型數(shù)據(jù).為保證集中式機(jī)器學(xué)習(xí)的數(shù)據(jù)隱私,PATE[94]模型在精餾的基礎(chǔ)上,通過對多個教師模型進(jìn)行擾動聚合,保證了單個模型輸出的隱私,從而防御攻擊者對數(shù)據(jù)的去匿名化攻擊.而同態(tài)加密、零知識證明、差分隱私等機(jī)制也廣泛應(yīng)用于分布式學(xué)習(xí)中,在帶來隱私性的同時,多種加密和擾動方案帶來的計算代價和安全問題仍需解決.因此,尋找更安全高效的加密和擾動算法以及隱私保護(hù)模型是未來的研究方向.