面向數(shù)據(jù)安全治理的聯(lián)邦學習模型投毒DCR防御機制

黃湘洲 彭長根,3 譚偉杰,3 李 震

1(公共大數(shù)據(jù)國家重點實驗室(貴州大學) 貴陽 550025)2(貴州大學計算機科學與技術學院 貴陽 550025)3(貴州大學貴州省大數(shù)據(jù)產(chǎn)業(yè)發(fā)展應用研究院 貴陽 550025)4(貴州大學大數(shù)據(jù)與信息工程學院 貴陽 550025)(729375115@qq.com)

數(shù)字經(jīng)濟時代的核心生產(chǎn)要素是數(shù)據(jù)，海量數(shù)據(jù)帶來巨大價值的同時也蘊藏著風險，尤其是大數(shù)據(jù)和人工智能的深度應用，使得數(shù)據(jù)安全形勢日益復雜且充滿挑戰(zhàn).針對模型、算法和數(shù)據(jù)的攻擊日益劇增，風險威脅不斷增強，危害范圍急速擴大，影響程度日益加深，防護難度顯著提升.安全風險不僅包括外部數(shù)據(jù)安全威脅，例如通過網(wǎng)絡爬蟲大量抓取數(shù)據(jù)、使用勒索病毒加密數(shù)據(jù)敲詐贖金、植入木馬病毒來竊取數(shù)據(jù)、分析泄露數(shù)據(jù)進行撞庫攻擊等；還包括內(nèi)部數(shù)據(jù)安全風險，例如運維人員因個人原因惡意破壞數(shù)據(jù)、內(nèi)部人員竊取機密數(shù)據(jù)、研發(fā)人員在系統(tǒng)中設置后門等，數(shù)字經(jīng)濟時代的數(shù)據(jù)安全形勢呈現(xiàn)出新特點、新模式.數(shù)據(jù)安全是數(shù)字經(jīng)濟發(fā)展的保障，也是數(shù)據(jù)價值實現(xiàn)的前提，數(shù)據(jù)安全不僅關系到數(shù)據(jù)本身，還與信息安全、網(wǎng)絡安全、國家安全息息相關.因此加強數(shù)據(jù)安全治理與健全和完善數(shù)據(jù)安全治理體系已刻不容緩，同時也能夠有效促進數(shù)字經(jīng)濟的平穩(wěn)快速發(fā)展.

數(shù)據(jù)安全治理體系包括技術體系、標準和法規(guī)等多維度組織體系.其中數(shù)據(jù)安全技術體系建設包括數(shù)據(jù)資產(chǎn)梳理、數(shù)據(jù)分類分級、數(shù)據(jù)訪問控制、數(shù)據(jù)加密、數(shù)據(jù)備份保護、隱私數(shù)據(jù)保護、數(shù)據(jù)水印和溯源、數(shù)據(jù)安全銷毀、數(shù)據(jù)安全計算等.聯(lián)邦學習作為人工智能安全的新技術模式，能夠在各個節(jié)點的數(shù)據(jù)在不出本地的情況下進行聯(lián)合模型訓練，通過不共享本地數(shù)據(jù)而共享模型參數(shù)，實現(xiàn)數(shù)據(jù)的可用不可見功能，同時在保障數(shù)據(jù)隱私安全的前提下實現(xiàn)數(shù)據(jù)共享與應用，破解“數(shù)據(jù)孤島”問題，以新的技術模式促進數(shù)據(jù)安全治理技術的實現(xiàn).

聯(lián)邦學習在大規(guī)模實際應用中面臨著各種安全攻擊的挑戰(zhàn)，較為典型的是數(shù)據(jù)投毒攻擊和模型投毒攻擊[1-2].數(shù)據(jù)投毒攻擊向節(jié)點添加惡意樣本或錯誤樣本，而模型投毒攻擊則通過控制少數(shù)節(jié)點，向服務器更新錯誤或者惡意的參數(shù)，即可以達到影響全局模型性能與收斂的效果.聯(lián)邦學習中的模型投毒問題在2018年由Bagdasaryan等人[3]首先提出，同時提出了一種新的模型替換方法來進行攻擊，驗證了該攻擊方法在標準的聯(lián)邦學習任務(如圖像分類和單詞預測)中的有效性.2019年Fang等人[4]對模型投毒拜占庭聯(lián)邦學習進行了系統(tǒng)研究，該攻擊方法能夠操縱受損節(jié)點上的本地模型參數(shù)，使得全局模型具有較大的測試錯誤率.2021年Zhou等人[5]提出了一種基于聯(lián)邦學習的深度模型投毒攻擊方法.利用目標函數(shù)中的正則項，將惡意神經(jīng)元注入神經(jīng)網(wǎng)絡的冗余空間中，該方法在實現(xiàn)較高攻擊成功率的同時能夠保持一定的隱身性.

針對聯(lián)邦學習面臨的模型投毒攻擊威脅形勢，越來越多的人開始關注模型投毒防御、保護模型參數(shù)安全的研究.2018年Bhagoji等人[6]提出了基于損失的模型投毒檢測方法.中心節(jié)點將來自某個節(jié)點的更新添加到全局模型的當前狀態(tài)，如果得到的模型驗證精度遠遠低于聚合所有其他更新得到的模型驗證精度，則服務器可以將更新標記為異常.2018年Fung等人[7]率先評估了聯(lián)邦學習在面對模型投毒攻擊時的脆弱性，隨后提出了一種新的防御檢測方法.該方法并不限制攻擊者的預期數(shù)量，對客戶端和數(shù)據(jù)的假設也更少.2020年Sun等人[8]提出了局部差分隱私聚合機制.該機制能夠減少模型通信輪次，達到較高的全局模型訓練效果.同年Naseri等人[9]提出了局部和中央差異隱私機制.該機制對敵手的攻擊具有較好的防御效果，能夠有效降低攻擊精度.2020年Song等人[10]提出了一種無監(jiān)督域自適應聯(lián)邦算法.該算法能夠保證半誠實的中心服務器和惡意第三方環(huán)境下的安全性.

目前的一些防御方法通常能做到檢測攻擊行為并進行防御，但無法解決攻擊行為已對全局模型造成的損害與影響.針對該問題，本文提出一種動態(tài)緩沖可回調(diào)(dynamic cacheable revocable, DCR)模型投毒防御機制.該機制通過設置動態(tài)閾值，中心節(jié)點在每輪聚合參數(shù)之前先計算該輪次的閾值，包括各個節(jié)點在測試集上準確率的閾值和鄰近節(jié)點距離的閾值，同時使用緩沖期機制和回調(diào)機制，相較于傳統(tǒng)的防御方法特別是基于損失的模型投毒檢測方法，在達到防御效果的同時可減少模型遭受的損害.

1 基礎知識

數(shù)據(jù)安全治理技術體系中的一個重要內(nèi)容就是數(shù)據(jù)安全計算技術.數(shù)據(jù)安全計算技術能夠使得數(shù)據(jù)在隱私得到保護的情況下參與計算，發(fā)揮數(shù)據(jù)效用，這類數(shù)據(jù)安全計算技術在保障了數(shù)據(jù)計算安全性的同時滿足了數(shù)據(jù)應用和安全合規(guī)的需求.聯(lián)邦學習是數(shù)據(jù)安全計算中的關鍵技術，能夠在多個節(jié)點協(xié)作使用數(shù)據(jù)的過程中避免各節(jié)點本地數(shù)據(jù)產(chǎn)生泄露的風險.充分發(fā)揮各節(jié)點本地數(shù)據(jù)的價值，保護數(shù)據(jù)安全，實現(xiàn)數(shù)據(jù)安全治理.

聯(lián)邦學習在具體的模型訓練過程中，各個參與方節(jié)點并不需要將各自的本地數(shù)據(jù)上傳至中心節(jié)點，而是上傳共享模型參數(shù)，最終訓練出一個全局模型，這樣既保護了本地數(shù)據(jù)隱私與安全，也發(fā)揮了本地數(shù)據(jù)的效用，達到了數(shù)據(jù)安全治理的效果.聯(lián)邦學習能夠保證最終的全局模型GFed的性能VFed和集中式機器學習訓練出的模型GSum的性能VSum之間的差距足夠小，即:

|VFed-VSum|<ε,

(1)

其中ε為任意小的正量值[11-12].

圖1 聯(lián)邦學習的訓練過程

第1步：各節(jié)點上傳參數(shù)至中心節(jié)點：

(2)

第2步：中心節(jié)點進行參數(shù)聚合，得到當前狀態(tài)的全局模型[17]：

(3)

(4)

第3步：中心節(jié)點將經(jīng)過聚合的參數(shù)(即全局參數(shù))發(fā)送給各節(jié)點，各節(jié)點使用該參數(shù)在本地進行該輪次的本地模型訓練，其中ηt為t輪次時的學習率，λ為防止過擬合的正則化參數(shù)，?l為損失函數(shù)的梯度[18]：

(5)

(6)

第4步：循環(huán)以上3步，直到全局模型收斂或者達到最大訓練次數(shù)，此時中心節(jié)點得到一個最終的全局模型：

Pc→GFed.

(7)

第5步：中心節(jié)點將最終的全局模型發(fā)送給各個節(jié)點[19-20]：

(8)

2 DCR防御機制

聯(lián)邦學習在數(shù)據(jù)安全治理體系下扮演著重要角色，是數(shù)據(jù)安全治理技術體系中的數(shù)據(jù)安全計算核心技術.關于聯(lián)邦學習中的模型投毒攻擊問題，目前的一些防御方法無法解決攻擊者的攻擊行為，已經(jīng)對全局模型造成一定損害與影響.針對該問題，本文提出了DCR防御機制，下面介紹攻擊者的基本假設以及防御機制的具體運行算法.

2.1 基本假設

1) 攻擊者的目標.假定攻擊者的目標是盡可能阻止全局模型收斂，或者使得全局模型收斂在一個壞的局部最小值[21].

2) 攻擊者的能力.假定攻擊者控制了聯(lián)邦學習系統(tǒng)中的某個節(jié)點，可以上傳惡意參數(shù)更新進行模型投毒攻擊，但攻擊者對中心節(jié)點的聚合算法并不了解，對其他節(jié)點的情況也不了解，攻擊者控制的節(jié)點不與其他節(jié)點串通，也沒有其他合作伙伴交換信息[22].

2.2 DCR防御機制算法

基于以上條件，DCR防御機制總體算法如算法1所示：

算法1.DCR防御機制.

① 中心節(jié)點Pc初始化模型參數(shù)ω0，并將ω0廣播給各個參與訓練的節(jié)點;

② FOR 全局模型迭代更新輪次t= 1,2…

DO

③Pc存儲當前輪次的全局模型參數(shù);

④Pc隨機選取節(jié)點總數(shù)N的一個子集Ct

(Ct≤N);

⑤ FOR 所有節(jié)點Pi(i∈Ct)并行地 DO

⑦Pi將更新后的模型參數(shù)上傳至Pc;

⑧ END FOR

⑨Pc計算當前輪次閾值s;

⑩Pc對所有Pi上傳的本地參數(shù)進行計算與比較;

中心節(jié)點在每一輪次的迭代中會存儲當前輪次的全局模型參數(shù)，在對接收到的各個節(jié)點的本地模型參數(shù)更新進行聚合之前先計算當前輪次的動態(tài)閾值，動態(tài)閾值s的計算公式如下：

(9)

(10)

(11)

該防御機制主要有3個特點：

1) 動態(tài)閾值s.由于s是每一輪在對所有本地模型參數(shù)進行聚合之前計算出來的，敵手無法先驗地了解防御機制，提高了敵手的攻擊難度；

2) 緩沖期k.傳統(tǒng)的基于損失的模型投毒防御方法為了達到較好的防御效果，通常在某個節(jié)點的本地更新出現(xiàn)1次異常那么該節(jié)點就會被拋棄，然而由于機器學習尤其是深度學習的黑盒以及不可解釋的性質(zhì)，某個節(jié)點可能僅僅這一輪次表現(xiàn)不好，但以后可能一直表現(xiàn)良好.傳統(tǒng)的方法可能會將并不是模型投毒節(jié)點，而僅僅是某輪次表現(xiàn)不好的節(jié)點拋棄.設置一個k輪的緩沖期能夠有效降低良性節(jié)點被“誤殺”的風險，同時模型投毒攻擊通常是持續(xù)進行的，惡意節(jié)點攻擊行為的識別率也能保證.

3) 回調(diào)機制，通常意義上的模型投毒防御方法所能做到的一般在檢測或者刪除惡意節(jié)點，但這通常是模型投毒攻擊已經(jīng)發(fā)生，全局模型已經(jīng)受到影響之后，對于惡意節(jié)點攻擊行為對全局模型所造成的“污染”與損失并沒有太多辦法.回調(diào)機制的設置能夠減少全局模型所遭受的負面影響，能夠在聯(lián)邦學習全局模型遭受攻擊的情形下仍能保證模型有一個較好的性能.

3 仿真分析

實驗仿真所采用的聯(lián)邦學習開源框架是TensorFlowFederated(TFF)；實驗仿真環(huán)境是18.04.1-Ubuntu,Intel?Xeon?CPU E5-2678 v3@2.50 GH,2.50 GHz RAM 64.0 GB；數(shù)據(jù)集采用MNIST.本文分別使用DCR機制和基于損失的模型投毒防御方法來防御模型投毒攻擊，對比模型在測試集上隨著迭代輪次變化的損失函數(shù)(loss function)和準確率(accuracy)變化.實驗參數(shù)設置為N=10，k=5，實驗結果如圖2和圖3所示.

圖2 損失函數(shù)對比

圖3 準確率對比

攻擊者的模型投毒攻擊行為顯著損害了全局模型的性能，而基于損失的模型投毒防御方法雖然有一定的防御效果，但是攻擊者的模型投毒攻擊行為對全局模型所造成的損害已經(jīng)存在，最終全局模型的收斂效果不太理想.采用DCR模型投毒防御機制后，模型的損失函數(shù)與在測試集上的準確率相較于基于損失的模型投毒防御方法均表現(xiàn)更好，全局模型的損失函數(shù)更小，模型的準確率更高.DCR機制在實現(xiàn)防御效果的同時，能夠較好地降低攻擊行為造成的損害，有效保障聯(lián)邦學習全局模型的安全與性能，實現(xiàn)數(shù)據(jù)安全治理技術體系下的數(shù)據(jù)安全計算.

4 結束語

數(shù)據(jù)投毒防御是數(shù)據(jù)安全治理的一個重要技術，本文針對聯(lián)邦學習中模型投毒攻擊對全局模型的影響，提出了一種DCR模型投毒防御機制.該機制主要有3個特點：動態(tài)閾值、緩沖期、可回調(diào)，提高了敵手的攻擊難度，降低了良性節(jié)點被“誤殺”的風險，減少了全局模型所遭受的模型投毒攻擊負面影響，有效提升了聯(lián)邦學習系統(tǒng)的安全性，保護了模型的性能與數(shù)據(jù)安全.實驗仿真驗證了該機制的效果，為數(shù)據(jù)安全治理下的數(shù)據(jù)安全計算提供了一種思路.未來的研究方向是綜合考慮數(shù)據(jù)安全治理體系下聯(lián)邦學習面臨的數(shù)據(jù)安全威脅與挑戰(zhàn)，能有效應對多種攻擊與風險行為，同時保障防御性能與數(shù)據(jù)安全，充分發(fā)揮數(shù)據(jù)效用，實現(xiàn)數(shù)據(jù)安全計算，達到良好的數(shù)據(jù)安全治理效果.下一步將繼續(xù)拓展人工智能中數(shù)據(jù)安全治理技術研究，包括訓練數(shù)據(jù)的驗證和決策結果評估等，以及提升虛假數(shù)據(jù)偽造與合成和對抗樣本攻擊的防御技術能力等研究，建立機器學習等數(shù)據(jù)安全治理技術保障體系.