DFSL：基于細(xì)粒度共享層激勵(lì)機(jī)制的深度聯(lián)邦學(xué)習(xí)算法

張浩宇，巫朝霞（通信作者）

（新疆財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與數(shù)據(jù)科學(xué)學(xué)院 新疆 烏魯木齊 830012）

0 引言

聯(lián)邦學(xué)習(xí)的本質(zhì)是一種分布式機(jī)器學(xué)習(xí)技術(shù)，旨在保護(hù)用戶(hù)數(shù)據(jù)隱私的前提下通過(guò)協(xié)同訓(xùn)練模型，使得每個(gè)參與方的局部模型能夠從其他參與方的模型中受益，從而不斷提升整體模型的性能。［1］至今聯(lián)邦學(xué)習(xí)已經(jīng)應(yīng)用到了各個(gè)領(lǐng)域，如工業(yè)物聯(lián)網(wǎng)領(lǐng)域［2］、醫(yī)療領(lǐng)域［3］、無(wú)線(xiàn)通信領(lǐng)域［4］、金融領(lǐng)域［5］等。 對(duì)于聯(lián)邦學(xué)習(xí)的研究，眾多學(xué)者都致力于開(kāi)發(fā)聯(lián)邦學(xué)習(xí)算法，以支持機(jī)器學(xué)習(xí)模型的有效性。 例如2020 年Liu 等［6］采用了深度神經(jīng)網(wǎng)絡(luò)，引入聯(lián)邦遷移學(xué)習(xí)（federal transfer learning，F(xiàn)TL）來(lái)改進(jìn)數(shù)據(jù)聯(lián)合下的統(tǒng)計(jì)建模。 FTL 允許在不侵犯用戶(hù)隱私的情況下共享知識(shí)，并實(shí)現(xiàn)跨領(lǐng)域傳輸補(bǔ)充知識(shí)，使目標(biāo)領(lǐng)域能夠利用源領(lǐng)域的豐富標(biāo)簽構(gòu)建靈活有效的模型。 該框架對(duì)現(xiàn)有模型結(jié)構(gòu)進(jìn)行了最低程度的修改，并提供了與非隱私保護(hù)遷移學(xué)習(xí)相同的準(zhǔn)確性。 不同于前面的學(xué)者，為了在不侵犯用戶(hù)隱私的前提下，實(shí)現(xiàn)多方之間協(xié)作構(gòu)建機(jī)器學(xué)習(xí)模型的目標(biāo)，Cheng 等［7］于2021 年提出了一種名為SecureBoost 的新型無(wú)損隱私保護(hù)樹(shù)增強(qiáng)系統(tǒng)，采用梯度提升決策樹(shù)的方法進(jìn)行設(shè)計(jì)。 該系統(tǒng)具備多方共同進(jìn)行訓(xùn)練的能力，并且能夠在不泄露用戶(hù)數(shù)據(jù)隱私的條件下，達(dá)到與非隱私保護(hù)方法相當(dāng)?shù)臏?zhǔn)確率。 然而上述大多研究都沒(méi)有考慮到聯(lián)邦學(xué)習(xí)涉及具有異構(gòu)環(huán)境的參與者。

為此，2020 年Lu 等［8］提出了一種名為隱私保護(hù)異步聯(lián)邦學(xué)習(xí)機(jī)制（privacy?preserving asynchronous federated learning mechanism，PAFLM ）的隱私保護(hù)異步聯(lián)邦學(xué)習(xí)機(jī)制，該機(jī)制使得多個(gè)邊緣節(jié)點(diǎn)能夠在不共享其私有數(shù)據(jù)的情況下進(jìn)行聯(lián)邦學(xué)習(xí)。 首先，該機(jī)制能夠在訓(xùn)練過(guò)程中有效壓縮節(jié)點(diǎn)和參數(shù)服務(wù)器之間的通信，同時(shí)保持模型的準(zhǔn)確性。 其次，該機(jī)制還允許節(jié)點(diǎn)在學(xué)習(xí)過(guò)程中的加入或退出，從而更好地適應(yīng)邊緣移動(dòng)設(shè)備的異構(gòu)環(huán)境。 2022 年Nguyen 等［9］明確指出同步聯(lián)邦學(xué)習(xí)在并行訓(xùn)練的數(shù)百個(gè)客戶(hù)端上無(wú)法有效擴(kuò)展，會(huì)導(dǎo)致模型性能和訓(xùn)練速度的回報(bào)遞減問(wèn)題。 為應(yīng)對(duì)此問(wèn)題，他們提出了一種名為FedBuff 的全新緩沖異步聚合方法，該方法綜合了同步和異步聯(lián)邦學(xué)習(xí)的最佳特性。 研究證明，F(xiàn)edBuff 方法不僅比同步和異步聯(lián)邦學(xué)習(xí)更高效，還能與諸如安全聚合和差分隱私等隱私保護(hù)技術(shù)相兼容。 2023 年，Zhang 等［10］對(duì)異步聯(lián)邦學(xué)習(xí)方法可能導(dǎo)致訓(xùn)練精度下降和收斂速度變慢的問(wèn)題進(jìn)行了研究。 他們提出了一種名為T(mén)imelyFL 的異構(gòu)感知異步聯(lián)邦學(xué)習(xí)框架，該框架具有自適應(yīng)訓(xùn)練功能，會(huì)根據(jù)每個(gè)客戶(hù)端的實(shí)時(shí)資源能力來(lái)調(diào)整本地訓(xùn)練工作量，以確保更多可用的客戶(hù)端能夠參與全局更新而不會(huì)過(guò)時(shí)。 與Nguyen 等［9］提出的FedBuff 方法相比，TimelyFL 在參與率、收斂率和測(cè)試準(zhǔn)確性方面都有所提高。

此外，在聯(lián)邦學(xué)習(xí)中，如果沒(méi)有合適的激勵(lì)機(jī)制，很多數(shù)據(jù)所有者會(huì)不愿意貢獻(xiàn)自己本地模型的參數(shù)，積極地參與全局模型的訓(xùn)練。 特別是當(dāng)數(shù)據(jù)所有者是企業(yè)的情況時(shí)，因?yàn)檫@些數(shù)據(jù)往往可以給企業(yè)帶來(lái)一定的經(jīng)濟(jì)收益，因此如何評(píng)估不同數(shù)據(jù)所有者的貢獻(xiàn)對(duì)設(shè)計(jì)激勵(lì)機(jī)制至關(guān)重要。 Yang 等［11］在2023 年認(rèn)為激勵(lì)機(jī)制上公平性與帕累托（Pareto）效率之間存在沖突。 為了解決該問(wèn)題，他們提出了一種將shapely 值與帕累托效率優(yōu)化相結(jié)合的激勵(lì)機(jī)制。 該機(jī)制引入了第三方監(jiān)督收益分配，并根據(jù)是否達(dá)到帕累托最優(yōu)選擇對(duì)參與方進(jìn)行獎(jiǎng)懲。 在達(dá)到帕累托最優(yōu)的情況下，根據(jù)Shapely 值法進(jìn)行獎(jiǎng)勵(lì)分配；反之，則進(jìn)行處罰。 不同于前面的學(xué)者以數(shù)據(jù)質(zhì)量為導(dǎo)向計(jì)算貢獻(xiàn)從而設(shè)計(jì)激勵(lì)機(jī)制方案，Zhan 等［12］采用訓(xùn)練數(shù)據(jù)的數(shù)量作為計(jì)算客戶(hù)貢獻(xiàn)度的指標(biāo)，并利用Stackelberg 博弈的概念描述了參數(shù)服務(wù)器和客戶(hù)之間的交互。 在完全信息共享的場(chǎng)景下，他們推導(dǎo)出了納什均衡解，并針對(duì)缺乏先驗(yàn)信息的場(chǎng)景，設(shè)計(jì)了一種基于深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）的聯(lián)邦學(xué)習(xí)激勵(lì)機(jī)制。

以上研究從本地?cái)?shù)據(jù)異構(gòu)、梯度保護(hù)、優(yōu)質(zhì)客戶(hù)端選擇、通信成本和算力資源等角度分別研究了基于深度聯(lián)邦學(xué)習(xí)框架下的隱私保護(hù)問(wèn)題，且已取得了較大的成果。 對(duì)于一個(gè)基于深度學(xué)習(xí)的聯(lián)邦框架而言，其核心模塊是深度學(xué)習(xí)網(wǎng)絡(luò)，共享參數(shù)往往是分布在不同的層，共享參數(shù)梯度的計(jì)算以及全局模型對(duì)共享參數(shù)的廣播也是基于共享層的。 故細(xì)粒度共享層的適當(dāng)激勵(lì)，能夠快速地判斷共享參數(shù)對(duì)全局模型收斂的貢獻(xiàn)大小，從而指導(dǎo)算法設(shè)計(jì)人員優(yōu)化深度學(xué)習(xí)模型。 基于此，本文提出基于細(xì)粒度共享層激勵(lì)機(jī)制的深度聯(lián)邦學(xué)習(xí)算法（deep federated learning algorithm based on fine?grained shared layer incentive mechanism，DFSL），該算法的主要貢獻(xiàn)如下：

（1）采用N 組本地變量實(shí)現(xiàn)對(duì)不同共享層的加權(quán)，實(shí)現(xiàn)自適應(yīng)的共享層參數(shù)更新，同時(shí)本地梯度上傳時(shí)，基于這N 組共享實(shí)現(xiàn)對(duì)梯度的隱私保護(hù)；

（2）本文提出了基于余弦相似度的客戶(hù)端選擇方法，將各客戶(hù)端上傳的梯度進(jìn)行余弦相似度計(jì)算得到距離，然后使用裁剪的方法隨機(jī)去除部分相似度過(guò)小的梯度，實(shí)現(xiàn)優(yōu)質(zhì)客戶(hù)端梯度的選擇；

（3）本文提出的算法在CIFAR－10 以及MNIST 兩個(gè)數(shù)據(jù)集上的召回率以及F1 值均達(dá)到了最優(yōu)。 在CIFAR－10 數(shù)據(jù)集上召回率以及F1 值分別提升了3.73%以及2.12%；在 MNIST 數(shù)據(jù)集上分別提升了 1.99% 以及2.10%。

1 相關(guān)理論

1.1 聯(lián)邦學(xué)習(xí)基本框架

聯(lián)邦學(xué)習(xí)框架基本組成部件如下：

（1）本地模型。 本地模型也稱(chēng)客戶(hù)端模型，主要由計(jì)算資源、聯(lián)邦框架下的機(jī)器學(xué)習(xí)模型、通信接口組成；本地模型以分布式的方式圍繞全局服務(wù)器部署，且擁有私有數(shù)據(jù)集，各本地模型的私有數(shù)據(jù)集不進(jìn)行共享。

（2）全局模型。 全局模型作為中心服務(wù)器，主要功能是安全聚合分布式客戶(hù)端上傳的梯度，然后將共享參數(shù)廣播至各客戶(hù)端。

（3）隱私保護(hù)。 聯(lián)邦框架下，隱私保護(hù)主要有兩個(gè)層面：數(shù)據(jù)層面、參數(shù)層面。 數(shù)據(jù)層面即使用加密算法實(shí)現(xiàn)對(duì)數(shù)據(jù)的硬加密，保證數(shù)據(jù)的本地存儲(chǔ)安全；參數(shù)層面即使用加密或差分的方法將共享參數(shù)進(jìn)行等同變換，既保護(hù)了原始數(shù)據(jù)的隱私安全，也不妨礙聯(lián)邦學(xué)習(xí)過(guò)程中對(duì)真實(shí)數(shù)據(jù)分布的學(xué)習(xí)。

（4）安全聚合。 聯(lián)邦基本框架下梯度聚合方式有兩種：同步梯度聚合、異步梯度聚合。 前者要求所有客戶(hù)端均上傳完梯度后才進(jìn)行聚合；后者不需要等待所有的客戶(hù)端上傳梯度，在合適的時(shí)機(jī)就開(kāi)展梯度聚合，能夠有效地避免因客戶(hù)端掉線(xiàn)而產(chǎn)生的漫長(zhǎng)等待問(wèn)題。

（5）共享參數(shù)下發(fā)。 全局服務(wù)器在迭代更新自身參數(shù)的過(guò)程中，會(huì)將自身參數(shù)通過(guò)廣播或者選擇的方式分發(fā)給本地模型，本地模型使用這些參數(shù)更新自身參數(shù)，直至收斂。

聯(lián)邦學(xué)習(xí)的基本框架如圖1 所示。

圖1 聯(lián)邦學(xué)習(xí)方法基本框架

由圖1 可知：各本地模型數(shù)據(jù)集可以是獨(dú)立同分布（independent and identically distributed，IID），也可以是非獨(dú)立同分布（non?independent and identically distributed，Non?IID），數(shù)據(jù)集一旦分配完成之后，各本地模型之間就不再共享私有數(shù)據(jù)集。 各本地模型將本地的參數(shù)梯度計(jì)算出來(lái)之后傳遞至梯度池，由梯度池進(jìn)行臨時(shí)存儲(chǔ)。

圖1 中，梯度池N 表示共享參數(shù)個(gè)數(shù)，每一個(gè)共享參數(shù)均有獨(dú)立的內(nèi)存，當(dāng)達(dá)到聚合條件時(shí)開(kāi)始聚合，聚合方式如式（1）所示。 式（1）中，k表示第k個(gè)共享參數(shù)，B表示批次大小，表示第k個(gè)共享參數(shù)聚合后的梯度，δ是形式化的梯度保護(hù)函數(shù)，x是私有參數(shù)。 對(duì)客戶(hù)端來(lái)說(shuō)，私有參數(shù)是不共享的參數(shù)，θ是共享參數(shù)集合，梯度基于共享參數(shù)計(jì)算得到，j表示聯(lián)邦學(xué)習(xí)迭代的第j個(gè)輪次。

由于客戶(hù)端數(shù)據(jù)劃分存在兩種方式，故對(duì)應(yīng)這兩種方式下，數(shù)據(jù)劃分公式分別如式（2）和式（3）所示。 其中，參數(shù)S表示本地客戶(hù)端的個(gè)數(shù)，Di表示第i個(gè)客戶(hù)端的私有數(shù)據(jù)集， ‖Di‖ 表示數(shù)據(jù)集Di的規(guī)模，D表示全局?jǐn)?shù)據(jù)集。

式（2）是放回式抽樣，產(chǎn)生S個(gè)私有數(shù)據(jù)集，且存在i，j，使得Di∩Dj≠Φ。 式（3）是不放回抽樣，即所有的本地客戶(hù)端樣本均不相交，并集為全集D。

1.2 隱私保護(hù)

隱私保護(hù)是聯(lián)邦學(xué)習(xí)的主要特性之一。 聯(lián)邦學(xué)習(xí)過(guò)程中存在頻繁的參數(shù)共享和傳遞，存在參數(shù)泄露和惡意客戶(hù)端的虛假梯度共享。 因此數(shù)據(jù)隱私保護(hù)對(duì)于聯(lián)邦學(xué)習(xí)至關(guān)重要。

數(shù)據(jù)隱私保護(hù)主要體現(xiàn)在兩個(gè)方面：對(duì)樣本數(shù)據(jù)進(jìn)行隱私保護(hù)；對(duì)客戶(hù)端和服務(wù)器端的內(nèi)部數(shù)據(jù)變換結(jié)果進(jìn)行隱私保護(hù)。 實(shí)現(xiàn)數(shù)據(jù)隱私保護(hù)的具體實(shí)施方法有以下兩種：基于同態(tài)加密、 數(shù)據(jù)加密標(biāo)準(zhǔn)（data encryption standard，DES） 等密碼學(xué)加密手段、 基于差分隱私（differential privacy，DP）的隱私保護(hù)。

（1）基于密碼學(xué)的數(shù)據(jù)隱私保護(hù)。 數(shù)據(jù)集加密對(duì)硬盤(pán)要求高，且需要更高的通信帶寬，加密算法如式（4）所示。

由式（4）可知，原始樣本用矩陣W表示，維度大小為M×N，j，k分別表示當(dāng)前矩陣的行號(hào)和列號(hào)，數(shù)值wj，k被加密成長(zhǎng)度為R的向量，其數(shù)據(jù)規(guī)模是原來(lái)的RM＋N倍?？梢?jiàn)，通信鏈路傳輸此種矩陣時(shí)，需要消耗大量的通信帶寬和算力資源。

（2）基于DP 的隱私保護(hù)。 基于DP 的隱私保護(hù)的核心算法主要包括：基于高斯噪聲的差分、基于拉普拉斯函數(shù)的差分。 前者適用于指數(shù)的數(shù)據(jù)隱私保護(hù)，后者適用于一般數(shù)據(jù)的隱私保護(hù)。 基于拉普拉斯函數(shù)的差分方法的隱私保護(hù)算法基本形式如式（5）所示。

式（5）中可看出，基于拉普拉斯函數(shù)以及當(dāng)前梯度生成差分項(xiàng)結(jié)合當(dāng)前梯度形成新的梯度值，得到新的梯度。成為候選梯度，被全局模型進(jìn)行聚合，更新共享參數(shù)。 參數(shù)γ的作用是標(biāo)定差分前后梯度的敏感度。且滿(mǎn)足如下關(guān)系：（1）當(dāng)γ＝0 時(shí)，差分項(xiàng)為0，原始梯度未進(jìn)行任何隱私保護(hù)；（2） 0＜γ→0 時(shí)差分項(xiàng)隨著γ增大而逐漸增大，與▽j，k的差異在一個(gè)合理的范圍內(nèi)時(shí)，隱私保護(hù)恰到好處；如果與▽j，k的差異很小，那么隱私保護(hù)力度仍有待加強(qiáng)；（3）γ→1 時(shí)差分項(xiàng)隨著γ增大而逐漸增大，與▽j，k的差異越來(lái)越大且明顯。 拉普拉斯函數(shù)基本公式如下：

2 基于細(xì)粒度共享層激勵(lì)機(jī)制

本文提出了一種基于細(xì)粒度共享層激勵(lì)機(jī)制的隱私保護(hù)算法：DFSL。 接下來(lái)本文將分別介紹算法DFSL的基本框架、原理以及對(duì)比實(shí)驗(yàn)。 為方便對(duì)算法描述的需要，現(xiàn)將后續(xù)將要使用到的參數(shù)匯總?cè)绫? 所示。

表1 參數(shù)列表

2.1 DFSL 算法基本架構(gòu)

DFSL 算法的基本架構(gòu)如圖2 所示。 圖2 主要由3 個(gè)模塊組成。 分別是：多組本地模型、全局客戶(hù)端、梯度隊(duì)列容器。 為簡(jiǎn)單起見(jiàn)，每個(gè)本地模型均只包含私有數(shù)據(jù)集以及內(nèi)置同構(gòu)深度學(xué)習(xí)模型。 同構(gòu)深度學(xué)習(xí)模型見(jiàn)圖2 的“DFSL 模型”模塊。

圖2 DFSL 算法基本架構(gòu)

DFSL 算法的聯(lián)邦執(zhí)行過(guò)程如下：

Round－1：本地模型首先使用私有數(shù)據(jù)集訓(xùn)練自身內(nèi)置神經(jīng)網(wǎng)絡(luò)Netk，其次計(jì)算共享參數(shù)的梯度，使用μk作為梯度激勵(lì)因子給原始梯度增加差分噪聲，最后將變換后的梯度上傳至梯度容器。 在此過(guò)程中，梯度激勵(lì)過(guò)程如式（7）所示。

從式（7）中可看出，本文算法將每一層的激勵(lì)矩陣與基于拉普拉斯差分項(xiàng)的乘積作為對(duì)應(yīng)梯度的差分項(xiàng)。 由于激勵(lì)矩陣μj使用sigmoid 函數(shù)激活，故能夠保證差分項(xiàng)的非線(xiàn)性。

由于μj的初始值為全1 矩陣，DFSL 算法收斂過(guò)程中，μj矩陣逐漸向著最優(yōu)值收斂，且均值在0 ～1 之間，故，，▽j，k） 。

Round－2：異步梯度聚合。 考慮到客戶(hù)端的算力和信道，采用異步的方式實(shí)現(xiàn)梯度聚合。 設(shè)置閾值，當(dāng)梯度容器Gr收集的梯度數(shù)目達(dá)到λ時(shí)，全局模型一次性清空Gr，計(jì)算共享參數(shù)的平均梯度，然后進(jìn)行聚合。 具體過(guò)程如算法1 所示。

算法1：梯度聚合

輸出：Gr*

客戶(hù)端計(jì)算共享參數(shù)梯度**／

Round－3：共享參數(shù)傳播。 全局服務(wù)器更新完自身參數(shù)后，將共享參數(shù)分享至參與訓(xùn)練的本地模型，各本地模型通過(guò)共享參數(shù)更新本地網(wǎng)絡(luò)。

從圖2 中可看出，本地模型與全局模型之間是通過(guò)共享參數(shù)進(jìn)行耦合，共享參數(shù)越多，耦合得越緊密。 DFSL 算法基本框架滿(mǎn)足以下幾點(diǎn)：

（1）不同本地模型之間不建立通信，禁止共享私有數(shù)據(jù)。

（2）全局模型在廣播共享參數(shù)時(shí)，只廣播至與其建立梯度鏈接的本地模型，未建立通信鏈接的本地模型物理上無(wú)法收到全局模型的共享參數(shù)。

（3）共享參數(shù)被異步更新，已經(jīng)被使用過(guò)的共享參數(shù)梯度將不再被使用。

2.2 DFSL 算法的同構(gòu)網(wǎng)絡(luò)

圖2 中的DFSL 模型即為DFSL 算法的同構(gòu)網(wǎng)絡(luò)。 該網(wǎng)絡(luò)主要由3 部分組成：

（1）基礎(chǔ)卷積。 基礎(chǔ)卷積的作用是使用若干個(gè)卷積模塊實(shí)現(xiàn)對(duì)原始樣本的變換和降維。 基礎(chǔ)卷積的基本構(gòu)造為兩個(gè)平行的卷積網(wǎng)絡(luò)，經(jīng)過(guò)兩層卷積之后進(jìn)行了特征圖的融合。

（2）殘差模塊。 殘差模塊主要由3 個(gè)殘差Block 組成，殘差模塊具體形式如圖3 所示。

圖3 殘差模塊

（3）全連接（fully connected，F(xiàn)C）層。 本文算法主要有兩個(gè)級(jí)聯(lián)的全連接層，由于全連接層輸入時(shí)殘差網(wǎng)絡(luò)的輸出，為了避免全連接層矩陣太過(guò)龐大，故設(shè)置兩個(gè)全連接層，減少全連接層矩陣規(guī)模。 為更進(jìn)一步描述圖2 的同構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)，現(xiàn)將圖2 的網(wǎng)絡(luò)結(jié)構(gòu)描述如表2所示。

表2 DFSL 算法同構(gòu)深度學(xué)習(xí)模型參數(shù)

假設(shè)輸入樣本規(guī)模為B× 28 × 28 ×3，網(wǎng)絡(luò)基本結(jié)構(gòu)如表2 所示：

3 對(duì)比實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本文所使用的數(shù)據(jù)集為CIFAR?10、MNIST 圖像數(shù)據(jù)集，這2 個(gè)數(shù)據(jù)集將會(huì)在后文介紹。 本文提出的算法可在GPU 快速部署運(yùn)行，與其他算法在GPU 上進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)硬件配置如表3 所示。 實(shí)驗(yàn)超參數(shù)設(shè)置如表4所示。

表3 實(shí)驗(yàn)硬件條件

表4 實(shí)驗(yàn)條件設(shè)置

3.2 數(shù)據(jù)集

本文算法與對(duì)比算法在多個(gè)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，本文所使用的數(shù)據(jù)集的基本信息如表5 所示。

表5 實(shí)驗(yàn)數(shù)據(jù)集的基本信息

表6 對(duì)比算法以及評(píng)估指標(biāo)

式（8）中，Um，d指第m 個(gè)客戶(hù)端的數(shù)據(jù)集，‖D‖ 是全局?jǐn)?shù)據(jù)集D 的規(guī)模。

因?yàn)楸疚牡纳疃葘W(xué)習(xí)算法引入了差分隱私機(jī)制所以選用作為對(duì)比的算法也需要引入該機(jī)制，由表7 可知，本文所選用的對(duì)比算法有三種分別是ResNet?Block3 ＋DP、BiLSTM?CNN＋DP、CNN ＋DP。 其中ResNet?Block3 ＋DP 是結(jié)合了ResNet 的殘差網(wǎng)絡(luò)結(jié)構(gòu)以及差分隱私機(jī)制的一種深度學(xué)習(xí)算法；BiLSTM?CNN＋DP 是一種結(jié)合了雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（bidirectional LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）并應(yīng)用了差分隱私DP 技術(shù)的算法；CNN＋DP 是一種使用了卷積神經(jīng)網(wǎng)絡(luò)和差分隱私技術(shù)的算法。

表7 2 個(gè)數(shù)據(jù)集上的準(zhǔn)確率實(shí)驗(yàn)結(jié)果匯總 %

使用的4 種準(zhǔn)確率計(jì)算過(guò)程如式（9）所示。

其中，TP 是真陽(yáng)例，F(xiàn)P 是假陽(yáng)例，F(xiàn)N 是假陰例，TN是真陰例。

3.3 實(shí)驗(yàn)

實(shí)驗(yàn)的評(píng)估指標(biāo)分別是Accuracy、F1、Precision、Recall。 測(cè)試過(guò)程中收斂時(shí)步數(shù)以及在4 個(gè)評(píng)估指標(biāo)上的實(shí)驗(yàn)結(jié)果匯總?cè)绫? 所示。

從本文算法在2 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果可看出，本文實(shí)驗(yàn)具有較好的魯棒性，4 種評(píng)估指標(biāo)下的實(shí)驗(yàn)結(jié)果均較高。 為驗(yàn)證本文提出的DFSL 算法對(duì)圖片數(shù)據(jù)集的有效性，本文算法與目前已有的算法實(shí)驗(yàn)結(jié)果對(duì)比如表8 所示。 從表8 可看出，本文所提算法DFSL 在CIFAR?10、MNIST 等2 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果優(yōu)于其他算法在原始數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。

表8 與其他算法的準(zhǔn)確率對(duì)比實(shí)驗(yàn)結(jié)果 %

為進(jìn)一步量化DFSL 算法相較于其他對(duì)比算法在以上兩個(gè)數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率提升情況，在2 個(gè)數(shù)據(jù)集上評(píng)估指標(biāo)提升匯總?cè)绫? 所示。

表9 與其他算法的對(duì)比提升率結(jié)果 %

從表8 和表9 可看出，以F1 為評(píng)估指標(biāo)條件下，在CIFAR－10 數(shù)據(jù)集上F1 值最大提升2.12%、最小提升0.13%；在Mnist 數(shù)據(jù)集F1 值最大提升2.10%、最小提升0.92%；本文算法實(shí)驗(yàn)準(zhǔn)確率完全超過(guò)CNN ＋DP 以及BiLSTM?CNN＋DP 算法。

基于以上對(duì)比結(jié)果，本文算法在對(duì)比指標(biāo)上的單個(gè)對(duì)比算法上的提升率均為正，實(shí)驗(yàn)表明本文算法具有一定的優(yōu)勢(shì)。

由于本文算法使用了基于自適應(yīng)差分方法對(duì)梯度進(jìn)行了激勵(lì)，為進(jìn)一步比較本文算法與其他算法在收斂時(shí)間上的優(yōu)勢(shì)，將收斂時(shí)間匯總，如表10 所示。

表10 與其他算法的收斂時(shí)間對(duì)比結(jié)果

從表10 可看出，本文算法雖然使用了較多的卷積模塊，但是自適應(yīng)參數(shù)隨著訓(xùn)練的持續(xù)進(jìn)行，得到了快速的收斂，使得最終算法在收斂時(shí)間上達(dá)到了最少的步數(shù)，相對(duì)于對(duì)比算法，本文算法在收斂步數(shù)上有較大優(yōu)勢(shì)。

4 結(jié)論

本文提出了DFSL算法分別對(duì)CIFAR?10、MNIST 進(jìn)行了預(yù)處理，使用激勵(lì)函數(shù)實(shí)現(xiàn)對(duì)梯度的快速隱私處理。 基于此，本文算法與對(duì)比算法在數(shù)據(jù)集上的實(shí)驗(yàn)表明，DSFL算法具有更高的準(zhǔn)確率，且優(yōu)于其他算法。 從評(píng)估指標(biāo)對(duì)比結(jié)果來(lái)看，在CIFAR?10、MNIST 兩個(gè)圖像數(shù)據(jù)集上有更高的準(zhǔn)確率。 后續(xù)將嘗試使用聚類(lèi)的方式對(duì)優(yōu)質(zhì)梯度進(jìn)行定向選擇，提高對(duì)樣本特征提取性能，在更多的數(shù)據(jù)集上進(jìn)行驗(yàn)證實(shí)驗(yàn)。