基于三元聯(lián)邦學(xué)習(xí)的車聯(lián)網(wǎng)數(shù)據(jù)協(xié)同學(xué)習(xí)與通信優(yōu)化研究

摘 "要： 隨著汽車互聯(lián)技術(shù)的普及，聯(lián)邦學(xué)習(xí)已成為解決數(shù)據(jù)隱私安全問題的重要手段。然而，與此相伴的成員推理攻擊和通信成本仍有待解決和改善。文中提出采用聯(lián)邦差分隱私方法以防御成員推理攻擊，并引入了三元梯度技術(shù)和模型壓縮以進(jìn)一步降低通信成本。在差分隱私實驗中，通過比較不同高斯噪音分布的方差，發(fā)現(xiàn)與傳統(tǒng)的差分隱私相比，聯(lián)邦差分隱私更接近于無隱私保護(hù)方案的準(zhǔn)確率，特別是當(dāng)[C]gt;1時效果最好。在三元梯度實驗中，觀察到在數(shù)據(jù)集MNIST、Cifar10、Cifar100、SVHN上，訓(xùn)練梯度分別降低了93.33%、93.56%、93.60%和93.74%，這表明三元梯度可以更有效地降低通信成本。在層敏感度實驗中，發(fā)現(xiàn)在rate=85%、90%、95%時的準(zhǔn)確率與未壓縮時（rate=100%）的準(zhǔn)確率相差無幾，進(jìn)一步證明所提方法為解決成員推理攻擊和降低通信成本的有效性。

關(guān)鍵詞： 三元梯度； 三元聯(lián)邦學(xué)習(xí)； 車聯(lián)網(wǎng)； 通信效率； 聯(lián)邦差分隱私； 模型壓縮

中圖分類號： TN91?34； TP301.6 " " " " " 文獻(xiàn)標(biāo)識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）15?0026?08

Research on Internet of Vehicles data cooperative learning and communication optimization based on tripartite federated learning

LI Jiaheng， WU Qinmu

（School of Electrical Engineering， Guizhou University， Guiyang 550025， China）

Abstract： With the popularization of automotive connectivity technology， federated learning has become an important means of addressing data privacy and security issues. However， accompanying member inference attacks and communication costs remain to be improved. In this paper， a federated differential privacy method is proposed to defend against member inference attacks， and the tripartite gradient technology and model compression are introduced to further reduce communication costs. The differential privacy experiment is performed. The variances of different Gaussian noise distributions are compared. It is found that the accuracy rate of federated differential privacy is closer to that of the scheme without privacy protection （especially when [C]gt;1） in comparison with the traditional differential privacy. It is observed in the tripartite gradient experiment that on the datasets MNIST， Cifar10， Cifar100 and SVHN， the percentage reduction of the training gradient reaches 93.33%， 93.56%， 93.60% and 93.74%， respectively， which indicates that the tripartite gradients can reduce communication costs more effectively. In the layer sensitivity experiment， it is found that the accuracy rate at rate=85%， rate=90% and rate=95% is almost the same as that when uncompressed （rate=100%）. It is proved that the proposed method is effective in defending against member inference attacks and reducing communication costs.

Keywords： tripartite gradient; tripartite federated learning; Internet of Vehicles; communication efficiency; federated differential privacy; model compression

0 "引 "言

近年來，隨著智能城市的不斷進(jìn)步與發(fā)展，車聯(lián)網(wǎng)技術(shù)也從理論變?yōu)楝F(xiàn)實。而在車聯(lián)網(wǎng)不斷進(jìn)步的同時，一些問題也逐漸顯現(xiàn)出來，比如集中式數(shù)據(jù)的學(xué)習(xí)更易導(dǎo)致數(shù)據(jù)泄露等安全問題。為了解決此問題，不少專家學(xué)者開始就數(shù)據(jù)學(xué)習(xí)方法進(jìn)行了研究，其中聯(lián)邦學(xué)習(xí)以其分布式訓(xùn)練方式作為一種機(jī)器學(xué)習(xí)方法，它只共享本地模型更新，不交換實際數(shù)據(jù)而備受青睞。文獻(xiàn)[1]提出了一種基于聯(lián)邦學(xué)習(xí)的車牌識別框架（FedLPR），用于5G支持的車輛互聯(lián)網(wǎng)（IoV），使用聯(lián)邦學(xué)習(xí)在個人移動設(shè)備上訓(xùn)練模型，而不是服務(wù)器，以保護(hù)用戶隱私；文獻(xiàn)[2]提出了一個動態(tài)聯(lián)邦學(xué)習(xí)框架，允許智能車輛（Smart Vehicles， SVs）在最小化數(shù)據(jù)交換和隱私泄露的情況下參與學(xué)習(xí)過程。

現(xiàn)有的聯(lián)邦學(xué)習(xí)參數(shù)隱私保護(hù)方案主要包括差分隱私（DP）、同態(tài)加密（HE）、安全多方計算（SMC）等。文獻(xiàn)[3]采用加性同態(tài)加密技術(shù)來保護(hù)訓(xùn)練過程中的數(shù)據(jù)隱私，但該方法基于所有參與節(jié)點(diǎn)都是可靠節(jié)點(diǎn)的強(qiáng)烈假設(shè)。此外，基于SMC方案的通信和計算開銷是非常昂貴的，而差分隱私對計算和通信開銷的影響較小。文獻(xiàn)[4]提出了一種在訓(xùn)練過程中保護(hù)用戶隱私的方法。通過在模型更新中加入差分隱私機(jī)制，確保單個用戶的數(shù)據(jù)處理對最終模型的影響微乎其微。

在聯(lián)邦學(xué)習(xí)場景下訓(xùn)練模型與集中式訓(xùn)練一樣都會產(chǎn)生顯著的模型參數(shù)冗余。在大部分深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中，僅使用很少的權(quán)值就可達(dá)到與原來網(wǎng)絡(luò)相近的訓(xùn)練效果，這與文獻(xiàn)[5]有相似之處。這種網(wǎng)絡(luò)權(quán)重思想因其既減少了傳輸開銷，又能防止攻擊者獲取完整數(shù)據(jù)來反演攻擊反推數(shù)據(jù)，備受大量學(xué)者歡迎[6?8]。

在聯(lián)邦學(xué)習(xí)中數(shù)據(jù)需通過本地訓(xùn)練后上傳至服務(wù)器，因此其本地與服務(wù)器之間的數(shù)據(jù)傳輸性能需進(jìn)一步優(yōu)化。為了降低通信成本、提高通信效率，三元梯度可以從訓(xùn)練梯度方面解決此問題。文獻(xiàn)[9]提出了一種新的分布式深度學(xué)習(xí)通信優(yōu)化方法TernGrad，該方法使用三值梯度來加速數(shù)據(jù)并行的分布式深度學(xué)習(xí)。TernGrad通過將梯度量化為三個數(shù)值水平{-1，0，1}，顯著減少了在分布式訓(xùn)練中同步梯度和參數(shù)所需的網(wǎng)絡(luò)通信成本。文獻(xiàn)[10]提出了EaSTFLy，這是一個結(jié)合了三元梯度量化和隱私保護(hù)技術(shù)的高效安全的聯(lián)邦學(xué)習(xí)協(xié)議。

1 "理論方法及系統(tǒng)模型

本節(jié)主要介紹系統(tǒng)總體與局部結(jié)構(gòu)，從理論、圖以及代碼相結(jié)合的角度出發(fā)來進(jìn)行詳細(xì)介紹，如圖1所示，該系統(tǒng)為一種基于三元聯(lián)邦學(xué)習(xí)與隱私保護(hù)機(jī)制的網(wǎng)絡(luò)化車輛協(xié)同學(xué)習(xí)架構(gòu)。

1.1 "三元聯(lián)邦學(xué)習(xí)

1.1.1 "三元梯度理論

TernGrad三元梯度屬于梯度量化，其梯度三元化是一個正交的稀疏方法。梯度量化指的是通過將梯度值映射到一個有限的離散集合中來減少梯度的精度或表示。在這種情況下，TernGrad將梯度值量化為三個離散值：-1、0和1，以實現(xiàn)梯度的稀疏性。梯度的三元化通常用于減少梯度的存儲空間和通信成本，并且有助于提高模型訓(xùn)練的效率[9]。

算法1：令三元轉(zhuǎn)換函數(shù)為[ternarize?]，經(jīng)其量化的梯度如下：

[gt=ternarizegt=st?sgngt°bt] "（1）

[st?maxabsgt?gt∞] "（2）

式中：[bt]為隨機(jī)二進(jìn)制向量；[gt]為原梯度；[st]為縮放器；[“°”]是[Hadamard]乘積；[sgn?]和[abs?]分別為每個元素的符號和絕對值。

對于給定的[gt]、[bt]，其每個元素均獨(dú)立地服從伯努利分布。

[Pbtk=1gt=gtk stPbtk=0gt=1-gtk st] （3）

式中：[btk]、[gtk]為隨機(jī)取入的[bt]、[gt]中的第[k]個元素。經(jīng)三元轉(zhuǎn)換后客戶端將[gt]代替原梯度[gt]上傳至服務(wù)器，而服務(wù)器將三元梯度聚合后的結(jié)果返回客戶端。

相較于32位浮點(diǎn)數(shù)而言，本文提出兩種假設(shè)：

假設(shè)1：假設(shè)每個梯度值的傳輸次數(shù)與其位數(shù)成正比。

假設(shè)2：假設(shè)有[N]個梯度值需要傳輸。

對于32位浮點(diǎn)數(shù)，每個梯度值需要傳輸32位。而對于三元梯度，每個梯度值只需要傳輸2位。因此在傳輸位數(shù)上，三元梯度減少的傳輸百分比計算公式為：

[R=Transbits32-floatbit-TransbitsternaryTransbits32-floatbit=32N-2N32N=93.75%] （4）

而因每個梯度有3種可能的值（-1、0、1），可用[log23]表示使用3進(jìn)制編碼時每個梯度值所需的位數(shù)。因此，總的減少百分比為：

[R=32-log2332≈95.04%] （5）

也就是說，即使按照2位來編碼三元梯度仍可以將客戶端到服務(wù)器的流量減少93.75%。

當(dāng)使用三元梯度技術(shù)時，梯度將被表示為[{-1，0，1}]，這意味著梯度的表示更加緊湊以減少傳輸?shù)椒?wù)器的通信量。而當(dāng)三元化后的梯度從客戶端上傳至服務(wù)器后，服務(wù)器對其進(jìn)行聚合操作時，可能會產(chǎn)生另一個問題：聚合操作導(dǎo)致結(jié)果的表示變得不再是三值，而是更多的可能性級別。當(dāng)工作節(jié)點(diǎn)使用不同的縮放因子時，這一問題尤其突出。為了盡量減少級別的數(shù)量，本文采用一種共享縮放因子的解決方案。

[st=maxsit， " "i=1，2，…，N] "（6）

該共享過程需要額外傳輸[2N]個浮點(diǎn)型縮放器，通過整合參數(shù)定位和縮放器共享，最終平均梯度[gt]中的最大級別減少到[2N+1]。因此，服務(wù)器到工作節(jié)點(diǎn)的通信可降低[R=][32-log21+2N32×100%]，除非[N≥230]。

接下來分析TernGrad三元梯度的收斂性。損失函數(shù)[Q?]是用于衡量具有參數(shù)[ω]和輸入[z]的當(dāng)前系統(tǒng)的性能，而最小化目標(biāo)就是盡可能降低損失的期望值。

[Cω?EQz，ω] "（7）

參數(shù)[ω]將按照學(xué)習(xí)率[γt]進(jìn)行更新：

[ωt+1=ωt-γtgt=ωt-γt??ωQzt，ωt] （8）

[g??ωQz，ω] " （9）

因此，聯(lián)立式（1）、式（6）和式（7）可知，TernGrad中的參數(shù)[ω]可更新為：

[ωt+1=ωt-γtst?sgngt°bt] （10）

而對于給定的[zt]、[ωt]，公式（3）可等效為：

[Pbtk=1zt，ωt=gtk stPbtk=1zt，ωt=1-gtk st] "（11）

在隨機(jī)給定的[ωt]下，可得三元梯度的期望值將滿足公式（12）：

[Est?sgngt°bt=Est?sgngt°Ebtzt=Egt=?ωCωt] " （12）

此公式也為公式（7）中的最小化目標(biāo)——無偏梯度。

針對三元梯度的收斂性分析，在此提出兩個假設(shè)。

假設(shè)3：設(shè)[Cω]具有唯一的最小值[ω*]，且下降梯度[?ωω]總是指向[ω*]。即對于任意的正數(shù)[?gt;0]，當(dāng)[ω]足夠接近[ω*]時，將滿足：

[infω-ω*2gt;?ω-ω*T?ωCωgt;0] （13）

式中：[ω-ω*]表示[ω]和[ω*]之間的歐幾里德范數(shù)；[ω-ω*T]表示向量[ω-ω*]的轉(zhuǎn)置；[?ωCω]表示[Cω]對[ω]的梯度。凸性是假設(shè)3的一個子集，可以很容易地找到滿足它的非凸函數(shù)。

假設(shè)4：設(shè)學(xué)習(xí)率[γt]為正數(shù)，并受公式（14）制約。

[t=0+∞γ2tlt;+∞t=0+∞γt=+∞] " （14）

由于有此約束，可確保[γt]的下降速度適中。

令參數(shù)[ωt]與最小值[ω*]之間的差平方為：

[ht?ωt-ω?2] "（15）

式中[?]為[L2]范數(shù)。

在假設(shè)3、假設(shè)4下，利用李雅普諾夫（Lyapunov）過程和擬鞅收斂（Quasi?Martingales Convergence）理論可得以下引理：

引理1：若存在正常數(shù)[A]和正常數(shù)[B]使得式（16）成立：

[Eht+1-1+γ2tBhtXt≤ " " " " " " " " " " " " " " " "-2γtωt-ω?T?ωCωt+γ2tA] （16）

則函數(shù)[Cz，ω]朝向最小值[ω*]收斂，即[Plimt→+∞ωt=ω*=1]，可由此進(jìn)一步假設(shè)梯度。

假設(shè)5：設(shè)梯度[g]被約束為：

[Eg∞?g1≤A+Bω-ω?2] "（17）

式中：[A]和[B]為正數(shù)；[?1]為[L1]范數(shù)。由此，聯(lián)立假設(shè)5與引理1，可證明以下定理1。

定理1：當(dāng)系統(tǒng)使用三元梯度并按照以下方式更新：

[ωt+1=ωt-γtst?sgngt°bt] " （18）

其梯度大概率會收斂到最小值[ω*]。

當(dāng)式（1）、式（3）中的標(biāo)量[st]很大時，大多數(shù)梯度很有可能被三元制化為0，只留下少數(shù)梯度，這具有較大的幅度值。這種情況會引發(fā)嚴(yán)重的參數(shù)更新模式，大多數(shù)參數(shù)保持不變，而其他參數(shù)可能會過度調(diào)整，這將引入較大的訓(xùn)練方差。為解決該問題，引入逐層三元化和梯度裁剪方法，以減小[g∞]，并將[g]中每個梯度[gi]大小限制為：

[fgi=gi， " " "gi≤cσsgngi?cσ， " " "gigt;cσ] " "（19）

式中：[σ]為梯度[g]的標(biāo)準(zhǔn)差；[c]為超參數(shù)，[cbest]=2.5。

1.1.2 "三元聯(lián)邦學(xué)習(xí)設(shè)計

在以往的分布式訓(xùn)練中，需改善的通信效率及高成本的網(wǎng)絡(luò)通信已然成為瓶頸。對此問題，引入TernGrad三元梯度技術(shù)，將以往梯度從浮點(diǎn)數(shù)量化為三個離散值：-1、0和1，以實現(xiàn)梯度的稀疏性。這種量化方式可以顯著減少通信量，因為只需要傳輸梯度的離散表示而不是浮點(diǎn)數(shù)，從而減少了網(wǎng)絡(luò)傳輸?shù)拈_銷。對于三元梯度中存在的收斂性問題，本文引入了分層三值化和梯度裁剪技術(shù)來提高其收斂性。分層三值化將梯度分為多個層次，并分別量化和傳輸，從而提高了梯度的精度和效率。而梯度裁剪技術(shù)則可以控制梯度的大小，防止其過大或過小，從而進(jìn)一步提高了模型的收斂性和穩(wěn)定性。通過采用三元聯(lián)邦學(xué)習(xí)技術(shù)，可以有效地降低分布式訓(xùn)練中的通信開銷，提高模型的訓(xùn)練效率和性能。對于三元聯(lián)邦學(xué)習(xí)，其概念圖如圖2所示。

三元梯度算法偽代碼如下所示。

算法代碼1：TernGrad——使用三元梯度的聯(lián)邦學(xué)習(xí)分布式SGD訓(xùn)練。

本地節(jié)點(diǎn)[i=1，2，…，N]

1.輸入[zit]，一個訓(xùn)練樣本的部分小批量

2.計算在[zit]下的梯度[git]

3.將梯度進(jìn)行梯度裁剪：

[git=clipgit，max_norm]

4.將裁剪后的梯度[git]分層并三元化為：

[git=ternarizegit]

5.推送三元化的[git]到服務(wù)器

6.從服務(wù)器拉取平均梯度[gt]

7.更新參數(shù)[ωt+1←ωt-η?gt]

服務(wù)器：

1.平均三元梯度[gt=igitN]

1.2 "聯(lián)邦差分隱私

1.2.1 "差分隱私原理

與普通差分隱私機(jī)制相比，聯(lián)邦差分隱私機(jī)制除了需要考慮數(shù)據(jù)層面的隱私安全，還需要考慮用戶層面的安全問題[11]。

定義1：相鄰數(shù)據(jù)集：設(shè)有兩個數(shù)據(jù)集[D]和[D']，若它們之間有且僅有一條數(shù)據(jù)相異，則稱該數(shù)據(jù)為相鄰數(shù)據(jù)集。

對于用戶層面的安全問題，提出用戶相鄰數(shù)據(jù)集的概念。

定義2：用戶相鄰數(shù)據(jù)集：設(shè)有[n]個客戶端且對于任意的[0lt;i≤n]，使得每個客戶端[ci]對應(yīng)的本地數(shù)據(jù)集為[di]，[D]和[D']是兩個用戶數(shù)據(jù)的集合，當(dāng)且僅當(dāng)[D]去除或添加某一個客戶端[ci]的本地數(shù)據(jù)集[di]后變?yōu)閇D']，則定義[D]和[D']為用戶相鄰數(shù)據(jù)集。

定義3：[?，δ]?差分隱私：假設(shè)一個隨機(jī)算法[?]，對于兩個用戶相鄰數(shù)據(jù)集[D]和[D']，以及任意的輸出[S?Range?]，當(dāng)且僅當(dāng)該算法滿足：

[Pr?D∈S≤Pr?D'∈S×e?+δ] （20）

稱該隨機(jī)算法[?]提供[?，δ]?差分隱私保護(hù)。式中：[?]表示隱私預(yù)算；[δ]表示失敗概率。

定義4：[L2]全局敏感度：對于隨機(jī)算法[?]以及用戶相鄰數(shù)據(jù)集[D]和[D']，[L2]全局敏感度定義如下：

[Sf=max?D-?D'2] "（21）

定義5：高斯機(jī)制：對于給定數(shù)據(jù)集[D]，設(shè)有函數(shù)[f?]，其敏感度設(shè)為[Δf]（見定義4），對于任意的：

[δ∈0，1， " "σ=2ln1.25δ×Δf?] "（22）

那么隨機(jī)算法[?=fD+L]提供[?，δ]?差分隱私保護(hù)，其中[L～Gaussian0，σ2]，為添加的隨機(jī)噪聲概率密度函數(shù)，即服從參數(shù)：

[μ=0， " "σ=2ln1.25δ×Δf?] "（23）

的高斯分布，其概率分布函數(shù)為：

[fx=12πσe-x-μ2σ2] " （24）

1.2.2 "聯(lián)邦差分隱私保護(hù)設(shè)計

與普通差分隱私相比，聯(lián)邦差分隱私保護(hù)不但要求保證每一個客戶端的本地數(shù)據(jù)隱私安全，也要求客戶端之間的信息安全，即用戶在服務(wù)器接收到客戶端的本地模型，既不能推斷出是由哪個客戶端上傳的，也不能推斷出某個客戶端是否參與了當(dāng)前的訓(xùn)練[12]。文獻(xiàn)[13?14]提到了一種DP?FedAvg的隱私算法，它將聯(lián)邦學(xué)習(xí)中經(jīng)典的FedAvg算法[4]與差分隱私相結(jié)合而取得不錯的效果。本文在客戶端與服務(wù)器方均采用聯(lián)邦差分隱私保護(hù)算法來抵御成員攻擊推理，客戶端算法偽代碼如下所示。

算法代碼2：聯(lián)邦差分隱私算法——客戶端部分

輸入：本地節(jié)點(diǎn)：[i=1，2，…，N]

全局模型：[θ0]

模型參數(shù)：[lr=γt]，本地輪數(shù)=[E]

本地每輪批量大?。篬bs]

輸出：模型更新[ΔN=θ-θ0]

1.利用服務(wù)器下發(fā)的全局模型參數(shù)[θ0]更新本地模型：

[θt：θt←θ0]

2.對每輪迭代[j=1，2，…，E]：

2.1將本地數(shù)據(jù)分割為[bs]份數(shù)據(jù)[?]

2.2對每個batch [b∈?]

2.2.1梯度下降[θ←θ-η?lθ;b]

2.2.2參數(shù)裁剪：[θ←θ0+clipθ-θ0]

2.2.3結(jié)束

2.3結(jié)束

服務(wù)器算法偽代碼如下所示。

算法代碼3：聯(lián)邦差分隱私算法——服務(wù)器部分

輸入：訓(xùn)練數(shù)據(jù)樣本：[D：d1，d2，…，dN]

損失函數(shù)：[Lθ=1Ni=1NLθ;di]

參數(shù)：[lr=γt]，裁剪邊界值=[C]

噪聲參數(shù)：[σ]，本地每輪批量大?。篬bs]

1.隨機(jī)初始化模型參數(shù)[ω0]

2.定義客戶端[ci]對應(yīng)的權(quán)重為：[ωi=minniω，1]

3.令[W=iωi]

4.對每輪迭代[t=1，2，…，T]：

4.1以概率[q]挑選參與訓(xùn)練的客戶端，設(shè)為集合[Ct]

4.2對每個客戶端[k∈Ct]：

4.2.1執(zhí)行本地訓(xùn)練：[Δtk=ClientUpdatek，θt-1]

4.2.2結(jié)束

4.3聚合客戶端參數(shù)：

[Δt=k∈CtωtΔtkqW， " " " for " "ffk∈CtωtΔtkmaxqWmin，k∈Ctωt， " " " for " "fc]

4.4對[Δt]值進(jìn)行裁剪：[Δt←Δtmax1，ΔtC]

4.5求高斯噪聲的方差：

[σ=zSqW， " " " for " "ff2zSmaxqWmin， " " " for " "fc]

4.6更新全局模型參數(shù)：[θt←θt-1+Δt+N0，Iσ2]

5.結(jié)束

聯(lián)邦差分隱私在客戶端本地訓(xùn)練時，需要在每一步本地迭代后對參數(shù)進(jìn)行裁剪[14]。該差分隱私算法在客戶端的作用為防止攻擊者通過接收本地模型來推斷上傳客戶端的信息與訓(xùn)練客戶端的信息；對于在服務(wù)器側(cè)的聯(lián)邦差分隱私，將按概率隨機(jī)挑選客戶端，并讓其執(zhí)行本地模型訓(xùn)練；而服務(wù)器在接收到每個客戶端的模型參數(shù)后，便執(zhí)行聚合操作。在噪聲添加方面，求取高斯噪聲分布方差，利用高斯分布生成噪聲數(shù)據(jù)，用以在全局模型聚合操作中添加噪聲數(shù)據(jù)，從而獲得新的全局模型參數(shù)。這樣反復(fù)上述步驟直到模型收斂為止。

1.3 "基于層敏感度傳輸?shù)哪Ｐ蛪嚎s

1.3.1 "敏感層理論

定義7：層敏感度：設(shè)當(dāng)前的模型表示為[G=g1，g2，…，gL]，在第[t]輪，客戶端[cj]進(jìn)行聯(lián)邦學(xué)習(xí)本地訓(xùn)練時，模型將從[Gt=G]變?yōu)椋?/p>

[Lt+1j=gt+11，j，gt+12，j，…，gt+1L，j] （25）

將第[i]層的變化記為：

[δti，j=meangti，j-meanzt+1i，j] "（26）

式中每一層的參數(shù)均值變化量[δ]為敏感度。

1.3.2 "基于層敏感度傳輸?shù)哪Ｐ蛪嚎s設(shè)計

聯(lián)邦學(xué)習(xí)與集中式訓(xùn)練在本質(zhì)上都是以深度學(xué)習(xí)為基礎(chǔ)對模型進(jìn)行訓(xùn)練，因此在模型參數(shù)方面均存在一個問題——模型參數(shù)冗余問題[15]。也就是說，在大部分深度網(wǎng)絡(luò)學(xué)習(xí)中，使用較少的權(quán)值即可達(dá)到訓(xùn)練全局信息一樣的效果，因此模型壓縮便起到了減少傳輸開銷與提升系統(tǒng)安全性的功能。層敏感度傳輸在本地訓(xùn)練的代碼如下所示。

代碼1：本地訓(xùn)練函數(shù)部分

#按變化率從高到底排序

diff = dict（）

for （name，data in self.local_model.state_dict（）.items（））：

diff[name] = （data?model.state_dict（）[name]）

diff = sorted（diff.items（），key = lambda item：abs（torch.mean（item[1].float（））），reverse = True）

#返回變化率最高的層

ret_size = int（self.conf[“rate”]*len（diff））

return dict（diff[：ret_size]）

按公式（26）分別求出每一層訓(xùn)練前后的變化值并對其進(jìn)行排序。在修改客戶端之后，還需對服務(wù)端進(jìn)行聚合操作，由于客戶端是按層上傳的，因此在聚合時也需要按層聚合，代碼如下所示。

代碼2：模型聚合函數(shù)

def model_aggregate（self，weight_accumulator，cnt）：

for name，data in self.global_model. state_dict（）.items（）：

if name in weight_accumulator and cnt[name]gt;0：

#按名稱對層進(jìn)行聚合

update_per_layer=＼（weight_accumulator[name]*（1.0/cnt[name]））

if （data.type（） ！= update_per_layer.type（））：

data.add_（update_per_layer.to（torch.int64））

else：data.add_（update_per_layer）

2 "實驗結(jié)果與討論

在實驗中，本文的模型是基于PyTorch框架搭建的，主要采用SVHN數(shù)據(jù)集來模擬車輛在行駛過程中所捕捉到的街景影像，該數(shù)據(jù)集包含73 257張訓(xùn)練圖像和26 032張測試圖像，是一個用于數(shù)字識別任務(wù)的公開數(shù)據(jù)集，主要用于識別街景圖片中的數(shù)字。

實驗中的主要訓(xùn)練模型為CNN，包括三個卷積層、三個最大池化層以及兩個全連接層。公共參數(shù)設(shè)置為batch_size=32、lr=0.001、global_epoch=20或50、local_epoch=20。在聯(lián)邦式差分隱私機(jī)制實驗中，Sigma=0.003、Sigma=0.005時進(jìn)行傳統(tǒng)式與聯(lián)邦式差分隱私訓(xùn)練對比；在[C]取值為1、4、7、10時進(jìn)行裁剪值大小對訓(xùn)練效果的影響對比實驗。在三元聯(lián)邦學(xué)習(xí)檢驗中，首先對比三元化梯度與原始梯度大小，再將TernGrad與其他優(yōu)化器（如Adam、SGD）進(jìn)行訓(xùn)練對比。

2.1 "聯(lián)邦式差分隱私機(jī)制

本文模型使用差分隱私方案，即在車輛節(jié)點(diǎn)上傳本地模型更新前加入噪聲，為了保護(hù)數(shù)據(jù)共享的隱私性，選擇高斯噪聲。但與傳統(tǒng)的集中式差分隱私方案不同，本文采用聯(lián)邦差分隱私保護(hù)，該方案與傳統(tǒng)集中式差分隱私方案相比，需要在每一步本地迭代更新后對參數(shù)進(jìn)行裁剪，在隨機(jī)挑選的客戶端中執(zhí)行本地模型訓(xùn)練并將訓(xùn)練模型參數(shù)上傳至服務(wù)器，執(zhí)行聚合操作，再在全局模型聚合過程中添加噪聲數(shù)據(jù)，從而得到新的全局模型參數(shù)。

如圖3所示，將本文提出的聯(lián)邦差分隱私方案與傳統(tǒng)的集中式差分隱私方案進(jìn)行比較，通過對比不同的高斯噪音分布方差來獲得分布方差的變動對準(zhǔn)確率的影響以及聯(lián)邦差分隱私方案的優(yōu)勢。通過觀察圖3a）和圖3b）中不同方差下的準(zhǔn)確性，可以直觀地看出，本文提出的聯(lián)邦差分隱私方案的準(zhǔn)確性比傳統(tǒng)的集中式差分隱私方案更接近于無隱私保護(hù)方案的準(zhǔn)確性。

此外，本文還進(jìn)行了聯(lián)邦差分隱私自身參數(shù)對訓(xùn)練準(zhǔn)確率影響的探究。在聯(lián)邦差分隱私算法——服務(wù)器部分（算法代碼3中步驟4.4）中提到，對[Δt]值進(jìn)行裁剪：

[Δt←Δtmax1，Δt C]。其中[C]指代的是裁剪邊界值，因此通過調(diào)節(jié)不同的裁剪邊界值來測量對應(yīng)的訓(xùn)練準(zhǔn)確率，從而觀察聯(lián)邦差分隱私自身參數(shù)對訓(xùn)練準(zhǔn)確率的影響。不同裁剪值對訓(xùn)練效果的影響如圖4所示。在圖4中，可以直觀地看出在[C]gt;1時準(zhǔn)確率基本穩(wěn)定，由此可得，在后續(xù)實驗中裁剪邊界值取[C]gt;1較為適宜。

聯(lián)邦式差分隱私保護(hù)的準(zhǔn)確率對比

2.2 "三元聯(lián)邦學(xué)習(xí)檢驗

由1.1.1節(jié)三元梯度理論可知，經(jīng)三元轉(zhuǎn)換函數(shù)后的梯度為[gt=ternarizegt]，而對于原32位浮點(diǎn)數(shù)而言，三元梯度將會比原梯度降低93.75%。因此在本節(jié)中，將利用四種數(shù)據(jù)集（MNIST手寫數(shù)據(jù)集、SVHN街景號碼數(shù)據(jù)集、Cifar10與Cifar100物體分類數(shù)據(jù)集）對比客戶端上傳至服務(wù)器的梯度大?。ㄈ螅┖头?wù)器發(fā)送至客戶端的梯度大小（解壓縮后），如圖5所示。降低百分比如表1所示。可以看出，在不同的數(shù)據(jù)集下三元梯度降低的百分比均約為93.75%。由此可得，三元梯度應(yīng)用于聯(lián)邦學(xué)習(xí)中可以極大地降低模型參數(shù)的傳輸量，從而降低通信帶寬來減少通信成本。

在比較了三元梯度與普通浮點(diǎn)數(shù)之間的模型參數(shù)的傳輸量之后，下一步工作是對比添加了三元轉(zhuǎn)換的隨機(jī)梯度下降與其他優(yōu)化器（Adam/SGD）的模型訓(xùn)練效果，利用SVHN數(shù)據(jù)集進(jìn)行訓(xùn)練，結(jié)果如圖6所示。

可以看出TernGrad較SGD（隨機(jī)梯度下降）而言，初始準(zhǔn)確率較高、初始損失值較低，且在后續(xù)輪次中能夠更快地達(dá)到準(zhǔn)確率穩(wěn)定狀態(tài)，雖然準(zhǔn)確率在后面輪次中有略微下降的傾向，但不影響總體準(zhǔn)確率走向；TernGrad較Adam而言，雖初始準(zhǔn)確率不及Adam，但穩(wěn)態(tài)準(zhǔn)確率卻高于Adam。因此在訓(xùn)練過程中，TernGrad在具有更好的通信效率的同時依舊不影響整體訓(xùn)練效果。

2.3 "基于層敏感度傳輸?shù)哪Ｐ蛪嚎s檢驗

對于按層敏感度的模型壓縮實現(xiàn)過程為：對任意被挑選的客戶端[cj]，在模型本地訓(xùn)練結(jié)束后，按照式（26）計算模型的每一層變化量[Δti，j=δti，j，δt2，j，…，δtL，j]，將每一層的變化量從小到大進(jìn)行排序，變化越大，說明該層越敏感。算法將取敏感度最高的層上傳，而敏感度低的將不被上傳。因此在本實驗中，取不同壓縮值（rate=85%、90%、95%、100%）作為實驗變量來觀察改變傳輸層參數(shù)對訓(xùn)練效果的影響，結(jié)果如圖7所示。

在圖7中可以直觀地看出，當(dāng)傳輸沒有被壓縮時，其訓(xùn)練效果最好，雖然其他被壓縮后的傳輸層準(zhǔn)確率略低，但沒有影響總體走勢，其準(zhǔn)確率和原網(wǎng)絡(luò)相近。

3 "結(jié) "語

本文提出了一種將三元化梯度技術(shù)與聯(lián)邦學(xué)習(xí)相結(jié)合的車聯(lián)網(wǎng)數(shù)據(jù)共享模型。為了進(jìn)一步解決聯(lián)邦學(xué)習(xí)可能受到的成員推理攻擊問題，提出了一種基于聯(lián)邦差分隱私的聯(lián)邦學(xué)習(xí)方案。實驗結(jié)果表明，該方案比傳統(tǒng)的集中式差分隱私聯(lián)邦學(xué)習(xí)方案具有更好的性能，并在模型訓(xùn)練中加入基于層敏感度的模型壓縮技術(shù)，可以在減少傳輸開銷的同時提升系統(tǒng)安全性。為了進(jìn)一步降低聯(lián)邦學(xué)習(xí)中地方與服務(wù)器之間數(shù)據(jù)傳輸造成的高通信成本、低通信效率問題，本文將三元梯度與聯(lián)邦學(xué)習(xí)結(jié)合在一起提出三元聯(lián)邦學(xué)習(xí)，從訓(xùn)練梯度入手，在保障訓(xùn)練準(zhǔn)確率的同時大幅度降低通信成本，提高通信效率。

注：本文通訊作者為吳欽木。

參考文獻(xiàn)

[1] KONG X J， WANG K L， HOU M L， et al. A federated learning?based license plate recognition scheme for 5G?enabled Internet of Vehicles [J]. IEEE transactions on industrial informatics， 2021， 17（12）： 8523?8530.

[2] SAPUTRA Y M， HOANG D T， NGUYEN D N， et al. Dynamic federated learning?based economic framework for Internet?of?Vehicles [J]. IEEE transactions on mobile computing， 2023， 22（4）： 2100?2115.

[3] PHONG L T， AONO Y， HAYASHI T， et al. Privacy?preserving deep learning via additively homomorphic encryption [J]. IEEE transactions on information forensics and security， 2017， 13（5）： 1333?1345.

[4] HOORY S， FEDER A， TENDLER A， et al. Learning and evaluating a differentially private pre?trained language model [C]// Findings of the Association for Computational Linguistics： EMNLP 2021. [S.l.]： ACL， 2021： 1178?1189.

[5] SRIVASTAVA N， HINTON G E， KRIZHEVSKY A， et al. Dropout： A simple way to prevent neural networks from overfitting [J]. Journal of machine learning research， 2014， 15（1）： 1929?1958.

[6] CHOUDHARY T， MISHRA V K， GOSWAMI A， et al. A comprehensive survey on model compression and acceleration [J]. Artificial intelligence review， 2020， 53（7）： 5113?5155.

[7] DENG L， LI G Q， HAN S， et al. Model compression and hardware acceleration for neural networks： A comprehensive survey [J]. Proceedings of the IEEE， 2020， 108（4）： 485?532.

[8] CHENG Y， WANG D， ZHOU P， et al. Model compression and acceleration for deep neural networks： The principles， progress， and challenges [J]. IEEE signal processing magazine， 2018， 35（1）： 126?136.

[9] WEN W， XU C， YAN F， et al. TernGrad： Ternary gradients to reduce communication in distributed deep learning [C]// Advances in Neural Information Processing Systems 30： Annual Conference on Neural Information Processing Systems 2017. [S.l.： s.n.]， 2017： 1509?1519.

[10] DONG Y， CHEN X J， SHEN L Y， et al. EaSTFLy： Efficient and secure ternary federated learning [J]. Computers amp; security， 2020， 94： 101824.

[11] MOSAIYEBZADEH F， POURIYEH S， PARIZI R M， et al. Privacy?enhancing technologies in federated learning for the internet of healthcare things： A survey [J]. Electronics， 2023， 12（12）： 2703.

[12] EL OUADRHIRI A E， ABDELHADI A. Differential privacy for deep and federated learning： A survey [J]. IEEE access， 2022， 10： 22359?22380.

[13] MCMAHAN H B， ANDREW G， ERLINGSSON U， et al. A general approach to adding differential privacy to iterative training procedures [EB/OL]. [2019?01?01]. http：//arxiv.org/abs/1812.06210.

[14] BU Z Q， WANG Y X， ZHA S， et al. Automatic clipping： Differentially private deep learning made easier and stronger [EB/OL]. [2024?03?01]. https：//researchr.org/publication/Bu0ZK23.

[15] KONE?NY J， MCMAHAN H B， YU F X， et al. Federated learning： Strategies for improving communication efficiency [EB/OL]. [2018?04?13]. http：//arxiv.org/abs/1610.05492.

作者簡介：李佳恒（2001—），女，山東煙臺人，碩士研究生，研究方向為車聯(lián)網(wǎng)數(shù)據(jù)隱私保護(hù)。

吳欽木（1975—），男，貴州銅仁人，博士，博士生導(dǎo)師，教授，主要從事車聯(lián)網(wǎng)數(shù)據(jù)隱私保護(hù)及電機(jī)效率優(yōu)化的研究。