基于模型質(zhì)量評(píng)分的聯(lián)邦學(xué)習(xí)聚合算法優(yōu)化

摘 要：在聯(lián)邦學(xué)習(xí)環(huán)境中，客戶端數(shù)據(jù)的質(zhì)量是決定模型性能的關(guān)鍵因素。傳統(tǒng)的評(píng)估方法依賴于在中心節(jié)點(diǎn)的驗(yàn)證集上衡量客戶端模型的損失，從而對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。在缺乏有效驗(yàn)證集的情況下，數(shù)據(jù)質(zhì)量的評(píng)估是困難的。為了解決上述問題，提出了一種根據(jù)同伴信息進(jìn)行模型質(zhì)量評(píng)分的方法。通過對(duì)客戶端上傳的模型參數(shù)進(jìn)行裁剪處理，基于正確評(píng)分規(guī)則的相關(guān)理論設(shè)計(jì)模型質(zhì)量評(píng)分機(jī)制，并在此基礎(chǔ)上優(yōu)化聚合算法，降低低質(zhì)量客戶端對(duì)全局模型的影響。在MNIST、Fashion-MNIST和CIFAR-10等數(shù)據(jù)集上的實(shí)驗(yàn)表明，提出的評(píng)分機(jī)制無須復(fù)雜的算法，且能有效辨別搭便車、噪聲、錯(cuò)誤標(biāo)簽三類低質(zhì)量數(shù)據(jù)客戶端，提高聯(lián)邦學(xué)習(xí)性能的魯棒性。

關(guān)鍵詞：聯(lián)邦學(xué)習(xí)； 模型質(zhì)量； 參數(shù)裁剪； 同伴信息； 聚合算法

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）08-025-2427-07

doi：10.19734/j.issn.1001-3695.2023.11.0586

Optimization of federated learning aggregation algorithm based onmodel quality scoring

Wu Xiaohong1，2， Lu Haonan1， Gu Yonggen1，2， Tao Jie1，2

（1.School of Information Engineering， Huzhou University， Huzhou Zhejiang 313000， China; 2.Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources， Huzhou Zhejiang 313000， China）

Abstract：In federated learning environments， it is crucial to assess the quality of client data， especially when a validation set is not available. Traditional evaluation methods rely on measuring the loss of client models on the validation set of a central node to assess data quality. To address these issues， this paper proposed a method for scoring model quality based on peer information. This method involved tailoring the model parameters uploaded by the client and designing a model quality scoring mechanism based on the theories of correct scoring rules. It developed an optimized aggregation algorithm， leveraging the scores of clients to mitigate the impacts of low-quality local models on the global model. Experiments conducted on datasets like MNIST， Fashion-MNIST， and CIFAR-10 demonstrate that the proposed scoring mechanism is straightforward and effective in identifying three types of low-quality data clients： free-riding clients， overly privacy-protective clients， and mislabeled clients. The proposed method enhances the robustness of federated learning performance.

Key words：federated learning; model quality; parameter interception; peer information; aggregation algorithm

0 引言

近年來，移動(dòng)應(yīng)用的快速演進(jìn)顯著改善了人們?cè)跍贤?、?gòu)物、出行及生活各方面的模式。為了強(qiáng)化這些移動(dòng)應(yīng)用的個(gè)性化功能，機(jī)器學(xué)習(xí)技術(shù)得到了廣泛應(yīng)用。一種常見的做法就是將用戶數(shù)據(jù)匯集并上傳至集中式服務(wù)器，由其訓(xùn)練成機(jī)器學(xué)習(xí)模型來預(yù)測(cè)，比如產(chǎn)品推薦。但是機(jī)器學(xué)習(xí)技術(shù)的發(fā)展仍然面臨風(fēng)險(xiǎn)與挑戰(zhàn)，數(shù)據(jù)安全問題亟待解決，用戶的個(gè)人隱私容易受到侵犯，在不同的行業(yè)和部門中，存在數(shù)據(jù)訪問和共享的限制，這導(dǎo)致了數(shù)據(jù)孤島的形成［1，2］。

為解決上述問題，谷歌提出了聯(lián)邦學(xué)習(xí)技術(shù)［3］。與傳統(tǒng)的機(jī)器學(xué)習(xí)將所有客戶端的數(shù)據(jù)收集之后再進(jìn)行機(jī)器學(xué)習(xí)模型訓(xùn)練不同，聯(lián)邦學(xué)習(xí)引入了一種隱私保護(hù)的策略，該策略主要是通過在本地設(shè)備上存儲(chǔ)數(shù)據(jù)和訓(xùn)練模型，從而避免了客戶端本地?cái)?shù)據(jù)的暴露。在客戶端本地完成模型訓(xùn)練產(chǎn)生模型更新后將此更新傳輸給中心服務(wù)器進(jìn)行模型聚合，此過程迭代多次可得到優(yōu)化的全局模型。由于這種方式下中心服務(wù)器并沒有對(duì)數(shù)據(jù)進(jìn)行直接訪問，有效地保護(hù)了用戶數(shù)據(jù)隱私。

區(qū)別于傳統(tǒng)分布式學(xué)習(xí)，聯(lián)邦學(xué)習(xí)由客戶端自主選擇是否和中心服務(wù)器進(jìn)行合作學(xué)習(xí)，因此聯(lián)邦學(xué)習(xí)的最終模型性能易受低質(zhì)量客戶端的影響，比較常見的低質(zhì)量客戶端有以下三種情況：

a）搭便車。這部分客戶端在不參與訓(xùn)練的情況下發(fā)送隨機(jī)模型進(jìn)行搭便車來獲得其他客戶端訓(xùn)練出來的全局模型［4］。

b）過度隱私保護(hù)。這類客戶端在上傳參數(shù)或者梯度時(shí)客戶端會(huì)對(duì)參數(shù)和梯度加入較大的噪聲以減少本地?cái)?shù)據(jù)隱私暴露的風(fēng)險(xiǎn)，但這種方式會(huì)對(duì)最終聚合全局模型的精度造成影響［5］。

c）具有錯(cuò)誤標(biāo)簽數(shù)據(jù)。這類客戶端在現(xiàn)實(shí)中可能是由于各種原因?qū)е聵?biāo)簽出現(xiàn)錯(cuò)誤，顯然利用錯(cuò)誤標(biāo)簽訓(xùn)練的局部模型聚合后將會(huì)降低聯(lián)邦學(xué)習(xí)全局模型精度［6］。

因此，在聯(lián)邦學(xué)習(xí)中，評(píng)估參與訓(xùn)練客戶端的數(shù)據(jù)質(zhì)量或模型質(zhì)量，識(shí)別低質(zhì)量客戶端，是聯(lián)邦學(xué)習(xí)性能優(yōu)化的關(guān)鍵。已有的一些基礎(chǔ)聯(lián)邦學(xué)習(xí)算法如FedAvg、FedSGD未考慮數(shù)據(jù)質(zhì)量對(duì)模型性能的影響，一些算法如FedProx［7］、SCAFFOLD［8］針對(duì)數(shù)據(jù)非獨(dú)立同分布的特征對(duì)基礎(chǔ)算法進(jìn)行了改進(jìn)，但是不能解決上述低質(zhì)量客戶端的影響。

雖然已有不少的學(xué)者針對(duì)聯(lián)邦學(xué)習(xí)參與者的貢獻(xiàn)和質(zhì)量評(píng)估進(jìn)行了研究，然而在缺乏有效數(shù)據(jù)驗(yàn)證集的場(chǎng)景中，聯(lián)邦學(xué)習(xí)的客戶端質(zhì)量評(píng)估依然是一個(gè)難題。為優(yōu)化聯(lián)邦學(xué)習(xí)性能，本文基于正確評(píng)分規(guī)則的相關(guān)理論，提出了一種無驗(yàn)證數(shù)據(jù)的客戶端模型質(zhì)量評(píng)估算法，僅利用客戶端上傳的模型對(duì)參與聯(lián)邦學(xué)習(xí)的客戶端的模型質(zhì)量進(jìn)行評(píng)分，并在此基礎(chǔ)上優(yōu)化聯(lián)邦學(xué)習(xí)聚合算法。本文的主要貢獻(xiàn)如下：

a）設(shè)計(jì)了一種根據(jù)同伴模型評(píng)分的客戶端模型評(píng)分機(jī)制，使服務(wù)器能夠識(shí)別聯(lián)邦學(xué)習(xí)環(huán)境中的低質(zhì)量本地模型。該機(jī)制通過互評(píng)的方法使得每個(gè)客戶端的模型都受到其他客戶模型的評(píng)估，這一過程有助于識(shí)別那些因搭便車行為、過度隱私保護(hù)或數(shù)據(jù)標(biāo)簽不準(zhǔn)確等問題而導(dǎo)致模型質(zhì)量低下的客戶端。

b）基于設(shè)計(jì)的模型評(píng)估機(jī)制，進(jìn)一步提出了一種魯棒的聯(lián)邦學(xué)習(xí)聚合算法。該算法根據(jù)模型得分為每個(gè)客戶端分配聚合權(quán)重，降低低質(zhì)量客戶端對(duì)全局模型的影響，使質(zhì)量較高的本地模型在全局模型中具有更加顯著的影響力。

c）通過實(shí)驗(yàn)驗(yàn)證了本文算法的性能。實(shí)驗(yàn)選擇三個(gè)標(biāo)準(zhǔn)數(shù)據(jù)集——MNIST、Fashion-MNIST以及CIFAR-10，采用了多層感知器（MLP）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）機(jī)器學(xué)習(xí)模型進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示，本文算法在識(shí)別低質(zhì)量數(shù)據(jù)的客戶端方面具有顯著的效果，并且在時(shí)間復(fù)雜性和多個(gè)具體性能指標(biāo)上優(yōu)于現(xiàn)有方法。

1 相關(guān)工作

1.1 聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)是一個(gè)分布式機(jī)器學(xué)習(xí)框架，其中包含一個(gè)中心服務(wù)器和若干持有隱私數(shù)據(jù)的客戶端，假定客戶端集合被表示為Nc={1，2，…，N}，每個(gè)客戶端i都有一個(gè)私有隱私數(shù)據(jù)集Di，i∈Nc。在每一輪全局迭代t中，中心服務(wù)器會(huì)隨機(jī)選擇k個(gè)客戶端參與模型訓(xùn)練，這些客戶端用集合{1，2，…，k}表示。

在第t輪迭代的起始階段，參與訓(xùn)練的客戶端i從中心服務(wù)器上下載初始的全局模型，利用本地的數(shù)據(jù)集Di訓(xùn)練得到本地模型wti，該過程可通過各種機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)。所有客戶端的訓(xùn)練是并行執(zhí)行的，客戶端與客戶端之間并不存在直接的數(shù)據(jù)交換。

訓(xùn)練完成后，中心服務(wù)器從參與當(dāng)前訓(xùn)練的客戶端收集本地模型，然后通過特定的聚合算法——如圖1所示的聯(lián)邦平均算法（federated averaging，F(xiàn)edAvg）生成全局模型wt，其中nk是第k個(gè)客戶端的數(shù)據(jù)量，n是所有客戶端的數(shù)據(jù)量，利用兩者的比值作為聚合的權(quán)重。中心服務(wù)器在得到全局模型參數(shù)wt之后，將其下發(fā)給各個(gè)下一輪參與訓(xùn)練的客戶端，客戶端便可以根據(jù)新的全局模型參數(shù)wt和本地的數(shù)據(jù)集Di進(jìn)入下一輪迭代，從而進(jìn)一步提升模型性能。在整個(gè)過程中，中心服務(wù)器并未接觸到任何客戶端的原始數(shù)據(jù)，只需要處理模型參數(shù)，從而在聯(lián)邦學(xué)習(xí)過程中確保了數(shù)據(jù)隱私的安全。

整個(gè)聯(lián)邦學(xué)習(xí)訓(xùn)練過程包含四個(gè)步驟：

a）任務(wù)初始化：中心服務(wù)器從總的客戶端集合Nc中選取k個(gè)客戶端參與，確定訓(xùn)練任務(wù)，并將當(dāng)前全局模型傳送給參與訓(xùn)練的客戶端。

b）本地模型訓(xùn)練：客戶端從中心服務(wù)器下載全局模型wt-1（其中t表示當(dāng)前的訓(xùn)練迭代輪次）?？蛻舳死帽镜?cái)?shù)據(jù)集Di訓(xùn)練得到本地模型wti。訓(xùn)練的目標(biāo)是通過最小化損失函數(shù)L（wti）找到最佳的本地模型并將其上傳至服務(wù)器。

wti=arg minwL（w;Di）（1）

c）全局模型聚合：中心服務(wù)器將參與訓(xùn)練的客戶端上傳的本地模型wti利用聚合算法聚合。更新全局模型wt。

wt=∑iai·wti（2）

d）完成T輪訓(xùn)練后，停止訓(xùn)練過程并生成最終的全局模型wT。

1.2 聯(lián)邦學(xué)習(xí)低質(zhì)量客戶端評(píng)估方法

在聯(lián)邦學(xué)習(xí)領(lǐng)域，針對(duì)凸損失函數(shù)和平滑非凸損失函數(shù)的模型訓(xùn)練，文獻(xiàn)［9］引入了平均中值算法和維度剪枝平均算法。這些算法有效地防止了中央服務(wù)器在模型更新過程中受到質(zhì)量較低數(shù)據(jù)客戶端的不利影響。然而，Yin等人［10］指出，在處理多數(shù)非平滑和非凸損失函數(shù)時(shí)，依賴于維度中值或剪枝均值的算法可能導(dǎo)致模型收斂至非全局最優(yōu)解，如鞍點(diǎn)或局部最小值。為應(yīng)對(duì)此問題，提出了拜占庭擾動(dòng)梯度算法，專注于在非凸情形下尋找近似局部最優(yōu)解。但這類方法的一個(gè)明顯不足之處在于，它們要求評(píng)估每次學(xué)習(xí)迭代中所有計(jì)算節(jié)點(diǎn)上報(bào)的局部梯度，這在處理大規(guī)模數(shù)據(jù)學(xué)習(xí)任務(wù)時(shí)可能因計(jì)算復(fù)雜度過高而顯得不切實(shí)際。

在聯(lián)邦學(xué)習(xí)中，處理低質(zhì)量客戶端參與訓(xùn)練的問題時(shí)，部分方法依賴于測(cè)試數(shù)據(jù)集來評(píng)估模型質(zhì)量。具體來說，Shapley值［11～13］在聯(lián)邦學(xué)習(xí)中廣泛被用來量化用戶的貢獻(xiàn)，通過在每輪迭代訓(xùn)練中評(píng)估不同客戶端抽樣順序?qū)θ帜Ｐ途鹊倪呺H影響來實(shí)現(xiàn)。同時(shí)，Li等人［14，15］提出的檢測(cè)機(jī)制和Cao等人［16］的FLTrust算法也依賴于測(cè)試數(shù)據(jù)集來區(qū)分模型質(zhì)量。Li等人的方法通過結(jié)合測(cè)試數(shù)據(jù)和自動(dòng)編碼器來識(shí)別惡意模型更新，而Cao等人的FLTrust算法則依賴于一個(gè)由服務(wù)器收集的小型但未受污染的“信任數(shù)據(jù)集”以增強(qiáng)系統(tǒng)對(duì)惡意客戶端的抵御能力。由于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)集大部分屬于Non-IID（non-independent and identically distributed，非獨(dú)立同分布）的狀態(tài)，且數(shù)據(jù)分布本質(zhì)上是未知的，所以難以找到任何一個(gè)數(shù)據(jù)集能夠完整模擬真實(shí)世界中的未知數(shù)據(jù)分布。此外，從客戶端獲取適用的測(cè)試數(shù)據(jù)集可能會(huì)違反聯(lián)邦學(xué)習(xí)中的隱私保護(hù)原則。因此需要一種無須測(cè)試數(shù)據(jù)集的方法來進(jìn)行客戶端模型質(zhì)量評(píng)估。

區(qū)別于上述依賴測(cè)試數(shù)據(jù)集的方法，Lyu等人［17］引入了一種評(píng)估聯(lián)邦學(xué)習(xí)中客戶端的創(chuàng)新方法，該方法采用了同行評(píng)估機(jī)制，并結(jié)合了參數(shù)之間的隨機(jī)相關(guān)性概念［18，19］。這種方法通過分析服務(wù)器端收集的客戶端模型更新，并基于這些更新參數(shù)之間的隨機(jī)相關(guān)性來評(píng)估客戶端的貢獻(xiàn)度。每個(gè)客戶端根據(jù)這些相關(guān)性得到一個(gè)唯一的評(píng)分，進(jìn)而在模型聚合過程中根據(jù)這一評(píng)分賦予不同權(quán)重。此舉旨在降低那些提供低質(zhì)量更新的客戶端在聯(lián)邦學(xué)習(xí)中的影響。這一機(jī)制為聯(lián)邦學(xué)習(xí)提供了一種新的參與者評(píng)估方法，它不依賴于驗(yàn)證數(shù)據(jù)的可用性，從而克服了先前方法的某些局限性。雖然在計(jì)算復(fù)雜性上相對(duì)較高，然而該方法為聯(lián)邦學(xué)習(xí)中客戶端模型評(píng)估引入了一種基于同行信息的創(chuàng)新方法。

受前述研究成果的啟發(fā)，本文提出了一種新的聯(lián)邦學(xué)習(xí)聚合算法。該算法使得在有低質(zhì)量客戶端參與的情況下聯(lián)邦學(xué)習(xí)模型依然具有較高的準(zhǔn)確性，同時(shí)不依賴于驗(yàn)證數(shù)據(jù)集進(jìn)行模型驗(yàn)證和調(diào)整。該方法旨在面對(duì)數(shù)據(jù)和參與者極其多樣化的環(huán)境時(shí)，增強(qiáng)聯(lián)邦學(xué)習(xí)系統(tǒng)在現(xiàn)實(shí)世界數(shù)據(jù)場(chǎng)景中的應(yīng)用性和魯棒性。

2 問題描述

首先探討聯(lián)邦學(xué)習(xí)環(huán)境中三種典型的低質(zhì)量數(shù)據(jù)客戶端的具體策略，場(chǎng)景如圖2所示，包括搭便車者、過度隱私保護(hù)者（過分添加噪聲的客戶端）以及提供錯(cuò)誤標(biāo)簽的客戶端。

a）搭便車客戶端。這類客戶端會(huì)生成隨機(jī)模型參數(shù)［4］，目的是為了減少本地訓(xùn)練的計(jì)算成本，從而在不貢獻(xiàn)有效學(xué)習(xí)資源的情況下從聯(lián)邦學(xué)習(xí)系統(tǒng)中受益。目前，搭便車策略主要有以下兩種形式：

（a）參數(shù)擾動(dòng)策略。在該策略中，客戶端直接采用從服務(wù)器接收的全局模型，對(duì)其引入輕微的隨機(jī)擾動(dòng)，然后將其上傳回服務(wù)器。令wt-1表示上一輪從服務(wù)器調(diào)度的全局模型。這一類客戶端每一輪上傳的模型參數(shù)為

wti=wt－1+δ1（3）

其中：δ1～Euclid Math OneNAp（0，σ21），意味著wt中的每個(gè)參數(shù)都添加了隨機(jī)高斯噪聲。

（b）隨機(jī)參數(shù)策略。在這種策略下，客戶端不依賴于從服務(wù)器接收的任何預(yù)先訓(xùn)練的模型信息。相反，它采取了一種自主的方法，即直接生成并上傳隨機(jī)化的模型參數(shù)。這一類客戶端每一輪上傳的模型參數(shù)為

wti～Euclid Math OneNAp（0，σ21）（4）

b）過度隱私保護(hù)客戶端。盡管客戶端只是上傳模型參數(shù)，數(shù)據(jù)的隱私泄露風(fēng)險(xiǎn)仍然存在［20～22］。為了抵御潛在的逆向工程攻擊，這可能導(dǎo)致客戶端在上傳的模型參數(shù)中引入了過多的噪聲。雖然這樣做能夠提高數(shù)據(jù)的安全性，但過度的噪聲添加也可能損害全局模型的性能和準(zhǔn)確性。這一類客戶端每一輪上傳的模型參數(shù)為

ti=wti+δ2（5）

其中：δ2～Euclid Math OneNAp（0，σ22）。

c）錯(cuò)誤標(biāo)簽的客戶端。對(duì)于竄改數(shù)據(jù)標(biāo)簽的低質(zhì)量客戶端，如文獻(xiàn)［23］所述，其目的在于通過修改本地訓(xùn)練數(shù)據(jù)的標(biāo)簽來影響聚合后的全局模型，從而使模型偏向于他們所期望的方向。這種行為不僅威脅到模型的準(zhǔn)確性，還可能嚴(yán)重破壞聯(lián)邦學(xué)習(xí)環(huán)境的整體效率。這些客戶端通過對(duì)本地?cái)?shù)據(jù)的標(biāo)簽施加擾動(dòng)，有意識(shí)地導(dǎo)致全局模型學(xué)習(xí)到錯(cuò)誤的模式。設(shè)yi代表原始標(biāo)簽的一個(gè)數(shù)據(jù)點(diǎn)。那么添加擾動(dòng)的標(biāo)簽i為

i=yi+Δ（6）

其中：Δ是錯(cuò)誤標(biāo)簽的客戶端引入的故意偏差。例如，如果yi=5且Δ=2，則i=7。

本文使用CNN模型分別對(duì)上述三類客戶端的加入進(jìn)行了聯(lián)邦學(xué)習(xí)訓(xùn)練實(shí)驗(yàn)。圖3展示了搭便車客戶端對(duì)聯(lián)邦學(xué)習(xí)在全局聚合后模型精度的潛在影響。這些搭便車客戶端的模型參數(shù)wti～Euclid Math OneNAp（0，σ21），即方差為σ1=0.01的高斯分布。如圖3所示，僅有25%的搭便車客戶端可顯著降低整體性能。

圖4是過度隱私保護(hù)行為對(duì)全局聚合后模型精度的影響。這里，每個(gè)客戶端i的模型參數(shù)更新ti=wti+Euclid Math OneNAp（0，σ22），當(dāng)σ2=0.1時(shí)，性能略有下降，但是當(dāng)σ2增至0.2或更高時(shí)，性能急劇下降。

在聯(lián)邦學(xué)習(xí)環(huán)境中存在錯(cuò)誤標(biāo)簽客戶端的情形時(shí)，如圖5所示，當(dāng)這些客戶端在MNIST數(shù)據(jù)集中將部分標(biāo)簽竄改為錯(cuò)誤標(biāo)簽時(shí)，對(duì)模型精度有顯著影響。當(dāng)錯(cuò)誤標(biāo)簽客戶端的比例達(dá)到25%時(shí)，聯(lián)邦學(xué)習(xí)在該數(shù)據(jù)集上的精度便開始逐漸下滑。隨著錯(cuò)誤標(biāo)簽的客戶端數(shù)量的進(jìn)一步增加，聯(lián)邦學(xué)習(xí)的性能急速下降。

上述實(shí)驗(yàn)結(jié)果明確指出了對(duì)一種能有效檢測(cè)這些低質(zhì)量客戶端的評(píng)價(jià)方法的迫切需求。在聯(lián)邦學(xué)習(xí)的眾多應(yīng)用場(chǎng)景中，客戶端持有的數(shù)據(jù)往往具有非獨(dú)立同分布的特點(diǎn)。在此背景下，盡管某個(gè)客戶端可能只持有部分標(biāo)簽的數(shù)據(jù)，其上傳的模型在中心服務(wù)器的全局聚合中仍有其獨(dú)特的貢獻(xiàn)。在無有效驗(yàn)證數(shù)據(jù)集的場(chǎng)景下，有必要提出一種新穎的評(píng)價(jià)方法，這種方法能夠在缺少有效驗(yàn)證數(shù)據(jù)集的前提下，對(duì)客戶端上傳的本地模型進(jìn)行有效評(píng)估。借助這種評(píng)估機(jī)制，可以給上述的三種低質(zhì)量數(shù)據(jù)的客戶端上傳的模型參數(shù)評(píng)定更低的分?jǐn)?shù)，從而在中心服務(wù)器的全局聚合過程中減小其權(quán)重。通過這一策略，期望能夠提高整體模型的準(zhǔn)確性，并促進(jìn)模型更快地收斂，提高聯(lián)邦學(xué)習(xí)性能的魯棒性。

3 基于評(píng)分機(jī)制的FL聚合算法

3.1 模型參數(shù)的截取處理

在沒有驗(yàn)證數(shù)據(jù)集的聯(lián)邦學(xué)習(xí)中，本文將模型參數(shù)的訓(xùn)練過程模擬為對(duì)某些事件的預(yù)測(cè)過程，并借鑒了預(yù)測(cè)問題中的評(píng)分規(guī)則，用于評(píng)估概率預(yù)測(cè)的準(zhǔn)確性，要求預(yù)測(cè)值必須落在［0，1］。由于聯(lián)邦學(xué)習(xí)中的模型參數(shù)被限制在這個(gè)范圍，本文在評(píng)分前將每個(gè)客戶端的模型參數(shù)進(jìn)行了裁剪處理，確保它們位于［0，1］的有效區(qū)間。

首先，對(duì)客戶端i的模型wi進(jìn)行分層的參數(shù)裁剪，第k層的參數(shù)裁剪如下：

i，k=wi，kmax（1，‖w1，k，w2，k，…，wn，k‖2）（7）

每個(gè)客戶端的模型的各個(gè)層參數(shù)被拼接成一個(gè)矩陣，式（7）中的二范數(shù)就是這個(gè)矩陣的二范數(shù)。應(yīng)用數(shù)值縮放比例為

pi=pi-mpMp-mp（8）

其中：mp和Mp分別表示所有客戶端模型第p個(gè)參數(shù)的最小值和最大值；pi表示裁剪歸一化后的模型參數(shù)，每個(gè)參數(shù)都在［0，1］。值得注意的是，在模型聚合過程中不調(diào)整客戶端模型的參數(shù)。上述裁剪和歸一化操作僅在模型評(píng)估階段使用。

3.2 二次評(píng)分規(guī)則

正確的評(píng)分規(guī)則（proper scoring rule） 用于激勵(lì)專家誠(chéng)實(shí)地報(bào)告他們的概率信念［24，25］。只有當(dāng)評(píng)分規(guī)則能夠激勵(lì)預(yù)測(cè)者提供準(zhǔn)確且真實(shí)的預(yù)測(cè)時(shí)，才被視為正確。在這樣的背景下，正確的評(píng)分規(guī)則是指當(dāng)預(yù)測(cè)者在其預(yù)測(cè)與真實(shí)概率或后驗(yàn)分布的均值相匹配時(shí)，預(yù)期得分達(dá)到最大化的評(píng)分規(guī)則。

假設(shè)真實(shí)狀態(tài)θ∈［0，1］，服從一個(gè)未知的分布。參與者可以私下觀察信號(hào)，產(chǎn)生真實(shí)狀態(tài)的后驗(yàn)分布G。根據(jù)文獻(xiàn)［23］中的工作，關(guān)注的是能夠引導(dǎo)出后驗(yàn)均值的評(píng)分規(guī)則，即該評(píng)分規(guī)則要求參與者報(bào)告其后驗(yàn)的均值，并根據(jù)參與者的報(bào)告以及實(shí)際發(fā)生的狀態(tài)來對(duì)其進(jìn)行評(píng)分。設(shè)μG為后驗(yàn)分布G的均值，r∈［0，1］為代理的報(bào)告值。

定義1 如果對(duì)于任何后驗(yàn)分布G以及報(bào)告r，滿足

Eθ～G［S（μG，θ）］≥Eθ～G［S（r，θ）］（9）

則稱評(píng)分規(guī)則S（r，θ）對(duì)于引出均值是正確的。

根據(jù)文獻(xiàn)［24］，式（10）中的二次評(píng)分規(guī)則被證明對(duì)于導(dǎo)出均值是正確的。

S（r，θ）=1-（θ-r）2（10）

本文將客戶端模型參數(shù)訓(xùn)練和上傳映射到上述場(chǎng)景。令Nc={1，2，…，N}為參與客戶端集合，wji是客戶端i對(duì)參數(shù)j的訓(xùn)練值。對(duì)于普通的客戶端，假設(shè)對(duì)于第t輪訓(xùn)練，其參數(shù)值服從相同的分布，其均值為μt，但對(duì)于任一參與者，具體分布參數(shù)是未知的。

令r=wji表示客戶端i對(duì)訓(xùn)練結(jié)果的報(bào)告，θ表示真實(shí)狀態(tài)。由于真實(shí)狀態(tài)應(yīng)與被評(píng)價(jià)客戶端自身的預(yù)測(cè)值無關(guān)，選擇θj-i作為真實(shí)狀態(tài)。θj-i是除客戶端i外所有參與客戶對(duì)參數(shù)j報(bào)告的平均值，可視為真實(shí)狀態(tài)（真實(shí)狀態(tài)通過其他客戶的報(bào)告得出），即

θj-i=∑k∈Nc，k≠iwjkN-1（11）

由于普通客戶端訓(xùn)練的參數(shù)服從均值為μt的一個(gè)分布，則θj-i同樣服從均值為μt的一個(gè)分布。

二次評(píng)分規(guī)則改為如式（12）所示。

S（wji，θj-i）=1-（θj-i-wji）2（12）

對(duì)于前述的低質(zhì)量客戶端，由于沒有采用真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練或添加了過度噪聲，顯然其模型參數(shù)值wji不再服從均值為μt的分布，其報(bào)告值易較大地偏離θj-i，所以得分降低。當(dāng)存在的低質(zhì)量客戶端數(shù)量占比較小時(shí)，評(píng)分規(guī)則可以區(qū)分普通客戶端和低質(zhì)量客戶端。

如果模型參數(shù)被限制在［0，1］，則式（12）中展示的二次評(píng)分規(guī)則的上界為1。設(shè)P表示模型參數(shù)集合，那么客戶端模型wi的評(píng)分公式可以表示為

si=∑i∈P1-（θj-wji）|P|（13）

設(shè)P表示模型參數(shù)集合，那么客戶端模型wi的評(píng)分公式可以表示如下：

命題1 若模型參數(shù)被限制在區(qū)間［0，1］內(nèi)，式（13）中客戶端模型的二次評(píng)分規(guī)則上界為1。

證明 模型參數(shù)被限制在區(qū)間［0，1］內(nèi)，則式（12）中表示的二次評(píng)分規(guī)則的上界為1，式（13）對(duì)|P|個(gè)參數(shù)求解分?jǐn)?shù)的平均值，因此模型得分是有界的，在區(qū)間［0，1］內(nèi)。

在全局模型的每次聚合之前，都應(yīng)用此評(píng)分規(guī)則來評(píng)估參與某輪聯(lián)邦學(xué)習(xí)的客戶端的質(zhì)量。θ-i的使用提供了相對(duì)評(píng)估，客戶端的分?jǐn)?shù)與其同行的表現(xiàn)相對(duì)應(yīng)。這種評(píng)分機(jī)制為評(píng)價(jià)單個(gè)客戶端模型在聯(lián)邦學(xué)習(xí)框架中的貢獻(xiàn)提供了一個(gè)穩(wěn)健的指標(biāo)。

3.3 改進(jìn)的聯(lián)邦學(xué)習(xí)聚合算法

本節(jié)提出一種基于二次評(píng)分的聯(lián)邦學(xué)習(xí)聚合算法，稱為 FedQuaScore聚合算法。FedQuaScore的主要目標(biāo)是防范使用低質(zhì)量數(shù)據(jù)的客戶。算法1是模型參數(shù)的裁剪和評(píng)分。算法2是聯(lián)邦的聚合算法FedQuaScore，在聯(lián)邦學(xué)習(xí)過程中根據(jù)客戶評(píng)分進(jìn)行聚合。

算法1 客戶端模型裁剪與評(píng)分（scoring（W，ξ））

輸入：客戶端模型集合W=（w1，w2，…，wN）。

輸出：評(píng)分向量score=（s1，s2，…，sN）。

a）for i=1 to N do

b） for each k; // 對(duì)模型中的每一層k進(jìn)行分層處理

c） i，k←wi，kmax（1，‖w1，k，w2，k，…，wn，k‖2）;

d） end for

e） for each p∈P do;

f） pmin←minj∈Ncwpj;

g） pmax←maxj∈Ncwpj;

h） pi←pi－pminpmax-pmin;

i） end for

j）end for

k）score=（0，0，…，0）;

l）for i=1 to N do

m） si←∑j∈P1-（θj-i-ji）2|P|;

n）end for

在算法1中，步驟b）～d）實(shí)現(xiàn)了參數(shù)裁剪操作，把選中層的參數(shù)拼接成一個(gè)矩陣，利用這個(gè)矩陣的二范數(shù)對(duì)客戶端i的模型wi進(jìn)行分層的參數(shù)裁剪，確保參數(shù)保持在適當(dāng)?shù)姆秶鷥?nèi)，進(jìn)一步增強(qiáng)聯(lián)邦學(xué)習(xí)的魯棒性。在實(shí)驗(yàn)中范數(shù)裁剪方法參見參考文獻(xiàn)［27］。e）～i）的計(jì)算使每一個(gè)參數(shù)分布在［0，1］。l）～n） 應(yīng)用二次評(píng)分規(guī)則得到了模型的評(píng)分，得到上界為1的分?jǐn)?shù)。評(píng)分機(jī)制起著至關(guān)重要的作用，其目標(biāo)是有效評(píng)估每個(gè)客戶模型的質(zhì)量。

命題2 模型裁剪與評(píng)分算法時(shí)間復(fù)雜度為O（|P|N2），其中|P|為參數(shù)個(gè)數(shù)，N為客戶端個(gè)數(shù)。

證明 算法1中，步驟b）～d）是模型參數(shù)的裁剪，假設(shè)第k層的參數(shù)個(gè)數(shù)為xk，通過二范數(shù)的計(jì)算公式可知，時(shí)間復(fù)雜度為O（∑k∈K|xk|N），其中∑k∈K|xk|=|P|，所以對(duì)每個(gè)客戶端每個(gè)參數(shù)都裁剪量化的時(shí)間復(fù)雜度為 O（|P|N2）。對(duì)參數(shù)的歸一化部分，即步驟a）～i），由于f）和g）求最大最小值的復(fù)雜度為O（N），對(duì)每個(gè)客戶端每個(gè)參數(shù)求取則是O（|P|N2）。所以算法1的復(fù)雜度為O（|P|N2）。

在考慮到模型復(fù)雜性帶來的挑戰(zhàn)時(shí)，如果對(duì)客戶端上傳的模型的全部參數(shù)進(jìn)行處理，會(huì)導(dǎo)致算法的運(yùn)行時(shí)間過長(zhǎng)。根據(jù)文獻(xiàn)［26］的研究，采用對(duì)模型最后一層參數(shù)進(jìn)行余弦相似性計(jì)算的方法顯示出最佳效果。這一成效主要源于模型最后一層與輸出結(jié)果的密切相關(guān)性，這一層參數(shù)在最大程度上揭示了不同模型間的顯著差異。基于此發(fā)現(xiàn)，本文沿用文獻(xiàn)［26］的策略，選取模型最后一層的參數(shù)作為評(píng)分計(jì)算的依據(jù)。此方法不僅保障了評(píng)估的準(zhǔn)確性和效率，同時(shí)有效地解決了由于參數(shù)維度過高所帶來的計(jì)算挑戰(zhàn)。

算法2中，服務(wù)器端為明顯區(qū)分聚合權(quán)重之間的差異，選擇了指數(shù)加權(quán)法。如算法2第e）～h）行所示，客戶端i的聚合權(quán)重為

ai=exp（αsi）∑Kj=1exp（αsj）（14）

其中：參數(shù)α主要用于調(diào)整放大倍數(shù)的分?jǐn)?shù)。由于提出的評(píng)分策略可以有效地反映模型的質(zhì)量，即使α的值不是特別大，算法2仍然可以達(dá)到顯著的效果實(shí)驗(yàn)評(píng)估。

算法2 基于評(píng)價(jià)分?jǐn)?shù)的聯(lián)邦學(xué)習(xí)聚合算法FedQuaScore

輸入：初始全局模型w0；全局訓(xùn)練輪數(shù)T；數(shù)據(jù)集D；批大小b；學(xué)習(xí)率η；客戶總數(shù)K；選定客戶的比例c。

輸出：訓(xùn)練完成后的全局模型wT。

服務(wù)器端：

a）for t=1 to T do

b） 隨機(jī)選擇K個(gè)客戶端;

c） 接收客戶端模型W=（w1，w2，…，wN）;

d） score=scoring（W，ξ）;

e） for i=1 to K do

f） ai←exp（αsi）∑Kj=1exp（αsj）;

g） end for

h） wt←∑Ki=1aiwti;

i）end for

j）return wT;

客戶端（第t輪）：

k）接收全局模型wt-1;

l）在本地?cái)?shù)據(jù)集上基于全局模型訓(xùn)練得到本地模型

m）將訓(xùn)練好的本地模型wti發(fā)送回服務(wù)器

4 實(shí)驗(yàn)驗(yàn)證

4.1 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)設(shè)計(jì)中，采用谷歌推出的聯(lián)邦學(xué)習(xí)框架，實(shí)驗(yàn)選擇的數(shù)據(jù)集包括MNIST、Fashion-MNIST（FMNIST）和CIFAR-10三個(gè)數(shù)據(jù)集。比較的基準(zhǔn)方法為文獻(xiàn)［3］中的FedAvg方法和文獻(xiàn)［15］提出的Fed-PCA方法，比較的指標(biāo)是低質(zhì)量客戶端的平均權(quán)重和全局模型準(zhǔn)確性。

a）MNIST。手寫數(shù)字圖像數(shù)據(jù)庫(kù)，被廣泛用于訓(xùn)練多種圖像處理系統(tǒng)。它由60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本組成，每個(gè)樣本均為28×28像素的灰度圖像，并涵蓋10個(gè)類別。

b）Fashion-MNIST。此數(shù)據(jù)集含有60 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本。每個(gè)樣本均為28×28像素的灰度圖像，代表10種不同的服飾和鞋類。

c）CIFAR-10。是一個(gè)十分類的標(biāo)準(zhǔn)圖像分類數(shù)據(jù)集，包括60 000個(gè)32×32像素的彩色圖像樣本，分為50 000個(gè)訓(xùn)練樣本和10 000個(gè)測(cè)試樣本。它涵蓋的類別包括飛機(jī)、汽車、鳥、貓等。

在機(jī)器學(xué)習(xí)模型方面，選擇了多層感知器（MLP）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）兩個(gè)經(jīng)典模型。具體來說，在存在搭便車的客戶端和過度噪聲保護(hù)客戶端的實(shí)驗(yàn)中，對(duì)MNIST數(shù)據(jù)集的訓(xùn)練過程采用了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。這個(gè)網(wǎng)絡(luò)包含兩層5×5的卷積層，每個(gè)卷積層后跟著一個(gè)ReLU激活函數(shù)和2×2的最大池化層。在對(duì)FMNIST數(shù)據(jù)集的訓(xùn)練過程中，采用了一種多層感知器（MLP）模型。這個(gè)模型的設(shè)計(jì)包含一個(gè)輸入層，該層具有784個(gè)神經(jīng)元，緊接著是一個(gè)含有64個(gè)神經(jīng)元的隱藏層，最后還有一個(gè)具有10個(gè)神經(jīng)元的輸出層。

對(duì)于標(biāo)簽不正確的低質(zhì)量數(shù)據(jù)客戶端的實(shí)驗(yàn)中，本文使用之前提到的MLP模型訓(xùn)練MNIST模型。對(duì)CIFAR-10數(shù)據(jù)集的訓(xùn)練過程中，采用了卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)。包含兩個(gè)主要的卷積階段，每個(gè)階段包括兩個(gè)3×3卷積層，隨后是批量歸一化、ReLU激活函數(shù)和2×2最大池化層。在關(guān)于錯(cuò)誤標(biāo)簽客戶端的實(shí)驗(yàn)中設(shè)置Δ=5來調(diào)整這類客戶端在訓(xùn)練時(shí)的標(biāo)簽。

所有的實(shí)驗(yàn)均在二類Non-IID下進(jìn)行。具體實(shí)施過程為：本文將MNIST、Fashion-MNIST、CIFAR-10的訓(xùn)練數(shù)據(jù)按標(biāo)簽順序排列，劃分為200個(gè)數(shù)據(jù)塊，每塊含300條數(shù)據(jù)，各客戶端將從中不重復(fù)地隨機(jī)選取兩個(gè)數(shù)據(jù)塊作為其本地?cái)?shù)據(jù)集。在所有實(shí)驗(yàn)中，α的值為5。

在搭便車客戶端的配置中，這些客戶端在本地訓(xùn)練階段并未實(shí)際運(yùn)用本地計(jì)算資源。他們所提交的模型參數(shù)更新均符合wti～Euclid Math OneNAp（0，σ21），其中σ1設(shè)置為0.01。實(shí)驗(yàn)對(duì)搭便車客戶端的不同比例下的性能進(jìn)行了評(píng)估，并與Fed-PCA策略進(jìn)行了對(duì)比。在有過度隱私保護(hù)的客戶端參與的實(shí)驗(yàn)設(shè)定中，假設(shè)有25%的客戶端向他們的模型參數(shù)中加入了噪聲，每個(gè)上傳的模型參數(shù)均滿足pi=wpi+Euclid Math OneNAp（0，σ22）的分布。本文旨在探索不同噪聲級(jí)別對(duì)模型的影響。在處理惡意客戶端的實(shí)驗(yàn)設(shè)計(jì)中，本文嘗試了不同比例的客戶端數(shù)據(jù)標(biāo)簽被竄改的場(chǎng)景。具體地，本文研究了錯(cuò)誤標(biāo)簽客戶端數(shù)量占訓(xùn)練客戶端總數(shù)的10%、20%、30%和40%的情境。

4.2 實(shí)驗(yàn)結(jié)果

首先在MNIST和Fashion-MNIST兩個(gè)數(shù)據(jù)集上比較不同搭便車客戶端比例的場(chǎng)景下的算法性能，如表1和圖6所示。圖6～8縱坐標(biāo)均為客戶端聚合時(shí)的平均權(quán)重。

從圖6（a）（b）中可以觀察到，F(xiàn)edAvg算法為每個(gè)客戶端分配了基準(zhǔn)權(quán)重0.05。在搭便車客戶的比例不超過20%的情況下，F(xiàn)ed-PCA算法在降低搭便車客戶端聚合權(quán)重方面表現(xiàn)出了值得肯定的效果，然而，隨著搭便車客戶比例的增加，其性能呈現(xiàn)出顯著下降的趨勢(shì)。與此相對(duì)比，本文的FedQuaScore算法在所有的測(cè)試設(shè)置中均能通過為這些搭便車的客戶端分配極小的聚合權(quán)重，從而保持優(yōu)異的性能表現(xiàn)。

如表1所示，本文比較了FedQuaScore、FedAvg和Fed-PCA三種算法在全局模型精度上的表現(xiàn)。結(jié)果顯示，F(xiàn)edQuaScore在模型精確度方面領(lǐng)先于其他兩種算法，即便在搭便車客戶比例不斷上升的情況下也能維持這一優(yōu)勢(shì)。

其次，實(shí)驗(yàn)比較了過度噪聲客戶端參與下算法的性能。通過圖7（a）（b）可以看出，不同隱私保護(hù)程度客戶端在聯(lián)邦學(xué)習(xí)聚合中的平均權(quán)重。當(dāng)添加噪聲方差為σ2=0.1時(shí)，F(xiàn)ed-PCA顯示出其優(yōu)越性。然而，隨著添加噪聲的提高，F(xiàn)ed-PCA并沒有進(jìn)一步降低此類客戶端在聯(lián)邦學(xué)習(xí)中的總權(quán)重。FedQua-Score方法在面對(duì)不同隱私保護(hù)級(jí)別的客戶時(shí)表現(xiàn)出穩(wěn)健性；隱私保護(hù)級(jí)別越高，為此類客戶分配的權(quán)重就越低。如表2所示，即使隱私保護(hù)不斷增強(qiáng)，F(xiàn)edQuaScore在模型準(zhǔn)確性方面仍領(lǐng)先于FedAvg和Fed-PCA。

第三，評(píng)估聯(lián)邦學(xué)習(xí)聚合過程中錯(cuò)誤標(biāo)簽客戶端參與下算法的性能。圖8（a）（b）展示了在MNIST和CIFAR-10數(shù)據(jù)集上，不同比例的錯(cuò)誤標(biāo)簽客戶端對(duì)聚合模型平均權(quán)重的影響。特別是，當(dāng)存在20%的錯(cuò)誤標(biāo)簽客戶端時(shí)，F(xiàn)edQuaScore算法開始展現(xiàn)其在削減不良影響上的有效性。與此相比，其他算法對(duì)錯(cuò)誤標(biāo)簽的敏感度較低，這可能導(dǎo)致模型性能的降低。特別是，F(xiàn)ed-PCA算法未能顯著調(diào)整錯(cuò)誤標(biāo)簽客戶端的權(quán)重分配，在某些情況下甚至向這些客戶端分配了更高的權(quán)重。這些發(fā)現(xiàn)強(qiáng)調(diào)了FedQuaScore在處理數(shù)據(jù)質(zhì)量不一的客戶端時(shí)的魯棒性和有效性。如表3所示，在錯(cuò)誤標(biāo)簽客戶端的比例增加的情形下，F(xiàn)edQuaScore在模型準(zhǔn)確性方面相較于FedAvg和Fed-PCA算法仍展現(xiàn)出領(lǐng)先優(yōu)勢(shì)。

圖9（a）（b）展示了攜帶錯(cuò)誤標(biāo)簽客戶端在比例為0.3和0.4時(shí)對(duì)聯(lián)邦學(xué)習(xí)模型收斂性的顯著影響。從圖中可以看出，當(dāng)使用傳統(tǒng)的FedAvg算法時(shí)，模型的收斂過程表現(xiàn)出顯著的波動(dòng)性，其學(xué)習(xí)軌跡出現(xiàn)了不穩(wěn)定的波動(dòng)。這種波動(dòng)性可能會(huì)對(duì)模型的最終穩(wěn)定性及其在處理未知數(shù)據(jù)時(shí)的泛化能力產(chǎn)生負(fù)面影響。與此相反，通過采用本文提出的學(xué)習(xí)過程中動(dòng)態(tài)調(diào)整聚合權(quán)重的方法，可以明顯觀察到更加穩(wěn)定和平滑的收斂軌跡。

5 結(jié)束語

本文提出了一種名為FedQuaScore的創(chuàng)新聯(lián)邦學(xué)習(xí)聚合算法，優(yōu)化客戶端模型參數(shù)的評(píng)估過程。FedQuaScore的核心在于為每一參與客戶端分配一個(gè)合理的評(píng)分，以確保得分較高的客戶端在全局模型聚合中享有較大權(quán)重。此策略的目的是最小化低質(zhì)量數(shù)據(jù)客戶端對(duì)于全局模型準(zhǔn)確性的負(fù)面影響。

通過在客戶端中加入不同比例的搭便車客戶端、過度隱私保護(hù)客戶端以及帶有錯(cuò)誤標(biāo)簽的客戶端等，并與現(xiàn)有方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果驗(yàn)證了FedQuaScore在各種測(cè)試場(chǎng)景下的高性能與穩(wěn)健性。目前該方法還存在一定的局限性。首先，F(xiàn)edQuaScore 的核心機(jī)制是基于模型參數(shù)的均值來評(píng)估和整合不同客戶端的數(shù)據(jù)。然而，如果低質(zhì)量客戶端的模型參數(shù)所占比例較大時(shí)，該方法的有效性降低；其次，目前沒有考慮具體攻擊手段的防御，如通過客戶端局部模型竄改以誘發(fā)模型誤識(shí)別的攻擊策略。下一步將針對(duì)上述存在的2a03cfece84fd2e3eac853056cdb7e4f問題持續(xù)改進(jìn)算法，提高算法的有效性。

參考文獻(xiàn)：

［1］Zhang Chen， Xie Yu， Bai Hang， et al. A survey on federated lear-ning［J］. Knowledge-Based Systems， 2021， 216： 106775.

［2］Zhou Jun， Fang Guoying， Wu Nan. Survey on security and privacy-preserving in federated learning［J］. Journal of Xihua University：Natural Science Edition， 2020， 39（4）： 9-17.

［3］McMahan B， Moore E， Ramage D， et al. Communication-efficient learning of deep networks from decentralized data［C］//Proc of the 20th International Conference on Artificial Intelligence and Statistics. 2017： 1273-1282.

［4］Lin Jierui， Du Min， Liu Jian. Free-riders in federated learning： attacks and defenses［EB/OL］. （2019）. https：//arxiv.org/abs/1911.12560.

［5］Bonawitz K， Ivanov V， Kreuter B， et al. Practical secure aggregation for privacy-preserving machine learning［C］// Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press， 2017： 1175-1191.

［6］Fang Minghong， Cao Xiaoyu， Jia Jinyuan， et al. Local model poiso-ning attacks to{Byzantine-Robust}federated learning［C］// Proc of the 29th USENIX Security Symposium. 2020： 1605-1622.

［7］Li Tian， Sahu A K， Zaheer M， et al. Federated optimization in hete-rogeneous networks［J］. Proceedings of Machine Learning and Systems， 2020，2： 429-450.

［8］Karimireddy S P， Kale S， Mohri M， et al. SCAFFOLD： stochastic controlled averaging for federated learning［C］//Proc of the 37th International Conference on Machine Learning. 2020： 5132-5143.

［9］Ghosh A， Hong J， Yin Dong， et al. Robust federated learning in a heterogeneous environment［EB/OL］. （2019）. https：//arxiv.org/abs/1906. 06629.

［10］Yin Dong， Chen Yudong， Kannan R， et al. Defending against saddle point attack in Byzantine-robust distributed learning［C］//Proc of International Conference on Machine Learning. 2019： 7074-7084.

［11］Liu Yuan， Ai Zhengpeng， Sun Shuai， et al. Fedcoin： a peer-to-peer payment system for federated learning［M］//Federated Learning： Privacy and Incentive. Cham： Springer International Publishing， 2020： 125-138.

［12］Jia Ruoxi， Dao D， Wang Boxin， et al. Towards efficient data valuation based on the Shapley value［C］//Proc of the 22nd International Conference on Artificial Intelligence and Statistics. 2019： 1167-1176.

［13］Wang Guan， Dang Xiaoqian， Zhou Ziye. Measure contribution of participants in federated learning［C］//Proc of IEEE International Conference on Big Data. Piscataway，NJ：IEEE Press， 2019： 2597-2604.

［14］Li Suyi， Cheng Yong， Wang Wei， et al. Learning to detect malicious clients for robust federated learning［EB/OL］. （2020）. https：//arxiv.org/abs/2002.00211.

［15］Li Suyi， Cheng Yong， Liu Yang， et al. Abnormal client behavior detection in federated learning［EB/OL］. （2019）. https：//arxiv.org/abs/1910. 09933.

［16］Cao Xiaoyu， Fang Minghong， Liu Jia， et al. FLTrust： Byzantine-robust federated learning via trust bootstrapping［EB/OL］. （2020）. https：//arxiv.org/abs/2012.13995.

［17］Lyu Hongtao， Zheng Zhenzhe， Luo Tie， et al. Data-free evaluation of user contributions in federated learning［C］//Proc of the 19th International Symposium on Modeling and Optimization in Mobile， Ad hoc， and Wireless Networks. Piscataway，NJ：IEEE Press， 2021： 1-8.

［18］Shnayder V， Agarwal A， Frongillo R， et al. Informed truthfulness in multi-task peer prediction［C］//Proc of ACM Conference on Econo-mics and Computation. New York：ACM Press，2016： 179-196.

［19］Miller N， Resnick P， Zeckhauser R. Eliciting informative feedback： the peer-prediction method［J］. Management Science， 2005， 51（9）： 1359-1373.

［20］孫爽， 李曉會(huì)， 劉妍，等. 不同場(chǎng)景的聯(lián)邦學(xué)習(xí)安全與隱私保護(hù)研究綜述［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（12）： 3527-3534. （Sun Shuang， Li Xiaohui， Liu Yan， et al. Survey on security and privacy protection in different scenarios of federated learning［J］. Application Research of Computers， 2021， 38（12）： 3527-3534.）

［21］熊世強(qiáng)， 何道敬， 王振東，等. 聯(lián)邦學(xué)習(xí)及其安全與隱私保護(hù)研究綜述［J］. 計(jì)算機(jī)工程，2024，50（5）：1-15. （Xiong Shiqiang， He Daojing， Wang Zhendong， et al. Review of federated learning and its security and privacy protection［J］. Computer Engineering，2024，50（5）：1-15.）

［22］Abadi M， Chu A， Goodfellow I， et al. Deep learning with differential privacy［C］//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press， 2016： 308-318.

［23］張世文， 陳雙， 梁偉，等. 聯(lián)邦學(xué)習(xí)中的攻擊手段與防御機(jī)制研究綜述［J］. 計(jì)算機(jī)工程與應(yīng)用，2024，66（5）：1-16. （Zhang Shiwen， Chen Shuang， Liang Wei， et al. Survey on attack methods and defense mechanisms in federated learning［J］. Computer Engineering and Applications，2024，66（5）：1-16.）

［24］Oesterheld C， Treutlein J， Cooper E， et al. Incentivizing honest performative predictions with proper scoring rules［C］//Proc of the 39th Conference on Uncertainty in Artificial Intelligence.[S.l.]：JMLR.org，2023：1564-1574.

［25］Li Yingkai， Hartline J D， Shan Liren， et al. Optimization of scoring rules［C］//Proc of the 23rd ACM Conference on Economics and Computation.New York：ACM Press，2022：988-989.

［26］Fung C， Yoon C J M， Beschastnikh I. The limitations of federated lear-ning in sybil settings［C］//Proc of the 23rd International Symposium on Research in Attacks， Intrusions and Defenses. 2020： 301-316.

［27］Pascanu R， Mikolov T， Bengio Y. On the difficulty of training recurrent neural networks［C］//Proc of International Conference on Machine Learning. 2013： 1310-1318.

［28］王永康， 翟弟華， 夏元清. 聯(lián)邦學(xué)習(xí)中抵抗大量后門客戶端的魯棒聚合算法［J］. 計(jì)算機(jī)學(xué)報(bào)， 2023， 46（6）： 1302-1314. （Wang Yongkang， Zhai Dihua， Xia Yuanqing. A robust aggregated algorithm against a large group backdoor clients in federated learning system［J］. Chinese Journal of Computers， 2023， 46（6）： 1302-1314.）