基于Logistic最優(yōu)化魯棒性的聚類聯(lián)邦學習

施玉倩 巫朝霞

摘?要：

為了解決聯(lián)邦學習中數(shù)據(jù)異構導致模型準確率下降的問題，提出了一種基于Logistic最優(yōu)化魯棒性的聚類聯(lián)邦學習（Logistic＼|based?More?Robust?Clustered?Federated?Learning，LMRCFL）方法，將具有相似數(shù)據(jù)分布的客戶端分組到相同的集群中，不需要訪問其私有數(shù)據(jù)，可為每個客戶端集群訓練模型；在目標函數(shù)中引入正則項更新本地損失函數(shù)，緩解Non＼|IID（非獨立同分布）數(shù)據(jù)帶來的客戶端偏移問題，通過減小模型差異提升模型準確率。在CIFAR＼|10、fashion＼|MNIST、SHVN數(shù)據(jù)集上與其他聯(lián)邦學習算法進行了對比，實驗結果表明，LMRCFL算法在Non＼|IID數(shù)據(jù)分布下的準確率提高了8.13百分點～33.20百分點且具有魯棒性。

關鍵詞：聯(lián)邦學習；數(shù)據(jù)異構；聚類；非獨立同分布；正則化

中圖分類號：TP301??文獻標志碼：A

0?引言（Introduction）

近年來，隱私泄露問題經常發(fā)生［1］。為了解決數(shù)據(jù)隱私問題，谷歌公司提出了聯(lián)邦學習（Federated?Learning，?FL）［2＼|3］。即不同客戶端在中央服務器的協(xié)調下訓練共享模型。聯(lián)邦學習在數(shù)據(jù)保密性和數(shù)據(jù)價值之間取得了良好的平衡。但是，由于客戶端之間的數(shù)據(jù)具有異質性，傳統(tǒng)的聯(lián)邦學習應用到非獨立同分布（Non＼|IID）數(shù)據(jù)上時，效果不理想。聯(lián)邦學習訓練過程中，Non＼|IID數(shù)據(jù)可能會產生客戶端偏差的問題，導致訓練模型的準確率降低，甚至難以實現(xiàn)收斂［4］。

針對上述問題，本文提出了基于Logistic最優(yōu)化魯棒性的聚類聯(lián)邦學習方法，在全局模型聚合時上傳模型參數(shù)及客戶端訓練后的平均Softmax值，使用層次聚類法進行優(yōu)化，在本地更新時加入正則化［5］懲罰項修正本地損失函數(shù)，最大化地提高全局模型的收斂速度和模型質量，解決非獨立同分布數(shù)據(jù)的異構問題。

1?相關研究（Related?research）

目前，數(shù)據(jù)異質性［6＼|7］已被學者廣泛研究。FedProx（Federated?Proximal）［8］算法是基于FedAvg（Federated?Averaging）算法，對其系統(tǒng)異質性和統(tǒng)計異質性進行了改進，對非獨立同分布數(shù)據(jù)引起的客戶端漂移問題進行了懲罰。KARIMIREDDY等［9］提出了SCAFFOLD隨機控制平均算法，它使用控制變量（方差減少）糾正其局部更新中的客戶端漂移問題，但這種算法要求客戶端是有狀態(tài)的，同時傳遞狀態(tài)參數(shù)也會額外地增加通信開銷。

同時，為了解決由Non＼|IID數(shù)據(jù)引發(fā)的問題，聚類聯(lián)邦學習（CFL）［10＼|11］成為一個新興的研究方向。聚類聯(lián)邦學習［12＼|13］是基于客戶梯度更新之間的余弦相似度證明推斷客戶群體的兩個成員是否有不同的數(shù)據(jù)生成分布，從而能夠推斷聚類結構，它既可以在一定程度上解決本地訓練中數(shù)據(jù)不足的問題，又可以減少異構數(shù)據(jù)對全局模型的影響。MORAFAH等［14］提出了FLIS（Clustered?Federated?Learning?Via?Inference?Similarity?for?Non＼|IID?Data?Distribution）算法，旨在通過將客戶端分組到具有聯(lián)合可訓練數(shù)據(jù)分布的集群中解決數(shù)據(jù)異構問題。通過比較客戶端模型的推理相似性將具有相同學習任務的數(shù)據(jù)聚合。VAHIDIAN等［15］提出了PACFL（Principal?Angles?analysis?for?Clustered?Federated?Learning）算法，通過分析客戶端數(shù)據(jù)子空間之間的主要角度，有效地識別客戶端之間的分布相似性。加入聯(lián)合的每個客戶機，以一次性的方式對其本地數(shù)據(jù)應用一個截斷的奇異值分解（SVD）步驟推導出一組主要向量提供給服務器，服務器識別客戶端之間的分布相似性，從而形成集群。綜上，對于數(shù)據(jù)非獨立同分布的問題，可以從全局模型聚合或者本地客戶端更新中優(yōu)化聯(lián)邦學習方法。但是，上述方法都從一個角度進行優(yōu)化，難免會引發(fā)另一角度帶來的影響，導致全局模型的質量降低。

2?背景知識（Background?knowledge）

2.1?聯(lián)邦學習

其中：N表示參與訓練客戶端的用戶數(shù)據(jù)量，局部批次大小為B；pi為參與訓練的第i個客戶端的聚合權重，其中pi≥0，并且∑i[DD）]pi=1；Fi（w）是本地目標函數(shù)，表示參與訓練的客戶端在本地數(shù)據(jù)集（xi，yi）上對模型參數(shù)w的平均損失的預測值；l（·）為交叉熵損失函數(shù)，本地局部模型訓練損失函數(shù)為l（w;b）=∑（x，y）∈b[DD）]l（x;y;w），這是FL算法中的FedAvg算法給出的典型問題定義。

在FedAvg算法中，采用隨機梯度下降（SGD）優(yōu)化全局損失函數(shù)。為了簡化場景，本研究設置了客戶端的數(shù)量N個，每個客戶端都有自己的本地數(shù)據(jù)集。在每一輪通信中，隨機選擇一定比例的客戶端參與，服務器將前一輪的平均模型作為初始模型?？蛻舳私邮盏椒掌魉l(fā)送的模型參數(shù)后，使用本地數(shù)據(jù)進行E輪訓練，并將模型參數(shù)發(fā)送回服務器。服務器對收集到的模型參數(shù)進行聚合，獲得新的全局模型，作為下一輪通信的初始點。當數(shù)據(jù)獨立同分布（IID）時，每個局部模型的梯度下降方向與全局梯度下降方向相似，因此平均梯度下降方向也與全局梯度下降方向相似。但在高異質性（Non＼|IID）數(shù)據(jù)的情況下，服務器聚合的平均梯度下降方向偏離了全局梯度下降方向。因此，F(xiàn)edAvg在Non＼|IID數(shù)據(jù)環(huán)境下表現(xiàn)出的性能通常不如IID數(shù)據(jù)環(huán)境。與傳統(tǒng)的分布式機器學習相比，F(xiàn)edAvg算法有效地降低了通信開銷，但在實際應用中，會在客戶數(shù)據(jù)的分布中出現(xiàn)不同程度的偏差。

2.2?聚類聯(lián)邦學習

聚類在聯(lián)邦學習中不能直接聚類節(jié)點中的數(shù)據(jù)，而是聚類節(jié)點中的模型參數(shù)，其意義在于尋找相似的模型參數(shù)，如同尋找相似的節(jié)點。根據(jù)模型參數(shù)進行聚類，尋得相似節(jié)點分類聚合，在減少數(shù)據(jù)異構對聯(lián)邦學習造成影響的同時，也增強了節(jié)點數(shù)據(jù)的隱私性。本文將層次聚類用于聯(lián)邦學習訓練的主要原因如下：（1）距離規(guī)則的相似度更容易被定義，限制程度較?。唬?）不需要預先設定聚類數(shù)；（3）能發(fā)現(xiàn)類層次關系。

層次聚類（HC）是以一個鄰接矩陣作為輸入，并將相似的對象分組到聚類中。HC首先將每個客戶端看作一個初始聚類簇。通過在聚類的每一步計算所有聚類之間距離識別它們的相似性（距離閾值為聚類閾值，距離越小，其相似度越高），并將最近的兩個聚類簇進行合并。迭代過程不斷重復進行，直至達到預設的聚類簇的個數(shù)。

3.1?基于層次聚類的聯(lián)邦學習

由于數(shù)據(jù)的異質性導致普通的聯(lián)邦學習得到的全局模型無法很好地概括每個參與訓練的客戶端，因此本研究提出了一種個性化聯(lián)邦學習的方法，即LMRCFL（Logistic＼|based?More?Robust?Clustered?Federated?Learning）。LMRCFL方法可以自動將數(shù)據(jù)分布狀態(tài)更新為相近參與聯(lián)邦學的客戶端，形成最合適的多個動態(tài)集群，在每個動態(tài)集群中，將原本具有Non＼|IID性質的客戶端在多個動態(tài)的集群中轉變?yōu)榻艻ID的分布，從而進一步提高模型準確率。數(shù)據(jù)的異質性導致傳統(tǒng)的聯(lián)邦學習方法無法很好地適應每個參與訓練的客戶端的特點。為了解決這一問題，引入個性化聯(lián)邦學習方法自動將數(shù)據(jù)分布狀態(tài)相似的客戶端聚合成多個動態(tài)集群，以最佳方式進行模型訓練。在每個動態(tài)集中，將原本具有非獨立分布特性的客戶端的數(shù)據(jù)，轉化為近似獨立同分布（IID）的分布，提高模型的精確性。

在動態(tài)聚類的聯(lián)邦學習中，為了尋找分布更相似的客戶端［16］，研究人員開展了研究，例如通過模型參數(shù)計算客戶端模型之間的距離，或者使用每個模型的總損失值衡量它們的相似性。然而，有時即使模型參數(shù)相同，輸出的結果仍可能存在較大差異。因此，使用模型參數(shù)和總損失值作為相似性度量的標準可能存在不確定性。為了解決這一問題，在聯(lián)邦學習訓練過程中，除了上傳模型參數(shù)，本研究還上傳了每個客戶端在通信過程中，經過最后一輪本地訓練后的所有數(shù)據(jù)輸出的平均Softmax值，輸出值是對本地擁有數(shù)據(jù)的描述，它可以清晰地反映客戶端的數(shù)據(jù)分布狀態(tài)，從而有助于尋找數(shù)據(jù)分布更相似的客戶端。

當中心服務器接收到來自客戶端上傳的輸出值后組成矩陣[WTHX]A[WTBX]，表示為[WTHX]A[WTBX]=［s1，s2，…，sn］。矩陣[WTHX]A[WTBX]包含了每輪參與訓練的客戶端上傳的值。然后采用歐氏距離度量概率分布之間的距離，計算矩陣[WTHX]A[WTBX]中每個si與其他n-1個輸出值之間的距離，從而生成一個鄰接矩陣[WTHX]X[WTBX]。本研究將通過歐氏距離計算得到的距離度量記為sij，最終得到的鄰接矩陣記為[WTHX]X[WTBX]ij，利用所得到的鄰接矩陣[WTHX]X[WTBX]ij設計了一種新的層次聚類方法，采用Ward法作為層次聚類的鏈接方法，默認每一輪形成10個集群，等于每一輪中參與者客戶的數(shù)量，Ward法是一種凝聚式層次聚類算法，其核心思想是將初始時每個數(shù)據(jù)點視為一個獨立的聚類，然后逐漸合并這些聚類，每次合并都最小化簇內方差的增量，直到形成所需數(shù)量的聚類或滿足某個停止條件。該方法能夠自動確定所需的聚類數(shù)量，并用于構建聯(lián)簇。

3.2?正則項

在聯(lián)邦學習中，允許不同設備根據(jù)它們的性能和數(shù)據(jù)特點執(zhí)行不同的訓練，若每個設備都獨立地進行本地模型更新，則可能導致因本地數(shù)據(jù)的異質性而產生全局模型的偏移問題。為了確保在聯(lián)邦學習中模型在各個設備之間保持一定的一致性，需要在目標函數(shù)中引入正則項，將其看作一種懲罰機制，限制每個設備的本地數(shù)據(jù)更新幅度，使模型訓練過程更加穩(wěn)定。這為通過聚類方法對客戶端進行分簇后實現(xiàn)個性化操作奠定了基礎。通過這種方式，能夠更好地促進設備之間的協(xié)作和知識共享，從而提高聯(lián)邦學習的效果。

本文所提方法通過在本地經驗風險中引入一個近端項，當全模型下發(fā)時，首先將模型參數(shù)凍結，對客戶端進行更新，此時相當于局部模型進行更新得到L1，其次不凍結模型參數(shù)，下發(fā)模型參數(shù)并進行客戶端更新得到L2，數(shù)據(jù)相同而模型不同，計算L1與L2之間的距離，觀察它們之間的變化幅度，若L1與L2之間變化大，則認為模型參數(shù)發(fā)生了很大的變化，會影響最終的均值，此時把它加入損失函數(shù)中作為一個懲罰項，限制其受本地數(shù)據(jù)更新的影響。

3.3?基于動態(tài)聚類的聯(lián)邦學習框架

算法流程如下。

Step1：服務器向客戶端發(fā)送初始化全局模型參數(shù)w0，客戶進行本地數(shù)據(jù)更新wi，并將更新后的模型參數(shù)發(fā)送回服務器。

Step2：服務器接收到客戶端模型參數(shù)，通過Softmax函數(shù)歸一化。

Step3：計算客戶端到其他客戶端的距離，構建鄰接矩陣[WTHX]A[WTBX]ij，通過層次聚類將其劃分為不同的簇。

Step4：每個簇內按樣本權重加權，構建多個全局模型并進行模型下發(fā)，對應客戶端接收到對應簇的全局模型。

Step5：為了控制模型的復雜度，局部模型的目標函數(shù)是在原損失函數(shù)的基礎上加近端項作為懲罰項，通過正則化本地損失函數(shù)獲得泛化性能更好的全局模型。

重復執(zhí)行上述步驟，直至節(jié)點與中心服務端通信次數(shù)達到ROUNDS，則訓練結束。

LMRCFL算法：

4?實驗結果與分析（Experimental?results?analysis）

4.1?實驗過程

4.1.1?數(shù)據(jù)集和模型

實驗在CIFAR＼|10、Fashion＼|MNIST和SVHN數(shù)據(jù)集上評估LMRCFL方法的性能，引入CNN網(wǎng)絡模型，由2個5×5卷積層、2個平均池化層和3個全連接層組成，每個卷積層都連接著2×2的池化層和ReLu激活函數(shù)，Softmax層作為輸出層。

通過狄利克雷分布模擬非獨立分布。在該分布中，用超參數(shù)控制設備之間數(shù)據(jù)分區(qū)的傾斜程度。若α越大，則設備間數(shù)據(jù)傾斜程度越小，越接近均勻分布；若α越小，則設備間標簽傾斜越嚴重，異構特性越明顯。這種設置方式給數(shù)據(jù)分區(qū)引入了更多的隨機性，雖然無法完全控制數(shù)據(jù)分區(qū)的結果，但是能較好地反映實際場景中的數(shù)據(jù)分區(qū)情況。實驗中采用10個客戶端，默認通過α=0.1狄利克雷分布隨機采樣選取100個客戶端，最大聚類數(shù)為10類，批次大小為16。

CIFAR＼|10數(shù)據(jù)集是一個彩色圖像數(shù)據(jù)集，每張圖片的大小為32×32。Fashion＼|MNIST數(shù)據(jù)集是包含10個類別的70?000張衣物的灰度圖像，分辨率為28×28像素；Fashion＼|MNIST數(shù)據(jù)集比MNIST數(shù)據(jù)集（MNIST數(shù)據(jù)集是一個計算機視覺數(shù)據(jù)集，它包含70?000張手寫數(shù)字的灰度圖片，每一張圖片包含28×28個像素點）更復雜，能更好地表示神經網(wǎng)絡的實際性能和實際應用中使用的數(shù)據(jù)集。SVHN數(shù)據(jù)集是從谷歌街景圖像中的門牌號碼中獲得的，都是10分類問題，每張圖片包含一組數(shù)字（0～9）。數(shù)據(jù)集和模型統(tǒng)計信息如表1所示。

4.1.2?實驗設置

實驗中，F(xiàn)L系統(tǒng)的默認設置如表2所示。客戶端本地數(shù)據(jù)訓練使用隨機梯度下降優(yōu)化器進行優(yōu)化，動量參數(shù)設置為0.5，損失函數(shù)為交叉熵損失函數(shù)?？蛻舳吮镜財?shù)據(jù)訓練中使用CNN模型，其網(wǎng)絡結構如表3所示。

4.1.3?實驗評價指標

本文采用測試集客戶端數(shù)據(jù)的平均測試準確率作為算法性能的評價指標。

4.2?對比實驗結果

為了評估LMRCFL算法的性能，分別在CIFAR＼|10、Fashion＼|MNIST和SVHN數(shù)據(jù)集上進行了實驗，并與其他聯(lián)邦學習算法進行了比較。FedProx是基于聯(lián)邦平均算法FedAvg算法，在優(yōu)化目標中增加了一個近端項限制本地模型與全局模型的優(yōu)化差距，以此減小本地模型的漂移，這是解決聯(lián)邦學習中Non＼|IID問題的一個典型方法。PACFL通過分析客戶端數(shù)據(jù)子空間之間的主要角度，有效地識別客戶端之間的分布相似性，并形成集群。通過聚類聯(lián)邦學習解決數(shù)據(jù)異構性問題。

表4給出了4種算法在Non＼|IID數(shù)據(jù)集上第400輪訓練時獲得的準確率對比結果，表5給出了4種算法在Non＼|IID數(shù)據(jù)集上的最佳準確率（Best?Accuracy）對比結果。實驗結果表明，結合了層次聚類算法和近端項方法在不同數(shù)據(jù)集及數(shù)據(jù)異構的情況下，所提出算法比FedAvg算法、FedProx算法和PACFL算法得到一個更好的全局模型。LMRCFL方法在CIFAR＼|10、Fashion＼|MNIST、SVHN數(shù)據(jù)集上比其他的方法準確率都有所提高，從圖1、圖2、圖3可以看出，LMRCFL方法的測試集準確率變化曲線基本都能處于其他算法之上，說明LMRCFL方法在Non＼|IID設置下能發(fā)揮積極作用。

各算法在α=0.1時，實驗準確率隨訓練輪次的變化趨勢如圖1至圖3所示，從中可以看出LMRCFL算法具有更快的收斂速度，獲得的最終準確率也最高，證明了本文提出模型的有效性；相較于其他，LMRCFL算法每次局部更新時結合了層次聚類算法和近端項方法的更新程度，因此算法的每次變化更穩(wěn)定，準確率遠高于FedAvg算法、FedProx算法和PACFL算法，F(xiàn)edProx算法和PACFL算法在學習的過程中準確率波動較大，其中PACFL算法在CIFAR＼|10和SHVN數(shù)據(jù)集上的準確率波動比較大，在Fashion＼|MNIST數(shù)據(jù)集上的準確率表現(xiàn)相對穩(wěn)定，并且性能較好。

4.3?消融實驗

LMRCF算法分為兩個部分：一是全局模型更新時通過層次聚類法找到數(shù)據(jù)分布相似的客戶端，將其劃分為一個簇，減少了客戶端之間Non＼|IID的范圍；二是本地客戶端局部更新時通過正則化本地損失函數(shù)獲得泛化性能更好的全局模型。為了驗證基于層次聚類的個性化聯(lián)邦學習的有效性，本文在CIFAR＼|10、Fashion＼|MNIST和SVHN數(shù)據(jù)集上進行了消融實驗。實驗結果如圖4至圖6所示，從中可以看出CLUSTER10表示將客戶端數(shù)量聚為10類，CLUSTER5表示將客戶端數(shù)量聚為5類，CLUSTER1表示沒有聚類，只添加了正則化時的聯(lián)邦學習方法。

實驗結果表明，各種聚類方法都比FedAvg方法的效果好，說明聚類對測試準確率和客戶端數(shù)據(jù)的平均準確率有影響，結合使用聚類方法有助于解決Non＼|IID問題。在Fashion＼|MNIST數(shù)據(jù)集和SVHN數(shù)據(jù)集上不同的聚類方法沒有很大的區(qū)別。在CIFAR＼|10數(shù)據(jù)集上聚成10類的效果明顯好于聚成5類的效果，讓每一簇的客戶端數(shù)量更多，學到的知識更好。

4.4?Non＼|iid強度的對比

在Fashion＼|MNIST、SVHN數(shù)據(jù)集上對不同Non＼|IID強度條件下獲得的準確率進行了對比，如圖7和圖8所示，狄利克雷分布系數(shù)（dir）越小，異質性越強，狄利克雷分布系數(shù)（dir）越大，異質性越弱，對比兩種異質性的強度，最終結果是相似的，不管環(huán)境如何變化，本文所提方法在不同的狄利克雷分布系數(shù)下，準確率結果也比較相近，進一步證明了LMRCFL方法具有魯棒性。

5?結論（Conclusion）

為了解決聯(lián)邦學習訓練中非獨立同分布數(shù)據(jù)的異構問題，本文提出了一種新的聯(lián)邦學習框架，從全局模型聚合和局部更新兩個方面改進了算法，客戶端數(shù)據(jù)全局聚合時使用層次聚類法進行優(yōu)化，在局部更新時加入正則化懲罰項修正本地損失函數(shù)。結果表明，聚類對測試準確率和客戶端數(shù)據(jù)的平均準確率有影響，結合聚類方法和正則化懲罰項有助于提高算法的有效性，同時具有更好的魯棒性。?在未來的研究中，將持續(xù)開展算法的理論研究并證明其收斂性，設計性能更好的聯(lián)邦學習算法，以可視化聚類聯(lián)邦學習的公平性，從而解決客戶端設備異構的問題。

參考文獻（References）[HJ1.35mm]

［1］?MOTHUKURI?V，PARIZI?R?M，POURIYEH?S，et?al.?A?survey?on?security?and?privacy?of?federated?learning［J］.?Future?generation?computer?systems，2021，115：619＼|640.

［2］?LI?T，SAHU?A?K，TALWALKAR?A，et?al.?Federated?learning：challenges，methods，and?future?directions［J］.?IEEE?signal?processing?magazine，2020，37（3）：50＼|60.

［3］?肖雄，唐卓，肖斌，等.?聯(lián)邦學習的隱私保護與安全防御研究綜述［J］.?計算機學報，2023，46（5）：1019＼|1044.

［4］?郭桂娟，田暉，皮慧娟，等.?面向非獨立同分布數(shù)據(jù)的聯(lián)邦學習研究進展［J］.?小型微型計算機系統(tǒng)，2023，44（11）：2442＼|2449.

［5］?藍夢婕，蔡劍平，孫嵐.?非獨立同分布數(shù)據(jù)下的自正則化聯(lián)邦學習優(yōu)化方法［J］.?計算機應用，2023，43（7）：2073＼|2081.

［6］?ZHU?H?Y，XU?J?J，LIU?S?Q，et?al.?Federated?learning?on?non＼|IID?data：a?survey［J］.?Neurocomputing，2021，465（C）：371＼|390.

［7］?ZHAO?Z?Y，F(xiàn)ENG?C?Y，HONG?W，et?al.?Federated?learning?with?non＼|IID?data?in?wireless?networks［J］.?IEEE?transactions?on?wireless?communications，2022，21（3）：1927＼|1942.

［8］?LI?T，SAHU?A?K，ZAHEER?M，et?al.?Federated?optimization?in?heterogeneous?networks［J］.?Proceedings?of?machine?learning?and?systems，2020，2：429＼|450.

［9］?KARIMIREDDY?S?P，KALE?S，MOHRI?M，et?al.?SCAFFOLD：stochastic?controlled?averaging?for?federated?learning［DB/OL］.?（2022＼|09＼|21）［2024＼|02＼|05］.?https：∥arxiv.org/abs/1910.06378.

［10］?SATTLER?F，MULLER?K?R，SAMEK?W.?Clustered?federated?learning：model＼|agnostic?distributed?multitask?optimization?under?privacy?constraints［J］.?IEEE?transactions?on?neural?networks?and?learning?systems，2021，32（8）：3710＼|3722.

［11］?GHOSH?A，CHUNG?J，YIN?D，et?al.?An?efficient?framework?for?clustered?federated?learning［J］.?IEEE?transactions?on?information?theory，2022，68（12）：8076＼|8091.

［12］?常黎明，劉顏紅，徐恕貞.?基于數(shù)據(jù)分布的聚類聯(lián)邦學習［J］.?計算機應用研究，2023，40（6）：1697＼|1701.

［13］?魯晨陽，鄧蘇，馬武彬，等.?基于DBSCAN聚類的集群聯(lián)邦學習方法［J］.?計算機科學，2022，49（S1）：232＼|237.

［14］?MORAFAH?M，VAHIDIAN?S，WANG?W?J，et?al.?FLIS：clustered?federated?learning?via?inference?similarity?for?non＼|IID?data?distribution［J］.?IEEE?open?journal?of?the?computer?society，2023，4：109＼|120.

［15］?VAHIDIAN?S，MORAFAH?M，WANG?W?J，et?al.?Efficient?distribution?similarity?identification?in?clustered?federated?learning?via?principal?angles?between?client?data?subspaces［DB/OL］.?（2022＼|09＼|21）［2023＼|12＼|25］.?https：∥arxiv.org/abs/2209.10526.

［16］?張婷，吳宇.?面向Non＼|IID場景的聯(lián)邦學習客戶端選擇算法研究［J］.?東莞理工學院學報，2023，30（3）：24＼|31.

作者簡介：

施玉倩（1997＼|），女，碩士生。研究領域：聯(lián)邦學習，隱私保護。

巫朝霞（1975＼|），女，博士，教授。研究領域：信息安全。