基于三支決策的聯(lián)邦學(xué)習(xí)客戶選擇模型

李曉琦,張春英,劉璐,王立亞

(華北理工大學(xué) 理學(xué)院,河北 唐山 063210)

引言

聯(lián)邦學(xué)習(xí)(Federated Learning,FL)作為一個(gè)新的分布式機(jī)器學(xué)習(xí)模式,使客戶端在保持?jǐn)?shù)據(jù)集私有化的前提下訓(xùn)練本地模型,中央服務(wù)器通過多次迭代聚合本地模型,得到了具有良好推廣性的全局模型[1,2]。在聯(lián)邦學(xué)習(xí)中,中央服務(wù)器的核心任務(wù)是聚合從客戶端收到的模型參數(shù),以學(xué)習(xí)改進(jìn)全局模型,并將其與客戶端共享。通信帶寬是聯(lián)邦學(xué)習(xí)的一個(gè)主要瓶頸,因?yàn)榇罅康目蛻舳硕紝⑵淠Ｐ蛥?shù)更新發(fā)送給中央服務(wù)器。聯(lián)邦服務(wù)器的通信資源和計(jì)算資源也會(huì)限制參與客戶端的數(shù)量。

最常用的減少聯(lián)邦學(xué)習(xí)通信帶寬的方法之一是降低通信頻次,增加客戶端的計(jì)算成本。這通常要求客戶端在通信之前多次迭代局部梯度下降[3]。作為使用最廣泛的聯(lián)邦學(xué)習(xí)算法,FedAvg也是采用這種方法來減少通信成本的。為了進(jìn)一步減少通信成本,服務(wù)器可以選擇每一輪參與迭代的客戶端集合。FedAvg在不改變總客戶端數(shù)量的情況下隨機(jī)選擇參與訓(xùn)練的客戶端,同時(shí)服務(wù)器把全局模型廣播給所有的客戶端,包括該輪未參與的客戶端。然而,在這種方案存在偏頗。因?yàn)閷?duì)于未參與訓(xùn)練的客戶端,FedAvg產(chǎn)生的模型與預(yù)期中客戶端單獨(dú)訓(xùn)練得到的模型存在著偏差。Li等人[4]提出了一個(gè)公正的客戶選擇方案,即為被選中的客戶端創(chuàng)建新的全局模型。

由于聯(lián)邦學(xué)習(xí)中的通信限制和間歇性客戶端可用性,只有一部分客戶端可以參與每輪訓(xùn)練。但是,每輪迭代中客戶端部分參與聯(lián)邦訓(xùn)練會(huì)加劇數(shù)據(jù)異質(zhì)性對(duì)最終全局模型的影響[5-7]。F-RCCE[8](Federated REINFORCE Client Contribution Evaluation)框架使用了參與方全部的梯度參數(shù)并且驗(yàn)證了該框架在數(shù)據(jù)分布不平衡下的性能,CFFL[9](Collaborative Fair Federated Learning)框架使用參與方部分的梯度參數(shù)調(diào)整分配的模型性能來實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)的合作公平性。文獻(xiàn)[10]通過提出Top-k梯度選擇算法,篩選上傳的梯度參數(shù)以減少用戶之間同步梯度的通信開銷。客戶選擇中最常見的目標(biāo)是加快訓(xùn)練的聚合過程。不同的學(xué)者給出了不同的技術(shù)方案。Chen等人[11]專注于減少訓(xùn)練輪中的客戶數(shù)量,僅與選中的客戶端進(jìn)行通信可以將通信減少到客戶端循環(huán)迭代中的十分之一。Chen等人[3]表示,最佳客戶抽樣可能會(huì)產(chǎn)生與客戶完全參與方案中相似的學(xué)習(xí)曲線。Cho 等人[6]提出了 pow-d 方法,旨在減少訓(xùn)練輪次的總數(shù)以達(dá)到相同的精度。Cho等人[12]提出了基于MAB(Multi-Armed Bandit)的客戶端選擇策略UCB-CS,并計(jì)算每個(gè)客戶端的累積局部損失值和每個(gè)客戶端被采樣次數(shù)的計(jì)數(shù),使該客戶選擇策略提高了收斂速度。

三支決策(Three-way Decisions)[13]是一種處理不確定性決策的粒計(jì)算方法,已成功用于各種領(lǐng)域。三支決策理論通過引入邊界域的概念,將那些不能立刻做出判決的對(duì)象劃分到邊界域以待進(jìn)一步處理,這和人們?cè)趯?shí)際生活中做決斷的行為相符合,同時(shí)能降低一定的決策錯(cuò)誤率。針對(duì)聯(lián)邦學(xué)習(xí)中客戶選擇的問題,依據(jù)三支決策理論,在客戶選擇的過程中,制定三支聯(lián)邦客戶的分類規(guī)則,提出了一種基于三支決策的聯(lián)邦客戶選擇模型。該模型根據(jù)客戶端的參數(shù)損失值和精度,利用三支決策的閾值判定客戶端是否參與聯(lián)邦聚合訓(xùn)練,從而加快聯(lián)邦模型的收斂。

1 三支決策相關(guān)理論

1.1 三支決策

三支決策的主要思想就是根據(jù)域的劃分將整體分為3個(gè)獨(dú)立的部分,并對(duì)不同部分采用不同的處理方法,其基本思想可以用圖1來描述。設(shè)U={x1,x2,...,xn}是有限、非空實(shí)體(對(duì)象)集,C是有限條件集。三部分分別為正域、負(fù)域和邊界域。

圖1 三支決策的三個(gè)域

表1 代價(jià)函數(shù)

表2 代價(jià)函數(shù)

λPP,λNP,λBP分別表示當(dāng)對(duì)象屬于C時(shí)采取行動(dòng)aP,aN,aB的代價(jià),λPN,λNN,λBN分別表示當(dāng)對(duì)象屬于C時(shí)采取行動(dòng)aP,aN,aB的代價(jià)。P(C|[x])表示[x]屬于集合C的條件概率,對(duì)于[x]中的對(duì)象,分別采取行動(dòng)aP,aN,aB的期望代價(jià)為:

(1)

根據(jù)貝葉斯決策論的最小風(fēng)險(xiǎn)決策過程,可得如下最小代價(jià)決策規(guī)則[17]:

(P)若R(aP|[x])≤R(aN|[x])且R(aP|[x])≤R(aB|[x]),則x∈POS(α,β)(C)接受決策;

(N)若R(aN|[x])≤R(aP|[x])且R(aN|[x])≤R(aB|[x]),則x∈NEG(α,β)(C)拒絕決策;

(B)若R(aB|[x])≤R(aP|[x])且R(aB|[x])≤R(aN|[x]),則x∈BND(α,β)(C)延遲決策。

令,

(2)

(P) 如果P(C|[x])≥α,則x∈POS(α,β)(C)接受決策;

(N)如果P(C|[x])≤β,則x∈NEG(α,β)(C)拒絕決策;

(B)如果α

2 基于三支決策的聯(lián)邦客戶選擇模型

該部分詳細(xì)介紹聯(lián)邦學(xué)習(xí)的基本步驟,基于三支決策的聯(lián)邦客戶過程和基于三支決策的橫向聯(lián)邦學(xué)習(xí)模型。

2.1 聯(lián)邦學(xué)習(xí)基本步驟

聯(lián)邦學(xué)習(xí)被認(rèn)為是一個(gè)迭代過程,每次迭代都對(duì)中心機(jī)器學(xué)習(xí)模型進(jìn)行改進(jìn),從服務(wù)器隨機(jī)選擇客戶端下載可訓(xùn)練模型,使用自己的數(shù)據(jù)更新模型,并將更新后的模型上傳到服務(wù)器,同時(shí)要求服務(wù)器聚合多個(gè)客戶端更新以進(jìn)一步改進(jìn)模型。

聯(lián)邦學(xué)習(xí)實(shí)現(xiàn)可以概括為以下3個(gè)步驟[18]:

(1)模型選擇:首先啟動(dòng)中央服務(wù)器預(yù)練的機(jī)器學(xué)習(xí)模型即全局模型及其初始參數(shù),然后將全局機(jī)器學(xué)習(xí)模型與聯(lián)邦學(xué)習(xí)環(huán)境中的所有客戶端共享;

(2)局部模型訓(xùn)練:在與所有客戶端共享初始機(jī)器學(xué)習(xí)模型和參數(shù)后,在客戶端的初始機(jī)器學(xué)習(xí)模型即局部機(jī)器學(xué)習(xí)模型使用個(gè)人訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練;

(3)數(shù)據(jù)傳輸:上行:客戶端上傳參數(shù)到服務(wù)器,下行:服務(wù)器傳輸參數(shù)到客戶端;

(4)聚合模型:本地模型在客戶端級(jí)別進(jìn)行訓(xùn)練,更新被發(fā)送到中央服務(wù)器,以聚合和訓(xùn)練全局機(jī)器學(xué)習(xí)模型。全局模型將被更新,改進(jìn)后的模型將在各個(gè)客戶機(jī)之間為下一次迭代共享。

聯(lián)邦學(xué)習(xí)處于一個(gè)持續(xù)的迭代學(xué)習(xí)過程中,重復(fù)上述(2)和(3)的訓(xùn)練步驟,以保持所有客戶端的全局機(jī)器學(xué)習(xí)模型更新。

聯(lián)邦學(xué)習(xí)經(jīng)典算法FedAvg主要思路是隨機(jī)選擇m個(gè)客戶端采樣,對(duì)這m個(gè)客戶端的梯度進(jìn)行全局模型更新。

在一般橫向聯(lián)邦學(xué)習(xí)框架FedAvg算法中有K個(gè)客戶端,其中客戶端k有本地?cái)?shù)據(jù)集Bk,包含數(shù)據(jù)樣本Dk=|Bk|。所有客戶端利用中央服務(wù)器旨在共同尋求模型參數(shù)向量w,以最大限度地降低以下目標(biāo):

(3)

2.2 基于三支決策的聯(lián)邦客戶選擇模型

結(jié)合聯(lián)邦學(xué)習(xí)的主要步驟[18]:模型選擇、局部模型訓(xùn)練、數(shù)據(jù)傳輸、聚合模型。在第一輪聚合模型之后增加客戶選擇模塊,設(shè)計(jì)出基于三支決策選擇模型的聯(lián)邦學(xué)習(xí)整體框架,如圖2所示。

圖2 聯(lián)邦客戶選擇總體框架圖

在聯(lián)邦客戶選擇框架中,中央服務(wù)器執(zhí)行全局模型聚合模塊和客戶選擇模塊。依據(jù)Yao提出的多類分類問題[13]三支決策模型,客戶選擇模塊將把所有客戶端劃分為3個(gè)部分,分別是POS域表示被選中,NEG域表示沒有被選中,BND域表示待定選擇?；谌Q策的聯(lián)邦客戶選擇模型具體算法思路如下:

(1)分域:利用上一輪客戶端的損失函數(shù)Fk(w)采取行動(dòng)aPP的期望代價(jià),使雙曲正切函數(shù)tanh(Fk(w))代表?xiàng)l件概率,令tanh(Fk(w))=P(C|xk),若P(C|xk)>α將k劃分POS域,若P(C|xk)<β將k劃分NEG域,若β

(2)判斷:如果POS域中被選中的客戶端少于m個(gè),則從BND域中再次選擇;

(3)迭代:此時(shí)條件概率使用上一輪客戶端回傳的精度vacck的雙曲正弦函數(shù)sinh(vacck),令sinh(vacck)=P(C|xk),直到正域中選中的客戶端大于等于m個(gè)。

雙曲正切函數(shù)和雙曲正弦函數(shù),在(0,+∞)范圍能單調(diào)遞增,使用雙曲正切函數(shù)和雙曲正弦函數(shù)對(duì)參數(shù)進(jìn)行歸一化處理。客戶端總數(shù)是K,每輪客戶樣本數(shù)量為m。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

為了驗(yàn)證算法的有效性, 本次實(shí)驗(yàn)共選擇:CIFAR-10、Fashion-MNIST、MNIST這3種公開的數(shù)據(jù)集進(jìn)行試驗(yàn)。

選取Fashion-MNIST、MNIST、CIFAR-10數(shù)據(jù)集中的2個(gè)類別,轉(zhuǎn)換圖片像素為1×28×28,每種類別挑選4 000張圖片,其中3 000張訓(xùn)練圖片、1 000張測(cè)試圖片。初始化100個(gè)客戶端,把3 000張訓(xùn)練圖片及1 000張測(cè)試圖片分別平分為100份,也即每個(gè)客戶端擁有30張訓(xùn)練圖片、10張測(cè)試圖片,使其充分滿足橫向聯(lián)邦學(xué)習(xí)的業(yè)務(wù)特征。

實(shí)驗(yàn)采用聯(lián)邦平均經(jīng)典算法FedAvg的聯(lián)邦聚合算法和三支聯(lián)邦客戶選擇算法進(jìn)行比較,均采用CNN機(jī)器學(xué)習(xí)算法。2個(gè)算法參數(shù)如表3所示。其中IID表示客戶端數(shù)據(jù)的分布方式,IID=TRUE代表客戶端的數(shù)據(jù)分布方式采用獨(dú)立同分布方式;K表示客戶端總數(shù)量;C表示客戶端選擇比例;Learning_rate表示學(xué)習(xí)率,代表可變參數(shù)每次更新的幅度。

表3 算法參數(shù)

3.2 實(shí)驗(yàn)結(jié)果

3.2.1參數(shù)C=0.1

參數(shù)C=0.1時(shí)的實(shí)驗(yàn)結(jié)果分別如圖3、圖4、圖5所示。

圖3 Fashion-MNIST數(shù)據(jù)集參數(shù)C=0.1時(shí)的實(shí)驗(yàn)結(jié)果

圖4 CIFAR-10數(shù)據(jù)集參數(shù)C=0.1的實(shí)驗(yàn)結(jié)果

圖5 MNIST數(shù)據(jù)集參數(shù)C=0.1的實(shí)驗(yàn)結(jié)果

根據(jù)圖3 Fashion-MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法的準(zhǔn)確率逐漸上升,而且上升幅度較大。FedAvg算法準(zhǔn)確率變化幅度較小。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到99%,與FedAvg算法相比準(zhǔn)確率提高了約5.5%。三支聯(lián)邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg快。

根據(jù)圖4 CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法和FedAvg算法的準(zhǔn)確率都逐漸上升,而且三支聯(lián)邦客戶選擇算法變化幅度較大,FedAvg算法準(zhǔn)確率變化幅度較小。當(dāng)?shù)喆未笥?00時(shí),三支聯(lián)邦客戶選擇算法準(zhǔn)確率高于FedAvg算法。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到83.2%,與FedAvg算法相比提高了約4%。三支聯(lián)邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg快。

根據(jù)圖5 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,三支聯(lián)邦客戶選擇算法的準(zhǔn)確率逐漸上升,而且三支聯(lián)邦客戶選擇算法變化幅度較大。FedAvg算法準(zhǔn)確率變化幅度較小。在迭代輪次大于400時(shí),三支聯(lián)邦客戶選擇算法準(zhǔn)確率高于FedAvg算法。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率到94%,與FedAvg算法相比提高了約3%。在迭代輪次大于100時(shí),三支聯(lián)邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg快。

3.2.2參數(shù) C=0.15

參數(shù)C=0.15時(shí)準(zhǔn)確率的實(shí)驗(yàn)結(jié)果分別如圖6、圖7、圖8所示。

圖6 MNIST數(shù)據(jù)集參數(shù)C=0.15的實(shí)驗(yàn)結(jié)果

圖7 Fashion-MNIST數(shù)據(jù)集參數(shù)C=0.15的實(shí)驗(yàn)結(jié)果

圖8 CIFAR-10數(shù)據(jù)集參數(shù)C=0.15的實(shí)驗(yàn)結(jié)果

根據(jù)圖6 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,當(dāng)?shù)喆涡∮?20時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率小于FedAvg算法。當(dāng)?shù)喆未笥?20時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率變化幅度較大,且始終大于FedAvg算法準(zhǔn)確率。整體來看,FedAvg算法準(zhǔn)確率變化幅度較小。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的精度達(dá)到95%,與FedAvg算法相比準(zhǔn)確率提高了約3%。在迭代輪次大于100時(shí),三支聯(lián)邦客戶選擇算法的損失值下降幅度略大于FedAvg算法。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg 快。

根據(jù)圖7 Fashion-MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,在迭代輪次達(dá)到100之后,FedAvg算法的準(zhǔn)確率沒有明顯增加。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到98%,比FedAvg算法的準(zhǔn)確度提高了約5%。在迭代輪次大于100并且小于400時(shí),FedAvg算法和三支聯(lián)邦客戶選擇算法收斂速度差別不大,但在迭代輪次大于400時(shí),FedAvg算法的損失值又逐漸增加,這是出現(xiàn)了過擬合現(xiàn)象。而三支聯(lián)邦客戶選擇算法隨著迭代輪次增加,損失值逐步減小,沒有出現(xiàn)過擬合現(xiàn)象。

根據(jù)圖8 CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法和FedAvg算法的準(zhǔn)確率都逐漸上升,當(dāng)?shù)喆涡∮?00時(shí),FedAvg算法高于三支聯(lián)邦客戶選擇算法的準(zhǔn)確率。當(dāng)?shù)喆未笥?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率高于FedAvg算法。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到84%,與FedAvg算法相比準(zhǔn)確度提高了約2%。隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法的損失值下降幅度較大,且總是低于FedAvg算法。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg快。

3.2.3參數(shù)C=0.2

參數(shù)C=0.2時(shí)準(zhǔn)確率的實(shí)驗(yàn)結(jié)果分別如圖9、圖10、圖11所示。

圖9 Fashion-MNIST數(shù)據(jù)集參數(shù)C=0.1的實(shí)驗(yàn)結(jié)果

圖10 CIFAR-10數(shù)據(jù)集參數(shù)C=0.2的實(shí)驗(yàn)結(jié)果

圖11 MNIST數(shù)據(jù)集參數(shù)C=0.2時(shí)的實(shí)驗(yàn)結(jié)果

根據(jù)圖9 Fashion-MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,在迭代輪次大于100時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率大于FedAvg算法,三支聯(lián)邦客戶選擇算法的準(zhǔn)確率逐漸上升,而且變化幅度較大。FedAvg算法精準(zhǔn)度變化幅度較小。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到99.5%,與FedAvg算法相比準(zhǔn)確率提高了約5%。在迭代輪次大于100并且小于400時(shí),FedAvg算法和三支聯(lián)邦客戶選擇算法收斂速度差別不大,但在迭代輪次大于400時(shí),FedAvg算法的損失值又逐漸增加,這是出現(xiàn)了過擬合現(xiàn)象。而三支聯(lián)邦客戶選擇算法隨著迭代輪次增加,損失值逐步減小,沒有出現(xiàn)過擬合現(xiàn)象。

根據(jù)圖10 CIFAR-10數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法和FedAvg算法的準(zhǔn)確率都逐漸上升。當(dāng)?shù)喆涡∮?20時(shí),FedAvg算法高于三支聯(lián)邦客戶選擇算法的準(zhǔn)確率。當(dāng)?shù)喆未笥?20時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率高于FedAvg算法。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到86%,與FedAvg算法相比準(zhǔn)確率提高了約3.5%。隨著迭代輪次增加,三支聯(lián)邦客戶選擇算法的損失值下降幅度較大。在迭代輪次小于300時(shí),FedAvg算法收斂速度比三支聯(lián)邦客戶選擇算法快。在迭代輪次大于300時(shí),三支聯(lián)邦客戶選擇算法收斂速度比FedAvg快。

根據(jù)圖11 MNIST數(shù)據(jù)集實(shí)驗(yàn)結(jié)果可知,當(dāng)?shù)喆涡∮?40時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率小于FedAvg算法。當(dāng)?shù)喆未笥?40時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率大于FedAvg算法,而且變化幅度較大。FedAvg算法準(zhǔn)確率變化幅度較小。當(dāng)?shù)喆蔚?00時(shí),三支聯(lián)邦客戶選擇算法的準(zhǔn)確率達(dá)到95%,與FedAvg算法相比,準(zhǔn)確度提高了約4%。三支聯(lián)邦客戶選擇算法收斂速度比FedAvg 快。在迭代輪次小于200時(shí),FedAvg算法損失值小于三支聯(lián)邦客戶選擇算法的損失值。在迭代輪次大于200時(shí),三支聯(lián)邦客戶選擇算法的損失值小于FedAvg算法,并且下降幅度大于FedAvg算法。

根據(jù)在不同數(shù)據(jù)集上,聯(lián)邦平均算法FedAvg和基于三支決策的聯(lián)邦客戶選擇算法,針對(duì)不同參數(shù)設(shè)置得到的算法結(jié)果進(jìn)行對(duì)比分析。表4、表5和表6列出了三個(gè)數(shù)據(jù)集在參數(shù)C=0.1、0.15、0.2的情況下實(shí)驗(yàn)結(jié)果顯示的最高準(zhǔn)確率和最小損失值。

表4 C=0.1的最高準(zhǔn)確率和最小損失值

表5 C=0.15的最高準(zhǔn)確率和最小損失值

表6 C=0.2的最高準(zhǔn)確率和最小損失值

由表4、表5和表6可知,三個(gè)數(shù)據(jù)集在不同的參數(shù)C的情況下,三支聯(lián)邦客戶選擇算法的準(zhǔn)確率均高于FedAvg算法。三個(gè)數(shù)據(jù)集在參數(shù)C=0.1、0.15的情況下,三支聯(lián)邦客戶選擇算法的損失值均小于FedAvg算法。Fashion-MNIST數(shù)據(jù)集在C=0.2的情況下,三支聯(lián)邦客戶選擇算法的損失值均大于FedAvg算法,在參數(shù)C=0.1、0.15的情況下,三支聯(lián)邦客戶選擇算法的損失值均小于FedAvg算法。

4 結(jié)論

(1)提出了一種融合三支決策思想的聯(lián)邦客戶選擇的方法。在CIFAR-10、MNIST、Fashion-MNIST這3種數(shù)據(jù)集進(jìn)行的實(shí)驗(yàn)證實(shí)了所提出方法的可行性與有效性。

(2)與隨機(jī)選擇方法相比,基于三支決策的聯(lián)邦客戶選擇方法,Fashion-MNIST數(shù)據(jù)集上準(zhǔn)確率提高了約5%,在CIFAR-10數(shù)據(jù)集上準(zhǔn)確率提高了約3%,在MNIST數(shù)據(jù)集準(zhǔn)確率提高了約4%。