移動(dòng)邊緣網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)效率優(yōu)化綜述

孫 兵 劉 艷 王 田 彭紹亮 王國(guó)軍 賈維嘉

1(華僑大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 福建廈門(mén) 361021) 2(北京師范大學(xué)人工智能與未來(lái)網(wǎng)絡(luò)研究院 廣東珠海 519087) 3(北京師范大學(xué)-香港浸會(huì)大學(xué)聯(lián)合國(guó)際學(xué)院人工智能與多模態(tài)數(shù)據(jù)處理重點(diǎn)實(shí)驗(yàn)室 廣東珠海 519087) 4(湖南大學(xué)信息科學(xué)與工程學(xué)院 長(zhǎng)沙 410082) 5(廣州大學(xué)計(jì)算機(jī)科學(xué)與網(wǎng)絡(luò)工程學(xué)院 廣州510006)

近年來(lái)，深度學(xué)習(xí)(deep learning, DL)[1]的發(fā)展為人工智能技術(shù)的進(jìn)步創(chuàng)造了動(dòng)力.隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，移動(dòng)設(shè)備都具備強(qiáng)大的芯片、傳感器以及計(jì)算能力，能夠在處理高級(jí)任務(wù)的同時(shí)，收集和產(chǎn)生更豐富的數(shù)據(jù)[2].這些數(shù)據(jù)為深度學(xué)習(xí)的研究提供了有利的基礎(chǔ)條件，是深度學(xué)習(xí)不可或缺的部分.

傳統(tǒng)以云為中心的深度學(xué)習(xí)，需要先收集移動(dòng)設(shè)備的數(shù)據(jù)，包括物聯(lián)網(wǎng)設(shè)備和智能手機(jī)收集的數(shù)據(jù)，例如照片、視頻和位置等信息[3-5]，并全部發(fā)送到基于云的服務(wù)器或數(shù)據(jù)中心進(jìn)行處理與訓(xùn)練.然而，這種方法存在2個(gè)問(wèn)題：

1) 網(wǎng)絡(luò)負(fù)擔(dān).在萬(wàn)物互聯(lián)的時(shí)代，移動(dòng)設(shè)備每分每秒都產(chǎn)生數(shù)以億計(jì)的數(shù)據(jù)[6]，這些數(shù)據(jù)全部上傳到云服務(wù)器會(huì)占用大量的網(wǎng)絡(luò)帶寬.同時(shí)，以云為中心的學(xué)習(xí)方式傳輸延遲高，不能及時(shí)進(jìn)行數(shù)據(jù)交互，給網(wǎng)絡(luò)帶來(lái)不必要的負(fù)擔(dān).

2) 數(shù)據(jù)隱私[7].數(shù)據(jù)所有者對(duì)隱私越來(lái)越注重，用戶往往不愿共享自己的個(gè)人數(shù)據(jù).許多國(guó)家和組織也制定了相關(guān)隱私政策，例如歐盟委員會(huì)制定的“General Data Protection Regulation”(《通用數(shù)據(jù)保護(hù)條例》)[8].因此，利用一些邊緣設(shè)備的計(jì)算和存儲(chǔ)能力，把計(jì)算推向邊緣[9]被提出作為一種解決方案.

因此，聯(lián)邦學(xué)習(xí)(federated learning, FL)[10]應(yīng)運(yùn)而生，目的在于保護(hù)大數(shù)據(jù)環(huán)境下模型學(xué)習(xí)中涉及的用戶數(shù)據(jù)隱私.在聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中，只需要將所有移動(dòng)設(shè)備在其私有數(shù)據(jù)上訓(xùn)練的本地模型上傳到云服務(wù)器中進(jìn)行聚合，不涉及數(shù)據(jù)本身，很大程度上提高了用戶數(shù)據(jù)的隱私性.同時(shí)，邊緣計(jì)算的提出是為了緩解云中心的計(jì)算壓力，目的是把云服務(wù)中心的計(jì)算任務(wù)卸載到邊緣[11]，這恰好與聯(lián)邦學(xué)習(xí)的計(jì)算模式相適應(yīng)，為聯(lián)邦學(xué)習(xí)創(chuàng)造了有利條件.在移動(dòng)設(shè)備上訓(xùn)練模型，除了保證數(shù)據(jù)不離開(kāi)本地，還能讓計(jì)算更加靠近數(shù)據(jù)源以節(jié)省通信成本.

然而，無(wú)線傳感網(wǎng)絡(luò)[12-13]等邊緣環(huán)境復(fù)雜、設(shè)備能力的差異性、數(shù)據(jù)質(zhì)量等因素，使得如何在邊緣網(wǎng)絡(luò)高效率地執(zhí)行聯(lián)邦學(xué)習(xí)是當(dāng)前面臨的關(guān)鍵問(wèn)題.一方面，一些實(shí)時(shí)性強(qiáng)的應(yīng)用需要及時(shí)得到反饋，例如車(chē)聯(lián)網(wǎng)服務(wù)[14]等；另一方面，在物聯(lián)網(wǎng)快速發(fā)展的時(shí)代，爆發(fā)式增長(zhǎng)的數(shù)據(jù)需要高效的處理機(jī)制才能發(fā)揮其作用.因此，對(duì)聯(lián)邦學(xué)習(xí)效率的研究是非常必要的.

目前，聯(lián)邦學(xué)習(xí)的熱度呈持續(xù)增長(zhǎng)的趨勢(shì).圖1為谷歌搜索隨時(shí)間變化的熱度值，圖2為國(guó)內(nèi)外文獻(xiàn)網(wǎng)站檢索到的近幾年關(guān)于聯(lián)邦學(xué)習(xí)的文獻(xiàn)數(shù)量.可以看出，聯(lián)邦學(xué)習(xí)正處于迅速發(fā)展的階段.

Fig. 1 Google trends圖1 谷歌搜索熱度

Fig. 2 Number of papers at home and abroad圖2 國(guó)內(nèi)外文獻(xiàn)數(shù)量

本文首先對(duì)聯(lián)邦學(xué)習(xí)效率優(yōu)化方案進(jìn)行了廣泛調(diào)研，闡述了聯(lián)邦學(xué)習(xí)的技術(shù)背景以及深度學(xué)習(xí)等基礎(chǔ)知識(shí)，并說(shuō)明了邊緣計(jì)算與聯(lián)邦學(xué)習(xí)的基本原理以及二者之間的相互作用與影響.其次，分析了聯(lián)邦學(xué)習(xí)中存在的效率優(yōu)化問(wèn)題，根據(jù)影響效率的不同因素，將聯(lián)邦學(xué)習(xí)效率優(yōu)化歸納為通信優(yōu)化、訓(xùn)練優(yōu)化以及從安全與隱私角度考慮的效率優(yōu)化.再次，列舉并對(duì)比分析了目前的研究方案，揭示了現(xiàn)有方案存在的不足.聯(lián)邦學(xué)習(xí)的研究還處于正在發(fā)展的階段，現(xiàn)有技術(shù)還不夠完善.最后，探討了聯(lián)邦學(xué)習(xí)面臨的新挑戰(zhàn)，本文以邊緣計(jì)算作為擴(kuò)展，提出了基于邊緣學(xué)習(xí)的聯(lián)邦學(xué)習(xí)方案，并在數(shù)據(jù)優(yōu)化、自適應(yīng)學(xué)習(xí)、激勵(lì)機(jī)制和前沿技術(shù)等方面提出了創(chuàng)新性的理念與思想，為聯(lián)邦學(xué)習(xí)未來(lái)的研究提供了新的解決思路.

1 聯(lián)邦學(xué)習(xí)背景概述

通過(guò)聯(lián)邦學(xué)習(xí)在國(guó)內(nèi)外的研究現(xiàn)狀，可以看出其重要性與研究?jī)r(jià)值.聯(lián)邦學(xué)習(xí)的提出和實(shí)現(xiàn)與邊緣計(jì)算和深度學(xué)習(xí)息息相關(guān).邊緣計(jì)算為聯(lián)邦學(xué)習(xí)的本地訓(xùn)練創(chuàng)造了條件，深度學(xué)習(xí)為聯(lián)邦學(xué)習(xí)提供了理論依據(jù)和核心技術(shù).本節(jié)首先介紹深度學(xué)習(xí)和邊緣計(jì)算等背景知識(shí)，然后闡述傳統(tǒng)數(shù)據(jù)隱私保護(hù)技術(shù)及其不足，從而引出聯(lián)邦學(xué)習(xí)的概念、架構(gòu)與分類(lèi)，突出聯(lián)邦學(xué)習(xí)的特點(diǎn)與優(yōu)勢(shì)，對(duì)比了聯(lián)邦學(xué)習(xí)與傳統(tǒng)分布式學(xué)習(xí)的區(qū)別，并總結(jié)了現(xiàn)有的聯(lián)邦學(xué)習(xí)平臺(tái)的特點(diǎn).

1.1 深度學(xué)習(xí)

現(xiàn)有的人工智能應(yīng)用大多是通過(guò)機(jī)器學(xué)習(xí)(machine learning, ML)來(lái)實(shí)現(xiàn)的，從各類(lèi)設(shè)備上獲取數(shù)據(jù)來(lái)訓(xùn)練機(jī)器，實(shí)現(xiàn)分類(lèi)和預(yù)測(cè)等任務(wù).深度學(xué)習(xí)則是利用人工神經(jīng)網(wǎng)絡(luò)[15]來(lái)學(xué)習(xí)數(shù)據(jù)，結(jié)構(gòu)如圖3所示.深度學(xué)習(xí)模型的每一層都由神經(jīng)元組成，神經(jīng)元根據(jù)輸入的數(shù)據(jù)產(chǎn)生非線性輸出.輸入層的神經(jīng)元接收數(shù)據(jù)并將其傳播到隱含層，隱含層的神經(jīng)元生成數(shù)據(jù)的加權(quán)和，然后用特定的激活函數(shù)[16]輸出加權(quán)和，最后的結(jié)果發(fā)送到輸出層.一個(gè)訓(xùn)練好的深度學(xué)習(xí)模型可以應(yīng)用于實(shí)際場(chǎng)景以代替人類(lèi)部分的智能行為.

Fig. 3 Deep learning model圖3 深度學(xué)習(xí)模型

常見(jiàn)的模型有3種：

1) 卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)[17].CNN是一種前饋式的深層神經(jīng)網(wǎng)絡(luò)，包含卷積層、池化層和全連接層.在圖像識(shí)別上應(yīng)用的過(guò)程首先將數(shù)據(jù)輸入CNN模型，經(jīng)過(guò)多次卷積和池化操作，再將提取到的圖像特征輸入全連接層進(jìn)行識(shí)別與分類(lèi).

2) 循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)[18].RNN是用來(lái)解決順序輸入數(shù)據(jù)等時(shí)序問(wèn)題的模型.RNN的輸入包括當(dāng)前和先前輸入的樣本，每個(gè)神經(jīng)元都擁有一個(gè)內(nèi)部存儲(chǔ)器，用來(lái)存儲(chǔ)先前樣本的信息.例如長(zhǎng)短期記憶網(wǎng)絡(luò)就是RNN的擴(kuò)展，并且廣泛應(yīng)用于自然語(yǔ)言處理等領(lǐng)域.

3) 生成式對(duì)抗網(wǎng)絡(luò)(generative adversarial net-work, GAN)[19].GAN由2個(gè)主要組件組成，即生成器和鑒別器.生成器負(fù)責(zé)從真實(shí)數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)數(shù)據(jù)特征之后生成新的偽數(shù)據(jù)；鑒別器負(fù)責(zé)根據(jù)生成器生成的偽數(shù)據(jù)對(duì)真實(shí)數(shù)據(jù)進(jìn)行區(qū)分.GAN通常應(yīng)用在圖像生成、圖像轉(zhuǎn)換、圖像合成等領(lǐng)域.

1.2 邊緣計(jì)算

邊緣計(jì)算顧名思義就是在邊緣進(jìn)行計(jì)算.隨著物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)的增長(zhǎng)，云計(jì)算中心的負(fù)載越來(lái)越大，通信成本和傳輸延遲也在不斷增加.為此，邊緣計(jì)算將計(jì)算從網(wǎng)絡(luò)中心推向更接近用戶和數(shù)據(jù)源的網(wǎng)絡(luò)邊緣，把計(jì)算任務(wù)卸載到邊緣或者移動(dòng)設(shè)備上，從而降低延遲與帶寬消耗[20]、提高效率和數(shù)據(jù)隱私性.

“邊緣”是一個(gè)相對(duì)的概念，指云服務(wù)器之外包含具有計(jì)算和存儲(chǔ)能力的設(shè)備節(jié)點(diǎn)的邊緣網(wǎng)絡(luò)層，例如由云計(jì)算與傳感器網(wǎng)絡(luò)層構(gòu)成的傳感云系統(tǒng)[12].隨著技術(shù)的深入研究與發(fā)展，相繼提出霧計(jì)算[21]、移動(dòng)邊緣計(jì)算(mobile edge computing, MEC)[22]等邊緣化模型.如圖4所示，網(wǎng)絡(luò)環(huán)境中的基站、微型服務(wù)器和智能設(shè)備等都可以作為邊緣計(jì)算節(jié)點(diǎn).

Fig. 4 Edge computing model圖4 邊緣計(jì)算模型

從聯(lián)邦學(xué)習(xí)的設(shè)置來(lái)看，在移動(dòng)設(shè)備上進(jìn)行本地模型訓(xùn)練，服務(wù)器進(jìn)行模型聚合，將主要的學(xué)習(xí)任務(wù)卸載到移動(dòng)設(shè)備，這種基于邊緣端以保護(hù)用戶隱私的深度學(xué)習(xí)方式也順應(yīng)了邊緣計(jì)算的模式.聯(lián)邦學(xué)習(xí)與邊緣計(jì)算的結(jié)合與互補(bǔ)是一種必然的趨勢(shì).邊緣計(jì)算旨在協(xié)調(diào)大量的移動(dòng)設(shè)備和邊緣服務(wù)器以處理在其附近生成的數(shù)據(jù)[23]，在邊緣處理數(shù)據(jù)還能大大提高數(shù)據(jù)的隱私性.而聯(lián)邦學(xué)習(xí)的目的也是在保護(hù)用戶數(shù)據(jù)隱私的前提下，通過(guò)從移動(dòng)邊緣設(shè)備的數(shù)據(jù)中學(xué)習(xí)特征信息來(lái)實(shí)現(xiàn)智能決策和行為.此外，聯(lián)邦學(xué)習(xí)與邊緣計(jì)算之間還存在3方面的聯(lián)系與相互作用：

1) 移動(dòng)邊緣網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù)需要聯(lián)邦學(xué)習(xí)充分發(fā)揮其價(jià)值.聯(lián)邦學(xué)習(xí)可以自動(dòng)識(shí)別并獲取邊緣設(shè)備上產(chǎn)生的有用數(shù)據(jù)，例如文本信息、圖像視頻信息、車(chē)輛信息等.然后，根據(jù)快速變化的邊緣環(huán)境，從數(shù)據(jù)中提取特征信息并反饋到實(shí)時(shí)預(yù)測(cè)決策應(yīng)用(例如智能交通[24]、智能駕駛[25]等)中，從而在提高數(shù)據(jù)處理效率的同時(shí)保護(hù)用戶數(shù)據(jù)隱私[26].

2) 邊緣計(jì)算可以利用大量的資源豐富聯(lián)邦學(xué)習(xí)的應(yīng)用場(chǎng)景.深度學(xué)習(xí)的發(fā)展離不開(kāi)算法優(yōu)化、硬件優(yōu)化、數(shù)據(jù)和應(yīng)用場(chǎng)景等重要推動(dòng)力.邊緣計(jì)算可以為聯(lián)邦學(xué)習(xí)提供豐富的數(shù)據(jù)與資源.為了提高模型的性能，最常用的方法是使用更多層神經(jīng)元來(lái)細(xì)化模型，需要在模型中學(xué)習(xí)更多參數(shù)，訓(xùn)練所需的數(shù)據(jù)也隨之增加.移動(dòng)邊緣網(wǎng)絡(luò)中大量的物聯(lián)網(wǎng)設(shè)備恰好為聯(lián)邦學(xué)習(xí)提供了豐富的數(shù)據(jù).此外，如果這些數(shù)據(jù)集上傳到云數(shù)據(jù)中心進(jìn)行處理，會(huì)消耗大量的帶寬資源，并給云服務(wù)器帶來(lái)巨大壓力.邊緣計(jì)算為聯(lián)邦學(xué)習(xí)提供了大量的計(jì)算資源，移動(dòng)設(shè)備的計(jì)算資源也是聯(lián)邦學(xué)習(xí)的應(yīng)用基礎(chǔ).

3) 人工智能面向用戶需要結(jié)合邊緣計(jì)算和聯(lián)邦學(xué)習(xí)作為基本架構(gòu).人工智能已經(jīng)在日常生活中的許多領(lǐng)域取得了巨大的成功，例如智能推薦系統(tǒng)、模式識(shí)別和智慧城市等.為了支持更多的應(yīng)用程序，人工智能需要更接近用戶.邊緣設(shè)備更接近用戶和移動(dòng)設(shè)備，并且邊緣計(jì)算相比云計(jì)算更加靈活、成本更低廉.而聯(lián)邦學(xué)習(xí)在邊緣計(jì)算的基礎(chǔ)上，承載了人工智能應(yīng)用的部署任務(wù).隨著用戶對(duì)隱私的關(guān)注，通過(guò)聯(lián)邦學(xué)習(xí)的調(diào)控能實(shí)現(xiàn)保護(hù)隱私的人工智能.因此，聯(lián)邦學(xué)習(xí)與邊緣計(jì)算除了具有互補(bǔ)性，同時(shí)也是普及人工智能的基礎(chǔ)架構(gòu).

1.3 深度學(xué)習(xí)中的隱私保護(hù)

傳統(tǒng)的深度學(xué)習(xí)訓(xùn)練中，各方數(shù)據(jù)首先被數(shù)據(jù)收集者集中收集，然后由數(shù)據(jù)分析者進(jìn)行模型訓(xùn)練．其中，數(shù)據(jù)收集者與數(shù)據(jù)分析者可以是同一方，如移動(dòng)應(yīng)用開(kāi)發(fā)者(云服務(wù)器)；也可以是多方，如開(kāi)發(fā)者將數(shù)據(jù)共享給其他數(shù)據(jù)分析機(jī)構(gòu)．由此可見(jiàn)集中學(xué)習(xí)模式下，用戶數(shù)據(jù)一旦被收集，便很難再擁有對(duì)數(shù)據(jù)的控制權(quán)，其數(shù)據(jù)將被用于何處、如何使用也不得而知[27].針對(duì)深度學(xué)習(xí)面臨的數(shù)據(jù)隱私問(wèn)題，目前的研究主要從差分隱私、同態(tài)加密以及多方安全計(jì)算等不同角度對(duì)深度學(xué)習(xí)中的隱私保護(hù)方法進(jìn)行了探討.

1.3.1 差分隱私技術(shù)

差分隱私是一種擾動(dòng)技術(shù)，指在模型訓(xùn)練過(guò)程中引入隨機(jī)性，即添加一定的隨機(jī)噪聲，使輸出結(jié)果與真實(shí)結(jié)果具有一定程度的偏差，防止攻擊者惡意推理.具體來(lái)說(shuō)，差分隱私在服務(wù)器進(jìn)行計(jì)算的過(guò)程中利用擾動(dòng)方法來(lái)保護(hù)敏感數(shù)據(jù)，如圖5所示.文獻(xiàn)[28]基于差分隱私保護(hù)機(jī)制提出了一種對(duì)本地?cái)?shù)據(jù)進(jìn)行擾動(dòng)變換的機(jī)制，使用噪聲訓(xùn)練從而增加云端深度神經(jīng)網(wǎng)絡(luò)對(duì)移動(dòng)設(shè)備提交的擾動(dòng)數(shù)據(jù)的魯棒性.差分隱私技術(shù)大多是在原始數(shù)據(jù)或模型參數(shù)上進(jìn)行加噪，保護(hù)數(shù)據(jù)隱私的同時(shí)模型精度會(huì)有所影響.

1.3.2 同態(tài)加密技術(shù)

如圖6所示，同態(tài)加密的核心思想是直接在密文上做運(yùn)算，運(yùn)算結(jié)果解密后與明文運(yùn)算的結(jié)果相同.目前，同態(tài)加密已被廣泛應(yīng)用于基于云計(jì)算場(chǎng)景的隱私保護(hù)研究中.在以云為中心的深度學(xué)習(xí)過(guò)程中使用同態(tài)加密對(duì)數(shù)據(jù)加密然后分析計(jì)算，能夠很好地解決數(shù)據(jù)保密與安全等問(wèn)題.然而，同態(tài)加密十分依賴于函數(shù)的復(fù)雜度，對(duì)于存在大量的非線性計(jì)算的深度學(xué)習(xí)模型，算法的計(jì)算開(kāi)銷(xiāo)十分高昂.此外，同態(tài)加密只支持整數(shù)數(shù)據(jù)，且需要固定的乘法深度[29]等.

Fig. 5 Differential privacy technology圖5 差分隱私技術(shù)

Fig. 6 Homomorphic encryption technology圖6 同態(tài)加密技術(shù)

1.3.3 多方安全計(jì)算

多方安全計(jì)算是通過(guò)特殊的算法在無(wú)可信第三方的情況下，確保輸入的隱私性與輸出的正確性[30].具體來(lái)說(shuō)，假設(shè)有多個(gè)參與方，它們擁有各自的數(shù)據(jù)集，在無(wú)可信第三方的情況下，通過(guò)計(jì)算一個(gè)約定函數(shù)，要求每個(gè)參與方除了計(jì)算結(jié)果外不能得到其他參與方的任何輸入信息.多方安全計(jì)算可以實(shí)現(xiàn)無(wú)可信方場(chǎng)景下的安全計(jì)算，但是為了實(shí)現(xiàn)隱私保護(hù)，需要進(jìn)行多次傳輸，通信開(kāi)銷(xiāo)較大.該方法比較適用于小規(guī)模實(shí)體間的安全計(jì)算，對(duì)于具有大量用戶的深度學(xué)習(xí)場(chǎng)景的適應(yīng)性較差.

目前，主流的深度學(xué)習(xí)隱私保護(hù)技術(shù)在一定程度上保護(hù)了用戶的數(shù)據(jù)隱私，但從本質(zhì)上來(lái)說(shuō)，數(shù)據(jù)同樣需要離開(kāi)設(shè)備本地，用戶失去了對(duì)數(shù)據(jù)的控制權(quán)，就會(huì)存在隱私風(fēng)險(xiǎn).且差分隱私技術(shù)、同態(tài)加密技術(shù)和多方安全計(jì)算這3種隱私保護(hù)技術(shù)存在各自的不足，因此研究者開(kāi)始探索如何實(shí)現(xiàn)無(wú)需數(shù)據(jù)收集的學(xué)習(xí)方案.

1.4 聯(lián)邦學(xué)習(xí)

1.4.1 概念與架構(gòu)

基于數(shù)據(jù)擁有者對(duì)于隱私的高需求，在聯(lián)邦學(xué)習(xí)中，服務(wù)器不需要用戶共享個(gè)人的隱私數(shù)據(jù)，在本地設(shè)備上用個(gè)人數(shù)據(jù)訓(xùn)練共享模型即可.聯(lián)邦學(xué)習(xí)的體系結(jié)構(gòu)以及訓(xùn)練過(guò)程如圖7所示.其中參與聯(lián)邦學(xué)習(xí)的設(shè)備為數(shù)據(jù)擁有者，每個(gè)設(shè)備都持有私有數(shù)據(jù)集，每個(gè)設(shè)備利用這些數(shù)據(jù)訓(xùn)練本地模型.所有訓(xùn)練好的本地模型參數(shù)發(fā)送到服務(wù)器中聚合，并更新全局模型.然后服務(wù)器再把更新后的全局模型作為新一輪的共享模型發(fā)送到參與設(shè)備迭代訓(xùn)練，直到訓(xùn)練后的全局模型達(dá)到要求.

Fig. 7 Classical federated learning structure圖7 經(jīng)典的聯(lián)邦學(xué)習(xí)結(jié)構(gòu)

通常來(lái)說(shuō)，聯(lián)邦學(xué)習(xí)由多個(gè)參與者和一個(gè)服務(wù)器組成，參與者用來(lái)分布式地訓(xùn)練共享模型，服務(wù)器用來(lái)聚合這些本地模型并給參與者分發(fā)任務(wù).聯(lián)邦學(xué)習(xí)的訓(xùn)練過(guò)程分為3步：

1) 任務(wù)初始化.在訓(xùn)練開(kāi)始之前，服務(wù)器首先要確定訓(xùn)練的任務(wù)和目標(biāo)，并選擇參與聯(lián)邦學(xué)習(xí)的設(shè)備，然后把共享模型發(fā)送給已選擇的設(shè)備.

2) 本地訓(xùn)練與共享.每個(gè)設(shè)備利用私有數(shù)據(jù)訓(xùn)練本地模型.訓(xùn)練的目標(biāo)就是找到最佳的本地模型.設(shè)備訓(xùn)練完之后把模型參數(shù)上傳到服務(wù)器，進(jìn)行下一步操作.

3) 全局聚合與更新.服務(wù)器收集到來(lái)自所有參與設(shè)備的本地模型后，進(jìn)行模型參數(shù)聚合.典型的聚合操作是平均算法FedAvg[31]，聯(lián)邦學(xué)習(xí)服務(wù)器通過(guò)平均本地模型參數(shù)得到下一輪的共享全局模型，目標(biāo)是找到最佳的全局模型.

這3個(gè)步驟將會(huì)依次迭代進(jìn)行，當(dāng)全局模型收斂或者達(dá)到一定的準(zhǔn)確率時(shí)結(jié)束訓(xùn)練.

1.4.2 聯(lián)邦學(xué)習(xí)分類(lèi)

如果要對(duì)用戶的數(shù)據(jù)建立學(xué)習(xí)模型，需要其數(shù)據(jù)的特征，也必須有標(biāo)簽數(shù)據(jù)，即期望得到的答案.比如，在圖像識(shí)別領(lǐng)域，標(biāo)簽是被識(shí)別的用戶的身份(或?qū)嶓w的類(lèi)別)；在車(chē)聯(lián)網(wǎng)領(lǐng)域，標(biāo)簽是與車(chē)輛用戶相關(guān)的信息等.用戶特征加標(biāo)簽構(gòu)成了完整的訓(xùn)練數(shù)據(jù).在聯(lián)邦學(xué)習(xí)的應(yīng)用場(chǎng)景中，各個(gè)數(shù)據(jù)集的用戶不完全相同，或用戶特征不完全相同.因此，根據(jù)數(shù)據(jù)的不同特點(diǎn)，將聯(lián)邦學(xué)習(xí)分為3類(lèi)：橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)[32].我們以2個(gè)數(shù)據(jù)集為例，分別介紹3類(lèi)聯(lián)邦學(xué)習(xí)的區(qū)別.

1) 橫向聯(lián)邦學(xué)習(xí).如圖8(a)所示，當(dāng)2個(gè)數(shù)據(jù)集的用戶重疊部分很少，但是用戶特征重疊部分比較大時(shí)，把數(shù)據(jù)集橫向切分，取出2個(gè)數(shù)據(jù)集中特征相同但來(lái)自不同用戶的數(shù)據(jù)進(jìn)行訓(xùn)練，這種場(chǎng)景下的聯(lián)邦學(xué)習(xí)屬于橫向聯(lián)邦學(xué)習(xí).

2) 縱向聯(lián)邦學(xué)習(xí).如圖8(b)所示，當(dāng)2個(gè)數(shù)據(jù)集的用戶重疊部分很多，但用戶特征重疊部分比較少時(shí)，通過(guò)用戶的不同數(shù)據(jù)特征聯(lián)合訓(xùn)練一個(gè)更綜合的模型，這種場(chǎng)景下的聯(lián)邦學(xué)習(xí)屬于縱向聯(lián)邦學(xué)習(xí).

3) 聯(lián)邦遷移學(xué)習(xí).如圖8(c)所示，聯(lián)邦遷移學(xué)習(xí)是縱向聯(lián)邦學(xué)習(xí)的一種特例.當(dāng)2個(gè)數(shù)據(jù)集的用戶重疊部分少，用戶特征重疊部分也較少，且有的數(shù)據(jù)還存在標(biāo)簽缺失時(shí)，此時(shí)利用遷移學(xué)習(xí)來(lái)解決數(shù)據(jù)規(guī)模小的問(wèn)題，這種場(chǎng)景下的聯(lián)邦學(xué)習(xí)就是聯(lián)邦遷移學(xué)習(xí).

Fig. 8 Three types of federated learning圖8 3類(lèi)聯(lián)邦學(xué)習(xí)

這3種類(lèi)型的聯(lián)邦學(xué)習(xí)的共同點(diǎn)都在于保護(hù)用戶數(shù)據(jù)的隱私性，區(qū)別主要在于用戶和數(shù)據(jù)的重疊性.聯(lián)邦學(xué)習(xí)的提出是基于不同用戶、數(shù)據(jù)特征重疊性高的情況，并且目前大部分的研究都是基于橫向聯(lián)邦學(xué)習(xí)，縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)的研究工作暫時(shí)比較少.由于不同類(lèi)型的聯(lián)邦學(xué)習(xí)訓(xùn)練與優(yōu)化機(jī)理都相互獨(dú)立，而在移動(dòng)邊緣網(wǎng)絡(luò)中部署實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)旨在利用更多不同的用戶和設(shè)備來(lái)訓(xùn)練模型.因此，本文主要關(guān)注的是橫向聯(lián)邦學(xué)習(xí)的效率優(yōu)化，本文所提及的聯(lián)邦學(xué)習(xí)均為橫向聯(lián)邦學(xué)習(xí).

1.4.3 特點(diǎn)與優(yōu)勢(shì)

隨著數(shù)據(jù)的急劇增長(zhǎng)，集中式的數(shù)據(jù)中心無(wú)法完成巨大的任務(wù)量.當(dāng)單個(gè)節(jié)點(diǎn)的處理能力無(wú)法滿足日益增長(zhǎng)的計(jì)算、存儲(chǔ)任務(wù)，硬件的提升成本高昂到得不償失，且應(yīng)用程序也不能進(jìn)一步優(yōu)化的時(shí)候，就需要考慮分布式的學(xué)習(xí)模式.分布式學(xué)習(xí)是早于聯(lián)邦學(xué)習(xí)的用來(lái)解決大數(shù)據(jù)處理的方案，分布式系統(tǒng)是由一組通過(guò)網(wǎng)絡(luò)進(jìn)行通信、為了完成共同的任務(wù)而協(xié)調(diào)工作的計(jì)算機(jī)節(jié)點(diǎn)組成的系統(tǒng).它的出現(xiàn)是為了用廉價(jià)的、普通的機(jī)器完成單個(gè)計(jì)算機(jī)無(wú)法完成的計(jì)算、存儲(chǔ)任務(wù)，簡(jiǎn)單來(lái)說(shuō)就是利用更多的機(jī)器處理更多的數(shù)據(jù).云服務(wù)器之外的大量子設(shè)備為分布式學(xué)習(xí)提供了基礎(chǔ)，利用分片或者復(fù)制集的思想，把任務(wù)和數(shù)據(jù)分配給每一個(gè)服務(wù)器.雖然分布式學(xué)習(xí)減輕了云服務(wù)器的計(jì)算壓力，但同時(shí)也存在問(wèn)題.分布式系統(tǒng)中有大量的服務(wù)器節(jié)點(diǎn)，若其中一個(gè)節(jié)點(diǎn)出現(xiàn)故障，則整個(gè)系統(tǒng)出現(xiàn)故障的可能性就會(huì)變大.此外，分片或者復(fù)制集都或多或少共享了數(shù)據(jù)，數(shù)據(jù)泄露等安全問(wèn)題無(wú)法解決.

與此類(lèi)似的，在移動(dòng)設(shè)備上基于點(diǎn)對(duì)點(diǎn)通信的學(xué)習(xí)方式[33]相比分布式學(xué)習(xí)更靈活，但是非主從式的結(jié)構(gòu)使得學(xué)習(xí)效率低下，設(shè)備之間的交互也讓用戶的隱私面臨威脅.聯(lián)邦學(xué)習(xí)不同于傳統(tǒng)的分布式學(xué)習(xí)以及點(diǎn)對(duì)點(diǎn)通信方式的學(xué)習(xí)，用戶的數(shù)據(jù)始終保存在本地，在移動(dòng)設(shè)備進(jìn)行訓(xùn)練，并由服務(wù)器統(tǒng)一調(diào)控.聯(lián)邦學(xué)習(xí)屬于主從式的學(xué)習(xí)方式，服務(wù)器與移動(dòng)設(shè)備共同協(xié)調(diào)，在保護(hù)用戶數(shù)據(jù)隱私的前提下，提高了學(xué)習(xí)的可靠性.聯(lián)邦學(xué)習(xí)與傳統(tǒng)分布式學(xué)習(xí)的相關(guān)對(duì)比見(jiàn)表1.在移動(dòng)邊緣網(wǎng)絡(luò)中進(jìn)行多次訓(xùn)練與通信，意味著聯(lián)邦學(xué)習(xí)擁有3種特性：

1) 通信環(huán)境不穩(wěn)定.在基于數(shù)據(jù)中心的分布式訓(xùn)練中，通信環(huán)境是較封閉的，數(shù)據(jù)傳輸速率非常高且沒(méi)有數(shù)據(jù)包丟失.但是，這些假設(shè)不適用于在訓(xùn)練中涉及異構(gòu)設(shè)備的聯(lián)邦學(xué)習(xí)環(huán)境.在通信通道不穩(wěn)定的情況下，移動(dòng)設(shè)備可能會(huì)由于斷網(wǎng)而退出.

2) 資源約束.除了帶寬限制之外，聯(lián)邦學(xué)習(xí)還受到參與設(shè)備本身的約束.例如設(shè)備可以具有不同的計(jì)算能力、CPU性能等.移動(dòng)設(shè)備沒(méi)有分布式服務(wù)器的強(qiáng)大性能，本地訓(xùn)練的效率無(wú)法保障，且無(wú)法直接進(jìn)行管理和維護(hù).

Table 1 Federated Learning Versus TraditionalDistributed Learning表1 聯(lián)邦學(xué)習(xí)與傳統(tǒng)分布式學(xué)習(xí)對(duì)比

3) 安全與隱私問(wèn)題.雖然聯(lián)邦學(xué)習(xí)不用收集用戶的數(shù)據(jù)，但仍然存在惡意參與者針對(duì)模型或系統(tǒng)的隱私侵犯威脅，這很可能泄露用戶的隱私.此外，移動(dòng)設(shè)備自身的抗干擾和抵抗第三方攻擊的能力較弱，聯(lián)邦學(xué)習(xí)系統(tǒng)的安全性容易被破壞.

1.5 聯(lián)邦學(xué)習(xí)平臺(tái)

隨著國(guó)內(nèi)外學(xué)者的研究，許多適用于聯(lián)邦學(xué)習(xí)的開(kāi)源平臺(tái)或項(xiàng)目已經(jīng)研發(fā)出來(lái)，表2總結(jié)了9種目前主流的平臺(tái).

Table 2 Federated Learning Platforms and Their Features表2 聯(lián)邦學(xué)習(xí)平臺(tái)及其特點(diǎn)

1) TFF(TensorFlow federated). TFF[34]是由谷歌開(kāi)發(fā)的一個(gè)基于TensorFlow的框架，用于分布式機(jī)器學(xué)習(xí)和其他分布式計(jì)算.TFF為2層結(jié)構(gòu)，其中聯(lián)邦學(xué)習(xí)層是一個(gè)高級(jí)接口，允許現(xiàn)有的TensorFlow模型支持并實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)，用戶不必親自設(shè)計(jì)聯(lián)邦學(xué)習(xí)算法.另一層為聯(lián)邦核心層，結(jié)合了TensorFlow和通信運(yùn)營(yíng)商，允許用戶自己設(shè)計(jì)聯(lián)邦學(xué)習(xí)算法.

2) 工業(yè)級(jí)開(kāi)源框架FATE(federated AI tech-nology enabler).FATE[35]是微眾銀行AI團(tuán)隊(duì)推出的工業(yè)級(jí)別聯(lián)邦學(xué)習(xí)框架，可以在保護(hù)數(shù)據(jù)安全和數(shù)據(jù)隱私的前提下進(jìn)行人工智能協(xié)作.作為一個(gè)工業(yè)級(jí)的聯(lián)邦學(xué)習(xí)框架，F(xiàn)ATE項(xiàng)目提供了許多現(xiàn)成的聯(lián)邦學(xué)習(xí)算法以及多種加密機(jī)制，可以支持不同種類(lèi)的安全計(jì)算.

3) PySyft. PySyft[36]是一個(gè)基于PyTorch的框架，可以在不可信的環(huán)境中執(zhí)行加密、保護(hù)隱私的深度學(xué)習(xí).為了模擬聯(lián)邦學(xué)習(xí)，參與者被創(chuàng)建為虛擬工作者，將數(shù)據(jù)分割并分配給虛擬工作者，并指定數(shù)據(jù)所有者和存儲(chǔ)位置，然后從虛擬工作者中獲取模型后以進(jìn)行全局聚合.

4) PaddleFL.PaddleFL[37]主要是面向深度學(xué)習(xí)進(jìn)行設(shè)計(jì)的，提供了眾多在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、推薦算法等領(lǐng)域的聯(lián)邦學(xué)習(xí)策略及應(yīng)用.同時(shí)PaddleFL還將提供橫向與縱向傳統(tǒng)機(jī)器學(xué)習(xí)方法的應(yīng)用策略，利用開(kāi)源的FedAvg算法和基于差分隱私的隨機(jī)梯度下降(stochastic gradient descent, SGD)算法來(lái)實(shí)現(xiàn)保護(hù)隱私的分布式學(xué)習(xí)，以對(duì)分散式的數(shù)據(jù)集進(jìn)行模型訓(xùn)練.結(jié)合本身在大規(guī)模分布式訓(xùn)練的彈性調(diào)度能力，PaddleFL在聯(lián)邦學(xué)習(xí)領(lǐng)域有非常多的應(yīng)用場(chǎng)景.

5) OpenI縱橫.OpenI縱橫[38]是由微眾銀行、鵬城實(shí)驗(yàn)室、香港人工智能與機(jī)器人協(xié)會(huì)以及星云Clustar等共同開(kāi)發(fā)并應(yīng)用到OpenI啟智平臺(tái)的孤島數(shù)據(jù)聯(lián)邦解決方案.該方案主要關(guān)注在滿足用戶數(shù)據(jù)安全、法律合規(guī)條件下的多方數(shù)據(jù)使用和聯(lián)邦建模的問(wèn)題.OpenI縱橫提供了豐富的一站式聯(lián)邦建模算法組件，可以執(zhí)行大多數(shù)聯(lián)邦建模任務(wù).

6) “蜂巢”聯(lián)邦學(xué)習(xí)平臺(tái).該平臺(tái)由平安科技自主研發(fā)，是一個(gè)完整的聯(lián)邦學(xué)習(xí)智能系統(tǒng)，包括4個(gè)功能層級(jí)：“蜂巢”數(shù)據(jù)層、“蜂巢”聯(lián)邦層、“蜂巢”算法層以及“蜂巢”優(yōu)化層.依托平安集團(tuán)在金融科技業(yè)務(wù)經(jīng)驗(yàn)的優(yōu)勢(shì)，在金融領(lǐng)域做了大量的定向優(yōu)化工作，例如風(fēng)險(xiǎn)控制和金融安全測(cè)試等.

7) Clara FL. Clara FL[39]是一款由英偉達(dá)公司開(kāi)發(fā)的用于分布式協(xié)作聯(lián)邦學(xué)習(xí)訓(xùn)練的應(yīng)用程序，主要應(yīng)用于醫(yī)療領(lǐng)域，目的在于保護(hù)患者的隱私且實(shí)現(xiàn)聯(lián)邦訓(xùn)練.該應(yīng)用程序面向邊緣服務(wù)器并部署這些分布式客戶端系統(tǒng)，可以實(shí)現(xiàn)本地深度學(xué)習(xí)訓(xùn)練，并協(xié)同訓(xùn)練出更為實(shí)用的全局模型.

8) Federated-averaging-tutorials[40].該項(xiàng)目是在TensorFlow框架上實(shí)現(xiàn)聯(lián)邦平均算法的一組開(kāi)源教程，主要的目標(biāo)是把隱私保護(hù)相關(guān)技術(shù)應(yīng)用在分布式機(jī)器學(xué)習(xí)算法上.Federated-averaging-tutorials使用Keras深度學(xué)習(xí)框架作為基礎(chǔ)，并提供本地、分布式、聯(lián)邦平均3種方法來(lái)訓(xùn)練TensorFlow模型.

9) 華為聯(lián)邦學(xué)習(xí)平臺(tái)NAIE(network AI engine). NAIE[41]提供了一套自動(dòng)化的聯(lián)邦學(xué)習(xí)服務(wù)，實(shí)現(xiàn)了一鍵式從創(chuàng)建聯(lián)邦實(shí)例到管理邊緣節(jié)點(diǎn)的平臺(tái)服務(wù).用戶只要下載一個(gè)客戶端就可以輕松加入或退出聯(lián)邦學(xué)習(xí)，且平臺(tái)對(duì)聯(lián)邦學(xué)習(xí)的整個(gè)過(guò)程實(shí)現(xiàn)了可視化的管理.華為NAIE以橫向聯(lián)邦為基礎(chǔ)，內(nèi)置了眾多聯(lián)邦學(xué)習(xí)能力，包括聯(lián)邦匯聚、梯度分叉、多方計(jì)算和壓縮算法等能力.用戶可以通過(guò)創(chuàng)建聯(lián)邦實(shí)例來(lái)發(fā)起眾籌式訓(xùn)練，并能夠查看訓(xùn)練狀態(tài)，享受共同訓(xùn)練的成果.華為NAIE聯(lián)邦學(xué)習(xí)平臺(tái)具有聯(lián)邦實(shí)例管理能力、邊緣節(jié)點(diǎn)管理能力和運(yùn)行聯(lián)邦實(shí)例能力，后續(xù)還將對(duì)縱向聯(lián)邦學(xué)習(xí)提供支持.

2 聯(lián)邦學(xué)習(xí)優(yōu)化問(wèn)題

我們?cè)谡{(diào)研中發(fā)現(xiàn)設(shè)備與服務(wù)器之間的通信問(wèn)題是影響聯(lián)邦學(xué)習(xí)效率的主要因素.移動(dòng)邊緣網(wǎng)絡(luò)層與云服務(wù)器之間的距離較遠(yuǎn)，而聯(lián)邦學(xué)習(xí)需要進(jìn)行多輪訓(xùn)練，這帶來(lái)了較多的通信時(shí)間與成本.此外，在聯(lián)邦學(xué)習(xí)過(guò)程的3個(gè)步驟中，每個(gè)步驟都影響聯(lián)邦學(xué)習(xí)的訓(xùn)練效率.例如在初始化中，服務(wù)器需要選擇性能強(qiáng)大的移動(dòng)設(shè)備參加訓(xùn)練，從而加快本地訓(xùn)練與上傳的速度；在聚合步驟中，需要控制聚合的頻率或內(nèi)容來(lái)提高模型聚合的收斂效果.因此，本節(jié)將從通信、訓(xùn)練以及由安全與隱私引起的效率優(yōu)化問(wèn)題等方面展開(kāi)描述聯(lián)邦學(xué)習(xí)目前存在的優(yōu)化問(wèn)題.

2.1 通 信

傳統(tǒng)聯(lián)邦學(xué)習(xí)為2層結(jié)構(gòu)，移動(dòng)設(shè)備利用本地?cái)?shù)據(jù)訓(xùn)練得到本地模型，通過(guò)廣域網(wǎng)將模型傳送到云端服務(wù)器.然而參與聯(lián)邦學(xué)習(xí)的設(shè)備數(shù)量成千上萬(wàn)，甚至更多，設(shè)備與服務(wù)器之間的大量通信必然會(huì)占用過(guò)多的帶寬.同時(shí)，設(shè)備的信號(hào)與能量狀態(tài)也會(huì)影響與服務(wù)器的通信，導(dǎo)致網(wǎng)絡(luò)延遲，消耗更高的通信成本.因此為了提高訓(xùn)練的實(shí)時(shí)性，聯(lián)邦學(xué)習(xí)需要解決通信問(wèn)題.

2.1.1 邊緣計(jì)算協(xié)調(diào)

參與聯(lián)邦學(xué)習(xí)的移動(dòng)設(shè)備一般都具有高計(jì)算能力的處理芯片，能夠在短時(shí)間內(nèi)滿足本地訓(xùn)練的要求，所以模型的計(jì)算時(shí)間往往可忽略不計(jì).然而，每個(gè)設(shè)備擁有的數(shù)據(jù)集大小以及分布情況不一致，需要通過(guò)多次聯(lián)邦訓(xùn)練才可能使模型收斂，這就導(dǎo)致聯(lián)邦學(xué)習(xí)的通信消耗遠(yuǎn)大于計(jì)算消耗[31].傳統(tǒng)聯(lián)邦學(xué)習(xí)在高通信效率和高模型性能之間難以平衡，而邊緣計(jì)算提供了合適的解決方案.利用邊緣計(jì)算的優(yōu)勢(shì)，可以把更多的計(jì)算任務(wù)卸載到邊緣設(shè)備.在服務(wù)器全局聚合之前，在邊緣節(jié)點(diǎn)或者移動(dòng)設(shè)備上增加本地訓(xùn)練迭代次數(shù)或更多的計(jì)算，使本地模型的精度更高，以減少聯(lián)邦學(xué)習(xí)的訓(xùn)練輪數(shù).此外，在訓(xùn)練優(yōu)化中使用更合理的模型聚合方式或更快速的模型收斂方法，也可以減少通信次數(shù).

2.1.2 模型傳輸消耗

聯(lián)邦學(xué)習(xí)大多是通過(guò)訓(xùn)練復(fù)雜的模型來(lái)實(shí)現(xiàn)最終的目的，一個(gè)復(fù)雜的模型可能包含上百萬(wàn)個(gè)參數(shù)[42]，在網(wǎng)絡(luò)中傳輸高維度的模型參數(shù)也會(huì)消耗更多的通信資源.為了減少分布式訓(xùn)練帶來(lái)的通信開(kāi)銷(xiāo)，模型壓縮是一種解決方法[43].利用梯度量化和梯度稀疏化技術(shù)，將帶有數(shù)百萬(wàn)參數(shù)的模型轉(zhuǎn)化為一個(gè)簡(jiǎn)單的、能保證訓(xùn)練質(zhì)量的模型.梯度量化通過(guò)將梯度向量的每個(gè)元素量化為有限位的低精度值來(lái)對(duì)梯度向量進(jìn)行有損壓縮，而梯度稀疏化是通過(guò)選擇性地傳輸部分梯度向量來(lái)減少通信消耗[44].文獻(xiàn)[45]觀察到分布式梯度下降方法的參數(shù)優(yōu)化過(guò)程中存在99.9%的梯度交換是冗余的.基于這一觀察結(jié)果，文獻(xiàn)[45]的作者提出了深度梯度壓縮(deep gradient com-pression, DGC)，并且在對(duì)CNN和RNN進(jìn)行了大量實(shí)驗(yàn)后，證明了模型梯度壓縮在效果上是可行的.

2.2 訓(xùn) 練

聯(lián)邦學(xué)習(xí)的本地訓(xùn)練與常規(guī)深度學(xué)習(xí)訓(xùn)練過(guò)程類(lèi)似，而聯(lián)邦學(xué)習(xí)中存在的異構(gòu)計(jì)算資源、模型聚合以及數(shù)據(jù)質(zhì)量是影響其訓(xùn)練效率的關(guān)鍵.

2.2.1 移動(dòng)設(shè)備異構(gòu)

聯(lián)邦學(xué)習(xí)協(xié)議[46]如圖9所示.在每一輪訓(xùn)練開(kāi)始之前，都要選擇設(shè)備來(lái)加入聯(lián)邦訓(xùn)練.傳統(tǒng)方案中，服務(wù)器會(huì)隨機(jī)選擇一組設(shè)備作為參與者，把共享模型發(fā)送到這些設(shè)備進(jìn)行訓(xùn)練，然后服務(wù)器需要收集這一輪所有設(shè)備的本地模型來(lái)更新全局模型[31].這意味著，聯(lián)邦學(xué)習(xí)整體的訓(xùn)練過(guò)程受到訓(xùn)練時(shí)間最長(zhǎng)的設(shè)備的影響.

在包含無(wú)數(shù)設(shè)備的網(wǎng)絡(luò)中，每個(gè)設(shè)備的性能、網(wǎng)絡(luò)狀態(tài)和能量都不一樣，導(dǎo)致每個(gè)設(shè)備訓(xùn)練模型的時(shí)間也不一樣.同時(shí)，除了設(shè)備在硬件上的差異之外，每個(gè)用戶的使用情況也不一樣.例如有的用戶只有在連入了無(wú)線網(wǎng)絡(luò)的情況下才愿意接受聯(lián)邦訓(xùn)練[47].因此，為了解決這一問(wèn)題，相關(guān)研究者已經(jīng)研究出新的聯(lián)邦學(xué)習(xí)參與者選擇協(xié)議，在聯(lián)邦學(xué)習(xí)初始化時(shí)，評(píng)估每個(gè)設(shè)備的資源狀態(tài)，通過(guò)解決參與設(shè)備的資源約束問(wèn)題來(lái)減少本地訓(xùn)練的時(shí)間，從而提高聯(lián)邦學(xué)習(xí)訓(xùn)練的效率.

Fig. 9 Communication protocol of federated learning[46]圖9 聯(lián)邦學(xué)習(xí)通信協(xié)議[46]

2.2.2 服務(wù)器聚合頻率

在邊緣計(jì)算環(huán)境下實(shí)現(xiàn)分布式地訓(xùn)練深度學(xué)習(xí)模型，通常都是采用先局部后集中的方法.聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中本地模型訓(xùn)練完成后，這些模型參數(shù)就被傳遞到聯(lián)邦學(xué)習(xí)服務(wù)器進(jìn)行聚合.在這種情況下，服務(wù)器如何控制模型的聚合更新，顯然會(huì)影響聯(lián)邦學(xué)習(xí)的訓(xùn)練效率.聚合控制的過(guò)程包括聚合的內(nèi)容(即本地模型參數(shù))和聚合的頻率.圖9中處理全局聚合的傳統(tǒng)方法是同步方法，即聚合操作在固定的時(shí)間間隔進(jìn)行，模型的訓(xùn)練受到最壞設(shè)備的約束.

另一種選擇性聚合可以控制聯(lián)邦學(xué)習(xí)服務(wù)器聚合的內(nèi)容.大量的設(shè)備在不安全的邊緣網(wǎng)絡(luò)中訓(xùn)練模型，模型參數(shù)冗余或遭到惡意篡改的可能性很大[48]，這些不可用的模型參數(shù)會(huì)大大降低全局模型的準(zhǔn)確率.因此，盡可能聚合正確的本地模型可以大大提高聯(lián)邦學(xué)習(xí)的訓(xùn)練效率.

2.2.3 數(shù)據(jù)質(zhì)量

在聯(lián)邦學(xué)習(xí)過(guò)程中，移動(dòng)設(shè)備上數(shù)據(jù)集的非獨(dú)立同分布(non-independent and identically distributed, non-IID)問(wèn)題是影響聯(lián)邦學(xué)習(xí)訓(xùn)練效果的重要因素.同分布性意味著數(shù)據(jù)沒(méi)有總體趨勢(shì)，分布不會(huì)波動(dòng)，樣本中的所有數(shù)據(jù)都取自同一概率分布.獨(dú)立性意味著樣本都是獨(dú)立的事件，沒(méi)有任何關(guān)聯(lián).傳統(tǒng)的分布式深度學(xué)習(xí)，云服務(wù)器將收集到的數(shù)據(jù)集劃分為若干個(gè)子數(shù)據(jù)集，這些子數(shù)據(jù)集被發(fā)送到各個(gè)分布式節(jié)點(diǎn)進(jìn)行訓(xùn)練.這樣，即使是較小的數(shù)據(jù)集，同樣能代表總體分布，訓(xùn)練出的模型在準(zhǔn)確率上沒(méi)有差別.然而，這種方式不符合聯(lián)邦學(xué)習(xí)，并且假設(shè)每個(gè)移動(dòng)設(shè)備上的本地?cái)?shù)據(jù)符合獨(dú)立同分布(independent and identically distributed, IID)原則也是不現(xiàn)實(shí)的.具體來(lái)說(shuō)，有2個(gè)原因：

1) 違背獨(dú)立性原則.如果設(shè)備上的數(shù)據(jù)生成或收集不夠隨機(jī).例如，數(shù)據(jù)是按時(shí)間排序的，則違背了獨(dú)立性原則.此外，同一地理位置內(nèi)設(shè)備的數(shù)據(jù)可能具有一定程度的關(guān)聯(lián)，同樣違背了獨(dú)立性原則.

2) 違背同分布性原則.由于移動(dòng)設(shè)備與特定地理區(qū)域相關(guān)聯(lián)，標(biāo)簽的分布因分區(qū)而異.此外，由于設(shè)備存儲(chǔ)能力的不同，本地?cái)?shù)據(jù)量也不同，所以違背了同分布性原則.因此，聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)集屬于non-IID.

文獻(xiàn)[31]提出FedAvg算法以緩解non-IID數(shù)據(jù)帶來(lái)的影響.但隨著技術(shù)研究的深入，該算法并不完全適用.因此，為了提高聯(lián)邦學(xué)習(xí)的學(xué)習(xí)效率以及收斂速度，解決移動(dòng)設(shè)備上數(shù)據(jù)的non-IID問(wèn)題是非常關(guān)鍵的.

2.2.4 模型收斂

通常來(lái)說(shuō)，如果模型具有較快的收斂速率，則在聯(lián)邦學(xué)習(xí)過(guò)程中可以節(jié)省參與設(shè)備訓(xùn)練所需的時(shí)間和資源消耗，能夠極大地提高聯(lián)邦學(xué)習(xí)的效率.以一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型fθ(x)的優(yōu)化為例，訓(xùn)練的過(guò)程就是找到一個(gè)最優(yōu)的模型參數(shù)使得模型預(yù)測(cè)值與樣本標(biāo)簽真實(shí)值之間的損失最小，此時(shí)模型達(dá)到收斂.用數(shù)學(xué)表達(dá)式表示為：

(1)

其中,θ為神經(jīng)網(wǎng)絡(luò)模型的權(quán)重參數(shù)，為損失函數(shù)，(xi,yi)為n個(gè)樣本中的第i個(gè)樣本.

(2)

由于GD每次都要對(duì)所有樣本計(jì)算梯度，造成了冗余計(jì)算.因此，隨機(jī)梯度下降(stochastic gradient descent, SGD)通過(guò)隨機(jī)選擇樣本進(jìn)行梯度計(jì)算從而提高計(jì)算效率.SGD的優(yōu)化目標(biāo)通過(guò)式(1)可得到式(3)：

(3)

其中,B為樣本批量的數(shù)量.同樣地，在第t次的訓(xùn)練中隨機(jī)選擇第i個(gè)樣本批量來(lái)計(jì)算梯度，而無(wú)須計(jì)算所有的樣本，SGD的數(shù)學(xué)表達(dá)式為

(4)

然而，SGD方法可能在優(yōu)化過(guò)程中產(chǎn)生左右振蕩的情況.為了加快模型的收斂速率，文獻(xiàn)[49]提出通過(guò)考慮更多先前的迭代來(lái)提高GD的收斂速度.因此，考慮了動(dòng)量梯度下降法(momentum gradient descent, MGD)以加速模型收斂[50].具體來(lái)說(shuō)，MGD像傳統(tǒng)GD一樣計(jì)算梯度，但是不直接用計(jì)算出的梯度進(jìn)行參數(shù)更新，而是賦予當(dāng)前梯度一個(gè)權(quán)值，并綜合考慮之前的梯度得到一個(gè)加權(quán)的平均值，再進(jìn)行參數(shù)更新.MGD在第t+1次的參數(shù)更新為：

(5)

θt+1=θt-ηtd(t+1),

(6)

其中,d(t)是動(dòng)量項(xiàng)，γ是衰減因子.由于基于動(dòng)量的梯度方法能改進(jìn)模型的收斂速率，在分布式機(jī)器學(xué)習(xí)領(lǐng)域中有一些將動(dòng)量項(xiàng)應(yīng)用于SGD優(yōu)化的工作.例如在文獻(xiàn)[51]中，動(dòng)量應(yīng)用于每個(gè)聚合回合的更新，以改善優(yōu)化和泛化.在文獻(xiàn)[52]中，證明了帶有動(dòng)量的分布式SGD的線性收斂性.

文獻(xiàn)[53]提出了一種新的動(dòng)量聯(lián)邦學(xué)習(xí)(mom-entum federated learning, MFL).該文作者在聯(lián)邦學(xué)習(xí)的本地更新中引入動(dòng)量項(xiàng)，并利用MGD執(zhí)行本地迭代.理論證明了所提出的MFL的全局收斂性，并推導(dǎo)了MFL的收斂邊界.與傳統(tǒng)聯(lián)邦學(xué)習(xí)相比，提出的MFL具有更快的模型收斂速度.

聯(lián)邦學(xué)習(xí)不同于傳統(tǒng)深度學(xué)習(xí)，由于設(shè)備上的數(shù)據(jù)屬于non-IID，導(dǎo)致本地模型訓(xùn)練的質(zhì)量不一致，在驗(yàn)證集上的損失可能超出估計(jì)值，這也是影響聯(lián)邦學(xué)習(xí)模型收斂的主要因素.文獻(xiàn)[54]提出了可以自適應(yīng)調(diào)整的FedProx算法，它對(duì)損失函數(shù)進(jìn)行了修改，包括一個(gè)可調(diào)節(jié)的參數(shù)，該參數(shù)限制了本地更新對(duì)初始模型參數(shù)的影響程度.當(dāng)訓(xùn)練損失增加時(shí)，可以調(diào)整模型更新以減小對(duì)當(dāng)前參數(shù)的影響.

同樣地，文獻(xiàn)[55]提出的LoAdaBoost FedAvg算法，在參與設(shè)備訓(xùn)練完本地模型后，將交叉損耗與前一輪訓(xùn)練的中值損耗進(jìn)行比較.如果損失較大，則在聚合之前對(duì)本地模型再次進(jìn)行訓(xùn)練，以提高學(xué)習(xí)效率.實(shí)驗(yàn)證明該算法具有較快的收斂速度.更多優(yōu)化聯(lián)邦學(xué)習(xí)non-IID問(wèn)題的解決方案在3.2節(jié)中進(jìn)行詳細(xì)的討論.

2.3 安全與隱私

與集中式學(xué)習(xí)相比，聯(lián)邦學(xué)習(xí)的環(huán)境不可控，來(lái)自惡意設(shè)備的攻擊成為主要的隱患.研究表明，惡意的攻擊者仍可以根據(jù)其他參與者的共享模型來(lái)推斷用戶相關(guān)的隱私信息(例如生成式對(duì)抗網(wǎng)絡(luò)攻擊、模型反演攻擊等)，并且精度高達(dá)90%[56-57].這種攻擊也可以成功地從各種訓(xùn)練模型中提取模型信息[58].此外，聯(lián)邦學(xué)習(xí)中也存在許多安全威脅，例如中毒攻擊，這也會(huì)導(dǎo)致聯(lián)邦學(xué)習(xí)的訓(xùn)練效率瓶頸.聯(lián)邦學(xué)習(xí)中的中毒攻擊可分為2類(lèi)：

1) 數(shù)據(jù)中毒.在聯(lián)邦學(xué)習(xí)中，設(shè)備使用本地?cái)?shù)據(jù)進(jìn)行模型訓(xùn)練，并將訓(xùn)練后的模型發(fā)送到服務(wù)器以進(jìn)行進(jìn)一步處理.在這種情況下，服務(wù)器難以確定每個(gè)設(shè)備的本地?cái)?shù)據(jù)是否真實(shí).因此，惡意參與者可以通過(guò)創(chuàng)建臟標(biāo)簽數(shù)據(jù)來(lái)訓(xùn)練模型，以產(chǎn)生錯(cuò)誤的參數(shù)，降低全局模型的準(zhǔn)確性.文獻(xiàn)[59]研究了聯(lián)邦學(xué)習(xí)中的基于標(biāo)簽反轉(zhuǎn)的數(shù)據(jù)中毒攻擊，攻擊者使用與其他參與者相同的損失函數(shù)和超參數(shù)訓(xùn)練的本地模型，利用標(biāo)簽反轉(zhuǎn)污染數(shù)據(jù)集.實(shí)驗(yàn)表明攻擊成功率、效率隨中毒樣本和攻擊者數(shù)量呈線性增加.

2) 模型參數(shù)中毒.另一種比數(shù)據(jù)中毒更為有效的攻擊是模型中毒攻擊[60].對(duì)于模型中毒攻擊，攻擊者可以直接修改模型的參數(shù)，該模型直接發(fā)送到服務(wù)器以進(jìn)行聚合.相比數(shù)據(jù)中毒，即使只有一個(gè)模型中毒攻擊者，也能迅速降低全局模型的精度.

安全與隱私問(wèn)題除了破壞模型的訓(xùn)練精度，更嚴(yán)重的是導(dǎo)致用戶不再信任聯(lián)邦學(xué)習(xí)服務(wù)器，用戶將不愿意參與共同訓(xùn)練，而過(guò)低的設(shè)備參與率導(dǎo)致全局模型的性能低下，甚至造成模型收斂的瓶頸.為了提高模型訓(xùn)練的效率與精度，需要結(jié)合相關(guān)隱私與安全機(jī)制，解決針對(duì)聯(lián)邦學(xué)習(xí)環(huán)境的安全與隱私問(wèn)題，提高模型的穩(wěn)定性與用戶的參與度，為高效的聯(lián)邦學(xué)習(xí)提供可靠環(huán)境.

3 現(xiàn)有優(yōu)化研究方案

第2節(jié)討論了當(dāng)前聯(lián)邦學(xué)習(xí)存在的優(yōu)化問(wèn)題，本節(jié)將詳細(xì)介紹與分析目前針對(duì)聯(lián)邦學(xué)習(xí)效率優(yōu)化的相關(guān)研究與技術(shù)方案.通信效率的研究主要為解決在基于云或基于邊緣的環(huán)境中實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)帶來(lái)的通信時(shí)間與負(fù)載的問(wèn)題.而訓(xùn)練優(yōu)化是對(duì)聯(lián)邦學(xué)習(xí)訓(xùn)練的每個(gè)步驟進(jìn)行優(yōu)化，包括參與設(shè)備選擇與協(xié)調(diào)、模型聚合控制.此外，還針對(duì)數(shù)據(jù)質(zhì)量問(wèn)題，總結(jié)了聯(lián)邦學(xué)習(xí)收斂?jī)?yōu)化等相關(guān)的研究方案.最后列舉了通過(guò)保護(hù)聯(lián)邦學(xué)習(xí)安全與隱私從而提高模型性能的方案.

3.1 通信優(yōu)化

3.1.1 增加邊緣端的計(jì)算

為了減少由多輪通信帶來(lái)的通信消耗，文獻(xiàn)[31]提出2種方法來(lái)增加設(shè)備上的計(jì)算量：1)增加任務(wù)的并行性，通過(guò)在每一輪選擇更多的設(shè)備參與聯(lián)邦訓(xùn)練來(lái)減少訓(xùn)練的輪數(shù)；2)增加設(shè)備的計(jì)算，即在全局聚合更新之前，在每個(gè)設(shè)備上執(zhí)行更多的訓(xùn)練任務(wù).因此，文獻(xiàn)[31]的作者提出了一種基于平均迭代模型的深度神經(jīng)網(wǎng)絡(luò)聯(lián)邦學(xué)習(xí)的FedAvg算法，考慮了不同的模型體系結(jié)構(gòu)和數(shù)據(jù)集，進(jìn)行了廣泛的實(shí)驗(yàn)評(píng)估.根據(jù)聯(lián)邦學(xué)習(xí)的規(guī)則，每輪隨機(jī)選擇的設(shè)備訓(xùn)練出來(lái)的本地模型精度都不相同，F(xiàn)edAvg算法對(duì)這些模型參數(shù)進(jìn)行平均操作.具體來(lái)說(shuō)，文獻(xiàn)[31]的作者定義了聯(lián)邦學(xué)習(xí)的優(yōu)化問(wèn)題，將式(1)的深度學(xué)習(xí)優(yōu)化問(wèn)題改寫(xiě)為

(7)

(8)

其中,f(w)為損失函數(shù)，w為模型參數(shù)，K代表參加訓(xùn)練的設(shè)備數(shù)量，數(shù)據(jù)樣本總量為D，pk代表設(shè)備k擁有的數(shù)據(jù)集，其大小為Dk=|pk|.該文作者首先分析了目前主流的SGD優(yōu)化方法，并將其直接應(yīng)用于聯(lián)邦學(xué)習(xí)，即每一輪訓(xùn)練在設(shè)備上進(jìn)行一次梯度計(jì)算，對(duì)于每個(gè)設(shè)備k有

(9)

(10)

其中,t表示當(dāng)前聯(lián)邦學(xué)習(xí)的訓(xùn)練輪數(shù).傳統(tǒng)SGD的計(jì)算效率雖然很高，但是需要進(jìn)行大量的訓(xùn)練輪數(shù)才能得到好的模型.為了讓每個(gè)設(shè)備執(zhí)行更多的計(jì)算以減少通信，F(xiàn)edAvg算法將本地的一次梯度計(jì)算改進(jìn)為多次，即設(shè)備進(jìn)行多次本地訓(xùn)練：

(11)

此外，算法還設(shè)置了超參數(shù)C，E，B.其中C表示每一輪選擇設(shè)備的比例；E表示設(shè)備上本地迭代的次數(shù)；B表示設(shè)備訓(xùn)練的本地?cái)?shù)據(jù)批量大小.通過(guò)調(diào)整這些超參數(shù)的值來(lái)增加設(shè)備端的計(jì)算量，從而使本地模型的精度更高.本地訓(xùn)練之后，對(duì)所有的本地模型進(jìn)行平均得到更新后的全局模型，并將其作為新的初始模型發(fā)送給下一輪訓(xùn)練的設(shè)備，算法1完整地表示了FedAvg的細(xì)節(jié).根據(jù)仿真實(shí)驗(yàn)結(jié)果，F(xiàn)edAvg算法的通信輪數(shù)減少到SGD算法的1/30，也證明了當(dāng)模型精度達(dá)到一定的閾值時(shí)，增加計(jì)算量并不會(huì)帶來(lái)額外的通信消耗.

算法1.FedAvg.

輸入：設(shè)備數(shù)量K和選擇比例C、本地?cái)?shù)據(jù)批量大小B、本地迭代次數(shù)E、學(xué)習(xí)率η；

輸出：模型參數(shù)w.

服務(wù)器端：

① 初始化全局模型w0；

② 確定需要選擇設(shè)備的數(shù)量m←max(C×K，1)；

③ 服務(wù)器隨機(jī)選擇m個(gè)設(shè)備并下發(fā)全局模型；

⑤ 利用式(10)全局聚合；

⑥ 重復(fù)②～⑤直到模型w收斂，其中t為輪數(shù).

設(shè)備端(k，w)：

① 將本地?cái)?shù)據(jù)集pk劃分為大小為B的樣本批量；

② 對(duì)于B中的樣本用式(11)進(jìn)行權(quán)值更新；

③ 重復(fù)E次步驟②；

④ 將訓(xùn)練好的本地模型w發(fā)送到服務(wù)器端.

Fig. 10 AlexNet model based on two-stream federated learning[61]圖10 基于雙流聯(lián)邦學(xué)習(xí)的AlexNet模型[61]

雖然FedAvg算法已經(jīng)廣泛用于聯(lián)邦學(xué)習(xí)的研究，但是在non-IID數(shù)據(jù)集上的效果不明顯，會(huì)帶來(lái)更多的訓(xùn)練輪數(shù)與通信消耗.文獻(xiàn)[61]基于文獻(xiàn)[31]的思想，為了增加每個(gè)參與設(shè)備的計(jì)算量，提出了帶有最大平均偏差(maximum mean discrepancy, MMD)的雙流聯(lián)邦學(xué)習(xí)模型.MMD用來(lái)測(cè)量數(shù)據(jù)分布均值之間的距離.例如，給定數(shù)據(jù)分布ρ1和ρ2，則MMD可用數(shù)學(xué)表達(dá)式表示為

ZMMD(ρ1,ρ2)(E[φ(ρ1)]-E[φ(ρ2)])2,

(12)

其中,φ(·)表示映射到再生核希爾伯特空間.

文獻(xiàn)[61]的作者認(rèn)為全局模型包含來(lái)自多個(gè)設(shè)備的信息，有利于本地模型的訓(xùn)練.如圖10所示，雙流聯(lián)邦學(xué)習(xí)算法與傳統(tǒng)FedAvg對(duì)比，可以使參與設(shè)備在每一輪的本地訓(xùn)練中保留全局模型作為參考，除了訓(xùn)練本地?cái)?shù)據(jù)之外，還參考全局模型從其他設(shè)備中學(xué)習(xí).具體來(lái)說(shuō)，雙流模型在本地訓(xùn)練中，通過(guò)最小化全局模型與本地模型之間的損失來(lái)保證設(shè)備學(xué)習(xí)到其他設(shè)備數(shù)據(jù)之外的特征，從而加快模型收斂的進(jìn)程，減少通信的輪數(shù)，計(jì)算公式為：

(wk|w,Xk,Yk)=cls+MMD,

(13)

(14)

MMD=λZMMD(w(Xk),wk(Xk)),

(15)

其中,X，Y分別表示樣本(xi,yi)的數(shù)據(jù)與標(biāo)簽，表示全局模型與本地模型之間的損失，J為模型分類(lèi)損失，λ為系數(shù).在實(shí)驗(yàn)中，文獻(xiàn)[61]的作者使用CNN模型在CIFAR-10和MNIST數(shù)據(jù)集上進(jìn)行了評(píng)估.結(jié)果表明，即使參與設(shè)備上的數(shù)據(jù)是non-IID形式的，提出的雙流模型算法也可以在少于20%的通信輪數(shù)的情況下，使聯(lián)邦學(xué)習(xí)的全局模型達(dá)到理想的精度，優(yōu)于傳統(tǒng)的方案.

目前，聯(lián)邦學(xué)習(xí)的方案大多數(shù)是基于服務(wù)器與設(shè)備之間的2層結(jié)構(gòu).長(zhǎng)距離的通信與交流顯然會(huì)帶來(lái)更多的通信成本，將服務(wù)部署在邊緣服務(wù)器成為一種解決方案.例如，文獻(xiàn)[62]將深度強(qiáng)化學(xué)習(xí)技術(shù)和聯(lián)邦學(xué)習(xí)框架與移動(dòng)邊緣系統(tǒng)相結(jié)合，以對(duì)MEC、緩存和通信進(jìn)行優(yōu)化.為了更好地利用設(shè)備和邊緣節(jié)點(diǎn)之間的協(xié)作交流，加快模型訓(xùn)練和模型推理，文獻(xiàn)[62]的作者設(shè)計(jì)了一個(gè)“In-Edge-AI”框架，從而實(shí)現(xiàn)動(dòng)態(tài)的優(yōu)化和增強(qiáng)效果，同時(shí)減少不必要的系統(tǒng)通信負(fù)載.此框架通過(guò)深度強(qiáng)化學(xué)習(xí)來(lái)共同管理與優(yōu)化邊緣通信和計(jì)算資源，并通過(guò)聯(lián)邦學(xué)習(xí)來(lái)分布式地訓(xùn)練深度強(qiáng)化學(xué)習(xí)代理.

文獻(xiàn)[63]的作者認(rèn)為，聯(lián)邦學(xué)習(xí)反復(fù)地訓(xùn)練會(huì)帶來(lái)巨大的通信延遲，同樣基于邊緣智能的理念，引入了MEC平臺(tái)作為聯(lián)邦學(xué)習(xí)的中間層.該文作者提出了一種分層的聯(lián)邦學(xué)習(xí)架構(gòu)用來(lái)減少用戶和云之間的通信輪數(shù).此外，還提出了HierFAVG分層聯(lián)邦學(xué)習(xí)平均算法.該算法與FedAvg相比，利用邊緣層節(jié)點(diǎn)的計(jì)算能力，在聯(lián)邦學(xué)習(xí)服務(wù)器全局聚合前，使邊緣服務(wù)器聚合多個(gè)設(shè)備的本地模型，以減少設(shè)備的通信連接次數(shù).文獻(xiàn)[63]的作者對(duì)比了基于云和基于邊緣的聯(lián)邦學(xué)習(xí)框架，如圖11所示.基于云的聯(lián)邦學(xué)習(xí)服務(wù)器需要與每個(gè)設(shè)備進(jìn)行遠(yuǎn)程通信連接，并且頻繁的通信連接會(huì)消耗大量的網(wǎng)絡(luò)帶寬資源.而完全基于邊緣服務(wù)器的聯(lián)邦學(xué)習(xí)雖然通信距離縮短了，但邊緣服務(wù)器的計(jì)算性能不如強(qiáng)大的云服務(wù)器，在計(jì)算時(shí)延上有所妥協(xié).可以看出基于邊緣的分層聯(lián)邦學(xué)習(xí)與云服務(wù)器的通信連接次數(shù)更少，并且保留云服務(wù)器的計(jì)算資源，在減少與云通信的同時(shí)，系統(tǒng)的計(jì)算性能也得到了保障.仿真結(jié)果表明，HierFAVG算法利用更多邊緣服務(wù)器進(jìn)行邊緣聚合，比傳統(tǒng)FedAvg算法在云中統(tǒng)一聚合方案的通信開(kāi)銷(xiāo)更少，但是應(yīng)用在non-IID數(shù)據(jù)上，模型還達(dá)不到期望的效果.

Fig. 11 Cloud-based versus edge-based federated learning[63]圖11 基于云與基于邊緣的聯(lián)邦學(xué)習(xí)框架對(duì)比[63]

3.1.2 模型壓縮

為了解決傳輸復(fù)雜模型帶來(lái)的過(guò)多通信消耗，文獻(xiàn)[64]在FedAvg算法的基礎(chǔ)上進(jìn)行了調(diào)整，結(jié)合分布式的Adam優(yōu)化形式和新型壓縮技術(shù)，提出了基于通信效率的CE-FedAvg算法.該文作者通過(guò)結(jié)合均勻量化和指數(shù)量化2種方法來(lái)減少每輪訓(xùn)練上傳的總數(shù)據(jù)量與通信的次數(shù)，并且對(duì)不同數(shù)量的設(shè)備設(shè)置IID數(shù)據(jù)與non-IID數(shù)據(jù)，通過(guò)大量實(shí)驗(yàn)測(cè)試了設(shè)備的參與率和壓縮率.結(jié)果表明，當(dāng)模型收斂時(shí)，CE-FedAvg的通信輪數(shù)僅為FedAvg的通信輪數(shù)的1/6.CE-FedAvg的優(yōu)勢(shì)在于能夠以更少的通信輪次來(lái)使模型達(dá)到收斂，同時(shí)壓縮了上傳的數(shù)據(jù)，大大減少了通信損耗.此優(yōu)化方案在FedAvg算法的基礎(chǔ)上加入了壓縮與量化的思想，從而減少聯(lián)邦學(xué)習(xí)傳輸過(guò)程中的通信消耗.

文獻(xiàn)[65]提出了一種將模型剪枝與聯(lián)邦學(xué)習(xí)相結(jié)合的方法，目的就是壓縮模型的大小來(lái)降低傳輸時(shí)的通信成本.剪枝包括在服務(wù)器上對(duì)初始模型剪枝和在設(shè)備上對(duì)本地模型的剪枝，其他部分與傳統(tǒng)的聯(lián)邦學(xué)習(xí)過(guò)程保持一致.模型剪枝[66]就是刪除一定剪枝率的最小絕對(duì)值權(quán)值，當(dāng)模型訓(xùn)練和剪枝同時(shí)反復(fù)進(jìn)行后，最終會(huì)得到一個(gè)小尺寸的模型.

如圖12所示，在服務(wù)器上對(duì)初始模型剪枝后，根據(jù)聯(lián)邦剪枝需要，進(jìn)一步再對(duì)聚合后的全局模型進(jìn)行剪枝以刪除小幅度的權(quán)重值，直到模型的大小達(dá)到所需的修剪水平.文獻(xiàn)[65]的作者通過(guò)復(fù)雜性分析和大量的模擬與真實(shí)實(shí)驗(yàn)，證明了該方法可以大大降低通信和計(jì)算的負(fù)載.該文作者還討論了在各種條件下模型剪枝的效果，例如在不同類(lèi)型的優(yōu)化方法上對(duì)聯(lián)邦學(xué)習(xí)模型剪枝的影響.

Fig. 12 Model pruning圖12 剪枝模型

文獻(xiàn)[47]為了降低聯(lián)邦學(xué)習(xí)上行鏈路的通信消耗，基于模型壓縮的思想提出了結(jié)構(gòu)化更新和概略化更新2種方法.結(jié)構(gòu)化更新的目的是使本地模型在具有較少變量的有限空間結(jié)構(gòu)(例如低秩或隨機(jī)掩碼)上進(jìn)行更新與訓(xùn)練；概略化更新指的是在與服務(wù)器通信之前，結(jié)合量化、隨機(jī)旋轉(zhuǎn)與子采樣等壓縮形式對(duì)模型進(jìn)行編碼，然后在服務(wù)器聚合之前對(duì)模型解碼的方法.實(shí)驗(yàn)結(jié)果表明，結(jié)構(gòu)化與概略化更新可以將通信成本降低2個(gè)數(shù)量級(jí).同時(shí)，在損失一定精度的條件下，可以實(shí)現(xiàn)更高的壓縮率和更快的收斂速度.

文獻(xiàn)[67]認(rèn)為設(shè)備和云服務(wù)器之間的梯度和參數(shù)同步是影響通信成本的重要因素.因此，該文作者提出了一種基于邊緣隨機(jī)梯度下降(edge stochastic gradient descent, eSGD)的方法，以擴(kuò)大CNN的邊緣訓(xùn)練.eSGD是一組具有收斂性和實(shí)際性能保證的稀疏方案.首先，eSGD確定哪些梯度坐標(biāo)是重要的，并且只將重要的梯度坐標(biāo)傳輸給云進(jìn)行同步.這個(gè)重要的更新可以大大降低通信成本.其次，使用動(dòng)量殘差累積來(lái)跟蹤過(guò)期的殘差梯度坐標(biāo)，以避免稀疏更新導(dǎo)致的低收斂速度.實(shí)驗(yàn)表明，在梯度下降比分別為50%，75%，87.5%的時(shí)候，該算法在MNIST數(shù)據(jù)集上訓(xùn)練的準(zhǔn)確率分別為91.2%，86.7%，81.5%.該方案利用了梯度稀疏化等技術(shù)，減少了邊緣到云傳輸?shù)臄?shù)據(jù)量，從而減小通信消耗.

文獻(xiàn)[68]提出了2種技術(shù)來(lái)減少聯(lián)邦學(xué)習(xí)中的通信開(kāi)銷(xiāo).一種是在服務(wù)器到設(shè)備之間的通信中使用有損壓縮技術(shù)；另一種是使用聯(lián)邦Dropout技術(shù)，即向每個(gè)設(shè)備傳遞全局模型的子模型.在有損壓縮過(guò)程中，首先將模型中每個(gè)要壓縮的權(quán)值矩陣重構(gòu)成向量形式，然后進(jìn)行基礎(chǔ)變換、子采樣和量化操作.此時(shí)的模型大小已經(jīng)比原始模型小，為進(jìn)一步減少通信消耗，該文作者通過(guò)聯(lián)邦Dropout在模型的全連接層將固定數(shù)量的激活向量丟棄，從而得到一個(gè)簡(jiǎn)化的子模型.如圖13所示，具體過(guò)程為：①通過(guò)聯(lián)邦Dropout構(gòu)造子模型；②有損壓縮結(jié)果對(duì)象，壓縮了要進(jìn)行通信的模型大?。虎蹖⑦@個(gè)壓縮模型發(fā)送給設(shè)備，設(shè)備使用本地?cái)?shù)據(jù)對(duì)其進(jìn)行解壓和訓(xùn)練；④壓縮最后的更新；⑤這個(gè)更新被發(fā)送回服務(wù)器進(jìn)行解壓；⑥聚合到全局模型中.文獻(xiàn)[68]的作者在常用的數(shù)據(jù)集上進(jìn)行了大量的對(duì)比實(shí)驗(yàn)，結(jié)果表明在不影響模型質(zhì)量的情況下，該通信策略大大減少了服務(wù)器到設(shè)備的通信，節(jié)約了本地計(jì)算資源以及模型上傳時(shí)產(chǎn)生的通信延遲.

Fig. 13 A compression process that combines two technologies[68]圖13 結(jié)合2種技術(shù)的壓縮過(guò)程[68]

現(xiàn)有的壓縮技術(shù)多數(shù)只有在理想條件下表現(xiàn)良好，例如設(shè)備上數(shù)據(jù)的分布是均衡的，對(duì)于non-IID數(shù)據(jù)的模型收斂性不能保證.為了解決基于模型壓縮的通信友好但收斂效果差的問(wèn)題，文獻(xiàn)[69]的作者通過(guò)對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)在現(xiàn)有的壓縮算法中，top-k稀疏化算法對(duì)于聯(lián)邦學(xué)習(xí)模型的收斂影響最小，因此提出了一種新的壓縮框架——稀疏三元壓縮(sparse ternary compression, STC).STC擴(kuò)展了現(xiàn)有的top-k梯度稀疏化壓縮技術(shù)，并提供了一種新的機(jī)制，實(shí)現(xiàn)對(duì)權(quán)值更新的分層與最優(yōu)格倫布編碼[70].實(shí)驗(yàn)表明，STC的性能明顯優(yōu)于FedAvg算法，STC方案下的聯(lián)邦學(xué)習(xí)在訓(xùn)練迭代次數(shù)和通信比特?cái)?shù)方面的收斂速度都快于FedAvg.因此，該方案適用于設(shè)備與服務(wù)器之間低延遲和低帶寬的聯(lián)邦學(xué)習(xí)環(huán)境.

3.1.3 歸納總結(jié)

本節(jié)主要從增加端設(shè)備的計(jì)算量、模型壓縮2種策略來(lái)討論降低聯(lián)邦學(xué)習(xí)的通信消耗的方案，在表3中總結(jié)了這些方法.

聯(lián)邦學(xué)習(xí)把訓(xùn)練任務(wù)分散到每個(gè)移動(dòng)設(shè)備上，服務(wù)器與設(shè)備之間的通信消耗是影響訓(xùn)練的首要因素.研究者通過(guò)云端協(xié)作與云邊端協(xié)作的方式，結(jié)合MEC等邊緣計(jì)算平臺(tái)，將更多的計(jì)算卸載到邊緣或設(shè)備端，以減少訓(xùn)練輪數(shù).從表3中可以看出，目前通信優(yōu)化的方案大部分是基于云端2層結(jié)構(gòu)的協(xié)作，然而，云服務(wù)器與移動(dòng)設(shè)備的距離較遠(yuǎn)，當(dāng)參加訓(xùn)練的設(shè)備數(shù)量很大時(shí)，帶寬的限制與通信延遲仍是一大挑戰(zhàn).

此外，丟棄部分冗余的梯度或壓縮模型也是降低通信時(shí)延和負(fù)載的方法.然而，許多通過(guò)壓縮技術(shù)來(lái)降低通信消耗的方案會(huì)帶來(lái)其他方面的不利影響，例如模型剪枝可以丟棄不必要的數(shù)據(jù)以達(dá)到減少傳輸量的目的，但是，這些數(shù)據(jù)或多或少都與模型的收斂相關(guān)，模型的精度在一定程度上會(huì)受到影響.表3的方案還存在一些不足，大部分支持通信效率的研究方案在面對(duì)分布式機(jī)器學(xué)習(xí)帶來(lái)的數(shù)據(jù)質(zhì)量問(wèn)題時(shí)并不能很好地適用，只是在數(shù)據(jù)分布理想的狀態(tài)下保證了通信的效率和模型的收斂.因此，設(shè)計(jì)權(quán)衡通信消耗與模型收斂的算法來(lái)提高聯(lián)邦學(xué)習(xí)整體的效率仍然是重要的研究點(diǎn).

Table 3 Summary and Comparison of Researches on Federated Learning Communication Optimization表3 聯(lián)邦學(xué)習(xí)通信優(yōu)化研究方案的總結(jié)與對(duì)比

3.2 訓(xùn)練優(yōu)化

3.2.1 設(shè)備選擇

在文獻(xiàn)[31]中，為了使聯(lián)邦學(xué)習(xí)訓(xùn)練效果達(dá)到最佳，該文作者提出最大化選擇參與設(shè)備的方法.但是，文獻(xiàn)[71]的作者認(rèn)為在某些設(shè)備計(jì)算資源有限或無(wú)線信道條件差的情況下，會(huì)導(dǎo)致聯(lián)邦學(xué)習(xí)需要更長(zhǎng)的訓(xùn)練時(shí)間和上傳時(shí)間.因此，為了解決這個(gè)問(wèn)題，文獻(xiàn)[71]的作者提出一種新的聯(lián)邦學(xué)習(xí)協(xié)議，稱(chēng)之為FedCS.該協(xié)議基于MEC框架，根據(jù)設(shè)備的資源狀況動(dòng)態(tài)地選擇設(shè)備參與并有效地執(zhí)行聯(lián)邦學(xué)習(xí).FedCS協(xié)議解決了帶有資源約束的設(shè)備選擇的問(wèn)題，允許服務(wù)器盡可能多地聚合來(lái)自設(shè)備的模型更新.

Fig. 14 Protocol of FedCS[71]圖14 FedCS協(xié)議[71]

?i

(16)

(17)

(18)

(19)

則認(rèn)為該設(shè)備集S中存在資源受約束的設(shè)備，需要重新通過(guò)計(jì)算來(lái)選擇一組更好的設(shè)備.

文獻(xiàn)[71]的作者在MEC環(huán)境中使用ClFAR-10圖像數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)評(píng)估，實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的聯(lián)邦學(xué)習(xí)協(xié)議相比，F(xiàn)edCS協(xié)議通過(guò)對(duì)具有不同約束的設(shè)備進(jìn)行選擇，使聯(lián)邦學(xué)習(xí)能夠在預(yù)期的時(shí)間內(nèi)完成訓(xùn)練過(guò)程.然而，F(xiàn)edCS僅在簡(jiǎn)單的模型上進(jìn)行了測(cè)試.當(dāng)擴(kuò)展到更復(fù)雜的模型上或者面對(duì)數(shù)量龐大的設(shè)備集時(shí)，不斷計(jì)算設(shè)備的時(shí)間會(huì)帶來(lái)額外的負(fù)載與計(jì)算時(shí)延，并且FedCS協(xié)議不關(guān)注模型聚合的精度，對(duì)于數(shù)據(jù)non-IID問(wèn)題不能完全適用.

在此基礎(chǔ)上，文獻(xiàn)[72]提出一種基于多標(biāo)準(zhǔn)的聯(lián)邦學(xué)習(xí)設(shè)備選擇方法，并預(yù)測(cè)設(shè)備是否能夠執(zhí)行聯(lián)邦學(xué)習(xí)任務(wù).特別是在每一輪中，該選擇算法中的設(shè)備數(shù)量都最大化，同時(shí)考慮到每個(gè)設(shè)備的資源及其完成訓(xùn)練和發(fā)送所需更新的能力.

文獻(xiàn)[73]假設(shè)一些設(shè)備是可用的，而另一些設(shè)備為脫機(jī)或超出通信范圍.基于這個(gè)假設(shè)提出一個(gè)啟發(fā)式算法，在保證模型的測(cè)試精度的前提下選擇最佳的設(shè)備參加訓(xùn)練，從而解決了當(dāng)設(shè)備達(dá)到預(yù)算的目標(biāo)數(shù)量時(shí)優(yōu)化模型準(zhǔn)確性的問(wèn)題.文獻(xiàn)[74]為長(zhǎng)期處在能量約束下的聯(lián)邦學(xué)習(xí)設(shè)備選擇和帶寬分配制定了一個(gè)隨機(jī)優(yōu)化問(wèn)題，并設(shè)計(jì)了一種僅利用當(dāng)前可用無(wú)線信道信息但可以實(shí)現(xiàn)長(zhǎng)期性能保證的算法.文獻(xiàn)[75]從最小模型交換時(shí)間的角度研究聯(lián)邦學(xué)習(xí)中的設(shè)備選擇方案，并使用動(dòng)態(tài)隊(duì)列量化設(shè)備的參與率.

3.2.2 資源協(xié)調(diào)

一般情況下，移動(dòng)邊緣網(wǎng)絡(luò)環(huán)境是動(dòng)態(tài)的、不確定的，設(shè)備所擁有的資源時(shí)刻都在變化，例如無(wú)線網(wǎng)絡(luò)和能量等條件都會(huì)影響聯(lián)邦學(xué)習(xí)的訓(xùn)練.為此，文獻(xiàn)[76]考慮了基于移動(dòng)群體機(jī)器學(xué)習(xí)(mobile crowd-machine learning, MCML)的聯(lián)邦學(xué)習(xí)模型.同樣地，MCML使邊緣網(wǎng)絡(luò)中的移動(dòng)設(shè)備能夠協(xié)同訓(xùn)練服務(wù)器所需的DNN模型，同時(shí)將數(shù)據(jù)保存在移動(dòng)設(shè)備上，解決了傳統(tǒng)機(jī)器學(xué)習(xí)的數(shù)據(jù)隱私問(wèn)題.為了解決動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境中資源的限制，同時(shí)將能耗、時(shí)間和通信的成本最小化，服務(wù)器需要確定設(shè)備用于訓(xùn)練的適當(dāng)數(shù)據(jù)量和能量.為此，文獻(xiàn)[76]的作者采用基于雙深度Q-Network[77]的算法，允許服務(wù)器在不具備任何網(wǎng)絡(luò)動(dòng)態(tài)先驗(yàn)知識(shí)的情況下學(xué)習(xí)并找到最優(yōu)決策.具體來(lái)說(shuō)，為了使聯(lián)邦學(xué)習(xí)長(zhǎng)期累積的回報(bào)最大化，服務(wù)器在給定狀態(tài)s的情況下確定最優(yōu)的決策a.基于Q-learning構(gòu)造了一個(gè)最優(yōu)策略的狀態(tài)-動(dòng)作查詢表Q(s,a)，并通過(guò)以下方式進(jìn)行更新：

Qnew(s,a)=(1-η)Q(s,a)+η(r(s,a)+γmaxQ(s′,a′)),

(20)

(21)

其中,γ是衰減因子，r(s,a)是回報(bào)函數(shù)，G，H，I分別代表累積的數(shù)據(jù)、訓(xùn)練延遲與能量消耗，α是比例因子.根據(jù)查詢表，服務(wù)器可以從任何狀態(tài)找到對(duì)應(yīng)的最佳決策，使整個(gè)系統(tǒng)的能耗與成本最低.然而，Q-learning受到服務(wù)器的大規(guī)模狀態(tài)和動(dòng)作空間的困擾，為此采用深度Q-learning為服務(wù)器找到最優(yōu)策略.實(shí)驗(yàn)結(jié)果表明，該算法在能量消耗和訓(xùn)練延遲方面均優(yōu)于靜態(tài)算法；與貪婪算法相比，該方案能減少31%左右的能量消耗；與隨機(jī)方案相比，訓(xùn)練延遲減少55%左右，大大提高了聯(lián)邦學(xué)習(xí)的效率.

文獻(xiàn)[78]的作者認(rèn)為，現(xiàn)有的聯(lián)邦訓(xùn)練和推理結(jié)果可能會(huì)偏向個(gè)別設(shè)備，即本地訓(xùn)練中模型損失最高的設(shè)備將會(huì)主導(dǎo)整個(gè)全局模型的損失,意味著在進(jìn)行模型推理時(shí)不利于其他設(shè)備.因此，提出了一個(gè)不可知的聯(lián)邦學(xué)習(xí)框架.該文作者證明該框架會(huì)使聯(lián)邦學(xué)習(xí)產(chǎn)生公平的訓(xùn)練效果.此外，該文作者還提出了公平聯(lián)邦學(xué)習(xí)(q-fair federated learning,q-FFL)資源分配的優(yōu)化目標(biāo)，通過(guò)這個(gè)目標(biāo)可以動(dòng)態(tài)地為每個(gè)本地模型分配不同的權(quán)重，即

(22)

其中,q為公平性參數(shù).當(dāng)q=0時(shí)，該優(yōu)化目標(biāo)相當(dāng)于傳統(tǒng)聯(lián)邦學(xué)習(xí)的目標(biāo)，如式(23)所示；當(dāng)q的值較大時(shí)，說(shuō)明此本地模型的損失較大，需要優(yōu)化此本地模型以減小訓(xùn)練精度分布的方差.

(23)

為了解決q-FFL問(wèn)題，文獻(xiàn)[78]的作者相應(yīng)地設(shè)計(jì)了一種適合于聯(lián)邦學(xué)習(xí)的高效率方案q-FedAvg，對(duì)傳統(tǒng)FedAvg算法中的目標(biāo)函數(shù)進(jìn)行重新加權(quán)，將較高的權(quán)重分配給損失較大的設(shè)備，整體的優(yōu)化目標(biāo)就偏向本地經(jīng)驗(yàn)風(fēng)險(xiǎn)較大的設(shè)備.實(shí)驗(yàn)證明了該方案在公平性、靈活性和效率方面均優(yōu)于現(xiàn)有方案.

考慮到無(wú)線信道的資源分配問(wèn)題，文獻(xiàn)[79]提出了一種基于空中計(jì)算的帶寬模擬聚合技術(shù)(broad-band analog aggregation, BAA)的聯(lián)邦學(xué)習(xí)框架.圖15(a)表示傳統(tǒng)的多址通信系統(tǒng)，其中不同線型表示相互正交的通信信道.為了避免傳輸節(jié)點(diǎn)間的相互干擾，每個(gè)節(jié)點(diǎn)都需要通過(guò)某種多址方式來(lái)實(shí)現(xiàn)在不同信道同時(shí)傳輸，在接入點(diǎn)再恢復(fù)每個(gè)節(jié)點(diǎn)的數(shù)據(jù)進(jìn)行計(jì)算.當(dāng)節(jié)點(diǎn)數(shù)目增多且無(wú)線資源有限時(shí)，計(jì)算等待時(shí)延將會(huì)大大增加.相反，圖15(b)所示的空中計(jì)算將所有發(fā)送節(jié)點(diǎn)并發(fā)傳輸，接入點(diǎn)直接計(jì)算數(shù)據(jù)，只需一次信道使用，大大節(jié)省了帶寬資源.

Fig. 15 Air computing versus traditional multiple access communication圖15 空中計(jì)算與傳統(tǒng)多址通信對(duì)比

文獻(xiàn)[79]的作者利用了多址信道的波形疊加特性，實(shí)現(xiàn)了設(shè)備同時(shí)占用全部帶寬的傳輸.與此同時(shí)，BAA考慮了衰落信道模型，通過(guò)信道翻轉(zhuǎn)對(duì)移動(dòng)設(shè)備發(fā)射功率進(jìn)行控制，同時(shí)限制了信道質(zhì)量差的設(shè)備的傳輸，以減少通信延遲，同時(shí)在一定程度上減少了傳輸?shù)臄?shù)據(jù)量.作為延伸，在文獻(xiàn)[80]中還引入了除空中計(jì)算外的誤差累積和梯度稀疏化.為了提高模型精度，未經(jīng)掃描的梯度向量可以首先存儲(chǔ)在誤差累積向量中，在下一輪中使用誤差向量校正局部梯度估計(jì).另外，當(dāng)存在帶寬限制時(shí)，參與設(shè)備可以應(yīng)用梯度稀疏，以確保更新幅度大的參數(shù)進(jìn)行傳輸.

文獻(xiàn)[81]還提出了一種高效節(jié)能的帶寬分配和調(diào)度策略，用來(lái)降低設(shè)備的能耗.該方案一方面適應(yīng)設(shè)備的信道狀態(tài)和計(jì)算能力，從而在保證學(xué)習(xí)性能的同時(shí)降低總能耗.與傳統(tǒng)聯(lián)邦學(xué)習(xí)的時(shí)間優(yōu)化設(shè)計(jì)相比，該策略將更多的帶寬資源分配給那些信道較弱或計(jì)算能力較差的調(diào)度設(shè)備.另一方面，封閉式的調(diào)度優(yōu)先級(jí)函數(shù)對(duì)具有更好的信道狀態(tài)和計(jì)算能力的設(shè)備具有優(yōu)先偏向.實(shí)驗(yàn)證明了所提出的策略能夠降低大量的能耗，同時(shí)保證了模型訓(xùn)練的速率.文獻(xiàn)[82]針對(duì)邊緣計(jì)算環(huán)境中的聯(lián)邦學(xué)習(xí)，引入了帶寬切片來(lái)支持聯(lián)邦學(xué)習(xí)，以保證訓(xùn)練帶寬的低通信延遲.帶寬切片可以保留專(zhuān)門(mén)用于學(xué)習(xí)任務(wù)的網(wǎng)絡(luò)資源，打破了在訓(xùn)練過(guò)程中落后設(shè)備帶來(lái)的瓶頸.

3.2.3 聚合控制

傳統(tǒng)的FedAvg算法，模型的全局聚合是在收集到所有設(shè)備上的本地更新后再進(jìn)行的，雖然可以通過(guò)對(duì)參與設(shè)備的選擇與協(xié)調(diào)來(lái)加快聯(lián)邦學(xué)習(xí)的進(jìn)程，但是同步聚合總是會(huì)受到最后一個(gè)上傳模型的設(shè)備的影響.對(duì)此，為了加快全局模型聚合和收斂，文獻(xiàn)[83]提出一種新的異步聯(lián)邦學(xué)習(xí)算法，只要設(shè)備的本地訓(xùn)練完成，即可上傳本地模型.

圖16對(duì)同步聯(lián)邦學(xué)習(xí)與異步聯(lián)邦學(xué)習(xí)進(jìn)行了對(duì)比.該異步模型允許參與設(shè)備在聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中，只要訓(xùn)練完本地模型就可以立即上傳到服務(wù)器進(jìn)行聚合，而無(wú)須等待所有設(shè)備都上傳完畢后再聚合.文獻(xiàn)[83]的作者還發(fā)現(xiàn)，異步聯(lián)邦學(xué)習(xí)模型對(duì)于在訓(xùn)練時(shí)中途加入的設(shè)備具有魯棒性，不會(huì)影響訓(xùn)練效果.通過(guò)對(duì)聯(lián)邦同步學(xué)習(xí)和異步學(xué)習(xí)的對(duì)比實(shí)驗(yàn)，證明了異步學(xué)習(xí)模型的訓(xùn)練效果更好.然而，在non-IID數(shù)據(jù)集上模型的準(zhǔn)確性依然存在不足.

為了更好地管理動(dòng)態(tài)資源約束，實(shí)現(xiàn)全局最佳聚合，文獻(xiàn)[84]的作者基于梯度下降的訓(xùn)練方法，提出了一種自適應(yīng)的全局聚合方案.該方案改變了全局模型的聚合頻率，從而在保證聯(lián)邦學(xué)習(xí)訓(xùn)練過(guò)程中有效利用可用資源的同時(shí)，保證了模型的性能.該文作者還認(rèn)為當(dāng)服務(wù)器聚合模型總數(shù)和聚合間隔之間的本地模型的總數(shù)不同時(shí)，訓(xùn)練損失是隨之受到影響的.為此，提出了一種基于最新系統(tǒng)狀態(tài)自適應(yīng)選擇最優(yōu)全局聚合頻率的控制算法，該算法能夠確定本地更新和全局參數(shù)聚合之間的最佳折中，以在給定資源預(yù)算下將損失函數(shù)最小化.例如，如果全局聚合耗費(fèi)大量時(shí)間，那么在與聯(lián)邦學(xué)習(xí)服務(wù)器的通信之前，會(huì)進(jìn)行更多的邊緣聚合.仿真結(jié)果表明，在相同的時(shí)間預(yù)算下，自適應(yīng)聚合方案在損失函數(shù)最小化和精度方面都優(yōu)于固定聚合方案.

文獻(xiàn)[85]提出了一種提高聯(lián)邦學(xué)習(xí)通信與訓(xùn)練效率的模型選擇性聚合算法CMFL(communication-mitigated federated learning).關(guān)鍵思想是識(shí)別和排除有偏差的、與全局收斂不相關(guān)的本地更新.首先用式(24)證明了連續(xù)的全局模型wt和wt+1之間的歸一化差值很小，即

(24)

基于這一結(jié)果，提出CMFL方案根據(jù)參與設(shè)備的本地更新與所有參與的設(shè)備協(xié)作生成的全局更新的一致性來(lái)度量設(shè)備上的本地模型參數(shù)的相關(guān)性，即比較本地更新與全局更新中模型參數(shù)的符號(hào).具體來(lái)說(shuō)，CMFL設(shè)置了一個(gè)可調(diào)的閾值來(lái)識(shí)別和排除不相關(guān)的更新.假設(shè)本地模型w具有N個(gè)模型參數(shù)u1,u2,…,uN，全局模型w*具有N個(gè)模型參數(shù)g1,g2,…,gN.若本地模型與全局模型參數(shù)符號(hào)相同的比例大于這個(gè)閾值，則認(rèn)為本地模型是相關(guān)的，反之則不相關(guān)，即：

(25)

當(dāng)模型的參數(shù)符號(hào)相等時(shí)，設(shè)置I(·)=1；否則I(·)=0.若e大于閾值，則保留該本地模型并上傳到服務(wù)器中聚合，反之丟棄.從理論上證明了CMFL是收斂的，并通過(guò)與現(xiàn)有解決方案相比，證明了CMFL可以顯著地減少網(wǎng)絡(luò)通信帶寬的占用，排除不相關(guān)的本地模型后全局模型聚合的收斂程度也得到提高.在聯(lián)邦多任務(wù)學(xué)習(xí)場(chǎng)景下，CMFL方案提高了5.7倍的通信效率和4%的模型預(yù)測(cè)精度.

通過(guò)對(duì)聯(lián)邦學(xué)習(xí)通信優(yōu)化的討論，可知有限的通信帶寬是聚合本地模型更新的主要瓶頸.為了加快聯(lián)邦學(xué)習(xí)全局聚合的速度，文獻(xiàn)[86]提出了基于空中計(jì)算的快速全局模型聚合方法.該方法通過(guò)設(shè)備選擇和波束成形設(shè)計(jì)來(lái)實(shí)現(xiàn)，能夠在滿足模型聚合的均方誤差要求下最大化所選參與聯(lián)邦學(xué)習(xí)的設(shè)備數(shù)量.該文作者利用稀疏和低秩優(yōu)化來(lái)提升該方法的性能.考慮到現(xiàn)有算法在稀疏和低秩優(yōu)化中的局限性，該文作者使用凸差函數(shù)(difference-of-convex-functions, DC)表示稀疏低秩函數(shù)，并在設(shè)備選擇過(guò)程中準(zhǔn)確地檢測(cè)出固定秩約束.為了進(jìn)一步改進(jìn)DC算法，將DC函數(shù)重寫(xiě)為強(qiáng)凸差函數(shù)，更優(yōu)化了DC算法的全局收斂速度.實(shí)驗(yàn)結(jié)果證明了所提出的DC方法的可行性，在CIFAR-10數(shù)據(jù)集上訓(xùn)練的支持向量機(jī)分類(lèi)器可以實(shí)現(xiàn)更高的預(yù)測(cè)精度和更快的收斂速度.

3.2.4 數(shù)據(jù)優(yōu)化

數(shù)據(jù)的non-IID是影響聯(lián)邦學(xué)習(xí)模型訓(xùn)練效果主要的因素.文獻(xiàn)[87]指出如果使用non-IID數(shù)據(jù)訓(xùn)練CNN模型，則FedAvg的準(zhǔn)確性將大大下降.對(duì)于MNIST數(shù)據(jù)集，模型下降的準(zhǔn)確率可達(dá)11%；對(duì)于CIFAR-10數(shù)據(jù)集，模型下降的準(zhǔn)確率可達(dá)51%.聯(lián)邦學(xué)習(xí)模型在IID數(shù)據(jù)集與non-IID數(shù)據(jù)集下的訓(xùn)練效果如圖17所示，可以看出由于數(shù)據(jù)的non-IID，隨著時(shí)間的推移，導(dǎo)致本地訓(xùn)練后的本地模型之間的差距較大，意味著全局模型將緩慢收斂，甚至無(wú)法收斂.

為了緩解此問(wèn)題，文獻(xiàn)[87]基于在設(shè)備上的本地訓(xùn)練中引入其他機(jī)制的思想來(lái)提出2個(gè)潛在的解決方案.首先采用基于最大平均差異算法的聯(lián)邦雙流模型FedMMD(federated maximum mean discrepancy)，以解決在傳統(tǒng)聯(lián)邦學(xué)習(xí)設(shè)置下，設(shè)備上訓(xùn)練單一本地模型的不足.最大平均差異算法被引入設(shè)備上的訓(xùn)練迭代中，使本地模型集成來(lái)自全局模型的更多知識(shí).實(shí)驗(yàn)表明，所提出的FedMMD模型在不影響最終測(cè)試性能的情況下減少了所需的通信次數(shù).文獻(xiàn)[87]的作者進(jìn)一步提出了具有特征融合機(jī)制的聯(lián)邦學(xué)習(xí)算法(federated learning feature fusion, FedFusion)，以降低通信成本.通過(guò)引入特征融合模塊，可以在特征提取階段之后從本地模型和全局模型中聚合特征，而無(wú)須耗費(fèi)額外的計(jì)算成本.這些模塊使每個(gè)移動(dòng)設(shè)備上的訓(xùn)練過(guò)程更加高效，并且可以更恰當(dāng)?shù)靥幚韓on-IID的數(shù)據(jù)，因?yàn)槊總€(gè)設(shè)備將為其自身學(xué)習(xí)最合適的功能融合模塊.圖18展示了特征融合的過(guò)程，在第t輪開(kāi)始時(shí)，保留了全局模型的特征提取器，通過(guò)聚合本地和全局模型的特征，以更低的通信成本獲得了更高的精度.此外，特征融合模塊為新加入訓(xùn)練的參與設(shè)備提供了更好的初始化，從而加快了收斂速度.實(shí)驗(yàn)表明，F(xiàn)edFusion在準(zhǔn)確性和泛化能力方面都優(yōu)于標(biāo)準(zhǔn)的聯(lián)邦學(xué)習(xí)算法，同時(shí)將所需的通信輪數(shù)減少了60%以上.

Fig. 17 The difference between the models in IID and non-IID datasets圖17 在IID與non-IID數(shù)據(jù)集下模型的差別

Fig. 18 Training iteration of FedFusion[87]圖18 FedFusion的訓(xùn)練迭代[87]

文獻(xiàn)[88]提出了聯(lián)邦擴(kuò)展(federated augmenta-tion, FAug)方案，其中每個(gè)設(shè)備共同訓(xùn)練一個(gè)生成模型，每個(gè)設(shè)備可以使用生成模型生成缺失的數(shù)據(jù)樣本，從而將其本地?cái)?shù)據(jù)擴(kuò)展為一個(gè)IID數(shù)據(jù)集.具體來(lái)說(shuō)，F(xiàn)Aug中的每個(gè)設(shè)備都能識(shí)別出自己的數(shù)據(jù)樣本中缺少的標(biāo)簽，即所謂的目標(biāo)標(biāo)簽，并通過(guò)無(wú)線鏈路將這些目標(biāo)標(biāo)簽的少數(shù)種子數(shù)據(jù)樣本上傳到服務(wù)器.服務(wù)器對(duì)上傳的種子數(shù)據(jù)樣本進(jìn)行過(guò)采樣，從而訓(xùn)練出一個(gè)GAN模型.最后，每個(gè)設(shè)備可以下載經(jīng)過(guò)訓(xùn)練的GAN生成器使每個(gè)設(shè)備能夠補(bǔ)充目標(biāo)標(biāo)簽，直到得到一個(gè)平衡的IID數(shù)據(jù)集.這大大減少了與直接數(shù)據(jù)樣本交換相比的通信開(kāi)銷(xiāo).實(shí)驗(yàn)表明，F(xiàn)Aug相比傳統(tǒng)聯(lián)邦學(xué)習(xí)僅需要1/26的通信輪數(shù)就能實(shí)現(xiàn)95%以上的測(cè)試準(zhǔn)確性.通過(guò)數(shù)據(jù)擴(kuò)充，每個(gè)設(shè)備可以根據(jù)生成的數(shù)據(jù)集訓(xùn)練出一個(gè)更加個(gè)性化和精確的用于分類(lèi)或推理任務(wù)的模型.值得注意的是，F(xiàn)Aug方法中的服務(wù)器需要是可信的，這樣用戶才愿意上傳數(shù)據(jù).

文獻(xiàn)[89]的作者認(rèn)為對(duì)于高度傾斜的non-IID數(shù)據(jù)集訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，最高會(huì)使聯(lián)邦學(xué)習(xí)的精度降低55%左右.該文作者進(jìn)一步證明了這種精度下降可以用權(quán)值散度來(lái)解釋?zhuān)瑱?quán)值散度可以用每個(gè)設(shè)備上的類(lèi)分布與總體分布之間的陸地移動(dòng)距離(earth’s mover’s distance, EMD)來(lái)量化.因此，提出了一種策略，通過(guò)創(chuàng)建一個(gè)在所有邊緣設(shè)備之間全局共享的數(shù)據(jù)子集來(lái)縮小每個(gè)模型之間的距離，從而改進(jìn)對(duì)non-IID數(shù)據(jù)的訓(xùn)練效果.實(shí)驗(yàn)表明，僅使用5%的全局共享數(shù)據(jù)，CIFAR-10數(shù)據(jù)集的準(zhǔn)確性可提高約30%.

文獻(xiàn)[90]在文獻(xiàn)[71]的基礎(chǔ)上，假設(shè)有限數(shù)量(例如低于1%)的設(shè)備讓它們的數(shù)據(jù)上傳到服務(wù)器，提出一個(gè)新穎的學(xué)習(xí)機(jī)制Hybrid-FL.服務(wù)器使用從隱私敏感度低的設(shè)備收集的數(shù)據(jù)來(lái)構(gòu)造部分IID數(shù)據(jù)，服務(wù)器利用構(gòu)造的數(shù)據(jù)訓(xùn)練模型并聚合到全局模型中來(lái)更新模型，如圖19所示.在Hybrid-FL算法中，文獻(xiàn)[90]的作者設(shè)計(jì)了一種啟發(fā)式算法，從而在帶寬和時(shí)間的約束下在服務(wù)器上構(gòu)建分布良好的數(shù)據(jù)集.具體來(lái)說(shuō)，假設(shè)Dr={d1,d2,…,dcate}為第r輪訓(xùn)練中參與設(shè)備上存儲(chǔ)的每個(gè)類(lèi)的總數(shù)據(jù)量，則設(shè)備上數(shù)據(jù)之間的偏差為

(26)

(27)

Fig. 19 Framework of Hybrid-FL[90]圖19 Hybrid-FL框架[90]

通過(guò)分類(lèi)數(shù)據(jù)中固有的異構(gòu)屬性內(nèi)和屬性間耦合以及屬性到對(duì)象的耦合來(lái)學(xué)習(xí)相似性，可以計(jì)算數(shù)據(jù)之間的相關(guān)性，從而提高移動(dòng)設(shè)備模型訓(xùn)練所需數(shù)據(jù)的質(zhì)量以及提高模型訓(xùn)練的收斂性[91].通過(guò)該算法可以使訓(xùn)練數(shù)據(jù)集的每個(gè)類(lèi)別更加均勻.此外，該算法增加了從設(shè)備收集的數(shù)據(jù)量，使數(shù)據(jù)近似IID，以提高模型性能.實(shí)驗(yàn)結(jié)果表明，在non-IID情況下，該方法的分類(lèi)精度明顯高于已有方法.但是考慮到用戶對(duì)隱私的注重，可能不愿意共享數(shù)據(jù)，因此，該方法存在一定的局限性.

作為異步聯(lián)邦學(xué)習(xí)的改進(jìn)，考慮到落后的本地模型對(duì)全局收斂的貢獻(xiàn)大小，文獻(xiàn)[92]提出了基于non-IID數(shù)據(jù)集的異步聯(lián)邦優(yōu)化FedAsync算法.因?yàn)榉?wù)器和參與設(shè)備并不是同步工作，所以服務(wù)器不會(huì)一直等待.由于設(shè)備上傳時(shí)受通信的延遲或訓(xùn)練的先后順序影響，當(dāng)服務(wù)器接收到該模型參數(shù)時(shí)，可能此時(shí)已經(jīng)進(jìn)行過(guò)幾輪全局聚合，導(dǎo)致服務(wù)器接收模型與聚合之間存在延遲.該延遲越大對(duì)模型收斂結(jié)果的影響也就越大.因此，提出了一個(gè)混合超參數(shù)來(lái)控制由延遲影響的模型權(quán)重.每個(gè)新接收的本地更新根據(jù)時(shí)效性自適應(yīng)加權(quán)，時(shí)效性定義為當(dāng)前訓(xùn)練迭代與所接收更新所屬迭代的差值.例如，來(lái)自落后設(shè)備的過(guò)時(shí)更新是沒(méi)有價(jià)值的，因?yàn)樗鼞?yīng)該在前幾輪訓(xùn)練中收到.因此，它的權(quán)重相對(duì)更小.此外，為了解決由于數(shù)據(jù)non-IID所導(dǎo)致的模型收斂緩慢問(wèn)題，文獻(xiàn)[93]還在損失函數(shù)中加入一個(gè)懲罰項(xiàng)，迫使所有本地模型收斂到一個(gè)共享最優(yōu)值.該文作者證明，在保證隱私的前提下可以有效地實(shí)現(xiàn)通信，并且這個(gè)懲罰項(xiàng)可以隨著分布式設(shè)置中節(jié)點(diǎn)的數(shù)量變化而進(jìn)行縮放.實(shí)驗(yàn)結(jié)果表明，該方法在MNIST數(shù)據(jù)集上的圖像識(shí)別的效果優(yōu)于其他方法.

3.2.5 歸納總結(jié)

由于在聯(lián)邦學(xué)習(xí)中會(huì)涉及到不同計(jì)算能力的設(shè)備和不同質(zhì)量與數(shù)量的數(shù)據(jù)集，這些異構(gòu)因素在很大程度上會(huì)影響訓(xùn)練的效率.針對(duì)這些因素，本文從聯(lián)邦學(xué)習(xí)訓(xùn)練優(yōu)化的3個(gè)方面來(lái)介紹相關(guān)解決方案，如表4所示.

從表4中可以看出，目前聯(lián)邦學(xué)習(xí)在訓(xùn)練上的優(yōu)化主要是在設(shè)備選擇、資源協(xié)調(diào)、聚合控制和數(shù)據(jù)優(yōu)化這4個(gè)方面.設(shè)備的選擇打破了訓(xùn)練的瓶頸，使訓(xùn)練不受最慢設(shè)備的影響.為了使訓(xùn)練結(jié)果不偏向某個(gè)設(shè)備，許多文獻(xiàn)提出資源協(xié)調(diào)的方案，讓聯(lián)邦學(xué)習(xí)變得更加公平與準(zhǔn)確.除此之外，現(xiàn)有技術(shù)對(duì)模型的全局聚合進(jìn)行了優(yōu)化，通過(guò)調(diào)整聚合的頻率或聚合的內(nèi)容，讓聚合的速率與模型效果更加優(yōu)于傳統(tǒng)的聯(lián)邦學(xué)習(xí).

Table 4 Summary and Comparison of Researches on Federated Learning Training Optimization表4 聯(lián)邦學(xué)習(xí)訓(xùn)練優(yōu)化研究方案的總結(jié)與對(duì)比

然而，non-IID數(shù)據(jù)仍是影響模型收斂最重要的因素，要想保證模型訓(xùn)練的準(zhǔn)確度，就必須優(yōu)化數(shù)據(jù)的non-IID問(wèn)題.為此，本文專(zhuān)門(mén)討論了基于該問(wèn)題的優(yōu)化技術(shù).我們發(fā)現(xiàn)提出的解決方案之一是人為地共享或構(gòu)造一個(gè)IID數(shù)據(jù)集，而這些數(shù)據(jù)是來(lái)自用戶的，這可能在實(shí)際應(yīng)用中并不適用，也不符合聯(lián)邦學(xué)習(xí)的初始設(shè)置.因此，對(duì)于聯(lián)邦學(xué)習(xí)收斂效率的研究還有很大的空間.

從結(jié)果上來(lái)看，目前訓(xùn)練優(yōu)化方面的技術(shù)方案在訓(xùn)練能耗、時(shí)間與收斂效果上與傳統(tǒng)的聯(lián)邦學(xué)習(xí)相比，得到了有效的提升.

3.3 安全與隱私保護(hù)

3.3.1 安 全

1) 數(shù)據(jù)安全.聯(lián)邦學(xué)習(xí)能夠?yàn)榉植际接?xùn)練和模型推理提供可擴(kuò)展的共享環(huán)境.然而，聯(lián)邦學(xué)習(xí)架構(gòu)潛在的安全漏洞，特別是對(duì)于從用戶傳入聯(lián)邦的數(shù)據(jù)中毒攻擊，造成全局模型收斂的阻礙.在這種情況下，惡意參與者可能會(huì)偽造錯(cuò)誤數(shù)據(jù)以破壞訓(xùn)練結(jié)果，此類(lèi)攻擊可能會(huì)降低學(xué)習(xí)模型的總體性能.文獻(xiàn)[94]研究了針對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)的數(shù)據(jù)中毒攻擊，其中參與者的惡意子集旨在通過(guò)發(fā)送源自錯(cuò)誤標(biāo)記數(shù)據(jù)的模型更新來(lái)毒害全局模型.該文作者證明，即使有一小部分惡意參與者，此類(lèi)數(shù)據(jù)中毒攻擊也會(huì)導(dǎo)致分類(lèi)準(zhǔn)確度和召回率的大幅下降.

文獻(xiàn)[95]評(píng)估了基于女巫攻擊的數(shù)據(jù)中毒對(duì)聯(lián)邦學(xué)習(xí)系統(tǒng)的影響.惡意攻擊者通過(guò)創(chuàng)建大量的假數(shù)據(jù)標(biāo)簽或臟標(biāo)簽來(lái)破壞訓(xùn)練全局模型時(shí)的有效性.為了減輕女巫攻擊，該文作者提出了一種稱(chēng)為FoolsGold的防御策略.該方案的關(guān)鍵思想是可以根據(jù)更新的梯度將誠(chéng)實(shí)的參與者與女巫攻擊者區(qū)分.具體來(lái)說(shuō)，每個(gè)參與者的訓(xùn)練數(shù)據(jù)都有其自身的特殊性，根據(jù)學(xué)習(xí)過(guò)程中參與者本地更新的多樣性來(lái)識(shí)別數(shù)據(jù)中毒攻擊.借助FoolsGold，系統(tǒng)可以在傳統(tǒng)聯(lián)邦學(xué)習(xí)過(guò)程進(jìn)行最小更改的情況下防御數(shù)據(jù)中毒攻擊，并且不需要學(xué)習(xí)過(guò)程之外的任何輔助信息.實(shí)驗(yàn)結(jié)果表明，F(xiàn)oolsGold超過(guò)了現(xiàn)有最先進(jìn)方法的能力，可以應(yīng)對(duì)基于女巫攻擊的數(shù)據(jù)標(biāo)簽翻轉(zhuǎn)，并且可以適用于不同分布的用戶數(shù)據(jù)、不同的中毒目標(biāo)和各種女巫策略.文獻(xiàn)[96]提出了一個(gè)檢測(cè)惡意用戶并生成準(zhǔn)確模型的系統(tǒng)，用戶不再向服務(wù)器傳送模型梯度而是上傳偽裝特征，并設(shè)計(jì)了一種基于這些偽裝特征的自動(dòng)統(tǒng)計(jì)機(jī)制來(lái)抵御數(shù)據(jù)中毒攻擊.在這種解決方案中,使用均值聚類(lèi)算法對(duì)每輪通信過(guò)程中的本地模型更新(偽裝特征)進(jìn)行聚類(lèi),并識(shí)別出異常分布的孤立點(diǎn)，即數(shù)據(jù)中毒后的本地模型.

2) 模型參數(shù)安全.對(duì)于模型中毒攻擊，惡意參與者可以直接修改更新后的模型，然后將其發(fā)送到服務(wù)器進(jìn)行聚合.即使只有一個(gè)攻擊者，整個(gè)全局模型也可能中毒.文獻(xiàn)[97]提出了一些防止全局模型受到惡意本地模型影響的解決方案.第1種解決方案，根據(jù)移動(dòng)設(shè)備共享的更新模型，服務(wù)器可以檢查共享模型是否有助于提高全局模型的性能；否則，該設(shè)備將被標(biāo)記為潛在的攻擊者，并且在經(jīng)過(guò)幾輪該設(shè)備的更新模型觀察之后，服務(wù)器可以確定這是否是惡意用戶.第2種解決方案是移動(dòng)設(shè)備上的互相比較.如果某個(gè)移動(dòng)設(shè)備的更新模型與其他設(shè)備上的模型有很大差別，則該設(shè)備可能是惡意模型；然后，服務(wù)器將繼續(xù)觀察該設(shè)備的更新，才能確定這是否是惡意用戶.

為防止由于移動(dòng)設(shè)備上傳不可靠的模型從而導(dǎo)致聯(lián)邦學(xué)習(xí)被破壞，或由于能量限制以及高速移動(dòng)而導(dǎo)致劣質(zhì)數(shù)據(jù)對(duì)模型訓(xùn)練的影響，文獻(xiàn)[98]引入了信譽(yù)的概念作為度量指標(biāo)，以防止設(shè)備發(fā)送不可靠或惡意的模型更新等危險(xiǎn)行為.此外，文獻(xiàn)[99]提出了一種方法，利用預(yù)先訓(xùn)練好的異常檢測(cè)模型來(lái)檢測(cè)移動(dòng)邊緣網(wǎng)絡(luò)中存在異常行為的設(shè)備，及時(shí)消除惡意用戶對(duì)全局模型以及聯(lián)邦學(xué)習(xí)系統(tǒng)產(chǎn)生的不利影響.

3.3.2 隱私保護(hù)

文獻(xiàn)[100]的作者將服務(wù)器設(shè)置成惡意的，當(dāng)進(jìn)行全局模型聚合時(shí)，通過(guò)利用設(shè)備發(fā)送到服務(wù)器的本地模型，結(jié)合GAN網(wǎng)絡(luò)模型共同推斷并精準(zhǔn)地偽造出受害者設(shè)備上的一些隱私數(shù)據(jù).如圖20所示，惡意服務(wù)器獲取到來(lái)自設(shè)備的本地模型后，將某個(gè)設(shè)備的本地模型復(fù)制到GAN模型的鑒別器中進(jìn)行訓(xùn)練，并通過(guò)數(shù)據(jù)分布計(jì)算與附加數(shù)據(jù)集的訓(xùn)練，使鑒別器與生成器能夠得到更準(zhǔn)確的訓(xùn)練.最后，生成器能夠生成該設(shè)備的隱私數(shù)據(jù).這種攻擊方式對(duì)特定的設(shè)備進(jìn)行攻擊，生成該設(shè)備上的具體數(shù)據(jù)信息，是聯(lián)邦學(xué)習(xí)中一種較嚴(yán)重的隱私威脅.

Fig. 20 Federated learning GAN attack model based on malicious server圖20 基于惡意服務(wù)器的聯(lián)邦學(xué)習(xí)GAN攻擊模型

為了保護(hù)用戶模型參數(shù)的私密性，文獻(xiàn)[101]介紹了一種稱(chēng)為差分隱私的隨機(jī)梯度下降技術(shù)，該技術(shù)可以在傳統(tǒng)深度學(xué)習(xí)算法上有效地實(shí)現(xiàn).在此基礎(chǔ)上，文獻(xiàn)[102]將差分隱私技術(shù)應(yīng)用到聯(lián)邦學(xué)習(xí)環(huán)境，關(guān)鍵思想是在模型參數(shù)發(fā)送到服務(wù)器之前，在移動(dòng)設(shè)備上部署差分隱私技術(shù),在訓(xùn)練后的本地參數(shù)上添加一些噪聲.該文作者還分析了該方案下聯(lián)邦平均聚合的收斂效果，結(jié)果表明可以達(dá)到效率和所需隱私保護(hù)級(jí)別之間的平衡.通過(guò)這種方式，參與設(shè)備可以降低從其共享參數(shù)中泄露隱私的風(fēng)險(xiǎn).

文獻(xiàn)[103]中的作者提出了一種更全面的隱私保護(hù)方案.對(duì)于每個(gè)訓(xùn)練輪次，服務(wù)器首先選擇隨機(jī)數(shù)量的參與者以訓(xùn)練全局模型，然后進(jìn)一步在模型參數(shù)上添加噪聲.因?yàn)闊o(wú)法得知哪些設(shè)備參與了訓(xùn)練，所以能夠有效防止惡意設(shè)備通過(guò)共享模型來(lái)推斷其他設(shè)備的隱私.

3.3.3 歸納總結(jié)

本節(jié)討論了在聯(lián)邦學(xué)習(xí)訓(xùn)練模型的過(guò)程中存在的惡意攻擊行為，從安全性和隱私性2個(gè)方面分析了當(dāng)前的安全與隱私保護(hù)機(jī)制.聯(lián)邦學(xué)習(xí)的目的是供移動(dòng)設(shè)備執(zhí)行有效的且保護(hù)隱私的協(xié)作模型訓(xùn)練方案.但是，針對(duì)聯(lián)邦學(xué)習(xí)的隱私攻擊過(guò)程，攻擊惡意設(shè)備可以獲得其他參與者敏感信息的訪問(wèn)權(quán)限.此外，在傳輸共享模型的階段，攻擊者也可以執(zhí)行模型中毒攻擊，這些攻擊將會(huì)破壞整個(gè)學(xué)習(xí)系統(tǒng).本文對(duì)比分析了目前聯(lián)邦學(xué)習(xí)的隱私與安全的策略，在表5中進(jìn)行了總結(jié).

Table 5 Federated Learning Security and Privacy Strategies表5 聯(lián)邦學(xué)習(xí)安全與隱私策略

4 挑戰(zhàn)及未來(lái)研究方向

聯(lián)邦學(xué)習(xí)由于其分布式的特性，以及移動(dòng)邊緣網(wǎng)絡(luò)環(huán)境的復(fù)雜性，使聯(lián)邦學(xué)習(xí)系統(tǒng)的穩(wěn)定性不如傳統(tǒng)分布式學(xué)習(xí).用戶的不可控性造成許多未知因素，這給聯(lián)邦學(xué)習(xí)的效率優(yōu)化帶來(lái)了極大的挑戰(zhàn).目前，聯(lián)邦學(xué)習(xí)的研究仍處于初期，沒(méi)有一套完善的方案解決穩(wěn)定性、效率優(yōu)化問(wèn)題，訓(xùn)練過(guò)程容易受到影響.通過(guò)對(duì)移動(dòng)邊緣網(wǎng)絡(luò)中聯(lián)邦學(xué)習(xí)效率優(yōu)化研究現(xiàn)狀的深入分析，我們認(rèn)為未來(lái)聯(lián)邦學(xué)習(xí)的優(yōu)化研究可以重點(diǎn)從7個(gè)方面展開(kāi)：

4.1 基于更多邊緣計(jì)算的聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)的研究還處于初級(jí)階段，大多數(shù)是基于云和端的2層學(xué)習(xí)架構(gòu).大量的移動(dòng)設(shè)備與云服務(wù)器直接通信會(huì)帶來(lái)更多的能耗和通信成本.同時(shí)，隨著模型的日漸復(fù)雜化，服務(wù)器也會(huì)承受越來(lái)越大的負(fù)載.為了高效利用移動(dòng)邊緣網(wǎng)絡(luò)中設(shè)備的計(jì)算資源并進(jìn)一步釋放人工智能的潛力，將傳統(tǒng)基于集中式(例如數(shù)據(jù)中心)的人工智能下沉到靠近用戶的網(wǎng)絡(luò)邊緣已成為一種技術(shù)趨勢(shì)，例如目前新興的邊緣智能[104].在聯(lián)邦學(xué)習(xí)領(lǐng)域中利用云—邊—端協(xié)作方式的技術(shù)還比較少，或只是簡(jiǎn)單地用邊緣層來(lái)存放數(shù)據(jù)，沒(méi)有真正發(fā)揮邊緣的價(jià)值.相比基于云的云—端協(xié)作，邊緣化學(xué)習(xí)的優(yōu)勢(shì)有4方面：

1) 低時(shí)延與低能耗.在實(shí)時(shí)性較高的場(chǎng)景，例如智能交通系統(tǒng)、智能醫(yī)療系統(tǒng)等，這些場(chǎng)景對(duì)時(shí)延非常敏感，如果數(shù)據(jù)沒(méi)有及時(shí)傳送，可能會(huì)造成模型決策錯(cuò)誤.云和端之間的傳輸需要更長(zhǎng)的時(shí)間，邊緣化學(xué)習(xí)可以降低通信的響應(yīng)時(shí)間以及成本.

2) 高安全性與高隱私性.在通信過(guò)程中，聯(lián)邦學(xué)習(xí)以及設(shè)備本身容易受到惡意攻擊，但移動(dòng)設(shè)備的能力有限，不能保證模型以及自身的安全性.利用邊緣設(shè)備，例如小型基站和服務(wù)器，結(jié)合同態(tài)加密和多方安全計(jì)算等安全機(jī)制可以降低設(shè)備被攻擊的風(fēng)險(xiǎn)[105].

3) 易管理.在實(shí)際應(yīng)用中，由于網(wǎng)絡(luò)連接不穩(wěn)定等因素，設(shè)備可能在訓(xùn)練中途退出，導(dǎo)致模型性能下降.邊緣服務(wù)器靠近用戶，通信連接相對(duì)穩(wěn)定，可以更方便地監(jiān)控設(shè)備狀態(tài)并進(jìn)行管理.

4) 易擴(kuò)展.云服務(wù)器的建立和維護(hù)的成本很高，而人工智技術(shù)更新?lián)Q代迅速，使云數(shù)據(jù)中心需要不斷地升級(jí)與擴(kuò)展.相反，邊緣設(shè)備成本更低、靈活易擴(kuò)展.可以將更多的任務(wù)部署到邊緣設(shè)備中，而不需要更多的服務(wù)成本.

結(jié)合更多的邊緣計(jì)算可以為聯(lián)邦學(xué)習(xí)帶來(lái)更多的學(xué)習(xí)場(chǎng)景.例如，傳統(tǒng)的Gossip算法[33]作為移動(dòng)邊緣網(wǎng)絡(luò)中一種點(diǎn)對(duì)點(diǎn)的通信方式，也可以看作去中心化的邊緣計(jì)算模式.具體來(lái)說(shuō)，在一個(gè)有界網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)都隨機(jī)地與其他節(jié)點(diǎn)通信，經(jīng)過(guò)幾輪隨機(jī)的通信，最終所有節(jié)點(diǎn)的狀態(tài)都會(huì)達(dá)成一致.考慮到聯(lián)邦學(xué)習(xí)設(shè)備的異構(gòu)性，在本地訓(xùn)練階段可以基于Gossip使設(shè)備之間進(jìn)行互相學(xué)習(xí)，提高本地模型的質(zhì)量，從而加速全局模型的收斂.

4.2 針對(duì)聯(lián)邦學(xué)習(xí)的數(shù)據(jù)清洗

聯(lián)邦學(xué)習(xí)應(yīng)用在移動(dòng)邊緣網(wǎng)絡(luò)，用戶的數(shù)據(jù)無(wú)法進(jìn)行統(tǒng)一的預(yù)處理，除了來(lái)自第三方的惡意攻擊，設(shè)備自身存在的錯(cuò)誤數(shù)據(jù)、數(shù)據(jù)冗余等問(wèn)題無(wú)法避免.數(shù)據(jù)質(zhì)量是模型快速收斂的關(guān)鍵，因此，針對(duì)聯(lián)邦學(xué)習(xí)的數(shù)據(jù)清洗是一個(gè)很大的挑戰(zhàn).

文獻(xiàn)[106]提出一種基于移動(dòng)邊緣節(jié)點(diǎn)的數(shù)據(jù)清洗模型，在邊緣節(jié)點(diǎn)上建立分類(lèi)模型以辨別異常數(shù)據(jù).同樣地，在參與聯(lián)邦學(xué)習(xí)的移動(dòng)設(shè)備上建立數(shù)據(jù)清洗模型也是一個(gè)解決方案.因此，在保證設(shè)備計(jì)算資源足夠的前提下，本文提出一種聯(lián)邦學(xué)習(xí)數(shù)據(jù)清洗方案.服務(wù)器在聯(lián)邦學(xué)習(xí)任務(wù)初始化過(guò)程中同時(shí)準(zhǔn)備一個(gè)先驗(yàn)的數(shù)據(jù)清洗模型，并將該模型一同發(fā)送給設(shè)備.設(shè)備在進(jìn)行本地訓(xùn)練之前，先經(jīng)過(guò)數(shù)據(jù)清洗模型以篩選并剔除部分錯(cuò)誤或無(wú)用的數(shù)據(jù).這樣能減小本地模型訓(xùn)練的誤差，大大提高聯(lián)邦學(xué)習(xí)模型的學(xué)習(xí)效果.

考慮到無(wú)法直接對(duì)用戶數(shù)據(jù)進(jìn)行處理或清洗，可以利用邊緣的計(jì)算和通信資源來(lái)獲得最佳的聯(lián)邦學(xué)習(xí)性能.例如，在不同的網(wǎng)絡(luò)位置部署移動(dòng)邊緣節(jié)點(diǎn)，使其成為遠(yuǎn)程云和移動(dòng)設(shè)備通信的樞紐.在本地更新階段，每個(gè)移動(dòng)設(shè)備計(jì)算本地模型和全局模型參數(shù)之間的相似度，如果二者之間的相似性較低，則推測(cè)該本地模型所使用的數(shù)據(jù)集質(zhì)量低，存在錯(cuò)誤數(shù)據(jù)或臟標(biāo)簽的可能性高，選擇丟棄而不上傳到邊緣服務(wù)器；本地訓(xùn)練結(jié)束后，部署在不同網(wǎng)絡(luò)位置的移動(dòng)邊緣節(jié)點(diǎn)聚合簇內(nèi)的必要本地更新，然后將邊緣聚合后的模型發(fā)送到云服務(wù)器進(jìn)行全局聚合，從而減少由錯(cuò)誤數(shù)據(jù)訓(xùn)練的本地模型，達(dá)到模型清洗的目的.

4.3 自適應(yīng)聯(lián)邦學(xué)習(xí)

聯(lián)邦學(xué)習(xí)作為分布式學(xué)習(xí)的一種延伸，通信消耗與收斂性能是系統(tǒng)的主要評(píng)價(jià)指標(biāo).在本文的聯(lián)邦學(xué)習(xí)通信與訓(xùn)練優(yōu)化方案中，很難將二者同時(shí)滿足.例如模型壓縮技術(shù)壓縮了模型大小，雖然能夠降低傳輸過(guò)程中的消耗，但是在模型精度上有一定的妥協(xié).因此，文獻(xiàn)[76]綜合考慮了將能耗、訓(xùn)練時(shí)間和通信成本最小化，提出設(shè)備資源最優(yōu)決策方案.然而，隨著模型的復(fù)雜化和訓(xùn)練任務(wù)的增加，綜合各方面提升聯(lián)邦學(xué)習(xí)的效率是非常困難的，考慮自適應(yīng)的訓(xùn)練算法變得尤為重要，我們給出2個(gè)自適應(yīng)方向：

1) 自適應(yīng)通信與訓(xùn)練時(shí)間的折中.根據(jù)聯(lián)邦學(xué)習(xí)系統(tǒng)的通信與能量消耗的側(cè)重點(diǎn)，對(duì)移動(dòng)邊緣網(wǎng)絡(luò)的環(huán)境進(jìn)行建模并設(shè)計(jì)動(dòng)態(tài)的決策算法，以保持訓(xùn)練過(guò)程動(dòng)態(tài)平衡地進(jìn)行.例如，當(dāng)訓(xùn)練時(shí)通信所消耗的資源過(guò)多或時(shí)延過(guò)高時(shí)，則可通過(guò)算法調(diào)整本地訓(xùn)練與更新的時(shí)間，或通過(guò)壓縮減少模型的數(shù)據(jù)量；反之，可以增加本地更新的次數(shù)，或傳輸完整的模型參數(shù)，以學(xué)習(xí)更多的知識(shí)來(lái)提高模型的收斂速率.

2) 自適應(yīng)本地訓(xùn)練.在本地模型迭代優(yōu)化時(shí)，學(xué)習(xí)率是一個(gè)非常重要的超參數(shù).學(xué)習(xí)率是梯度下降優(yōu)化方法中的步長(zhǎng)，若步長(zhǎng)過(guò)大則可能導(dǎo)致模型的振蕩，若步長(zhǎng)過(guò)小又會(huì)使模型收斂的速率很慢.由于聯(lián)邦學(xué)習(xí)使用的數(shù)據(jù)集的分布因用戶而異，依賴于歷史經(jīng)驗(yàn)的步長(zhǎng)不能準(zhǔn)確地適應(yīng)模型的訓(xùn)練狀況，步長(zhǎng)的設(shè)置變得非常困難.因此，采用設(shè)備的自適應(yīng)訓(xùn)練以優(yōu)化模型收斂也是提高聯(lián)邦學(xué)習(xí)效率的重要方法.

4.4 激勵(lì)機(jī)制與服務(wù)定價(jià)

大多數(shù)聯(lián)邦學(xué)習(xí)的框架僅由一個(gè)服務(wù)器與多個(gè)參與設(shè)備組成，即單一服務(wù)器的聯(lián)邦學(xué)習(xí).在實(shí)際情況下，可能會(huì)存在2種情況：1)參與設(shè)備可能是不愿共享其模型參數(shù)的競(jìng)爭(zhēng)者，并且還受益于訓(xùn)練好的全局模型，但沒(méi)有對(duì)全局模型做出貢獻(xiàn)；2)聯(lián)邦學(xué)習(xí)服務(wù)器可能正在與其他服務(wù)器競(jìng)爭(zhēng)，在極端情況下，服務(wù)器可能接收不到設(shè)備的本地模型.此外，由于參與設(shè)備對(duì)它們的可用計(jì)算資源和數(shù)據(jù)質(zhì)量有更多的了解，在聯(lián)邦學(xué)習(xí)服務(wù)器與參與設(shè)備之間存在信息不對(duì)稱(chēng).因此，設(shè)計(jì)更合理的激勵(lì)機(jī)制[107]，以激勵(lì)移動(dòng)設(shè)備用戶參與聯(lián)邦學(xué)習(xí)并減小由于信息不對(duì)稱(chēng)帶來(lái)的潛在不利影響，以及解決服務(wù)器之間的競(jìng)爭(zhēng)問(wèn)題.此外，對(duì)于聯(lián)邦學(xué)習(xí)，用戶可以是服務(wù)使用者，同時(shí)也可以是數(shù)據(jù)生成器.在這種情況下，需要一種新穎的服務(wù)定價(jià)機(jī)制[108]來(lái)考慮用戶的服務(wù)消耗及其數(shù)據(jù)貢獻(xiàn)的價(jià)值.

例如，移動(dòng)設(shè)備和服務(wù)器之間的通信可以利用Stackelberg博弈論[109-110]進(jìn)行建模，其中服務(wù)器是買(mǎi)方，移動(dòng)設(shè)備是賣(mài)方，每個(gè)設(shè)備都可以非合作地決定自己的利潤(rùn)最大化價(jià)格.首先，服務(wù)器考慮模型的學(xué)習(xí)準(zhǔn)確性與訓(xùn)練數(shù)據(jù)大小之間不斷增加的凹關(guān)系，確定訓(xùn)練數(shù)據(jù)的大小以使模型學(xué)習(xí)的利潤(rùn)最大化；然后，移動(dòng)設(shè)備決定每單位數(shù)據(jù)的價(jià)格以最大化個(gè)人利潤(rùn).

文獻(xiàn)[111]的作者提出了一種利用合同理論[112]的激勵(lì)設(shè)計(jì)，以吸引具有高質(zhì)量數(shù)據(jù)的移動(dòng)設(shè)備.該合同可以通過(guò)自我披露機(jī)制來(lái)減少信息不對(duì)稱(chēng)，在這種激勵(lì)機(jī)制下，每個(gè)合同必須確保每個(gè)設(shè)備參加聯(lián)邦學(xué)習(xí)時(shí)都具有積極作用，并且每個(gè)最大化效用的設(shè)備都只會(huì)選擇為其類(lèi)型設(shè)計(jì)的合同.服務(wù)器的目標(biāo)則是在該合同的約束情況下最大化自己的利潤(rùn)，通過(guò)這種方式來(lái)達(dá)到聯(lián)邦學(xué)習(xí)參與設(shè)備與服務(wù)器的效率平衡.隨著聯(lián)邦學(xué)習(xí)參與用戶對(duì)利益的要求發(fā)生變化，設(shè)計(jì)合理的服務(wù)定價(jià)也是未來(lái)重要的研究方向.

4.5 資源友好的安全與隱私保護(hù)

由于移動(dòng)邊緣網(wǎng)絡(luò)的復(fù)雜性與不確定因素較多，且移動(dòng)設(shè)備的計(jì)算資源不足，在聯(lián)邦學(xué)習(xí)過(guò)程中發(fā)生故障或被攻擊的可能性大，用戶的隱私仍然受到來(lái)自第三方的威脅.目前的聯(lián)邦學(xué)習(xí)隱私保護(hù)方案依賴于傳統(tǒng)的加密與數(shù)據(jù)擾動(dòng)的方式，例如同態(tài)加密和差分隱私.然而，由于現(xiàn)有技術(shù)的局限性，權(quán)衡模型的可用性與隱私性成為聯(lián)邦學(xué)習(xí)的挑戰(zhàn).

例如，差分隱私的優(yōu)點(diǎn)在于添加隨機(jī)噪聲不會(huì)造成過(guò)高的性能代價(jià)，而缺點(diǎn)在于擾動(dòng)機(jī)制將可能使模型精度變差.同樣地，同態(tài)加密雖然能夠保證數(shù)據(jù)在存儲(chǔ)、傳輸與計(jì)算過(guò)程中的隱私與安全，但加密過(guò)程涉及大量的復(fù)雜計(jì)算和密鑰傳輸，對(duì)于復(fù)雜模型來(lái)說(shuō)，計(jì)算和通信的開(kāi)銷(xiāo)都非常大.為了保證聯(lián)邦學(xué)習(xí)的效率，對(duì)隱私的保護(hù)雖然重要，而對(duì)于隱私保護(hù)的可行性更為重要.在未來(lái)的工作中，需要考慮權(quán)衡算法的可行性與隱私性，研究輕量級(jí)的安全與隱私保護(hù)策略，從整體上提高聯(lián)邦學(xué)習(xí)的性能.

4.6 聯(lián)邦學(xué)習(xí)與前沿技術(shù)結(jié)合

聯(lián)邦學(xué)習(xí)中由于用戶與用戶之間的差異，本地non-IID數(shù)據(jù)隨著用戶地域分布以及偏好而變動(dòng)，導(dǎo)致每個(gè)用戶自身的模型參數(shù)僅適合本身的數(shù)據(jù)，全局模型很難滿足所有參與者的需求.因此，需要考慮一種新穎的方法使全局模型針對(duì)每個(gè)用戶進(jìn)行優(yōu)化，提高全局模型在統(tǒng)計(jì)學(xué)異構(gòu)性方面的泛化能力.

4.6.1 個(gè)性化

基于模型初始化的元學(xué)習(xí)(例如模型無(wú)關(guān)元學(xué)習(xí))對(duì)任務(wù)的快速收斂擁有良好的適應(yīng)性和泛化性.例如，文獻(xiàn)[113]將元學(xué)習(xí)方法與聯(lián)邦學(xué)習(xí)方法相結(jié)合.具體來(lái)說(shuō)，每個(gè)設(shè)備被看成一個(gè)任務(wù)，設(shè)備的本地?cái)?shù)據(jù)被分為support set與query set.參與訓(xùn)練的設(shè)備接收元學(xué)習(xí)器參數(shù)meta-learner進(jìn)行模型訓(xùn)練，利用support set更新本地任務(wù)的參數(shù)learner，然后基于更新后的learner在query set上更新meta-learner.經(jīng)過(guò)幾輪訓(xùn)練后，元學(xué)習(xí)器參數(shù)meta-learner不會(huì)偏袒任何設(shè)備，提升了在所有設(shè)備上的泛化能力.相比傳統(tǒng)的聯(lián)邦學(xué)習(xí)，聯(lián)邦元學(xué)習(xí)共享的不再是整個(gè)模型，而是元模型參數(shù)，使聯(lián)邦元學(xué)習(xí)可以應(yīng)用得更加靈活.與傳統(tǒng)的聯(lián)邦平均算法相比，聯(lián)邦元學(xué)習(xí)在模型精度和通信成本上都有所改善.文獻(xiàn)[114]通過(guò)聯(lián)邦元學(xué)習(xí)方法，使模型僅用少量的樣本就能迅速適應(yīng)學(xué)習(xí)新的學(xué)習(xí)任務(wù)，減少了大量計(jì)算成本.文獻(xiàn)[115]在聯(lián)邦學(xué)習(xí)環(huán)境中構(gòu)建了一種個(gè)性化的模型，并提出基于多任務(wù)學(xué)習(xí)的MOCHA算法以解決移動(dòng)邊緣網(wǎng)絡(luò)中通信、設(shè)備斷線和容錯(cuò)性等問(wèn)題，從而增加模型的泛化能力.

4.6.2 去中心化

目前主流的方法都是基于中心化聯(lián)邦學(xué)習(xí)，而中心化聯(lián)邦學(xué)習(xí)方法的缺點(diǎn)是依賴一個(gè)中央服務(wù)器，這需要所有設(shè)備同意一個(gè)可信的中央服務(wù)器.目前，從系統(tǒng)架構(gòu)上通過(guò)去中心化等方式優(yōu)化通信效率也正在深入研究.文獻(xiàn)[116]提出了一個(gè)去中心化的聯(lián)邦學(xué)習(xí)框架BrainTorrent，所有的參與者相互作用，而不依賴于一個(gè)中央服務(wù)器.在參與者之間進(jìn)行點(diǎn)對(duì)點(diǎn)學(xué)習(xí)，模型隨時(shí)根據(jù)不同的參與者動(dòng)態(tài)調(diào)整，從而提升模型的性能.而文獻(xiàn)[117]考慮了去中心化聯(lián)邦學(xué)習(xí)下的單向信任問(wèn)題(即用戶A信任用戶B，用戶B不信任用戶A).該文作者提出了無(wú)中央服務(wù)器的聯(lián)邦學(xué)習(xí)算法，每個(gè)節(jié)點(diǎn)只需要知道它的外部鄰居節(jié)點(diǎn)，而不需要知道全局拓?fù)?，因此在?xùn)練過(guò)程中更加靈活，并且被證明具有最佳的收斂速度.除此之外，基于區(qū)塊鏈的聯(lián)邦學(xué)習(xí)除了可以實(shí)現(xiàn)去中心化，還能避免數(shù)據(jù)或模型受到攻擊，提高效率的同時(shí)還能增強(qiáng)系統(tǒng)的穩(wěn)定性[118].聯(lián)邦學(xué)習(xí)與前沿技術(shù)結(jié)合的研究還處于起步階段，正逐步成為研究熱點(diǎn)，技術(shù)的融合能促進(jìn)共同發(fā)展，因此值得不斷探索.

4.7 聯(lián)邦學(xué)習(xí)與智能場(chǎng)景結(jié)合

隨著對(duì)個(gè)人隱私的關(guān)注，聯(lián)邦學(xué)習(xí)在許多應(yīng)用中扮演著越來(lái)越重要的角色.將現(xiàn)有的智能場(chǎng)景與聯(lián)邦學(xué)習(xí)結(jié)合，可以實(shí)現(xiàn)保護(hù)用戶隱私的智能服務(wù)，同時(shí)，通過(guò)實(shí)踐中的反饋能夠?yàn)槁?lián)邦學(xué)習(xí)的改進(jìn)與發(fā)展奠定良好的基礎(chǔ).目前，主要有3種結(jié)合的智能場(chǎng)景：

1) 計(jì)算卸載與緩存.計(jì)算卸載是給定邊緣設(shè)備的計(jì)算和存儲(chǔ)容量約束，將移動(dòng)設(shè)備上一些計(jì)算量大的任務(wù)卸載到云服務(wù)器上進(jìn)行計(jì)算[119-120].然而，來(lái)自用戶的計(jì)算涉及用戶的隱私信息，服務(wù)器提供商并不是完全可信的，用戶的隱私因此受到威脅.此外，可以將常用的請(qǐng)求文件或服務(wù)緩存在邊緣服務(wù)器以加快檢索速度，不必與遠(yuǎn)距離的云進(jìn)行通信[121].同樣出于對(duì)用戶隱私的考慮，可以利用聯(lián)邦學(xué)習(xí)的優(yōu)勢(shì)，設(shè)計(jì)保護(hù)隱私的智能計(jì)算卸載與緩存方案.文獻(xiàn)[122]介紹了一種隱私感知邊緣緩存方案，提出了一種基于聯(lián)邦學(xué)習(xí)的方法來(lái)訓(xùn)練偏好模型，同時(shí)將用戶的數(shù)據(jù)保留在其個(gè)人設(shè)備上.目標(biāo)在不受資源約束的情況下，最大限度地增加了邊緣需求的服務(wù)數(shù)量，既保證了用戶數(shù)據(jù)的隱私，又實(shí)現(xiàn)了最優(yōu)邊緣緩存.

2) 車(chē)聯(lián)網(wǎng).車(chē)聯(lián)網(wǎng)是智慧城市服務(wù)的一方面，智能車(chē)輛具有數(shù)據(jù)收集、計(jì)算和通信等功能，例如導(dǎo)航和交通管理.由于這些信息可以包含駕駛員的位置和個(gè)人信息，若共享這些數(shù)據(jù)，會(huì)導(dǎo)致用戶隱私得不到保障[123].利用聯(lián)邦學(xué)習(xí)，可以實(shí)現(xiàn)在車(chē)聯(lián)網(wǎng)環(huán)境中高效地學(xué)習(xí)與交互，有效保護(hù)用戶的隱私.

3) 智能醫(yī)療.目前，全世界的數(shù)據(jù)庫(kù)都包含海量的數(shù)字醫(yī)療圖像[124].結(jié)合數(shù)據(jù)科學(xué)的發(fā)展，醫(yī)療數(shù)據(jù)提供了認(rèn)識(shí)與治療疾病的基礎(chǔ).然而，由于隱私和法律方面的考慮，存儲(chǔ)在不同醫(yī)院與機(jī)構(gòu)中的異構(gòu)數(shù)據(jù)集無(wú)法直接共享.因此，醫(yī)療圖像數(shù)據(jù)的價(jià)值無(wú)法利用，這限制了醫(yī)療學(xué)者對(duì)疾病的研究.結(jié)合聯(lián)邦學(xué)習(xí)框架，可以安全地進(jìn)行生物醫(yī)學(xué)數(shù)據(jù)的識(shí)別與分析，而無(wú)需共享患者的個(gè)人隱私信息.

5 結(jié)束語(yǔ)

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，用戶對(duì)數(shù)據(jù)隱私的要求越來(lái)越高，深度學(xué)習(xí)需要從集中的方式轉(zhuǎn)變?yōu)槊嫦蛴脩舻姆植际椒绞?聯(lián)邦學(xué)習(xí)的效率決定著人工智能技術(shù)面向用戶的普及與應(yīng)用程度.在異構(gòu)的移動(dòng)邊緣網(wǎng)絡(luò)中，由于帶寬與通信距離的限制，聯(lián)邦學(xué)習(xí)的通信效率是主要的問(wèn)題.因而，許多學(xué)者基于模型壓縮技術(shù)提出了解決方案.此外，移動(dòng)設(shè)備的選擇、模型聚合與數(shù)據(jù)分布等資源分配問(wèn)題同樣影響著聯(lián)邦學(xué)習(xí)的訓(xùn)練，本文將這些歸納為訓(xùn)練優(yōu)化，并系統(tǒng)性地對(duì)比分析了相關(guān)的方案.針對(duì)聯(lián)邦學(xué)習(xí)中可能發(fā)生的安全與隱私問(wèn)題，本文總結(jié)了現(xiàn)有的聯(lián)邦學(xué)習(xí)安全與隱私保護(hù)機(jī)制.

同時(shí)，我們?cè)谖墨I(xiàn)調(diào)研過(guò)程中發(fā)現(xiàn)目前的大多數(shù)解決方案都屬于基本的設(shè)備層與服務(wù)器層的聯(lián)邦學(xué)習(xí)框架，在訓(xùn)練任務(wù)比較復(fù)雜的情況下，移動(dòng)設(shè)備可能無(wú)法承受巨大的計(jì)算壓力.而邊緣計(jì)算模式能為聯(lián)邦學(xué)習(xí)提供適應(yīng)的場(chǎng)景，可以利用邊緣技術(shù)將更多的計(jì)算卸載到邊緣(例如邊緣服務(wù)器)以充分釋放邊緣的價(jià)值，為聯(lián)邦學(xué)習(xí)的優(yōu)化提供更多的可能性.本文從通信、模型訓(xùn)練和安全與隱私3個(gè)方面分析與對(duì)比了聯(lián)邦學(xué)習(xí)效率優(yōu)化的研究方案.根據(jù)現(xiàn)有方案的不足，本文總結(jié)了聯(lián)邦學(xué)習(xí)面臨的一些新挑戰(zhàn)，從邊緣計(jì)算、數(shù)據(jù)優(yōu)化、自適應(yīng)學(xué)習(xí)、激勵(lì)機(jī)制以及可行性隱私保護(hù)等方面給出了聯(lián)邦學(xué)習(xí)未來(lái)的研究方向，并提出了針對(duì)聯(lián)邦學(xué)習(xí)效率優(yōu)化的前沿技術(shù)與解決方案，為聯(lián)邦學(xué)習(xí)進(jìn)一步發(fā)展提供參考.聯(lián)邦學(xué)習(xí)的研究目前雖然還處于發(fā)展階段，但我們認(rèn)為結(jié)合更多邊緣計(jì)算的聯(lián)邦學(xué)習(xí)是未來(lái)的重要課題，也將成為實(shí)現(xiàn)聯(lián)邦學(xué)習(xí)落地的最后一公里.

作者貢獻(xiàn)聲明：孫兵負(fù)責(zé)相關(guān)文獻(xiàn)資料的收集、分析和論文初稿的撰寫(xiě)；劉艷負(fù)責(zé)文獻(xiàn)補(bǔ)充和相關(guān)圖表的修正；王田提出寫(xiě)作思路并指導(dǎo)論文撰寫(xiě)與修改；彭紹亮針對(duì)文獻(xiàn)調(diào)研提出意見(jiàn)并指導(dǎo)修改；王國(guó)軍和賈維嘉提出論文格式排版建議并校對(duì)全文.