面向星地協(xié)同網(wǎng)絡(luò)的聯(lián)邦邊緣學(xué)習(xí)方法研究*

張雅童，張保慶，孟維曉，陳舒怡

（1.哈爾濱工業(yè)大學(xué)電子與信息工程學(xué)院，黑龍江 哈爾濱 150001；2.北京電子工程總體研究所，北京 100854）

0 引言

傳統(tǒng)的地面蜂窩網(wǎng)絡(luò)雖然近年來發(fā)展迅速，但仍進(jìn)入瓶頸期。地球上的陸地面積大約占全球總面積的29%，海洋的面積則占71%。但地面蜂窩網(wǎng)絡(luò)也無法將陸地面積全部覆蓋，僅覆蓋全球陸地面積大約20%的范圍。對于海洋的覆蓋率則更低，僅約5%。沒有地面網(wǎng)絡(luò)覆蓋的區(qū)域主要是冰川、沙漠、森林等人員稀少的地區(qū)。考慮到這些未覆蓋網(wǎng)絡(luò)的地區(qū)面積占比很大且這些區(qū)域大多人員稀少，在這些區(qū)域建設(shè)基站性價(jià)比較低。此外，建設(shè)在地面的基站當(dāng)面對突然發(fā)生的自然災(zāi)害時(shí)易遭受損壞，從而無法很好提供應(yīng)急服務(wù)。

衛(wèi)星網(wǎng)絡(luò)具有時(shí)延低、覆蓋范圍廣等優(yōu)點(diǎn)。并且，低軌衛(wèi)星（LEO,Low Earth Orbit）具有覆蓋范圍廣、拓?fù)涿芗⒔M網(wǎng)靈活等優(yōu)點(diǎn)。各個(gè)國家也正在積極促進(jìn)低軌衛(wèi)星的研究，比如我國的“天啟”、“行云”等。衛(wèi)星網(wǎng)絡(luò)和地面網(wǎng)絡(luò)可以互補(bǔ)協(xié)同形成星地協(xié)同網(wǎng)絡(luò)。衛(wèi)星網(wǎng)絡(luò)尤其是低軌衛(wèi)星網(wǎng)絡(luò)和地面網(wǎng)絡(luò)互補(bǔ)協(xié)同起來形成的星地協(xié)同網(wǎng)絡(luò)具有很大的研究價(jià)值和發(fā)展前景。

海量設(shè)備接入到星地協(xié)同網(wǎng)絡(luò)時(shí)會產(chǎn)生大量數(shù)據(jù)。這些數(shù)據(jù)極大概率分散在各個(gè)用戶中，形成一個(gè)個(gè)數(shù)據(jù)孤島。傳統(tǒng)的機(jī)器學(xué)習(xí)需要用戶將私人數(shù)據(jù)上傳到中心平臺，這些數(shù)據(jù)中極可能包含隱私信息，在機(jī)器學(xué)習(xí)數(shù)據(jù)上傳和下發(fā)的過程中，這些隱私存在泄露的可能。聯(lián)邦學(xué)習(xí)（FL,Federated Learning）作為分布式學(xué)習(xí)，在2016 年由谷歌團(tuán)隊(duì)首次提出[1]，可以讓參與訓(xùn)練的各個(gè)用戶在不共享數(shù)據(jù)的情況下實(shí)現(xiàn)協(xié)作訓(xùn)練，從而可以解決在星地協(xié)同網(wǎng)絡(luò)下分析大量數(shù)據(jù)時(shí)出現(xiàn)的數(shù)據(jù)孤島和數(shù)據(jù)隱私問題。聯(lián)邦學(xué)習(xí)的應(yīng)用場景很廣泛，比如McMahan 等人[2]提出了一種聯(lián)邦均衡（FedAvg,Federated Averaging）算法，用于優(yōu)化Google 的Gboard[3]手機(jī)輸入法的一個(gè)模型預(yù)測的準(zhǔn)確性。Brisimi 等人[4]通過點(diǎn)對點(diǎn)協(xié)作提出了一種新的預(yù)測模型聯(lián)邦學(xué)習(xí)框架，這種模型可以準(zhǔn)確預(yù)測與心臟相關(guān)的住院情況。但傳統(tǒng)的聯(lián)邦學(xué)習(xí)通常為多個(gè)用戶進(jìn)行本地訓(xùn)練，一個(gè)聚合設(shè)備負(fù)責(zé)全局的聚合，面對網(wǎng)絡(luò)中大量的用戶時(shí)會出現(xiàn)通信效率較低的問題。在邊緣計(jì)算（EC,Edge Computing）基礎(chǔ)上提出聯(lián)邦邊緣學(xué)習(xí)（FEL,Federated Edge Learning）。聯(lián)邦邊緣學(xué)習(xí)進(jìn)行邊緣聚合后，將模型再傳到遠(yuǎn)端云服務(wù)器進(jìn)行全局聚合。例如，文獻(xiàn)[5]提出了一種分層的聯(lián)邦邊緣學(xué)習(xí)算法，多個(gè)用戶在本地進(jìn)行本地訓(xùn)練后，將其生成的模型上傳到多個(gè)邊緣設(shè)備中進(jìn)行邊緣聚合，再將邊緣模型上傳給云端獲得全局模型。邊緣計(jì)算靠近數(shù)據(jù)源，可以為本地設(shè)備的大量數(shù)據(jù)提供處理、存儲資源和計(jì)算[6]等幫助。當(dāng)多個(gè)設(shè)備聯(lián)合進(jìn)行機(jī)器學(xué)習(xí)等協(xié)同訓(xùn)練時(shí)，通過將模型靠近本地設(shè)備來減小傳輸時(shí)延[7]。邊緣計(jì)算目前在智能家居、智能城市和智能醫(yī)療等一些和人們生活相近的領(lǐng)域有著極大地應(yīng)用場景[8]。邊緣聚合可以減小傳統(tǒng)聯(lián)邦學(xué)習(xí)的通信成本。面對星地協(xié)同網(wǎng)絡(luò)，可以將軌道上的多顆衛(wèi)星作為邊緣聚合設(shè)備進(jìn)行聯(lián)邦邊緣學(xué)習(xí)。一般的聯(lián)邦邊緣學(xué)習(xí)中全局聚合設(shè)備為云服務(wù)器?？紤]到低軌衛(wèi)星軌道高度較低、且會圍繞地球進(jìn)行快速運(yùn)動，將低軌衛(wèi)星作為邊緣聚合設(shè)備時(shí)，易出現(xiàn)衛(wèi)星和云服務(wù)器不可見的情況。同時(shí)，在星地協(xié)同網(wǎng)絡(luò)下進(jìn)行聯(lián)邦邊緣學(xué)習(xí)，除模型精度外，還需要確保在協(xié)同網(wǎng)絡(luò)中實(shí)現(xiàn)聯(lián)邦邊緣學(xué)習(xí)時(shí)的全過程時(shí)延不能過高，因此需要對傳統(tǒng)聯(lián)邦邊緣學(xué)習(xí)進(jìn)行改進(jìn)。星地協(xié)同網(wǎng)絡(luò)下的聯(lián)邦邊緣學(xué)習(xí)的研究目前還比較少。目前主要是對星地協(xié)同網(wǎng)絡(luò)下的邊緣計(jì)算進(jìn)行研究，例如，文獻(xiàn)[10]提出衛(wèi)星作為邊緣設(shè)備實(shí)現(xiàn)邊緣計(jì)算的概念，通過引入動態(tài)網(wǎng)絡(luò)虛擬化技術(shù)來實(shí)現(xiàn)網(wǎng)絡(luò)資源的整合。同時(shí)，在系統(tǒng)中設(shè)計(jì)了協(xié)同計(jì)算的卸載方案，最終實(shí)現(xiàn)并行計(jì)算且減小時(shí)延。文獻(xiàn)[11]對衛(wèi)星實(shí)現(xiàn)邊緣計(jì)算進(jìn)行了建模分析。對不同軌道、不同衛(wèi)星卸載速率下的傳輸延遲以及上下行鏈路的傳輸延遲進(jìn)行了分析和研究。也有一些學(xué)者對星地協(xié)同網(wǎng)絡(luò)下的聯(lián)邦學(xué)習(xí)進(jìn)行了研究。文獻(xiàn)[12]以多顆衛(wèi)星和一個(gè)地面站為背景設(shè)計(jì)異步聯(lián)邦學(xué)習(xí)，通過判斷衛(wèi)星所處的集合來判斷對其的操作進(jìn)而減小訓(xùn)練的時(shí)延。文獻(xiàn)[13]在文獻(xiàn)[12]的基礎(chǔ)上提出一種判斷程序，通過比較模型的訓(xùn)練時(shí)延和衛(wèi)星和地面站之間的可見時(shí)延，進(jìn)一步減小時(shí)延。文獻(xiàn)[14]在多顆衛(wèi)星和一個(gè)地面站之間提出一個(gè)高效的聯(lián)邦學(xué)習(xí)框架，對衛(wèi)星的空閑時(shí)延和局部模型陳舊兩方面進(jìn)行聯(lián)合優(yōu)化。文獻(xiàn)[15]主要研究星地協(xié)同網(wǎng)絡(luò)下的數(shù)據(jù)攻擊問題，以多個(gè)衛(wèi)星以及多個(gè)用戶設(shè)備為背景，使用多個(gè)衛(wèi)星負(fù)責(zé)模型的聚合，研究不同的數(shù)據(jù)攻擊對其所提出的聯(lián)邦邊緣學(xué)習(xí)算法的影響。但是這些研究主要是將衛(wèi)星作為本地訓(xùn)練設(shè)備且采用一個(gè)地面站作為聚合設(shè)備，和本文的場景并不匹配。

因此，本文面向星地協(xié)同網(wǎng)絡(luò)，提出一種適合于星地協(xié)同網(wǎng)絡(luò)的聯(lián)邦邊緣學(xué)習(xí)算法。算法可以對在星地協(xié)同網(wǎng)絡(luò)中海量設(shè)備產(chǎn)生的大量數(shù)據(jù)進(jìn)行分析處理時(shí)出現(xiàn)的隱私信息泄露和數(shù)據(jù)孤島問題進(jìn)行解決，并且可以使協(xié)同網(wǎng)絡(luò)中進(jìn)行聯(lián)邦邊緣學(xué)習(xí)算法的全過程時(shí)延較低，模型測試精度較高。

1 分層聚合模型

考慮在星地協(xié)同網(wǎng)絡(luò)場景下，利用底層地面設(shè)備進(jìn)行本地訓(xùn)練，上層低軌衛(wèi)星進(jìn)行邊緣聚合，并利用軌道衛(wèi)星的環(huán)狀結(jié)構(gòu)實(shí)現(xiàn)全局聚合。具體星地協(xié)同網(wǎng)絡(luò)下分層聚合訓(xùn)練場景如圖1 所示：

圖1 星地協(xié)同網(wǎng)絡(luò)下實(shí)現(xiàn)聯(lián)邦邊緣學(xué)習(xí)的分層聚合場景

考慮到低軌衛(wèi)星和地面設(shè)備之間的可見時(shí)間段較短，采取衛(wèi)星和地面設(shè)備可見時(shí)去交換聯(lián)邦邊緣學(xué)習(xí)的參數(shù)的方法會導(dǎo)致聯(lián)邦邊緣學(xué)習(xí)算法的全過程時(shí)延很高?？紤]到衛(wèi)星運(yùn)動具有周期性和可被預(yù)測性的特點(diǎn)，可以利用覆蓋域模型[16]將衛(wèi)星和本地設(shè)備之間的動態(tài)星地鏈路轉(zhuǎn)化為靜態(tài)星地鏈路。目前，衛(wèi)星天線的工作模式主要有衛(wèi)星固定足印模式以及地球固定足印模型[17]，本文假設(shè)衛(wèi)星的天線工作在地球足印模式。覆蓋域模型可以將地球表面區(qū)域按照衛(wèi)星數(shù)劃分為若干規(guī)則的區(qū)域，并給每個(gè)劃分好的區(qū)域分配一個(gè)邏輯地址。邏輯地址包含著地理信息，每個(gè)區(qū)域稱為一個(gè)邏輯衛(wèi)星位置。

需要說明的是，在星地協(xié)同網(wǎng)絡(luò)中進(jìn)行聯(lián)邦邊緣學(xué)習(xí)，實(shí)際上本地設(shè)備是上傳給本地訓(xùn)練結(jié)束時(shí)刻其對應(yīng)的邏輯衛(wèi)星位置在當(dāng)前時(shí)刻的衛(wèi)星，并從該衛(wèi)星接收衛(wèi)星的加權(quán)平均參數(shù)再次進(jìn)行本地訓(xùn)練。之后，由其所對應(yīng)的邏輯衛(wèi)星位置在當(dāng)前時(shí)刻的衛(wèi)星來下發(fā)全局模型。

假設(shè)在協(xié)同網(wǎng)絡(luò)中有位于同一軌道的Ns顆低軌衛(wèi)星，有N個(gè)本地設(shè)備。每顆衛(wèi)星負(fù)責(zé)Ng個(gè)地面設(shè)備的邊緣聚合。Nk表示衛(wèi)星k所負(fù)責(zé)的本地設(shè)備的集合，即。

算法中所有的地面設(shè)備可以表示為：

集合Nk中的第i個(gè)本地設(shè)備的數(shù)據(jù)集為Dk,i，則第Nk組的數(shù)據(jù)集為：

分層聚合主要是分為將衛(wèi)星作為邊緣設(shè)備進(jìn)行邊緣聚合以及利用衛(wèi)星軌道環(huán)狀結(jié)構(gòu)實(shí)現(xiàn)全局聚合兩部分，分別介紹如下。

衛(wèi)星作為邊緣設(shè)備進(jìn)行邊緣聚合指的是衛(wèi)星作為邊緣設(shè)備對其負(fù)責(zé)的地面設(shè)備上的參數(shù)進(jìn)行加權(quán)平均。每個(gè)本地設(shè)備首先進(jìn)行多輪本地訓(xùn)練。在第t輪本地訓(xùn)練時(shí)，衛(wèi)星k負(fù)責(zé)的地面設(shè)備在本地訓(xùn)練階段的參數(shù)是。本地訓(xùn)練采取隨機(jī)梯度下降的方式來更新參數(shù)，即式(4)，其中η表示學(xué)習(xí)率。

當(dāng)進(jìn)行τ1輪本地訓(xùn)練，即時(shí)，每顆衛(wèi)星進(jìn)行邊緣聚合。具體是從該衛(wèi)星在當(dāng)前時(shí)刻所對應(yīng)的邏輯衛(wèi)星位置相關(guān)聯(lián)的本地設(shè)備上收集相應(yīng)的參數(shù)，進(jìn)行參數(shù)的加權(quán)平均得到，即式(5)：

當(dāng)進(jìn)行τ2輪衛(wèi)星邊緣聚合后，即tmodτ1τ2=0 時(shí)，進(jìn)行一次全局聚合。面對星地協(xié)同網(wǎng)絡(luò)，考慮到負(fù)責(zé)參數(shù)加權(quán)平均的衛(wèi)星位于同一環(huán)狀軌道?？梢岳眠@種環(huán)狀結(jié)構(gòu)實(shí)現(xiàn)全局聚合。

當(dāng)同一環(huán)狀軌道上的衛(wèi)星進(jìn)行全局聚合時(shí)，一般是將一顆衛(wèi)星作為主衛(wèi)星來實(shí)現(xiàn)參數(shù)的全局聚合。但這種情況會導(dǎo)致冗余的衛(wèi)星多跳而增加算法的時(shí)延?？紤]到同一軌道的環(huán)狀結(jié)構(gòu)，衛(wèi)星全局聚合利用Ring-Allreduce 算法[18]。算法僅需衛(wèi)星進(jìn)行單向環(huán)形傳輸來實(shí)現(xiàn)聯(lián)邦邊緣學(xué)習(xí)參數(shù)的傳遞進(jìn)而實(shí)現(xiàn)全局聚合，具體主要分為兩步：

（1）Scatter-reduce：假設(shè)共有n顆衛(wèi)星。首先給每個(gè)衛(wèi)星進(jìn)行編號并指定其左鄰居和右鄰居。然后將每個(gè)衛(wèi)星得到的模型參數(shù)根據(jù)數(shù)據(jù)集進(jìn)行加權(quán)，即得到加權(quán)模型參數(shù)。然后，將每顆衛(wèi)星的加權(quán)模型參數(shù)都均等劃分成n個(gè)數(shù)據(jù)塊。在每次迭代中，每顆衛(wèi)星都會將自己的其中一個(gè)數(shù)據(jù)塊發(fā)送給右鄰居，并從左鄰居接收其發(fā)送的一個(gè)數(shù)據(jù)塊。每顆衛(wèi)星需要將接受來的數(shù)據(jù)塊和自己對應(yīng)編號的數(shù)據(jù)塊進(jìn)行求和。在每次迭代中，發(fā)送和接收的數(shù)據(jù)塊不同。經(jīng)過n-1 次迭代后，每顆衛(wèi)星都將包含一個(gè)具有所有衛(wèi)星的對應(yīng)編號的數(shù)據(jù)塊之和的數(shù)據(jù)塊。以n=5 為例考慮五顆衛(wèi)星的場景，首先將每顆衛(wèi)星的加權(quán)模型參數(shù)都按照衛(wèi)星的個(gè)數(shù)均等劃分為五個(gè)數(shù)據(jù)塊，即衛(wèi)星Si的加權(quán)平均參數(shù)，將加權(quán)平均參數(shù)劃分為五個(gè)數(shù)據(jù)塊。經(jīng)過4 次Scatter-reduce 算法迭代后，每顆衛(wèi)星所包含的數(shù)據(jù)塊具體如圖2 所示。

圖2 Scatter-reduce步驟進(jìn)行4次迭代后包含數(shù)據(jù)塊圖

（2）Allgather：當(dāng)完成Scatter-reduce 后，進(jìn)行Allgather。在Allgater 的第一次迭代中，第n顆衛(wèi)星首先發(fā)送其第n+1個(gè)數(shù)據(jù)塊并接收左鄰居發(fā)來的其第n個(gè)數(shù)據(jù)塊。和scatterreduce 不同的地方在于scatter-reduce 部分，當(dāng)衛(wèi)星接收到左鄰居發(fā)出的數(shù)據(jù)塊后需要進(jìn)行和其對應(yīng)編號的數(shù)據(jù)塊加和操作，然后將加和結(jié)果替代當(dāng)前編號的數(shù)據(jù)塊。而Allgather 則是直接將接收到的數(shù)據(jù)塊替代原來對應(yīng)編號的數(shù)據(jù)塊，而不進(jìn)行加和操作。在未來的迭代中第n顆衛(wèi)星總是發(fā)送它剛收到的數(shù)據(jù)塊。在進(jìn)行了n-1 次迭代后，每顆衛(wèi)星都具有所有衛(wèi)星的加權(quán)模型參數(shù)。以五顆衛(wèi)星為例，第四次迭代后，衛(wèi)星所包含的數(shù)據(jù)塊如圖3 所示。其中，任何一個(gè)衛(wèi)星的數(shù)據(jù)塊總和等于。

圖3 Allgather步驟進(jìn)行4次迭代后數(shù)據(jù)塊圖

綜上，對于軌道面Ns顆衛(wèi)星，每顆衛(wèi)星需要執(zhí)行Ns-1次Scatter-reduce 迭代，再執(zhí)行Ns-1 次Allgather 迭代。第一顆衛(wèi)星的數(shù)據(jù)塊之和即為全局參數(shù)，由此就可以實(shí)現(xiàn)全局聚合。之后，每顆衛(wèi)星將得到新的全局參數(shù)發(fā)送給其關(guān)聯(lián)的地面設(shè)備作為新的本地參數(shù)來進(jìn)行新一輪的本地訓(xùn)練。

綜上所述，算法的主要過程可以總結(jié)為式(7)：

2 用戶關(guān)聯(lián)策略

除模型精度外，在星地協(xié)同網(wǎng)絡(luò)中進(jìn)行聯(lián)邦邊緣學(xué)習(xí)時(shí)還需要保證全過程的時(shí)延不能過高。全過程時(shí)延主要由通信時(shí)延、計(jì)算時(shí)延以及星間全局聚合所需的時(shí)延三部分組成，即。進(jìn)行一輪聯(lián)邦邊緣學(xué)習(xí)所需通信時(shí)延為：

其中，式(10) 中M是模型參數(shù)的大小。M/N表示鏈路的接收端信噪比。BXY為鏈路帶寬。式(11) 中LXY為端到端的實(shí)際距離。VXY為傳輸介質(zhì)中的傳輸速率。

計(jì)算時(shí)延包括本地設(shè)備的本地訓(xùn)練時(shí)延以及衛(wèi)星進(jìn)行邊緣聚合的時(shí)延，即式(12)。Ttrain為本地訓(xùn)練時(shí)延，如式(13)，其中FLOPs為模型的浮點(diǎn)運(yùn)算次數(shù)，用來衡量模型的復(fù)雜度。FLOPs是地面設(shè)備每秒的浮點(diǎn)運(yùn)算次數(shù)，用來衡量硬件的性能，是每輪本地訓(xùn)練的樣本數(shù)目。是衛(wèi)星聚合時(shí)延，即式(14)，其中表示接收到的模型數(shù)目，F(xiàn)LOPs是衛(wèi)星每秒的浮點(diǎn)運(yùn)算次數(shù)，M是模型參數(shù)的大小。

星間全局聚合利用Ring-Allreduce 算法。假設(shè)衛(wèi)星的數(shù)量是Ns顆。每顆衛(wèi)星需要執(zhí)行共計(jì)次迭代，如式(15)：

模型精度方面，在τ1和τ2固定的情況下，當(dāng)為每個(gè)聚合設(shè)備盡可能分配具有不同類別樣本的本地設(shè)備時(shí)，模型測試精度較高。對星地協(xié)同網(wǎng)絡(luò)，同一衛(wèi)星負(fù)責(zé)進(jìn)行邊緣聚合的本地設(shè)備之間的數(shù)據(jù)集相異度越大，模型測試精度越高。

通過對全過程時(shí)延和模型精度的分析，提出一種基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略?；诖瞬呗缘穆?lián)邦邊緣學(xué)習(xí)算法可以實(shí)現(xiàn)協(xié)同網(wǎng)絡(luò)中全過程時(shí)延和模型精度兩個(gè)參數(shù)之間的聯(lián)合優(yōu)化。在提出本文所使用的用戶關(guān)聯(lián)策略之前，首先考慮兩種極端的用戶關(guān)聯(lián)策略，分別定義為完全基于地理位置的用戶關(guān)聯(lián)策略和完全基于數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略。完全基于地理位置的用戶關(guān)聯(lián)策略指的是將每個(gè)邏輯衛(wèi)星位置上的地面設(shè)備都對應(yīng)到本地訓(xùn)練結(jié)束時(shí)其所在的邏輯衛(wèi)星位置在該時(shí)刻對應(yīng)的衛(wèi)星。完全基于數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略是給每個(gè)衛(wèi)星都分配具有盡可能不同的數(shù)據(jù)集分布的本地設(shè)備。但上述兩種極端情況僅可以減小時(shí)延或提高測試精度。因此，基于上述兩種極端策略提出基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略。

基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略首先設(shè)計(jì)在地理位置上的劃分。將所有的邏輯衛(wèi)星位置均分成一些不重疊的分區(qū)，每個(gè)分區(qū)包含連續(xù)的Nleo個(gè)邏輯衛(wèi)星位置。根據(jù)Nleo個(gè)邏輯衛(wèi)星位置的分區(qū)，本地設(shè)備可以劃分成Ns/Nleo個(gè)區(qū)域。在對邏輯衛(wèi)星位置和本地設(shè)備進(jìn)行分區(qū)后，使用K-means 算法[19]對每個(gè)分區(qū)內(nèi)的本地設(shè)備根據(jù)它們之間的數(shù)據(jù)集的相異度進(jìn)行本地設(shè)備的劃分，將由此得到的每個(gè)本地設(shè)備的集合稱為類似簇。根據(jù)K-means 算法可以使每個(gè)類似簇中的本地設(shè)備之間的數(shù)據(jù)集的相異度很小。然后，設(shè)置Nleo個(gè)空對應(yīng)簇，從每個(gè)類似簇中隨機(jī)選取一個(gè)本地設(shè)備加入對應(yīng)簇中。最終，每個(gè)分區(qū)都可以得到Nleo個(gè)對應(yīng)簇，并且每個(gè)簇中本地設(shè)備的數(shù)據(jù)集之間相異度有較大差異。然后采用LAPJV 算法[20]將Nleo個(gè)對應(yīng)簇映射到Nleo個(gè)邏輯衛(wèi)星位置，使Nss最小，從而可以進(jìn)一步減小算法全過程時(shí)延。

LAPJV 算法具體為先求解出每個(gè)對應(yīng)簇中的地面設(shè)備對應(yīng)到分區(qū)內(nèi)的某個(gè)邏輯衛(wèi)星位置時(shí)所需衛(wèi)星總跳數(shù)。以同一軌道面上的衛(wèi)星數(shù)為20 顆，地面設(shè)備設(shè)置為200個(gè)為例進(jìn)行LAPJV 算法的應(yīng)用說明。首先假設(shè)設(shè)備的編號為XZ，，所對應(yīng)的邏輯衛(wèi)星位置為。考慮到同一軌道的衛(wèi)星的環(huán)狀結(jié)構(gòu)，需要比較衛(wèi)星左跳傳輸和右跳傳輸轉(zhuǎn)發(fā)之間的跳數(shù)的大小，并取較小值，則該設(shè)備的衛(wèi)星多跳M可以表示為：

當(dāng)計(jì)算出每個(gè)對應(yīng)簇的總衛(wèi)星跳數(shù)，即在簇內(nèi)每個(gè)本地設(shè)備對應(yīng)到某邏輯衛(wèi)星位置區(qū)域的所需的跳數(shù)之和后，進(jìn)行LAPJV 算法來求出映射關(guān)系使得全部簇內(nèi)所有本地設(shè)備所需的總衛(wèi)星跳數(shù)最小。LAPJV 算法通過輸入一個(gè)方陣，最終來獲得一列最佳的分配數(shù)值，對應(yīng)到星地協(xié)同網(wǎng)絡(luò)下的用戶關(guān)聯(lián)策略中，以第一個(gè)分區(qū)為例，假設(shè)一個(gè)分區(qū)內(nèi)的對應(yīng)簇為，邏輯衛(wèi)星位置為，則每個(gè)簇對應(yīng)每個(gè)邏輯衛(wèi)星位置的總跳數(shù)可以表示為，則方陣可以表示如下：

當(dāng)使用LAPJV 算法時(shí)，可以得到一條從第一行不后退走到最后一行的路徑，并且路徑上的矩陣數(shù)值之和最小。因此，通過LAPJV 算法可以得到使總跳數(shù)最小的邏輯衛(wèi)星位置和對應(yīng)簇之間的映射關(guān)系。綜上所述，基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略可以實(shí)現(xiàn)精度和時(shí)延的聯(lián)合優(yōu)化，下圖為以Nleo=2、Ns=4 為例的邏輯衛(wèi)星位置和本地設(shè)備之間的用戶關(guān)聯(lián)策略。最終，包含用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法可以實(shí)現(xiàn)時(shí)延和模型精度的聯(lián)合優(yōu)化。需要說明的是，目前這種關(guān)聯(lián)策略需要用戶均勻的分布在每個(gè)邏輯衛(wèi)星位置里面，且衛(wèi)星天線為地球固定足印模式的理想場景，后續(xù)會繼續(xù)對策略進(jìn)行深入研究和修改以適配更為實(shí)際的場景。

圖4 為用戶關(guān)聯(lián)策略案例。

圖4 用戶關(guān)聯(lián)策略案例

3 仿真分析

在星地協(xié)同網(wǎng)絡(luò)中進(jìn)行聯(lián)邦邊緣學(xué)習(xí)算法的仿真參數(shù)具體設(shè)置如表1 所示。仿真過程中使用CNN 卷積神經(jīng)網(wǎng)絡(luò)，使用MNIST 數(shù)據(jù)集進(jìn)行星地協(xié)同網(wǎng)絡(luò)下的聯(lián)邦邊緣學(xué)習(xí)算法的仿真。本地設(shè)備的非獨(dú)立同分布設(shè)計(jì)采用狄利克雷分布。對于星地協(xié)同網(wǎng)絡(luò)的上行鏈路，地面設(shè)備的發(fā)射功率設(shè)置為2.5 W，帶寬為1 MHz。用戶天線增益為0 dB，衛(wèi)星天線的增益為53 dB，額外損耗為5 dB，自由空間損耗為186.6 dB。下行鏈路的設(shè)計(jì)中，衛(wèi)星發(fā)射功率設(shè)置為10 W，自由空間損耗為183.0 dB。由于星間鏈路設(shè)置為激光鏈路，帶寬無限大，衛(wèi)星激光通信的波長選擇多使用1 550 nm，比如美國的LCRD[21]。衛(wèi)星軌道高度設(shè)為1 690 km。

表1 仿真參數(shù)表

將完全基于地理位置和完全基于數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略作為對照組，進(jìn)行包含基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法仿真。

圖5為三種用戶關(guān)聯(lián)策略方式下聯(lián)邦邊緣學(xué)習(xí)模型精度。通過仿真可以發(fā)現(xiàn)完全基于數(shù)據(jù)集之間相異度的方式下的聯(lián)邦邊緣學(xué)習(xí)的精度最高，用戶關(guān)聯(lián)策略次之，完全基于地理位置下的精度最低。這是因?yàn)樵谕耆跀?shù)據(jù)集之間相異度的方式中，每顆衛(wèi)星負(fù)責(zé)聚合的本地設(shè)備之間的數(shù)據(jù)集相異度都是盡可能不同的，從而設(shè)備之間更加趨于非獨(dú)立同分布，模型的泛化能力更強(qiáng)，訓(xùn)練后的精度更高。而完全基于地理位置的劃分主要保證時(shí)延。但是地面設(shè)備的數(shù)據(jù)集分布類似，導(dǎo)致模型的精度最低。用戶關(guān)聯(lián)策略則是在劃分區(qū)域的基礎(chǔ)上再根據(jù)數(shù)據(jù)集之間相異度來選擇地面設(shè)備，精度處于兩種極端情況之間。同時(shí)還可以發(fā)現(xiàn)完全基于數(shù)據(jù)集之間相異度的情況下的精度曲線在300 輪訓(xùn)練中的趨勢是先上升后下降。這是因?yàn)槟Ｐ蛯W(xué)習(xí)到一定程度后，接著訓(xùn)練會使其趨于訓(xùn)練細(xì)枝末節(jié)的部分。這會使得在測試集上的表現(xiàn)變差。

圖5 三種用戶關(guān)聯(lián)策略方式下聯(lián)邦邊緣學(xué)習(xí)模型精度

在時(shí)延方面，分別計(jì)算當(dāng)τ1=60、τ2=1；τ1=15、τ2=4；τ1=6、τ2=10 時(shí)三種用戶關(guān)聯(lián)策略方式下聯(lián)邦邊緣學(xué)習(xí)算法的一輪訓(xùn)練時(shí)延。

圖6 為不同用戶關(guān)聯(lián)策略方式下的改變聯(lián)邦邊緣學(xué)習(xí)參數(shù)下的時(shí)延。

圖6 不同用戶關(guān)聯(lián)策略方式下的改變聯(lián)邦邊緣學(xué)習(xí)參數(shù)下的時(shí)延

當(dāng)參數(shù)τ1和τ2固定時(shí)，時(shí)延結(jié)果從大到小為完全基于地理位置的用戶關(guān)聯(lián)策略方式下的聯(lián)邦邊緣學(xué)習(xí)算法、所提出的包含用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法、完全基于數(shù)據(jù)集之間相異度的用戶關(guān)聯(lián)策略方式下的聯(lián)邦邊緣學(xué)習(xí)算法。這主要是因?yàn)橥耆诘乩砦恢玫挠脩絷P(guān)聯(lián)策略方式是直接將設(shè)備分配給其所在區(qū)域的邏輯衛(wèi)星位置所對應(yīng)的衛(wèi)星，并不需要中繼衛(wèi)星進(jìn)行轉(zhuǎn)發(fā)。而完全基于數(shù)據(jù)集之間相異度的用戶關(guān)聯(lián)策略方式是盡量給每個(gè)位置分配數(shù)據(jù)集相異度很大的地面設(shè)備，脫離了地理位置的限制，使得中繼衛(wèi)星進(jìn)行轉(zhuǎn)發(fā)的次數(shù)極大。用戶關(guān)聯(lián)策略則是在地理位置限制的基礎(chǔ)上根據(jù)數(shù)據(jù)集相異度進(jìn)行劃分，時(shí)延在兩種極端方式之間。

通過時(shí)延和精度的分析可以發(fā)現(xiàn)包含用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法可以實(shí)現(xiàn)時(shí)延和精度之間的聯(lián)合優(yōu)化。以τ1=6、τ2=10 為例，本文提出的包含用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法相比完全基于地理位置的用戶關(guān)聯(lián)策略方式下的算法的模型精度提高6.4%，時(shí)延增加185%。本文提出的包含用戶關(guān)聯(lián)策略的聯(lián)邦邊緣學(xué)習(xí)算法相比完全基于數(shù)據(jù)集之間相異度的用戶關(guān)聯(lián)策略方式，模型精度下降3.5%，時(shí)延減少134%。

4 結(jié)束語

本文提出一種適用于星地協(xié)同網(wǎng)絡(luò)且可以實(shí)現(xiàn)時(shí)延和模型精度聯(lián)合優(yōu)化的聯(lián)邦邊緣學(xué)習(xí)算法。算法主要包括利用衛(wèi)星進(jìn)行邊緣聚合、基于衛(wèi)星軌道的環(huán)狀結(jié)構(gòu)進(jìn)行全局聚合的分層聚合方式和基于地理位置和數(shù)據(jù)集相異度的用戶關(guān)聯(lián)策略。MNIST 數(shù)據(jù)集仿真結(jié)果表明，這種聯(lián)邦邊緣學(xué)習(xí)算法不僅可以有較高的模型精度，且能計(jì)算出全過程所耗費(fèi)的時(shí)延，并實(shí)現(xiàn)時(shí)延和模型精度之間的聯(lián)合優(yōu)化。