• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種面向云邊端系統(tǒng)的分層異構(gòu)聯(lián)邦學(xué)習(xí)方法

    2022-11-12 11:28:42鐘正儀包衛(wèi)東吳冠霖
    計(jì)算機(jī)研究與發(fā)展 2022年11期
    關(guān)鍵詞:異構(gòu)聯(lián)邦客戶端

    鐘正儀 包衛(wèi)東 王 吉 吳冠霖,2 趙 翔

    1(國(guó)防科技大學(xué)大數(shù)據(jù)與決策實(shí)驗(yàn)室 長(zhǎng)沙 410003) 2(軍事科學(xué)院 北京 100089)

    傳統(tǒng)的云計(jì)算模式下,云計(jì)算中心部署了大量穩(wěn)定的高性能計(jì)算設(shè)備,移動(dòng)手機(jī)等終端需要將收集到的數(shù)據(jù)傳輸?shù)皆七M(jìn)行計(jì)算,最終得到由云反饋的結(jié)果.然而,隨著人工智能、物聯(lián)網(wǎng)等新興技術(shù)的發(fā)展,終端的數(shù)據(jù)呈海量爆發(fā)式增長(zhǎng),為云、端之間的通信鏈路造成不可負(fù)擔(dān)的傳輸壓力;同時(shí),對(duì)于無(wú)人駕駛等需要實(shí)時(shí)反饋的計(jì)算任務(wù),遙遠(yuǎn)傳輸距離帶來(lái)的時(shí)延將會(huì)帶來(lái)不可估量的損失.由于終端設(shè)備體積、資源的可得性等限制,難以獨(dú)自完成復(fù)雜任務(wù)的計(jì)算,基于此,將云算力下沉、終端算力上移匯聚為邊緣算力成為解決上述問(wèn)題的一種理想方式[1].在云邊端框架下,原本全部部署在云的模型,分層部署到了云、邊、端,使得簡(jiǎn)單任務(wù)能夠在邊緣甚至終端層級(jí)就能完成,這大大減少了計(jì)算時(shí)延、緩解了通信壓力.對(duì)于上述分層智能模型而言,一個(gè)重要特征就是要具備演化能力,然而模型的演化往往基于大量數(shù)據(jù),因此對(duì)于云端和邊緣模型的演化,需要上傳大量的終端數(shù)據(jù),直接導(dǎo)致終端用戶的隱私泄露.

    為了保護(hù)用戶隱私、最大化將數(shù)據(jù)控制在用戶終端層面,近年來(lái),聯(lián)邦學(xué)習(xí)(federated learning, FL)成為了一種熱門的面向隱私安全的分布式計(jì)算方法.在聯(lián)邦學(xué)習(xí)方法下,假設(shè)同一個(gè)服務(wù)器下各個(gè)客戶端的模型架構(gòu)相同,各客戶端僅需利用本地?cái)?shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練,用訓(xùn)練后的模型參數(shù)取代數(shù)據(jù)上傳到服務(wù)器進(jìn)行聚合,即可以得到一個(gè)全局統(tǒng)一的模型,實(shí)現(xiàn)多節(jié)點(diǎn)的信息融合.因此,本文考慮在云邊端分層框架下引入聯(lián)邦學(xué)習(xí)方法實(shí)現(xiàn)該框架下各個(gè)節(jié)點(diǎn)智能模型的演化更新.然而,傳統(tǒng)聯(lián)邦學(xué)習(xí)存在嚴(yán)格的限制:1)客戶端資源無(wú)差異,各個(gè)客戶端都具備訓(xùn)練同樣復(fù)雜度模型的能力;2)模型全部部署在客戶端,為單層的聯(lián)邦學(xué)習(xí);3)客戶端有大量的標(biāo)簽數(shù)據(jù)供本地模型訓(xùn)練.這些限制直接制約了聯(lián)邦學(xué)習(xí)在云邊端分層框架的應(yīng)用:在云邊端框架下,一方面,各計(jì)算節(jié)點(diǎn)由于所處環(huán)境、硬件參數(shù)不同,在計(jì)算、存儲(chǔ)、通信等資源上存在較大差異;另一方面,在模型分層部署的情況下,單層的聯(lián)邦學(xué)習(xí)不足以滿足所有節(jié)點(diǎn)模型演化的需求;此外,客戶端由于人力成本等因素,存在大量無(wú)標(biāo)記數(shù)據(jù).

    特別地,針對(duì)上述聯(lián)邦學(xué)習(xí)的異構(gòu)問(wèn)題,Li等人[2]通過(guò)在本地?fù)p失函數(shù)中加入正則項(xiàng)的方式,有效避免了本地訓(xùn)練模型的過(guò)擬合,一度成為異構(gòu)聯(lián)邦學(xué)習(xí)領(lǐng)域經(jīng)典的學(xué)習(xí)方法;Diao等人[3]能夠在不改變模型層數(shù)的情況下,橫向降低模型寬度從而實(shí)現(xiàn)異構(gòu)聯(lián)邦學(xué)習(xí).但上述訓(xùn)練方法只能得到全局統(tǒng)一的單出口模型,難以滿足云邊端的模型分層部署要求.

    因此,本文面向云邊端框架下分層聯(lián)邦學(xué)習(xí)、終端資源異構(gòu)和大量無(wú)標(biāo)簽數(shù)據(jù)3個(gè)問(wèn)題,提出一種面向云邊端的分層異構(gòu)聯(lián)邦學(xué)習(xí)方法,將多分支模型分層部署到云、邊、端各層級(jí),每一層對(duì)應(yīng)一個(gè)或多個(gè)出口,用于實(shí)現(xiàn)快速推理.在智能模型的訓(xùn)練階段,采用邊緣和云2個(gè)級(jí)別的雙層聯(lián)邦學(xué)習(xí),促進(jìn)各個(gè)節(jié)點(diǎn)的協(xié)同訓(xùn)練;在邊緣層的聯(lián)邦訓(xùn)練中,考慮到終端的資源異構(gòu)情況,為終端定制個(gè)性化模型,提高其訓(xùn)練參與度;同時(shí),針對(duì)終端存在大量無(wú)標(biāo)簽數(shù)據(jù)問(wèn)題,設(shè)計(jì)半監(jiān)督學(xué)習(xí)方法,有效整合無(wú)標(biāo)記數(shù)據(jù)特征,最終實(shí)現(xiàn)云邊端系統(tǒng)在水平和垂直方向上多個(gè)異構(gòu)節(jié)點(diǎn)的信息融合.

    本文的主要貢獻(xiàn)有3個(gè)方面:

    1) 提出了新的異構(gòu)聯(lián)邦學(xué)習(xí)方法.該方法從多分支模型出發(fā),將全局統(tǒng)一模型拆分為適配不同客戶端資源的子模型序列,提高了客戶端參與度和資源利用效率.

    2) 創(chuàng)新了上述異構(gòu)聯(lián)邦學(xué)習(xí)方法下的半監(jiān)督學(xué)習(xí)方法.以服務(wù)器少量標(biāo)簽數(shù)據(jù)訓(xùn)練的模型為依托,對(duì)客戶端無(wú)標(biāo)簽數(shù)據(jù)進(jìn)行標(biāo)記并訓(xùn)練,使得最終模型能夠有效整合無(wú)標(biāo)簽數(shù)據(jù)特征.

    3) 將聯(lián)邦學(xué)習(xí)應(yīng)用于模型分層部署的云邊端系統(tǒng).打破了傳統(tǒng)的單層聯(lián)邦學(xué)習(xí)限制,為云邊端系統(tǒng)開(kāi)展分布式計(jì)算提供了新思路.

    1 相關(guān)工作

    聯(lián)邦學(xué)習(xí)最初于2017年由Google公司提出[4].在該框架下,服務(wù)器將全局統(tǒng)一的模型分發(fā)到各個(gè)客戶端進(jìn)行本地訓(xùn)練,待訓(xùn)練結(jié)束后上傳模型參數(shù)到服務(wù)器聚合得到全局模型,從而實(shí)現(xiàn)多節(jié)點(diǎn)的協(xié)同訓(xùn)練.因?yàn)槁?lián)邦學(xué)習(xí)能夠?qū)⒂脩魯?shù)據(jù)保留在本地進(jìn)行模型的更新訓(xùn)練,極大地保護(hù)了用戶隱私安全,近年來(lái)受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注[5].當(dāng)前,在學(xué)術(shù)界,主要針對(duì)聯(lián)邦學(xué)習(xí)4個(gè)關(guān)鍵性問(wèn)題展開(kāi)研究:通信效率、隱私安全、統(tǒng)計(jì)異構(gòu)和系統(tǒng)異構(gòu).針對(duì)通信效率問(wèn)題,盡管聯(lián)邦學(xué)習(xí)利用上傳模型參數(shù)代替了原始數(shù)據(jù),但是對(duì)于手機(jī)等帶寬十分有限的移動(dòng)設(shè)備,如何對(duì)模型進(jìn)行壓縮提高通信效率仍然是一個(gè)亟待解決的問(wèn)題,當(dāng)前主要采取的方式有提高客戶端更新次數(shù)[6]、選擇部分客戶端參與迭代[7]以及模型壓縮[8].針對(duì)隱私安全問(wèn)題,保護(hù)隱私是聯(lián)邦學(xué)習(xí)提出的首要?jiǎng)右?,目前有學(xué)者將其與差分隱私[9]、安全聚合[10]等技術(shù)結(jié)合,進(jìn)一步加強(qiáng)了聯(lián)邦學(xué)習(xí)的隱私保護(hù)能力.在工業(yè)界,聯(lián)邦學(xué)習(xí)除了被Google采納,Apple公司還將其應(yīng)用到iOS 13中快捷鍵盤和“Hey Siri”[11]的語(yǔ)音分類器等應(yīng)用程序;在金融領(lǐng)域,微眾銀行將其應(yīng)用于洗錢檢測(cè)[12];在醫(yī)學(xué)領(lǐng)域,其還可被用于新型肺炎患者氧氣需求預(yù)測(cè)[13]和醫(yī)學(xué)圖像[14]分析等.針對(duì)統(tǒng)計(jì)異構(gòu)問(wèn)題,由于現(xiàn)實(shí)場(chǎng)景下客戶端之間的數(shù)據(jù)往往來(lái)源于不同分布,因而呈現(xiàn)出客戶端傾斜現(xiàn)象,削弱了本地更新的效果[5].針對(duì)系統(tǒng)異構(gòu)問(wèn)題,由于客戶端裝配的設(shè)備面臨的環(huán)境不同,可能導(dǎo)致客戶端之間資源水平差距明顯,能夠訓(xùn)練的模型復(fù)雜度上限不同,需要針對(duì)客戶端情況定制個(gè)性化模型[3].文獻(xiàn)[3]通過(guò)降低隱藏層寬度的方法構(gòu)建了適配于不同設(shè)備的不同復(fù)雜度的模型,文獻(xiàn)[15]提出了一種能根據(jù)資源狀況對(duì)客戶端進(jìn)行管理的聯(lián)邦學(xué)習(xí)協(xié)議.一些學(xué)者還提出了異步聯(lián)邦學(xué)習(xí)的方法[16-17].本文主要著眼于云邊端聯(lián)邦學(xué)習(xí)中系統(tǒng)異構(gòu)問(wèn)題展開(kāi)研究.由于文獻(xiàn)[3,5-10,15-17]得到的模型為全局統(tǒng)一的單出口模型,難以在云邊端框架下分層部署,且主要針對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型,使用范圍有限,因此,本文擬設(shè)計(jì)一套可適用于多種類模型的、同時(shí)易于分層部署的異構(gòu)學(xué)習(xí)方案.

    此外,針對(duì)云邊端分層聯(lián)邦學(xué)習(xí)的研究,文獻(xiàn)[18]將聯(lián)邦學(xué)習(xí)應(yīng)用到云邊端多層級(jí)分布式計(jì)算當(dāng)中,實(shí)驗(yàn)證明分層的聯(lián)邦學(xué)習(xí)不僅可以達(dá)到較高的準(zhǔn)確率,而且能加快收斂速度.但是,文獻(xiàn)[18]中僅將模型全部部署在終端,未對(duì)模型在云邊端分層部署的聯(lián)邦學(xué)習(xí)方法展開(kāi)研究.據(jù)我們所知,當(dāng)前,對(duì)聯(lián)邦學(xué)習(xí)的研究主要集中在單層聯(lián)邦、基于終端有標(biāo)簽數(shù)據(jù),面向云邊端系統(tǒng)的雙層聯(lián)邦研究仍然較少.因此,本文面向模型分層部署的云邊端系統(tǒng),從各個(gè)分布式節(jié)點(diǎn)資源異構(gòu)的現(xiàn)狀出發(fā),利用終端無(wú)標(biāo)簽數(shù)據(jù),就如何實(shí)現(xiàn)分層聯(lián)邦學(xué)習(xí)展開(kāi)研究.

    2 相關(guān)概念

    2.1 聯(lián)邦學(xué)習(xí)

    傳統(tǒng)的聯(lián)邦學(xué)習(xí)框架包含一臺(tái)中央服務(wù)器和大量客戶端,用于計(jì)算的智能模型部署在客戶端,通常由客戶端進(jìn)行模型的訓(xùn)練和推理任務(wù),服務(wù)器扮演著模型參數(shù)聚合者的角色.以最常見(jiàn)的聚合方法FedAvg[4]為例,整個(gè)聯(lián)邦學(xué)習(xí)過(guò)程分為4個(gè)階段:

    1) 模型下載.每一輪聯(lián)邦訓(xùn)練前,被激活的客戶端需要從服務(wù)器端下載本地模型的參數(shù)β并加載到本地模型.

    2) 本地訓(xùn)練.基于下載模型,各個(gè)客戶端利用本地?cái)?shù)據(jù)對(duì)該模型進(jìn)行更新.假設(shè)共有N個(gè)客戶端,學(xué)習(xí)率為η,F(xiàn)為損失函數(shù),βi和Fi分別為第i個(gè)客戶端的模型參數(shù)和損失函數(shù)值,?Fi(βi)為模型梯度.那么,本地模型采用梯度下降法進(jìn)行訓(xùn)練過(guò)程表示為

    βi=βi-η?Fi(βi),i=1,2,…,N.

    (1)

    3) 模型上傳.待本地訓(xùn)練一定次數(shù)或模型達(dá)到一定精度后,客戶端將參數(shù)上傳到服務(wù)器進(jìn)行聚合.

    4) 模型聚合.服務(wù)器根據(jù)各個(gè)客戶端數(shù)據(jù)量對(duì)上傳的參數(shù)進(jìn)行加權(quán)平均,得到聚合后的模型參數(shù)

    (2)

    其中,Di為第i個(gè)客戶端的數(shù)據(jù)量.將N個(gè)客戶端的參數(shù)值βi以數(shù)據(jù)量Di與全局?jǐn)?shù)據(jù)量的占比進(jìn)行加權(quán)平均后,得到全局統(tǒng)一的模型β.至此,一輪聯(lián)邦學(xué)習(xí)結(jié)束,以上過(guò)程反復(fù)迭代,直到達(dá)到預(yù)設(shè)的迭代次數(shù)或模型精度.然而,上述聚合方法要求客戶端模型統(tǒng)一,在本文提出的異構(gòu)方法下,各個(gè)客戶端模型深度不同,這對(duì)傳統(tǒng)的模型聚合的方法(式(2)所示)提出了挑戰(zhàn).因此,本文對(duì)聚合方法進(jìn)行了創(chuàng)新,將其分為同構(gòu)聚合和異構(gòu)聚合2個(gè)階段,最終實(shí)現(xiàn)異構(gòu)模型之間的聚合.

    2.2 多分支模型

    多分支模型由Teerapittayanon等人[19-20]提出,通過(guò)在深度模型中插入提前退出分支的方式實(shí)現(xiàn)快速推理.該模型的一個(gè)潛在假設(shè)是,樣本從某一分支提前退出所消耗的計(jì)算量小于從后續(xù)任一出口退出所消耗的計(jì)算量.

    在模型的訓(xùn)練階段,當(dāng)前主要有2種訓(xùn)練方式:1)模型的主干和分支出口協(xié)同訓(xùn)練;2)分開(kāi)訓(xùn)練.協(xié)同訓(xùn)練時(shí),采用加權(quán)損失反向傳播機(jī)制,即以各個(gè)出口退出的樣本量占總樣本量的比例為權(quán)重,計(jì)算各個(gè)出口對(duì)應(yīng)的損失及梯度,采用隨機(jī)梯度下降法對(duì)模型進(jìn)行更新.當(dāng)主干和分支分開(kāi)訓(xùn)練時(shí),常采取知識(shí)萃取的技術(shù),先訓(xùn)練最后一個(gè)出口,再以最后一個(gè)出口為教師模型對(duì)其他出口進(jìn)行訓(xùn)練.

    在模型推理階段,針對(duì)退出模型的判斷機(jī)制,當(dāng)前主流的退出方式有2種:

    1) 閾值退出法.與Branchynet[19]相似,采用熵作為判斷計(jì)算結(jié)果能否退出模型的依據(jù),以分類任務(wù)為例,熵定義為

    (3)

    其中,C表示所有的分類種類,yc表示樣本為類別c的概率.當(dāng)某一出口處的熵值小于設(shè)定閾值T時(shí),認(rèn)為在該出口處的計(jì)算結(jié)果足夠可靠,可以提前退出網(wǎng)絡(luò),反之則不能,需要進(jìn)入更深一層的網(wǎng)絡(luò)進(jìn)行計(jì)算.

    2) 比例退出法.即訓(xùn)練結(jié)束后,根據(jù)每個(gè)分支的測(cè)試準(zhǔn)確率占所有分支準(zhǔn)確率之和的比例確定樣本退出的比例.若全局模型有K個(gè)分支出口,每個(gè)出口的測(cè)試準(zhǔn)確率可以表示為acci(i=1,2,…,K),那么每個(gè)出口退出樣本數(shù)占全局樣本數(shù)的比例pi為

    (4)

    3 云邊端分層異構(gòu)聯(lián)邦學(xué)習(xí)方法

    3.1 分層異構(gòu)聯(lián)邦學(xué)習(xí)

    在云邊端分層框架下,云端和邊緣通常被認(rèn)為具備充分的資源保障任務(wù)計(jì)算的順利開(kāi)展,然而終端節(jié)點(diǎn)可能因?yàn)樗幁h(huán)境、硬件參數(shù)的差異,在計(jì)算資源、通信資源、存儲(chǔ)資源存在較大差距.例如在戰(zhàn)場(chǎng)環(huán)境下,出于隱蔽目的,部分節(jié)點(diǎn)由于處于低洼地帶導(dǎo)致通信不暢;部分節(jié)點(diǎn)因受到敵方打擊導(dǎo)致計(jì)算資源、存儲(chǔ)資源遭到部分摧毀.而上述資源正是保證智能模型演化的重要支撐,在傳統(tǒng)的聯(lián)邦學(xué)習(xí)框架下,往往是將一個(gè)全局統(tǒng)一的模型分發(fā)給被選中參與訓(xùn)練的客戶端,極容易出現(xiàn)模型和資源不匹配導(dǎo)致客戶端訓(xùn)練失敗的現(xiàn)象.因此,有必要設(shè)計(jì)一種異構(gòu)的聯(lián)邦學(xué)習(xí)方法,提高客戶端參與度,有效利用客戶端資源.

    基于2.2節(jié)中所述多分支模型,在深度學(xué)習(xí)背景下,考慮到不同分支與分支前的主干網(wǎng)絡(luò)天然構(gòu)成一個(gè)可以獨(dú)立完成訓(xùn)練和推理任務(wù)的完整子模型,且因分支在主干模型中插入的深度不同,不同分支對(duì)應(yīng)的子模型構(gòu)成的序列天然為一個(gè)不同復(fù)雜度的模型序列.模型復(fù)雜度越大,消耗的計(jì)算資源、存儲(chǔ)資源、通信資源越多,因此,本文考慮通過(guò)在深度模型中間插入分支并將其拆分為分支子模型的方式,構(gòu)建適應(yīng)不同客戶端資源狀況的子模型,盡可能使得聯(lián)邦學(xué)習(xí)過(guò)程中被選中的客戶端都能有效利用本地資源進(jìn)行訓(xùn)練.本文中的主要符號(hào)說(shuō)明如表1所示:

    Table 1 Annotations of Main Symbols

    在本文的云邊端分層框架下,首先在全局深度模型中間插入2個(gè)提前退出分支(分別為圖1中的出口2、出口3),作為模型分層部署的切分點(diǎn).其次,為解決終端節(jié)點(diǎn)資源異構(gòu)問(wèn)題,在終端模型(出口2及之前的模型)中間插入一個(gè)提前退出分支(出口1),用于對(duì)終端模型的拆分.以圖1中的拆分為例,全局模型共有4個(gè)出口分支,在出口2、出口3進(jìn)行切分,出口1、出口2與其主干網(wǎng)絡(luò)構(gòu)成的模型部署在端,出口3與之前的主干網(wǎng)絡(luò)構(gòu)成的模型部署在邊,所有出口與整個(gè)主干網(wǎng)絡(luò)構(gòu)成的模型部署在云.由于端模型具有2種出口,可以拆分為2種不同復(fù)雜度的模型,由此可以構(gòu)成二級(jí)異構(gòu).因此,在該框架下,終端模型之間存在異構(gòu)現(xiàn)象,各個(gè)邊緣的模型為同構(gòu)模型,每個(gè)邊緣下有多個(gè)終端,假設(shè)同一邊緣下的終端簇中包含終端所有的異構(gòu)模型種類.

    在本文提出的方法中,我們假設(shè),終端存在大量無(wú)標(biāo)簽數(shù)據(jù),邊緣和云端存在少量標(biāo)簽數(shù)據(jù).具體的訓(xùn)練過(guò)程(見(jiàn)算法 1)可以分為邊緣聯(lián)邦、云端聯(lián)邦以及云端訓(xùn)練3個(gè)階段.在邊緣層次的聯(lián)邦階段(行①~),各邊緣將終端兩出口模型(出口1和出口2)拆分為異構(gòu)單出口模型(僅含出口1或出口2)并分發(fā)給其下適配終端;待終端本地利用無(wú)標(biāo)簽數(shù)據(jù)訓(xùn)練E1次后,上傳到各自邊緣聚合為兩出口模型(行⑨);最后,邊緣利用本地標(biāo)簽數(shù)據(jù)對(duì)其進(jìn)行微調(diào)(行),得到新一輪的終端兩出口模型,如此訓(xùn)練T1次.在云端層次聯(lián)邦階段,各邊緣首先利用前一階段邊緣聯(lián)邦得到的終端兩出口(出口1+出口2)模型參數(shù)初始化邊緣模型中對(duì)應(yīng)的主干部分(行~);再基于本地標(biāo)簽數(shù)據(jù),訓(xùn)練由出口3與其之前的主干網(wǎng)絡(luò)構(gòu)成的單出口模型E2次;最后,各邊緣將訓(xùn)練得到的本地和終端整體模型上傳到云聚合,如此迭代T2次,得到出口3及其主干模型的參數(shù).在云端訓(xùn)練階段,云利用前一階段得到的模型主干參數(shù)初始化本地模型對(duì)應(yīng)的主干部分(行),再基于云端有標(biāo)簽數(shù)據(jù),對(duì)所有主干和出口進(jìn)行整體訓(xùn)練E3次得到全局模型參數(shù).

    Fig. 1 The framework of hierarchically heterogeneous federated learning for cloud-edge-end system圖1 云邊端系統(tǒng)分層異構(gòu)聯(lián)邦學(xué)習(xí)框架

    算法1.分層異構(gòu)聯(lián)邦學(xué)習(xí)

    輸入:邊緣數(shù)量N、學(xué)習(xí)率η、邊緣聯(lián)邦次數(shù)T1、云端聯(lián)邦次數(shù)T2、終端本地訓(xùn)練次數(shù)E1、邊緣本地訓(xùn)練次數(shù)E2、云端本地訓(xùn)練次數(shù)E3;

    輸出:全局模型參數(shù)W.

    ① for 邊緣i=1,2,…,Ndo

    /*各邊緣聯(lián)邦*/

    ② 邊緣預(yù)訓(xùn)練終端多出口模型;

    ③ for 邊緣迭代次數(shù)t1=0,1,…,T1-1 do

    ④ 邊緣i拆分并分配異構(gòu)子模型到各終端;

    ⑤ for 邊緣i下終端j=1,2,…,nido

    ⑥ for 終端訓(xùn)練次數(shù)e1=0,1,…,

    E1-1 do

    ⑧ end for

    聚合;

    ⑩ end for

    /*云端聯(lián)邦*/

    部分;

    do

    η?Li(t2,e2);

    (5)

    (6)

    (7)

    本節(jié)前述內(nèi)容展示了仿真實(shí)驗(yàn)的過(guò)程.值得注意的是,在現(xiàn)實(shí)分布式場(chǎng)景下,邊緣和終端設(shè)備往往執(zhí)行分布式的并行計(jì)算.因此,將大大降低算法1的時(shí)間復(fù)雜度.此外,在每一輪聯(lián)邦學(xué)習(xí)過(guò)程中,客戶端本地訓(xùn)練的次數(shù)E1,E2通常較小(≤20),從而降低了對(duì)邊緣和終端計(jì)算資源的要求.

    3.2 半監(jiān)督聯(lián)邦學(xué)習(xí)

    考慮到人工成本等因素,直接產(chǎn)生數(shù)據(jù)的終端往往存在大量未標(biāo)記數(shù)據(jù),為了有效利用無(wú)標(biāo)簽數(shù)據(jù).本文在3.1節(jié)所述的邊緣聯(lián)邦階段設(shè)計(jì)了一種半監(jiān)督聯(lián)邦學(xué)習(xí)方法.

    (8)

    4 收斂性分析

    圖1所示的云邊端分層框架可分為縱向節(jié)點(diǎn)信息融合和橫向節(jié)點(diǎn)聯(lián)合學(xué)習(xí)2個(gè)層級(jí)的方法.針對(duì)云邊端縱向節(jié)點(diǎn)信息融合的過(guò)程,依次執(zhí)行邊緣聯(lián)邦、云端聯(lián)邦和云端訓(xùn)練3個(gè)步驟.以上3個(gè)步驟層層遞進(jìn),模型不斷加深,每一階段的學(xué)習(xí)都利用上一階段的學(xué)習(xí)結(jié)果對(duì)本階段模型的對(duì)應(yīng)部分進(jìn)行初始化,并基于此進(jìn)一步訓(xùn)練.每一階段的訓(xùn)練過(guò)程都采用加權(quán)平均法FedAvg進(jìn)行聯(lián)邦訓(xùn)練,其收斂分析見(jiàn)文獻(xiàn)[5].針對(duì)橫向節(jié)點(diǎn)聯(lián)合學(xué)習(xí)過(guò)程,由于終端模型存在異構(gòu)現(xiàn)象,不適用于傳統(tǒng)的聯(lián)邦學(xué)習(xí)收斂性分析.因此,本文主要就終端異構(gòu)聯(lián)邦學(xué)習(xí)的收斂性進(jìn)行分析.

    我們將整個(gè)異構(gòu)模型的聚合看作主干聚合和分支聚合2部分,下面將分別就主干聚合和分支聚合的收斂性進(jìn)行分析.首先針對(duì)主干聚合,若全局網(wǎng)絡(luò)共有K個(gè)分支,那么整個(gè)主干網(wǎng)絡(luò)將被分支切分為K個(gè)部分并依次構(gòu)成主干模型序列,分別為{ωi(1)(t1),ωi(2)(t1),…,ωi(k)(t1),…,ωi(K)(t1)},其中i表示第i個(gè)邊緣,ωi(k)(t1)表示全局主干網(wǎng)絡(luò)中第k個(gè)出口和第k-1個(gè)出口之間的模型.主干模型之間分別為輸入和輸出的關(guān)系,例如,ωi(1)(t1)的輸出為ωi(2)(t1)的輸入,ωi(K)(t1)的輸入為ωi(K-1)(t1)的輸出.我們考慮采用歸納法證明主干模型的收斂性,因此可以將主干網(wǎng)絡(luò)收斂性的證明分解為2個(gè)問(wèn)題:

    問(wèn)題1.當(dāng)k=1時(shí),對(duì)應(yīng)的主干子模型收斂,即ωi(1)(t1)收斂;

    問(wèn)題2.當(dāng)k>1時(shí),ωi(k-1)(t1)收斂時(shí),ωi(k)(t1)也收斂.

    證明前,我們先進(jìn)行5個(gè)假設(shè).

    假設(shè)1.被分解后的每部分主干網(wǎng)絡(luò)ωi(k)(t1)都可以獨(dú)立完成模型的訓(xùn)練推理任務(wù),且前一部分主干網(wǎng)絡(luò)的輸出為后一部分網(wǎng)絡(luò)的輸入.

    其中,x和y為隨機(jī)變量.

    假設(shè)4.邊緣i下客戶端j的隨機(jī)梯度的均值和方差滿足關(guān)系:

    假設(shè)5.邊緣i下客戶端j與邊緣聚合梯度的二范數(shù)存在上限:

    首先,我們證明問(wèn)題1中ωi(1)(t1)的收斂性,當(dāng)ωi(1)(t1)收斂時(shí),應(yīng)滿足公式:

    (9)

    其中B1為上限值,若該值隨著異構(gòu)聯(lián)邦迭代次數(shù)T1的增加逐漸降低,則意味著出口1前的主干模型參數(shù)隨著迭代次數(shù)的增加不斷接近全局最優(yōu)解,實(shí)現(xiàn)收斂.ωi(1)(t1,e1)為第t1次聯(lián)邦過(guò)程中各個(gè)客戶端第e1次本地訓(xùn)練的平均模型參數(shù),為了實(shí)現(xiàn)出口1前主干模型ωi(1)的收斂,需要滿足2個(gè)條件:

    (10)

    (11)

    其中F(t1,0)為第t1次聯(lián)邦學(xué)習(xí)開(kāi)始前所有的歷史信息.

    條件1為中心式學(xué)習(xí)場(chǎng)景下實(shí)現(xiàn)模型收斂的條件;條件2則基于條件1的基礎(chǔ)上,考慮到分布式場(chǎng)景,限制了各個(gè)客戶端模型參數(shù)的變化的方差.通過(guò)分析,可以得到2個(gè)引理:

    (12)


    (13)

    上述2個(gè)引理的證明詳見(jiàn)附錄A和附錄B,結(jié)合式(12)和式(13)可以得到結(jié)論:

    (14)

    針對(duì)問(wèn)題2中鏈?zhǔn)绞諗繂?wèn)題,當(dāng)ωi(k-1)(t1)收斂時(shí),ωi(k)(t1)也收斂.因此,在ωi(k-1)(t1)收斂的前提下,當(dāng)ωi(k-1)(t1)輸入給定時(shí),ωi(k-1)(t1)的輸出確定.由于在假設(shè)1中,各部分主干網(wǎng)絡(luò)呈輸入輸出關(guān)系output(ωi(k-1)(t1))=input(ωi(k)(t1)),那么可以得到當(dāng)ωi(k-1)(t1)收斂時(shí),ωi(k)(t1)的輸入確定.此時(shí),若要實(shí)現(xiàn)ωi(k)(t1)收斂,則存在上限Bk,使得:

    Bk,

    (15)

    其中若Bk隨著迭代次數(shù)的增加而降低,則實(shí)現(xiàn)ωi(k)(t1)收斂,其分析過(guò)程與ωi(1)(t1)相同,此處不再贅述,問(wèn)題2得證.

    因此,我們得到:1)當(dāng)k=1時(shí),ωi(k)(t1)收斂;2)當(dāng)ωi(k-1)(t1)收斂時(shí),ωi(k)(t1)收斂.由歸納法可得,主干網(wǎng)絡(luò)中的每一部分均收斂,最終整個(gè)主干網(wǎng)絡(luò)收斂.

    針對(duì)分支收斂性的證明,由于單類的分支網(wǎng)絡(luò)僅存在于一種異構(gòu)客戶端簇下,在聯(lián)邦學(xué)習(xí)過(guò)程中僅參與同構(gòu)聚合,這與傳統(tǒng)的聯(lián)邦學(xué)習(xí)過(guò)程一致,具體收斂性分析過(guò)程參見(jiàn)模型ωi(1)(t1)的收斂性分析.

    5 實(shí)驗(yàn)分析

    5.1 實(shí)驗(yàn)設(shè)置

    在實(shí)驗(yàn)部分,我們將以Lenet卷積神經(jīng)網(wǎng)絡(luò)的變體為模型,分別在MNIST和FashionMNIST數(shù)據(jù)集上進(jìn)行驗(yàn)證,如圖2所示.驗(yàn)證模型包含4個(gè)退出出口,第1,2兩個(gè)出口及之前的模型部署在終端,第3個(gè)出口及之前的模型主干部署在邊緣,最后一個(gè)出口及其之前的模型部署在云端.2組數(shù)據(jù)集均含有60 000張訓(xùn)練圖像數(shù)據(jù)和10 000張測(cè)試圖像數(shù)據(jù).由于本文面向云邊端分布式場(chǎng)景,因此構(gòu)建了由1個(gè)云、5個(gè)邊緣和250個(gè)終端構(gòu)成的分布式框架,其中每個(gè)邊緣包含50個(gè)終端.在邊緣層次的聯(lián)邦學(xué)習(xí)中,每一個(gè)邊緣下將有10個(gè)終端被隨機(jī)選擇參與訓(xùn)練;在云端層次的聯(lián)邦學(xué)習(xí)中,將有3個(gè)邊緣被隨機(jī)選擇參與訓(xùn)練.

    Fig. 2 Multi-exit convolutional neural network圖2 多出口卷積神經(jīng)網(wǎng)絡(luò)

    考慮到半監(jiān)督學(xué)習(xí)場(chǎng)景,本文將60 000張訓(xùn)練數(shù)據(jù)集做如下分配:隨機(jī)選擇1 000張有標(biāo)簽數(shù)據(jù)分配給云端;隨機(jī)選擇5 000張有標(biāo)簽數(shù)據(jù)平均給各個(gè)邊緣,每個(gè)邊緣分別擁有1 000個(gè)訓(xùn)練樣本;剩下的54 000張為無(wú)標(biāo)簽數(shù)據(jù),按數(shù)量平均分配給250個(gè)終端節(jié)點(diǎn),每個(gè)終端分別擁有216個(gè)訓(xùn)練樣本.實(shí)驗(yàn)將分別在獨(dú)立同分布(independent and identically distributed, IID)和非同獨(dú)立同分布(non-IID)兩種情形下進(jìn)行檢驗(yàn),針對(duì)獨(dú)立同分布,本文在邊緣和終端分配樣本的過(guò)程中都進(jìn)行隨機(jī)均勻地分配,以實(shí)現(xiàn)樣本在各個(gè)終端之間、邊緣之間獨(dú)立同分布.針對(duì)非獨(dú)立同分布,在邊緣數(shù)據(jù)的分配過(guò)程中,首先將邊緣5 000張樣本按照標(biāo)簽順序依次排列并平均切分為20部分,每部分包含250張圖片,每個(gè)邊緣從中隨機(jī)選取4部分,形成邊緣節(jié)點(diǎn)數(shù)據(jù)之間的非獨(dú)立同分布;終端節(jié)點(diǎn)的數(shù)據(jù)分配方法與之相同,將排序后的54 000個(gè)樣本分為750部分,250個(gè)終端隨機(jī)從中選取3部分作為本地樣本.綜上,形成了邊緣和終端2個(gè)層次的非獨(dú)立同分布.

    實(shí)驗(yàn)中采用SGD作為訓(xùn)練優(yōu)化器,MNIST數(shù)據(jù)集的學(xué)習(xí)率為0.01,F(xiàn)ashionMNIST數(shù)據(jù)集的學(xué)習(xí)率為0.05,在每一輪聯(lián)邦學(xué)習(xí)過(guò)程中,客戶端更新次數(shù)為20.為了分別研究異構(gòu)聯(lián)邦學(xué)習(xí)方法和分層聯(lián)邦學(xué)習(xí)方法的可行性,本文將在這2種分布情形下分別進(jìn)行驗(yàn)證.同時(shí),本節(jié)實(shí)驗(yàn)還將驗(yàn)證異構(gòu)聯(lián)邦學(xué)習(xí)方法在資源利用效率上的提升.

    5.2 異構(gòu)聯(lián)邦學(xué)習(xí)方法研究

    本節(jié)將在終端和邊緣數(shù)據(jù)均為獨(dú)立同分布和均為非獨(dú)立同分布的2種情形下,對(duì)異構(gòu)聯(lián)邦學(xué)習(xí)方法進(jìn)行研究.對(duì)比框架為近年提出的異構(gòu)學(xué)習(xí)方法FedProx[2]和同構(gòu)學(xué)習(xí)方法FedAvg[4],與本文方法不同的是,以上2種方法在各個(gè)邊緣向終端分配模型時(shí),每個(gè)終端都收到同樣的模型,該模型由出口2及其之前的主干網(wǎng)絡(luò)構(gòu)成.為了實(shí)驗(yàn)的公平性,在2種對(duì)比的聯(lián)邦學(xué)習(xí)方法中,仍采用本文提出的半監(jiān)督學(xué)習(xí)方法對(duì)模型進(jìn)行訓(xùn)練.由于邊緣之間在數(shù)據(jù)處理、訓(xùn)練模型、學(xué)習(xí)方法上沒(méi)有明顯區(qū)別,為了使結(jié)果展示更加簡(jiǎn)潔直觀,本文僅從所有邊緣中挑選部分進(jìn)行展示.

    5.2.1 獨(dú)立同分布

    圖3和圖4給出了在MNIST和FashionMNIST數(shù)據(jù)集下,不同邊緣的異構(gòu)聯(lián)邦學(xué)習(xí)和同構(gòu)聯(lián)邦學(xué)習(xí)訓(xùn)練得到的模型效果對(duì)比折線圖.其中實(shí)線為通過(guò)本文提出的聯(lián)邦學(xué)習(xí)方法得到模型的準(zhǔn)確率;長(zhǎng)虛線為傳統(tǒng)的同構(gòu)聯(lián)邦學(xué)習(xí)方法FedAvg訓(xùn)練得到模型的準(zhǔn)確率;短虛線為FedProx得到的模型準(zhǔn)確率.總體而言,無(wú)論是針對(duì)MNIST還是FashionMNIST數(shù)據(jù)集,本文提出的異構(gòu)方法學(xué)習(xí)得到的模型準(zhǔn)確率收斂值整體優(yōu)于FedAvg和FedProx.其中,MNIST數(shù)據(jù)集下,本文方法收斂值比FedAvg提升約4%,比FedProx提升約3%;FashionMNIST數(shù)據(jù)集下,本文方法平均可以達(dá)到86%,而FedAvg和FedProx平均收斂值均為80%左右,二者相差約6%.但是,值得注意的是,從折線的走勢(shì)和波動(dòng)幅度來(lái)看,F(xiàn)edAvg和FedProx方法下模型的收斂速度和收斂平穩(wěn)性更佳,這一點(diǎn)在FashionMNIST數(shù)據(jù)集上體現(xiàn)更為明顯.

    Fig. 4 Performance of different heterogeneous methods when FashionMNIST is IID圖4 FashionMNIST獨(dú)立同分布時(shí)不同異構(gòu)方法 的表現(xiàn)

    針對(duì)本文提出的聯(lián)邦學(xué)習(xí)方法收斂值更優(yōu)的問(wèn)題,本文通過(guò)在一個(gè)完整的深度模型中間插入分支的方式,構(gòu)建出復(fù)雜度更小的適配資源緊張終端的子模型.在本地學(xué)習(xí)階段,各個(gè)終端僅需利用本地?cái)?shù)據(jù)對(duì)本地子模型進(jìn)行訓(xùn)練更新,無(wú)需考慮后續(xù)模型的參數(shù)對(duì)本地訓(xùn)練損失的影響.降低正常大模型更新過(guò)程中模型前后的耦合性,一定程度上增大了整個(gè)終端全局模型的搜索空間,從而能夠在更大空間內(nèi)找到最優(yōu)模型.

    針對(duì)本文提出的聯(lián)邦學(xué)習(xí)方法收斂速度更慢和收斂平穩(wěn)性更差的問(wèn)題,在同一輪迭代過(guò)程中,不同深度的子模型因?yàn)樽陨砟P吞卣飨拗?,能夠達(dá)到的最高準(zhǔn)確率不相同.由于本文方法中終端模型既有出口1對(duì)應(yīng)的子模型,又有出口2對(duì)應(yīng)的子模型,而其他方法下僅有出口2對(duì)應(yīng)的子模型,因此本文方法在收斂進(jìn)程上存在較差的模型對(duì)較優(yōu)模型拖累的現(xiàn)象,從而減緩收斂進(jìn)程,增大波動(dòng)幅度.

    5.2.2 非獨(dú)立同分布

    當(dāng)終端大量的無(wú)標(biāo)簽數(shù)據(jù)和邊緣少量帶標(biāo)簽數(shù)據(jù)都呈現(xiàn)出非獨(dú)立同分布時(shí),5.2.1節(jié)中的結(jié)論仍然成立,如圖5和圖6所示.在MNIST數(shù)據(jù)集下,本文方法的平均準(zhǔn)確率約為60%,且不同邊緣之間的模型收斂值差距小于5%,與FedProx基本持平;而FedAvg的平均準(zhǔn)確率約為40%,且不同邊緣之間的收斂值差距大,受數(shù)據(jù)分布不均衡的影響,收斂值相差最大的邊緣甚至可以達(dá)到20%.在Fashion-MNIST數(shù)據(jù)集下,本文方法的平均準(zhǔn)確率約為50%,且不同邊緣之間的模型收斂值差距最大為15%;FedAvg的平均準(zhǔn)確率約為40%,最大收斂值之差為20%;FedProx的平均準(zhǔn)確率也在40%左右.由此可以看出,通過(guò)插入分支實(shí)現(xiàn)的模型異構(gòu)可以讓學(xué)習(xí)在更廣闊的的空間內(nèi)搜索,這在一定程度上可以補(bǔ)足由數(shù)據(jù)異構(gòu)帶來(lái)的缺陷.

    Fig. 5 Performance of different heterogeneous methods when MNIST is non-IID圖5 MNIST非獨(dú)立同分布時(shí)不同異構(gòu)方法的表現(xiàn)

    Fig. 6 Performance of different heterogeneous methods when FashionMNIST is non-IID圖6 FashionMNIST非獨(dú)立同分布時(shí)不同異構(gòu)方法 的表現(xiàn)

    5.3 分層聯(lián)邦學(xué)習(xí)方法研究

    針對(duì)分層聯(lián)邦學(xué)習(xí)的研究,對(duì)比框架分別為無(wú)聯(lián)邦學(xué)習(xí)(也可稱為“本地學(xué)習(xí)”)和僅邊緣層級(jí)的聯(lián)邦學(xué)習(xí).在無(wú)聯(lián)邦學(xué)習(xí)的情況下,各個(gè)節(jié)點(diǎn)僅在“云邊端”垂直結(jié)構(gòu)上進(jìn)行協(xié)同學(xué)習(xí),終端節(jié)點(diǎn)之間、邊緣節(jié)點(diǎn)直接不再進(jìn)行協(xié)同的聯(lián)邦學(xué)習(xí).因此,為了保證單一節(jié)點(diǎn)能在垂直方向上學(xué)習(xí)得到完整模型,在同一層節(jié)點(diǎn)之間不應(yīng)存在模型異構(gòu)問(wèn)題,即終端上全都部署出口2與其之前的主干模型構(gòu)成的子模型,邊緣上全都部署出口3構(gòu)成的子模型.各個(gè)終端通過(guò)與對(duì)應(yīng)邊緣交互進(jìn)行半監(jiān)督學(xué)習(xí)得到本地出口2模型;待本地訓(xùn)練完畢后上傳至邊緣初始化邊緣模型對(duì)應(yīng)部分,各個(gè)邊緣隨即利用本地標(biāo)簽數(shù)據(jù)對(duì)初始化模型(出口3對(duì)應(yīng)的模型)進(jìn)行訓(xùn)練;接著,將訓(xùn)練完畢的邊緣模型上傳至云端初始化云端模型對(duì)應(yīng)部分;最后,云端利用本地標(biāo)簽數(shù)據(jù)對(duì)邊緣初始化的模型進(jìn)行訓(xùn)練得到最終模型.僅邊緣層級(jí)聯(lián)邦學(xué)習(xí)的情況下,模型部署方式與無(wú)聯(lián)邦學(xué)習(xí)框架相同,此時(shí)模型在終端之間同構(gòu).不同之處在于,同一邊緣下的終端在本地學(xué)習(xí)之后要上傳模型到對(duì)應(yīng)邊緣進(jìn)行聚合,迭代多次得到終端模型,而不僅僅是本地學(xué)習(xí).

    5.3.1 獨(dú)立同分布

    圖7和圖8分別展示了在獨(dú)立同分布情形下不同聯(lián)邦學(xué)習(xí)方式的模型表現(xiàn).橫軸表示迭代次數(shù),縱軸為不同學(xué)習(xí)框架,顏色深淺變化反映了模型表現(xiàn)的變化情況.如右側(cè)標(biāo)尺所示,顏色越深代表模型的準(zhǔn)確率越低,顏色越淺則準(zhǔn)確率越高.從圖7和圖8中可以看出,無(wú)論是針對(duì)MNIST還是FashionMNIST數(shù)據(jù)集,雙層聯(lián)邦學(xué)習(xí)得到的模型在收斂值、收斂速度以及收斂穩(wěn)定性方面均具有明顯優(yōu)勢(shì).在MNIST數(shù)據(jù)集中,采用"邊緣+云端"雙層聯(lián)邦學(xué)習(xí)方法訓(xùn)練的模型僅迭代不到10次,熱力圖的顏色變化就趨于穩(wěn)定,模型達(dá)到收斂;而采用單層聯(lián)邦學(xué)習(xí)或無(wú)聯(lián)邦學(xué)習(xí),則需要迭代30余次.在FashionMNIST數(shù)據(jù)集中,采用雙層聯(lián)邦學(xué)習(xí)的方式不僅在收斂速度上更快,而且從顏色的深淺變化來(lái)看,雙層聯(lián)邦學(xué)習(xí)的曲線更平穩(wěn).

    Fig. 7 Performance of different federated learning frameworks when MNIST is IID圖7 MNIST獨(dú)立同分布不同聯(lián)邦學(xué)習(xí)框架的 模型表現(xiàn)

    Fig. 8 Performance of different federated learning frameworks when FashionMNIST is IID圖8 FashionMNIST獨(dú)立同分布時(shí)不同聯(lián)邦學(xué)習(xí) 框架的模型表現(xiàn)

    這是因?yàn)?,相較于單層聯(lián)邦學(xué)習(xí)和無(wú)聯(lián)邦的本地學(xué)習(xí)而言,在“邊緣+云端”雙層的聯(lián)邦學(xué)習(xí)方法下,邊緣和云端的聯(lián)邦能夠定期將各個(gè)終端、邊緣本地訓(xùn)練的模型特征進(jìn)行整合,使得最終得到的全局模型綜合了各個(gè)分布式節(jié)點(diǎn)的數(shù)據(jù)特征.不僅提高了直接表現(xiàn)為測(cè)試準(zhǔn)確率的模型泛化能力,而且加快了模型的收斂速度.

    5.3.2 非獨(dú)立同分布

    與獨(dú)立同分布情形相同,在非獨(dú)立同分布情形下,“邊緣+云端”的雙層聯(lián)邦學(xué)習(xí)仍然在收斂值、收斂速度、收斂平穩(wěn)性上展現(xiàn)出絕對(duì)的優(yōu)勢(shì),如圖9和圖10所示.在MNIST數(shù)據(jù)集下,模型迭代約10次時(shí)達(dá)到收斂;而在單層和無(wú)聯(lián)邦情形下,需要迭代近60次.在FashionMNIST數(shù)據(jù)集下,雖然在收斂速度上的優(yōu)勢(shì)略微減小,但在收斂穩(wěn)定性上展現(xiàn)出了絕對(duì)優(yōu)勢(shì).

    Fig. 9 Performance of different federated learning frameworks when MNIST is non-IID圖9 MNIST非獨(dú)立同分布不同聯(lián)邦學(xué)習(xí)框架的 模型表現(xiàn)

    Fig. 10 Performance of different federated learning frameworks when FashionMNIST is non-IID圖10 FashionMNIST非獨(dú)立同分布時(shí)不同聯(lián)邦學(xué)習(xí) 框架的模型表現(xiàn)

    5.4 資源利用效率研究

    為不同資源狀態(tài)的終端適配不同復(fù)雜度的模型,不僅可以有效提高資源弱勢(shì)終端的參與率,相比于采用大模型進(jìn)行同構(gòu)學(xué)習(xí),還可以有效降低整個(gè)聯(lián)邦學(xué)習(xí)過(guò)程中計(jì)算、通信以及存儲(chǔ)資源的開(kāi)銷.考慮到在各終端數(shù)據(jù)量相同的情況下,資源開(kāi)銷與數(shù)據(jù)分布情況相關(guān)性較弱.因此,本節(jié)將在MNIST數(shù)據(jù)集呈現(xiàn)出獨(dú)立同分布的情形下進(jìn)行實(shí)驗(yàn)驗(yàn)證,具體的衡量指標(biāo)為每一輪迭代過(guò)程中所有參與客戶端的每秒浮點(diǎn)運(yùn)算次數(shù)之和、傳輸參數(shù)量之和以及模型所占存儲(chǔ)空間之和.同時(shí),考慮到FedAvg和FedProx均采用全局統(tǒng)一的客戶端模型,按照FedAvg和FedProx這2種方法學(xué)習(xí)產(chǎn)生的資源開(kāi)銷相當(dāng),因此,本節(jié)僅將本文方法與FedAvg的資源開(kāi)銷情況作比較.現(xiàn)隨機(jī)從云邊端學(xué)習(xí)框架中挑選一個(gè)邊緣,針對(duì)其邊緣異構(gòu)和同構(gòu)學(xué)習(xí)資源開(kāi)銷情況進(jìn)行測(cè)試,得到如圖11、圖12、圖13所示的結(jié)果.

    Fig. 11 Accuracy varing with computation resource overhead圖11 模型準(zhǔn)確率隨消耗的計(jì)算資源的變化

    Fig. 12 Accuracy varing with communication resource overhead圖12 模型準(zhǔn)確率隨消耗的通信資源的變化

    Fig. 13 Accuracy varing with storage resource overhead圖13 模型準(zhǔn)確率隨消耗的存儲(chǔ)資源的變化

    從圖11~13可以看出,無(wú)論是計(jì)算資源、通信資源還是存儲(chǔ)資源,通過(guò)本文方法學(xué)習(xí)得到的模型不僅準(zhǔn)確率更高,而且消耗的資源更少.準(zhǔn)確率高的原因已經(jīng)在5.2節(jié)中進(jìn)行了說(shuō)明,消耗的資源更少是因?yàn)樵谟?xùn)練過(guò)程中融入了更多復(fù)雜度更低的模型,從而總體上減少了計(jì)算資源、通信資源和存儲(chǔ)資源的開(kāi)銷.

    6 結(jié) 論

    在新興的云邊端計(jì)算范式下,為同時(shí)實(shí)現(xiàn)用戶隱私的保護(hù)和模型智能性的穩(wěn)步提升,聯(lián)邦學(xué)習(xí)成為一種熱門的面向隱私安全的計(jì)算方法,本文就如何在云邊端系統(tǒng)下應(yīng)用聯(lián)邦學(xué)習(xí)方法以保護(hù)隱私展開(kāi)研究.具體而言,針對(duì)該系統(tǒng)的分層特點(diǎn),打破了傳統(tǒng)單層聯(lián)邦學(xué)習(xí)的枷鎖,設(shè)計(jì)了面向云邊端系統(tǒng)的雙層聯(lián)邦學(xué)習(xí)框架,并可拓展至多層聯(lián)邦學(xué)習(xí);針對(duì)由終端設(shè)備所處環(huán)境、硬件參數(shù)不同導(dǎo)致的資源異構(gòu)問(wèn)題,提出了異構(gòu)聯(lián)邦學(xué)習(xí)方法,通過(guò)在深度模型中間插入提前退出分支的方式,構(gòu)建適配不同終端資源狀態(tài)的子模型序列;針對(duì)終端存在大量無(wú)標(biāo)簽數(shù)據(jù)現(xiàn)象,提出了面向異構(gòu)聯(lián)邦學(xué)習(xí)的半監(jiān)督學(xué)習(xí)方法,利用服務(wù)器預(yù)訓(xùn)練得到的適配子模型為終端數(shù)據(jù)預(yù)測(cè)偽標(biāo)簽,并基于此對(duì)模型進(jìn)行訓(xùn)練,有效整合了無(wú)標(biāo)簽數(shù)據(jù)的特征.實(shí)驗(yàn)結(jié)果表明,相比于傳統(tǒng)的同構(gòu)聯(lián)邦學(xué)習(xí)方法、單層聯(lián)邦學(xué)習(xí)方法以及本地學(xué)習(xí)方法,本文提出的方法不僅能夠在模型準(zhǔn)確率上取得明顯優(yōu)勢(shì),而且能夠顯著降低計(jì)算資源、通信資源、存儲(chǔ)資源的開(kāi)銷.

    作者貢獻(xiàn)聲明:鐘正儀負(fù)責(zé)完成實(shí)驗(yàn)并撰寫論文;包衛(wèi)東提出指導(dǎo)意見(jiàn)并修改論文;王吉提出算法思路和實(shí)驗(yàn)方案;吳冠霖協(xié)助完成實(shí)驗(yàn);趙翔提出算法思路指導(dǎo)意見(jiàn).

    猜你喜歡
    異構(gòu)聯(lián)邦客戶端
    試論同課異構(gòu)之“同”與“異”
    一“炮”而紅 音聯(lián)邦SVSound 2000 Pro品鑒會(huì)完滿舉行
    303A深圳市音聯(lián)邦電氣有限公司
    縣級(jí)臺(tái)在突發(fā)事件報(bào)道中如何應(yīng)用手機(jī)客戶端
    孵化垂直頻道:新聞客戶端新策略
    基于Vanconnect的智能家居瘦客戶端的設(shè)計(jì)與實(shí)現(xiàn)
    overlay SDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)
    LTE異構(gòu)網(wǎng)技術(shù)與組網(wǎng)研究
    在新興異構(gòu)SoCs上集成多種系統(tǒng)
    20年后捷克與斯洛伐克各界對(duì)聯(lián)邦解體的反思
    国产av一区二区精品久久| 一个人观看的视频www高清免费观看 | 亚洲国产欧美日韩在线播放| 亚洲天堂国产精品一区在线| 天天添夜夜摸| 国产亚洲精品久久久久久毛片| 性色av乱码一区二区三区2| 国产三级在线视频| 黑人巨大精品欧美一区二区mp4| xxxwww97欧美| 母亲3免费完整高清在线观看| 久久精品夜夜夜夜夜久久蜜豆 | 中国美女看黄片| 国产精品九九99| 草草在线视频免费看| 午夜福利在线在线| 一区二区三区激情视频| 欧美绝顶高潮抽搐喷水| 成人18禁在线播放| 亚洲人成电影免费在线| 搡老妇女老女人老熟妇| 欧美黑人欧美精品刺激| 此物有八面人人有两片| 久久久久免费精品人妻一区二区 | 黄片播放在线免费| 午夜精品久久久久久毛片777| 免费人成视频x8x8入口观看| 久久99热这里只有精品18| 18禁观看日本| 欧美精品亚洲一区二区| 欧美一级a爱片免费观看看 | 国产精华一区二区三区| 亚洲无线在线观看| 久久精品国产清高在天天线| 午夜a级毛片| 伊人久久大香线蕉亚洲五| 日本免费一区二区三区高清不卡| 我的亚洲天堂| 可以免费在线观看a视频的电影网站| 久久久久久久精品吃奶| 少妇裸体淫交视频免费看高清 | 国产成人精品久久二区二区免费| 黄色a级毛片大全视频| 国产成人啪精品午夜网站| 两性夫妻黄色片| 又大又爽又粗| 亚洲精品中文字幕一二三四区| 美女高潮喷水抽搐中文字幕| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲国产高清在线一区二区三 | 丝袜在线中文字幕| 999精品在线视频| 女同久久另类99精品国产91| 欧美日本视频| 真人做人爱边吃奶动态| 正在播放国产对白刺激| 18禁黄网站禁片午夜丰满| 最近在线观看免费完整版| 日韩大码丰满熟妇| 日本a在线网址| 天天添夜夜摸| 哪里可以看免费的av片| 男女午夜视频在线观看| 日韩中文字幕欧美一区二区| 可以在线观看毛片的网站| 中文字幕久久专区| 黄色a级毛片大全视频| 色老头精品视频在线观看| 午夜日韩欧美国产| 亚洲av中文字字幕乱码综合 | 欧美日本视频| 50天的宝宝边吃奶边哭怎么回事| aaaaa片日本免费| 麻豆国产av国片精品| 亚洲精品久久国产高清桃花| 亚洲七黄色美女视频| 日韩欧美一区二区三区在线观看| 身体一侧抽搐| 亚洲三区欧美一区| 男人舔奶头视频| 免费av毛片视频| 精品国产乱码久久久久久男人| 男女视频在线观看网站免费 | 中文字幕人成人乱码亚洲影| ponron亚洲| 久久精品91蜜桃| 岛国在线观看网站| 亚洲国产精品合色在线| 久久久久久久久中文| 可以在线观看毛片的网站| 婷婷丁香在线五月| 欧美黄色淫秽网站| 老汉色av国产亚洲站长工具| 99精品在免费线老司机午夜| 性欧美人与动物交配| 免费在线观看黄色视频的| 制服诱惑二区| 亚洲精华国产精华精| 亚洲欧美一区二区三区黑人| 人成视频在线观看免费观看| 午夜精品在线福利| 熟女少妇亚洲综合色aaa.| aaaaa片日本免费| 国产黄色小视频在线观看| 国产三级黄色录像| 亚洲精品美女久久久久99蜜臀| 一区福利在线观看| 97碰自拍视频| 国产一区二区三区视频了| 一进一出抽搐gif免费好疼| 一区二区三区高清视频在线| 欧美日韩黄片免| 伊人久久大香线蕉亚洲五| 悠悠久久av| 国产亚洲av高清不卡| 亚洲成人免费电影在线观看| 精品少妇一区二区三区视频日本电影| 国产在线精品亚洲第一网站| 色尼玛亚洲综合影院| 亚洲人成网站高清观看| 亚洲成国产人片在线观看| www国产在线视频色| 中文在线观看免费www的网站 | 精品国产亚洲在线| 久久久国产精品麻豆| 国产三级黄色录像| 一个人免费在线观看的高清视频| 亚洲男人天堂网一区| 18禁国产床啪视频网站| 1024香蕉在线观看| 日韩欧美一区视频在线观看| 婷婷精品国产亚洲av在线| 日本 av在线| 国产精品久久久人人做人人爽| 国产不卡一卡二| 国产又爽黄色视频| 啦啦啦免费观看视频1| 成人三级黄色视频| 无遮挡黄片免费观看| 国产爱豆传媒在线观看 | svipshipincom国产片| 欧美中文日本在线观看视频| 久久久久久亚洲精品国产蜜桃av| 在线观看日韩欧美| 99riav亚洲国产免费| 两性夫妻黄色片| 最近在线观看免费完整版| a在线观看视频网站| 欧美日韩福利视频一区二区| 桃色一区二区三区在线观看| 少妇的丰满在线观看| 国产成人av教育| 99久久精品国产亚洲精品| 亚洲欧美激情综合另类| 十分钟在线观看高清视频www| 中文字幕精品亚洲无线码一区 | 亚洲男人的天堂狠狠| 高清在线国产一区| 亚洲在线自拍视频| 久久国产亚洲av麻豆专区| netflix在线观看网站| 国产精品亚洲美女久久久| 欧美性长视频在线观看| 日本成人三级电影网站| 国产午夜福利久久久久久| 999久久久国产精品视频| 久久久久亚洲av毛片大全| 久久精品国产亚洲av香蕉五月| 91av网站免费观看| 国产亚洲欧美98| 男男h啪啪无遮挡| 日本黄色视频三级网站网址| 欧美在线黄色| 女生性感内裤真人,穿戴方法视频| 国内毛片毛片毛片毛片毛片| 久久精品国产99精品国产亚洲性色| 亚洲国产中文字幕在线视频| 中文字幕av电影在线播放| 曰老女人黄片| 国产不卡一卡二| 国产亚洲精品第一综合不卡| av天堂在线播放| 亚洲第一青青草原| 日日干狠狠操夜夜爽| 91成年电影在线观看| 国产高清有码在线观看视频 | 国产精品免费视频内射| 亚洲成人免费电影在线观看| 男人舔奶头视频| 国产成人系列免费观看| 草草在线视频免费看| 久久久久久久久久黄片| 久久中文看片网| 变态另类丝袜制服| 少妇裸体淫交视频免费看高清 | 91成人精品电影| 一级黄色大片毛片| 国产精品亚洲一级av第二区| 精品一区二区三区视频在线观看免费| 成人特级黄色片久久久久久久| 午夜激情av网站| 亚洲熟女毛片儿| 国产爱豆传媒在线观看 | 欧美国产精品va在线观看不卡| 中文资源天堂在线| 日本熟妇午夜| 亚洲专区字幕在线| 欧美 亚洲 国产 日韩一| 久久久久免费精品人妻一区二区 | 欧美 亚洲 国产 日韩一| 亚洲人成网站高清观看| 欧美成人免费av一区二区三区| www国产在线视频色| 国产成人啪精品午夜网站| 欧美一级a爱片免费观看看 | www国产在线视频色| 国产精华一区二区三区| tocl精华| 色综合欧美亚洲国产小说| 国产精品电影一区二区三区| 色婷婷久久久亚洲欧美| 一二三四在线观看免费中文在| 欧美不卡视频在线免费观看 | 久久久久免费精品人妻一区二区 | 免费在线观看影片大全网站| 男女午夜视频在线观看| 精品乱码久久久久久99久播| 19禁男女啪啪无遮挡网站| 一个人观看的视频www高清免费观看 | 午夜福利一区二区在线看| 亚洲成av片中文字幕在线观看| 男女床上黄色一级片免费看| 欧美日韩中文字幕国产精品一区二区三区| 欧美激情极品国产一区二区三区| 欧美日韩中文字幕国产精品一区二区三区| 国产高清有码在线观看视频 | 18禁黄网站禁片免费观看直播| 天天躁夜夜躁狠狠躁躁| 女同久久另类99精品国产91| 999久久久精品免费观看国产| 国产爱豆传媒在线观看 | 国产午夜福利久久久久久| 久久亚洲精品不卡| 久久久国产精品麻豆| 亚洲aⅴ乱码一区二区在线播放 | 免费看美女性在线毛片视频| 母亲3免费完整高清在线观看| 国产av又大| 日韩欧美在线二视频| 中文资源天堂在线| 亚洲全国av大片| 午夜影院日韩av| 99热只有精品国产| 精品久久久久久久毛片微露脸| 午夜亚洲福利在线播放| 一边摸一边抽搐一进一小说| 可以在线观看的亚洲视频| 老司机午夜十八禁免费视频| 色尼玛亚洲综合影院| 一级毛片高清免费大全| 一二三四在线观看免费中文在| 日韩成人在线观看一区二区三区| 日韩欧美 国产精品| 美女大奶头视频| 一进一出好大好爽视频| 久久人妻福利社区极品人妻图片| 免费搜索国产男女视频| 亚洲人成电影免费在线| 成熟少妇高潮喷水视频| 黄色毛片三级朝国网站| 少妇熟女aⅴ在线视频| 精品电影一区二区在线| 两个人免费观看高清视频| 十八禁网站免费在线| 满18在线观看网站| 欧美人与性动交α欧美精品济南到| 国产成人欧美在线观看| 亚洲欧洲精品一区二区精品久久久| 在线播放国产精品三级| 亚洲中文日韩欧美视频| 久久久久免费精品人妻一区二区 | 少妇 在线观看| 日韩精品青青久久久久久| 久久精品aⅴ一区二区三区四区| 亚洲精品在线美女| 亚洲av成人不卡在线观看播放网| 99国产极品粉嫩在线观看| 变态另类丝袜制服| 给我免费播放毛片高清在线观看| av片东京热男人的天堂| 老司机午夜福利在线观看视频| 亚洲免费av在线视频| 成人18禁在线播放| 欧美 亚洲 国产 日韩一| 老司机深夜福利视频在线观看| 欧美 亚洲 国产 日韩一| 国产亚洲av高清不卡| 久久久国产欧美日韩av| 久久精品国产亚洲av香蕉五月| 长腿黑丝高跟| 99久久无色码亚洲精品果冻| 十分钟在线观看高清视频www| 国产成人啪精品午夜网站| 黄色毛片三级朝国网站| 国产精品99久久99久久久不卡| 国产成人欧美| 久久精品aⅴ一区二区三区四区| 欧美激情极品国产一区二区三区| 国产伦人伦偷精品视频| 日本一区二区免费在线视频| 老司机福利观看| 正在播放国产对白刺激| 中文字幕久久专区| 精品福利观看| www日本黄色视频网| 丝袜美腿诱惑在线| 18美女黄网站色大片免费观看| 看片在线看免费视频| 在线国产一区二区在线| 婷婷精品国产亚洲av| 久久人人精品亚洲av| 变态另类丝袜制服| 国产色视频综合| 精品一区二区三区av网在线观看| 人人妻人人看人人澡| 国产高清视频在线播放一区| 免费在线观看完整版高清| 最近最新中文字幕大全免费视频| 好男人在线观看高清免费视频 | 久久国产精品影院| 99re在线观看精品视频| 亚洲五月天丁香| 国产日本99.免费观看| 成人欧美大片| 国产精品国产高清国产av| 99久久久亚洲精品蜜臀av| 亚洲,欧美精品.| 日本a在线网址| 一进一出抽搐动态| 人妻丰满熟妇av一区二区三区| 欧美日韩精品网址| 国产亚洲精品第一综合不卡| 久久中文看片网| 黄片大片在线免费观看| 欧美成人免费av一区二区三区| 亚洲国产中文字幕在线视频| 亚洲一区二区三区不卡视频| 欧美又色又爽又黄视频| 亚洲中文av在线| 香蕉国产在线看| 久久久久久亚洲精品国产蜜桃av| 日本一本二区三区精品| netflix在线观看网站| 在线观看www视频免费| 免费在线观看完整版高清| e午夜精品久久久久久久| 波多野结衣巨乳人妻| 999久久久国产精品视频| 国产精品爽爽va在线观看网站 | 在线观看免费午夜福利视频| 一级毛片女人18水好多| 色哟哟哟哟哟哟| 亚洲熟妇中文字幕五十中出| bbb黄色大片| 精品高清国产在线一区| 日本免费一区二区三区高清不卡| 两个人免费观看高清视频| or卡值多少钱| x7x7x7水蜜桃| 一本综合久久免费| 97人妻精品一区二区三区麻豆 | 99国产精品一区二区蜜桃av| aaaaa片日本免费| 在线观看舔阴道视频| 久久久久久九九精品二区国产 | 欧美日本亚洲视频在线播放| 天堂动漫精品| 久久精品成人免费网站| 精品久久久久久成人av| 欧美精品啪啪一区二区三区| 久久天堂一区二区三区四区| cao死你这个sao货| 亚洲第一欧美日韩一区二区三区| 99国产精品99久久久久| 动漫黄色视频在线观看| 波多野结衣高清作品| 俄罗斯特黄特色一大片| 亚洲成av人片免费观看| 一级毛片高清免费大全| 国内少妇人妻偷人精品xxx网站 | 黄片小视频在线播放| 国产av一区二区精品久久| 国产欧美日韩一区二区精品| 成人精品一区二区免费| 久久国产精品男人的天堂亚洲| 搡老妇女老女人老熟妇| 日本三级黄在线观看| 天天一区二区日本电影三级| 久热这里只有精品99| a级毛片在线看网站| 免费在线观看日本一区| 久久久国产欧美日韩av| 亚洲黑人精品在线| 久久青草综合色| 2021天堂中文幕一二区在线观 | 国产精品野战在线观看| 欧美+亚洲+日韩+国产| 免费在线观看完整版高清| 亚洲一码二码三码区别大吗| 中文在线观看免费www的网站 | 热re99久久国产66热| 国产又爽黄色视频| 亚洲五月天丁香| 我的亚洲天堂| 国产男靠女视频免费网站| 少妇裸体淫交视频免费看高清 | 日本精品一区二区三区蜜桃| 别揉我奶头~嗯~啊~动态视频| 国产久久久一区二区三区| 亚洲国产高清在线一区二区三 | 18禁美女被吸乳视频| 久久伊人香网站| 亚洲成人久久性| 免费看美女性在线毛片视频| 久久伊人香网站| 午夜福利高清视频| 亚洲精品久久国产高清桃花| 国产亚洲精品综合一区在线观看 | 97碰自拍视频| 少妇裸体淫交视频免费看高清 | av有码第一页| 国产成人啪精品午夜网站| 亚洲av五月六月丁香网| 欧美黑人欧美精品刺激| 久久精品国产99精品国产亚洲性色| 国产亚洲精品av在线| 午夜a级毛片| 久久香蕉激情| 搞女人的毛片| 99热只有精品国产| 久久性视频一级片| 91在线观看av| 日韩欧美一区视频在线观看| 亚洲 欧美 日韩 在线 免费| 宅男免费午夜| 美女 人体艺术 gogo| 亚洲一区中文字幕在线| 亚洲成av片中文字幕在线观看| 别揉我奶头~嗯~啊~动态视频| 国产精品野战在线观看| 久久国产乱子伦精品免费另类| 性色av乱码一区二区三区2| 色尼玛亚洲综合影院| 久久久久久人人人人人| 女性生殖器流出的白浆| 免费在线观看黄色视频的| 欧美 亚洲 国产 日韩一| 香蕉av资源在线| 别揉我奶头~嗯~啊~动态视频| 精品高清国产在线一区| 精华霜和精华液先用哪个| 一边摸一边抽搐一进一小说| 精品久久久久久久人妻蜜臀av| 男女午夜视频在线观看| 男女视频在线观看网站免费 | 黄色片一级片一级黄色片| www日本在线高清视频| 91麻豆精品激情在线观看国产| 久9热在线精品视频| 好看av亚洲va欧美ⅴa在| 国产精品久久久人人做人人爽| 青草久久国产| 国产熟女xx| 一进一出好大好爽视频| 午夜激情福利司机影院| 一级a爱视频在线免费观看| 亚洲精品国产精品久久久不卡| 免费在线观看亚洲国产| av免费在线观看网站| 亚洲精品美女久久久久99蜜臀| 女警被强在线播放| 美女国产高潮福利片在线看| 欧美黑人欧美精品刺激| 成人三级做爰电影| 午夜视频精品福利| 最近最新中文字幕大全免费视频| 成人18禁在线播放| 午夜福利在线在线| 日韩高清综合在线| 757午夜福利合集在线观看| 黑丝袜美女国产一区| 日韩欧美在线二视频| 波多野结衣av一区二区av| 国产亚洲av嫩草精品影院| 亚洲最大成人中文| 黑丝袜美女国产一区| 国产激情偷乱视频一区二区| 久热这里只有精品99| 亚洲成国产人片在线观看| 欧美一区二区精品小视频在线| 女性生殖器流出的白浆| 亚洲天堂国产精品一区在线| 精品人妻1区二区| 久久性视频一级片| 精品国产乱子伦一区二区三区| 侵犯人妻中文字幕一二三四区| 国产高清激情床上av| 99久久国产精品久久久| 亚洲一区二区三区色噜噜| 精品久久久久久久毛片微露脸| 国产成人一区二区三区免费视频网站| 少妇熟女aⅴ在线视频| 国产主播在线观看一区二区| 丝袜人妻中文字幕| 国产激情欧美一区二区| 国产又色又爽无遮挡免费看| 国产精品美女特级片免费视频播放器 | 99国产精品99久久久久| 久久亚洲精品不卡| 很黄的视频免费| 在线十欧美十亚洲十日本专区| 精品国产美女av久久久久小说| 日韩一卡2卡3卡4卡2021年| 成人av一区二区三区在线看| 午夜免费激情av| 亚洲av五月六月丁香网| 制服丝袜大香蕉在线| 欧美日本视频| 亚洲精品国产精品久久久不卡| 亚洲第一欧美日韩一区二区三区| 身体一侧抽搐| 18禁裸乳无遮挡免费网站照片 | 国产精品免费视频内射| 亚洲人成77777在线视频| 九色国产91popny在线| 搡老岳熟女国产| 老司机午夜十八禁免费视频| 成人av一区二区三区在线看| 高清毛片免费观看视频网站| 亚洲国产精品合色在线| 美女高潮到喷水免费观看| 亚洲国产中文字幕在线视频| 此物有八面人人有两片| tocl精华| 国产亚洲av高清不卡| 两个人视频免费观看高清| 看黄色毛片网站| 久久久久久久久久黄片| 亚洲av电影不卡..在线观看| 亚洲国产毛片av蜜桃av| 欧美日韩福利视频一区二区| 精品不卡国产一区二区三区| 黄频高清免费视频| 亚洲av片天天在线观看| 亚洲久久久国产精品| 日本在线视频免费播放| 国产在线观看jvid| 久久久精品国产亚洲av高清涩受| 婷婷精品国产亚洲av| 露出奶头的视频| 窝窝影院91人妻| 老汉色av国产亚洲站长工具| 久久伊人香网站| 亚洲国产精品999在线| x7x7x7水蜜桃| 少妇粗大呻吟视频| 欧美色视频一区免费| 欧美人与性动交α欧美精品济南到| 香蕉久久夜色| 欧美性猛交╳xxx乱大交人| 亚洲午夜理论影院| 国产精品爽爽va在线观看网站 | 国产亚洲精品一区二区www| 国产一区二区激情短视频| 精品国产国语对白av| 一个人免费在线观看的高清视频| 夜夜躁狠狠躁天天躁| 女性生殖器流出的白浆| 欧美绝顶高潮抽搐喷水| 一级片免费观看大全| 黄网站色视频无遮挡免费观看| 久久久久九九精品影院| 欧美一区二区精品小视频在线| 亚洲人成伊人成综合网2020| 97人妻精品一区二区三区麻豆 | 亚洲专区字幕在线| 国产精品久久视频播放| 身体一侧抽搐| 99在线视频只有这里精品首页| 老司机在亚洲福利影院| 午夜精品在线福利| 韩国精品一区二区三区| 在线观看日韩欧美| 男女午夜视频在线观看| 精品久久久久久成人av| 亚洲av美国av| 中文字幕av电影在线播放| 国产精品av久久久久免费| 欧美日韩福利视频一区二区| 久久久久久九九精品二区国产 | 老司机靠b影院| 18禁国产床啪视频网站| 亚洲欧美激情综合另类| 亚洲人成网站高清观看| 欧美+亚洲+日韩+国产| 成人手机av| 亚洲午夜精品一区,二区,三区| 国产欧美日韩一区二区三| 国产av一区在线观看免费| 波多野结衣高清无吗| 后天国语完整版免费观看| 亚洲中文字幕日韩| 午夜免费激情av| 日本黄色视频三级网站网址| 中亚洲国语对白在线视频|